یک فایل robots.txt معمولا از دو قانون ساده پیروی می کند، User-agent یا واسط کاربری (نوع خزنده یا ربات) و Disallow یا لینکی که دسترسی به آن را مسدود (یا مجاز) می کنیم؛ علاوه بر این، به یاد داشته باشید که در ابتدای آدرس دایرکتوری ها، باید از یک اسلش (/) نیز استفاده شود و در استفاده از حروف بزرگ یا کوچک نیز دقت کنید (به فرض دایرکتوری Image در مقایسه با image از دید ربات ها، معمولا دو آدرس متفاوت هستند). ولی برای شروع اگر تا همینجا را به خوبی یاد بگیریم کفایت میکند. اگر گوگل به سایت مپ دسترسی داشته باشد، عبارت Success در قسمت وضعیت نمایش داده میشود. برای مثال کمتر کسی عبارت «اخبار سیاسی» را در گوگل جستجو میکند و از طرف دیگر هدف او از جستجو مشخص نیست. زمان آخرین بهروزرسانی (Last modified): این فاکتور به گوگل اعلام میکند که صفحه مورد نظر در چه تاریخی دچار تغییر شده است.
صفحهای که در نقشه سایت ثبت شده وجود ندارد و با مراجعه به آن خطای 404 نمایش داده میشود. برای هر آدرس میتوان اطلاعات بیشتری علاوه بر 4 ویژگی ذکر شده ثبت کرد. هر خبری که کامنت بیشتری داشته باشد، بیشتر جلب توجه کرده و هنوز هم داغ است. فقط فراموش نکن من بارها در آموزش سئو وبین سئو گفتم که site map سایت مپ ات را هم داخل robots.txt به گوگل معرفی کن. در یک فروشگاه کالاهای تندمصرف مثل سوپرمارکت، کاربران به دنبال صفحاتی هستند که تعدادی زیادی از یک محصول را نشان دهد. جدول بالا اولویتبندی انواع صفحات در یک سایت خبری را نشان میدهد. فرستادن آگهی برای مردم که در مورد محتوای مشابهی که در آینده نشر میشود خبر میدهد. هرچقدر این عدد بزرگتر باشد صفحه مورد نظر شانس بیشتری برای قرارگیری در ابتدای صف ایندکس خواهد داشت. هر چه این عدد بزرگتر باشد یعنی اعتبار یک سایت بیشتر است .
تمام سایت های طراحی شده توسط “وب 24” به صورت اختصاصی سئو شده برای گوگل طراحی می شوند و نکات بسیار مهم طراحی سایت که در بهینه سازی سایت تاثیر گذار هستند در آنها رعایت می شود. استفاده از نقشه سایت تاثیر مستقیم بر رتبهبندی صفحات وب ندارد. در این بین توسعه دهندگان وب بین این دو نگرش هستند. Google اغلب از فایل نقشه سایت به عنوان راهنما برای صفحات موجود در وب سایت استفاده می کند. استفاده صحیح از تگ کنونیکال، ریدایرکت 301 و فایل Robots.txt هم میتواند فرآیند خزش رباتها در صفحات را تسریع کند. به این شکل است که با کمک بهینه سازی این تگها، یک محتوای سئو شده تهیه میکنیم که مورد پسند رباتهای گوگل هم هست و بهتر میتوانند متوجّه شوند که موضوع محتوای شما چیست و چه رنک و رتبه ای به آن اختصاص دهند. نرخ بهروزرسانی به تنهایی معنایی ندارد بلکه ربات گوگل با مقایسه آن در مقابل زمان آخرین بهروزرسانی میتواند تصمیم بهتری برای اولویتبندی صفحه بگیرد. آدرس صفحه در نقشه سایت هست (کد 200) ولی در این صفحه هیچ محتوای ارزشمندی دیده نمیشود و پیامی مبنی بر عدم وجود محتوا نمایش داده میشود. استفاده از تکنیک های سئو درجهت رضایت مشتریان و رعایت تمام قوانین و اصول در این مسیر را سئو کلاه سفید مینامند، ولی استفاده از ضعف موتورهای جستجو و تکنیکهای فریب آنها در کنار عدم اهمیت به رضایت بازدیدکنندگان را روش کلاه سیاه میشناسند.
در مرحله بعد توضیحات اضافی را مشاهده خواهید کرد. با کد display:none در ظاهر صفحه وب سر می زنند بررسی کنید و محتوا. وب سایت هایی ایجاد کنید که هم در دسکتاپ و هم در دستگاه های تلفن همراه سریع بارگیری شوند. برای درک بهتر هر کدام از اعداد مشخصشده در تصویر را با هم بررسی میکنیم. اگر آدرسی از سایت ما با یکی از خطاهای بالا مواجه شده است باید صفحه را بررسی کنیم، در صورتیکه خودمان دسترسی گوگل به صفحه را مسدود کردیم بهتر است آن آدرس را از نقشه سایت حذف کنیم و اگر این اتفاق به اشتباه رخ داده عاملی که مانع دسترسی گوگل شده را برطرف کنیم. با توجه به محبوبیت وردپرس در فضای وب، در این ویدیو 5 دقیقهای، با تنظیمات افزونه Google XML Sitemaps و منطق درست برای استفاده از امکانات آن آشنا میشویم. توجه کنید که وجود چنین خطاهایی بر رتبه سایر صفحات شما در نتایج جستجو تاثیر مستقیم نداشته و یک مشکل بزرگ محسوب نمیشود.
ثبت و معرفی این آدرس در گوگل به ما کمک میکند تا از ابزارهای تحلیلی و گزارشات تکمیلی در بخش Coverage بهرهمند شویم. آیکون نمودار که در گوشه پایین سمت راست دیده میشود، ما را مستقیماً به بخش Coverage متصل میکند که گزارش دقیقتری از وضعیت دسترسی و ایندکس رباتهای گوگل به هر صفحه از سایت ارائه میکند. Impression: هر بار که وبسایت شما در بین نتایج جستجو ظاهر میشود، برای وبسایت شما یک Impression محاسبه میشود که در آمار کلی تأثیر دارد. داشتن یک وبسایت واکنش گرا از بهترین فاکتور هایی شناخته میشود که بهبود رتبه وب سایت شما و همچنین ارتقا تجربه کاربری وبسایت شما کمک میکند. Yoast SEO یک قدرتمند برای بهبود SEO در سایت وردپرسی شما است. اگر مشکلی وجود داشته باشد، این ابزار راهکارهایی برای بهبود شرایط در اختیارتان قرار می دهد. جادو دقیقاً انتخاب کلمات کلیدی مناسب برای هدف قرار دادن و ساختن محتوا است. یا نشان دادن یک فرایند که به کسبوکار شما ارتباط دارد نیز پیشنهاد خوبی است؛ بهعنوانمثال فرض کنید یک لولهکش از فرِایند رفع مسدودیت یک سینک ویدیو تهیه میکند. در حقیقت ، مطالعه ای در یکی از حوزه ها نشان داد که CTR یا همان نرخ کلیک ارگانیک در جستجوی تلفن همراه از سال 2015 تقریبا حدود 41.4 درصد کاهش یافته است.
5. Status: وضعیت سایت مپ را نمایش میدهد. اما برای اینکه مخاطبتان سایت شما را ترک نکند، ترفند خوبی که میتوانید به کار بگیرید این است که در تنظیمات لینک، گزینهی باز شدن در پنجره جدید را بزنید. با اضافه شدن یک محتوای جدید یا تغییر در یکی از صفحات سایت باید نقشه سایت ما نیز بهروز شود در نتیجه مدیریت آن به صورت دستی تقریبا غیرممکن است. این بدان معنی است که جستجوگران سایت شما را پیدا نکرده و یا روی آن کلیک نمی کنند. گوگل و یا این که بقیه موتورهای جست وجو تعداد متعددی لینک و پیوند مطالب را در یکسری برگه برای شما به اکران میگذارد.
اگر طول محتوای شما کمتر از این مقدار باشد با رنگ قرمز به شما اخطار خواهد داد. شما می توانید استایل نقشه سایت را از میان استایل های پیش فرض، دایره ای و درختی انتخاب کنید و آنها را با استفاده از لوگو و رنگ های مدنظرتان شخصی سازی نمایید. در سایت مپ پایین گوگل به فایل ما دسترسی نداشته و به همین دلیل با رنگ قرمز عبارت Couldn’t fetch نوشته شده است. سیستمهای مدیریت محتوا مانند وردپرس افزونههای رایگان و متعددی برای ساخت خودکار نقشه سایت دارند ولی اگر CMS و سایت شما به صورت اختصاصی نوشته شده است، باید نقشه سایت را هم به صورت اختصاصی پیادهسازی کنید. البته در این حالت هنوز هم میتوانید لینکهای داخلی جدید را اندازهگیری کنید اما حجم زیادی از ترافیکی را که باید ردیابی میکردید از دست دادهاید.
در ادامه با بعضی از اقدامات کارشناسان سئو سایت در بخش سئو داخلی آشنا سایت reverse-seo میشویم. بعضی از موتورهای جستجو چندین عامل کاربری دارند. بعضی از وب سایتها برای دستگاههای متفاوت بهینهسازی میشوند، به این نوع وب سایت واکنشگرا یا ریسپانسور میگویند. فرض کنید وب سایت شما دارای یک وبلاگ است که ترافیک زیادی را به صفحه محصول یا خدمات هدایت می کند. پروتکل نقشه سایت کمک میکند تا مطمئن شوید که ربات های عنکبوتی وب در هنگام خزیدن یک وب سایت چیزی را از دست نمیدهند، اما رباتها همچنان روند خزیدن معمول خود را دنبال میکنند. شرکت های و افراد مرتبط با سئو به شما کمک می کنند تا بتوانید وب سایت خود را در از جنبه های مختلف بهینه کنید. ولی حقیقت این است که این اشتباه در بسیاری از سایت های شرکت های طراحی سایت نیز مشاهده میشود و این موضوع نشاندهنده آن است که بسیاری از کاربران حرفه ای سایت نیز به آن بی توجه بوده اند.
برای اینکه بهتر متوجه شوید به چند مورد از اقدامات فنی که در سئو تکنیکال صورت می گیرد به طور مختصر اشاره می کنیم: افزایش امنیت سایت، بهینه سازی ساختار سایت، کاهش استفاده از لینک های ناسالم و مخرب و… پیشنهاد میکنیم با مراجعه به صفحه کارگاه و تهیه ویدیو به صورت کامل با نقشه سایت آشنا شوید. بخش زیادی از اطلاعات و مثالهای ارائهشده در این مقاله از کارگاه آموزش گوگل سرچ کنسول آکادمی وبسیما جمعآوری شده است. در کارگاه سرچ کنسول مثالهای متعددی برای درک بهتر نقشه سایت بررسی میشود. 3. Submitted: تاریخ معرفی و ثبت این سایت مپ را در گوگل سرچ کنسول نمایش میدهد.
استفاده از تگ تایتل، توضیحات متا دیسکریپشن، لینک سازی داخلی، استفاده از متن جایگزین (alt) برای تصاویر، هاست معتبر، تولید محتوای باکیفیت، استفاده از کلمات کلیدی در هدینگ ها، وجود کلمه کلیدی در URL، حفظ چگالی کلمات کلیدی از مهم ترین تکنیک های سئو داخلی هستند. این کار چگالی کلمه کلیدی نامیده میشد. در نسخه پیشین گوگل سرچ کنسول در صورتیکه هر کدام از آدرسهای موجود (URL صفحات) در سایت مپ ایرادی داشتند در همین بخش نمایش داده میشد اما در حال حاضر تمامی این خطاها به بخش Coverage منتقل شده است. در صورتیکه این اولویت با سیگنالهای دیگری مانند فایل robots.txt، ریدایرکت 301، تگ کنونیکال و تگ noindex در تناقض باشند، بخش Coverage در سرچ کنسول به ما اعلام خواهد کرد. آدرس صفحه در نقشه سایت به گوگل معرفی شده ولی زمانی که رباتهای گوگل به آن مراجعه میکنند با تگ (meta) با مقدار noindex مواجه شده و امکان دسترسی به محتوا را ندارند.
هر چه نتیجه بزرگتر باشد، احتمال بیشتری وجود دارد که تغییر شما پشت آن باشد. این ابزار از مهمترین ابزارها محسوب میشود و از همین جهت توصیه میشود آموزشهای لازم در رابطه با آن را ببینید. بنابراین توصیه من به شما این است که ابتدا بدنه مطلب را کامل بنویسید، سپس سعی کنید یک مقدمه فوق العاده جذاب برای آن بنویسید، به طوری که خواننده را مجاب به خواندن ادامه محتوا کند. پیش از آن که بخواهید کاری انجام دهید، باید ببینید که نیاز کاربران چیست و چگونه باید به آن پاسخ دهید! این یعنی تولید نسخه ویدئویی از محتوایتان و بارگذاری آن در یوتیوب به شما کمک میکند بازدیدکنندگان جدیدی را هدف قرار دهید. ما سایت مپ را برای درک بهتر رباتهای گوگل از صفحات و مدیریت بودجه خزش طراحی میکنیم، بنابراین باید از دسترسی گوگل به آن مطمئن شویم.
این فایل بر مدیریت بودجه خزش و سرعت ایندکس یا بهروزرسانی صفحات تاثیرگذار است و البته تا زمانی که صفحات ما ایندکس نشوند هیچ شانسی برای حضور در نتایج جستجو ندارند. این خودش میتونه گوگل رو گمراه بکنه و باعث میشه گوگل فک کنه ادم های مختلفی از سیستم های مختلفی در مورد کلمه کلیدی های مختلفی سرچ می کنند در مرحله دوم باید در نظر داشته باشید، به ویژه اوایل کار که کلمات کلیدی که سایت شما تو اون کلمات کلیدی تو صفحه اول یا حتی در رتبه اول قرار داره رو انتخاب بکنید تا اینطوری سئو سایت شما اوایل رشد بکنه و از طرفی گوگل هم کار شمارو منطقی در نظر بگیره، یعنی پیش خودش بگه خب چندین کاربر مختلف دارن یه سری کلمات کلیدی رو سرچ میزنن و در نتایج جست جو روی سایتی کلیک میکنن که در رتبه های بالا قرار داره و این کار کاملا منطقیه. اما اخبار جنجالی هم کم نیستند. ما دوست داریم که اخبار تازه در کمترین زمان ممکن ایندکس شوند به همین دلیل اولویت ایندکس اخبار را بالاتر از دستهبندی و برچسب قرار دادهایم. در نتیجه کمترین اولویت را برای این صفحات در نظر گرفته و نرخ بهروزرسانی را ماهانه تعیین کردیم.