در زیر، قانون نمونهای است که میتوانید به فایل robots.txt خود اضافه کنید تا از خزیدن SemrushBot در سایت شما برای ساختن نمودار وب لینکهایی که در ابزار Backlink Analytics گزارش میشوند، جلوگیری کند:
SemrushBot یک خزنده وب است که داده های وب سایت را برای پایگاه داده Semrush جمع آوری و نمایه می کند. داده های جمع آوری شده توسط SemrushBot برای ارائه اطلاعات به روز برای نمایه بک لینک و انواع ابزارهای سئو و تحلیل بازاریابی در نرم افزار Semrush استفاده می شود.
فرآیند خزیدن برای SemrushBot با خزیدن ربات در یک وب سایت و ایجاد لیستی از لینک ها در هر صفحه وب برای استفاده برای خزیدن بیشتر شروع می شود. Semrush به این لیست به عنوان “مرز خزیدن” اشاره می کند، که به طور مکرر توسط SemrushBot برای کشف صفحات وب جدید، لینک های مرده و به روز رسانی محتوا بازدید می شود.
اگر می خواهید از دسترسی سایر ابزارهای نرم افزار Semrush به وب سایت خود جلوگیری کنید، این راهنمای دیگر در مورد نحوه مسدود کردن SemrushBot را ببینید. این شامل فهرست کامل قوانینی است که میتوانید آنها را کپی و در فایل robots.txt وبسایت خود جایگذاری کنید تا مانع از خزیدن همه User-Agents در سایت شما شود.
SemrushBot فقط با افزودن قوانین خاص به فایل robots.txt می تواند از خزیدن وب سایت شما جلوگیری کند. شما نمی توانید از دسترسی SemrushBot به وب سایت خود از طریق آدرس های IP جلوگیری کنید زیرا از بلوک های IP متوالی استفاده نمی کند.
فرکانس خزیدن SemrushBot را می توان با تعیین حداقل تاخیر قابل قبول بین دو درخواست متوالی در فایل robots.txt با استفاده از این نشانه گذاری تغییر داد:
این راهنما SemrushBot را توضیح می دهد.
بر اساس محدودیت نرخ خزیدن و تقاضایی که به وبسایت اختصاص میدهد، SemrushBot تعداد متفاوتی از صفحات وب را در بازههای زمانی تعیینشده در طول هر بازدید میخزد تا دادههای پیوند را با توجه به بار سرور فعلی دریافت کند. می توان به خزنده SemrushBot دستور داد که بین درخواست های یک وب سایت تا 10 ثانیه فواصل داشته باشد. مقادیر بالاتر به این حد 10 ثانیه کاهش می یابد.
بر اساس گزارش ترافیک ربات Imperva IncapsulaSemrushBot یکی از فعال ترین عنکبوت های وب است که توسط شرکت های تجاری برای خزیدن وب سایت ها و بازیابی اطلاعات برای اهداف بازاریابی دیجیتال استفاده می شود. SemrushBot به طور مداوم برای خزیدن در وب کار می کند تا به بازاریابان آنلاین بینش بهتری نسبت به عواملی که بر الگوریتم های فهرست بندی و رتبه بندی موتورهای جستجو تأثیر می گذارند ارائه دهد تا کاربران بتوانند وب سایت ها و کمپین های SEO خود را بهتر بهینه کنند.
ابزارهای ارائه شده توسط SemrushBot
توجه: SemrushBot فقط میتواند تا 10 ثانیه بین درخواستهای یک وبسایت فاصله داشته باشد. هر مقدار Crawl-Delay که بیش از 10 ثانیه اختصاص داده شود تا این حد کاهش می یابد.
مسدود کردن SemrushBot از وب سایت شما
استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 شیفته سئو شده است. هدف استفان این است که بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو را به اشتراک بگذارد تا بتوانید ترافیک بیشتری را برای وب سایت خود به دست آورید.
