SemrushBot یک خزنده وب است که داده های وب سایت را برای پایگاه داده Semrush جمع آوری و نمایه می کند. داده های جمع آوری شده توسط SemrushBot برای ارائه اطلاعات به روز برای نمایه بک لینک و انواع ابزارهای سئو و تحلیل بازاریابی در نرم افزار Semrush استفاده می شود.
اگر می‌خواهید از خزیدن آن ربات در وب‌سایت خود جلوگیری کنید، می‌توانید از این آموزش مرتبط در مورد نحوه مسدود کردن AhrefsBot نیز دیدن کنید. یا این راهنمای مقدماتی را در AhrefsBot بخوانید تا بدانید چگونه کار می کند.
توجه: SemrushBot فقط می‌تواند تا 10 ثانیه بین درخواست‌های یک وب‌سایت فاصله داشته باشد. هر مقدار Crawl-Delay که بیش از 10 ثانیه اختصاص داده شود تا این حد کاهش می یابد.
مسدود کردن SemrushBot از وب سایت شما
تغییر فرکانس Crawl SemrushBot
فرکانس خزیدن SemrushBot را می توان با تعیین حداقل تاخیر قابل قبول بین دو درخواست متوالی در فایل robots.txt با استفاده از این نشانه گذاری تغییر داد:
بر اساس محدودیت نرخ خزیدن و تقاضایی که به وب‌سایت اختصاص می‌دهد، SemrushBot تعداد متفاوتی از صفحات وب را در بازه‌های زمانی تعیین‌شده در طول هر بازدید می‌خزد تا داده‌های پیوند را با توجه به بار سرور فعلی دریافت کند. می توان به خزنده SemrushBot دستور داد که بین درخواست های یک وب سایت تا 10 ثانیه فواصل داشته باشد. مقادیر بالاتر به این حد 10 ثانیه کاهش می یابد.
SemrushBot با بازدید خودکار از صفحات وب در دسترس عموم برای کشف و جمع آوری داده های وب جدید و به روز شده کار می کند. فرآیند خزیدن صفحات وب، SemrushBot را قادر می سازد تا URL های جدید و پیوندهای مرده را در اینترنت پیدا کند تا پایگاه داده خود را با داده های پیوند تازه نگه دارد.
User-agent: SemrushBot
Crawl-Delay: [value]SemrushBot برنامه ریزی شده است تا وب سایت را خیلی سریع خزید تا از بارگذاری بیش از حد آن جلوگیری کند، که می تواند منجر به مهلت زمانی و خطاهای سرور شود. SemrushBot همچنین بازدیدهای تبلیغاتی را فعال نمی کند یا به عنوان ترافیک بازدیدکننده در Google Analytics نشان داده نمی شود.
داده های جمع آوری شده توسط SemrushBot برای تامین قدرت ابزارهای زیر در نرم افزار Semrush استفاده می شود:
- تجزیه و تحلیل بک لینک
- حسابرسی بک لینک
- لینک بیلدینگ
- ممیزی سایت
- تحلیلگر محتوا
- دستیار نگارش SEO
- ردیابی پست
- جستجوگر سئوی صفحه
- قالب محتوای سئو
- طرح کلی محتوا
- تحقیق موضوعی
- SplitSignal
این راهنما SemrushBot را توضیح می دهد.
فرآیند خزیدن برای SemrushBot با خزیدن ربات در یک وب سایت و ایجاد لیستی از لینک ها در هر صفحه وب برای استفاده برای خزیدن بیشتر شروع می شود. Semrush به این لیست به عنوان “مرز خزیدن” اشاره می کند، که به طور مکرر توسط SemrushBot برای کشف صفحات وب جدید، لینک های مرده و به روز رسانی محتوا بازدید می شود.
استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 شیفته سئو شده است. هدف استفان این است که بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو را به اشتراک بگذارد تا بتوانید ترافیک بیشتری را برای وب سایت خود به دست آورید.
