AhrefsBot: چیست و چگونه کار می کند
انتشار: بهمن 28، 1401
بروزرسانی: 18 تیر 1404

AhrefsBot: چیست و چگونه کار می کند

User-agent: AhrefsBotCrawl-Delay: [value]

ارائه بهترین نکات سئو ...



منبع: https://seochatter.com/ahrefsbot/

AhrefsBot همیشه به دستورالعمل Disallow احترام می گذارد که به عنکبوت دستور می دهد تا وب سایت را نخزد و AhrefsBot را از ذخیره داده های پیوند در مورد وب سایت در پایگاه داده خود جلوگیری می کند. آن را برای کاربران Ahrefs از دسترس خارج می کند. با این حال، اگر این یک تغییر جدید در فایل robots.txt شما باشد، AhrefsBot برای دریافت دستورالعمل Disallow به زمان نیاز دارد. پس از کشف، AhfefsBot دستورالعمل Disallow را در طول خزیدن برنامه ریزی شده بعدی رعایت می کند.

اگر از Cloudflare استفاده می کنید، AhrefsBot ممکن است توسط فایروال Cloudflare مسدود شود. می توانید از محدوده های IP بالا یا آدرس های IP منفرد زیر استفاده کنید تا با افزودن آنها به لیست سفید دیوار آتش، محدودیت ها را برطرف کنید.

AhrefsBot هر 24 ساعت بیش از 6 میلیارد صفحه وب را می خزد و فهرست پیوندها را هر 15 تا 30 دقیقه به روز می کند. از یک فرآیند الگوریتمی برای تعیین بودجه خزیدن برای هر وب سایت استفاده می کند. بر اساس محدودیت نرخ خزیدن و تقاضایی که به وب سایت اختصاص می دهد، AhrefsBot تعداد متفاوتی از صفحات وب را در طول هر بازدید برای واکشی داده های پیوند می خزد.

لطفا جاوا اسکریپت را فعال کنید

AhrefsBot چیست؟

امیدوارم از این راهنما در AhrefsBot لذت برده باشید.

AhrefsBot یک ربات خوب برای اهداف بازاریابی است که از قوانین robots.txt و دستورالعمل های Crawl-Delay با User-Agent String پیروی می کند: Mozilla/5.0 (سازگار؛ AhrefsBot/7.0؛ +http://ahrefs.com/robot/) .

AhrefsBot چگونه کار می کند؟

User-agent: AhrefsBotDisallow: /

AhrefsBot یک خزنده وب است که پایگاه داده پیوند را برای مجموعه ابزار بازاریابی دیجیتال Ahrefs گردآوری و فهرست می کند. AhrefsBot وب را می خزد تا پایگاه داده پیوندها را با پیوندهای جدید پر کند و وضعیت پیوندهای موجود را بررسی می کند تا داده های به روز را برای کاربران Ahrefs فراهم کند.

فرکانس خزیدن AhrefsBot را می توان با تعیین حداقل تاخیر قابل قبول بین دو درخواست متوالی در فایل robots.txt با استفاده از این نشانه گذاری تغییر داد:

AhrefsBot همچنین برنامه ریزی شده است تا وب سایت را خیلی سریع خزید تا از بارگذاری بیش از حد آن جلوگیری کند، که می تواند منجر به مهلت زمانی و خطاهای سرور شود. همچنین هیچ اطلاعاتی در مورد وب سایت هایی که تجزیه و تحلیل می کند جمع آوری یا ذخیره نمی کند. همچنین AhrefsBot بازدیدهای تبلیغاتی را فعال نمی کند یا به عنوان ترافیک بازدیدکننده در Google Analytics نشان داده نمی شود.

این راهنما AhrefsBot را توضیح می دهد.

در زیر، AhrefsBot چیست، چگونه کار می کند و راه هایی برای کنترل این خزنده وب در وب سایت خود با استفاده از دستورالعمل هایی که ربات از آنها تبعیت می کند، خواهید یافت.

AhrefsBot می تواند توسط فایل robots.txt وب سایت شما کنترل شود تا فرکانس بازدید خزنده از وب سایت شما را تغییر دهد و آن را به طور کامل از خزیدن پیوندها در دامنه شما مسدود کند.