User-agent: AhrefsBot
Crawl-Delay: [value]
ارائه بهترین نکات سئو …
User-agent: AhrefsBot
Crawl-Delay: [value]
ارائه بهترین نکات سئو …
بر اساس گزارش ترافیک ربات Imperva IncapsulaAhrefsBot یکی از فعال ترین عنکبوت های وب است که توسط شرکت های تجاری برای خزیدن وب سایت ها و بازیابی اطلاعات برای اهداف بازاریابی دیجیتال استفاده می شود. AhrefsBot به طور مداوم کار می کند تا به بازاریابان آنلاین بینش بهتری نسبت به الگوریتم های نمایه سازی و رتبه بندی موتورهای جستجو مانند گوگل، یاهو و بینگ بدهد تا بتوانند وب سایت ها و کمپین های SEO خود را بهتر بهینه کنند.
51.222.253.0
51.222.253.1
51.222.253.2
51.222.253.3
51.222.253.4
51.222.253.5
51.222.253.6
51.222.253.7
51.222.253.8
51.222.253.9
51.222.253.10
51.222.253.11
51.222.253.12
51.222.253.13
51.222.253.14
51.222.253.15
51.222.253.16
51.222.253.17
51.222.253.18
51.222.253.19
51.222.253.20
51.222.253.21
51.222.253.22
51.222.253.23
51.222.253.24
51.222.253.25
51.222.253.26
51.222.253.27
51.222.253.28
51.222.253.29
51.222.253.30
51.222.253.31
51.222.253.32
51.222.253.33
51.222.253.34
51.222.253.35
51.222.253.36
51.222.253.37
51.222.253.38
51.222.253.39
51.222.253.40
51.222.253.41
51.222.253.42
51.222.253.43
51.222.253.44
51.222.253.45
51.222.253.46
51.222.253.47
51.222.253.48
51.222.253.49
51.222.253.50
51.222.253.51
51.222.253.52
51.222.253.53
51.222.253.54
51.222.253.55
51.222.253.56
51.222.253.57
51.222.253.58
51.222.253.59
51.222.253.60
51.222.253.61
51.222.253.62
51.222.253.63
استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 مجذوب سئو شده است. هدف استفان به اشتراک گذاشتن بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو است تا به شما کمک کند ترافیک وب سایت بیشتری داشته باشید.
منبع: https://seochatter.com/ahrefsbot/
AhrefsBot همیشه به دستورالعمل Disallow احترام می گذارد که به عنکبوت دستور می دهد تا وب سایت را نخزد و AhrefsBot را از ذخیره داده های پیوند در مورد وب سایت در پایگاه داده خود جلوگیری می کند. آن را برای کاربران Ahrefs از دسترس خارج می کند. با این حال، اگر این یک تغییر جدید در فایل robots.txt شما باشد، AhrefsBot برای دریافت دستورالعمل Disallow به زمان نیاز دارد. پس از کشف، AhfefsBot دستورالعمل Disallow را در طول خزیدن برنامه ریزی شده بعدی رعایت می کند.
اگر از Cloudflare استفاده می کنید، AhrefsBot ممکن است توسط فایروال Cloudflare مسدود شود. میتوانید از محدودههای IP بالا یا آدرسهای IP منفرد زیر استفاده کنید تا با افزودن آنها به لیست سفید دیوار آتش، محدودیتها را برطرف کنید.
AhrefsBot هر 24 ساعت بیش از 6 میلیارد صفحه وب را می خزد و فهرست پیوندها را هر 15 تا 30 دقیقه به روز می کند. از یک فرآیند الگوریتمی برای تعیین بودجه خزیدن برای هر وب سایت استفاده می کند. بر اساس محدودیت نرخ خزیدن و تقاضایی که به وبسایت اختصاص میدهد، AhrefsBot تعداد متفاوتی از صفحات وب را در طول هر بازدید برای واکشی دادههای پیوند میخزد.
لطفا جاوا اسکریپت را فعال کنید
امیدوارم از این راهنما در AhrefsBot لذت برده باشید.
AhrefsBot یک ربات خوب برای اهداف بازاریابی است که از قوانین robots.txt و دستورالعملهای Crawl-Delay با User-Agent String پیروی میکند: Mozilla/5.0 (سازگار؛ AhrefsBot/7.0؛ +http://ahrefs.com/robot/) .
User-agent: AhrefsBot
Disallow: /
AhrefsBot یک خزنده وب است که پایگاه داده پیوند را برای مجموعه ابزار بازاریابی دیجیتال Ahrefs گردآوری و فهرست می کند. AhrefsBot وب را می خزد تا پایگاه داده پیوندها را با پیوندهای جدید پر کند و وضعیت پیوندهای موجود را بررسی می کند تا داده های به روز را برای کاربران Ahrefs فراهم کند.
فرکانس خزیدن AhrefsBot را می توان با تعیین حداقل تاخیر قابل قبول بین دو درخواست متوالی در فایل robots.txt با استفاده از این نشانه گذاری تغییر داد:
AhrefsBot همچنین برنامه ریزی شده است تا وب سایت را خیلی سریع خزید تا از بارگذاری بیش از حد آن جلوگیری کند، که می تواند منجر به مهلت زمانی و خطاهای سرور شود. همچنین هیچ اطلاعاتی در مورد وب سایت هایی که تجزیه و تحلیل می کند جمع آوری یا ذخیره نمی کند. همچنین AhrefsBot بازدیدهای تبلیغاتی را فعال نمی کند یا به عنوان ترافیک بازدیدکننده در Google Analytics نشان داده نمی شود.
این راهنما AhrefsBot را توضیح می دهد.
در زیر، AhrefsBot چیست، چگونه کار میکند و راههایی برای کنترل این خزنده وب در وبسایت خود با استفاده از دستورالعملهایی که ربات از آنها تبعیت میکند، خواهید یافت.