عنکبوت‌های موتورهای جستجو بین 40 تا 70 درصد از صفحات اینترنت را می‌خزند، زیرا برای تمرکز روی صفحاتی با قدرت بالا برنامه‌ریزی شده‌اند و هر روز محتوای جدیدی منتشر می‌شود که کشف نشده است. موتورهای جستجو معمولاً عنکبوت‌ها را برنامه‌ریزی می‌کنند تا در حالت‌های مختلف کار کنند، بنابراین ربات از یک حالت برای صف‌بندی صفحات در انتظار بررسی و دیگری برای افزودن صفحه به پایگاه داده استفاده می‌کند.
خزنده ها را عنکبوت می نامند زیرا آنها در اینترنت به همان روشی که عنکبوت ها روی تارهای خود می خزندند می خزند. این ربات‌ها تمام داده‌هایی را که در یک صفحه وب پیدا می‌کنند، از جمله متن، متا تگ‌ها، تصاویر، ویدیوها و لینک‌ها تجزیه و تحلیل می‌کنند.
عنکبوت‌های موتورهای جستجو از عوامل مختلفی برای اختصاص بودجه خزیدن به هر وب‌سایت استفاده می‌کنند، که ارزیابی می‌کند چه تعداد از صفحات وب باید خزیده شوند و هر چند وقت یک‌بار باید صفحه‌ای را که قبلاً خزیده شده است، بازبینی کنند.
از واژه نامه SEO بازدید کنید
لطفا جاوا اسکریپت را فعال کنید
اسپایدر موتور جستجو چیست؟
استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 مجذوب سئو شده است. هدف استفان به اشتراک گذاشتن بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو است تا به شما کمک کند ترافیک وب سایت بیشتری داشته باشید.
