منبع: https://seochatter.com/search-engine-spider-definition/خزنده ها را عنکبوت می نامند زیرا آنها در اینترنت به همان روشی که عنکبوت ها روی تارهای خود می خزندند می خزند. این ربات ها تمام داده هایی را که در یک صفحه وب پیدا می کنند، از جمله متن، متا تگ ها، تصاویر، ویدیوها و لینک ها تجزیه و تحلیل می کنند.
عنکبوت های موتورهای جستجو بین 40 تا 70 درصد از صفحات اینترنت را می خزند، زیرا برای تمرکز روی صفحاتی با قدرت بالا برنامه ریزی شده اند و هر روز محتوای جدیدی منتشر می شود که کشف نشده است. موتورهای جستجو معمولاً عنکبوت ها را برنامه ریزی می کنند تا در حالت های مختلف کار کنند، بنابراین ربات از یک حالت برای صف بندی صفحات در انتظار بررسی و دیگری برای افزودن صفحه به پایگاه داده استفاده می کند.
لطفا جاوا اسکریپت را فعال کنید
برای یافتن اصطلاحات و تعاریف بیشتر مرتبط با زمینه بهینه سازی موتورهای جستجو، به واژه نامه SEO مراجعه کنید.
