خزنده موتور جستجو یک ربات اینترنتی است که به طور سیستماتیک وب جهانی را به منظور ایجاد فهرستی از داده ها مرور می کند. همچنین به عنوان خزنده وب یا عنکبوت موتور جستجو شناخته می شود.
خزنده موتور جستجو چیست؟
این ربات‌های اینترنتی علاوه بر انجام یک خزیدن اولیه سایت که صفحات را فهرست‌بندی می‌کند، گاهی اوقات صفحات را برای بررسی به‌روزرسانی‌ها نیز بازبینی می‌کنند. خزنده های موتورهای جستجو برای خزیدن هر صفحه در اینترنت برنامه ریزی نشده اند. با این حال، تعداد لینک‌هایی که به یک صفحه منتهی می‌شوند، میزان ترافیکی که یک صفحه دریافت می‌کند، تعداد دفعات تغییر محتوا و عوامل بی‌شماری دیگر، فرکانس خزیدن و بودجه هر وب‌سایت را تعیین می‌کند.
