تعریف و معنی خزنده موتور جستجو – سئو چتر

خزنده موتور جستجو چیست؟

این ربات‌های اینترنتی علاوه بر انجام یک خزیدن اولیه سایت که صفحات را فهرست‌بندی می‌کند، گاهی اوقات صفحات را برای بررسی به‌روزرسانی‌ها نیز بازبینی می‌کنند. خزنده های موتورهای جستجو برای خزیدن هر صفحه در اینترنت برنامه ریزی نشده اند. با این حال، تعداد لینک‌هایی که به یک صفحه منتهی می‌شوند، میزان ترافیکی که یک صفحه دریافت می‌کند، تعداد دفعات تغییر محتوا و عوامل بی‌شماری دیگر، فرکانس خزیدن و بودجه هر وب‌سایت را تعیین می‌کند.

خزنده موتور جستجو یک ربات اینترنتی است که به طور سیستماتیک وب جهانی را به منظور ایجاد فهرستی از داده ها مرور می کند. همچنین به عنوان خزنده وب یا عنکبوت موتور جستجو شناخته می شود.

صاحبان وب سایت حق دارند با تنظیم قوانین در فایل robot.txt دامنه، از دسترسی خزنده به صفحات و دایرکتوری های خاص خودداری کنند.

به واژه نامه SEO مراجعه کنید