كرال باجت چيست? و ايا سئو كاران بايد از اين بابت نگران باشند؟

بودجه خزیدن سرعت و تعداد صفحاتی است که یک موتور جستجو می خواهد در سایت شما جستجو کند. مقدار منابعی که خزنده می خواهد در سایت شما استفاده کند و میزان خزشی که سرور شما پشتیبانی می کند ، تحت تأثیر قرار می گیرد.چه زمانی باید نگران بودجه خزیدن باشید؟معمولاً لازم نیست نگران بودجه خزیدن در صفحات محبوب باشید. معمولاً این صفحات جدیدتر هستند ، پیوند خوبی ندارند ، یا تغییر زیادی نمی کنند که غالباً خزیده نمی شوند.بودجه خزیدن می تواند نگران کننده سایت های جدیدتر باشد ، به خصوص سایت هایی که صفحات زیادی دارند. سرور شما ممکن است بتواند از خزیدن بیشتر پشتیبانی کند ، اما از آنجا که سایت شما جدید است و احتمالاً هنوز محبوبیت چندانی ندارد ، یک موتور جستجو ممکن است خیلی مایل به جستجوی سایت شما نباشد. این بیشتر قطع ارتباط با انتظارات است. شما می خواهید صفحات شما خزنده و نمایه شوند اما Google نمی داند که آیا ارزش ایندکس شدن صفحات شما را دارد یا خیر ممکن است بخواهد به همان تعداد صفحه ای که می خواهید خز شود. بودجه خزیدن همچنین می تواند نگران کننده سایتهای بزرگتر با میلیون ها صفحه یا سایتهایی باشد که مرتباً به روز می شوند. به طور کلی ، اگر صفحات زیادی به تعداد دلخواه شما خزیده یا به روز نمی شوند ، ممکن است بخواهید سرعت خزیدن را افزایش دهید.نحوه بررسی فعالیت خزش:اگر می خواهید مروری بر فعالیت خزیدن Google و هر مشکلی که آنها شناسایی کرده اند ، بهترین مکان برای جستجو گزارش Crawl Stats در Google Search Console است.چه چیزی در بودجه خزیدن حساب می شود؟همه URL ها و درخواست ها در بودجه خزیدن شما حساب می شوند. این شامل URL های جایگزین مانند AMP یا صفحات m dot ، hreflang ، CSS و JavaScript از جمله درخواست های XHR است.همچنین چندین Googlebots وجود دارد که بودجه خزیدن را به اشتراک می گذارند. می توانید لیستی از Googlebots مختلف که در وب سایت شما خزنده هستند را در گزارش Crawl Stats در GSC بیابید.نحوه خزیدن کرالر های گوگل:بودجه خزش برای هر وب سایت متفاوت است که از چند ورودی مختلف تشکیل شده است.تقاضای crawlتقاضای Crawl این است که گوگل چقدر می‌خواهد در وب سایت شما بخزد . صفحات و صفحات محبوب بیشتری که تجربه تغییرات قابل‌توجهی را تجربه می‌کنند ، بیش از پیش به دست خواهند آمد .صفحات پرطرفدار یا آنهایی که پیوند بیشتری به آنها دارند ، عموماً نسبت به سایر صفحات اولویت خواهند داشت. به یاد داشته باشید که Google باید صفحات شما را به طریقی برای خزیدن در اولویت قرار دهد و پیوندها راهی آسان برای تعیین محبوبیت بیشتر صفحات سایت شما هستند. هرچند فقط سایت شما نیست ، بلکه همه صفحات موجود در همه سایتهای اینترنت است که Google باید نحوه اولویت بندی آنها را بفهمد.یک گزارشی در site explorer به شما داده میشود که مشخص میکند کدام صفحات بیشتر خزیده می شوند. همچنین به شما نشان می دهد آخرین بار Ahrefs چگونه صفحات شما را خزیده است.محدوده نرخ Crawlمیزان نرخ Crawl این است که چگونه وب سایت شما تا چه حد در حال خزیدن است . وب سایت‌هایی مقدار مشخصی از خزیدن را دارند قبل از اینکه مشکلی با ثبات سرور مانند خطا یا خطا داشته باشند . اکثر crawlers اگر شروع به دیدن این مسائل کنند به خزیدن ادامه خواهند داد تا به سایت آسیب نزنند .گوگل براساس سلامت خزیدن وب سایت خود را تنظیم می‌کند . اگر سایت با خزیدن بیشتر خوب است ، آنگاه محدوده افزایش خواهد یافت . اگر سایت دارای مشکل باشد ، گوگل سرعت آن را کاهش خواهد داد .راه های سریعتر خزیدن گوگل:1) سرور خود را افزایش دهیدنحوه خزیدن صفحات Google اساساً بارگیری منابع و سپس پردازش آنها در انتهای آنها است. سرعت صفحه شما همانطور که کاربر درک می کند کاملاً یکسان نیست. آنچه در بودجه خزیدن تأثیر خواهد گذاشت این است که Google با چه سرعتی می تواند منابعی را متصل و بارگیری کند که ارتباط بیشتری با سرور و منابع دارد.2)لینک های داخلی و خارجی:برای اینکه نرخ خزش را افزایش دهیم باید لینک سازی داخلی و لینک سازی خارجی را بهتر کنیم و وقتی لینک سازی خارجی بهتر بشه باعث میشه سایت را بیشتر ببینه و از نظر داخلی هم صفحه این نداشته باشیم که هیچونه لینک سازی داخلی نداشته باشیم و بتونه بهترین لینک ها را بر اسای نیاز کاربر و ساختار سایت داشته باشیم3)کاهش خطای 404 وریدایرکت 301 :هنگامی که کرالر گوگل وارد سایت شده و با خطاهای 301و404 مواجه میگردد وقت خود را هدر داده و این زمان میتوانست جایگزین صفحات مهم تر شود بنابراین یکی از راه های بهبود بودجه خزش وب سایت جلوگیری از این خطاهااست.4)صفحاتorphan page شناسايي و حذف شوندمحتواهای ضعیف هیچ سودی برای وب سایت ندارد و سبب هدر رفتن بودجه خزش وب سایت میشودپس بهتر است برای بهبود بودجه خزش صفحاتی که محتوای ضعیف را حذف کنید یکی از راه های شناسایی این صفحات در سیستم های مدیریت محتوا از تگ هایی استفاده میگردد که باعث ایجاد orphan page میشود5)نقشه سایت خود را به روز کنیدهنگامی که صفحه ای را در وب سایت خود حذف میکنید انرا از سایت مپ حذف کنید زیرا یکی از راه ها نقشه سایت که گوگل برای مشاهده استفاده میکند برای مثال زمانی که تگ خود را حذف میکنید باید مراحل زیر را انجام دهید 1)استاتوس کد صفحه را به 410 تغییر دهیم2)تگ را حذف میکنیم 3)مطمعن میشویم که در نقشه سایت این صفحه موجود نیست 4)تمامی لینک های داخلی به این صفحه را حذف میکنیم.