بررسی آپدیت سرچ کنسول با تمرکز بر crawl stats

سلام دوستان امیدوارم روزگار خوبی رو سپری کنید گوگل دیروز یک آپدیت روی سرچ کنسول ارائه کرد که تمرکز اصلی این اپدیت روی گزارش وضعیت خزش (crawl sate) وبسایت است. در این مطلب یکم روی این گزارش عمیق می شیم و بررسی می کنیم که چه اطلاعاتی میشه از روی این گزارش بدست آورد.تصویر زیر گزارش crawl stats قدیمی سرچ کنسول هستشنمایی از گراش crawl satats سرچ کنسولمسیر crawl stats جدید :برای پیدا کردن وضعیت کرال در سرچ کنسول به بخش تنظیمات property مراجعه و بعد روی آیتم crawl stats کلیک کنید.هدف از بررسی این گزارش برای وبمستر ها و سئوکار ها بهینه سازی crawl budget اونهاست ، اینکه کرال باجت چی هست و چرا باید بهینه سازی بشه بحث تخصصی هست و در اسکوپ این مقاله نمی گنجه . اگر وبسایت کوچکی دارید احتمالا اونقدری درگیر این مسئله نمی شین ولی اگر روی یه وبسایت در اسکیل متوسط یا بزرگ کار میکنید ، خوبه که عمیق بشید در این زمینه و مقاله های زیر می تونه کمکتون بکنهکرال باجت چیست و چرا باید سئوکارها به آن اهمیت بدن؟ https://backlinko.com/hub/seo/crawl-budget خب بریم روی بحث اصلی مطلب:چه چیزی به گزارش جدید crawl stats اضافه شده؟هدف از این اپدیت این بوده که سئوکارها ، وبسمتر ها و توسعه دهنده ها ( اینها رول های متفاوتی هستن خدایی،گیر ندین ) مشکلات خزش وبسایت اشون رو بهتر بتونن متوجه بشن۱- دسته بندی تعداد ریکوئست ها بسته به ( کد ریسپانس ، نوع فایلی که کرال شده ، هدف از کرال و نوع ربات خزنده گوگل )۲- گزارشات تفصیلی از وضعیت هاست وبسایت۳ - مثال هایی از ادرس url که خزنده به اونها سر زده۴- گزارش های مقایسه ای برای وبسایت (وب سرویس) هایی که از چندتا هاست استفاده می کنندتصویر اول گزارش رو باهم بررسی می کنیمخب مشاهده می کنید که در بازه مشخص شده گوگل ۷۳۰ هزار ریکوئست ارسال کرده برای کرال صفحات وبسایت ۷.۹۸ بیلیون بایت (خیلی احمقانه است این مدل عددگذاری و باید یه فکری براش بکنه، خب بزن ۸ گیگا بایت) دانلود کردهمیانگین ریسپانس هم به ربات های خزنده حدود ۹۳۰ مگابایته (میدونم زیاده و تقریبا ۷ برابر چیزی هست که باید باشه)چطور گزارش crawl stas را تحلیل کنیم؟خب من چی می تونم بفهمم؟- وضعیت ریسپانس سرورم افتضاحه احتمالا کش سرور هام یا تنظیمات کش وضعیت خوبی نداره (بسته به ترافیک وبسایتم که حدود ۱۰ هزار بازدید روزانه است خیلی داره دانلود می کنه) گزارش وضعیت هاست :اگر روی هرکدوم از این لیست نمایش داده شده کلیک کنید نمودار وضعیت رو نمایش می ده که من برای یکی رو توضیح می دم۱- میگه که در ۹۰ روز گذشته مشکلی نبوده (خدا رو شکر) ۲- وضعیت DNS رزولوشن رو نمایش میده (چون دقیق نمی دونم چیه می تونم به فارسی سخت بگم چی هست که نمیگم و لینک میذارم) https://kb.webtrends.com/articles/Question/What-is-DNS-Resolution-1365448116431 ۳- وضعیت سرور رو نمایش میده که نرخ از دست رفتن ریکوئست های ربات گوگل چقدر بودهخب مشاهده می کنید در تاریخ ۱۱/۱۶/۲۰۲۰ من تقریبا ۰.۲ درصد از ریکوئست هام فیل شده که مایه بسی رنج و تاسف هستش - البته تا خط چین بالا که داره Acceptable fail rate رو نشون میده راه درازی هستیکی از نکاتی که باید رعایت کنید اینه که این همیشه نزدیک صفر باشه و هیچوقت فکر نزدیک شدن به اون خط چین رو نکنیدخب یکم اسکرول می کنیم پایین در این گزارش ریکوئست هایی که سمت سرور شما از طرف کرالر گوگل ارسال شده ، به صورت خیلی جذابی دسته بندی کردنطبق ریسپانس :اول باید بدونید که ریسپانس هدرهایی که سرور شما یا هر سرور دیگری روی این کره خاکی به هر ریکوئست برمیگردونه چی هست و داره چی میگه https://developer.mozilla.org/en-US/docs/Web/HTTP/Status روی هرکدوم از ایتم ها کلیک کنید گزارش مخصوص اون ریسپانس کد رو نمایش میده که تحلیلش مثل تحلیل جامع اول هستش (شبیه استاد کنکوریا شد) و در زیر اون هم لیست تعدادی از لینک هاییست که تحلیل کردهطبق نوع فایل :چه تعداد از ریکوئست هایی که ارسال شده برای کرال کردن فایل تایپ های مختلف بودهاحتمالا بخش عظیمی از ریکوئست ها برای کرال صفحات html هستن اگر وبسایت شما وردپرسی یا از CMS استفاده کرده باشیناگر Angular - vue - react استفاده کرده باشین و SSR فعال نباشه احتمالا وزن js و json فایل ها بیشتر از چیزی هستش که در تصویر این مطلب می بینید . طبق هدف (purpose ) : دیسکاوری :‌ این رو مطمئن نیستم در موردش ونیازمند این هست که گوگل یه داکیومنت بده ، ولی چیزی که من برداشت می کنم از مفهومش طبق بک لینک هایی که گرفتین میاد ببینه چی روی سایت شما منتشر شده و کرالش می کنه.خلاصه دنبال پیدا کردن چیزای جدید برای ایندکس هستشرفرش : از اسمش هم مشخص هست که برای بررسی و آپدیت صفحات قبلی شما کرالر درخواست داده و وضعیتش رو می تونید ببینیدطبق نوع ربات :خب همانطور که می دونید گوگل agent های مختلفی برای ربات هاش تعریف کرده که شما بتونید بهتر مدیریت کنید اونها رو اینکه چطوری مدیریتشون کنید هم بحثش در این اسکوپ نیست ولی حتما حتما حتما این لینک رو ببینید تا کاملا متوجه بشید https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers