پیدا کردن صفحات یتیم سایت با استفاده از نرم افزار screaming frog

حسین کماسی هستم، کارشناس سئو و توی این پست قصد دارم درمورد اهمیت صفحات یتیم یا همون orphan pages، تاثیرشون بر سئو سایت، نحوه پیدا کردنشون و چگونگی برطرف کردن مشکلشون صحبت کنم.صفحات یتیم یا همون orphan page، صفحاتی از سایت هستند که هیچ لینک داخلی به اونها داده نشده و به همین دلیل موتورهای جست و جو این صفحات رو خیلی سخت میتونن پیدا کنن.صفحات یتیم نمیتونن توی موتورهای جست و جو نتایج خوبی بگیرن چون کراولرها فقط از طریق سایت مپ یا لینک های خارجی میتونن اونها رو پیدا کنن و فقط کاربرهایی هم میتونن به این صفحات دسترسی داشته باشن که آدرس url اونها رو بدونن. آیا صفحات یتیم به سئو سایت ما آسیب میرسونن ؟به طور خلاصه بله اما اگه بخوام بیشتر توضیح بدم، گوگل دائما به دنبال پیدا کردن صفحات جدید و صفحاتی که آپدیت میشن هست و این صفحات رو از راه های مختلفی پیدا میکنه اما اصلی ترین منبعش، دنبال کردن لینک های خروجی از صفحاتیه که از قبل میشناسه.حالا فرض کنید شما صفحه جدیدی توی سایتتون ایجاد کردید و از قضا صفحه مهمی هم براتون هست. اگر این صفحه به سایت مپ اضافه نشه و لینکسازی هم براش انجام ندید، عملا اون صفحه هیچوقت ایندکس نخواهد شد چون اصلا گوگل از وجود اون بی خبره و از اون بدتر اینکه هیچ پیج رنکی هم به صفحه منتقل نمیشه.حالا که فهمیدیم صفحات یتیم چه مشکل جدی هستن، چطور پیداشون کنیم؟یکی از روشهای راحت و بی دردسر استفاده از نرم افزار محبوب اسکریمینگ فراگ هست.روش کار اسکریمینگ فراگ برای پیدا کردن صفحات یتیم به این صورته که کل سایت رو کراول میکنه و تمام صفحاتی که میشه از طریق لینکهای داخلی پیدا کرد رو ذخیر میکنه و بعد لینکهایی که پیدا کرده رو با لینکهای سایت مپ مقایسه میکنه.حالا هر لینکی که توی سایت مپ هست و اسکریمینگ فراگ نتونسته اون رو پیدا کنه، یک صفحه یتیمه. پیدا کردن صفحات یتیم از طریق اسکریمینگ فراگ نیاز به یکسری تنظیمات و پیکربندی نرم افزار داره که در ادامه آموزشش رو توضیح میدم.برای پیدا کردن صفحات یتیم با استفاده از نرم افزار screamingforg باید مراحل زیر رو طی کنیم:1) فعال کردن Crawl Linked XML Sitemaps از مسیر Configuration > Spider > Crawlاینجا میتونیم به اسکریمینگ فراگ بگیم خودش آدرس سایت مپ رو از فایل robots.txt برداره(زمانی این حالت رو انتخاب کنید که مطمئنید آدرس سایت مپ رو به فایل robots.txt اضافه کردید) و اون رو کراول کنه یا اینکه خودمون مستقیما آدرس سایت مپ رو وارد کنیم.2) خزش سایتآدرس سایتی که قصد داریم کراول و بررسی بشه رو توی کادر enter url to spider وارد میکنیم و روی دکمه start کلیک میکنیم.3) روی Crawl Analysis > Start کلیک کنید تا نقشه سایت آنالیز بشهبرای آنالیز سایت مپ و فعال شدن تمام فیلترهای مربوط به اون فقط باید روی یه دکمه کلیک کنید، به همین سادگی.البته از قبلش باید توی تنظیمات Crawl Analysis، باید تیک سایت مپ رو زده باشید. پس اگه نکردید، از مسیر Crawl Analysis > Configure تیک سایت مپ رو بزنید.علاوه بر اون میتونید تیک بقیه گزینهها رو بردارید تا فرآیند تحلیل سایت مپ سریعتر انجام بشه.4) تب Sitemapsتب Sitemaps، در مجموع 7تا فیلتر داره که کمک میکنه دیتا رو براساس نوع اون دستهبندی کنیم و مشکلات رایج سایت مپ رو شناسایی کنیم.شما میتونید موارد زیر رو فیلتر کنید:آدرس‌های موجود در سایت مپآدرس‌های غیرقابل ایندکس در سایت مپآدرس‌هایی که در چند سایت مپ وجود دارندصفحات یتیمسایت مپ با بیش از 50هزار urlسایت مپ با حجم بیش از 50mb5) پیدا کردن صفحات یتیمتوی فیلترها، orphan URLs رو انتخاب کنید تا لیست صفحات یتیم سایت رو بهتون نمایش بده. درواقع صفحات یتیم، صفحاتی هستند که در سایت مپ وجود دارن اما درطول کراول سایت، اسکریمینگ فراگ نتونسته اونها رو پیدا کنه. اگر این صفحات به اشتباه وارد سایت مپ شدن، باید از سایت مپ حذف بشن درغیر این صورت باید برای اونها لینکسازی داخلی انجام بشه.این آموزش بخشی از مقاله کامل‌تر آموزش بررسی سایت مپ با اسکریمینگ فراگ هست که من در سایت شخصی خودم منتشر کردم. برای مطالعه اون می‌تونید به سایت من مراجعه کنید.