موتورهای جستجو چگونه کار می‌کنند؟  Crawling و Indexing چیست؟

دانستن اینکه کاربران چطور از موتور جستجو استفاده می‌کنند و موتورهای جستجو چگونه کار می‌کنند و چطور صفحات وب را رتبه بندی می‌کنند، می‌تواند مهمترین معیار ما برای شناخت تکنیک‌های سئو و بهینه سازی سایت باشد.موتورهای جستجو درحقیقت، ماشین‌های پاسخ‌دهی هستند. موتور جستجو یک سیستم نرم‌افزاری است که وظیفه اصلی آن پیدا کردن محتوا (اعم از محتوای متنی، صوتی، عکس، ویدئو و هر فایل دیگری) در شبکه جهانی وب (WWW) است؛ محتوایی که بیشترین مطابقت را با کوئری شما داشته باشد. (کوئری همان عبارتی است که کاربر جستجو می‌کند)یک موتور جستجو از دو بخش اصلی تشکیل شده است: پایگاه داده اطلاعات و الگوریتم‌ها.موتورهای جستجو چگونه کار می‌کنند؟برای کشف، دسته‌بندی و رتبه‌بندی میلیون‌ها وبسایتی که در فضای اینترنت وجود دارند، موتورهای جستجو باید ابتدا بطور دقیق بفهمند چه نوع اطلاعاتی در دسترس است و در گام بعدی، آن اطلاعات را بطور منطقی به کاربران ارائه دهند. این فرآیند ازطریق 3 اقدام بنیادی انجام می‌پذیرد:فرایند Crawling (خزیدن): خزش در سایت ها برای پیدا کردن محتوا، و به هر لینک، URL و کدی که برسند آن را بررسی می‌کنند.فرایند Indexing (فهرست کردن): در این قسمت موتورهای جستجو هر محتوایی را که در پروسه crawling پیدا کرده اند را ذخیره و سازماندهی می کنند. هر صفحه ای که ایندکس می شود آماده نمایش به عنوان سوالات مربوطه کاربران در موتورهای جستجو است.?فرایند Ranking(رتبه بندی نتایج): نمایش نتایج مناسب براساس محتوای ایندکس شده که بهترین پاسخ به سوالات جستجو کننده است. به زبان ساده تر نتایج جستجو را به نحوی مرتب می سازد که جواب بهتری برای جستجو کننده نمایش داده شود.فرایند Crawling چیست؟Crawling پروسه کشفی است که موتورهای جستجو انجام می دهند. موتورهای جستجو تیمی از ربات ها که به عنوان کراولرها(crawlers ) و عنکبوت ها (spiders) شناخته می شوند را برای کشف و اپدیت محتوا می‌فرستد. در این فرآیند همه بخش‌ها شامل محتوا، عنوان، تصاویر، لینک و هرچیزی که دسترسی به آن برای ربات گوگل ممکن باشد بررسی خواهد شد.ربات‌ها شروع به بررسی چند صفحه وب می کنند. سپس به دنبال لینک های موجود در آن صفحه می‌روند تا اینکه URL های جدید را پیدا می‌کنند. این فرآیند به همین نحو ادامه پیدا می‌کند و کراولرها می‌توانند هر لحظه محتوای جدیدی را کشف و آن را به ایندکس خود اضافه کنند. حال پایگاه داده ای بسیار عظیم از URL ها کشف و ذخیره شده است.یکی از دلایل اهمیت بالای بک لینک در سئو نیز همین رفتار ربات ها برای شناسایی و ایندکس صفحات جدید است. ربات های گوگل معمولا در بازه های زمانی مختلف (متغیر برای هر صفحه) دوباره به همان صفحات رجوع کرده و تغییرات آن را بررسی می‌کنند.فرایند Indexing چیست؟فرآیند ایندکس کردن (Indexing) پس از پایان جستجوی کراولرها و اسپایدرها، آغاز می‌شود. موتور های جستجو سعی می کنند که اطلاعات فوق العاده زیادی را که در مرحله ی پیش به کشف کرده اند را دسته بندی و ذخیره کنند. و محتواهایی که به اندازه کافی مناسب هستند را برای کاربران عرضه کنند.تصور کنید که وب یک کتابخانه بسیار بزرگ است و موتورهای جستجو تلاش می‌کنند یک فهرست کامل از کتاب‌های موجود، موضوع هرکدام و محتویات آنها تهیه کند. زمان ایندکس شدن یک صفحه همیشه به یک اندازه نیست و فاکتورهای مختلفی بر آن تاثیرگذار است.هر بار که ربات به صفحه شما مراجعه کند اگر متوجه تغییراتی در آن صفحه؛ شامل تغییر محتوا یا اضافه شدن محتوا شود مجدد فرآیند ایندکس کردن گوگل برای آن صفحه انجام می‌شود.تهیه لیست نتایجنتایج جستجو هم برای کاربران و هم برای صاحبان وبسایت اهمیت زیادی دارد. وقتی یک کاربر جستجویی انجام می‌دهد، موتورهای جستجو به سراغ دیتابیس خود رفته تا اطلاعات مرتبطی را از بین تمام آن صفحاتی که قبلا ایندکس کرده بودند، ارائه کنند به امید اینکه بتواند پرسش کاربر را به درستی جواب بدهد.این فرآیند بسیار پیچیده است. زیرا از میان صدها میلیون وبسایت و شاید میلیاردها صفحه موجود در وب باید نتایج مورد نظر شما را شناسایی کرده و نمایش دهد.موتورهای جستجو الگوریتم‌های مختلفی برای این فرآیند دارند و این الگوریتم ها همواره در حال ارتقا و بهینه سازی هستند.برخی از مهمترین فاکتورهای رتبه بندی سایت در موتورهای جستجومیزان به روزرسانی سایت و نرخ تولید محتواحجم صفحات سایت و سرعت بارگذاریمیزان اعتبار و ارتباط موضوعی بک لینک‌های سایتحجم محتوای صفحه و ارتباط موضوعی محتوای همه صفحات سایتنحوه استفاده از کلمات کلیدی در متن، عنوان، تصاویر و لینک‌هانوع نگراش محتوا و غلط‌های املاییساختار لینک سازی داخلی سایتطراحی ریسپانسیو سایت و نمایش صحیح در موبایل و تبلتاعتبار دامنهفعالیت در شبکه های اجتماعیرفتار کاربران، ارسال دیدگاه و امتیازدهی در صفحهتجربه کاربری و میزان رضایت کاربران (User Experience)ضریب خروج (Bounce rate ) از سایت و نرخ کلیک در نتایج گوگلمنبع : دانشنامه کیمیاهاست