بهینه‌سازی موتور جستجو

تاریخچه

از اواسط دهه ۱۹۹۰ میلادی که نخستین موتورهای جستجو اقدام به فهرست کردن وب نخستین کردند، مدیران وب‌سایت‌ها و تولیدکنندگان محتوا، شروع به بهینه‌سازی وب‌سایت‌ها برای موتورهای جستجو نمودند.
در ابتدا تمام‌کارهایی که مدیران وب‌سایت‌ها باید انجام می‌دادند، ارسال آدرس صفحه به موتورهای مختلفی که یک «عنکبوت» جهت «خزش» آن صفحه می‌فرستادند، استخراج لینک‌های صفحه به سایر صفحات از درون صفحه، و بازگرداندن اطلاعات یافت شده در صفحه جهت ایندکس شدن بود.
فرایند به این صورت است که عنکبوت موتور جستجو، یک صفحه را دانلود و آن را در سرور موتور جستجو ذخیره می‌کند و یک برنامه دیگر موسوم به ایندکس کننده، اطلاعات مختلفی را دربارهٔ صفحه استخراج می‌کند؛ اطلاعاتی از قبیل واژه‌های موجود و محل قرارگیری آن‌ها در صفحه، و نیز وزن خاص واژه‌های بخصوص، و تمام لینک‌های موجود در صفحه، که سپس جهت خزش در زمانی دیگر، در دستور کار قرار می‌گیرد.
مدیران سایت‌ها شروع به بازشناسی ارزش رتبه بالای سایت خود و در دید قرار گرفتن آن در نتایج موتورهای جستجو نمودند که این امر، فرصتی را برای هکرهای غیر مخرب و مخرب شاغل در بخش بهینه‌سازی موتور جستجو مهیا کرد.
نسخه‌های اولیه الگوریتم‌های جستجو به اطلاعات فراهم‌شده توسط مدیران وب‌سایت‌ها نظیر متا تگ واژه‌های کلیدی، یا فایل ایندکس موتورهای جستجو مانند ای‌ال‌آی‌وب اعتماد و اتکا می‌کردند. متاتگ‌ها یک راهنمایی برای محتوای هر صفحه فراهم می‌کنند.
بااین‌حال، استفاده از داده‌های متا در صفحات ایندکس، کمتر قابل‌اطمینان بود زیرا انتخاب واژگان در یک متاتگ توسط وب‌سایت‌ها، بالقوه می‌تواند یک نمایش غیردقیق از محتوای واقعی وب‌سایت باشد. داده‌های نادرست، ناقص و ناسازگار در متا تگ‌ها می‌تواند موجب رتبه‌بندی شدن صفحه برای جستجوهای غیر مرتبط گردد. تولیدکنندگان محتوای شبکه همچنین تعدادی از ویژگی‌های منبع اچ‌تی‌ام‌ال یک صفحه را دست‌کاری کردند تا رتبه صفحه را در موتورهای جستجو بهبود بدهند.
با تأکید بر عواملی مانند تراکم واژه کلیدی، که به‌طور انحصاری تحت کنترل مدیر وب‌سایت است، موتورهای جستجوی اولیه از سوءاستفاده و دست‌کاری رتبه‌بندی رنج می‌بردند.
به‌منظور ارائه نتایج بهتر به کاربران خود، موتورهای جستجو باید انطباق یافته و از نتایج صفحاتی اطمینان یابند که نتایج مرتبط‌تری دارند، نه نتایج مربوط به صفحاتی که نامربوط بوده و توسط مدیران شبکه بدون وجدان کاری و با استفاده از کلمات کلیدی متعدد پرشده‌اند.
ازآنجایی‌که موفقیت و محبوبیت یک موتور جستجو از طریق توانایی آن در تولید نتایج مرتبط‌تر در قبال هر جستجوی صورت گرفته مشخص می‌شود، کیفیت پایین یا نتایج نامرتبط می‌تواند سبب سوق دادن کاربران به منابع جستجوی دیگر شود. موتورهای جستجو با توسعه الگوریتمی رتبه‌بندی پیچیده‌تر به این عمل پاسخ دادند؛ که در آن عوامل بیشتری مورد توجه قرار می‌گیرند و دست‌کاری را برای مدیران شبکه، سخت‌تر می‌سازند.
لری پیج و سرگئی برین دو دانشجوی فارغ‌التحصیل دانشگاه استنفورد یک موتور جستجو موسوم به بک‌روب را توسعه دادند که جهت ارزیابی برجستگی صفحات وب، به یک الگوریتم ریاضیاتی تکیه داشت. عددی که توسط الگوریتم محاسبه می‌شد، یعنی «رتبه صفحه»، تابعی است از مقدار و قدرت لینک‌های ورودی. رتبه صفحه میزان یک صفحه معین را که توسط یک کاربر که به‌صورت تصادفی شبکه را جستجو می‌کند مورد دسترسی قرارگرفته، تخمین می‌زند و لینک‌های یک صفحه به صفحه دیگر را دنبال می‌کند.
درواقع، این بدان معناست که برخی لینک‌ها از سایر لینک‌ها قوی‌تر بوده، رتبه صفحه بالاتر احتمال دیده شدن صفحه توسط وب‌گردهای تصادفی را افزایش می‌دهد.

ارتباط با گوگل

پیچ و برین، گوگل را در سال ۱۹۹۸ بنیان‌گذاری کردند. گوگل درمیان کاربران فزاینده اینترنت، هواداران ثابت‌قدمی را به خود جذب کرد که طراحی ساده آن را دوست داشتند. عوامل خارج از صفحه (مانند رتبه صفحه و تجزیه تحلیل لینک) نیز همانند عوامل داخل صفحه (فراوانی واژه‌های کلیدی، متاتگ‌ها، عنوان‌ها، لینک و ساختار وب‌سایت) مورد توجه قرار گرفتند تا گوگل را قادر به این امر سازند که از نوعی دست‌کاری که در موتورهای جستجویی دیده می‌شود که تنها به عوامل داخل صفحه توجه می‌کنند، اجتناب نماید.
علی‌رغم اینکه به بازی گرفتن رتبه صفحه سخت‌تر بود، مدیران شبکه سرانجام ابزارها و طرح‌های تولید لینک را جهت تحت تأثیر قرار دادن موتور جستجوی اینکتومی توسعه دادند، و این روش‌ها ثابت کردند که به طریقی مشابه می‌توان رتبه صفحه را تحت تأثیر قرار داد. ب
سیاری از وب‌سایت‌ها روی تبادل، خریدوفروش لینک در حجم زیاد و وسیع متمرکز هستند. بعضی از این طرح‌ها یا مزارع لینک، موجب ایجاد هزاران وب‌سایت برای فروش هرزنگاری لینک‌ها می‌شوند.
گوگل اینستنت، یا جستجوی زمان واقعی، در اواخر سال ۲۰۱۰ در تلاشی به‌منظور به هنگام تر و مرتبط نمودن جستجوها ارائه شد. به‌طور تاریخی، مدیران وب‌سایت‌ها، ماه‌ها یا حتی سال‌ها روی بهینه‌سازی یک وب‌سایت و ارتقای رتبهٔ جستجوی آن زمان گذاشته‌اند.
با گسترش عمومیت وب‌سایت‌ها و وبلاگ‌های رسانه‌های اجتماعی، موتورهای جستجوی پیشرفته در الگوریتم‌های خود تغییراتی ایجاد کردند تا مطالب تازه به‌سرعت در میان نتایج جستجو رتبه‌بندی شوند.
در فوریه ۲۰۱۱، از آپدیت پاندا خبر داد که وب‌سایت‌هایی را که حاوی محتوای تکثیرشده از وب‌سایت‌ها و منابع دیگر باشند، جریمه می‌کند. به‌طور تاریخی، وب‌سایت‌ها محتوا را از یکدیگر کپی کرده و از آن در رتبه‌بندی موتورهای جستجو بهره‌مند شده‌اند. بااین‌حال، گوگل یک سیستم جدید پیاده‌سازی کرد که سایتهایی را که حاوی محتوای منحصربه‌فرد نیستند، جریمه می‌کند.
در آوریل ۲۰۱۲، گوگل از آپدیت گوگل پنگوئن رونمایی کرد که هدف آن، جریمه کردن وب‌سایت‌هایی بود که از روش‌های دست‌کاری جهت بهبود رتبه خود در موتورهای جستجو استفاده می‌کردند.
در سپتامبر ۲۰۱۳، کمپانی گوگل از آپدیت الگوریتم مرغ مگس‌خوار رونمایی کرد؛ یک الگوریتم که جهت بهبود پردازش زبان طبیعی گوگل و درک معنایی صفحات وب طراحی شد.
در سپتامبر سال ۲۰۱۶، گوگل اعلام کرد که گوگل پنگوئن به الگوریتم اصلی رتبه‌بندی گوگل ملحق شده‌است و دیگر آپدیت‌های آن اعلام نمی‌شود. از سال ۲۰۱۶ به بعد، الگوریتم پنگوئن گوگل دیگر به‌صورت لحظه‌ای نتایج جستجو را بررسی خواهد کرد.

ارتباط با موتورهای جستجو

تا سال ۱۹۹۷، طراحان موتورهای جستجو دریافتند که مدیران وب‌سایت‌ها تلاش می‌کنند که در موتورهای جستجوی آن‌ها رتبه بهتری داشته باشند. آنان همچنین متوجه شدند که برخی از مدیران وب، حتی رتبه‌های خود در نتایج جستجو را از طریق لبریز نمودن صفحات خود با واژگان کلیدی بسیار زیاد یا نامرتبط، دست‌کاری می‌کردند.
موتورهای جستجوی اولیه، نظیر آلتا ویستا یا اینفوسیک، الگوریتم‌های خود را جهت جلوگیری مدیران وب در دست‌کاری رتبه‌ها، مجدداً سازگار کردند.

در سال ۲۰۰۵، یک اجلاس سالانه موسوم به بازیابی اطلاعات خصمانه در وب (AIRWeb) تا شاغلان و محققان مرتبط با موتورهای جستجو و بهینه‌سازی آن را به هم مرتبط سازد.
نکته قابل‌تأمل در مورد موتورهای جستجو این است که نیاز نیست در تمام موتورهای جستجو سئو انجام دهید جالب است بدانید۹۷٪ جستجوهای کل دنیا از طریق موتور جستجوی گوگل انجام می‌شود و کارشناسان و مدیران وب تمایل بیشتری به سئو سازی روی گوگل داشته و سئو خود را متمرکز به گوگل می‌کنند

فهرست‌شدن

موتورهای جستجوی پیشرو مانند جستجوگر گوگل، بینگ، یاهو! جستجو، بایدو از خزنده‌ها جهت پیدا کردن صفحات مرتبط با نتایج جستجوی الگوریتمیک خود استفاده می‌کنند. صفحاتی که از صفحات ایندکس شده یک موتور جستجوی دیگر لینک می‌شوند، نیازی به ارسال ندارد زیرا به‌طور خودکار پیدا می‌شوند.
دو دایرکتوری عمده یاهو دایرکتوری، دی‌موز نیازمند ارسال دستی و بازنگری انسانی هستند. شرکت گوگل Google Search Console را پیشنهاد می‌دهد که یک فید نقشه سایت اکس‌ام‌ال می‌تواند برای آن ایجاد و به‌طور رایگان ارسال شود تا این اطمینان حاصل شود که تمامی صفحات خصوصاً آن‌هایی که با دنبال کردن خودکار لینک‌ها قابل‌شناسایی نیستند، قابل‌دستیابی هستند. در گذشته یاهو! یک سرویس ارسال پرداختی داشت که خزش را به ازای مقداری هزینه در هر کلیک تضمین می‌کرد که در سال ۲۰۰۹، این سرویس متوقف شد

خزنده‌های موتور جستجو می‌توانند هنگام خزش یک وب‌سایت، به تعداد عوامل مختلفی توجه کنند. هر صفحه‌ای توسط موتور جستجو ایندکس نمی‌شود. فاصله صفحات از دایرکتوری اساسی ممکن است یک عامل در خزش یا عدم خزش در صفحات باشد.

جلوگیری از خزش

به‌منظور جلوگیری از محتوای نامطلوب در ایندکس‌های جستجو، مدیران شبکه می‌توانند به عنکبوت‌ها (به انگلیسی: Spider) دستور بدهند که فایل‌ها یا دایرکتوری‌های خاصی را درون فایل استاندارد robots.txt در دایرکتوری اصلی دامنه، موردبررسی و خزش (به انگلیسی: Crawl) قرار ندهند. بعلاوه، یک صفحه می‌تواند صراحتاً از پایگاه داده‌ها مورد جستجو خارج شود که این عمل از طریق استفاده از متاتگ‌های مخصوص به ربات‌ها صورت می‌گیرد. هنگامی‌که یک موتور جستجو از یک سایت بازدید می‌کند فایل robots.txt واقع در دایرکتوری اصلی، نخستین جایی است که مورد خزش قرار می‌گیرد. سپس فایل robots.txt تجزیه‌شده و به ربات دستور داده می‌شود که کدام صفحات نباید موردبررسی و خزش قرار می‌گیرد. ازآنجایی‌که خزنده موتور جستجو ممکن است که یک نسخه از این فایل را نگه دارد گاهی ممکن است که صفحاتی مورد خزش قرار می‌گیرند که مدیر شبکه تمایلی به آن‌ها ندارد. به‌طورمعمول، صفحاتی که از خزش خارج می‌شوند عبارت‌اند از صفحات ورودی خاص مانند صفحات مربوط به کارت‌های خرید و صفحات مربوط به محتوای شخصی کاربر نظیر نتایج جستجوی حاصل از جستجوهای داخلی. در مارس ۲۰۰۷، گوگل به مدیران شبکه هشدار داد که باید از ایندکس شدن نتایج جستجوی داخلی جلوگیری کنند زیرا این صفحات، هرزنامه جستجو هستند. در ادامه بحث گفتنی است نبود سایت مپ نیز مانع از آن می‌شود که ربات درک درستی از صفحات شما داشته باشد همواره یک سایت مپ خوب تأثیر بسیار مهمی در خزش درست و خواندن کامل صفحات شما را دارد

افزایش برتری

از روش‌های مؤثر در برتری در لینک‌های گوگل می‌توان به سوشیال‌ها (صفحات اجتماعی) ساخت بک لینک‌های طبیعی در صفحات اجتماعی و ارسال دیدگاه در وب‌سایت‌های دیگران اشاره کرد در این بین باید توجه کافی را داشته باشید تا از سایت‌های اسپم شده لینک نگیرید که باعث رشد منفی سایت شما خواهد شد. از دیگر روش‌های موجود می‌توان به گوگل ادوردز اشاره کرد که با توجه به نرخ ارز در کشور ما شاید مقرون‌به‌صرفه نباشد. تکنیک‌های برتر دیگری که در این مقوله استفاده می‌شود توجه به استانداردهای w3c است که سئو داخلی وب‌سایت شما را بهبود بخشیده و کمک شایانی به وب‌سایت شما می‌کند. لازم است ذکر شود که استفاده از گوگل‌سرچ‌کنسول و تنظیم آن کمک ویژه به شما در رشد وب‌سایتتان خواهد کرد.

به‌عنوان یک استراتژی بازاریابی

سئو یک روش و استراتژی بازاریابی مناسب برای همه وب‌سایت‌ها نیست و بر اساس هدف گردانندگان یک وب‌سایت، استراتژی‌های بازاریابی اینترنتی دیگر مانند تبلیغات از طریق پرداخت کلیکی می‌تواند مؤثرتر باشد.
همچنین، یک کمپین تبلیغات اینترنتی موفق می‌تواند به ساختن صفحات وب دارای کیفیت بالا بستگی داشته باشد که به‌کارگیری نرم‌افزارهای تحلیل را ترغیب می‌نماید تا صاحبان سایت‌ها قادر به ارزیابی نتایج، و بهبود نرخ تبدیل سایت شوند.
مهم‌ترین استراتژی بازاریابی محتوا تمرکز بر سئو است. سئو دارای بیشترین تأثیر در این نوع از بازاریابی است. سئو در واقع بهینه‌سازی سایت برای ربات‌های گوگل است. شاید تنها هدف همه سایت‌ها رسیدن به صفحه اول گوگل باشد. برای رسیدن به صفحه اول گوگل باید سئو سایت خود را بهبود بخشیم. سئو یکی از مهم‌ترین عامل‌ها برای رشد سایت و پیشی گرفتن از سایت‌های رقبا است ساخت کمپین‌های تبلیغاتی_کدنویسی صحیح_ سوشیال و بک لینک از عوامل تأثیرگذار در سئو هستند

بازارهای بین‌المللی

تکنیک‌های بهینه‌سازی شدیداً متناسب با موتورهای جستجو غالب در بازار هدف تنظیم می‌شوند. سهام بازار موتورهای جستجو از بازاری به بازاری دیگر و مانند وجود یک رقابت، تغییر می‌کنند. در سال ۲۰۰۳، دنی سالیوان اظهار کرد که گوگل حدود ۷۵ درصد کل جستجوها را انجام داده‌است. در بازارهای خارج از آمریکا، سهم گوگل اغلب بیشتر است و از سال ۲۰۰۷، گوگل در جایگاه موتور جستجوی غالب در سراسر جهان باقی‌مانده‌است.
از سال ۲۰۰۶، گوگل ۸۵ تا ۹۰ درصد سهم بازار آلمان را در اختیار دارد. درحالی‌که صدها شرکت سئو در آن زمان در آمریکا وجود داشت، فقط حدود ۵ مورد از آن در آلمان کار می‌کرد. از ژوئن ۲۰۰۸، بر اساس اعلام هیت‌وایس، سهم گوگل از بازار بریتانیا نزدیک به ۹۰ درصد بوده‌است. آن عدد از طریق چند کشور حاصل می‌شود.
از سال ۲۰۰۹، تنها چند بازار بزرگ وجود دارد که گوگل در آن‌ها، موتور جستجوی پیشرو نیست. در اغلب موارد، هنگامی‌که گوگل در یک بازار خاص، پیشرو نیست، پشت سر یک رقیب محلی قرار دارد. قابل‌توجه‌ترین نمونه‌های این موارد، کشورهای چین، ژاپن، کره جنوبی، روسیه و جمهوری چک هستند که به ترتیب، بایدو، یاهو! , ژاپن، ناور، یاندکس و شزنم پیش روی بازارها هستند.
بهینه‌سازی جستجوی موفق برای بازارهای بین‌المللی، ممکن است نیازمند ترجمه حرفه‌ای صفحات وب، ثبت یک دامنه با یک دامنه سطح بالا در بازار هدف و میزبانی است که آدرس IP محلی را فراهم نماید.
در غیر این صورت، بدون توجه به زمان، عناصر اساسی بهینه‌سازی جستجو، اساساً مشابه هستند.
از آیتم‌هایی که به سئو سایت مربوط می‌شود می‌توان به بهینه‌سازی متا و کلمات کلیدی سایت، طراحی و واکنش گرا بودن قالب سایت، لینک‌های معتبر، محتوای به‌روز و منحصربه‌فرد و سرعت بارگذاری سایت اشاره کرد که با بهبود این موارد می‌توان رتبه بهتری در موتورهای جستجو کسب کرد.

سوابق حقوقی

در ۱۷ اکتبر ۲۰۰۲، سرچ‌کینگ در دادگاه منطقه‌ای آمریکا در منطقه غربی اوکلاهاما، دادخواستی علیه موتور جستجوی گوگل داد. او ادعا کرد که تاکتیک‌ها و روش‌های گوگل در جلوگیری از هرز آگهی‌ها، موجب ایجاد یک تداخل زیان‌آور با روابط قراردادی شده‌است. در ۲۷ می ۲۰۰۳، دادگاه شکایت علیه گوگل را رد کرد زیرا سرچ‌کینگ نتوانست ادعایش را که می‌توانست منجر به دریافت خسارت شود، اثبات کند.
در مارس ۲۰۰۶، کیندراستارت به دلیل رتبه‌بندی‌های موتور جستجوی گوگل، در دادگاه طرح دعوی کرد. پیش‌ازاین اقامه دعوی، وب‌سایت کیندراستارت از ایندکس گوگل خارج شد و ترافیک سایت تا ۷۰ درصد کاهش یافت. در ۱۶ مارس ۲۰۰۷، دادگاه منطقه‌ای آمریکا در منطقه شمالی کالیفرنیا (بخش سن خوزه) شکایت کیندراستارت را رد کرده و این شرکت را مکلف به پرداخت بخشی از هزینه‌های حقوقی گوگل کرد.