تحسين محركات البحث  تحسين أو استمثال محركات البحث هو علم تحسين جودة صفحة أو موقع ويب من أجل رفع ترتيبه في نتائج محركات البحث ليكون في النتائج الأولى مما يساهم في زيادة كمية الزيارات المجانية الغير مدفوعة للموقع (المعروفة أيضًا بالبحث الطبيعي ) بدلاً من الزيارات المدفوعة عن طريق الإعلانات وغيرها. المستخدمين عندما يقومون بالبحث في محركات البحث عن كلمة معينة تسمى "كلمة مفتاحية " يقومون في الأغلب يتصفح النتائج المتصدرة للترتيب أكثر من النتائج الأخيرة، وبالتالي كلما استطاع الموقع أن يصل للنتائج الأولى كلما زاد عدد زوار موقعه من كلمة مفتاحية معينة.  محركات البحث الشهيرة مثل جوجل وبينغ وغيرها تقوم بتصنيف وترتيب نتائج البحث حسب دقة وجودة المحتوى من خلال معايير وإرشادات معينة تقوم بنشرها دورياً وتشجع أصحاب المواقع على إتباع هذه المعايير وتقديم نصائح وتعليمات لهم، مما شجع أصحاب المواقع على ضرورة مراعاة هذه المعايير بل وفتح مجال تحسين محركات البحث باب كبير للمنافسة بين المواقع على اقتناص المراتب الأولى في كلمات مفتاحية يبحث عنها الجمهور بكثرة.  ونظراً لأهمية نتائج البحث الأولى في محركات البحث لما لها من تأثير كبير على عدد زوار الموقع عن طريق محركات البحث والذي يتضمن البحث المعتاد والبحث عن الصور والفيديوهات (المواد السمعية والبصرية) والأماكن والأخبار، زادت أهمية هذا المجال والذي أصبح له متخصصون وخبراء بل ويتم تدريسه أيضاً.  في منتصف التسعينات، بدأ مسؤولو المواقع الإلكترونية ومقدمو المحتوى بتحسين مواقعهم على شبكة الإنترنت لكي تُفهَرَس بشكل أفضل في محركات البحث. في البداية، كان على مسؤولي المواقع تقديم عنوان الصفحة أو عنوان ويب فقط لمحركات البحث المختلفة. وكانت هذه المحركات ترسل "المفهرس الويب"، وهو نوع من البرامج التي تقوم بزيارة تلك الصفحات واستخراج الروابط الموجودة فيها واستخلاص المعلومات المتواجدة على الصفحة لفهرستها.  تتضمن هذه العملية تنزيل الصفحة باستخدام ويب كراولر وتخزينها على خادم المحرك. ثم يقوم برنامج آخر يُعرف بـ "المفهرس" بأخذ المعلومات حول الصفحة، مثل الكلمات الموجودة فيها ومواقعها والأهمية المرتبطة بكل كلمة، بالإضافة إلى استخلاص جميع الروابط الموجودة في الصفحة. يتم تخزين كل هذه المعلومات في جدول زمني للزيارة والفهرسة في وقت لاحق.  أدرك مسؤولو المواقع الإلكترونية قيمة الحصول على تصنيف عالٍ وظهور واضح في نتائج محركات البحث. خلق فرصة لكل من ممارسي القبعة البيضاء والقبعة السوداء لتحسين محركات البحث. وبحسب المحلل الصناعي داني سوليفان، فإن عبارة "تحسين محركات البحث" بدأت تستخدم في عام 1997. ويُنسب لبروس كلاي كواحد من أوائل الأشخاص الذين أشهروا هذا المصطلح.  في عام 1997، أدرك مطورو محركات البحث أن مدير المواقع الإلكترونية يبذلون جهودًا لتحقيق تصنيف مرتفع في محركات البحث الخاصة بهم، وأن بعض مدير المواقع الإلكترونية يقومون بتلاعب ترتيبات النتائج عن طريق إضافة العديد من الكلمات الرئيسية غير المرتبطة. استجابت محركات البحث المبكرة عن طريق ضبط خوارزمياتها لمنع مدير المواقع الإلكترونية من تلاعب الترتيبات.  بالاعتماد الشديد على عوامل مثل كثافة الكلمات الرئيسية التي كانت تخضع حصرًا لسيطرة مدير المواقع الإلكترونية، عانت محركات البحث الأولى من سوء الاستخدام وتلاعب الترتيبات. لتوفير نتائج أفضل لمستخدميها، اضطرت محركات البحث إلى التكيف وضمان أن صفحات نتائجها تعرض أكثر النتائج ذات الصلة بدلاً من صفحات غير ذات صلة مليئة بالعديد من الكلمات الرئيسية من قبل مدير المواقع الإلكترونية غير الأخلاقيين. نظرًا لأن نجاح وشعبية محرك البحث يتحدد بقدرته على تقديم أكثر النتائج ذات الصلة لأي بحث معين، فإن نتائج البحث ذات الجودة السيئة أو غير ذات الصلة يمكن أن تدفع المستخدمين للبحث عن مصادر بحث أخرى. وردت محركات البحث بتطوير خوارزميات التصنيف المعقدة أكثر، مع مراعاة عوامل إضافية يكون من الصعب على مدير المواقع الإلكترونية التلاعب بها.  يمكن أن تتعرض مواقع العملاء التي تعتمد أسلوب القبعة السوداء في تحسين محركات البحث بشكل مفرط للحظر من نتائج البحث. في عام 2005، ذكرت صحيفة وول ستريت جورنال عن شركة تدعى التي قامت على ما يبدو باستخدام تقنيات عالية المخاطر وفشلت في الكشف عن تلك المخاطر لعملائها. وذكرت مجلة وايرد أنها قامت الشركة نفسها بمقاضاة المدون وخبير تحسين محركات البحث أرون وول بسبب كتابته عن الحظر. أكد مات كاتس من جوجل فيما بعد أن جوجل فعلا قامت بحظر وبعض عملائها.  بعض محركات البحث قامت بالتواصل مع "مجتمع تحسين محركات البحث" وشاركت كضيوف في مؤتمرات وندوات ومناقشات عبر الويب. تقدم المحركات الرئيسية معلومات وإرشادات للمساعدة في تحسين المواقع. على سبيل المثال: جوجل تمتلك برنامج خرائط المواقع الذي يساعد مدير المواقع الإلكترونية في معرفة مشاكل فهرسة موقعهم ويوفر بيانات حول حركة المرور من جوجل إلى الموقع. أدوات مساعد الويب من مايكروسوفت بينغ توفر أيضًا طريقة لمدير المواقع الإلكترونية لتقديم خريطة الموقع وتغذية الويب، وتسمح للمستخدمين بتحديد "معدل الزيارة" وتتبع حالة فهرسة صفحات الويب.  في عام 2015، أعلنت جوجل عن تطوير وتعزيز ميزة البحث عبر الهواتف المحمولة كجزء أساسي من خططها المستقبلية. وبناءً على هذا الإعلان، بدأت الكثير من العلامات التجارية في اعتماد استراتيجيات تسويق مختلفة على الإنترنت تلبي احتياجات المستخدمين الذين يستخدمون الهواتف المحمولة في عمليات البحث والتسوق عبر الإنترنت.  في عام 1998، قام طالبان في دراساتهما العليا في جامعة ستانفورد، لاري بيج وسيرجي برين، بتطوير "باكرب "، وهو محرك بحث يستخدم خوارزمية رياضية لتقييم أهمية صفحات الويب. يتم احتساب رقم يسمى بيج رانك باستخدام الخوارزمية، وهذا الرقم يعكس كمية وجودة الروابط الواردة إلى صفحة معينة. يعتبر بيج رانك مؤشرًا على احتمال وصول مستخدم عشوائي للويب إلى صفحة محددة عند تصفحه الروابط بشكل عشوائي. ببساطة، يعني ذلك أن بعض الروابط أكثر قوة من غيرها، وبالتالي صفحة ذات بيج رانك أعلى ستكون أكثر احتمالًا للوصول إليها من قبل المستخدم العشوائي الذي يتصفح الويب.  تأسست شركة جوجل عام 1998 على يدي لاري بيج وسيرجي برين. لقد جذبت جوجل اهتمامًا كبيرًا من قبل المستخدمين على الإنترنت بسبب تصميمها البسيط. لتحقيق نتائج بحث موثوقة ومنصفة، اعتمدت جوجل على العوامل الخارجية مثل بيج رانك وتحليل الروابط المتشعبة، بالإضافة إلى العوامل الداخلية مثل تكرار الكلمات الرئيسية والعلامات الوصفية والعناوين والروابط وهيكل الموقع. هذا النهج سمح لجوجل بتجنب أنواع التلاعب التي تحدث في محركات البحث الأخرى التي تعتمد فقط على العوامل الداخلية في تصنيفاتها. على الرغم من أن بيج رانك كان صعبًا في التلاعب به، إلا أن مدير المواقع وجدوا طرقًا لبناء الروابط للتأثير على محرك البحث . تبين أن بعض هذه الاستراتيجيات قابلة للتطبيق أيضًا في التلاعب بـ بيج رانك. بعض المواقع ركزت على تبادل وشراء وبيع الروابط النصية بكميات كبيرة. وتشمل بعض هذه الخطط، المعروفة أيضًا بـ "مزارع الروابط".  في عام 2004، قامت محركات البحث بدمج مجموعة واسعة من العوامل غير المفصح عنها في خوارزميات تصنيفها للحد من تأثير التلاعب بالروابط. في يونيو 2007، ذكر صول هانسيل من صحيفة نيويورك تايمز أن جوجل يقوم بتصنيف المواقع باستخدام أكثر من 200 إشارة مختلفة. لا تكشف محركات البحث الرائدة مثل جوجل وبينغ وياهو عن الخوارزميات التي يستخدمونها في تصنيف الصفحات. قام بعض متخصصي تحسين محركات البحث بدراسة نهج مختلف لتحسين محركات البحث وقد شاركوا آراءهم الشخصية. في عام 2005، بدأت جوجل في تخصيص نتائج البحث لكل مستخدم بناءً على سجل بحوثهم السابقة، حيث تقوم جوجل بتخصيص النتائج للمستخدمين المسجلين.  تستخدم محركات البحث الشهيرة مثل جوجل وبينج وياهو عنكبوتات للعثور على صفحات الويب في نتائج البحث. إذا كانت الصفحات مرتبطة بصفحات أخرى في محركات البحث، فلا حاجة لتقديمها يدويًا لأنها ستتم اكتشافها تلقائيًا.  عندما تقوم العنكبوتات التابعة لمحركات البحث بزيارة موقع الويب، قد تنظر إلى عدة عوامل مختلفة. ليست جميع الصفحات تتم فهرستها من قبل محركات البحث. قد يكون للمسافة بين الصفحات والمجلد الرئيسي للموقع دورًا في قرار محركات البحث بزيارة تلك الصفحات أو عدم زيارتها.  في الوقت الحالي، يقوم معظم الأشخاص بالبحث على جوجل باستخدام هواتفهم المحمولة. في نوفمبر 2016، أعلنت جوجل تغييرًا كبيرًا في كيفية زيارتها للمواقع وأصبحت تعتمد أولاً على النسخة المحمولة للمواقع، وهذا يعني أن النسخة المحمولة للموقع تصبح النقطة الأساسية التي تضمها جوجل في الفهرسة.  لحماية المحتوى غير المرغوب فيه من الظهور في نتائج البحث، يمكن لأصحاب المواقع أن يمنعوا عناكب البحث من زيارة ملفات أو مجلدات محددة باستخدام ملف robots.txt القياسي الموجود في المجلد الأساسي للموقع. بالإضافة إلى ذلك، يمكن استخدام علامة ميتا خاصة بعناكب البحث (عادةً تكون <meta name="robots" content="noindex">) لاستبعاد صفحة معينة من قاعدة بيانات محرك البحث بشكل صريح. عندما يقوم محرك البحث بزيارة موقع ويب، يتم أولاً زيارة ملف robots.txt الموجود في دليل الجذر، ويتم تحليل هذا الملف لتوجيه العنكبوت بشأن الصفحات التي يجب عليه ألا يزورها. ونظرًا لأن محرك البحث قد يحتفظ بنسخة مخبأة من ملف robots.txt، فقد يحدث أحيانًا أن يقوم بزيارة صفحات لا يرغب صاحب الموقع في زيارتها. وتشمل الصفحات التي عادةً ما يتم منع زيارتها صفحات تتطلب تسجيل الدخول مثل سلة التسوق ومحتوى خاص بالمستخدم مثل نتائج البحث الداخلية. في مارس 2007، حذرت جوجل أصحاب المواقع من ضرورة منع فهرسة نتائج البحث الداخلية لأنها تعتبر نوعًا من السخرية في عالم محركات البحث. وفي عام 2020، أوقفت جوجل استخدام المعيار القياسي لملف robots.txt وقامت بنشر الشفرة المصدرية له، وأصبحت تعتبره توجيهًا تلميحيًا وليس أمرًا قاطعًا. لضمان عدم فهرسة الصفحات بشكل كافٍ، يجب تضمين علامة ميتا تاج خاصة بالروبوتات على مستوى الصفحة.  تتوجد تقنيات لتحسين محركات البحث ويمكن تقسيمها إلى فئتين رئيسيتين: الأولى هي التقنيات التي ينصح بها شركات محركات البحث وتعرف بـ "سيو القبعة البيضاء ". أما الثانية فتشمل التقنيات التي لا توافق عليها محركات البحث وتعرف بـ "سيو القبعة السوداء ". تعمل محركات البحث على تقليل تأثير القبعة السوداء، وتشمل ذلك الحد من ظاهرة الفهرسة المتعسفة. صُنف الأشخاص العاملين في هذا المجال وفقًا للطرق والممارسات التي يستخدمونها إما كـ متخصصين في تحسين محركات البحث بالطرق الشرعية والمقبولة (سيو القبعة البيضاء) وكـ متخصصين في تحسين محركات البحث بطرق غير مقبولة (سيو القبعة السوداء). يميل أصحاب القبعة البيضاء إلى تحقيق نتائج دائمة ومستدامة، بينما يتوقع أصحاب القبعة السوداء أن تتم حظر مواقعهم في النهاية، سواء كان ذلك مؤقتًا أو دائمًا، بمجرد اكتشاف محركات البحث لأساليبهم غير المقبولة.  تعني تقنية سيو القبعة البيضاء أنها تتبع إرشادات محركات البحث ولا تستخدم أي أساليب غير مشروعة. إرشادات محركات البحث ليست قائمة قواعد صارمة، ولكن هذا اختلاف مهم يجب الانتباه إليه. سيو القبعة البيضاء لا يقتصر على اتباع الإرشادات فحسب، بل يهدف أيضًا للتأكد من أن المحتوى الذي يتم فهرسته وتصنيفه من قبل محرك البحث هو نفس المحتوى الذي سيراه المستخدم.  تعني تقنية سيو القبعة السوداء هي طريقة تحاول تحسين ترتيبات المواقع في محركات البحث بطرق تعارض معها وتنطوي على الخداع. أنهُ ممارسة مرفوضة يمكن أن تزيد من ترتيب الصفحة في صفحة نتائج محرك البحث. هذه الممارسات تتعارض مع شروط خدمة محرك البحث ويمكن أن تؤدي إلى حظر الموقع من محرك البحث والمواقع التابعة.  تحسين محركات البحث داخل الصفحة هو مصطلح يشير إلى الجهود والتقنيات المستخدمة داخل صفحات موقع الويب نفسه لتحسين مركز الموقع في نتائج محركات البحث. تشمل هذه الجهود تحسين العناصر مثل (العنوان، والعنوان الفرعي، والكلمات الرئيسية، وبنية الصفحة، وسرعة التحميل، وجودة المحتوى، والصور...) بهدف جعل الصفحات أكثر جاذبية وصديقة لمحركات البحث وبالتالي تحقيق تصنيف أفضل في نتائج البحث.  تحسين محركات البحث خارج الصفحة هو مصطلح يشير إلى الجهود التي تُبذل خارج موقع الويب نفسه لتحسين مركز الموقع في نتائج محركات البحث. تشمل هذه الجهود بناء الروابط الخارجية وإقامة علاقات مع مواقع أخرى ومشاركة المحتوى عبر وسائل التواصل الاجتماعي والتقديم في الدلائل والمزيد، بهدف زيادة رؤية الموقع وتعزيز مكانته في نتائج البحث.  أخصائي تحسين محركات البحث أو متخصص السيو يعمل أخصائي تحسين محركات البحث بتحسين محتوى الموقع وتقنياته لجعلها أكثر فعالية في ظهور نتائج محركات البحث مثل جوجل. يهدف الأخصائي إلى زيادة عدد الزيارات وتحسين تجربة المستخدم وزيادة تحويل الزوار إلى عملاء.  دور أخصائي تحسين محركات البحث يتعلق بشكل أساسي بفهم سلوكيات الأفراد والمستخدمين بشكل أعمق من ارتباطه بمحركات البحث ذاتها، ويتجلى ذلك من خلال أداء المهام التالية: