نمایه‌سازی در موتورهای جستجو
تجزیه و تحلیل سند

تجزیه و تحلیل سند:
تجزیه و تحلیل سند مؤلفه‌ها (کلمات) یک سند یا سایر رسانه‌ها را برای قرار دادن در نمایه‌های پیشرو و معکوس از بین می‌برد.
کلمات موجود به نام نشانه‌ها هستند و بنابراین، در زمینه نمایه سازی موتورهای جستجو و پردازش زبان طبیعی، تجزیه به‌طور معمول به عنوان رمزگذاری شناخته می‌شود و همچنین گاهی اوقات به نام کلمه ابهام زدایی مرز، برچسب زدن، تقسیم‌بندی متن، تجزیه و تحلیل محتوای، تجزیه و تحلیل متن، متن کاوی، تطابق نسل، تقسیم‌بندی سخنرانی، لغو کردن، یا تجزیه و تحلیل واژگانی، اصطلاحات «نمایه سازی»، «تجزیه و تحلیل» و «تقسیم بندی» به صورت متغیر در شعار شرکت استفاده می‌شوند.
پردازش زبان عامیانه موضوع تحقیق و بهبود مستمر است.
نشانه گذاری چالش‌های زیادی را در استخراج اطلاعات لازم از اسناد برای نمایه سازی و پشتیبانی از جستجوی کیفی ایجاد می‌کند.
نمایه سازی شامل چندین تکنولوژی است، که پیاده‌سازی آنها معمولاً به عنوان اسرار شرکت‌ها حفظ می‌شود. [نیازمند منبع]
چالش‌های پردازش زبان طبیعی
ابهام مرزی کلمه:
سخنرانان بومی انگلیسی زبان ممکن است ابتدا علامت گذاری را به عنوان یک امر مهم مستقیما در نظر می‌گرفتند، اما در مورد طراحی یک نمایه چند زبانه ای اینگونه نیست.
در قالب دیجیتال، متون زبان‌های دیگر مانند چینی ، ژاپنی یا عربی یک چالش بزرگ وجود دارد، زیرا کلمات به وضوح توسط فضای خالی مشخص نیستند.
هدف در طی نشانه گذاری شناسایی کلماتی است که کاربران آن را جستجو می‌کنند.
برای زبان‌های خاص منطقی که به درستی مرزهای کلمات را تشخیص دهد به کار گرفته می‌شود، که اغلب منطق طراحی یک تجزیه کننده برای هر زبان پشتیبانی شده (یا برای گروه‌های زبان با نشانگرهای مرزی و نحوی مشابه) است.
ابهام زبان:
برای کمک به رتبه‌بندی صحیح اسناد مطابق، بسیاری از موتورهای جستجو اطلاعات اضافی در مورد هر یک از کلمات، مانند زبان یا طبقه‌ بندی واژگانی  (بخشی از حرف) جمع‌آوری می‌کند.
این تکنیک ها وابسته به زبان است، زیرا هماهنگی در میان قسمت های مختلف، در میان زبان ها متفاوت است.
سناد همیشه آنقدر واضح نیستند، که زبان سند را شناسایی کنند و یا دقیق آن را نشان دهند. در نشانه گذاری سند، برخی از موتور های جستجو تلاش می کنند تا به طور خودکار زبان سند را شناسایی کنند.
فرمت های متنوع فایل:
برای درستی شناسایی که کدام بایت یک سند، شخصیت ها را نشان می دهد، فرمت فایل باید به درستی شناخته شود.
موتور های جستجو که از فرمت های فایل های مختلف پشتیبانی می کنند ،باید بتوانند به درستی آن را باز کرده و به سند دسترسی داشته باشند.
ذخیره سازی نادرست :
ممکن نیست همیشه کیفیت داده های زبان اصلی خوب باشد. 
در تعداد نامشخص اسناد به ویژه در اینترنت، که از پروتکل فایل مناسب اطمینان نمیشود کرد .
ممکن است کاراکتر های دو دویی به صورت اشتباه در قسمت های مختلف یک سند رمز گذاری شوند.
در صورت عدم شناخت این کاراکتر ها و رفتار کردن مناسب با آن، کیفیت نمایه یا عملکرد نمایه می تواند از بین برود.
نشانه گذاری:
بر خلاف انسان های با سواد ، کامپیوترها ساختار یک سند زبان طبیعی را درک نمیکنند و نمیتوانند به طور خودکار کلمات و جملات را تشخیص دهند.
برای یک رایانه، یک سند فقط یک رشته از بایت است. کامپیوترها نمیدانند که یک کاراکتر جای خالی کلمات را در یک سند جدا می کند.
در عوض، انسان باید رایانه را برنامه ریزی کند تا مشخص کند چه چیزی منحصر به فرد یا واژه متمایز به نام ،یک نشانه است.
چنین برنامه ای معمولا به نام نشانه گذار یا تجزیه کننده یا تحلیل واژگانی گفته میشود.
بسیاری از موتور های جستجو و همچنین سایر نرم افزارهای پردازش زبان عامیانه، شامل برنامه های تخصصی برای تجزیه و تحلیل، مانند YACC یا Lex هستند.
در طی نشانه گذاری، تجزیه کننده رشته های از کاراکتر هایی را که نماینده کلمات و عناصر دیگر مانند نقطه گذاری است را با کد های عددی نشان داده می شوند ،برخی از آنها کاراکتر های غیر چاپی هستند.
تجزیه کننده همچنین می تواند مواردی مانند آدرس های ایمیل ، شماره تلفن ها و URL ها را شناسایی کند. هنگام شناسایی هر نشانه، ممکن است چندین ویژگی ذخیره شود.
مثلا نمونه نشانه گذاری (بالا، پایین، مخلوط، مناسب)، زبان یا کد گذاری، نقش لغوی (بخشی از گفتار، مانند «اسم» یا «فعل»)، موقعیت، شماره جمله ، موقعیت جمله، طول و شماره خط میباشد.
تشخیص زبان:
در صورتی که موتور جستجو چندین زبان را پشتیبانی کند، گام اولیه در طول نشانه گذاری، شناسایی زبان هر سند است؛ مراحل بعدی وابسته به زبان هستند (مانند تداخل و بخشی از برچسب زدن ).
تشخیص زبان فرآیندی است که توسط آن یک برنامه کامپیوتری به طور خودکار شناسایی یا دسته بندی زبان سند را دنبال میکند.
نامهای دیگر برای به رده بندی زبان به کار می رود شامل: طبقه بندی زبان، تجزیه و تحلیل زبان، شناسایی زبان و برچسب زدن زبان است. رده بندی خودکار زبان موضوع پژوهش حال حاضر در پردازش زبان طبیعی است .
پیدا کردن زبانی که کلمات به آن تعلق دارند ممکن است شامل استفاده از یک نمودار تشخیص زبان باشد.
تجزیه و تحلیل فرمت:
اگر موتور جستجو چند نوع فرمت سند را پشتیبانی کند ، اسناد باید برای نشانه گذاری آماده شوند. مشکل این است که بسیاری از فرمت های سند علاوه بر محتوای متنی دارای اطلاعات قالب بندی هستند.
به عنوان مثال، اسناد HTML حاوی  تگ های HTML است که اطلاعات قالب بندی مانند زمانی که خط جدید شروع می شود، بولد کردن و اندازه فونت یا استایل را مشخص می کند. 
اگر موتور جستجو تفاوت بین محتوا و "تگ گذاری" را نادیده بگیرد، اطلاعات اضافی در این نمایه گنجانده می شود که منجر به تضعیف نتایج جستجو می شود.
شناسایی و دستکاری محتوای قالب بندی درون اسناد که کنترل نحوه ارائه سند را بر روی صفحه نمایش کامپیوتر و یا توسط یک برنامه نرم افزاری فرمت را تجزیه و تحلیل و تفسیر می کند. 
تجزیه و تحلیل فرمت تجزیه و تحلیل ساختار تگ ها، قالب، نرمال سازی متن، تمیز کردن متن و آماده سازی متن رامعرفی می کند.
مشکل تجزیه وتحلیل فرمت با پیچیدیگی های مختلف فرمت های فایل ها پیچیده تر می شود.
فرمت های خاصی از فایل ها با اطلاعات بسیار کمی ارایه می دهند، در حالی که دیگران به خوبی مستند شده اند.
فرمت های رایج و کاملا مستند شده که بسیاری از موتور های جستجو پشتیبانی می کنند عبارتند از:
•HTML
•فایل های متنی ASCII (یک سند متن بدون فرمت قابل خواندن رایانه خاص)
•فرمت سند قابل حمل Adobe ( PDF )
•پست اسکریپت (PS)
•LaTeX
•UseNet فرمت های سرور net news
•XML و مشتقات آن مانند RSS
•SGML
•فرمت های داده های متا
چندرسانه ای مانند ID3
•مایکروسافت ورد
•مایکروسافت اکسل
•مایکروسافت پاورپوینت
•[[IBM  Lotus Notes
گزینه هایی برای رسیدگی به فرمت های مختلف شامل استفاده از یک ابزار تجزیه آمیز تجاری عمومی است که توسط سازمان ارائه شده است که فرمت را توسعه داده، حفظ و یا مالک آن و نوشتن یک تجزیه کننده دلخواه ارایه می دهد .
برخی از موتورهای جستجو از بازدید فایل هایی که در فرمت فایل فشرده شده یا رمزگذاری شده ذخیره می شوند پشتیبانی می کنند. هنگام کار با فرمت فشرده، نمایه ساز ابتدا سند را از حالت فشرده خارج می کند؛ این کار ممکن است به یک یا چند فایل ایجاد کند، که هر کدام به طور جداگانه باید نمایه شوند.
فرمت های فایل های فشرده که معمولا پشتیبانی می شوند عبارتند از:
•ZIP - آرشیو فایل زیپ
•RAR - پرونده آرشیو  Roshal
•CAB - مایکروسافت ویندوز کابینه فایل
•Gzip -  فایل های فشرده با gzip
•BZIP –  فایل هایی که با استفاده از bzip2 فشرده شده است
•(tape ARshive (TAR)،
فایل آرشیو یونیکس ، (خودشان) فشرده شده نیستند
•TAR.Z، TAR.GZ یا TAR.BZ2 - 
فایل های آرشیو یونیکس که با فشرده سازی Compress، GZIP یا BZIP2شده اند.
تجزیه و تحلیل فرمت می تواند شامل روش های بهبود کیفیت برای جلوگیری از "اطلاعات بد" در نمایه باشد. محتوا می تواند اطلاعات قالب بندی را برای محتوای اضافی دستکاری کند.
مثل هایی از سوء استفاده از قالب بندی سند برای هرزآگهی :
•شامل صدها یا هزاران کلمه که در یک بخش است کهبر روی صفحه کامپیوتر قابل مشاهده نیست، اما با استفاده از تحلیل فرمت برای نمایه ساز قابل مشاهده است، (به عنوان مثال برچسب پنهان "div" در HTML ، که ممکن است استفاده از ترکیب CSS یا جاوا اسکریپت برای اجرای آن است.
•تنظیم رنگ فونت کلمات به همان رنگ پس زمینه برای ساخت کلماتی که در صفحه کامپیوتر برای فردی که سند را مشاهده می کند پنهان است، اما برای نمایه ساز پنهان نیست.
شناسایی بخش:
در بعضی از موتورهای جستجو، تشخیص بخش انجام می شود تا قسمت های اصلی یک سند قبل از نشانه گذاری شناسایی شود .
همه اسناد موجود در یک جزء مثل یک کتاب که به خوبی نوشته شده است، به فصل ها و صفحات سازمان یافته تقسیم نشده اند.
بسیاری از اسناد در وب مانند خبرنامه ها و گزارش شرکت ها، حاوی محتوای نادرست و بخش های جانبی هستند که مربوط به مطالب اصلی نیستند (آنچه در مورد این سند است). 
به عنوان مثال، این مقاله یک منوی سمت را با لینک های دیگر صفحات وب نمایش می دهد. برخی از فرمت های فایل مانند HTML یا PDF اجازه می دهد محتوای در ستون نمایش داده شود.
حتی اگر محتوا نمایش داده شود یا رندر شود، در زمینه های مختلف نمایش، محتوای نشانه گذاری ممکن است این اطلاعات را به صورت متوالی ذخیره کند.
واژه هایی که به طور پیوسته در محتوای منبع خبری ظاهر می شوند، به صورت پیوسته آرایه سازی می شوند، حتی اگر این جمله و پاراگراف ها در قسمت های مختلف صفحه کامپیوتر نمایش داده شوند.
اگر موتورهای جستجو این محتوا را به عنوان محتوای معمولی نمایه می کنند، کیفیت نمایه و کیفیت جستجو ممکن است به دلیل محتوای مخلوط و کلمات نا مناسب نزدیک کاهش یابد.
حال دو نمونه از این مشکل رابه آن اشاره می کنیم:
•محتوا در بخش های دیگر به عنوان مرتبط در نمایه اعمال می شوند، در حالی که اینطور نیست .
•محتوای نوار کناری محتوا در نمایه قرار دارد، اما محتوای نوار جانبی به معنی سند ربطی ندارد و با نمایش آن باعث نمایه ضعیف می شود.
تجزیه و تحلیل بخش موتور جستجو نیاز دارد برای پیاده سازی منطق  رندر هر سند، اساسا سند واقعی را بازنمایی انتزاعی کند و سپس نمایه را به جای آن نمایش دهد.
به عنوان مثال، برخی از محتوا در اینترنت توسط جاوا اسکریپت ارائه می شود. اگر موتور جستجو صفحه را رندر نکند و جاوا اسکریپت را درون صفحه ارزیابی نکند، این محتوا را همان گونه که هست نمی بیند و سند را به اشتباه نمایه می کند.
با توجه به این که برخی از موتورهای جستجو نگران مسائل رندر نیستند، بسیاری از طراحان صفحه وب از محتوای جاوا اسکریپت اجتناب می کنند و یا از اسکریپت استفاده می کنند تا اطمینان حاصل شود که صفحه وب به درستی نشان داده شده است.
در عین حال، این واقعیت نیز می تواند مورد سوء استفاده قرار گیرد تا باعث شود که نمایه ساز موتور جستجو محتوای متنوعی را نسبت به بیننده ببیند.
سیستم اولویت HTML:
نمایه سازی اغلب قادر به تشخیص تگ های HTML برای سازماندهی اولویت هاست. 
نمایه سازی به حاشیه بالا برای، برچسب هایی مانند strong و link برای بهینه سازی ترتیب اولویت ، اولویت کمتری می دهد حات اگر این برچسب ها در ابتدای متن باشد ، نمی تواند اثبات کند که به آن مربوط است.
برخی از نمایه های مانند گوگل وبینگ این اطمینان را می دهند که موتور جستجو به دلیل سازگاری با سیستم هایی که وابستگی زیادی به نوع دارند ، متون زیادی را به عنوان منبع مربوط نمی کند.
نمایه سازی متا تگ:
اسناد خاص اغلب حاوی اطلاعات متا تعبیه شده مانند نویسنده، کلمات کلیدی، شرح و زبان هستند. برای صفحات HTML، متا تگ حاوی کلمات کلیدی است که در نمایه نیز گنجانده شده اند. 
تکنولوژی موتور جستجوی اینترنتی پیش از این فقط از کلید واژه ها را در متا تگ ها برای نمایه پیشرو ،نمایه می کردند؛ سند کامل نمی‌شد تجزیه شود. در آن زمان نمایه سازی متن کامل به خوبی انجام نمی شد و سخت افزارهای رایانه ای نیز قادر به پشتیبانی از چنین فن آوری نبود.
طراحی زبان نشانه گذاری HTML در ابتدا برای پشتیبانی از برچسب های متابود که هدف آن نمایه سازی درست و آسان بود ، که نیازی به نشانه گذاری نداشته باشد.
با رشد اینترنت از دهه 1990 به بعد بسیاری از شرکت ها که وجود خارجی نداشتند وب سایت های شرکت های تجاری را تاسیس کردند.
کلمات کلیدی مورد استفاده برای توصیف صفحات وب (که بسیاری از آنها صفحات وب شرکتهای تجاری مشابه با بروشورهای محصول بود) از کلمات کلیدی توصیفی به بازاریابی تغییر پیدا کردند که برای فروش با قرار دادن صفحه وب در نتایج جستجو برای جستار های خاص تغییر یافته است. 
واقعیت این است که این کلمات کلیدی ذاتا مشخص شده منجر به هرز آگهی شد که بسیاری از موتورهای جستجو را در دهه 1990 برای اتخاذ فناوری های نمایه سازی کامل متن وادار کرد. 
طراحان موتور جستجوگر و شرکت ها تنها می توانستند بسیاری از کلمات کلیدی بازاریابی را در محتوی صفحه وب قرار دهند تا قبل از تخلیه آن از اطلاعات جالب و مفید استفاده شود.
با توجه به این که منافع متقابل با هدف کسب و کار طراحی وب سایت های کاربر گرامی که به هم مرتبط بودند، برای حفظ مشتری معادله ارزش طول عمر مشتری به سمت استفاده از محتوای مفید تر در وب سایت تغییر یافت. 
به این ترتیب، نمایه سازی کامل متن اهمیت بیشتری پیدا کرده و کیفیت نتایج موتورهای جستجو را افزایش داد، زیرا گامی بالاتر از کنترل درونی تعیین سطح نتیجه موتور جستجو بود که به نوبه خود تحقیقات تکنولوژی های نمایه سازی کامل متن را گسترش داد.
در جویشگر دسکتاپ ، بسیاری از راه حل های  تگ متا توسط نویسندگان برای ایجاد یک راه، برای سفارشی کردن محتوای فایل های مختلف از محتوای فایل هایی که مشخص نیستند برای موتور جست و جو می باشند.
جویشگر دسکتاپ بیشتر تحت کنترل کاربر است، در حالی که موتورهای جستجو در اینترنت باید بیشتر روی متن کامل تمرکز کنند.
نمایه سازی وب از یک نام پر کاربرد در فرایند پیدا کردن، یک صفحه وب در نمایه سازی موتورهای جستجو استفاده می‌شود.
نمایه‌سازی در موتورهای جستجو' (به انگلیسی: Search engine indexing) به مرحله‌ای گفته می‌شود که ربات‌ها وب‌سایت‌ها را توسط آن شناسائی می‌کنند.
نمایه‌سازی در موتورهای جستجو' (به انگلیسی: Search engine indexing) به مرحله‌ای گفته می‌شود که ربات‌ها وب‌سایت‌ها را توسط آن شناسائی می‌کنند.
به‌طور کلی، همهٔ موتورهای جستجوگر، فرایند جستجو و بازیابی اطلاعات را از طریق برقراری ارتباط میان سه جزء اصلی تشکیل دهندهٔ خود یعنی ربات‌ها، پایگاه اطلاعاتی و نرم‌افزار بازیابی اطلاعات انجام می‌دهند.
مهم‌ترین مراحل این فرایند عبارت است از:
شناسایی و نمایه‌سازی اطلاعات صفحات یا سایت‌های وب توسط روبات ها؛
انتقال و درج اطلاعات گردآوری شده در پایگاه اطلاعاتی موتور کاوش؛
جستجوی اطلاعات در پایگاه اطلاعاتی از طریق نرم‌افزار بازیابی اطلاعات؛
بازیابی، رتبه‌بندی و نمایش اطلاعات مبتنی بر اطلاعات موجود در پایگاه اطلاعاتی.