payamvha/North_RAG huggingface dataset:
فراوانی در ایران، از جمله شیراز، قم و اصفهان دست زد. او سفری به تخت جمشید داشت و در نامه‌ای به آلفونسو دل لا کوئه وا از شکوه آن تعریف بسیار کرد. این نامه در بین افراد صاحب علم آنزمان اروپا تأثیر بسیار گذاشت و به سرعت به زبانهای لاتین و انگلیسی ترجمه شد. او خاطرات کامل سفر خود را با نام Totius legationis suae et Indicarum rerum Persidisque commentarii به رشته تحریر درآورد. در سال ۱۶۶۷ م این نوشته‌ها توسط آبراهام دو ویکفورد (Abraham de Wicquefort) به زبان فرانسه ترجمه شد. دستخط اصلی امروز در کتابخانه ملی در
ترجمه شد. دستخط اصلی امروز در کتابخانه ملی در مادرید نگهداری می‌شود و نخستین بار به صورت کامل در ۱۹۰۳م انتشار یافت. در اصفهان وی با جهانگرد ایتالیایی، پیترو دلاواله، ملاقات داشت. خاطرات دسیلوا شامل جزئیات بسیاری در مورد جغرافیا، تاریخ و فرهنگ ایران است و از آن به عنوان مرجع معتبری در مورد ایران عصر صفوی استفاده می‌شود. در مورد شاه عباس اول. در سفرنامه فیگوئروآ آمده است که کودکان دختر و پسرا برای حرمسرای شاه خریده میشدند و بعد از انتخاب توسط خواجه ‌های حرمسرا که مسئول انتخاب معشوقه ‌های شاه بودند ، به عنوان
که مسئول انتخاب معشوقه ‌های شاه بودند ، به عنوان مازادِ به بازرگانان فروخته می‌شدند و به عنوان برده در بازار خرید و فروش می‌‌ شدند . این‌ها بخشی از گروه روسپی ‌های غیر بومی اصفهان را تشکیل می‌دادند . درباره این گروه غیر بومی گزارش نماینده رسمی دولت اسپانیا عنوان میکند که شامل چرکس و مسکوی (روسی) بوده که یا از سوی حکام شهرها فرستاده شده و یا از طریق جنگ‌ها گردآوری میشدند و یا توسط تاتارها ، لزگی‌ها و دیگر همسایگان و هموطنان‌ شان دزدیده و به اصفهان فرستاده می شدند. فیگوئروآ ، به دلیل سرنوشت شوم این کودکان در
شدند. فیگوئروآ ، به دلیل سرنوشت شوم این کودکان در مورد شاه عباس اول میگوید : « بسیار جای تأسف است که آن ‌همه طفل و نوجوان را صرفاً به منظور ارتکاب اعمالی چنین فضیحت ‌بار خریداری می‌کنند . از همین یک عمل می‌توان قضاوت کرد که این پادشاه به هیچ دینی پای ‌بند نیست » منابع. ویکی‌پدیای انگلیسی
سد سنبل‌رود سدی از نوع خاکی با هسته رسی واقع در شهرستان سوادکوه شمالی، بین شیرگاه و بخش بابل‌کنار بابل می‌باشد. طول تاج این سد ۸۸۹ متر، عرض تاج آن ۱۰ متر و ارتفاعش از کف پی ۲۲٫۵ متر می‌باشد. پانزدهمین جشنواره سراسری نقاشی "خدا در روستا"، همزمان با بزرگترین نمایشگاه نقاشی روستایی ایران، ۱۶ مرداد ۱۳۸۸ با حضور هنرمندان و استادان هنرهای تجسمی ممتاز کشور در محل سد سنبل‌رود سوادکوه شمالی برگزار شد. امکانات گردشگری. از جمله امکانات گردشگری سد سنبل‌رود و پیرامون آن که یکی از ۵۰ منطقه گردشگری زیبای استان مازندران
که یکی از ۵۰ منطقه گردشگری زیبای استان مازندران به‌شمار می‌آید می‌توان به موارد زیر اشاره نمود: سایت برای بازدید امکانات سد سنبل رود. سایت مدیریت مجموعه تفریحی توریستی سنبل رود
پل-اریک رومو (زاده ۱۹ ژانویه ۱۹۴۲، در تالین) شاعر و سیاستمدار و وزیر پیشین فرهنگ و آموزش و پرورش استونی است. وی وزیر پیشین امور جمعیت استونی نیز هست. پل-اریک رومو سال‌هاست با «ویو هارم» شاعر معاصر ازدواج کرده و در شهر تالین زندگی می‌کند.رومّو، شاعر، نمایشنامه‌نویس و مترجم است. او شعرهای شاعر انگلیسی «ایلن تامس» و شعر شاعران معاصر فنلاند را به زبان استونییایی ترجمه کرده‌است. مجموعه‌ای از شعرهای ۱۹۶۰ تا ۱۹۶۷ وی در کتابی با نام «شعر» در سال ۱۹۶۸ چاپ و منتشر شده‌است. شعرهای تازهٔ وی به دلیل اصرار بیش از حد شاعر
شعرهای تازهٔ وی به دلیل اصرار بیش از حد شاعر به رعایت عین دست‌نویس شعرها در هنگام حروف‌چینی و چاپ، هنوز منتشر نشده‌است.
کتابخانه عمومی گلوگاه کتابخانه‌ای عمومی واقع در خیابان فرمانداری گلوگاه می‌باشد. این کتابخانه با زیربنای ۲۴۰ مترمربع و مساحت ۳۶۰ مترمربع در ۱ طبقه با درجه ۳ فعالیت می‌کند. بخش‌ها. مخزن کتاب، مرجع
کتابخانه عمومی محمودآباد کتابخانه‌ای عمومی واقع در خیابان آزادی، کوچه دانش، جنب فرمانداری محمودآباد می‌باشد. این کتابخانه با زیربنای ۷۵۶ مترمربع و مساحت ۹۰۰ مترمربع در ۲ طبقه با درجه ۲ فعالیت می‌کند. بخش‌ها. مخزن کتاب، مرجع
یوهان ویدینگ (۱ ژوئن ۱۹۴۸ – ۲۱ فوریه ۱۹۹۵) با نام مستعار یوری اودی (Jüri Üdi) از شاعران و هنرپیشگان اهل کشور استونی بود. یوهان ویدینگ در سال ۱۹۴۸ متولد شد و در شهر تالین زندگی کرد. پدر ویدینگ از شاعران معروف استونی است. یوهان پنج مجموعه از شعرهای خود را بین سال‌های ۱۹۷۱ تا ۱۹۷۵ با نام مستعار «یوری اودی» چاپ و منتشر کرده‌است. در سال ۱۹۷۸ مجموعه‌ای از این شعرها را با نام اصلی خود و با عنوان «من یوری اودی بودم» چاپ و منتشر کرد. بعد از این کتاب، نخستین مجموعهٔ شعری که با نام خود منتشر کرده‌است کتاب «امید زندگی»
که با نام خود منتشر کرده‌است کتاب «امید زندگی» است که در سال ۱۹۸۰ انتشار یافت.
کتابخانه باقرالعلوم کتابخانه‌ای عمومی واقع در خیابان انقلاب، انقلاب ۵۲، کوچه مزار شهدا نکا می‌باشد. این کتابخانه با زیربنای ۷۵۰ مترمربع و مساحت ۷۲۰ مترمربع در ۲ طبقه با درجه ۲ فعالیت می‌کند. بخش‌ها. مخزن کتاب، مرجع، نشریات، خدمات فنی
حسن بن‌محمد سحابی استرآبادی شوشتری نجفی شاعر پارسی‌گوی سدهٔ دهم است. زندگی. کمال‌الدین سحابی استرآبادی از عارفان و شاعران سدهٔ دهم است. پدرش از استرآباد بود و او در شوشتر متولد گردید. چهل سال آخر عمر در نجف زندگی کرد و همان‌جا درگذشت و به‌خاطر همین به «سحابی شوشتری» و «نجفی» هم مشهور است. وی پس از اقامت در نجف به تحصیل علوم دینی پرداخت تا جایی که از فقیهان عصر خود به‌شمار آمد. درباره‌اش گفته‌اند در تمام مدت مجاورت، سال‌ها جاروکش آستان نجف بود و می‌گویند مدت سی‌سال پایش به کوچه و بازار نرسید و به غیر از
مدت سی‌سال پایش به کوچه و بازار نرسید و به غیر از بوریایی و خشتی از مال دنیا چیزی اختیار نکرد. با چنین احوالاتی برخی از معاصرانش از جمله صادقی بیگ افشار او را به ریا و تزویر متهم کرده و گفته‌است مدت هفده‌سال در آن آستان چنان به ریاضت، ریاکارانه رفتار می‌کرد که اکثر خادمان و زیارت‌کنندگان را مرید خویش ساخته بود. این سخنان کسی است که او را در دوران مجاورتش دیده بود ولی آن‌ها که وی را ندیده بودند، جملگی از او به نیکی یاد کردند. آثار. از کلیات سحابی نسخه‌های زیادی در دست است. بخش اول از این کلیات رساله‌ای به
در دست است. بخش اول از این کلیات رساله‌ای به نام «عروةالوثقی» مرکب از نظم و نثر است که سحابی این رساله را به چهار بخش تقسیم کرده‌است: باقی کلیات وی شعرهایی است که شامل دو قسمت است: شهرتش به خاطر سرودن رباعیات است. رباعیات او بیشتر از جنبهٔ اندیشه‌های حاکم بر آن‌ها مورد توجه است و از نظر زیبایی‌شناسی و ظرافات فُرمی اهمیت چندانی ندارند. نمونه‌ای از اشعار. یا وضعیت انتشار اشعار. در سال ۱۳۴۸ دی‍وان غ‍زل‍ی‍ات س‍ح‍اب‍ی اس‍ت‍رآب‍ادی، توسط ح ـ ی. جواهری در مشهد منتشر شد. در سال ۱۳۸۸ انتشارات زوّار همین چاپ را
منتشر شد. در سال ۱۳۸۸ انتشارات زوّار همین چاپ را به‌همراه مقدمهٔ ح ـ ی. جواهری منتشر کرد.
نمایه‌سازی در موتورهای جستجو داده‌ها را جمع‌آوری، تجزیه و تحلیل و ذخیره می‌کند تا بازیابی اطلاعات سریع و دقیق و آسانتر شود. طراحی اولین نمایه شامل مفاهیم میان رشته‌ای از زبان‌شناسی، روانشناسی شناختی، ریاضیات، انفورماتیک و علوم کامپیوتر می‌باشد. موتورهای محبوب بر روی نمایه سازی متن کامل اسناد آنلاین با زبان عادی متمرکز هستند. درحالیکه انواع رسانه مانند ویدئو صوتی و گرافیک نیز قابل جستجو هستند. موتورهای جستجو فرانمایه‌های دیگر خدمات را بارگیری و استفاده می‌کنند و یک نمایه محلی را ذخیره نمی‌کنند، در حالی که
و یک نمایه محلی را ذخیره نمی‌کنند، در حالی که موتورهای جستجوی مبتنی بر حافظه پنهان به‌طور دائم نمایه را همراه با مجموعه ای از نوشته‌ها ذخیره می‌کنند. بر خلاف نمایه‌های متن کامل، خدمات جزئی متن عمق محدودی را برای کاهش اندازه نمایه نشان می‌دهند. خدمات بزرگتر معمولاً نمایه سازی را به علت زمان و پردازش هزینه مورد نیاز در یک فاصله زمانی از پیش تعیین شده انجام می‌دهند، در حالی که موتورهای جستجوگر مبتنی بر عامل در زمان واقعی نمایه سازی می‌کنند. نمایه سازی. هدف از ذخیره‌سازی یک نمایه، بهینه‌سازی سرعت و کارایی در
ذخیره‌سازی یک نمایه، بهینه‌سازی سرعت و کارایی در یافتن اسناد مرتبط برای یک جستار مورد جستجو است. بدون یک نمایه، موتور جستجو باید مجموعه ای از جملات هر سند را اسکن کند که نیاز به زمان و توان محاسباتی زیادی دارد. برای مثال، در حالی که یک نمایه از ۱۰٬۰۰۰ سند را می‌توان در عرض یک میلی ثانیه، یک اسکن پی در پی از هر کلمه در ۱۰٬۰۰۰ سند بزرگ ممکن است ساعت‌ها طول بکشد. در مقایسه با کاهش قابل توجهی که درزمان لازم برای به روز رسانی انجام می‌شود، برای ذخیره‌سازی زمان در بازیابی اطلاعات میزان فضای اضافی برای ذخیره
در بازیابی اطلاعات میزان فضای اضافی برای ذخیره نمایه در کامپیوتر خریداری می‌شود. عوامل عمده در طراحی معماری موتور جستجو عبارتند از: چگونه داده‌ها در نمایه‌ها ثبت می‌شوند و چگونه کلمات یا ویژگی‌های موضوعی موجود در متن به نمایه اضافه می‌شوند، و اینکه آیا چند نمایه ساز می‌توانند به صورت یکنواخت کار کنند. ابتدا باید نمایه ساز بررسی شود که آیا محتوای قدیمی یا محتویات جدید را به روز می‌کند یا خیر. گذرگاه به‌طور معمول با سیاست جمع‌آوری اطلاعات مرتبط است. با مفهوم فرمان SQL Merge و دیگر الگوریتم‌های ادغام مشابه
فرمان SQL Merge و دیگر الگوریتم‌های ادغام مشابه می‌توان نمایه‌های موتور جستجو ادغام کرد. چگونه می‌توان داده‌های نمایه را ذخیره کرد، یعنی اینکه باید داده‌ها فشرده یا فیلتر شوند. چقدر فضای ذخیره‌سازی کامپیوتر برای پشتیبانی از نمایه ضروری است. چقدر سریع یک کلمه می‌تواند در نمایه معکوس یافت شود. سرعت یافتن ورودی در یک ساختار داده، در مقایسه با اینکه سرعت آن می‌تواند به روز شود یا حذف شود، تمرکز اصلی علوم رایانه است. چگونه نمایه در طول زمان نگهداری می‌شود. قابلیت اعتماد سرویس خود اهمیت دارد. مسائلی شامل برخورد
اعتماد سرویس خود اهمیت دارد. مسائلی شامل برخورد با فساد نمایه، تعیین اینکه آیا داده‌های بد را می‌توان منزوی کرد، با سخت‌افزار بد، پارتیشن‌بندی، و طرح‌هایی مانند پراکندگی مجدد هش یا پارتیشن‌بندی کامپوزیت می‌تواند تکثیر کند. معماری موتور جستجو که در آن نمایه سازی انجام می‌شود، و در روش ذخیره‌سازی نمایه برای دیدار با عوامل مختلف طراحی متفاوت است. شکلی مانند ساختار درخت است، که از جستجوی خطی پشتیبانی می‌کند که با ذخیره پسوندهای کلمات ساخته می‌شود. درخت پسوند نوعی درخت است، که تلاش می‌کند تا هش کردن را گسترش
نوعی درخت است، که تلاش می‌کند تا هش کردن را گسترش دهد، این برای نمایه سازی موتورهای جستجو مهم است. برای جستجوی الگوهای در توالی‌های DNA و خوشه بندی مورد استفاده قرار می‌گیرد. یک نکته مهم این است که ذخیره یک کلمه در درخت ممکن است، فضای بیشتری از آنچه لازم است برای ذخیره خود کلمه نیاز داشته باشد. که آرایه پیوست به عنوان جایگزن آن است که به نظر می‌رسد نیاز به حافظه مجازی کمتری دارد و از فشرده سازی داده‌ها مانند الگوریتم BWT پشتیبانی می‌کند. نمایه معکوس: لیستی از وقایع هر معیار جستجو اتمی ذخیره می‌کند، که
از وقایع هر معیار جستجو اتمی ذخیره می‌کند، که به‌طور معمول در قالب یک جدول هش یا درخت دودویی است. نقل قول‌ها یی که برای حمایت از تجزیه و تحلیل استنادی، یا استخراج شده از متن را ذخیره‌سازی می‌کند. توالی طول داده‌ها را برای پشتیبانی از انواع دیگر بازیابی یا استخراج متن ذخیره‌سازی می‌کند. زمانی که در تجزیه و تحلیل معنایی پنهان رخ می‌دهد، از یک ماتریس دو بعدی استفاده می شوده که کلمات در اسناد در آن ذخیره می‌شوند. فرصت‌های زیادی برای شرایط مسابقه و گسل‌های منسجم وجود دارد. به عنوان مثال، مجموعه ای از نوشته‌ها
وجود دارد. به عنوان مثال، مجموعه ای از نوشته‌ها جدید به یک سند اضافه می‌شود و نمایه باید به روز شود، اما نمایه به‌طور همزمان به هردو نیازهای جستار جستجو پاسخگو است. این یک برخورد بین دو وظیفه رقابتی است. در نظر بگیرید که نویسندگان تولیدکننده اطلاعات هستند و یک نمایه ساز وب مصرف‌کننده این اطلاعات است، و کار آن گرفتن متن و ذخیره آن در کش (یا تنه) می‌باشد. نمایه پیشرو مصرف‌کننده اطلاعات تولید شده توسط تنه است، و نمایه معکوس مصرف‌کننده اطلاعات تولید شده توسط نمایه پیشرو است. این معمولاً به عنوان یک اشاره به
نمایه پیشرو است. این معمولاً به عنوان یک اشاره به مدل تولیدکننده-مصرف کننده است. نمایه ساز تولیدکننده اطلاعات قابل جستجو است و کاربران مصرف‌کنندگان هستند، که باید جستجو کنند؛ که در هنگام کار با ذخیره‌سازی توزیع شده و پردازش توزیع شده بزرگ وارد چالش می‌شود. در تلاش برای مقیاس با مقادیر بالاتری از اطلاعات نمایه سازی شده نشان داده شده، معماری موتور جستجو ممکن است، شامل محاسبات توزیع شده باشد، جایی که موتور جستجو شامل چندین ماشین است که در هم ادغام می‌شوند. این باعث افزایش احتمال ناسازگاری می‌شود و حفظ ساختار
باعث افزایش احتمال ناسازگاری می‌شود و حفظ ساختار کاملاً هماهنگ، توزیع شده و موازی آن را دشوار می‌سازد. بسیاری از موتورهای جستجو با ترکیب کردن یک نمایه معکوس در هنگام ارزیابی با یک جستار برای جستجو سریع اسناد حاوی کلمات موجود در یک جستار قرار می‌دهند و سپس این مدارک را با توجه به رتبه طبقه‌بندی می‌کنند. از آنجا که نمایه معکوس لیستی از اسناد حاوی هر کلمه را ذخیره می‌کند، موتور جستجو برای یافتن اسناد مرتبط با هر کلمه در جستار می‌تواند از طریق دسترسی مستقیم به سرعت به منظور یافتن اسناد مربوط استفاده شود. این
سرعت به منظور یافتن اسناد مربوط استفاده شود. این نمایه تنها می‌تواند تعیین کند که آیا یک کلمه در یک سند خاص وجود دارد، از آنجا که هیچ اطلاعاتی در مورد فرکانس و موقعیت کلمه ذخیره نمی‌شود؛ بنابراین به عنوان نمایه بولین در نظر گرفته شده‌است. چنین نمایه ای تعیین می‌کند کدام یک از اسناد با یک جستار مطابق است، اما اسناد مشابه را رتبه‌بندی نمی‌کند. در برخی از طرح‌ها، نمایه شامل اطلاعات اضافی مانند فرکانس هر کلمه در هر سند یا موقعیت یک کلمه در هر سند است، اطلاعات موقعیت این امکان را می‌دهد تا الگوریتم جستجو نزدیکی
این امکان را می‌دهد تا الگوریتم جستجو نزدیکی کلمه برای پشتیبانی از جستجو برای عبارات برای شناسایی کند؛ فرکانس را نیز می‌توان برای کمک به جستار استفاده کرد. چنین موضوعاتی تمرکز اصلی تحقیق در بازیابی اطلاعات است. نمایه معکوس یک ماتریس پراکنده است، زیرا در هر سند تمام کلمات وجود ندارد. برای استفاده کمتر از حافظه ذخیره‌سازی کامپیوتر، آن را به صورت متفاوت از یک آرایه دو بعدی ذخیره می‌شود. این نمایه شبیه ماتریس سند اصطلاحاتی از تحلیل معنایی نهفته استفاده می‌کند. نمایه معکوس می‌تواند یک شکل از جدول هش را مورد
نمایه معکوس می‌تواند یک شکل از جدول هش را مورد توجه قرار دهد. در بعضی موارد، این نمایه یک شکل از یک درخت دودویی است، که نیاز به ذخیره‌سازی بیشتری دارد. اما ممکن است، زمان جستجو را کاهش دهد. در نمایه‌های بزرگتر معماری معمولاً یک جدول هش توزیع شده است. آرایه معکوس از طریق ادغام یا بازسازی پر می‌شود. یک بازسازی مشابه یک ادغام است، اما ابتدا محتویات نمایه معکوس را حذف می‌کند. معماری ممکن است به منظور پشتیبانی از آرایه سازی افزایشی طراحی شده باشد، جایی که یک شناسایی سند ادغام می‌شود یا اسناد افزوده یا به روز
سند ادغام می‌شود یا اسناد افزوده یا به روز رسانی می‌شوند و سپس هر سند را به کلمات تجزیه می‌کند. برای دقت فنی، یک ادغام، اسنادی که اخیراً نمایه شده‌اند، معمولا در حافظه مجازی ذخیره می‌شوند، با کش مخفی در یک یا چند هارد دیسک کامپیوتر متصل می‌شوند. پس از تجزیه، نمایه ساز سند اشاره شده را به لیست سند برای کلمات مناسب اضافه می‌کند. در یک موتور جستجوی بزرگتر، فرایند پیدا کردن هر کلمه در نمایه معکوس (برای گزارش اینکه در یک سند اتفاق افتاده‌است) ممکن است خیلی وقت گیر باشد؛ بنابراین این فرایند معمولاً به دو بخش
گیر باشد؛ بنابراین این فرایند معمولاً به دو بخش تقسیم می‌شود: توسعه یک نمایه پیشرو و فرایندی که محتویات نمایه پیشرو را به نمایه معکوس طبقه‌بندی می‌کند. نمایه معکوس به همین دلیل نامیده می‌شود زیرا این یک معکوس کردن نمایه پیشرو است. نمایه پیشرو فهرستی از کلمات برای هر سند را ذخیره می‌کند. که منطق پشت توسعه یک نمایه پیشرو است، که به عنوان اسناد تجزیه می‌شود، بهتر است، بلافاصله کلمات را در هر سند ذخیره کنید. این طرح پردازش سیستم نا همزمان را قادر می‌سازد، که تا حدی از تضعیف به روز رسانی نمایه معکوس جلوگیری
تا حدی از تضعیف به روز رسانی نمایه معکوس جلوگیری می‌کند. نمایه پیشرو دسته‌بندی می‌شود تا آن را به یک نمایه معکوس تبدیل کند. نمایه پیشرو اساساً یک لیست دوگانه است که متشکل از یک سند و یک کلمه می‌باشد که توسط سند جمع‌آوری شده‌است. تبدیل نمایه پیشرو به یک نمایه معکوس فقط مربوط به مرتب‌سازی جفت‌ها با کلمات است. در این راستا، نمایه معکوس یک نمایه پیشروی است که کلمه مرتب شده. تولید یا نگهداری یک موتور جستجو در مقیاس وسیع، چالش مهم ذخیره‌سازی و پردازش را ایجاد می‌کند. بسیاری از موتورهای جستجو از فشرده سازی برای
بسیاری از موتورهای جستجو از فشرده سازی برای کاهش اندازه نمایه‌ها در دیسک استفاده می‌کنند. ناریوی زیر را برای یک متن کامل، موتور جستجوی اینترنتی در نظر بگیرید. با توجه به این سناریو، یک نمایه غیر فشرده (با فرض تلفیق نشدن، ساده، نمایه) برای ۲ میلیارد صفحات وب نیاز به ذخیره ۵۰۰ میلیارد ورودی است. با در نظر گرفتن ۱ بایت در هر حرف، یا ۵ بایت در هر کلمه، موتور جست و جو نیاز به ۲۵۰۰ گیگابایت فضای ذخیره‌سازی دارد. این فضای مورد نیاز می‌تواند حتی برای یک معماری ذخیره‌سازی توزیع شده که دارای خطا هست نیز بزرگتر باشد.
توزیع شده که دارای خطا هست نیز بزرگتر باشد. بسته به تکنیک فشرده سازی انتخاب شده، نمایه را می‌توان به یک کسری از این اندازه کاهش داد. مزایای همچون زمان و پردازش لازم برای آن فشرده سازی را مقرون به صرفه می‌کند. بدیهی است، طرح‌های موتور جستجو در مقیاس وسیع شامل هزینه ذخیره‌سازی و همچنین هزینه‌های برق برای ذخیره‌سازی است؛ بنابراین فشرده سازی یک کاهش هزینه است. تجزیه و تحلیل سند. تجزیه و تحلیل سند مؤلفه‌ها (کلمات) یک سند یا سایر رسانه‌ها را برای قرار دادن در نمایه‌های پیشرو و معکوس از بین می‌برد. کلمات موجود به
پیشرو و معکوس از بین می‌برد. کلمات موجود به نام نشانه‌ها هستند و بنابراین، در زمینه نمایه سازی موتورهای جستجو و پردازش زبان طبیعی، تجزیه به‌طور معمول به عنوان رمزگذاری شناخته می‌شود و همچنین گاهی اوقات به نام کلمه ابهام زدایی مرز، برچسب زدن، تقسیم‌بندی متن، تجزیه و تحلیل محتوای، تجزیه و تحلیل متن، متن کاوی، تطابق نسل، تقسیم‌بندی سخنرانی، لغو کردن، یا تجزیه و تحلیل واژگانی، اصطلاحات «نمایه سازی»، «تجزیه و تحلیل» و «تقسیم بندی» به صورت متغیر در شعار شرکت استفاده می‌شوند. پردازش زبان عامیانه موضوع تحقیق و
می‌شوند. پردازش زبان عامیانه موضوع تحقیق و بهبود مستمر است. نشانه گذاری چالش‌های زیادی را در استخراج اطلاعات لازم از اسناد برای نمایه سازی و پشتیبانی از جستجوی کیفی ایجاد می‌کند. نمایه سازی شامل چندین تکنولوژی است، که پیاده‌سازی آنها معمولاً به عنوان اسرار شرکت‌ها حفظ می‌شود. [نیازمند منبع] سخنرانان بومی انگلیسی زبان ممکن است ابتدا علامت گذاری را به عنوان یک امر مهم مستقیما در نظر می‌گرفتند، اما در مورد طراحی یک نمایه چند زبانه ای اینگونه نیست. در قالب دیجیتال، متون زبان‌های دیگر مانند چینی ، ژاپنی یا عربی
متون زبان‌های دیگر مانند چینی ، ژاپنی یا عربی یک چالش بزرگ وجود دارد، زیرا کلمات به وضوح توسط فضای خالی مشخص نیستند. هدف در طی نشانه گذاری شناسایی کلماتی است که کاربران آن را جستجو می‌کنند. برای زبان‌های خاص منطقی که به درستی مرزهای کلمات را تشخیص دهد به کار گرفته می‌شود، که اغلب منطق طراحی یک تجزیه کننده برای هر زبان پشتیبانی شده (یا برای گروه‌های زبان با نشانگرهای مرزی و نحوی مشابه) است. برای کمک به رتبه‌بندی صحیح اسناد مطابق، بسیاری از موتورهای جستجو اطلاعات اضافی در مورد هر یک از کلمات، مانند زبان یا
اضافی در مورد هر یک از کلمات، مانند زبان یا طبقه‌ بندی واژگانی (بخشی از حرف) جمع‌آوری می‌کند. این تکنیک ها وابسته به زبان است، زیرا هماهنگی در میان قسمت های مختلف، در میان زبان ها متفاوت است. سناد همیشه آنقدر واضح نیستند، که زبان سند را شناسایی کنند و یا دقیق آن را نشان دهند. در نشانه گذاری سند، برخی از موتور های جستجو تلاش می کنند تا به طور خودکار زبان سند را شناسایی کنند. برای درستی شناسایی که کدام بایت یک سند، شخصیت ها را نشان می دهد، فرمت فایل باید به درستی شناخته شود. موتور های جستجو که از فرمت های
درستی شناخته شود. موتور های جستجو که از فرمت های فایل های مختلف پشتیبانی می کنند ،باید بتوانند به درستی آن را باز کرده و به سند دسترسی داشته باشند. ممکن نیست همیشه کیفیت داده های زبان اصلی خوب باشد. در تعداد نامشخص اسناد به ویژه در اینترنت، که از پروتکل فایل مناسب اطمینان نمیشود کرد . ممکن است کاراکتر های دو دویی به صورت اشتباه در قسمت های مختلف یک سند رمز گذاری شوند. در صورت عدم شناخت این کاراکتر ها و رفتار کردن مناسب با آن، کیفیت نمایه یا عملکرد نمایه می تواند از بین برود. بر خلاف انسان های با سواد ،
می تواند از بین برود. بر خلاف انسان های با سواد ، کامپیوترها ساختار یک سند زبان طبیعی را درک نمیکنند و نمیتوانند به طور خودکار کلمات و جملات را تشخیص دهند. برای یک رایانه، یک سند فقط یک رشته از بایت است. کامپیوترها نمیدانند که یک کاراکتر جای خالی کلمات را در یک سند جدا می کند. در عوض، انسان باید رایانه را برنامه ریزی کند تا مشخص کند چه چیزی منحصر به فرد یا واژه متمایز به نام ،یک نشانه است. چنین برنامه ای معمولا به نام نشانه گذار یا تجزیه کننده یا تحلیل واژگانی گفته میشود. بسیاری از موتور های جستجو و همچنین
گفته میشود. بسیاری از موتور های جستجو و همچنین سایر نرم افزارهای پردازش زبان عامیانه، شامل برنامه های تخصصی برای تجزیه و تحلیل، مانند YACC یا Lex هستند. در طی نشانه گذاری، تجزیه کننده رشته های از کاراکتر هایی را که نماینده کلمات و عناصر دیگر مانند نقطه گذاری است را با کد های عددی نشان داده می شوند ،برخی از آنها کاراکتر های غیر چاپی هستند. تجزیه کننده همچنین می تواند مواردی مانند آدرس های ایمیل ، شماره تلفن ها و URL ها را شناسایی کند. هنگام شناسایی هر نشانه، ممکن است چندین ویژگی ذخیره شود. مثلا نمونه نشانه
ممکن است چندین ویژگی ذخیره شود. مثلا نمونه نشانه گذاری (بالا، پایین، مخلوط، مناسب)، زبان یا کد گذاری، نقش لغوی (بخشی از گفتار، مانند «اسم» یا «فعل»)، موقعیت، شماره جمله ، موقعیت جمله، طول و شماره خط میباشد. در صورتی که موتور جستجو چندین زبان را پشتیبانی کند، گام اولیه در طول نشانه گذاری، شناسایی زبان هر سند است؛ مراحل بعدی وابسته به زبان هستند (مانند تداخل و بخشی از برچسب زدن ). تشخیص زبان فرآیندی است که توسط آن یک برنامه کامپیوتری به طور خودکار شناسایی یا دسته بندی زبان سند را دنبال میکند. نامهای دیگر
یا دسته بندی زبان سند را دنبال میکند. نامهای دیگر برای به رده بندی زبان به کار می رود شامل: طبقه بندی زبان، تجزیه و تحلیل زبان، شناسایی زبان و برچسب زدن زبان است. رده بندی خودکار زبان موضوع پژوهش حال حاضر در پردازش زبان طبیعی است . پیدا کردن زبانی که کلمات به آن تعلق دارند ممکن است شامل استفاده از یک نمودار تشخیص زبان باشد. اگر موتور جستجو چند نوع فرمت سند را پشتیبانی کند ، اسناد باید برای نشانه گذاری آماده شوند. مشکل این است که بسیاری از فرمت های سند علاوه بر محتوای متنی دارای اطلاعات قالب بندی هستند. به
بر محتوای متنی دارای اطلاعات قالب بندی هستند. به عنوان مثال، اسناد HTML حاوی تگ های HTML است که اطلاعات قالب بندی مانند زمانی که خط جدید شروع می شود، بولد کردن و اندازه فونت یا استایل را مشخص می کند. اگر موتور جستجو تفاوت بین محتوا و "تگ گذاری" را نادیده بگیرد، اطلاعات اضافی در این نمایه گنجانده می شود که منجر به تضعیف نتایج جستجو می شود. شناسایی و دستکاری محتوای قالب بندی درون اسناد که کنترل نحوه ارائه سند را بر روی صفحه نمایش کامپیوتر و یا توسط یک برنامه نرم افزاری فرمت را تجزیه و تحلیل و تفسیر می کند.
نرم افزاری فرمت را تجزیه و تحلیل و تفسیر می کند. تجزیه و تحلیل فرمت تجزیه و تحلیل ساختار تگ ها، قالب، نرمال سازی متن، تمیز کردن متن و آماده سازی متن رامعرفی می کند. مشکل تجزیه وتحلیل فرمت با پیچیدیگی های مختلف فرمت های فایل ها پیچیده تر می شود. فرمت های خاصی از فایل ها با اطلاعات بسیار کمی ارایه می دهند، در حالی که دیگران به خوبی مستند شده اند. فرمت های رایج و کاملا مستند شده که بسیاری از موتور های جستجو پشتیبانی می کنند عبارتند از: •HTML •فایل های متنی ASCII (یک سند متن بدون فرمت قابل خواندن رایانه خاص)
(یک سند متن بدون فرمت قابل خواندن رایانه خاص) •فرمت سند قابل حمل Adobe ( PDF ) •پست اسکریپت (PS) •LaTeX •UseNet فرمت های سرور net news •XML و مشتقات آن مانند RSS •SGML •فرمت های داده های متا چندرسانه ای مانند ID3 •مایکروسافت ورد •مایکروسافت اکسل •مایکروسافت پاورپوینت •[[IBM Lotus Notes گزینه هایی برای رسیدگی به فرمت های مختلف شامل استفاده از یک ابزار تجزیه آمیز تجاری عمومی است که توسط سازمان ارائه شده است که فرمت را توسعه داده، حفظ و یا مالک آن و نوشتن یک [[تجزیه کننده]] دلخواه ارایه می دهد . برخی از
یک [[تجزیه کننده]] دلخواه ارایه می دهد . برخی از موتورهای جستجو از بازدید فایل هایی که در فرمت فایل فشرده شده یا رمزگذاری شده ذخیره می شوند پشتیبانی می کنند. هنگام کار با فرمت [[فشرده]]، نمایه ساز ابتدا سند را از حالت فشرده خارج می کند؛ این کار ممکن است به یک یا چند فایل ایجاد کند، که هر کدام به طور جداگانه باید نمایه شوند. [[فرمت های فایل]] های [[فشرده]] که معمولا پشتیبانی می شوند عبارتند از: •[[ZIP]] - آرشیو فایل زیپ •[[RAR]] - پرونده آرشیو Roshal •[[CAB]] - [[مایکروسافت ویندوز]] کابینه فایل •[[Gzip]] -
- [[مایکروسافت ویندوز]] کابینه فایل •[[Gzip]] - فایل های فشرده با gzip •[[BZIP]] – فایل هایی که با استفاده از bzip2 فشرده شده است •[[(tape ARshive ]](TAR)، فایل آرشیو [[یونیکس]] ، (خودشان) فشرده شده نیستند •TAR.Z، TAR.GZ یا TAR.BZ2 - فایل های آرشیو [[یونیکس]] که با فشرده سازی Compress، GZIP یا BZIP2شده اند. تجزیه و تحلیل فرمت می تواند شامل روش های بهبود کیفیت برای جلوگیری از "اطلاعات بد" در نمایه باشد. محتوا می تواند اطلاعات قالب بندی را برای محتوای اضافی دستکاری کند. مثل هایی از سوء استفاده از قالب بندی
دستکاری کند. مثل هایی از سوء استفاده از قالب بندی سند برای هرزآگهی : •شامل صدها یا هزاران کلمه که در یک بخش است کهبر روی صفحه کامپیوتر قابل مشاهده نیست، اما با استفاده از تحلیل فرمت برای نمایه ساز قابل مشاهده است، (به عنوان مثال برچسب پنهان [["div"]] در [[HTML]] ، که ممکن است استفاده از ترکیب [[CSS]] یا [[جاوا اسکریپت]] برای اجرای آن است. •تنظیم رنگ فونت کلمات به همان رنگ پس زمینه برای ساخت کلماتی که در صفحه کامپیوتر برای فردی که سند را مشاهده می کند پنهان است، اما برای نمایه ساز پنهان نیست. در بعضی از
است، اما برای نمایه ساز پنهان نیست. در بعضی از موتورهای جستجو، تشخیص بخش انجام می شود تا قسمت های اصلی یک سند قبل از نشانه گذاری شناسایی شود . همه اسناد موجود در یک جزء مثل یک کتاب که به خوبی نوشته شده است، به فصل ها و صفحات سازمان یافته تقسیم نشده اند. بسیاری از اسناد در [[وب]] مانند خبرنامه ها و گزارش شرکت ها، حاوی محتوای نادرست و بخش های جانبی هستند که مربوط به مطالب اصلی نیستند (آنچه در مورد این سند است). به عنوان مثال، این مقاله یک منوی سمت را با لینک های دیگر صفحات وب نمایش می دهد. برخی از فرمت های
های دیگر صفحات وب نمایش می دهد. برخی از فرمت های فایل مانند HTML یا PDF اجازه می دهد محتوای در ستون نمایش داده شود. حتی اگر محتوا نمایش داده شود یا رندر شود، در زمینه های مختلف نمایش، محتوای نشانه گذاری ممکن است این اطلاعات را به صورت متوالی ذخیره کند. واژه هایی که به طور پیوسته در محتوای منبع خبری ظاهر می شوند، به صورت پیوسته آرایه سازی می شوند، حتی اگر این جمله و پاراگراف ها در قسمت های مختلف صفحه کامپیوتر نمایش داده شوند. اگر موتورهای جستجو این محتوا را به عنوان محتوای معمولی نمایه می کنند، کیفیت نمایه