Payamvdn/NorthPersian_fa_wiki huggingface dataset:
دید کند می تواند ترکیب های کلید را آزمایش و بررسی کند تا به پاسخ صحیح برسد. با این حال مدیران پایگاه داده میتوانند اقدامات متقابلی در برابر حملات آنلاین انجام دهند. به طور مثال با محدود کردن تعداد دفعاتی که می توان گذرواژه وارد کرد یا ایجاد تأخیر زمانی هنگام وارد کردن پیاپی آن یا پیچیده تر کردن پاسخ (با طور مثال استفاده از کپچا یا ارسال کد تأیید به تلفن همراه و …) یا قفل شدن حساب کاربری پس از چند بار اقدام ناموفق (وارد کردن گذرواژه غلط). مدیران وبسایت نیز ممکن است از آدرس آیپی ای که بیش از تعداد دفعات مقرر اقدام به ورود به حساب کاربری و وارد کردن گذرواژه در آن سایت کند جلوگیری کنند و آن را محدود کنند. استفاده از فایروال ها مانند CSF می تواند به عنوان یک راهکار برای جلوگیری از حملات بروت فورس مطرح شود . با پیکربندی صحیح و تنظیم پارامتر هایی مثل LF_TRIGGER_PERM_BLOCK و LF_TRIGGER_TEMP_BLOCK ، فایروال CSF می تواند بعد از تعدادی درخواست مشکوک ، آی پی مهاجم به صورت موقت یا دائم مسدود کند. حمله غیرهوشمند وارونه. در این روش یک گذرواژه (که معمولاً متداول است) برای چندین کاربر یا فایل رمز شده امتحان میشود. این روند مم
کن است با تعدادی گذرواژه انتخاب شده تکرار شود. در این روش عموماً مهاجم کاربر خاص و مشخصی را هدف قرار نداده است. نرم افزارهایی که حمله غیر هوشمند را انجام می دهند: منابع. ویکی پدیای انگلیسی https://pentestcore.com/brute-force/
فینال جام در جام اروپا ۱۹۹۵، رقابت پایانی جام در جام اروپا در سال ۱۹۹۵ میلادی است که مابین دو تیم باشگاه فوتبال رئال ساراگوسا و باشگاه فوتبال آرسنال برگزار شده است. این مسابقه که در تاریخ ۱۰ مه ۱۹۹۵ انجام شده است با نتیجه ۲ بر ۱ به سود تیم باشگاه فوتبال رئال ساراگوسا به پایان رسید.
فینال جام در جام اروپا ۱۹۹۶، رقابت پایانی جام در جام اروپا در سال ۱۹۹۶ میلادی است که مابین دو تیم باشگاه فوتبال پاریس سن ژرمن و باشگاه فوتبال راپیدوین برگزار شده است. این مسابقه که در تاریخ ۸ مه ۱۹۹۶ انجام شده است با نتیجه ۱ بر ۰ به سود تیم باشگاه فوتبال پاریس سن ژرمن به پایان رسید.
فینال جام در جام اروپا ۱۹۹۷، رقابت پایانی جام در جام اروپا در سال ۱۹۹۷ میلادی است که مابین دو تیم باشگاه فوتبال بارسلونا و باشگاه فوتبال پاریس سن ژرمن برگزار شده است. این مسابقه که در تاریخ ۱۴ مه ۱۹۹۷ انجام شده است با نتیجه ۱ بر ۰ به سود تیم باشگاه فوتبال بارسلونا به پایان رسید.
فینال جام در جام اروپا ۱۹۹۸، رقابت پایانی جام در جام اروپا در سال ۱۹۹۸ میلادی است که مابین دو تیم باشگاه فوتبال چلسی و باشگاه فوتبال اشتوتگارت برگزار شده است. این مسابقه که در تاریخ ۱۳ مه ۱۹۹۸ انجام شده است با نتیجه ۱ بر ۰ به سود تیم باشگاه فوتبال چلسی به پایان رسید.
ساعت تابستانی اروپای شرقی یا ئی ئی اس تی یکی از نام های منطقه زمانی است که ۳ ساعت از ساعت هماهنگ جهانی جلوتر است. این ساعت به عنوان تغییر ساعت تابستانی در برخی از کشورهای اروپایی، آفریقای شمالی و خاورمیانه استفاده می شود. در این کشورها در زمستان زمان اروپای شرقی () کاربرد دارد. از سال ۱۹۹۶ میلادی تاکنون ساعت تابستانی اروپا از آخرین یکشنبهٔ مارس تا آخرین یکشنبهٔ اکتبر به کار گرفته شده است؛ پیش از آن قوانین در اتحادیه اروپا یکسان نبود. کاربرد. کشورها و مناطق زیر از ساعت تابستانی اروپای شرقی در تابستان ها استفاده می کنند: در سال ۱۹۹۱ میلادی ساعت تابستانی اروپای شرقی در منطقه های زمانی مسکو و استان سامارای روسیه نیز استفاده شد.
فینال جام در جام اروپا ۱۹۶۱، رقابت پایانی جام در جام اروپا در سال ۱۹۶۱ میلادی است که مابین دو تیم باشگاه فوتبال فیورنتینا و باشگاه فوتبال رنجرز برگزار شده است. این مسابقه که به صورت رفت و برگشت در تاریخ های ۲۶ مه ۱۹۶۱ و ۲۷ مه ۱۹۶۱ انجام شده است در مجموع با نتیجه ۳ بر ۱ به سود تیم باشگاه فوتبال فیورنتینا به پایان رسید.
یان کاپلینسکی (زاده ۲۲ ژانویه ۱۹۴۱، در تارتو – درگذشته ۸ اوت ۲۰۲۱)، شاعر اهل استونی، فیلسوف و منتقد فرهنگی بود. یان کاپلینسکی به خاطر روش مستقل فکری خود و تمرکزی که بر مسائل جهانی دارد شناخته شده است. او از اندیشه های چپگرا/لیبرال پشتیبانی می کند و تحت تأثیر مکاتب فلسفی شرقی، به ویژه تائویسم و بودیسم، قرار دارد. یان کاپلینسکی در سال ۱۹۴۱ متولد شده است و در شهر تارتو زندگی می کند. در بین سال های ۱۹۶۵ تا ۱۹۸۲ تعداد شش مجموعه شعر از وی چاپ و منتشر شده است، که موفق ترین آنها کتاب «از رنگ ها و غبارها» (۱۹۶۷) نام دارد، که در شعرهای این کتاب کاپلینسکی سبک بیان نوینی را ارائه می دهد.
گارسیا د سیلوا فیگوروا (اسپانیایی: García de Silva Figueroa) (زاده ۲۹ دسامبر ۱۵۵۰ – مرگ ۲۲ ژوئیه ۱۶۲۴) سفیر پادشاه اسپانیا در دربار شاه عباس صفوی و یک جهانگرد پراهمیت است. وی اولین اروپاییست که در بازدید از تخت جمشید به واقعیت تاریخی آن به عنوان مقر پادشاهان هخامنشی اشاره می کند. زندگی. د سیلوا در شهر زافرا در ایالت باداخوس اسپانیا به دنیا آمد. او نخست در خدمت ارتش فلاندرز درآمد و سپس والی ایالت باداخوس گشت. در ۱۶۱۲م، فلیپ سوم، پادشاه اسپانیا و پرتغال، د سیلوا را به عنوان سفیر خود در دربار صفوی برگزید. وی مدتی طولانی در شهر گوا، به دلیل اختلاف عقیده بسیار با نایب السلطنه پرتغال از سفر به ایران بازداشته شد تا سرانجام در اکتبر ۱۶۱۷م به مقصد رسید. سفارت دسیلوا در پاسخ به دو فرستاده اخیر شاه عباس به دربار فلیپ سوم یعنی رابرت شرلی و دنگیز بیگ بود. دسیلوا در طول مأموریت خود، اقدامات سیاسی مهمی انجام داد. ازجمله آنها پیمان اتحاد سه قدرت ایران، پرتغال و اسپانیا در مقابل دشمن دیرینه یعنی امپراتوری عثمانی بود. دسیلوا به سفرهای فراوانی در ایران، از جمله شیراز، قم و اصفهان دست زد. او سفری به تخت جمشید داشت و در نامه ای ب
ه آلفونسو دل لا کوئه وا از شکوه آن تعریف بسیار کرد. این نامه در بین افراد صاحب علم آنزمان اروپا تأثیر بسیار گذاشت و به سرعت به زبانهای لاتین و انگلیسی ترجمه شد. او خاطرات کامل سفر خود را با نام Totius legationis suae et Indicarum rerum Persidisque commentarii به رشته تحریر درآورد. در سال ۱۶۶۷ م این نوشته ها توسط آبراهام دو ویکفورد (Abraham de Wicquefort) به زبان فرانسه ترجمه شد. دستخط اصلی امروز در کتابخانه ملی در مادرید نگهداری می شود و نخستین بار به صورت کامل در ۱۹۰۳م انتشار یافت. در اصفهان وی با جهانگرد ایتالیایی، پیترو دلاواله، ملاقات داشت. خاطرات دسیلوا شامل جزئیات بسیاری در مورد جغرافیا، تاریخ و فرهنگ ایران است و از آن به عنوان مرجع معتبری در مورد ایران عصر صفوی استفاده می شود. در مورد شاه عباس اول. در سفرنامه فیگوئروآ آمده است که کودکان دختر و پسرا برای حرمسرای شاه خریده میشدند و بعد از انتخاب توسط خواجه های حرمسرا که مسئول انتخاب معشوقه های شاه بودند ، به عنوان مازادِ به بازرگانان فروخته می شدند و به عنوان برده در بازار خرید و فروش می شدند . این ها بخشی از گروه روسپی های غیر بومی اصفهان را تشکیل می دا
دند . درباره این گروه غیر بومی گزارش نماینده رسمی دولت اسپانیا عنوان میکند که شامل چرکس و مسکوی (روسی) بوده که یا از سوی حکام شهرها فرستاده شده و یا از طریق جنگ ها گردآوری میشدند و یا توسط تاتارها ، لزگی ها و دیگر همسایگان و هموطنان شان دزدیده و به اصفهان فرستاده می شدند. فیگوئروآ ، به دلیل سرنوشت شوم این کودکان در مورد شاه عباس اول میگوید : « بسیار جای تأسف است که آن همه طفل و نوجوان را صرفاً به منظور ارتکاب اعمالی چنین فضیحت بار خریداری می کنند . از همین یک عمل می توان قضاوت کرد که این پادشاه به هیچ دینی پای بند نیست » منابع. ویکی پدیای انگلیسی
رشکک شش خال نوعی شب پره است که در سال ۱۷۵۸ توصیف علمی شد. زیستگاه این گونه قاره اروپا است.
سد سنبل رود سدی از نوع خاکی با هسته رسی واقع در شهرستان سوادکوه شمالی، بین شیرگاه و بخش بابل کنار بابل می باشد. طول تاج این سد ۸۸۹ متر، عرض تاج آن ۱۰ متر و ارتفاعش از کف پی ۲۲٫۵ متر می باشد. پانزدهمین جشنواره سراسری نقاشی "خدا در روستا"، همزمان با بزرگترین نمایشگاه نقاشی روستایی ایران، ۱۶ مرداد ۱۳۸۸ با حضور هنرمندان و استادان هنرهای تجسمی ممتاز کشور در محل سد سنبل رود سوادکوه شمالی برگزار شد. امکانات گردشگری. از جمله امکانات گردشگری سد سنبل رود و پیرامون آن که یکی از ۵۰ منطقه گردشگری زیبای استان مازندران به شمار می آید می توان به موارد زیر اشاره نمود: سایت برای بازدید امکانات سد سنبل رود. سایت مدیریت مجموعه تفریحی توریستی سنبل رود
رشکک جنگلی نوعی شب پره است که در سال ۱۷۷۵ توصیف علمی شد. زیست گاه این گونه قاره اروپا است. این گونه در غرب اسکاتلند، جنوب اسکاندیناوی و اطراف دریاچه بایکال دیده شده است.
پل-اریک رومو (زاده ۱۹ ژانویه ۱۹۴۲، در تالین) شاعر و سیاستمدار و وزیر پیشین فرهنگ و آموزش و پرورش استونی است. وی وزیر پیشین امور جمعیت استونی نیز هست. پل-اریک رومو سال هاست با «ویو هارم» شاعر معاصر ازدواج کرده و در شهر تالین زندگی می کند.رومّو، شاعر، نمایشنامه نویس و مترجم است. او شعرهای شاعر انگلیسی «ایلن تامس» و شعر شاعران معاصر فنلاند را به زبان استونییایی ترجمه کرده است. مجموعه ای از شعرهای ۱۹۶۰ تا ۱۹۶۷ وی در کتابی با نام «شعر» در سال ۱۹۶۸ چاپ و منتشر شده است. شعرهای تازهٔ وی به دلیل اصرار بیش از حد شاعر به رعایت عین دست نویس شعرها در هنگام حروف چینی و چاپ، هنوز منتشر نشده است.
کتابخانه عمومی گلوگاه کتابخانه ای عمومی واقع در خیابان فرمانداری گلوگاه می باشد. این کتابخانه با زیربنای ۲۴۰ مترمربع و مساحت ۳۶۰ مترمربع در ۱ طبقه با درجه ۳ فعالیت می کند. بخش ها. مخزن کتاب، مرجع
کتابخانه عمومی محمودآباد کتابخانه ای عمومی واقع در خیابان آزادی، کوچه دانش، جنب فرمانداری محمودآباد می باشد. این کتابخانه با زیربنای ۷۵۶ مترمربع و مساحت ۹۰۰ مترمربع در ۲ طبقه با درجه ۲ فعالیت می کند. بخش ها. مخزن کتاب، مرجع
وصله قرمزی از گونه هایی است که در سال ۱۸۳۷ توصیف علمی شد. زیستگاه این پروانه در مکزیک و جنوب ایالت آریزونا و جنوب ایالت تگزاس می باشد. این گونه عضو سرده پرتوبالان و تیره فرچه پایان است.
یوهان ویدینگ (۱ ژوئن ۱۹۴۸ – ۲۱ فوریه ۱۹۹۵) با نام مستعار یوری اودی (Jüri Üdi) از شاعران و هنرپیشگان اهل کشور استونی بود. یوهان ویدینگ در سال ۱۹۴۸ متولد شد و در شهر تالین زندگی کرد. پدر ویدینگ از شاعران معروف استونی است. یوهان پنج مجموعه از شعرهای خود را بین سال های ۱۹۷۱ تا ۱۹۷۵ با نام مستعار «یوری اودی» چاپ و منتشر کرده است. در سال ۱۹۷۸ مجموعه ای از این شعرها را با نام اصلی خود و با عنوان «من یوری اودی بودم» چاپ و منتشر کرد. بعد از این کتاب، نخستین مجموعهٔ شعری که با نام خود منتشر کرده است کتاب «امید زندگی» است که در سال ۱۹۸۰ انتشار یافت.
کتابخانه باقرالعلوم کتابخانه ای عمومی واقع در خیابان انقلاب، انقلاب ۵۲، کوچه مزار شهدا نکا می باشد. این کتابخانه با زیربنای ۷۵۰ مترمربع و مساحت ۷۲۰ مترمربع در ۲ طبقه با درجه ۲ فعالیت می کند. بخش ها. مخزن کتاب، مرجع، نشریات، خدمات فنی
حسن بن محمد سحابی استرآبادی شوشتری نجفی شاعر پارسی گوی سدهٔ دهم است. زندگی. کمال الدین سحابی استرآبادی از عارفان و شاعران سدهٔ دهم است. پدرش از استرآباد بود و او در شوشتر متولد گردید. چهل سال آخر عمر در نجف زندگی کرد و همان جا درگذشت و به خاطر همین به «سحابی شوشتری» و «نجفی» هم مشهور است. وی پس از اقامت در نجف به تحصیل علوم دینی پرداخت تا جایی که از فقیهان عصر خود به شمار آمد. درباره اش گفته اند در تمام مدت مجاورت، سال ها جاروکش آستان نجف بود و می گویند مدت سی سال پایش به کوچه و بازار نرسید و به غیر از بوریایی و خشتی از مال دنیا چیزی اختیار نکرد. با چنین احوالاتی برخی از معاصرانش از جمله صادقی بیگ افشار او را به ریا و تزویر متهم کرده و گفته است مدت هفده سال در آن آستان چنان به ریاضت، ریاکارانه رفتار می کرد که اکثر خادمان و زیارت کنندگان را مرید خویش ساخته بود. این سخنان کسی است که او را در دوران مجاورتش دیده بود ولی آن ها که وی را ندیده بودند، جملگی از او به نیکی یاد کردند. آثار. از کلیات سحابی نسخه های زیادی در دست است. بخش اول از این کلیات رساله ای به نام «عروةالوثقی» مرکب از نظم و نثر است که سحابی این رسال
ه را به چهار بخش تقسیم کرده است: باقی کلیات وی شعرهایی است که شامل دو قسمت است: شهرتش به خاطر سرودن رباعیات است. رباعیات او بیشتر از جنبهٔ اندیشه های حاکم بر آن ها مورد توجه است و از نظر زیبایی شناسی و ظرافات فُرمی اهمیت چندانی ندارند. نمونه ای از اشعار. یا وضعیت انتشار اشعار. در سال ۱۳۴۸ دی وان غ زل ی ات س ح اب ی اس ت رآب ادی، توسط ح ـ ی. جواهری در مشهد منتشر شد. در سال ۱۳۸۸ انتشارات زوّار همین چاپ را به همراه مقدمهٔ ح ـ ی. جواهری منتشر کرد.
نمایه سازی در موتورهای جستجو داده ها را جمع آوری، تجزیه و تحلیل و ذخیره می کند تا بازیابی اطلاعات سریع و دقیق و آسانتر شود. طراحی اولین نمایه شامل مفاهیم میان رشته ای از زبان شناسی، روانشناسی شناختی، ریاضیات، انفورماتیک و علوم کامپیوتر می باشد. موتورهای محبوب بر روی نمایه سازی متن کامل اسناد آنلاین با زبان عادی متمرکز هستند. درحالیکه انواع رسانه مانند ویدئو صوتی و گرافیک نیز قابل جستجو هستند. موتورهای جستجو فرانمایه های دیگر خدمات را بارگیری و استفاده می کنند و یک نمایه محلی را ذخیره نمی کنند، در حالی که موتورهای جستجوی مبتنی بر حافظه پنهان به طور دائم نمایه را همراه با مجموعه ای از نوشته ها ذخیره می کنند. بر خلاف نمایه های متن کامل، خدمات جزئی متن عمق محدودی را برای کاهش اندازه نمایه نشان می دهند. خدمات بزرگتر معمولاً نمایه سازی را به علت زمان و پردازش هزینه مورد نیاز در یک فاصله زمانی از پیش تعیین شده انجام می دهند، در حالی که موتورهای جستجوگر مبتنی بر عامل در زمان واقعی نمایه سازی می کنند. نمایه سازی. هدف از ذخیره سازی یک نمایه، بهینه سازی سرعت و کارایی در یافتن اسناد مرتبط برای یک جستار مورد جستجو است. بد
ون یک نمایه، موتور جستجو باید مجموعه ای از جملات هر سند را اسکن کند که نیاز به زمان و توان محاسباتی زیادی دارد. برای مثال، در حالی که یک نمایه از ۱۰٬۰۰۰ سند را می توان در عرض یک میلی ثانیه، یک اسکن پی در پی از هر کلمه در ۱۰٬۰۰۰ سند بزرگ ممکن است ساعت ها طول بکشد. در مقایسه با کاهش قابل توجهی که درزمان لازم برای به روز رسانی انجام می شود، برای ذخیره سازی زمان در بازیابی اطلاعات میزان فضای اضافی برای ذخیره نمایه در کامپیوتر خریداری می شود. عوامل عمده در طراحی معماری موتور جستجو عبارتند از: چگونه داده ها در نمایه ها ثبت می شوند و چگونه کلمات یا ویژگی های موضوعی موجود در متن به نمایه اضافه می شوند، و اینکه آیا چند نمایه ساز می توانند به صورت یکنواخت کار کنند. ابتدا باید نمایه ساز بررسی شود که آیا محتوای قدیمی یا محتویات جدید را به روز می کند یا خیر. گذرگاه به طور معمول با سیاست جمع آوری اطلاعات مرتبط است. با مفهوم فرمان SQL Merge و دیگر الگوریتم های ادغام مشابه می توان نمایه های موتور جستجو ادغام کرد. چگونه می توان داده های نمایه را ذخیره کرد، یعنی اینکه باید داده ها فشرده یا فیلتر شوند. چقدر فضای ذخیره سازی کامپ
یوتر برای پشتیبانی از نمایه ضروری است. چقدر سریع یک کلمه می تواند در نمایه معکوس یافت شود. سرعت یافتن ورودی در یک ساختار داده، در مقایسه با اینکه سرعت آن می تواند به روز شود یا حذف شود، تمرکز اصلی علوم رایانه است. چگونه نمایه در طول زمان نگهداری می شود. قابلیت اعتماد سرویس خود اهمیت دارد. مسائلی شامل برخورد با فساد نمایه، تعیین اینکه آیا داده های بد را می توان منزوی کرد، با سخت افزار بد، پارتیشن بندی، و طرح هایی مانند پراکندگی مجدد هش یا پارتیشن بندی کامپوزیت می تواند تکثیر کند. معماری موتور جستجو که در آن نمایه سازی انجام می شود، و در روش ذخیره سازی نمایه برای دیدار با عوامل مختلف طراحی متفاوت است. شکلی مانند ساختار درخت است، که از جستجوی خطی پشتیبانی می کند که با ذخیره پسوندهای کلمات ساخته می شود. درخت پسوند نوعی درخت است، که تلاش می کند تا هش کردن را گسترش دهد، این برای نمایه سازی موتورهای جستجو مهم است. برای جستجوی الگوهای در توالی های DNA و خوشه بندی مورد استفاده قرار می گیرد. یک نکته مهم این است که ذخیره یک کلمه در درخت ممکن است، فضای بیشتری از آنچه لازم است برای ذخیره خود کلمه نیاز داشته باشد. که آرایه
پیوست به عنوان جایگزن آن است که به نظر می رسد نیاز به حافظه مجازی کمتری دارد و از فشرده سازی داده ها مانند الگوریتم BWT پشتیبانی می کند. نمایه معکوس: لیستی از وقایع هر معیار جستجو اتمی ذخیره می کند، که به طور معمول در قالب یک جدول هش یا درخت دودویی است. نقل قول ها یی که برای حمایت از تجزیه و تحلیل استنادی، یا استخراج شده از متن را ذخیره سازی می کند. توالی طول داده ها را برای پشتیبانی از انواع دیگر بازیابی یا استخراج متن ذخیره سازی می کند. زمانی که در تجزیه و تحلیل معنایی پنهان رخ می دهد، از یک ماتریس دو بعدی استفاده می شوده که کلمات در اسناد در آن ذخیره می شوند. فرصت های زیادی برای شرایط مسابقه و گسل های منسجم وجود دارد. به عنوان مثال، مجموعه ای از نوشته ها جدید به یک سند اضافه می شود و نمایه باید به روز شود، اما نمایه به طور همزمان به هردو نیازهای جستار جستجو پاسخگو است. این یک برخورد بین دو وظیفه رقابتی است. در نظر بگیرید که نویسندگان تولیدکننده اطلاعات هستند و یک نمایه ساز وب مصرف کننده این اطلاعات است، و کار آن گرفتن متن و ذخیره آن در کش (یا تنه) می باشد. نمایه پیشرو مصرف کننده اطلاعات تولید شده توسط تنه
است، و نمایه معکوس مصرف کننده اطلاعات تولید شده توسط نمایه پیشرو است. این معمولاً به عنوان یک اشاره به مدل تولیدکننده-مصرف کننده است. نمایه ساز تولیدکننده اطلاعات قابل جستجو است و کاربران مصرف کنندگان هستند، که باید جستجو کنند؛ که در هنگام کار با ذخیره سازی توزیع شده و پردازش توزیع شده بزرگ وارد چالش می شود. در تلاش برای مقیاس با مقادیر بالاتری از اطلاعات نمایه سازی شده نشان داده شده، معماری موتور جستجو ممکن است، شامل محاسبات توزیع شده باشد، جایی که موتور جستجو شامل چندین ماشین است که در هم ادغام می شوند. این باعث افزایش احتمال ناسازگاری می شود و حفظ ساختار کاملاً هماهنگ، توزیع شده و موازی آن را دشوار می سازد. بسیاری از موتورهای جستجو با ترکیب کردن یک نمایه معکوس در هنگام ارزیابی با یک جستار برای جستجو سریع اسناد حاوی کلمات موجود در یک جستار قرار می دهند و سپس این مدارک را با توجه به رتبه طبقه بندی می کنند. از آنجا که نمایه معکوس لیستی از اسناد حاوی هر کلمه را ذخیره می کند، موتور جستجو برای یافتن اسناد مرتبط با هر کلمه در جستار می تواند از طریق دسترسی مستقیم به سرعت به منظور یافتن اسناد مربوط استفاده شود. ای
ن نمایه تنها می تواند تعیین کند که آیا یک کلمه در یک سند خاص وجود دارد، از آنجا که هیچ اطلاعاتی در مورد فرکانس و موقعیت کلمه ذخیره نمی شود؛ بنابراین به عنوان نمایه بولین در نظر گرفته شده است. چنین نمایه ای تعیین می کند کدام یک از اسناد با یک جستار مطابق است، اما اسناد مشابه را رتبه بندی نمی کند. در برخی از طرح ها، نمایه شامل اطلاعات اضافی مانند فرکانس هر کلمه در هر سند یا موقعیت یک کلمه در هر سند است، اطلاعات موقعیت این امکان را می دهد تا الگوریتم جستجو نزدیکی کلمه برای پشتیبانی از جستجو برای عبارات برای شناسایی کند؛ فرکانس را نیز می توان برای کمک به جستار استفاده کرد. چنین موضوعاتی تمرکز اصلی تحقیق در بازیابی اطلاعات است. نمایه معکوس یک ماتریس پراکنده است، زیرا در هر سند تمام کلمات وجود ندارد. برای استفاده کمتر از حافظه ذخیره سازی کامپیوتر، آن را به صورت متفاوت از یک آرایه دو بعدی ذخیره می شود. این نمایه شبیه ماتریس سند اصطلاحاتی از تحلیل معنایی نهفته استفاده می کند. نمایه معکوس می تواند یک شکل از جدول هش را مورد توجه قرار دهد. در بعضی موارد، این نمایه یک شکل از یک درخت دودویی است، که نیاز به ذخیره سازی بیشت
ری دارد. اما ممکن است، زمان جستجو را کاهش دهد. در نمایه های بزرگتر معماری معمولاً یک جدول هش توزیع شده است. آرایه معکوس از طریق ادغام یا بازسازی پر می شود. یک بازسازی مشابه یک ادغام است، اما ابتدا محتویات نمایه معکوس را حذف می کند. معماری ممکن است به منظور پشتیبانی از آرایه سازی افزایشی طراحی شده باشد، جایی که یک شناسایی سند ادغام می شود یا اسناد افزوده یا به روز رسانی می شوند و سپس هر سند را به کلمات تجزیه می کند. برای دقت فنی، یک ادغام، اسنادی که اخیراً نمایه شده اند، معمولا در حافظه مجازی ذخیره می شوند، با کش مخفی در یک یا چند هارد دیسک کامپیوتر متصل می شوند. پس از تجزیه، نمایه ساز سند اشاره شده را به لیست سند برای کلمات مناسب اضافه می کند. در یک موتور جستجوی بزرگتر، فرایند پیدا کردن هر کلمه در نمایه معکوس (برای گزارش اینکه در یک سند اتفاق افتاده است) ممکن است خیلی وقت گیر باشد؛ بنابراین این فرایند معمولاً به دو بخش تقسیم می شود: توسعه یک نمایه پیشرو و فرایندی که محتویات نمایه پیشرو را به نمایه معکوس طبقه بندی می کند. نمایه معکوس به همین دلیل نامیده می شود زیرا این یک معکوس کردن نمایه پیشرو است. نمایه پیشر
و فهرستی از کلمات برای هر سند را ذخیره می کند. که منطق پشت توسعه یک نمایه پیشرو است، که به عنوان اسناد تجزیه می شود، بهتر است، بلافاصله کلمات را در هر سند ذخیره کنید. این طرح پردازش سیستم نا همزمان را قادر می سازد، که تا حدی از تضعیف به روز رسانی نمایه معکوس جلوگیری می کند. نمایه پیشرو دسته بندی می شود تا آن را به یک نمایه معکوس تبدیل کند. نمایه پیشرو اساساً یک لیست دوگانه است که متشکل از یک سند و یک کلمه می باشد که توسط سند جمع آوری شده است. تبدیل نمایه پیشرو به یک نمایه معکوس فقط مربوط به مرتب سازی جفت ها با کلمات است. در این راستا، نمایه معکوس یک نمایه پیشروی است که کلمه مرتب شده. تولید یا نگهداری یک موتور جستجو در مقیاس وسیع، چالش مهم ذخیره سازی و پردازش را ایجاد می کند. بسیاری از موتورهای جستجو از فشرده سازی برای کاهش اندازه نمایه ها در دیسک استفاده می کنند. ناریوی زیر را برای یک متن کامل، موتور جستجوی اینترنتی در نظر بگیرید. با توجه به این سناریو، یک نمایه غیر فشرده (با فرض تلفیق نشدن، ساده، نمایه) برای ۲ میلیارد صفحات وب نیاز به ذخیره ۵۰۰ میلیارد ورودی است. با در نظر گرفتن ۱ بایت در هر حرف، یا ۵ بایت د
ر هر کلمه، موتور جست و جو نیاز به ۲۵۰۰ گیگابایت فضای ذخیره سازی دارد. این فضای مورد نیاز می تواند حتی برای یک معماری ذخیره سازی توزیع شده که دارای خطا هست نیز بزرگتر باشد. بسته به تکنیک فشرده سازی انتخاب شده، نمایه را می توان به یک کسری از این اندازه کاهش داد. مزایای همچون زمان و پردازش لازم برای آن فشرده سازی را مقرون به صرفه می کند. بدیهی است، طرح های موتور جستجو در مقیاس وسیع شامل هزینه ذخیره سازی و همچنین هزینه های برق برای ذخیره سازی است؛ بنابراین فشرده سازی یک کاهش هزینه است. تجزیه و تحلیل سند. تجزیه و تحلیل سند مؤلفه ها (کلمات) یک سند یا سایر رسانه ها را برای قرار دادن در نمایه های پیشرو و معکوس از بین می برد. کلمات موجود به نام نشانه ها هستند و بنابراین، در زمینه نمایه سازی موتورهای جستجو و پردازش زبان طبیعی، تجزیه به طور معمول به عنوان رمزگذاری شناخته می شود و همچنین گاهی اوقات به نام کلمه ابهام زدایی مرز، برچسب زدن، تقسیم بندی متن، تجزیه و تحلیل محتوای، تجزیه و تحلیل متن، متن کاوی، تطابق نسل، تقسیم بندی سخنرانی، لغو کردن، یا تجزیه و تحلیل واژگانی، اصطلاحات «نمایه سازی»، «تجزیه و تحلیل» و «تقسیم بندی
» به صورت متغیر در شعار شرکت استفاده می شوند. پردازش زبان عامیانه موضوع تحقیق و بهبود مستمر است. نشانه گذاری چالش های زیادی را در استخراج اطلاعات لازم از اسناد برای نمایه سازی و پشتیبانی از جستجوی کیفی ایجاد می کند. نمایه سازی شامل چندین تکنولوژی است، که پیاده سازی آنها معمولاً به عنوان اسرار شرکت ها حفظ می شود. [نیازمند منبع] سخنرانان بومی انگلیسی زبان ممکن است ابتدا علامت گذاری را به عنوان یک امر مهم مستقیما در نظر می گرفتند، اما در مورد طراحی یک نمایه چند زبانه ای اینگونه نیست. در قالب دیجیتال، متون زبان های دیگر مانند چینی ، ژاپنی یا عربی یک چالش بزرگ وجود دارد، زیرا کلمات به وضوح توسط فضای خالی مشخص نیستند. هدف در طی نشانه گذاری شناسایی کلماتی است که کاربران آن را جستجو می کنند. برای زبان های خاص منطقی که به درستی مرزهای کلمات را تشخیص دهد به کار گرفته می شود، که اغلب منطق طراحی یک تجزیه کننده برای هر زبان پشتیبانی شده (یا برای گروه های زبان با نشانگرهای مرزی و نحوی مشابه) است. برای کمک به رتبه بندی صحیح اسناد مطابق، بسیاری از موتورهای جستجو اطلاعات اضافی در مورد هر یک از کلمات، مانند زبان یا طبقه بندی و
اژگانی (بخشی از حرف) جمع آوری می کند. این تکنیک ها وابسته به زبان است، زیرا هماهنگی در میان قسمت های مختلف، در میان زبان ها متفاوت است. سناد همیشه آنقدر واضح نیستند، که زبان سند را شناسایی کنند و یا دقیق آن را نشان دهند. در نشانه گذاری سند، برخی از موتور های جستجو تلاش می کنند تا به طور خودکار زبان سند را شناسایی کنند. برای درستی شناسایی که کدام بایت یک سند، شخصیت ها را نشان می دهد، فرمت فایل باید به درستی شناخته شود. موتور های جستجو که از فرمت های فایل های مختلف پشتیبانی می کنند ،باید بتوانند به درستی آن را باز کرده و به سند دسترسی داشته باشند. ممکن نیست همیشه کیفیت داده های زبان اصلی خوب باشد. در تعداد نامشخص اسناد به ویژه در اینترنت، که از پروتکل فایل مناسب اطمینان نمیشود کرد . ممکن است کاراکتر های دو دویی به صورت اشتباه در قسمت های مختلف یک سند رمز گذاری شوند. در صورت عدم شناخت این کاراکتر ها و رفتار کردن مناسب با آن، کیفیت نمایه یا عملکرد نمایه می تواند از بین برود. بر خلاف انسان های با سواد ، کامپیوترها ساختار یک سند زبان طبیعی را درک نمیکنند و نمیتوانند به طور خودکار کلمات و جملات را تشخیص دهند. برای ی
ک رایانه، یک سند فقط یک رشته از بایت است. کامپیوترها نمیدانند که یک کاراکتر جای خالی کلمات را در یک سند جدا می کند. در عوض، انسان باید رایانه را برنامه ریزی کند تا مشخص کند چه چیزی منحصر به فرد یا واژه متمایز به نام ،یک نشانه است. چنین برنامه ای معمولا به نام نشانه گذار یا تجزیه کننده یا تحلیل واژگانی گفته میشود. بسیاری از موتور های جستجو و همچنین سایر نرم افزارهای پردازش زبان عامیانه، شامل برنامه های تخصصی برای تجزیه و تحلیل، مانند YACC یا Lex هستند. در طی نشانه گذاری، تجزیه کننده رشته های از کاراکتر هایی را که نماینده کلمات و عناصر دیگر مانند نقطه گذاری است را با کد های عددی نشان داده می شوند ،برخی از آنها کاراکتر های غیر چاپی هستند. تجزیه کننده همچنین می تواند مواردی مانند آدرس های ایمیل ، شماره تلفن ها و URL ها را شناسایی کند. هنگام شناسایی هر نشانه، ممکن است چندین ویژگی ذخیره شود. مثلا نمونه نشانه گذاری (بالا، پایین، مخلوط، مناسب)، زبان یا کد گذاری، نقش لغوی (بخشی از گفتار، مانند «اسم» یا «فعل»)، موقعیت، شماره جمله ، موقعیت جمله، طول و شماره خط میباشد. در صورتی که موتور جستجو چندین زبان را پشتیبانی کند،
گام اولیه در طول نشانه گذاری، شناسایی زبان هر سند است؛ مراحل بعدی وابسته به زبان هستند (مانند تداخل و بخشی از برچسب زدن ). تشخیص زبان فرآیندی است که توسط آن یک برنامه کامپیوتری به طور خودکار شناسایی یا دسته بندی زبان سند را دنبال میکند. نامهای دیگر برای به رده بندی زبان به کار می رود شامل: طبقه بندی زبان، تجزیه و تحلیل زبان، شناسایی زبان و برچسب زدن زبان است. رده بندی خودکار زبان موضوع پژوهش حال حاضر در پردازش زبان طبیعی است . پیدا کردن زبانی که کلمات به آن تعلق دارند ممکن است شامل استفاده از یک نمودار تشخیص زبان باشد. اگر موتور جستجو چند نوع فرمت سند را پشتیبانی کند ، اسناد باید برای نشانه گذاری آماده شوند. مشکل این است که بسیاری از فرمت های سند علاوه بر محتوای متنی دارای اطلاعات قالب بندی هستند. به عنوان مثال، اسناد HTML حاوی تگ های HTML است که اطلاعات قالب بندی مانند زمانی که خط جدید شروع می شود، بولد کردن و اندازه فونت یا استایل را مشخص می کند. اگر موتور جستجو تفاوت بین محتوا و "تگ گذاری" را نادیده بگیرد، اطلاعات اضافی در این نمایه گنجانده می شود که منجر به تضعیف نتایج جستجو می شود. شناسایی و دستکاری محتو