فراوانی وزنی تی‌اف-آی‌دی‌اف

مخّففِ term frequency - inverse document frequency یا فراوانی اصطلاح- معکوس فراوانی متن است.tf-idf  در بازیابی‌اطلاعات ، یک آمار عددی است که میزان اهمیت یک کلمه نسبت به یک سند در یک مجموعه‌ای از اسناد را نشان می‌دهد.  در واقع هدف این سیستمِ وزن‌دهی، نشان‌دادن اهمیت کلمه در متن است. که اغلب در جستجو‌های درون بازیابی‌اطلاعات،متن کاوی و مدل‌سازی کاربر(به انگلیسی: User modeling) استفاده می‌شود. مقدار tf-idf به تناسب تعداد تکرار کلمه در سند افزایش می‌یابد و توسط تعداد اسنادی که در مجموعه هستند و شامل کلمه نیز می‌باشند متعادل می شود. به این معنی که اگر کلمه‌ای در بسیاری از متون ظاهر شود احتمالاً کلمه‌ای متداول است و ارزش چندانی در ارزیابی متن ندارد.در حال حاضر tf-idf یکی از محبوب ترین روش‌های وزن‌گذاری اصطلاحات می‌باشد و امروزه بیش از ۸۳ درصد از سامانه‌های توصیه‌گر در کتابخانه‌های دیجیتال از این روش وزن‌دهی اصطلاحات استفاده می‌کنند.
این اختلاف بین وزن‌ها که توسط روش tf-idf ایجاد می‌شود توسط بیشتر موتورهای جستجو به عنوان ابزار اصلی رتبه‌دهی و امتیاز‌دهی اسناد پرس و جو شده کاربر استفاده می‌شود.و همچنین برای فیلتر کردن ایست واژه ها(به انگلیسی: stop-words )در زمینه های موضوعی مختلف، از جمله خلاصه‌سازی ودسته‌بندی متن با موفقیت استفاده شده است.یکی از ساده ترین تابع های رتبه بندی با جمع کردن وزن بدست آمده توسط tf-idf برای هر اصطلاح پرس و جو محاسبه می شود. بسیاری از توابع رتبه بندی پیچیده تر بر اساس این مدل ساده به وجود آمده اند.

فراوانی اصطلاح(کلمه)

فرض کنید ما مجموعه ای از اسناد متنی انگلیسی داریم و می‌خواهیم اسناد را به نسبت ارتباطشان با پرس و جو رتبه بندی کنیم.مثلاً "the brown cow" را در نظر بگیرید.یک راه ساده برای شروع این است که اسناد و مدارک که شامل هر سه کلمه "brown"، "cow" و "the" نیستند را حذف کنیم ، اما این کار هنوز اسناد زیادی را باقی می گذارد.برای تشخیص و رتبه بندی بهتر آنها، ممکن است تعداد دفعاتی که هر اصطلاح در هر سند اتفاق می افتد، شمارش شود؛ تعداد دفعاتی که یک اصطلاح در یک سند اتفاق می افتد فراوانی اصطلاح نامیده می شود.با این حال، در مواردی که در آن طول اسناد بسیار متفاوت است، اغلب تنظیماتی برای متعادل سازی وزن انجام می شود ( به تعریف زیر نگاه کنید).اولين حالت وزن گذاری به وسيله هانس پيتر لوون (1957) انجام شد كه مي توان آن را اینطور خلاصه كرد:
وزن یک اصطلاح که در یک سندآمده است به سادگی متناسب با فراوانی اصطلاح است.

معکوس فروانی سند

از آنجا که اصطلاح "the" بسیار رایج است، فراوانی اصطلاح به اشتباه و بدون دادن وزن کافی به شرایط معنی دار تر "brown" و "cow" بر اسناد و مدارک که کلمه "the" بیشتر در آن ها تکرارشده است ،تاکید می کند.اصطلاح "the" بر خلاف واژه های رایج تر "brown" و "cow" کلید واژه ای مناسب برای تشخیص اسناد واصطلاحات مرتبط و غیر مرتبط نیست.بنابراین فاکتور " معکوس فراوانی سند " در نظر گرفته شده است که وزن اصطلاحاتی را که در مجموعه سند بسیار تکرار می شوند را کاهش دهد و وزن اصطلاحاتی که به ندرت در سند ظاهر می‌شوند را افزایش دهد.کارن اسپارک جونز (1972) یک تعبیرآماری از ویژگی‌های اصطلاح به نام معکوس فراوانی سند (idf) را به وجود آورد که پایه و اساس وزن‌دهی به اصطلاحات بود:
یک اصطلاح را می توان توسط یک تابع معکوس از تعداد اسناد که در آن ظاهر می‌شود ، تعیین کیفیت کرد.

تعریف

tf-idf از دو مقدار عددی فراوانی اصطلاح و معکوس فراوانی سند بدست می‌آید،. راه های مختلفی برای تعیین ارزش دقیق هر دو مقدار وجود دارد.

فراتر از اصطلاحات

ایده TF-idf نیز به اشخاص غیر از شرایط اعمال می شود. در سال 1998، مفهوم idf به نقل قولها اعمال شد. نویسندگان اظهار داشتند که "اگر یک استناد بسیار غیرمستقیم با دو اسناد به اشتراک گذاشته شود، این باید بیشتر از یک استناد با تعداد زیادی از اسناد" وزن شود. " علاوه بر این، TF-idf به "کلمات بصری" با هدف انجام تطبیق جسم در فیلم ها و جملات کامل اعمال شد. با این حال، مفهوم tf-idf در همه موارد موثرتر از یک طرح tf ساده (بدون idf) اثبات کرد. هنگامی که TF-idf برای نقلقولها اعمال شد، محققان نمیتوانستند در مورد وزن صدای ساده استناد کنند که هیچ جزء idf وجود نداشت.

مشتقات

تعدادی از طرحهای وزن با استفاده از tf-idf استخراج شده است. یکی از آنها TF-PDF (فرکانس فرکانس * فرکانس سمعی) است. TF-PDF در سال 2001 در زمینه شناسایی موضوعات در حال ظهور در رسانه ها معرفی شد. جزء PDF، تفاوت در میزان زمانی که یک اصطلاح در حوزه های مختلف رخ می دهد اندازه گیری می شود. یکی دیگر از مشتقات TF-IDuF است. در TF-IDuF، IDF بر اساس کپی سند محاسبه نمی شود که برای جستجو یا توصیه می شود. در عوض IDF براساس جمع آوری اسناد شخصی کاربران محاسبه می شود. نویسندگان گزارش دادند که TF-IDuF به همان اندازه به عنوان TF-idf موثر است، اما همچنین می تواند در شرایطی که، مانند یک سیستم مدل سازی کاربر، دسترسی به یک کپی سند جهانی نداشته باشد.