موضوع مقاله: اطلاعات متقابل نقطه ای | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # اطلاعات متقابل نقطه ای | مقدمه: در آمار، نظریه احتمالات و نظریه اطلاعات، اطلاعات متقابل نقطه ای(PMI)، معیاری برای همبستگی و وابستگی است. | ## بخش 1: اطلاعات متقابل نقطه ای | این معیار، احتمال وقوع دو رویداد به‌طور همزمان را با احتمال به وقوع پیوستن آنها به شرط مستقل بودن مقایسه می‌کند. اطلاعات متقابل نقطه‌ای (به ویژه در نوع اطلاعات متقابل مثبت آن) به عنوان "یکی از مهم‌ترین مفاهیم در پردازش زبان‌های طبیعی " توصیف شده‌است؛ این مفهوم بر اساس گرایشی تأکید می‌کند که بهترین روش برای سنجیدن ارتباط بین دو کلمه این است که مقایسه تعداد وقوع همزمان آن‌ها در یک متن چقدر بیشتر از چیزی است که ما پیش از این انتظار داشتیم به‌طور تصادفی ظاهر شوند. این مفهوم در سال ۱۹۶۱ توسط رابرت فانو تحت عنوان «اطلاعات متقابل» معرفی شد، اما امروزه این عبارت برای یک معیار وابستگی مرتبط بین متغیرهای تصادفی استفاده می‌شود: اطلاعات متقابل دو متغیر تصادفی گسسته به میانگین اطلاعات متقابل نقطه ای تمام رویدادهای ممکن اشاره دارد. تعریف PMI جفتی از نتایج x و y که به متغیرهای تصادفی گسسته X و Y تعلق دارند، اختلاف بین احتمال همزمانی آنها را با توجه به توزیع مشترک و توزیع‌های فردی آنها کمیت می‌دهد. اطلاعات متقابل (MI) متغیرهای تصادفی X و Y مقدار مورد انتظار PMI (بر روی تمام نتایج ممکن) است. توجه داشته باشید که حتی اگر PMI منفی یا مثبت باشد، نتیجه مورد انتظار آن در تمام رویدادهای مشترک (MI) نامنفی است. در اینجا یک مثال برای توضیح وجود دارد: با استفاده از این جدول می‌توانیم حاشیه‌سازی کنیم تا جدول اضافی زیر را برای توزیع‌های فردی به‌دست آوریم: با این مثال، می‌توانیم چهار مقدار برای pmi(x;y) محاسبه کنیم. به خصوص، انواع اطلاعات متقابل نقطه ای چندین گونه از PMI تعریف شده‌است، به ویژه خطاب به آنچه به عنوان «دو محدودیت اصلی» آن توصیف شده‌است. | ## بخش 2: اطلاعات متقابل نقطه ای | PMI می‌تواند هم مقادیر مثبت و هم مقادیر منفی داشته باشد و هیچ مرز ثابتی ندارد، که تفسیر آن را سخت‌تر می‌کند. PMI "تمایل شناخته شده‌ای برای دادن امتیازهای بالاتر به رویدادهای با بسامد پایین" دارد، اما در کاربردهایی مانند اندازه‌گیری شباهت کلمات، ترجیحاً "امتیاز بالاتری برای جفت کلماتی که ارتباط آنها با شواهد بیشتری پشتیبانی می‌شود در نظر گرفته می‌شود. PMIمثبت اطلاعات متقابل نقطه ای مثبت با تنظیم مقادیر منفی PMI بر روی صفر تعریف می‌شود. این تعریف برگرفته از مشاهده این که "مقادیر PMI منفی (که به این معنی است که هر چیزی کمتر از آنچه که به طور تصادفی انتظار داریم همزمان اتفاق می‌افتند) معمولاً غیرقابل اعتماد هستند، مگر اینکه مجموعه‌های ما عظیم باشند" و همچنین با این نگرانی که "معلوم نیست که آیا می‌توان چنین امتیازهایی از "بی‌ارتباطی" را با قضاوت انسانی ارزیابی کرد یا خیر". همچنین از پرداختن به مقادیر برای رویدادهایی که هرگز با هم اتفاق نمی‌افتند (pmi(x,y) = ۰) با تنظیم PPMI آنها بر روی ۰ اجتناب می‌کند. اطلاعات متقابل نقطه ای عادی سازی شده اطلاعات متقابل نقطه ای را می‌توان بین [۱+,۱-]عادی سازی کرد که به ۱- (در حد) برای اینکه هرگز با هم اتفاق نیفتند، ۰ برای استقلال، و +۱ برای همزمانی کامل نتیجه می‌دهد. عوامل اضافی p(x,y) در داخل لگاریتم برای تصحیح سوگیری PMI نسبت به رویدادهای فرکانس پایین، با افزایش امتیاز جفت‌های مکرر در نظر گرفته شده‌است. یک مطالعه موردی در سال ۲۰۱۱ موفقیت PMI3 را در تصحیح این سوگیری در مجموعه ای از ویکی‌پدیای انگلیسی نشان داد. | ## بخش 3: اطلاعات متقابل نقطه ای | با در نظر گرفتن x به عنوان کلمه "فوتبال"، قوی‌ترین کلمات مرتبط با آن y بر اساس معیار PMI است (یعنی آنهایی که pmi(x;y) را حداکثر می‌کنند، دامنه خاص ("هافبک"، "کرنربک"، "دروازه بان") بودند، در حالی که عباراتی که بالاترین رتبه را توسط PMI3 داشتند، بسیار عمومی تر بودند ("لیگ"، "باشگاه ها"، "انگلیس"). در نظریه اطلاعات، زبان‌شناسی یا شیمی (در پروفایل و تجزیه و تحلیل ترکیبات شیمیایی). در زبان‌شناسی محاسباتی، PMI برای یافتن هم‌آهنگی‌ها و ارتباط بین کلمات استفاده شده‌است. برای مثال، شمارش رخدادها و هم‌روی‌کردن کلمات در یک پیکره متنی می‌تواند به ترتیب برای تقریب احتمالات p(x) و p(x,y) استفاده شود. جدول زیر تعداد جفت‌هایی از کلمات را نشان می‌دهد که بیشترین و کمترین امتیاز PMI را در ۵۰ میلیون کلمه اول در ویکی‌پدیا دریافت کرده‌اند. (توجه: لگاریتم طبیعی برای محاسبه مقادیر PMI در این مثال به جای لگاریتم بر مبنای دو استفاده می‌شود). جفت‌های ترتیب خوب PMI بالایی دارند زیرا احتمال وقوع همزمان فقط کمی کمتر از احتمال وقوع هر کلمه است. | ## جمع‌بندی | برعکس، یک جفت کلمه که احتمال وقوع آنها به‌طور قابل توجهی بیشتر از احتمال وقوع همزمان آنها است، امتیاز PMI کوچکی دریافت می‌کنند.