مشخصه عملیاتی کل

**مشخصه عملیاتی کل (TOC)** یک روش آماری برای مقایسه یک متغیر بول در مقابل یک متغیر رتبه است. TOC می‌تواند قدرت یک متغیر شاخص برای تشخیص وجود یا عدم وجود یک مشخصه را اندازه‌گیری کند. تشخیص وجود یا عدم وجود بستگی به این دارد که آیا مقدار شاخص بالاتر از یک محدوده باشد. TOC محدوده‌های ممکن متعدد را در نظر می‌گیرد. هر محدوده یک جدول احتمالی دو به دو ایجاد می‌کند که شامل چهار ورودی است: ضربه‌ها، اشتباهات، هشدارهای نادرست و مردودی‌های صحیح.

مشخصه عملکرد گیرنده (ROC) هم قدرت تشخیص را مشخص می‌کند، در حالی که ROC اطلاعات کمتری را نسبت به TOC نشان می‌دهد. برای هر محدوده، ROC دو نسبت را نشان می‌دهد، ضربه‌ها/(ضربه‌ها + اشتباهات‌) و هشدارهای نادرست/(هشدارهای نادرست + مردودی‌های صحیح)، در حالی که TOC کل اطلاعات را در جدول احتمالی برای هر محدوده نشان می‌دهد. روش TOC همه‌ی اطلاعاتی را که روش ROC ارائه می‌دهد، علاوه بر اطلاعات مهم دیگری که ROC فاش نمی‌کند، نشان می‌دهد، یعنی اندازه هر ورودی در جدول احتمالی برای هر یک. محدوده TOC همچنین منطقه محبوب زیر منحنی (AUC) ROC را فراهم می‌کند.

TOC برای اندازه‌گیری قدرت تشخیصی در بسیاری از زمینه‌ها از جمله (اما نه محدود به): علم تغییر زمین، تصویربرداری پزشکی، پیش‌بینی آب و هوا، سنجش از دور و آزمایش مواد، قابل استفاده است.

= مفهوم اولیه =
روش ساخت منحنی TOC با تشخیص هر مشاهده به عنوان وجود یا عدم وجود، بسته به نحوه ارتباط شاخص با محدوده‌های متفاوت، متغیر بول را با متغیر شاخص مقایسه می‌کند. اگر شاخص مشاهده بزرگتر یا مساوی یک محدوده باشد، مشاهده به عنوان وجود تشخیص داده می‌شود، در غیر این صورت مشاهده به عنوان عدم وجود تشخیص داده می‌شود. جدول اقتضایی که از مقایسه بین متغیر بول و تشخیص برای یک محدوده منزوی حاصل می‌شود، دارای چهار ورودی مرکزی است. چهار ورودی مرکزی عبارتند از: ضربه (H)، اشتباهات (M)، هشدار نادرست (F) و مردودی صحیح (C). تعداد کل مشاهدات P  +  Q است. اصطلاحات "مثبت‌های واقعی"، "منفی‌های کاذب"، "مثبت‌های کاذب" و "منفی‌های واقعی" به ترتیب معادل ضربه‌ها، اشتباهات‌، هشدارهای نادرست و مردودی‌های صحیح هستند. ورودی‌ها را می‌توان در یک جدول احتمالی دو به دو یا ماتریس سردرگمی‌ به صورت زیر فرموله کرد:

چهار بیت اطلاعات همه ورودی‌های جدول احتمالی، از جمله مجموع نهایی آن را تعیین می‌کنند. به عنوان مثال، اگر H، M، F و C را بدانیم، آنگاه می‌توانیم همه‌ی خروجی‌های نهایی را برای هر محدوده محاسبه کنیم. از طرف دیگر، اگر H / P، F / Q، P و Q را بدانیم، می‌توانیم همه‌ی ورودی‌های جدول را محاسبه کنیم. دو بیت اطلاعات برای کامل کردن جدول احتمالی بسنده نیست. به عنوان مثال، اگر فقط H / P و F / Q را بدانیم (چیزی که ROC نشان می‌دهد) آنگاه نمی‌توان همه ورودی‌های جدول را دانست.

= تاریخچه =
رابرت گیلمور پونتیوس جونیور، استاد جغرافیا در دانشگاه کلارک و Kangping Si در سال 2014 برای اولین بار TOC را برای کاربرد در علم تغییر حوزه توسعه دادند.

= فضای TOC =
بندانگشتی
منحنی TOC با چهار کادر نشان می‌دهد که چگونه یک نقطه در منحنی TOC، ضربه‌ها، اشتباهات، هشدارهای نادرست و مردودی‌ها صحیح را نشان می‌دهد. منحنی TOC یک روش موثر برای نشان دادن کل اطلاعات در جدول احتمالی برای همه محدوده‌ها است. داده‌های مورد استفاده برای ایجاد این منحنی TOC برای دانلود در اینجا موجود است. این مجموعه داده دارای 30 مشاهده است که هر کدام از مقادیر یک متغیر بول و یک متغیر شاخص تشکیل شده است. مشاهدات از بیشترین تا کمترین مقدار شاخص رتبه بندی می‌شوند. 31 محدوده وجود دارد که شامل 30 مقدار شاخص و یک محدوده اضافی است که بزرگتر از همه مقادیر شاخص است که نقطه را در مبدا ایجاد می‌کند (0,0). هر نقطه برای نشان دادن مقدار هر محدوده برچسب‌گذاری شده است. محورهای افقی از 0 تا 30 متغیر است که تعداد مشاهدات در مجموعه داده است (P  +  Q). محور عمودی از 0 تا 10 متغیر است، که تعداد مشاهدات حضوری متغیر بول P است (یعنی ضربه‌های ++ اشتباه). منحنی‌های TOC همچنین محدوده‌ای را نشان می‌دهند که در آن مقدار وجود تشخیص داده شده با مقدار وجود بول مطابقت دارد، که نقطه محدوده‌ای است که مستقیماً زیر نقطه‌ای است که حداکثر خط با ضربه‌ها برخورد می‌کند + خط را از دست می‌دهد، همانگونه که منحنی TOC در سمت چپ نشان می‌دهد. چهار قطعه اطلاعات زیر، ورودی‌های اصلی جدول احتمالی برای هر محدوده هستند:

# تعداد ضربه‌ها در هر محدوده فاصله بین نقطه محدوده و محور افقی است.
# تعداد خطاها در هر محدوده، فاصله بین نقطه محدوده و ضربه‌ها + خط افقی در بالای نمودار است.
# تعداد هشدارهای نادرست در هر محدوده، فاصله بین نقطه محدوده و خط آبی بیشینه است که سمت چپ فضای TOC را محدود می‌کند.
# تعداد دفعات صحیح در هر محدوده، فاصله بین نقطه محدوده و کمینه خط بنفش نقطه چین است که سمت راست فضای TOC را محدود می‌کند.

= منحنی‌های TOC در مقابل ROC =
بندانگشتی
بندانگشتی
این اعداد منحنی‌های TOC و ROC با استفاده از داده‌ها و محدوده‌های یکسان هستند. نقطه‌ای را در نظر بگیرید که مرتبط با محدوده 74 است. منحنی TOC تعداد ضربه‌ها را نشان می‌دهد که 3 است، و از این رو تعداد خطاها را نشان می‌دهد که 7 است. علاوه بر این، منحنی TOC نشان می‌دهد که تعداد هشدارهای نادرست 4 است و تعداد مردودی‌ها صحیح 16 است. در هر نقطه معینی از منحنی ROC، می‌توان مقادیری را برای نسبت‌های نادرست جمع آوری کرد. آلارم/(هشدارهای نادرست+مردودی‌های صحیح) و ضربه‌ها/(ضربه‌ها+نخوردن). به عنوان مثال، در محدوده 74، مشخص است که مختصات x 0.2 و مختصات y 0.3 است. با این حال، این دو مقدار برای ساختن همه ورودی‌های جدول احتمالی دو به دو، بسنده نیستند.

= تفسیر منحنی‌های TOC =
بندانگشتی
رایج است که ناحیه زیر منحنی (AUC) را برای خلاصه کردن یک منحنی TOC یا ROC گزارش کنید. با این حال، تغلیظ قدرت تشخیصی به یک عدد واحد نمی‌تواند شکل منحنی را درک کند. سه منحنی TOC زیر منحنی‌های TOC هستند که دارای AUC 0.75 هستند اما اشکال مختلفی دارند.
بندانگشتی
این منحنی TOC در سمت چپ نمونه‌ای را نشان می‌دهد که در آن متغیر شاخص قدرت تشخیص بالایی در محدوده‌های بالا نزدیک مبدا دارد، اما قدرت تشخیص تصادفی در محدوده‌های پایین نزدیک سمت راست بالای منحنی دارد. منحنی تشخیص دقیق وجود را نشان می‌دهد تا زمانی که منحنی به محدوده 86 برسد. در ادامه منحنی سطح می‌شود و حول خط تصادفی پیش‌بینی می‌کند.
بندانگشتی
این منحنی TOC نمونه‌ای را نشان می‌دهد که در آن متغیر شاخص دارای قدرت تشخیصی متوسط ​​در همه‌ی محدوده‌ها است. منحنی همیشه بالای خط تصادفی است.

این منحنی TOC نمونه‌ای را نشان می‌دهد که در آن متغیر شاخص دارای قدرت تشخیص تصادفی در محدوده‌های بالا و قدرت تشخیص بالا در محدوده‌های پایین است. منحنی از خط تصادفی در بالاترین محدوده‌های نزدیک به مبدأ پیروی می‌کند، در ادامه متغیر شاخص به درستی عدم وجود را تشخیص می‌دهد زیرا محدوده‌ها در نزدیکی گوشه سمت راست بالا کاهش می‌یابد.

= ناحیه زیر منحنی =
در زمان اندازه‌گیری قدرت تشخیصی، معیاری که معمولاً گزارش می‌شود، ناحیه زیر منحنی (AUC) است(AUC از TOC و ROC قابل محاسبه است). مقدار AUC برای همان داده‌ها سازگار است. AUC این احتمال را نشان می‌دهد که تشخیص یک مشاهده تصادفی انتخاب شده از وجود بول را بالاتر از یک مشاهده تصادفی انتخاب شده از نبود بول قرار می‌دهد. AUC برای اکثر از محققان جذاب است زیرا AUC قدرت تشخیص را در یک عدد خلاصه می‌کند. با این حال، AUC به عنوان یک معیار گمراه کننده، به ویژه برای تحلیل‌های واضح فضایی، مورد انتقاد قرار گرفته است. AUC عملکرد آزمایش را در مناطقی از فضای TOC یا ROC که به ندرت در آن انجام می‌شود، خلاصه می‌کند. AUC خطاهای حذف و کمیسیون را به طور مساوی وزن‌دار می‌کند. AUC اطلاعاتی در مورد توزیع فضایی خطاهای مدل نمی‌دهد. همچنین انتخاب ناحیه فضایی به شدت بر میزان غیبت‌های تشخیص داده شده دقیق و نمرات AUC تأثیر می‌گذارد. با این حال، بیشتر این انتقادات در مورد اکثر معیارهای دیگر اعمال می‌شود.

در زمان استفاده از واحدهای نرمال شده، سطح زیر منحنی (اغلب به عنوان AUC نامیده می‌شود) برابر با احتمال این است که طبقه بندی کننده یک نمونه مثبت انتخاب شده را بالاتر از یک نمونه منفی تصادفی انتخاب کند (با فرض اینکه رتبه "مثبت" بالاتر از "منفی" باشد). این را می‌توان به صورت زیر مشاهده کرد: (مساحت زیر منحنی با (مرزهای انتگرال معکوس می‌شوند) چون T بزرگ مقدار کمتری در محور x دارد)
چپ|بی‌قاب|172x172پیکسل
چپ|بی‌قاب|166x166پیکسل
چپ|بی‌قاب|956x956پیکسل

که در آن X1 نمره برای یک مثال مثبت و X0 نمره برای یک مثال منفی است، و f1 و f0 چگالی احتمال هستند؛ همانگونه که در بخش قبل تعریف شده بود.

همچنین می‌توان نشان داد که AUC ارتباط نزدیکی با Mann-Whitney U دارد، که تست می‌کند آیا موارد مثبت بالاتر از منفی هستند یا خیر و همچنین معادل آزمون رتبه بندی ویلکاکسون است. AUC با ضریب جینی (G1) با فرمول G1=2AUC-1 مرتبط است که در آن:
چپ|بی‌قاب|280x280پیکسل

به این ترتیب می‌توان AUC را با استفاده از میانگین تعدادی تقریب ذوزنقه ای محاسبه کرد.

همچنین رایج است که مساحت زیر ناحیه محدب TOC را محاسبه کنیم (ROC AUCH = ROCH AUC) زیرا هر نقطه از پاره خط بین دو نتیجه پیش‌بینی را می‌توان با استفاده از یک یا چند سیستم دیگر با احتمالات متناسب با طول نسبی بدست آورد. همچنین امکان معکوس کردن تقعرها وجود دارد - همانگونه که در شکل می‌توان راه حل بدتر را برای تبدیل شدن به یک راه حل بهتر منعکس کرد.

مشکل دیگر TOC AUC این است که کاهش منحنی TOC به یک نقطه گوشه این واقعیت را نادیده می‌گیرد که مرتبط با معاوضه بین سیستم‌های متفاوت یا نقاط عملکرد ترسیم شده است و نه عملکرد یک سیستم منزوی و نادیده گرفتن امکان تعمیر تقعر؛ به طوری که اقدامات جایگزین مرتبط مانند Informedness یا DeltaP توصیه می‌شود. این اقدامات، معادل جینی برای یک نقطه پیش‌بینی واحد با DeltaP' = informedness = 2AUC-1 است، در حالی که DeltaP = markedness represents the dual (یعنی پیش‌بینی کردن برآورد از کلاس واقعی) است و میانگین هندسی آنها ضریب همبستگی متیوز است.

در حالی که TOC AUC بین 0 و 1 متغیر است - با یک طبقه‌بندی کننده غیر اطلاعاتی که 0.5 را به دست می‌دهد - معیارهای جایگزین شناخته شده به عنوان آگاهی، قطعیت  و ضریب جینی (در پارامترسازی واحد یا مورد سیستم منزوی) همه این مزیت را دارند که 0 نشان دهنده عملکرد شانسی است در حالی که 1 نشان دهنده عملکرد کامل است، و -1 نشان دهنده حالت "منحرف" آگاهی کامل است که همیشه پاسخ اشتباه می‌دهد. شانس آوردن عملکرد به 0 اجازه می‌دهد تا این مقیاس‌های جایگزین به عنوان آمار کاپا تفسیر شوند. نشان داده شده است که آگاهی در مقایسه با سایر تعاریف رایج کاپا مانند کاپا کوهن و فلیس کاپا، ویژگی‌های مطلوبی برای یادگیری ماشین دارد.

گاهی اوقات نگاه کردن به ناحیه خاصی از منحنی TOC به جای کل منحنی می‌تواند مفیدتر باشد. محاسبه AUC جزئی امکان‌پذیر است. برای مثال، می‌توان روی ناحیه منحنی با نرخ مثبت کاذب پایین تمرکز کرد که اغلب برای آزمایش‌های غربالگری جمعیت مورد توجه قرار می‌گیرد. یکی دیگر از رویکمردودی‌های رایج برای مسائل طبقه بندی که در آن P ≤ N (متداول در کار مردودی‌های بیوانفورماتیک) استفاده از یک مقیاس لگاریتمی‌ برای محور x است.

## منابع
رده:آمار
رده:آمار زیستی
رده:جبر بولی
رده:داده‌کاوی
رده:نظریه شناسایی
رده:دسته‌بندی آماری