ماتریس کوواریانس
در نظریه احتمال و آمار ، یک ماتریس کوواریانس (همچنین به عنوان ماتریس کوواریانس خودکار، ماتریس پراکندگی ، ماتریس واریانس ، یا ماتریس واریانس کوواریانس نیز شناخته می‌شود) یک ماتریس مربعی است که کوواریانس بین هر جفت از عناصر یک بردار تصادفی معینی را نشان می‌دهد. هر ماتریس کوواریانس متقارن و نیمه معین مثبت است و قطر اصلی آن دارای مقادیر واریانس است.
ماتریس کوواریانس مفهوم واریانس را به ابعاد چندگانه تعمیم می دهد. برای مثال، تغییر در مجموعه ای از نقاط تصادفی در فضای دو بعدی را نمی توان به طور کامل با یک عدد مشخص کرد، همچنین لازم به ذکر است واریانس های موجود در formula_1 و formula_2 دستورالعمل ها حاوی تمام اطلاعات لازم هستند. ماتریس formula_3 برای توصیف کامل تغییرات دو بعدی ضروری است.
ماتریس کوواریانس یک بردار تصادفی formula_4 است که با علامت formula_5 یا formula_6نشان داده می شود.
در سرتاسر این مقاله، با formula_4 و formula_8 برای ارجاع به بردارهای تصادفی استفاده می‌شوند و formula_9 و formula_10 برای اشاره به متغیرهای تصادفی اسکالر استفاده می شود.
اگر مقادیر ورودی در بردار ستونی
متغیرهای تصادفی که هر کدام دارای واریانس محدود و مقدار مورد انتظار هستند در نظر گرفته شوند سپس ماتریس کوواریانس formula_5 ماتریسی است که formula_13 ورودی کوواریانس است.
جایی که اپراتور formula_15 مقدار مورد انتظار (میانگین یا همان expected) آرگومان خود را نشان می دهد. نامگذاری ها متفاوت است. برخی از آماردانان، به پیروی از ویلیام فلر احتمال گرا در کتاب دو جلدی خود، "مقدمه ای بر نظریه احتمال و کاربردهای آن" ، ماتریس formula_5 را واریانس بردار تصادفی formula_4 می نامند، زیرا تعمیم طبیعی به ابعاد بالاتر واریانس 1 بعدی است. دیگران آن را ماتریس کوواریانس می نامند، زیرا ماتریس کوواریانس بین اجزای اسکالر بردار formula_4 است.
هر دو فرم کاملا استاندارد هستند و هیچ ابهامی بین آنها وجود ندارد. ماتریس formula_5 "اغلب ماتریس واریانس کوواریانس" نیز نامیده می شود، زیرا عبارات مورب (روی قطر اصلی) در واقع واریانس هستند.
همچنین در پایین نماد ماتریس کوواریانس متقاطع "بین" دو بردار را مشاهده می کنید.
ماتریس کوواریانس خودکار formula_5 مربوط به ماتریس خودهمبستگی است formula_23 توسط
که در آن ماتریس خودهمبستگی به صورتformula_25 تعریف شده است.
ماتریسی نزدیک به ماتریس کوواریانس از لحاظ مفهومی، ماتریس ضرایب همبستگی محصول- لحظه پیرسون بین هر یک از متغیرهای تصادفی در بردار تصادفی formula_4 است، که می تواند به صورت زیر نوشته شود:
جایی که formula_28 ماتریس قطری است که عناصر روی قطر آن مقادیر formula_5 هستند (یعنی یک ماتریس مورب از واریانس های formula_9 برای formula_31 ).
به طور مشابه ماتریس همبستگی را می توان به عنوان ماتریس کوواریانس متغیرهای تصادفی استاندارد شده مشاهده کرد.
هر عنصر روی قطر اصلی یک ماتریس covariance، همبستگی یا همان correlation یک متغیر تصادفی با خودش است که همیشه برابر با 1 است. همچنین هر عنصر خارج از مورب موجود بین 1- تا 1+ است.
معکوس این ماتریس، formula_33 اگر وجود داشته باشد، ماتریس کوواریانس معکوس (طبیعتا)نامیده می شود که به عنوان ماتریس غلظت یا ماتریس دقت نیز شناخته می شود.
برای formula_34 و formula_35 ، جایی که formula_36 یک متغیر تصادفی n بعدی است، ویژگی های اساسی زیر اعمال می شود: معنی مشترک formula_53 و ماتریس کوواریانس مشترک formula_54 از formula_4 و formula_8 را می توان به صورت بلوک نوشت:
جایی که formula_58 ، formula_59 و formula_60 . همجنین formula_61 و formula_62 را می توان به عنوان ماتریس های واریانس توزیع های حاشیه ای (marginal) برای formula_63 و formula_64 دانست.
اگر formula_4 و formula_8 jointly normally distributed باشند،
سپس توزیع شرطی برای formula_8 به شرط formula_4 (Y|X) از رابطه زیر بدست می آید:
امید ریاضی شرطی (conditional mean) تعریف شده است:
و واریانس شرطی
ماتریس formula_73 به عنوان ماتریس ضرایب رگرسیون شناخته می شود، در حالی که در جبر خطی formula_74 Schur complement formula_61 در formula_76 است.
ماتریس ضرایب رگرسیون اغلب ممکن است به شکل انتقال داده شود. formula_77 مناسب برای ضرب یک بردار ردیفی از متغیرهای توضیحی formula_78 است به جای اینکه یک بردار ستونی formula_63 را از قبل ضرب کنیم. در این شکل آنها با ضرایب به دست آمده با معکوس کردن ماتریس معادلات نرمال حداقل مربعات معمولی (OLS) مطابقت دقیق دارند.
یک ماتریس کوواریانس با همه عناصر غیر صفر می گوید که همه متغیرهای تصادفی فردی به هم مرتبط هستند. این بدان معنی ست که متغیرها نه تنها مستقیماً همبستگی دارند، بلکه از طریق سایر متغیرها نیز حتی به طور غیرمستقیم همبستگی دارند. اغلب چنین همبستگی‌های غیرمستقیم و معمولی بی‌اهمیت و غیر کاربردی هستند. آنها را می توان با محاسبه ماتریس کوواریانس جزئی، که بخشی از ماتریس کوواریانس است که تنها بخش جالب همبستگی ها را نشان می دهد، سرکوب و خلا سلاح کرد.
اگر دو بردار از متغیرهای تصادفی formula_4 و formula_8 از طریق بردار دیگری مثل formula_82 همبستگی دارند، همبستگی های اخیر در یک ماتریس سرکوب یا به اصطلاح suppressed می شوند
ماتریس کوواریانس جزئی formula_84 به طور موثر ماتریس کوواریانس ساده formula_85 است که مثل اینکه متغیرهای تصادفی غیر جالب formula_82 هستند که ثابت نگه داشته شدند.
اگر بردار ستونی formula_63 از formula_88 متغیرهای تصادفی احتمالاً همبسته به طور مشترک به طور نرمال یا به طور کلی بیضوی توزیع شوند ، سپس تابع چگالی احتمال آن formula_89 را می توان بر حسب ماتریس کوواریانس formula_90 به شرح زیر بیان کرد
جایی که formula_92 و formula_93 دترمینان formula_90 است.
با اعمال بر یک بردار، ماتریس کوواریانس یک ترکیب خطی c از متغیرهای تصادفی X را روی بردار کوواریانس با آن متغیرها ترسیم می کند: formula_95 . با در نظر گرفتن یک فرم دو خطی ، کوواریانس بین دو ترکیب خطی به دست می‌آید: formula_96 . در نتیجه واریانس یک ترکیب خطی formula_97 است، که کوواریانس آن با خودش است.
به طور مشابه، ماتریس کوواریانس معکوس (شبه) یک محصول درونی ارائه می دهد formula_98 ، که فاصله Mahalanobis را القا می کند، معیاری برای "عدم احتمال" "c" .
طبق مفاهیم بالا فرض کنید formula_99 یک بردار formula_100 است پس ارزش واقعی بردار زیر
همیشه باید غیرمنفی باشد، زیرا واریانس یک متغیر تصادفی با ارزش واقعی است، بنابراین یک ماتریس کوواریانس همیشه یک ماتریس مثبت-نیمه معین است.
استدلال فوق را می توان به صورت زیر گسترش داد:formula_102که در آن آخرین نابرابری از مشاهده که formula_103 اسکالر است.
برعکس، هر ماتریس نیمه معین مثبت متقارن یک ماتریس کوواریانس است. برای دیدن این، فرض کنید formula_104 یک ماتریس formula_105 متقارن مثبت-نیمه معین است. حال از حالت بعد محدود قضیه طیفی (spectral theorem)، نتیجه می شود که formula_104 دارای یک جذر متقارن غیر منفی است که می توان آن را با M . اجازه دهید formula_4 هر گونه وکتور formula_108 با ارزش بردار ستونی که ماتریس کوواریانس آن ماتریس هویت formula_105 است باشد.
واریانس یک متغیر تصادفی مختلط با ارزش "اسکالر" به همراه امید ریاضی formula_111 به طور معمول طبق قرارداد با استفاده از مزدوج مختلط تعریف می شود:
که در آن مزدوج مختلط یک عدد مختلط است formula_113 نشان داده شده است formula_114 ; بنابراین واریانس یک متغیر تصادفی مختلط یک عدد واقعی است.
اگر formula_115 یک بردار ستونی متشکل از متغیرهای تصادفی با اعداد مختلط باشد، سپس ترانهاده مزدوج (conjugate transpose)formula_116 از "هر دو" جابجایی و مزدوج شدن تشکیل می شود. در عبارت زیر، حاصل ضرب یک بردار با جابه‌جایی مزدوج آن، یک ماتریس مربعی به نام ماتریس کوواریانس به عنوان انتظار آن ایجاد می‌کند:
ماتریس به‌دست‌آمده هرمیتی مثبت-نیمه معین (PSD Hermitian)، با اعداد حقیقی در مورب اصلی و اعداد مختلط خارج از قطر خواهد بود. برای بردارهای تصادفی پیچیده، نوع دیگری از گشتاور مرکزی دوم، ماتریس شبه کوواریانس pseudo-covariance matrix(همچنین ماتریس رابطه نامیده می شود) به صورت زیر تعریف می شود:
برخلاف ماتریس کوواریانس تعریف شده در بالا، جابجایی hermitian با جابجایی در تعریف جایگزین می‌شود. عناصر مورب آن ممکن است دارای ارزش پیچیده باشند. این یک ماتریس متقارن پیچیده است.
اگر formula_120 و formula_121 ماتریس های داده مرکزی به ابعاد formula_122 و formula_123 باشند، یعنی با "n" ستون مشاهدات "ردیف های p" و "q" از متغیرها که میانگین ردیف از آنها کم شده است، اگر میانگین ردیف ها از داده ها برآورد شد، ماتریس های کوواریانس نمونه formula_124 و formula_125 را می توان تعریف کرد:
یا اگر میانگین ردیف از قبل شناخته شده بود،
این ماتریس‌های کوواریانس نمونه تجربی ساده‌ترین و اغلب مورد استفاده‌ترین تخمینگر ها برای ماتریس‌های کوواریانس هستند، اما تخمینگر های دیگری نیز وجود دارند، از جمله تخمینگر های منظم یا انقباضی که ممکن است ویژگی‌های بهتری داشته باشند.
ماتریس کوواریانس ابزار مفیدی در زمینه های مختلف است. از آن می توان یک ماتریس تبدیل(transformation matrix) به دست آورد که به آن تبدیل سفیدکننده (whitening transformation) نیز گویند که به فرد اجازه می دهد تا داده ها را به طور کامل مرتبط کند. یا از دیدگاهی متفاوت، برای یافتن مبنایی بهینه برای نمایش داده ها به روشی فشرده (برای اثبات رسمی و خواص اضافی ماتریس های کوواریانس به ضریب ریلی مراجعه کنید). که PCA و (KL-transform) نامیده می شود.
ماتریس کوواریانس نقش کلیدی در اقتصاد مالی به ویژه در نظریه پرتفوی و قضیه تفکیک وجوه متقابل آن و در مدل قیمت گذاری دارایی های سرمایه ای ایفا می کند. ماتریس کوواریانس‌ها بین بازده دارایی‌های مختلف برای تعیین مقادیر نسبی دارایی‌های مختلف که سرمایه‌گذاران باید (در یک تحلیل هنجاری یا در یک تحلیل مثبت ) انتخاب کنند، تحت مفروضات خاصی تعیین و پیش بینی می شوند.
در نگاشت کوواریانس مقادیر formula_128 یا formula_129 ماتریس به صورت یک نقشه دو بعدی رسم می شود. زمانی که بردارها formula_63 و formula_64 توابع تصادفی گسسته هستند، نقشه روابط آماری بین مناطق مختلف توابع تصادفی را نشان می دهد. مناطق مستقل آماری توابع بر روی نقشه به صورت زمین مسطح سطح صفر نشان داده می شوند، در حالی که همبستگی های مثبت یا منفی به ترتیب به صورت تپه ها یا دره ها نشان داده می شوند.
در عمل بردارهای ستون formula_132 ، و formula_133 به صورت تجربی به عنوان ردیف هایی از نمونه های nتایی به دست می آیند، به عنوان مثال
جایی که formula_135 "i" امین مقدار گسسته در نمونه "j" تابع تصادفی formula_136 است. مقادیر مورد نیاز در فرمول کوواریانس با استفاده از میانگین نمونه تخمین زده می شود، به عنوان مثال
و ماتریس کوواریانس توسط ماتریس کوواریانس نمونه تخمین زده می شود:
در جایی که براکت‌های زاویه‌ای نشان‌دهنده میانگین‌گیری نمونه هستند، به جز اینکه اصلاح بسل باید برای جلوگیری از سوگیری (BIAS) انجام شود . با استفاده از این تخمین ماتریس کوواریانس جزئی را می توان به صورت محاسبه کرد:
که در آن علامت backslash عملگر تقسیم ماتریس سمت چپ (LMD)را نشان می دهد که شرط معکوس کردن یک ماتریس را دور می زند و در برخی بسته های محاسباتی مانند Matlab موجود است .
شکل 1 نشان می دهد که چگونه یک نقشه کوواریانس جزئی بر روی نمونه ای از آزمایش انجام شده در لیزر الکترون آزاد FLASH در هامبورگ ساخته شده است. تابع تصادفی formula_136 طیف زمان پرواز یون‌های حاصل از انفجار کولنی از مولکول‌های نیتروژن است که توسط یک پالس لیزر یونیزه شده‌اند. از آنجایی که تنها چند صد مولکول در هر پالس لیزر یونیزه می شوند، طیف های تک شات به شدت در نوسان هستند. با این حال، جمع آوری به طور معمول formula_141 چنین طیف هایی، formula_142 ، و میانگین آنها را بیش از حد formula_143 یک طیف صاف تولید می کند توجه کنید به formula_144 که با رنگ قرمز در پایین شکل 1 نشان داده شده است. طیف متوسط formula_145 چندین یون نیتروژن را به شکل پیک هایی که توسط انرژی جنبشی آنها گسترش یافته است نشان می دهد، اما برای یافتن همبستگی بین مراحل یونیزاسیون و گشتاور یونی نیاز به محاسبه یک نقشه کوواریانس است.
در مثال شکل 1 طیف formula_142 و formula_147 یکسان هستند، با این تفاوت که محدوده زمان پرواز formula_148 متفاوت است. پنل a نشان می دهد formula_149 ، پنل b را نشان می دهد formula_150 و پنل c تفاوت آنها را نشان می دهد که formula_151 است (به تغییر در مقیاس رنگ توجه کنید). متأسفانه، این نقشه توسط همبستگی‌های غیر جالب و معمولی که توسط شدت لیزر در نوسان از عکسی به عکس دیگر ایجاد می‌شود، غرق شده است. برای سرکوب چنین همبستگی هایی شدت لیزر formula_152 در هر شات ثبت می شود، قرار داده می شود و formula_133 و formula_154 به عنوان پانل های d و e محاسبه می شود. با این حال، سرکوب همبستگی‌های جالب ناقص است زیرا منابع دیگری از نوسانات حالت معمولی غیر از شدت لیزر وجود دارد و در اصل همه این منابع باید به صورت بردار formula_133 بررسی شوند. با این حال در عمل اغلب کافی است که اصلاح کوواریانس جزئی را جبران کنیم همانطور که پانل f نشان می دهد، جایی که همبستگی های جالب لحظه ای یون اکنون به وضوح به صورت خطوط مستقیم متمرکز بر مراحل یونیزاسیون نیتروژن اتمی قابل مشاهده است.
طیف‌سنجی دو بعدی مادون قرمز از تجزیه و تحلیل همبستگی برای بدست آوردن طیف‌های دوبعدی فاز متراکم استفاده می کند. دو نسخه از این تحلیل وجود دارد: همزمان و ناهمزمان . از نظر ریاضی، اولی بر حسب ماتریس کوواریانس نمونه بیان می‌شود و این تکنیک معادل نگاشت کوواریانس است.