تئوری کارانن-لوف

در تئوری فرایندهای تصادفی ، قضیه Karhunen–Loève (به افتخار کاری کارانن و میشل لوف)همچنین شناخته شده به عنوان قضیه Kosambi–Karhunen–Loève که توصیفی از یک فرایند تصادفی به عنوان بی‌نهایت ترکیب خطی از توابع متعامد شبیه به سری فوریه برای یک تابع با بازه کراندار. این تبدیل همچنین با نام‌های تبدیل هتلینگ و تبدیل بردار ویژه نیز شناخته می‌شود و مرتبط است با تکنیک تحلیل مولفه اصلی (PCA) که به صورت گسترده در بسیاری از زمینه‌های پردازش تصویر و آنالیز داده استفاده می‌شود.
در مقایسه با سریهای فوریه که در آن‌ها ضرایب اعداد ثابت هستند و پایه‌های بسط توابع سینوسی هستند، ضرایب در تئوری کارانن-لوف متغیرهای تصادفی هستند و پایه‌های بسط بستگی به فرایند دارند. در واقع، متغیرهای تصادفی و گسترش اساس بستگی به روند. در واقع توابع متعامدی که در این بسط استفاده می‌شوند به وسیله کواریانس تابع مشخص می‌شوند. می‌توان گفت این تبدیل به گونه‌ای با فرایند سازگار می‌شود که بهترین پایه‌ها را برای بسط ایجاد کند.
در مورد یک فرایند تصادفی متمرکز (متمرکز به معنی برای تمام ) برای X t می‌نویسیم:
که در آن Z k‌ها دو به دو به صورت متغیرهای تصادفی ناهمبسته هستند و‌ها توابع پیوسته و حقیقی در بازه هستند که دو به دو در متعاند هستند.
برای مواردی که فرایند متمرکز نیست، می‌توان با استفاده از آنرا تبدیل به یک فرایند متمرکز کرد.
اگر فرایند گاوسی باشد آنگاه متغیرهای تصادفی Z k گاوسی هستند ومستقل آماری هستند. این نتیجه تبدیل Karhunen–Loève را عمومیت می‌بخشد. یک مثال مهم از یک فرایند متمرکز در بازه فرایند وینر است.
فرمول
در سراسر این مقاله ما X t را یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال تعریف می‌کنیم و نمایه آن در بازه بسته با تابع کوواریانس . به این ترتیب:
یک عملگر خطی T K X  را در K X اعمال می‌کنیم. T K X  را به این صورت تعریف می‌کنیم:
T_{K_X: L^2(a,b) \to L^2(a,b): f \mapsto T_{K_Xf = \int_a^b K_X(s,\cdot) f(s) ds
از آنجایی که T K X  یک عملگر خطی است، پس می‌توان درباره مقدار ویژه آن  k و تابع ویژه آن e k صحبت کرد، که در حل معادله‌های انتگرالی مانند زیر استفاده می‌شوند:
بیانیه از این قضیه
قضیه . را یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال و نمایه آن در بازه بسته a, b با تابع کوواریانس پیوسته در نظر می‌گیریم.
حال یک هسته‌ی Mercer است و e k را یک پایه متعامد بر روی می‌گیریم که از توابع ویژه T K X دارای مقدار ویژه تشکیل شده‌است. می‌توان را به صورت زیر بیان کرد
که هم گرایی آن در L 2 است و
همچنین متغیرهای تصادفی Z k دارای میانگین صفر، ناهمبسته نسبت به یکدیگر و دارای واریانس  k هستند
اثبات
تابع کواریانس K X شرایط تعریف هسته‌یMercer را دارد. طبق تئوری Mercer، یک مجموعه { k , e k (t) وجود دارد که از مقدار ویژه‌ها و توابع ویژه T K X ، یک مجموعه متعامد از L 2 (a,b) تشکیب می‌دهند و K X را نیز می‌توان به صورت زیر نمایش داد
فرایند X t می‌تواند به صورت تابعی از e k‌ها به صورت زیر بسط پیدا کند:
که در آن ضرایب (منغیر تصادفی‌ها) Z k به صورت زیر به دست می‌آیند:
حال خواهیم داشت:
\begin{align
\mathbf{EZ_k -=\mathbf{E\left\int_a^b X_t e_k(t) \,dt\right=\int_a^b \mathbf{EX_t e_k(t) dt=0 \\ 8pt
\mathbf{EZ_i Z_j-=\mathbf{E\left \int_a^b \int_a^b X_t X_s e_j(t)e_i(s) dt\, ds\right\\
-=\int_a^b \int_a^b \mathbf{E\leftX_t X_s\right e_j(t)e_i(s) dt\, ds\\
-=\int_a^b \int_a^b K_X(s,t) e_j(t)e_i(s) dt \, ds\\
-=\int_a^b e_i(s)\left(\int_a^b K_X(s,t) e_j(t) dt\right) ds\\
-=\lambda_j \int_a^b e_i(s) e_j(s) ds\\
-=\delta_{ij\lambda_j
\end{align
که در آن از این نکته استفاده شده است که e k‌ها توابع ویژه T K X بوده و متعامد هستند.
حال نشان می‌دهیم که همگرایی در L 2 است. فرض می‌کنیم
آنگاه:
\begin{align
\mathbf{E \left X_t-S_N \right -=\mathbf{E \left X_t^2 \right +\mathbf{E \left S_N^2 \right - 2\mathbf{E \left X_t S_N \right \\
-=K_X(t,t)+\mathbf{E\left\sum_{k=1^N \sum_{l=1^N Z_k Z_l e_k(t)e_l(t) \right -2\mathbf{E\leftX_t\sum_{k=1^N Z_k e_k(t)\right\\
-=K_X(t,t)+\sum_{k=1^N \lambda_k e_k(t)^2 -2\mathbf{E\left\sum_{k=1^N \int_a^b X_t X_s e_k(s) e_k(t) ds\right\\
-=K_X(t,t)-\sum_{k=1^N \lambda_k e_k(t)^2
\end{align
که طبق قضیه Mercer به صفر میل می‌کند.
مشخصات تبدیل کارانن-لوف
حالت خاص:توزیع گاوسی
از آنجایی که حد در امید ریاضی متغیرهای تصادفی مشترکا گاوسی، خود مشترکا گاوسی هستند و متغیرهای تصادفی گاوسی مساقل هستند اگر و فقط اگر متعامد باشند، می‌توان نتیجه گرفت:
قضیه . متغیر تصادفی دارای توزیع مشترک گاوسی است و به‌طور تصادفی مستقل استت اگر فرایند اولیه گاوسی باشد.
در این حالت (گاوسی بودن)، از آنجایی که‌ها مستقل هستند، می‌توان گفت:
almost surely.
بسط کارانن-لوف فرایند را ناهمبسته می‌کند
این نتیجه از استقلال حاصل می‌شود.
بسط کارانن-لوف مقدار خطای میانگین مربعات را به حداقل می‌رساند
در بخش معرفی، بیان کردیم که بسط خلاصه شده کارانن-لوف بهترین تخمین برای یک فرایند است به طوری که خطای میانگین مربعات حداقل شود. به خاطر همین خصوصیت است که بیان می‌شود این تبدیل به‌طور بهینه انرژی را فشرده (ذخیره) می‌کنند.
به‌طور دقیق‌تر، برای هر پایه متعامد {f k از فضای L 2 (a, b)، می‌توان فرایند X t را به صورت زیر تجزیه کرد:
که در آن
و می‌توان X t را با جمع متناهی زیر برای هر عدد صحیح N به صورت زیر تخمین زد
یافتن واریانس
یک نتیجه مهم این تبدیل را می‌توان این مورد در نظر گرفت که از آنجایی که Z k‌ها در تبدیل کارانن-لوف ناهمبسته هستند، Bienaymé formula نتیجه می‌دهد که X t برابر است با جمع واریانس جملات جمع، داریم:
تعریف شده روی a, b و استفاده از این مسئله که e k‌ها متعامد هستند، نتیجه می‌گیریم که واریانس کل فرایند برابر است با