**قضیهٔ کارهونِن-لُواِو** (به انگلیسی: Karhunen-Loève Theorem)، یک فرایند تصادفی در یک بازهٔ کران‌دار را با ترکیب خطی نامحدودی از توابع متعامد نمایش می‌دهد.

این قضیه به افتخار کاری کارهونِن و میشل لُواِو نامیده شده‌است، و به آن قضیه Kosambi-Karhunen-Loève هم گفته می‌شود. 

این تبدیل هم‌چنین به تبدیل هُتِلینگ و تبدیل بردار ویژه نیز شناخته می‌شود و با تحلیل مولفه اصلی (به انگلیسی: Principal Component Analysis, PCA) مرتبط است که در پردازش تصویر و آنالیز داده‌ها، فراوان استفاده می‌شود.

در مقایسه با تبدیل فوریه، که ضرایب آن اعداد معیّن (deterministic)، و پایه‌های آن، توابع سینوسی هستند، ضرایب تبدیل کارهونن-لُواِو، متغیرهای تصادفی هستند و پایه‌های آن، بستگی به فرایند دارند. می‌توان گفت این تبدیل به‌گونه‌ای با فرایند تصادفی سازگار می‌شود که به بهترین پایه‌ها برای آن فرایند می‌انجامد.

برای یک *فرایند تصادفی متمرکز* {*Xt*}*t* ∈ [*a*, *b*] (**E**[*Xt*] = 0، *t* ∈ [*a*, *b*]) می‌نویسیم:

{\displaystyle X\_{t}=\sum \_{k=1}^{\infty }Z\_{k}c\_{k}(t)}
که در آن {\displaystyle Z\_{k}}ها متغیرهای تصادفی، و دوبه‌دو ناهمبسته هستند و {\displaystyle c\_{k}}ها، توابع پیوسته حقیقی در بازهٔ [*a*, *b*] و دوبه‌دو در *L*2([*a*, *b*]) متعامد هستند. فرایندی که *متمرکز* نیست را می‌توان با *Xt* − **E**[*Xt*] متمرکز کرد.

اگر فرایند گاوسی باشد، {\displaystyle Z\_{k}}ها گاوسی، و مستقل آماری هستند. یک مثال از یک فرایند متمرکز در بازهٔ [0, 1]، فرایند وینر است.

فرمول
-----

* Xt یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال (Ω, *F*, **P**) تعریف می‌شود و نمایه آن در بازهٔ بستهٔ [*a*, *b*] با تابع کوواریانس *KX*(*s*, *t*). به این ترتیب:

{\displaystyle \forall t\in [a,b]\qquad X\_{t}\in L^{2}(\Omega ,F,\mathbf {P} ),}
{\displaystyle \forall t\in [a,b]\qquad \mathbf {E} [X\_{t}]=0,}
{\displaystyle \forall t,s\in [a,b]\qquad K\_{X}(s,t)=\mathbf {E} [X\_{s}X\_{t}].}
* یک عملگر خطی *T**K**X* را در *K**X* اعمال می‌کنیم. *T**K**X* به این صورت تعریف می‌شود:

{\displaystyle T\_{K\_{X}}:L^{2}([a,b])\to L^{2}([a,b]):f\mapsto T\_{K\_{X}}f=\int \_{a}^{b}K\_{X}(s,\cdot )f(s)ds}
ازآنجاکه *T**K**X* یک عمل‌گر خطی‌ست، مقدار ویژه *λk* و تابع ویژه *e**k* دارد، که در معادله‌ انتگرالی زیر، به هم مربوط می‌شوند:
{\displaystyle \int \_{a}^{b}K\_{X}(s,t)e\_{k}(s)\,ds=\lambda \_{k}e\_{k}(t)}

بیانی از قضیه
-------------

**قضیه**. Xt را یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال (Ω, *F*, **P**) و نمایه آن در بازهٔ بستهٔ [*a*, *b*] با تابع کوواریانس پیوستهٔ *KX*(*s*, *t*) در نظر می‌گیریم.

حال *KX*(*s*, *t*) یک هسته ی Mercer است و *e**k* را یک پایهٔ متعامد بر روی *L*2([*a*, *b*]) می‌گیریم که از توابع ویژهٔ *T**K**X* دارای مقدار ویژهٔ λk تشکیل شده‌است. می‌توان Xt را به صورت زیر بیان کرد

{\displaystyle X\_{t}=\sum \_{k=1}^{\infty }Z\_{k}e\_{k}(t)}
که در *L*2 هم‌گراست و

{\displaystyle Z\_{k}=\int \_{a}^{b}X\_{t}e\_{k}(t)\,dt}
همچنین متغیرهای تصادفی *Z**k* دارای میانگین صفر، ناهم‌بسته و دارای واریانس *λk* هستند

{\displaystyle \mathbf {E} [Z\_{k}]=0,~\forall k\in \mathbb {N} \qquad {\mbox{and}}\qquad \mathbf {E} [Z\_{i}Z\_{j}]=\delta \_{ij}\lambda \_{j},~\forall i,j\in \mathbb {N} }

اثبات
-----

* تابع کوواریانس *K**X* شرایط تعریف هسته‌ی Mercer را داراست. طبق تئوری Mercer، یک مجموعهٔ {*λk*, *ek*(*t*)} وجود دارد که از مقدار ویژه‌ها و توابع ویژهٔ T*K**X*، یک مجموعه متعامد از *L*2([*a*,*b*]) تشکیل می‌دهند و *K**X* را نیز می‌توان به صورت زیر نمایش داد:

{\displaystyle K\_{X}(s,t)=\sum \_{k=1}^{\infty }\lambda \_{k}e\_{k}(s)e\_{k}(t)}
* فرایند *X**t* می‌تواند به صورت تابعی از *e**k*ها به صورت زیر بسط پیدا کند:

{\displaystyle X\_{t}=\sum \_{k=1}^{\infty }Z\_{k}e\_{k}(t)}
که در آن ضرایب (متغیرهای تصادفی) *Z**k* به صورت زیر به دست می‌آیند:

{\displaystyle Z\_{k}=\int \_{a}^{b}X\_{t}e\_{k}(t)\,dt}
* حال خواهیم داشت:

{\displaystyle {\begin{aligned}\mathbf {E} [Z\_{k}]&=\mathbf {E} \left[\int \_{a}^{b}X\_{t}e\_{k}(t)\,dt\right]=\int \_{a}^{b}\mathbf {E} [X\_{t}]e\_{k}(t)dt=0\\[8pt]\mathbf {E} [Z\_{i}Z\_{j}]&=\mathbf {E} \left[\int \_{a}^{b}\int \_{a}^{b}X\_{t}X\_{s}e\_{j}(t)e\_{i}(s)dt\,ds\right]\\&=\int \_{a}^{b}\int \_{a}^{b}\mathbf {E} \left[X\_{t}X\_{s}\right]e\_{j}(t)e\_{i}(s)dt\,ds\\&=\int \_{a}^{b}\int \_{a}^{b}K\_{X}(s,t)e\_{j}(t)e\_{i}(s)dt\,ds\\&=\int \_{a}^{b}e\_{i}(s)\left(\int \_{a}^{b}K\_{X}(s,t)e\_{j}(t)dt\right)ds\\&=\lambda \_{j}\int \_{a}^{b}e\_{i}(s)e\_{j}(s)ds\\&=\delta \_{ij}\lambda \_{j}\end{aligned}}}
که در آن از این نکته استفاده شده است که *e**k*ها توابع ویژهٔ *T**K**X* بوده و متعامد هستند.
* حال نشان می‌دهیم که همگرایی در *L*2 است. فرض می‌کنیم

{\displaystyle S\_{N}=\sum \_{k=1}^{N}Z\_{k}e\_{k}(t).}
آنگاه:
{\displaystyle {\begin{aligned}\mathbf {E} \left[\left|X\_{t}-S\_{N}\right|^{2}\right]&=\mathbf {E} \left[X\_{t}^{2}\right]+\mathbf {E} \left[S\_{N}^{2}\right]-2\mathbf {E} \left[X\_{t}S\_{N}\right]\\&=K\_{X}(t,t)+\mathbf {E} \left[\sum \_{k=1}^{N}\sum \_{l=1}^{N}Z\_{k}Z\_{l}e\_{k}(t)e\_{l}(t)\right]-2\mathbf {E} \left[X\_{t}\sum \_{k=1}^{N}Z\_{k}e\_{k}(t)\right]\\&=K\_{X}(t,t)+\sum \_{k=1}^{N}\lambda \_{k}e\_{k}(t)^{2}-2\mathbf {E} \left[\sum \_{k=1}^{N}\int \_{a}^{b}X\_{t}X\_{s}e\_{k}(s)e\_{k}(t)ds\right]\\&=K\_{X}(t,t)-\sum \_{k=1}^{N}\lambda \_{k}e\_{k}(t)^{2}\end{aligned}}}
که طبق قضیهٔ Mercer به صفر میل می‌کند.

مشخصات تبدیل کارهونن-لُواِو
---------------------------

### حالت خاص: توزیع گاوسی

ازآنجاکه حد امید ریاضی متغیرهای تصادفی مشترکاً گاوسی، خود مشترکاً گاوسی هستند و متغیرهای تصادفی گاوسی مستقل هستند اگر و فقط اگر متعامد باشند، می‌توان نتیجه گرفت:
**قضیه**. متغیر تصادفی Zi دارای توزیع مشترک گاوسی است و به‌طور تصادفی مستقل است اگر فرایند اولیه {*Xt*}*t* گاوسی باشد.

در این حالت (گاوسی بودن)، از آنجایی که Ziها مستقل هستند، می‌توان گفت:

{\displaystyle \lim \_{N\to \infty }\sum \_{i=1}^{N}e\_{i}(t)Z\_{i}(\omega )=X\_{t}(\omega )}
almost surely.

### بسط کارهونِن-لُواِو فرایند را ناهمبسته می‌کند

این نتیجه از استقلال Zk حاصل می‌شود.

### بسط کارهونِن-لُواِو مقدار خطای میانگین مربعات را به حداقل می‌رساند

در بخش معرفی، بیان کردیم که بسط خلاصه شدهٔ کارهونِن-لُواِو بهترین تخمین برای یک فرایند است به طوری که خطای میانگین مربعات حداقل شود. به خاطر همین خصوصیت است که بیان می‌شود این تبدیل به‌طور بهینه انرژی را فشرده (ذخیره) می‌کنند.
به‌طور دقیق تر، برای هر پایهٔ متعامد {*f**k*} از فضای *L*2([*a*, *b*])، می‌توان فرایند *Xt* را به صورت زیر تجزیه کرد:

{\displaystyle X\_{t}(\omega )=\sum \_{k=1}^{\infty }A\_{k}(\omega )f\_{k}(t)}
که در آن

{\displaystyle A\_{k}(\omega )=\int \_{a}^{b}X\_{t}(\omega )f\_{k}(t)\,dt}
و می‌توان *X**t* را با جمع متناهی زیر برای هر عدد صحیح 'N *به صورت زیر تخمین زد*

{\displaystyle {\hat {X}}\_{t}(\omega )=\sum \_{k=1}^{N}A\_{k}(\omega )f\_{k}(t)}
### یافتن واریانس

یک نتیجهٔ مهم این تبدیل را می‌توان این مورد در نظر گرفت که از آنجایی که *Z**k*ها در تبدیل کارهونِن-لُواِو ناهمبسته هستند، Bienaymé formula نتیجه می‌دهد که *X**t* برابر است با جمع واریانس جملات جمع، داریم:

{\displaystyle {\mbox{Var}}[X\_{t}]=\sum \_{k=0}^{\infty }e\_{k}(t)^{2}{\mbox{Var}}[Z\_{k}]=\sum \_{k=1}^{\infty }\lambda \_{k}e\_{k}(t)^{2}}
تعریف شده روی [*a*, *b*] و استفاده از این مسئله که *e**k*ها متعامد هستند، نتیجه می‌گیریم که واریانس کل فرایند برابر است با:

{\displaystyle \int \_{a}^{b}{\mbox{Var}}[X\_{t}]dt=\sum \_{k=1}^{\infty }\lambda \_{k}}

منابع
-----

1. ↑  Sapatnekar, Sachin (2011), "Overcoming variations in nanometer-scale technologies", *IEEE Journal on Emerging and Selected Topics in Circuits and Systems*, **1** (1): 5–18, doi:10.1109/jetcas.2011.2138250
2. ↑  Ghoman, Satyajit; Wang, Zhicun; Chen, PC; Kapania, Rakesh (2012), *A POD-based Reduced Order Design Scheme for Shape Optimization of Air Vehicles* `{{citation}}`: Unknown parameter `|book-title=` ignored (help)
3. ↑  Karhunen-Loeve Transform (KLT) بایگانی‌شده در ۲۸ نوامبر ۲۰۱۶ توسط Wayback Machine, Computer Image Processing and Analysis (E161) lectures, Harvey Mudd College

| * ن
* ب
* و
روش‌های فشرده‌سازی داده‌ها |
| --- |
| بی‌اتلاف | 

|  |  |
| --- | --- |
| نظریه | آنتروپی •  پیچیدگی کولموگروف •  افزونگی (نظریه اطلاعات) •  با اتلاف |
| کدگذاری آنتروپی | رمزگذاری شانون-فانو •  Shannon–Fano–Elias •  هافمن •  کدگذاری هافمن انطباقی •  Arithmetic •  Range •  Golomb •  Universal (Gamma •  Exp-Golomb •  Fibonacci •  Levenshtein) |
| واژه‌نامه | ‎کدبندی طول اجرا •  Byte pair encoding •  DEFLATE •  Lempel–Ziv (LZ77/78 •  LZSS •  LZW •  LZWL •  LZO •  LZMA •  LZX •  LZRW •  LZJB •  LZS •  LZT •  ROLZ)‎ |
| غیره | CTW •  تبدیل باروز-ویلر •  PPM •  DMC •  Delta |

 |
| صدا | 

|  |  |
| --- | --- |
| نظریه | Companding •  کانولوشن •  دامنه دینامیک •  Latency •  نمونه‌برداری •  قضیه نمونه‌برداری نایکوئیست-شنون •  Sound quality |
| Audio codec parts | LPC (LAR •  LSP) •  WLPC •  CELP •  ACELP •  A-law •  μ-law •  ADPCM •  DPCM •  MDCT •  تبدیل فوریه •  Psychoacoustic model |
| غیره | نرخ بیت (CBR •  ABR •  سرعت بیت متغیر) •  Speech compression •  Sub-band coding |

 |
| تصویر | 

|  |  |
| --- | --- |
| لغات | فضای رنگ •  پیکسل •  Chroma subsampling •  Compression artifact •  وضوح تصویری |
| روش‌ها | کدبندی طول اجرا •  فشرده‌سازی برخالی •  Wavelet •  EZW •  SPIHT •  LP •  تبدیل کسینوسی گسسته •  Chain code •  تئوری کارانن-لوف |
| غیره | Test images •  PSNR quality measure •  Quantization |

 |
| ویدیو | 

|  |  |
| --- | --- |
| لغات | ویدئو •  فریم (فیلم) •  فریم ریت •  Interlace •  Frame types •  Video quality •  وضوح صفحه نمایش |
| Video codec parts | Motion compensation •  تبدیل کسینوسی گسسته •  کمیت (پردازش سیگنال) |
| غیره | Video codecs •  نظریه نرخ-اعوجاج •  نرخ بیت (CBR •  ABR •  سرعت بیت متغیر) |

 |
| Timeline of information theory, data compression, and error-correcting codes |
| همچنین قالب‌های فشرده‌سازی برای قالب‌ها و نرم‌افزارهای پیاده‌سازی‌شدهٔ فشرده‌سازی برای کدک‌ها را ببینید. |