פירוק לערכים סינגולריים

הדגמה חזותית של פירוק SVD של מטריצה ממשית דו-ממדית M שהיא Shear transformation. תחילה, ניתן לראות את דיסק היחידה, בכחול, ועליו מסומנים שני וקטורי היחידה הקאנוניים. לאחר מכן ניתן לראות את הפעולה של M, שמעתיקה את הדיסק ל[[אליפסה.<br /> פירוק ה-SVD מפרק את M לשלוש העתקות פשוטות: העתקת סיבוב (rotation) V*, העתקת מתיחה (scaling) Σ שמותחת את הנקודות לאורך מערכת הצירים המסובבת והעתקת סיבוב נוספת U. הערכים &sigma;<sub>1</sub> ו-&sigma;<sub>2</sub> של צירי האליפסה הם הערכים הסינגולריים של M.]]
פירוק לערכים סינגולריים (Singular value decomposition - SVD) היא שיטת פירוק באלגברה ליניארית של מטריצה מרוכבת או ממשית. לשיטה זו שימושים רבים בעיבוד אותות ובסטטיסטיקה.

פורמלית, פירוק לערכים סינגולריים של מטריצה ממשית או מרוכבת M בעלת ממדים m×n הוא פירוק מהצורה:
: <math>\mathbf{M} = \mathbf{U} \boldsymbol{\Sigma} \mathbf{V}^*</math>
כאשר U היא מטריצה אוניטרית ממשית או מרוכבת מממד m×m, Σ היא מטריצה אלכסונית מלבנית מממד m×n עם ערכים ממשיים לא-שליליים על האלכסון, ו-V* (הצמודה ההרמיטית של V) היא מטריצה אוניטרית ממשית או מרוכבת מממד n×n. ערכי האלכסון של Σ, Σ<sub>i,i</sub>, נקראים הערכים הסינגולריים של M והם מסודרים מהגדול לקטן. כמו כן, m העמודות של U ו-n העמודות של V נקראות הווקטורים הסינגולריים השמאליים והווקטורים הסינגולריים הימניים של M, בהתאמה.

הפירוק מקיים את התכונות הבאות:
* הווקטורים הסינגולריים השמאליים של M הם וקטורים עצמיים של MM*.
* הווקטורים הסינגולריים הימניים של M הם וקטורים עצמיים של M*M.
:* הערכים הסינגולריים השונים מאפס של M (שעל האלכסון של Σ) הם שורשים ריבועיים של הערכים עצמיים השונים מאפס הן של M*M והן של MM*.

== נורמות ==
בעזרת הערכים הסינגולרים ניתן להגדיר מספר נורמות חדשות עבור מטריצות:
* הערך הסינגולרי הגדול ביותר הוא נורמה. נורמה זו נקראת הנורמה הספקטרלית והיא שווה לנורמה p המושרית עבור p=2. באופן פורמלי: <math>\sigma_1(M)=||M||_2=\text{sup} \frac{||Mx||_2}{||x||_2}</math>
* נורמת Frobenius, השווה לשורש סכום ריבועי איברי המטריצה, שווה גם לשורש סכום ריבועי הערכים הסינגולריים: <math>\Vert M \Vert_F^2 = \sum \sum \vert m_{ij} \vert^2=\sum \sigma_i^2</math>
* נורמת Ky-Fan, השווה לסכום k הערכים הסינגולרים הגדולים ביותר: <math>\Vert M \Vert_{(k)} =\sum_{i=1}^k \sigma_i</math>. כאשר סוכמים את כל הערכים הסינגולריים, הנורמה נקראת גם Nuclear Norm. נורמה זו, משמשת לעיתים (בעיקר בבעיות אופטימיזציה) כתחליף ל- rank, כיוון שהיא קמורה (convex) ורציפה. סימון מקובל עבור נורמת ה Nuclear הוא: <math>\Vert M \Vert_*</math>.
* נורמת Schatten, שהיא בעצם נורמת p הרגילה לווקטורים מופעלת על הערכים הסינגולריים: <math>\Vert M \Vert_p^p = \sum \sigma_i^p</math>. עבור p=2 מתקבלת נורמת Frobenius ועבור p=1 מתקבלת ה Nuclear norm.

== שימושים ==
ל-SVD שימושים רבים בדיסציפלינות רבות. השימושים הקלאסיים במתמטיקה כוללים:
* מציאת הדרגה (rank) של מטריצה. הדרגה שווה למספר הערכים הסינגולריים הגדולים מאפס.
* מציאת מרחב האפס (null space) ימני או שמאלי, בפתרון מערכת משוואות ליניאריות הומוגנית. מרחב האפס נפרס על ידי הווקטורים הסינגולריים המתאימים לערכים הסינגולרים שהם אפס.
* חישוב Pseudo-Inverse.
* חישוב PCA מבלי לחשב את מטריצת הקורלציה.
* מציאת קירוב על ידי מטריצה מדרגה נמוכה למטריצה כלשהי (Low Rank Approximation). הקירוב מתבצע על ידי איפוס של הערכים הסינגולרים הקטנים ושמירה של k הערכים הסינגולרים הגדולים ביותר. קירוב זה אופטימלי הן במובן הנורמה הספקטרלית והן במובן נורמת Frobenius. 
* הקירוב הטוב ביותר למטריצה כלשהי <math>M</math> בעזרת מטריצה אורתוגנלית תחת נורמת Frobenius. ידועה גם כבעיית "מיטת סדום". הפתרון נתון על ידי הביטוי <math>UV^* </math>, כאשר <math>U</math> ו-<math>V</math> מתקבלים מחישוב ה-SVD של <math>M</math>. שיטה זו משמשת למשל על-מנת למצוא את מטריצת הסיבוב (שהיא כמובן אורתוגונלית) בין שני סטים של נקודות דו-ממדיות.
* Condition number של מטריצה - מספר שאינו קטן מ-1, הקובע את יציבות הבעיה המתמטית ואת שגיאת החישוב המקסימלית העשויה להתקבל במחשב הפועל באריתמטיקה של נקודה צפה. מוגדר כ- <math>\kappa(M)=\frac{\sigma_{\text{max}}}{\sigma_{\text{min}}}</math>. ערך גדול משמעותו שהבעיה היא ill-conditioned. חשוב לציין שלמרות שה- condition number מהווה מדד לשגיאת חישוב אפשרית, זוהי תכונה של המטריצה ולא של האלגוריתם או הייצוג האריתמטי בו משתמשים.

===חישוב Pseudo-Inverse===
פירוק SVD יכול לשמש כדי לחשב את ה-Pseudo-Inverse של מטריצה, כאשר עבור M שהפירוק שלה הוא <math>\mathbf{M} = \mathbf{U} \boldsymbol{\Sigma} \mathbf{V}^*</math> ניתן למצוא את ה-Pseudo-Inverse:
:<math>\mathbf{M}^+ = \mathbf{V} \boldsymbol{\Sigma}^+ \mathbf{U}^*</math>

כאשר Σ<sup>+</sup> היא מטריצת ה-Pseudo-Inverse של Σ, המתקבלת על ידי החלפה של כל ערך שאינו אפס על גבי האלכסון בהופכי שלו ושחלוף המטריצה המתקבלת. אחד השימושים למטריצה זו הוא לפתרון בעיות בשיטת הריבועים הפחותים.

==לקריאה נוספת==
* Golub, Gene H.; Van Loan, Charles F. (2013), Matrix Computations (4th ed.), Johns Hopkins, .

==קישורים חיצוניים==
* 

קטגוריה:אלגברה ליניארית
קטגוריה:פירוק מטריצות