Singulärvärdesuppdelning

Inom linjär algebra är singulärvärdesuppdelning (SVD), ibland kallat singulärvärdesfaktorisering eller singulärvärdesdekomposition, en sorts matrisfaktorisering. Alla reella och komplexa matriser kan singulärvärdefaktoriseras.

Definition 
För en matris A av storlek  är singulärvärdesuppdelningen

där U är en kvadratisk unitär -matris,  en är en diagonal och icke-negativ -matris och  betecknar det hermiteska konjugatet till V, som är en unitär -matris. Matrisen  har singulärvärdena till  i sin diagonal, och vanlig praxis är att dessa singulärvärden ordnas i storleksordning med det största singulärvärdet först vänsterifrån i . 

Singulärvärdesuppdelning är inte entydig. Exempelvis är  också en giltig uppdelning, där  och  är diagonalmatriser med  i diagonalen, för godtyckligt värde på .

Singulärvärdesuppdelning på summaform 
Man kan skriva om singulärvärdesuppdelningen , där matrisen A har rang r, som en summa med r stycken matriser, så att varje matris i summan får rang 1, enligt nedan.

Här är  singulärvärde nummer  till A,  kolonnvektor  i U och  radvektor  i V.

Tunn singulärvärdesuppdelning 
Tunn singulärvärdesuppdelning fås genom att enbart beräkna de n vektorer i U som korresponderar med radvektorer i . Övriga kolumnvektorer i U beräknas inte, och därmed går det mycket snabbare att beräkna en tunn singulärvärdesuppdelning jämfört med en vanlig singulärvärdesuppdelning.

Matrisen  blir då en -matris,  en -matris och V en -matris. 

Tunn singulärvärdesuppdelning är i synnerhet mer beräkningseffektiv än vanlig singulärvärdesuppdelning om .

Kompakt singulärvärdesuppdelning 
Kompakt singulärvärdesuppdelning fås genom att enbart beräkna de r kolumnerna i U och de r raderna i  som korresponderar mot nollskilda singulärvärden. Då fås:

Här är  en -matris,  en diagonal -matris och  en -matris.

Kompakt singulärvärdesuppdelning är mer beräkningseffektiv än tunn singulärvärdesuppdelning om .

Beräkning

Metod anpassad för beräkning utförd av människor 
För en -matris A fås singulärvärdesuppdelningen i ett fåtal steg. Man börjar med att beräkna den kvadratiska matrisen . Varför man gör detta syns tydligare om man skriver om  med singulärvärdesuppdelning:

Spektralsatsen för hermiteska matriser säger att alla hermiteska matriser M kan skrivas som , där  är en diagonal matris med egenvärdena till matrisen M i diagonalen. Kolonnvektorerna till W utgörs av egenvektorerna till matrisen M , som i sin tur utgör en ortonormerad bas. Notera att eftersom M är en hermitesk matris har den enbart reella egenvärden.

Eftersom  är en hermitesk matris () har vi alltså likheten

Eftersom singulärvärdena till A är positiva (alltså är ) ser man att dessa fås genom att ta roten ur egenvärdena till , dessutom ser man att V fås genom att beräkna egenvektorer till matrisen .

Med ,  och  kända beräknas  enkelt genom att ställa upp . Eftersom  är en diagonal matris är det enkelt att beräkna likheten. Ifall, för -matrisen A,  eller ifall matrisen A inte har full rang kommer några kolonner inte att fås i detta steg, eftersom de multipliceras med 0. Dessa kolonnvektorer väljs då med fördel så att matrisen U blir unitär. 

Alternativt kan man beräkna U genom att ställa upp , då har man istället V som obekant och V kan beräknas som förklaras ovan. Man kan även beräkna U samt V separat genom att ställa upp  och , denna metod innebär dock oftast mer arbete då man måste beräkna egenvektorer till två matriser.

Exempel 

Man börjar med att beräkna .

Nu beräknar man egenvärden och egenvektorer till  genom att ställa upp det karakteristiska polynomet, för exempel på detta se artikeln om egenvärden och egenvektorer. Vi får egenvärdena till , och därmed blir singulärvärdena . Vi får egenvektorerna (normerade) enligt nedan:

Nu beräknar man U med hjälp av sambandet 

Man ser att  kommer multipliceras med , att  kommer multipliceras med 1 och att  kommer multipliceras med 0. Nu väljer man  och  så att likheten  gäller,  väljs ortogonal mot  och .

Alltså har vi vår singulärvärdesuppdelning enligt nedan.

Singulärvärdesuppdelningen på vanlig form:

Singulärvärdesuppdelningen på summaform:

Singulärvärdesuppdelningen på tunn form:

Numerisk beräkningsmetod 
Singulärvärdesuppdelningen till en matris A beräknas typiskt i två steg. I det första steget reduceras A till en bidiagonal matris. Detta tar  flyttalsoperationer, om .

Det andra steget går ut på att beräkna singulärvärdesuppdelningen till denna bidiagonala matris. Detta steg beräknas iterativt med en bestämd precision. Om denna precision antas konstant tar det andra steget  iterationer, som var kostar  flyttalsoperationer. Därmed är det första steget det dyrare, och den totala kostnaden är  flyttalsoperationer.

Tillämpningar

Beräkning av pseudoinvers 
Man kan enkelt beräkna Moore-Penrose pseudoinvers, betecknat  nedan, till en matris A med hjälp av singulärvärdesuppdelning. Om A har singulärvärdesuppdelning enligt  fås Moore-Penrose pseudoinvers till A enligt nedan.

Här beräknar man Σ† genom att först ta inversen av varje nollskillt singulärvärde i Σ, de singulärvärden som var 0 i Σ förblir 0 i Σ†, och sedan transponerar man resultatet. Moore-Penrose pseudoinvers används bland annat för att lösa linjära minstakvadratproblem.

Bestämning av de fyra fundamentala underrummen samt rang 
Man kan enkelt bestämma rang samt de fyra fundamentala underrummen (värderummet och nollrummet till en given matris och matrisens hermiteska konjugat) till en matris A genom att titta på matrisens singulärvärdesuppdelning. Antag en singulärvärdesuppdelning enligt nedan, där  till  är samtliga nollskillda singulärvärden.

Då fås följande:

Approximation med matris av lägre rang 
En vanlig tillämpning av singulärvärdesuppdelning är att approximera en given matris med en annan liknande matris av lägre rang. Om man vill approximera en matris  av rang r med en matris , som har rang , där , fås  med hjälp av singulärvärdesuppdelningen på summaform enligt nedan: 

I de flesta tillämpningar är felet viktigt, vi betecknar felet B enligt följande.

Genom operatornorm eller frobeniusnorm av B fås felet vid approximationen , dessa normer kan enkelt beräknas med hjälp av singulärvärdena enligt vad som visas nedan. Vilken av normerna som är bäst lämpad för feluppskattningen beror på tillämpning.

Denna metod för approximation används inom många tillämpningar, bland annat inom signalbehandlning. Om man till exempel har brus av storleksordningen  så kan man slänga bort termer som är små jämfört med bruset så att  ger en förbättrad signal.

Andra vanliga användningsområden 
 Förstärkning (norm)
 Principalkomponentanalys
 Polärfaktorisering

Se även 
 Matrisfaktorisering

Referenser 
 Treil, Sergei. Linear Algebra Done Wrong, 2004, Brown University. Tillgänglig: http://www.math.brown.edu/~treil/index.html

Matrisalgebra
Matristeori