# Mehrdimensionale lineare Regression/Rechenbeispiel
## Einführung

Diese Lernressource enthält elementare Rechenbeispiele zu der Lernressource "Mehrdimensionale lineare Regression"

### Matrixmultiplikation

Lineare Regression kann man als Optimierungsproblem verstehen, bei der man den Fehler für die 3D-Datenpunkte versucht über alle Datenpunkte zu minimieren.
    $A={\begin{pmatrix}1&3&5\\2&4&6\\\end{pmatrix}},\quad b={\begin{pmatrix}5\\8\end{pmatrix}}$

### Datenpaare (x,y)

Als Beispieldaten verwenden wir im affinen Modell
    $x={\begin{pmatrix}4\\2\\1\end{pmatrix}},\quad y={\begin{pmatrix}31\\19\end{pmatrix}}$

### Matrixmultiplikation und Translation

Für ein affines Modell berechnet man den Bildvektor $f(x)$ durch eine Matrixmultiplikation $A\cdot x$ und anschließender Translation über $f(x)=A\cdot x+b$. Mit dem obigen Beispielvektor ergibt sich:
    $A\cdot x={\begin{pmatrix}15\\22\end{pmatrix}}\qquad A\cdot x+b={\begin{pmatrix}30\\20\end{pmatrix}}$

### Definition der affinen Abbildung

Mit $A\in Mat(2\times 3,\mathbb {R}$ definiert man die affine Abbildung wie folgt:
    ${\begin{array}{rrcl}f:&\mathbb {R} ^{n}&\rightarrow &\mathbb {R} ^{m}\\&x&\mapsto &f\left(x\right)=A\cdot x+b\end{array}}$

### Darstellende Matrix und Translationsvektor gesucht

Die darstellende Matrix $A$ und Translationsvektor $b$ sind gesucht und werden durch z.B. numerisch berechnet.

### Transformation affines Problem in lineares

Die affine Abbildung $f(x)=A\cdot x+b\in \mathbb {R} ^{2}$ bildet mit $f(x)$ nach $\mathbb {R} ^{2}$ ab. gegeben, dann transformiert man die affine Abbildung in eine lineare Funktion mit einer Matrix $A^{\ast }\in Mat(m\times n+1,\mathbb {R} )$. Diese lineare Abbildung hat dann folgende Gestalt.
    $f^{\ast }(x)=A^{\ast }\cdot x^{\ast }\in \mathbb {R} ^{m},$
mit $x^{\ast }:=(x_{1},x_{2},x_{n},1)\in \mathbb {R} ^{4}$ und $A^{\ast }:=(A,b)\in Mat(2\times 4,\mathbb {R} )$

### Erweiterte Matrix - erweiterter Vektor

Mit den oben gegebenen Matrizen $A$ und dem Vektor $b$ erhält man die erweiterte Matrix $A^{\ast }$ und den erweiterten Vektor $x^{\ast }$ wie folgt:
    $A^{\ast }={\begin{pmatrix}1&3&5&5\\2&4&6&8\\\end{pmatrix}},\quad x^{\ast }={\begin{pmatrix}4\\2\\1\\1\end{pmatrix}}$

### Beispieldaten für das lineares Funktional

Als konkretes Beispiel eines Datenpunktes für ein mehrdimensionales lineares Modell wählt man z.B. für $x=(x_{1},x_{2},x_{3},x_{4})\in \mathbb {R} ^{3}$, $y=(y_{1},y_{2})\in \mathbb {R} ^{2}$. Damit wäre der Datenpunkt
    $(x,y)=(x_{1},x_{2},x_{3},x_{4},y_{1},y_{2})\in \mathbb {R} ^{5}$
Dabei bezeichnet $x=(x_{1},x_{2},x_{3},x_{4})\in \mathbb {R} ^{4}$ einen Punkt im dreidimensionalen Raum und $y=(y_{1},y_{2})\in \mathbb {R} ^{2}$ z.B. Temperatur $y_{1}$ und die Luftfeuchtigkeit $y_{2}$ als Messungen an dem Ort $x=(x_{1},x_{2},x_{3},x_{4})\in \mathbb {R} ^{4}$.

## Komponentenfunktionen

Durch die Transformation von affinen Abbildungen in lineare Abbildung betrachtet man nun Komponentenfunktionen von linearen Abbildung der Form $f(x):=A\cdot x$, wobei $A$ eine $Mat(m\times n,\mathbb {R} )$ ist.

### Matrix und Abbildung

Über die Matrix $A\in Mat(2\times 3,\mathbb {R} )$ sei $f_{A}:\mathbb {R} ^{3}\to \mathbb {R} ^{2}$ für den Spaltenvektor $x\in \mathbb {R} ^{2}$ wie $f_{A}(x):=A\cdot x$ folgt definiert:
    $A={\begin{pmatrix}a_{1,1}&a_{1,2}&a_{1,3}\\a_{2,1}&a_{2,2}&a_{2,3}\\\end{pmatrix}}={\begin{pmatrix}a_{1}\\a_{2}\\\end{pmatrix}},\quad x={\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}$

### Matrixmultiplikation und Skalarprodukt

Die Komponentenfunktionen einer Matrixmultiplikation sind Skalarprodukte.
    $f_{A}(x):=A\cdot x={\begin{pmatrix}a_{1,1}\cdot x_{1}+a_{1,2}\cdot x_{2}+a_{1,3}\cdot x_{3}\\a_{2,1}\cdot x_{1}+a_{2,2}\cdot x_{2}+a_{2,3}\cdot x_{3}\end{pmatrix}}={\begin{pmatrix}\langle a_{1},x\rangle \\\langle a_{2},x\rangle \\\end{pmatrix}}$

### Beispiel für Komponentenfunktion

Für folgenden Matrix $A$
    $A={\begin{pmatrix}1&3&5\\2&4&6\\\end{pmatrix}},\quad x={\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\\\end{pmatrix}}$
ergeben sich daher die folgenden Komponentenfunktionen:
    ${\begin{array}{rcl}f_{a_{1}}(x)&=&\langle a_{1},x\rangle =1\cdot x_{1}+3\cdot x_{2}+5\cdot x_{3}\\f_{a_{2}}(x)&=&\langle a_{2},x\rangle =2\cdot x_{1}+3\cdot x_{2}+6\cdot x_{3}\\\end{array}}$

## Regression - Funktion gesucht

Bei der Regression betrachtet man eine Fehlerfunktion und dabei vertauscht man die Rolle von Argumenten einer Funktion und statischen Variableninhalten, denn in funktionalen Betrachtung von $f_{A}(x)=A\cdot x$ ist $A$ bekannt und das Argument $x$ die unabhängige Variable, mit der $y=f_{A}(x)=A\cdot x$ berechnet wird. Bei der linearen Regression sind Ein-Ausgabepaare $(x^{(k)},y^{(k)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}$ bekannt und man sucht die Matrix $A$, die die Datenpunkte möglichst gut approximiert.

### Fehlervektor

Der Fehlervektor gibt komponentenweise an, ob der von $f_{A}(x):=A\cdot x$ berechnete Vektor im Vergleich zu dem Datenvektor $y$ zu klein ($>0$) oder zu groß ist ($<0$). Der Fehlervektor erhält man nun über:
    ${\begin{array}{rcl}f_{A}(x)-y&=&f_{A}(4,2,1)-{\begin{pmatrix}31\\19\end{pmatrix}}\\&=&{\begin{pmatrix}30\\20\end{pmatrix}}-{\begin{pmatrix}31\\19\end{pmatrix}}={\begin{pmatrix}-1\\1\end{pmatrix}}\\\end{array}}$

### Erläuterung - Fehlervektor

Der Fehlervektor $f_{A}(x)-y\in \mathbb {R} ^{2}$ gibt in dem obigen Beispiel mit der Matrix $A$ an, dass bei Eingabe von $x=(4,2,1)$ der berechnete Vektor $f_{A}(x)$ in der Wert ersten Komponent um 1 zu klein im Vergleich zum Messwert $y_{1}$ ist und in der zweiten Komponente der berechnete Wert $\langle a_{2},x\rangle$ 1 Einheit oberhalb des Messwertes $y_{2}$ liegt.

### Quadratische Fehler für Datenpunkte

Der quadratische Fehler $\|f_{A}(x)-y\|^{2}$ ergibt aus dem Quadrat der euklidischen Länge (Norm) des Fehlervektors $e$ mit
    $\|f_{A}(x)-y\|^{2}=\left\|{\begin{pmatrix}-1\\1\end{pmatrix}}\right\|^{2}=(-1)^{2}+1^{2}=2$
Dabei ist die euklidische Norm für einen Vektor $v\in \mathbb {R} ^{n}$ wie folgt definiert:
    $\|v\|:=\left\|{\begin{pmatrix}v_{1}\\\vdots \\v_{m}\end{pmatrix}}\right\|={\sqrt {\sum _{k=0}^{m}v_{k}^{2}}}$