행렬 미적분학

수학에서 **행렬 미적분학**()은 특히 행렬 공간 위에서 다변수 미적분학을 수행하기 위한 특수 표기법이다. 이는 여러 변수에 대한 단일 함수의 다양한 편미분 및 단일 변수에 대한 다변량 함수의 편미분을 단일 개체로 취급할 수 있는 벡터와 행렬로 수집한다. 이는 다변량 함수의 최댓값 또는 최솟값을 찾고 미분방정식 계를 푸는 것과 같은 연산을 크게 단순화한다. 여기서 사용되는 표기법은 통계학과 공학에서 흔히 사용되며, 물리학에서는 텐서 지표 표기법이 더 선호된다.

두 가지 대립하는 표기 관습으로 인해 행렬 미적분학 분야는 두 개의 별개 그룹으로 나뉜다. 이 두 그룹은 벡터에 대한 스칼라의 미분을 열 벡터로 쓰는지 아니면 행 벡터로 쓰는지에 따라 구분될 수 있다. 벡터가 행렬과 결합될 때 (행 벡터가 아닌) 열 벡터로 취급되어야 한다는 일반적인 가정이 이루어질 때조차 이 두 관습은 모두 가능하다. 단일 관습은 행렬 미적분학을 흔히 사용하는 단일 분야(예: 계량경제학, 통계학, 추정 이론 및 기계 학습) 전반에 걸쳐 어느 정도 표준이 될 수 있다. 그러나 주어진 분야 내에서도 저자마다 서로 다른 관습을 사용하는 것을 볼 수 있다. 양쪽 그룹의 저자들은 종종 자신의 특정 관습이 표준인 것처럼 글을 쓴다. 호환 가능한 표기법이 사용되었는지 신중하게 확인하지 않고 서로 다른 저자의 결과를 결합하면 심각한 오류가 발생할 수 있다. 이 두 관습에 대한 정의와 비교는 배치 관습 섹션에 정리되어 있다.

## 범위
행렬 미적분학은 행렬과 벡터를 사용하여 독립 변수의 각 성분에 대한 종속 변수의 각 성분의 미분을 수집하는 여러 다양한 표기법을 가리킨다. 일반적으로 독립 변수는 스칼라, 벡터 또는 행렬일 수 있으며 종속 변수 또한 이들 중 어느 것이든 될 수 있다. 각각의 상황은 용어의 넓은 의미에서 서로 다른 규칙 세트 또는 별개의 미적분학으로 이어진다. 행렬 표기법은 많은 미분을 조직적인 방식으로 수집하는 편리한 방법 역할을 한다.

첫 번째 예로, 벡터 미적분학의 기울기를 생각해 보자. 세 개의 독립 변수에 대한 스칼라 함수 f(x_1, x_2, x_3)의 경우, 기울기는 다음과 같은 벡터 방정식으로 주어진다.
:\nabla f = \frac{\partial f}{\partial x_1} \hat{x}_1 + \frac{\partial f}{\partial x_2}  \hat{x}_2 + \frac{\partial f}{\partial x_3} \hat{x}_3 ,

여기서 \hat{x}_i는 1\le i \le 3에 대해 x_i 방향의 단위 벡터를 나타낸다. 이러한 유형의 일반화된 미분은 벡터 \mathbf{x}에 대한 스칼라 f의 미분으로 볼 수 있으며, 그 결과는 벡터 형식으로 쉽게 수집될 수 있다.
:\nabla f = \left( \frac{\partial f}{\partial \mathbf{x}} \right)^{\mathsf{T}} =
  \begin{bmatrix}
    \dfrac{\partial f}{\partial x_1} &
    \dfrac{\partial f}{\partial x_2} &
    \dfrac{\partial f}{\partial x_3} \\
  \end{bmatrix}^\textsf{T}.


더 복잡한 예로는 행렬에 대한 스칼라 함수의 미분인 기울기 행렬이 있으며, 이는 결과 행렬의 해당 위치에 각 행렬 원소에 대한 미분을 수집한다. 이 경우 스칼라는 행렬의 각 독립 변수의 함수여야 한다. 또 다른 예로, 개의 독립 변수에 대한 종속 변수(또는 함수)의 -벡터가 있는 경우, 독립 벡터에 대한 종속 벡터의 미분을 고려할 수 있다. 결과는 가능한 모든 미분 조합으로 구성된  행렬로 수집될 수 있다.

스칼라, 벡터 및 행렬을 사용하여 총 9가지 가능성이 있다. 독립 변수와 종속 변수 각각의 성분 수가 많아질수록 매우 많은 가능성이 남게 된다는 점에 유의하라. 행렬 형식으로 가장 깔끔하게 정리할 수 있는 6가지 종류의 미분은 다음 표에 정리되어 있다.
}
|-
! scope="row" | 행렬
| \frac{\partial y}{\partial \mathbf{X}} 
| 
| 
|}

여기서 우리는 벡터가 단순히 하나의 열을 가진 행렬(그리고 스칼라는 단순히 하나의 행을 가진 벡터)임을 인식하고 가장 일반적인 의미에서 "행렬"이라는 용어를 사용했다. 또한 벡터를 나타내기 위해 굵은 소문자를, 행렬을 위해 굵은 대문자를 사용했다. 이 표기법은 전체적으로 사용된다.

우리는 또한 행렬에 대한 벡터의 미분이나 표의 다른 채워지지 않은 칸에 대해서도 이야기할 수 있음에 유의하라. 그러나 이러한 미분은 2차보다 높은 계수의 텐서로 구성하는 것이 가장 자연스러우므로 행렬에 깔끔하게 들어맞지 않는다. 다음 세 섹션에서는 이러한 미분 각각을 정의하고 수학의 다른 분야와 연관 지을 것이다. 더 자세한 표는 배치 관습 섹션을 참조하라.

### 다른 도함수와의 관계
행렬 미분은 계산을 위해 편미분을 추적하기 위한 편리한 표기법이다. 프레셰 도함수는 함수해석학 환경에서 벡터에 대한 미분을 취하는 표준 방법이다. 행렬의 행렬 함수가 프레셰 미분 가능한 경우, 두 미분은 표기법의 변환 범위 내에서 일치한다. 일반적으로 편미분의 경우와 마찬가지로, 일부 공식은 선형 사상을 근사하는 도함수의 존재보다 약한 해석적 조건 하에서도 확장될 수 있다.

### 용도
행렬 미적분학은 종종 라그랑주 승수법의 사용을 포함하여 최적의 확률적 추정량을 유도하는 데 사용된다. 여기에는 다음의 유도가 포함된다.
* 칼만 필터
* 위너 필터
* 가우시안 혼합에 대한 기댓값 최대화 알고리즘
* 경사 하강법

## 표기법
이어지는 섹션에서 제시되는 벡터 및 행렬 미분은 대량의 변수를 나타내기 위해 단일 변수를 사용하는 행렬 표기법의 장점을 충분히 활용한다. 이하에서 우리는 서체로 스칼라, 벡터 및 행렬을 구분할 것이다. 개의 행과 개의 열을 가진 실수  행렬의 공간을 으로 나타내자. 이러한 행렬은 굵은 대문자 , ,  등으로 표시된다. 의 원소, 즉 열 벡터는 굵은 소문자 , ,  등으로 표시된다. 의 원소는 스칼라이며 소문자 이탤릭체 , ,  등으로 표시된다. 는 행렬 전치를 나타내고, 는 대각합,  또는 는 행렬식이다. 별도의 언급이 없는 한 모든 함수는 미분 가능성 클래스 인 것으로 가정한다. 일반적으로 알파벳의 앞부분 글자(a, b, c, ...)는 상수를 나타내는 데 사용되고, 뒷부분 글자(t, x, y, ...)는 변수를 나타내는 데 사용된다.

**참고**: 위에서 언급했듯이 벡터와 행렬의 편미분 체계를 배치하기 위한 대립하는 표기법들이 있으며, 아직 표준이 나타나지 않은 것으로 보인다. 다음 두 입문 섹션은 논의가 과도하게 복잡해지는 것을 피하기 위해 단순히 편의상 분자 배치 관습을 사용한다. 그 뒤의 섹션에서는 배치 관습에 대해 더 자세히 논의한다. 다음 사항을 인식하는 것이 중요하다.
# "분자 배치"와 "분모 배치"라는 용어의 사용에도 불구하고 실제로는 두 가지 이상의 가능한 표기 선택이 관련되어 있다. 그 이유는 스칼라-대-벡터, 벡터-대-스칼라, 벡터-대-벡터, 스칼라-대-행렬 미분에 대해 분자 대 분모(또는 일부 상황에서는 분자 대 혼합)의 선택을 독립적으로 내릴 수 있으며, 많은 저자들이 배치 선택을 다양한 방식으로 혼합하여 사용하기 때문이다.
# 아래 입문 섹션에서의 분자 배치 선택이 이것이 "올바른" 또는 "우월한" 선택임을 의미하지는 않는다. 다양한 배치 유형에는 장단점이 있다. 서로 다른 배치로 작성된 공식을 부주의하게 결합하면 심각한 오류가 발생할 수 있으며, 한 배치에서 다른 배치로 변환하려면 오류를 피하기 위해 주의가 필요하다. 결과적으로 기존 공식을 다룰 때 가장 좋은 정책은 모든 상황에서 동일한 배치를 사용하려고 시도하기보다는 어떤 배치가 사용되었는지 식별하고 그와 일관성을 유지하는 것이다.

## 벡터를 포함한 미분

벡터는 열이 하나뿐인 행렬이므로 가장 간단한 행렬 미분은 벡터 미분이다.

여기서 개발된 표기법은 -벡터의 공간 을 유클리드 공간 과 식별하고 스칼라 을 과 식별함으로써 벡터 미적분학의 일반적인 연산을 수용할 수 있다. 벡터 미적분학의 해당 개념은 각 하위 섹션의 끝에 표시되어 있다.

**참고**: 이 섹션의 논의는 교육적 목적을 위해 분자 배치 관습을 가정한다. 일부 저자는 다른 관습을 사용한다. 배치 관습에 관한 섹션에서 이 문제를 더 자세히 논의한다. 아래에 주어진 항등식은 모든 일반적인 배치 관습과 함께 사용할 수 있는 형태로 제시된다.

### 벡터-대-스칼라
벡터 
  \mathbf{y} = \begin{bmatrix}
    y_1 &
    y_2 &
    \cdots &
    y_m
  \end{bmatrix}^\mathsf{T}
의 스칼라 에 의한 미분은 (분자 배치 표기법에서) 다음과 같이 쓰인다.

:\frac{d \mathbf{y}}{d x} =
  \begin{bmatrix}
    \frac{d y_1}{d x}\\
    \frac{d y_2}{d x}\\
    \vdots\\
    \frac{d y_m}{d x}\\
  \end{bmatrix}.


벡터 미적분학에서 스칼라 에 대한 벡터 의 미분은 벡터 의 **[[접선 벡터]]** \frac{\partial \mathbf{y}}{\partial x}로 알려져 있다. 여기서 임을 유의하라.

**예시** 이에 대한 간단한 예로는 유클리드 공간에서의 속도 벡터가 있으며, 이는 (시간의 함수로 간주되는) 위치 벡터의 접선 벡터이다. 또한 가속도는 속도의 접선 벡터이다.

### 스칼라-대-벡터
벡터 
  \mathbf{x} = \begin{bmatrix}
    x_1 &
    x_2 &
    \cdots &
    x_n
  \end{bmatrix}
에 의한 스칼라 의 미분은 (분자 배치 표기법에서) 다음과 같이 쓰인다.

:\frac{\partial y}{\partial \mathbf{x}} =
  \begin{bmatrix}
    \dfrac{\partial y}{\partial x_1} &
    \dfrac{\partial y}{\partial x_2} &
    \cdots &
    \dfrac{\partial y}{\partial x_n}
  \end{bmatrix}.


벡터 미적분학에서 (독립 좌표가 의 성분인) 스칼라 장 의 기울기는 벡터에 의한 스칼라 미분의 전치이다.

:\nabla f = \begin{bmatrix}\frac{\partial f}{\partial x_1} \\ \vdots \\ \frac{\partial f}{\partial x_n} \end{bmatrix} = \left( \frac{\partial f}{\partial \mathbf{x}} \right)^{\mathsf{T}}

예를 들어 물리학에서 전기장은 전위의 음의 벡터 기울기이다.

단위 벡터 (이 경우 열 벡터로 표현됨) 방향으로의 공간 벡터 의 스칼라 함수 의 **[[방향도함수]]**는 기울기를 사용하여 다음과 같이 정의된다.
:\nabla_{\mathbf{u}}{f}(\mathbf{x}) = \nabla f(\mathbf{x}) \cdot \mathbf{u}
벡터에 대한 스칼라의 미분에 대해 방금 정의된 표기법을 사용하면 방향도함수를 다음과 같이 다시 쓸 수 있다.
\nabla_\mathbf{u} f = \frac{\partial f}{\partial \mathbf{x}} \mathbf{u}. 이러한 유형의 표기법은 스칼라 미분에 대해 익숙한 것과 유사하게 보이는 곱 규칙과 연쇄 법칙을 증명할 때 유용할 것이다.

### 벡터-대-벡터
이전 두 사례 각각은 크기가 1인 벡터를 적절히 사용하여 벡터에 대한 벡터의 미분을 적용한 것으로 간주할 수 있다. 유사하게 행렬을 포함하는 미분은 상응하는 방식으로 벡터를 포함하는 미분으로 환원됨을 알게 될 것이다.

입력 벡터 
  \mathbf{x} = \begin{bmatrix}
    x_1 &
    x_2 &
    \cdots &
    x_n
  \end{bmatrix}^\mathsf{T}
에 대한 벡터 함수(성분이 함수인 벡터) 
  \mathbf{y} = \begin{bmatrix}
    y_1 &
    y_2 &
    \cdots &
    y_m
  \end{bmatrix}^\mathsf{T}
의 미분은 (분자 배치 표기법에서) 다음과 같이 쓰인다.

:\frac{\partial \mathbf{y}}{\partial \mathbf{x}} =
  \begin{bmatrix}
    \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \cdots & \frac{\partial y_1}{\partial x_n}\\
    \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \cdots & \frac{\partial y_2}{\partial x_n}\\
    \vdots & \vdots & \ddots & \vdots\\
    \frac{\partial y_m}{\partial x_1} & \frac{\partial y_m}{\partial x_2} & \cdots & \frac{\partial y_m}{\partial x_n}\\
  \end{bmatrix}.


벡터 미적분학에서 성분이 공간을 나타내는 벡터 에 대한 벡터 함수 의 미분은 **[[미분 사상|미분 사상(또는 미분)]]** 또는 **[[야코비 행렬]]**로 알려져 있다.

의 벡터 에 대한 벡터 함수 를 따른 미분 사상은 다음과 같이 주어진다. 
  d\mathbf{f}(\mathbf{v}) = \frac{\partial \mathbf{f}}{\partial \mathbf{v}} d\mathbf{v}.


## 행렬을 포함한 미분
동일한 크기의 행렬로 구성할 수 있는 두 가지 유형의 행렬 미분이 있다. 이는 스칼라에 의한 행렬의 미분과 행렬에 의한 스칼라의 미분이다. 이들은 응용 수학의 많은 분야에서 발견되는 최소화 문제에서 유용할 수 있으며 벡터에 대한 아날로그를 따라 각각 **접선 행렬**과 **기울기 행렬**이라는 이름을 채택했다.

**참고**: 이 섹션의 논의는 교육적 목적을 위해 분자 배치 관습을 가정한다. 일부 저자는 다른 관습을 사용한다. 배치 관습에 관한 섹션에서 이 문제를 더 자세히 논의한다. 아래에 주어진 항등식은 모든 일반적인 배치 관습과 함께 사용할 수 있는 형태로 제시된다.

### 행렬-대-스칼라
스칼라 에 의한 행렬 함수 의 미분은 **접선 행렬**로 알려져 있으며 (분자 배치 표기법에서) 다음과 같이 주어진다.

:
\frac{\partial \mathbf{Y}}{\partial x} =
\begin{bmatrix}
\frac{\partial y_{11}}{\partial x} & \frac{\partial y_{12}}{\partial x} & \cdots & \frac{\partial y_{1n}}{\partial x}\\
\frac{\partial y_{21}}{\partial x} & \frac{\partial y_{22}}{\partial x} & \cdots & \frac{\partial y_{2n}}{\partial x}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial y_{m1}}{\partial x} & \frac{\partial y_{m2}}{\partial x} & \cdots & \frac{\partial y_{mn}}{\partial x}\\
\end{bmatrix}.


### 스칼라-대-행렬
독립 변수의  행렬 에 대한 스칼라 함수 의 미분은 (분자 배치 표기법에서) 다음과 같이 주어진다.

:
\frac{\partial y}{\partial \mathbf{X}} =
\begin{bmatrix}
\frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{21}} & \cdots & \frac{\partial y}{\partial x_{p1}}\\
\frac{\partial y}{\partial x_{12}} & \frac{\partial y}{\partial x_{22}} & \cdots & \frac{\partial y}{\partial x_{p2}}\\
\vdots & \vdots & \ddots & \vdots\\
\frac{\partial y}{\partial x_{1q}} & \frac{\partial y}{\partial x_{2q}} & \cdots & \frac{\partial y}{\partial x_{pq}}\\
\end{bmatrix}.


행렬의 스칼라 함수의 중요한 예로는 행렬의 대각합과 행렬식이 있다.

벡터 미적분학과 유사하게 이 도함수는 종종 다음과 같이 쓰인다.
:
\nabla_\mathbf{X} y(\mathbf{X}) = \frac{\partial y(\mathbf{X})}{\partial \mathbf{X}} 
또한 벡터 미적분학과 유사하게, 행렬  방향으로의 행렬 의 스칼라 의 **방향도함수**는 다음과 같이 주어진다.
:\nabla_\mathbf{Y} f = \operatorname{tr} \left(\frac{\partial f}{\partial \mathbf{X}} \mathbf{Y}\right).

특히 기울기 행렬은 추정 이론의 최소화 문제, 특히 해당 분야에서 매우 중요한 칼만 필터 알고리즘의 유도에서 많은 용도를 찾는다.

### 기타 행렬 미분
고려되지 않은 세 가지 유형의 미분은 벡터-대-행렬, 행렬-대-벡터 및 행렬-대-행렬을 포함하는 것들이다. 이들은 널리 고려되지 않으며 표기법이 널리 합의되지 않았다.

## 배치 관습
이 섹션에서는 행렬 미적분학의 장점을 활용하는 다양한 분야에서 사용되는 표기 관습 간의 유사점과 차이점을 논의한다. 대체로 두 가지 일관된 관습이 있지만, 일부 저자는 아래에서 논의되는 형식으로 두 관습을 혼합하는 것이 편리하다고 생각한다. 이 섹션 이후에는 방정식이 두 대립하는 형식으로 별도로 나열될 것이다.

근본적인 문제는 벡터에 대한 벡터의 미분, 즉 \frac{\partial \mathbf{y}}{\partial \mathbf{x}}가 종종 두 가지 대립하는 방식으로 쓰인다는 점이다. 분자 의 크기가 이고 분모 의 크기가 n인 경우, 결과는  행렬 또는  행렬로 배치될 수 있다. 즉, 의 개 원소가 행으로 배치되고 의 개 원소가 열로 배치되거나 그 반대의 경우이다. 이는 다음과 같은 가능성으로 이어진다.
# 분자 배치: 와 (즉, 와 반대)에 따라 배치한다. 이것은 때때로 야코비 정식화라고도 불린다. 이것은 이전 예의  배치에 해당하며, 이는 \frac{\partial \mathbf{y}}{\partial \mathbf{x}}의 행 번호가 분자 \mathbf{y}의 크기와 같고 \frac{\partial \mathbf{y}}{\partial \mathbf{x}}의 열 번호가 의 크기와 같음을 의미한다.
# 분모 배치: 와 (즉, 와 반대)에 따라 배치한다. 이것은 때때로 헤세 정식화라고도 불린다. 일부 저자는 이 배치를 야코비(분자 배치)와 구별하여 기울기라고 부른다(야코비의 전치임). (그러나 기울기는 배치에 관계없이 더 흔하게 도함수 \frac{\partial y}{\partial \mathbf{x}}를 의미한다.). 이것은 이전 예의 n×m 배치에 해당하며, 이는 \frac{\partial \mathbf{y}}{\partial \mathbf{x}}의 행 번호가 분모인 의 크기와 같음을 의미한다.
# 때때로 보이는 세 번째 가능성은 미분을 \frac{\partial \mathbf{y}}{\partial \mathbf{x}'}(즉, 의 전치에 대해 미분을 취함)로 쓰고 분자 배치를 따르는 것을 고집하는 것이다. 이는 행렬이 분자와 분모 모두에 따라 배치되었다고 주장할 수 있게 해준다. 실제로 이것은 분자 배치와 동일한 결과를 낳는다.

기울기 \frac{\partial y}{\partial \mathbf{x}}와 반대 사례인 \frac{\partial \mathbf{y}}{\partial x}를 다룰 때도 동일한 문제가 있다. 일관성을 유지하려면 다음 중 하나를 수행해야 한다.
# \frac{\partial \mathbf{y}}{\partial \mathbf{x}}에 대해 분자 배치를 선택하면, 기울기 \frac{\partial y}{\partial \mathbf{x}}를 행 벡터로, \frac{\partial \mathbf{y}}{\partial x}를 열 벡터로 배치해야 한다.
# \frac{\partial \mathbf{y}}{\partial \mathbf{x}}에 대해 분모 배치를 선택하면, 기울기 \frac{\partial y}{\partial \mathbf{x}}를 열 벡터로, \frac{\partial \mathbf{y}}{\partial x}를 행 벡터로 배치해야 한다.
# 위의 세 번째 가능성에서는 \frac{\partial y}{\partial \mathbf{x}'}와 \frac{\partial \mathbf{y}}{\partial x}를 쓰고 분자 배치를 사용한다.

모든 수학 교과서와 논문이 이 점에서 전체적으로 일관된 것은 아니다. 즉, 동일한 책이나 논문 내에서도 상황에 따라 서로 다른 관습이 사용된다. 예를 들어, 기울기에 대해서는 분모 배치(열 벡터로 배치)를 선택하지만 벡터-대-벡터 미분 \frac{\partial \mathbf{y}}{\partial \mathbf{x}}에 대해서는 분자 배치를 선택하는 경우가 있다.

마찬가지로 스칼라-대-행렬 미분 \frac{\partial y}{\partial \mathbf{X}}와 행렬-대-스칼라 미분 \frac{\partial \mathbf{Y}}{\partial x}의 경우, 일관된 분자 배치는 와 에 따라 배치하는 반면, 일관된 분모 배치는 와 에 따라 배치한다. 그러나 실제로 \frac{\partial \mathbf{Y}}{\partial x}에 대해 분모 배치를 따르고 결과를 에 따라 배치하는 것은 스칼라 공식과 일치하지 않는 보기 흉한 공식을 만들기 때문에 거의 보이지 않는다. 결과적으로 다음과 같은 배치가 자주 발견된다.
# 일관된 분자 배치: \frac{\partial \mathbf{Y}}{\partial x}를 에 따라, \frac{\partial y}{\partial \mathbf{X}}를 에 따라 배치한다.
# 혼합 배치: \frac{\partial \mathbf{Y}}{\partial x}를 에 따라, \frac{\partial y}{\partial \mathbf{X}}를 에 따라 배치한다.
# 표기법 \frac{\partial y}{\partial \mathbf{X}'}를 사용하며, 결과는 일관된 분자 배치와 동일하다.

다음 공식에서는 다섯 가지 가능한 조합 \frac{\partial y}{\partial \mathbf{x}}, \frac{\partial \mathbf{y}}{\partial x}, \frac{\partial \mathbf{y}}{\partial \mathbf{x}}, \frac{\partial y}{\partial \mathbf{X}} 및 \frac{\partial \mathbf{Y}}{\partial x}를 별도로 처리한다. 또한 중간 벡터나 행렬을 포함하는 스칼라-대-스칼라 미분의 경우도 다룬다. (예를 들어, 다차원 매개변수 곡선이 스칼라 변수로 정의되고 곡선의 스칼라 함수의 미분을 곡선을 매개변수화하는 스칼라에 대해 취할 때 발생할 수 있다.) 각각의 다양한 조합에 대해 분모 배치가 거의 발생하지 않는 위의 경우를 제외하고 분자 배치와 분모 배치 결과를 제공한다. 의미가 있는 행렬을 포함하는 경우 분자 배치와 혼합 배치 결과를 제공한다. 위에서 언급했듯이 벡터 및 행렬 분모가 전치 표기법으로 쓰여진 경우는 분모가 전치 없이 쓰여진 분자 배치와 동일하다.

총계(벡터 또는 행렬)의 최댓값 또는 최솟값을 찾기 위해 총계 분모를 사용하여 미분을 취할 때, 분자 배치를 사용하면 결과가 총계에 대해 전치되어 생성된다는 점을 명심해야 한다. 예를 들어, 행렬 미적분학을 사용하여 다변량 정규분포의 최대 가능도 추정을 찾으려고 시도할 때 도메인이 k×1 열 벡터인 경우 분자 배치를 사용한 결과는 1×k 행 벡터 형식이 된다. 따라서 결과를 마지막에 전치하거나 분모 배치(또는 혼합 배치)를 사용해야 한다.

:

연산 결과는 분자 배치 표기법과 분모 배치 표기법 사이를 전환할 때 전치된다.

### 분자 배치 표기법
분자 배치 표기법을 사용하면 다음과 같다.

:\begin{align}
  \frac{\partial y}{\partial \mathbf{x}} &= \begin{bmatrix}
    \frac{\partial y}{\partial x_1} &
    \frac{\partial y}{\partial x_2} &
    \cdots                          &
    \frac{\partial y}{\partial x_n}
  \end{bmatrix}. \\
  \frac{\partial \mathbf{y}}{\partial x} &= \begin{bmatrix}
    \frac{\partial y_1}{\partial x} \\
    \frac{\partial y_2}{\partial x} \\
    \vdots                          \\
    \frac{\partial y_m}{\partial x} \\
  \end{bmatrix}. \\
  \frac{\partial \mathbf{y}}{\partial \mathbf{x}} &= \begin{bmatrix}
    \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \cdots & \frac{\partial y_1}{\partial x_n} \\
    \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \cdots & \frac{\partial y_2}{\partial x_n} \\
    \vdots                            & \vdots                            & \ddots & \vdots \\
    \frac{\partial y_m}{\partial x_1} & \frac{\partial y_m}{\partial x_2} & \cdots & \frac{\partial y_m}{\partial x_n} \\
  \end{bmatrix}. \\
  \frac{\partial y}{\partial \mathbf{X}} &= \begin{bmatrix}
    \frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{21}} & \cdots & \frac{\partial y}{\partial x_{p1}} \\
    \frac{\partial y}{\partial x_{12}} & \frac{\partial y}{\partial x_{22}} & \cdots & \frac{\partial y}{\partial x_{p2}} \\
    \vdots                             & \vdots                             & \ddots & \vdots \\
    \frac{\partial y}{\partial x_{1q}} & \frac{\partial y}{\partial x_{2q}} & \cdots & \frac{\partial y}{\partial x_{pq}} \\
  \end{bmatrix}.
\end{align}

다음 정의는 분자 배치 표기법으로만 제공된다.

:\begin{align}
  \frac{\partial \mathbf{Y}}{\partial x} &= \begin{bmatrix}
    \frac{\partial y_{11}}{\partial x} & \frac{\partial y_{12}}{\partial x} & \cdots & \frac{\partial y_{1n}}{\partial x} \\
    \frac{\partial y_{21}}{\partial x} & \frac{\partial y_{22}}{\partial x} & \cdots & \frac{\partial y_{2n}}{\partial x} \\
    \vdots                             & \vdots                             & \ddots & \vdots \\
    \frac{\partial y_{m1}}{\partial x} & \frac{\partial y_{m2}}{\partial x} & \cdots & \frac{\partial y_{mn}}{\partial x} \\
  \end{bmatrix}. \\
  d\mathbf{X} &= \begin{bmatrix}
    dx_{11} & dx_{12} & \cdots & dx_{1n} \\
    dx_{21} & dx_{22} & \cdots & dx_{2n} \\
    \vdots  & \vdots  & \ddots & \vdots \\
    dx_{m1} & dx_{m2} & \cdots & dx_{mn} \\
  \end{bmatrix}.
\end{align}

### 분모 배치 표기법
분모 배치 표기법을 사용하면 다음과 같다.
:\begin{align}
  \frac{\partial y}{\partial \mathbf{x}} &= \begin{bmatrix}
    \frac{\partial y}{\partial x_1}\\
    \frac{\partial y}{\partial x_2}\\
    \vdots\\
    \frac{\partial y}{\partial x_n}\\
  \end{bmatrix}. \\
  \frac{\partial \mathbf{y}}{\partial x} &= \begin{bmatrix}
    \frac{\partial y_1}{\partial x} &
    \frac{\partial y_2}{\partial x} &
    \cdots &
    \frac{\partial y_m}{\partial x}
  \end{bmatrix}. \\
  \frac{\partial \mathbf{y}}{\partial \mathbf{x}} &= \begin{bmatrix}
    \frac{\partial y_1}{\partial x_1} & \frac{\partial y_2}{\partial x_1} & \cdots & \frac{\partial y_m}{\partial x_1} \\
    \frac{\partial y_1}{\partial x_2} & \frac{\partial y_2}{\partial x_2} & \cdots & \frac{\partial y_m}{\partial x_2} \\
    \vdots                            & \vdots                            & \ddots & \vdots \\
    \frac{\partial y_1}{\partial x_n} & \frac{\partial y_2}{\partial x_n} & \cdots & \frac{\partial y_m}{\partial x_n}\\
  \end{bmatrix}. \\
  \frac{\partial y}{\partial \mathbf{X}} &= \begin{bmatrix}
    \frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{12}} & \cdots & \frac{\partial y}{\partial x_{1q}}\\
    \frac{\partial y}{\partial x_{21}} & \frac{\partial y}{\partial x_{22}} & \cdots & \frac{\partial y}{\partial x_{2q}}\\
    \vdots                             & \vdots                             & \ddots & \vdots\\
    \frac{\partial y}{\partial x_{p1}} & \frac{\partial y}{\partial x_{p2}} & \cdots & \frac{\partial y}{\partial x_{pq}}\\
  \end{bmatrix}.
\end{align}

## 항등식
위에서 언급했듯이 일반적으로 연산 결과는 분자 배치와 분모 배치 표기법 사이를 전환할 때 전치된다.

아래의 모든 항등식을 이해하는 데 도움이 되도록 가장 중요한 규칙인 연쇄 법칙, 곱 규칙 및 합 규칙을 명심하라. 합 규칙은 보편적으로 적용되며, 곱 규칙은 행렬 곱이 교환 법칙이 성립하지 않으므로 행렬 곱의 순서가 유지되는 한 아래의 대부분의 경우에 적용된다. 연쇄 법칙은 일부 경우에 적용되지만 불행히도 행렬-대-스칼라 미분 또는 스칼라-대-행렬 미분(후자의 경우 주로 행렬에 적용된 대각합 연산자를 포함함)에는 적용되지 않는다. 후자의 경우 곱 규칙도 직접 적용할 수 없지만 미분 형식을 사용하면 약간의 추가 작업을 통해 동일한 작업을 수행할 수 있다.

다음 항등식은 다음 관습을 채택한다.
* 스칼라 , , , , 는 상수를 나타내며, 스칼라 , 는 ,  또는  중 하나의 함수이다.
* 벡터 , , , , 는 상수를 나타내며, 벡터 , 는 ,  또는  중 하나의 함수이다.
* 행렬 , , , , 는 상수를 나타내며, 행렬 , 는 ,  또는  중 하나의 함수이다.

### 벡터-대-벡터 항등식
벡터-대-벡터 미분에 적용되는 모든 연산은 분자 또는 분모의 해당 벡터를 스칼라로 줄임으로써 벡터-대-스칼라 또는 스칼라-대-벡터 미분에 직접 적용되므로 이것이 먼저 제시된다.

:

### 스칼라-대-벡터 항등식
기본적인 항등식은 굵은 검은색 선 위에 배치되어 있다.

:{\partial \; \mathbf{x}} =  ||\frac{(\mathbf{x} - \mathbf{a})^\top}{\|\mathbf{x} - \mathbf{a}\|}||\frac{\mathbf{x} - \mathbf{a}}{\|\mathbf{x} - \mathbf{a}\|}
|}

### 벡터-대-스칼라 항등식
:

**참고**: 벡터-대-벡터 미분 \frac{\partial \mathbf{g}(\mathbf{u})}{\partial \mathbf{u}} and \frac{\partial \mathbf{f}(\mathbf{g})}{\partial \mathbf{g}} (출력은 행렬임)를 포함하는 공식은 행렬이 벡터 배치와 일관되게 배치되었다고 가정한다. 즉, 분자 배치 벡터일 때는 분자 배치 행렬이고 그 반대도 마찬가지이다. 그렇지 않으면 벡터-대-벡터 미분을 전치하라.

### 스칼라-대-행렬 항등식
행렬 값 행렬 함수에 적용할 때 스칼라 곱 규칙 및 연쇄 법칙의 정확한 동등물은 존재하지 않음에 유의하라. 그러나 이러한 종류의 곱 규칙은 미분 형식(아래 참조)에 적용되며, 이것이 대각합 함수가 전치 및 순환 치환을 허용한다는 사실과 결합하여 대각합 함수를 포함하는 아래의 많은 항등식을 유도하는 방법이다. 즉,
:\begin{align}
     \operatorname{tr}(\mathbf{A}) &= \operatorname{tr}\left(\mathbf{A^\top}\right) \\
  \operatorname{tr}(\mathbf{ABCD}) &= \operatorname{tr}(\mathbf{BCDA}) = \operatorname{tr}(\mathbf{CDAB}) = \operatorname{tr}(\mathbf{DABC})
\end{align}

예를 들어, \frac{\partial \operatorname{tr}(\mathbf{AXBX^\top C})}{\partial \mathbf{X}}를 계산하려면 다음과 같다.
\begin{align}
  d\operatorname{tr}(\mathbf{AXBX^\top C})
    &= d\operatorname{tr}\left(\mathbf{CAXBX^\top}\right) = \operatorname{tr}\left(d\left(\mathbf{CAXBX^\top}\right)\right) \\[1ex]
    &= \operatorname{tr}\left(\mathbf{CAX} d(\mathbf{BX^\top}\right) + d\left(\mathbf{CAX})\mathbf{BX^\top}\right) \\[1ex]
    &= \operatorname{tr}\left(\mathbf{CAX} d\left(\mathbf{BX^\top}\right)\right) + \operatorname{tr}\left(d(\mathbf{CAX})\mathbf{BX^\top}\right) \\[1ex]
    &= \operatorname{tr}\left(\mathbf{CAXB} d\left(\mathbf{X^\top}\right)\right) + \operatorname{tr}\left(\mathbf{CA}(d\mathbf{X})\mathbf{BX^\top}\right) \\[1ex]
    &= \operatorname{tr}\left(\mathbf{CAXB} (d\mathbf{X})^\top\right) + \operatorname{tr}(\mathbf{CA}\left(d\mathbf{X})\mathbf{BX^\top}\right) \\[1ex]
    &= \operatorname{tr}\left(\left(\mathbf{CAXB} (d\mathbf{X})^\top\right)^\top\right) + \operatorname{tr}\left(\mathbf{CA}(d\mathbf{X})\mathbf{BX^\top}\right) \\[1ex]
    &= \operatorname{tr}\left((d\mathbf{X})\mathbf{B^\top X^\top A^\top C^\top}\right) + \operatorname{tr}\left(\mathbf{CA}(d\mathbf{X})\mathbf{BX^\top}\right) \\[1ex]
    &= \operatorname{tr}\left(\mathbf{B^\top X^\top A^\top C^\top}(d\mathbf{X})\right) + \operatorname{tr}\left(\mathbf{BX^\top}\mathbf{CA}(d\mathbf{X})\right) \\[1ex]
    &= \operatorname{tr}\left(\left(\mathbf{B^\top X^\top A^\top C^\top} + \mathbf{BX^\top}\mathbf{CA}\right)d\mathbf{X}\right) \\[1ex]
 &= \operatorname{tr}\left(\left(\mathbf{C A X B} + \mathbf{A^\top C^\top X B^\top }\right)^\top d\mathbf{X}\right)
\end{align}

따라서,

:\frac{\partial \operatorname{tr}\left(\mathbf{AXBX^\top C}\right)}{\partial \mathbf{X}} = \mathbf{B^\top X^\top A^\top C^\top} + \mathbf{B X^\top C A}. (분자 배치)
:\frac{\partial \operatorname{tr}\left(\mathbf{AXBX^\top C}\right)}{\partial \mathbf{X}} = \mathbf{C A X B} + \mathbf{A^\top C^\top X B^\top}. (분모 배치)

(마지막 단계는 미분 형식에서 도함수 형식으로 변환 섹션을 참조하라.)

:{\partial \mathbf{X}} =|| \operatorname{cofactor}(X)^\top = |\mathbf{X}|\mathbf{X}^{-1}||\operatorname{cofactor}(X) = |\mathbf{X}|\left(\mathbf{X}^{-1}\right)^\top
|-
| 가 의 함수가 아님||\frac{\partial \ln |a\mathbf{X}|}{\partial \mathbf{X}} =
 || \mathbf{X}^{-1} ||\left(\mathbf{X}^{-1}\right)^\top
|-
| , 가 의 함수가 아님||&nbsp;&nbsp;&nbsp;&nbsp; \frac{\partial |\mathbf{AXB}|}{\partial \mathbf{X}} =|| |\mathbf{AXB}|\mathbf{X}^{-1}|||\mathbf{AXB}|\left(\mathbf{X}^{-1}\right)^\top
|-
| 이 양의 정수임 ||&nbsp;&nbsp;&nbsp;&nbsp;\frac{\partial \left|\mathbf{X}^n\right|}{\partial \mathbf{X}} =|| n\left|\mathbf{X}^n\right|\mathbf{X}^{-1}||n\left|\mathbf{X}^n\right|\left(\mathbf{X}^{-1}\right)^\top
|-
| (참조: 의사 역행렬) || &nbsp;&nbsp;&nbsp;&nbsp; \frac{\partial \ln \left|\mathbf{X}^\top\mathbf{X}\right|}{\partial \mathbf{X}} =|| 2\mathbf{X}^{+}||2\left(\mathbf{X}^{+}\right)^\top
|-
| (참조: 의사 역행렬) ||&nbsp;&nbsp;&nbsp;&nbsp; \frac{\partial \ln \left|\mathbf{X}^\top\mathbf{X}\right|}{\partial \mathbf{X}^{+}} =|| -2\mathbf{X}|| -2\mathbf{X}^\top
|-
| 가 의 함수가 아님,는 정사각행렬이며 가역행렬임 || \frac{\partial \left|\mathbf{X^\top}\mathbf{A}\mathbf{X}\right|}{\partial \mathbf{X}} =|| 2\left|\mathbf{X^\top}\mathbf{A}\mathbf{X}\right|\mathbf{X}^{-1} = 2\left|\mathbf{X^\top}\right||\mathbf{A}||\mathbf{X}|\mathbf{X}^{-1}|| 2\left|\mathbf{X^\top}\mathbf{A}\mathbf{X}\right|\left(\mathbf{X}^{-1}\right)^\top
|-
| 가 의 함수가 아님,는 정사각행렬이 아님,는 대칭행렬 || \frac{\partial \left|\mathbf{X^\top}\mathbf{A}\mathbf{X}\right|}{\partial \mathbf{X}} =|| 2\left|\mathbf{X^\top}\mathbf{A}\mathbf{X}\right|\left(\mathbf{X^\top A^\top X}\right)^{-1}\mathbf{X^\top A^\top} || 2\left|\mathbf{X^\top}\mathbf{A}\mathbf{X}\right|\mathbf{AX}\left(\mathbf{X^\top AX}\right)^{-1}
|-
| 가 의 함수가 아님,는 정사각행렬이 아님,는 비대칭행렬 || \frac{\partial |\mathbf{X^\top}\mathbf{A}\mathbf{X}|}{\partial \mathbf{X}} =
| \begin{align}
  \left|\mathbf{X^\top}\mathbf{A}\mathbf{X}\right|
    \Big(&\left(\mathbf{X^\top AX}\right)^{-1}\mathbf{X^\top A} + {} \\
         &\left(\mathbf{X^\top A^\top X}\right)^{-1}\mathbf{X^\top A^\top}\Big)
\end{align}
| \begin{align}
  \left|\mathbf{X^\top}\mathbf{A}\mathbf{X}\right|
    \Big(&\mathbf{AX}\left(\mathbf{X^\top AX}\right)^{-1} + {} \\
         &\mathbf{A^\top X}\left(\mathbf{X^\top A^\top X}\right)^{-1}\Big)
\end{align}
|}

### 행렬-대-스칼라 항등식
:

### 스칼라-대-스칼라 항등식
#### 벡터가 포함된 경우
:

#### 행렬이 포함된 경우

:{\partial x} = || colspan=2||\mathbf{U}|\operatorname{tr}\left(\mathbf{U}^{-1}\frac{\partial \mathbf{U}}{\partial x}\right)
|-
|  || \frac{\partial \ln|\mathbf{U}|}{\partial x} = || colspan=2|\operatorname{tr}\left(\mathbf{U}^{-1}\frac{\partial \mathbf{U}}{\partial x}\right)
|-
|  || \frac{\partial^2 |\mathbf{U}|}{\partial x^2} =
| colspan=2 | \left|\mathbf{U}\right| \left[
  \operatorname{tr}\left(\mathbf{U}^{-1}\frac{\partial^2 \mathbf{U}}{\partial x^2}\right) +
  \operatorname{tr}^2\left(\mathbf{U}^{-1}\frac{\partial \mathbf{U}}{\partial x}\right) -
  \operatorname{tr}\left(\left(\mathbf{U}^{-1}\frac{\partial \mathbf{U}}{\partial x}\right)^2\right)
\right]
|-
| 
| \frac{\partial g(\mathbf{U})}{\partial x} =
| \operatorname{tr}\left( \frac{\partial g(\mathbf{U})}{\partial \mathbf{U}} \frac{\partial \mathbf{U}}{\partial x}\right)
| \operatorname{tr}\left( \left(\frac{\partial g(\mathbf{U})}{\partial \mathbf{U}}\right)^\top \frac{\partial \mathbf{U}}{\partial x}\right)
|-
| 가 의 함수가 아님, 가 스칼라 계수를 가진 임의의 다항식이거나 무한 다항식 급수(예: , , ,  등)로 정의된 임의의 행렬 함수인 경우; 는 대응하는 스칼라 함수이고 는 그 도함수이며 는 대응하는 행렬 함수임. || \frac{\partial \operatorname{tr}(\mathbf{g}(x\mathbf{A}))}{\partial x} = || colspan=2|\operatorname{tr}\left(\mathbf{A}\mathbf{g}'(x\mathbf{A})\right)
|-
| 가 의 함수가 아님 || \frac{\partial \operatorname{tr}\left(e^{x\mathbf{A}}\right)}{\partial x} = || colspan=2|\operatorname{tr}\left(\mathbf{A}e^{x\mathbf{A}}\right)
|}

### 미분 형식의 항등식
보통 미분 형식으로 작업한 다음 일반적인 도함수로 다시 변환하는 것이 더 쉽다. 이것은 분자 배치를 사용할 때만 잘 작동한다. 이 규칙에서 는 스칼라이다.

:

:
마지막 행에서 \delta_{ij}는 크로네커 델타이고 (\mathbf{P}_k)_{ij} = (\mathbf{Q})_{ik} (\mathbf{Q}^{-1})_{kj}는 의 번째 고유 벡터로 투영하는 직교 투영 연산자 집합이다.
는 \mathbf{X} = \mathbf{Q} \boldsymbol{\Lambda} \mathbf{Q}^{-1}의 고유 벡터 행렬이며, (\boldsymbol{\Lambda})_{ii} = \lambda_i는 고유값이다.
행렬 함수 f(\mathbf{X})는  \mathbf{X} = \sum_i \lambda_i \mathbf{P}_i일 때 f(\mathbf{X}) = \sum_i f(\lambda_i) \mathbf{P}_i 에 의해 대각화 가능한 행렬에 대해 스칼라 함수 f(x)의 관점에서 정의된다.

정상적인 도함수 형식으로 변환하려면 먼저 다음 표준 형식 중 하나로 변환한 다음 이 항등식을 사용하라.

:

## 응용
행렬 미분학은 통계학 및 계량경제학, 특히 다변량 분포, 특히 다변량 정규분포 및 기타 타원 분포의 통계적 분석에 사용된다.

이는 여러 설명 변수가 있는 경우에 대한 보통 최소 제곱 회귀 공식 등을 계산하기 위해 회귀 분석에서 사용된다. 또한 랜덤 행렬, 통계적 모멘트, 국소 민감도 및 통계적 진단에도 사용된다.

## 같이 보기
* 도함수 (일반화)
* 곱 적분
* 리치 미적분학
* 텐서 미분

## 내용주

## 각주

## 참고 자료

*
*
*. 이 위키백과 문서는 이 문서에서 비판된 버전에서 거의 완전히 수정되었다는 점에 유의.

## 외부 링크
### 소프트웨어
* MatrixCalculus.org, a website for evaluating matrix calculus expressions symbolically
* NCAlgebra, an open-source Mathematica package that has some matrix calculus functionality
* SymPy supports symbolic matrix derivatives in its matrix expression module, as well as symbolic tensor derivatives in its array expression module.
* Tensorgrad, an open-source python package for matrix calculus. Supports general symbolic tensor derivatives using Penrose graphical notation.

### 정보
* Matrix Reference Manual, Mike Brookes, Imperial College London.
* Matrix Differentiation (and some other stuff), Randal J. Barnes, Department of Civil Engineering, University of Minnesota.
* Notes on Matrix Calculus, Paul L. Fackler, North Carolina State University.
* Matrix Differential Calculus  (slide presentation), Zhang Le, University of Edinburgh.
* Introduction to Vector and Matrix Differentiation (notes on matrix differentiation, in the context of Econometrics), Heino Bohn Nielsen.
* A note on differentiating matrices (notes on matrix differentiation), Pawel Koval, from Munich Personal RePEc Archive.
* Vector/Matrix Calculus More notes on matrix differentiation.
* Matrix Identities (notes on matrix differentiation), Sam Roweis.
* Tensor Cookbook Matrix Calculus using Tensor Diagrams.

분류:선형대수학
분류:행렬론
분류:다변수 미적분학