볼테라 급수

**볼테라 급수**()는 테일러 급수와 유사한 비선형 동작 모델이다. 테일러 급수와 다른 점은 "기억(memory)" 효과를 포착할 수 있다는 능력에 있다. 테일러 급수는 시스템의 출력이 특정 시점의 입력에만 엄격하게 의존할 때, 주어진 입력에 대한 비선형 시스템의 응답을 근사화하는 데 사용될 수 있다. 반면 볼테라 급수에서 비선형 시스템의 출력은 모든 다른 시간대의 시스템 입력에 의존한다. 이는 축전기나 유도자와 같은 장치의 "기억" 효과를 포착할 수 있는 능력을 제공한다.

볼테라 급수는 의학(의공학)과 생물학, 특히 신경과학 분야에 적용되어 왔다. 또한 전기공학에서 전력 증폭기와 주파수 믹서를 포함한 많은 장치의 상호변조 왜곡을 모델링하는 데 사용된다. 주요 장점은 일반화 가능성에 있다. 즉, 광범위한 시스템을 표현할 수 있다. 따라서 때때로 비모수 모델로 간주된다.

수학에서 볼테라 급수는 동적이고 비선형이며 시불변인 범함수의 기능적 전개를 나타낸다. 볼테라 급수는 시스템 식별에서 자주 사용된다. 볼테라 정리의 증명에 사용되는 볼테라 급수는 다차원 합성곱 적분의 무한 합이다.

## 역사
볼테라 급수는 이탈리아의 수학자 비토 볼테라가 1887년 발표한 해석적 범함수 이론의 현대화된 버전이다. 노버트 위너는 1920년대에 볼테라의 제자인 폴 피에르 레비와 접촉하면서 이 이론에 관심을 갖게 되었다. 위너는 볼테라 해석 범함수의 적분을 위해 자신의 브라운 운동 이론을 적용했다. 시스템 분석을 위한 볼테라 급수의 사용은 당시 매사추세츠 공과대학교(MIT)의 수학 교수였던 위너의 1942년 전시 보고서에서 기원한다. 그는 비선형 수신기 회로에서 레이더 노이즈의 효과를 근사 분석하기 위해 이 급수를 사용했다. 이 보고서는 전쟁 후 공개되었다. 비선형 시스템의 일반적인 분석 방법으로서 볼테라 급수는 1957년경부터 MIT 등에서 발행된 일련의 보고서들을 통해 널리 쓰이기 시작했다. 볼테라 급수라는 명칭 자체는 그로부터 몇 년 후에 사용되기 시작했다.

## 수학적 이론
볼테라 급수 이론은 두 가지 관점에서 볼 수 있다.
* 두 함수 공간(실수 또는 복소수) 사이의 **[[연산자 이론|연산자]] 매핑**
* 함수 공간에서 실수 또는 복소수로의 실수 또는 복소수 **범함수 매핑**

시스템의 시불변성을 가정하기 때문에 후자의 범함수 매핑 관점이 더 자주 사용된다.

### 연속 시간
입력이 x(t)이고 출력이 y(t)인 연속 시불변 시스템은 다음과 같이 볼테라 급수로 전개될 수 있다.

: 
 y(t) = h_0 + \sum_{n=1}^N \int_a^b \cdots \int_a^b
    h_n(\tau_1, \dots, \tau_n) \prod^n_{j=1} x(t - \tau_j) \,d\tau_j.


여기서 우변의 상수항 h_0는 대개 출력 레벨 y를 적절히 선택하여 0으로 간주한다. 함수 h_n(\tau_1, \dots, \tau_n)은 n차 **볼테라 [[적분 핵|커널]]**이라고 불린다. 이는 시스템의 고차 임펄스 응답으로 간주될 수 있다. 표현이 고유하기 위해서는 커널이 n개의 변수 \tau에 대해 대칭이어야 한다. 만약 대칭이 아니라면, 이 n개 변수 \tau의 n!개 순열에 대한 평균인 대칭화된 커널로 대체될 수 있다.

만약 N이 유한하다면, 이 급수는 절단(truncated)되었다고 한다. a, b, N이 모두 유한하다면, 이 급수는 이중 유한(doubly finite)이라고 불린다.

때때로 n차 항을 n!로 나누는데, 이는 한 볼테라 시스템의 출력을 다른 시스템의 입력으로 사용하는 "종속(cascading)" 연결 시 편리한 관례이다.

인과성 조건: 물리적으로 실현 가능한 시스템에서 출력은 오직 입력의 과거 값에만 의존할 수 있으므로, 변수 t_1, t_2, \ldots, t_n 중 어느 하나라도 음수이면 커널 h_n(t_1, t_2, \ldots, t_n)은 0이 된다. 그러면 적분은 0에서 무한대까지의 반구간에 대해 작성될 수 있다.
따라서 연산자가 인과적이라면, a \geq 0이다.

프레셰의 근사 정리: 시불변 범함수 관계를 표현하기 위해 볼테라 급수를 사용하는 것은 종종 모리스 르네 프레셰의 정리에 의해 정당화된다. 이 정리는 (특정한 매우 일반적인 조건을 만족하는) 시불변 범함수 관계가 충분히 높은 유한 차수의 볼테라 급수에 의해 임의의 정밀도로 균등하게 근사될 수 있음을 명시한다. 다른 조건들 중에서, 근사가 성립하는 허용 가능한 입력 함수 x(t)의 집합은 콤팩트 공간이어야 한다. 보통 이는 동등 연속 함수족이면서 일양 유계인 함수 집합으로 간주되며, 이는 아르첼라-아스콜리 정리에 의해 콤팩트하다. 많은 물리적 상황에서 입력 집합에 대한 이러한 가정은 합리적이다. 그러나 이 정리는 좋은 근사를 위해 얼마나 많은 항이 필요한지에 대해서는 알려주지 않으며, 이는 응용 분야에서 핵심적인 질문이다.

### 이산 시간
이산 시간의 경우 적분이 합계로 대체된다는 점을 제외하면 연속 시간의 경우와 유사하다.


y(n) = h_0 + \sum_{p=1}^P \sum_{\tau_1=a}^b \cdots \sum_{\tau_p=a}^b
    h_p(\tau_1, \dots, \tau_p) \prod^p_{j=1} x(n - \tau_j),

여기서 P \in \{1, 2, \dots\} \cup \{\infty\}이다.
각 함수 h_p는 이산 시간 볼테라 커널이라고 불린다.
P가 유한하면 급수 연산자는 절단되었다고 한다. a, b, P가 유한하면 연산자는 이중 유한 볼테라 급수라고 불린다. a \geq 0이면 연산자는 인과적이라고 한다.

일반성을 잃지 않고 커널 h_p(\tau_1, \dots, \tau_p)를 항상 대칭이라고 간주할 수 있다. 실제로 곱셈의 교환 법칙으로 인해 변수 \tau_1, \dots, \tau_p의 모든 순열에 대한 커널의 평균을 취하여 새로운 커널을 만듦으로써 항상 대칭화가 가능하다.

대칭 커널을 가진 인과적 시스템의 경우, n차 항을 삼각형 형태로 다음과 같이 근사하여 다시 쓸 수 있다.
: 
    \sum_{\tau_1=0}^M \sum_{\tau_2=\tau_1}^M \cdots \sum_{\tau_p=\tau_{p-1}}^M
    h_p(\tau_1, \dots, \tau_p) \prod^p_{j=1} x(n - \tau_j).


## 커널 계수를 추정하는 방법
볼테라 급수의 기저 범함수들은 서로 상관관계가 있기 때문에 볼테라 계수를 개별적으로 추정하는 것은 복잡하다. 이는 계수에 대한 일련의 적분 방정식을 동시에 풀어야 하는 문제로 이어진다. 따라서 볼테라 계수의 추정은 일반적으로 위너 급수와 같은 직교화된 급수의 계수를 추정하고, 이를 다시 원래 볼테라 급수의 계수로 재계산하는 방식으로 수행된다. 직교화된 급수보다 볼테라 급수가 갖는 주요 매력은 직관적이고 표준적인 구조, 즉 입력의 모든 상호작용이 하나의 고정된 차수를 갖는다는 점에 있다. 직교화된 기저 범함수들은 일반적으로 매우 복잡하다.

다음 방법들이 서로 다른 중요한 측면 중 하나는, 기저 범함수의 직교화를 입력 신호의 이상적인 사양(예: 가우시안, 백색 잡음)에 대해 수행할 것인지, 아니면 입력의 실제 구현(즉, 가우시안 백색 잡음의 의사 난수, 유계, 거의 백색 버전 또는 기타 자극)에 대해 수행할 것인지 여부이다. 후자의 방법은 수학적 우아함은 떨어지지만, 임의의 입력을 쉽게 수용할 수 있고 이상적인 입력 신호가 항상 실현 가능한 것은 아니라는 점 때문에 더 유연하고 정밀한 것으로 나타났다.

### 교차 상관 방법
이 방법은 이휘건(Lee)과 셰첸(Schetzen)에 의해 개발되었으며, 신호의 실제 수학적 설명에 대해 직교화한다. 즉, 새로운 기저 범함수로의 투영은 무작위 신호의 적률(moment)에 대한 지식을 기반으로 한다.

볼테라 급수를 다음과 같이 동차함수 연산자로 쓸 수 있다.

: 
 y(n) = h_0 + \sum_{p=1}^P H_p x(n),


여기서

: 
 H_p x(n) = \sum_{\tau_1=a}^b \cdots \sum_{\tau_p=a}^b h_p(\tau_1, \dots, \tau_p) \prod^p_{j=1} x(n - \tau_j).


식별 직교화를 가능하게 하려면 볼테라 급수를 직교 비동차 G 연산자(위너 급수)의 항으로 재배열해야 한다.

: 
 y(n) = \sum_p H_p x(n) \equiv \sum_p G_p x(n).


G 연산자는 다음에 의해 정의될 수 있다.

: 
 E\{H_i x(n) G_j x(n)\} = 0; \quad i 

: 
 E\{G_i x(n) G_j x(n)\} = 0; \quad i \neq j,


이때 H_i x(n)은 임의의 동차 볼테라 범함수이고, x(n)은 평균이 0이고 분산이 A인 정상 백색 잡음(SWN)이다.

모든 볼테라 범함수가 더 높은 차수의 모든 위너 범함수와 직교한다는 점을 상기하고, 다음과 같은 볼테라 범함수를 고려하면:

: 
 H^*_{\overline{p}} x(n) = \prod^{\overline{p}}_{j=1} x(n - \tau_j),


우리는 다음과 같이 쓸 수 있다.

: 
 E\left\{y(n) H^*_{\overline{p}} x(n)\right\} = E\left\{\sum_{p=0}^\infty G_p x(n) H^*_{\overline{p}} x(n)\right\}.


x가 SWN이고 \tau_1 \neq \tau_2 \neq \ldots \neq \tau_P이며 A = \sigma^2_x라고 두면 다음과 같다.

: 
 E\left\{y(n) \prod^{\overline{p}}_{j=1} x(n - \tau_j)\right\} = E\left\{G_{\overline{p}} x(n) \prod^{\overline{p}}_{j=1} x(n - \tau_j)\right\} = \overline{p}! A^{\overline{p}} k_{\overline{p}}(\tau_1, \dots, \tau_{\overline{p}}).


따라서 대각 성분 {\tau_i \neq \tau_j,\ \forall i, j}을 제외하면 다음과 같다.

: 
 k_p(\tau_1, \dots, \tau_p) = \frac{E\left\{y(n) x(n - \tau_1) \cdots x(n - \tau_p)\right\}}{p! A^p}.


대각 성분을 고려하고자 할 때 이휘건과 셰첸이 제안한 해법은 다음과 같다.

: 
 k_p(\tau_1, \dots, \tau_p) = \frac{E\left\{\left(y(n) - \sum\limits_{m=0}^{p-1} G_m x(n)\right) x(n - \tau_1) \cdots x(n - \tau_p)\right\}}{p! A^p}.


이 기술의 주요 단점은 하위 차수 커널의 모든 요소에서 발생한 추정 오차가 대각 요소 자체의 추정 해법으로 고안된 합계 \sum\limits_{m=0}^{p-1} G_m x(n)를 통해 p차의 각 대각 요소에 영향을 미친다는 점이다. 이러한 단점을 피하기 위한 효율적인 공식과 대각 커널 요소 추정에 대한 참고 자료들이 존재한다.

위너 커널이 식별되면, 위너-볼테라 변환 공식을 사용하여 볼테라 커널을 얻을 수 있다. 다음은 5차 볼테라 급수에 대한 보고된 내용이다.

: 
   h_5 = k_5,


: 
   h_4 = k_4,


: 
   h_3 = k_3 - 10 A \sum_{\tau_4} k_5(\tau_1, \tau_2, \tau_3, \tau_4, \tau_4),


: 
   h_2 = k_2 - 6 A \sum_{\tau_3} k_4(\tau_1, \tau_2, \tau_3, \tau_3),


: 
   h_1 = k_1 - 3 A \sum_{\tau_2} k_3(\tau_1, \tau_2, \tau_2) + 15 A^2 \sum_{\tau2} \sum_{\tau_3} k_5(\tau_1, \tau_2, \tau_2, \tau_3, \tau_3),


: 
   h_0 = k_0 - A \sum_{\tau_1} k_2(\tau_1, \tau_1) + 3 A^2 \sum_{\tau_1} \sum_{\tau_2} k_4(\tau_1, \tau_1, \tau_2, \tau_2).


### 다중 분산 방법
전통적인 직교 알고리즘에서 높은 \sigma_x를 가진 입력을 사용하는 것은 고차 비선형성을 자극하여 더 정확한 고차 커널 식별을 달성할 수 있다는 장점이 있다.
단점으로는 높은 \sigma_x 값을 사용하면 주로 입력의 비이상성과 절단 오차로 인해 하위 차수 커널에서 높은 식별 오차가 발생한다는 점이다.

반대로, 식별 과정에서 낮은 \sigma_x를 사용하면 하위 차수 커널을 더 잘 추정할 수 있지만, 고차 비선형성을 자극하기에는 불충분할 수 있다.

절단된 볼테라 급수의 국소성(locality)이라고 부를 수 있는 이 현상은 입력의 다양한 분산의 함수로서 급수의 출력 오차를 계산함으로써 드러날 수 있다.
이 테스트는 서로 다른 입력 분산으로 식별된 급수들에 대해 반복될 수 있으며, 식별에 사용된 분산에 대응하는 위치에서 각각 최소값을 갖는 서로 다른 곡선들을 얻게 된다.

이러한 제한을 극복하기 위해 하위 차수 커널에는 낮은 \sigma_x 값을 사용하고 고차 커널로 갈수록 점진적으로 높여야 한다.
위너 범함수는 서로 직교하기 때문에 이것이 위너 커널 식별에서 이론적인 문제는 아니지만, 서로 다른 분산의 사용을 고려하기 위해 위너-볼테라 변환 공식에서 적절한 정규화가 필요하다.
또한 새로운 위너-볼테라 변환 공식이 필요하다.

전통적인 위너 커널 식별은 다음과 같이 변경되어야 한다.

: 
 k_0^{(0)} = E\{y^{(0)}(n)\},


: 
 k_1^{(1)}(\tau_1) = \frac{1}{A_1} E\left\{y^{(1)}(n) x^{(1)}(n - \tau_1)\right\},


: 
 k_2^{(2)}(\tau_1, \tau_2) = \frac{1}{2! A_2^2} \left\{E\left\{y^{(2)}(n) \prod_{i=1}^2 x^{(2)}(n - \tau_i)\right\} - A_2 k_0^{(2)} \delta_{\tau_1 \tau_2}\right\},


: 
 k_3^{(3)}(\tau_1, \tau_2, \tau_3) = \frac{1}{3! A_3^3} \left\{E\left\{y^{(3)}(n) \prod_{i=1}^3 x^{(3)}(n - \tau_i)\right\} - A_3^2 \left[k_1^{(3)}(\tau_1) \delta_{\tau_2 \tau_3} + k_1^{(3)}(\tau_2) \delta_{\tau_1 \tau_3} + k_1^{(3)}(\tau_3) \delta_{\tau_1 \tau_2}\right]\right\}.


위 공식에서 임펄스 함수는 대각 커널 포인트의 식별을 위해 도입되었다.
새로운 공식으로 위너 커널을 추출한 경우, 다음과 같은 위너-볼테라 변환 공식(5차까지 명시됨)이 필요하다.

: 
   h_5 = k_5^{(5)},


: 
   h_4 = k_4^{(4)},


: 
   h_3 = k_3^{(3)} - 10 A_3 \sum_{\tau_4} k_5^{(5)}(\tau_1, \tau_2, \tau_3, \tau_4, \tau_4),


: 
   h_2 = k_2^{(2)} - 6 A_2 \sum_{\tau_3} k_4^{(4)}(\tau_1, \tau_2, \tau_3, \tau_3),


: 
   h_1 = k_1^{(1)} - 3 A_1 \sum_{\tau_2} k_3^{(3)}(\tau_1, \tau_2, \tau_2) + 15 A_1^2 \sum_{\tau2} \sum_{\tau_3} k_5^{(5)}(\tau_1, \tau_2, \tau_2, \tau_3, \tau_3),


: 
   h_0 = k_0^{(0)} - A_0 \sum_{\tau_1} k_2^{(2)}(\tau_1, \tau_1) + 3 A_0^2 \sum_{\tau_1} \sum_{\tau_2} k_4^{(4)}(\tau_1, \tau_1, \tau_2, \tau_2).


보다시피 이전 공식에 비해 단점은 n차 커널 식별을 위해 모든 하위 커널을 더 높은 분산으로 다시 식별해야 한다는 것이다.
그러나 위너 및 볼테라 커널을 새로운 공식으로 얻으면 출력 MSE에서 획기적인 개선을 얻을 수 있다.

### 피드포워드 신경망
이 방법은 레이(Wray)와 그린(Green)(1994)에 의해 개발되었으며, 단순한 2층 전결합 신경망(즉, 다층 퍼셉트론)이 계산적으로 볼테라 급수와 동일하며 따라서 그 구조 안에 커널이 숨겨져 있다는 사실을 활용한다. 그러한 네트워크가 시스템의 현재 상태와 기억을 바탕으로 출력을 성공적으로 예측하도록 훈련된 후, 해당 네트워크의 가중치와 편향으로부터 커널을 계산할 수 있다.

n차 볼테라 커널에 대한 일반적인 표기법은 다음과 같다.

: 
 h_n(\tau_1, \dots, \tau_n) = \sum_{i=1}^M (c_i a_{ni} \omega_{\tau_1 i} \dots \omega_{\tau_n i}),


여기서 n은 차수, c_i는 선형 출력 노드에 대한 가중치, a_{ji}는 은닉 노드의 출력 함수의 다항식 전개 계수, \omega_{ji}는 입력층에서 비선형 은닉층으로의 가중치이다. 이 방법은 네트워크 구조 내의 입력 지연 수만큼 커널 추출이 가능하다는 점에 유의해야 한다. 또한 시스템의 유효 기억을 잘 나타내도록 네트워크 입력층의 크기를 신중하게 구성하는 것이 필수적이다.

### 정확한 직교 알고리즘
이 방법과 더 효율적인 버전(빠른 직교 알고리즘)은 코렌버그(Korenberg)에 의해 발명되었다. 이 방법에서는 실제 입력에 대해 경험적으로 직교화가 수행된다. 교차 상관 방법보다 더 정밀하게 작동하는 것으로 나타났다. 또 다른 장점은 임의의 입력을 직교화에 사용할 수 있으며 원하는 정확도 수준에 도달하는 데 더 적은 데이터 포인트로 충분하다는 것이다. 또한 특정 기준이 충족될 때까지 추정을 점진적으로 수행할 수 있다.

### 선형 회귀
선형 회귀는 선형 분석의 표준 도구이다. 따라서 주요 장점 중 하나는 선형 회귀를 효율적으로 풀기 위한 표준 도구들이 널리 존재한다는 것이다. 볼테라 급수의 기본 특성인 비선형 기저 범함수의 선형 결합을 강조한다는 점에서 교육적 가치가 있다. 추정을 위해서는 원래의 차수를 알아야 하는데, 이는 볼테라 기저 범함수들이 직교하지 않아 추정을 점진적으로 수행할 수 없기 때문이다.

### 커널 메소드
이 방법은 프란츠(Franz)와 푈코프(Schölkopf)에 의해 발명되었으며 통계적 학습이론을 기반으로 한다. 결과적으로 이 접근 방식은 경험적 오차 최소화(종종 경험적 위험 최소화라고 불림)를 기반으로 한다. 프란츠와 푈코프는 커널 메소드가 본질적으로 볼테라 급수 표현을 대체할 수 있다고 제안하면서도, 후자가 더 직관적이라는 점을 언급했다.

### 미분 샘플링
이 방법은 판 헤먼(van Hemmen)과 동료들에 의해 개발되었으며, 볼테라 계수를 샘플링하기 위해 디랙 델타 함수를 활용한다.

## 같이 보기
* 위너 급수
* 다항식 신호 처리

## 각주

## 더 읽어보기
* Barrett J.F: Bibliography of Volterra series, Hermite functional expansions, and related subjects. Dept. Electr. Engrg, Univ.Tech. Eindhoven, NL 1977, T-H report 77-E-71. (Chronological listing of early papers to 1977) URL: http://alexandria.tue.nl/extra1/erap/publichtml/7704263.pdf
* Bussgang, J.J.; Ehrman, L.; Graham, J.W: Analysis of nonlinear systems with multiple inputs, Proc. IEEE, vol.62, no.8, pp.&nbsp;1088–1119, Aug. 1974
* Giannakis G.B & Serpendin E: A bibliography on nonlinear system identification. Signal Processing, 81 2001 533–580. (Alphabetic listing to 2001) www.elsevier.nl/locate/sigpro
* Korenberg M.J. Hunter I.W: The Identification of Nonlinear Biological Systems: Volterra Kernel Approaches, Annals Biomedical Engineering (1996), Volume 24, Number 2.
* Kuo Y L: Frequency-domain analysis of weakly nonlinear networks, IEEE Trans. Circuits & Systems, vol.CS-11(4) Aug 1977; vol.CS-11(5) Oct 1977 2–6.
* Rugh W J: Nonlinear System Theory: The Volterra–Wiener Approach. Baltimore 1981 (Johns Hopkins Univ Press) http://rfic.eecs.berkeley.edu/~niknejad/ee242/pdf/volterra_book.pdf 
* Schetzen M: The Volterra and Wiener Theories of Nonlinear Systems, New York: Wiley, 1980.

분류:함수해석학
분류:급수