기계 학습에서의 **랜덤 포레스트**는 분류, 회귀 분석 등에 사용되는 앙상블 학습 방법의 일종으로, 훈련 과정에서 구성한 다수의 결정 트리로부터 부류(분류) 또는 평균 예측치(회귀 분석)를 출력함으로써 동작한다.

## 도입

### 정의
랜덤 포레스트는 다수의 결정 트리들을 학습하는 앙상블 방법이다. 랜덤 포레스트는 검출, 분류, 그리고 회귀 등 다양한 문제에 활용되고 있다.

### 역사
초기 랜덤 포레스트는 단일 트리를 확장할 때 가능한 결정(available decisions)중 임의의 부분집합(random subset)에서 검색하는 아이디어를 도입한 얄리 아미트와 도널드 게먼의 연구 역시 랜덤 포레스트의 디자인에 영향을 미쳤다. 포레스트가 성장할 때, 각 트리를 학습하기 전에 임의로 선택된 부분공간으로 훈련 데이터를 투영 시키는 과정에서 트리 사이에 차이가 발생한다.

현재의 랜덤 포레스트의 개념은 레오 브레이먼의 논문에서 만들어졌다. 이 논문은 랜덤 노드 최적화와 배깅을 결합한 방법과 같은 CART(classification and regression tree)를 사용해 상관관계가 없는 트리들로 포레스트를 구성하는 방법을 제시했다.

### 동기
일반적으로 결정 트리를 이용한 방법의 경우, 그 결과 또는 성능의 변동 폭이 크다는 결점을 가지고 있다. 특히 학습 데이터에 따라 생성되는 결정 트리가 랜덤성에 따라 매우 다르기 때문에 일반화하여 사용하기에 어려움이 따른다. 특히, 결정 트리는 계층적 접근방식이기 때문에 만약 중간에 에러가 발생한다면 다음 단계로 에러가 계속 전파되는 특성을 가진다. 배깅(Bagging) 또는 랜덤 노드 최적화(Randomized node optimization)와 같은 랜덤화 기술은 결정 트리가 가진 이러한 단점을 극복하고 좋은 일반화 성능을 갖도록 한다.

## 결정 트리
하나의 트리는 계층 구조로 이루어진 노드들과 에지들의 집합으로 이루어져 있다. 또한 노드는 내부 노드와 종단 노드로 나뉜다. 그래프에서와 달리, 트리에서는 모든 노드가 들어오는 에지(incoming edge)를 하나만 가진다. 반면 각 내부 노드에서 나가는 에지(outgoing edge)의 개수에는 제한이 없으나, 주로 두 개의 나가는 에지를 갖는 것으로 가정한다.
결정 트리는 말그대로 결정을 내리기 위해 사용하는 트리로, 결정 과정을 간단한 문제들로 이루어진 계층 구조로 나눈다. 간단한 문제에 대해서는 매개변수를 사용자가 직접 설정할 수 있지만, 보다 복잡한 문제의 경우 학습 데이터로부터 트리 구조와 매개변수를 모두 자동으로 학습한다.

### 수학적 표기법
하나의 일반적인 데이터 포인트를 다음과 같이 벡터 로 정의한다.
여기서, 개의 모든 원소를 사용하지 않으며, 필요한 기저에 있는 값들만 취급하는 것이 일반적이다.
종종 입력을 가능한 모든 입력들의 집합으로부터 하나의 함수 는 입력의 부분집합을 선택하는 함수로, 다음과 같이 정의한다.

### 훈련과 테스트 과정
큰 범주에서 볼 때, 결정 트리의 기능은 오프라인 단계(훈련 또는 학습)와 온라인 단계(테스트) 두 가지로 나눌 수 있다.

#### 훈련 단계
훈련 단계에서는 종단 노드에 대한 매개변수와 내부 노드와 관련된 노드 분할 함수(split function)의 매개변수를 최적화하는 작업이 진행된다.
트리의 훈련 과정을 이해할 때, 훈련 데이터의 부분집합을 트리의 가지들과 연관시켜 생각하는 것이 편하다. 예를 들어, 노드 1(그림에서와 같이 0부터 너비-우선순위로 각 노드에 숫자가 부여된다)에 도달하는 훈련 데이터의 부분집합을 는 다음과 같은 관계식을 갖는다.
데이터 포인트  및 실제 데이터 레이블(ground truth label)이 주어졌을 때, 트리의 매개변수는 정의한 목적 함수를 최소화 하도록 선택된다. 트리의 성장을 언제 멈출지 결정하기 위해 미리 정의된 여러 가지 멈춤 조건이 적용된다.
번 반복된다. 랜덤 트리 또는 포레스트에서 주목할 사실은 랜덤성이 오직 훈련 과정에만 존재한다는 것이다. 트리가 형성된 후 고정되어 있다면 테스트 단계에서는 완전히 결정론적인 특성을 보인다. 즉, 동일한 입력 데이터에 대해 항상 동일한 결과를 낸다.

#### 테스트 단계
이전에 본 적 없는 데이터 
트리에서 단말 노드는 대개 입력 에 대한 출력 값을 내는 예측기(분류기 또는 회귀기)를 갖는다. 포레스트의 경우 각 트리 예측기들의 조합으로 단일 예측치를 만든다.

### 정보 획득량과 섀넌 엔트로피
훈련 단계에서 트리의 각 노드는 들어오는 데이터들을 최적으로 분리하기 위해 정보 획득량을 기준으로 사용한다. 다시 말해 각 노드에서 정보 획득량을 최대화하는 방향으로 데이터를 분리한다. 정보 획득량은 다음과 같이 정의된다.
여기서, 
위 수식에서 볼 수 있듯이, 정보 획득량을 최대화하기 위해서는 결국 섀넌 엔트로피가 최소화되어야 한다. 섀넌 엔트로피는 확률 변수의 조합으로 정보원(여기서는 )에 대한 불확실성을 보여주는 것으로 아래와 같이 정의된다.
여기서 는 각 부류에 대한 확률 질량 함수이다.

## 랜덤 포레스트
랜덤 포레스트의 가장 큰 특징은 랜덤성에 의해 트리들이 서로 조금씩 다른 특성을 갖는다는 점이다. 이 특성은 각 트리들의 예측들이 비상관화 되게하며, 결과적으로 일반화 성능을 향상시킨다. 또한, 랜덤화는 포레스트가 노이즈가 포함된 데이터에 대해서도 강인하게 만들어 준다.
랜덤화는 각 트리들의 훈련 과정에서 진행되며, 랜덤 학습 데이터 추출 방법을 이용한 앙상블 학습법인 배깅과 랜덤 노드 최적화가 자주 사용된다. 이 두 가지 방법은 서로 동시에 사용되어 랜덤화 특성을 더욱 증진 시킬 수 있다.

### 배깅을 이용한 포레스트 구성
배깅(bagging)은 bootstrap aggregating의 약자로, 부트스트랩을 통해 조금씩 다른 훈련 데이터에 대해 훈련된 기초 분류기들을 결합시키는 방법이다. 부트스트랩이란, 주어진 훈련 데이터에서 중복을 허용하여 원 데이터셋과 같은 크기의 데이터셋을 만드는 과정을 말한다. 배깅을 통해 랜덤 포레스트를 훈련시키는 과정은 다음과 같이 세 단계로 진행된다.

트리는 작은 과 큰 분산을 갖기 때문에, 매우 깊이 성장한 트리는 훈련 데이터에 대해 과적합(overfitting)하게 된다. 부트스트랩 과정은 트리들의 편향은 그대로 유지하면서, 분산은 감소시키기 때문에 포레스트의 성능을 향상시킨다. 즉, 한 개의 결정 트리의 경우 훈련 데이터에 있는 노이즈에 대해서 매우 민감하지만, 트리들이 서로 상관화되어 있지 않다면 여러 트리들의 평균은 노이즈에 대해 강인해진다. 포레스트를 구성하는 모든 트리들을 동일한 데이터셋으로만 훈련시키게 되면, 트리들의 상관성은 굉장히 커질 것이다. 따라서 배깅은 서로 다른 데이터셋들에 대해 훈련 시킴으로써, 트리들을 비상관화시켜 주는 과정이다.

### 임의 노드 최적화
훈련 단계에서 임의 노드 최적화는 훈련 목적 함수를 최대로 만드는 노드 분할 함수의 매개변수 의 최적값을 구하게 된다.

#### 노드 분할 함수
각 트리의 노드마다 **분할 함수**를 가지고 있으며, 다음과 같이 표현할 수 있다.
0은 거짓, 1은 참을 가리킨다. 노드에 도달한 데이터는 분할 함수 결과에 따라 왼쪽 또는 오른쪽의 자식 노드로 보내지게 된다. 이러한 분할 함수는 매개변수 에 따라 결정된다.
따라서 노드 분할 함수는 다음과 같이 표현될 수 있다.

#### 훈련 목적 함수
노드 분할 함수의 매개변수 안에서, 정보 획득량으로 정의되는 목적 함수를 최대로 만들게 하는 값으로 계산된다.

**임의성의 정도**는  인 경우에는 최대의 임의성과 비상관화(uncorrelated)된 트리들을 얻게 된다.

### 앙상블 모델
포레스트의 모든 트리들은 독립적으로 훈련 단계를 거친다. 테스트 단계에서 데이터 포인트 는 모든 트리에 동시로 입력되어 종단 노드에 도달하게 된다. 이러한 테스트 단계는 병렬적으로 진행될 수 있으며, 따라서 병렬 CPU 또는 GPU 하드웨어를 통해 높은 계산 효율성을 얻을 수 있다. 포레스트의 예측 결과는 모든 트리의 예측 결과들의 평균으로 얻는다. 분류의 경우를 보면 다음의 식과 같다.
다른 방법으로는 트리들의 결과들을 곱하는 방법이 있다.
여기서 는 확률 정규화를 위한 상수이다.

## 중요 매개변수
랜덤 포레스트의 가장 큰 영향을 미치는 매개변수들은 다음과 같다.

## 특성

### 변수의 중요성
랜덤 포레스트를 이용해 분류 혹은 회귀문제에서 각 변수들의 중요성에 순위를 매길 수 있다. 다음에 설명할 방법은 랜덤 포레스트의 개념을 만든 레오 브레이먼(Leo Breiman)의 논문
에 구현되어 있다.
데이터 집합 에서 변수의 중요성을 측정하기 위한 첫번째 단계는 데이터 집합에 맞추어 랜덤 포레스트를 훈련시키는 것이다.
랜덤 포레스트를 구성하는 과정에서 각 데이터 포인트에 대한 OOB-오차가 구해진다. OOB 데이터는 부트스트랩을 통한 임의 중복추출 시 훈련 데이터 집합에 속하지 않는 데이터를 말하며, OOB-오차는 이 데이터의 실제 값과 각 트리로부터 나온 예측 결과 사이의 오차로 정의된다.
훈련단계 이후 데이터 포인트의 
큰 중요도 점수를 가지는 변수는 작은 값을 갖는 변수보다 높은 순위의 중요성을 갖게된다.

### ''k''-최근접 이웃 알고리즘과의 관계
랜덤 포레스트와 ''k''-최근접 이웃 알고리즘과의 관계는 2002년, 이 린(Yi Lin)과 전용호에 의해 조명되었다. 이웃 가중치 구조(weighted neighborhoods schemes) 모델을 통해 두가지 알고리즘을 통합할 수 있다.
이 모델은 데이터 집합 
여기서 

이 식은 포레스트 전체가 개별 트리의 가중치들의 평균값으로 다시 이웃 가중치 구조(weighted neighborhoods schemes)를 이루는 것을 보여준다. 여기서

## 응용사례

### 키넥트에서의 신체 트랙킹
엑스박스 360에서 사용되는 모션 캡처 주변기기인 키넥트에서는 랜덤 포레스트를 이용하여 주어진 입력에서 신체의 각 부분을 분류한다.
훈련 단계에서는 미리 신체부분들이 라벨화(pre-labeled) 되어있는 깊이 지도에서 2,000개의 픽셀(pixel)을 임의로 추출해 300,000장의 깊이 지도당 트리 하나씩 총 세개의 깊이(depth) 값이 20인 트리를 구성한다. 트리 구성 시 1,000개의 코어 클러스터를 사용한 GPU연산으로 하루정도의 시간이 걸린다. 테스트 단계에서는 앞서 구성한 트리들을 이용하여 임의의 입력 깊이 사진의 배경을 제외한 모든 픽셀들을 분류하는데 엑스박스 GPU에서 5밀리초(200프레임/초)의 시간 성능을 보인다.

### 컴퓨터 단층 촬영 영상 내 해부학 구조 검출 및 위치파악
안토니오 크리미니시 등은 랜덤 포레스트를 이용하여 3차원 컴퓨터 단층 촬영 영상 내에서 주어진 복셀에 대해 해당 되는 해부학 구조가 어디인지 검출하고 해당 위치를 파악하는 방법을 제안하였다.
훈련 단계에서는 해당 복셀이 어떤 해부학 구조인지 그리고 해당 구조의 바운딩 박스 정보를 가지는 55개의 복셀 포인트들을 가지고 6개의 트리를 통해 동시에 학습한다. 테스트 단계에서는 각 트리로부터 얻어진 주어진 복셀이 각 해부학 구조에 포함될 확률들의 평균을 통해 최종 확률을 계산하여 이 확률이 해당 해부학 구조에 속할 가능성이 0.5 이상인지 아닌지를 확인하여 결정한다.

### 다채널 자기공명영상 내 고악성도 신경교종 검출
마이크로소프트 연구소, 브라운 대학교, 그리고 캠브리지 대학교 연구팀은 다채널 자기공명영상으로 촬영된 뇌 영상에서 고악성도 신경교종를 검출하기 위해 랜덤 포레스트를 적용하였다.
기존의 많은 종양 검출 연구들이 전체적인 종양덩어리를 검출하는데 초점을 맞췄다면 이 연구팀에서는 랜덤 포레스트가 내재적으로 다중 클래스 특성을 지니는 점을 이용하여 서로 다른 종류의 신경 조직을 동시에 검출하는 연구를 진행하였다. 특히 기존의 신경 조직 검출 알고리즘에 비하여 전처리과정 등이 많이 요구되지 않으며, 비교적 간단한 복잡도 모델로 높은 검출 정확도를 보이는 결과를 얻어 랜덤 포레스트의 유용성을 증명하였다.

# 의사코드{{콘퍼런스 인용
)
 **repeat**  times
 **let** ;
 **let** );
 **repeat**  times
 **let** );
 **let** ();
 **let** );
 **if**  is best **then**
 **remember** ;
 **end**
 **end**
 **end**

 **if** best 
 **return** ));
 **else**
  + 1;
 **return** 

 double[] )
 **if**  **then**
 **if**  **then**
 **return** )
 **else**
 **return** )
 **end**
 **else**
 **return** 
 **end**
 **end**
 

 )
 
 **let** )

 
 **for** 
 **let** )
 )
 **end**

 
 **return** 

 double[] )
 
 **let** ]

 
 **for** 
 **let** )
 
 **end**