비디오 트래킹

비디오 트래킹(video tracking)은 카메라를 사용하여 움직이는 물체(또는 여러 물체)를 시간 경과에 따라 추적하는 과정이다. 이 기술은 인간-컴퓨터 상호작용, 보안 및 감시, 비디오 통신 및 영상 압축, 증강 현실, 교통 제어, 의료 영상 및 영상 편집과 같은 다양한 용도로 사용된다. 비디오 트래킹은 비디오에 포함된 데이터의 양 때문에 시간이 많이 소요되는 과정일 수 있다. 복잡성을 더욱 증가시키는 것은 추적을 위해 객체 인식 기술을 사용해야 할 필요성인데, 이는 그 자체로도 어려운 문제이다.

목표
섬네일|고속 영상 처리 시스템으로 처리되는 시각 피드백을 통해 물체 추적으로 로봇 손이 공을 잡기 위한 시각 서보 제어의 예.

비디오 트래킹의 목표는 연속적인 비디오 프레임에서 대상 물체를 연결하는 것이다. 물체가 프레임 레이트에 비해 빠르게 움직일 때, 이 연결은 특히 어려울 수 있다. 문제의 복잡성을 증가시키는 또 다른 상황은 추적되는 물체가 시간이 지남에 따라 방향을 변경할 때이다. 이러한 상황을 위해 비디오 트래킹 시스템은 일반적으로 물체의 다양한 가능한 움직임에 대해 대상의 이미지가 어떻게 변할 수 있는지를 설명하는 모션 모델을 사용한다.

간단한 모션 모델의 예시는 다음과 같다.
 평면 물체를 추적할 때, 모션 모델은 물체 이미지(예: 초기 프레임)의 2D 변환(아핀 변환 또는 호모그래피)이다.
 대상이 강체 3D 물체일 때, 모션 모델은 3D 위치 및 방향에 따라 그 외형을 정의한다.
 영상 압축의 경우, 키 프레임은 매크로블록으로 나뉜다. 모션 모델은 키 프레임의 중단으로, 각 매크로블록은 모션 파라미터로 주어진 모션 벡터에 의해 이동된다.
 변형 가능한 물체의 이미지는 메시로 덮일 수 있으며, 물체의 움직임은 메시 노드의 위치에 의해 정의된다.

알고리즘
섬네일|비디오 프레임에서 객체의 객체 공동 분할
비디오 트래킹을 수행하기 위해 알고리즘은 순차적인 비디오 프레임을 분석하고 프레임 간 대상의 움직임을 출력한다. 다양한 알고리즘이 있으며, 각각 장단점이 있다. 어떤 알고리즘을 사용할지 선택할 때 의도된 사용 목적을 고려하는 것이 중요하다. 시각 추적 시스템의 주요 구성 요소는 두 가지이다. 대상 표현 및 위치 파악, 그리고 필터링 및 데이터 연결이다.

대상 표현 및 위치 파악은 대부분 상향식(bottom-up) 과정이다. 이 방법들은 움직이는 물체를 식별하기 위한 다양한 도구를 제공한다. 대상 물체를 성공적으로 찾고 추적하는 것은 알고리즘에 달려 있다. 예를 들어, 블롭 추적은 사람의 프로필이 동적으로 변하기 때문에 인간의 움직임을 식별하는 데 유용하다. 일반적으로 이러한 알고리즘의 계산 복잡성은 낮다. 다음은 몇 가지 일반적인 대상 표현 및 위치 파악 알고리즘이다.

 커널 기반 추적 (평균 이동 추적Comaniciu, D.; Ramesh, V.; Meer, P., "Real-time tracking of non-rigid objects using mean shift," Computer Vision and Pattern Recognition, 2000. Proceedings. IEEE Conference on, vol.2, no., pp. 142, 149 vol.2, 2000): 유사도 측정(바타차랴 계수)의 최대화를 기반으로 하는 반복적 위치 파악 절차.
 윤곽선 추적: 물체 경계 감지(예: 활성 윤곽선 또는 응축 알고리즘). 윤곽선 추적 방법은 이전 프레임에서 초기화된 초기 윤곽선을 현재 프레임의 새 위치로 반복적으로 진화시킨다. 윤곽선 추적에 대한 이 접근 방식은 기울기 강하를 사용하여 윤곽선 에너지를 최소화함으로써 윤곽선을 직접 진화시킨다.

필터링 및 데이터 연결은 주로 하향식(top-down) 과정이며, 장면에 대한 사전 정보나 물체에 대한 정보를 통합하고, 물체 동역학을 처리하며, 다양한 가설을 평가하는 것을 포함한다. 이러한 방법은 복잡한 물체와 장애물 뒤로 움직이는 물체를 추적하는 것과 같은 더 복잡한 물체 상호작용을 추적할 수 있게 한다. 또한 비디오 트래커(TV 트래커 또는 타겟 트래커라고도 함)가 고정된 기반(육상)에 장착되지 않고 움직이는 선박(해상)에 장착되는 경우 복잡성이 증가한다. 이 경우 일반적으로 관성 측정 시스템을 사용하여 비디오 트래커를 사전 안정화하여 카메라 시스템에 필요한 동역학 및 대역폭을 줄인다.Gyro Stabilized Target Tracker for Off-shore Installation
이러한 알고리즘의 계산 복잡성은 일반적으로 훨씬 더 높다. 다음은 몇 가지 일반적인 필터링 알고리즘이다.
 칼만 필터: 가우스 잡음의 영향을 받는 선형 함수에 대한 최적의 재귀 베이즈 필터이다. 이것은 시간에 걸쳐 관찰된 일련의 측정값을 사용하며, 잡음(무작위 변동) 및 기타 부정확성을 포함하고, 단일 측정값만을 기반으로 하는 것보다 더 정확한 경향이 있는 알 수 없는 변수의 추정치를 생성하는 알고리즘이다.
 파티클 필터: 비선형계 및 비가우스성 프로세스의 기본 상태 공간 분포를 샘플링하는 데 유용하다.J. Martinez-del-Rincon, D. Makris, C. Orrite-Urunuela and J.-C. Nebel (2010). "Tracking Human Position and Lower Body Parts Using Kalman and Particle Filters Constrained by Human Biomechanics". IEEE Transactions on Systems Man and Cybernetics – Part B', 40(4).

 같이 보기 
 매치 무빙
 모션 캡처
 움직임 예측
 광학 흐름
 스위스트랙
 단일 입자 추적
 테크노모-페르난데스 알고리즘

 각주 

 외부 링크 
 – 크로멤코 사이클롭스 카메라가 미로를 통과하는 공을 추적하는 흥미로운 역사적 사례 (1980)

분류:혼합 현실
분류:추적