Patent KR-20230121951-A (KR)
Inventor: LEE MIN JAE
IPC: H04N7/18
Filed: 2022-02-13
Abstract: 본 발명은 VR 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법에 관한 것이다. 본 
발명은, 감시영역에 다수개가 연속되어 설치되어 감시 특정 공간을 촬영하여 그 영상 정보를 제공하기 위해 감시 
공간의 영상을 촬영하여 전송제어하고, 원격지의 중앙 모니터링시스템으로부터 검색요청에 따른 근접영상 원본이 미지를 제공하는 감시지역별로 구성되는 영상촬영시스템; 과, 상기 영상촬영시스템으로부터 제공받은 영상으로부 
터 감시공간을 모니터링하고, 추적자 모바일디바이스의 소지자에게 모니터링 정보를 제공하기 위해 추적자 모바 
일디바이스 및 각 영상촬영시스템과 네트워크로 연결된 모니터링시스템;으로 구성되어 각 영상촬영시스템에 의해 
촬영된 파노라마 영상의 배경영상으로부터 특정한 객체의 좌표를 생성하고 이들의 특징정보를 제공하여, 상기 모 
니터링시스템에서 객체의 근접영상을 요청하여 전송받을 수 있도록 할 뿐만 아니라, 객체에 대한 경로를 예측하 
여 영상촬영시스템을 통해 추적하여 3차원 영상정보를 최종적으로 상기 추적자 모바일디바이스에게 제공하는 것 
을 특징으로 하는 VR 기반의 객체인식 정보를 이용한 영상 추적시스템에 있어서, 상기 영상촬영시스템은 VR 카메 
라 모듈과 카메라 제어모듈을 구비하며, 상기 VR 카메라 모듈은 원거리에서 배경을 촬영하기 위한 배경영상 카메 
라부와, 객체를 근접 촬영하기 위한 근접영상 카메라부를 포함하며, 상기 배경영상 카메라부는 원거리에서 주위 
의 영상을 파노라마 형태로 촬영할 수 있도록 하는 배경영상 촬영수단으로, 360도 회전하면서 주위의 영상을 촬 
영할 수 있도록 구성되어 주위의 영상을 상기 카메라 제어모듈의 제어에 따라 특정시간별로 촬영하며, 상기 근접 
영상 카메라부는 객체를 근접 촬영하여 객체의 영상을 얻어내기 위한 수단으로, 상기 배경영상 카메라부와 동일 
하게 360도 회전할 뿐만 아니라, 상하의 틸트 각도 조절이 가능한 PTZ(Pan/Tilt/Zoom) 카메라로 구성되며, 상기 
카메라 제어모듈은 객체인식부, 촬영제어부, 객체지도 생성부, 전송제어부, 객체지도 데이터베이스, 제 1 영상 
데이터베이스, 패턴이미지 데이터베이스를 포함하며, 상기 객체인식부는 상기 배경영상 카메라부로부터 얻어지는 
영상으로부터 특정공간내의 배경좌표를 생성하고, 생성된 배경좌표 내에서 인식하고자 하는 객체(인물, 얼굴, 차 
량 등) 또는 비행체를 인식하기 위한 수단으로, 상기 배경영상 카메라부로부터 획득된 영상을 입력받아 상기 패 
턴이미지 데이터베이스 상의 객체패턴데이터를 이용하여 객체영역을 추출하여 객체를 인식하고, 객체의 특징정보 
를 추출시, 상기 패턴이미지 데이터베이스에 저장된 패턴이미지와 대비하여 객체를 인식하고, 인식된 객체의 특 
징정보를 추출하며, 상기 촬영제어부는 상기 배경영상 카메라부를 제어하여 배경영상을 촬영하고 상기 객체인식 
부로부터 인식된 객체의 근접영상 촬영을 위해 상기 근접영상 카메라부를 제어하는 방식으로 상기 배경영상 카메 
라부와 상기 근접영상 카메라부를 제어하여 영상을 얻어내기 위한 수단으로, 상기 객체인식부를 통해 인식된 객 
체를 배경좌표에 동기화시켜 객체의 좌표를 생성하여, 상기 객체지도 생성부에 의해 좌표와 객체의 특징정보를 
포함하는 객체지도정보를 생성하도록 하며, 상기 객체지도 생성부는 상기 객체인식부를 통해 인식된 객체를 배경 
영상과 동기화시켜 객체의 좌표를 생성하고, 생성된 '좌표'와 '객체의 특징정보'를 포함하는 객체지도정보를 생 
성하며, 객체지도정보를 생성시 영상촬영시스템의 식별정보(ID), 객체의 프레임별 객체좌표와 특징정보, 촬영시 
간 정보, 배경영상 카메라부의 중심축(x1)으로부터 근접영상 카메라부의 회전 각도(a1, a2) 정보, 근접영상 카메 
라부의 상하로의 틸트 각도 정보를 포함시키며, 영상촬영시스템의 식별정보(ID)는 영상촬영시스템(100)의 고유번 
호와 위치정보를 포함하며, 상기 전송제어부는 객체지도정보와 배경영상의 압축이미지를 상기 모니터링시스템으 
로 전송제어하고, 상기 모니터링시스템으로부터의 검색요청에 따라 해당하는 객체의 근접영상의 원본이미지를 제 
공하며, 상기 모니터링시스템으로 객체지도정보와 배경영상의 압축이미지를 전송제어하기 위한 수단이며, 상기 
모니터링시스템으로부터의 객체검색요청, 객체추적요청에 따라 요청된 객체의 근접영상의 원본영상, 그 밖의 객 
체지도정보를 제공하기 위한 제어수단이며, 상기 객체지도 데이터베이스는 객체지도정보를 저장 관리하며, 상기 
제 1 영상 데이터베이스는 근접영상 및 파노라마 영상을 저장관리하며, 상기 패턴이미지 데이터베이스는 상기 객 
체인식부에 의한 객체인식을 위한 패턴이미지를 관리 저장하며, 상기 모니터링시스템은 영상수신 모니터링부, 검 
색 인터페이스부, 감시제어부, 제 2 영상 데이터베이스, 수신정보 데이터베이스, VR 영상 데이터베이스, 배경영 
상 패턴이미지 데이터베이스, 운영자 입력부를 포함하며, 상기 영상수신 모니터링부는 영상촬영시스템으로부터 
제공되는 영상 및 객체지도정보를 전송받아 영상 및 특징정보를 운영자에게 표시하여 모니터링 영상을 제공하며, 
상기 검색 인터페이스부는 모니터링 영상에 대하여 운영자가 상기 운영자 입력부를 통해 검색영역을 선택을 통해 
특정 '객체검색요청', 그리고 '객체추적요청'을 할 수 있도록 운영자 인터페이스를 제공하여, 모니터링 영상에 
대하여 운영자가 인식영역을 선택하여 특정 객체를 검색 및 추적할 수 있도록 운영자 인터페이스를 제공하기 위 
한 수단으로, 모니터링 운영자가 모니터링 영상에 대하여 검색영역 및 추적영역을 선택할 수 있도록 선택 및 입 
력 운영자 인터페이스(GUI; Graphic User Interface)를 제공하며, 상기 감시제어부는 상기 검색 인터페이스부로 
부터 지정된 인식영역에 대한 객체지도정보에서 특징정보를 추출하여 표시제어하고, 운영자의 선택에 따라 선택 
영역에 대한 근접영상을 요청하여 영상촬영시스템으로부터 전송된 근접영상정보를 표시관리 제어하며, 상기 검색 
인터페이스부로부터 지정된 검색영역에 대하여, 영상촬영시스템으로부터 전송받은 특징정보를 표시제어하고, 운 
영자의 선택에 따라 해당하는 선택영역에 대한 근접영상을 요청하여 영상촬영시스템으로부터 전송된 근접영상정 
보를 표시관리 제어하기 위한 프로세스를 제공할 뿐만 아니라, 상기 운영자 입력부의 검색요청에 따라 선택영역 
에 의해 선택된 객체의 특징정보를 상기 수신정보 데이터베이스에 등록된 객체지도정보와 비교하여 해당하는 다 
른 영상촬영시스템에서 촬영된 객체를 검색하여 그 결과를 제공하는 검색 프로세스를 제공하며, 근접영상에 해당 
하는 객체에 대한 운영자의 선택에 따른 추적 요청을 영상촬영시스템으로 전송하여, 영상촬영시스템으로부터 전 
송된 VR 영상을 표시관리 제어하며, 상기 제 2 영상 데이터베이스는 영상촬영시스템으로부터 수신된 배경영상(압 
축이미지) 및 검색에 따라 제공된 근접영상의 원본영상을 저장 관리시, 상기 제 2 영상 데이터베이스에는 영상촬 
영시스템의 식별정보별로 수신된 배경영상(압축이미지) 및 검색에 따라 제공된 근접영상의 원본영상을 저장 관리되며, 상기 수신정보 데이터베이스는 영상촬영시스템으로부터 수신된 객체지도정보를 저장 관리시, 상기 수신정 
보 데이터베이스에는 영상촬영시스템으로부터 수신된 객체지도정보가 영상촬영시스템의 식별정보에 따라 저장 관 
리되며, 상기 VR 영상 데이터베이스는 적어도 두 개 이상의 영상촬영시스템으로부터 수신된 배경영상, 객체지도 
정보, 원본영상을 이용해 상기 감시제어부에 의해 생성된 VR 영상을 저장 관리하며, 상기 운영자 입력부(280)는 
운영자가 영상촬영시스템에 수동 지령입력 및 모니터링 화면으로부터 검색영역선택, 객체검색요청(원본영상요 
청), 객체추적요청을 위한 을 위해 구성되며, 상기 감시제어부는 위치 추적수단, 위치 예측수단, 위치 전달수단, 
VR 영상 생성수단 및 VR 영상 전달수단을 구비하며, 상기 위치 추적수단은 현재 객체를 인식한 영상촬영시스템으 
로부터 수신된 배경영상, 객체지도정보, 원본영상을 이용해 운영자에 의해 상기 운영자 입력부로부터 선택된 객 
체에 대한 위치 추적을 수행시, 선택된 객체에 대해서 실시간으로 현재 객체가 위치한 영상촬영시스템으로부터 
360°의 파노라마로 촬영된 배경영상, 원본영상을 수신하며, 객체지도정보로부터 상기 배경영상 카메라부의 중심 
축(x1)으로부터 상기 근접영상 카메라부의 회전 각도(a1) 정보를 추출한 뒤, 상기 위치 예측수단으로 전달하며, 
상기 위치 예측수단은 현재 객체가 위치한 영상촬영시스템으로부터 수신된 360°의 파노라마로 촬영된 배경영상 
과, 원본영상과, 상기 배경영상 카메라부의 중심축(x1)으로부터 상기 근접영상 카메라부의 회전 각도(a1) 정보를 
이용해 객체가 진행할 다음 영상촬영시스템을 추출하며, 배경영상에서의 객체의 방위정보를 추출하는데, 영상촬 
영시스템으로부터 수신된 360°의 파노라마로 촬영된 배경영상과 원본영상을 상기 배경영상 패턴이미지 데이터베 
이스의 배경영상패턴데이터를 이용하여 방위영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상에서의 
방위정보(동,서,남,북 또는 방위각 정보)를 인식하고, 원본영상에 해당하는 객체의 특징정보를 추출하여, 특징정 
보 중 크기의 변화에 따른 원근 변화를 이용하여 상기 근접영상 카메라부로부터의 거리정보를 인식하며, 상기 위 
치 예측수단은 인식된 방위정보 및 거리정보, 그리고 현재의 영상촬영시스템의 고유번호와 위치정보를 이용해 현 
재의 영상촬영시스템을 제외한 다수의 영상촬영시스템 중 객체가 다음으로 진행하는 영상촬영시스템을 적어도 하 
나 이상의 추출을 수행하며, 상기 위치 예측수단에 의해 추출된 각 영상촬영시스템으로 객체에 대한 현재의 영상 
촬영시스템에 의해 생성된 객체지도정보를 상기 네트워크를 통해 전달하여 객체추적을 요청하며, 상기 VR 영상 
생성수단은 진행 예정인 영상촬영시스템에 의한 객체지도정보 상의 객체 특징정보와 일치하는 객체에 대한 인식 
이 완료되면, 인식이 완료된 영상촬영시스템으로부터 360°의 파노라마로 촬영된 배경영상과, 객체에 대한 원본 
영상과, 배경영상 카메라부의 중심축(x1)으로부터 근접영상 카메라부의 회전 각도(a2) 정보를 수신한 뒤, 진행 
예정인 영상촬영시스템으로부터 수신된 360°의 파노라마로 촬영된 배경영상 및 원본영상과, 상기 위치 추적수단 
에 의해 수신된 현재 객체를 인식한 영상촬영시스템으로부터 수신된 배경영상 및 원본영상을 이용하여 2차원 또 
는 3차원 가상현실(Virtual Reality, 'VR') 영상정보를 생성시, 진행 예정인 영상촬영시스템으로부터 수신된 360 
°의 파노라마로 촬영된 배경영상과 원본영상을 상기 배경영상 패턴이미지 데이터베이스의 배경영상패턴데이터를 
이용하여 방위영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상에서의 방위정보(동,서,남,북 또는 방 
위각 정보)를 인식하고, 원본영상에 해당하는 객체의 특징정보를 추출하여, 특징정보 중 크기의 변화에 따른 원 
근 변화를 이용하여 근접영상 카메라부로부터의 거리정보를 인식한 뒤, 진행 예정인 영상촬영시스템으로부터 수 
신된 360°의 파노라마로 촬영된 배경영상과, 상기 위치 추적수단에 의해 수신된 현재 객체를 인식한 영상촬영시 
스템으로부터 수신된 배경영상을 합성하여 VR 영상 배경정보를 생성한 뒤, 진행 예정인 영상촬영시스템 및 상기 
위치 추적수단에 의해 수신된 현재 객체를 인식한 영상촬영시스템 각각으로부터 수신된 방위정보 및 거리정보를 
이용해 합성에 따라 생성된 VR 영상 배경정보 상에 객체의 위치 좌표로 인식하여, 2개의 원본영상을 이용해 생성 
된 3차원 폴리곤 집합에 해당하는 객체 정보를 삽입시킨 VR 영상정보를 생성하며, 상기 VR 영상 전달수단은 상기 
네트워크를 통해 상기 추적자 모바일디바이스로 VR 영상정보를 제공하여, 객체에 대한 추적을 3차원 공간상에서 
추적하도록 하며, 상기 위치 추적수단은 영상촬영시스템으로부터 수신된 객체지도정보로부터 상기 배경영상 카메 
라부의 중심축(x1)으로부터 상기 근접영상 카메라부의 회전 각도(a1) 정보뿐만 아니라, 상기 근접영상 카메라부 
의 상하로의 틸트 각도 정보를 추출하여 상기 위치 예측수단으로 전달시 상기 위치 예측수단은 높이에 대한 정보 
를 추가적으로 생성하여 VR 영상정보 생성시 객체가 비행체의 경우 높이 정보도 포함될 수 있도록 하는 것을 특 
징으로 한다. 
이에 의해, 특정한 장소에서 특정한 시간에 파노라마로 촬영된 영상에서 생성되는 공간좌표와 근접 촬영한 영상 
내의 사물과 사람의 좌표를 동기화시켜, 인식하고자 하는 모든 사물 또는 사람들의 위치를 나타낼 수 있는 VR 영 
상을 생성하고, 인식하고자 하는 객체인 피사체의 정보뿐만 아니라, 피사체의 인식과 관련될 수 있는 주변의 다 
른 물체 및 사람들의 상세한 정황(상황) 정보를 VR 영상을 통해 확인할 수 있는 효과를 제공한다. 
또한, 본 발명은, 감시시스템으로 하여금 공간 배경영상으로 검색하고, 필요에 따라 배경 내의 객체별 영상 및 
정보를 제공하는 것을 기반으로, 공간배경에서 검색된 객체에 대한 추적을 위해 다수의 연동된 영상촬영시스템을 
활용하여 추적을 용이하도록 하며, 추적에 대한 정보를 2차원 또는 3차원 가상현실 영상정보로 제공함으로써, 추 
적이 용이하도록 하는 효과를 제공한다. 
뿐만 아니라, 본 발명은, 2차원 또는 3차원으로 합성된 VR 배경영상을 기준으로 객체를 인식하고, 그 인식된 객 
체를 VR 객체영상으로 제공함으로써, 객체의 검색 및 분류가 가능하게 됨에 따라서 원하는 객체에 대한 추적을 
할 수 있을 뿐만 아니라, 추적자의 요구에 따라 2차원 VR 영상정보 또는 3차원 VR 영상정보로 선택적으로 제공할 
수 있는 효과를 제공한다.