Patent KR-101351085-B1 (KR)
Title: 실물화상기
IPC: H04N5/262
Filed: 2012-03-20
Granted: 2014-01-13
Abstract: 본원 발명의 일 실시예에 따르면, 사용자의 모습을 촬영하는 하나 이상의 카메라들; 콘텐츠를 제공하는 하나 이상의 콘텐츠 입력부들; 촬상물을 촬영하고, 상기 촬영된 촬상물의 영상을 고배율로 확대하여 출력하는 실물화상제공부; 가상 스튜디오를 구성하는 영상들이 저장되어 있는 데이터 베이스; 가상 스튜디오를 구성하도록 상기 영상들을 조합하는 가상 스튜디오 생성부; 사용자가 미리 정한 출력 모드들 중 하나의 출력 모드를 선택하는 화면 구성 변환 장치; 상기 카메라들, 상기 콘텐츠 입력부들, 상기 가상 스튜디오 생성부 및 상기 실물화상제공부로부터 제공된 영상들이 상기 선택된 출력 모드에 적용되도록 변환하는 화면 전환부; 상기 변환된 영상들을 합성하여 출력하는 렌더부; 및 상기 렌더부에 의해 출력된 영상들을 디스플레이하는 디스플레이 장치를 포함하는, 실물화상기가 제공된다.   
본 발명은 크로마키 혹은 TOF 등의 기법을 이용하여 다양한 입력(카메라, 노트북, 동화상)의 발표 내용을 가상 강의실에 합성하여 한화면속에 강사와 발표 내용을 아름다운 배경 스튜디오 화면으로 다양한 화면구성으로 출력시키는 강의 방법에 관한 것으로서, 보다 구체적으로는 (1) 복수 개의 3D 배경 레이어를 제공하고 이를 편집하여 설계하고, 이 가상 강의실에 강사와 발표내용을 배치하여 이를 다양한 화면으로 보여 주게 설계하는 가상강의실 편집 및 저장하는 단계, (2) 단수 혹은 복수의 카메라를 이용하여 강사의 강의 모습을 영상으로 촬영하는 단계, (3) 촬영한 상기 강의 모습 영상에서 크로마키 기법 등을 이용하여 상기 강사 부분만 강사 레이어로 추출하는 단계, (4) 상기 가상 강의실 그래픽 배경 레이어에 적어도 하나 이상의 강의 자료를 표시하는 강의 자료 레이어와 상기 강사 레이어를 합성하여 최종 영상을 생성하고 디스플레이 장치로 출력하는 단계, (5) 상기 강사가 태블릿을 이용하여 판서하는 경우, 판서한 내용을 판서 레이어로 상기 최종 영상에 추가 합성하여 상기 디스플레이 장치로 출력하는 단계 및 (6) 이들 장면의 변환, 입력 발표 화면에 보여줄 노트북 화면, 동화상, 외부 카메라 등을 자유로이 선택하고 변경을 마우스 하나로 가능하게 하는 자동 혹은 마우스 제어방식의 스위칭 혹은 자동 프레젠테이션 기기로 (7) 수동으로 상기 강사가 화면 구성 변환 장치를 조작하는 경우, 상기 강의 자료 레이어, 상기 강사 레이어, 상기 판서 레이어의 크기, 위치, 또는 각도를 변환하여 재합성한 후 상기 디스플레이 장치로 출력하되, 상기 강의 자료 레이어와 상기 판서 레이어의 크기, 위치, 또는 각도는 동일한 비율로 변환되도록 하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.  
본 발명에서 제안하고 있는 크로마키 등의 강사 이미지 추출에 의한 가상 강의실 발표 화면 합성 기법을 이용한 가상 강의 방법 및 장치에 따르면, 강사가 강의하는 모습을 카메라로 촬영한 후 크로마키 등의 기법을 이용하여 강사의 모습만을 별도로 추출하고, 미리 저장된 가상 강의실의 배경 위에 강사의 강의 자료 및 크로마키 등의 기법으로 추출한 강사의 모습을 자연스럽게 실시간으로 합성함으로써, 강의 자료와 강사의 모습이 분리되지 않으므로 청중의 시선을 집중시킬 수 있어 강의의 효율을 대폭 상승시킬 수 있으며, 숙련된 편집기술자에 의한 별도의 수동 편집 과정이 필요하지 않으므로 강의 준비에 필요한 시간을 절약할 수 있고, 합성된 화면을 강의 파일로 녹화 저장하여 추후 다른 청중에게 용이하게 제공할 수 있다. 
또한, 본 발명에 따른 크로마키 등의 배경 추출 기법을 이용한 가상 강의실 강의 방법 및 장치는, 강사의 모습 및 강사의 강의 자료를 합성하는 과정에서 일반 방송 장치의 스위처나 믹서 등의 방식에 전문 조작자가 따로 방송 장비 운영을 하면서 강의를 녹화하는 기존의 방식과 달리 일반의 강사가 마우스만으로 모든 기능을 손쉽게 조정할 있도록 설계되며, 특히 자동모드를 이용하여 강사가 장비 운영을 하지 않고 일반 강의만 해도 마우스의 움직임만을 자동으로 장치가 감지해 강의를 자동으로 방송 스튜디오에서 방송 전문가들이 장비 운영을 하면서 촬영을 하듯 만들어지는 자동 가상 강의 장치이다.  
또한, 수동 모드 시에 간단한 스위처 버튼만으로 장치를 보지 않고도 손쉽게 버튼을 손가락만으로 간단히 조작함으로써 각각의 크기, 위치, 각도를 자유롭게 변환시킬 수 있으므로, 기존 방법의 정형화된 화면 구성으로 인하여 청중이 강의 도중 지루해하는 것을 방지할 수 있으며, 강사는 전달하고자 하는 내용의 특성 또는 강의실의 규모에 따라 강의 자료를 확대하거나 또는 강사의 모습을 확대할 수 있기 때문에, 보다 효율적으로 강의를 진행할 수 있다. 
뿐만 아니라, 본 발명에 따른 크로마키 등 배경 제거 기법을 이용한 가상 강의실 강의 방법 및 장치는, 미리 제공되는 강의실의 3D, 2D 멀티 레이어 배경을 자유로이 변경하여 무한한 강의실을 아름답게 선택하여 사용하고 3-5분 이내에 자신의 강의실을 만들어 사용하게 하는 강의실 편집 기능과, 강의 시 사용하는 다양한 출력 장면을 편집하는 기능을 제공함으로서 누구나 자신의 원하는 가상 강의가 가능하게 하고 외부 카메라, 노트북, 비디오 입력을 원터치로 선택해 장면에 보여주게 하며, 마우스 혹은 태블릿 입력을 통해 가상 발표 화면 위에 그림을 그리거나 마킹을 하는 기능이 제공되어 실물화상기, 전자 칠판, 질문자 및 외부 비디오를 원터치로 스위칭해 보여주는 스위처 믹서가 동시에 제공되는 통합 차세대 프레젠테이션 장치이다. 
이 장치를 이용하여 강의출력 화면을 프로젝터로 보여주는 강의는 한 개 출력 화면에 강사와 발표 자료를 원하는 장면으로 때론 강사를 때론 발표 자료를 크고 작게 합성하여 애니메이션 장면으로 다양한 자동 전환을 통해 보여 줌으로서 청중이 한 개 화면만 보면서 TV프로그램처럼 보아야할 장면을 강사의 의중대로 자동 혹은 수동으로 장면이 스위칭 되면 보이게 되어 아름다운 가상 화면을 통해 최고의 강의 집중을 유발할 수 있고, 카메라를 보며 강의하는 강사의 눈 맞춤이 전체 청중들을 동시에 만들어 냄으로써 가상 강의의 집중도를 최고로 높이게 한다. 
특히 본 장치를 사용하여 실시간으로 녹화를 하는 비디오는 실제 강의를 대체할 정도의 강의 내용이 되어 한번 강의를 하면 다시 편집 없이 사용해도 실제 강의보다 더 낳은 강의효과를 만들어 내게 됨으로써 실질적인 실시간 강의 녹화기가 된다. 이와 같은 방식으로 원격지에서 강의를 들어도 실제 강의보다 더 효과적인 원격 강의가 만들어 짐으로써 그동안 실제 사용이 불가했던 원격 강의 장치가 가능하게 된다.