Patent KR-101743763-B1 (KR)
Title: 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
IPC: G09B5/02
Filed: 2015-06-29
Granted: 2017-06-05
Abstract: 본 발명은 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치에 관한 것이다. 본 발명은, 카메라(110), 터치스크린(120), 마이크로폰(130), 스피커(140), 송수신부(150), 제어부(160) 및 저장부(170)를 포함하며, 제어부(160)는 감성 아바타 이모티콘 생성 모듈(161), 하이브리드 특징점 검출 알고리즘 모듈(162) 및 스마트 러닝 학습 모듈(163)을 구비하는 스마트 러닝 학습 단말장치(100)에 있어서, 감성 아바타 이모티콘 생성 모듈(161)은, 감성 아바타 이모티콘 생성 모듈(161)은 특징점 검출 수단(161a), 캐릭터 생성 수단(161b), 템플릿 리소스 이미지 생성 수단(161c), 3D 페이스 적용 수단(161d) 및 음성 파싱 수단(161e)을 구비하며, 특징점 검출 수단(161a)은, 저장부(170)에 기저장된 템플릿 캐릭터 정보(템플릿 캐릭터 정보의 경우, 감성 아바타 얼굴 캐릭터의 각 부위별 그룹 아이콘 정보로, 각 부위를 중심으로 하여 미리 생성되며, 템플릿 캐릭터 정보가 눈 부위 그룹 아이콘 정보인 경우 눈 밑 주름, 흰자위, 눈동자 테두리 등과 같은 그룹 아이콘을 가지며, 입의 경우 입술 라인, 입술 반짝이, 입술 주름 등과 같은 그룹 아이콘을 가짐)를 기준으로 사용자 얼굴과 닮음변환행렬 구하기를 수행하며, 특징점 검출 수단(161a)의 2D 정면 얼굴 사진을 기반으로 사용자 캐릭터를 표현하기 위한 표준 데이터인 템플릿 캐릭터 정보(캐릭터 생성을 위한 템플릿 캐릭터 정보의 경우, 애니메이션 형식으로 구현되는 최종적인 생성물인 감성 아바타 이모티콘에 얼굴 영역으로 포함되는 감성 아바타 얼굴 캐릭터, 그리고 감성 아바타 얼굴 캐릭터를 포함한 애니메이션을 생성하기 위해서 미리 저장된 표준 데이터로 각 얼굴 구성요소에 대한 그룹 정보로 형성)를 이용한 닮음변환행렬 구하기를 수행하기 위해, 2D 정면 얼굴 사진이미지를 분석하고 얼굴 영역을 추출하고 얼굴 영역의 얼굴 구성요소인 눈, 코 및 입(선택적으로 귀, 턱 등을 포함)의 위치를 자동으로 파악하는 과정을 거치게 되며, 템플릿 캐릭터 정보로부터 각 얼굴 구성요소에 대한 그룹 정보를 이용해 눈, 코, 입, 귀 및 턱과 매칭되는 표준 데이터를 추출하고 이를 저장한 후, 실제 캐릭터화 할 대상인 2D 정면 얼굴 사진이미지의 각 부위인 눈, 코, 입, 귀 및 턱의 외곽선에서 선택된 기준점과, 미리 저장된 표준 데이터를 이용하여 각 부위별 그룹에서 선택된 닮음변환행렬을 생성하며, 캐릭터 생성 수단(161b)은, 사용자의 얼굴 영역을 구현한 감성 아바타 얼굴 캐릭터를 이용한 애니메이션 형태의 '감성 아바타 이모티콘'을 생성하기 위해, 2D 정면 얼굴 사진이미지 중 얼굴 영역에 대한 자동 추출을 수행하며, 특징점 검출 수단(161a)에 의해 생성된 닮음변환행렬에 따라, 저장부(170)에 기저장된 템플릿 캐릭터 정보(템플릿 캐릭터 정보로 입술의 변화, 눈의 윙크 표정으로의 변화, 입술의 뾰로퉁한 표정으로의 변화를 포함하여 표현하기 위한 표준 데이터)를 매칭시켜 사용자 얼굴 데이터베이스를 정규화(normalization)하여, '감성 아바타 얼굴 캐릭터 정규화 정보'를 생성하여 저장부(170)에 저장하며, 특징점 검출 수단(161a)에 의해 생성된 닮음변환행렬을 이용해 감성 아바타 얼굴 캐릭터의 각 부위별 그룹 아이콘 중 하나를 추출하여 조합한 '감성 아바타 얼굴 캐릭터 정규화 정보'를 생성시 감성 아바타 얼굴 캐릭터 정규화 정보를 각 얼굴 구성요소 중 하나에 대한 애니메이션 효과를 위해 사용하기 위해 생성하며, shadow 효과, 그리고 눈눈썹 교체를 위한 감마 보정 및 음영 적용을 수행한 '감성 아바타 얼굴 캐릭터 정규화 정보'를 생성하며, 템플릿 리소스 이미지 생성 수단(161c)은, 템플릿 애니메이션 콘텐츠 정보로 캐릭터 생성 수단(161b)에 의해 추출된 2D 정면 얼굴 사진이미지 중 얼굴 영역을 파싱(parsing) 시, 애니메이션 형태로 표출 가능한 템플릿 애니메이션 콘텐츠 정보로 2D 정면 얼굴 사진이미지 중 얼굴 영역을 파싱하여, 2D 감성 아바타 이모티콘 생성을 위한 과정을 수행하며, 파싱된 얼굴 영역에 얼굴 구성요소를 파싱한 상태에서 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에 대한 적합 여부를 판단시, 파싱된 얼굴 영역이 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 애니메이션에서의 표준 얼굴 부위별 정보와 추출된 얼굴 영역에서의 눈, 코, 입, 귀 및 턱의 매칭 정보인 적합도의 퍼센테이지를 분석하며, 미리 설정된 임계 퍼센테이지 이상인 경우 적합한 것으로 판단하며, 반대로 미리 설정된 임계 퍼센테이지 미만인 경우 부적합 것으로 판단에 따라, 자체 이미지 애니메이션에 적합한 경우 2D 정면 얼굴 사진이미지의 얼굴 영역을 구성하는 얼굴 구성요소로 애니메이션의 얼굴 구성요소를 변경함으로써, 애니메이션 형태의 2D 감성 아바타 이모티콘 생성을 완료하며, 반대로 판단 기준에 따른 판단 결과 자체 이미지 애니메이션에 적합하지 않은 경우, 캐릭터 생성 수단(161b)에 의해 생성된 '감성 아바타 얼굴 캐릭터 정규화 정보'를 저장부(170)에 기저장된 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에서의 얼굴 구성요소 템플릿으로 선택하며, 저장부(170)에는 얼굴의 정규화를 위해 생성된 얼굴 구성요소 템플릿 정보의 집합인 감성 아바타 얼굴 캐릭터 정규화 정보를 저장되고, 얼굴 표정 애니메이션을 위한 애니메이션 템플릿 정보에 해당하는 템플릿 애니메이션 콘텐츠 정보도 미리 저장되는 경우, 닮음변환행렬의 정규화 정보인 '감성 아바타 얼굴 캐릭터 정규화 정보'를 이루는 각 얼굴 구성요소 템플릿 정보 중 적어도 하나 이상에 대한 얼굴 영역 크로핑(cropping)을 수행함으로써, 애니메이션을 구현하는 감성 아바타에 대한 얼굴 구성요소를 변경하여 저장부(170)에 저장한 뒤, 선택된 얼굴 구성요소 템플릿에 해당하는 얼굴 구성요소 구현을 위한 사용자의 피부색상, 상태를 추출시, 2D 감성 아바타 이모티콘에 적용하기 위한 제 1 부분 과정으로 선택된 얼굴 구성요소 템플릿에 해당하는 피부를 생성하는 경우, 애니메이션 적용 부분에 따라 사용자 얼굴의 각  피부 색상 속성 추출 후 애니메이션 효과에 따라 사용자의 피부 속성을 반영하여 얼굴 피부를 제거 및 자동 생성하며, 2D 감성 아바타 이모티콘에 적용하기 위한 제 2 부분 과정으로 얼굴 구성요소 변경을 수행시, 애니메이션 효과에 따라 얼굴의 눈썹, 눈, 입술, 턱의 형태를 변경하는데, 사용자 얼굴구성 요소인 얼굴의 눈썹, 눈, 입술, 턱의 형태를 자체로 변경하고, 제 1 부분 과정에 의해 생성된 템플릿 얼굴 구성요소를 사용자 얼굴 요소 색상과 형태의 속성에 맞게 자동 조절하여 사용자 얼굴에 적용하고, 2D 정면 얼굴 사진이미지에서 애니메이션 대상 중 얼굴 캐릭터 아이콘으로 적용될 얼굴 영역의 크기 및 색상의 속성을 추출하며, 선택된 얼굴 구성요소 템플릿을 애니메이션 대상 아이콘으로 적용하도록 추출된 얼굴 영역의 크기 및 색상의 속성에 맞춰서 색상과 크기로 변경하여 2D 감성 아바타 이모티콘 생성을 완료하며, 3D 페이스 적용 수단(161d)은, 템플릿 리소스 이미지 생성 수단(161c)에 의해 2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 상, 하, 좌, 우의 모습을 자동생성하기 위해 2D 기반의 3D 페이스 모렐링(3D face modeling based on 2D)을 수행하여 애니메이션 형식으로 표출되는 3D 감성 아바타 이모티콘을 생성시, 애니메이션 지정 내용에 따라 사용자의 2D 정면 얼굴 사진이미지의 상, 하, 좌 및 우를 중심축으로 왜곡하여 회전효과를 생성하기 위한 3D 페이스 애니메이션 효과 표현을 수행하기 위한 2D 기반의 3D 페이스 모렐링(3D face modeling based on 2D) 과정에서,  2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 디코딩을 수행하여 디코딩된 이미지를 생성하여 저장부(170)에 저장한 뒤, 3차원 그래픽에서 입체형상을 표현하는데 사용하는 가장 작은 단위인 폴리곤을 생성하고, 폴리곤을 여러 개를 만들어 폴리곤 집합으로 변환한 뒤, 생성된 폴리곤 집합을 저장부(170)에 저장하고, 생성된 폴리곤 집합 위에 저장부(170)에 저장된 디코딩된 이미지를 붙이는 텍스쳐 맵핑을 수행하여 텍스쳐맵핑된 데이터인 3차원 얼굴 영역 데이터를 생성하여, 최종적으로 3차원 얼굴 영역 데이터가 적용된 3D 감성 아바타 이모티콘을 100분의 1 수준(0.01배)으로 스케일다운하여 저장부(170)에 저장하며, 터치스크린(120)으로 출력하며, 3D 페이스 모렐링(3D face modeling based on 2D)에 대한 전처리 이미지 과정으로, 2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 이미지 정보로부터 이미지의 외곽선 검출을 수행하며, 이미지의 외곽선 검출을 하기 위해서 사진의 이미지에 대해 이진화 또는 특수처리를 하며, 이진화는 여러 단계(256 단계)의 컬러값을 0과 1의 값으로 낮추는 과정이며, 이진화를 통해 이미지의 에지 정보를 선명하도록 하며, 특수처리시 컬러 이미지를 그레이 레벨로 변경하거나 외곽선 검출을 실행하며, 특수처리시 외곽선이 추출되어 사용자가 외곽선의 기준점 선택을 향상시키며, 외곽선에서 선택된 기준점과 표준 데이터에 해당하는 저장부(170)에 기저장된 템플릿 캐릭터 정보를 이용하며, 음성 파싱 수단(161e)은, 템플릿 리소스 이미지 생성 수단(161c)에 의해 생성된 2D 감성 아바타 이모티콘, 3D 페이스 적용 수단(161d)에 의해 생성된 3D 감성 아바타 이모티콘에 대한 이모티콘 템플릿 콘텐츠를 저장부(170)로부터 추출한 뒤, 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘을 터치스크린(120)으로 템플릿 애니메이션 콘텐츠 정보에 의한 애니메이션 형식으로 출력한 뒤, 마이크로폰(130)으로 입력되는 음성 신호를 수신하여 음성 신호가 수신된 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대해 각각 음성 표출을 포함한 2D 감성 아바타 이모티콘 및 음성 표출을 포함한 3D 감성 아바타 이모티콘으로 변환하여 저장부(170)에 저장하여 음성을 포함한 감성 아바타 이모티콘에 대한 생성을 완료하는 것을 특징으로 한다. 이에 의해, 학습자 자신의 감성 아바타가 즉시 생성되어 템플릿화된 기제작된 학습 콘텐츠를 파싱하여 삽입되는 부분, 학습자 자신의 음성을 파싱하여 콘텐츠를 운영(메뉴 구동 등)하는 부분, 학습자 자신의 음성이 콘텐츠에 즉각 삽입되어 학습자 자신의 아바타 또는 표준 아바타에 해당하는 감성 아바타의 립싱크와 연계되어 녹화되는 부분을 제공함으로써, 경험중심의 특징을 가지고 있는 어린이 교육에 매우 효과적인 실감나는 간접경험을 제공한다.  또한, 사용자 자신이 캐릭터화 되어 다양한 표정에 따른 눈, 코, 입 등의 형태와 색상을 사진의 느낌 그대로 자동 생성 방식의 감성 아바타 이모티콘을 이용한 스마트 러닝 학습의 몰입도롤 향상시킬 수 있는 효과를 제공한다.  뿐만 아니라, 문자열 파싱을 수행하고, 음성을 포함한 감성 아바타 이모티콘을 립싱크 애니메이션 타입으로 생성하고, 감성 애니메이션 실시간 조합이 가능한 장점을 제공한다.