Patent KR-102611458-B1 (KR)
IPC: A61B5/16
Filed: 2018-09-06
Granted: 2023-12-11
Abstract: 본 발명은 아기 주변 영역을 이용한 아기의 감정 상태 증강 방법에 관한 것으로, 사운드 입력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 아기의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 아기 표정 패턴 정보와 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보와, 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C(C≥2)개의 아기 울음소리 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 포함하는 울음소리 기반 감정상태 판별 정보와, 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 아기 안면 주변 영역을 아기의 감정 상태에 대응시켜 증강하기 위한 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보를 하나 이상의 지정된 가상객체 데이터와 매칭하는 가상객체 매칭 정보를 운영D/B에 등록 저장하고, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 아기를 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하고, 수신된 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 저장영역에 연계 저장 관리하고, 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터를 수신하고 상기 비디오 데이터와 연계하여 지정된 저장매체의 저장영역에 저장 관리하고, 지정된 비디오 데이터를 판독하여 상기 거점 내의 아기의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 아기 표정 인식 정보를 인식하고, 상기 비디오 데이터와 연계된 일정 구간의 오디오 데이터를 판독하여 상기 아기에 대한 j(j≥1)개의 아기 울음소리 인식 정보를 인식하고, 상기 비디오 데이터와 연계된 센싱 데이터를 판독하여 상기 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식하고, 상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 아기 표정 패턴 정보를 확인하고 상기 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별하고, 상기 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c(1≤c≤C)개의 아기 울음소리 패턴 정보를 확인하고 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별하고, 상기 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인하고 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 아기 감정 항목을 판별하고, 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값, n2개의 감정 항목 별 아기 감정 상태 값 및 n3개의 감정 항목 별 아기 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성하고, 상기 가상객체 매칭 정보를 근거로 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고, 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하는 아기의 감정 상태를 표현하는 문장열을 아기 안면 주변 영역에 말풍선 형태로 표시하는 q(1≤q≤r)개의 가상객체 데이터를 상기 비디오 데이터 상의 아기 안면 주변 영역에 중첩 표시하여 상기 아기 안면 주변 영역을 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하며, 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 사용자 무선단말의 앱이나 IPTV로 제공한다.