(57)【要約】【課題】撮像された人物の動画像から簡略画像を作成し、リアルタイムかつリアルにこの簡略画像の顔に人物の表情を具現可能にする。【解決手段】人物の動画像から顔の表情を分析する表情分析手段１０３と、人物の動画像から人物の顔の簡略画像を作成して記憶装置１１２に蓄積する簡略画像作成手段１０９と、表情の分析結果に従って記憶装置１１２に蓄積されている簡略画像から対応する簡略画像を選択する簡略画像選択手段１０７と、選択された簡略画像に対して、表情分析手段１０３により分析した表情に応じて特殊効果を施す特殊効果処理手段１０８とを備える。【選択図】　図１
2004064102.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された人物の動画像から人物の顔の表情を分析する表情分析手段と、
前記撮像装置により撮像された人物の動画像から当該人物の顔の簡略画像を作成して記憶装置に蓄積する簡略画像作成手段と、
前記表情分析手段から得られた表情分析結果に従って前記記憶装置に蓄積されている簡略画像から対応する簡略画像を選択する簡略画像選択手段と、
前記簡略画像選択手段により選択された簡略画像に対して、前記表情分析手段により分析した表情に応じて特殊効果を施す特殊効果処理手段と、
を具備したことを特徴とする仮想テレビ電話装置。
【請求項２】
撮像装置により撮像された人物の動画像から人物の顔の表情を分析する表情分析手段と、
前記撮像装置により撮像された人物の動画像から当該人物の顔の簡略画像を作成して記憶装置に蓄積する簡略画像作成手段と、
音声入力装置より入力された音声に基づいて前記人物の口形状を推測する口形状推測手段と、
前記表情分析手段および口形状推測手段から得られた表情分析結果および口形状推測結果に従って前記記憶装置に蓄積されている簡略画像から対応する簡略画像を選択する簡略画像選択手段と、
前記簡略画像選択手段により選択された簡略画像に対して、前記表情分析手段により分析した表情に応じて特殊効果を施す特殊効果処理手段と、
を具備したことを特徴とする仮想テレビ電話装置。
【請求項３】
前記表情分析手段は、
撮像された人物の動画像から人物の顔領域を抜き出す顔領域画像抜き出し部と、
前記顔領域画像抜き出し部より抜き出した顔領域の画像から顔構成要素を判断する顔構成要素判断部と、
前記顔構成要素判断部による前記顔構成要素の判断結果から表情を判断しパラメータ化する表情判断部と、
を有することを特徴とする請求項１または請求項２に記載の仮想テレビ電話装置。
【請求項４】
前記特殊効果処理手段は、前記表情分析手段において抽出された表情パラメータに応じて前記簡略画像選択手段により選択した簡略画像を変形させたり、背景を変更したりする画像処理機能を有することを特徴とする請求項１または請求項２に記載の仮想テレビ電話装置。
【請求項５】
前記簡略画像作成手段は、
前記撮像装置から得られた動画像の顔の各部の三次元位置を計測する三次元位置計測部と、
前記三次元位置計測部により計測された三次元位置情報を基に立体画像を作成する立体画像作成部と、
を有することを特徴とする請求項１から請求項４のいずれか１項に記載の仮想テレビ電話装置。
【請求項６】
撮像した人物の動画像からこの人物の顔の表情を分析する表情分析工程と、
前記動画像から人物の顔の簡略画像を作成して記憶装置に蓄積する簡略画像作成工程と、
前記表情分析ステップで抽出された表情パラメータを基に前記記憶装置から簡略画像を選択する簡略画像選択工程と、
前記簡略画像選択工程で作成された簡略画像に対し表情パラメータに応じた特殊効果を施す特殊効果処理工程と、
を具備することを特徴とする仮想テレビ電話装置における画像生成方法。
【請求項７】
撮像した人物の動画像からこの人物の顔の表情を分析する表情分析工程と、
前記人物の音声から該人物の口形状を推測する口形状推測工程と、
前記動画像から人物の顔の簡略画像を作成して記憶装置に蓄積する簡略画像作成工程と、
前記表情分析工程および口形状推測工程で抽出された表情パラメータおよび口形状パラメータを基に前記記憶装置から簡略画像を選択する簡略画像選択工程と、
前記簡略画像選択工程で作成された簡略画像に対し表情パラメータに応じた特殊効果を施す特殊効果付加処理工程と、
を具備することを特徴とする仮想テレビ電話装置における画像生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯電話や無線ローカルエリアネットワーク（ＬＡＮ）、インターネットと言った通信基盤を利用して遠隔地の不特定多数の受信者にリアルタイムに送信者の感情や表情を伝える仮想テレビ電話装置および仮想テレビ電話装置における画像生成方法に関する。
【０００２】
【従来の技術】
従来の仮想テレビ電話装置としては、例えば音声に応じた口形状を、データベースに登録されているアニメーションから選択することで、遠隔地にいる受信者に口形状の動きと音声が同期したアニメーション画像を画面表示させるものがある。
【０００３】
図２は従来の仮想テレビ電話装置の構成を示すブロック図である。図２において、マイクロホンを通じて入力された送信者の音声を音声分析手段２０１に入力すると、音声分析手段２０１はその音圧レベルおよび周波数に応じた音声パラメータを抽出して画像情報取得手段２０２に送信する。画像情報取得手段２０２は、音声パラメータを基にアニメーションデータベース２０３から対応するアニメーション画像を選択する。これにより音声に応じた動きをする口の映像を出力することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の仮想テレビ電話装置では、音声に応じて口の形状が変化する画像を選択して出力しているため、送信者である人物の口の動きは受信者に分かるものの顔にあらわれる細かい表情や感情を相手の受信者に伝えることができないと言う問題がある。
【０００５】
本発明は上記従来の問題点を解決するもので、画面表示するアニメーション画像に臨場感を付与することができる仮想テレビ電話装置および仮想テレビ電話装置における画像生成方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の仮想テレビ電話装置は、撮像装置により撮像された人物の動画像から人物の顔の表情を分析する表情分析手段と、前記撮像装置により撮像された人物の動画像から当該人物の顔の簡略画像を作成して記憶装置に蓄積する簡略画像作成手段と、前記表情分析手段から得られた表情分析結果に従って前記記憶装置に蓄積されている簡略画像から対応する簡略画像を選択する簡略画像選択手段と、前記簡略画像選択手段により選択された簡略画像に対して、前記表情分析手段により分析した表情に応じて特殊効果を施す特殊効果処理手段とを具備したことを特徴とする。
【０００７】
また、請求項６記載の仮想テレビ電話装置における画像生成方法は、撮像した人物の動画像からこの人物の顔の表情を分析する表情分析工程と、前記動画像から人物の顔の簡略画像を作成して記憶装置に蓄積する簡略画像作成工程と、前記表情分析ステップで抽出された表情パラメータを基に前記記憶装置から簡略画像を選択する簡略画像選択工程と、前記簡略画像選択工程で作成された簡略画像に対し表情パラメータに応じた特殊効果を施す特殊効果処理工程とを具備することを特徴とする。
【０００８】
上記構成によれば、送信者の動画像から得た顔の表情の情報をリアルタイムに取り出して、これを利用して表情豊かな顔のアニメーション画像を作成することができる。
【０００９】
請求項２記載の仮想テレビ電話装置は、撮像装置により撮像された人物の動画像から人物の顔の表情を分析する表情分析手段と、前記撮像装置により撮像された人物の動画像から当該人物の顔の簡略画像を作成して記憶装置に蓄積する簡略画像作成手段と、音声入力装置より入力された音声に基づいて前記人物の口形状を推測する口形状推測手段と、前記表情分析手段および口形状推測手段から得られた表情分析結果および口形状推測結果に従って前記記憶装置に蓄積されている簡略画像から対応する簡略画像を選択する簡略画像選択手段と、前記簡略画像選択手段により選択された簡略画像に対して、前記表情分析手段により分析した表情に応じて特殊効果を施す特殊効果処理手段とを具備したことを特徴とする。
【００１０】
また、請求項７記載の仮想テレビ電話装置における画像生成方法は、撮像した人物の動画像からこの人物の顔の表情を分析する表情分析工程と、前記人物の音声から該人物の口形状を推測する口形状推測工程と、前記動画像から人物の顔の簡略画像を作成して記憶装置に蓄積する簡略画像作成工程と、前記表情分析工程および口形状推測工程で抽出された表情パラメータおよび口形状パラメータを基に前記記憶装置から簡略画像を選択する簡略画像選択工程と、前記簡略画像選択工程で作成された簡略画像に対し表情パラメータに応じた特殊効果を施す特殊効果付加処理工程と、を具備することを特徴とする。
【００１１】
上記構成によれば、送信者の動画像から得た顔の表情の情報と送信者の音声に基づいて得た口形状情報とをリアルタイムに取り出して、これを利用してより表情豊かな顔のアニメーション画像を作成することができる。
【００１２】
請求項３記載の仮想テレビ電話装置は、請求項１または請求項２記載の仮想テレビ電話装置において、前記表情分析手段を、撮像された人物の動画像からこの人物の顔領域を抜き出す顔領域画像抜き出し部と、前記顔領域画像抜き出し部より抜き出した顔領域の画像から顔構成要素を判断する顔構成要素判断部と、前記顔構成要素判断部による顔構成要素の判断結果から表情を判断しパラメータ化する表情判断部とから構成したことを特徴とする。
【００１３】
上記構成によれば、動画像の一部である顔情報のみを取り出して、その顔の各部における特徴のある表情を高精度にパラメータ化することができる。
【００１４】
請求項４記載の仮想テレビ電話装置は、請求項１または請求項２記載の仮想テレビ電話装置において、前記特殊効果処理手段に、前記表情分析手段において抽出された表情パラメータに応じて前記簡略画像選択手段により選択した簡略画像を変形させたり、背景を変更したりする画像処理機能を持たせたことを特徴とする。
【００１５】
上記構成によれば、表情パラメータに応じて顔アニメーションを任意かつ効果的に変形させて、喜怒哀楽の表情を強調したり変化させたりすることができる。
【００１６】
請求項５記載の仮想テレビ電話装置は、請求項１から請求項４のいずれか１項に記載の仮想テレビ電話装置において、前記簡略画像作成手段に、前記撮像装置から得られた動画像の顔の各部の三次元位置を計測する三次元位置計測部と、前記三次元位置計測部により計測された三次元位置情報を基に立体画像を作成する立体画像作成部とを設けたことを特徴とする。
【００１７】
上記構成によれば、簡略画像の顔面を立体的に変化させることができ、仮想テレビ電話システムであるにも拘らず、送信者の表情を相手に詳しく伝達することができる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の一実施の形態に係る仮想テレビ電話装置を示すブロック図である。本実施の形態の仮想テレビ電話装置は、人物の表情を分析し、この表情に応じて選択された簡略画像に特殊効果を施すというものである。
【００１９】
図１において、１０１は画像入力装置としての撮像装置であり、ここでは人物の動画像を撮像するビデオカメラなどが用いられる。１０２は撮像した動画像の映像信号と同期信号とを混合した複合映像信号の処理を行って、次段の表情分析手段１０３へ入力する画像処理手段である。ここで、撮像対象となるのは送信側の人物である。
【００２０】
表情分析手段１０３は、入力された動画像より人物の顔領域の画像を特定して抜き出す顔領域画像抜き出し部１０４と、特定された顔領域の中から人物の顔を構成している目、鼻、口といった各部を特定する顔構成要素判断部１０５と、特定された顔各部の変形や位置関係、変化量から喜怒哀楽といった表情パラメータを抽出する表情判断部１０６とから構成され、表情を数値化した表情パラメータを簡略画像選択手段１０７と特殊効果処理手段１０８に出力する。
【００２１】
また、１０９は画像処理手段１０２を介して撮像装置１０１から得られた動画像に基づいて、人物の顔を簡略化したアニメーション画像をリアルタイムに作成する簡略画像作成手段である。１１２はこのアニメーション画像を記憶する記憶装置としての簡略画像データベースである。簡略画像作成手段１０９には、動画各部の三次元位置を計測する三次元位置計測部１１０および三次元位置計測部１１０により計測された三次元位置情報を基に立体画像を作成する立体画像作成部１１１が設けられている。なお、簡略画像データベース１１２には、人物の顔のアニメーションだけではなく、動物や他の人物といった色々なキャラクタを登録することができる。これにより、オリジナルなアニメーション画像を作成することができる。
【００２２】
１１３は音声入力装置としての収音用のマイクロホンであり、このマイクロホン１１３には送信側の前記人物が話す音声を増幅し、不要周波数成分およびノイズを除去して口形状推測手段１１５へ入力する音声処理手段１１４が接続されている。口形状推測手段１１５は入力された音声信号に基づいて人物の口形状を推測する。口形状推測手段１１５は、入力された音声を分析することでリアルタイムにどの音を発しているかを推測し、簡略画像選択手段１０７に出力する。
【００２３】
簡略画像選択手段１０７は、表情分析手段１０３から出力される表情パラメータおよび口形状の分析結果を基に、簡略画像作成手段１０９で作成されて記憶装置１１２に記憶された顔アニメーションまたは既に登録されているキャラクタアニメーションから、音声や表情に応じた画像を選択するように機能する。特殊効果処理手段１０８は、表情分析手段１０３から出力される表情パラメータに応じて選択された顔アニメーションを、変形させたり強調させたりする顔画像変形処理部１１０と、背景となる画像を切り替える背景処理部１１７とを備え、合成された表情付き簡略画像を出力するように機能する。
【００２４】
上記構成の仮想テレビ電話装置は、送信側の人物である送信者（発信者）を画像入力装置である撮像装置１０１により撮像し、撮像した人物の動画像を画像処理手段１０２を通じて表情分析手段１０３に入力する。表情分析手段１０３は、まず、動画像情報の中から、顔領域画像抜き出し部１０４によって人物の顔領域を特定して抜き出し、抜き出した顔領域の動画像における目、鼻、口などの顔各部の要素を顔構成要素判断部１０５において判断し、これらの顔各部の変形、位置関係、変化量から、表情判断部１０６が人物の喜怒哀楽を判断して、これら表情に対応して数値化した表情パラメータを出力する。表情パラメータは簡略画像選択手段１０７および特殊効果処理手段１０８に入力される。
【００２５】
一方、画像処理手段１０２から出力された動画像情報は簡略画像作成手段１０９にも入力される。簡略画像作成手段１０９は、人物の動画像から人物の基本である顔の簡略画像をアニメーションとしてリアルタイムにて作成し、記憶装置である簡略画像データベース１１２に登録する。なお、簡略画像作成手段１０９に三次元位置計測部１１０を設けることで、簡略画像における三次元位置を特定できる。そして特定した三次元位置に基づいて立体画像作成部１１１が立体画像を作成することができる。これにより立体的な簡略画像が作成される。
【００２６】
また、送信者は音声入力装置であるマイクロホン１１３に音声を入力すると、マイクロホン１１３からの音声信号が音声処理手段１１４にて増幅され、さらにノイズ等のフィルタリング処理が行われて口形状推測手段１１５に入力される。口形状推測手段１１５は、音声信号のレベルや周波数を解析し、解析結果が口形状およびその口形状の変化を推定する。つまり、人物の発した音声に基づいてその音声を発している口の形状およびその変化を判別して、口形状推測手段１１５がその判別結果としての口形状パラメータを前記簡略画像選択手段１０７に入力する。
【００２７】
従って、簡略画像選択手段１０７は口形状パラメータおよび表情分析手段１０３からの表情パラメータに基づいて記憶装置１１２に蓄積されている簡略画像情報の中から対応する簡略画像情報を選択して取り出し、特殊効果処理手段１０８に入力する。このため、特殊効果処理手段１０８では選択された簡略画像に対し、表情分析手段１０３から得られた表情パラメータに応じて特殊効果を施すこととなる。例えば、顔画像変形処理部１１６によって簡略画像の顔アニメーションを変形させたり、背景処理部１１７によって背景となる画像を切り換えて合成したりすることができる。この結果、特殊処理を施した表情付きの簡略画像情報が、図示しない画像制御手段を介して画像メモリに書き込まれるとともに、画像メモリから簡略画像情報を順次読み出して受信側に送信する。このため、受信側では送信者の顔の表情を表現した簡略画像を看取できることになる。
【００２８】
なお、本実施の形態では、簡略画像選択手段１０７は表情分析手段１０３からの表情パラメータおよび口形状推測手段１１５からの音声情報に基づく口形状パラメータの両方に基づいて、簡略画像データベースである記憶装置１１２に蓄えられている簡略画像の中から対応する簡略画像を選択し、これに特殊効果処理を施すこととしたが、表情パラメータのみに基づいて、記憶装置１１２に蓄えられた簡略画像の中から対応する簡略画像を選択してもよく、特殊効果処理を施せば、目、鼻、頬などといった顔面各部における喜怒哀楽の表情をアニメーション画像上に具現して、受信者に看取せしめることができる。
【００２９】
【発明の効果】
以上説明したように、本発明によれば、仮想テレビ電話装置において、送信者の動画像から得た顔の表情の情報をリアルタイムに取り出して、これを利用して表情豊かな顔のアニメーション画像を作成することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る仮想テレビ電話装置の構成を示すブロック図。
【図２】従来の仮想テレビ電話装置の構成を示すブロック図。
【符号の説明】
１０１　撮像装置
１０３　表情分析手段
１０４　顔領域画像抜き出し部
１０５　顔構成要素判断部
１０６　表情判断部
１０７　簡略画像選択手段
１０８　特殊効果処理手段
１０９　簡略画像作成手段
１１０　三次元位置計測部
１１１　立体画像作成部
１１２　簡略画像データベース（記憶装置）
１１３　マイクロホン（音声入力装置）
１１５　口形状推測手段
１１６　顔画像変形処理部
１１７　背景処理部
【図１】
2004064102.tif 000003
【図２】
2004064102.tif 000004