(57)【要約】【課題】ペットロボットや人物認証、在宅介護システムでの容態判定エンジンとして最適な情報処理装置を提供する。【解決手段】記憶装置１２に、特定の人物の過去の表情データを記録する過去データベース４２と、表示装置４の画面に動画で表示されるペット動画像の種々の表情が記録された表情データベース４６と、情報処理プログラムとが格納されている。情報処理プログラムは、デジタルカメラ６で撮った人物の表情を抽出して入力人物像の心理を判定し、この心理を反映した表情と動きをするペット動画像１４を入力人物像のフィードバック信号として表示装置１２の画面に表示し、ディジタルカメラ６の前の人物に感情的刺激をを与える。【選択図】  図１
2004227167.tif 000002
【特許請求の範囲】
【請求項１】
ＣＰＵと、これに接続する記憶装置と、前記ＣＰＵに接続する三次元画像処理装置と、前記三次元画像処理装置に接続するデジタルカメラと、前記ＣＰＵに接続する表示装置とを備え、前記記憶装置に、前記ディジタルカメラで撮った人物の表情からその人物の心理を判定し、該判定結果に基づいて前記ペット動画像の表情を決定するとともに、該ペット動画像を前記人物の表情のフィードバック信号として前記表示装置の画面に表示し前記人物に対して感情的刺激を付与する情報処理プログラムを格納したことを特徴とする表情等の情報処理装置。
【請求項２】
ＣＰＵと、これに接続する記憶装置と、前記ＣＰＵに接続する三次元画像処理装置と、前記三次元画像処理装置に接続するデジタルカメラと、前記ＣＰＵに接続する表示装置とを備え、前記記憶装置に、特定の人物の過去の表情データを記録する過去データベースと、前記表示装置の画面に動画で表示されるペット動画像の種々の表情が記録された表情データベースと、情報処理プログラムとが格納され、該情報処理プログラムが前記デジタルカメラで撮った人物の表情を抽出する動き抽出手段と、前記動き抽出手段と前記過去データベースの表情とを比較し、その差分を出力する履歴差分検出手段と、前記履歴差分検出手段の差分信号に基づいて入力人物像の心理を判定する手段と、前記判定手段の判定結果に基づき、前記ペット動画像の表情を決定する情動発生手段と、前記情動発生手段の決定した出力に基づき、その出力に対応したペット動画像を前記入力人物像のフィードバック信号として前記表示装置の画面に表示する表示制御手段とで構成したことを特徴とする表情等の情報処理装置。
【請求項３】
前記判定手段が画面にフィードバックされたペット動画像に反応して入力された人物像の表情の時系列的変化に基づいて人物を特定する判定を行うようにしたことを特徴とする「請求項２」に記載の表情等の情報処理装置。
【請求項４】
前記動き抽出手段が人物の表情に加えてその人物の仕草を抽出するようにし、前記過去データベースに特定の人物の過去の仕草に関する仕草データが記録され、前記履歴差分検出手段が前記動き検出手段と過去データベースのデータとを比較しその差分を出力するようにしたことを特徴とする「請求項３」又は「請求項４」に記載の表情等の情報処理装置。
【請求項５】
ＣＰＵに音響装置を介してスピーカーを接続し、前記ペット動画像の映像とともに前記スピーカーからメッセージが発せられるようにしたことを特徴とする「請求項２」乃至「請求項４」のいずれか１つに記載の表情等の情報処理装置。
【請求項６】
前記情動発生手段が前記判定手段の判定結果に基づき、怒り、恐れ、喜び、悲しみなどの感情を示す信号を出力するようにしたことを特徴とする「請求項２」乃至「請求項５」のいずれか１つに記載の表情等の情報処理装置。
【請求項７】
前記ＣＰＵに音声処理装置を介してマイクロフォンを接続し、前記情報処理プログラムに声紋抽出手段を設け、前記過去データベースに特定の人物の声紋データを記録し、前記履歴差分検出手段が前記声紋抽出手段と前記過去データベースの声紋データとを比較しその差分を出力するようにしたことを特徴とする「請求項２」乃至「請求項６」のいずれか１つに記載の表情等の情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタルカメラから入力された人物像の表情や仕草からその人物の心理を判定し、この判定結果に基づいて、人物像の心理を反映したペット動画像を表示装置の画面に入力人物像のフィードバック信号として表示するようにした、個人認証エンジン、在宅介護システムの容態判定エンジン、あるいはペットロボット等として用いられる表情等の情報処理装置に関する。
【０００２】
【従来の技術】
ディジタルカメラ付きの携帯電話やパーソナルコンピュータは従来周知であり、これらはネットワーク接続機能及びインタラクティブな機能を持っている。
【０００３】
【発明が解決しようとする課題】
従来のディジタルカメラ付きの携帯電話やパーソナルコンピュータにおいて、ディジタルカメラで撮った人物像の心理を人物像の表情からリアルタイムに解析し、その人物の心理を反映したアニメーションペット動画像をフィーバック画像として画面に表示し、ディジタルカメラの前の人物にフィードバックペット画像によって感情的刺激を与え、その人物がこれによって次の表情を誘発するようにした機能を有するものは存在しない。現在、人間の表情をその各部の動きを抽出することで定量化することが可能となっている。ディジタルカメラの前の人物の感情心理を判定し、この感情心理を反映した表情豊かなアニメーションペット動画像をその人物の表情のフィードバック信号として画面に表示した場合、これを見たディジタルカメラの前の人物は様々なその人物特有の反応を起こす。この反応は種々の判断データとして利用することができる。例えば、ディジタルカメラで撮った人物の表情が「苦しみ」であった場合、画面にペット画像を通じて、喜びの表情を作るように感情的刺激を与えてもなお「苦しみ」の表情が消えない場合、その人物の健康に問題があることが判る。
本発明は、表情豊かなペット動画像をディジタルカメラの前の人物の像のフィードバック画像として画面に表示し、このペット動画像に対するディジタルカメラの前の人物の反応を利用してその人物の認証等の判定を行うことができるようすることを目的とするものである。
【０００４】
【課題を解決するための手段】
上記目的を達成するため本発明は、ＣＰＵと、これに接続する記憶装置と、前記ＣＰＵに接続する三次元画像処理装置と、前記三次元画像処理装置に接続するデジタルカメラと、前記ＣＰＵに接続する表示装置とを備え、前記記憶装置に、前記ディジタルカメラで撮った人物の表情からその人物の心理を判定し、該判定結果に基づいて前記ペット動画像の表情を決定するとともに、該ペット動画像を前記人物の表情のフィードバック信号として前記表示装置の画面に表示し前記人物に対して感情的刺激を付与する情報処理プログラムを格納したものである。
また本発明は、ＣＰＵと、これに接続する記憶装置と、前記ＣＰＵに接続する三次元画像処理装置と、前記三次元画像処理装置に接続するデジタルカメラと、前記ＣＰＵに接続する表示装置とを備え、前記記憶装置に、特定の人物の過去の表情データを記録する過去データベースと、前記表示装置の画面に動画で表示されるペット動画像の種々の表情が記録された表情データベースと、情報処理プログラムとが格納され、該情報処理プログラムが前記デジタルカメラで撮った人物の表情を抽出する動き抽出手段と、前記動き抽出手段と前記過去データベースの表情とを比較し、その差分を出力する履歴差分検出手段と、前記履歴差分検出手段の差分信号に基づいて入力人物像の心理を判定する手段と、前記判定手段の判定結果に基づき、前記ペット動画像の表情を決定する情動発生手段と、前記情動発生手段の決定した出力に基づき、その出力に対応したペット動画像を前記入力人物像のフィードバック信号として前記表示装置の画面に表示する表示制御手段とで構成したものである。
また本発明は、前記判定手段が画面にフィードバックされたペット動画像に反応して入力された人物像の表情の時系列的変化に基づいて人物を特定する判定を行うようにしたものである。
また本発明は、前記動き抽出手段が人物の表情に加えてその人物の仕草を抽出するようにし、前記過去データベースに特定の人物の過去の仕草に関する仕草データが記録され、前記履歴差分検出手段が前記動き検出手段と過去データベースのデータとを比較しその差分を出力するようにしたものである。
また本発明は、ＣＰＵに音響装置を介してスピーカーを接続し、前記ペット動画像の映像とともに前記スピーカーからメッセージが発せられるようにしたものである。
また本発明は、前記情動発生手段が前記判定手段の判定結果に基づき、怒り、恐れ、喜び、悲しみなどの感情を示す信号を出力するようにしたことを特徴とする「請求項２」乃至「請求項５」のいずれか１つに記載の表情等の情報処理装置。
また本発明は、前記ＣＰＵに音声処理装置を介してマイクロフォンを接続し、前記情報処理プログラムに声紋抽出手段を設け、前記過去データベースに特定の人物の声紋データを記録し、前記履歴差分検出手段が前記声紋抽出手段と前記過去データベースの声紋データとを比較しその差分を出力するようにしたものである。
【０００５】
【発明の実施の形態】
以下に本発明の実施の形態を添付した図面を参照して詳細に説明する。
符号２は、人間の表情、音声、動作等の情報処理を行うためのシステムに使用される表情等の情報処理装置を示し、インターネット等のネットワークに接続できる通信機能を備えている。この情報処理装置２は、携帯電話機や各種の携帯情報端末としても利用できるように、これらの機能を全て備えている。情報処理装置２には、その本体２ａに、液晶などを用いた表示装置４と、ディジタルカメラ６と、左右のマイクロフォン８ａ，８ｂから成るステレオマイクロフォンシステムと、左右の２つのスピーカー１０ａ，１０ｂから成るステレオスピーカーシステムが取り付けられている。１２は、情報処理装置２に内蔵された記憶装置であり、該記憶装置１２には、情報処理プログラム及び該プログラムを実行するために必要なデータベース及びバーチャルな人や動物をアニメーションで作成したペット動画像１４を表示装置４の画面に表示するための、ペット動画像の表情データベースが格納されている。
【０００６】
１６は、情報処理装置２に内蔵されたＣＰＵであり、これに記憶装置１２、三次元画像処理装置１８、三次元音声処理装置２０、表示装置４、音響装置２２が接続している。前記情報処理プログラムは、動き抽出手段２４、声紋抽出手段２６、履歴差分検出手段２８、感情抽出手段３０、心理抽出手段３２、判定手段３４、情動発生手段３６、表示制御手段３８、音声制御手段４０とから構成されている。前記動き抽出手段２４は、ディジタルカメラ６の出力画像を三次元画像処理装置１８を用いて解析し、ディジタルカメラ６に撮られた人物の動きを抽出する。この動きは、人物の表情と仕草を含む。人物の顔の表情について考えると、顔は運動体と見ることができる。運動は筋肉がなすものであり、人間の表情はさまざまな筋肉の働きと言える。これらの筋肉として、眼裂、鼻孔、口裂などの孔を開閉し、また耳介を動かす表情筋、下顎筋を引き上げて、口を閉じたり、下顎骨を前へ出したり、水平に動かしたりする咀嚼筋、舌骨を動かして嚥下を補助したり、下顎骨を引き上げて口を開けるなどの力強い働きを行う舌骨上筋、眼球を自在に動かす眼筋、周囲の明暗に応じて瞳孔の焦点を合わせて眼球内の光量の調節を行う瞳孔括約筋・瞳孔散大筋、舌の形を変えたり、伸ばして口外にだしたりする働きを行う舌筋が知られている。
【０００７】
これらの筋肉は、ある種の情動に応じて一群の筋肉が動き出すと、それに伴って末梢神経を通じて一定の筋肉もしくは特定の筋肉が一斉に収縮するという仕組みになっている。動き抽出手段２４は、これらの筋肉の動きに基づく人物の表情の変化を抽出し、定量化する。また人物の手足や全体についても、その動きを抽出し定量化する。記憶装置１２に格納されている過去データベス４２には、情報処理装置２の所有者の過去の表情や仕草のデータ及び声紋のデータが定量化されて記録されている。履歴差分検出手段２８は、動き抽出手段２４の抽出信号と声紋抽出手段２６の声紋抽出信号と過去データベース４２の対応する、表情、声紋データと比較し、その差分を検出する。例えば、過去データベース４２に口を閉じている表情データが記憶されており、動き抽出手段２４が口を開けているという表情を抽出すると、履歴差分検出手段２８は、口を閉じているデータと口を開いているデータとから、その差分即ち、口が開いているという状態を検出する。記憶装置１２に格納されている感情パターンデータベース４４には、人間の各種の感情に対する表情や声紋のパターンが記録されている。感情抽出手段３０は、履歴差分検出手段２８からの信号が、パターンデータベース４４中のどの感情パターンに属するか判断し、ディジタルカメラ６とマイクロフォン８ａ，８ｂのキャッチした人物の表情、仕草及び声紋から、該人物の感情を抽出する。心理抽出手段３２は、感情抽出手段３０の抽出信号即ち、驚き、恐れ、怒り、嫌悪、悲しみなどの感情から、ディジタルカメラ６の前の人物の心理を抽出する。
【０００８】
判定手段３４は心理抽出手段３２の抽出信号に基づいて、ディジタルカメラ６の前の人物に対してペット動画像１４及び音声を通じてどのような動作で対応すべきかをプログラムの目的に応じて判定する。情動発生手段３６は、判定手段３４の判定結果に基づいて情動即ち、怒り、恐れ、喜び、悲しみなどの感情の信号を発生する。記憶装置１２に格納されている。表情データベース４６には、情動発生手段３６の各種の情動出力信号に対応して、種々の表情のペット動画像１４のデータベースが記録されてる。また、音声データベース４８には、各種情動に対応する音声データが記録されている。表示制御手段３８は、情動発生手段３６から情動信号が入力されると、表情データベース４６のアニメーションデータに基づいて、ペット動画像１４を表示装置４の画面上で表示し、ディジタルカメラ６の前の人物５０にペット動画像１４の動きと表情を通じて視覚的に感情的な刺激を与える。音声制御手段４０も同様に、情動発生手段３６から情動信号が入力されると、音声データベース４８のデータに基づいて音声を音響装置２２を通じてスピーカー１０ａ，１０ｂに送り、人物５０に感情的刺激を与える。この動作が繰り返し行われる。
【０００９】
従って、２回目に入力されるディジタルカメラの前の人物の表情、仕草及び、音声は、画面上のペット動画像の意思表示によって感情的刺激を与えられ、これに反応した画像として、ディジタルカメラ６及びマイクロフォン８ａ，８ｂ以降の各手段に入力される。
以上の説明から明らかなように、本装置２のディジタルカメラ６及びマイクロフォン８ａ，８ｂを入力部とし、ペット動画像１４を表示する出力部に至る一連のデータ処理系は、閉ループを構成し、履歴差分検出手段２８の差分出力がゼロになるようにデータ処理が繰り返される。こり繰り返しのデータ処理中に、過去データベース４２には、ディジタルカメラ６及びマイクロフォン８ａ，８ｂがキャッチした表情、仕草などの動きのデータ及び声紋のデータが蓄積され、情報処理装置２に内蔵されたコンピュータは本装置２を所有する人物に関して、学習機能を持つことになる。判定手段３４は、人物５０の表情、仕草、音色の短期、長期の変化によって、プログラムの目的に応じた判定を行う。
【００１０】
次に本装置２を携帯電話で構成し、この携帯電話を人物認証エンジンとして使用する実施形態について説明する。
ユーザーである人物５０が例えばサングラスを掛けている場合に、本装置がどのようにして、ユーザーを特定するかについて説明する。携帯電話には、予め記憶装置１２に個人認証用情報処理プログラムを格納しておく。携帯電話には通常ステレオスピーカーやステレオマイクロフォンが装備されていないので、予めこれらを装備しておく。ディジタルカメラ６でユーザーである人物５０が写真を撮ると、動き抽出手段２４はサングラスを抽出する。過去データベース４２にサングラスをかけた表情データが記録されていないときは、履歴差分検出手段２８は、定量化された履歴差分信号を出力する。感情抽出手段３０は、パターンデータベース４４から、サングラスをかけているときの感情を判断し、その信号を出力する。心理抽出手段３２は、サングラスをかけたユーザーの心理を判定する。更に判定手段３４は、サングラスを外させて普段の表情に戻すという判定をする。
【００１１】
情動発生手段３６はユーザーが普段の表情に戻るような刺激を与えるための情動信号を出力するとともに「サングラスを外そう」というメッセージを出力する。情動発生手段３６の出力により、画面上にペット動画像４が現れ、ユーザーに向かって、ユーザーの表情が普段と違う旨の表情をするとともに、スピーカー１０ａ，１０ｂから「サングラスを外そう、いつもと違うよ」というメッセージを出し、ディジタルカメラ６の前の人物５０即ちユーザーに感情的刺激を与える。ユーザーは、画面のペット動画像１４と、スピーカーからのメッセージに従い、顔からサングラスを取り去り、この状態をカメラ６に撮る。この画像は動き抽出手段２４に送られる。履歴差分検出手段２８は、過去データベース４２のメガネをかけていない表情データと照合し、差がないときは、ゼロを出力する。判定手段３４は、履歴差分検出手段２８がゼロを出力するとディジタルカメラ６の前の人物が過去データベースに登録されている特定の人物と判定する。
【００１２】
ユーザーが画面上の認証ボタンをクリックすると、画面に認証のメッセージが表示される。ユーザーが髪型を変えたり、顔に傷が付いていた場合には、ペット動画像１４とスピーカー１０ａ，１０ｂの音声は、ユーザーにいつもの表情と違うというメッセージを与える。このメッセージに反応して、ユーザーがいろいろの表情の画像を送ってきたとき、これらのユーザーの反応を判定手段３４は総合的に判断し、ユーザーが特定の人物であるか否か判定する。このようにして、ユーザーの表情データが過去のデフォルトデータと違っていても、ペット動画像１４からの刺激に反応したユーザーの心理状態を判断することにより、判定手段３４は、ユーザーを特定の人物であると高い確度で認証することができる。本装置は、上記人物認証エンジンとして用いる方法以外に、在宅介護システムでの容態判定エンジンその他に広く応用することができる。
【００１３】
【発明の効果】
本発明は上述の如く構成したので、カメラの前の人物を高い確度で特定することができ、人物認証等を高精度に行うことができる。
【図面の簡単な説明】
【図１】本発明のブロック説明図である。
【図２】本発明のブロック説明図である。
【図３】本発明の説明図である。
【符号の説明】
２      情報処理装置
４      表示装置
６      ディジタルカメラ
８ａ    マイクロフォン
８ｂ    マイクロフォン
１０ａ  スピーカー
１０ｂ  スピーカー
１２    記憶装置
１４    ペット動画像
１６    ＣＰＵ
１８    三次元画像処理装置
２０    三次元音声処理装置
２２    音響装置
２４    動き抽出手段
２６    声紋抽出手段
２８    履歴差分検出手段
３０    感情抽出手段
３２    心理抽出手段
３４    判定手段
３６    情動発生手段
３８    表示制御手段
４０    音声制御手段
４２    過去データベース
４４    パターンデータベース
４６    表情データベース
４８    音声データベース
５０    人物
【図１】
2004227167.tif 000003
【図２】
2004227167.tif 000004
【図３】
2004227167.tif 000005