(57)【要約】【課題】特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得することにより、自然な表情画像を用いた正確な表情マップを生成することが可能なデータ処理装置を得る。【解決手段】データ処理装置３は、人物の表情を撮影した画像データを取得する取得部３０と、取得部３０が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップ４０を生成する生成部３７と、取得部３０が取得した画像データが、特定人物の新たな表情の画像データであるか否かを判定する判定部３３と、判定部３３が、取得部３０が取得した画像データが特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを表情マップ４０に追加登録することにより、表情マップ４０を更新する更新部３８と、を備える。【選択図】図３
2011227710.tif 000002
【特許請求の範囲】
【請求項１】
人物の表情を撮影した画像データを取得する取得手段と、
前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、
前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、
前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、
を備える、データ処理装置。
【請求項２】
前記更新手段は、前記新たな表情の画像に関するデータを前記表情マップに追加登録する場合に、前記表情マップに既に登録されている前記特定人物の表情と、当該新たな表情との中間の表情の画像に関するデータを、さらに前記表情マップに追加登録する、請求項１に記載のデータ処理装置。
【請求項３】
前記更新手段が更新した前記表情マップに基づいて、前記取得手段が画像データを取得した人物が前記特定人物に一致するか否かを決定する決定手段
をさらに備える、請求項１又は２に記載のデータ処理装置。
【請求項４】
前記特定人物を撮影した際の当該特定人物の感情を推定する推定手段と、
前記表情マップに登録されている前記特定人物の複数の表情の画像に関するデータを、前記推定手段が推定した感情ごとに分類する分類手段と、
をさらに備える、請求項１〜３のいずれか一つに記載のデータ処理装置。
【請求項５】
前記特定人物は、テレビゲームのプレーヤーであり、
前記推定手段は、前記特定人物を撮影した時点における前記テレビゲームの進行又は結果の状況に基づいて、前記特定人物の感情を推定する、請求項４に記載のデータ処理装置。
【請求項６】
前記特定人物を撮影した時点における前記テレビゲームの進行又は結果の状況と、当該時点に対応して前記推定手段が推定した前記特定人物の感情と、前記表情マップに基づいて特定された当該時点における前記特定人物の感情とに基づいて、前記テレビゲームの進行の条件を設定する設定手段
をさらに備える、請求項５に記載のデータ処理装置。
【請求項７】
撮影装置と、
データ処理装置と、
を備え、
前記データ処理装置は、
人物の表情を撮影した画像データを前記撮影装置から取得する取得手段と、
前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、
前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、
前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、
を有する、データ処理システム。
【請求項８】
データ処理装置に搭載されるコンピュータを、
人物の表情を撮影した画像データを取得する取得手段と、
前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、
前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、
前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置、データ処理システム、及びプログラムに関し、特に、コホーネン型のニューラルネットワークによる自己組織化マップを用いた、データ処理装置、データ処理システム、及びプログラムに関する。
【背景技術】
【０００２】
例えば下記特許文献１には、コホーネン型のニューラルネットワークによる自己組織化マップを用いた感情推定装置が開示されている。当該感情推定装置は、表情マップ生成手段、領域区分手段、及び感情推定手段を備えて構成されている。表情マップ生成手段は、「怒り」、「喜び」、「驚き」等の所定の感情に関連付けられた特定人物の表情画像を学習することにより、ニューラルネットワークによる表情マップを生成する。領域区分手段は、表情マップ生成手段が生成した表情マップを、上記所定の感情に基づいて複数の領域に区分する。感情推定手段は、不特定人物の表情画像と、上記複数の領域に区分された表情マップとに基づいて、不特定人物の感情を推定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４６３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１に開示された感情推定装置によると、表情マップ生成手段が表情マップを生成するにあたって、「怒り」、「喜び」、「驚き」等の各々の感情に対応した特定人物の表情画像を予め準備する必要がある。従って、表情画像の撮影時における当該特定人物の精神的負担が大きく、また、撮影時の緊張により表情が不自然となって、正確な表情画像が取得されない可能性もある。
【０００５】
本発明はかかる事情に鑑みて成されたものであり、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得することにより、自然な表情画像を用いた正確な表情マップを生成することが可能な、データ処理装置、データ処理システム、及びプログラムを得ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係るデータ処理装置は、人物の表情を撮影した画像データを取得する取得手段と、前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、を備えることを特徴とするものである。
【０００７】
第１の態様に係るデータ処理装置によれば、判定手段は、取得手段が取得した画像データが、表情マップに既に登録されている特定人物の表情の画像に関するデータとは異なる、特定人物の新たな表情の画像データであるか否かを判定する。そして、判定手段が、取得手段が取得した画像データが特定人物の新たな表情の画像データであると判定した場合に、更新手段は、当該新たな表情の画像に関するデータを表情マップに追加登録することにより、表情マップを更新する。従って、特定人物を連続的に撮影しておき、当該特定人物が、表情マップに既に登録されている表情画像とは異なる新たな表情をしたときに、その新たな表情画像を表情マップに追加することができる。その結果、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得できるため、自然な表情画像を用いた正確な表情マップを生成することが可能となる。
【０００８】
本発明の第２の態様に係るデータ処理装置は、第１の態様に係るデータ処理装置において特に、前記更新手段は、前記新たな表情の画像に関するデータを前記表情マップに追加登録する場合に、前記表情マップに既に登録されている前記特定人物の表情と、当該新たな表情との中間の表情の画像に関するデータを、さらに前記表情マップに追加登録することを特徴とするものである。
【０００９】
第２の態様に係るデータ処理装置によれば、更新手段は、新たな表情の画像に関するデータを表情マップに追加登録する場合に、表情マップに既に登録されている特定人物の表情と、当該新たな表情との中間の表情の画像に関するデータを、さらに表情マップに追加登録する。従って、表情マップに登録される特定人物の表情画像が充実するため、表情マップを用いて人物の認証を行う場合に、認証の精度を向上することが可能となる。
【００１０】
本発明の第３の態様に係るデータ処理装置は、第１又は第２の態様に係るデータ処理装置において特に、前記更新手段が更新した前記表情マップに基づいて、前記取得手段が画像データを取得した人物が前記特定人物に一致するか否かを決定する決定手段をさらに備えることを特徴とするものである。
【００１１】
第３の態様に係るデータ処理装置によれば、決定手段は、更新手段が更新した表情マップに基づいて、取得手段が画像データを取得した人物が特定人物に一致するか否かを決定する。更新手段による更新後の表情マップには、既登録の表情画像と新たな表情画像との中間の表情の画像も登録されており、特定人物の表情画像が充実している。そのため、更新後の表情マップを参照することにより、決定手段が人物の一致／不一致を決定する際の決定の精度を向上することが可能となる。
【００１２】
本発明の第４の態様に係るデータ処理装置は、第１〜第３のいずれか一つの態様に係るデータ処理装置において特に、前記特定人物を撮影した際の当該特定人物の感情を推定する推定手段と、前記表情マップに登録されている前記特定人物の複数の表情の画像に関するデータを、前記推定手段が推定した感情ごとに分類する分類手段と、をさらに備えることを特徴とするものである。
【００１３】
第４の態様に係るデータ処理装置によれば、分類手段は、表情マップに登録されている特定人物の複数の表情の画像に関するデータを、推定手段が推定した感情ごとに分類する。従って、取得手段が取得した画像データにおける特定人物の表情が、表情マップ内のどの感情領域の表情画像に一致又は最も類似しているかによって、特定人物の感情を特定することが可能となる。
【００１４】
本発明の第５の態様に係るデータ処理装置は、第４の態様に係るデータ処理装置において特に、前記特定人物は、テレビゲームのプレーヤーであり、前記推定手段は、前記特定人物を撮影した時点における前記テレビゲームの進行又は結果の状況に基づいて、前記特定人物の感情を推定することを特徴とするものである。
【００１５】
第５の態様に係るデータ処理装置によれば、推定手段は、特定人物を撮影した時点におけるテレビゲームの進行又は結果の状況に基づいて、特定人物の感情を推定する。従って、テレビゲームの進行又は結果の状況を参照するという簡易な手法によって、特定人物の感情を容易に推定することが可能となる。
【００１６】
本発明の第６の態様に係るデータ処理装置は、第５の態様に係るデータ処理装置において特に、前記特定人物を撮影した時点における前記テレビゲームの進行又は結果の状況と、当該時点に対応して前記推定手段が推定した前記特定人物の感情と、前記表情マップに基づいて特定された当該時点における前記特定人物の感情とに基づいて、前記テレビゲームの進行の条件を設定する設定手段をさらに備えることを特徴とするものである。
【００１７】
第６の態様に係るデータ処理装置によれば、設定手段は、特定人物を撮影した時点におけるテレビゲームの進行又は結果の状況と、当該時点に対応して推定手段が推定した特定人物の感情と、表情マップに基づいて特定された当該時点における特定人物の感情とに基づいて、テレビゲームの進行の条件を設定する。従って、プレーヤーの感情を考慮することによって、テレビゲームのその後のシナリオ展開や難易度レベルを設定することができる。その結果、プレーヤーの技量等に応じてシナリオ展開や難易度レベルを自動設定することが可能なテレビゲームを得ることができる。
【００１８】
本発明の第７の態様に係るデータ処理システムは、撮影装置と、データ処理装置と、を備え、前記データ処理装置は、人物の表情を撮影した画像データを前記撮影装置から取得する取得手段と、前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、を有することを特徴とするものである。
【００１９】
第７の態様に係るデータ処理システムによれば、判定手段は、取得手段が取得した画像データが、表情マップに既に登録されている特定人物の表情の画像に関するデータとは異なる、特定人物の新たな表情の画像データであるか否かを判定する。そして、判定手段が、取得手段が取得した画像データが特定人物の新たな表情の画像データであると判定した場合に、更新手段は、当該新たな表情の画像に関するデータを表情マップに追加登録することにより、表情マップを更新する。従って、特定人物を連続的に撮影しておき、当該特定人物が、表情マップに既に登録されている表情画像とは異なる新たな表情をしたときに、その新たな表情画像を表情マップに追加することができる。その結果、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得できるため、自然な表情画像を用いた正確な表情マップを生成することが可能となる。
【００２０】
本発明の第８の態様に係るプログラムは、データ処理装置に搭載されるコンピュータを、人物の表情を撮影した画像データを取得する取得手段と、前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、として機能させることを特徴とするものである。
【００２１】
第８の態様に係るプログラムによれば、判定手段は、取得手段が取得した画像データが、表情マップに既に登録されている特定人物の表情の画像に関するデータとは異なる、特定人物の新たな表情の画像データであるか否かを判定する。そして、判定手段が、取得手段が取得した画像データが特定人物の新たな表情の画像データであると判定した場合に、更新手段は、当該新たな表情の画像に関するデータを表情マップに追加登録することにより、表情マップを更新する。従って、特定人物を連続的に撮影しておき、当該特定人物が、表情マップに既に登録されている表情画像とは異なる新たな表情をしたときに、その新たな表情画像を表情マップに追加することができる。その結果、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得できるため、自然な表情画像を用いた正確な表情マップを生成することが可能となる。
【発明の効果】
【００２２】
本発明によれば、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得することにより、自然な表情画像を用いた正確な表情マップを生成することが可能な、データ処理装置、データ処理システム、及びプログラムを得ることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係るデータ処理システムの全体構成を模式的に示す図である。
【図２】データ処理装置の構成を示すブロック図である。
【図３】認証処理部の機能構成を示すブロック図である。
【図４】認証処理部が行う処理の概要を示す図である。
【図５】コホーネン型のニューラルネットワークの構成を示す図である。
【図６】図３に示した生成部による表情マップの生成処理を示す図である。
【図７】図３に示した判定部による判定処理を示す図である。
【図８】図３に示した更新部による表情マップの更新処理を示す図である。
【図９】感情ごとに分類された表情マップを示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００２５】
図１は、本発明の実施の形態に係るデータ処理システム１の全体構成を模式的に示す図である。データ処理システム１は、ＣＣＤカメラ等の撮影装置２と、テレビゲーム機の本体等のデータ処理装置３とを備えて構成されている。撮影装置２は、液晶テレビ等のモニタ４上に取り付けられており、テレビゲームのプレーヤー１００を連続的に撮影する。データ処理装置３は、有線又は無線によって、撮影装置２、モニタ４、及びテレビゲーム機のコントローラ５との間でデータ通信を行うことが可能である。
【００２６】
図２は、データ処理装置３の構成を示すブロック図である。データ処理装置３は、通信部１０と、ＣＰＵ等の処理部１１と、半導体メモリ又はハードディスク等の任意の記憶媒体を有する記憶部１２とを備えて構成されている。通信部１０は、撮影装置２、モニタ４、及びコントローラ５との間でデータ通信を行う。処理部１１は、テレビゲームの進行に関わる処理等を行うゲーム処理部２０と、人物の認証に関わる処理等を行う認証処理部２１とを有している。記憶部１２には、ゲームプログラム２２と認証プログラム２３とが記憶されている。処理部１１が記憶部１２からゲームプログラム２２を読み出して実行することにより、処理部１１はゲーム処理部２０として機能する。また、処理部１１が記憶部１２から認証プログラム２３を読み出して実行することにより、処理部１１は認証処理部２１として機能する。
【００２７】
図３は、認証処理部２１の機能構成を示すブロック図である。図３の接続関係で示すように、認証処理部２１は、取得部３０、加工部３１、表情マップ処理部３２、判定部３３、決定部３４、推定部３５、及び設定部３６を備えて構成されている。表情マップ処理部３２は、生成部３７、更新部３８、及び分類部３９を有している。記憶部１２には、表情マップ４０が記憶されている。
【００２８】
図４は、認証処理部２１が行う処理の概要を示す図である。図３，４を参照して、取得部３０は、撮影装置２が撮影したプレーヤー１００を含む画像データ５０を、通信部１０から取得する。撮影装置２はプレーヤー１００を連続的に撮影しているため、取得部３０は、画像データ５０を通信部１０から連続的に取得する。画像データ５０は、信号Ｓ１として取得部３０から加工部３１に入力される。
【００２９】
加工部３１は、二値化、エッジ抽出、及びアフィン変換等の周知の手法を用いることにより、画像データ５０の中から人物の顔部分を抽出する。また、加工部３１は、抽出した顔部分の画像をニューラルネットワークに対する入力画像として使用できるように、当該顔部分の画像を所定サイズに圧縮することにより、人物の表情画像に関する画像データ５１を生成する。画像データ５１は、信号Ｓ２として加工部３１から表情マップ処理部３２、判定部３３、及び決定部３４に入力される。
【００３０】
表情マップ処理部３２は、コホーネン型のニューラルネットワークを用いて構成されており、ニューラルネットワークの入力ユニットに入力された画像データ５１に基づいて、自己組織化マップである表情マップ４０の生成、更新、及び分類を含む処理を実行する。表情マップ処理部３２が実行する処理内容の詳細については後述する。表情マップ４０は、ニューラルネットワークの複数の出力ユニット６２の集合として構成されており、各出力ユニット６２に、プレーヤー１００の表情画像が一つ表れる。図４では図面の簡略化のためプレーヤー１００の表情を統一して図示しているが、実際には、表情マップ４０には、プレーヤー１００の様々な表情画像に対応する画像データ５２が含まれることとなる。
【００３１】
図５は、コホーネン型のニューラルネットワークの構成を示す図である。コホーネン型のニューラルネットワークは、複数の入力ユニット６０を含む入力層と、複数の出力ユニット６２を含む出力層とを備えている。図５では、入力ユニット６０の横方向及び縦方向の座標をそれぞれ「ｋ」，「ｌ」で表し、出力ユニット６２の横方向及び縦方向の座標をそれぞれ「ｉ」，「ｊ」で表している。コホーネン型のニューラルネットワークでは、初めに、各入力ユニット−各出力ユニット間の重み付け値Ｗｉｊｋｌとして、小さなランダム値が与えられている。入力画像ｘｋｌが入力されると、その画像データ５１の各画素値（例えば輝度値）は、対応する入力ユニット６０にそれぞれ入力される。下記式（１）に基づいて入力画像との類似度ｕｉｊが全ての出力ユニットに関して求められ、類似度ｕｉｊが最も高い出力ユニットが類似度最大ユニットとされる。そして、類似度最大ユニットを中心とした所定の学習半径ｄｓ内に含まれる複数の出力ユニットの各画素値が、入力画像ｘｋｌに近づくように、下記式（２）に基づいて関連箇所の重み付け値Ｗｉｊｋｌが修正される。ここで、重み付け値Ｗｉｊｋｌの更新には下記式（３）が用いられ、学習係数α（ｔ）の更新には下記式（４）が用いられる。なお、ｄｉ及びｄｊはそれぞれ、類似度最大ユニットから更新する重みまでのｉ方向及びｊ方向の距離（ｄｓ＞ｄｉ，ｄｓ＞ｄｊ）であり、Ｔは総学習回数であり、ｔは現在の学習回数であり、Ｘは任意の変数である。
【００３２】
【数１】
2011227710.tif 000003
【００３３】
【数２】
2011227710.tif 000004
【００３４】
【数３】
2011227710.tif 000005
【００３５】
【数４】
2011227710.tif 000006
【００３６】
図６は、図３に示した生成部３７による表情マップ４０の生成処理を示す図である。プレーヤー１００が登録されていない初期段階においては、表情マップ４０の各ノード（つまり各出力ユニット６２）は乱数を用いて初期化されている。プレーヤー１００の登録が指示されると、生成部３７には、撮影装置２によって撮影された画像データ５０に基づいて生成された画像データ５１が、加工部３１から入力される。この画像データ５１には、プレーヤー１００の任意の表情画像（例えば無表情の画像）が含まれている。生成部３７は、入力された画像データ５１と同一の画像データ５２Ａを、表情マップ４０の所定のノードに登録する。その際、予め設定された学習半径に応じて、その周囲のノードにおいても同じ画像データ５２Ａが登録される。図６に示した例では、表情マップ４０の領域Ａ１内に含まれるノードに画像データ５２Ａが登録される。換言すれば、領域Ａ１内に含まれるノードに画像データ５１と同一の画像データ５２Ａが表れるように、ニューラルネットワークの関連箇所の重み付け値Ｗが設定される。
【００３７】
プレーヤー１００がテレビゲームを続けている間、撮影装置２はプレーヤー１００を連続的に撮影している。従って、加工部３１はプレーヤー１００の様々な表情画像を含む画像データ５１を連続的に出力し、これらの画像データ５１は加工部３１から判定部３３に入力される。
【００３８】
図７は、図３に示した判定部３３による判定処理を示す図である。判定部３３には、画像データ５１が信号Ｓ２として加工部３１から入力されるともに、表情マップ４０が信号Ｓ４として記憶部１２から入力される。判定部３３は、表情マップ４０に既に登録されている画像データ５２のうち、加工部３１から入力された画像データ５１に最も類似度の高い画像データ５２Ｍを特定する。そして、判定部３３は、画像データ５１と画像データ５２Ｍとの類似度Ｎが閾値Ｔｈ１以上である場合には、画像データ５１と画像データ５２Ｍとは実質的に同一であるとみなして、表情マップ４０の更新（詳細は後述する）を行わない。また、判定部３３は、類似度Ｎが閾値Ｔｈ２以上かつ閾値Ｔｈ１未満である場合には、画像データ５１にはプレーヤー１００の新たな表情画像が含まれているとみなして、表情マップ４０の更新を指示する更新命令信号Ｓ５を更新部３８に入力する。また、判定部３３は、類似度Ｎが閾値Ｔｈ２未満である場合には、画像データ５１にはプレーヤー１００とは別人の表情画像が含まれているとみなして、表情マップ４０の更新を行わない。
【００３９】
図８は、図３に示した更新部３８による表情マップ４０の更新処理を示す図である。更新命令信号Ｓ５が判定部３３から入力されると、更新部３８は、加工部３１から入力された画像データ５１と同一の画像データ５２Ｂを、表情マップ４０に追加登録する。その際、上記と同様に、予め設定された学習半径に応じて、その周囲のノードにおいても同じ画像データ５２Ｂが登録される。図８に示した例では、表情マップ４０の領域Ａ２内に含まれるノードに画像データ５２Ｂが登録される。また、領域Ａ１と領域Ａ２とが重複する重複エリアにおいては、画像データ５２Ａと画像データ５２Ｂとが互いに融合した（混ざり合った）画像データが登録される。例えば、画像データ５２Ａにおけるプレーヤー１００の表情が無表情であり、画像データ５２Ｂにおけるプレーヤー１００の表情が笑顔であった場合には、無表情と笑顔との中間の表情の画像データが、当該重複エリアに登録される。
【００４０】
プレーヤー１００の新たな表情画像を含む画像データ５１が入力される度に、判定部３３は、更新命令信号Ｓ５を更新部３８に入力し、更新部３８は、新たな表情の画像データ、及び、新たな表情と既登録の表情との中間の表情の画像データを、表情マップ４０に追加登録する。これにより、プレーヤー１００がテレビゲームの続行中に新たな表情を見せる度に、プレーヤー１００の様々な表情画像を含む画像データ５２が表情マップ４０に自動的に蓄積され、表情マップ４０が充実化する。
【００４１】
次回以降のテレビゲームの起動時には、記憶部１２に記憶されているその時点での最新の表情マップ４０を用いて、プレーヤー１００の認証等が行われる。図３を参照して、起動時に撮影装置２によって撮影されたプレーヤー１００の画像データ５０が、信号Ｓ１として取得部３０から加工部３１に入力される。決定部３４には、画像データ５０に基づいて生成された画像データ５１が、信号Ｓ２として加工部３１から入力される。また、決定部３４には、表情マップ４０が信号Ｓ４として記憶部１２から入力される。決定部３４は、表情マップ４０に登録されている様々な表情画像の画像データ５２のうち、加工部３１から入力された画像データ５１に最も類似度の高い画像データ５２Ｍを特定する。そして、決定部３４は、画像データ５１と画像データ５２Ｍとの類似度が所定の閾値以上である場合には、撮影装置２によって撮影された人物は、表情マップ４０に登録されているプレーヤー１００と同一人物であるとみなして、認証結果を「成功」とする。この場合、テレビゲームの進行に関する得点履歴や進行状況等の種々のパラメータ値が、記憶部１２に保存されているプレーヤー１００の設定値に自動的に設定される。一方、決定部３４は、画像データ５１と画像データ５２Ｍとの類似度が当該閾値未満である場合には、撮影装置２によって撮影された人物は、表情マップ４０に登録されているプレーヤー１００とは別人であるとみなして、認証結果を「失敗」とする。
【００４２】
図３を参照して、推定部３５には、テレビゲームの進行又は結果の状況を示す信号Ｓ６が、図２に示したゲーム処理部２０から入力される。推定部３５は、信号Ｓ６に基づいて、テレビゲームの進行又は結果の状況に応じたプレーヤー１００の感情を推定する。例えば、ハイスコアを更新した場合や、対戦型ゲームにおいて対戦相手に勝利した場合等には、プレーヤー１００の感情は「喜び」であると推定する。また、ホラーゲーム等においてプレーヤーを驚かせる演出を行った場合には、プレーヤー１００の感情は「驚き」であると推定する。推定部３５は、推定したプレーヤー１００の感情を示す信号Ｓ７を表情マップ処理部３２に入力する。
【００４３】
分類部３９は、生成部３７又は更新部３８が画像データ５２を表情マップ４０に登録する際に、プレーヤー１００を撮影した瞬間におけるプレーヤー１００の感情の推定結果に基づいて、画像データ５２に含まれるプレーヤー１００の表情画像と、プレーヤー１００の感情とを関連付ける。これにより、表情マップ４０における複数の画像データ５２を、プレーヤー１００の感情ごとに分類する。図９は、感情ごとに分類された表情マップ４０を示す図である。例えば、領域Ｂ１には「喜び」の感情に関連付けられた複数の表情画像の画像データが登録されており、領域Ｂ２には「悲しみ」の感情に関連付けられた複数の表情画像の画像データが登録されている。領域Ｂ３〜Ｂ６についても同様に、プレーヤー１００の表情画像の画像データが、プレーヤー１００の感情ごとに分類されて各領域に登録されている。
【００４４】
図３を参照して、設定部３６には、テレビゲームの進行又は結果の状況を示す信号Ｓ６がゲーム処理部２０から入力されるとともに、プレーヤー１００の感情の推定結果を示す信号Ｓ７が推定部３５から入力される。また、設定部３６には、図９に示した表情マップ４０に基づいて特定されたプレーヤー１００の感情を示す信号Ｓ８が、表情マップ処理部３２から入力される。ここで、表情マップ処理部３２は、表情マップ４０に登録されている様々な表情画像の画像データ５２のうち、加工部３１から入力された画像データ５１に最も類似度の高い画像データ５２Ｍを特定し、その画像データ５２Ｍがどの領域Ｂ１〜Ｂ６に属しているかによって、プレーヤー１００の感情を特定する。例えば、画像データ５２Ｍが領域Ｂ１に属している場合には、プレーヤー１００の感情は「喜び」であると特定する。
【００４５】
設定部３６は、入力されたこれらの信号Ｓ６〜Ｓ８に基づいて、テレビゲームの進行の条件を可変に設定する。例えば、対戦型ゲームでプレーヤー１００がコンピュータとの対戦に敗れた状況において、その際に特定したプレーヤー１００の感情が極度の「悲しみ」である場合には、次回の対戦においてはコンピュータの戦力レベルを今回より低く設定する。また、ホラーゲーム等においてプレーヤーを驚かせる演出を行ったにも拘わらず、特定したプレーヤー１００の感情が「驚き」でなかった場合には、プレーヤーが次に進むシーンのシナリオを、プレーヤーを驚かせる演出が今回のものよりも過激なシナリオに設定する。同一のシーンに対して複数のシナリオを準備しておき、設定部３６が複数のシナリオの中から一のシナリオを選択することにより、これを実現することができる。
【００４６】
なお、以上の説明では、モニタ４上にゲーム映像を表示させるテレビゲームを例にとって本発明の内容を述べたが、この例に限らず、カメラ機能を備える携帯電話等の携帯端末を用いて、携帯端末の画面上にゲーム映像を表示させる場合にも、テレビゲームと同様に本発明を適用可能である。
【００４７】
また、以上の説明では、表情マップ４０に画像データを登録する例について述べたが、記憶データ量を削減すべく、画像データの代わりに、両目間の間隔や両目と鼻との位置関係等の人物の顔の特徴を数値化したデータを、表情マップ４０に登録してもよい。あるいは、認証の精度を向上すべく、画像データを用いた表情マップと、数値化データを用いた表情マップとを併用してもよい。
【００４８】
本実施の形態に係るデータ処理装置３によれば、判定部３３は、取得部３０が取得した画像データが、表情マップ４０に既に登録されているプレーヤー１００の表情画像とは異なる、プレーヤー１００の新たな表情画像であるか否かを判定する。そして、判定部３３が、取得部３０が取得した画像データがプレーヤー１００の新たな表情画像であると判定した場合に、更新部３８は、当該新たな表情画像を表情マップ４０に追加登録することにより、表情マップ４０を更新する。従って、プレーヤー１００を連続的に撮影しておき、プレーヤー１００が、表情マップ４０に既に登録されている表情画像とは異なる新たな表情をしたときに、その新たな表情画像を表情マップ４０に追加することができる。その結果、プレーヤー１００の様々な表情画像を、プレーヤー１００に精神的負担をかけることなく取得できるため、自然な表情画像を用いた正確な表情マップ４０を生成することが可能となる。
【００４９】
また、本実施の形態に係るデータ処理装置３によれば、更新部３８は、新たな表情画像を表情マップ４０に追加登録する場合に、表情マップ４０に既に登録されているプレーヤー１００の表情と、当該新たな表情との中間の表情画像を、表情マップ４０に追加登録する。従って、表情マップ４０に登録されるプレーヤー１００の表情画像が充実するため、表情マップ４０を用いて人物の認証を行う場合に、認証の精度を向上することが可能となる。
【００５０】
また、本実施の形態に係るデータ処理装置３によれば、決定部３４は、更新部３８が更新した表情マップ４０に基づいて、取得部３０が画像データを取得した人物がプレーヤー１００に一致するか否かを決定する。更新部３８による更新後の表情マップ４０には、既登録の表情画像と新たな表情画像との中間の表情画像も登録されており、プレーヤー１００の表情画像が充実している。そのため、更新後の表情マップ４０を参照することにより、決定部３４が人物の一致／不一致を決定する際の決定の精度を向上することが可能となる。
【００５１】
また、本実施の形態に係るデータ処理装置３によれば、分類部３９は、表情マップ４０に登録されているプレーヤー１００の複数の表情画像を、推定部３５が推定した感情ごとに分類する。従って、取得部３０が取得した画像データにおけるプレーヤー１００の表情が、表情マップ４０内のどの感情領域の表情画像に一致又は最も類似しているかによって、プレーヤー１００の感情を特定することが可能となる。
【００５２】
また、本実施の形態に係るデータ処理装置３によれば、推定部３５は、プレーヤー１００を撮影した時点におけるテレビゲームの進行又は結果の状況に基づいて、プレーヤー１００の感情を推定する。従って、テレビゲームの進行又は結果の状況を参照するという簡易な手法によって、プレーヤー１００の感情を容易に推定することが可能となる。
【００５３】
また、本実施の形態に係るデータ処理装置３によれば、設定部３６は、プレーヤー１００を撮影した時点におけるテレビゲームの進行又は結果の状況と、当該時点に対応して推定部３５が推定したプレーヤー１００の感情と、表情マップ４０に基づいて表情マップ処理部３２によって特定された当該時点におけるプレーヤー１００の感情とに基づいて、テレビゲームの進行の条件を設定する。従って、プレーヤー１００の感情を考慮することによって、テレビゲームのその後のシナリオ展開や難易度レベルを設定することができる。その結果、プレーヤーの技量等に応じてシナリオ展開や難易度レベルを自動設定することが可能なテレビゲームを得ることができる。
【符号の説明】
【００５４】
１  データ処理システム
２  撮影装置
３  データ処理装置
１１  処理部
１２  記憶部
２０  ゲーム処理部
２１  認証処理部
２２  ゲームプログラム
２３  認証プログラム
３０  取得部
３１  加工部
３２  表情マップ処理部
３３  判定部
３４  決定部
３５  推定部
３６  設定部
３７  生成部
３８  更新部
３９  分類部
４０  表情マップ
５１，５２  画像データ
【図１】
2011227710.tif 000007
【図２】
2011227710.tif 000008
【図３】
2011227710.tif 000009
【図４】
2011227710.tif 000010
【図５】
2011227710.tif 000011
【図６】
2011227710.tif 000012
【図７】
2011227710.tif 000013
【図８】
2011227710.tif 000014
【図９】
2011227710.tif 000015