(57)【要約】【課題】ポインティングの検出において固定せず、任意に移動させて、確実にポインティングさせ、よりエンタテイメント性を向上させることができる情報処理装置を提供。【解決手段】情報端末装置10は、撮像部12で撮像した画像データ22を特徴点抽出部14および制御部16に供給し、特徴点抽出部14で画像データ22に含まれる顔およびこの顔の特徴点を抽出し、特徴判断部18で特徴点の位置を基に顔の動きを判断し、動き情報32を生成し、制御部16で画像データ22および動き情報32を基に表示する顔画像としてキャプチャ画像を生成し、ポインティングにともなう選択およびこの選択に応じた情報処理をアプリケーションに連動させて、制御し、モニタ20に供給されるキャプチャ画像を表示する。【選択図】図１
2007179338.tif 000002
【特許請求の範囲】
【請求項１】
ポインティングに応じて情報を処理する情報処理装置において、該装置は、
被写界を撮像し、撮像により画像データを生成する撮像手段と、
前記画像データに含まれる顔および該顔の部位を規定する特徴点を抽出する抽出手段と、
前記特徴点の位置を基に顔の動きを判断し、動き情報を生成する動き判断手段と、
前記画像データおよび動き情報を基に表示する顔画像としてキャプチャ画像を生成し、前記ポインティングにともなう選択および該選択に応じた情報処理をアプリケーションに連動させて、制御する制御手段と、
供給されるキャプチャ画像を表示する表示手段とを含むことを特徴とする情報処理装置。
【請求項２】
請求項１に記載の装置において、前記動き判断手段は、前記特徴点から顔の枠を算出する算出機能ブロックと、
前記特徴点から顔の向きを判断する向き判断機能ブロックと、
前記特徴点から口の開閉を判断する開閉判断機能ブロックとを含むことを特徴とする情報処理装置。
【請求項３】
請求項１または２に記載の装置において、前記制御手段は、前記動き情報に応じて前記ポインティングの位置を示すポインタを制御するポインタ制御機能ブロックと、
前記画像データおよび動き情報を基に前記表示手段への顔画像の表示を制御する表示制御機能ブロックと、
前記キャプチャ画像を生成する画像生成機能ブロックとを含むことを特徴とする情報処理装置。
【請求項４】
請求項３に記載の装置において、前記制御手段は、少なくともアプリケーションをどのように制御するか指示する機能ブロックを含むことを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、とくに、入力した画像に応じてアプリケーションを操作する情報端末装置、携帯電話機やゲーム端末装置等の情報処理装置に関するものである。
【背景技術】
【０００２】
一般に、従来のカメラからの入力画像を用いて操作する装置がある。このような装置の動作原理は、たとえば入力画像を背景と人物の部分の差分により人物の動きを解析し、解析結果の情報を基に操作している。特許文献１は、オペレータの視線および音声で操作する視線・音声入力装置である。また、特許文献２は、ポインティングできる機能を有する携帯機器である。パターンマッチングにより動き方向および動き量を求め、ポインティング機能を装置に持たせている。さらに、特許文献３は、ポインティングデバイス機能付携帯電話である。特許文献３は、被写体と撮像手段との位置を相対的に変化させた際に得られる画像データを用い、変化にともなう相対な移動量を情報処理装置に送出し、ポインティングさせる。
【特許文献１】特開平10−39995号公報
【特許文献２】特開2003−288161号公報
【特許文献３】特開2004−312194号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１は、このような操作を装置に実現させるために、入力画像を提供するカメラが固定して使用される。このような利用形態が示すように、特許文献１は携帯機器に向かない。これは、初期設定で取得した画像状態を保ち、上述した差分で動きを解析するからである。携帯端末装置は、カメラ位置を固定して利用することが難しい。
【０００４】
特許文献２および３は、基準としてあらかじめ位置を設定し、相対的に携帯機器を動かして相対的な移動量を持たせ、ポインティング量に反映させている。このためこれらを適用した装置は、装置を所望の方向に動かすことでポインティングすることになる。
【０００５】
本発明はこのような従来技術の欠点を解消し、ポインティングの検出において固定せず、任意に移動させて、確実にポインティングさせ、よりエンタテイメント性を向上させることができる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上述の課題を解決するために、ポインティングに応じて情報を処理する情報処理装置において、この装置は、被写界を撮像し、撮像により画像データを生成する撮像手段と、画像データに含まれる顔およびこの顔の部位を規定する特徴点を抽出する抽出手段と、特徴点の位置を基に顔の動きを判断し、動き情報を生成する動き判断手段と、画像データおよび動き情報を基に表示する顔画像としてキャプチャ画像を生成し、ポインティングにともなう選択およびこの選択に応じた情報処理をアプリケーションに連動させて、制御する制御手段と、供給されるキャプチャ画像を表示する表示手段とを含むことを特徴とする。
【発明の効果】
【０００７】
本発明に係る情報処理装置によれば、撮像手段で撮像した画像データを抽出手段および制御手段に供給し、抽出手段で画像データに含まれる顔およびこの顔の特徴点を抽出し、動き判断手段で特徴点の位置を基に顔の動きを判断し、動き情報を生成し、制御手段で画像データおよび動き情報を基に表示する顔画像としてキャプチャ画像を生成し、ポインティングにともなう選択およびこの選択に応じた情報処理をアプリケーションに連動させて、制御し、表示手段に供給されるキャプチャ画像を表示することにより、キャプチャ画像とともに、顔の特徴点も表示して抽出状況を確認しながら、任意な移動でありながら、確実なポインティングを実現させ、アプリケーションを動作させることによってよりエンタテイメント性を向上させることができるができる。
【発明を実施するための最良の形態】
【０００８】
次に添付図面を参照して本発明による情報処理装置の一実施例を詳細に説明する。図１を参照すると、本発明による情報端末装置10の実施例は、撮像部12で撮像した画像データ22を特徴点抽出部14および制御部16に供給し、特徴点抽出部14で画像データ22に含まれる顔およびこの顔の特徴点を抽出し、特徴判断部18で特徴点の位置を基に顔の動きを判断し、動き情報32を生成し、制御部16で画像データ22および動き情報32を基に表示する顔画像としてキャプチャ画像を生成し、ポインティングにともなう選択およびこの選択に応じた情報処理をアプリケーションに連動させて、制御し、モニタ20に供給されるキャプチャ画像を表示することにより、キャプチャ画像とともに、顔の特徴点も表示して抽出状況を確認しながら、任意な移動でありながら、確実なポインティングを実現させ、アプリケーションを動作させることによってよりエンタテイメント性を向上させることができるができる。
【０００９】
本実施例は、本発明の情報処理装置を情報端末装置10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１０】
情報端末装置10は、図１に示すように、撮像部12、特徴点抽出部14、制御部16、特徴判断部18およびモニタ20を含む。撮像部12は、被写界を撮影し、取得した画像をディジタル化するカメラ機能を有する。撮像部12は、撮影した人の顔を含む画像データ22を特徴点抽出部14および制御部16に出力する。
【００１１】
特徴点抽出部14は、画像データ22から人の頭部を抽出し、更に、頭部の各部位の位置を特徴点として抽出する機能を有する。この抽出処理は、特許第3593057号に記載された表情特徴抽出部と同じ機能である。顔の各部位とは、たとえば顔の輪郭、目、口、鼻および眉等である。すなわち、抽出は、1998年１月１日付で提案されたWG11/MPEG（Working Group 11/Moving Picture Experts of Group）のコミッティドラフトに記載された68個のFAP（Face Animation Parameters）を特徴点として解析する。この実現のため、特徴点抽出部14は、図示しないがエッジ検出および特徴点トラッキング機能部等を含む。
【００１２】
エッジ検出機能部は、供給される顔画像を走査して顔画像のエッジを検出する機能を有する。エッジ検出機能部は、検出したエッジから目、口、鼻および眉の輪郭を抽出し、抽出した各部の位置データまたは座標データを特徴点トラッキング機能部に送る。特徴点トラッキング機能部は、供給される座標データを探索し、得られた各特徴点の位置を追跡し、各特徴点の座標データを検出する機能を有する。特徴点トラッキング機能部は、特徴点抽出部14の出力として検出した座標データ24を特徴点判断部18に出力する。
【００１３】
特徴点判断部18は、顔枠算出機能部26、顔向き判断機能部28および口開閉判断機能部30を含む。特徴点判断部18は、供給される座標データ24を基に動きを判断し、動き情報32を生成する機能を有する。顔枠算出機能部26は、カメラに映る使用者の顔枠を座標データから求め、頭の移動方向および移動量を算出する機能を有する。顔向き判断機能部28は、座標データから頭の移動方向を算出する機能を有する。口開閉判断機能部30は、座標データから口の開閉を算出する機能を有する。特徴点判断部18は、算出した顔枠、顔向きおよび口の開閉を含む動き情報32を制御部16に出力する。
【００１４】
制御部16は、ポインタ制御機能部34、アプリケーション制御機能部36、表示制御機能部38およびキャプチャ画像生成機能部40を含む。制御部16は、供給される画像データ22および動き情報32を基に、ポインタ制御機能部34、アプリケーション制御機能部36、表示制御機能部38およびキャプチャ画像生成機能部40のそれぞれで得られた情報を相互に供給して、それぞれの機能を連動させて制御することが好ましい。アプリケーション制御機能部36は、他の機能部から供給される情報に連動してアプリケーション動作を制御することが望ましい。
【００１５】
各機能部の機能は以下のように定義される。ポインタ制御機能部34は、供給される動き情報32に応じて表示するポインタによる選択や移動を制御する機能を有する。アプリケーション制御機能部36は、少なくとも、どのようにアプリケーションを制御するかという機能を有し、また、供給される動き情報32に応じてポインタを操作するか否かも有してもよい。表示制御機能部38は、画像データ22および動き情報32を基にモニタ20への顔画像の表示を制御する機能を有する。さらに説明すると、表示制御機能部38は、とくに、リアルタイムにキャプチャ画像、顔の特徴点および顔枠を更新し、表示を制御する機能を有する。キャプチャ画像生成機能部40は、供給される画像データ22から顔の部分の画像を抽出し、キャプチャ画像を生成する機能を有する。制御部16は、生成したキャプチャ画像データおよびカーソルの制御情報を含む表示情報42をモニタ20に出力する。
【００１６】
モニタ20は、供給される表示情報42を表示する機能を有する。モニタ20には撮影されたキャプチャ画像が表示される。この画像は、鏡像になる。キャプチャ画像をモニタ20に表示することで使用者は、顔の特徴点の検出状態を確認することができる。
【００１７】
次に抽出する特徴点と判断について説明する。顔の部位には、それぞれ、図２に示すように、参照番号を付す。すなわち、左目44、目頭46、目尻48、上瞼の中心50、下瞼の中心52、目尻と上瞼の中心との中間54、目頭と上瞼の中心との中間56、右目58、目頭60、目尻62、上瞼の中心64、下瞼の中心66、目頭と上瞼の中心との中間68、目尻と上瞼の中心との中間70、左眉先端72、左眉中間74、右眉先端76、右眉中間78、鼻80、口として唇左端82、唇右端84、上唇の中心、すなわち人中86、下唇中心88、人中と唇左端との中間90、人中と唇右端との中間92、下唇中心と唇右端との中間94および下唇中心と唇左端との中間96で部位の位置を表わす。
【００１８】
顔枠算出機能部26は、基準幅98、基準高100、顔枠左端102、顔枠右端104、顔枠上端106および顔枠下端108を算出する。
基準幅98＝左目44−右目58、
基準高100＝下唇中心88−左目44または下唇中心88−右目58、
顔枠左端102＝左目44−(基準幅98×1.0)、
顔枠右端104＝右目58−(基準幅98×1.0)、
顔枠上端106＝左目44−(基準高100×0.8)または右目58−(基準高100×0.8)および
顔枠下端108は、下唇中心88＋(基準高100×0.4)。
【００１９】
顔向き判断機能部28は、右比率と左比率の変化により右向きと左向きを判断する。これ以降、参照符号に付される記号x, yは、座標データのx, yを表わす。図２および図３を用いて、右比率および左比率
右比率＝((右目58x−鼻80x)÷(顔枠右端104x−顔枠左端102x)×100)
左比率＝((鼻80x−左目44x)÷(顔枠右端104x−顔枠左端102x)×100)
を求める。また、上比率と下比率の変化により上向きと下向きを判断する。図２および図３を用いて、上比率および下比率
上比率＝((鼻80y−右目64y)÷(顔枠下端108y−顔枠上端106y)×100)
下比率＝((下唇中心88y−鼻80y)÷(顔枠下端108y−顔枠上端106y)×100)
を求める。さらに、中心位置（Cx,Cy）の変化により顔の向きを判断してもよい。
中心位置Cx＝(顔枠左端102x＋顔枠右端106y)÷2
中心位置Cy＝(顔枠上端106y＋顔枠下端108y)÷2
口開閉判断機能部30は、現在と前回の開口率の変化により開口を判断する機能を有する。現在と前回の開口率は、図４に示すように、
現在開口率＝(現在下唇中心88y−現在の人中86y)÷(現在顔枠下端108y−現在顔枠上端106y)×100)から求め、前回開口率＝(前回下唇中心88y−前回の人中86y)÷(前回顔枠下端108y−前回顔枠上端106y)×100)から求める。開口状態は、あらかじめ設定した開口閾値より大きいときとする。判断条件は、現在の開口率≠0かつ前回の開口率≠0の場合、(現在開口率＞前回開口率)かつ(前回開口状態が閉口状態)かつ((現在開口率−前回開口率)＞開口閾値)の場合に現在の開口状態が開口と判断する。また、(前回開口率＞現在開口率)かつ(前回開口状態が開口状態)かつ((前回開口率−現在開口率)＞開口閾値)の場合も現在の開口状態が開口と判断する。
【００２０】
次に情報端末装置10の動作について図５を用いて、説明する。使用者が情報端末装置10を起動する。使用者は、情報端末装置10の撮像部12を顔の前に向ける。顔の操作が開始されたか判断する（ステップS10）。使用者が顔の動きによるポインタ操作を開始した場合（YES）、入力画像の取得に進む（ステップS12へ）。ポインタ操作は、たとえばキーやマウスの通常の入力インタフェースを用い、開始ボタンのクリックやキーの押下げ等を行ない、操作を実行する。また、ポインタ操作がまだの場合（NO）、顔の操作が行なわれるまで待機する（ステップS10へ）。このポインタ操作後、撮像部12で入力画像を取得する（ステップS12）。取得した画像データ22を特徴点抽出部14に出力する。
【００２１】
次に特徴点抽出部14で画像を解析し、入力画像に映っている顔画像から顔の輪郭および特徴点を抽出する（ステップS14）。特徴点抽出部14は抽出した座標データ24を特徴点判断部18に出力する。
【００２２】
次に特徴点判断部18で顔枠を算出する（ステップS16）。特徴点判断部18は、顔枠算出機能部26で算出した顔枠を含む動き情報32を制御部16に出力する。
【００２３】
次に顔の向きに変化があるか否かを判断する（ステップS18）。特徴点判断部18の顔向き判断機能部28で顔向きを算出し、顔の向きを検出する。前述した比率を用いる方法は、使用者が向ける顔の方向検出に適し、中心位置を用いる方法は、使用者の顔位置の変化を検出するのに適している。前者の比率検出方法は、あらかじめ設定した各向きの閾値と検出した各比率とを比較して判断するとよい。また、数値N%の比率と顔の向きとを合わせて、「N%上」と表示してもよい。
【００２４】
顔向きに変化がある場合（YES）、特徴点判断部18から算出した顔向きを含む動き情報32を制御部16に出力し、ポインタ移動処理に進む（ステップS20へ）。また、顔向きに変化がない場合（NO）、手順は口の開閉を判断する処理に進む（ステップS22へ）。
【００２５】
ポインタ移動処理は、ポインタ制御機能部34で供給される動き情報32に応じてポインタを移動させ、キャプチャ画像生成機能部40でキャプチャ画像データおよび移動させたカーソルの制御情報を含む表示情報42をモニタ20に出力する。モニタ20には、入力画像に特徴点と顔枠を重畳した画像が表示される。この表示画像をキャプチャ画像という。
【００２６】
次に口の開閉があるか否かを判断する（ステップS22）。特徴判断部18の口開閉判断機能部30で口の開閉を検出する。開口の場合（YES）、アプリケーションの起動状態の確認処理に進む（ステップS24へ）。また、閉口の場合（NO）、顔操作の終了判断処理に進む（ステップS26へ）。
【００２７】
次にアプリケーションの起動状態の確認処理は、制御部16のアプリケーション制御機能部36で起動状態か否かを確認する。起動状態に有る場合（YES）、アプリケーションの終了処理に進む（ステップS28へ）。また、起動状態にない場合（NO）、アプリケーションの起動処理に進む（ステップS30へ）。
【００２８】
アプリケーションの終了はアプリケーション制御機能部36での制御により終了させる（ステップS28）。また、アプリケーションの起動は、現在ポインタが指しているアプリケーション制御機能部36での制御により起動させる（ステップS30）。これらの処理後、顔操作の終了判断処理に進む（ステップS26へ）。
【００２９】
次に顔操作の終了か否かを判断する（ステップS26）。顔操作が未終了の場合（NO）、入力画像の取得に戻る（ステップS12へ）。また、顔操作が終了の場合（YES）、終了に進んで、顔操作処理を終了する。
【００３０】
このように入力画像から顔の特徴点を抽出し、顔枠、顔の向きおよび口の開閉を判断し、判断した結果を基に装置の動作を制御することにより装置のポインタを操作できる。また、情報端末装置10は、顔以外の部分を非固定で構わないことから、携帯型の装置でより有効である。
【００３１】
情報端末装置10には、ポインタの移動やアプリケーションで示した例の他、リストメニューの選択操作やスクロール操作等にも適用することができる。
【００３２】
より具体的な例としてゲームで説明する。制御部16は、アプリケーション制御機能部36としてゲーム制御機能部を含む。また、制御部16は、キャプチャ画像生成機能部40にゲームオブジェクトを重畳する機能を有し、キャプチャ画像とゲームオブジェクトを合成した画像を生成する機能を有する。これらの機能を用いて、図６に示すキャプチャ画像110がモニタ20に表示される。
【００３３】
次にこの場合の情報端末装置10の動作を説明する。情報端末装置10は、すでにアプリケーション制御機能部36でゲームアプリケーションが起動している。本実施例のゲームアプリケーションは、図７の手順で動作する。ゲームアプリケーションの開始にともないオブジェクトを追加する（ステップS30）。キャプチャ画像はキャプチャ画像生成機能部40で顔画像にオブジェクト112、114および116を重畳合成する。オブジェクト112、114および116は、図６に示すように、たとえばおにぎり、とうもろこしおよび魚等をモニタ20の画面上部から下部の所定の位置に向かって降らせる。オブジェクトは、適当な頻度で発生させるとよい。
【００３４】
次に口の開閉があったか否かを判断する（ステップS32）。この判断には、特徴点判断部18で得た口の開閉を含む動き情報32から口の開閉をチェックする。口の開閉があった場合（YES）、位置確認処理に進む（ステップS34へ）。また、口の開閉がなかった場合（NO）、オブジェクト移動処理に進む（ステップS36へ）。
【００３５】
次に位置確認処理では、オブジェクトと口の位置が一致するか否かを判断する（ステップS34）。口の特徴点の位置とオブジェクトの位置とを比較する。口の特徴点の位置は、図２に示す顔の口における特徴点である。図６のキャプチャ画像110では、口の周りに配された６個の記号○である。両方の位置が一致するとは、たとえば口の特徴点で囲まれた範囲内にオブジェクトの中心位置が含まれるように、一定範囲内に重なる場合である。両方の位置が一致する場合（YES）、オブジェクトが口に咥えられたと判断し、オブジェクト処理に進む（ステップS40へ）。また、両方の位置が一致しない場合（NO）、オブジェクト移動処理に進む（ステップS36へ）。
【００３６】
次にオブジェクト処理では、咥えられたオブジェクトを消去し、あらかじめ定められたゲームの得点を加算する（ステップS38）。次にゲームクリアの確認処理に進む（ステップS40へ）。
【００３７】
ゲームクリアの確認処理では、あらかじめ定められたクリア条件を達成したか否かを判断する（ステップS40）。クリア条件は、たとえば一定数のオブジェクトの消去または一定の得点の取得である。条件を満足する場合（YES）、ゲームオーバと判断し、終了に進み、ゲームアプリケーションを終了させる。また、条件を満足していない場合（NO）、ゲームを継続させ、オブジェクト移動処理に進む（ステップS36へ）。
【００３８】
次にオブジェクト移動処理では、残ったオブジェクトを移動させる（ステップS36）。画面の最下端に達していたオブジェクトは、オブジェクト移動により画面から消える。次にこの移動にともないオブジェクトが表示範囲外に達したか否かを判断する（ステップS42）。オブジェクトが最下端にあった場合（YES）、画面から無くすオブジェクト削除処理に進む（ステップS44へ）。また、オブジェクトが最下端にない場合（NO）、口の開閉のチェックに戻る（ステップS32へ）。
【００３９】
次にオブジェクトを削除する（ステップS44）。該当するオブジェクトは得点されることなく、失われる。ゲームアプリケーションは、失われたオブジェクトの総数または総失点をカウントする。
【００４０】
次にカウントした失われたオブジェクトの総数または総失点があらかじめ設定した数または点数に達したか否かを判断する（ステップS46）。カウントした失われたオブジェクトの総数または総失点があらかじめ設定した数または点数に達していない場合（NO）、口の開閉のチェックに戻る（ステップS32へ）。また、カウントした失われたオブジェクトの総数または総失点があらかじめ設定した数または点数に達した場合（YES）、ゲームオーバでゲームを終了する。
【００４１】
このようにゲーム操作とゲームのオブジェクトをキャプチャ画像に重畳表示することによりあたかも使用者がゲーム中に存在して、使用者の動作でゲームが進行するような表現を可能にし、情報処理装置10のエンタテイメント性をより向上させるという効果を奏する。
【００４２】
情報端末装置10は、上述したゲームに限定されるものでなく、たとえば画面下部に使用者を示すオブジェクトを配し、画面上部から敵を示すオブジェクトがミサイルのような弾を発射するゲームでは使用者の顔の向きで使用者を示すオブジェクトの移動操作に用い、口の開閉を使用者からのミサイル発射操作に用いることができる。
【００４３】
本実施例の情報端末装置10は、特許文献３と比較すると、顔検出を用いることから、時間的相対変化に加えて、画面上の顔の絶対的な位置を検出することができる。特許文献３は、設定した基準位置からの移動量だけで位置検出する。情報端末装置10は、移動でなく、顔の位置でポインタの位置を決定することができるから、初期位置の取得において背景が止まっていなくてもよい。情報端末装置10は、表情検出することから、使用者による大きなアクションまたは動作を取らずに顔の部位だけでポインタを操作できる。
【００４４】
また、情報端末装置10は、使用者の動きをゲームのアクションに反映できることから、バーチャルなゲーム世界に自分を投影されているような臨場感・感情移入を持たせることができる。これにより情報端末装置10は、特許文献３に比べてよりエンタテイメント性の高いゲームを実施できる。
【図面の簡単な説明】
【００４５】
【図１】本発明の情報処理装置を適用した情報端末装置の概略的な構成を示すブロック図である。
【図２】図１の特徴点抽出部で顔の特徴点として抽出する顔の位置を示す図である。
【図３】図２の特徴点を用いた顔向きの判断に用いる特徴点の位置関係を説明する図である。
【図４】図２の特徴点を用いた口の開口の判断に用いる特徴点の位置関係を説明する図である。
【図５】図１の情報端末装置における動作手順を説明するフローチャートである。
【図６】図１のモニタに表示されるキャラクタ画像とオブジェクトとを合成したモニタ画像を示す図である。
【図７】図１の情報端末装置に適用した際のゲームアプリケーションにおける動作手順を説明するフローチャートである。
【符号の説明】
【００４６】
10  情報端末装置
12  撮像部
14  特徴点抽出部
16  制御部
18  特徴判断部
20  モニタ
【図１】
2007179338.tif 000003
【図２】
2007179338.tif 000004
【図３】
2007179338.tif 000005
【図４】
2007179338.tif 000006
【図５】
2007179338.tif 000007
【図６】
2007179338.tif 000008
【図７】
2007179338.tif 000009