(57)【要約】【課題】新たなユーザインタフェイス装置を提供し、ユーザにおける利便性を高める。【解決手段】注目部位特定部は、認識された顔領域のうちの鼻領域を注目部位として特定する（Ｓ１１８）。トラッキング部は、取得されたｉ番目のフレームの鼻領域の位置を、テンプレート画像を用いたマッチングによって追跡する（Ｓ１２２）。トラッキング部は、追跡結果に基づいて顔の向きの変化の検出を試みる（Ｓ１２６）。トラッキング部によりｉ番目のフレームにおいてユーザの顔の向きの変化が検出されると（Ｓ１２８：Ｙｅｓ）、入力処理部は、テーブルを参照することにより、検出されたユーザの顔の向きの変化が表す意味内容に応じた入力処理を実行する（Ｓ１３０）。【選択図】図４
2008112360.tif 000002
【特許請求の範囲】
【請求項１】
撮影されたユーザの顔画像を取得する取得部と、
取得された顔画像をもとにユーザの顔の向きを推定する推定部と、
推定された顔の向きに応じて所定の入力処理を実行する入力処理部と、
を備えることを特徴とするユーザインタフェイス装置。
【請求項２】
複数回に亘って撮影されたユーザの顔画像を順次取得する取得部と、
取得された顔画像をもとにユーザの顔の向きを順次推定する推定部と、
順次推定された顔の向きの変化に応じて所定の入力処理を実行する入力処理部と、
を備えることを特徴とするユーザインタフェイス装置。
【請求項３】
請求項２に記載の装置において、当該装置はさらに、顔の向きの変化とその意味内容に応じた入力処理との関係を記述するテーブルを備え、
前記入力処理部は、そのテーブルを参照することにより、顔の向きの変化が表す意味内容に応じた入力処理を実行することを特徴とするユーザインタフェイス装置。
【請求項４】
複数回に亘って撮影されたユーザの顔画像をもとにユーザの顔の向きを順次推定する機能と、
順次推定された顔の向きの変化に応じて所定の入力処理を実行する機能と、
をコンピュータに発揮させることを特徴とするユーザインタフェイス処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力を利用したユーザインタフェイス技術に関する。
【背景技術】
【０００２】
例えばゲーム装置では、コントローラの上下左右方向キーやアナログスティックなどを操作してゲームの入力とすることが広く行われている（特許文献１）。最近では技術革新が進み、コントローラを振ったり回転させたりしてゲームをプレイすることも可能になっている。
【特許文献１】特開２００４−３１３４９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明者は現状のコントローラについて次に示す課題を認識している。すなわち、方向キーの操作により例えばポインタを移動しようとすると、移動に時間がかかり、使い勝手が良いとはいえない。また、アナログスティックはセンターに戻ろうとする力が働き操作しにくい場合もある。さらに、コントローラを振ったり回転させたりする動作は１人でやると寂しいと感じられることもあるし、疲れるため長時間継続することが難しい場合もある。このように、現状のコントローラはユーザにおける利便性の面で改善の余地もある。
【０００４】
本発明はこうした状況を認識してなされたものであり、その目的は、新たなユーザインタフェイス装置を提供し、ユーザにおける利便性を高めることにある。
【課題を解決するための手段】
【０００５】
本発明のある態様は、ユーザインタフェイス装置に関し、ユーザの顔画像をもとにユーザの顔の向きを推定し、その推定結果に応じて所定の入力処理を実行するものである。また、別の態様は、顔の向きに替えて顔の向きの変化に着目し、所定の入力処理を実行するものである。なお、これらの態様を、方法もしくはシステム、コンピュータプログラム、記録媒体などの間で変換したものもまた本発明として有効である。
【発明の効果】
【０００６】
本発明のユーザインタフェイス装置によれば、ユーザにおける利便性を高めることができる。
【発明を実施するための最良の形態】
【０００７】
実施の形態を詳述する前にその概要を以下に示す。
１．ある態様のユーザインタフェイス装置は、撮影されたユーザの顔画像を取得する取得部と、取得された顔画像をもとにユーザの顔の向きを推定する推定部と、推定された顔の向きに応じて所定の入力処理を実行する入力処理部とを備える。ここで、「所定の入力処理」とは、本装置に対してユーザの意思を何らかの形で反映させることをいい、必ずしも入力の確定動作を伴う必要はない。
【０００８】
２．別の態様では、複数回に亘って撮影されたユーザの顔画像を順次取得する取得部と、取得された顔画像をもとにユーザの顔の向きを順次推定する推定部と、順次推定された顔の向きの変化に応じて所定の入力処理を実行する入力処理部とを備える。当該装置はさらに、顔の向きの変化とその意味内容に応じた入力処理との関係を記述するテーブルを備え、入力処理部は、そのテーブルを参照することにより、顔の向きの変化が表す意味内容に応じた入力処理を実行してもよい。
【０００９】
３．さらに別の態様では、複数回に亘って撮影されたユーザの顔画像を順次取得する取得部と、初回に取得された顔画像の注目部位の位置を顔画像内の部位の位置関係を利用して特定する注目部位特定部と、特定された注目部位を含む部分画像をテンプレート画像として、２回目以降に取得された顔画像の注目部位の位置をテンプレート画像を用いたマッチングによって追跡することにより顔の向きの変化を検出するトラッキング部と、顔の向きの変化とその意味内容に応じた入力処理との関係を記述するテーブルと、そのテーブルを参照することにより、顔の向きの変化が表す意味内容に応じた入力処理を実行する入力処理部とを備える。ここで「初回」とは必ずしも第１回の撮影に限られない。あくまでも、最初に注目部位を特定するために利用される撮影であればよく、以降のトラッキング処理から見ればそれよりも先になされるため初回と呼ばれるに過ぎない。
【００１０】
いずれの態様も、顔に特有の性質に注目したものである。すなわち、例えば手では、時と場合によって形状および位置がいろいろ変化するため画像認識において捕らえにくい。また、可動範囲が広いことが災いして「向き」を定義することが困難である。その点、顔であれば、形状の変化が比較的少なく可動範囲も限られているため、画像認識で位置の特定が容易で、「向き」も定義できる。本発明者は顔に特有のこのような性質に気づき、ユーザインタフェイス装置において顔の向きあるいはその変化を入力処理に反映させるという技術に想到した。
【００１１】
以下、図面を参照しながら本発明の好適な実施の形態を詳述する。なお、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付し、適宜重複した説明は省略する。また、実施の形態は発明を限定するものではなく例示であり、実施の形態に記述されるすべての特徴やその組み合わせは必ずしも発明の本質的なものであるとは限らない。
【００１２】
図１は、実施の形態にかかるユーザインタフェイス装置を用いた情報処理システム１の使用環境を例示する概念図である。このユーザインタフェイス装置は、情報処理システム１の一部を構成するコンピュータ１０によりその機能が実現される。情報処理システム１は、ユーザインタフェイス装置１００の他に、デジタルカメラ２と、ディスプレイ３とを備える。
【００１３】
デジタルカメラ２は、ディスプレイ３の前にいるユーザの顔画像を撮影可能な位置に設けられる。図１では、デジタルカメラ２がディスプレイ３の上に設けられた場合を例示している。なお、デジタルカメラ２による撮影画像は、所定のフレームレートの動画であってもよいし、静止画の連続であってもよい。本実施の形態ではそれが動画であるものとして説明する。ディスプレイ３は、特に限定されないが、コンピュータ１０の制御に応じて例えばソフトウェアキーボードやメニュー画面などを表示する。コンピュータ１０は、後述のように、デジタルカメラ２による撮影画像すなわちユーザの顔画像に応じた入力処理を実行する。
【００１４】
図２は、図１に示されるコンピュータ１０において実現されるユーザインタフェイス装置１００の機能ブロック図である。ここに示す各ブロックは、ハードウェア的にはコンピュータのＣＰＵをはじめとする素子や機械装置で実現され、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックがハードウェアやソフトウェアの組み合わせによっていろいろなかたちで実現できることは当業者に理解されるところである。
【００１５】
ユーザインタフェイス装置１００は、バッファ１１と、取得部１２と、推定部１４と、入力処理部１６と、テーブル１８とを備える。バッファ１１は、既知の手法によりデジタルカメラ２の撮影画像をフレームごとに一時記憶する。取得部１２は、推定部１４によるによる処理のために、バッファ１１に記憶された画像をフレームごとに順次読み出す。推定部１４は、顔認識部２０と、注目部位特定部２２と、トラッキング部２４とを含む。
【００１６】
顔認識部２０は、取得部１２の取得画像においてユーザの顔にあたる画像領域を認識する。以下、取得画像における顔にあたる画像領域を「顔領域」、顔領域を含む画像を「顔画像」と表記する。顔領域の認識には、ブースティングやサポートベクターマシン等の公知のパターン認識技術を用いればよい。例えば、数十から数百種類の顔画像を合成した基準画像をあらかじめ用意しておき、顔認識部２０は、取得画像中に矩形領域を設定し、基準画像とその矩形領域の画像を比較して画像としての類似度を数値化する。取得画像中にさまざまな矩形領域を設定して類似度を算出することにより、取得画像中の「顔らしい」領域を顔領域として特定する。なお、顔認識部２０は、取得部１２の取得画像の中に顔領域を認識できなければ、次の取得画像の顔領域を認識する。これらの処理は顔領域が認識されるまで繰り返される。
【００１７】
注目部位特定部２２は、顔認識部２０が認識した顔領域のうちの注目部位を特定する。本実施の形態では、顔領域のうちの鼻にあたる領域（以下「鼻領域」と表記）を認識し、これを注目部位として特定する。鼻領域の認識は顔領域の場合と同様にしてもよいし、顔領域の中央部分を単純に鼻領域と認識してもよい。あるいは、比較的容易に特定できる両目の位置を先に特定し、両目を結ぶ線の中央部分の下方にあたる所定範囲を鼻領域と認識してもよい。すなわち、顔画像内の部位の位置関係を利用して鼻領域を認識してもよい。図３に鼻領域を例示する。破線で囲まれた矩形領域が鼻領域である。目や口と異なり鼻は閉じたり開いたりしないため、本実施の形態では鼻領域を注目部位として特定することとしている。これにより、トラッキング部２４による追跡が容易となる。
【００１８】
図２に戻り、トラッキング部２４は、注目部位特定部２２により注目部位すなわち鼻領域が特定されたフレーム（以下「初回フレーム」と表記）の後の各フレーム（以下「後続フレーム」と表記）において鼻領域を追跡することによりユーザの顔の向きを順次推定し、その変化を検出する。本実施の形態では「顔の向き」は、デジタルカメラ２に対してユーザの顔が正対したときのものを基準とする。鼻領域の追跡には公知のテンプレートマッチングを用いればよい。具体的には、初回フレームにおける鼻領域を含む部分画像をテンプレート画像として、後続フレームの鼻領域の位置をそのテンプレート画像を用いたマッチングによって追跡する。ここで、後続フレームの全領域についてマッチングを実行する必要はなく、顔の可動範囲をもとに、初回フレームにおける鼻領域の周辺部分についてのみマッチングを実行すれは足りる。なお、初回フレームにおける鼻領域を含む部分画像を一貫してテンプレート画像として利用することに替えて、テンプレート画像を順次更新してもよい。
【００１９】
このように、推定部１４は、取得部１２により順次取得されたユーザの顔画像をもとにユーザの顔の向きを順次推定し、その変化を検出する。
テーブル１８は、顔の向きの変化とその意味内容に応じた入力処理との関係を記述している。入力処理部１６は、テーブル１８を参照することにより、トラッキング部２４により検出された顔の向きの変化が表す意味内容に応じた入力処理を実行する。入力処理の結果はディスプレイ３に出力される。入力処理部１６は、また、顔認識部２０が顔領域を認識したことをスイッチとして、スクリーンセーバからの復帰やメニュー表示などの入力準備処理をしてもよい。
【００２０】
テーブル１８の記述例、すなわち、顔の向きの変化とその意味内容に応じた入力処理の例をいくつか示す。
(1) ポインタの移動・・・顔の向きの変化に応じて、ディスプレイ３に表示されたポインタを移動させるように入力処理を実行する。例えば、ユーザの顔の向きが右に変化したとき、ディスプレイ３に表示されたポインタがユーザから見て右に移動するように入力処理を実行する。その他の向きへの変化も同様にする。このような入力処理はユーザの直感にも合致しやすいと考えられるため、ユーザにおける利便性の向上が期待される。なお、ポインタに替えてキャラクタを移動させるようにしてもよい。
(2) 「Ｙｅｓ」「Ｎｏ」の選択・・・一般に承諾や同意などの気持ちを表すとき、人は首を縦に振る。一方、不承諾や不同意などの気持ちを表すとき、人は首を横に振る。この点に着目し、ユーザに顔の向きが下に変化して元に戻ったときは、ユーザが「Ｙｅｓ」を選択した場合の入力処理を実行し、顔の向きが左右に変化して元に戻ったときは、ユーザが「Ｎｏ」を選択した場合の入力処理を実行する。これによればユーザは、ディスプレイ３に表示された「Ｙｅｓ」「Ｎｏ」の問いかけに対し、通常の会話時にするのと同じように頷いたり首を横に振ることで、その動作の意味通りの入力処理を得られる。したがって、マウスなどによりポインタを操作して「Ｙｅｓ」「Ｎｏ」を選択する場合と比較してより直感に近い動作で入力を進めることができるため、ユーザにおける利便性の向上が期待される。
(3) 画面のスクロール・・・顔の向きの変化に応じて、ディスプレイ３の表示をスクロールさせるように入力処理を実行する。例えば、ユーザの顔の向きが下に変化したとき、ディスプレイ３の表示を下にスクロールするように入力処理を実行する。その他の向きへの変化も同様にする。コンピュータの操作に不慣れなユーザにとってスクロールの動作は難しいと感じられる場合もあるが、上述のように顔の向きの変化と画面スクロールの向きを対応づけることにより画面スクロールをより直感に近づけることができ、ユーザにおける利便性の向上が期待される。
【００２１】
図４は、図２に示されるユーザインタフェイス装置１００における処理を示すフローチャートである。処理が開始されると、フレームカウント値のｉが０にセットされる（Ｓ１０１）。取得部１２は、バッファ１１からｉ番目のフレームを取得する（Ｓ１０２）。顔認識部２０は、取得されたｉ番目のフレームについて顔領域の認識を試みる（Ｓ１０４）。顔領域が認識できなかった場合（Ｓ１０６：Ｎｏ）、ｉがインクリメントされ（Ｓ１０８）、同様の処理が実行される。これらの処理は、顔領域が認識されるまで繰り返される。
【００２２】
顔認識部２０によりｉ番目のフレームにおいて顔領域が認識されると（Ｓ１０６：Ｙｅｓ）、注目部位特定部２２は、認識された顔領域のうちの鼻領域を注目部位として特定する（Ｓ１１８）。特定された鼻領域を含む部分画像は、トラッキング部２４においてテンプレート画像として保持される。
【００２３】
鼻領域の特定後、ｉがインクリメントされ（Ｓ１１９）、取得部１２は、バッファ１１からｉ番目のフレームを取得する（Ｓ１２０）。トラッキング部２４は、テンプレート画像を用いたマッチングにより、取得されたフレームについて鼻領域の位置の追跡を試みる（Ｓ１２２）。ここで、鼻領域を見失って追跡できなかった場合（Ｓ１２３：Ｎｏ）、ｉがインクリメントされ（Ｓ１２４）、Ｓ１０２のステップに戻る。なお、鼻領域を追跡できたか否かはテンプレートマッチングのスコアとスレッショルドとの大小関係で決定できる。
【００２４】
トラッキング部２４は、鼻領域の追跡に成功すると（Ｓ１２３：Ｙｅｓ）、追跡結果に基づいて顔の向きの変化の検出を試みる（Ｓ１２６）。顔の向きの変化が検出されなかった場合（Ｓ１２８：Ｎｏ）、ｉがインクリメントされ（Ｓ１１９）、同様の処理が実行される。これらの処理は、顔の向きの変化が検出されるまで繰り返される。
【００２５】
トラッキング部２４によりｉ番目のフレームにおいてユーザの顔の向きの変化が検出されると（Ｓ１２８：Ｙｅｓ）、入力処理部１６は、テーブル１８を参照することにより、検出されたユーザの顔の向きの変化が表す意味内容に応じた入力処理を実行する（Ｓ１３０）。
【００２６】
図４では、トラッキング部２４が１フレームの追跡ごとに顔の向きの変化の検出を試みる場合を示したが、これに替えて、トラッキング部２４は、追跡済みのフレーム数が所定数となるまで追跡を繰り返し、追跡済みフレーム数が所定数となったときに顔の向きの変化の検出を試みてもよい。検出を試みるときの追跡済みフレーム数（以下、「必要フレーム数」）は、入力処理部１６において実行すべき入力処理ごとに設定されてもよい。
【００２７】
例えば、入力処理部１６が「Ｙｅｓ」「Ｎｏ」の選択のような入力処理を実行する場合は、必要フレーム数は多めに設定される。「Ｙｅｓ」「Ｎｏ」の選択のためには、トラッキング部２４はユーザの顔の向きの少なくとも２方向の変化を検出しなければならないからである。一方、入力処理部１６がポインタの移動や画面のスクロールのような入力処理の場合は、必要フレーム数は少なめに設定される。この場合は顔の向きの１方向の変化を検出すれば足りるためである。
【００２８】
（利用場面１：手を使えないとき）
図１に示される情報処理システム１が自動車工場の端末に用いられている場合を説明する。いま、自動車工場で車を修理している整備士が、工場内のコンピュータを操作してパーツ情報などを参照する場面を考える。このような場面では手が汚れていたり濡れていたりしてコンピュータを手で操作できない場合が多い。本実施の形態によれば、整備士が顔をデジタルカメラ２と正対させれば、コンピュータ１０はそれをスイッチとしてディスプレイ３にメニューを表示する。整備士は、顔の向きを変えるだけでパーツ情報を参照できる。したがって、パーツ情報を参照するために手を洗ったりする必要がなくなり、整備士の時間の無駄を抑えうる。
【００２９】
（利用場面２：ソフトウェアキーボード）
図１に示される情報処理システム１でソフトウェアキーボードによる入力処理を実行する場合を説明する。従来のようにソフトウェアキーボードで文字を特定する際に方向キーやジョイスティックを使用すると、１文字移動するごとに動きを止めなければならなかったり所望の文字を行き過ぎてしまったりして操作性がよいとはいえない。また、アナログスティックを使用すると真ん中に戻ろうとする力が操作性を悪化させる恐れがある。本実施の形態によれば、ユーザは顔の向きを変えることでマウスのようにアナログ的にポインタを動かすことができるので使い勝手がよい。さらにマウスおよびマウスパッドが不要となる点で省スペース化が期待される。
【００３０】
（利用場面３：「Ｙｅｓ」または「Ｎｏ」の選択）
図１に示される情報処理システム１をエンタテイメントシステムとして用いる場合を説明する。いま、ユーザがＲＰＧ（Role-Playing Game）をプレイしている場面を考える。従来、キャラクタの移動には方向キーやアナログスティックなどが使われ、「Ｙｅｓ」または「Ｎｏ」を選択する場面では○ボタンあるいは×ボタンを押すなどしていた。本実施の形態では、ユーザは、顔の向きを変化させることでキャラクタを動かし画面上をウォークスルーできる。また、別のキャラクタに話しかけられて「Ｙｅｓ」または「Ｎｏ」を選択するとき、ユーザは頷くあるいは首を横に振ることで選択を実行できる。ここで、入力処理部１６は、ユーザが所定時間反応を示さなかったことを検知した場合には、選択がなかったものとして自然にゲームを進めることもできる。
【００３１】
上述した実施の形態は例示に過ぎず、その種々の変形技術が本発明に含まれることは当業者には容易に理解されるところである。以下、そうした変形技術を例示する。
【００３２】
実施の形態では主に顔の向きの変化に着目したが、変形技術では顔の向き自体に着目する。トラッキング部２４は、後続フレームにおける鼻領域の位置を追跡するまでは実施の形態と同様にし、その後、初回フレームにおける鼻領域の位置と現在のフレームにおける鼻領域の位置とから現在の顔の向きを推定する。用途によっては顔の向きの変化よりも顔の向き自体を入力処理に利用した方が使い勝手がよいと感じられる場合もある。そういった場合には本変形技術が有利である。
【００３３】
実施の形態では主としてデジタルカメラ２の撮影画像が動画である場合を説明したが、それは動画でなく静止画であってもよい。推定部１４は、初回に撮影された静止画における鼻領域がその後の静止画でどの位置にあるかにより顔の向きを推定することができる。なお、初回に撮影された静止画とは、注目部位特定部２２により鼻領域が特定された静止画を意味する。
【００３４】
実施の形態では、注目部位特定部２２が顔画像のうちの鼻領域を注目部位として特定する場合を説明した。変形技術では、目や口にあたる領域を注目部位としてもよい。また、目・口・鼻の位置関係の２つあるいは３つを注目部位としてもよい。目や口の場合、トラッキング部２４における追跡容易性が鼻ほどではないが、それを克服することで実施の形態と同様の効果が得られる。
【００３５】
実施の形態では特に触れなかったが、ユーザが顔の向きを変化させずに顔の位置を変えることもある。ディスプレイ３の表示面に対して並行に顔を動かした場合がそれである。このような場合もユーザインタフェイス装置１００は顔の向きが変化したものと推定してそれに応じた入力処理を実行する。例えば、ユーザがディスプレイ３の表示面に対して並行に顔を左に動かした場合、ユーザインタフェイス装置１００は、ユーザの顔の向きが左に変化したものと推定し、ポインタを左に移動させるような入力処理を実行する。この入力処理はユーザの直感に合致したものと考えられ、結果的に妥当なものといえる。
【図面の簡単な説明】
【００３６】
【図１】実施の形態にかかるユーザインタフェイス装置を用いた情報処理システムの使用環境を例示する概念図である。
【図２】図１に示されるコンピュータにおいて実現されるユーザインタフェイス装置の機能ブロック図である。
【図３】図２に示される取得部による取得画像と、注目部位特定部において認識される鼻領域とを重ねて示す説明図である。
【図４】図２に示されるユーザインタフェイス装置における処理を示すフローチャートである。
【符号の説明】
【００３７】
１・・・情報処理システム、２・・・デジタルカメラ、３・・・ディスプレイ、１０・・・コンピュータ、１２・・・取得部、１４・・・推定部、１６・・・入力処理部、１８・・・テーブル、２０・・・顔認識部、２２・・・注目部位特定部、２４・・・トラッキング部、１００・・・ユーザインタフェイス装置。
【図１】
2008112360.tif 000003
【図２】
2008112360.tif 000004
【図３】
2008112360.tif 000005
【図４】
2008112360.tif 000006