(57)【要約】【課題】極力操作者が手動操作を行う必要なく、多数の被選択物の選択を容易に行えるようにする。【解決手段】選択肢を表す複数の表示要素（カード群７０）を表示画面上に表示する表示部と、表示画面を見ている状態の操作者１０を撮像する撮像部とを備えた端末装置において、撮像部による撮影画像３４１内の操作者の顔像３４１Ａの位置を検出する。顔像が所定範囲９０外にあるか否かを判定する。所定範囲外にあることが検出されたとき、表示画面上で３次元的に表示した複数の表示要素（カード７２〜７８）を表示画面上で所定方向に移動させるとともに、それらの表示要素を順次更新して表示させる。顔像が所定範囲内に入ったことが検出されたとき、複数の表示要素の移動を停止させ、特定の表示要素（１つのカード）を強調表示する。【選択図】図９
2010134738.tif 000002
【特許請求の範囲】
【請求項１】
表示画面上に選択肢を表す複数の表示要素を表示する表示手段と、
表示画面を見ている状態の操作者を撮像する撮像手段と、
撮影画像内の操作者の顔像の位置を検出する顔位置検出手段と、
前記撮影画像内の操作者の顔像が所定範囲外にあることが検出されたとき前記複数の表示要素を表示画面上で所定方向に移動させるとともに、表示要素を順次更新して表示させ、前記顔像が所定範囲内に入ったことが検出されたとき前記複数の表示要素の移動を停止させるよう、前記表示手段を制御する制御手段と
を備えた端末装置。
【請求項２】
前記制御手段は、前記表示要素の移動を停止させるとき、その時点で所定の位置にある表示要素を強調して表示させる請求項１に記載の端末装置。
【請求項３】
各表示要素は表面および裏面を有する同一サイズのカードで表わされ、前記制御手段は、３次元空間内で等間隔に離間して互いに平行に配置したカード群を各カードの一面の少なくとも一部が見える視点から見た斜視図として表示させる請求項２に記載の端末装置。
【請求項４】
前記強調は、複数のカードのうち当該所定の位置の表示要素のカードのみその一面を正面に向けて表示することである請求項３に記載の端末装置。
【請求項５】
前記制御手段は、前記顔像が前記所定範囲の一方の側と他方の側のいずれ側にあるかによって、操作者に見える面をカードの表面と裏面に切り替える請求項３または４に記載の端末装置。
【請求項６】
前記制御手段は、前記顔像のサイズに応じて前記視点と前記カード群との距離を変更する請求項３、４または５に記載の端末装置。
【請求項７】
前記制御手段は、操作者に面する仮想的な投影平面上に投影した投影画像を表示する請求項１〜６のいずれかに記載の端末装置。
【請求項８】
３次元空間内で前記複数の表示要素としてのカード群が複数のカード列として配置され、前記制御手段は、水平方向の顔像の移動に応じて少なくとも１つのカード列の水平方向の移動を行い、垂直方向の前記顔像の移動に応じてカード列の選択を行う請求項１に記載の端末装置。
【請求項９】
前記顔像の位置に応じて垂直方向にカード列の移動およびカード列の更新を行う請求項８に記載の端末装置。
【請求項１０】
前記制御手段は、前記顔像が所定範囲外にあるとき、顔像の位置やサイズに応じて、前記表示要素の移動および更新  表示の移動および更新の速度を可変制御する請求項１に記載の端末装置。
【請求項１１】
選択肢を表す複数の表示要素を表示画面上に表示する表示部と、表示画面を見ている状態の操作者を撮像する撮像部とを備えた端末装置における表示制御方法であって、
前記撮像部による撮影画像内の操作者の顔像の位置を検出するステップと、
前記撮影画像内の操作者の顔像が所定範囲外にあるか否かを判定するステップと、
前記顔像が所定範囲外にあることが検出されたとき前記複数の表示要素を表示画面上で所定方向に移動させるとともに、表示要素を順次更新して表示させるステップと、
前記顔像が所定範囲内に入ったことが検出されたとき前記複数の表示要素の移動を停止させ、その時点で特定の位置にある表示要素を強調表示するよう、前記表示部を制御するステップと
を備えた表示制御方法。
【請求項１２】
選択肢を表す複数の表示要素を表示画面上に表示する表示部と、表示画面を見ている状態の操作者を撮像する撮像部とを備えた端末装置において実行される表示制御プログラムであって、
前記撮像部による撮影画像内の操作者の顔像の位置を検出するステップと、
前記撮影画像内の操作者の顔像が所定範囲外にあるか否かを判定するステップと、
前記顔像が所定範囲外にあることが検出されたとき前記複数の表示要素を表示画面上で所定方向に移動させるとともに、表示要素を順次更新して表示させるステップと、
前記顔像が所定範囲内に入ったことが検出されたとき前記複数の表示要素の移動を停止させ、その時点で特定の位置にある表示要素を強調表示するよう、前記表示部を制御するステップと
をコンピュータに実行させる表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元の表示画面に３次元物体の投影画像を表示する端末装置、表示制御方法および表示制御プログラムに関する。
【背景技術】
【０００２】
端末装置には表示装置に３次元物体の投影画像を表示するものがある。３次元物体を表示し操作者が操作可能にすることによって利便性、一覧性が増す。
【０００３】
そのような表示画面上の３次元物体の投影画像に対して、コントローラの操作によって、その視点を変える等の表示制御を可能にする技術が提案されている（特許文献１参照）。コントローラの操作としては単に押ボタンの操作に限らず、コントローラ自体の位置や姿勢の変化を測定し、利用することも提案されている。
【０００４】
また、人物映像を互いに通信するテレビ電話の用途において、本人の顔を送信する代わりにＣＧキャラクタの映像を相手に送信することによって操作者の頭部の姿勢情報および顔の表情を計測し、その計測結果に基づいてＣＧキャラクタの動きを制御する技術が提案されている（特許文献２参照）。
【０００５】
撮影画像の中から顔像を少ない演算量で迅速に判定する技術も提案されている（特許文献３参照）。
【特許文献１】特開２００７−２６０２３２号公報
【特許文献２】特開２００３−１０８９８０号公報
【特許文献３】特開２００５−２８４４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述のような３次元物体の表示および操作によって表示の臨場感が増すことなどが期待できる。
【０００７】
ところで、比較的小さいサイズの表示画面および限られた入力手段しか備えていない携帯電話端末のような移動体端末において、比較的多数の被選択物から所望の被選択物を選ぶ場合、従来、被選択物をリストやアイコンで表示し、十字キーなどの操作により、リストやアイコンに対してカーソルやフォーカスを移動させて操作者に被選択物を選択させる方法が知られている。
【０００８】
しかし、多数の被選択物から所望の被選択物を選択するためには、通常、表示画面上で被選択物をスクロールさせたりページを切り替えたりする操作を手動で行う必要がある。所望の被選択物を見つけるまで、画面を見ながら操作部を手動操作するのは、煩雑であるばかりでなく、操作に不慣れな初心者には使いづらいという問題がある。
【０００９】
本発明はこのような背景においてなされたものであり、極力操作者が手動操作を行う必要なく、多数の被選択物の選択を容易に行えるようにするものである。
【００１０】
また、限られたサイズの表示画面において、多数の被選択物の一覧および選択が容易な新たな表示手法を提供するものである。（ただし、本発明は両課題を同時に達成する必要はなく、いずれかの課題を達成するものであれば足りる。）
【課題を解決するための手段】
【００１１】
本発明による端末装置は、表示画面上に選択肢を表す複数の表示要素を表示する表示手段と、表示画面を見ている状態の操作者を撮像する撮像手段と、撮影画像内の操作者の顔像の位置を検出する顔位置検出手段と、前記撮影画像内の操作者の顔像が所定範囲外にあることが検出されたとき前記複数の表示要素を表示画面上で所定方向に移動させるとともに、表示要素を順次更新して表示させ、前記顔像が所定範囲内に入ったことが検出されたとき前記複数の表示要素の移動を停止させるよう、前記表示手段を制御する制御手段とを備えたものである。
【００１２】
この発明では、表示画面を見ている状態の操作者を撮像する撮像手段および顔位置検出手段により、撮像手段ひいては表示画面に対する操作者の顔像の位置を検出することができ、この検出された位置に応じて、複数の表示要素を移動させたり、停止させたりする操作が行われる。その結果、いわゆるハンズフリーの操作が実現される。
【００１３】
また、前記制御手段によって、前記顔像のサイズに応じて前記視点と前記カード群との距離を変更することにより、表示要素を３次元的に表示する際に、実際に操作者が表示要素に近づいたり、遠ざかったりして見たと等価な表示が実現される。
【００１４】
また、本発明は、他の見地によれば、選択肢を表す複数の表示要素を表示画面上に表示する表示部と、表示画面を見ている状態の操作者を撮像する撮像部とを備えた端末装置における表示制御方法および表示制御プログラムを提供する。その方法を構成するステップおよびコンピュータに実行させるステップは、前記撮像部による撮影画像内の操作者の顔像の位置を検出するステップと、前記撮影画像内の操作者の顔像が所定範囲外にあるか否かを判定するステップと、前記顔像が所定範囲外にあることが検出されたとき前記複数の表示要素を表示画面上で所定方向に移動させるとともに、表示要素を順次更新して表示させるステップと、前記顔像が所定範囲内に入ったことが検出されたとき前記複数の表示要素の移動を停止させ、その時点で特定の位置にある表示要素を強調表示するよう、前記表示部を制御するステップとからなる。
【発明の効果】
【００１５】
本発明によれば、操作者が端末装置への入力を顔位置の変更という簡便かつ直感的な手段によりハンズフリーで行うことが可能になる。さらに、操作者の位置から眺めたような３次元画像が端末装置の表示画面に投影表示されることにより、端末装置で選択肢を選択するユーザインタフェースの操作性を高めつつ臨場感を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
【００１７】
図１は、本発明の端末の一実施の形態に係る移動体端末１００の概略構成を示している。この移動体端末１００は例えば携帯電話端末を想定している。
【００１８】
移動体端末１００は、操作者が選択することができる複数の選択肢すなわち複数の被選択物を３次元物体の投影画像１２０として表示画面１１０に表示する。かつ、この表示画面１１０を見ている操作者（すなわちユーザ）１０の顔の画像（顔像）を撮像部１０４により得る。撮像部１０４は本発明における、表示画面を見ている状態の操作者を撮像するデジタルカメラのような装置に相当する。撮像部１０４は、操作者前方の被写体を撮影するための撮像部を操作者側に回転可能としたものでもよいし、このような撮像部とは別に、テレビ電話などのためにレンズが固定的に操作者に向けられた他の撮像部であってもよい。また、図１には示さないが、通常、携帯電話端末等に備えられた各種操作キーなどを有する操作部を備えている。折り畳み型、スライド型、ストレート型等の端末の形態は特に限定しない。
【００１９】
図２は、図１に示した移動体端末１００の概略ハードウェア構成を示している。
【００２０】
移動体端末１００は、ＣＰＵ１０１、記憶部１０２、表示部１０３、撮像部１０４、操作部１０５、および固有機能部１０６を備える。
【００２１】
ＣＰＵ１０１は、本発明の制御手段を構成する部位であり、端末装置のシステムプログラムや本発明の表示制御プログラムを含む各種プログラムを実行することにより移動体端末１００全体の制御を司るとともに、各種の処理を行う。
【００２２】
記憶部１０２は、ＣＰＵ１０１の実行するプログラムおよび必要なデータを格納する手段であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＨＤＤ等の内蔵記憶装置の他、着脱可能な記録媒体も含みうる。後述する３次元物体情報、撮像部により得られた撮影画像情報も記憶部１０２に格納される。
【００２３】
表示部１０３は、図１に示した表示画面１１０に３次元物体の投影画像１２０等を表示する手段であり、ＬＣＤ、有機ＥＬ等の表示デバイスを含む。
【００２４】
撮像部１０４は、図１で説明したとおり、操作者１０の顔を撮像することができる撮像手段である。
【００２５】
操作部１０５は、図１で説明したとおり、操作者の入力操作を受ける手段である。
【００２６】
固有機能部１０６は、個々の移動体端末が備えた固有の機能を達成する部位である。例えば、音楽再生部、画像再生部、動画再生部、ＧＰＳ機能部、非接触ＩＣ機能部、等の１つまたは複数である。
【００２７】
なお、通常の携帯電話端末が有するような無線通信部、振動発生部、ＬＥＤ発光部、電源部、等は図示省略してある。
【００２８】
図３は、本実施の形態における移動体端末１００の主要な機能を示した機能ブロック図である。
【００２９】
制御部３００により、顔矩形検出部３１０、３次元物体投影視点計算部３１１、投影画像生成部３１２、投影画像表示指示部３１３、顔位置検出部３１４、３次元物体情報変更部３１５が構成される。
【００３０】
記憶部１０２には、撮像部１０４で得られた撮影画像３４１（操作者顔像３４１Ａを含む）を保存する撮影画像保存部３４０、撮影画像に基づいて得られた顔矩形情報３５１を保存する顔矩形情報保存部３５０、および、３次元物体の３次元の構造を表す３次元物体情報３６１を保存する３次元物体情報保存部３６０が設けられる。３次元物体情報３６１は、表示部に出力すべき３次元物体の形状や位置、色などの情報を含む。本実施の形態では、被選択物の表面および裏面を有する同一サイズのカード状の表示要素の集合（群）を３次元物体として定義する。この表示要素は、ユーザインタフェース上、選択肢を構成する各被選択物を表すアイコンまたは選択ボタンに相当する。
【００３１】
制御部３００により構成される顔矩形検出部３１０は、撮像部１０４により得られた撮影画像３４１中の操作者の顔の部分に対応する矩形（例えば両目または両目および鼻を含む矩形等）を検出し、顔矩形情報３５１を得る部位である。顔矩形情報３５１は顔矩形の所定の点（例えば左上点）の座標および顔矩形の幅および高さ等の情報である。幅および高さの代わりに顔矩形の対角点の座標を利用してもよい。
【００３２】
顔矩形の検出手法としては、上述した特許文献３に開示されているような公知の技術を利用することができる。例えば、あらかじめ顔の情報を多数学習し、顔検索用辞書データとして構築しておく。次に入力された撮影画像３４１を拡大縮小しながら顔検索用辞書に格納された情報と比較し、類似部分を判定することを繰り返して顔矩形を検出する。この方法を用いることで、撮影画像３４１から、両目、鼻、口などの顔要素を抽出し、それらの位置、ひいては顔の領域、表情等を顔矩形情報として高速に検出することが可能である。顔矩形情報には、後述するように撮像部１０４に対する操作者の顔の位置や距離およびそれらの変化が反映される。
【００３３】
３次元物体投影視点計算部３１１は、検出された顔矩形情報に基づいて、３次元物体に対する３次元物体投影視点の位置を計算する部位である。例えば、３次元物体をどの角度、どの程度の距離の視点からみた画像として２次元平面に投影するのかを求める。
【００３４】
顔位置検出部３１４は、撮影画像３４１に対する顔像３４１Ａの位置から、表示画面１１０に対する操作者の顔の相対的な位置を検出する部位である。ここに「相対的」とは、静止した端末に対して顔を動かすのも、静止した顔に対して端末を動かすのも等価であるということを意味する。
【００３５】
３次元物体情報変更部３１５は、３次元物体投影視点計算部３１１の出力した視点位置の変化に応じて、３次元物体の配置を変更するように３次元物体情報を更新する部位である。３次元物体情報の更新には、全表示要素の位置の変更、一部の表示要素の位置の変更、表示要素自体の更新（または表示要素に対する表面および裏面の画像の割当の変更）等を含む。
【００３６】
投影画像生成部３１２は、３次元物体投影視点計算部３１１の出力した視点に従い３次元物体情報３６１を用いて３次元物体投影画像１２０を生成する。３次元物体投影画像１２０は、３次元物体を所定の投影平面（表示画面または表示画面に平行な仮想的な平面）に投影した投影画像を生成する部位である。
【００３７】
投影画像表示指示部３１３は、投影画像生成部３１２によって生成された投影画像を表示画面上に表示するよう表示部１０３に指示する。
【００３８】
表示部１０３は、投影画像表示指示部３１３から指示された画像を表示する。
【００３９】
図４、図５、図６は、撮影画像３４１とその撮影画像内に含まれる操作者顔像３４１Ａの関係について示している。それらの関係によって、撮影画像３４１に基づいて操作者の顔が実際にどこにあるかが推定可能であることを説明する。各図（ａ）は、上方から見下ろした携帯端末と操作者の位置関係を示し、各図（ｂ）では同図（ａ）の状況で撮影画像保存部３４０により保存される撮影画像３４１を示している。撮影画像３４１から、上述のように既知の方法により、顔矩形情報を検出する。
【００４０】
以下では、図４、図５、図６を参照して、撮影画像３４１と操作者顔像３４１Ａに対応する顔矩形との位置関係による操作者の顔位置推定方法を説明する。
【００４１】
まず図４（ａ）に示すように、操作者１０（の顔）が表示画面１１０の真正面に位置している場合を想定する。この場合、図４（ｂ）のように撮影画像３４１に含まれる操作者顔像３４１Ａはその撮影画像３４１の中央に位置している。なお、表示画面１１０と撮像部１０４との位置がずれているため、表示画面１１０の真正面に顔が位置しても、撮像部１０４による撮影画像内の顔像は中央からずれる可能性がある。その場合、撮影画像に対する顔像の位置のずれ量を補正するようにしてもよい。
【００４２】
一方、図５（ａ）に示すように操作者１０が表示画面１１０に向かって相対的に左側に移動した場合、撮影画像３４１に含まれる操作者顔像３４１Ａは図５（ｂ）に示すように、その撮影画像内の左側寄りに位置するようになる。この場合、実際の撮影画像では、撮影画像内の右側寄りに操作者顔像３４１Ａが位置するが、図では操作者顔像３４１Ａを便宜上図５（ａ）の操作者１０の顔が位置する側に合わせて示している。撮影画像３４１に対する顔像３４１Ａの相対位置を求める際には、撮影画像３４１の左右反転画像を用いるか、または、撮影画像３４１で求めた顔像３４１Ａの位置を左右反転する。
【００４３】
このように、撮影画像３４１に含まれる操作者顔像３４１Ａの位置を検出することにより、操作者１０が撮像部１０４または表示画面１１０に対して、ひいては移動体端末１００に対してどの方向に位置するかを判断することができる。
【００４４】
また図６（ａ）のように操作者が撮像部１０４に近づいた場合は、図６（ｂ）に示すように撮影画像３４１に含まれる操作者顔像のサイズ（顔サイズ）（より具体的には例えば撮影画像上での操作者両目間距離）は、撮影画像に対して大きなものとなる。実際上、顔検出手段を用いて撮影画像に対する顔サイズの相対的な大きさを検出すれば、操作者の撮像部１０４に対する距離を判断することができる。換言すれば、顔サイズの変化に基づいて当該距離の変化を検出することができる。ここでは、顔サイズの指標としての、両目間の距離としては、実質的に顔矩形の幅を利用することもできる。また、その代わりに、他にも鼻や口、眉といった顔を構成する要素を用いてそれらの間の距離や、撮影画像３４１に含まれる顔全体の大きさを使って顔サイズ情報を得て、この顔サイズ情報に基づいて同様に距離を判断することも可能である。
【００４５】
本実施の形態における３次元物体の一例として、一定サイズのカード状の部材（本明細書では便宜上カードと呼ぶ）が互いに平行に一定間隔で配置されたもの（カード群と呼ぶ）を想定する。図７（ａ）にカード群７０の斜視図を示す。この個々のカードが被選択物に対応付けられている。後述するようなこのような配置は、操作者が所望の被選択物を選択する際に被選択物を移動表示する際の配置である。図７（ｂ）は、操作者がいずれかの被選択物を選択した状態で、その被選択物が強調表示された状態、図の例では当該被選択物のカードの一面が正面（操作者側）に向くように配置された状態を示している。
【００４６】
以下、本実施の形態における具体的な動作例について説明する。
【００４７】
図８〜図１３に、撮像部（または表示画面）に対する操作者の位置およびそのときの表示画面上の表示例を示す。このような動作は、表示画面に対して（撮像部に対して）操作者が顔を移動させることにより、多数の選択肢から所望の被選択物を選び出すためのものである。各図（ａ）が撮影画像と操作者顔像との関係を示し、各図（ｂ）がそのときの投影画像１２０の例を示している。上述したように、各選択肢は、表面および裏面を有する同一サイズのカード状の表示要素で表わされ、複数のカードを３次元空間内で等間隔に離間して互いに平行に配置したカード群を少なくとも各カードの一面の一部が見える視点から見た斜視図として表示させる。この例では、多数の選択肢の一例として、ＣＤ（または音楽レコード）のような音楽記録媒体のジャケットを想定する。このジャケットそのものの３次元的イメージ、またはジャケットの表面および裏面の画像をカードの表裏に貼り付けたものをカード状表示要素とする。本発明は、カードの厚みの大きさ、有無等は特に限定するものではない。図の例では、説明の便宜上、大文字のアルファベットを表面イメージ、小文字のアルファベットを裏面イメージとする。本実施の形態では、顔像が閾値境界の一方の側と他方の側のいずれ側にあるかによって、操作者に見える面をカードの表面と裏面に切り替える。但し、操作者にカードの面が見える場合に常に表面が見えるような構成を採ることも可能である。
【００４８】
この実施の形態では撮影画像内の操作者顔像の位置に応じて３次元視点位置の制御と選択操作を同時に行うため、撮影画像３４１は以下のように利用される。
（１）撮影画像３４１内の操作者顔像の位置から３次元視点位置を決定する。この場合の操作者顔像の位置は、操作者が撮像部のレンズ部（図示せず）に対向して上下左右に移動する場合の位置のみならず、レンズ部から顔までの距離も含む。この距離の変化は、上述したように、撮影画像３４１内の操作者顔像３４１Ａの相対的なサイズの変化によって判断することができる。当該距離が大きくなるほど３次元視点位置を３次元物体から離し、当該距離が小さくなるほど３次元視点位置を３次元物体に近づける。
（２）撮影画像３４１上での操作者顔像３４１Ａが、撮影画像内の予め定められた所定範囲としての閾値境界９０の外部にあるか否かを判断する。この判断は、例えば顔像の中心が閾値境界９０の外部にあるか否かで行う。閾値境界９０は図の例では矩形状としたが、円形や多角形等、その形状は矩形に限るものではない。閾値境界９０の位置は撮影画像３４１内のほぼ中央としたが、若干ずれてもよい。
（３）操作者顔像３４１Ａが閾値境界９０の外部にあるとき、選択肢を順次更新して表示する。すなわち、選択肢を構成するカード列をカードの並び方向に移動表示し、表示画面に順次現れては消えるよう、カードの更新を行う。操作者顔像３４１Ａが閾値境界９０の外部から移動して内部に納まったとき、カード列の移動表示を停止し、その時点で所定の位置（例えば投影画像のほぼ中央）にあるカードを強調表示する。
【００４９】
なお、カード群の「移動」または「移動表示」とは、表示画面内に表示されているカードが矢印の方向に逐次移動し、表示画面内に移動元から新たなカードが現れる度に画面内の先頭に位置するカードが画面外に消えていく動作である。なお、実際上選択肢となる被選択物の個数は有限個であり、移動により最後のカードが現れたら移動を停止する。あるいは、画面外に消えた先頭のカードから順に再度現れるように、サイクリックに巡回させるようにしてもよい。
【００５０】
図８は、同図（ａ）に示すように操作者顔像３４１Ａが閾値境界９０の内部にある場合を示している。このとき、図７（ｂ）に示したようにカード群７０が配置され、図８（ｂ）に示すように１つのカードが強調表示される。ここに「強調表示」とは複数の被選択物の中で特定の１つの被選択物が選択されたことを操作者に認識させる表示状態である。この図の例では、選択された当該被選択物のカードの表面が正面（操作者側）に向くように配置される。このときカード群は移動しない。強調表示されるカードは、カード群が移動表示されている直前の状態で所定の位置（例えば画面の中央）にあったカードである。
【００５１】
図８の状態から、操作者が表示画面に向かって左方向に相対的に顔を移動させたとする。これにより、顔像３４１Ａが閾値境界９０の外部に出たとき、カード群７０は所定方向に移動を開始する。図の例ではカード群は矢印（実際上、画面には表示されない）で示したカードの並び方向に移動する。すなわち、本実施の形態では、操作者の視点から遠くへ離れていく方向に移動する。これとは逆に操作者の視点に近づいていく方向に移動してもよい。
【００５２】
本実施の形態では、カード群を３次元物体と見て、後述する方法により、特定の３次元視点位置から見て所定の投影平面に投影した投影画像として表示する。これにより、カード群は遠近感をもって表示される。
【００５３】
なお、カード群の移動は個々のカードが画面上で矢印の方向に連続的に移動するように表示することが、臨場感の観点からは好ましい。しかし、個々のカードは次のカード位置までジャンプする表示形態であってもよい。この場合、実際上個々のカードをカードの間隔の中間位置においても連続的に移動させる必要がなくなり、表示制御上の負荷が軽減される。
【００５４】
図８は、操作者顔像が閾値境界９０内にあり、１つの被選択物（図では被選択物７４）が強調表示されている状態を示している。さらに操作者が何らかの操作を行ったときそのカードに付随した機能の実行等がなされる。この何らかの操作は後述するように、やはりハンズフリーで顔像に基づいて顔の表情などの変化を検出して行うことができる。あるいは、この選択操作については上述した操作部に対する手動操作であってもよい。選択状態の被選択物７４以外の他の被選択物７２，７３，７５，７６については、このときの視点位置に応じて遠近感をもって３次元的に表示される。ここでは、現実のカード配置時の見え方と同様に、視点から右側の被選択物７５，７６についてはカードの表面が見え、視点から左側の被選択物７２，７３についてはカードの裏面が見えるようにカード群を表示している。この代わりに左側の被選択物についてもカードの表面が見えるようにしてもよい。
【００５５】
図８の状態から操作者が表示画面に対して相対的に顔を左に移動させ、図９（ａ）のように顔像が閾値境界９０の外へ出たとき、カード群は、図７（ａ）の配置に戻り、このときの視点位置に応じて遠近感をもって３次元的に表示される。かつ、カード群は矢印の方向に流れるように移動していく。なお、このとき操作者は撮像部から顔を引く（相対的に顔を遠ざける）ことにより、カード群から視点位置までの距離を拡大する。これにより、視野に入るカードの個数が増加し、一覧性が向上する。なお、上述したように、カード群から視点位置までの距離の変化は顔像３４１Ａのサイズの変化に基づいて認識できる。
【００５６】
図９の状態から図１０（ａ）のように顔像を閾値境界９０内に戻したとき、カードの移動表示が停止し、図９（ｂ）に示すように、その時点で所定の位置にある１つのカード（図の例では被選択物７３）が強調表示される。なお、この強調表示の前に、その時点で顔像を閾値境界９０外に出せば強調表示されるであろうカードを操作者が識別できるように、当該カードについて何らかの識別表示を行うようにしてもよい。この識別表示としては、例えば、そのカードの枠を太くしたり、枠またはカードの色や輝度を変更させたり、反転表示したり、等の表示形態の変更が考えられる。
【００５７】
図１１は、上記と逆向きの矢印の方向にカード群が移動表示される様子を示している。このときの視点位置はカードの裏側が見える方向にあるので、各カードの裏面が表示されている。この場合も、カードの表面が見えるようにする構成を採用することも可能である。
【００５８】
図１２は、操作者が表示画面に対して相対的に顔を左上方向に移動させ、顔像が閾値境界９０の左上方向に外れた場合を示している。このとき、視点位置も左上方向にずれるため、カード群７０は同図（ｂ）に示すように、斜め左上方向から眺めた場合の３次元的表示がなされる。この場合、カード群７０の移動は斜め右上方向に行われる。
【００５９】
図１３は、操作者が表示画面に対して相対的に顔を右上方向に移動させ、顔像が閾値境界９０の右上方向に外れた場合を示している。このとき、視点位置も右上方向にずれるため、カード群７０は同図（ｂ）に示すように、斜め右上方向から眺めた場合の３次元的表示がなされる。この場合、カード群７０の移動は斜め左上方向に行われる。
【００６０】
図１２，図１３に示したように上下方向の視点位置の移動によりカード群が斜め方向に並んで表示されるため、３次元的表示がよりリアルとなる。また、場合によってはカード群の一覧性が向上する。
【００６１】
但し、顔像の上下方向の位置は無視して左右方向のみの移動表示を行う構成としてもよい。
【００６２】
図１４は顔像の変化の例を示している。顔像の変化は、上述した選択された強調表示状態の被選択物に付随した機能の実行等を行うための操作に利用することができる。この場合には終始ハンズフリーでの操作が実現される。このような顔像としては、操作者の口が開いているか否か、笑顔かどうかであり、このような顔像を上記の操作に併用することができる。
【００６３】
例えば、図１４（ａ）に示すように、操作者顔像３４１Ａの口が開いていることが検出されれば当該被選択物に予め割り当てられている機能を実行する、あるいは、図１４（ｂ）に示すように操作者顔像３４１Ａが笑顔であることが検出されれば当該被選択物に予め割り当てられている補助的な操作のメニューを開く、等の処理を行う。ただし、これらはあくまで例であり、口や目の開閉状態、開閉動作のほか顔の向きや動作を判定したり、笑顔のほかに泣き顔や怒り顔などの表情を判定する等により、さらに豊富な入力手法を提供することが可能である。
【００６４】
これらによる効果として、操作者は表示画面に対して顔を移動させる、あるいは表情を変えるという直感的な手法をもってアプリケーション等の操作を行うことができる。また、３次元視点位置の変更も同じ操作で行うことができ、多数の物体の同時閲覧を直感的に行えるという３次元表示の利点を享受することも可能である。
【００６５】
図１５は、本実施の形態の動作を実現するための主要な処理の実行手順を示したフローチャートである。この処理は、図２に示したＣＰＵ１０１が記憶部１０２内に格納されている表示制御プログラムを読み出して実行することにより実現される。この処理は、音楽再生等の特定のアプリケーションの起動時に有効となるものであってもよいし、移動体端末のシステムプログラムで初期的に利用可能なものであってもよい。
【００６６】
まず、カード群の配置および視点の初期化を行う（Ｓ１１）。初期的には操作者は表示画面に対してほぼ真正面に位置し、顔像は閾値境界９０内に入っていると想定されるので、カード群の配置は図７（ｂ）のとおりとする。但し、図７（ａ）の配置としても、操作者の顔像の検出によってカード群の配置は直ちに修正されうるので、初期的なカード群の配置は特に問題ではない。初期的な視点の位置についても一般的な操作者の使用形態を考慮して予め定めた位置に設定する。
【００６７】
撮像部で撮像を開始し、撮影画像中の顔像を検出する（Ｓ１２）。この撮影画像に対する顔像の位置を判定する（Ｓ１３）。さらに顔像のサイズを判定する（Ｓ１４）。顔像の位置およびサイズの判定の方法については上述したとおりである。得られた顔像の位置およびサイズに応じて、視点位置を決定、更新する（Ｓ１５）。
【００６８】
ついで、顔像が閾値境界の外側にあるか否かを判定する（Ｓ１６）。閾値境界の外側であれば、図７（ａ）に示したように等間隔平行状態のカード群をその並び方向に移動するようその配置を更新する（Ｓ１７）。さらにこのときのカード群の投影画像を生成し（Ｓ１８）、これを表示画面上に表示する（Ｓ１９）。
【００６９】
顔像が閾値境界の外側でなければ、図７（ｂ）に示したように、所定のカードを強調表示するようカード群の配置を更新する（Ｓ２０）。さらにこのときのカード群の投影画像を生成し（Ｓ２１）、これを表示画面上に表示する（Ｓ２２）。選択されたカードに対して、その機能の実行等の指示が操作者からなされた場合（Ｓ２３，Ｙｅｓ）、それに該当する所定の処理を実行する（Ｓ２４）。
【００７０】
例えば、音楽再生の用途において、ＣＤジャケットを模したカード群から特定のカードを選択し、実行を指示したとき、そのＣＤアルバムに収録されている楽曲群について再度選択を行うために楽曲を表したカード群を表示するようにしてもよい。このカード群から選択された楽曲を実行したとき、その楽曲の再生が開始されるようにすることができる。
【００７１】
図１６は、本実施の形態の変形例を説明するための図である。図７（ａ）に示したカード群は１列に並んだものを示した。しかし、カード群は上下方向に複数段に重ねられた複数列に配置されたものであってもよい。図１６は３列の場合のカード群７０’を示しているが、２列または４列以上であってもよい。本明細書では、各列のカード群をカード列７０ａ，７０ｂ，７０ｃと呼ぶ。この場合、図１７に示すように、複数のカード列の３次元的表示が行われる。図の例では、列が４以上であっても、主として３列のみを表示画面上に示している。但し、視点位置によって何列分見えるかは変わりうる。移動表示は、上記の場合と同様、各カード列について同時に移動表示が行われる。但し、中央のカード列のみを移動表示する構成であってもよい。
【００７２】
カード列の選択は、顔像が上記の閾値境界の上方向へ外れる場合にカード群７０’をカード列単位に上方向に移動させ、顔像が閾値境界内に戻ったとき上方向への移動を停止することにより行う。顔像が閾値境界から上方向に外れたままでも、表示すべきカード列がなくなれば、最後のカード列が中央に来た状態で移動を停止する。あるいは、サイクリックにカード列を巡回させてもよい。下方向についても同様である。
【００７３】
複数段に重ねた複数カード列を用いる場合の強調表示は、顔像が閾値境界の上下左右のいずれの方向にも外れていない場合に、所定の位置（例えば表示されている中央のカード列のほぼ中央のカード）を対象とする。図１８にその一例を示す。
【００７４】
このようにカード群を複数列とすることにより、１列あたりのカード数を低減し、操作者が所望のカードを見つけるまでの実質的な操作所要時間が低減されることが期待される。また、カード列毎に被選択物の属性（例えば楽曲の場合にはそのジャンル）を割り当てることにより、操作者の選択を容易にすることができる。
【００７５】
以下、図１９〜図２１により、上述した投影画像による遠近感をもった３次元的表示の実現手法について説明する。各図の左側に示しているものは撮影画像３４１とそれに含まれる操作者顔像３４１Ａの様子である。各図の中央に示しているものは投影画像生成部３１２で用いられる３次元物体３７０と３次元視点位置３３１の関係であり、投影画像生成範囲３７１の様子を上方から見下ろして示したものである。各図の右側に示しているのが操作者から見た移動体端末と表示画面および投影平面３７２に投影された３次元物体投影画像１２０の様子である。
【００７６】
本実施の形態における３次元物体３７０は、図７（ａ）（ｂ）に示したような配置のカード群であるが、図では便宜上、家屋を例として示してある。また、３次元物体情報変更部３１５は、顔矩形の位置を閾値境界に照らして判断し、上述した移動表示および強調表示のために、３次元物体としてのカード群の配置を必要に応じて更新する。３次元物体の配置が変化する場合には３次元的表示もそれに追従する。しかし、以下では３次元的表示の説明のために、３次元物体は固定のものとして説明する。
【００７７】
本実施の形態では、操作者顔像３４１Ａの変化に応じて、３次元視点位置３３１を変化させる。固定した投影平面３７２に対する３次元視点位置３３１の移動により、投影画像生成範囲３７１を変形させることで、投影画像１２０を変化させる。より具体的には、３次元視点位置３３１と３次元物体３７０の任意の点３８１とを通る直線３８０が投影平面３７２と交わる点３８２が当該点の表示点となる。これによって、投影平面３７２に投影される２次元投影画像を立体的に見せ、臨場感を高めることができる。なお、３次元視点位置３３１から見て３次元物体３７０の前面と後面の間に投影平面３７２が位置するように示したが、必ずしもこのような位置関係である必要はない。
【００７８】
図１９の例において、操作者顔像３４１Ａは撮影画像内のほぼ中心に位置する。顔矩形検出部３１０は撮影画像３４１から顔矩形情報を生成する。図１９の例においてはこの顔矩形情報は、操作者１０の顔が表示画面に対してほぼ中央に位置していることを示している。
【００７９】
続いて３次元物体投影視点計算部３１１はその顔矩形情報に基づいて操作者が移動体端末の正面に位置していると判断でき、また撮影画像に対する顔サイズの相対的な大きさから、３次元視点位置３３１を算出し、さらにそれをもとに投影画像生成範囲３７１の形状と位置を決定する。
【００８０】
投影画像生成部３１２は、表示画面に沿った操作者の顔の移動に３次元視点位置３３１を追従させるよう３次元視点位置３３１を変更する。投影画像生成部３１２は、撮影画像に対する顔像のサイズに応じて３次元物体から３次元視点位置３３１までの距離を変化させるよう３次元視点位置３３１を変更する。
【００８１】
図１９の中央に示された逆台形が投影画像生成範囲３７１を示している。この台形の底辺が投影平面３７２に投影される領域と一致するよう固定され、底辺と３次元視点位置３３１から投影画像生成範囲３７１が決定される。図１９の中央に示されているのは上方から見下ろした水平方向の様子であるが、垂直方向にも同様の計算を実施し、四角錐台の形状をもつ投影画像生成範囲３７１を算出する。
【００８２】
続いて投影画像生成部３１２は投影画像生成範囲３７１と３次元物体情報３６１に基づいて３次元物体投影画像１２０を生成する。
【００８３】
最後に投影画像表示指示部３１３は、生成された３次元物体投影画像１２０を表示部１０３に表示するよう指示を出す。結果として図１９の右側の表示画面１１０に示すような表示がなされる。
【００８４】
図２０の例では、操作者顔像３４１Ａは撮影画像内の右端に位置する。顔矩形検出部３１０は撮影画像３４１に基づいて顔矩形情報を生成する。図２０においては顔矩形情報は、操作者１０の顔が表示画面に対して右側に位置していることを示している。
【００８５】
続いて３次元物体投影視点計算部３１１はこの顔矩形情報に基づいて操作者が移動体端末の右側に位置すると判断でき、また撮影画像に対する顔サイズの相対的な大きさから、３次元視点位置を算出し、さらにそれをもとに投影画像生成範囲３７１の形状と位置を決定する。
【００８６】
ここで図１９と比較して操作者顔像３４１Ａの位置の変化により３次元視点位置が変化し、図２０中央に図示されるように底辺が共通した逆台形として投影画像生成範囲３７１が決定される。操作者顔像３４１Ａが水平方向だけでなく垂直方向にも移動した場合には、垂直方向に対しても同様にして逆台形を算出し、それらを組み合わせた四角錐台を投影画像生成範囲３７１とする。
【００８７】
続いて投影画像生成部３１２は投影画像生成範囲３７１と３次元物体情報３６１に基づいて３次元物体投影画像１２０を生成する。
【００８８】
最後に投影画像表示指示部３１３は生成された３次元物体投影画像１２０を表示部１０３に表示するよう指示を出す。結果として図２０の右側の表示画面１１０に示すような表示がなされる。
【００８９】
図２１の例では、操作者顔像３４１Ａは撮影画像内のほぼ中心に位置するが、図１９と比較して相対的に大きな面積を占めている。顔矩形検出部３１０は撮影画像３４１から顔矩形情報を生成する。図２１においては顔矩形情報は中央を示している。３次元物体投影視点計算部３１１はほぼ中心を示している顔矩形情報に基づいて操作者が移動体端末の正面に位置すると判断でき、また撮影画像に対する顔サイズの相対的な大きさから、３次元視点位置を算出し、さらにそれをもとに投影画像生成範囲３７１の形状と位置を決定する。図２１中央に図示されるように図１９中央と比較して３次元視点位置が図中の上方向に変化しており、その結果、３次元視点位置と固定された底辺とにより求められる投影画像生成範囲３７１が上に広がった台形形状になっている。垂直方向に対しても同様にして逆台形を算出し、それらを組み合わせた四角錐台を投影画像生成範囲３７１とする。投影画像生成部３１２は投影画像生成範囲３７１と３次元物体情報３６１に基づいて３次元物体投影画像１２０を生成する。最後に、投影画像表示指示部３１３は生成された３次元物体投影画像１２０を表示部１０３に表示するよう指示を出す。結果として図２１の右側の表示画面１１０に示すような表示がなされる。
【００９０】
このように、顔を近づければ３次元物体の投影画像の表示サイズが大きくなり、細部が見えやすくなる。顔を引けば（遠ざければ）、細部は見えにくくなるが、より多くの被選択物を表画面内に表示させることができ、一覧性が良好となる。操作者はこのような操作を、移動体端末１００に対して相対的に顔の位置を変えるだけで実現することができる。
【００９１】
また、移動表示の変形例として、顔像が閾値境界９０から外れている場合、顔像の位置やサイズに応じて、カード群の移動および更新速度を可変制御するようにしてもよい。例えば、顔像が閾値境界９０から外れている場合に顔像の位置がより大きく外れているほど、移動表示の移動速度を大きくするような制御を行うことも可能である。あるいは、顔像が閾値境界９０から外れている場合に顔像のサイズが小さいほど、移動表示の移動速度を大きくするような制御を行うことも可能である。
【００９２】
本実施の形態の顔像に基づく３次元的表示による効果として、操作者に対して、撮像部１０４を備えた移動体端末のほかには特別な装置や器具を要求することなく、２次元表示画面に３次元物体を投影して、遠近感を伴った３次元物体の表示画像を得ることにより臨場感を与えることができる。３次元視点位置の算出には、操作者の顔位置（ひいては顔像）の撮像部１０４（ひいては撮像画像）に対する相対位置のみを使用するため、操作者の姿勢が変わっても同じように使用可能である。加えて、撮像部１０４から連続的に撮影画像３４１を取得し、操作者顔位置を投影画像に反映し続けることで、操作者に自身の顔と撮像部１０４の位置関係に関するフィードバックを与え、視点操作をさらに容易なものとすることが可能である。
【００９３】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
【００９４】
例えば、上では長方形の表示画面を縦長にした状態でその上部に撮像部のレンズが位置する場合を例として説明した。しかし、表示画面を横長にした状態でレンズがその側部に位置する状態で使用することも可能である。その場合には、上記と同様、表示画面１１０の中心と撮像部１０４のずれ量で、顔位置を補正することができる。
【００９５】
また、上記説明では移動体端末として携帯電話端末を想定したが、必ずしも電話機能を有するものでなくてもよい。例えば、ＰＤＡ、ゲーム機、小型ＰＣなどの、表示画面を有する任意の移動体端末であってよい。また、本発明の移動体端末は好適には携帯型の移動体端末であるが、必ずしも携帯型に限るものでもない。
【００９６】
上記実施の形態で説明した機能をコンピュータで実現するためのコンピュータプログラム、およびプログラムをコンピュータ読み取り可能に格納した記録媒体も本願発明に含まれる。プログラムを供給するための「記録媒体」としては、例えば、磁気記憶媒体（フレキシブルディスク、ハードディスク、磁気テープ等）、光ディスク（ＭＯやＰＤ等の光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ＋Ｒ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等）、半導体ストレージ、紙テープなどを挙げることができる。
【図面の簡単な説明】
【００９７】
【図１】本発明の端末の一実施の形態に係る移動体端末の概略構成を示した図である。
【図２】図１に示した移動体端末１００の概略ハードウェア構成を示した図である。
【図３】本発明の実施の形態における移動体端末の主要な機能を示した機能ブロック図である。
【図４】本発明の実施の形態における撮影画像とその撮影画像内に含まれる操作者顔像の関係の一例を示した図である。
【図５】本発明の実施の形態における撮影画像とその撮影画像内に含まれる操作者顔像の関係の他の例を示した図である。
【図６】本発明の実施の形態における撮影画像とその撮影画像内に含まれる操作者顔像の関係のさらに他の例を示した図である。
【図７】本発明の実施の形態におけるカード群の斜視図、および、表示画面上で選択された被選択物が強調表示された状態を示した図である。
【図８】本発明の実施の形態における撮像部（または表示画面）に対する操作者の位置およびそのときの表示画面上の表示例を示した図である。
【図９】本発明の実施の形態における撮像部（または表示画面）に対する操作者の位置およびそのときの表示画面上の表示例を示した図である。
【図１０】本発明の実施の形態における撮像部（または表示画面）に対する操作者の位置およびそのときの表示画面上の表示例を示した図である。
【図１１】本発明の実施の形態における撮像部（または表示画面）に対する操作者の位置およびそのときの表示画面上の表示例を示した図である。
【図１２】本発明の実施の形態における撮像部（または表示画面）に対する操作者の位置およびそのときの表示画面上の表示例を示した図である。
【図１３】本発明の実施の形態における撮像部（または表示画面）に対する操作者の位置およびそのときの表示画面上の表示例を示した図である。
【図１４】本発明の実施の形態における顔像の変化の例を示した図である。
【図１５】本発明の実施の形態の動作を実現するための主要な処理の実行手順を示したフローチャートである。
【図１６】本発明の実施の形態の変形例を説明するための図である。
【図１７】図１６に対応する複数のカード列の３次元的表示の様子を示した図である。
【図１８】図１７の例に対応した強調表示の一例を示した図である。
【図１９】本発明の実施の形態における、投影画像による遠近感をもった３次元的表示の実現手法についの説明図である。
【図２０】本発明の実施の形態における、投影画像による遠近感をもった３次元的表示の実現手法についの説明図である。
【図２１】本発明の実施の形態における、投影画像による遠近感をもった３次元的表示の実現手法についの説明図である。
【符号の説明】
【００９８】
１０…操作者、７０、７０’…カード群、７２〜７６…被選択物、９０…閾値境界、１００…移動体端末、１０２…記憶部、１０３…表示部、１０４…撮像部、１０５…操作部、１０６…固有機能部、１１０…表示画面、１２０…３次元物体投影画像、３００…制御部、３１０…顔矩形検出部、３１１…３次元物体投影視点計算部、３１２…投影画像生成部、３１３…投影画像表示指示部、３１４…顔位置検出部、３１５…３次元物体情報変更部、３３１…３次元視点位置、３４０…撮影画像保存部、３４１…撮影画像、３４１Ａ…顔像、３５０…顔矩形情報保存部、３５１…顔矩形情報、３６０…３次元物体情報保存部、３６１…３次元物体情報、３７０…３次元物体、３７１…投影画像生成範囲、３７２…投影平面、３８０…直線
【図１】
2010134738.tif 000003
【図２】
2010134738.tif 000004
【図３】
2010134738.tif 000005
【図４】
2010134738.tif 000006
【図５】
2010134738.tif 000007
【図６】
2010134738.tif 000008
【図７】
2010134738.tif 000009
【図８】
2010134738.tif 000010
【図９】
2010134738.tif 000011
【図１０】
2010134738.tif 000012
【図１１】
2010134738.tif 000013
【図１２】
2010134738.tif 000014
【図１３】
2010134738.tif 000015
【図１４】
2010134738.tif 000016
【図１５】
2010134738.tif 000017
【図１６】
2010134738.tif 000018
【図１７】
2010134738.tif 000019
【図１８】
2010134738.tif 000020
【図１９】
2010134738.tif 000021
【図２０】
2010134738.tif 000022
【図２１】
2010134738.tif 000023