(57)【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部により撮像して得られた画像データに基づいて人物の顔であることを認識す
る顔認識部と、
２Ｄ映像を３Ｄ映像に変換して表示部に３Ｄ表示させる指示がされており、前記顔認識
部における顔認識の認識結果が利用可能であるときに、前記顔認識部における前記顔認識
の認識結果より前記表示部に表示される前記３Ｄ表示を視聴する前記人物の視聴位置の判
別ができる第１の場合には、前記視聴位置を前記顔認識部の出力に応じて前記視聴位置を
調整して前記３Ｄ表示を行い、前記指示がされており、かつ前記顔認識部における前記顔
認識の認識結果が利用可能であるときに、前記顔認識部における前記顔認識の認識結果よ
り前記３Ｄ表示を視聴する前記人物の視聴位置の判別が所定の時間できない第２の場合に
は、前記２Ｄ映像の映像データから生成した前記３Ｄ映像の前記３Ｄ表示を行い、前記指
示がされており、かつ前記顔認識部における前記顔認識の認識結果が利用可能でない第３
の場合には、前記３Ｄ表示を視聴する前記人物の視聴位置の位置情報を固定して前記２Ｄ
映像の映像データから生成した前記３Ｄ映像の前記３Ｄ表示を行う表示制御部と、
を有することを特徴とする情報処理装置。
【請求項２】
前記表示制御部は、前記第２の場合に、前記人物の視聴位置の位置情報を所定の値に固
定して前記３Ｄ表示を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の場合から前記第２の場合への変化がある場合は、前記所定の値は、前記変化
前における前記顔認識部の前記顔認識の認識結果に基づいて調整されることを特徴とする
請求項２に記載の情報処理装置。
【請求項４】
前記所定の値は、設定変更可能であることを特徴とする請求項２に記載の情報処理装置
。
【請求項５】
撮像部により撮像して得られた画像データに基づいて人物の顔認識の処理を行い、
２Ｄ映像を３Ｄ映像に変換して表示部に３Ｄ表示させる指示がされており、かつ前記顔
認識の認識結果が利用可能であるか否かを判定し、
前記指示がされており、かつ前記顔認識の認識結果が利用可能であるときに、前記顔認
識の認識結果より前記表示部に表示される前記３Ｄ表示を視聴する前記人物の視聴位置の
判別ができる第１の場合には、前記視聴位置を前記顔認識部の出力に応じて前記視聴位置
を調整して前記３Ｄ表示を行い、
前記指示がされており、かつ前記顔認識の認識結果が利用可能であるときに、前記顔認
識の認識結果より前記３Ｄ表示を視聴する前記人物の視聴位置の判別が所定の時間できな
い第２の場合には、前記２Ｄ映像の映像データから生成した前記３Ｄ映像の前記３Ｄ表示
を行い、
前記指示がされており、かつ前記顔認識の認識結果が利用可能でない第３の場合には、
前記３Ｄ表示を視聴する前記人物の視聴位置の位置情報を固定して前記２Ｄ映像の映像デ
ータから生成した前記３Ｄ映像の前記３Ｄ表示を行うことを特徴とする表示制御方法。
【請求項６】
前記第２の場合に、前記人物の視聴位置の位置情報を所定の値に固定して前記３Ｄ表示
を行うことを特徴とする請求項５に記載の表示制御方法。
【請求項７】
前記第１の場合から前記第２の場合への変化がある場合は、前記所定の値は、前記変化
前における前記顔認識の認識結果に基づいて調整されることを特徴とする請求項６に記載
の表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、表示制御方法及び表示制御装置に関する。
【背景技術】
【０００２】
従来より、２次元すなわち２Ｄの原映像を表示する２Ｄ表示と、２Ｄの原映像に基づいて生成した右目用映像及び左目用映像を立体感のある映像（ステレオ映像すなわち３Ｄ映像）として視認させるように表示する３Ｄ表示と、を切り替えることが可能な装置が知られている。
【０００３】
例えば、パーソナルコンピュータ（以下、ＰＣという）において、画面を見ている人物の顔を検出し、当該人物の顔が検出できた場合に、画面に表示されている映像を２Ｄ表示から３Ｄ表示へ切り替えるとともに、３Ｄ表示に切り替えられた際に、当該人物の顔あるいは眼の位置に合わせて３Ｄ映像の表示を行うことが可能な技術が近年提案されている。
【０００４】
しかし、前述のような技術によれば、３Ｄ映像を見るユーザの顔の位置が、顔認識可能範囲の境界近傍にあると、顔認識の成功状態と不成功状態が頻繁に切り替わる状態が生じる場合がある。そのような場合には、画面表示が３Ｄ表示から２Ｄ表示に切り替わったり、その切り替わった２Ｄ表示から３Ｄ表示へ戻ったりといった表示切り替えが頻繁に発生して、ユーザにとって３Ｄ映像が見づらい、という問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−８５５０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本実施形態は、上記の問題に鑑みてなされたものであり、顔認識ができないような状況においても、所定の条件の下では３Ｄ表示を行うようにして、ユーザにとって３Ｄ映像が見易い情報処理装置、表示制御方法及び表示制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態の情報処理装置は、撮像部と、前記撮像部により撮像して得られた画像データに基づいて人物の顔であることを認識する顔認識部と、２Ｄ映像を３Ｄ映像に変換して表示部に３Ｄ表示させる指示がされており、前記顔認識部における顔認識の認識結果が利用可能であるときに、前記顔認識部における前記顔認識の認識結果より前記表示部に表示される前記３Ｄ表示を視聴する前記人物の視聴位置の判別ができる第１の場合には、前記視聴位置を前記顔認識部の出力に応じて前記視聴位置を調整して前記３Ｄ表示を行い、前記指示がされており、かつ前記顔認識部における前記顔認識の認識結果が利用可能であるときに、前記顔認識部における前記顔認識の認識結果より前記３Ｄ表示を視聴する前記人物の視聴位置の判別が所定の時間できない第２の場合には、前記２Ｄ映像の映像データから生成した前記３Ｄ映像の前記３Ｄ表示を行い、前記指示がされており、かつ前記顔認識部における前記顔認識の認識結果が利用可能でない第３の場合には、前記３Ｄ表示を視聴する前記人物の視聴位置の位置情報を固定して前記２Ｄ映像の映像データから生成した前記３Ｄ映像の前記３Ｄ表示を行う表示制御部と、を有する。
実施形態の表示制御方法は、撮像部により撮像して得られた画像データに基づいて人物の顔認識の処理を行い、２Ｄ映像を３Ｄ映像に変換して表示部に３Ｄ表示させる指示がされており、かつ前記顔認識の認識結果が利用可能であるか否かを判定し、前記指示がされており、かつ前記顔認識の認識結果が利用可能であるときに、前記顔認識の認識結果より前記表示部に表示される前記３Ｄ表示を視聴する前記人物の視聴位置の判別ができる第１の場合には、前記視聴位置を前記顔認識部の出力に応じて前記視聴位置を調整して前記３Ｄ表示を行い、前記指示がされており、かつ前記顔認識の認識結果が利用可能であるときに、前記顔認識の認識結果より前記３Ｄ表示を視聴する前記人物の視聴位置の判別が所定の時間できない第２の場合には、前記２Ｄ映像の映像データから生成した前記３Ｄ映像の前記３Ｄ表示を行い、前記指示がされており、かつ前記顔認識の認識結果が利用可能でない第３の場合には、前記３Ｄ表示を視聴する前記人物の視聴位置の位置情報を固定して前記２Ｄ映像の映像データから生成した前記３Ｄ映像の前記３Ｄ表示を行う。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る情報処理装置の構成図である。
【図２】実施形態に係る表示制御プログラム１５ｂの構成を示すブロック図である。
【図３】実施形態に係る、表示制御部３３における表示制御の処理の流れの例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ実施形態の説明を行う。  
（構成）
図１は、実施形態に係る情報処理装置の構成図である。本実施形態では、情報処理装置は、デスクトップＰＣ、ノートＰＣ、スレートＰＣ等のＰＣである。図１に示すように、情報処理装置であるＰＣ１は、本体１１と、液晶表示装置（以下、ＬＣＤという）１２と、入力装置１３と、撮像素子１４と、記憶装置１５とを有して構成される。
【００１１】
本体部１１は、ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３，インターフェース（以下、Ｉ／Ｆと略す）２４，２５，２６，２７を含む。ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３，及びインターフェース（以下、Ｉ／Ｆと略す）２４，２５，２６，２７は、バス２８を介して互いに接続されている。
【００１２】
表示部としてのＬＣＤ１２は、Ｉ／Ｆ２４を介して、バス２８に接続され、映像を２Ｄあるいは３Ｄで表示可能な表示装置である。ＬＣＤ１２は、ＬＣＤパネル等を具備して構成されており、後述する表示制御部の制御に応じて、画面上に２Ｄ表示あるいは３Ｄ表示で映像を表示する。
【００１３】
ＣＰＵ２１は、ＲＯＭ２２に格納された各種ソフトウエアプログラムを、作業領域としてのＲＡＭ２３を使用しながら、実行する。  
入力装置１３は、キーボード及びマウスを含み、Ｉ／Ｆ２５を介してバス２８に接続されている。ユーザは、入力装置１３を操作することによって、３Ｄ表示する旨の指示、３Ｄ視聴位置調整、等の各種コマンドの入力を行うことができる。例えば、３Ｄ視聴位置調整は、キーボード中の左右の矢印キーや画面上のカーソルを用いて、ユーザが３Ｄ視聴位置を左右方向に自由に移動させることによって行うことができる。
【００１４】
撮像部としての撮像素子１４は、ユーザの顔を撮像するためのＣＭＯＳセンサ等のＷｅｂカメラ等であり、Ｉ／Ｆ２６を介してバス２８に接続されている。撮像素子１４は、例えば、ＬＣＤ１２の近傍に配置され、ＬＣＤ１２の画面を見るユーザの顔を撮像する。撮像素子１４は、ＬＣＤ１２の画面を見ている人物等を撮影して、その撮影した被写体の画像を略リアルタイムで取得して出力するように構成されている。
【００１５】
記憶装置１５は、ハードディスクドライブ、不揮発性メモリ等であり、Ｉ／Ｆ２７を介してバス２８に接続されている。記憶装置１５は、原画像である２Ｄの映像データ１５ａと、表示制御プログラム１５ｂを記憶している。表示制御プログラム１５ｂは、ユーザの指示により２Ｄの映像データに基づいて３Ｄ映像を生成して、ＬＣＤ１２に３Ｄ表示を行うための制御プログラムである。なお、表示制御プログラム１５ｂは、ＲＯＭ２２に記憶してもよい。
【００１６】
すなわち、表示制御プログラム１５ｂは、撮像素子１４からの画像データに基づく顔認識の認識結果に基づき、記憶装置１５から読み出した２Ｄの原映像の映像データの２Ｄ表示と、２Ｄの原映像に基づいて生成された３Ｄデータすなわち右目用映像データ及び左目用映像データによる３Ｄ表示と、を選択的に切り替えるように、ＬＣＤ１２の表示を制御する。
【００１７】
なお、映像データは、ＤＶＤのような記憶媒体に記憶されているものでもよく、映像データは、例えば、図１において点線で示すように、記憶媒体のドライブ装置１６を介して、ＣＰＵ２１に読み出される映像データでもよい。さらになお、映像データは、例えば、図１において点線で示すように、インターネットなどのネットワーク１７を介して受信した映像データでもよい。
【００１８】
ユーザにより３Ｄ表示する旨の指示が入力されると、表示制御プログラム１５ｂの制御の下で、２Ｄの映像データは３Ｄの映像データに変換される。そのため、ＰＣ１は、２Ｄの映像データから３Ｄの映像データを生成する３Ｄ表示対応アプリケーションプログラム１５ｃを記憶装置１５に記憶している。３Ｄ表示対応アプリケーションプログラムは、表示制御プログラム１５ｂの制御の下、ＣＰＵ２１によって読み出されて実行される。なお、３Ｄ映像生成部としての３Ｄ表示対応アプリケーションプログラム１５ｃは、ＲＯＭ２１に記憶するようにしてもよい。さらになお、３Ｄ表示対応アプリケーションプログラム１５ｃは、ハードウエアの３Ｄ映像生成回路で構成してもよい。  
図２は、表示制御プログラム１５ｂの構成を示すブロック図である。表示制御プログラム１５ｂは、顔認識部３１と、アイトラッキング部３２と、表示制御部３３とを含んで構成されている。
【００１９】
顔認識部３１は、撮像素子１４により撮像して得られた画像データに基づいて人物の顔であることを認識する処理を行う。顔認識部３１は、画像データから人物の顔が認識されると、その認識された顔の位置の情報を出力すると共に、顔認識ができない場合には、顔の位置の情報を出力しない。なお、顔認識部３１は、顔認識ができない場合には、顔認識ができないことを示す不成功の情報を生成して出力するようにしてもよい。  
顔認識部３１は、例えば、撮像素子１４により得られる画像データから人物の特徴点である、目、鼻及び口等の分布に基づいて人物の顔に相当する部分を検出する。
【００２０】
アイトラッキング部３２は、アイトラッキング機能を実現するための処理部である。アイトラッキング機能とは、撮像素子１４により撮像された人物の視線の動きから、ユーザが画面上のどの場所あるいは領域を、そのくらいの時間、どのような軌跡で見ているかを解析する機能である。すなわち、アイトラッキング部３２は、顔認識部３１からの顔認識の認識結果を受けて、アイトラッキング機能を実行する処理部である。  
ここでは、アイトラッキング機能がオンのときに、顔認識部３１による顔認識の処理結果が利用可能となっている。
【００２１】
表示制御部３３は、アイトラッキング部３２からの顔認識結果情報に基づいて、後述するような表示制御処理を実行する。表示制御部３３の処理では、３Ｄ表示する旨の指示の有無と、アイトラッキング部３２のアイトラッキング機能のオン・オフ状態と、顔認識の処理結果とに基づいて、３Ｄ表示の制御を行い、３Ｄ表示時は、３Ｄ表示対応アプリケーションプログラムにより生成された３Ｄの映像データをＬＣＤ１２へ出力する。
【００２２】
表示制御部３３は、半導体装置である半導体チップにより実現してもよい。例えば、表示制御部３３の表示制御処理を実行する回路を含む半導体チップとして、表示制御部３３を実現してもよい。その半導体チップは、表示制御装置として、表示制御部３３の表示制御処理を行う。
【００２３】
（動作）
図３は、表示制御部３３における表示制御の処理の流れの例を示すフローチャートである。図３の表示制御は、ＣＰＵ２１によって実行される。
【００２４】
まず、ＣＰＵ２１は、２Ｄの映像データの映像を表示する場合、２Ｄの映像データを２Ｄ表示で表示する（S1）。すなわち、ＣＰＵ２１は、２Ｄ映像データをＬＣＤ１２へ出力する。
【００２５】
ユーザは、２Ｄの映像データを３Ｄ表示で視聴したい場合、入力装置１３により３Ｄ表示する旨の指示として所定のコマンドを入力する、例えば所定のボタン（以下、３Ｄボタンという）を押下する。そのため、ＣＰＵ２１は、３Ｄボタンが押下すなわちオンされたか否かを判定し（S2）、３Ｄボタンがオンされなければ（S2:NO）、処理は、S1に戻り、２Ｄ表示が行われる。  
３Ｄボタンがオンされると（S2:YES）、ＣＰＵ２１は、３Ｄ表示対応アプリケーションプログラム１５ｃを起動する（S3）。
【００２６】
そして、ＣＰＵ２１は、アイトラッキング機能がオンであるか否かを判定する（S4）。アイトラッキング機能がオンであると判定された場合（S4:YES）、ＣＰＵ２１は、顔認識は成功したか否かを判定する（S5）。この顔認識が成功したか否かは、顔認識部３１の処理結果に基づいて判定される。
【００２７】
顔認識が成功した場合（S5:YES）、映像の表示を２Ｄ表示から３Ｄ表示に切り換える（S6）。すなわち、ＣＰＵ２１は、３Ｄ表示対応アプリケーションプログラム１５ｃによって生成された３Ｄの映像データをＬＣＤ１２へ供給する。
【００２８】
そして、ＣＰＵ２１は、顔認識の結果に基づいて、３Ｄ視聴位置の自動調整を行う（S7）。この自動調整は、アイトラッキング機能に基づいて実行されるものである。すなわち、表示制御部３３は、３Ｄ表示する旨の指示を受けてアイトラッキング機能が有効でかつ顔認識部による顔認識ができるあるいは人物の視聴位置が判別できる場合には、３Ｄ視聴位置を顔認識の認識結果に応じて自動調整して、３Ｄ表示を行う。
【００２９】
また、顔認識が成功しない場合（S5:NO）、すなわち、顔が認識できないすなわち人物の視聴位置が判別できない場合は、ＣＰＵ２１は、所定の条件が満たされたか否か、ここでは所定の時間が経過したか否か、を判定する（S8）。
【００３０】
顔の認識ができないすなわち人物の視聴位置が判別できない状態が所定の時間、例えば３秒、続いた場合（S8YES）、映像の表示を２Ｄ表示から３Ｄ表示に切り換える（S9）。すなわち、ＣＰＵ２１は、３Ｄ表示対応アプリケーションプログラム１５ｃによって生成された３Ｄの映像データをＬＣＤ１２へ供給する。
【００３１】
そして、ＣＰＵ２１は、３Ｄ視聴位置を所定の視聴位置に固定する調整を行う（S10）。例えば、それまでＣＰＵ２１が顔認識の結果に基づいて３Ｄ視聴位置の自動調整を行っていたとき（S7）、途中で顔認識が不成功になったときは、この所定の視聴位置は、その不成功になる直前の３Ｄ視聴位置に固定される。すなわち、３Ｄ表示する旨の指示を受けてアイトラッキング機能が有効でかつ顔認識部３１による顔認識ができる場合から顔認識部３１により人物の視聴位置が判別できない顔認識ができない場合への変化があったときは、３Ｄ視聴位置は、その変化前における顔認識の認識結果に応じて自動調整された位置である。この場合は、３Ｄ表示が、顔認識が不成功になる直前の３Ｄ視聴位置で継続されることを意味する。
【００３２】
これは、例えばユーザが顔認識可能範囲の境界近傍にあって、顔認識が不成功になった場合であれば、直前の３Ｄ視聴位置に維持することが好ましいと推定されるからである。
【００３３】
また、それまでＣＰＵ２１が顔認識の結果に基づく３Ｄ視聴位置の自動調整を行なっていない場合は、３Ｄ視聴位置は、ＬＣＤ１２のセンタ位置に固定するようにしてもよい。さらにまた、そのような場合、上述したように、３Ｄ視聴位置はユーザがマニュアルで設定変更可能であるので、３Ｄ視聴位置は、例えば、ユーザが調整した位置、あるいは予め調整して設定した位置でもよい。
【００３４】
しかし、所定の時間が経過する前に、顔認識がされると、S8でNOとなって、処理は、S5に戻り、顔認識は成功となり、３Ｄ視聴位置は自動調整される。
【００３５】
以上のように、表示制御部３３は、３Ｄ表示する旨の指示がされ、かつ顔認識部３１による顔認識により人物の視聴位置が判別できない場合であっても、２Ｄの映像データから生成した３Ｄの映像データに基づく３Ｄ表示を行うように表示制御を行う。具体的には、表示制御部３３は、３Ｄボタンのオンにより３Ｄ表示する旨の指示がされて、アイトラッキング機能が有効なときに顔認識がされた場合は、３Ｄ視聴位置の自動調整をして３Ｄ表示を行うと共に、顔認識ができないすなわち人物の視聴位置が判別できない場合には、所定の条件としての所定の時間の経過があると、３Ｄ視聴位置を所定の視聴位置に固定して３Ｄ表示を行う。
【００３６】
その結果、ＬＣＤ１２に表示される映像を見るユーザの顔の位置が、顔認識可能範囲の境界近傍にあって、顔認識の成功状態と不成功状態が頻繁に切り替わる状態が生じる場合であっても、所定の条件の下で、３Ｄ表示を行い、あるいは３Ｄ表示を継続するので、２Ｄ表示と３Ｄ表示の切り替えが頻繁に発生しない。
【００３７】
さらに、ユーザがアイトラッキング機能を意図的にオフにした場合、アイトラッキング機能がオフであるすなわち有効でないと判定され（S4:NO）、CPU２１は、映像の表示を２Ｄ表示から３Ｄ表示に切り換える（S11）。そして、ＣＰＵ２１は、３Ｄ視聴位置を所定の視聴位置に固定する調整を行う（S12）。すなわち、表示制御部３３は、３Ｄ表示する旨の指示を受けてアイトラッキング機能が有効でない場合に、３Ｄ視聴位置を第２の所定の視聴位置に固定して３Ｄ表示を行うように表示制御を行う。
【００３８】
S12における固定調整では、３Ｄ視聴位置は、所定の視聴位置、例えば画面のセンタ位置に固定される。なお、固定調整における所定の視聴位置は、ユーザによりマニュアルで調整された視聴位置あるいはユーザにより予め設定された位置でもよい。
【００３９】
すなわち、３Ｄボタンがオンされて、アイトラッキング機能がオフの場合は、顔認識がされないが、３Ｄボタンがオンされているので、３Ｄ視聴位置を所定の視聴位置に固定して、３Ｄ表示を行う。そして、その所定の視聴位置は、ＬＣＤ１２のセンタ位置、あるいはユーザがマニュアルで調整した位置等である。よって、ユーザは、所定の視聴位置での３Ｄ表示を視聴することができる。
【００４０】
以上のように、上述した実施形態に係る情報処理装置によれば、人物の視聴位置が判別できないような状況においても、所定の条件の下では３Ｄ表示を行うようにして、ユーザにとって３Ｄ映像が見易い情報処理装置、表示制御方法及び表示制御装置を実現することができる。
【００４１】
なお、上述した実施形態では、情報処理装置としてＰＣを挙げて説明したが、上述した表示制御は、テレビジョン装置などにおいても適用可能であり、その場合、テレビジョン装置は、上記の表示制御を行う情報処理装置に対応する。
【００４２】
本発明の実施形態を説明したが、実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４３】
１  ＰＣ、１１  本体、１２  ＬＣＤ、１３  入力装置、１４  撮像素子、１５  記憶装置、２１  ＣＰＵ、２２  ＲＯＭ、２３  ＲＡＭ、２３，２４，２５，２６，２７  インターフェース、２８  バス、３１  顔認識部、３２  アイトラッキング部、３３  表示制御部
【図１】
0005228074.tif 000002
【図２】
0005228074.tif 000003
【図３】
0005228074.tif 000004