(57)【要約】【課題】三次元画像の表示に対応した複数のアプリケーションプログラムを起動している場合に、観察者が観察したい三次元画像を選択的に表示すること。【解決手段】実施形態によれば、画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイを備えた情報処理装置は、複数のアプリケーションプログラムに対応する複数のウィンドウを面内に表示する表示手段であって、各アプリケーションプログラムは三次元画像の表示に対応する、表示手段と、複数のウィンドウの内から観察者が観察している被観察ウィンドウを検出する検出手段と、被観察ウィンドウに対応する画面内の第１領域に被観察ウィンドウに対応する被観察アプリケーションプログラムによって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、画面内の第１領域を三次元画像表示領域に設定する設定手段とを具備する。【選択図】図４
2013143736.tif 000002
【特許請求の範囲】
【請求項１】
画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイを備えた情報処理装置であって、
複数のアプリケーションプログラムに対応する複数のウィンドウを前記画面内に表示する表示手段であって、各アプリケーションプログラムは三次元画像の表示に対応する、表示手段と、
前記複数のウィンドウの内から観察者が観察している被観察ウィンドウを検出する検出手段と、
前記被観察ウィンドウに対応する前記画面内の第１領域に前記被観察ウィンドウに対応する被観察アプリケーションプログラムによって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、前記画面内の前記第１領域を前記三次元画像表示領域に設定する設定手段と、
を具備する情報処理装置。
【請求項２】
前記検出手段は、動画を撮影し、複数のフレーム画像を含む動画データを出力する撮影手段と、各フレーム画像に含まれる前記観察者の顔領域に対する両眼の瞳の位置を検出する瞳位置検出手段と、前記両眼の瞳の位置に応じて前記観察者の視線を推定する視線推定手段と、前記推定された視線に基づいて前記被観察ウィンドウを推定する推定手段とを具備する請求項１に記載の情報処理装置。
【請求項３】
放送信号を受信し、受信した放送信号を復調して音声データと、左眼用画像および右眼用画像を含む動画像データとを出力するチューナを更に具備し、
前記複数のアプリケーションプログラムの内の第１のアプリケーションプログラムは、前記第１のアプリケーションプログラムに対応する第１のウィンドウに前記動画像データに対応する動画を表示するための処理を行う請求項１に記載の情報処理装置。
【請求項４】
前記複数のアプリケーションプログラムの内のアプリケーションプログラムは、ビデオデータの画像フレームを解析することによって当該画像フレームに含まれる画素毎の奥行き位置を推定し、前記推定した画素毎の奥行き位置に基づいた視差の、前記画像フレームに対応する左眼用画像と右眼用画像とを生成する、請求項１に記載の情報処理装置。
【請求項５】
前記複数のアプリケーションプログラムの内のアプリケーションプログラムは、出力手段は、光ディスクに記録されているデータを再生することによって、音声データと、左眼用画像および右眼用画像を含む動画像データとを出力する請求項１に記載の情報処理装置。
【請求項６】
画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイを備えた情報処理装置に適用される表示制御方法であって、
前記画面内に複数のウィンドウを表示する、前記複数のウィンドウは複数のアプリケーションプログラムに対応し、各アプリケーションプログラムは三次元画像の表示に対応する、
前記複数のウィンドウから観察者が観察している被観察ウィンドウを検出し、
前記被観察ウィンドウに対応する前記画面内の第１領域に前記被観察ウィンドウに対応する被観察アプリケーションプログラムによって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、前記画面内の前記第１領域を前記三次元画像表示領域に設定する、
表示制御方法。
【請求項７】
画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイを備えたコンピュータに、
前記画面内に複数のウィンドウを表示する手順であって、前記複数のウィンドウは複数のアプリケーションプログラムに対応し、各アプリケーションプログラムは三次元画像の表示に対応する、手順と、
前記複数のウィンドウから観察者が観察している被観察ウィンドウを検出する手順と、
前記被観察ウィンドウに対応する前記画面内の第１領域に前記被観察ウィンドウに対応する被観察アプリケーションプログラムによって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、前記画面内の前記第１領域を前記三次元画像表示領域に設定する手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、裸眼三次元ディスプレイを備えた情報処理装置、同装置に適用される表示制御方法に関する。
【背景技術】
【０００２】
近年、立体画像（三次元画像）を観賞するための様々な表示装置が提供されている。このような表示装置の一つに、裸眼立体視方式（裸眼３Ｄ方式）による表示装置がある。裸眼立体視方式では、例えば、液晶ディスプレイ（ＬＣＤ）上に左眼用画像と右眼用画像とを同時に表示する空間分割方式と、左眼用画像と右眼用画像とを交互に表示する時分割表示方式とがある。
【０００３】
空間分割方式の一つに例えば視差障壁と呼ばれる左眼と右眼とに別々の光線を入射させるメカニズムによって、それら画像内の画素に対応する光線が射出される方向を制御する方式（レンチキュラ方式、パララックスバリア方式）がある。
【０００４】
レンチキュラ方式やパララックスバリア方式では、観察者に正しく立体画像を知覚させるために、観察者の顔の位置を検出し、検出された位置に応じて、画像内の画素に対応する光線が射出される方向を制御する技術が開発されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１７５９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、画面内の複数の領域を同時に裸眼３Ｄ領域に設定できるようにすることは、コストアップなどの問題から実現することが難しい。このため、従来では、同時に実行可能な３Ｄ対応アプリケーションプログラムを１つに制限するという排他制御が利用されている。
【０００７】
しかし、複数の３Ｄ対応アプリケーションプログラムを起動したいという要望がある。この場合、ユーザ（観察者）が観察したい三次元画像を選択的に表示することが好ましい。
【０００８】
本発明は、三次元画像の表示に対応した複数のアプリケーションプログラムを起動している場合に、観察者が観察したい三次元画像を選択的に表示することが可能な情報処理装置および表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
実施形態によれば、画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイを備えた情報処理装置は、表示手段と、検出手段と、設定手段とを具備する。表示手段は、複数のアプリケーションプログラムに対応する複数のウィンドウを前記画面内に表示する。各アプリケーションプログラムは三次元画像の表示に対応する。検出手段は、前記複数のウィンドウの内から観察者が観察している被観察ウィンドウを検出する。設定手段は、前記被観察ウィンドウに対応する前記画面内の第１領域に前記被観察ウィンドウに対応する被観察アプリケーションプログラムによって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、前記画面内の前記第１領域を前記三次元画像表示領域に設定する。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る電子機器の外観を示す斜視図。
【図２】同実施形態の電子機器のシステム構成を示すブロック図。
【図３】３Ｄアプリケーションプログラムが複数起動されている場合のディスプレイに表示されるウィンドウの例を示す図。
【図４】同実施形態の電子機器で用いられる３Ｄ表示システムの構成例を示すブロック図。
【図５】観察者の視線を推定する方法を説明するための図。
【図６】画素配置変換部によって行われる画素配置変換処理を説明するための図。
【図７】認識制御部による制御処理の手順を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、実施の形態について図面を参照して説明する。
【００１２】
図１は、一実施形態に係る情報処理装置の外観を示す斜視図である。この情報処理装置は、例えばノートブックタイプのパーソナルコンピュータ１として実現される。また、この情報処理装置は、タブレットＰＣ、ＰＤＡ、スマートフォン等として実現され得る。
【００１３】
図１に示すように、本コンピュータ１は、コンピュータ本体２と、ディスプレイユニット３とから構成される。  
ディスプレイユニット３には、画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイ（裸眼３Ｄディスプレイ）１５が組み込まれている。裸眼３Ｄディスプレイ１５においては、三次元画像の表示に、裸眼立体視方式（例えば、インテグラルイメージング方式、レンチキュラ方式、パララックスバリア方式等）が用いられる。ユーザは、裸眼３Ｄディスプレイ１５に表示された画像を見ることにより、三次元画像を裸眼で知覚することができる。
【００１４】
ディスプレイユニット３は、コンピュータ本体２の上面が露出される開放位置とコンピュータ本体２の上面を覆う閉塞位置との間を回動自在にコンピュータ本体２に取り付けられている。また、裸眼３Ｄディスプレイ１５は、ＬＣＤ（liquid crystal display）１５Ａとレンズユニット１５Ｂとを備える。レンズユニット１５Ｂは、ＬＣＤ１５Ａ上にはり合わせられている。レンズユニット１５Ｂは、ＬＣＤ１５Ａに表示される画像に含まれる複数の画素に対応する複数の光線をそれぞれ所定の方向に射出するための複数のレンズ機構を含む。レンズユニット１５Ｂは、例えば、三次元画像表示に必要な機能を電気的にスイッチングできる液晶ＧＲＩＮ（gradient index）レンズである。この液晶ＧＲＩＮレンズでは、平坦な液晶層を用いて電極で屈折率分布を作るので、例えば、画面内の指定した領域で三次元画像を表示し、他の領域で二次元画像を表示することができる。つまり、三次元画像を表示する領域と二次元画像を表示する領域とでレンズの屈折率を変えることにより、三次元画像を表示するための三次元画像表示領域（裸眼３Ｄ領域）と、二次元画像を表示するための二次元画像表示領域とを、画面内で部分的に切り替えることができる。
【００１５】
画面内の裸眼３Ｄ領域では、例えば、左眼用画像と右眼用画像が水平方向に画素単位で交互に表示される。そして、交互に表示される左眼用画像の画素それぞれと右眼用画像の画素それぞれが左眼および右眼にそれぞれ届くように、裸眼３Ｄ領域に対応するレンズ部によって左眼用画像の画素それぞれに対応する光と右眼用画像の画素それぞれに対応する光が屈折される。一方、二次元画像表示領域（２Ｄ領域）では、その２Ｄ領域に表示される二次元画像の各画素に対応する光は、２Ｄ領域に対応するレンズ部によって屈折されることなくそのまま出射される。裸眼３Ｄ領域として設定すべき画面内の領域の位置およびサイズは任意に指定することができる。裸眼３Ｄ領域以外の画面内の他の領域は２Ｄ領域となる。
【００１６】
コンピュータ本体２は、薄い箱形の筐体を有しており、その上面には、キーボード２６、本コンピュータ１を電源オン／電源オフするためのパワーボタン２８、入力操作パネル２９、ポインティングデバイス２７、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル２９上には、各種操作ボタンが設けられている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。
【００１７】
コンピュータ本体２の例えば右側面には、ＴＶ放送用のアンテナ端子３０Ａが設けられている。また、コンピュータ本体２の例えば背面には、例えばＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような画像コンテンツデータに含まれる画像データ（動画像データ）を外部ディスプレイに出力するために用いられる。
【００１８】
図２は、本コンピュータ１のシステム構成を示す図である。  
本コンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、グラフィクスプロセッシングユニット（ＧＰＵ）１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、裸眼３Ｄディスプレイ１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８Ａ，１８Ｂ、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ハードディスクドライブ（ＨＤＤ）２１、光ディスクドライブ（ＯＤＤ）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、ポインティングデバイス２７、ＴＶチューナ３０、カメラ３１、および制御ＩＣ３２等を備えている。
【００１９】
ＣＰＵ１１は、本コンピュータ１の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ２１から主メモリ１３にロードされる、オペレーティングシステム（ＯＳ）１３Ａ、制御プログラム１３Ｂ、および各種アプリケーションプログラムを実行する。アプリケーションプログラムには、３Ｄ対応の幾つかのアプリケーションプログラム（以下、３Ｄアプリケーションプログラムと称する）が含まれている。３Ｄアプリケーションプログラムには、例えば、ＴＶアプリケーションプログラム、プレーヤアプリケーションプログラム、ゲームアプリケーションプログラム等がある。
【００２０】
ＴＶアプリケーションプログラムは放送コンテンツの視聴および録画等を実行するためのプログラムであり、２Ｄフォーマットの放送番組データおよび３Ｄフォーマットの放送番組データの双方を扱うことができる。３Ｄフォーマットとしては、左眼用画像および右眼用画像を含むサイドバイサイドフォーマットまたはトップアンドボトムフォーマット、等が知られている。
【００２１】
ＴＶアプリケーションプログラムは、２Ｄフォーマットの放送番組データ内の各フレームの二次元画像データを３次元画像データにリアルタイムに変換する２Ｄ−３Ｄ変換機能も有している。２Ｄ−３Ｄ変換では、二次元画像データの画素毎に奥行き値が推定され、この推定された画素それぞれの奥行き値に基づいて、複数の視差画像、例えば、左眼用画像と右眼用画像とを含む２つの視差画像が生成される。
【００２２】
プレーヤアプリケーションプログラムはＤＶＤのような記憶メディアに格納されたビデオコンテンツを再生するためのプログラムであり、２Ｄコンテンツおよび３Ｄコンテンツの双方を扱うことができる。プレーヤアプリケーションプログラムも上述の２Ｄ−３Ｄ変換機能を有していてもよい。
【００２３】
制御プログラム１３Ｂは、３Ｄアプリケーションプログラムそれぞれを制御するためのプログラムである。通常のシステム設計では、コストアップを避けるために、裸眼３Ｄ領域に設定することができる画面内の領域は例えば一つに制限されることが多い。画面内の複数の領域それぞれに異なる三次元画像を同時に表示するためには多くのハードウェア資源が必要とされ、これによってコストアップが引き起こされるからである。
【００２４】
また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００２５】
ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、ＧＰＵ１４との通信を実行する機能も有している。
【００２６】
ＧＰＵ１４は、本コンピュータ１のディスプレイとして使用されるＬＣＤ１５Ａを制御するデバイスである。このＧＰＵ１４によって生成される表示信号はＬＣＤ１５Ａに送られる。ＬＣＤ１５Ａは、表示信号に基づいて画像を表示する。
【００２７】
サウスブリッジ１６は、ＰＣＩ（Peripheral Component Interconnect）バス上及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１及びＯＤＤ２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラ、及びＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７及びＬＡＮコントローラ２０との通信を実行する機能も有している。
【００２８】
サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばＩＥＥＥ  ８０２．１１規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。
【００２９】
ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６、及びポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じて本コンピュータ１をパワーオン／パワーオフする機能を有している。
【００３０】
ＴＶチューナ３０はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子３０Ａに接続されている。このＴＶチューナ３０は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。ＴＶチューナ３０は、放送信号を受信し、受信した放送信号を復調して音声データと、左眼用画像および右眼用画像を含む動画像データとを出力する。また、ＴＶチューナ３０は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
【００３１】
制御ＩＣ３２は、制御プログラム１３Ｂによる要求に応じて、裸眼３Ｄ領域に複数の視差画像が水平方向に画素単位で交互に配置されるように、裸眼３Ｄ領域に表示されるべき画素の並びを変換する。左眼用画像と右眼用画像とを含む２つの視差画像を使用して３Ｄ画像を表示する場合には、左眼用画像と右眼用画像が水平方向に画素単位で交互に裸眼３Ｄ領域に表示されるように、裸眼３Ｄ領域に表示されるべき画素の並びが変換される。
【００３２】
さらに、制御ＩＣ３２は、制御プログラム１３Ｂによる要求に応じて、裸眼３Ｄ領域に対応するレンズユニット１５Ｂ内の一部分が３Ｄ表示のための所定の屈折率分布を有するように、レンズユニット１５Ｂ内の一部分を制御する。これにより、レンズユニット１５Ｂ内のこの一部分においては、レンズ効果が現れる。よって、裸眼３Ｄ領域では、左眼用画像の各画素および右眼用画像の各画素が左眼および右眼にそれぞれ届くように、左眼用画像の画素それぞれに対応する光の出射方向と右眼用画像の画素それぞれに対応する光の出射方向が制御される。この場合、左眼用画像および右眼用画像を左眼および右眼で正しく観察可能な観察位置は限られた位置に制限される可能性がある。
【００３３】
このため、必要に応じて、フェイストラッキングを利用してもよい。フェイストラッキングでは、観察者の観察位置（例えば、観察者の顔の位置、または観察者の左目および右目それぞれの位置）に応じて、左眼用画像の画素それぞれに対応する光が左目に届き、右眼用画像の画素それぞれに対応する光が右目に届くように、左眼用画像の画素それぞれに対応する光の出射方向と右眼用画像の画素それぞれに対応する光の出射方向が適応的に制御される。これにより、三次元画像を知覚可能な視域を広げることができる。
【００３４】
次に、図３を参照して、３Ｄアプリケーションプログラムが複数起動されている場合に、観察者が観察しているウィンドウだけを三次元画像表示させることを説明する。
【００３５】
図３では、第１の３ＤアプリケーションプログラムのウィンドウＷ１および第２の３ＤアプリケーションプログラムのウィンドウＷ２の一方に三次元画像が表示される。第１の３ＤアプリケーションプログラムのウィンドウＷ１および第２の３ＤアプリケーションプログラムのウィンドウＷ２の他方、並びにデスクトップ画面にそれぞれ二次元画像が表示されている。ウィンドウＷ１およびウィンドウＷ２の一方に対応する表示画面上の領域は裸眼３Ｄ領域に設定されている。
【００３６】
本装置１は、カメラ３１によって撮影される動画像データに基づいて観察者が観察(注視)しているウィンドウを推定する。そして、推定されたウィンドウだけを三次元画像を表示する裸眼３Ｄ領域に設定する。
【００３７】
次に、図４を参照して、本実施形態で用いられる３Ｄ表示システムの構成例を説明する。  
ここでは、本実施形態のコンピュータ１によって実行される複数の３Ｄ対応アプリケーションプログラムとして、第１の３Ｄ対応アプリケーションプログラム５１と第２の３Ｄ対応アプリケーションプログラム５２を例示する。
【００３８】
第１の３Ｄ対応アプリケーションプログラム５１は、第１の３Ｄ対応アプリケーションプログラム５１によって扱われるコンテンツを３Ｄモードおよび２Ｄモードの一方でユーザに提示するための機能を有している。第１の３Ｄ対応アプリケーションプログラム５１が３Ｄモードの間は、第１の３Ｄ対応アプリケーションプログラム５１は、第１の３Ｄ対応アプリケーションプログラム５１によって扱われるコンテンツに対応する複数の視差画像（例えば、左眼画像と右眼画像とを含む２つの視差画像）をＶＲＡＭ１４Ａに描画する。この場合、第１の３Ｄ対応アプリケーションプログラム５１は、左眼画像と右眼画像とをサイドバイサイドフォーマット等でＶＲＡＭ１４Ａに描画してもよい。第１の３Ｄ対応アプリケーションプログラム５１が２Ｄモードの間は、第１の３Ｄ対応アプリケーションプログラム５１は、第１の３Ｄ対応アプリケーションプログラム５１によって扱われるコンテンツに対応する一つの二次元画像をＶＲＡＭ１４Ａに描画する。
【００３９】
第１の３Ｄ対応アプリケーションプログラム５１が起動された場合、または第１の３Ｄ対応アプリケーションプログラム５１の画面上の３Ｄボタンが押された場合に、第１の３Ｄ対応アプリケーションプログラム５１は三次元画像を表示するための要求（３Ｄ要求）を制御プログラム１３Ｂに送信する。
【００４０】
同様に、第２のアプリケーションプログラム５２も第２の３Ｄ対応アプリケーションプログラム５２によって扱われるコンテンツを３Ｄモードおよび２Ｄモードの一方でユーザに提示するための機能を有している。第２の３Ｄ対応アプリケーションプログラム５２が３Ｄモードの間は、第２の３Ｄ対応アプリケーションプログラム５２は、第２の３Ｄ対応アプリケーションプログラム５２によって扱われるコンテンツに対応する複数の視差画像（例えば、左眼画像と右眼画像とを含む２つの視差画像）をＶＲＡＭ１４Ａに描画する。この場合、第２の３Ｄ対応アプリケーションプログラム５２は、左眼画像と右眼画像とをサイドバイサイドフォーマット等でＶＲＡＭ１４Ａに描画してもよい。第２の３Ｄ対応アプリケーションプログラム５２が２Ｄモードの間は、第２の３Ｄ対応アプリケーションプログラム５２は、第２の３Ｄ対応アプリケーションプログラム５２によって扱われるコンテンツに対応する一つの二次元画像をＶＲＡＭ１４Ａに描画する。
【００４１】
第２の３Ｄ対応アプリケーションプログラム５２が起動された場合または第２の３Ｄ対応アプリケーションプログラム５２の画面上の３Ｄボタンが押された場合に、第２の３Ｄ対応アプリケーションプログラム５２は三次元画像を表示するための要求（３Ｄ要求）を制御プログラム１３Ｂに送信する。
【００４２】
制御プログラム１３Ｂは、瞳位置検出部６１と、視線推定部６３と、ウィンドウ推定部６３と、三次元画像表示領域設定部６４とを含む。  
瞳位置検出部６１は、第１のアプリケーションプログラム５１と第２のアプリケーションプログラム５２との両方が三次元画像を表示するための要求（３Ｄ要求）を送信した場合に、観察者の顔領域に対する瞳（動向）の位置を推定する。
【００４３】
瞳位置検出部６１は、カメラ３１によって撮影された動画像データから観察者の顔領域内の瞳の位置を検出する。より具体的な顔領域に対する瞳の位置の検出について以下に説明する。先ず、瞳位置検出部６１は、動画像データに含まれる各フレーム画像データから先ず、観察者の顔の領域を認識する。瞳位置検出部６１は、検出された顔領域の内から、顔領域に対する両眼の瞳の位置を検出する。
【００４４】
視線推定部６３は、検出された顔領域に対する瞳の位置に応じて、観察者の視線を推定する。ウィンドウ推定部６３は、観察者が裸眼３Ｄディスプレイ１５内の画面中央Ｐ１、画面左上Ｐ２、画面左下Ｐ３、画面右上Ｐ４、および画面右下Ｐ５を注視しているときの顔領域に対する両眼の瞳の位置をそれぞれ予め取得しておく（図５）。視線推定部６３は、瞳位置検出部６１によって検出された顔領域に対する両眼の瞳の位置と、画面中央Ｐ１、画面左上Ｐ２、画面左下Ｐ３、画面右上Ｐ４、および画面右下Ｐ５を注視しているときの顔領域に対する両眼の瞳の位置とに基づいて、観察者の視線を推定する。  
ウィンドウ推定部６３は、推定された観察者の視線に応じて、観察者が観察(注視)しているウィンドウを推定する。
【００４５】
三次元画像表示領域設定部６４は、ある３Ｄアプリケーションプログラムによって描画される複数の視差画像に基づく三次元画像を表示するための処理を実行する。
【００４６】
ウィンドウ推定部６３が第１の３Ｄアプリケーションプログラム５１のウィンドウを観察していると推定した場合、三次元画像表示領域設定部６４は、第１の３Ｄアプリケーションプログラム５１のウィンドウに対応する画面内の第１領域に第１の３Ｄアプリケーションプログラム５１によって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、画面内の第１領域を裸眼３Ｄ領域に設定する。この場合、三次元画像表示領域設定部６４は、画面内の第１領域を裸眼３Ｄ領域に設定するために、第１領域を指定する座標情報を制御ＩＣ３２に送信してもよい。
【００４７】
また、ウィンドウ推定部６３が第２の３Ｄアプリケーションプログラム５２のウィンドウを観察していると推定した場合、三次元画像表示領域設定部６４は、第２の３Ｄアプリケーションプログラム５２のウィンドウに対応する画面内の第２領域に第２の３Ｄアプリケーションプログラム５２によって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、画面内の第２領域を裸眼３Ｄ領域に設定する。この場合、三次元画像表示領域設定部６４は、画面内の第２領域を裸眼３Ｄ領域に設定するために、第２領域を指定する座標情報を制御ＩＣ３２に送信してもよい。
【００４８】
ＧＰＵ１４は、ＶＲＡＭ１４Ａに描画された画像データに基づいて、画面イメージを形成する映像信号を生成する。制御ＩＣ３２は、画素配置変換部３２Ａおよびレンズ制御部３２Ｂを備える。画素配置変換部３２ＡはＧＰＵ１４から映像信号を受信すると共に、制御プログラム１３Ｂから３Ｄエリア情報を受信する。３Ｄエリア情報は、裸眼３Ｄ領域に設定されるべき画面内の領域（例えば、矩形領域）を示す座標情報である。３Ｄエリア情報は、矩形領域の４つの頂点の位置を示す４つの座標情報を含んでいてもよい。
【００４９】
画素配置変換部３２Ａは、３Ｄエリア情報に基づき、受信された映像信号に対応する画面全体の画像から裸眼３Ｄ領域に対応する画像部を取り出す。そして、画素配置変換部３２Ａは、その取り出した画像部に画素配置変換処理を施す。画素配置変換処理では、取り出された画像部内に含まれる複数の視差画像が水平方向に画素単位で交互に配置されるようにそれら複数の視差画像が並べ替えられる。例えば、複数の視差画像として、左眼用画像と右眼用画像とを含む２つの視差画像を使用する場合においては、左眼用画像と右眼用画像とが水平方向に画素単位で交互に配置されるように、それら左眼用画像と右眼用画像とが並べ替えられる。これにより、ＬＣＤ１５Ａの画面上の裸眼３Ｄ領域に対応する領域には左眼用画像と右眼用画像とが水平方向に画素単位で交互に表示される。一方、裸眼３Ｄ領域に対応する画像部以外の他の画像部は画素配置変換されずに、ＬＣＤ１５Ａに表示される。
【００５０】
例えば、図６に示すように、左眼用画像４００Ｌと右眼用画像４００Ｒとを含むサイドバイサイドフォーマットの場合、画素配置変換部３２Ａは、左眼用画像４００Ｌの第１列の画素領域４０１Ｌ、右眼用画像４００Ｒの第１列の画素領域４０１Ｒ、左眼用画像４００Ｌの第２列の画素領域４０２Ｌ、右眼用画像４００Ｒの第２列の画素領域４０１Ｒ、左眼用画像４００Ｌの第３列の画素領域４０３Ｌ、右眼用画像４００Ｒの第３列の画素領域４０１Ｒ、左眼用画像４００Ｌの第４列の画素領域４０４Ｌ、右眼用画像４００Ｒの第４列の画素領域４０１Ｒ、…、左眼用画像４００Ｌの第ｎ−３列の画素領域４０ｎ−３Ｌ、右眼用画像４００Ｒの第ｎ−３列の画素領域４０ｎ−３Ｒ、左眼用画像４００Ｌの第ｎ−２列の画素領域４０ｎ−２Ｌ、右眼用画像４００Ｒの第ｎ−２列の画素領域４０ｎ−２Ｒ、左眼用画像４００Ｌの第ｎ−１列の画素領域４０ｎ−１Ｌ、右眼用画像４００Ｒの第ｎ−１列の画素領域４０ｎ−１Ｒ、左眼用画像４００Ｌの第ｎ列の画素領域４０ｎＬ、および右眼用画像４００Ｒの第ｎ列の画素領域４０ｎＲが配置されるように画素配置変換処理を行う。これにより、ＬＣＤ１５Ａの画面上の裸眼３Ｄ領域に対応する領域には左眼用画像と右眼用画像とが水平方向に画素単位で交互に表示される。
【００５１】
レンズ制御部３２Ｂは、３Ｄエリア情報に基づき、裸眼３Ｄ領域に対応するレンズユニット１５Ｂ内の一部分が所定の屈折率分布を有するようにレンズユニット１５Ｂを制御する。
【００５２】
次に、図７のフローチャートを参照して、制御プログラム１３Ｂによって実行される裸眼３Ｄ領域設定処理の手順を説明する。  
瞳位置検出部６１は、カメラ３１から出力されたフレーム画像データから観察者の顔領域を認識する(ステップＢ７０１)。顔領域が認識できた場合(ステップＢ７０２のＹｅｓ)、瞳位置検出部６１は、検出された顔領域から顔領域に対する瞳の位置を認識する(ステップＢ７０３)。顔領域に対する瞳の位置が認識できた場合(ステップＢ７０４のＹｅｓ)、視線推定部６２は、検出された顔領域に対する瞳の位置から観察者の視線を推定する（ステップＢ７０５）。視線を推測できた場合（ステップＢ７０６のＹｅｓ）、ウィンドウ推定部６３は、推測された視線から観察者が観察し、３Ｄアプリケーションプログラムに対応するウィンドウを推測する（ステップＢ７０７）。推測された視線から３Ｄアプリケーションプログラムに対応するウィンドウを推測できた場合（ステップＢ７０８のＹｅｓ）、三次元画像表示領域設定部６４は、推測されたウィンドウに基づいて３Ｄ領域を設定する（ステップＢ７０９）。三次元画像表示領域設定部６４は、裸眼３Ｄ領域の座標情報を制御ＩＣ３２に送信する（ステップＢ７１０）。
【００５３】
本実施形態によれば、三次元画像の表示に対応した複数のアプリケーションプログラムを起動している場合に、観察者の観察（注視）しているウィンドウ（被観察ウィンドウ）を推定し、推定されたウィンドウだけを３次元画像表示領域に設定することによって、観察者が観察したい三次元画像を選択的に表示することが可能になる。
【００５４】
なお、上記実施形態では、三次元画像の表示に対応した二つのアプリケーションプログラムを起動している場合について説明したが、二つのアプリケーションプログラムを起動しても良い。
【００５５】
また、三次元画像の表示に対応した二つのアプリケーションプログラムに対応する二つのウィンドウが重なっている場合に、上位レイヤのウィンドウだけを３次元画像表示領域に設定しても良い。
【００５６】
なお、本実施形態の裸眼３Ｄ領域設定処理の手順は全てソフトウェアによって実行することができるので、本実施形態の裸眼３Ｄ領域設定処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを、画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼３Ｄディスプレイを備えたコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００５７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５８】
１…パーソナルコンピュータ、１１…ＣＰＵ、１３…主メモリ、１３Ｂ…制御プログラム、１４…グラフィクスプロセッシングユニット、１５…裸眼三次元ディスプレイ、１５Ａ…ＬＣＤ、１５Ｂ…レンズユニット、３２…制御ＩＣ、３２Ａ…画素配置変換部、３２Ｂ…レンズ制御部、６１…瞳位置検出部、６３…視線推定部、６３…ウィンドウ推定部、６４…三次元画像表示領域設定部。
【図１】
2013143736.tif 000003
【図２】
2013143736.tif 000004
【図３】
2013143736.tif 000005
【図４】
2013143736.tif 000006
【図５】
2013143736.tif 000007
【図６】
2013143736.tif 000008
【図７】
2013143736.tif 000009
【手続補正書】
【提出日】平成25年4月1日(2013.4.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイを備えた情報処理装置であって、
複数のアプリケーションプログラムに対応する複数のウィンドウを前記画面内に表示する表示手段であって、各アプリケーションプログラムは三次元画像の表示に対応する、表示手段と、
観察者の左眼および右眼の位置を検出する検出手段と、
前記検出された左眼および右眼の位置に応じて前記複数のウィンドウの内から前記観察者が観察している被観察ウィンドウを推定する第１の推定手段と、
前記被観察ウィンドウに対応する前記画面内の第１領域に前記被観察ウィンドウに対応する被観察アプリケーションプログラムによって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、前記画面内の前記第１領域を前記三次元画像表示領域に設定する設定手段と、
前記検出された左眼および右眼の位置に応じて、前記三次元画像の左眼用画像の画素それぞれに対応する光が前記観察者の左眼に届き、右眼用画像の画素それぞれに対応する光が前記観察者の右眼に届くように、制御する制御手段と
を具備する情報処理装置。
【請求項２】
前記検出手段は、動画を撮影し、複数のフレーム画像を含む動画データを出力する撮影手段と、各フレーム画像に含まれる前記観察者の顔領域に対する両眼の瞳の位置を検出する瞳位置検出手段とを具備し、
前記第１の推定手段は、前記両眼の瞳の位置に応じて前記観察者の視線を推定する視線推定手段と、前記推定された視線に基づいて前記被観察ウィンドウを推定する第２の推定手段とを具備する請求項１に記載の情報処理装置。
【請求項３】
放送信号を受信し、受信した放送信号を復調して音声データと、左眼用画像および右眼用画像を含む動画像データとを出力するチューナを更に具備し、
前記複数のアプリケーションプログラムの内の第１のアプリケーションプログラムは、前記第１のアプリケーションプログラムに対応する第１のウィンドウに前記動画像データに対応する動画を表示するための処理を行う請求項１に記載の情報処理装置。
【請求項４】
前記複数のアプリケーションプログラムの内のアプリケーションプログラムは、ビデオデータの画像フレームを解析することによって当該画像フレームに含まれる画素毎の奥行き位置を推定し、前記推定した画素毎の奥行き位置に基づいた視差の、前記画像フレームに対応する左眼用画像と右眼用画像とを生成する、請求項１に記載の情報処理装置。
【請求項５】
前記複数のアプリケーションプログラムの内のアプリケーションプログラムは、光ディスクに記録されているデータを再生することによって、音声データと、左眼用画像および右眼用画像を含む動画像データとを出力する請求項１に記載の情報処理装置。
【請求項６】
画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイを備えた情報処理装置に適用される表示制御方法であって、
三次元画像の表示に対応する複数のアプリケーションプログラムに対応する複数のウィンドウを前記画面内に表示し、
観察者の左眼および右眼の位置を検出し、
前記検出された左眼および右眼の位置に応じて前記複数のウィンドウから前記観察者が観察している被観察ウィンドウを推定し、
前記被観察ウィンドウに対応する前記画面内の第１領域に前記被観察ウィンドウに対応する被観察アプリケーションプログラムによって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、前記画面内の前記第１領域を前記三次元画像表示領域に設定し、
前記検出された左眼および右眼の位置に応じて、前記三次元画像の左眼用画像の画素それぞれに対応する光が前記観察者の左眼に届き、右眼用画像の画素それぞれに対応する光が前記観察者の右眼に届くように、制御する
表示制御方法。
【請求項７】
画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイを備えたコンピュータに、
前記画面内に複数のウィンドウを表示する手順であって、前記複数のウィンドウは複数のアプリケーションプログラムに対応し、各アプリケーションプログラムは三次元画像の表示に対応する、手順と、
観察者の左眼および右眼の位置を検出する手順と、
前記検出された左眼および右眼の位置に応じて前記複数のウィンドウから前記観察者が観察している被観察ウィンドウを推定する手順と、
前記被観察ウィンドウに対応する前記画面内の第１領域に前記被観察ウィンドウに対応する被観察アプリケーションプログラムによって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、前記画面内の前記第１領域を前記三次元画像表示領域に設定する手順と、
前記検出された左眼および右眼の位置に応じて、前記三次元画像の左眼用画像の画素それぞれに対応する光が前記観察者の左眼に届き、右眼用画像の画素それぞれに対応する光が前記観察者の右眼に届くように、制御する手順と
を実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
実施形態によれば、画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼三次元ディスプレイを備えた情報処理装置は、表示手段と、検出手段と、第１の推定手段と、設定手段と、制御手段とを具備する。表示手段は、複数のアプリケーションプログラムに対応する複数のウィンドウを前記画面内に表示する。各アプリケーションプログラムは三次元画像の表示に対応する。検出手段は、観察者の左眼および右眼の位置を検出する。第１の推定手段は、前記検出された左眼および右眼の位置に応じて前記複数のウィンドウの内から前記観察者が観察している被観察ウィンドウを推定する。設定手段は、前記被観察ウィンドウに対応する前記画面内の第１領域に前記被観察ウィンドウに対応する被観察アプリケーションプログラムによって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、前記画面内の前記第１領域を前記三次元画像表示領域に設定する。制御手段は、前記検出された左眼および右眼の位置に応じて、前記三次元画像の左眼用画像の画素それぞれに対応する光が前記観察者の左眼に届き、右眼用画像の画素それぞれに対応する光が前記観察者の右眼に届くように、制御する。