(57)【特許請求の範囲】
【請求項１】
顔辞書を用いて視聴者の顔を検出することで、カメラで撮影された映像の一部である探索範囲内から、視聴者を探索する視聴者探索部と、
前記検出された視聴者の顔に基づいて、裸眼立体表示用の表示部と前記視聴者との距離である視聴距離を含む前記視聴者の実空間での位置情報を推定する視聴者位置推定部と、
前記推定された視聴距離に基づいて前記探索範囲を設定する探索範囲算出部と、
前記推定された視聴者の位置情報に基づいて視域を設定する視域制御部と、を備える映像処理装置。
【請求項２】
前記視域制御部は、
前記推定された視聴者の位置に視域を設定するための視域パラメータを算出する視域パラメータ算出部と、
前記視域パラメータに基づいて設定される複数の視域のそれぞれの位置を算出する視域算出部と、を備え、
前記探索範囲算出部は、前記複数の視域のうち予め定めた視域が含まれるよう、前記探索範囲を算出する、請求項１に記載の映像処理装置。
【請求項３】
前記視聴者の顔を検出する際、
前記カメラで撮影された映像のうちの第１のフレームについては、前記探索範囲の一部である第１の領域内で視聴者を探索し、
前記カメラで撮影された映像のうちの第２のフレームについては、前記探索範囲の一部である第２の領域内で視聴者を探索し、
前記第２の領域の一部は前記第１の領域の一部とオーバーラップしている、請求項１に記載の映像処理装置。
【請求項４】
前記探索範囲算出部は、
前記カメラで撮影された映像の垂直方向の探索範囲を算出する垂直方向探索範囲算出部と、
前記カメラで撮影された映像の水平方向の探索範囲を算出する水平方向探索範囲算出部と、の少なくとも一方を有する、請求項１に記載の映像処理装置。
【請求項５】
前記垂直方向探索範囲算出部は、前記カメラで撮影された映像の上側Ｐｖｔ画素および下側Ｐｖｂ画素を除いた部分を前記探索範囲とする、請求項４に記載の映像処理装置
ここで、
Pvt = I * Lvt / Lv  ．．．（１）
Pvb = I * Lvb / Lv  ．．．（２）
Lvt = |B * tan(β/2 + α) - {2 * B * tan(γ/2) - tan(γ/2) * (B - A / tan(γ/2))|  ．．．（３）
Lvb = |B * tan(β/2 - α) - tan(γ/2) * (B - A / tan(γ/2)| ．．．（４）
Lv = B * tan(β/2 + α) + B * tan(β/2 - α)   ．．．（５）
Ｉは前記カメラの垂直方向の画素数、αは前記カメラの垂直方向の設置角度、βは前記カメラ３の垂直方向の画角、γは想定される表示部の垂直方向の視聴角度、Ｂは前記視聴距離。
【請求項６】
前記水平方向探索範囲算出部は、前記カメラで撮影された映像の左側Ｐｈｌ画素および右側Ｐｈｒ画素を除いた部分を前記探索範囲とする、請求項４に記載の映像処理装置
ここで、
Phl = K * |tan(θ/2) - tan(δ/2 + ζ)| / 2 * tan(θ/2)  ．．．（６）
Phr = K * |tan(θ/2) - tan(δ/2 - ζ)| / 2 * tan(θ/2)  ．．．（７）
Ｋは前記カメラの水平方向の画素数、ζは前記カメラの水平方向の設置角度、θはカメラ３の水平方向の画角、δは想定される表示部の水平方向の視聴角度。
【請求項７】
顔辞書を用いて視聴者の顔を検出することで、カメラで撮影された映像の一部である探索範囲内から、視聴者を探索するステップと、
前記検出された視聴者の顔に基づいて、裸眼立体表示用の表示部と前記視聴者との距離である視聴距離を含む前記視聴者の実空間での位置情報を推定するステップと、
前記推定された視聴距離に基づいて前記探索範囲を設定するステップと、
前記推定された視聴者の位置情報に基づいて視域を設定するステップと、を備える映像処理方法。
【請求項８】
前記視域を設定するステップは、
前記推定された視聴者の位置に視域を設定するための視域パラメータを算出するステップと、
前記視域パラメータに基づいて設定される複数の視域のそれぞれの位置を算出するステップと、を備え、
前記探索範囲に設定するステップでは、前記複数の視域のうち予め定めた視域が含まれるよう、前記探索範囲を算出する、請求項７に記載の映像処理方法。
【請求項９】
前記視聴者の顔を検出する際、
前記カメラで撮影された映像のうちの第１のフレームについては、前記探索範囲の一部である第１の領域内で視聴者を探索し、
前記カメラで撮影された映像のうちの第２のフレームについては、前記探索範囲の一部である第２の領域内で視聴者を探索し、
前記第２の領域の一部は前記第１の領域の一部とオーバーラップしている、請求項７に記載の映像処理方法。
【請求項１０】
前記探索範囲に設定するステップは、
前記カメラで撮影された映像の垂直方向の探索範囲を算出する垂直方向探索範囲算出ステップと、
前記カメラで撮影された映像の水平方向の探索範囲を算出する水平方向探索範囲算出ステップと、の少なくとも一方を有する、請求項７に記載の映像処理方法。
【請求項１１】
前記垂直方向探索範囲算出ステップでは、前記カメラで撮影された映像の上側Ｐｖｔ画素および下側Ｐｖｂ画素を除いた部分を前記探索範囲とする、請求項１０に記載の映像処理方法
ここで、
Pvt = I * Lvt / Lv  ．．．（１）
Pvb = I * Lvb / Lv  ．．．（２）
Lvt = |B * tan(β/2 + α) - {2 * B * tan(γ/2) - tan(γ/2) * (B - A / tan(γ/2))|  ．．．（３）
Lvb = |B * tan(β/2 - α) - tan(γ/2) * (B - A / tan(γ/2)| ．．．（４）
Lv = B * tan(β/2 + α) + B * tan(β/2 - α)   ．．．（５）
Ｉは前記カメラの垂直方向の画素数、αは前記カメラの垂直方向の設置角度、βは前記カメラ３の垂直方向の画角、γは想定される表示部の垂直方向の視聴角度、Ｂは前記視聴距離。
【請求項１２】
前記水平方向探索範囲算出ステップでは、前記カメラで撮影された映像の左側Ｐｈｌ画素および右側Ｐｈｒ画素を除いた部分を前記探索範囲とする、請求項１０に記載の映像処理方法
ここで、
Phl = K * |tan(θ/2) - tan(δ/2 + ζ)| / 2 * tan(θ/2)  ．．．（６）
Phr = K * |tan(θ/2) - tan(δ/2 - ζ)| / 2 * tan(θ/2)  ．．．（７）
Ｋは前記カメラの水平方向の画素数、ζは前記カメラの水平方向の設置角度、θはカメラ３の水平方向の画角、δは想定される表示部の水平方向の視聴角度。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置（いわゆる裸眼３Ｄテレビ）が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。
【０００３】
しかしながら、裸眼３Ｄテレビでは、視聴者の位置によっては映像が立体的に見えないという問題がある。
【０００４】
そこで、カメラで立体映像表示装置の前方を撮影して視聴者を検出し、視聴者の位置で映像が立体的に見えるように視域の制御を行うトラッキング技術が知られている。ところが、視聴者の位置を検出する処理の負担が大きいと、スムーズに視域を制御できなくなるおそれがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３４５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
少ない処理量で視聴者を検出可能な映像処理装置および映像処理方法を提供する。
【課題を解決するための手段】
【０００７】
実施形態によれば、顔辞書を用いて視聴者の顔を検出することで、カメラで撮影された映像の一部である探索範囲内から、視聴者を探索する視聴者探索部と、前記検出された視聴者の顔に基づいて、裸眼立体表示用の表示部と前記視聴者との距離である視聴距離を含む前記視聴者の実空間での位置情報を推定する視聴者位置推定部と、前記推定された視聴距離に基づいて前記探索範囲を設定する探索範囲算出部と、前記推定された視聴者の位置情報に基づいて視域を設定する視域制御部と、を備える映像処理装置が提供される。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る映像表示装置１００の外観図。
【図２】第１の実施形態に係る映像表示装置１００の概略構成を示すブロック図。
【図３】液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図。
【図４】視域の概略を示す図。
【図５】算出される探索範囲の一例を示す図。
【図６】垂直方向の探索範囲の算出手法を説明する図。
【図７】水平方向の探索範囲の算出手法を説明する図。
【図８】第１の実施形態に係るコントローラ１０の処理動作の一例を示すフローチャート。
【図９】第２の実施形態に係る映像表示装置１００の概略構成を示すブロック図。
【図１０】算出される視域の一例を示す図。
【図１１】第２の実施形態に係るコントローラ１０’の処理動作の一例を示すフローチャート。
【図１２】第３の実施形態における視聴者探索部１３の処理動作を説明する図。
【図１３】図２の変形例である映像表示装置１００’の概略構成を示すブロック図。
【発明を実施するための形態】
【０００９】
以下、実施形態について、図面を参照しながら具体的に説明する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る映像表示装置１００の外観図であり、図２は、その概略構成を示すブロック図である。映像表示装置１００は、液晶パネル１と、レンチキュラレンズ２と、カメラ３と、受光部４と、コントローラ１０とを備えている。
【００１１】
液晶パネル（表示部）１は、視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する。この液晶パネル１は、例えば５５インチサイズのパネルであり、４Ｋ２Ｋ（３８４０＊２１６０）の画素を有する。これに対して、レンチキュラレンズを斜めに配置する等の工夫により、立体視の用途のために水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置されているのに相当する効果を持たせることが可能である。以下では、水平方向の画素数を拡張したこのモデルで説明する。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。液晶パネル１には、背面に設けられるバックライト装置（不図示）から光が照射される。各画素はコントローラ１０から供給される画像信号に応じた輝度の光を透過させる。
【００１２】
レンチキュラレンズ（開口制御部）２は、液晶パネル１（表示部）に表示された複数の視差画像を所定の方向に出力する。このレンチキュラレンズ２は、水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ２は液晶パネル１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【００１３】
以下の説明では、レンチキュラレンズ２の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、液晶パネル１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル１の前方から液晶パネル１を見たときに映像を立体視可能な領域をいう。
【００１４】
なお、液晶パネル１は各凸部に対応する９個の画素で同一の色を表示することにより、２次元画像を表示することもできる。
【００１５】
また、本実施形態では、レンチキュラレンズ２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、視域の制御について説明する。
【００１６】
図３は、液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。また、視聴者が視域の中央にいるほど立体感を感じることができるが、視域内であってもその端に視聴者がいるとあまり立体感を感じられなかったり逆視等が発生したりすることもある。
【００１７】
図３は、液晶パネル１とレンチキュラレンズ２との相対的な位置関係、より具体的には、液晶パネル１とレンチキュラレンズ２との距離、あるいは液晶パネル１とレンチキュラレンズ２との水平方向のずれ量によって、視域が変化する様子を示している。
【００１８】
実際には、レンチキュラレンズ２は、液晶パネル１に高精度に位置合わせをして貼り付けられるため、液晶パネル１とレンチキュラレンズ２との相対的な位置を物理的に変更することは困難である。
【００１９】
そこで、本実施形態では、液晶パネル１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、液晶パネル１とレンチキュラレンズ２との相対的な位置関係を変更し、これにより、視域の調整を行う。
【００２０】
例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図３（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図３（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【００２１】
また、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を外側に大きくずらして表示した場合（図３（ｃ））、視域は液晶パネル１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図３（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル１から遠ざかる方向に移動する。
【００２２】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル１に対して左右方向あるいは前後方向に移動させることができる。図３では説明を簡略化するために視域を１つだけ示しているが、実際には、図４に示すように、複数の視域が視聴領域Ｐに存在し、これらは連動して移動する。視域は、後述する図２のコントローラ１０により制御される。
【００２３】
図１に戻り、カメラ３は、液晶パネル１の下部中央付近に、所定の仰角で取り付けられ、液晶パネル１の前方の所定の範囲を撮影する。撮影された映像はコントローラ１０に供給され、視聴者の位置や視聴者の顔等を検出するために用いられる。カメラ３は、動画像と静止画像のどちらを撮影してもよい。また、カメラ３の取り付け位置や角度に制限はなく、液晶パネル１前面で視聴している視聴者を撮影できればよい。
【００２４】
受光部４は、例えば液晶パネル１の下部の左側に設けられる。そして、受光部４は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか２次元映像を表示するか、あるいは、メニューを表示するか等を示す信号を含む。
【００２５】
次に、コントローラ１０の構成要素の詳細について説明する。図２に示すように、コントローラ１０は、チューナデコーダ１１と、視差画像変換部１２と、視聴者探索部１３と、視聴者位置推定部１４と、視域パラメータ算出部１５と、画像調整部１６と、探索範囲算出部１７とを有する。コントローラ１０は、例えば１つのＩＣ（Integrated Circuit）として実装され、液晶パネル１の裏側に配置される。もちろん、コントローラ１０の一部をソフトウェアで実装してもよい。
【００２６】
チューナデコーダ（受信部）１１は入力される放送波を受信および選局し、符号化された入力映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ１１はこれを抽出する。あるいは、チューナデコーダ１１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された入力映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部１２に供給される。なお、映像表示装置１００が放送波を受信せず、専ら映像出力機器から受信する入力映像信号を表示する場合、チューナデコーダ１１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
【００２７】
チューナデコーダ１１が受信する入力映像信号は、２次元の映像信号であってもよいし、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等で左目用および右目用の画像を含む３次元の映像信号であってもよい。また、映像信号は３視差以上の画像含む３次元の映像信号であってもよい。
【００２８】
視差画像変換部１２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換する。ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部１２の処理内容が異なる。
【００２９】
２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２は、映像信号における各画素の奥行き値に基づいて、第１〜第９視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め入力映像信号に付加されていてもよいし、入力映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。一方、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２はその映像信号を用いて第１〜第９視差画像信号を生成する。
【００３０】
以上のようにして生成された入力映像信号の視差画像信号は画像調整部１６に供給される。
【００３１】
視聴者探索部１３は、カメラ３で撮影された映像の一部である探索範囲内で、視聴者を探索する。より具体的には、視聴者探索部１３は、内部に記憶している顔辞書を用いて視聴者の顔を検出することにより、視聴者を探索する。顔辞書とは、人間の目、鼻、口等、顔の特徴を示す情報である。視聴者探索部１３の処理により、映像における視聴者の顔の位置（ｘ，ｙ）および視聴距離に対応するパラメータとして顔幅ｗ等が算出される。
【００３２】
ここで視聴者探索部１３の探索範囲は、後述する探索範囲算出部１７により定められ、カメラ３で撮影された映像の全体ではなくその一部のみを探索範囲とする。これにより視聴者探索の処理量を削減できる。
【００３３】
視聴者位置推定部１４は、視聴者探索部１３の処理結果に基づいて、視聴者の実空間での位置情報を推定する。視聴者の位置情報は、例えば液晶パネル１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（液晶パネル１に対して直交する方向）上の位置として表される。例えば、視聴者位置推定部１４は、算出された顔幅ｗ等に基づいて視聴距離に対応するＺ軸上の位置を推定し、映像における視聴者の顔の位置（ｘ，ｙ）およびカメラ３の撮影範囲（既知）に基づいてＸ，Ｙ軸上の位置を推定する。
【００３４】
なお、視聴者探索部１３および視聴者位置推定部１４が視聴者の位置を検出する手法に特に制限はなく、カメラ３は赤外線カメラでもよいし、音波を用いて視聴者の位置を検出してもよい。
【００３５】
視域パラメータ算出部１５は、視聴者位置推定部１４から供給された視聴者の位置情報を用いて、検出された視聴者を収める視域を設定するための視域パラメータを算出する。この視域パラメータは、例えば、図３で説明した視差画像をずらす量であり、１つのパラメータ、または複数のパラメータの組み合わせである。そして、視域パラメータ算出部１５は、算出した視域パラメータを画像調整部１６に供給する。
【００３６】
画像調整部（視域制御部）１６は、視域を制御するために、液晶パネル１に立体映像が表示される場合に算出された視域パラメータに応じて、視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル１に供給し、液晶パネル１に表示させる。
【００３７】
探索範囲算出部１７は、視聴者と液晶パネル１との距離である視聴距離を考慮して、視聴者探索部１３の探索範囲を算出する。図５は、算出される探索範囲の一例を示す図である。図示のように、探索範囲算出部１７はカメラ３で撮影される映像のうちの一部を探索範囲とする。より具体的には、探索範囲算出部１７は、垂直方向探索範囲算出部１７ａと、水平方向探索範囲算出部１７ｂとを有する。そして、カメラ３で撮影された映像のうちの探索を行わない範囲として、垂直方向探索範囲算出部１７ａは上側の探索省略範囲Ｐｖｔおよび下側の探索省略範囲Ｐｖｂを算出し、水平方向探索範囲算出部１７ｂは左側の探索省略範囲Ｐｈｌおよび右側の探索省略範囲Ｐｈｒを算出する。
【００３８】
結果として、カメラ３の解像度を垂直方向Ｉ画素および水平方向Ｋ画素とすると、垂直方向Ｉ画素のうち上側のＰｖｔ画素および下側のＰｖｂ画素、ならびに、水平方向Ｋ画素のうち左側のＰｈｌ画素および右側のＰｈｒ画素を除いた部分が探索範囲となる。
【００３９】
図６は、垂直方向の探索範囲の算出手法を説明する図である。同図において、各パラメータを以下のように定義する。
α：カメラ３の垂直方向の設置角度（すなわち水平方向に対する仰角）
β：カメラ３の垂直方向の画角
γ：想定される液晶パネル１の垂直方向の視聴角度
Ａ：液晶パネル１の中心とカメラ３までの距離
Ｂ：視聴距離
【００４０】
上記のパラメータのうち、α，β，γおよびＡは予め定めた定数である。そして、Ｂは、視聴者の位置が視聴者位置推定部１４により推定される前は予め定めた想定される視聴距離（例えば、液晶パネル１の垂直方向の長さの３倍など）とし、推定された後は推定された位置に応じた距離、例えば、視聴者のＺ軸上の位置を用いることができる。
【００４１】
図６により、カメラ３により撮影される垂直方向の長さＬｖは下記（１）式で表される。
Lv = B * tan(β/2 + α) + B * tan(β/2 - α) ... (1)
【００４２】
視聴角度γを考慮すると、視聴者がいる可能性がある範囲は、同図の存在範囲Ｅｖ内に限られる。言い換えると、存在範囲Ｅｖより上側は、天井や視聴者の伸長より高い位置が撮影されている可能性が高く、探索を省略可能な範囲である。また、存在範囲Ｅｖより下側は、床や視聴者の足元が撮影されている可能性が高く、やはり探索を省略可能な範囲である。上側の探索省略範囲の長さＬｖｔおよび下側の探索省略範囲の長さＬｖｂはそれぞれ下記（２），（３）式で表される。
Lvt = |B * tan(β/2 + α) - {2 * B * tan(γ/2) - tan(γ/2) * (B - A / tan(γ/2))| ... (2)
Lvb = |B * tan(β/2 - α) - tan(γ/2) * (B - A / tan(γ/2)| ... (3)
【００４３】
よって、上側の探索省略範囲の画素数Ｐｖｔおよび下側の探索省略範囲の画素数Ｐｖｂは、それぞれ下記（４），（５）式に上記（１）〜（３）式を代入したものである。
Pvt = I * Lvt / Lv ... (4)
Pvb = I * Lvb / Lv ... (5)
【００４４】
図７は、水平方向の探索範囲の算出手法を説明する図である。同図において、各パラメータを以下のように定義する。
ζ：カメラ３の水平方向の設置角度
θ：カメラ３の水平方向の画角
δ：想定される液晶パネル１の水平方向の視聴角度
【００４５】
上記のパラメータζ，θおよびδは予め定めた定数である、
図７により、カメラ３により撮影される水平方向の長さＬｈは下記（６）式で表される。
Lh = 2 * B * tan(θ/2) ... (6)
【００４６】
視聴角度δを考慮すると、視聴者がいる可能性がある範囲は、同図の存在範囲Ｅｈ内に限られる。言い換えると、存在範囲Ｅｈより左側および右側が探索を省略可能な範囲である。左側の探索省略範囲の長さＬｈｌおよび右側の探索省略範囲の長さＬｈｒはそれぞれ下記（７），（８）式で表される。
Lhl = |B * tan(θ/2) - B * tan(δ/2 + ζ)| ... (7)
Lhr = |B * tan(θ/2) - B * tan(δ/2 - ζ)| ... (8)
【００４７】
よって、左側の探索省略範囲の画素数Ｐｈｌおよび右側の探索省略範囲の画素数Ｐｈｒは、それぞれ下記（９），（１０）式で表される。
Phl = K * Lhl / Lh = K * |tan(θ/2) - tan(δ/2 + ζ)| / 2 * tan(θ/2) ... (9)
Phr = K * Lhr / Lh = K * |tan(θ/2) - tan(δ/2 - ζ)| / 2 * tan(θ/2) ... (10)
【００４８】
以上（４），（５），（９）および（１０）式により、図５の探索省略範囲の画素数Ｐｖｔ，Ｐｖｂ，Ｐｈｌ，Ｐｈｒが得られる。
【００４９】
図８は、第１の実施形態に係るコントローラ１０の処理動作の一例を示すフローチャートである。
【００５０】
カメラ３で撮影された映像がコントローラ１０に入力されると（ステップＳ１のＹＥＳ）、探索範囲算出部１７は視聴者探索部１３の探索範囲を算出する。より具体的には、垂直方向探索範囲算出部１７ａは、上記（４），（５）式に基づいて、垂直方向の探索省略範囲Ｐｖｔ，Ｐｖｂを算出する（ステップＳ２）。そして、水平方向探索範囲算出部１７ｂは、上記（９），（１０）式に基づいて、水平方向の探索省略範囲Ｐｈｌ，Ｐｈｒを算出する（ステップＳ３）。なお、初めは視聴者の位置が推定されていないため、視聴距離Ｂとして予め定めた値を用いればよい。
【００５１】
続いて、視聴者探索部１３は、算出された探索省略範囲に応じた探索範囲内で顔検出を行うことにより、視聴者を検出する（ステップＳ４）。視聴者が検出されると（ステップＳ５のＹＥＳ）、視聴者位置推定部１４は実空間における視聴者の位置を推定する（ステップＳ６）。
【００５２】
ここで、推定された視聴者の位置と液晶パネル１との距離は、視聴距離Ｂとして探索範囲算出部１７に入力される。そして、その後の探索範囲算出部１７の処理（ステップＳ２，Ｓ３）に用いられる。
【００５３】
一方、視域パラメータ算出部１５は、推定された視聴者の位置に視域が設定されるよう、視域パラメータを算出する（ステップＳ７）。そして、画像調整部１６は視差画像変換部１２により生成された視差画像が、推定された視聴者の位置から立体的に見えるよう、視差画像を調整する（ステップＳ８）。調整された視差画像は液晶パネル１に表示される。そして、視聴者は、レンチキュラレンズ２を介して液晶パネル１に表示される視差画像を見ることで、立体視できる。
【００５４】
以上を最終フレームまで行う（ステップＳ９）。なお、カメラ３からコントローラ１０へ映像が入力されない場合（ステップＳ１のＮＯ）、映像が入力されるまで視聴者検出処理は行われない。
【００５５】
このように、第１の実施形態では、探索範囲算出部１７が、視聴距離Ｂに基づいて、カメラ３で撮影された映像の一部を探索範囲に設定する。よって、カメラ３で撮影された映像の全体を探索範囲とするのと比べ、視聴者探索の処理量を軽減できる。
【００５６】
（第２の実施形態）
上述した第１の実施形態は視聴距離Ｂに基づいて探索範囲を定めたが、以下に説明する第２の実施形態ではさらに視域の位置も考慮して探索範囲を定めるものである。
【００５７】
図９は、第２の実施形態に係る映像表示装置１００の概略構成を示すブロック図である。図９では、図２と共通する構成部分には同一の符号を付しており、以下では相違点を中心に説明する。
【００５８】
図９のコントローラ１０’はさらに視域算出部１８を有する。視域算出部１８は視域パラメータ算出部１５により算出された視域パラメータに応じて設定される視域の位置を算出する。視域は、視域パラメータの他、液晶パネル１とレンチキュラレンズ２との距離等、映像表示装置１００の設計にも依存する。視域パラメータ算出部１５は、視聴者の位置に視域が設定されるよう視域パラメータを算出するが、実際に設定される視域は視聴者の位置の他にも複数ある。よって、視域算出部１８は複数の視域のそれぞれの位置を算出する。算出される視域の一例として、図１０に示すような複数の四角形が得られる。
【００５９】
そして、水平方向探索範囲算出部１７ｂは、視域が算出されるまでは、上記（９），（１０）式に基づいて、水平方向の探索範囲を定める。その後視域が算出されると、図７における固定値である視聴角度δに代えて、予め定めた数の視域が含まれる角度δ’を用いる。図１０では、３つの視域が含まれるような角度δ’が用いられる例を示している。この角度δ’は、算出された視域の位置に基づいて、水平方向探索範囲算出部１７ｂにより算出される。そして、水平方向探索範囲算出部１７ｂは、上記（９），（１０）式における視聴角度δを視域に応じた角度δ’に置き換えた数式に基づいて、水平方向の探索範囲を定める。
【００６０】
図１１は、第２の実施形態に係るコントローラ１０’の処理動作の一例を示すフローチャートである。図８に対する主な相違点は、視域パラメータが算出された後に、視域算出部１８が視域を算出する点である（ステップＳ１１）。すなわち、算出された視域の位置は探索範囲算出部１７に入力され、その後の水平方向探索範囲算出部１７ｂの処理（ステップＳ３）に用いられる。
【００６１】
このように、第２の実施形態では、予め定めた数の視域が含まれるよう、探索範囲を定める。よって、さらに探索範囲を狭くすることができ、視聴者探索の処理量を軽減できる。
【００６２】
（第３の実施形態）
以下に説明する実施形態は、フレーム毎に探索範囲を変えることで、さらに視聴者探索の処理量を軽減するものである。
【００６３】
本実施形態におけるコントローラは、図２のコントローラ１０または図９のコントローラ１０’を適用できるため、図示を省略する。
【００６４】
図１２は、第３の実施形態における視聴者探索部１３の処理動作を説明する図である。図１２（ａ）は、コントローラ１０（または１０’）の探索範囲算出部１７により算出された探索範囲１３ａを示している。視聴者探索部１３は算出された探索範囲１３ａの全体ではなく、フレーム毎に、その一部を探索する。同図の例では、視聴者探索部１３は、カメラ３から入力される映像の第３Ｎ（Ｎは正の整数）フレームについては、探索範囲１３ａのうちの左側の領域１３ｂを探索する（図１２（ｂ））。また、視聴者探索部１３は、カメラ３から入力される映像の第（３Ｎ＋１）フレームについては、探索範囲１３ａのうちの中央の領域１３ｃを探索する（図１２（ｃ））。さらに、視聴者探索部１３は、カメラ３から入力される映像の第（３Ｎ＋２）フレームについては、探索範囲１３ａのうちの右側の領域１３ｄを探索する（図１２（ｄ））。
【００６５】
このように探索を行うことで、１フレームあたりの探索範囲を狭くでき、視聴者探索の処理量を軽減できる。また、フレームレートが３０ｆｐｓ（frame per second）等、視聴者の移動に対して十分に早い場合、数フレームかけて探索範囲全体を探索しても、視聴者の検出精度はそれほど低下しない。
【００６６】
ここで、各領域の境界に視聴者がいることもあるので、各領域は互いにオーバーラップしているのが望ましい。例えば、図１２（ｂ）における領域１３ｂの右側の一部分は、図１２（ｃ）における領域１３ｃの左側の一部分とオーバーラップしている。
【００６７】
なお、必ずしも領域１３ｂ〜１３ｄを等しい回数だけ探索しなくてもよい。例えば、視聴者は液晶パネル１の正面にいる可能性が高いため、領域１３ｃの探索頻度を高く、領域１３ｂ，１３ｄの探索頻度を相対的に低くしてもよい。もちろん、探索範囲１３を２つの領域に分割してもよいし、４つの領域に分割しても構わない。
【００６８】
このように、第３の実施形態は、１フレームにおいては、探索範囲の一部を探索する。よって、視聴者探索の処理量をさらに軽減できる。
【００６９】
以上に説明した第１〜第３の実施形態の他、種々の変形例が考えられる。例えば、メモリおよび／またはＣＰＵの負荷率（以下、単に負荷率という）を基に探索範囲を定めてもよい。例えば、負荷率が所定値以下であればカメラ３で撮影された映像全体で視聴者を探索するとともに、視聴者の位置を推定しておく。そして、負荷率が所定値を超えると、推定された視聴者の位置に応じた視聴距離に基づいて映像の一部を探索範囲にしてもよい。
【００７０】
あるいは、Ｎフレームに一度はカメラ３で撮影された映像全体で視聴者を探索するとともに、視聴者の位置を推定しておく。そして、他のフレームでは、推定された視聴者の位置に応じた視聴距離に基づいて映像の一部を探索範囲にしてもよい。
【００７１】
また、探索範囲算出部１７は垂直方向探索範囲算出部１７ａおよび水平方向探索範囲算出部１７ｂのいずれか一方のみを有していてもよい。
【００７２】
なお、各実施形態ではレンチキュラレンズ２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ２に代えてパララックスバリアを開口制御部２’として設けてもよい。図１３は、図２の変形例である映像表示装置１００’の概略構成を示すブロック図である。同図に示すように、映像処理装置１００’のコントローラ１０’は、画像調整部１６の代わりに、視域制御部１６’を備える。
【００７３】
この視域制御部１６’は、視域パラメータ算出部１５により算出された視域パラメータに応じて開口制御部２’を制御する。本変形例の場合、制御パラメータは、液晶パネル１と開口制御部２’との距離、液晶パネル１と開口制御部２’との水平方向のずれ量などである。
【００７４】
本変形例では、液晶パネル１に表示された視差画像の出力方向を、開口制御部２’で制御することによって、視域が制御される。このように、視差画像をずらす処理を行わず、視域制御部１６’により開口制御部２’を制御してもよい。
【００７５】
上述した実施形態で説明した映像表示システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像表示システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００７６】
また、映像表示システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００７８】
１  液晶パネル
２  レンチキュラレンズ
２’  開口部制御部
３  カメラ
４  受光部
１０  コントローラ
１１  チューナデコーダ
１２  視差画像変換部
１３  視聴者探索部
１４  視聴者位置推定部
１５  視域パラメータ算出部
１６  画像調整部
１６’  視域制御部
１７  探索範囲算出部
１７ａ  垂直方向探索範囲算出部
１７ｂ  水平方向探索範囲算出部
１８  視域算出部
【要約】
【課題】少ない処理量で視聴者を検出可能な映像処理装置および映像処理方法を提供する。
【解決手段】実施形態によれば、映像処理装置は、探索範囲算出部と、視聴者探索部とを備えている。前記探索範囲算出部は、表示部と視聴者との距離である視聴距離に基づいて、カメラで撮影された映像の一部である探索範囲を算出する。前記視聴者探索部は、前記探索範囲内で視聴者を探索する。
【選択図】図２【図１】
0005395934.tif 000002
【図２】
0005395934.tif 000003
【図３】
0005395934.tif 000004
【図４】
0005395934.tif 000005
【図５】
0005395934.tif 000006
【図６】
0005395934.tif 000007
【図７】
0005395934.tif 000008
【図８】
0005395934.tif 000009
【図９】
0005395934.tif 000010
【図１０】
0005395934.tif 000011
【図１１】
0005395934.tif 000012
【図１２】
0005395934.tif 000013
【図１３】
0005395934.tif 000014