(57)【要約】【課題】少ない処理量で視聴者を検出可能な検出装置、映像表示システムおよび検出方法を提供する。【解決手段】実施形態によれば、カメラで撮影された画像の一部または全体である検出範囲内で、検出対象である人間の顔と前記カメラとの距離を変えながら、前記人間の顔を検出する検出部と、前記距離が長いほど前記検出範囲を狭く設定する検出範囲設定部と、を備える、検出装置が提供される。【選択図】図１
2014089521.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された画像の一部または全体である検出範囲内で、検出対象である人間の顔と前記カメラとの距離を変えながら、前記人間の顔を検出する検出部と、
前記距離が長いほど前記検出範囲を狭く設定する検出範囲設定部と、を備える、検出装置。
【請求項２】
前記検出部は、前記距離に対応する検出窓の大きさを変えながら、前記検出窓に応じた大きさの人間の顔を、前記検出範囲内で検出し、
前記検出範囲設定部は、前記検出窓が小さいほど前記検出範囲を狭く設定する、請求項１に記載の検出装置。
【請求項３】
前記検出範囲設定部は、
前記距離が第１の値未満であれば、前記カメラで撮影された画像の上半分の全体を前記検出範囲とし、
前記距離が前記第１の値以上であれば、前記カメラで撮影された画像の上半分の一部を前記検出範囲とする、請求項１に記載の検出装置。
【請求項４】
前記検出範囲設定部は、
前記距離が第２の値未満であれば、前記カメラで撮影された画像の下半分の全体を前記検出範囲とし、
前記距離が前記第２の値以上であれば、前記カメラで撮影された画像の下半分の一部を前記検出範囲とする、請求項１に記載の検出装置。
【請求項５】
前記カメラは、表示部を有する映像表示装置に取り付けられており、
前記検出部は、前記表示部を視聴する視聴者の顔を検出する、請求項１に記載の検出装置。
【請求項６】
前記検出範囲設定部は、予め定めた視聴者の顔が存在する高さの最大値に基づいて、前記カメラで撮影された映像の上半分の一部または全体を、前記検出範囲に設定する、請求項５に記載の検出装置。
【請求項７】
前記検出範囲設定部は、予め定めた視聴者の顔が存在する高さの最小値に基づいて、前記カメラで撮影された映像の下半分の一部または全体を、前記検出範囲に設定する、請求項５に記載の検出装置。
【請求項８】
前記カメラは略水平方向を向いて前記映像表示装置に取り付けられており、
前記検出範囲設定部は、下記（１）および（２）式に基づいて、前記検出範囲を設定する、請求項５に記載の検出装置
【数１】
2014089521.tif 000008
【数２】
2014089521.tif 000009
ここで、ｙｔｏｐは前記カメラで撮影された画像における上半分のうちの検出範囲の画素数、ｙｂｔｍは前記カメラで撮影された画像における下半分のうちの検出範囲の画素数、ｈｐｉｃは前記カメラで撮影された画像の垂直方向の画素数、Ｙｍａｘは所定面に対する前記視聴者の顔が存在する高さの最大値、Ｙｍｉｎは所定面に対する前記視聴者の顔が存在する高さの最小値、Ｈ１は所定面に対する前記カメラの高さ、θは前記カメラの垂直画角。
【請求項９】
前記視聴者は、所定面上におり、
前記検出範囲設定部は、前記所定面に対する前記カメラの高さを考慮して、前記検出範囲を設定する、請求項５に記載の検出装置。
【請求項１０】
前記検出部は、前記視聴者と前記カメラとの距離を検出し、
前記検出範囲設定部は、前記視聴者の身長と、前記視聴者と前記カメラとの距離と、に基づいて、前記所定面に対する前記カメラの高さを算出する、請求項９に記載の検出装置。
【請求項１１】
前記検出範囲設定部は、下記（３）式に基づいて、前記所定面に対する前記カメラの高さを算出する、請求項１０に記載の検出装置
【数３】
2014089521.tif 000010
ここで、Ｈ１は前記所定面に対する前記カメラの高さ、Ｈｕは前記視聴者の身長、ｙｕは前記カメラで撮影された画像における前記視聴者の顔の垂直方向位置、ｋは前記視聴者と前記カメラとの距離に応じた値、Ｚｕは前記視聴者と前記カメラとの距離、θは前記カメラの垂直画角、ｈｐｉｃは前記カメラで撮影された画像の垂直方向の画素数。
【請求項１２】
カメラで撮影された映像の一部または全体である検出範囲で、検出窓の大きさを変えながら、人間の顔を検出する検出部と、
前記検出窓が小さいほど前記検出範囲を狭く設定する検出範囲設定部と、を備える、検出装置。
【請求項１３】
カメラと、
映像を表示する表示部と、
前記カメラで撮影された画像の一部または全体である検出範囲で、前記表示部に表示される映像を視聴する視聴者であって、検出対象である視聴者の顔と前記カメラとの距離を変えながら、前記視聴者の顔を検出する検出部と、
前記距離が長いほど前記検出範囲を狭く設定する検出範囲設定部と、を備える、映像表示システム。
【請求項１４】
前記表示部は立体映像を表示可能であり、
当該映像表示システムは、前記検出された顔の位置に、前記表示部に表示される映像が立体的に見える視域を設定する視域調整部を備える、請求項１３に記載の映像表示システム。
【請求項１５】
カメラで撮影された画像の一部または全体である検出範囲内で、検出対象である人間の顔と前記カメラとの距離を変えながら、前記人間の顔を検出するステップと、
前記距離が長いほど前記検出範囲を狭く設定するステップと、を備える、検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、検出装置、映像表示システムおよび検出方法に関する。
【背景技術】
【０００２】
近年、表示装置の高精細化に伴い、表示装置に近い位置から視聴する機会が増えてきている。その一方で、表示装置の大型化に伴い、表示装置から離れた位置から視聴する機会も同様に増えてきている。よって、視聴者が表示装置の近くにいる場合と、遠くにいる場合とでは、異なる処理が必要となることがある。そのためには、視聴者の便宜を考えると、視聴者の位置を自動的に検出するのが望ましい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１１０５７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
少ない処理量で視聴者を検出可能な検出装置、映像表示システムおよび検出方法を提供する。
【課題を解決するための手段】
【０００５】
実施形態によれば、カメラで撮影された画像の一部または全体である検出範囲内で、検出対象である人間の顔と前記カメラとの距離を変えながら、前記人間の顔を検出する検出部と、前記距離が長いほど前記検出範囲を狭く設定する検出範囲設定部と、を備える、検出装置が提供される。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る顔検出システムを説明する図。
【図２】第１の実施形態に係る顔検出システムを説明する図。
【図３】第１の実施形態に係る顔検出システムを説明する図。
【図４】顔検出装置３０の内部構成を示すブロック図。
【図５】検出範囲設定部３２の処理動作を具体的に説明する図。
【図６】検出範囲設定部３２の処理動作を具体的に説明する図。
【図７】高さＨ１を算出する手法を説明する図。
【図８】映像表示システムの外観図。
【図９】映像表示システムの概略構成を示すブロック図。
【図１０】表示パネル１１およびレンチキュラレンズ１２の一部を上方から見た図。
【図１１】視域の概略を示す図。
【図１２】図９の変形例である映像表示システムの概略構成を示すブロック図。
【発明を実施するための形態】
【０００７】
以下、実施形態について、図面を参照しながら具体的に説明する。
【０００８】
（第１の実施形態）
図１〜図３は、第１の実施形態に係る顔検出システムを説明する図である。顔検出システムは、映像表示用の表示パネル１１を有する映像表示装置１０に取り付けられたカメラ２０と、カメラ２０で撮影された画像から人間の顔を検出する顔検出装置３０とを備えている。図１の斜線を付した領域およびその内側の斜線の付されていない領域は、カメラ２０により撮影される領域である。また、図１は、映像表示装置１０との距離がＺ１である位置に視聴者Ａが、Ｚ２（＞Ｚ１）である位置に視聴者Ｂ，Ｃがいる例を示している。
【０００９】
まずは、顔検出システムの概略動作を説明する。
【００１０】
顔検出装置３０は映像表示装置１０との距離がＺ（＝Ｚｍｉｎ〜Ｚｍａｘ）である人間の顔を検出する。より具体的には、顔検出装置３０は、距離Ｚを予め定めた最小値Ｚｍｉｎから最大値Ｚｍａｘまで変化させながら、視聴者の顔を検出する。例えば距離Ｚ０で顔が検出された場合、距離Ｚ０の位置に視聴者がいることが分かる。
【００１１】
顔検出装置３０は床面に対する高さＹ（＝Ｙｍｉｎ〜Ｙｍａｘ）である人間の顔を検出する。これは、床面に近い顔や天井に近い顔が検出されることが非常にまれであるためである。Ｙｍｉｎ，Ｙｍａｘ，Ｚｍｉｎ，Ｚｍａｘの制約で、カメラ２０により撮影される領域から検出非対象領域として除外される部分を図１の斜線として示す。
【００１２】
図２および図３は、図１の映像表示装置１０および視聴者Ａ，Ｂ，Ｃの位置関係である時にカメラ２０からの撮影されるであろう画像である。符号２３、２４は後述の検出窓である。
【００１３】
図２は、距離Ｚが比較的小さいＺ１である場合、すなわち、映像表示装置１０から近い位置にいる視聴者の顔を検出する様子を示している。カメラ２０で撮影された画像の下の部分２１には、顔が検出される可能性は低い。視聴者が床面すれすれにいることは少なく、視聴者は床や椅子に座った状態あるいは立った状態で表示パネル１１に表示される映像を見ることが多いためである。よって、顔検出装置３０は、カメラ２０で撮影された画像の下の部分２１に対して、顔検出処理を行わない。
【００１４】
一方、映像表示装置１０の近くにおいては、カメラ２０はそれほど高い位置を撮影しない。よって、カメラ２０で撮影された画像の上の部分には顔が検出されることもある。したがって、顔検出装置３０は、カメラ２０で撮影された画像の上の部分に対しては、顔検出処理を行う。
【００１５】
結果として、距離Ｚが小さい場合、図３に示すように、顔検出装置３０は、カメラ２０で撮影された画像の下方の一部分２１を除く部分を検出範囲として、顔検出を行う。
【００１６】
図３は、距離Ｚが比較的大きいＺ２である場合、すなわち、映像表示装置１０から離れた位置にいる視聴者の顔を検出する様子を示している。図２と同様、カメラ２０で撮影された画像の下の部分２１には、顔が検出される可能性は低い。よって、顔検出装置３０は、カメラ２０で撮影された画像の下の部分２１に対して、顔検出処理を行わない。
【００１７】
一方、映像表示装置１０の遠くにおいては、カメラ２０は視聴者の身長を超える位置を撮影する。よって、カメラ２０で撮影された画像の上の部分２２に顔が検出される可能性は低い。したがって、顔検出装置３０は、カメラ２０で撮影された画像の上の部分２２に対しては、顔検出処理を行わない。
【００１８】
結果として、距離Ｚが大きい場合、図３に示すように、顔検出装置３０は、カメラ２０で撮影された画像の下方の一部分２１および上方の一部分２２を除く部分を検出範囲として、顔検出を行う。
【００１９】
このように、距離Ｚに応じて、カメラ２０により撮影された画像のうちの必要な部分のみを検出範囲に設定して顔検出を行うことで、顔検出装置３０の処理負荷を軽減できる。
【００２０】
以下、顔検出システムの構成および処理動作について詳細を説明する。なお、顔検出システムはカメラ２０および顔検出装置３０から構成され、映像表示システムは顔検出システムおよび映像表示装置１０から構成される。
【００２１】
図１において、カメラ２０は、表示パネル１１の下側のベゼル（不図示）により取り付けられている。本実施形態では、「映像表示装置１０からの距離」と「カメラ２０からの距離」は一致しているとみなす。カメラ２０は理想的なレンズを備え、レンズ歪みや光軸のずれはないものとする。カメラ光軸は表示パネル１１に対して直交し、カメラ２０で撮影された画像の水平方向と床面は水平であるとする。以後、断りのない限り、カメラ光軸をＺ軸（表示パネル１１の表面から画像表示方向に＋）、床面と直交する軸をＹ軸（天井方向に＋）、床面と平行かつＹ軸と直交する軸をＸ軸とし、表示パネル１１はＸ−Ｙ平面と平行であるとする。このカメラ２０の取り付けについて、簡潔に「カメラ２０は略水平方向に向いている」と呼ぶことにする。カメラ２０は、映像表示装置１０から電力を供給され、映像表示装置１０により制御される。
【００２２】
また、映像表示装置１０はスタンド１２に支持された状態で、テレビ台１３に載せられている。床面すなわちテレビ台１３の下部が接する面に対する、カメラ２０（より正確にはカメラ２０のレンズ）の高さをＨ１とする。高さＨ１は、テレビ台１３、スタンド１２およびベゼルの幅を含んでいる。もちろん、テレビ台１３を用いずに床面に映像表示装置１０を置いてもよく、この場合、高さＨ１はスタンド１２およびベゼルの幅に応じた値となる。
【００２３】
顔検出装置３０は、映像表示装置１０のコントローラと一体に１つの半導体集積回路として形成されてもよいし、コントローラとは別個の装置であってもよい。また、顔検出装置３０をハードウェアで構成してもよいし、少なくとも一部をソフトウェアで構成してもよい。
【００２４】
図４は、顔検出装置３０の内部構成を示すブロック図である。顔検出装置３０は、検出部３１と、検出範囲設定部３２とを備えている。検出部３１はカメラ２０で撮影された画像における検出範囲から人間の顔を検出する。検出範囲設定部３２は、映像表示装置１０と検出対象の視聴者との距離に応じて、カメラ２０で撮影された画像の一部または全体を検出範囲に設定する。以下、より具体的に説明する。
【００２５】
検出部３１は、まず、顔検出を行う対象の視聴者の、映像表示装置１０からの距離（以下、検出距離と呼ぶ）Ｚに応じて、検出窓のサイズを設定する。検出窓とは、図２あるいは図３に示すように、顔検出の単位となる領域であり、検出部３１は顔検出時の検出窓の幅を画像上の顔幅と決定する。
【００２６】
検出窓のサイズは、人間の平均的な顔の大きさを想定して設定される。検出距離Ｚが大きいほど、カメラ２０で撮影された画像における顔の大きさは小さくなる。よって、距離Ｚが大きいほど検出窓は小さく設定される。
【００２７】
本実施形態では検出窓を１辺の長さｗの正方形とする。検出窓の一辺の長さｗ［画素］（［］内は単位を示す、以下同じ）と検出距離Ｚ［ｃｍ］との関係は、下記（１）式で表される。  
w = ave_w * f H/ Z ・・・（１）
ここで、ｆＨはカメラ２０の水平焦点距離［画素］である。また、ａｖｅ＿ｗ［ｃｍ］は予め定めた値であり、人間の平均的な顔幅に対応する。検出距離Ｚの最小値Ｚｍｉｎおよび最大値Ｚｍａｘは、映像表示装置１０の使用環境から想定される値であり、例えばそれぞれ１００［ｃｍ］および６００［ｃｍ］である。
【００２８】
以上のようにして検出窓が設定されると、検出部３１は、カメラ２０で撮影された画像における検出範囲（設定手法は後述）内で検出窓を、例えば左上から右下までラスタースキャン順で移動させながら、顔検出を行う。顔検出の手法は任意であるが、例えば人間の顔、鼻、口等、顔の特徴を示す情報を予め記憶しておき、これらの特徴が検出窓内の特徴と一致する場合に、検出部３１は当該検出窓に顔があると判断することができる。
【００２９】
検出部３１は、例えば、図２に示すように、検出窓２３を移動させながら、視聴者Ａの位置で顔と判断する。この顔検出時の検出窓の画像平面上の位置座標を取得すると共に、検出窓２３の１辺の長さｗ１からＺ１＝ａｖｅ＿ｗ＊ｆＨ／ｗ１を得る。また、図３に示すように、検出窓２４を移動させながら、視聴者Ｂ，Ｃの位置で顔と判断する。この顔検出時の検出窓２４の画像平面上の位置座標を取得すると共に、検出窓２４の一辺の長さｗ２からＺ２＝ａｖｅ＿ｗ＊ｆＨ／ｗ２を得る。
【００３０】
検出部３１は、検出窓のサイズｗを、最大値Ｚｍａｘに対応する最小長さｗｍｉｎ（＝ａｖｅ＿ｗ＊ｆＨ／Ｚｍａｘ）から、最小値Ｚｍｉｎに対応する最大長さｗｍａｘ（＝ａｖｅ＿ｗ＊ｆＨ／Ｚｍｉｎ）まで段階的に変えながら、顔検出を行う。これにより、映像表示装置１０からの距離が最小値Ｚｍｉｎ〜最大値Ｚｍａｘにいる視聴者を検出できる。
【００３１】
検出部３１は、検出距離Ｚ０において人間の顔が検出された場合、映像表示装置１０から距離Ｚ０の位置に視聴者がいることを出力する。
【００３２】
検出範囲設定部３２は、検出距離Ｚに応じて、言い換えると、検出窓のサイズに応じて、上記の検出範囲を設定する。検出距離Ｚが大きいほど、言い換えると、検出窓のサイズが小さいほど、検出範囲は小さく設定される。
【００３３】
図５および図６は、検出範囲設定部３２の処理動作を具体的に説明する図である。これらの図は、カメラ２０が撮影した距離Ｚｐ，Ｚｑの被写体が、垂直焦点距離ｆＶ［画素］の位置に結像する様子を示している。これらの図における各パラメータの定義は下記の通りである。  
・Ｚ（Ｚｐ，Ｚｑ）：検出距離［ｃｍ］
・Ｈ１：カメラ２０の床面に対する高さ［ｃｍ］
・Ｙｍｉｎ：視聴者の顔が存在する高さの最小値［ｃｍ］
・Ｙｍａｘ：視聴者の顔が存在する高さの最大値［ｃｍ］
・θ：カメラ２０の垂直画角［ｒａｄ］
・ｈｐｉｃ：カメラ２０により撮影される画像の垂直方向画素数［画素］
・ｙｔｏｐ：カメラ２０により撮影される画像のうち、上半分の中での検出範囲［画素］
・ｙｂｔｍ：カメラ２０により撮影される画像のうち、下半分の中での検出範囲［画素］
【００３４】
図示のように、カメラ２０により撮影される画像のうち、垂直方向に関して、上半分のうちのｙｔｏｐ［画素］および下半分のうちのｙｂｔｍ［画素］の範囲、言い換えると、上部の（ｈｐｉｃ／２−ｙｔｏｐ）［画素］および下部の（ｈｐｉｃ／２−ｙｂｔｍ）［画素］を除いた範囲が、検出範囲である。なお、水平方向に関しては全体を検出範囲とする。
【００３５】
本実施形態では、高さＨ１は既知とする。例えば、視聴者が床面に対するカメラ２０の高さを計測して顔検出装置３０に入力してもよい。また、視聴者が床面に対する設置面の高さ（テレビ台１３の上面の高さなど）を入力し、これに基づいて検出範囲設定部３２が前もって高さＨ１を算出しておいてもよい。
【００３６】
視聴者の顔が存在する高さの最小値Ｙｍｉｎは、例えば床面に座って視聴することを想定して、５０［ｃｍ］に設定される。視聴者の顔が存在する高さの最大値Ｙｍａｘは、例えば立った状態で視聴することを想定して、２００［ｃｍ］に設定される。
【００３７】
垂直画角θおよび垂直方向画素数ｈｐｉｃはカメラ２０の性能や設定により定まる定数である。
【００３８】
よって、Ｈ１，Ｙｍｉｎ，Ｙｍａｘ，θ，ｈｐｉｃは既知あるいは定数である。そして、これらのパラメータに基づいて、検出範囲設定部３２は検出範囲ｙｔｏｐ，ｙｂｔｍを検出距離Ｚの関数として設定する。
【００３９】
まず、検出範囲ｙｔｏｐについて説明する。なお、カメラ２０が略水平方向を向いているという仮定に留意する。検出距離Ｚ［ｃｍ］の場合、カメラ２０により撮影される範囲の上半部の高さはＺ＊ｔａｎ（θ／２）［ｃｍ］である。一方、視聴者の顔は、高さＨ１より上においては、（Ｙｍａｘ−Ｈ１）［ｃｍ］以下の範囲に存在し得る。
【００４０】
そのため、図６に示すＺ＝Ｚｑのように下記（２）式を満たす場合、視聴者の顔はカメラ２０により撮影された画像の上半分のすべてに存在する可能性がある。  
Ymax - H1 > Z * tan(θ / 2) ・・・（２）
よって、検出距離Ｚが上記（２）式より導かれる（３）式を満たす場合、下記（４）式に示すように、検出範囲設定部３２はカメラ２０で撮影された画像の上半分のすべてを検出範囲ｙｔｏｐとする。  
Z < (Ymax - H1) / tan(θ / 2) ・・・（３）
ytop = hpic / 2 ・・・（４）
【００４１】
一方、図５に示すＺ＝Ｚｐのように上記（２）式を満たさない場合、カメラ２０は視聴者の顔が存在し得る範囲より上を撮影している。この場合、カメラ２０により撮影された画像の上半分の画素数ｈｐｉｃ／２［画素］に対して、視聴者の顔が存在し得る範囲はｙｔｏｐ［画素］である。一方、カメラ２０により撮影される高さＺ＊ｔａｎ（θ／２）［ｃｍ］に対して、視聴者の顔が存在し得る範囲は（Ｙｍａｘ−Ｈ１）［ｃｍ］である。よって、下記（５）式に示す比例関係が成立する。  
hpic / 2 : ytop = Z * tan(θ / 2) : Ymax - H1 ・・・（５）
【００４２】
したがって、上記（２）式を満たさない場合は下記（６）式が導かれる。
【数１】
2014089521.tif 000003
【００４３】
以上をまとめると、検出範囲設定部３２は、下記（７）式に示すように、検出範囲ｙｔｏｐを設定する。
【数２】
2014089521.tif 000004
【００４４】
続いて、検出範囲ｙｂｔｍについて説明する。やはり、カメラ２０が略水平方向を向いているという仮定に留意する。検出距離Ｚ［ｃｍ］の場合、カメラ２０により撮影される範囲の下半部の高さはＺ＊ｔａｎ（θ／２）［ｃｍ］である。一方、視聴者の顔は、高さＨ１より下においては、（Ｈ１−Ｙｍｉｎ）［ｃｍ］以下の範囲に存在し得る。
【００４５】
そのため、図６に示すＺ＝Ｚｑのように下記（８）式を満たす場合、視聴者の顔はカメラ２０により撮影された画像の下半分のすべてに存在する可能性がある。  
H1 - Ymin > Z * tan(θ / 2) ・・・（８）
【００４６】
よって、検出距離Ｚが上記（８）式より導かれる（９）式を満たす場合、下記（１０）式に示すように、検出範囲設定部３２はカメラ２０で撮影された画像の下半分のすべてを検出範囲ｙｂｔｍとする。  
Z < (H1 - Ymin) / tan(θ / 2) ・・・（９）
ybtm= hpic / 2 ・・・（１０）
【００４７】
一方、図５に示すＺ＝Ｚｐのように上記（８）式を満たさない場合、カメラ２０は視聴者の顔が存在し得る範囲より下を撮影している。この場合、カメラ２０により撮影された画像の下半分の画素数ｈｐｉｃ／２［画素］に対して、視聴者の顔が存在し得る範囲はｙｂｔｍ［画素］である。一方、カメラ２０により撮影される高さＺ＊ｔａｎ（θ／２）［ｃｍ］に対して、視聴者の顔が存在し得る範囲は（Ｈ１−Ｙｍｉｎ）［ｃｍ］である。よって、下記（１１）式に示す比例関係が成立する。  
hpic / 2 : ybtm = Z * tan(θ / 2) : H1 - Ymin ・・・（１１）
【００４８】
したがって上記（８）式を満たさない場合は下記（１２）式が導かれる。
【数３】
2014089521.tif 000005
【００４９】
以上をまとめると、検出範囲設定部３２は、下記（１３）式に示すように、検出範囲ｙｂｔｍを設定する。
【数４】
2014089521.tif 000006
【００５０】
以上のようにして設定された検出範囲ｙｔｏｐ，ｙｂｔｍ内で、検出部３１は顔検出処理を行う。
【００５１】
このように、第１の実施形態では、カメラ２０と検出対象の視聴者との距離に応じて、顔検出処理を行う検出範囲を設定する。そのため、処理の負担を軽減できる。
【００５２】
（第２の実施形態）
上述した第１の実施形態は、床面に対するカメラ２０の高さＨ１を既知としていたが、以下に説明する第２の実施形態では、高さＨ１を視聴者の身長に基づいて算出するものである。
【００５３】
図７は、高さＨ１を算出する手法を説明する図である。図示のように、視聴者は映像表示装置１０に向かって立つ。そして、例えばリモコンを使用して、顔検出を行うよう顔検出装置３０に指示する。これに応じて、検出部３１は視聴者の顔を検出する。顔が検出された時の検出窓のサイズ（すなわち顔の横幅）ｗｕから、上記（１）式に基づいて視聴者と映像表示装置１０との距離Ｚｕ（＝ａｖｅ＿ｗ＊ｆＨ／ｗｕ）［ｃｍ］が分かる。
【００５４】
また、カメラ２０により撮影された画像における検出窓の中心位置の座標（ｘｕ，ｙｕ）も分かる（ｘｕ，ｙｕは画像平面上の座標）。座標（ｘｕ，ｙｕ）は、カメラ２０により撮影された画像の中心を原点とし、この原点から何画素離れているかを示す。ここで、検出窓の中心から頭頂部までの長さをｋとすると、顔の頭頂部の座標は（ｘｕ，ｙｕ＋ｋ）である。ｋは、例えば検出窓のサイズｗｕに、予め定めた定数（例えば０．５）を乗じて得ることができる。
【００５５】
検出部３１は、以上のようにして得られる視聴者と映像表示装置１０との位置Ｚｕと、視聴者の頭頂部のｙ座標（ｙｕ＋ｋ）とを、検出範囲設定部３２へ与える。
【００５６】
また、視聴者の顔検出を行う前または後に、視聴者は、例えばリモコンを使用して、自身の身長Ｈｕ［ｃｍ］を顔検出装置３０に入力する。
【００５７】
このとき、カメラ２０により撮影された画像の上半分の画素数ｈｐｉｃ／２［画素］に対して、視聴者の頭頂部の位置は（ｙｕ＋ｋ）［画素］である。一方、カメラ２０により撮影される高さＺｕ＊ｔａｎ（θ／２）［ｃｍ］に対して、視聴者の頭頂部の高さはＨｕ−Ｈ１［ｃｍ］である。よって、下記（１４）式に示す比例関係が成立する。  
Hu - H1 : Zu * tan(θ / 2) = yu + k : hpic / 2 ・・・（１４）
【００５８】
したがって、検出範囲設定部３２は、下記（１５）式に基づいて、床面に対するカメラ２０の高さＨ１を算出できる。
【数５】
2014089521.tif 000007
【００５９】
このような高さＨ１を算出する処理は、例えば映像表示装置１０を購入し、設置する際に一度行えばよい。検出範囲設定部３２は、算出された高さＨ１を用い、上記（７），（１３）式に基づいて、検出範囲ｙｔｏｐ，ｙｂｔｍを算出できる。
【００６０】
このように、第２の実施形態では、視聴者が自身の身長を映像表示装置１０に入力するだけで、床面に対するカメラ２０の高さＨ１を自動的に算出する。よって、検出範囲をより簡単に設定できる。
【００６１】
（第３の実施形態）
上述した第１および第２の実施形態により、視聴者の距離あるいは位置を特定できる。これに応じて種々の処理を行うことができる。例えば、映像表示装置のスピーカから発せられる音声が、視聴者がいる位置でサラウンド効果が得られるよう、音声処理を行うことができる。あるいは、立体映像を表示可能な映像表示装置において、視聴者がいる位置で映像が立体的に見えるよう映像処理を行うことができる。第３の実施形態では、後者について詳しく説明する。
【００６２】
図８は、映像表示システムの外観図であり、図９は、その概略構成を示すブロック図である。映像表示システムは、表示パネル１１と、レンチキュラレンズ１２と、カメラ２０と、受光部１４と、コントローラ４０とを備えている。
【００６３】
表示パネル１１は、視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する。この表示パネル１１は、例えば５５インチサイズの液晶パネルであり、４Ｋ２Ｋ（３８４０＊２１６０）の画素を有する。これに対して、レンチキュラレンズ１２を斜めに配置する等の工夫により、立体視の用途のために水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置されているのに相当する効果を持たせることが可能である。以下では、水平方向の画素数を拡張したこのモデルで説明する。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。表示パネル１１には、背面に設けられるバックライト装置（不図示）から光が照射される。各画素はコントローラ４０から供給される画像信号に応じた輝度の光を透過させる。
【００６４】
レンチキュラレンズ（開口制御部）１２は、表示パネル１１に表示された複数の視差画像を所定の方向に出力する。このレンチキュラレンズ１２は、水平方向に沿って配置される複数の凸部を有し、その数は表示パネル１１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ１２は表示パネル１１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【００６５】
以下の説明では、レンチキュラレンズ１２の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、表示パネル１１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ１２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、表示パネル１１の前方から表示パネル１１を見たときに映像を立体視可能な領域をいう。
【００６６】
なお、表示パネル１１は各凸部に対応する９個の画素で同一の色を表示することにより、２次元画像を表示することもできる。
【００６７】
また、本実施形態では、レンチキュラレンズ１２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、視域の制御について説明する。
【００６８】
図１０は、表示パネル１１およびレンチキュラレンズ１２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から表示パネル１１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。また、視聴者が視域の中央にいるほど立体感を感じることができるが、視域内であってもその端に視聴者がいるとあまり立体感を感じられなかったり逆視等が発生したりすることもある。
【００６９】
図１０は、表示パネル１１とレンチキュラレンズ１２との相対的な位置関係、より具体的には、表示パネル１１とレンチキュラレンズ１２との距離、あるいは表示パネル１１とレンチキュラレンズ１２との水平方向のずれ量によって、視域が変化する様子を示している。
【００７０】
実際には、レンチキュラレンズ１２は、表示パネル１１に高精度に位置合わせをして貼り付けられるため、表示パネル１１とレンチキュラレンズ１２との相対的な位置を物理的に変更することは困難である。
【００７１】
そこで、本実施形態では、表示パネル１１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、表示パネル１１とレンチキュラレンズ１２との相対的な位置関係を変更し、これにより、視域の調整を行う。
【００７２】
例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図１０（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図１０（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【００７３】
また、水平方向の中央付近では視差画像をずらさず、表示パネル１１の外側ほど、視差画像を外側に大きくずらして表示した場合（図１０（ｃ））、視域は表示パネル１１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図１０（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、表示パネル１１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は表示パネル１１から遠ざかる方向に移動する。
【００７４】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を表示パネル１１に対して左右方向あるいは前後方向に移動させることができる。図１０では説明を簡略化するために視域を１つだけ示しているが、実際には、図１１に示すように、複数の視域が視聴領域Ｐに存在し、これらは連動して移動する。視域は、後述する図２のコントローラ４０により制御される。
【００７５】
図８に戻り、カメラ２０は、表示パネル１１の下部中央付近に、所定の仰角（例えば水平方向）で取り付けられ、表示パネル１１の前方の所定の範囲を撮影する。撮影された映像はコントローラ４０に供給され、視聴者の位置や視聴者の顔等を検出するために用いられる。カメラ２０は、動画像と静止画像のどちらを撮影してもよい。また、カメラ２０の取り付け位置や角度に制限はなく、表示パネル１１前面で視聴している視聴者を撮影できればよい。
【００７６】
受光部１４は、例えば表示パネル１１の下部の左側に設けられる。そして、受光部１４は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか２次元映像を表示するか、あるいは、メニューを表示するか等を示す信号を含む。また、第２の実施形態で説明したような、視聴者の身長を顔検出部３０に設定するための信号を含む。
【００７７】
次に、コントローラ４０の構成要素の詳細について説明する。図９に示すように、コントローラ４０は、チューナデコーダ４１と、視差画像変換部４２と、顔検出部３０と、視聴者位置推定部４３と、視域パラメータ算出部４４と、画像調整部４５とを有する。視差画像変換部４２、視聴者位置推定部４３、視域パラメータ算出部４４および画像調整部４５は、視域調整部５０を構成する。コントローラ４０は、例えば１つのＩＣ（Integrated Circuit）として実装され、表示パネル１１の裏側に配置される。もちろん、コントローラ４０の一部をソフトウェアで実装してもよい。
【００７８】
チューナデコーダ（受信部）４１は入力される放送波を受信および選局し、符号化された入力映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ４１はこれを抽出する。あるいは、チューナデコーダ４１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された入力映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部４２に供給される。なお、映像表示装置１０が放送波を受信せず、専ら映像出力機器から受信する入力映像信号を表示する場合、チューナデコーダ４１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
【００７９】
チューナデコーダ４１が受信する入力映像信号は、２次元の映像信号であってもよいし、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等で左目用および右目用の画像を含む３次元の映像信号であってもよい。また、映像信号は３視差以上の画像含む３次元の映像信号であってもよい。
【００８０】
視差画像変換部４２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換する。ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部４２の処理内容が異なる。
【００８１】
２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部４２は、映像信号における各画素の奥行き値に基づいて、第１〜第９視差画像信号を生成する。奥行き値は、各画素がどの程度表示パネル１１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め入力映像信号に付加されていてもよいし、入力映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。一方、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部４２はその映像信号を用いて第１〜第９視差画像信号を生成する。
【００８２】
以上のようにして生成された入力映像信号の視差画像信号は画像調整部４５に供給される。
【００８３】
顔検出部３０は第１および第２の実施形態で説明した顔検出装置３０であり、カメラ２０により撮影された画像の全部または一部である検索範囲内で、視聴者を検索する。これにより、映像表示装置１０と視聴者との距離Ｚと、顔が検出された時の検出窓の中心位置座標（ｘ，ｙ）が出力され、視聴者位置推定部４３に供給される。
【００８４】
視聴者位置推定部４３は、顔検出部３０の処理結果に基づいて、視聴者の実空間での位置情報を推定する。視聴者の位置情報は、例えば表示パネル１１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）上の位置として表される。
【００８５】
視域パラメータ算出部４４は、視聴者位置推定部４３から供給された視聴者の位置情報を用いて、検出された視聴者を収める視域を設定するための視域パラメータを算出する。この視域パラメータは、例えば、図１０で説明した視差画像をずらす量であり、１つのパラメータ、または複数のパラメータの組み合わせである。そして、視域パラメータ算出部４４は、算出した視域パラメータを画像調整部４５に供給する。
【００８６】
画像調整部（視域制御部）４５は、視域を制御するために、表示パネル１１に立体映像が表示される場合に算出された視域パラメータに応じて、視差画像信号をずらしたり補間したりする調整を行った後に、表示パネル１１に供給し、表示パネル１１に表示させる。
【００８７】
このように第３の実施形態では、顔検出の処理量を軽減しつつ、視聴者の位置に視域を設定できる。
【００８８】
なお、第３の実施形態ではレンチキュラレンズ１２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ１２に代えてパララックスバリアを開口制御部１２’として設けてもよい。図１２は、図９の変形例である映像表示システムの概略構成を示すブロック図である。同図に示すように、映像処理システムのコントローラ４０’は、画像調整部４５の代わりに、視域制御部４５’を備える。
【００８９】
この視域制御部４５’は、視域パラメータ算出部４４により算出された視域パラメータに応じて開口制御部２’を制御する。本変形例の場合、制御パラメータは、表示パネル１１と開口制御部１２’との距離、表示パネル１１と開口制御部１２’との水平方向のずれ量などである。
【００９０】
本変形例では、表示パネル１１に表示された視差画像の出力方向を、開口制御部１２’で制御することによって、視域が制御される。このように、視差画像をずらす処理を行わず、視域制御部４５’により開口制御部１２’を制御してもよい。
【００９１】
上述した実施形態で説明した映像表示システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像表示システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００９２】
また、映像表示システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００９３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９４】
１０  映像表示装置
１１  表示パネル
２０  カメラ
３０  顔検出装置（顔検出部）
３１  検出部
３２  検出範囲設定部
４０  コントローラ
４１  チューナデコーダ
４２  視差画像変換部
４３  視聴者位置推定部
４４  視域パラメータ算出部
４５  画像調整部
４５’視域制御部
【図１】
2014089521.tif 000011
【図２】
2014089521.tif 000012
【図３】
2014089521.tif 000013
【図４】
2014089521.tif 000014
【図５】
2014089521.tif 000015
【図６】
2014089521.tif 000016
【図７】
2014089521.tif 000017
【図８】
2014089521.tif 000018
【図９】
2014089521.tif 000019
【図１０】
2014089521.tif 000020
【図１１】
2014089521.tif 000021
【図１２】
2014089521.tif 000022