(57)【要約】 【課題】適切な視域制御を行うことが可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供する。【解決手段】実施形態の画像処理装置は、第１検出部と算出部と決定部とを備える。第１検出部は、観察者の位置を検出する。算出部は、観察者の位置の経時的変化に基づいて、観察者の移動が発生している確率を示す位置変動確率を算出する。決定部は、位置変動確率に基づいて、表示部に表示される立体画像を観察者が観察可能な視域を決定する。【選択図】図４
2014241473.tif 000002
【特許請求の範囲】
【請求項１】
観察者の位置を検出する第１検出部と、
前記観察者の位置の経時的変化に基づいて、前記観察者の移動が発生している確率を示す位置変動確率を算出する算出部と、
前記位置変動確率に基づいて、表示部に表示される立体画像を観察者が観察可能な視域を決定する決定部と、を備える、
画像処理装置。
【請求項２】
前記位置変動確率は、前記観察者の移動が発生している可能性が高いほど小さい値を示し、
前記算出部は、前記観察者の位置の経時的変化が小さいほど前記位置変動確率が大きくなることを表す確率分布を用いて、前記位置変動確率を算出し、
前記決定部は、前記位置変動確率が閾値以下の場合、前記視域を切り替えることを決定する、
請求項１に記載の画像処理装置。
【請求項３】
前記算出部は、前記観察者の位置を検出するのに用いられるセンサから前記観察者までの距離が大きいほど前記確率分布の幅が大きくなるように、前記確率分布を設定する、
請求項２に記載の画像処理装置。
【請求項４】
前記表示部の周辺の明るさを示す照度を検出する第２検出部をさらに備え、
前記算出部は、前記照度が低いほど前記確率分布の幅が大きくなるように、前記確率分布を設定する、
請求項２に記載の画像処理装置。
【請求項５】
前記決定部は、
前記観察者の人数が１人であって、前記視域を切り替えることを決定した場合は、前記観察者の位置が前記視域に含まれるよう、前記視域を決定する一方、
前記観察者の人数が複数人であって、前記視域を切り替えることを決定した場合は、前記視域内に存在する各前記観察者の前記位置変動確率の和が最大となるよう、前記視域を決定する、
請求項２に記載の画像処理装置。
【請求項６】
前記算出部は、過去の所定期間における前記位置変動確率を用いて、現在の前記位置変動確率を算出する、
請求項１乃至４のうちの何れか１項に記載の画像処理装置。
【請求項７】
前記所定期間は、前記第１検出部による検出の間隔を示す検出間隔と、前記検出間隔が短いほど大きい値に設定される整数との積で表される、
請求項６に記載の画像処理装置。
【請求項８】
前記決定部により決定された前記視域が形成されるように、前記表示部を制御する表示制御部をさらに備える、
請求項１乃至７のうちの何れか１項に記載の画像処理装置。
【請求項９】
観察者の位置を検出し、
前記観察者の位置の経時的変化に基づいて、前記観察者の移動が発生している確率を示す位置変動確率を算出し、
前記位置変動確率に基づいて、表示部に表示される立体画像を観察者が観察可能な視域を決定する、
画像処理方法。
【請求項１０】
コンピュータを、
観察者の位置を検出する検出手段と、
前記観察者の位置の経時的変化に基づいて、前記観察者の移動が発生している確率を示す位置変動確率を算出する算出手段と、
前記位置変動確率に基づいて、表示部に表示される立体画像を観察者が観察可能な視域を決定する決定手段として機能させる、
画像処理プログラム。
【請求項１１】
立体画像を表示する表示部と、
観察者の位置を検出する検出部と、
前記観察者の位置の経時的変化に基づいて、前記観察者の移動が発生している確率を示す位置変動確率を算出する算出部と、
前記位置変動確率に基づいて、前記表示部に表示される前記立体画像を前記観察者が観察可能な視域を決定する決定部と、を備える、
立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、立体画像表示装置に関する。
【背景技術】
【０００２】
従来、３Ｄディスプレイを観察する観察者の位置に合わせて、３Ｄディスプレイに表示される立体画像を観察可能な視域を制御する技術が知られている。
【０００３】
例えば、顔検出技術によって観察者の位置を把握し、視域に含まれる観察者の人数が最大となるように視域を形成する技術が知られている。この技術では、複数人の観察者が立体画像を観察している状況では、そのうちの一人の移動に伴って、その都度視域を移動させる（切り替える）ことになる。
【０００４】
しかし、この技術では、検出誤差による観察者の位置の変化を観察者の移動と捉えてしまうと、実際には観察者が静止していても、視域を切り替える制御が実行されてしまうため、適切な視域制御を行うことができないという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１００８５
【特許文献２】特許第４９３７４２４号公報
【非特許文献】
【０００６】
【非特許文献１】Ｐａｕｌ  Ｖｉｏｌａ  ａｎｄ  Ｍｉｃｈａｅｌ  Ｊｏｎｅｓ，“Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”ＩＥＥＥ  ｃｏｎｆ．  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ  ２００１）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、適切な視域制御を行うことが可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供することである。
【課題を解決するための手段】
【０００８】
実施形態の画像処理装置は、第１検出部と算出部と決定部とを備える。第１検出部は、観察者の位置を検出する。算出部は、観察者の位置の経時的変化に基づいて、観察者の移動が発生している確率を示す位置変動確率を算出する。決定部は、位置変動確率に基づいて、表示部に表示される立体画像を観察者が観察可能な視域を決定する。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態の立体画像表示装置の概略図。
【図２】第１実施形態の表示部の構成例を示す図。
【図３】第１実施形態の表示部を観察者が観察した状態を示す模式図。
【図４】第１実施形態の画像処理部の機能構成例を示す図。
【図５】第１実施形態のピンホールカメラモデルを模式的に示す図。
【図６】第１実施形態の視域の制御例を説明するための模式図。
【図７】第１実施形態の視域の制御例を説明するための模式図。
【図８】第１実施形態の視域の制御例を説明するための模式図。
【図９】第１実施形態の決定部の動作例を示すフローチャート。
【図１０】第１実施形態の画像処理部の動作例を示すフローチャート。
【図１１】第２実施形態の画像処理部の機能構成例を示す図。
【図１２】第２実施形態の画像処理部の動作例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、立体画像表示装置の実施の形態を詳細に説明する。
【００１１】
（第１実施形態）
本実施形態の画像処理装置は、観察者が裸眼で立体画像を観察可能なＴＶ（テレビ）、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、スマートフォン、デジタルフォトフレーム等の立体画像表示装置に用いられ得る。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。なお、実施形態で述べる画像とは、静止画像又は動画像のいずれであってもよい。
【００１２】
図１は、本実施形態の立体画像表示装置１の概略図である。図１に示すように、立体画像表示装置１は、表示部１０と、センサ２０と、画像処理部３０とを備える。
【００１３】
図２は、表示部１０の構成例を示す図である。図２に示すように、表示部１０は、表示素子１１と開口制御部１２とを含む。観察者は、開口制御部１２を介して表示素子１１を観察することで、表示部１０に表示される立体画像を観察する。
【００１４】
表示素子１１は、立体画像の表示に用いる視差画像を表示する。表示素子１１としては、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、投射型ディスプレイなどが挙げられる。表示素子１１は、例えば、ＲＧＢ各色のサブピクセルを、第１方向（例えば図２における行方向）と第２方向（例えば図２における列方向）とに、マトリクス状に配置した公知の構成であってよい。図２の例では、第１方向に並ぶＲＧＢ各色のサブピクセルが１画素を構成し、隣接する画素を視差の数だけ、第１方向に並べた画素群に表示される画像を要素画像１４と称する。なお、表示素子１１のサブピクセルの配列は、他の公知の配列であっても構わない。また、サブピクセルは、ＲＧＢの３色に限定されない。例えば、４色であっても構わない。
【００１５】
開口制御部１２は、表示素子１１からその前方に向けて発散される光線を、開口部を介して所定方向に向けて出射させる（以下ではこのような機能を有する開口部を光学的開口部と呼ぶ）。開口制御部１２としては、レンチキュラレンズ、パララックスバリア、液晶ＧＲＩＮレンズ等が挙げられる。光学的開口部は、表示素子１１の各要素画像に対応するように配置される。
【００１６】
図３は、観察者が表示部１０を観察した状態を示す模式図である。表示素子１１に複数の要素画像を表示すると、表示素子１１には、複数の視差方向に対応した視差画像群（多視差画像）が表示される。この多視差画像による光線は、各光学的開口部を透過する。そして、観察者は、要素画像に含まれる異なる画素を、左目２６Ａおよび右目２６Ｂでそれぞれ観察することになる。このように、観察者の左目２６Ａおよび右目２６Ｂに対し、視差の異なる画像をそれぞれ表示させることで、観察者が立体画像を観察することができる。また、このように観察者が立体映像を観察することができる範囲を視域という。
【００１７】
なお、本実施形態では、開口制御部１２は、光学的開口部の延伸方向が、表示素子１１の第２方向（列方向）に一致するように配置されているが、これに限らず、例えば開口制御部１２は、光学的開口部の延伸方向が表示素子１１の第２方向（列方向）に対して、所定の傾きを有するように配置される構成（いわゆる斜めレンズ）であってもよい。
【００１８】
図１に戻って説明を続ける。センサ２０は、立体画像を観察する観察者の位置（この例では三次元位置）を検出するのに用いられる。この例では、センサ２０は、単眼カメラで構成され、以下の説明では「カメラ２０」と称する場合がある。カメラ２０は、実空間上の所定の領域を撮影（撮像）する。以下の説明では、カメラ２０による撮影で得られる画像を撮影画像と呼び、撮影画像に映り込んだ、例えば人物の顔などの対象物をオブジェクトと呼ぶ場合がある。なお、カメラ２０の設置位置や設置台数は任意に設定可能である。カメラ２０による撮影は所定の間隔（例えば１／３０秒）で行われ、カメラ２０による撮影が行われるたびに、その撮影で得られた撮影画像が画像処理部３０へ渡される。なお、カメラ２０のフレームレートは１／３０秒（３０ｆｐｓ）に限られるものではなく、任意に設定可能である。
【００１９】
次に、画像処理部３０について説明する。画像処理部３０の具体的な内容を説明する前に、画像処理部３０が有する機能の概要を説明する。画像処理部３０は、撮影画像に映り込んだ観察者の顔を検出して追跡している中で、検出した顔の撮影画像上における大きさから観察者の三次元的な位置を求める。その際、過去の位置と現在の位置との変化（観察者の位置の経時的変化）の大きさから、観察者の移動が発生している確率を示す位置変動確率を求め、位置変動確率を用いて視域を決定する。そして、決定した視域が形成されるように、表示部１０を制御する。画像処理部３０は、請求項の「画像処理装置」に対応する。
【００２０】
以下、画像処理部３０の具体的な内容を説明する。図４は、画像処理部３０の機能構成例を示すブロック図である。図４に示すように、画像処理部３０は、第１検出部１０１と、算出部１０２と、決定部１０３と、表示制御部１０４とを備える。
【００２１】
第１検出部１０１は、観察者の位置を検出する。観察者の数は１人であってもよいし、複数人であってもよい。本実施形態では、第１検出部１０１は、カメラ２０から撮影画像が入力されるたびに、その撮影画像に映り込んだ観察者の顔を検出し、撮影画像における顔の大きさから観察者の三次元位置を検出する。より具体的には以下のとおりである。
【００２２】
第１検出部１０１は、カメラ２０から取得した撮影画像上に、所定の複数のサイズの探索窓を走査させていき、予め用意したオブジェクトの画像のパターンと探索窓内の画像のパターンとの類似度合いを評価することで、探索窓内の画像がオブジェクトであるかを判定する。例えば対象物が人物の顔である場合には、非特許文献１に開示された探索方法を用いることができる。この探索法は、探索窓内の画像に対していくつかの矩形特徴を求め、それぞれの特徴に対する弱識別器を直列につないだ強識別器によって、顔であるかどうかを判定する方法である。
【００２３】
画像処理部３０で上記探索法を用いる場合には、探索法を行う各機能部（詳細後述）に、パターン識別器（図示省略）を備えた構成とすればよい。パターン識別器は、複数の弱識別器を直列に接続したカスケード構造の識別器であって、非特許文献１に開示されたカスケード型ＡｄａＢｏｏｓｔベース識別器である。
【００２４】
具体的には、パターン識別器は、入力された撮影画像に対して、カスケードの各段の弱識別器で顔、非顔の判定を行い、顔と判定された画像のみを次段の弱識別器へと進める。そして、最後の弱識別器を通過した画像を最終的に顔画像と判定する。
【００２５】
カスケードの各段を構成する強識別器は、複数の弱識別器を直列につないだ構成である。各弱識別器では、探索窓内の画像に対して求めた矩形特徴を用いて評価を行う。
【００２６】
ここで、ｘを探索の画像内における２次元座標位置ベクトルとしたときの、位置ベクトルｘにおいての、ある弱識別器ｎの出力は、下記式（１）によって示される。
【００２７】
【数１】
2014241473.tif 000003
【００２８】
式（１）中、ｈｎ（ｘ）は弱識別器ｎの出力を示し、ｆｎ（ｘ）は弱識別器ｎの判定関数を示す。また、式（１）中、ｐｎは不等号の等号の向きを定めるために、１または−１となる数を示し、θｎは各弱識別器ｎに対して予め定められている閾値を示す。例えばθｎは、識別器作成の際の学習において設定される。
【００２９】
また、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力は、下記式（２）によって示される。
【００３０】
【数２】
2014241473.tif 000004
【００３１】
式（２）中、Ｈ（ｘ）は、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力を示す。また、式（２）中、αｎは予め定められている弱識別器ｎの重みを示し、ｈｎは式（１）で表した弱識別器ｎの出力を示す。例えばαｎは、識別器作成の際の学習において設定される。
【００３２】
なお、パターン識別器を通過した画像について、顔らしさを表す尤度ｌ（ｘ）を算出するためには、下記式（３）を用いる。
【００３３】
【数３】
2014241473.tif 000005
【００３４】
式（３）中、ａは、識別器作成の際の学習において生成される重みを表す定数である。また、式（３）中、Ｈ（ｘ）は、強識別器の出力を示す。
【００３５】
なお、対象物は必ずしも一定の方向から撮影されるわけではない。例えば、横方向や斜め方向から撮影する場合も考えられる。このような場合には、画像処理部３０を、横顔を検出するためのパターン識別器を備えた構成とする。なお、画像処理部３０において探索法を用いる各機能部は、対象物の１つないし複数の姿勢の各々に対応するパターン識別器を備えた構成であるものとする。
【００３６】
なお、センサ２０として、ステレオカメラを用いてもよい。第１検出部１０１は、ステレオカメラで撮影した２つの画像から顔検出を行って、同一人物の顔を検出し、検出した位置から求まる視差から三角測量を用いて観察者の三次元位置を求めることもできる。
【００３７】
その他、センサ２０として、可視光の範囲外の波長（例えば赤外線の波長）を用いた距離センサを用いてもよい。例えば、第１検出部１０１は、上述のカメラ２０による撮影範囲の距離を計測できる距離センサの計測結果から、観察者の三次元位置を求めてもよい。なお、例えば第１検出部１０１は、センサ２０を含んで構成される形態であってもよい。
【００３８】
また、第１検出部１０１は、一度検出した観察者については、次の時刻から追跡することで、同じ観察者であるかどうかを判別できる。追跡法は、例えばカメラ２０からの撮影画像が入力されるたびに顔検出を行って、過去の時刻の顔位置と最も近い位置に検出された顔は、同じ観察者であると判定することもできる。または、過去に検出された顔の位置の周辺のみに対して、顔検出処理を行う方法もある。周辺とは、例えば過去の検出位置の近傍に、現時刻の顔位置の仮説を設定するパーティクルフィルタを用いる方法が一般的には行われている。
【００３９】
次に、以上のようにして検出した顔の大きさから観察者の三次元位置を求める方法について説明する。まず、ピンホールカメラモデルを用いて、検出した顔の実サイズと、撮影画像上での顔の幅と、カメラ２０から顔までの距離との関係を説明する。この例では、実空間上におけるカメラ２０の位置を原点Ｏとする。そして、原点Ｏを通る水平方向をＸ軸とする。また、原点Ｏを通り且つカメラ２０の撮像方向を正とする方向をＺ軸とする。また、Ｘ軸とＺ軸によって構成されるＸＺ平面に対して垂直で且つ原点Ｏを通り、カメラ２０の反重力方向を正とする方向をＹ軸とする。これらのＸ軸、Ｚ軸、及びＹ軸によって定まる座標系を、本実施の形態では、実空間上における三次元座標系として説明する。なお、実空間上における座標の設定方法はこれに限定されない。
【００４０】
図５は、Ｘ軸とＺ軸によって構成されるＸＺ平面上におけるカメラ２０と観察者ｋの幾何的関係を示す図である。原点Ｏにカメラ２０を配置し、カメラ２０のＸ軸方向の画角をθｘ、撮影画像のＺ軸方向の焦点位置をＦとし、観察者ｋのＺ軸方向の位置をＺとする。また、撮影画像における探索窓に含まれる観察者ｋの矩形領域の幅ｗｋを図中の辺ＡＡ’の長さとし、観察者ｋの実サイズＷｋを図中の辺ＢＢ’の長さとし、カメラ２０から観察者ｋまでの距離を辺ＯＺの長さで表している。カメラ２０の画角をθｘ、撮影画像の水平解像度をＩｗとした場合、カメラ２０から焦点位置Ｆまでの距離を示すＯＦは、以下の式４で表すことができる。ＯＦは、カメラ２０の仕様によって定まる定数である。
【００４１】
【数４】
2014241473.tif 000006
【００４２】
また、図４中、ＡＡ’、ＢＢ’、ＯＦ、及びＯＺについては、相似関係により、ＡＡ’：ＢＢ’＝ＯＦ：ＯＺの関係が成立し、カメラ２０から観察者ｋまでの距離を示すＺｋは、以下の式５で表すことができる。
【数５】
2014241473.tif 000007
【００４３】
また、ＡＦ：ＢＺ＝ＯＦ：ＯＺの関係より、ＢＺが求められる。これにより、三次元座標系における観察者ｋのＸ座標を推定することができる。そして、ＹＺ平面についても同様にして、三次元座標系における観察者ｋのＹ座標を推定することができる。以上のようにして、第１検出部１０１は、観察者ｋの三次元位置を検出することができる。
【００４４】
図４に戻って説明を続ける。算出部１０２は、第１検出部１０１により検出された観察者の位置の経時的変化に基づいて、観察者の移動が発生している確率を示す位置変動確率を算出する。ここでは、位置変動確率とは、観察者の三次元位置の経時的変化が、観察者の意思によって移動した変化であればあるほど低くなるように設計した確率である。言い換えると、位置変動確率とは、観察者が意図的に動いていない状況であれば高くなるように設計した確率である。つまり、位置変動確率は、観察者の移動が発生している可能性が高いほど小さい値を示す。
【００４５】
算出部１０２は、観察者の位置の経時的変化が小さいほど位置変動確率が大きくなることを表す確率分布を用いて、位置変動確率を算出する。より具体的には以下のとおりである。ここでは、時刻ｔにおける観察者Ａの三次元位置を（ＸＡ（ｔ）、ＹＡ（ｔ）、ＺＡ（ｔ））で表すことにする。上述したように、三次元座標系の原点はカメラ２０の位置とする。このとき、時刻ｔにおける観察者Ａの位置変動確率ＰＡ（ｔ）は、以下の式６によって求めることができる。
【数６】
2014241473.tif 000008
【００４６】
ここで、上記式６におけるΣは、第１検出部１０１で検出された三次元位置の時間的な差分の統計データから求まる３行×３列の共分散行列である。また、上記式６におけるｖＡ（ｔ）は、観察者Ａの時刻ｔにおける三次元位置をベクトルで表したものである。つまり、ｖＡ（ｔ）＝[ＸＡ（ｔ）、ＹＡ（ｔ）、ＺＡ（ｔ）]である。また、｜Σ｜は、共分散行列Σの行列式を表す。三次元位置の時間的な差分の統計データが用意されていない場合には、共分散行列Σを、以下の式７のように設定してもよい。
【数７】
2014241473.tif 000009
【００４７】
つまり、Ｘ軸方向の位置、Ｙ軸方向の位置、Ｚ軸方向の位置の時間的な差分の出力がそれぞれ独立であるとしてもよい。上記式７におけるσｘは、Ｘ軸方向の位置の時間的な差分の標準偏差を表し、σｙは、Ｙ軸方向の位置の時間的な差分の標準偏差を表し、σｚは、Ｚ軸方向の位置の時間的な差分の標準偏差を表している。σｘ、σｙ、σｚは、例えば人の頭部の平均サイズの半分に設定されてもよい。また、σｘ、σｙ、σｚは、カメラ２０のフレームレートに応じて設定されてもよい。例えば、あるフレームレートＦで定められたσｘを用いて、いまのフレームレートＦ’でのσｘは、（Ｆ’／Ｆ）×σｘのように求めることもできる。σｙ、σｚについても同様にして設定することができる。
【００４８】
上記式６からも理解されるように、時刻ｔにおける観察者Ａの三次元位置ｖＡ（ｔ）が、時刻ｔ−１における観察者Ａの三次元位置ｖＡ（ｔ−１）に近いほど、つまり、第１検出部１０１により検出された観察者Ａの三次元位置の経時的変化が小さいほど、位置変動確率ＰＡ（ｔ）は大きい値を示す。すなわち、上記式６は、観察者Ａの位置の経時的変化が小さいほど位置変動確率が大きくなることを表す確率分布を表現していると捉えることもできる。
【００４９】
ここで、本実施形態のように、撮影画像に映り込んだ顔を検出して観察者の三次元位置を検出する場合、観察者の位置がカメラ２０から離れるほど、その計測誤差（検出誤差）は大きくなる。その理由は、カメラ２０から遠い場所に位置する観察者の顔は、カメラ２０に近い場所に位置する観察者の顔に比べて、撮影画像に小さく映るため、第１検出部１０１によって正確な顔の大きさを出力することが難しくなるからである。また、第１検出部１０１によって検出された顔のサイズを距離に変換する場合、上記式５に示すように、撮影画像に映り込んだ顔のサイズ（ｗｋ）と、カメラ２０から観察者までの距離（ＯＦ）とは反比例の関係になるため、カメラ２０から観察者までの距離が遠いほど、第１検出部１０１により検出された顔サイズの誤差を距離に変換した場合、変換して得られる距離の値もより大きくなるからである。以上より、カメラ２０から観察者までの距離が遠いほど、顔サイズの検出誤差が大きくなり、その検出誤差に起因して発生する観察者の位置の変動量（ｖＡ（ｔ−１）−ｖＡ（ｔ））も大きくなるので、それに応じて算出される位置変動確率ＰＡ（ｔ）は小さくなる（上記式６参照）。このため、実際には観察者は静止しているのにも関わらず、観察者の移動が発生していると捉えられてしまうおそれがある。
【００５０】
そこで、本実施形態においては、算出部１０２は、センサ２０から観察者までの距離が大きいほど上記確率分布の幅が大きくなるように、上記確率分布を設定する。センサ２０から観察者までの距離が大きくなるほど上記確率分布の幅を広げることで、例えばカメラ２０から観察者までの距離が大きいために、顔サイズの検出誤差に起因する観察者の位置の変動量（ｖＡ（ｔ−１）−ｖＡ（ｔ））が大きい場合であっても、それに応じて算出される位置変動確率ＰＡ（ｔ）が小さくなることを抑制できる。より具体的には、以下の式８に示すように、σｘ、σｙ、σｚを、時刻ｔにおける観察者Ａのカメラ２０からの距離に関する関数ＺＡ（ｔ）を用いて設定してもよい。
【数８】
2014241473.tif 000010
【００５１】
上記式８におけるα、β、γは、顔検出器の性能に依存するため、第１検出部１０１により検出された観察者の位置の統計データから求めることもできる。または、例えば、α＝０．０５、β＝０．０５、γ＝０．１のように異方性のあるガウス分布になるように設定してもよい。
【００５２】
以上のように、本実施形態においては、上記確率分布の幅は、センサ２０から観察者までの距離が大きいほど大きくなるが、これに限らず、例えば上記確率分布の幅は、センサ２０から観察者までの距離に関わらず、一定値に設定される形態であってもよい。
【００５３】
また、本実施形態では、観察者の位置は、顔検出器を用いて検出するので、撮影画像のノイズ等に影響されることも多い。そのため、安定的に動作させるために、以下の式９に例示されるような１次遅れ系を用いて、観察者の位置の急な変動を抑えることもできる。その他、例えばカルマンフィルタによって、検出した観察者の位置を補正してもよい。
【数９】
2014241473.tif 000011
【００５４】
また、例えば算出部１０２は、過去の所定期間における観察者の位置変動確率に基づいて、当該観察者の現在の位置変動確率を算出してもよい。上記所定期間は、第１検出部１０１による検出の間隔を示す検出間隔（この例ではカメラ２０のフレームレート）と、検出間隔が短いほど大きい値に設定される整数Ｎとの積で表される。例えばカメラ２０のフレームレートが１０ｆｐｓ（１／１０秒）の場合の整数Ｎは「１０」に設定され、カメラ２０のフレームレートが３０ｆｐｓの場合の整数Ｎは「３０」に設定される。これにより、検出間隔（カメラ２０のフレームレート）と整数Ｎとの積で表される所定の期間の時間長が一定値に保たれる。
【００５５】
この場合、算出部１０２は、以下の式１０によって時刻ｔにおける観察者の位置変動確率ＰＡ（ｔ）を算出してもよい。
【数１０】
2014241473.tif 000012
【００５６】
また、算出部１０２は、以下の式１１によって時刻ｔにおける観察者の位置変動確率ＰＡ（ｔ）を算出してもよい。
【数１１】
2014241473.tif 000013
【００５７】
なお、直前の時刻ｔ−１までの位置変動確率が求まっていない新規の観察者については、時刻ｔ−１までの位置変動確率を１に設定することもできる。
【００５８】
次に、図４に示す決定部１０３について説明する。決定部１０３は、算出部１０２により算出された位置変動確率に基づいて、表示部１０に表示される立体画像を観察者が観察可能な視域を決定する。より具体的には、決定部１０３は、算出部１０２により算出された位置変動確率が閾値よりも小さい場合、視域を切り替えることを決定する。そして、決定部１０３は、第１検出部１０１により三次元位置が検出された観察者の人数が１人の場合は、当該観察者が視域に含まれるよう、視域を決定する。一方、観察者の人数が複数人の場合は、視域内に存在する各観察者の位置変動確率の和が最大となるよう、視域を決定する。以下、具体的な内容を説明する。
【００５９】
決定部１０３による視域の決定方法を説明する前に、視域の設定位置や設定範囲を制御する方法について説明する。視域の位置は、表示部１０の表示パラメータの組み合わせによって定まる。表示パラメータとしては、表示画像のシフト、表示素子１１と開口制御部１２との距離（ギャップ）、画素のピッチ、表示部１０の回転、変形、移動等が挙げられる。
【００６０】
図６〜図８は、視域の設定位置や設定範囲の制御を説明するための図である。まず、図６を用いて、表示画像のシフトや、表示素子１１と開口制御部１２との距離（ギャップ）を調整することによって、視域の設定される位置等を制御する場合を説明する。図６において、表示画像を例えば右方向（図６（ｂ）中、矢印Ｒ方向参照）にシフトさせると、光線が左方向（図６（ｂ）中、矢印Ｌ方向）に寄ることにより、視域は左方向に移動する（図６（ｂ）中、視域Ｂ参照）。逆に、表示画像を、図６（ａ）に比べて左方向に移動させると、視域は右方向に移動する（不図示）。
【００６１】
また、図６（ａ）及び図６（ｃ）に示すように、表示素子１１と開口制御部１２との距離を短くするほど、表示部１０に近い位置に視域を設定することができる。なお、視域が表示部１０に近い位置に設定されるほど、光線密度は減る。また、表示素子１１と開口制御部１２との距離を長くするほど、表示部１０から離れた位置に視域を設定することができる。
【００６２】
図７を参照して、表示素子１１に表示する画素の並び（ピッチ）を調整することによって、視域が設定される位置等を制御する場合を説明する。表示素子１１の画面の右端、左端ほど、画素と開口制御部１２との位置が相対的に大きくずれることを利用して、視域を制御することができる。画素と開口制御部１２との位置を相対的にずらす量を大きくすると、視域は、図７に示す視域Ａから視域Ｃに変化する。逆に、画素と開口制御部１２との位置を相対的にずらす量を小さくすると、視域は、図７に示す視域Ａから視域Ｂに変化する。なお、視域の幅の最大長（視域の水平方向の最大長）を視域設定距離と呼ぶ。
【００６３】
図８を参照して、表示部１０の回転、変形、移動によって、視域の設定される位置等を制御する場合を説明する。図８（ａ）に示すように、表示部１０を回転させることにより、基本状態における視域Ａを視域Ｂに変化させることができる。また、図８（ｂ）に示すように、表示部１０を移動することにより、基本状態における視域Ａを視域Ｃに変化させることができる。さらに、図８（ｃ）に示すように、表示部１０を変形させることにより、基本状態における視域Ａを視域Ｄに変化させることができる。以上のように、表示部１０の表示パラメータの組み合わせによって、視域の位置が定まる。
【００６４】
本実施形態では、それぞれが、表示部１０が実現可能な視域を示す複数の候補視域ごとに、各表示パラメータの組み合わせを含む視域情報（候補視域の設定位置や設定範囲を特定可能な情報）が対応付けられたデータが、予め不図示のメモリに記憶されている。なお、これに限らず、例えば上記データが外部装置に格納されており、外部装置にアクセスすることで、上記データを取得する形態であってもよい。
【００６５】
以下、決定部１０３による視域の決定方法を説明する。まず、観察者の人数が１人の場合について説明する。ここでは、観察者Ａのみの三次元位置が、第１検出部１０１から出力される場合を想定する。観察者Ａの顔が検出された時点では、決定部１０３は、観察者Ａの位置が視域の中央にくるように視域を移動させる。次の時刻からは、第１検出部１０１による観察者Ａの追跡処理によって観察者Ａの位置が逐次算出部１０２に入力され、算出部１０２により観察者Ａの位置変動確率ＰＡ（ｔ）が算出される。この例では、算出部１０２は、観察者Ａの位置変動確率ＰＡ（ｔ）を算出するたびに、算出した位置変動確率ＰＡ（ｔ）と、そのときの観察者Ａの三次元位置を示す情報を、決定部１０３へ出力する。
【００６６】
いま、時刻ｔにおける観察者Ａの位置変動確率ＰＡ（ｔ）が決定部１０３に入力された場合における視域の決定方法を説明する。図９は、この場合の決定部１０３の動作例を示すフローチャートである。図９に示すように、まず、決定部１０３は、位置変動確率ＰＡ（ｔ）を元に、視域を移動させるかどうか（視域を切り替えるかどうか）を判定する（ステップＳ１００１）。この例では、決定部１０３は、位置変動確率ＰＡ（ｔ）が閾値以下の場合に、視域を移動させると判定する。この閾値は、任意に設定可能であり、観察者の移動が発生しているかどうかを判定するための値に設定される。また、ヒステリシスな判定を行うようにしてもよい。例えば、ある期間にわたって連続して観察者Ａの位置変動確率が閾値以下である場合に、視域を移動させると判定することもできる。
【００６７】
視域を移動させないと判定した場合（ステップＳ１００１：ＮＯ）、決定部１０３は、時刻ｔでの視域を、直前の時刻ｔ−１での視域と同じものに決定する（ステップＳ１００４）。一方、視域を移動させると判定した場合（ステップＳ１００１：ＹＥＳ）、決定部１０３は、観察者Ａの位置（算出部１０２から入力された時刻ｔにおける観察者Ａの三次元位置）が、時刻ｔ−１において決定された視域に含まれているかどうかを判定する（ステップＳ１００２）。
【００６８】
観察者Ａの位置が、時刻ｔ−１において決定された視域に含まれていると判定した場合（ステップＳ１００２：ＹＥＳ）、決定部１０３は、時刻ｔでの視域を、直前の時刻ｔ−１での視域と同じものに決定する（ステップＳ１００４）。一方、観察者Ａの位置が、時刻ｔ−１において決定された視域に含まれていないと判定した場合（ステップＳ１００２：ＮＯ）、決定部１０３は、観察者Ａの位置が視域の中央になるように時刻ｔでの視域を決定する（ステップＳ１００３）。より具体的には、決定部１０３は、不図示のメモリに記憶された複数の候補視域のうち、観察者Ａの位置が視域の中央になる候補視域を、時刻ｔでの視域として決定する。
【００６９】
次に、観察者の人数が複数人の場合について説明する。算出部１０２は、第１検出部１０１により三次元位置が検出された複数の観察者ごとに、当該観察者の位置変動確率を算出し、算出した位置変動確率と、そのときの当該観察者の三次元位置を示す情報を、決定部１０３へ出力する。ここでは、時刻ｔにおける各観察者の位置変動確率が決定部１０３に入力された場合における視域の決定方法を説明する。まず、決定部１０３は、入力された各観察者の位置変動確率を元に、視域を移動させるかどうかを判定する。
【００７０】
視域を移動させるどうかの判定方法は任意であるが、例えば決定部１０３は、予め定められた人数（人数は任意に変更可能）の位置変動確率から、視域を移動させるかどうかを判定することもできる。例えば決定部１０３は、何れか１人の位置変動確率が閾値以下の場合、視域を移動させると判定することもできるし、何れか２人の各々の位置変動確率が何れも閾値以下の場合、視域を移動させると判定することもできる。また、例えば決定部１０３は、三次元位置が検出された複数の観察者のうちの半数の位置変動確率が何れも閾値以下の場合、視域を移動させると判定することもできる。さらに、例えば決定部１０３は、三次元位置が検出された複数の観察者の各々の位置変動確率が何れも閾値以下の場合（全員の位置変動確率が何れも閾値以下の場合）、視域を移動させると判定することもできる。
【００７１】
視域を移動させないと判定した場合、決定部１０３は、時刻ｔでの視域を、直前の時刻ｔ−１での視域と同じものに決定する。一方、視域を移動させると判定した場合、決定部１０３は、各観察者の位置が時刻ｔ−１において決定された視域に含まれているかどうかを判定する。各観察者の位置が時刻ｔ−１において決定された視域に含まれていると判定した場合、決定部１０３は、時刻ｔでの視域を、直前の時刻ｔ−１での視域と同じものに決定する。
【００７２】
一方、１人以上の観察者の位置が時刻ｔ−１において決定された視域に含まれていないと判定した場合、決定部１０３は、不図示のメモリに記憶された複数の候補視域のうち、候補視域に存在する各観察者の位置変動確率の和が最大となる候補視域を、時刻ｔでの視域として決定する。
【００７３】
また、例えば決定部１０３は、複数の候補視域のうち、候補視域に存在する各観察者の位置変動確率の和が所定値以上であり、かつ、時刻ｔ−１での視域と候補視域との移動量が最も小さい候補視域を、時刻ｔでの視域として決定することもできる。視域の移動は小さい方が、表示画像の変化が小さく、観察者が目障りに感じることを低減できるためである。さらに、例えば決定部１０３は、各観察者が立体画像を観察する時間（観察時間）を計測しておいて、複数の候補視域のうち、候補視域に存在する各観察者の観察時間と位置変動確率との積の総和が最大となる候補視域を、時刻ｔでの視域として決定することもできる。
【００７４】
次に、図４に示す表示制御部１０４について説明する。表示制御部１０４は、決定部１０３により決定された視域が形成されるように、表示部１０を制御する。より具体的には、表示制御部１０４は、不図示のメモリに記憶された複数の視域情報のうち、決定部１０３により決定された候補視域に対応付けられた視域情報に含まれる表示パラメータの組み合わせを設定する制御を行い、立体画像を表示部１０に表示する制御を行う。
【００７５】
なお、本実施形態では、画像処理部３０のハードウェア構成は、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを備えた通常のコンピュータ装置を利用したハードウェア構成となっている。上述した各部（第１検出部１０１、算出部１０２、決定部１０３、表示制御部１０４）の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述した各部の機能のうちの少なくとも一部を専用のハードウェア回路で実現することもできる。
【００７６】
図１０は、本実施形態に係る画像処理部３０の動作例を示すフローチャートである。図１０に示すように、第１検出部１０１は、観察者の位置（三次元位置）を検出する（ステップＳ１０１）。算出部１０２は、観察者の位置の経時的変化に基づいて、位置変動確率を算出する（ステップＳ１０２）。決定部１０３は、位置変動確率に基づいて、視域を決定する（ステップＳ１０３）。表示制御部１０４は、決定された視域が形成されるよう、表示部１０を制御する（ステップＳ１０４）。
【００７７】
以上に説明したように、本実施形態では、観察者の位置の経時的変化に基づいて、観察者の移動が発生している確率を示す位置変動確率を算出し、位置変動確率に基づいて視域を決定することにより、適切な視域制御が可能になる。
【００７８】
より具体的には、位置変動確率は、観察者の移動が発生している可能性が高いほど小さい値を示し、本実施形態では、観察者の位置の経時的変化が小さいほど位置変動確率が大きくなる確率分布を用いて、位置変動確率が算出され（上記式６参照）、算出された位置変動確率が閾値以下の場合に、視域の移動（切り替え）が行われる。
【００７９】
ここで、本実施形態のように、撮影画像に映り込んだ顔を検出して観察者の三次元位置を検出する場合、カメラ２０から観察者までの距離が遠いほど、顔サイズの検出誤差が大きくなり、その検出誤差に起因する観察者の位置の変動量（ｖＡ（ｔ−１）−ｖＡ（ｔ））も大きくなるので、それに応じて算出される位置変動確率ｐＡ（ｔ）は小さくなる（上記式６参照）。このため、実際には観察者は静止しているにも関わらず、位置変動確率ｐＡ（ｔ）が閾値以下を示す場合が発生し、本来は不要なはずの視域の切り替えが行われてしまうという問題が起こる。
【００８０】
そこで、本実施形態においては、上記確率分布の幅は、センサ２０から観察者までの距離が大きいほど大きくなるように設定される。このように、センサ２０から観察者までの距離が大きくなるほど上記確率分布の幅を広げることで、例えばカメラ２０から観察者までの距離が大きいために、顔サイズの検出誤差に起因する観察者の位置の変動量（ｖＡ（ｔ−１）−ｖＡ（ｔ））が大きい場合であっても、それに応じて算出される位置変動確率ｐＡ（ｔ）が閾値以下となることを抑制できる。これにより、検出誤差に起因する視域の切り替え（本来は不要な視域の切り替え）が行われることを防止できるという有利な効果を達成できる。
【００８１】
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、表示部１０の周囲の明るさを示す照度が低いほど、上記確率分布の幅が大きくなるように設定される点で上述の第１実施形態と相違する。以下、具体的な内容を説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。
【００８２】
図１１は、第２実施形態に係る画像処理部３００の機能構成例を示すブロック図である。図１１に示すように、画像処理部３００は、第２検出部２０１をさらに備える。本実施形態では、表示部１０の周辺の明るさを検出するのに用いられる照度センサ４０が、画像処理部３０とは別に設けられている。照度センサ４０は、所定の周期で、表示部１０の周辺の明るさ（光量）に応じた電気信号を第２検出部２０１へ出力する。第２検出部２０１は、照度センサ４０からの電気信号に基づいて、表示部１０の周辺の明るさを示す照度を検出し、検出した照度を示す情報を算出部２０２へ出力する。
【００８３】
なお、例えば第２検出部２０１は、照度センサ４０を含んで構成される形態であってもよい。また、例えば照度センサ４０が設けられずに、第１検出部１０１が、カメラ２０による撮影で得られた撮影画像に基づいて照度を検出する形態であってもよい。つまり、第１検出部１０１が、第２検出部２０１の機能を兼ね備えていてもよい。
【００８４】
ここで、一般的には、周囲の照度が低いほど、カメラ２０の可視光センサが光をより多く集めるためにシャッタースピードが遅くなり、撮影画像に含まれるノイズが多くなったりボケが多くなったりする。そのため、検出・追跡される顔の位置に誤差が生じやすくなり、ひいては、観察者の３次元位置にも、その誤差が乗ることになる。そして、その検出誤差に起因する観察者の位置の変動量（観察者の位置の経時的変化）に応じて算出される位置変動確率が閾値以下を示す場合、本来は不要なはずの視域の切り替えが行われてしまうという問題が起こる。
【００８５】
そこで、本実施形態においては、算出部２０２は、第２検出部２０１により検出された照度が低いほど上記確率分布の幅が大きくなるように、上記確率分布を設定する。照度に反比例して上記確率分布の幅を広げることにより、例えば表示部１０の周辺の明るさが低いために観察者の位置の検出誤差が発生し易い状況であっても、検出誤差に起因する観察者の位置の変動量に応じて算出される位置変動確率が閾値以下まで小さくなることを抑制できる。例えば算出部２０２は、以下の式１２に示すように、第２検出部２０１により検出された照度が低いほど、σｘ、σｙ、σｚが大きくなるように設定することもできる。式１２におけるα（ｌ）は、照度に反比例して大きくなる係数を示し、照度が低くなるほど係数α（ｌ）は大きくなる。
【数１２】
2014241473.tif 000014
【００８６】
なお、本実施形態においても、第１実施形態と同様に、画像処理部３００のハードウェア構成は、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを備えた通常のコンピュータ装置を利用したハードウェア構成となっている。上述した各部（第１検出部１０１、第２検出部２０１、算出部２０２、決定部１０３、表示制御部１０４）の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述した各部の機能のうちの少なくとも一部を専用のハードウェア回路で実現することもできる。
【００８７】
図１２は、本実施形態に係る画像処理部３００の動作例を示すフローチャートである。図１２に示すように、第１検出部１０１は、観察者の位置（三次元位置）を検出する（ステップＳ１０１）。第２検出部２０１は、照度を検出する（ステップＳ２０１）。算出部２０２は、ステップＳ２０１で検出された照度に応じて確率分布を設定する。そして、算出部２０２は、設定した確率分布を用いて、観察者の位置の経時的変化に応じた位置変動確率を算出する（ステップＳ２０２）。決定部１０３は、位置変動確率に基づいて、視域を決定する（ステップＳ１０３）。表示制御部１０４は、決定された視域が形成されるよう、表示部１０を制御する（ステップＳ１０４）。
【００８８】
以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、上述の各実施形態および変形は、任意に組み合わせることもできる。
【００８９】
上述の画像処理部（３０、３００）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の画像処理部（３０、３００）で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の画像処理部（３０、３００）で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
【符号の説明】
【００９０】
１      立体画像表示装置
１０    表示部
２０    センサ、カメラ
３０    画像処理部
１０１  第１検出部
１０２  算出部
１０３  決定部
１０４  表示制御部
【図１】
2014241473.tif 000015
【図２】
2014241473.tif 000016
【図３】
2014241473.tif 000017
【図４】
2014241473.tif 000018
【図５】
2014241473.tif 000019
【図６】
2014241473.tif 000020
【図７】
2014241473.tif 000021
【図８】
2014241473.tif 000022
【図９】
2014241473.tif 000023
【図１０】
2014241473.tif 000024
【図１１】
2014241473.tif 000025
【図１２】
2014241473.tif 000026