(57)【要約】      （修正有）【課題】平置きにされた表示部に表示される立体画像を観察する１以上の観察者が良好に立体視可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供する。【解決手段】平置き型の立体画像表示装置に適用される画像処理装置であって、取得部は、少なくとも一の観察者の位置を含む観察者情報を取得する。第１算出部は、観察者情報に基づいて、観察者の位置および表示部のうちの一方から他方へ向かう視線ベクトルと、観察者の一方の目から他方の目へ向かう視点ベクトルとを算出する。第２算出部は、立体画像を決定するための複数種類の表示パラメータごとに、観察者の視線ベクトルと視点ベクトルとを用いて、表示パラメータに従った立体画像を表示部に表示した場合における立体視の良好度合いを表す重みを算出する。選択部は、重みを用いて、一の表示パラメータを選択する。決定部は、選択された表示パラメータに従って立体画像を決定する。【選択図】図６
2014135590.tif 000002
【特許請求の範囲】
【請求項１】
互いに視差を有する複数の視差画像を立体画像として表示可能な表示部に表示すべき前記立体画像を決定する画像処理装置であって、
少なくとも一の観察者の位置を含む観察者情報を取得する取得部と、
前記観察者情報に基づいて、各々の前記観察者について、当該観察者の位置および前記表示部のうちの一方から他方へ向かう視線ベクトルと、当該観察者の一方の目から他方の目へ向かう視点ベクトルとを算出する第１算出部と、
前記立体画像を決定するための複数種類の表示パラメータごとに、前記観察者の前記視線ベクトルと前記視点ベクトルとを用いて、当該表示パラメータに従った前記立体画像を前記表示部に表示した場合における立体視の良好度合いを表す重みを、前記観察者ごとに算出する第２算出部と、
前記重みを用いて、一の前記表示パラメータを選択する選択部と、
選択された前記表示パラメータに従って前記立体画像を決定する決定部と、を備える、
画像処理装置。
【請求項２】
前記選択部は、前記観察者の前記重みの総和が最大となる前記表示パラメータを選択する、
請求項１に記載の画像処理装置。
【請求項３】
前記重みは、前記視線ベクトルの方向と、前記視差画像の上下方向の向きを示す上下ベクトルの方向との関係、および、前記視差画像間の視差量を示す視差ベクトルの方向と、前記視点ベクトルの方向との関係が、予め定められた条件を満たす場合は、前記予め定められた条件を満たさない場合に比べて大きい値となる、
請求項２に記載の画像処理装置。
【請求項４】
前記表示部は、前記表示部のうち前記立体画像が表示される画像表示面と水平面とが平行になるように設置され、
前記水平面において下から上へ向かう方向を正とした場合の、前記観察者の位置から前記表示部へ向かう前記視線ベクトルと、前記水平面において下から上へ向かう方向を正とした場合の、前記視差画像の下から上の向きを示す前記上下ベクトルとの内積を示す第１の内積と、前記観察者の左目に対応する前記視差画像を基準とし、かつ、前記水平面において右から左へ向かう方向を正とした場合の、前記観察者の左目に対応する前記視差画像と前記観察者の右目に対応する前記視差画像との間の視差量を示す前記視差ベクトルと、前記水平面において右から左へ向かう方向を正とした場合の、前記観察者の右目から左目へ向かう前記視点ベクトルとの内積を示す第２の内積との積が正の値である場合に、前記予め定められた条件を満たす、
請求項３に記載の画像処理装置。
【請求項５】
前記重みの値は、前記第１の内積と前記第２の内積との積に応じた値になる、
請求項４に記載の画像処理装置。
【請求項６】
前記第２算出部は、各々の前記観察者について、前記第１の内積と前記第２の内積との積に応じた第１の重みと、当該観察者の位置において立体視可能な領域の面積に応じた第２の重みと、を算出し、前記第１の重みと前記第２の重みとに基づいて当該観察者の前記重みを算出する、
請求項５に記載の画像処理装置。
【請求項７】
前記第２算出部は、各々の前記観察者について、前記第１の内積と前記第２の内積との積に応じた第１の重みと、当該観察者の位置において前記表示部から出射される光線の密度に応じた第３の重みと、を算出し、前記第１の重みと前記第３の重みとに基づいて当該観察者の前記重みを算出する、
請求項５または請求項６に記載の画像処理装置。
【請求項８】
前記表示パラメータは、前記表示部に表示される前記立体画像の画素の並びを可変に設定するための画素パラメータを含む、
請求項１ないし請求項７の何れか１項に記載の画像処理装置。
【請求項９】
前記取得部は、
メインレンズとマイクロレンズアレイとを含む複眼カメラを用いて、複数のマイクロレンズ像から形成される複眼画像を撮影する撮影部と、
前記複眼画像を用いて、前記観察者情報を算出する観察者情報算出部と、を含む、
請求項１に記載の画像処理装置。
【請求項１０】
少なくとも一の観察者の位置を含む観察者情報を取得し、
前記観察者情報に基づいて、各々の前記観察者について、当該観察者の位置、および、
互いに視差を有する複数の視差画像を立体画像として表示可能な表示部のうちの一方から他方へ向かう視線ベクトルと、当該観察者の一方の目から他方の目へ向かう視点ベクトルとを算出し、
前記立体画像を決定する複数種類の表示パラメータごとに、前記観察者の前記視線ベクトルと前記視点ベクトルとを用いて、当該表示パラメータに従った前記立体画像を前記表示部に表示した場合における立体視の良好度合いを表す重みを、前記観察者ごとに算出し、
前記重みを用いて、一の前記表示パラメータを選択し、
選択した前記表示パラメータに従って、前記表示部に表示する前記立体画像を決定する、
画像処理方法。
【請求項１１】
コンピュータを、
少なくとも一の観察者の位置を含む観察者情報を取得する取得手段と、
前記観察者情報に基づいて、各々の前記観察者について、当該観察者の位置、および、互いに視差を有する複数の視差画像を立体画像として表示可能な表示部のうちの一方から他方へ向かう視線ベクトルと、当該観察者の一方の目から他方の目へ向かう視点ベクトルとを算出する第１算出手段と、
前記立体画像を決定する複数種類の表示パラメータごとに、前記観察者の前記視点ベクトルと前記視線ベクトルとを用いて、当該表示パラメータに従った前記立体画像を前記表示部に表示した場合における立体視の良好度合いを表す重みを、前記観察者ごとに算出する第２算出手段と、
前記重みを用いて、一の前記表示パラメータを選択する選択手段と、
選択された表示パラメータに従って、前記表示部に表示する前記立体画像を決定する決定手段として機能させる、
画像処理プログラム。
【請求項１２】
互いに視差を有する複数の視差画像を立体画像として表示可能な表示部と、
少なくとも一の観察者の位置を含む観察者情報を取得する取得部と、
前記観察者情報に基づいて、各々の前記観察者について、当該観察者の位置および前記表示部のうちの一方から他方へ向かう視線ベクトルと、当該観察者の一方の目から他方の目へ向かう視点ベクトルとを算出する第１算出部と、
前記立体画像を決定する複数種類の表示パラメータごとに、前記観察者の前記視点ベクトルと前記視線ベクトルとを用いて、当該表示パラメータに従った前記立体画像を前記表示部に表示した場合における立体視の良好度合いを表す重みを、前記観察者ごとに算出する第２算出部と、
前記重みを用いて、一の前記表示パラメータを選択する選択部と、
選択された表示パラメータに従って、前記表示部に表示する前記立体画像を決定する決定部と、を備える、
立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、立体画像表示装置に関する。
【背景技術】
【０００２】
従来、全周囲から立体視可能な平置き型の立体画像表示装置が知られている。例えば、テーブルなどを囲む複数の観察者の各々が立体画像を観察できるよう、パネルに配列された複数の画素間に鏡面や壁面を設け、周囲の各方向に対して、限定された（予め定められた）画素からの光線のみが届くようにする技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３１６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、画素間に鏡面や壁面を設ける必要があるので、構成が複雑になるという問題がある。本発明が解決しようとする課題は、簡易な構成で、平置きにされた表示部に表示される立体画像を観察する１以上の観察者が良好に立体視可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供することである。
【課題を解決するための手段】
【０００５】
実施形態の画像処理装置は、平置き型の立体画像表示装置に適用される画像処理装置であって、取得部と第１算出部と第２算出部と選択部と決定部とを備える。取得部は、少なくとも一の観察者の位置を含む観察者情報を取得する。第１算出部は、観察者情報に基づいて、各々の観察者について、当該観察者の位置および表示部のうちの一方から他方へ向かう視線ベクトルと、当該観察者の一方の目から他方の目へ向かう視点ベクトルとを算出する。第２算出部は、立体画像を決定するための複数種類の表示パラメータごとに、観察者の視線ベクトルと視点ベクトルとを用いて、当該表示パラメータに従った立体画像を表示部に表示した場合における立体視の良好度合いを表す重みを、観察者ごとに算出する。選択部は、重みを用いて、一の表示パラメータを選択する。決定部は、選択された表示パラメータに従って立体画像を決定する。
【図面の簡単な説明】
【０００６】
【図１】実施形態の立体画像表示装置を上方から俯瞰した様子を示す図。
【図２】実施形態の立体画像表示装置を側方から見たときの様子を示す図。
【図３】実施形態の立体画像表示装置の概略図。
【図４】実施形態の表示部の構成例を示す図。
【図５】実施形態の各視差画像に割り当てられる視差番号を説明するための図。
【図６】実施形態の画像処理部の構成例を示す図。
【図７】実施形態の立体視の条件を説明するための図。
【図８】実施形態の視域および逆視領域の模式図。
【図９】実施形態の立体視の条件を説明するための図。
【図１０】実施形態の視域および逆視領域の模式図。
【図１１】実施形態の視域パラメータを説明するための図。
【図１２】実施形態の視域パラメータを説明するための図。
【図１３】実施形態の互いに隣り合う視域について説明するための図。
【図１４】実施形態の画素の並びのピッチによる視域の制御例を示す図。
【図１５】実施形態の表示部の移動、回転、変形による視域の制御例を示す図。
【図１６】実施形態の光線パラメータを説明するための図。
【図１７】実施形態の第２の重みの算出方法を説明するための図。
【図１８】実施形態の第３の重みの算出方法を説明するための図。
【図１９】実施形態の画像処理部による処理の一例を示すフローチャート。
【図２０】変形例の撮影部の構成例を示す図。
【発明を実施するための形態】
【０００７】
以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、立体画像表示装置の実施の形態を詳細に説明する。以下の実施形態の立体画像表示装置は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多目方式等の３Ｄディスプレイ方式を採用したものであってよい。立体画像とは、互いに視差を有する複数の視差画像を含む画像であり、視差とは、異なる方向から見ることによる見え方の差をいう。なお、実施形態で述べる画像とは、静止画像又は動画像のいずれであってもよい。
【０００８】
本実施形態に係る立体画像表示装置１００は、立体画像が表示される画像表示面Ｐを有する表示部（ディスプレイ）１０を備える。この表示部１０は、画像表示面Ｐと水平面とが平行になるように設置される。より具体的には、表示部１０は、画像表示面Ｐと、法線の方向が鉛直方向（重力方向）と一致する水平面とが平行になるように設置される。なお、画像表示面Ｐと水平面とが平行であるとは、画像表示面Ｐと水平面とが完全に平行な場合だけでなく、画像表示面Ｐと水平面とが略平行な場合も含まれ得る。すなわち、立体画像表示装置１００は、平置き型の立体画像表示装置である。図１は、立体画像表示装置１００を、鉛直方向上方から俯瞰した様子を示す模式図である。図２は、立体画像表示装置１００を、側方から見たときの様子を示す模式図である。ここでは、鉛直方向をＺ軸、画像表示面Ｐと平行な水平面においてＺ軸に直交する左右方向をＸ軸、その水平面においてＸ軸に直交する上下方向をＹ軸に設定するが、座標系の設定の仕方はこれに限られるものではない。
【０００９】
図３は、本実施形態の立体画像表示装置１００の概略図である。図３に示すように、立体画像表示装置１００は、表示部１０と、画像処理部２０とを備える。表示部１０は、互いに視差を有する複数の視差画像を含む立体画像を表示するデバイスである。図４に示すように、表示部１０は、表示素子１１と光線制御素子１２とを含む。
【００１０】
視差画像は、立体画像を視聴者に観察させるのに用いる画像であり、立体画像を構成する個々の画像である。立体画像は、視聴者の視点位置から、光線制御素子１２を通して表示素子１１を観察した場合、視聴者の一方の目には一の視差画像が観察され、もう一方の目には他の視差画像が観察されるように、視差画像の各画素を割り当てたものである。すなわち、各視差画像の画素が並べ替えられることにより、立体画像が生成される。
【００１１】
ここで、視差画像ごとに割り当てられる視差番号について説明する。一例として、視差数が「５」の場合を想定する。この例では、図５に示すように、５つのカメラ（視点）が一定の間隔で配置され、最も左側のカメラ１に対応する視差画像の視差番号を「１」とし、カメラの位置が右に近いほど、当該カメラに対応する視差画像の視差番号は増大していき、最も右側のカメラ５に対応する視差画像の視差番号を「５」とする。つまり、本実施形態では、視差番号が増大するほど、その視差番号が割り当てられる視差画像は、右視点に対応する視差画像となる。
【００１２】
再び図４に戻って説明を続ける。表示素子１１は、立体画像を表示する。表示素子１１は、色成分を有する複数のサブ画素（例えば、Ｒ、Ｇ、Ｂ）を、第１方向（例えば、図４における行方向）と、第２方向（例えば、図４における列方向）とに、マトリクス状に配列した液晶パネルである。この場合、第１方向に並ぶＲＧＢ各色のサブ画素が１画素を構成する。表示素子１１のサブ画素の配列は、他の公知の配列であっても構わない。また、サブ画素は、ＲＧＢの３色に限定されない。例えば、４色以上であってもよい。
【００１３】
また、表示素子１１としては、直視型２次元ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、投射型ディスプレイなどを用いることができる。また、表示素子１１は、バックライトを備えた構成でもよい。
【００１４】
光線制御素子１２は、表示素子１１の各サブ画素からの光線の出射方向を制御する。光線制御素子１２と表示素子１１とは、一定の距離（ギャップ）を有する。光線制御素子１２は、光線を出射するための光学的開口部が直線状に延伸し、当該光学的開口部が第１方向に複数配列されたものである。光線制御素子１２には、例えば、シリンドリカルレンズが複数配列されたレンチキュラーシート、スリットが複数配列されたパララックスバリア等を用いることができる。なお、光線制御素子１２は、光学的開口部の延伸方向が表示素子１１の列方向（第２方向）に対して所定の傾きを有するように配置される構成（斜めレンズの構成）であってもよい。
【００１５】
光学的開口部は、表示素子１１の各要素画像に対応して配置される。ここでは、第１方向に並ぶＲＧＢ各色のサブピクセルが１画素を構成し、隣接する画素を視差の数だけ、第１方向に並べた画素群に表示される画像を要素画像と呼ぶ。要素画像は、複数の視差画像の各々の画素を含む画像であると捉えることもできる。ここでは、表示部１０（表示素子１１）に表示される要素画像の集合が立体画像を構成する。表示素子１１に複数の要素画像が表示されると、複数の視差方向に対応した画像光線が、光線制御素子１２の各光学的開口部を透過する。そして、視域（立体画像を観察可能な領域）内に位置する観察者は、要素画像に含まれる異なる画素（異なる視差画像の画素）を、左目および右目でそれぞれ観察することになる。このように、観察者の左目および右目に対し、視差の異なる画像をそれぞれ提示することで、観察者は、表示部１０に表示される立体画像を立体的に視認できる（立体視できる）。
【００１６】
次に、図３に示す画像処理部２０について説明する。画像処理部２０は、互いに視差を有する複数の視差画像を立体画像として表示可能な表示部１０に表示すべき立体画像を決定する。この例では、画像処理部２０は、請求項の「画像処理装置」に対応している。図６は、画像処理部２０の構成例を示す図である。図６に示すように、画像処理部２０は、取得部２１と、第１算出部２２と、記憶部２３と、第２算出部２４と、選択部２５と、決定部２６と、出力部２７とを有する。
【００１７】
取得部２１は、少なくとも一の観察者（ユーザ）の位置を含む観察者情報を取得する。本実施形態では、取得部２１は、立体画像の観察位置として想定された位置を含む所定空間を撮影する撮影部（例えばカメラ）と、撮影部により撮影された画像（撮影画像）から１以上の観察者の位置を検出（特定）する検出部とを含み、検出部により検出された１以上の観察者の位置を含む観察者情報を取得することができる。例えば観察者情報には、１以上の観察者の顔の向きを示す情報が含まれてもよい。この場合、検出部は、撮影画像に映り込んだ１以上の観察者の顔の向きを検出する機能を有する。
【００１８】
また、例えば取得部２１が、上記撮影部および検出部を有さずに、検出部により検出された観察者情報が外部装置（例えばサーバ装置）や不図示のメモリに保持される形態であってもよい。この場合、取得部２１は、外部装置（例えばサーバ装置）や不図示のメモリにアクセスして観察者情報を取得することができる。
【００１９】
第１算出部２２は、取得部２１により取得された観察者情報に基づいて、各々の観察者（撮影画像に映り込んだ各観察者）について、当該観察者の位置および表示部１０のうちの一方から他方へ向かう視線ベクトルと、当該観察者の一方の目から他方の目へ向かう視点ベクトルとを算出する。例えば第１算出部２２は、観察者情報に含まれる各観察者の位置に基づいて、各観察者の視線ベクトルおよび視点ベクトルを算出することができる。第１算出部２２により算出された各観察者の視線ベクトルおよび視点ベクトルは、第２算出部２４へ送られる。
【００２０】
記憶部２３は、表示部１０に表示する立体画像を決定するための複数種類の表示パラメータを記憶する。表示パラメータは、表示部１０に表示される立体画像の画素の並びを可変に設定するための画素パラメータ（表示パラメータごとに画素の並びを変化させるためのパラメータ）、視域を制御するための視域パラメータ、および、各画素から出射される光線の密度を示す光線密度を制御する光線パラメータなどを含む。
【００２１】
ここで、例えば机上等の水平面に設置された表示部１０の周囲に存在する観察者が、表示部１０に表示された立体画像を観察できるための条件（立体視の条件）について説明する。ここでは、一例として、図７に示すように、視差数が「５」の立体画像が表示部１０に表示される場合を想定して説明する。図７に示す数字は、その数字に対応する視差画像を表すものとする。
【００２２】
図７の例では、光線制御素子１２のひとつの光学的開口部に対向して配置される画素群（要素画像）のうち、左から数えて第１番目の画素には視差番号「５」の画素が割り当てられ、左から数えて第２番目の画素には視差番号「４」の画素が割り当てられ、左から数えて第３番目の画素には視差番号「３」の画素が割り当てられ、左から数えて第４番目の画素には視差番号「２」の画素が割り当てられ、左から数えて第５番目の画素（要素画像のうち最も右側の画素）には視差番号「１」の画素が割り当てられるよう、画素パラメータが設定されている。
【００２３】
本実施形態では、観察者の位置および表示部１０のうちの一方から他方へ向かう視線ベクトルは、観察者の位置から表示部１０へ向かうベクトルであり、視線ベクトルの方向が、画像表示面Ｐと平行な水平面において下から上へ向かう方向（図７のＹ方向の正側から負側へ向かう方向）を示す場合、視線ベクトルの方向は正であると定義する。また、本実施形態では、立体画像に含まれる視差画像の上下方向の向きを示す上下ベクトルは、視差画像の下から上の向きを示すベクトルであり、上下ベクトルの方向が、水平面において下から上へ向かう方向（図７のＹ方向の正側から負側に向かう方向）を示す場合、上下ベクトルの方向は正であると定義する。図７の例では、表示部１０に表示される立体画像に含まれる各視差画像の上下ベクトルの方向は、いずれの視差画像についても正となるよう、画素パラメータが設定されている。
【００２４】
また、本実施形態では、視差画像間の視差量を示す視差ベクトルは、観察者の左目に対応する視差画像(以下、左目用視差画像と呼ぶ場合がある)を基準として、左目用視差画像と、観察者の右目に対応する視差画像（以下、右目用視差画像と呼ぶ場合がある）との視差量を示すベクトルであり、視差ベクトルの方向が、水平面において右から左へ向かう方向（図７において左向きの方向）を示す場合、視差ベクトルの方向は正であると定義する。また、本実施形態では、観察者の一方の目から他方の目へ向かう視点ベクトルは、右目から左目へ向かうベクトルであり、視点ベクトルの方向が、水平面において右から左へ向かう方向を示す場合、視点ベクトルの方向は正であると定義する。
【００２５】
以上の定義の下では、視線ベクトルと上下ベクトルの内積を示す第１の内積と、視差ベクトルと視点ベクトルの内積を示す第２の内積との積が正の値である場合に、立体視の条件が成立し、観察者は立体画像を観察できる。ただし、第１の内積と第２の内積との積が正の値であっても、第１の内積の値が負である場合、観察者は、上下方向の向きが反転した立体画像を観察することになる（逆さの状態の立体画像を観察することになる）。
【００２６】
なお、視線ベクトル、上下ベクトル、視差ベクトル、および、視点ベクトルの各々の定義は、上述した本実施形態の内容に限られるものではない。例えば、視線ベクトルは、表示部１０から観察者の位置へ向かうベクトルであると定義することもできる。また、上下ベクトルは、視差画像の上から下の向きを示すベクトルであると定義することもできる。また、視差ベクトルは、観察者の右目用視差画像を基準として、右目用視差画像から左目用視差画像への視差を示すベクトルであると定義することもできる。さらに、視点ベクトルは、観察者の左目から右目へ向かうベクトルであると定義することもできる。
【００２７】
また、以上のような定義と、本実施形態における定義とを任意に組み合わせることもできる。要するに、視線ベクトル、上下ベクトル、視差ベクトル、および、視点ベクトルの各々をどのように定義したとしても、上記条件（本実施形態における定義の下、視線ベクトルと上下ベクトルの内積を示す第１の内積と、視差ベクトルと視点ベクトルの内積を示す第２の内積との積が正の値であること）と等価の条件が成立した場合にのみ、観察者は立体画像を観察することができる。
【００２８】
図７の説明を続ける。まず、水平面において表示部１０よりも下側（図７のＹ方向の正側）に存在する観察者Ｕ１について説明する。観察者Ｕ１の位置から表示部１０へ向かう視線ベクトルの方向は、水平面において下から上へ向かう方向（図７のＹ方向の正側から負側へ向かう方向）を示すので、観察者Ｕ１の視線ベクトルの方向は正となる。さらに、観察者Ｕ１の上下ベクトルについては、観察者Ｕ１の位置から表示部１０を観察した場合に最も面積が広くなる視差画像の上下ベクトルを考える。前述したように、図７の例では、表示部１０に表示される立体画像に含まれる各視差画像の上下ベクトルの方向は何れも正であるので、観察者Ｕ１の上下ベクトルの方向は正となる。したがって、観察者Ｕ１の視線ベクトルと上下ベクトルとの内積を示す第１の内積は正の値となる。
【００２９】
また、図７に示すように、水平面において、観察者Ｕ１の左目は右目よりも左側に位置する。そして、観察者Ｕ１の左目に対応する視差画像は視差番号「１」の視差画像である一方、右目に対応する視差画像は視差番号「２」の視差画像であり、左目に対応する視差画像から右目に対応する視差画像への視差量を示す視差ベクトルの方向は、右から左へ向かう方向（図７において左向きの方向）となる。したがって、観察者Ｕ１の視差ベクトルの方向は正となる。また、観察者Ｕ１の右目から左目へ向かう視点ベクトルの方向は、水平面において右から左へ向かう方向を示すので、観察者Ｕ１の視点ベクトルの方向は正である。したがって、観察者Ｕ１の視差ベクトルと視点ベクトルとの内積を示す第２の内積は正の値となる。
【００３０】
以上より、観察者Ｕ１については、視線ベクトルと上下ベクトルの内積を示す第１の内積と、視差ベクトルと視点ベクトルの内積を示す第２の内積との積が正の値となる。したがって、観察者Ｕ１は、表示部１０に表示される立体画像を観察することができる。さらに、観察者Ｕ１については、視線ベクトルと上下ベクトルとの内積を示す第１の内積が正の値を示すので、観察者Ｕ１は、上下方向の向きが正しい立体画像を観察することができる。
【００３１】
次に、水平面において、表示部１０を挟んで観察者Ｕ１とは反対側に存在する（表示部１０よりも上側に存在する）観察者Ｕ２について説明する。図７に示すように、観察者Ｕ２の位置から表示部１０へ向かう視線ベクトルの方向は、水平面において上から下へ向かう方向（図７のＹ方向の負側から正側へ向かう方向）を示すので、観察者Ｕ２の視線ベクトルの方向は負となる。また、観察者Ｕ２の上下ベクトルについては、観察者Ｕ２の位置から表示部１０を観察した場合に最も面積が広くなる視差画像の上下ベクトルを考える。前述したように、図７の例では、表示部１０に表示される立体画像に含まれる各視差画像の上下ベクトルの方向は何れも正となるので、観察者Ｕ２の上下ベクトルの方向は正となる。したがって、観察者Ｕ２の視線ベクトルと上下ベクトルとの内積を示す第１の内積は負の値となる。
【００３２】
また、図７に示すように、観察者Ｕ１とは反対に、水平面において、観察者Ｕ２の左目は右目よりも右側に位置する。そして、観察者Ｕ２の左目に対応する視差画像は視差番号「５」の視差画像である一方、右目に対応する視差画像は視差番号「４」の視差画像であり、左目に対応する視差画像から右目に対応する視差画像への視差量を示す視差ベクトルの方向は、右から左へ向かう方向（図７において左向きの方向）となる。したがって、観察者Ｕ２の視差ベクトルの方向は正となる。また、図７の例では、観察者Ｕ２の右目から左目へ向かう視点ベクトルの方向は、水平面において左から右へ向かう方向を示すので、観察者Ｕ２の視点ベクトルの方向は負である。したがって、観察者Ｕ２の視差ベクトルと視点ベクトルとの内積を示す第２の内積は負の値となる。
【００３３】
以上より、観察者Ｕ２については、視線ベクトルと上下ベクトルの内積を示す第１の内積と、視差ベクトルと視点ベクトルの内積を示す第２の内積との積は、負の値同士の積となるので、第１の内積と第２の内積との積は正の値となり、立体視の条件を満たす。したがって、観察者Ｕ２は、表示部１０に表示される立体画像を観察することができる。ただし、観察者Ｕ２については、視線ベクトルと上下ベクトルの内積を示す第１の内積が負の値を示すので、観察者Ｕ２は、上下方向が反転した立体画像を観察することになる。
【００３４】
図８は、表示部１０の各画素の並びが図７のように設定された場合の視域および逆視領域（立体画像を観察できない領域）を示す模式図である。図８に示すように、視域および逆視領域は、表示部１０を挟んで対称となるように発生する。
【００３５】
次に、図９に示すように、図７に例示した５つの視差画像のうちの一部の配置を入れ替えた場合を例に挙げて説明する。図９の例では、上下方向を反転させた視差番号「５」の視差画像を、図７において視差番号「４」の視差画像が割り当てられていた場所に割り当てるとともに、上下方向を反転させた視差番号「４」の視差画像を、図７において視差番号「５」の視差画像が割り当てられていた場所に割り当てる画素の並びになるように画素パラメータが設定されている。この例では、視差番号「４」の視差画像、および、視差番号「５」の視差画像の各々の下から上の向きを示す上下ベクトルは、水平面において上から下へ向かう方向（図９のＹ方向の負側から正側へ向かう方向）を示すことになるので、視差番号「４」の視差画像、および、視差番号「５」の視差画像の各々の上下ベクトルの方向は負となる。
【００３６】
図９において、観察者Ｕ１および観察者Ｕ２の位置は、図７の場合と同じである。観察者Ｕ１については、視線ベクトル、上下ベクトル、視差ベクトルおよび視点ベクトルの各々の方向は、図７の場合と同様である。したがって、図９の場合であっても、観察者Ｕ１は、上下方向の向きが正しい立体画像を観察することができる。
【００３７】
次に、観察者Ｕ２について説明する。観察者Ｕ２の視線ベクトルの方向は、図７の場合と同様に負である。観察者Ｕ２の上下ベクトルについては、観察者Ｕ２の位置から表示部１０を観察した場合に最も面積が広くなる視差画像の上下ベクトルを考える。図９の例では、観察者Ｕ２の位置から表示部１０を観察した場合に最も面積が広くなる視差画像は、上下方向が反転された視差番号「４」の視差画像または上下方向が反転された視差番号「５」の視差画像となる。上下方向が反転された視差番号「４」の視差画像または上下方向が反転された視差番号「５」の視差画像の下から上の向きは、水平面において上から下へ向かう方向となるので、観察者Ｕ２の上下ベクトルの方向は負となる。したがって、観察者Ｕ２の視線ベクトルと上下ベクトルとの内積を示す第１の内積は正の値となる。
【００３８】
また、図９に示すように、観察者Ｕ２の左目に対応する視差画像は、上下方向が反転された視差番号「４」の視差画像である一方、右目に対応する視差画像は、上下方向が反転された視差番号「５」の視差画像であり、左目に対応する視差画像から右目に対応する視差画像への視差量を示す視差ベクトルの方向は、左から右へ向かう方向（図９において右向きの方向）となる。したがって、観察者Ｕ２の視差ベクトルの方向は負となる。また、観察者Ｕ２の視点ベクトルの方向は、図７の場合と同様に負である。したがって、観察者Ｕ２の視差ベクトルと視点ベクトルとの内積を示す第２の内積は正の値となる。
【００３９】
以上より、観察者Ｕ２については、視線ベクトルと上下ベクトルの内積を示す第１の内積と、視差ベクトルと視点ベクトルの内積を示す第２の内積との積は、正の値同士の積となるので、第１の内積と第２の内積との積は正の値となり、立体視の条件を満たす。したがって、観察者Ｕ２は、表示部１０に表示される立体画像を観察することができる。さらに、図７の場合とは異なり、視線ベクトルと上下ベクトルの内積を示す第１の内積は正の値を示すので、観察者Ｕ２は、上下方向の向きが正しい立体画像を観察することができる。
【００４０】
図１０は、表示部１０の各画素の並びが図９のように設定された場合の視域および逆視領域を示す模式図である。図１０に示すように、視域および逆視領域は、表示部１０を挟んで対称となるように発生する。図１０の網点で示された視域は、観察者が、上下方向の向きが反転した立体画像を観察可能な領域を表す。
【００４１】
以上のように、例えば机上等の水平面に設置された表示部１０の周囲に存在する観察者が、表示部１０に表示された立体画像を観察できるか否かは、画素パラメータに応じて変化する。本実施形態では、記憶部２３に記憶された複数の表示パラメータの各々は、互いに相違する画素パラメータを含んでいる。つまり、表示パラメータごとに、立体画像の画素の並びが異なるように設定されている。
【００４２】
次に、表示パラメータに含まれる視域パラメータについて説明する。視域パラメータとしては、画像のシフト、画素並びのピッチ、レンズと画素の隙間(ギャップ)、表示部１０（ディスプレイ）の回転、変形、位置の移動などが挙げられる。以下、図１１および図１２を参照しながら、視域パラメータについて説明する。表示画像を例えば右にシフトさせると、立体視が良好に行える場所、すなわち「視域」は、図１１に示す視域Ａから視域Ｂに変化する。これは、図１２の（ａ）と（ｃ）との比較から分かるように、光線Ｌが（ｃ）の場合では左に寄ることにより、視域も左に寄って視域Ｂに変化することによる。
【００４３】
表示素子１１と光線制御素子１２との隙間を短くすると、図１２の（ａ）と（ｂ）の比較から分かるように、図１１に示す視域Ａから視域Ｃに変化する。この場合、視域が近くなるが光線密度は減ることになる。
【００４４】
なお、表示素子１１に配列された複数の画素（サブ画素）の各々からの光線は、当該画素に対応する光学的開口部を経て出射する。視域の形状は、図１２に示すθやηによって幾何的に求めることが可能である。
【００４５】
図１３を参照しながら、互いに隣り合う視域に関して説明する。立体視の観察を主に行う視域Ａの隣の視域Ｂは、（左端の画素，左端より１個右のレンズ）と、（右端より１個左の画素，右端のレンズ）の組合せによって形成される視域である。この視域Ｂをさらに左側や右側に移動することも可能である。
【００４６】
図１４を参照しながら、表示する画素の並び（表示ピッチ）による視域の制御について説明する。画面の端（右端、左端）ほど、表示素子１１と光線制御素子１２の位置を相対的に多くずらすことにより視域を制御することができる。表示素子１１と光線制御素子１２の相対位置のずれ量を大きくすると、視域は、同図に示す視域Ａから視域Ｂに変化する。逆に、表示素子１１と光線制御素子１２の相対位置のずれ量を小さくすると、視域は、同図に示す視域Ａから視域Ｃに変化する。このように、視域の幅や近さを、画素の並びのピッチによって制御することが可能である。なお、最も視域の幅が広い場所を視域設定距離と呼ぶ。
【００４７】
次に、図１５を参照しながら、表示部１０の移動、回転、または変形による視域の制御について説明する。図１５の（ａ）に示すように、表示部１０を回転することにより、基本時の視域Ａを視域Ｂに変化させることができる。同様に、表示部１０を移動することにより、基本時の視域Ａを視域Ｃに変化させることができ、表示部１０を変形することにより、基本時の視域Ａを視域Ｄに変化させることができる。例えば視域パラメータとして、表示部１０の移動、回転、または変形の状態を指定する情報を含むことができ、その情報に応じて視域が決まる。
【００４８】
次に、図１６を参照しながら、光線パラメータに関して説明する。例えば図１６（ａ）に示すように視差数が「６」の場合、同図から分かるように、相対的に観察者３００よりも表示部１０に近い観察者３０１は、視差を与える光線の数が多くなり、立体視が良好なものとなる。ここでは、説明の便宜上、表示部１０は、画像表示面Ｐが観察者３００および観察者３０１と向かい合うように（対向するように）配置されている場合を例に挙げて説明する。また、図１６（ｂ）に示すように視差数が「３」の場合、（ａ）の場合よりも視差数が減って光線が疎になるので、等距離での立体視は困難になる。表示部１０の各画素から出射する光線の光線密度は、レンズや隙間に応じて決まる角度θと、視差数と、観察者の位置とから算出することができる。観察者の位置は、取得部２１により取得されるので、例えば光線パラメータには、レンズや隙間に応じて決まる角度θと視差数とを指定する情報が含まれる。
【００４９】
本実施形態では、画素パラメータを含む表示パラメータと、観察者の視線ベクトルおよび視点ベクトルとを用いて、当該観察者の第１の内積および第２の内積を特定することができる。なお、本実施形態では、表示パラメータは、画素パラメータと視域パラメータと光線パラメータとを含んでいるが、これに限られるものではなく、他のパラメータが含まれる形態であってもよいし、視域パラメータまたは光線パラメータが含まれない形態であってもよい。ここでは、表示パラメータは、少なくとも画素パラメータを含むものであればよい。
【００５０】
再び図６に戻って説明を続ける。第２算出部２４は、立体画像を決定するための複数種類の表示パラメータごとに、観察者の位置ベクトルと視点ベクトルとを用いて、当該表示パラメータに従った立体画像を表示部１０に表示した場合における立体視の良好度合いを表す重みを、観察者ごとに算出する。より具体的には、第２算出部２４は、各観察者の視点ベクトルおよび視線ベクトルを第１算出部２２から受け取ると、その各観察者の視点ベクトルと視線ベクトルを用いて、記憶部２３に記憶された複数種類の表示パラメータごとに、当該表示パラメータに従った立体画像を表示部１０に表示した場合における立体視の良好度合いを表す重みを観察者ごとに算出する。この重みは、視線ベクトルの方向と上下ベクトルの方向との関係、および、視差ベクトルの方向と視点ベクトルの方向との関係が、予め定められた条件（立体視の条件）を満たす場合は、予め定められた条件を満たさない場合に比べて大きい値となる。より具体的には以下のとおりである。
【００５１】
前述したように、本実施形態では、観察者の位置から表示部１０へ向かう視線ベクトルの方向が、水平面において下から上へ向かう方向を示す場合、視線ベクトルの方向は正であると定義する。また、視差画像の下から上の向きを示す上下ベクトルの方向が、水平面において下から上へ向かう方向を示す場合、上下ベクトルの方向は正であると定義する。また、左目用視差画像を基準として、左目用視差画像と、右目用視差画像との視差量を示す視差ベクトルの方向が、水平面において右から左へ向かう方向（左向きの方向）を示す場合、視差ベクトルの方向は正であると定義する。また、観察者の右目から左目へ向かう視点ベクトルの方向が、水平面において右から左へ向かう方向を示す場合、視点ベクトルの方向は正であると定義する。この定義の下、視線ベクトルと上下ベクトルとの内積を示す第１の内積と、視差ベクトルと視点ベクトルとの内積を示す第２の内積との積が正の値である場合に、上記予め定められた条件（立体視の条件）を満たす。
【００５２】
本実施形態では、重みの値は、第１の内積と第２の内積との積に応じた値となる。さらに言えば、第２算出部２４は、記憶部２３に記憶された複数の表示パレメータのうちの何れか１つの表示パラメータと、各観察者の視線ベクトルおよび視点ベクトルとに基づいて、各々の観察者について、第１の内積と第２の内積との積に応じた第１の重みと、当該観察者の位置において立体視可能な領域の面積に応じた第２の重みと、当該観察者の位置における光線密度に応じた第３の重みと、を算出し、第１の重みと第２の重みと第３の重みとに基づいて当該観察者の重みを算出する。そして、各観察者の重みと、重みの算出に用いた表示パラメータとを対応付けた情報を示す重み情報を選択部２５へ送る。この例では、第２算出部２４は、記憶部２３に記憶された複数の表示パラメータの数と同数の重み情報を、選択部２５へ送ることになる。
【００５３】
ここで、第１の重みの算出方法について説明する。ある観察者ｉの第１の重みｗｉは、以下の式１で表すことができる。
【数１】
2014135590.tif 000003
上記式１において、ｖｉは視線ベクトルを表し、ｔｉは上下ベクトルを表し、ｅｉは視点ベクトルを表し、ｄｉは視差ベクトルを表す。上記式１に示すように、本実施形態では、第１の重みｗｉは、視線ベクトルｖｉと上下ベクトルｔｉとの内積を示す第１の内積と、視差ベクトルｄｉと視点ベクトルｅｉとの内積を示す第２の内積との積で表される。したがって、ある観察者ｉが立体視可能な場合は、第１の重みｗｉは正の値となり、第１の重みｗｉの値が大きい値を示すほど、立体視が良好となる（立体視の良好度合いが高くなる）。
【００５４】
さらに、観察者ｉが立体視可能であっても、上下方向の向きが正しい立体画像を観察することができるかどうかによって第１の重みｗｉを変えることもできる。例えば上下方向の向きが正しい立体画像を観察することができる場合は、上下方向が反転した立体画像を観察する場合に比べて第１の重みｗｉの値が高くなるように設定することもできる。この場合、第１の重みｗｉは、以下の式２で表すことができる。
【数２】
2014135590.tif 000004
上記式２において、αの範囲は、０≦α＜１となる。上記式２は、画像の上下方向の向きが正しい向きとは逆になっている場合の評価を下げていることを意味する。
【００５５】
次に、図１７を参照しながら、第２の重みについて説明する。「見え」の図は幾何的に求めることができ、計算可能である。観察者ｉと表示部１０（ディスプレイ）の両端それぞれを結んだ線が、視域設定距離で切り取る絵柄２０１は、表示部１０の「見え」と一致する。この図１７の例では、絵柄２０１における領域２１２は立体視可能な領域であり、領域２１３は立体視不可能な領域である。第２算出部２４は、絵柄２０１の全領域の面積に占める立体視可能な領域２１２の割合を、観察者ｉの第２の重みｗｉ２として算出することができる。例えば、立体視可能な領域２１２の割合が１００％であれば、全てを立体視できるので、第２の重みｗｉ２の値を、最大値として例えば「１」とすることができる。
【００５６】
次に、図１８を参照しながら、第３の重みについて説明する。視差数をＮ、光線の広がりを２θ、表示部１０から観察者ｉまでの距離をＺ、観察者ｉの目間距離をｄ、観察者ｉの位置（より具体的には観察者の目の位置）における光線幅をｚとした場合、観察者ｉの第３の重みｗｉ３は、以下の式３で表すことができる。
【数３】
2014135590.tif 000005
【００５７】
なお、上記式３におけるＬは、以下の式４で表すことができる。
【数４】
2014135590.tif 000006
【００５８】
上記式３に従って、第３の重みｗｉ３を算出することができる。即ち、観察者ｉの位置における光線幅ｚと目間距離ｄの比率を第３の重みｗｉ３とする。目間距離ｄよりも光線幅ｚが狭い場合には、第３の重みｗｉ３の値は「１」となる。
【００５９】
以上のようにして、第２算出部２４は、各々の観察者について、第１の重みと第２の重みと第３の重みとを算出し、算出した第１の重みと第２の重みと第３の重みとの積を求めることにより、当該観察者の重みを算出する。なお、これに限らず、例えば第２算出部２４は、各々の観察者について、第１の重みのみを算出し、算出した第１の重みを、当該第１の重みの算出に用いた表示パラメータに従った立体画像を表示部１０に表示した場合における立体視の良好度合いを表す重みとすることもできる。
【００６０】
また、例えば第２算出部２４は、各々の観察者について、第１の重みと第２の重みのみを算出し、算出した第１の重みと第２の重みに基づく重み（第１の重みと第２の重みとの積）を、当該第１の重みおよび第２の重みの算出に用いた表示パラメータに従った立体画像を表示部１０に表示した場合における立体視の良好度合いを表す重みとすることもできる。さらに、例えば第２算出部２４は、各々の観察者について、第１の重みと第３の重みのみを算出し、算出した第１の重みと第３の重みに基づく重み（第１の重みと第３の重みとの積）を、当該第１の重みおよび第３の重みの算出に用いた表示パラメータに従った立体画像を表示部１０に表示した場合における立体視の良好度合いを表す重みとすることもできる。
【００６１】
再び図６に戻って説明を続ける。選択部２５は、第２算出部２４により算出された重みを用いて、一の表示パラメータを選択する。本実施形態では、選択部２５は、観察者の重みの総和が最大となる表示パラメータを選択する。より具体的には、選択部２５は、第２算出部２４から受け取った複数の重み情報（記憶部２３に記憶された複数の表示パラメータと同数の重み情報）のうち、重みの総和が最大となる重み情報に含まれる表示パラメータを選択する。選択部２５は、選択した表示パラメータを示す情報を、決定部２６へ送る。なお、本実施形態では、選択部２５は、観察者の重みの総和が最大となる表示パラメータを選択しているが、これに限らず、例えば観察者の重みの積の値が最大となる表示パラメータを選択することもできる。
【００６２】
決定部２６は、選択部２５により選択された表示パラメータに従って、表示部１０に表示する立体画像を決定する。例えば決定部２６は、予め取得済み（作成済み）の表示対象の立体画像を、選択部２５により選択された表示パラメータに従って補正し、補正後の立体画像を、表示部１０に表示する立体画像として決定することもできる。決定部２６は、決定した立体画像を、出力部２７へ送る。
【００６３】
出力部２７は、決定部２６により決定された立体画像を表示部１０に出力する。なお、例えば出力部２７が設けられずに、決定部２６が、決定した立体画像を表示部１０に出力することもできる。
【００６４】
次に、図１９を参照しながら、画像処理部２０による処理を説明する。図１９は、画像処理部２０による処理の一例を示すフローチャートである。図１９に示すように、まず取得部２１は、１以上の観察者の位置を含む観察者情報を取得する（ステップＳ１）。第１算出部２２は、ステップＳ１で取得された観察者情報に基づいて、１以上の観察者ごとに、当該観察者の視線ベクトルと視点ベクトルとを算出する（ステップＳ２）。第１算出部２２は、算出した各観察者の視線ベクトルと視点ベクトルとを示す情報を第２算出部２４へ送る。
【００６５】
第２算出部２４は、記憶部２３に予め記憶されている複数の表示パラメータごとに、当該表示パラメータと、各観察者の視線ベクトルおよび視点ベクトルとに基づいて、当該表示パラメータに従った立体画像を表示部１０に表示した場合における立体視の良好度合いを表す重みを、観察者ごとに算出する（ステップＳ３）。そして、第２算出部２４は、算出した各観察者の重みと、重みの算出に用いた表示パラメータとを対応付けた重み情報を、選択部２５へ送る。
【００６６】
選択部２５は、第２算出部２４から受け取った複数の重み情報のうち、重みの総和が最大となる重み情報に含まれる表示パラメータを選択する（ステップＳ４）。選択部２５は、選択した表示パラメータを示す情報を、決定部２６へ送る。決定部２６は、選択部２５により選択された表示パラメータに従って、表示部１０に表示する立体画像を決定する（ステップＳ５）。決定部２６は、決定した立体画像を、出力部２７へ送る。出力部２７は、決定部２６により決定された立体画像を表示部１０に出力する(ステップＳ６)。
【００６７】
以上に説明したように、本実施形態では、平置きされた表示部１０の周囲に存在する１以上の観察者の視線ベクトル（観察者の位置および表示部１０のうちの一方から他方へ向かうベクトル）および視点ベクトル（観察者の一方の目から他方の目へ向かうベクトル）を用いて、立体画像の画素の並びを可変に設定する画素パラメータを含む表示パラメータごとに、当該表示パラメータに従った立体画像を表示部１０に表示した場合における立体視の良好度合いを表す重みを、観察者ごとに算出する。そして、観察者の重みの総和が最大となる表示パラメータを選択し、選択した表示パラメータに従って、表示部１０に表示する立体画像を決定するので、画素間に鏡面や壁面を設けるなどの特別な構成を必要とせずに、平置きされた表示部１０の周囲に存在する１以上の観察者が良好に立体視可能な立体画像を提供することができる。
【００６８】
以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。以上の新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。以上の新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６９】
（１）変形例１
例えば取得部２１は、メインレンズとマイクロレンズアレイとを含む複眼カメラを用いて、複数のマイクロレンズ像から形成される複眼画像を撮影する撮影部と、複眼画像を用いて、観察者の位置を含む観察者情報を算出する観察者情報算出部とを含んでもよい。より具体的には以下のとおりである。図２０は、複眼画像を撮影する撮影部２００の構成例を示す図である。図２０に示すように、撮影部２００は、被写体１２０からの光を結像させるメインレンズ１１０と、マイクロレンズが複数配列されたマイクロレンズアレイ１１１と、光センサ１１２とを含む撮像光学系を備える。図２０の例では、メインレンズ１１０の結像面がメインレンズ１１０およびマイクロレンズアレイ１１１の間（像面Ｅ）に位置するように、メインレンズ１１０が設定されている。図示は省略するが、撮影部２００は、さらに、センサを駆動するセンサ駆動部を備える。センサ駆動部は、外部からの制御信号に従い駆動制御される。
【００７０】
光センサ１１２は、マイクロレンズアレイ１１１の各マイクロレンズにより受光面に結像された光を電気信号に変換して出力する。光センサ１１２としては、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサや、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサなどを用いることができる。これらのイメージセンサでは、それぞれ画素に対応する受光素子が受光平面上にマトリクス状に並べられて構成され、受光素子それぞれの光電変換によって、光が各画素の電気信号に変換されて出力される。これにより、複数のマイクロレンズ像から形成される複眼画像が得られる。
【００７１】
撮影部２００は、メインレンズ１１０上のある位置から、マイクロレンズアレイ１１１上のある位置に入射した光を、光センサ１１２で受光し、画素毎の画素信号を含む画像信号（複眼画像）を出力する。このような構成の撮像装置は、ライトフィールドカメラやＰｌｅｎｏｐｔｉｃカメラという名称で知られている。
【００７２】
そして、取得部２１に含まれる観察者情報算出部は、撮影部２００により撮影された複眼画像を用いて、観察者の位置を算出する（観察者情報を算出する）。観察者情報算出部は、例えば非特許文献（Ｆｕｌｌ−Ｒｅｓｏｌｕｔｉｏｎ  Ｄｅｐｔｈ  Ｍａｐ  Ｅｓｔｉｍａｔｉｏｎ  ｆｒｏｍ  ａｎ  Ａｌｉａｓｅｄ  Ｐｌｅｎｏｐｔｉｃ  Ｌｉｇｈｔ  Ｆｉｅｌｄ．  ｂｙ：Ｔｏｍ  Ｅ．  Ｂｉｓｈｏｐ，  ａｎｄ  Ｐａｏｌｏ  Ｆａｖａｒｏ  ｉｎ：ＡＣＣＶ  ２，  Ｖｏｌ．  ６４９３Ｓｐｒｉｎｇｅｒ（２０１０），  ｐ．１８６−２００．）に記載された方法を利用して、撮影部２００により撮影された複眼画像を用いて、被写体１２０までの距離を算出することができる。
【００７３】
（２）変形例２
また、第２算出部２４は、観察者の属性に基づいて、立体視の良好度合いを表す重みを算出することもできる。属性とは、例えば画像の観察時間、観察開始の順序、特定の人物であるかどうか、リモコン保持者であるかどうか、人物間の位置関係等を示す情報を指す。ここでは、属性に基づく重みを第４の重みと呼ぶ。観察時間または観察開始の順序については、長時間にわたり観察している人物や、先に観察を開始した人物が優先されるように重みの値を大きくする。同様に、特定の人物やリモコン保持者が優先されるように重みの値を大きくする。人物間の位置関係については、全員の中で、ディスプレイの正面にいる人物や正面に近い位置にいる人物ほど重みの値を大きくする。
【００７４】
例えば第２算出部２４は、観察時間、観察開始の順序、特定の人物であるかどうか、リモコン保持者であるかどうか、人物間の位置関係等についてそれぞれ算出された重みの値の和または積を算出して第４の重みを算出することができる。そして、第１の重みと第４の重みとに基づいて、表示パラメータに対応する重みを算出する。また、第２算出部２４は、第１の重みと、第２の重みおよび第３の重みのうちの少なくとも一方と、第１の重みと、第４の重みとに基づいて、表示パラメータに対応する重みを算出することもできる。
【００７５】
上述の実施形態の画像処理部２０は、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した各部（取得部２１、第１算出部２２、第２算出部２４、選択部２５、決定部２６、出力部２７）の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述した各部の機能のうちの少なくとも一部を専用のハードウェア回路で実現することもできる。
【００７６】
また、上述の実施形態の画像処理部２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の実施形態の画像処理部２０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の実施形態の画像処理部２０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
【符号の説明】
【００７７】
１０  表示部
１１  表示素子
１２  光線制御素子
２０  画像処理部
２１  取得部
２２  第１算出部
２３  記憶部
２４  第２算出部
２５  選択部
２６  決定部
２７  出力部
１００  立体画像表示装置
【図１】
2014135590.tif 000007
【図２】
2014135590.tif 000008
【図３】
2014135590.tif 000009
【図４】
2014135590.tif 000010
【図５】
2014135590.tif 000011
【図６】
2014135590.tif 000012
【図７】
2014135590.tif 000013
【図８】
2014135590.tif 000014
【図９】
2014135590.tif 000015
【図１０】
2014135590.tif 000016
【図１１】
2014135590.tif 000017
【図１２】
2014135590.tif 000018
【図１３】
2014135590.tif 000019
【図１４】
2014135590.tif 000020
【図１５】
2014135590.tif 000021
【図１６】
2014135590.tif 000022
【図１７】
2014135590.tif 000023
【図１８】
2014135590.tif 000024
【図１９】
2014135590.tif 000025
【図２０】
2014135590.tif 000026