(57)【要約】【課題】与えられる画像から、多視点用の右画像および左画像を簡易な処理で生成する。【解決手段】複数組の右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する画像表示装置であって、所定の２視点に対応する右画像および左画像を受け取り、受け取った右画像および左画像の全体をそれぞれシフトすることで、複数の視点に対する右眼用画像および左眼用画像を生成する多視点画像生成部と、多視点画像生成部が生成した右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する表示部とを備える画像表示装置を提供する。【選択図】図２
2011081272.tif 000002
【特許請求の範囲】
【請求項１】
複数組の右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する画像表示装置であって、
所定の２視点に対応する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記右眼用画像および前記左眼用画像を生成する多視点画像生成部と、
前記多視点画像生成部が生成した前記右眼用画像および前記左眼用画像を、それぞれ対応する視点に向けて表示する表示部と
を備える画像表示装置。
【請求項２】
前記多視点画像生成部は、異なる位置から撮像された２次元画像を、前記所定の２視点に対する前記右画像および前記左画像として取得する
請求項１に記載の画像表示装置。
【請求項３】
前記多視点画像生成部は、前記左眼用画像および前記右眼用画像のシフト量の最大値が、前記所定の２視点に対する前記右画像および前記左画像の間の最大視差量より小さくなるように、前記左眼用画像および前記右眼用画像を生成する
請求項２に記載の画像表示装置。
【請求項４】
与えられる２次元画像の全体をシフトすることで、前記所定の２視点に対する前記右画像および前記左画像を生成し、前記多視点画像生成部に入力する左右画像生成部を更に備える
請求項１に記載の画像表示装置。
【請求項５】
前記左右画像生成部は、前記２次元画像の全体を所定の眼幅シフト量でシフトすることで、複数の視点のうちの隣接する２視点に対する前記右画像および前記左画像を生成し、
前記多視点画像生成部は、前記左眼用画像および前記右眼用画像のシフト量の最大値が、前記眼幅シフト量より小さくなるように、前記左眼用画像および前記右眼用画像を生成する
請求項４に記載の画像表示装置。
【請求項６】
前記多視点画像生成部は、前記所定の２視点に対する前記右画像および前記左画像の全体を、非均一なシフト量で順次シフトした前記左眼用画像および前記右眼用画像を生成する
請求項１から５のいずれか１項に記載の画像表示装置。
【請求項７】
前記多視点画像生成部は、利用者の位置に基づいて、それぞれの前記左眼用画像および前記右眼用画像のシフト量を変化させる
請求項６に記載の画像表示装置。
【請求項８】
前記表示部は、
光を透過する透過部および光を遮蔽する遮蔽部が所定の配列パターンで配列されたバリア部と、
それぞれの前記左眼用画像および前記右眼用画像の、前記配列パターンに応じた領域を、前記バリア部に向けて表示する表示素子と
を有する請求項１から７のいずれか１項に記載の画像表示装置。
【請求項９】
前記バリア部は、光を透過するか否かを制御するシャッタ素子がマトリクス状に形成され、それぞれの前記シャッタ素子に、光を透過させるか否かを制御することで前記配列パターンが変更でき、
前記表示素子は、それぞれの前記左眼用画像および前記右眼用画像について表示する領域の形状を、前記配列パターンの変更に応じて変更する
請求項８に記載の画像表示装置。
【請求項１０】
前記多視点画像生成部は、設定される視点数に応じて、それぞれの視点に対応する前記左眼用画像および前記右眼用画像を生成する
請求項１から９のいずれか１項に記載の画像表示装置。
【請求項１１】
画像に含まれる被写体に基づいて、前記多視点画像生成部に前記視点数を設定する被写体判定部を更に備える
請求項１０に記載の画像表示装置。
【請求項１２】
画像に含まれる被写体の距離情報を取得して、取得した前記被写体の距離情報に応じて、前記多視点画像生成部に前記視点数を設定する距離取得部を更に備える
請求項１０に記載の画像表示装置。
【請求項１３】
前記右画像および前記左画像における対応点の関係に基づいて、前記多視点画像生成部とは別に、前記複数の視点に対する前記右眼用画像および前記左眼用画像を生成する補間画像生成部と、
前記補間画像生成部により生成される前記右眼用画像および前記左眼用画像を評価する画像評価部と
を更に備え、
前記表示部は、前記画像評価部における評価結果が予め定められたレベル以下の場合に、前記多視点画像生成部が生成した前記右眼用画像および前記左眼用画像を表示する
請求項１から１２のいずれかに記載の画像表示装置。
【請求項１４】
前記多視点画像生成部は、前記画像評価部における評価結果が前記予め定められたレベル以下の場合に、前記右眼用画像および前記左眼用画像を生成する
請求項１３に記載の画像表示装置。
【請求項１５】
前記補間画像生成部は、前記右画像および前記左画像において同一の被写体が撮像された前記対応点を複数検出し、それぞれの前記対応点に基づいて、前記複数の視点に対する前記右眼用画像および前記左眼用画像を生成し、
前記画像評価部は、前記補間画像生成部が検出した前記対応点の数に基づいて、前記補間画像生成部により生成される前記右眼用画像および前記左眼用画像を評価する
請求項１３または１４に記載の画像表示装置。
【請求項１６】
前記補間画像生成部は、前記右画像および前記左画像において同一の被写体が撮像された前記対応点を複数検出し、それぞれの前記対応点に基づいて、前記複数の視点に対する前記右眼用画像および前記左眼用画像を生成し、
前記画像評価部は、前記補間画像生成部が検出した前記対応点の分布に基づいて、前記補間画像生成部により生成される前記右眼用画像および前記左眼用画像を評価する
請求項１３または１４に記載の画像表示装置。
【請求項１７】
前記補間画像生成部は、前記画像評価部における評価結果が前記予め定められたレベル以下の場合には、前記右眼用画像および前記左眼用画像を生成しない
請求項１５または１６に記載の画像表示装置。
【請求項１８】
前記画像評価部は、前記補間画像生成部が生成した複数組の前記右眼用画像および前記左眼用画像の間の視差の最大値と、予め定められた値とを比較して、前記補間画像生成部が生成した前記右眼用画像および前記左眼用画像を評価する
請求項１３または１４に記載の画像表示装置。
【請求項１９】
複数組の右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する画像表示方法であって、
所定の２視点に対する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記左眼用画像および前記右眼用画像を生成する多視点画像生成段階と、
前記多視点画像生成段階で生成した前記左眼用画像および前記右眼用画像を、それぞれ対応する視点に向けて表示する表示段階と
を備える画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置および画像表示方法に関する。
【背景技術】
【０００２】
従来、レンチキュラシートを用いて、複数の方向に対して立体的画像を表示する装置がある。また、異なる角度から撮像した現実イメージを操作することによって追加イメージを補間する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−２１０１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、現実イメージから補間することで、複数視点に対する追加イメージを生成する場合、所定の画素領域毎に動きベクトルを算出する等の煩雑な処理を実行する。このため、多視点用の画像を生成するのに時間がかかってしまう。特に、動画等のように複数の多視点画像をストリーミングする場合に、各フレームの画像処理が間に合わなくなる。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の態様においては、複数組の右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する画像表示装置であって、所定の２視点に対応する右画像および左画像を受け取り、受け取った右画像および左画像の全体をそれぞれシフトすることで、複数の視点に対する右眼用画像および左眼用画像を生成する多視点画像生成部と、多視点画像生成部が生成した右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する表示部とを備える画像表示装置および当該画像表示装置を用いた画像表示方法を提供する。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】１つの実施形態に係る画像表示装置１００の構成例を示す図である。
【図２】画像処理部１０の構成例を示す図である。
【図３】画像取得部１２が取得した左画像および右画像の一例を示す図である。
【図４】多視点画像生成部１４の動作例を示す図である。
【図５】表示部５０の動作例を示す図である。
【図６】表示部５０の構成例を示す図である。
【図７】画像処理部１０の他の構成例を示す図である。
【図８】左右画像生成部１６における処理例を示す図である。
【図９】多視点画像生成部１４の構成例を示す図である。
【図１０】表示部５０の他の構成例を示す図である。
【図１１】画像処理部１０の他の構成例を示す図である。
【図１２】画像処理部１０の他の構成例を示す図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、１つの実施形態に係る画像表示装置１００の構成例を示す図である。画像表示装置１００は、複数組の右画像および左画像を、それぞれ対応する視点１から視点ｎに向けて表示する。１つの視点は、例えば利用者の右眼または左眼の位置に対応する。つまり、画像表示装置１００は、一組の右画像および左画像を、隣接する２つの視点に対して表示する。また、画像表示装置１００は、与えられる２次元画像から、各視点に対応する右画像または左画像を生成する。
【００１０】
本例の画像表示装置１００は、画像処理部１０および表示部５０を備える。画像処理部１０は、２次元画像を取得する。画像処理部１０は、１つの視点に対応する１つの２次元画像を取得してよく、また、２つの視点に対応する２つの２次元画像を取得してもよい。後者の場合、２つの２次元画像は、人間の両眼の位置に応じた２つの位置から被写体を撮像したステレオ画像であってよい。
【００１１】
画像処理部１０は、取得した２次元画像から、ｎ個（例えば４以上の偶数）の視点に対応するｎ個の画像を生成する。例えば画像処理部１０は、ｎ／２個の右眼用画像と、ｎ／２個の左眼用画像とを生成してよい。ここで右眼用画像とは、利用者の右眼に表示すべき画像であり、左眼用画像とは、利用者の左眼に表示すべき画像であってよい。
【００１２】
表示部５０は、画像処理部１０が生成したｎ個の画像を、ｎ個の視点に向けて表示する。例えば表示部５０は、レンチキュラー方式またはパララックスバリア方式により、ｎ個の画像を、ｎ個の視点に向けて表示してよい。本例の表示部５０は、対応する右眼用画像および左眼用画像を、隣接する視点に向けて表示することで、多視点に対して立体的画像を表示する。
【００１３】
図２は、画像処理部１０の構成例を示す図である。本例の画像処理部１０は、所定の２視点に対する右画像および左画像を取得する。所定の２視点とは、利用者の右眼および左眼に対応する視点であってよい。つまり、当該右画像および左画像は、上述したステレオ画像であってよい。
【００１４】
本例の画像処理部１０は、画像取得部１２および多視点画像生成部１４を有する。画像取得部１２は、所定の２視点に対する右画像および左画像を取得する。画像取得部１２は、外部の装置から右画像および左画像を取得してよく、異なる２つの位置から被写体を撮像することで、右画像および左画像を取得してもよい。
【００１５】
多視点画像生成部１４は、画像取得部１２から、所定の２視点に対する右画像および左画像を受け取り、受け取った右画像および左画像の全体をそれぞれシフトすることで、当該所定の２視点とは異なる視点に対する右眼用画像および左眼用画像を生成する。つまり、表示部５０は、視点毎に被写体の位置がずれた立体的画像を表示する。これにより、各視点に応じた立体的画像を表示することができる。
【００１６】
本例の多視点画像生成部１４は、画像取得部１２から受け取った右画像および左画像と合わせて、ｎ視点に対する右眼用画像および左眼用画像を表示部５０に供給する。より具体的には、多視点画像生成部１４は、ｎ／２個の視点に対する右眼用画像およびｎ／２個の視点に対する左眼用画像を表示部５０に供給する。表示部５０は、画像取得部１２が受け取った右画像および左画像、ならびに、多視点画像生成部１４において生成された画像を受け取り、それぞれ対応する視点に向けて表示する。表示部５０は、それぞれの画像を並行して表示してよい。
【００１７】
図３は、画像取得部１２が取得した左画像および右画像の一例を示す図である。本例の左画像および右画像は、人間の両眼に対応する異なる２つの位置から同一の被写体を撮像したステレオ画像である。なお、左画像および右画像における被写体は、撮像装置から被写体までの距離に応じた視差を有する。図３においては、被写体６２は、左右画像間で視差ｄ１を有し、被写体６４は、左右画像間で視差ｄ２を有する。
【００１８】
図４は、多視点画像生成部１４の動作例を示す図である。図４では、画像取得部１２から受け取った左画像に基づいて、ｎ／２個の左眼用画像を生成する場合を説明するが、画像取得部１２から受け取った右画像に基づいて、ｎ／２個の右眼用画像を生成する場合も同様である。
【００１９】
多視点画像生成部１４は、受け取った左画像の全体を、所定のシフト量で順次シフトすることで、ｎ／２個の左眼用画像を生成する。例えば多視点画像生成部１４は、受け取った左画像の全体を、シフト量ｄａずつ右方向に順次シフトした複数の右シフト左眼用画像と、シフト量ｄａずつ左方向に順次シフトした複数の左シフト左眼用画像とを生成してよい。
【００２０】
図４では、視点数ｎ＝１４として、７個の左眼用画像を生成する例を示す。この場合、図４に示すように、多視点画像生成部１４は、元の左画像に加えて、３個の右シフト左眼用画像と、３個の左シフト左眼用画像とを生成してよい。また、多視点画像生成部１４は、元の左画像に加えて、６個の右シフト左眼用画像を生成してよく、６個の左シフト左眼用画像を生成してもよい。
【００２１】
図５は、表示部５０の動作例を示す図である。本例の表示部５０は、多視点画像生成部１４が生成した複数の右眼用画像および複数の左眼用画像を同一のフレームで並行して表示する。例えば表示部５０は、図４に示したように、元の左画像全体がｘ軸方向に順次シフトした複数の左眼用画像において、ｘ軸上の同一位置の画素列（本例では、Ｌ（−３）からＬ（３））を抽出する。同様に表示部５０は、元の右画像全体がｘ軸方向に順次シフトした複数の右眼用画像において、ｘ軸上の同一位置の画素列（本例では、Ｒ（−３）からＲ（３））を抽出する。なお、画素列は、ｘ軸方向の幅が１画素であってよく、複数画素であってもよい。
【００２２】
表示部５０は、複数の左眼用画像および右眼用画像におけるｘ軸上の同一位置の領域を、表示面において当該ｘ軸上の位置に対応する領域に、所定の配列で表示する。例えば表示部５０は、複数の左眼用画像および右眼用画像における各画素列を、所定の列数ずつ交互に表示してよい。図５の例では、表示部５０は、左眼用画像および右眼用画像の各画素列を１個ずつ交互に表示する。同様に、表示面の他の領域についても、複数の右眼用画像および左眼用画像において対応する領域を、所定の配列で表示する。
【００２３】
図６は、表示部５０の構成例を示す図である。本例の表示部５０は、レンズアレイ５４および表示素子５２を有する。表示素子５２は、図５に関連して説明したように、複数の左眼用画像および右眼用画像の各画素列を、所定の配列で表示する。レンズアレイ５４は、所定のパターンで配列された複数のレンズを有する。レンズアレイ５４は、ｘ軸方向に沿って所定のピッチで配列された半円柱状の複数のレンズを有するレンチキュラーレンズアレイであってよい。
【００２４】
レンズアレイ５４において各レンズは、視点数に応じた所定数の画素列毎に設けられる。例えば、図４および図５のように視点数ｎ＝１４の場合、各レンズは、表示素子５２にの表示面における１４個の画素列毎に設けられる。各レンズは、各画素列を、対応する視点（本例では視点１、２、・・・ｋ−２、ｋ−１、ｋ、ｋ＋１、ｋ＋２、・・・、１３、１４）に向けて表示する。
【００２５】
以上の構成により、与えられる１組の右画像および左画像から、多視点用の左眼用画像および右眼用画像を容易に生成することができる。また、生成した多視点用の左眼用画像および右眼用画像を、対応する視点に表示することができる。なお、本例の表示部５０は、レンチキュラー方式の場合を説明したが、表示部５０は、パララックスバリア方式であってもよい。
【００２６】
また、多視点画像生成部１４は、画像取得部１２が取得した右画像および左画像からそれぞれ生成する画像間のシフト量の最大値が、当該右画像および左画像の間の最大視差量より小さくなるように、各視点に対するシフト画像を生成することが好ましい。例えば、図３および図４の例を用いて説明すると、多視点画像生成部１４は、左端の左眼用画像と、右端の左眼用画像との間のシフト量６ｄａが、最大視差量ｄ１よりも十分小さくなるように、単位シフト量ｄａを設定する。同様に多視点画像生成部１４は、右眼用画像におけるシフト量の最大値６ｄａが、最大視差量ｄ１よりも十分小さくなるように、単位シフト量ｄａを設定する。なお本例では、右眼用画像および左眼用画像において、それぞれの単位シフト量ｄａは同一である。
【００２７】
なお、上述した例では、多視点画像生成部１４は、均一なシフト量ｄａで元の左画像および右画像を順次シフトした左眼用画像および右眼用画像を生成したが、他の例では、多視点画像生成部１４は、非均一なシフト量で元の画像を順次シフトした左眼用画像および右眼用画像を生成してもよい。例えば、複数の視点のうち、中央付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に小さくし、端部付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に大きくしてよい。この場合、複数の視点のうちの中央付近において、利用者の視点が切り替わった場合に、表示される画像の差が小さいので、画像を滑らかに切り替えることができる。
【００２８】
また、複数の視点のうち、中央付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に大きくし、端部付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に小さくしてもよい。この場合、複数の視点のうちの端部付近において、利用者の視点が切り替わった場合に、画像を滑らかに切り替えることができる。
【００２９】
図７は、画像処理部１０の他の構成例を示す図である。本例の画像処理部１０は、画像取得部１２、左右画像生成部１６、および、多視点画像生成部１４を有する。画像取得部１２は、１つの２次元画像を取得する。画像取得部１２は、外部の装置から２次元画像を取得してよく、被写体を撮像することで２次元画像を取得してもよい。
【００３０】
左右画像生成部１６は、画像取得部１２が取得した２次元画像の全体をシフトすることで、複数の視点のうちの隣接する２視点に対する右画像および左画像を生成し、多視点画像生成部１４に入力する。左右画像生成部１６は、人間の両眼の間隔に応じた眼幅シフト量で、２次元画像の全体をシフトしてよい。例えば左右画像生成部１６は、生成される右画像および左画像の間のシフト量が６．５ｃｍ程度の眼幅シフト量となるように、２次元画像の全体をシフトして右画像および左画像を生成する。
【００３１】
多視点画像生成部１４は、左右画像生成部１６から受け取った右画像および左画像に基づいて、右眼用画像および左眼用画像をｎ／２個ずつ生成する。多視点画像生成部１４が複数の右眼用画像および左眼用画像を生成する処理は、図２に関連して説明した多視点画像生成部１４と同一であってよい。このような構成により、１つの２次元画像から、多視点用の左眼用画像および右眼用画像を容易に生成することができる。
【００３２】
図８は、左右画像生成部１６における処理例を示す図である。左右画像生成部１６は、受け取った２次元画像に基づいて、所定の眼幅シフト量ｄだけ、画像全体がｘ軸方向に相対的にシフトした左画像および右画像を生成する。当該左画像および右画像を利用者の左眼および右眼に選択的に表示することで、各被写体が無限遠に存在するような立体的画像を提供することができる。
【００３３】
なお、多視点画像生成部１４は、右画像および左画像から生成する左眼用画像および右眼用画像のそれぞれのシフト量の最大値が、左右画像生成部１６における眼幅シフト量ｄより十分小さくなるように、各視点に対する右画像および左画像を生成することが好ましい。また、多視点画像生成部１４は、図２に関連して説明した多視点画像生成部１４と同様に、非均一なシフト量で左右画像を順次シフトした左眼用画像および右眼用画像を生成してもよい。
【００３４】
図９は、多視点画像生成部１４の構成例を示す図である。本例の多視点画像生成部１４は、メモリ３０、複数の遅延部３２、出力部３４、および、制御部３６を有する。なお図９では、多視点画像生成部１４の構成のうち、左画像または右画像の一方を処理する構成を説明するが、多視点画像生成部１４は、図９と同様の構成を、左画像または右画像の他方を処理するために更に有する。
【００３５】
メモリ３０は、右画像または左画像を格納し、端の画素列から順番に、画素列単位でデータを出力する。当該画素列は、上述したｘ軸方向と垂直な方向に沿った画素列を指す。遅延部３２は、視点数に応じた個数（本例ではｎ／２個）が、縦続接続されて設けられる。つまり、複数の遅延部３２は、左画像または右画像に対して多視点画像生成部１４が出力するｎ／２個の左眼用画像または右眼用画像に対応する。
【００３６】
制御部３６は、それぞれの遅延部３２における遅延量を、対応する左眼用画像および右眼用画像におけるシフト量に応じて設定する。例えば、直前の左眼用画像または右眼用画像に対するシフト量が１０画素列である左眼用画像または右眼用画像に対応する遅延部３２に対して、制御部３６は、メモリ３０から１０画素列を読み出す時間を遅延時間として設定する。制御部３６は、上述したように、均一なシフト量に対応して均一な遅延量を設定してよく、非均一なシフト量に対応して不均一な遅延量を設定してもよい。
【００３７】
出力部３４は、複数の遅延部３２が出力する画素列のデータを並列に受け取る。上述したように、それぞれの遅延部３２がシフト量に応じた遅延量でメモリ３０からのデータを遅延させるので、出力部３４は、図４に示した画素列Ｌ（３）、Ｌ（２）、・・・のような、画像における位置がｘ軸方向にシフトした画素列のデータを並列に受け取る。
【００３８】
出力部３４は、並列に受け取った画素列を所定の順番で配列した合成データを、表示部５０に供給する。また、表示部５０は、１つの画面に多数の視点用の画像を表示するので、１つの視点に対する画像は、元の画像に比べて画素列が間引かれる。出力部３４は、視点の数に応じた列数の画素列がメモリ３０から読み出される期間毎に、１つの合成データを生成して表示部５０に供給することで、視点数に応じて画素列を間引いたデータを生成してよい。
【００３９】
このような構成により、視点数に応じて画素列を間引いた複数の左眼用画像および右眼用画像を、表示部５０に容易に表示させることができる。また、左眼用画像および右眼用画像におけるシフト量を、容易に調整することができる。
【００４０】
図１０は、表示部５０の他の構成例を示す図である。本例の表示部５０は、表示素子５２およびバリア部５６を有する。バリア部５６は、光を透過する透過部および光を遮蔽する遮蔽部が所定の配列パターンで配列される。バリア部５６は、光を透過するか否かを制御するシャッタ素子がマトリクス状に形成され、それぞれのシャッタ素子に、光を透過させるか否かを制御することで配列パターンが変更できることが好ましい。例えばバリア部５６は、液晶パネルを有してよい。
【００４１】
表示素子５２は、図６に関連して説明した表示素子５２と同一であってよい。表示素子５２は、それぞれのシフト画像の、バリア部５６における透過部および遮蔽部の配列パターンに応じた領域を、バリア部５６に向けて表示する。例えばバリア部５６は、表示素子５２に対向する領域に、表示素子５２の上端から下端に渡って所定の幅を有する短冊状の透過部および遮蔽部が交互に配置されてよい。この場合、表示素子５２は、それぞれのシフト画像から、バリア部５６の透過部の幅を視点数で除算した幅を有する短冊状の画素列を抽出して、それぞれのシフト画像の画素列を所定の配列順序で表示する。
【００４２】
また、表示素子５２は、バリア部５６における透過部および遮蔽部の配列パターンの変更に応じて、それぞれの左眼用画像および右眼用画像から抽出する領域のパターンを変更してよい。例えば、バリア部５６における短冊状の透過部の幅が変更された場合、それぞれの左眼用画像および右眼用画像から抽出する画素列の幅を、変更後の透過部の幅に応じて調整してよい。
【００４３】
また、バリア部５６の透過部および遮蔽部の配列パターンは、多様なパターンを有することができる。例えば、バリア部５６の透過部および遮蔽部は、表示素子５２の上端から下端に渡って斜めに設けられてよく、表示素子５２の右端から左端に渡って設けられてもよい。また、バリア部５６の透過部および遮蔽部は、千鳥状に配列されてもよい。つまり、バリア部５６の透過部および遮蔽部は、表示素子５２の上下方向および左右方向のいずれにおいても交互に配置されてよい。表示素子５２は、これらのバリア部５６の透過部および遮蔽部の配列パターンに応じて、それぞれの左眼用画像および右眼用画像から抽出する領域の形状を定めてよい。
【００４４】
図１１は、画像処理部１０の他の構成例を示す図である。本例の画像処理部１０は、図１から図１０に関連して説明したいずれかの画像処理部１０の構成に加え、視点設定部２０を更に有する。図１１では、図２に関連して説明した画像処理部１０の構成に、視点設定部２０を追加した構成を説明する。
【００４５】
視点設定部２０は、多視点画像生成部１４に対して視点数ｎを設定する。視点設定部２０は、使用者等から設定される視点数により、多視点画像生成部１４に視点数ｎを設定してよい。多視点画像生成部１４は、設定される視点数ｎに応じて、それぞれの視点に対応するシフト画像を生成する。また、多視点画像生成部１４は、設定される視点数ｎに応じて、左眼用画像および右眼用画像におけるシフト量を変更してもよい。例えば、多視点画像生成部１４は、予め設定されるトータルシフト量を、設定される視点数に応じた数で除算することで、左眼用画像および右眼用画像のそれぞれのシフト量を算出してよい。
【００４６】
また、視点設定部２０は、画像取得部１２が取得する画像に含まれる被写体に基づいて、多視点画像生成部１４に視点数を設定する被写体判定部２２を有してよい。例えば被写体判定部２２は、より高い分解能で画像を表示することが好ましい被写体が画像に含まれている場合に、多視点画像生成部１４における視点数を比較的に少なくしてよい。より具体的には、被写体判定部２２は、画像取得部１２が取得する画像に含まれる被写体の空間周波数がより高い場合に、多視点画像生成部１４における視点数をより少なくしてよい。
【００４７】
また、視点設定部２０は、画像取得部１２が取得する画像に含まれる被写体の距離情報を取得して、取得した距離情報に応じて、多視点画像生成部１４に視点数を設定する距離取得部２４を有してよい。距離取得部２４は、当該画像に添付される撮影条件のデータを取得してよい。また、画像取得部１２がステレオの右画像および左画像を取得する場合、距離取得部２４は、右画像および左画像に含まれる被写体の視差量に基づいて、被写体の距離情報を取得してよい。
【００４８】
距離取得部２４は、被写体までの距離がより近い場合に、多視点画像生成部１４における視点数をより多くしてよい。また、視点設定部２０は、被写体判定部２２および距離取得部２４を組み合わせて、多視点画像生成部１４における視点数を設定してもよい。
【００４９】
また、多視点画像生成部１４は、利用者の位置に基づいて、左眼用画像および右眼用画像の、隣接する左眼用画像および右眼用画像に対するシフト量を変化させてよい。例えば、利用者の位置により近い視点に対応する左眼用画像および右眼用画像については、シフト量をより小さくしてよい。これにより、利用者の位置の近傍の視点では、画像の動きを滑らかにすることができる。画像処理部１０は、利用者の位置を検出し、多視点画像生成部１４に通知する位置検出部を更に備えてよい。位置検出部は、例えばＣＣＤ素子等の撮像装置を有してよい。
【００５０】
図１２は、画像処理部１０の他の構成例を示す図である。本例の画像処理部１０は、図１から図１１に関連して説明したいずれかの画像処理部１０の構成に加え、画像評価部４０および補間画像生成部３８を更に有する。図１２では、図２に関連して説明した画像処理部１０の構成に、画像評価部４０および補間画像生成部３８を追加した構成を示す。他の構成は、図１から図１１に関連して説明したいずれかの画像処理部１０と同一であってよい。
【００５１】
補間画像生成部３８は、多視点画像生成部１４に与えられる右画像および左画像における対応点の関係に基づいて、多視点画像生成部１４とは別に、複数の視点に対する右眼用画像および左眼用画像を生成する。補間画像生成部３８は、右画像および左画像における対応点の間の動きベクトルを算出してよく、視差を算出してもよい。補間画像生成部３８は、当該右画像または当該左画像に対して各視点の画像が有するべき動きベクトルまたは視差を、各視点の位置に基づいて補間して算出する。当該補間は、２視点の内側の視点における値を、２視点の値に基づいて補間する処理と、２視点の外側の視点における値を、２視点の値に基づいて外挿する処理とを含む。
【００５２】
例えば補間画像生成部３８は、当該右画像および当該左画像の視点の位置の差と、当該右画像の視点および他の視点の位置の差との比を、当該右画像および当該左画像の間の動きベクトルまたは視差に乗じた補間ベクトルまたは補間視差を算出する。そして補間画像生成部３８は、当該右画像に対して、補間ベクトルまたは補間視差を有する画像を、当該他の視点に対する画像として生成する。同様に、各視点における補間ベクトルまたは補間視差を生成することで、補間画像生成部３８は、与えられる右画像および左画像から、複数の視点に対する画像を生成することができる。
【００５３】
画像評価部４０は、補間画像生成部３８により生成される右眼用画像および左眼用画像を評価する。ここで評価とは、当該右眼用画像および左眼用画像により、適切な立体的画像を提供できるか否かの評価を指す。画像評価部４０は、補間画像生成部３８に与えられる右画像および左画像に基づいて当該評価を行ってよく、補間画像生成部３８が生成した右眼用画像および左眼用画像に基づいて当該評価を行ってよく、補間画像生成部３８における画像処理の過程で検出される所定のパラメータに基づいて当該評価を行ってもよい。
【００５４】
一例として、補間画像生成部３８は、与えられる右画像および左画像において同一の被写体が撮像された対応点を複数検出して、それぞれの対応点間の動きベクトルまたは視差から、画像全体の動きベクトルまたは視差を推定する。このため、補間画像生成部３８が検出する対応点の数が多いほど、画像全体の動きベクトルまたは視差を精度よく推定することができる。
【００５５】
なお、補間画像生成部３８は、右画像および左画像のエッジ成分等を比較することで、対応点を検出してよい。このため、必ずしも十分な数の対応点を検出できるとは限らない。画像評価部４０は、補間画像生成部３８が検出した対応点の数が所定の値以下の場合に、補間画像生成部３８により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できないと判定してよい。
【００５６】
また、補間画像生成部３８が検出する対応点が、画像全体にまんべんなく分布しているほど、画像全体の動きベクトルまたは視差を精度よく推定することができる。画像評価部４０は、補間画像生成部３８が検出した対応点の分布に基づいて、補間画像生成部３８により生成される右眼用画像および左眼用画像を評価してもよい。例えば画像評価部４０は、それぞれの対応点の間の距離の最大値が、所定の値以上の場合に、補間画像生成部３８により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できないと評価してよい。
【００５７】
表示部５０は、画像評価部４０における評価結果が予め定められたレベル以下の場合に、多視点画像生成部１４が生成した右眼用画像および左眼用画像を表示する。また、表示部５０は、画像評価部４０における評価結果が当該レベルより高い場合に、補間画像生成部３８が生成した右眼用画像および左眼用画像を表示する。例えば表示部５０は、補間画像生成部３８により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できないと評価された場合に、多視点画像生成部１４が生成した右眼用画像および左眼用画像を表示する。
【００５８】
多視点画像生成部１４および補間画像生成部３８は、並行して画像を生成してよい。また他の動作例では、多視点画像生成部１４は、画像評価部４０における評価結果が当該レベル以下の場合に、右眼用画像および左眼用画像を生成してよい。つまり、補間画像生成部３８により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できると評価された場合には、多視点画像生成部１４は、右眼用画像および左眼用画像を生成しなくともよい。
【００５９】
また、補間画像生成部３８は、右画像および左画像における対応点の数または分布による評価が、所定のレベル以下の場合には、右眼用画像および左眼用画像を生成しなくともよい。この場合、上述したように多視点画像生成部１４から表示部５０に、複数視点用の右眼用画像および左眼用画像が提供される。多視点画像生成部１４および補間画像生成部３８に右眼用画像および左眼用画像を生成させるかは、画像評価部４０が制御してよい。
【００６０】
また、画像評価部４０は、補間画像生成部３８が生成した複数組の右眼用画像および左眼用画像の間の視差の最大値と、予め定められた値とを比較して、当該右眼用画像および左眼用画像を評価してもよい。当該視差の最大値は、対応する右眼用画像および左眼用画像における各対応点の視差を、右眼用画像および左眼用画像の組み合わせ毎に算出し、算出した全ての視差のうちの最大値を指す。画像評価部４０は、当該視差の最大値が所定値以上の場合に、右眼用画像および左眼用画像が、適切な立体的画像を提供できないと評価してよい。また、画像評価部４０は、利用者による評価結果の情報を受け取ってもよい。
【００６１】
また、図１から図１２に関連して説明した画像取得部１２は、複数の画像を含む動画像を取得してもよい。この場合、画像処理部１０は、動画像の各フレームの画像について、図１から図１２に関連して説明した処理により、複数の左眼用画像および右眼用画像を生成する。画像処理部１０は、簡易な処理により複数の左眼用画像および右眼用画像を生成することができるので、動画像がストリーミングで配信される場合であっても、動画像の各フレームにおいて複数の左眼用画像および右眼用画像を逐次生成することができる。
【００６２】
また、図１から図１２に関連して説明した多視点画像生成部１４は、左画像および右画像の間で、それぞれ同一のシフト量を用いて、それぞれの左眼用画像および右眼用画像を生成した。他の例では、多視点画像生成部１４は、左画像および右画像の間で、異なるシフト量を用いて、それぞれの左眼用画像および右眼用画像を生成してもよい。つまり、左眼用画像および右眼用画像において、左右間で対応する画像間のシフト量を、視点位置により異ならせてよい。これにより、視点位置に応じて奥行き感が変化する画像を表示することができる。
【００６３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６４】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６５】
１０・・・画像処理部、１２・・・画像取得部、１４・・・多視点画像生成部、１６・・・左右画像生成部、２０・・・視点設定部、２２・・・被写体判定部、２４・・・距離取得部、３０・・・メモリ、３２・・・遅延部、３４・・・出力部、３６・・・制御部、３８・・・補間画像生成部、４０・・・画像評価部、５０・・・表示部、５２・・・表示素子、５４・・・レンズアレイ、５６・・・バリア部、６２、６４・・・被写体、１００・・・画像表示装置
【図１】
2011081272.tif 000003
【図２】
2011081272.tif 000004
【図３】
2011081272.tif 000005
【図４】
2011081272.tif 000006
【図５】
2011081272.tif 000007
【図６】
2011081272.tif 000008
【図７】
2011081272.tif 000009
【図８】
2011081272.tif 000010
【図９】
2011081272.tif 000011
【図１０】
2011081272.tif 000012
【図１１】
2011081272.tif 000013
【図１２】
2011081272.tif 000014