(57)【要約】  指定部は、互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する。修正部は、視差画像中における指定された画素領域の各画素と視聴者の視点位置との位置関係に応じて、画素領域を、視点位置から観察されるべき画素を含む修正画素領域に修正する。
2013027280.tif 000002
【特許請求の範囲】
【請求項１】
互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する指定部と、
前記視差画像中における指定された前記画素領域の各画素と視聴者の視点位置との位置関係に応じて、前記画素領域を、前記視点位置から観察されるべき画素を含む修正画素領域に修正する修正部と
を備える、画像処理装置。
【請求項２】
前記修正部は、
前記画素領域から射出される光線の輝度分布を保持し、前記位置関係に対応する前記輝度分布に基づき、前記修正画素領域に含まれる各画素を割り当てる、
請求項１記載の画像処理装置。
【請求項３】
前記修正部は、
前記視差画像中における前記画素領域の各画素と視聴者の視点位置との位置関係に対応する前記輝度分布と相関するフィルタ係数を用いたフィルタリング処理により、前記修正画素領域に含まれる各画素を割り当てる、
請求項２記載の画像処理装置。
【請求項４】
前記修正部は、
前記視差画像中における前記画素領域の各画素と視聴者の視点位置との位置関係に応じて、前記フィルタ係数を補間し、補間した前記フィルタ係数を用いたフィルタリング処理により、前記修正画素領域に含まれる各画素を割り当てる、
請求項３記載の画像処理装置。
【請求項５】
前記修正部は、
前記視差画像中における前記画素領域の各画素と視聴者の視点位置との位置関係に対応する前記輝度分布のデータを格納する格納部と、
前記画素領域の前記視差画像中における各画素と視聴者の視点位置との位置関係に対応する前記輝度分布のデータを前記格納部から抽出する抽出部と、
抽出された前記輝度分布のデータを用いて、前記修正画素領域に含まれる各画素を割り当てる割当部と
を備える、請求項２記載の画像処理装置。
【請求項６】
前記修正部は、
前記画素領域の各々の各画素と視聴者の視点位置との位置関係に対応する前記フィルタ係数を記憶する格納部と、
前記画素領域の各画素と視聴者の視点位置との位置関係に対応する前記フィルタ係数を前記格納部から抽出する抽出部と、
抽出された前記フィルタ係数を用いて、前記修正画素領域に含まれる各画素を割り当てる割当部と
を備える、請求項３記載の画像処理装置。
【請求項７】
一又は複数の視聴者の視点位置を検出する検出部をさらに備える、
請求項１記載の画像処理装置。
【請求項８】
互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定し、
前記視差画像中における指定された前記画素領域の各画素と視聴者の視点位置との位置関係に応じて、前記画素領域を、視聴者の視点位置から観察されるべき画素を含む修正画素領域に修正する、
画像処理方法。
【請求項９】
複数の画素が、第１方向と、前記第１方向と交差する第２方向と、に配列された表示パネルと、
前記表示パネルと対向して設けられ、各々の前記画素からの光線の出射方向を制御する光線制御部と、
前記表示パネルに表示するための、互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する指定部と、
前記視差画像中における指定された前記画素領域の各画素と視聴者の視点位置との位置関係に応じて、前記画素領域を、視聴者の視点位置から観察されるべき画素を含む修正画素領域に修正する修正部と
を備える立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及び方法、並びに、立体画像表示装置に関する。
【背景技術】
【０００２】
複数の画素が配列された表示パネルの前面に、各画素からの光線の出射方向を制御する光線制御部を設け、互いに視差を有する複数の視差画像を表示することにより、専用眼鏡を用いずに、視聴者に立体画像を観察させることが可能な立体画像表示装置がある。【０００３】
このような立体画像表示装置では、或る視差画像を表示する画素からの光線に、他の視差画像を表示する画素からの光線の一部が混ざり込むことによるクロストークが発生し、視聴者が良好な立体画像を観察できない場合が生じる。【０００４】
しかしながら、このような立体画像表示装置では、精度よくクロストークを低減することができないという課題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２５１０９８号公報
【特許文献２】特開２００５−２５８４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、クロストークを精度よく低減することが可能な画像処理装置及び方法、並びに、立体画像表示装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、実施形態に係る画像処理装置は、指定部と、修正部とを備える。指定部は、互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する。修正部は、前記視差画像中における指定された前記画素領域の各画素と視聴者の視点位置との位置関係に応じて、前記画素領域を、前記視点位置から観察されるべき画素を含む修正画素領域に修正する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る立体画像表示装置１の概略図。
【図２】視域の回転の説明図。
【図３】画像処理装置１０を表すブロック図。
【図４】画像処理装置１０の処理を表すフローチャート。
【図５】輝度プロファイルの一例図。
【図６】表示部１５と視点との位置関係の説明図。
【図７】第２の実施形態に係る画像処理装置２０を表すブロック図。
【図８】第３の実施形態に係る画像処理装置３０を表すブロック図。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
第１の実施形態に係る画像処理装置１０は、視聴者が裸眼で立体画像を観察可能なＴＶ、ＰＣ、スマートフォン、デジタルフォトフレーム等の立体画像表示装置１に用いられ得る。立体画像表示装置１は、互いに視差を有する複数の視差画像を表示することにより、視聴者に立体画像を観察させることが可能なものである。立体画像表示装置１は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。
【００１０】
図１は、立体画像表示装置１の概略図である。立体画像表示装置１は、画像処理装置１０と、表示装置１５とを備える。表示装置１５は、表示パネル１５１と、光線制御部１５２とを含む。
【００１１】
画像処理装置１０は、取得した複数の視差画像を修正し、修正後の視差画像から立体画像を生成し、表示パネル１５１に供給する。視差画像の修正については後述する。
【００１２】
立体画像は、視聴者の視点位置から、光線制御部１５２を通して表示パネル１５１を観察した場合、視聴者の一方の眼には一の視差画像が観察され、もう一方の眼には他の視差画像が観察されるように、視差画像の各画素を割り当てたものである。すなわち、各視差画像の画素が並べ替えられることにより、立体画像が生成される。なお、視差画像の一画素は複数のサブ画素を含む。
【００１３】
表示パネル１５１は、色成分を有する複数のサブ画素（例えば、Ｒ，Ｇ，Ｂ）が、第１方向（例えば、図１における行方向（左右））と第２方向（例えば、図１における列方向（上下））とに、マトリクス状に配列された液晶パネルである。表示パネル１５１は、有機ＥＬパネルやプラズマパネル等のフラットパネルでも構わない。図１に示す表示パネル１５１は、バックライト等の光源を含んでいるものとする。
【００１４】
光線制御部１５２は、表示パネル１５１と対向して配置され、表示パネル１５１の各サブ画素からの光線の出射方向を制御する。光線制御部１５２は、光線を出射するための光学的開口が直線状に延伸し、当該光学的開口が第１方向に複数配列されたものである。光線制御部１５２は、例えば、シリンドリカルレンズが複数配列されたレンチキュラーシートであってよい。あるいは、光線制御部１５２は、スリットが複数配列されたパララックスバリアであってもよい。表示パネル１５１と光線制御部１５２とは、一定の距離（ギャップ）を有する。
【００１５】
図１に示すように、表示パネル１５１は、同一の色成分のサブ画素が第２方向に配列され、かつ、第１方向に各色成分が繰り返して配列される「縦ストライプ配列」であってよい。この場合、光線制御部１５２は、その光学的開口の延伸方向が表示パネル１５１の第２方向に対して、所定の傾きを有するように設けられる。この表示装置１５の構成を「構成Ａ」と呼ぶこととする。構成Ａの一例は、例えば特許文献２に記載されている。
【００１６】
表示装置１５が構成Ａの場合、視聴者との位置関係によって、視聴者に観察させるべき視差画像を表示する画素と、実際に視聴者が観察する画素とが異なる場合がある。すなわち、構成Ａの場合、第２方向の位置（高さ）に応じて、視域（立体画像を観察可能な領域）が回転する。このため、例えば特許文献１のように、単一の輝度の角度分布を用いて各画素を補正した場合、依然クロストークが残ってしまう。
【００１７】
図２は、表示装置１５が構成Ａの場合における、視域の回転の説明図である。従来の構成Ａの場合、表示パネル１５１は、当該画素のラインと同一の高さにある視点位置から観察されることを想定して、各視差画像を表示する画素を設定している。図２における画素の番号は、視差画像の番号（視差番号）を表す。同一番号の画素は、同一の視差画像を表示する画素である。図２の例での視差数は４視差（視差番号１〜４）であるが、他の視差数（例えば、視差番号１〜９の９視差）であってもよい。
【００１８】
視聴者は、視点位置Ｐと第２方向に同一の高さにある画素については、観察されるべき視差番号の画素を観察する（図２の符号１００）。すなわち、視点位置Ｐと同一の高さにあるラインの画素からは、視聴者に対して想定通りの視域が形成される。
【００１９】
しかし、表示パネル１５１と光線制御部１５２との間にはギャップが存在するため、視聴者は、視点位置Ｐよりも高い高さにある画素については、観察されるべき視差画像の画素よりも高いラインにある画素を観察する（図２の符号１１０）。すなわち、視点位置Ｐよりも高い高さにあるラインの画素からは、想定された視域よりも一の方向（本例の場合は、視聴者から表示装置１５に向かって右方向）に回転した視域が形成されてしまうことが分かった。
【００２０】
また、視聴者は、視点位置Ｐよりも低い高さにある画素については、観察されるべき視差画像の画素よりも低いラインにある画素を観察する（図２の符号１２０）。すなわち、視点位置Ｐよりも低い高さにあるラインの画素からは、想定された視域よりも他の方向（本例の場合は、視聴者から表示装置１５に向かって左方向）に回転した視域が形成されてしまうことが分かった。
【００２１】
以上のように、表示装置１５が構成Ａの場合、上述したような視域の回転が発生するため、単一の輝度の角度分布を用いて各画素を補正した場合、依然クロストークが残ってしまう。
【００２２】
このため、本実施形態では、画像処理装置１０は、取得した複数の視差画像において、少なくとも１つの画素を含む画素領域を視差画像毎に指定し、指定した画素領域の、視差画像における位置に対応する輝度の角度分布（輝度プロファイル）に基づいて、各視差画像の当該画素領域を修正する。これにより、クロストークを精度よく低減することができる。なお、本実施形態における「画像」とは、静止画でも、動画でも構わない。
【００２３】
図３は、画像処理装置１０を表すブロック図である。画像処理装置１０は、取得部１１と、指定部１２と、修正部１３と、生成部１４とを備える。修正部１３は、格納部５１と、抽出部１３１と、割当部１３２とを備える。
【００２４】
取得部１１は、立体画像として表示するための複数の視差画像を取得する。
【００２５】
指定部１２は、取得された各視差画像において、少なくとも１つの画素を含む画素領域を、視差画像毎に指定する。このとき、指定部１２は、各視差画像において、各々の位置が対応する画素領域（例えば、同一位置の画素領域）を指定する。画素領域は、例えば、画素単位、ライン単位、ブロック単位であってよい。
【００２６】
格納部５１は、視差画像中における各画素領域の位置に対応する一又は複数の輝度プロファイルを格納している。各輝度プロファイルは、予め実験やシミュレーション等により求めておいてよい。輝度プロファイルについては後述する。
【００２７】
抽出部１３１は、指定された画素領域の、視差画像中における位置に対応する輝度プロファイルを、格納部５１から抽出する。割当部１３２は、抽出された輝度プロファイルを用いて、指定された画素領域を、視聴者の視点位置から観察されるべき画素を割り当てた修正画素領域に修正する。割当部１３２は、全ての画素領域を修正画素領域に修正した視差画像（修正画像）を生成部１４に供給する。生成部１４は、各修正画像から立体画像を生成し、表示装置１５に出力する。表示装置１５は、立体画像を表示する。
【００２８】
取得部１１と、指定部１２と、修正部１３と、生成部１４とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。格納部５１は、ＣＰＵが用いるメモリや、補助記憶装置等により実現されてよい。
【００２９】
以上、画像処理装置１０の構成について説明した。
【００３０】
図４は、画像処理装置１０の処理を表すフローチャートである。取得部１１は、視差画像を取得する（Ｓ１０１）。指定部１２は、取得された視差画像において、画素領域を指定する（Ｓ１０２）。抽出部１３１は、視差画像中における、指定された画素領域の位置に対応する輝度プロファイルを、格納部５１から抽出する（Ｓ１０３）。割当部１３２は、抽出された輝度プロファイルを用いて、指定された画素領域を、視聴者の視点位置から観察されるべき画素を割り当てた修正画素領域に修正する（Ｓ１０４）。生成部１４は、各修正画像から立体画像を生成し、表示装置１５に出力する（Ｓ１０５）。
【００３１】
ステップＳ１０２からステップＳ１０４までは、各視差画像における全ての画素領域に対する修正が完了するまで繰り返される。
【００３２】
以上、画像処理装置１０の処理について説明した。以下、本実施形態について詳述する。
【００３３】
本実施形態では、取得部１１が取得した視差番号１〜Ｋの視差画像において、指定部１２が、画素領域ｙ（ｉ，ｊ）を指定する。抽出部１３１が、指定された画素領域ｙ（ｉ，ｊ）の、視差画像における位置に対応する輝度プロファイルＨ（ｉ，ｊ）を、格納部５１から抽出する。割当部１３２が、輝度プロファイルＨ（ｉ，ｊ）を用いて画素領域ｙ（ｉ，ｊ）を修正し、修正画素領域ｘ（ｉ，ｊ）を求める。
【００３４】
ここで、（ｉ，ｊ）は、画素領域ｙ（ｉ，ｊ）が視差画像においてどの位置にあるかを示す座標である。ｉは、画素領域の第１方向の座標である（インデックスでもよい）。ｊは、画素領域の第２方向の座標である（インデックスでもよい）。各視差画像において、座標（ｉ，ｊ）は共通であるのが望ましい。
【００３５】
従って、視差番号Ｋの視差画像の画素領域ｙＫはｙＫ（ｉ，ｊ）で表すことができ、全ての視差画像（視差番号１〜Ｋ）の画素領域ｙ１〜ｙＫは、式１で表すことができる。
【００３６】
【数１】
2013027280.tif 000003
【００３７】
ここで、Ｔは転置を表す。すなわち、式１は、取得された全ての視差画像における画素領域をベクトルで表したものである。ｙ１〜ｙＫは、各々、画素値を表している。
【００３８】
図４のステップＳ１０２において、指定部１２は、取得された各視差画像において、画素領域ｙ（ｉ，ｊ）を指定する。
【００３９】
図５は、輝度プロファイルの一例図である。図５では、９視差に対応する輝度プロファイルを示す。図５に示す輝度プロファイルは、視差画像を表示する画素領域（例えば、視差番号１〜９の画素）から出射される光線の輝度の角度分布を、視差画像毎に表したものである。横軸は、画素領域に対する角度（例えば、第１方向の角度）を表す。図５における「Ｖｉｅｗ１」〜「Ｖｉｅｗ９」は、各々視差番号１〜９の画素に対応している。図５に示す輝度プロファイルでは、画素領域の真正面の方向を角度０（ｄｅｇ）としている。縦軸は、輝度（光線の強度）を表す。輝度プロファイルは、画素領域毎に、輝度計等を用いて、予め測定しておいてよい。
【００４０】
すなわち、視聴者が角度θの視点位置から表示部１５に表示された画素領域を観察した場合、視聴者の眼には、輝度プロファイルに従って各画素の画素値が重ね合わさった光線（例えば、混色された光線）が届くため、視聴者は多重ボケの立体画像を観察してしまう。
【００４１】
格納部５１は、各画素領域ｙ（ｉ，ｊ）の座標（ｉ，ｊ）に対応する輝度プロファイルＨ（ｉ，ｊ）のデータを格納している。例えば、格納部５１は、画素領域ｙ（ｉ，ｊ）の座標（ｉ，ｊ）と、当該座標における輝度プロファイルとを対応付けて格納してよい。輝度プロファイルＨ（ｉ，ｊ）は、式２で表すことができる。
【００４２】
【数２】
2013027280.tif 000004
【００４３】
式２中、ｈＫ（ｉ，ｊ）（θ）は、画素領域ｙ（ｉ，ｊ）の座標（ｉ，ｊ）において、視差番号Ｋを表示する画素から出射される光線の、角度θ方向の輝度を表している。角度θ０〜θＱは、実験やシミュレーション等で予め定められていてよい。
【００４４】
図４のステップＳ１０３において、抽出部１３１は、指定された画素領域ｙ（ｉ，ｊ）の座標（ｉ，ｊ）に応じた輝度プロファイルＨ（ｉ，ｊ）を、格納部５１から抽出する。
【００４５】
図６は、表示部１５と視点との位置関係の説明図である。図６（ａ）に示すように、表示部１５上に原点（例えば表示部１５の左上点）を設定する。原点を通る第１方向にＸ軸を設定する。原点を通る第２方向にＹ軸を設定する。原点を通り、第１方向と第２方向とに直交する方向にＺ軸を設定する。Ｚは、表示部１５から視点までの距離を表す。
【００４６】
図６（ｂ）に示すように、視聴者の視点位置をＰｍ＝（Ｘｍ，Ｙｍ，Ｚｍ）とする。本実施形態では、視点位置Ｐｍを予め定めている。視点位置Ｐｍは複数あっても構わない（ｍ＝１，２，・・・，Ｍ）。視点位置Ｐｍから、座標（ｉ，ｊ）の画素領域ｙ（ｉ，ｊ）を観察した場合、その観察方向とＺ方向とのなす角φｍは、式３により表すことができる。
【００４７】
【数３】
2013027280.tif 000005
【００４８】
従って、視点位置Ｐｍから画素領域ｙ（ｉ，ｊ）を観察した場合、画素領域ｙ（ｉ，ｊ）から、角度φｍ方向へ届く光線の輝度ｈ（ｉ，ｊ）（φｍ）は、式４により表すことができる。
【００４９】
【数４】
2013027280.tif 000006
【００５０】
割当部１３２は、抽出された輝度プロファイルＨ（ｉ，ｊ）から、角度φｍに相当する（θ＝φｍ）輝度プロファイル成分（式２の行列式における行成分）を抽出する。角度φｍに相当する輝度プロファイル成分がない場合、割当部１３２は、他の輝度プロファイル成分（θ０〜θＱ）から補間した輝度プロファイル成分を算出してもよい。あるいは、角度φｍに最も近い角度θにおける輝度プロファイル成分を抽出してもよい。
【００５１】
割当部１３２は、抽出した輝度プロファイル成分を用いて、各視点位置Ｐｍから画素領域ｙ（ｉ，ｊ）を観察した場合における、画素領域ｙ（ｉ，ｊ）の輝度を表す光線輝度Ａ（ｉ，ｊ）を求める。光線輝度Ａ（ｉ，ｊ）は、式５により表すことができる。
【００５２】
【数５】
2013027280.tif 000007
【００５３】
図４のステップＳ１０４において、割当部１３２は、画素領域ｙ（ｉ，ｊ）と光線輝度Ａ（ｉ，ｊ）とを用いて、修正画素領域ｘ（ｉ，ｊ）を求める。すなわち、割当部１３２は、画素領域ｙ（ｉ，ｊ）との誤差が最小となるように、式６により、修正画素領域ｘ（ｉ，ｊ）を求め、各画素に割り当てる。
【００５４】
【数６】
2013027280.tif 000008
【００５５】
式６中の行列Ｂは、いずれの視差画像（視差番号ｋ）がいずれの視点位置（視点位置Ｐｍ）から観察されるかを指定するものである。例えば、視差数Ｋ＝５、視点位置の数Ｍ＝２の場合、行列Ｂは式７により表すことができる。
【００５６】
【数７】
2013027280.tif 000009
【００５７】
式７は、視差番号ｋ＝３の視差画像が視点位置Ｐｍ＝Ｐ１から観察され、視差番号ｋ＝４の視差画像が視点位置Ｐｍ＝Ｐ２から観察されることを指定する行列Ｂである。式６で表される行列Ｂ以外でも、列数が視差数であり、行数が視点位置の数である行列であればよい。
【００５８】
割当部１３２は、例えば式８により、修正画素領域ｘ（ｉ，ｊ）＝ｘ´（ｉ，ｊ）を求めてよい。
【００５９】
【数８】
2013027280.tif 000010
【００６０】
式８は、（Ｂｙ（ｉ，ｊ）−Ａ（ｉ，ｊ）ｘ（ｉ，ｊ））Ｔ（Ｂｙ（ｉ，ｊ）−Ａ（ｉ，ｊ）ｘ（ｉ，ｊ））を最小にするｘ（ｉ，ｊ）を求める式である。
【００６１】
割当部１３２は、Ｂｙ（ｉ，ｊ）−Ａ（ｉ，ｊ）ｘ（ｉ，ｊ）＝０を解析的に計算し、修正画素領域ｘ（ｉ，ｊ）を求めてもよい。これ以外にも、割当部１３２は、最急降下法や勾配法等の非線形最適化法を用いて、修正画素領域ｘ（ｉ，ｊ）を求めてもよい。
すなわち、修正画素領域ｘ（ｉ，ｊ）の各画素が各々式８をみたすように、当該画素値を割り当てる。
【００６２】
本実施形態によれば、視差画像における画素領域と、予め定められた視点位置との位置関係を考慮した輝度プロファイルや光線輝度を用いて、各画素領域を修正することにより、クロストークを精度よく低減することができる。
【００６３】
なお、取得部１１は、入力された一の画像から、各視差画像を生成しても構わない。あるいは、入力されたステレオ画像から各視差画像を生成しても構わない。また、各々の視差画像は、互いに視差を有する領域を含んでいればよい。すなわち、同一の視差となる領域を含んでいても構わない。
【００６４】
（変形例１）
表示パネル１５１は、同一の色成分のサブ画素が第１方向に配列され、かつ、第２方向に各色成分が繰り返して配列される「横ストライプ配列」であってよい。この場合、光線制御部１５２は、その光学的開口の延伸方向が表示パネル１５１の第２方向に対して平行に設けられる。この表示装置１５の構成を「構成Ｂ」と呼ぶこととする。
【００６５】
表示装置１５が構成Ｂの場合、製造誤差等により表示パネル１５１と光線制御部１５２とが完全な平行状態にならない場合がある。その場合には、本実施形態の輝度プロファイルを用いて、各画素領域を修正することにより、クロストークを精度よく低減することができる。本変形例によれば、製造誤差に起因するクロストークを低減することができる。
【００６６】
（変形例２）
表示装置１５が構成Ａ、又は構成Ｂのいずれであっても、表示パネル１５１と光線制御部１５２との間のギャップの大きさが、位置により異なる場合がある。この位置によってギャップの大きさが変化している状態を「ギャップムラ」と呼ぶ。その場合には、本実施形態の輝度プロファイルを用いて、各画素領域を修正することにより、クロストークを精度よく低減することができる。本変形例によれば、製造過程で生じたギャップムラに起因するクロストークを低減することができる。
【００６７】
（第２の実施形態）
第２の実施形態に係る画像処理装置２０は、前実施形態の輝度プロファイルに対応するフィルタ係数（輝度フィルタ）を用いて、各視差画像の画素領域の画素値を修正する。これにより、少ない処理コストで、クロストークを精度よく低減することができる。
【００６８】
輝度フィルタとは、予め設定された視点位置から画素領域を観察した場合に、観察されるべき視差画像を表示する画素領域（例えば、画素）からの光線が当該視点位置に届くように、視差画像ｙ（ｉ，ｊ）を変換する係数である。以下、前実施形態と異なる点について説明する。
【００６９】
図７は、画像処理装置２０を表すブロック図である。画像処理装置２０では、画像処理装置１０における修正部１３が、修正部２３に置き換わる。修正部２３は、格納部５２と、抽出部２３１と、割当部２３２とを備える。
【００７０】
格納部５２は、視差画像における各画素領域ｙ（ｉ，ｊ）に対応する一又は複数の輝度フィルタＧ（ｉ，ｊ）を格納している。輝度フィルタＧ（ｉ，ｊ）は、前実施形態の輝度プロファイルＨ（ｉ，ｊ）と等価であるのが望ましい。抽出部２３１は、指定された画素領域ｙ（ｉ，ｊ）に対応する輝度フィルタＧ（ｉ，ｊ）を、格納部５２から抽出する。
【００７１】
割当部２３２は、輝度フィルタＧ（ｉ，ｊ）を用いて、画素領域ｙ（ｉ，ｊ）をフィルタリング処理することにより、修正画素領域ｘ（ｉ，ｊ）を求め、各画素に割り当てる。例えば、割当部２３２は、輝度フィルタＧ（ｉ，ｊ）を画素領域ｙ（ｉ，ｊ）に乗じることにより、修正画素領域ｘ（ｉ，ｊ）を求めてよい。
【００７２】
抽出部２３１と、割当部２３２とは、ＣＰＵ、及びＣＰＵが用いるメモリにより実現されてよい。格納部５２は、ＣＰＵが用いるメモリや、補助記憶装置等により実現されてよい。
【００７３】
本実施形態によれば、少ない処理コストで、クロストークを精度よく低減することができる。
【００７４】
（変形例）
格納部５２は、各画素領域ｙ（ｉ，ｊ）に対応する輝度フィルタＧ（ｉ，ｊ）を全て格納していなくても構わない。この場合、抽出部２３１は、格納部５２に格納されている他の一又は複数の輝度フィルタＧ（ｉ，ｊ）から補間して、各画素領域ｙ（ｉ，ｊ）に対応する輝度フィルタＧ（ｉ，ｊ）を生成してもよい。
【００７５】
例えば、格納部５２に、Ｇ（０，０）、Ｇ（３，０）、Ｇ（０，３）、Ｇ（３，３）の４つの輝度フィルタが格納されているとする。このとき、抽出部２３１は、画素領域ｙ（２，２）に対応する輝度フィルタＧ（２，２）を式９により求めてよい。
【００７６】
【数９】
2013027280.tif 000011
【００７７】
式９中の、α、β、γ、λは、各々重み係数であり、座標の内分比によって求められる。
本変形例によれば、格納部５２の記憶容量を抑えることができる。
【００７８】
（第３の実施形態）
第３の実施形態に係る画像処理装置３０は、表示装置１５に対する一又は複数の視聴者の視点位置を検出し、検出した視聴者の視点位置において観察されるべき視差画像となるように、指定した画素領域ｙ（ｉ，ｊ）に含まれる画素の画素値を修正する点が、前実施形態の場合と異なる。以下、前実施形態と異なる点について説明する。
【００７９】
図８は、画像処理装置３０を表すブロック図である。画像処理装置３０は、画像処理装置１０に対して、さらに検出部３１を備える。検出部３１は、表示装置１５に対する一又は複数の視聴者の視点位置を検出する。例えば、検出部３１は、カメラやセンサ等を用いて、実空間上における視聴者の左眼の位置ＰＬ＝（ＸＬ，ＹＬ，ＺＬ）と、右眼の位置ＰＲ＝（ＸＲ，ＹＲ，ＺＲ）とを検出する。視聴者が複数の場合、検出部３１は、視聴者毎に左眼の位置ＰＬ＝（ＸＬ，ＹＬ，ＺＬ）と、右眼の位置ＰＲ＝（ＸＲ，ＹＲ，ＺＲ）とを検出してよい。検出部３１は、検出した視聴者の視点位置を割当部１３２に供給する。検出部３１は、ＣＰＵ、及びＣＰＵが用いるメモリにより実現されてよい。
【００８０】
割当部１３２は、抽出された輝度プロファイルを用いて、指定された画素領域ｙ（ｉ，ｊ）を、検出された視聴者の視点位置から観察されるべき画素を割り当てた修正画素領域に修正する。
【００８１】
本実施形態によれば、視聴者の位置や視聴者の人数に応じて、適応的な処理が可能となり、クロストークをさらに精度よく低減することができる。
【００８２】
なお、本実施形態では、画像処理装置１０に対する画像処理装置３０の構成を説明したが、画像処理装置２０に対する画像処理装置３０の構成の場合も同様である。
【００８３】
上述した実施形態によれば、クロストークを精度よく低減することができる。
【００８４】
なお、上述のオブジェクト領域特定装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、Ａ、Ｂ、ＣおよびＤは、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、オブジェクト領域特定装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、ＢおよびＣは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００８５】
これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８６】
１  立体画像表示装置
１０、２０  画像処理装置
１１  取得部
１２  指定部
１３、２３  修正部
１４  生成部
１５  表示装置
５１、５２  格納部
１３１、２３１  抽出部
１３２、２３２  割当部
【図１】
2013027280.tif 000012
【図２】
2013027280.tif 000013
【図３】
2013027280.tif 000014
【図４】
2013027280.tif 000015
【図５】
2013027280.tif 000016
【図６】
2013027280.tif 000017
【図７】
2013027280.tif 000018
【図８】
2013027280.tif 000019
【手続補正書】
【提出日】平成25年7月24日(2013.7.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する指定部と、 指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点位置で観察されるべき画素からの光線が前記視点位置に届くように、前記画素領域に含まれる画素の割り当てを修正した修正画素領域を得る修正部とを備える、画像処理装置。
【請求項２】
前記修正部は、  前記視点位置で観察されるべき画素の画素値と、前記視点位置で前記画素領域を観察した場合に観察されることが想定される画素の画素値との誤差が小さくなるように、前記画素領域に含まれる画素の割り当てを修正する、  請求項１記載の画像処理装置。
【請求項３】
前記修正部は、  前記画素領域から射出される光線の輝度分布を保持し、前記位置関係に対応する前記輝度分布に基づき、前記視点位置から前記画素領域を観察した場合に観察されることが想定される画素の画素値を特定する、  請求項２記載の画像処理装置。
【請求項４】
前記修正部は、  前記画素領域から射出される光線の輝度分布を保持し、前記位置関係に対応する前記輝度分布と相関するフィルタ係数を用いたフィルタリング処理により、前記修正画素領域を得る、  請求項１記載の画像処理装置。
【請求項５】
前記修正部は、 前記位置関係に応じて、前記フィルタ係数を補間し、補間した前記フィルタ係数を用いたフィルタリング処理により、前記修正画素領域を得る、請求項４記載の画像処理装置。
【請求項６】
前記修正部は、  前記視差画像中における前記画素領域の各画素と視聴者の視点位置との位置関係に対応する前記輝度分布のデータを格納する格納部と、 指定された前記画素領域の各画素と、所定の視点位置との位置関係に対応する前記輝度分布のデータを前記格納部から抽出する抽出部と、  抽出された前記輝度分布のデータを用いて、前記修正画素領域に含まれる各画素を割り当てる割当部とを備える、請求項４記載の画像処理装置。
【請求項７】
前記修正部は、  前記画素領域の各々の各画素と視聴者の視点位置との位置関係に対応する前記フィルタ係数を記憶する格納部と、 指定された前記画素領域の各画素と、所定の視点位置との位置関係に対応する前記フィルタ係数を前記格納部から抽出する抽出部と、  抽出された前記フィルタ係数を用いて、前記修正画素領域に含まれる各画素を割り当てる割当部とを備える、請求項４記載の画像処理装置。
【請求項８】
視聴者の視点位置を検出する検出部をさらに備え、 前記修正部は、指定された前記画素領域の各画素と検出された前記視点位置との位置関係とに基づいて、前記修正画素領域を得る、請求項１記載の画像処理装置。
【請求項９】
互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定し、 指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点位置で観察されるべき画素からの光線が前記視点位置に届くように、前記画素領域に含まれる画素の割り当てを修正した修正画素領域を得る、画像処理方法。
【請求項１０】
複数の画素が、第１方向と、前記第１方向と交差する第２方向と、に配列された表示パネルと、  前記表示パネルと対向して設けられ、各々の前記画素からの光線の出射方向を制御する光線制御部と、  前記表示パネルに表示するための、互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する指定部と、 指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点位置で観察されるべき画素からの光線が前記視点位置に届くように、前記画素領域に含まれる画素の割り当てを修正した修正画素領域を得る修正部とを備える立体画像表示装置。
【請求項１１】
コンピュータを、  互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する指定手段と、  指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点位置で観察されるべき画素からの光線が前記視点位置に届くように、前記画素領域に含まれる画素の割り当てを修正した修正画素領域を得る修正手段として機能させる、  画像処理プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】  上記目的を達成するために、実施形態に係る画像処理装置は、指定部と、修正部とを備える。指定部は、互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する。修正部は、指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点位置で観察されるべき画素からの光線が前記視点位置に届くように、前記画素領域に含まれる画素の割り当てを修正した修正画素領域を得る。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】  なお、上述の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能であり、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【国際調査報告】
2013027280.tif 000020
2013027280.tif 000021
2013027280.tif 000022
2013027280.tif 000023