(57)【特許請求の範囲】
【請求項１】
複数の視差画像の各々の画素を含む要素画像を割り当てた立体画像を表示可能な表示部に前記立体画像を表示する画像処理装置であって、
互いに視差を有する複数の前記視差画像を取得する第１取得部と、
前記立体画像を表示する表示領域を少なくとも１つの前記要素画像を含む複数の領域に分割した各領域で、予め定められた視点位置から観察されるべき視差画像の識別情報を取得する第２取得部と、
前記領域と前記視点位置との位置関係に対応する輝度分布を取得する第３取得部と、
前記識別情報と前記輝度分布とに基づいて、前記視差画像における前記領域に対応する位置の画素の輝度を、前記識別情報によって特定される視差画像の画素の輝度に補正する補正部と、
補正された前記視差画像から前記立体画像を生成する第１生成部と、
を備える画像処理装置。
【請求項２】
前記輝度分布に応じて、前記視差画像における前記各領域に対応する位置の画素の輝度を、前記識別情報によって特定される視差画像の画素の輝度に補正するためのフィルタ係数を生成する第２生成部を更に備え、
前記補正部は、
前記フィルタ係数を用いたフィルタリング処理により、前記視差画像における前記各領域に対応する位置の画素の輝度を、前記識別情報によって特定される視差画像の画素の輝度に補正する、
請求項１に記載の画像処理装置。
【請求項３】
前記各領域と前記視点位置との位置関係に対応する前記フィルタ係数を記憶する記憶手段を更に備える、
請求項２に記載の画像処理装置。
【請求項４】
前記補正部は、
前記領域と前記視点位置との位置関係に応じて前記フィルタ係数を補間し、補間した前記フィルタ係数を用いたフィルタリング処理により、前記視差画像における前記各領域に対応する位置の画素の輝度を、前記識別情報によって特定される視差画像の画素の輝度に補正する、請求項３に記載の画像処理装置。
【請求項５】
複数の視差画像の各々の画素を含む要素画像を割り当てた立体画像を表示可能な表示部に前記立体画像を表示する画像処理方法であって、
互いに視差を有する複数の前記視差画像を取得し、
前記立体画像を表示する表示領域を少なくとも１つの前記要素画像を含む複数の領域に分割した各領域で、予め定められた視点位置から観察されるべき視差画像の識別情報を取得し、
前記領域と前記視点位置との位置関係に対応する輝度分布を取得し、
前記識別情報と前記輝度分布とに基づいて、前記視差画像における前記領域に対応する位置の画素の輝度を、前記識別情報によって特定される視差画像の画素の輝度に補正し、
補正された前記視差画像から前記立体画像を生成する、
画像処理方法。
【請求項６】
コンピュータを、
複数の視差画像の各々の画素を含む要素画像を割り当てた立体画像を表示可能な表示部に前記立体画像を表示するコンピュータに実行させるための画像処理プログラムであって、
前記コンピュータを、
互いに視差を有する複数の前記視差画像を取得する第１取得部と、
前記立体画像を表示する表示領域を少なくとも１つの前記要素画像を含む複数の領域に分割した各領域で、予め定められた視点位置から観察されるべき視差画像の識別情報を取得する第２取得部と、
前記領域と前記視点位置との位置関係に対応する輝度分布を取得する第３取得部と、
前記識別情報と前記輝度分布とに基づいて、前記視差画像における前記領域に対応する位置の画素の輝度を、前記識別情報によって特定される視差画像の画素の輝度に補正する補正部と、
補正された前記視差画像から前記立体画像を生成する第１生成部と、
して機能させる画像処理プログラム。
【請求項７】
複数の視差画像の各々の画素を含む要素画像を割り当てた立体画像を表示可能な画像表示装置であって、
互いに視差を有する複数の前記視差画像を取得する第１取得部と、
前記立体画像を表示する表示領域を少なくとも１つの前記要素画像を含む複数の領域に分割した各領域で、予め定められた視点位置から観察されるべき視差画像の識別情報を取得する第２取得部と、
前記領域と前記視点位置との位置関係に対応する輝度分布を取得する第３取得部と、
前記識別情報と前記輝度分布とに基づいて、前記視差画像における前記領域に対応する位置の画素の輝度を、前記識別情報によって特定される視差画像の画素の輝度に補正する補正部と、
補正された前記視差画像から前記立体画像を生成する第１生成部と、
前記立体画像を表示する表示部と、
を備える画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラム、並びに、画像表示装置に関する。
【背景技術】
【０００２】
視聴者に立体画像を観察させる画像表示装置がある。画像表示装置では、複数の画素が配列された表示パネルの前面に、各画素からの光線の出射方向を制御する光線制御部を設け、互いに視差を有する複数の視差画像を表示する。
【０００３】
例えば、シーとディスプレイなどのように、表示領域自体が湾曲可能な場合や、経年変化によってパネルとレンズの一部が変形するまたは剥がれる場合には、このような画像表示装置において、視聴者がみる画像が立体に見えない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５１０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、画面を正常視域にすることが可能な画像処理装置、方法、及びプログラム、並びに、画像表示装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、実施形態に係る画像処理装置は、複数の視差画像の各々の画素を含む要素画像を割り当てた立体画像を表示可能な表示部に前記立体画像を表示する画像処理装置である。実施形態に係る画像処理装置は、第１取得部と、第２取得部と、第３取得部と、補正部と、第１生成部と、を備える。第１取得部は、互いに視差を有する複数の前記視差画像を取得する。第２取得部は、前記立体画像を表示する表示領域を少なくとも１つの前記要素画像を含む複数の領域に分割した各領域で、予め定められた視点位置から観察されるべき視差画像の識別情報を取得する。第３取得部は、前記領域と前記視点位置との位置関係に対応する輝度分布を取得する。補正部は、前記識別情報と前記輝度分布とに基づいて、前記視差画像における前記領域に対応する位置の画素の輝度を、前記識別情報によって特定される視差画像の画素の輝度に補正する。第１生成部は、補正された前記視差画像から前記立体画像を生成する。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１の画像表示装置の概略図。
【図２】表示装置を示す模式図。
【図３】表示装置を示す模式図。
【図４】要素画像の各画素から出射する光線方向の説明図。
【図５】要素画像を構成する画素を示す模式図。
【図６】光線方向が均一である場合の模式図。
【図７】光線方向が不均一である場合の模式図。
【図８】実施の形態１の画像処理装置のブロック図。
【図９】実施の形態１の画像処理の手順を示すフローチャート。
【図１０】視差画像の補正を示す模式図。
【図１１】要素画像の各画素の輝度分布を示す図。
【図１２】実施の形態２の画像処理装置のブロック図。
【図１３】輝度分布の一例を示す図。
【図１４】表示装置と視点位置ｍとの位置関係を示す図。
【図１５】実施の形態２の画像処理の手順を示すフローチャート。
【図１６】視差画像の補正を示す模式図。
【図１７】輝度分布の補正を示す模式図。
【図１８】実施の形態３の画像処理装置のブロック図。
【図１９】フィルタ係数の補間を示す模式図。
【発明を実施するための形態】
【０００８】
（実施の形態１）
本実施の形態の画像処理装置は、視聴者が裸眼で立体画像を観察可能なＴＶ（テレビ）、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、スマートフォン、デジタルフォトフレーム等の画像表示装置に用いられ得る。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。なお、実施の形態で述べる画像とは、静止画又は動画のいずれであってもよい。
【０００９】
図１は、本実施の形態の画像表示装置１０の概略図である。画像表示装置１０は、表示装置１４、及び画像処理装置１２を備える。
【００１０】
表示装置１４は、立体画像を表示する。表示装置１４は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用する。
【００１１】
表示装置１４は、表示パネル２０と、光線制御部２２と、を備える。表示パネル２０は、色成分を有する複数のサブ画素（例えば、Ｒ、Ｇ、Ｂ）を、第１方向（例えば、図１及における行方向（左右））と第２方向（例えば、図１における列方向（上下））とに、マトリクス状に配列した液晶パネルである。この場合、第１方向に並ぶＲＧＢ各色のサブ画素が１画素を構成する。また、隣接する画素を視差の数だけ第１方向に並べた画素群に表示される画像を要素画像と称する。すなわち、表示装置１４は、複数の要素画像をマトリクス状に配列した立体画像を表示する。表示装置１４のサブ画素の配列は、他の公知の配列であっても構わない。また、サブ画素は、ＲＧＢの３色に限定されない。例えば、４色以上であってもよい。
【００１２】
表示パネル２０には、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、投射型ディスプレイなどを用いる。また、表示パネル２０は、バックライトを備えた構成でもよい。
【００１３】
光線制御部２２は、表示パネル２０に対して間隔を隔てて対向して配置されている。光線制御部２２は、表示パネル２０の各画素からの光線の出射方向を制御する。光線制御部２２は、光線を出射するための光学的開口部が直線状に延伸し、当該光学的開口部が第１方向に複数配列されたものである。光線制御部２２には、例えば、シリンドリカルレンズが複数配列されたレンチキュラーシート、スリットが複数配列されたパララックスバリア等を用いる。光学的開口部は、表示パネル２０の各要素画像に対応して配置される。
【００１４】
なお、本実施の形態では、画像表示装置１０は、同一の色成分のサブ画素が第２方向に配列され、かつ、第１方向に各色成分が繰り返して配列される「縦ストライプ配列」である場合を説明する。また、本実施の形態では、光線制御部２２は、その光学的開口の延伸方向が表示パネル２０の第２方向に一致するように配置されている場合を説明する。
【００１５】
なお、光線制御部２２は、その光学的開口の延伸方向が表示パネル２０の第２方向に対して傾きを有するように配置されていてもよい。
【００１６】
図２は、表示装置１４の一部の領域を拡大して示す模式図である。なお、図２中の符号（１）〜（３）は、各々、視差画像の識別情報を示す。なお、本実施の形態では、視差画像の識別情報として、視差画像の各々に一意に付与された視差番号を用いる。同一の視差番号の画素は、同一の視差画像を表示する画素である。図２に示す例では、視差番号１〜３の順に、各視差番号によって特定される視差画像の画素を並べて、要素画像２４としている。図２の例での視差数は３視差（視差番号１〜３）であるが、他の視差数（例えば、視差番号１〜９の９視差）であってもよい。
【００１７】
図２に示すように、表示パネル２０は、要素画像２４が第１方向及び第２方向にマトリクス状に配列されている。視差数が３である場合には、各要素画像２４は、視差画像１の画素２４１、視差画像２の画素２４２、視差画像３の画素２４３を、順に第１方向に並べた画素群である。
【００１８】
各要素画像２４における、各視差画像の画素（画素２４１〜画素２４３）から出射した光線は、光線制御部２２に到る。そして、光線制御部２２によって進行方向と散らばりが制御されて、表示装置１４の全面に向けて出射する。例えば、各要素画像２４における、視差画像１の画素２４１から出射した光は、矢印Ｚ１方向に出射する。また、各要素画像２４における視差画像２の画素２４２から出射した光は、矢印Ｚ２方向に出射する。また、各要素画像２４における視差画像３の画素２４３から出射した光は、矢印Ｚ３方向に出射する。このように、表示装置１４では、各要素画像２４の各画素から出射する光の出射方向を、光線制御部２２によって調整する。
【００１９】
図３は、表示装置１４を視聴者１８が観察した状態を示す模式図である。表示パネル２０に複数の要素画像２４からなる立体画像を表示する。すると、視聴者１８は、要素画像２４に含まれる異なる視差画像の画素を、左眼１８Ａおよび右眼１８Ｂの各々の視点位置ｍ（ｍ２、ｍ１）で観察することになる。このように、視聴者１８の左眼１８Ａおよび右眼１８Ｂに対し、視差の異なる画像をそれぞれ表示することで、視聴者１８が立体画像を観察することができる。
【００２０】
ここで、各要素画像２４の各画素から出射する光は、光線制御部２２を介して、予め設定された方向に出射する。しかし、各要素画像２４の各画素から出射する光が、予め設定された方向とは異なる方向に出射する場合がある。このため、表示装置１４に表示された立体画像の各要素画像２４における、同じ視差番号の画素から出射する光が異なる方向に出射し、表示装置１４の表示領域全体においてばらつきが生じる場合がある。
【００２１】
図４は、各要素画像２４の各画素から出射する光線方向を説明する図である。図４（Ａ）は、各要素画像２４の画素（２４１〜２４３）から出射する光が予め設定された方向に出射する場合を示す。
【００２２】
図４（Ａ）に示すように、例えば、予め設定された状態では、要素画像２４における、視差番号３の画素２４３から出射する光線は、光線制御部２２を介して矢印Ｚ３方向に出射する。また、要素画像２４における、視差番号２の画素２４２から出射する光線は、光線制御部２２を介して矢印Ｚ２方向に出射する。また、要素画像２４における、視差番号１の画素２４１から出射する光線は、光線制御部２２を介して矢印Ｚ１方向に出射する。
【００２３】
図４（Ｂ）は、各要素画像２４の画素（２４１〜２４３）から出射する光が、予め設定された方向とは異なる方向に出射する場合を示す模式図である。図４（Ｂ）に示すように、要素画像２４における、視差番号３の画素２４３から出射する光線は、光線制御部２２を介して矢印Ｚ３方向ではなく矢印Ｚ２方向に出射する場合がある。また、要素画像２４における、視差番号２の画素２４２から出射する光線が、光線制御部２２を介して矢印Ｚ２方向ではなく、矢印Ｚ３方向に出射する場合がある。
【００２４】
このような、各要素画像２４の画素から出射する光線方向のばらつきは、例えば、下記の要因によって生じると考えられる。例えば、表示装置１４における表示領域の歪み、表示装置１４の経年劣化、表示パネル２０と光線制御部２２とのギャップムラ等が挙げられる。表示装置１４の経年劣化が生じると、表示パネル２０と光線制御部２２の一部が剥がれたり、表示パネル２０と光線制御部２２とのギャップにムラが生じる場合がある。
【００２５】
このため、表示装置１４の表示領域全体において、各要素画像２４の同じ視差番号の画素から出射する光線方向に、ばらつきが生じる場合がある。
【００２６】
このようなばらつきが生じると、表示装置１４のある領域では良好な立体画像が観察されるが、ある領域では、立体画像が観察されない状態となる。
【００２７】
更に具体的にこの現象を説明する。
【００２８】
図５は、視差数が９である場合の、要素画像２４を構成する画素（２４１〜２４９）を示す模式図である。各画素（２４１〜２４９）は、各々、視差番号１〜視差番号９の各々によって特定される視差画像の画素である。
【００２９】
図６は、視差数が９である場合に、同じ視差番号の画素から出射する光線方向が均一である場合を示す図である。なお、光線方向が均一である、とは、各要素画像２４の各視差番号の画素から出射する光線方向が、予め定められた方向に一致する状態であることを意味する。さらに具体的には、ある視点位置(片眼)から各領域Ｐ間で同じ視差番号によって特定される視差画像の画素が観察されることを示す。
【００３０】
なお、領域Ｐとは、表示装置１４における立体画像の表示領域を、複数の領域に分割したときの各領域Ｐを意味する。表示装置１４における立体画像の表示領域を複数の領域Ｐに分割するときの分割方法は、予め設定すればよい。例えば、表示装置１４における、各要素画像２４に対応する領域の各々を、領域Ｐとしてもよいし、複数の要素画像２４毎に１つの領域Ｐを設定してもよい。なお、本実施の形態では、表示装置１４における立体画像の表示領域における各要素画像２４に対応する領域を、表示装置１４における立体画像の表示領域を複数の領域に分割したときの領域Ｐとして説明する。
【００３１】
また、視点位置は、立体画像を視聴する視聴者の位置を示す。さらに具体的には、視点位置は、視聴者の片眼の位置を示す。
【００３２】
図６（Ａ）は、光線方向が均一である場合に、ある視点位置から、表示装置１４の表示領域の各領域Ｐ（Ｐａ〜Ｐｅ）で観察される視差画像の視差番号を示す図である。なお、視点位置ｍから観察されるべき視差画像が、視差番号５の視差画像であるとする。この場合、図６（Ａ）に示すように、視聴者が、ある視点位置ｍから表示装置１４を片眼で観察すると、表示装置１４の全領域に渡って視差番号５の視差画像を観察することができる。
【００３３】
すなわち、図６（Ｂ）に示すように、視点位置ｍには、表示装置１４から視差番号５の視差画像の画素からの光が、各領域Ｐａ〜Ｐｅから入射する。同様に、視聴者がもう一方の片眼で表示装置１４を観察すると、観察されるべき視差番号の視差画像として、例えば、視差番号３（図示省略）の視差画像を観察することができる。従って、光線方向が均一である場合には、視聴者が両目で表示装置１４を観察すると、表示装置１４の全領域を複数領域に分割したどの領域Ｐに視線をずらしても、立体画像を観察することができる。
【００３４】
図７は、視差数が９である場合に、同じ視差番号の画素から出射する光線方向が不均一である場合を示す図である。なお、光線方向が不均一である、とは、各要素画像２４の各視差番号の画素から出射する光線方向に、予め定められた方向とは異なる方向が含まれる場合を意味する。さらに具体的には、ある視点位置(片眼)から各領域Ｐ間で、異なる視差番号によって特定される視差画像の画素が観察されることを示す。
【００３５】
図７（Ａ）は、光線方向が不均一である場合に、ある視点位置から、表示装置１４の表示領域の各領域Ｐ（Ｐｆ〜Ｐｊ）で観察される視差画像の視差番号を示す図である。なお、視点位置ｍから観察されるべき視差画像が、視差番号５の視差画像であるとする。この場合、光線方向が不均一である場合には、視聴者が、ある視点位置ｍから表示装置１４を片眼で観察すると、各領域で異なる視差番号の視差画像を観察することとなる。例えば、図７（Ａ）に示すように、視差番号５の観察される領域Ｐｈ、視差番号１の観察される領域Ｐｆ、及び視差番号９の観察される領域Ｐｊが発生する。
【００３６】
すなわち、図７（Ｂ）に示すように、視点位置ｍには、表示装置１４の各領域Ｐｆ〜Ｐｊから、異なる視差番号（１、４、５、９）の視差画像の画素からの光が入射する。従って、光線方向が不均一である場合には、視聴者が両眼で表示装置１４を観察すると、表示装置１４上の領域Ｐによって、立体画像を観察可能な領域と、立体画像を観察できない領域（逆視領域）と、が発生する。
【００３７】
以上のように、表示装置１４の歪みなどによって、表示装置１４の各領域Ｐに含まれる要素画像２４の各視差画像の画素から出射する光線方向が、想定した方向とは異なる方向に出射する場合がある。すると、ある視点位置から観察されるべき視差番号とは異なる視差番号の視差画像が観察され、画面全域が正常視域にならず、立体視できない。このため、表示装置１４の表示領域上では、立体画像を観察可能な領域Ｐと、立体画像の観察できない領域Ｐと、が発生する場合があった。
【００３８】
そこで、本実施の形態では、画像処理装置１２は、視点位置と、表示装置１４を複数領域に分割した各領域Ｐの各画素に該視点位置から観察されるべき画素の視差画像の視差番号（識別情報）と、に基づいて、視差画像における、補正対象の領域Ｐに対応する位置の画素を、該観察されるべき画素に補正する。そして、補正後の視差画像から生成した立体画像を、表示装置１４に表示する。
【００３９】
このため、本実施の形態の画像処理装置１２では、画面を正常視域にすることができる。
【００４０】
以下、本実施の形態の画像処理装置１２について、詳細に説明する。
【００４１】
図８は、画像処理装置１２を表すブロック図である。画像処理装置１２は、第１取得部３０、補正部３２、第１記憶部３４、第２取得部３６、第２記憶部３８、第１生成部４０、及び出力部４２を備える。
【００４２】
第１取得部３０は、立体画像に用いる複数（Ｋ個（Ｋは２以上の整数））の視差画像を取得する。第１取得部３０は、取得した視差画像を、補正部３２へ出力する。
【００４３】
第１記憶部３４は、各領域Ｐと、視点位置と、に対応づけて、該視点位置から観察されるべき視差画像の視差番号を示す第１視差番号を記憶する。該視点位置は、上述したように、視聴者の実空間上の位置を示す。さらに詳細には、本実施の形態では、視点位置は、視聴者の目（すなわち片眼）の位置を示す。なお、この視点位置は、実空間上における三次元位置座標を示す。また、第１記憶部３４は、領域Ｐとして、各領域Ｐの表示装置１４の表示領域上における位置を記憶する。
【００４４】
第１視差番号は、対応する視点位置から対応する領域Ｐを観察したときに観察されるべき視差画像の視差番号を示す。画像表示装置１０では、視点位置と領域Ｐとの位置関係に対応する第１視差番号を、第１記憶部３４に予め記憶する。なお、各視点位置と領域Ｐに対応する第１視差番号は、予め実験やシミュレーション等により求め、第１記憶部３４に記憶すればよい。
【００４５】
第２記憶部３８は、視聴者の片眼の位置である視点位置を予め記憶する。この視点位置は、表示装置１４を観察可能な実空間上の任意の一の位置（三次元位置座標）を予め定めればよい。なお、本実施の形態では、１の視点位置を予め記憶する場合を説明するが、複数の視点位置を記憶してもよい。
【００４６】
また、本実施の形態では、視点位置を予め記憶する場合を説明するが、外部装置から読み取ってもよい。また、検出部（図示省略）を画像表示装置１０に設けた構成とし、該検出部から、視聴者の片眼の位置を検出することで、視点位置を取得してもよい。検出部には、カメラやセンサ等を用いる。そして、検出部は、実空間上における視聴者の左眼の三次元位置座標、及び右眼の三次元位置座標の少なくとも一方を検出することで、視点位置を検出すればよい。
【００４７】
第２取得部３６は、視聴者の視点位置と補正対象の領域Ｐとに対応する第１視差番号を、第１記憶部３４から取得する。すなわち、第２取得部３６は、視点位置から補正対象の領域Ｐで観察されるべき画素の視差番号を、第１記憶部３４から取得する。
【００４８】
なお、第１記憶部３４は、１の視点位置から各領域Ｐで観察されるべき視差画像の第１視差番号として、該各領域Ｐ間で同一の視差番号を対応づけて記憶している。このため、第２取得部３６は、ある視点位置から各領域Ｐで観察されるべき視差画像の第１視差番号として、該各領域間で同一の視差番号を取得することが好ましい。
【００４９】
補正部３２は、視点位置と、該視点位置から各領域Ｐの画素で観察されるべき第１視差番号と、に基づいて、第１取得部３０から取得した視差画像における、領域Ｐに対応する位置の画素を、第１視差番号によって特定される視差画像の画素に補正する。
【００５０】
そして、補正部３２は、補正した視差画像（補正視差画像）を第１生成部４０へ出力する。第１生成部４０は、複数の補正視差画像から立体画像を生成し、出力部４２へ出力する。出力部４２は、第１生成部４０から受け付けた立体画像を、表示装置１４の表示パネル２０へ表示する。
【００５１】
なお、第１取得部３０、補正部３２、第２取得部３６、第１生成部４０、及び出力部４２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により実現する。第１記憶部３４、第２記憶部３８は、ＣＰＵが用いるメモリや、ハードディスクドライブ装置（ＨＤＤ）等の記憶媒体により実現する。
【００５２】
次に、補正部３２による視差画像の補正処理について、詳細に説明する。
【００５３】
補正部３２は、表示装置１４の表示領域を複数の領域Ｐに分割したときの全領域Ｐの内、補正対象の１の領域Ｐを指定する。なお、表示装置１４の各領域Ｐの位置座標を（ｉ，ｊ）Ｔとする。Ｔは転置を表す。ｉは、表示装置１４における第１方向の座標である（インデックスでもよい）。ｊは、表示装置１４における第２方向の座標である（インデックスでもよい）。各視差画像において、座標（ｉ，ｊ）は共通とする。
【００５４】
ここで、領域Ｐの位置座標（ｉ，ｊ）Ｔに含まれる要素画像２４は視差数Ｋ（Ｋは１以上の整数）の視差画像の画素群からなる。このため、補正前の各領域Ｐの画素群ｙ（ｉ，ｊ）は、下記式（１）で表せる。
【００５５】
【数１】
0005818674.tif 000002
【００５６】
式（１）中、ｙ１〜ｙＫの添え字（１〜Ｋ）は、視差番号を示す。Ｋは、視差数を示す。ｙ（ｉ，ｊ）は、第１取得部３０で取得した視差画像から生成した立体画像における、１の領域Ｐ（要素画像２４）を構成する各視差番号の画素群を示す。なお、ｙ１（ｉ，ｊ）は、視差番号１の視差画像における座標（ｉ，ｊ）の画素値を示す。また、式（１）中、「，・・・，」は、式（１）中のＫの値が２以上Ｋ−１未満の各視差番号の視差画像における座標（ｉ，ｊ）の画素値を示す。同様に、ｙＫ（ｉ，ｊ）は、視差番号Ｋの視差画像における座標（ｉ，ｊ）の画素値を示す。すなわち、ｙ（ｉ，ｊ）は、第１取得部３０で取得した視差画像（補正前の視差画像）から生成した立体画像における、１の領域Ｐ（要素画像２４）の画素値を示す。
【００５７】
補正部３２は、領域Ｐの位置座標（ｉ，ｊ）Ｔ、及び視点位置に応じた、観察されるべき第１視差番号ｋｄｓｔの視差画像の画素Ｌ（ｉ，ｊ）用いて、各視差番号の視差画像における座標（ｉ，ｊ）の画素値を補正する。
【００５８】
具体的には、補正部３２は、まず、各視差画像における座標（ｉ，ｊ）の画素値（ｙ１（ｉ，ｊ）〜ｙＫ（ｉ，ｊ））を補正するための補正値ｃを、下記式（２）を用いて求める。
【００５９】
【数２】
0005818674.tif 000003
【００６０】
そして、補正部３２は、式（２）で算出した補正値ｃを用いて、式（１）中の各画素値（ｙ１（ｉ，ｊ）〜ｙＫ（ｉ，ｊ））の各々を、下記式（２Ａ）によって示される視差番号ｋ’の視差画像における同じ位置座標の画素値に補正する。
【００６１】
ｋ’＝ｍｏｄ（ｋ+ｃ，Ｋ）    式（２Ａ）
【００６２】
式（２Ａ）中、ｋは、補正前の視差番号を示す。Ｋは、視差数を示す。ｃは、上記式（２）で示される。ｋ’は、補正後の視差番号を示す。
【００６３】
すなわち、補正部３２は、視差番号ｋに上記補正値ｃを加算した加算値を、視差数Ｋで除算した余りの値であるｋ’を、補正後の視差番号とする。そして、領域Ｐに対応する位置の視差画像の画素を、補正後の視差番号によって特定される視差画像の画素に補正する。
【００６４】
このため、補正後の各領域Ｐの画素群ｘ（ｉ，ｊ）は、下記式（３）で表せる。
【００６５】
【数３】
0005818674.tif 000004
【００６６】
式（３）中、ｘ１〜ｘＫの添え字（１〜Ｋ）は、補正後の視差番号を示す。すなわち、式（３）中、ｘ１〜ｘＫの添え字（１〜Ｋ）は、補正前の視差番号である式（１）中のｙ１〜ｙＫの添え字（１〜Ｋ）によって示される視差番号を、上記式（２Ａ）を用いて補正した後の視差番号である。
【００６７】
また、式（３）中、Ｋは、視差数を示す。ｘ（ｉ，ｊ）は、補正後の視差画像から生成した立体画像における、１の領域Ｐ（要素画像２４）を構成する画素群を示す。なお、ｘ１（ｉ，ｊ）は、視差番号１の視差画像における座標（ｉ，ｊ）の補正後の画素値を示す。また、式（３）中、「，・・・，」は、式（３）中のＫの値が２以上Ｋ−１未満の各視差番号における座標（ｉ，ｊ）の補正後の画素値を示す。同様に、ｘＫ（ｉ，ｊ）は、視差番号Ｋの視差画像における座標（ｉ，ｊ）の補正後の画素値を示す。すなわち、ｘ（ｉ，ｊ）は、補正部３２で補正した後の補正視差画像から生成した立体画像における、１の領域Ｐ（要素画像２４）の画素値を示す。
【００６８】
このように、本実施の形態の画像処理装置１２では、表示装置１４を複数領域に分割した各領域Ｐの各画素で、視点位置から観察されるべき第１視差番号の視差画像の画素が観察されるように、第１取得部３０で取得した視差画像を補正する。すなわち、補正部３２は、各領域Ｐの要素画像２４を構成する複数の視差画像の画素群の配列を、観察されるべき第１視差番号の視差画像の画素が表示されるように変更する。このため、画像処理装置１２は、各領域Ｐに想定される視域が形成されるように、視域を回転させる。
【００６９】
次に、画像処理装置１２で実行する画像処理の手順を説明する。図９は、本実施の形態の画像表示装置１０で実行する画像処理の手順を示すフローチャートである。
【００７０】
まず、第１取得部３０が、複数の視差画像を取得する（ステップＳ１００）。次に、補正部３２は、第２記憶部３８に記憶されている視点位置を読み取る（ステップＳ１０４）。
【００７１】
次に、画像処理装置１２は、表示装置１４を予め定めた複数の領域Ｐに分割した領域数分、下記ステップＳ１０６〜ステップＳ１０８の処理を繰り返す。
【００７２】
まず、第２取得部３６が、上記ステップＳ１０４で読み取った視聴者の視点位置と補正対象の領域Ｐとに対応する第１視差番号を、第１記憶部３４から取得する（ステップＳ１０６）。ステップＳ１０６の処理によって、第２取得部３６は、視点位置から補正対象の領域Ｐで観察されるべき画素の視差番号を取得する。
【００７３】
次に、補正部３２が、補正処理を行う（ステップ１０８）。すなわち、補正部３２は、ステップＳ１０４で取得した視点位置と、上記ステップＳ１０６で取得した第１視差番号と、に基づいて、上記ステップＳ１００で取得した視差画像における、補正対象の領域Ｐに対応する位置の画素を、観察されるべき第１視差番号の画素に補正する。
【００７４】
ステップＳ１０６〜ステップＳ１０８の処理が、表示装置１４における複数の領域Ｐの全領域Ｐについて実行されることによって、第１取得部３０から取得した視差画像が補正され、補正視差画像が生成される。
【００７５】
次に、第１生成部４０が、補正視差画像から立体画像を生成する（ステップＳ１１０）。次に、出力部４２が、ステップＳ１１０で生成された立体画像を、表示パネル２０に表示し（ステップＳ１１２）、本ルーチンを終了する。
【００７６】
図１０は、第１取得部３０で取得した視差画像の補正を示す模式図である。
【００７７】
図１０（Ａ）は、第１取得部３０で取得した視差画像から生成した立体画像を表示した場合に、視点位置ｍから各領域Ｐ（Ｐ１〜Ｐ５）で観察される視差番号の画素を示す模式図である。図１０（Ａ）に示すように、光線方向が不均一である場合には、視聴者が、ある視点位置ｍから表示装置１４を片眼で観察すると、表示装置１４の領域Ｐ毎に、異なる視差番号の視差画像が観察される。
【００７８】
詳細には、図１０（Ａ）に示すように、表示装置１４上の各領域Ｐ１〜Ｐ５の各々における要素画像２４が、視差番号１〜９の視差画像の画素を連続して並べた構成であるとする。そして、表示装置１４の各要素画像２４の画素からの光線方向が不均一である場合には、視点位置ｍから各領域Ｐ１〜Ｐ５を観察すると、以下の視差番号の画素が観察される。例えば、領域Ｐ１については、視点位置ｍから視差番号１の画素が観察され、領域Ｐ２については視差番号４の画素が観察され、領域Ｐ３については視差番号５の画素が観察される。同様に、領域Ｐ４については、視点位置ｍから視差番号５の画素が観察され、領域Ｐ５については、視点位置ｍから視差番号９の画素が観察される。
【００７９】
一方、本実施の形態の画像処理装置１２では、上述したように、補正部３２が、視点位置ｍと、第１視差番号と、に基づいて、第１取得部３０で取得した視差画像における、補正対象の領域Ｐに対応する位置の画素を、観察されるべき第１視差番号の画素に補正する。
【００８０】
なお、視点位置ｍから各領域Ｐ（Ｐ１〜Ｐ５）で観察されるべき画素が、視差番号５の画素であるとする。この場合には、本実施の形態の画像処理装置１２が上記画像処理を行うことによって、各領域Ｐ１〜Ｐ４で視点位置ｍから観察される画素の視差番号が視差番号５となるように、視差画像の各画素が補正される。
【００８１】
このため、補正後の補正視差画像を用いて立体画像を表示装置１４に表示すると、表示装置１４の各領域Ｐ１〜Ｐ４で、視点位置ｍから視差番号５の画素が観察されるように、視域が回転された状態となる（図１０（Ｂ）参照）。このため、視点位置ｍには、各領域Ｐ（Ｐ１〜Ｐ５）から、視差番号５の画素の光が到達する。
【００８２】
このように、視点位置ｍから、観察されるべき第１視差番号の画素が観察されるように、視差画像における、各領域Ｐに対応する位置の画素を補正することによって、視点位置から画面全域を正常視域にすることができる。
【００８３】
以上説明したように、本実施の形態の画像処理装置１２では、表示装置１４を複数領域に分割した各領域Ｐの各画素で、視点位置から予め定められた観察されるべき第１視差番号の視差画像の画素が観察されるように、視差画像を補正する。そして、補正後の補正視差画像から立体画像を生成し、表示装置１４に表示する。このため、シーとディスプレイや、経年変化によって表示領域の一部が変形または剥がれるなどの場合にも、画面全域を正常視域にすることができ、画像を立体に観察することができるようになる。
【００８４】
なお、第１取得部３０は、入力された一の画像から、各視差画像を生成してもよい。あるいは、入力されたステレオ画像から各視差画像を生成してもよい。また、各々の視差画像は、互いに視差を有する領域を含んでいればよい。すなわち、同一の視差となる領域を含んでいても構わない。
【００８５】
（実施の形態２）
実施の形態１では、表示装置１４上の各領域Ｐで、観察されるべき第１視差番号の視差画像の画素が観察されるように、第１取得部３０で取得した視差画像を補正し、補正した補正視差画像から立体画像を生成する場合を説明した。
【００８６】
本実施の形態では、第１視差番号と、視点位置と各領域Ｐとの位置関係に対応する輝度分布と、に基づいて、視差画像を補正する場合を説明する。
【００８７】
なお、輝度分布とは、表示装置１４の各領域Ｐから出射する光線の輝度の角度分布を示す。この角度は、例えば、第１方向（左右方向）の角度、または第２方向（上下方向）の角度を示す。本実施の形態では、角度は、第２方向の角度である場合を説明するが、第１方向の角度、または第１方向及び第２方向の双方の角度であってもよい。
【００８８】
ここで、ある視点位置に位置する片眼に届く光について説明する。図１１は、ある領域Ｐの要素画像２４から出射する光線の輝度分布を示す図である。
【００８９】
なお、図１１では、光線制御部２２における光学的開口部に対して、視差数３、すなわち視差番号１の画素２４１、視差番号２の画素２４２、及び視差番号３の画素２４３からなる１の要素画像２４が、表示装置１４の領域Ｐ１に配置されている場合を示した。
【００９０】
図１１に示すように、各画素（画素２４１〜画素２４３の各々）から出射した光は、光線制御部２２を介して出射する。光線制御部２２を介して出射した光線は、広がりを持つため、光線制御部２２から一定距離離れた位置で光線の輝度を計測すると、図１１に示すようにある一定の範囲に分布する。ここで、横軸が位置、縦軸が強度を表し、画素２４１の輝度分布が５０６、画素２４２の光線分布が５０５、画素２４３の光線分布が５０４である。
【００９１】
ある視点位置ｍから、表示装置１４における領域Ｐ１を観察したときに片眼に届く光はこの輝度分布に従う。すなわち、視点位置ｍに届く光は、各画素２４１〜画素２４３の画素値が重ね合わされた（例えば混色された）ものになる。例えば、位置５０７からこの領域Ｐ１を観察したときに視点位置ｍの眼に届く光は、各輝度分布の位置５０７における値５０８、５０９、５１０を重みとして、画素２４１、画素２４２、画素２４３の輝度値を重み付き加算したものとなる。
【００９２】
視点位置ｍが、画素２４２からの光線のみを選択的に観察可能な位置５０３である場合には、視点位置ｍから観察できる画素は、視差番号２の画素２４２となる。しかし、視点位置ｍが、画素２４２と画素２４１の双方の光線を観察可能な位置５０７である場合には、視点位置ｍから観察できる画素は、視差番号２の画素２４２と視差番号１の画素２３１の双方となる。
【００９３】
このため、視聴者が、位置５０７を視点位置ｍとして片眼で表示装置１４を観察した場合には、複数の視差画像の各画素がその視点位置における輝度分布によって重なり合った重ね合わせ画像となり、多重ボケが発生する。言い換えると、同じ領域Ｐを、観察角度の異なる視点位置ｍから観察した場合には、その視点位置ｍにおける輝度分布によって、観察されるべき視差番号とは異なる視差番号の視差画像が観察される場合がある。
【００９４】
そこで、本実施の形態の画像表示装置では、第１視差番号と、視点位置と各領域Ｐとの位置関係に対応する輝度分布と、に基づいて、各視差画像における、各領域Ｐに対応する位置の画素の輝度を、観察されるべき第１視差番号の視差画像の画素の輝度に補正する。
【００９５】
図１２は、本実施の形態の画像表示装置１０Ａを示すブロック図である。画像表示装置１０Ａは、画像処理装置１２Ａ、及び表示装置１４を備える。
【００９６】
画像処理装置１２Ａは、第１取得部３０、補正部３２Ａ、第３記憶部４３、第３取得部４５、第１生成部４０、出力部４２、第１記憶部３４、第２取得部３６、及び第２記憶部３８を備える。第１取得部３０、第１記憶部３４、第２取得部３６、第２記憶部３８、第１生成部４０、及び表示装置１４は、実施の形態１と同じであるので説明を省略する。
【００９７】
第３記憶部４３は、表示装置１４の角度θ毎に、に、輝度分布を記憶する。なお、角度θは、視聴者が角度θの視点位置から領域Ｐを観察するときの角度を示す。すなわち、視聴者の片眼の位置である視点位置と、表示装置１４における領域Ｐと、のなす角度を示す。なお、本実施の形態では、輝度分布を、Ｈで表す。この輝度分布Ｈは、下記式（４）で表される。
【００９８】
【数４】
0005818674.tif 000005
【００９９】
なお、式（４）中、ｈＫ（θ）は、視差番号Ｋを表示する画素から出射される光線の、角度θ方向の輝度を表している。角度θ０〜θＱは、実験やシミュレーション等で予め定められていてよい。なお、Ｋは、１以上視差数以下の整数である。また、式（４）中、行方向は、同一角度θの輝度を示す。式（４）中、列方向は、各視差番号の画素の輝度を示す。
【０１００】
図１３は、ある領域Ｐの輝度分布の一例図である。図１３では、９視差に対応する輝度分布を示す。図１３に示す輝度分布は、表示装置１４に表示された立体画像における領域Ｐの要素画像２４の各画素（例えば、視差番号１〜９の各画素）から出射する光線の輝度の分布を、視差番号毎に表したものである。横軸は、領域Ｐに対する角度（例えば、第１方向の角度）を表す。縦軸は、輝度を表す。図１３における番号１〜９によって示される線図は、各々、視差番号１〜９の画素に対応する輝度分布を示す。
【０１０１】
なお、図１３に示す輝度分布では、領域Ｐの真正面の方向を角度０（ｄｅｇ）としている。縦軸は、輝度（光線の強度）を表す。輝度分布は、領域Ｐ毎に、輝度計等を用いて、予め測定しておいてよい。
【０１０２】
図１４は、表示装置１４と視点位置ｍとの位置関係の説明図である。図１４（Ａ）に示すように、表示装置１４上に原点（例えば表示装置１４の左上点）を設定する。原点を通る第１方向にＸ軸を設定する。原点を通る第２方向にＹ軸を設定する。原点を通り、第１方向と第２方向とに直交する方向にＺ軸を設定する。Ｚは、表示装置１４から視点位置ｍまでの距離を表す。
【０１０３】
図１４（Ｂ）に示すように、視聴者の視点位置をｍ＝（Ｘｍ，Ｙｍ，Ｚｍ）Ｔとする。本実施の形態では、視点位置ｍを予め定めている。視点位置ｍは複数あってもよい。視点位置ｍから、座標（ｉ，ｊ）Ｔの領域Ｐを観察した場合、その観察方向とＺ方向とのなす角φｍは、式（５）により表すことができる。
【０１０４】
【数５】
0005818674.tif 000006
【０１０５】
なお、式（５）中、ｍは、視点位置の各々を示す番号であり、１以上総視点位置数以下の整数である。
【０１０６】
従って、視点位置ｍから座標（ｉ，ｊ）Ｔの領域Ｐを観察した場合、該領域Ｐから角度φｍ方向へ届く光線輝度ｈ（ｉ，ｊ）（φｍ）は、式（６）により表すことができる。
【０１０７】
【数６】
0005818674.tif 000007
【０１０８】
図１２へ戻り、説明を続ける。
【０１０９】
第３取得部４５は、各領域Ｐと視点位置との位置関係に対応する輝度分布を、第３記憶部４３から取得する。
【０１１０】
補正部３２Ａは、各領域Ｐと視点位置との位置関係に対応する輝度分布に応じて、視差画像における各領域Ｐに対応する位置の画素の輝度を、該領域Ｐで観察されるべき視差番号である第１識別番号によって特定される視差画像の画素の輝度に補正する。
【０１１１】
そして、補正部３２Ａは、補正した視差画像（補正視差画像）を第１生成部４０へ出力する。第１生成部４０は、複数の補正視差画像から立体画像を生成し、出力部４２へ出力する。出力部４２は、第１生成部４０から受け付けた立体画像を、表示装置１４の表示パネル２０へ表示する。
【０１１２】
なお、第１取得部３０、補正部３２Ａ、第２取得部３６、第１生成部４０、第３取得部４５、及び出力部４２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により実現する。第１記憶部３４、第２記憶部３８、及び第３記憶部４３は、ＣＰＵが用いるメモリや、ハードディスクドライブ装置（ＨＤＤ）等の記憶媒体により実現する。
【０１１３】
次に、補正部３２Ａによる視差画像の補正について、詳細に説明する。
【０１１４】
なお、本実施の形態では、実施の形態１と同様に、各領域Ｐは、１の要素画像２４を含む場合を説明する。
【０１１５】
補正部３２Ａは、表示装置１４の表示領域を複数の領域Ｐに分割したときの各領域Ｐの内、補正対象の１の領域Ｐを順次指定する。なお、実施の形態１で説明したように、領域Ｐの位置座標（ｉ，ｊ）Ｔに含まれる要素画像２４は視差数Ｋ（Ｋは１以上の整数）の視差画像の画素群からなる。このため、補正前の各領域Ｐの画素群ｙ（ｉ，ｊ）は、上記式（１）で表せる。
【０１１６】
そして、補正部３２Ａは、視点位置ｍ、領域Ｐの位置座標（ｉ，ｊ）Ｔに応じた観察されるべき第１視差番号ｋｄｓｔ、及び領域Ｐの輝度分布Ｈ（ｉ，ｊ）に基づいて、補正処理を行う。
【０１１７】
ここで、領域Ｐの位置座標（ｉ，ｊ）Ｔ及び視点位置に応じた、観察されるべき第１視差番号ｋｄｓｔの視差画像の画素（画素値）を、Ｌｍ（ｉ，ｊ）とする。
【０１１８】
まず、補正部３２Ａは、第１視差番号ｋｄｓｔに基づいて、領域Ｐの輝度分布Ｈ（ｉ，ｊ）によって示される、各画素に対応する視差番号を補正する。すると、補正後の視差番号ｋ’は、下記式（７）によって示される。
【０１１９】
ｋ’＝ｋ＋（ｋｄｓｔ−Ｌｍ（ｉ，ｊ））    式（７）
【０１２０】
なお、観察されるべき第１視差番号ｋｄｓｔには、下記式（８）によって示される、視域中央部ｋｃの値を用いる事が好ましい。視域中央部ｋｃは、各領域Ｐの中央部で観察されるべき画素の視差番号を示す。
【０１２１】
ｋｃ＝（Ｋ＋１）／２        式（８）
【０１２２】
式（８）中、Ｋは、視差数を示す。
【０１２３】
すると、上記式（７）は、下記式（９）によって示される。
【０１２４】
ｋ’＝ｋ＋（ｋＣ−Ｌｍ（ｉ，ｊ））    式（９）
【０１２５】
そして、補正部３２Ａは、補正前の各領域Ｐの画素群を示すｙ（ｉ，ｊ）（式（１）参照）中の、各画素値（ｙ１（ｉ，ｊ）〜ｙＫ（ｉ，ｊ））の各々を、式（９）によって示される視差番号ｋ’の視差画像における同じ位置座標の画素値に補正する。
【０１２６】
式（９）中、ｋは、補正前の視差番号を示す。Ｋは、視差数を示す。ｋ’は、補正後の視差番号を示す。
【０１２７】
すなわち、補正部３２Ａは、ｋ’を、第１視差番号に基づいて補正された補正後の視差番号とする。このため、第１視差番号に基づいて補正された、補正後の各領域Ｐの画素群ｘ（ｉ，ｊ）は、上述した式（１）のｋに、式（９）のｋ’を代入した値（上記（３）参照）となる。
【０１２８】
さらに、補正部３２Ａは、この第１視差番号に基づいて補正された、補正後の各領域Ｐの画素群ｘ（ｉ，ｊ）を用いて、各領域Ｐに対応する輝度分布を補正する。そして、補正部３２Ａは、補正された各領域Ｐの輝度分布を用いて、視差画像における各領域Ｐに対応する位置の画素の輝度を、第１視差番号によって特定される視差画像の画素の輝度に補正する。
【０１２９】
まず、補正部３２Ａは、上記式（６）で示される光線輝度ｈ（ｉ，ｊ）（φｍ）を、下記式（１０）で示される式によって補正する。すなわち、視点位置ｍから観察した場合の領域Ｐの位置座標（ｉ，ｊ）Ｔにおける、第１視差番号によって補正された、領域Ｐから角度φｍ方向へ届く光線の輝度ｈ（ｉ，ｊ）（φｍ）は、下記式（１０）で示される。
【０１３０】
【数７】
0005818674.tif 000008
【０１３１】
そして、補正部３２Ａは、領域Ｐに対応する輝度分布Ｈ（ｉ，ｊ）から、角度φｍに相当する（θ＝φｍ）輝度分布成分（式（４）の行列式における行成分）を抽出する。角度φｍに相当する輝度分布成分がない場合、補正部３２Ａは、他の輝度分布成分（θ０〜θＱ）から補間した輝度分布成分を算出してもよい。あるいは、角度φｍに最も近い角度θにおける輝度分布成分を抽出してもよい。
【０１３２】
次に、補正部３２Ａは、抽出した輝度分布成分を用いて、各視点位置ｍから各領域Ｐを観察した場合における、補正前の各領域Ｐの画素群ｙ（ｉ，ｊ）の輝度を表す光線輝度Ａ（ｉ，ｊ）を求める。光線輝度Ａ（ｉ，ｊ）は、式（１１）により表すことができる。
【０１３３】
【数８】
0005818674.tif 000009
【０１３４】
式（１１）によって示される行列を、領域Ｐの位置座標（ｉ，ｊ）Ｔにおける行列とする。補正部３２Ａは、式（１１）によって示される行列に、第１視差番号に基づいて補正された補正後の各領域Ｐの画素群ｘ（ｉ，ｊ）を乗じた乗算値を求める。補正部３２Ａは、この乗算値であるＡ（ｉ，ｊ）ｘ（ｉ，ｊ）を、本実施の形態における、第１視差番号及び光線輝度に応じて補正した補正後の各領域Ｐの画素群として算出する。
【０１３５】
なお、補正部３２Ａは、第１取得部３０で取得した視差画像の画素領域ｙ（ｉ，ｊ）との誤差が最小となるように、式（１２）により、第１視差番号及び光線輝度に応じて補正した、補正後の各領域Ｐの画素群（下記式（１４）参照）を求める。
【０１３６】
【数９】
0005818674.tif 000010
【０１３７】
式（１２）中の行列Ｂは、いずれの視差画像（視差番号ｋ）がいずれの視点位置（視点位置Ｐｍ）から観察されるかを指定するものである。例えば、視差数Ｋ＝５、視点位置の数Ｍ＝２の場合、行列Ｂは式（１３）により表すことができる。
【０１３８】
【数１０】
0005818674.tif 000011
【０１３９】
式（１３）は、視差番号ｋ＝３の視差画像が視点位置Ｐｍ＝Ｐ１から観察され、視差番号ｋ＝４の視差画像が視点位置Ｐｍ＝Ｐ２から観察されることを指定する行列Ｂである。式（１３）で表される行列Ｂ以外でも、列数が視差数であり、行数が視点位置の数である行列であればよい。
【０１４０】
そして、補正部３２Ａは、例えば、下記式（１５）により、第１視差番号及び光線輝度に応じて補正した、補正後の各領域Ｐの画素群（式（１４）参照）を、下記式（１５）により求める。
【０１４１】
【数１１】
0005818674.tif 000012
【０１４２】
【数１２】
0005818674.tif 000013
【０１４３】
なお、式（１４）は、最適化された、補正後の視差画像を示す。すなわち、式（１４）は、第１視差番号及び光線輝度に応じて補正した、補正後の各領域Ｐの画素群を示す。また、式（１５）は、（Ｂｙ（ｉ，ｊ）−Ａ（ｉ，ｊ）ｘ（ｉ，ｊ））Ｔ（Ｂｙ（ｉ，ｊ）−Ａ（ｉ，ｊ）ｘ（ｉ，ｊ））を最小にする式（１４）を求める式である。
【０１４４】
これによって、補正部３２Ａは、視差画像における各領域Ｐに対応する位置の画素の輝度を、第１視差番号によって特定される視差画像の画素の輝度に補正する。
【０１４５】
なお、補正部３２Ａによる補正処理の方法は上記方法に限られない。たとえば、下記式（１６）によって示される連立一次方程式を用いてもよい。
【０１４６】
【数１３】
0005818674.tif 000014
【０１４７】
すなわち、補正部３２Ａは、第１取得部３０で取得した視差画像の画素領域ｙ（ｉ，ｊ）との誤差が０（ゼロ）となるように、式（１２）により、第１視差番号及び光線輝度に応じて補正した、補正後の各領域Ｐの画素群（下記式（１４）参照）を求めてもよい。
【０１４８】
この場合には、補正部３２Ａは、第１視差番号及び光線輝度に応じて補正した、補正後の各領域Ｐの画素群（式（１４）参照）を、下記式（１７）により求めればよい。
【０１４９】
【数１４】
0005818674.tif 000015
【０１５０】
【数１５】
0005818674.tif 000016
【０１５１】
なお、式（１７）中の、式（１８）は、Ａ（ｉ，ｊ）の一般化行列である。また、式（１７）中、Ｉは、単位行列、Ｚ（ｉ，ｊ）は、視差数と同一次元の任意ベクトルである。このベクトルにはどのようなものも設定することができるが、ｙ（ｉ，ｊ）を用いることが好ましい。
【０１５２】
また、補正部３２Ａは、下記式（１９）及び式（２０）を用いて、補正処理を行ってもよい。
【０１５３】
【数１６】
0005818674.tif 000017
【０１５４】
【数１７】
0005818674.tif 000018
【０１５５】
すなわち、補正部３２Ａは、第１取得部３０で取得した視差画像の画素領域ｙ（ｉ，ｊ）との誤差が、式（１９）の関係を満たすように、式（１２）により、第１視差番号及び光線輝度に応じて補正した、補正後の各領域Ｐの画素群（式（１４）参照）を求めてもよい。
【０１５６】
なお、式（２０）の解である補正後の各領域Ｐの画素群（式（１４）参照）は、ｙ（ｉ，ｊ）に十分近いなどの制約条件を付与することが好ましい。この場合には、上記式（２０）に代えて、下記式（２１）を用いればよい。
【０１５７】
【数１８】
0005818674.tif 000019
【０１５８】
なお、補正部３２Ａは、Ｂｙ（ｉ，ｊ）−Ａ（ｉ，ｊ）ｘ（ｉ，ｊ）＝０を解析的に計算し、式（１４）によって示される補正後の各領域Ｐの画素群（式（１４）参照）を求めてもよい。
【０１５９】
上記以外にも、補正部３２Ａは、最急降下法や勾配法等の非線形最適化法を用いて、式（１４）によって示される補正後の各領域Ｐの画素群を求めてもよい。
【０１６０】
次に、画像処理装置１２Ａで実行する画像処理の手順を説明する。図１５は、本実施の形態の画像表示装置１０Ａで実行する画像処理の手順を示すフローチャートである。
【０１６１】
まず、第１取得部３０が、複数の視差画像を取得する（ステップＳ２００）。次に、補正部３２Ａは、第２記憶部３８に記憶されている視点位置を読み取る（ステップＳ２０４）。
【０１６２】
次に、画像処理装置１２Ａは、表示装置１４を予め定めた複数の領域Ｐに分割した領域数分、下記ステップＳ２０６〜ステップＳ２１０の処理を繰り返す。
【０１６３】
まず、第２取得部３６が、上記ステップＳ２０４で読み取った補正対象の領域Ｐに対応する輝度分布を読み取る（ステップＳ２０６）。次に、第２取得部３６Ａが、上記ステップＳ２０４で読み取った視聴者の視点位置と補正対象の領域Ｐとに対応する第１視差番号を、第１記憶部３４から取得する（ステップＳ２０８）。
【０１６４】
次に、補正部３２Ａが、ステップＳ２０４で取得した視点位置と、上記ステップＳ２０６で取得した第１視差番号と、上記ステップＳ２０６で読み取った輝度分布と、に基づいて、上記ステップＳ２００で取得した視差画像における、補正対象の領域Ｐに対応する位置の画素を、観察されるべき第１視差番号の画素に補正する（ステップＳ２１０）。
【０１６５】
ステップＳ２０６〜ステップＳ２１０の処理が、表示装置１４における複数の領域Ｐの全領域Ｐについて実行されることによって、第１取得部３０から取得した視差画像が補正され、補正視差画像が生成される。
【０１６６】
次に、第１生成部４０が、生成された補正視差画像から、立体画像を生成する（ステップＳ２１２）。次に、出力部４２が、ステップＳ２１２で生成された立体画像を、表示パネル２０に表示し（ステップＳ２１４）、本ルーチンを終了する。
【０１６７】
図１６は、各領域Ｐの要素画像２４の画素に対応する視差番号の視差画像の補正を示す模式図である。
【０１６８】
図１６は、視差数が９である場合に、表示装置１４の各領域Ｐについて、視点位置ｍで観察される視差番号の画素を模式的に示す図である。なお、図１０中の数字は、視差番号を示す。
【０１６９】
画像表示装置１０Ａでは、視点位置ｍ１から観察されるべき視差番号の視差画像として、視差番号１の視差画像を用いたとする。また、視点位置ｍ２から観察されるべき視差番号の視差画像として、視差番号２の視差画像を用いたとする。
【０１７０】
画像表示装置１０Ａでは、良好な状態では、視点位置ｍ１から表示装置１４を片眼で観察すると、表示装置１４上の全領域Ｐ（Ｐ１〜Ｐ６）に、視差番号１の視差画像の画素が観察される。また、画像表示装置１０Ａでは、良好な状態では、視点位置ｍ２から表示装置１４を片眼で観察すると、表示装置１４の全領域Ｐ（Ｐ１〜Ｐ６）に、視差番号２の視差画像の画素が観察される。
【０１７１】
しかし、表示装置１４上の各領域Ｐに対応する輝度分布（図１６中、Ｌ参照）や、各領域Ｐの要素画像の画素から出射する光線方向が不均一である（図１６中、Ｈ参照）ことで、画面全体が正常視域にならず、立体視できない。
【０１７２】
このため、本実施の形態の画像表示装置１０Ａは、各領域Ｐに対応する輝度分布と、各領域Ｐと視点位置に対応する第１視差番号と、に基づいて、取得した視差画像の光線輝度Ａを、第１視差番号によって補正することで、取得した視差画像を補正する。
【０１７３】
具体的には、表示装置１４上の各領域Ｐの要素画像２４の各画素の視差画像の視差番号が、観察されるべき視差番号の視差画像（図１６中、視差番号１〜視差番号４の視差画像１〜視差番号４参照）となるように補正する。
【０１７４】
図１７は、第１視差番号による輝度分布の補正を示す模式図である。
【０１７５】
図１７に示すように、視点位置ｍからθ１の角度で観察される領域Ｐ１、視点位置ｍからθ２の角度で観察される領域Ｐ２、視点位置ｍからθ３の角度で観察される領域Ｐ３を想定する。
【０１７６】
また、第１取得部３０で取得した視差画像から生成した立体画像における、各領域Ｐ１〜Ｐ３の各々の要素画像２４（要素画像２４１〜要素画像２４３）の画素の視差番号の配列が、７、６、５、４、３、２、１、９、８（１、９、８は図示省略）であったとする。
【０１７７】
すると、補正部３２Ａの、第１視差番号に基づく補正によって、領域Ｐ１の要素画像２４１の画素の視差番号の配列が、例えば、５、４、３、２、１、９、８、７、６と補正される（６〜８、は図示省略）。また、領域Ｐ２の要素画像２４２の視差番号の配列は、補正前と同じとする。また、領域Ｐ３の要素画像２４３の視差番号の配列は、例えば、１、９、８、７、６、５、４、３、２と補正される（４〜２、は図示省略）。
【０１７８】
そして、補正部３２Ａは、この補正された視差番号の配列に対応させて、各領域Ｐにおける各画素の輝度を、補正された視差番号の輝度となるように補正する。
【０１７９】
以上説明したように、画像処理装置１２Ａでは、各領域Ｐと視点位置との位置関係に対応する輝度分布に応じて、視差画像における各領域Ｐに対応する位置の画素の輝度を、第１視差番号によって特定される視差画像の画素の輝度に補正する。
【０１８０】
このため、或る視差画像を表示する画素からの光線に、他の視差画像を表示する画素からの光線の一部が混ざり込むことによる画面を正常視域にすることができる。
【０１８１】
（第３の実施形態）
本実施形態に係る画像処理装置は、第２の実施の形態における画像処理装置１２Ａにおいて、輝度分布に対応するフィルタ係数（輝度フィルタ）を用いた補正を行う。これにより、少ない処理コストで、画面を正常視域にすることができる。
【０１８２】
フィルタ係数とは、予め設定された視点位置から領域Ｐを観察した場合に、観察されるべき第１視差番号の画素からの光線が当該視点位置に届くように、視差画像（具体的には、補正前の各領域Ｐの画素群ｙ（ｉ，ｊ））を変換する係数である。以下、前実施形態と異なる点について説明する。
【０１８３】
図１８は、画像表示装置１０Ｂの画像処理装置１２Ｂを表すブロック図である。画像処理装置１２では、第２生成部４６、第４記憶部４４を更に備える。そして、第３記憶部４３及び第１記憶部３４が、第２生成部４６に接続されている。また、補正部３２Ａに代えて、補正部３２Ｂが設けられている。補正部３２Ｂは、第２生成部４６、第４記憶部４４、第１取得部３０、第１生成部４０、及び第２記憶部３８に接続されている。また、第４記憶部４４は、第２生成部４６及び補正部３２Ｂに接続されている。
【０１８４】
第４記憶部４４は、各領域Ｐに対応する一又は複数の輝度フィルタＧ（ｉ，ｊ）を格納している。輝度フィルタＧ（ｉ，ｊ）は、前実施形態の輝度分布Ｈ（ｉ，ｊ）と等価であるのが望ましい。第４記憶部４４は、各領域Ｐに対応する輝度フィルタを記憶する。
【０１８５】
第２生成部４６は、各領域Ｐ及び視点位置に対応する、第１視差番号及び輝度分布から、輝度フィルタを生成し、第４記憶部４４へ記憶する。
【０１８６】
具体的には、第２生成部４６は、下記方法により、輝度フィルタを生成する。
【０１８７】
ここで、実施の形態２で説明したように、補正部３２Ｂは、第１視差番号及び光線輝度に応じて補正した、補正後の各領域Ｐの画素群（式（１４）参照）を、上記式（１７）と同じ式である下記式（２２）により求める方法がある。
【０１８８】
【数１９】
0005818674.tif 000020
【０１８９】
ここで、下記式（２３）の関係が成り立つとする。すると、式（２２）は、式（２４）によって示される。
【０１９０】
【数２０】
0005818674.tif 000021
【０１９１】
さらに、下記式（２５）の式が成り立つとすると、式（２２）は、式（２６）で示される。
【数２１】
0005818674.tif 000022
【０１９２】
なお、式（２６）中、Ｇ（ｉ，ｊ）は、入力された視差画像から生成した立体画像における、補正前の各領域Ｐの画素群ｙ（ｉ，ｊ）に依存せず、輝度分布にしか依存しない。このため、事前に算出することができる。
【０１９３】
第２生成部４６では、このＧ（ｉ，ｊ）を、領域Ｐの位置座標（ｉ，ｊ）Ｔに対応する、フィルタ係数として算出し、第４記憶部４４に予め記憶する。
【０１９４】
補正部３２Ｂでは、領域Ｐの位置座標（ｉ，ｊ）Ｔに対応する、フィルタ係数であるＧ（ｉ，ｊ）を、第４記憶部４４から読出し、補正前の各領域Ｐの画素群ｙ（ｉ，ｊ）に乗算することで、下記式（２７）によって示される、補正後の各領域Ｐの画素群を求めればよい。
【０１９５】
【数２２】
0005818674.tif 000023
【０１９６】
本実施形態によれば、少ない処理コストで、画面を正常視域にすることができる。
【０１９７】
（変形例）
なお、第４記憶部４４は、各領域Ｐに対応するフィルタ係数Ｇ（ｉ，ｊ）を全て格納していなくても構わない。この場合、第２生成部４６または補正部３２Ｂで、第４記憶部４４に格納されている他の一又は複数のフィルタ係数Ｇ（ｉ，ｊ）から補間して、各領域Ｐに対応するフィルタ係数Ｇ（ｉ，ｊ）を生成してもよい。
【０１９８】
図１９は、補間を示す模式図である。例えば、図１９に示すように、第４記憶部４４に、Ｇ（０，０）、Ｇ（３，０）、Ｇ（０，３）、Ｇ（３，３）の４つのフィルタ係数が格納されているとする。このとき、第２生成部４６は、領域Ｐ（２，２）に対応するフィルタ係数Ｇ（２，２）を式（２８）により求めればよい。
【０１９９】
【数２３】
0005818674.tif 000024
【０２００】
式（２８）中の、α、β、γ、λは、各々重み係数であり、座標の内分比によって求められる。
本変形例によれば、第４記憶部４４の記憶容量を抑えることができる。
【０２０１】
なお、実施の形態１〜３における画像表示装置１０、画像表示装置１０Ａ、画像表示装置１０Ｂで実行する画像処理を実行するためのプログラムは、ＲＯＭ等に予め組み込まれて提供される。
【０２０２】
実施の形態１〜３における画像表示装置１０、画像表示装置１０Ａ、画像表示装置１０Ｂで実行する画像処理を実行するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０２０３】
さらに、実施の形態１〜３における画像表示装置１０、画像表示装置１０Ａ、画像表示装置１０Ｂで実行する画像処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施の形態１〜３における画像表示装置１０、画像表示装置１０Ａ、画像表示装置１０Ｂで実行する画像処理を実行するためのプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０２０４】
実施の形態１〜３における画像表示装置１０、画像表示装置１０Ａ、画像表示装置１０Ｂで実行する画像処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、これらの各機能部が主記憶装置上に生成されるようになっている。
【０２０５】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０２０６】
１０、１０Ａ、１０Ｂ  画像表示装置
１２、１２Ａ、１２Ｂ  画像処理装置
１４  表示装置
２０  表示パネル
２２  光線制御部
２４  要素画像
３０  第１取得部
３２  補正部
３４  第１記憶部
３６  第２取得部
３８  第２記憶部
４０  第１生成部
４２  出力部
４３  第３記憶部
４５  第３取得部
４６  第２生成部
【図１】
0005818674.tif 000025
【図２】
0005818674.tif 000026
【図３】
0005818674.tif 000027
【図４】
0005818674.tif 000028
【図５】
0005818674.tif 000029
【図６】
0005818674.tif 000030
【図７】
0005818674.tif 000031
【図８】
0005818674.tif 000032
【図９】
0005818674.tif 000033
【図１０】
0005818674.tif 000034
【図１１】
0005818674.tif 000035
【図１２】
0005818674.tif 000036
【図１３】
0005818674.tif 000037
【図１４】
0005818674.tif 000038
【図１５】
0005818674.tif 000039
【図１６】
0005818674.tif 000040
【図１７】
0005818674.tif 000041
【図１８】
0005818674.tif 000042
【図１９】
0005818674.tif 000043