(57)【要約】  本発明の画像処理装置は、複数の異なる入力画像を受け付ける入力部と、複数の異なる入力画像から、複数の表示面画像からなる積層画像のうち一方の端面画像を除く表示面画像の内部データを初期解として生成する初期解生成部と、初期解及び制約条件から各々の表示面画像の内部データを生成する積層画像生成部と、積層画像生成部で生成した各々の表示面画像の内部データが処理終了条件を満たすまで、初期解から各々の表示面画像の新たな内部データを積層画像生成部で繰り返し生成し、処理終了条件を満たしたとき積層画像生成部が最後に生成した各々の表示面画像の内部データを積層画像として出力する繰り返し処理制御部とを備える。
2016121233.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる入力画像を受け付ける入力部と、
前記複数の異なる入力画像のデータから、複数の表示面画像からなる積層画像のうち一方の端面画像を除く画像の内部データを初期解として生成する初期解生成部と、
前記初期解及び制約条件から前記複数の表示面画像の内部データを繰り返し処理の初回において生成する積層画像生成部と、
前記表示面画像の内部データの生成を終了する処理終了条件を判断し、前記処理終了条件を満たしたとき前記積層画像生成部が最後に生成した前記複数の表示面画像の内部データを前記積層画像のデータとして出力する繰り返し処理制御部と
を備え、
前記積層画像生成部は、前記処理終了条件を満たすまで、前記積層画像のデータ及び前記制約条件から前記複数の表示面画像の新たな内部データを前記繰り返し処理の二回目以降において生成し、
前記繰り返し生成の回数が増えるほどに前記表示面画像の内部データと前記表示面画像の新たな内部データとの差分が小さくなる
ことを特徴とする画像処理装置。
【請求項２】
前記制約条件は、前記積層画像を表示する複数の表示面の各々で表現可能な範囲に、各々の前記表示面画像の内部データを制限する条件である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記初期解は、前記複数の異なる入力画像のデータの平均値である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記初期解は、両眼視差画像のうち視差成分を含まない共通成分である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記初期解は、前記複数の異なる入力画像の奥行きを示すデプスマップを用いて求める
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記処理終了条件は、予め設定された繰り返し回数である
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記処理終了条件は、前記積層画像生成部で生成した前記表示面画像の内部データと、前記積層画像生成部で前回の繰り返し処理において生成した前記表示面画像の内部データとの差分を求め、前記差分が、最初に求めた差分に所定の割合を掛けた値を下回ったことを条件とし、
前記所定の割合が大きい値のときの繰り返し処理の回数は、前記所定の割合が小さい値のときの繰り返し処理の回数に比べて小さい
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項８】
前記積層画像生成部は、ある１つの表示面画像の内部データを生成するにあたり、前記複数の異なる入力画像のデータと、前記ある１つの表示面画像の内部データを除く前記複数の表示面に表示する表示面画像の内部データとの差分を用いる
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記積層画像生成部は、前記差分を複数用いて加重平均をとる場合に異なる重み付けを行う
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記複数の異なる入力画像は、両眼視差画像である
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記複数の異なる入力画像のいずれかは、中央視点画像である
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
請求項１から１１のいずれか１項に記載の画像処理装置と、
所定の間隔をあけて平行に積層された前記複数の表示面とを備え、
前記複数の表示面で、前記繰り返し処理制御部が前記積層画像として出力した内部データを表示する
ことを特徴とする画像表示装置。
【請求項１３】
前記複数の表示面は、液晶パネルで構成される
ことを特徴とする請求項１２に記載の画像表示装置。
【請求項１４】
複数の異なる入力画像を受け付ける入力部と、
前記複数の入力画像から、インクリメント変数ｉが１のときの第一表示面画像の内部データＦＩの初期解ＦＩ［０］を生成する初期解生成部と、
前記第一表示面画像の内部データＦＩ［ｉ−１］及び制約条件から第二表示面画像の内部データＢＩ［ｉ］を生成し、前記第二表示面画像の内部データＢＩ［ｉ］及び前記制約条件から内部データＦＩ［ｉ］を生成する積層画像生成部と、
前記内部データＦＩ［ｉ］と前記内部データＢＩ［ｉ］とが処理終了条件を満たすか判定し、前記処理終了条件を満たさない場合はインクリメント変数ｉに１を加算して前記積層画像生成部の処理を継続させ、前記処理終了条件を満たす場合は前記積層画像生成部の処理を終了する繰り返し処理制御部と
を備え、
前記積層画像生成部の処理を終了したときの前記内部データＦＩ［ｉ］を前記第一表示面画像として出力し、前記積層画像生成部の処理を終了したときの前記内部データＢＩ［ｉ］を前記第二表示面画像として出力する
ことを特徴とする画像処理装置。
【請求項１５】
複数の異なる入力画像を受け付ける入力部と、
前記複数の入力画像のデータから、インクリメント変数ｉが１のときの第一表示面画像の内部データＦＩの初期解ＦＩ［０］と第三表示面画像の内部データＭＩ［ｉ−１］の初期解ＭＩ［０］とを生成する初期解生成部と、
前記内部データＦＩ［ｉ−１］及び前記内部データＭＩ［ｉ−１］及び制約条件から第二表示面画像の内部データＢＩ［ｉ］を生成し、前記内部データＦＩ［ｉ−１］及び前記内部データＢＩ［ｉ］及び前記制約条件から前記第三表示面画像の内部データＭＩ［ｉ］を生成し、前記内部データＭＩ［ｉ］及び前記内部データＢＩ［ｉ］及び前記制約条件から内部データＦＩ［ｉ］を生成する積層画像生成部と、
前記内部データＦＩ［ｉ］と前記内部データＭＩ［ｉ］と前記内部データＢＩ［ｉ］とが処理終了条件を満たすか判定し、前記処理終了条件を満たさない場合はインクリメント変数ｉに１を加算して前記積層画像生成部の処理を継続させ、前記処理終了条件を満たす場合は前記積層画像生成部の処理を終了する繰り返し処理制御部と
を備え、
前記積層画像生成部の処理を終了したときの前記内部データＦＩ［ｉ］を前記第一表示面画像として出力し、前記積層画像生成部の処理を終了したときの前記内部データＭＩ［ｉ］を前記第三表示面画像として出力し、前記積層画像生成部の処理を終了したときの前記内部データＢＩ［ｉ］を前記第二表示面画像として出力する
ことを特徴とする画像処理装置。
【請求項１６】
複数の異なる入力画像を受け付ける入力ステップと、
前記複数の異なる入力画像のデータから、複数の表示面画像からなる積層画像のうち一方の端面画像を除く画像の内部データを初期解として生成する初期解生成ステップと、
前記初期解及び制約条件から前記複数の表示面画像の内部データを繰り返し処理の初回において生成する積層画像生成ステップと、
前記表示面画像の内部データの生成を終了する処理終了条件を判断し、前記処理終了条件を満たしたとき前記積層画像生成ステップが最後に生成した前記複数の表示面画像の内部データを前記積層画像として出力する繰り返し処理制御ステップと
を備え、
前記積層画像生成ステップは、前記処理終了条件を満たすまで、前記積層画像のデータ及び前記制約条件から前記複数の表示面画像の新たな内部データを前記繰り返し処理の二回目以降において生成し、
前記繰り返し生成の回数が増えるほどに前記表示面画像の内部データと前記表示面画像の新たな内部データとの差分が小さくなる
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像の表示、並びに多視点画像の表示を実現する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
３次元の画像を表示可能な画像表示装置としては、例えば、液晶シャッター方式又は偏向方式などの方式がある。液晶シャッター方式は、左眼用と右眼用との両眼視差が付いた画像をフラットパネルディスプレイ等に時分割で表示する。観察者は、時分割で表示される画像と連動して動く液晶シャッター眼鏡をかけて３次元画像を観察する。液晶シャッター方式は、フレームシーケンシャル方式とも呼ばれる。偏向方式は、左眼用と右眼用との両眼視差が付いた画像をそれぞれ異なる方向の偏光で表示する。観察者は、左眼と右眼とで異なる方向の偏光を透過させる偏光眼鏡をかけて３次元画像を観察する。いずれの方式でも、観察者は左右眼で両眼視差がついた画像を見ることになり、この両眼視差により立体知覚を得ることができる。【０００３】
この他にも、視差バリア方式及びレンチキュラレンズ方式などの方式は、特別な眼鏡をかけることなく、裸眼で３次元画像を観察可能な３次元画像表示装置である。視差バリア方式は、フラットパネルディスプレイ等の前面に視差バリアを設け、左眼と右眼から見えるディスプレイ上の画素を分けることで、左右眼に両眼視差画像を提示可能としている。レンチキュラレンズ方式も同様に、フラットパネルディスプレイ等の前面にレンチキュラレンズを設けて、左右眼に両眼視差画像を提示可能としている。視差バリア及びレンチキュラレンズは、視差光学素子と呼ばれる。【０００４】
裸眼で３次元画像を観察可能な３次元画像表示装置として、積層表示面を使った３次元画像表示装置が考案されている。非特許文献１は、積層した２枚の表示面を用いて、２枚の表示面で挟まれた空間を越えて、前面側の表示面よりも手前や、後面側の表示面よりも奥に３次元画像を知覚させる手法を開示している。なお、「前面側」とは、表示面に対して観察者側である。「後面側」とは、表示面に対して観察者と反対側である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】"Layered 3D: Tomographic Image Synthesis for Attenuation-based Light Field and High Dynamic Range Displays", Gordon Wetzstein et al., ACM SIGGRAPH 2011. Transactions on Graphics 30(4).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の手法を使えば、表示面で挟まれた空間を越えて奥行き表現が可能である。しかし、積層した各表示面に表示する画像を求めるにあたり、最適化演算における計算量が非常に多く、コンピュータの高い演算能力及び長い処理時間を必要とする課題があった。また、ＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）などの高価で特別なハードウェアが必要な課題があった。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像処理装置は、複数の異なる入力画像を受け付ける入力部と、前記複数の異なる入力画像のデータから、複数の表示面画像からなる積層画像のうち一方の端面画像を除く画像の内部データを初期解として生成する初期解生成部と、前記初期解及び制約条件から前記複数の表示面画像の内部データを繰り返し処理の初回において生成する積層画像生成部と、前記表示面画像の内部データの生成を終了する処理終了条件を判断し、前記処理終了条件を満たしたとき前記積層画像生成部が最後に生成した前記複数の表示面画像の内部データを前記積層画像として出力する繰り返し処理制御部とを備え、前記積層画像生成部は、前記処理終了条件を満たすまで、前記積層画像のデータ及び前記制約条件から前記複数の表示面画像の新たな内部データを前記繰り返し処理の二回目以降において生成し、前記繰り返し生成の回数が増えるほどに前記表示面画像の内部データと前記表示面画像の新たな内部データとの差分が小さくなることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、表示面で挟まれた空間を越えて奥行き表現をするにあたって、計算量を抑えた平易な処理とすることによって、小規模なハードウェアとすることが可能になる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１、実施の形態２及び実施の形態３の３次元画像表示装置２０の構成を示す説明図である。
【図２】実施の形態１の、積層した表示面を使って、両眼視差画像を表示する様子を示した説明図である。
【図３】実施の形態１の３次元画像表示装置２０において、角θＬ及び角θＲから観察される画像を、積層した表示面の画素単位で描いた説明図である。
【図４】実施の形態１の３次元画像表示装置２０において、角θＬ及び角θＲから観察される画像を、積層した表示面の画素単位で描いた説明図である。
【図５】実施の形態１及び実施の形態２の画像処理装置２４の構成を示すブロック図である。
【図６】実施の形態１及び実施の形態２の画像処理装置２４における処理の流れを示すフローチャートである。
【図７】実施の形態１の、差分と繰り返し処理回数との関係を示した説明図である。
【図８】実施の形態２の、積層した表示面を使って、両眼視差画像及び中央視点画像を表示する様子を示した説明図である。
【図９】実施の形態２の３次元画像表示装置２０において、角θＬ及び角θＲ及び中央視点方向θＣから観察される画像を、積層した表示面の画素単位で描いた説明図である。
【図１０】実施の形態３の、第三の液晶を追加し積層した表示面を使って、両眼視差画像を表示する様子を示した説明図である。
【図１１】実施の形態３の３次元画像表示装置２０において、角θＬ及び角θＲ観察される画像を、積層した表示面の画素単位で描いた説明図である。
【図１２】実施の形態３の画像処理装置９２４の構成を示すブロック図である。
【図１３】実施の形態３の内部データＢＩ［ｉ］生成部９１２ａの構成を示すブロック図である。
【図１４】実施の形態３の内部データＭＩ［ｉ］生成部９１２ｂの構成を示すブロック図である。
【図１５】実施の形態３の内部データＦＩ［ｉ］生成部９１２ｃの構成を示すブロック図である。
【図１６】実施の形態３の画像処理装置９２４における処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面に従って説明する。
実施の形態１．
図１は、本発明の実施の形態１の３次元画像表示装置２０の構成を示す図である。図１において、３次元画像表示装置２０は、観察者２５に対して近い順に液晶２１と液晶２２とが所定の間隔をあけて平行に積層された表示面を構成し、さらにその後方に置かれたバックライト２３を備え、また、液晶２１と液晶２２とに表示する画像を制御する画像処理装置２４を備える。ここでの液晶２１及び液晶２２は、液晶パネルと呼ばれる薄い板状部品である。観察者２５は、バックライト２３の光が液晶２２を透過し、液晶２２を透過した光が液晶２１を透過して出てくる光線群を画像として観察する。観察者の視線の一例を示したのが視線２６である。なお、所定の間隔をあけて平行に積層された表示面に表示する画像を、積層画像とする。
【００１１】
液晶２１及び液晶２２の構成について説明する。液晶２１及び液晶２２は、画素構造を持つＴＦＴ液晶などの透過型の液晶ディスプレイである。液晶２１及び液晶２２は透明電極、液晶、カラーフィルタ等をガラス基板で挟み、前面又は後面に光学フィルムを貼付けたものである。光学フィルムには、偏光フィルムが含まれる。偏光フィルムの構成により、眼に到達する光のモデル化を行うことができる。
【００１２】
＜眼に到達する光のモデル化＞
本実施の形態においては、液晶２１の前面側と液晶２２の後面側とに互いに９０度傾きが異なる偏光フィルムを貼付している。バックライト２３の光のうち、液晶２２の後面側の偏光フィルムを透過した偏光が、液晶２２を透過する際、液晶２２の各画素に表示する階調により、偏光角の回転が生じる。この偏光が液晶２１を透過する際、同じく液晶２１の各画素に表示する階調により、偏光角の回転が生じる。本実施の形態においては、液晶２２と液晶２１とで生じる偏光角の回転は、線形加算されると仮定する。最後に、２枚の液晶によって偏光角が回転した光のうち、液晶２１の前面側の偏光フィルムを透過した偏光が、観察者２５の眼に到達する。最前面の偏光フィルムを透過する際、最前面の偏光フィルムの偏光角と２枚の液晶を透過した偏光の偏光角との差により透過する偏光の強度が変わるため、観察者２５は様々な階調の光を視認することが可能となる。
【００１３】
画像処理装置２４は、液晶２１及び液晶２２に表示する画像を生成し、表示制御を行う。観察者２５は、液晶２１及び液晶２２に表示された画像を観察することで、立体知覚を得ることができる。
【００１４】
観察者２５が立体知覚を得るためには、観察者の左右眼に対して両眼視差像を提示する必要がある。図２は、積層した表示面を使って、両眼視差画像を表示する様子を示したものである。図２において、積層した表示面のうち観察者に近い前面側の第一表示面３１及び観察者から遠い第二表示面３２を、それぞれ観察者の左眼３３及び右眼３４から観察している。なお、図２における第一表示面３１は、図１における液晶２１に相当する。また、図２における第二表示面３２は、図１における液晶２２に相当する。この時、左眼３３が両眼視差画像のうち左眼用画像３５を、右眼３４が右眼用画像３６を観察することができれば、観察者は両眼視差画像から立体知覚を得ることが可能になる。
【００１５】
さらには、この両眼視差画像に含まれる視差が、液晶２１より手前、又は液晶２２よりも奥を表現している場合、観察者２５は２枚の表示面よりも手前、又は奥に、表示面を越えて３次元画像を知覚することが可能である。
【００１６】
本実施の形態において、表示面に対する左眼の方向を、積層した表示面の真正面にいる観察者が第一表示面３１の画面中央（図３における水平座標ｘの位置）を注視した時の左眼及び面間中央を結ぶ直線と、表示面に対する垂線とがなす角度と定義し、その角度を角θＬとする。そして、角θＬに対して平行な視線群３７を仮定し、角θＬの視線群に対して左眼用画像３５を表示する方法について、説明を行う。角θＲも同様の定義とし、角θＲの視線群３８に対して右眼用画像３６を表示する方法について、説明を行う。
【００１７】
角θＬは、観察者の両眼間距離ｄと、観察者から第一表示面３１までの距離Ｑを用いて、式１で求められる角度である。両眼の対称性から、角θＲは、角θＬと等しくなることは自明である。
【００１８】
【数１】
2016121233.tif 000003
【００１９】
なお、式１において観察者の両眼間距離ｄは、成人の両眼間距離の平均値６５ミリメートルとしても良い。
【００２０】
図３は、左眼方向及び右眼方向から観察される画像を、積層した表示面の画素単位で描いた説明図である。また、図３は、３次元画像表示装置２０を上方から見た俯瞰図である。図３において３次元画像表示装置２０は、角θＬ及び角θＲから観察される画像を、積層した表示面の画素単位で表している。また、図３は、等しい垂直位置にある第一表示面である液晶２１上の画素群４０１と第二表示面である液晶２２上の画素群４０２とを抜き出したものである。言い換えると画素群４０１と画素群４０２とは、水平方向に並ぶあるライン上の画素群である。第一表示面と第二表示面とは、所定の間隔Ｐを置いて積層されている。また、観察者と反対側にバックライト４１５が置かれている。
【００２１】
図３においては、原点を画面中央でかつ液晶２１と液晶２２との中点とし、表示面に対して平行な水平座標軸及び表示面と観察者とを垂直に結ぶ奥行き座標軸を用いている。以下、図３を用いて、液晶２１の画素群４０１のうち、水平座標ｘの位置にある画素４０７を通して観察される光について、説明する。
【００２２】
左眼の視線４０５で表わされる表示面から左眼への光は、視線４０５上にある画素４０７と画素４０９とにおける偏光の回転によって決定される。画素４０７の水平座標をｘとしたとき、所定の間隔Ｐ及び角θＬを用いて式２により得られる距離ｓを用いて、画素４０９の水平座標はｘ＋２・ｓで与えられる。
【００２３】
【数２】
2016121233.tif 000004
【００２４】
液晶２１に表示する画像をＦＩ、液晶２２に表示する画像をＢＩとする。また、液晶２１上の画素における偏光の回転による光の変調を示す水平座標ｎにおける画素値をＦＩ（ｎ）と表記する。液晶２２上の画素における偏光の回転による光の変調示す水平座標ｍにおける画素値をＢＩ（ｍ）と表記する。
【００２５】
ここで、画素値ＦＩ（ｎ）及び画素値ＢＩ（ｍ）は、光の輝度に対してリニアな数値とする。一般的に液晶を含む画像表示装置では、入力画像のデータに含まれる階調に対して表示画像の輝度はガンマ特性を有する。このため、階調が半分になったときに輝度も半分になるとは限らない。画像の階調により偏光の回転角が決まり、表示輝度が決定される。画素値ＦＩ（ｎ）及び画素値ＢＩ（ｍ）は表示輝度を示したものとすれば、画像の階調と相互変換するために、前記のガンマ特性と逆特性を有するような逆ガンマ変換を行うことが必要である。
【００２６】
また、左眼の視線４０５上で観察される画像をＬ’とし、左眼の視線４０５上で観察される画素の輝度を表す画素値を、その水平座標ｘを用いて、画素値Ｌ’（ｘ）と表記することとする。画像Ｌ’は、面間中央の奥行き座標が０の表示面に平行な面を投影面とする。つまり、左眼の視線４０５上で観察される画像Ｌ’の画素の位置は投影点４１４となり、その水平座標は、ｘ＋ｓで与えられる。
【００２７】
以上から、左眼の視線４０５上において、下記の式が成り立つ。
【００２８】
【数３】
2016121233.tif 000005
【００２９】
同様に、右眼の視線４０６への光は、その視線上にある画素４０７と画素４０８とにおける偏光の回転によって決定される。画素４０７の水平座標をｘとしたとき、式２により得られる距離ｓを用いて、画素４０８の水平座標はｘ−２・ｓで与えられる。
【００３０】
また、右眼の視線４０６上で観察される画像をＲ’とし、右眼の視線４０６上で観察される画素の輝度を表す画素値を、その水平座標ｘを用いて、画素値Ｒ’（ｘ）と表記することとする。画像Ｒ’は、面間中央の奥行き座標が０の表示面に平行な面を投影面とする。つまり、視線４０５上で観察される画像Ｒ’の画素の位置は投影点４１３となり、その水平座標は、ｘ−ｓで与えられる。
【００３１】
以上から、右眼の視線４０６上において、下記の式が成り立つ。
【００３２】
【数４】
2016121233.tif 000006
【００３３】
式３と式４から、積層した２枚の表示面を用いて、左右方向に異なる画像を表示する事が可能であることが分かる。
【００３４】
図４は、角θＬ及び角θＲから観察される画像を、積層した表示面の画素単位で描いた説明図である。図４は、図３と同様に、液晶２２の画素群４０２のうち、水平座標ｘの位置にある画素５０７を通して観察される光について、説明する図である。図４において、図３と同じ要素については、説明は省略する。
【００３５】
図４において、左眼の視線５０５への光の輝度は、その視線上にある画素５０７と画素５０８とにおける偏光の回転によって決定される。画素５０８の水平座標は、式２で与えられる距離ｓを用いてｘ−２・ｓで表すことができる。
【００３６】
また、左眼の視線５０５上で観察される画像をＬ’とすると、視線５０５上で観察される画像Ｌ’の画素の位置は投影点５１３となり、その水平座標は、ｘ−ｓで与えられる。
【００３７】
以上から、左眼の視線５０５上において、下記の式が成り立つ。
【００３８】
【数５】
2016121233.tif 000007
【００３９】
同じく図４において、右眼の視線５０６への光の輝度は、その視線上にある画素５０７と画素５０９とにおける偏光の回転によって決定される。画素５０９の水平座標は、式２で与えられる距離ｓを用いてｘ＋２・ｓで表すことができる。
【００４０】
また、右眼の視線５０６上で観察される画像をＲ’とすると、視線５０６で観察されるＲ’の画素の位置は投影点５１４となり、その水平座標は、ｘ＋ｓで与えられる。
【００４１】
以上から、右眼の視線５０６上において、下記の式が成り立つ。
【００４２】
【数６】
2016121233.tif 000008
【００４３】
図３の３次元画像表示装置２０における表示面の位置関係を使って式３と式４とを、図４の３次元画像表示装置２０における表示面の位置関係を使って式５と式６とを導出した。ただし、左眼の視線４０５上における式３と左眼の視線５０５上における式５とは、実質的に同じ式である。式３において、ｘをｘ−２・ｓと置き換えることで式５が得られることからこれは自明である。同様に、右眼の視線４０６上における式４と右眼の視線５０６上における式６とは、実質的に同じ式である。
【００４４】
左眼の視線４０５上で観察される画像Ｌ’及び右眼の視線４０６上で観察される画像Ｒ’が、両眼視差画像である時、又は、左眼の視線５０５上で観察される画像Ｌ’及び右眼の視線５０６上で観察される画像Ｒ’が、両眼視差画像である時、観察者は３次元画像を知覚することが可能となる。これを実現するため、画像処理装置２４では、入力された両眼視差画像が、画像Ｌ’と画像Ｒ’となるように、液晶２１つまり第一表示面３１に表示する画像ＦＩと、液晶２２つまり第二表示面３２に表示する画像ＢＩとを生成する処理を行う。
【００４５】
図５は、画像処理装置２４の構成を示すブロック図である。画像処理装置２４は、入力部１０、初期解生成部１１、積層画像生成部１２、繰り返し処理制御部１４及び出力部１５を備える。また、積層画像生成部１２は、内部データＢＩ［ｉ］生成部１２ａ及び内部データＦＩ［ｉ］生成部１２ｂを備える。さらに、内部データＢＩ［ｉ］生成部１２ａは、内部データＢＩＰＲ［ｉ］生成部１２ａ１及び内部データＢＩＰＲ［ｉ］制約部１２ａ２を備える。また、内部データＦＩ［ｉ］生成部１２ｂは、内部データＦＩＰＲ［ｉ］生成部１２ｂ１及び内部データＦＩＰＲ［ｉ］制約部１２ｂ２を備える。
【００４６】
図６は、画像処理装置２４における処理の流れを示すフローチャートである。処理の開始（ＳＴ１）から処理の終了（ＳＴ１１）までの流れを、図５の構成と合わせて説明する。なお、各構成要素の詳細については、後述する。
【００４７】
入力部１０は、多視点画像、例えば、被写体を撮影した両眼視差画像を入力として受け付ける。両眼視差画像は、左眼用画像Ｌと右眼用画像Ｒとから構成される。一般に画像は各画素における階調値を示したものである。階調値はガンマ変換等によって、３次元画像表示装置２０で表示される輝度に対してリニアな系に変換して処理される。
【００４８】
初期解生成部１１では、繰り返し処理を制御するためのインクリメント変数ｉに１を設定する（ＳＴ２）。そして、入力された両眼視差画像から、第一表示面３１の画像の内部データである初期解ＦＩ［０］を求める（ＳＴ３）。なお、初期解生成部１１は、複数の入力画像のデータから、一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データを生成する。ここで「一方の端面画像の内部データ」は、ＢＩ［ｉ］であり、「一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データ」は、ＦＩ［０］である。端面画像とは、積層画像の一番前又は一番後ろの画像のことである。
【００４９】
積層画像生成部１２は、両眼視差画像と、最初のステップでは、初期解生成部１１で生成された初期解ＦＩ［０］とを入力とする。積層画像生成部１２は、内部データＢＩＰＲ［ｉ］生成部１２ａ１において、両眼視差画像と初期解ＦＩ［０］とを用いて、第二表示面３２に表示する画像の内部データＢＩＰＲ［１］を求める。インクリメント変数ｉを１として、上記を言い換えると、積層画像生成部１２は、内部データＢＩＰＲ［ｉ］生成部１２ａ１において、両眼視差画像と初期解ＦＩ［ｉ−１］とを用いて、第二表示面３２に表示する画像の内部データＢＩＰＲ［ｉ］を求める（ＳＴ４）。
【００５０】
そして、内部データＢＩＰＲ［ｉ］生成部１２ａ１は、求めた第二表示面３２に表示する画像の内部データＢＩＰＲ［ｉ］］を内部データＢＩＰＲ［ｉ］制約部１２ｂ２に送る。内部データＢＩＰＲ［ｉ］制約部１２ｂ２は、内部データＢＩＰＲ［ｉ］に対して第二表示面３２で表示するために必要な制約条件を適用した内部データをＢＩ［ｉ］として求める。内部データＢＩＰＲ［ｉ］制約部１２ａ２は、内部データＢＩ［ｉ］生成部１２ａの出力として、内部データＢＩ［ｉ］を出力する（ＳＴ５）。
【００５１】
次に、内部データＢＩ［ｉ］生成部１２ａは、求めた内部データＢＩ［ｉ］を内部データＦＩＰＲ［ｉ］生成部１２ｂ１に送る。内部データＦＩＰＲ［ｉ］生成部１２ｂ１は、両眼視差画像と内部データＢＩ［ｉ］とを用いて、第一表示面３１に表示する画像の内部データＦＩＰＲ［ｉ］を求める（ＳＴ６）。
【００５２】
そして、内部データＦＩＰＲ［ｉ］生成部１２ｂ１は、求めた第一表示面３１に表示する画像の内部データＦＩＰＲ［ｉ］を内部データＦＩＰＲ［ｉ］制約部１２ｂ２に送る。内部データＦＩＰＲ［ｉ］制約部１２ｂ２は、第一表示面３１に表示する画像の内部データＦＩＰＲ［ｉ］に対して第一表示面３１で表示するために必要な制約条件を適用した内部データをＦＩ［ｉ］として求める。内部データＦＩＰＲ［ｉ］制約部１２ｂ２は、内部データＦＩ［ｉ］生成部１２ｂの出力として、内部データＦＩ［ｉ］を出力する（ＳＴ７）。なお、積層画像生成部１２は、一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データ及び制約条件から各々の表示面画像の内部データを生成する。ここで「一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データ」は、ＦＩ［０］である。また、ここでの「各々の表示面画像の内部データ」は、内部データＢＩ［ｉ］及び内部データＦＩ［ｉ］である。
【００５３】
内部データＦＩ［ｉ］生成部１２ｂは、内部データＦＩ［ｉ］を繰り返し処理制御部１４に出力する。内部データＢＩ［ｉ］生成部１２ａは、内部データＢＩ［ｉ］を繰り返し処理制御部１４に出力する。つまり、積層画像生成部１２は、内部データＦＩ［ｉ］及び内部データＢＩ［ｉ］を繰り返し処理制御部１４に出力する。繰り返し処理制御部１４は、入力されたデータが処理終了条件を満たすか判定を行う（ＳＴ８）。
【００５４】
繰り返し処理制御部１４の判定の結果、処理終了条件を満たさない場合、繰り返し処理制御部１４は繰り返し処理を制御するためのインクリメント変数ｉに１を加算し（ＳＴ９）、ＦＩ［ｉ］を積層画像生成部１２に出力する。積層画像生成部１２は再度ＳＴ４、ＳＴ５、ＳＴ６及びＳＴ７の処理を行う。この繰り返し処理のたびに、積層画像生成部１２には第一表示面３１に表示する画像の内部データＦＩ［ｉ−１］が入力され、第二表示面３２に表示する画像の内部データＢＩ［ｉ］、第一表示面３１に表示する画像の内部データＦＩ［ｉ］を繰り返し処理制御部１４に出力する。このように、積層画像生成部１２は、処理終了条件を満たすまで、積層画像のデータ及び制約条件から複数の表示面画像の新たな内部データを繰り返し処理の二回目以降において生成する。
【００５５】
繰り返し処理制御部１４の判定の結果、処理終了条件を満たした場合、その時点で最後に生成された内部データＦＩ［ｉ］及び内部データＢＩ［ｉ］を第一表示面３１に表示する画像ＦＩ及び第二表示面３２に表示する画像ＢＩとして出力し（ＳＴ１０）、処理が終了する（ＳＴ１１）。
【００５６】
画像処理装置２４は、第一表示面３１に表示する画像ＦＩを液晶２１に表示する制御、及び第二表示面３２に表示する画像ＢＩを液晶２２に表示する制御を行う。なお、積層画像生成部１２が生成する内部データの画素値ＦＩ［ｉ］（ｎ）及び内部データの画素値ＢＩ［ｉ］（ｍ）は、それぞれ表示輝度にリニアな系であるため、逆ガンマ変換等を行うことで、画像の階調値に変換して表示制御することが望ましい。
【００５７】
以下、上記処理のうち、ＳＴ２、ＳＴ４、ＳＴ５、ＳＴ６、ＳＴ７及びＳＴ８について、詳細に説明する。
【００５８】
＜１＞ＳＴ４：内部データＢＩＰＲ［ｉ］の生成
内部データＢＩＰＲ［ｉ］生成部１２ａ１における、両眼視差画像及び初期解ＦＩ［０］又は第一表示面画像の内部データＦＩ［ｉ−１］を用いて第二表示面画像の内部データＢＩＰＲ［ｉ］を生成する処理について説明する。なお、内部データＦＩ［ｉ］の場合も、画像ＦＩと同様、水平座標ｎにおける画素値をＦＩ［ｉ］（ｎ）と表記する。また、内部データＢＩＰＲ［ｉ］においても、画像ＢＩと同様、水平座標ｍにおける画素値をＢＩＰＲ［ｉ］（ｍ）と表記する。
【００５９】
式５及び式６において、２枚の表示面を通して観察される画像Ｌ’の画素値及び画像Ｒ’の画素値を、両眼視差画像の左眼用画像Ｌの画素値、及び右眼用画像Ｒの画素値に置き換え、それぞれ画素値ＢＩ（ｘ）が左辺にくるように変形すると、以下の２式が得られる。
【００６０】
【数７】
2016121233.tif 000009
【００６１】
【数８】
2016121233.tif 000010
【００６２】
式７と式８を満たすように画素値ＦＩ［ｉ］（ｘ）と画素値ＢＩ（ｘ）を求めることができれば、両眼視差画像を３次元画像表示装置２０で表示することが可能となる。
【００６３】
式７と式８において、Ｌ（ｘ−ｓ）及びＲ（ｘ＋ｓ）は、入力された左眼用画像Ｌ及び右眼用画像Ｒから求めることができる。また、画素値ＦＩ（ｘ―２・ｓ）及び画素値ＦＩ（ｘ＋２・ｓ）は、ＳＴ２で生成した初期解ＦＩ［０］又はＳＴ７で生成した内部データＦＩ［ｉ−１］から求めることができる。よって、式７と式８とから画素値ＢＩ（ｘ）について２つの値を得ることができる。
【００６４】
ここで、画素値ＢＩ（ｘ）として取り得る値は１つだけであり、式７と式８とを両方満たす画素値ＢＩ（ｘ）を得られるのは、式７と式８とから得られる画素値ＢＩ（ｘ）が等しいケースに限られる。
【００６５】
そこで、式７と式８とから得られる２値の平均を画素値ＢＩ（ｘ）に与えることとする。以上の方法を用いて、内部データＢＩＰＲ［ｉ］（ｘ）について式９のように算出することができる。
【００６６】
【数９】
2016121233.tif 000011
【００６７】
式９を使って、第二表示面に表示する画像の全画素について求めることにより、内部データＢＩＰＲ［ｉ］（ｘ）を算出することが可能である。
【００６８】
＜２＞ＳＴ６：内部データＦＩＰＲ［ｉ］の生成
内部データＦＩＰＲ［ｉ］生成部１２ｂ１において、両眼視差画像及び内部データＢＩ［ｉ］を用いて内部データＦＩＰＲ［ｉ］を生成する処理について説明する。式７及び式８において、２枚の表示面を通して観察される画像Ｌ’の画素値及び画像Ｒ’の画素値を、両眼視差画像の左眼用画像Ｌの画素値及び右眼用画像Ｒの画素値に置き換え、それぞれＦＩ（ｘ）が左辺にくるように変形すると、以下の２式が得られる。
【００６９】
【数１０】
2016121233.tif 000012
【００７０】
【数１１】
2016121233.tif 000013
【００７１】
式１０と式１１とを満たすように画素値ＦＩ（ｘ）と画素値ＢＩ（ｘ）とを求めることができれば、両眼視差画像を３次元画像表示装置２０で表示することが可能となる。
【００７２】
式１０と式１１とにおいて、画素値Ｌ（ｘ＋ｓ）及び画素値Ｒ（ｘ―ｓ）は、入力された左眼用画像Ｌの画素値及び右眼用画像Ｒの画素値から求めることができる。また、画素値ＢＩ（ｘ＋２・ｓ）及び画素値ＢＩ（ｘ―２・ｓ）は、ＳＴ５で生成した内部データＢＩ［ｉ］を用いれば、一意に求めることができる。よって、式１０と式１１とから画素値ＦＩ（ｘ）について２つの値を得ることができる。
【００７３】
ここで、画素値ＦＩ（ｘ）として取り得る値は１つだけであり、式１０と式１１とを両方満たす画素値ＦＩ（ｘ）を得られるのは、式１０と式１１とから得られる画素値ＦＩ（ｘ）が等しいケースに限られる。
【００７４】
そこで、式１０と式１１とから得られる２値の平均を画素値ＦＩ（ｘ）に与えることとする。以上の方法を用いて、内部データＦＩＰＲ［ｉ］（ｘ）について式１２のように算出することができる。
【００７５】
【数１２】
2016121233.tif 000014
【００７６】
式１２を使って、第一表示面に表示する画像の全画素について求めることで、内部データＦＩＰＲ［ｉ］を算出することが可能である。
【００７７】
＜３＞ＳＴ５、ＳＴ７：制約条件の適用
内部データＢＩＰＲ［ｉ］制約部１２ａ２では、内部データＢＩＰＲ［ｉ］生成部１２ａ１で生成した内部データＢＩＰＲ［ｉ］に対して、第二表示面３２で表示するために必要な制約条件を適用する。同様に、内部データＦＩＰＲ［ｉ］制約部１２ｂ２では、内部データＦＩＰＲ［ｉ］生成部１２ｂ１で生成した内部データＦＩＰＲ［ｉ］に対して、第一表示面３１で表示するために必要な制約条件を適用する。
【００７８】
本実施の形態では、第一表示面３１及び第二表示面３２として液晶を用いている。液晶を使用した場合、液晶を透過する偏光に対する偏光角を変化させることができるが、その範囲は０度から９０度に限定される。また、偏光角の変化は加算に限られ、減算による負の方向への変化は不可能である。
【００７９】
これを制約条件とし、内部データＦＩＰＲ［ｉ］及び内部データＢＩＰＲ［ｉ］に適用する。具体的には、液晶１枚で表現できる輝度範囲を輝度制限最小値ＭｉｎＢから輝度制限最大値ＭａｘＢとし、ＦＩＰＲ［ｉ］（ｎ）及びＢＩＰＲ［ｉ］（ｍ）が輝度制限最小値ＭｉｎＢから輝度制限最大値ＭａｘＢに相当する範囲を越えた値であったとき、越えた値をそれぞれ輝度制限最小値ＭｉｎＢ、輝度制限最大値ＭａｘＢに相当する値に制限するようなクリッピング処理を行う。
【００８０】
以下、クリッピング処理の例である。輝度制限最小値ＭｉｎＢに相当する値を０．０、輝度制限最大値ＭａｘＢに相当する値を１．０とした時、制約条件適用部１３では、内部データＦＩＰＲ［ｉ］及び内部データＢＩＰＲ［ｉ］の全画素に対して、以下に示す処理を行う。
【００８１】
clip(x) : x=1 when x>1  ・・・（式１３）
x=0 when x<0  
x=x other
【００８２】
ＳＴ５及びＳＴ７で制約条件を適用しない場合、ＳＴ４及びＳＴ６によって得られる内部データＢＩＰＲ［ｉ］及び内部データＦＩＰＲ［ｉ］が液晶で表示できるダイナミックレンジを越えるケースがあり、結果、ＳＴ１０から出力される画像ＦＩの画素値及び画像ＢＩの画素値も液晶で表示できるダイナミックレンジを越える。これを液晶２１及び液晶２２で表示しようとした場合、式１３に示すクリッピング処理、または最小値と最大値とをそれぞれ輝度制限最小値ＭｉｎＢと輝度制限最大値ＭａｘＢとに相当する値に正規化するダイナミックレンジの縮小処理を行う必要がある。
【００８３】
クリッピング処理をＳＴ１０以降で行った場合、画像中のある部分がベタ塗りになる階調つぶれが発生してしまう。階調つぶれが発生した箇所は、左右眼方向から見た時に両眼視差画像を表示することができず、観察者の立体知覚を阻害する要因となる。
【００８４】
ダイナミックレンジの縮小処理をＳＴ１０以降で行った場合、表示される画像のコントラストが悪化してしまう問題がある。
【００８５】
図６のように、内部データＢＩＰＲ［ｉ］及び内部データＦＩＰＲ［ｉ］を求める度に制約条件を適用することで、最終的に表示する画像のコントラストの悪化を防ぐことができる。
【００８６】
また、内部データＢＩＰＲ［ｉ］及び内部データＦＩＰＲ［ｉ］を求める度に制約条件を適用することで、制約条件を適用した時点では階調つぶれが発生するものの、繰り返し処理によって階調つぶれが発生した内部データＦＩＰＲ［ｉ］及び内部データＢＩＰＲ［ｉ］を元にＦＩ［ｉ］及びＢＩ［ｉ］を、さらにはＢＩＰＲ［ｉ＋１］及びＦＩＰＲ［ｉ＋１］を生成するため、階調つぶれが発生した部分を分散させることができ、観察者の立体知覚を阻害しにくくすることが可能になる。
＜４＞ＳＴ２：初期解ＦＩ［０］の生成
初期解生成部１１では、入力された両眼視差画像（左眼用画像及び右眼用画像）から、第一表示面３１の画像の内部データである初期解ＦＩ［０］を生成する。
【００８７】
初期解ＦＩ［０］の生成方法としては、左眼用画像Ｌ、右眼用画像ＲのいずれかをＦＩ［０］とする方法がある。
【００８８】
別の初期解ＦＩ［０］の生成方法としては、左眼用画像Ｌと右眼用画像Ｒとの平均を求め、初期解ＦＩ［０］とする方法がある。つまり、初期解は、複数の異なる入力画像のデータの平均値とする。
【００８９】
さらに、別の初期解ＦＩ［０］の生成方法としては、左眼用画像Ｌと右眼用画像Ｒとに含まれる共通成分のみを抜き出す方法がある。具体的には、左眼用画像Ｌと右眼用画像Ｒとで同一座標にある画素の差分を求め、差分が０ならその画素の階調を、差分が０以外なら階調値０を初期解ＦＩ［０］にあてれば良い。
【００９０】
最初のＳＴ４の処理において、式９を使って左眼用画像Ｌ、右眼用画像Ｒ及び初期解ＦＩ［０］から、内部データＢＩ［１］を求める意味を解釈すると、分子の１番目の項は左眼用画像Ｌから初期解ＦＩ［０］を引いた差分であり、２番目の項は右眼用画像Ｒから初期解ＦＩ［０］を引いた差分であり、これら差分の平均を内部データＢＩ［１］として求めている。例えば、左眼用画像Ｌと右眼用画像Ｒとに含まれる共通成分のみを抜き出して初期解ＦＩ［０］と設定した場合、内部データＢＩ［１］には両眼視差画像の視差成分が現れることになる。内部データＦＩ［ｉ］と内部データＢＩ［ｉ］とを用いて両眼視差画像を表現する際、この視差成分の表現が重要となる。
【００９１】
ＳＴ４で内部データＢＩ［１］を求めた後、ＳＴ５で内部データＢＩ［１］に対して制約条件の適用を行う。ここでクリッピング処理を行うことで、負の値が０に丸め込まれることになる。
【００９２】
以上から、内部データＢＩ［１］に負の成分が現れにくいように初期解ＦＩ［０］を生成することが望ましい。これを実現する一つの方法が、左眼用画像Ｌと右眼用画像Ｒとに含まれる共通成分のみを初期解ＦＩ［０］とする方法である。内部データＢＩ［１］に負の成分が現れにくくすることで、両眼視差画像の視差成分が、制約条件の適用によって０に丸め込まれにくくなり、最終的に内部データＦＩ［ｉ］及び内部データＢＩ［ｉ］で両眼視差画像を正しく表現しやすくなる。
【００９３】
さらには、適切な初期解ＦＩ［０］を生成することで、少ない繰り返し処理回数で処理終了条件を満たすことが可能となる。
【００９４】
なお、初期解ＦＩ［０］も第一表示面３１で表示するために必要な制約条件の元で求めることが望ましい。図５には記載しないが、初期解生成部１１で生成した初期解ＦＩ［０］に対し、制約条件適用部１３において、式１３に示す制約条件を適用してから積層画像生成部１２で処理を行ってもよい。ただし、前述した手法で初期解ＦＩ［０］を生成した場合、初期解ＦＩ［０］は自ずと制約条件の範囲内で求まるため、初期解ＦＩ［０］に対して式１３を適用しても変化はない。
【００９５】
＜５＞ＳＴ８：処理終了条件の設定
繰り返し処理制御部１４で行う処理終了条件の判定として、生成した内部データＦＩ［ｉ］及び内部データＢＩ［ｉ］を用いて、観察者が両眼方向から見える画像Ｌ’及び画像Ｒ’を求め、さらに画像Ｌ’及び画像Ｒ’と表示したい両眼視差画像Ｌ及び両眼視差画像Ｒとの差分を求め、両差分が共に所定の値を下回ったことを条件とする方法がある。この場合は、繰り返し処理制御部１４に両眼視差画像Ｌ及び両眼視差画像Ｒを入力する必要がある。
【００９６】
また、生成した内部データＦＩ［ｉ］と前回生成した内部データＦＩ［ｉ−１］との差分を求め、この差分が所定の値を下回ったことを条件とする方法がある。
【００９７】
同様に、生成した内部データＢＩ［ｉ］と前回生成した内部データＢＩ［ｉ−１］との差分を求め、この差分が所定の値を下回ったことを条件とする方法がある。
【００９８】
さらに、内部データＦＩ［ｉ］と内部データＦＩ［ｉ−１］との差分、内部データＢＩ［ｉ］と内部データＢＩ［ｉ−１］との差分の両方が所定の値を下回ったことを条件とする方法がある。
【００９９】
所定の値としては、任意の値を使用する方法がある。
【０１００】
図７は、実施の形態１の、画像Ｌ’と両眼視差画像Ｌとの差分と繰り返し処理回数との関係を示した説明図である。図７における横軸は、繰り返し処理回数ｎである。図７における縦軸は、差分ｄである。図７に示すように、差分ｄはｎ＝１の時の初回差分ｄ１から、繰返し処理回数が増えるとともにオフセット値Ｏｆｓｔに漸近するように減少していくような曲線を描く。この曲線に対し、所定の値として閾値Ｔｈを設定し、差分ｄが閾値Ｔｈを下回った時、つまり繰り返し処理回数がｎ１の時点で処理終了条件を満たすこととなる。
【０１０１】
繰り返し処理制御部１４では、繰り返し処理の回数が多いほど精度の良い表示面画像が得られる。すなわち、所定の値として設定する閾値Ｔｈが小さいほど、繰り返し処理の回数が増え、精度の良い表示面画像が得られるが、処理量は増加する。一方、所定の値として設定する閾値Ｔｈが大きくなると、繰り返し処理の回数が減り、処理量も減少するが、表示面画像の精度は悪化する。以上のように所定の値を調整することにより、処理量と表示面画像の精度を制御することができる。
【０１０２】
しかし、所定の値として任意の値を使用すると、入力された両眼視差画像によって差分の大きさが異なり、処理終了までの繰り返し処理回数が、入力された両眼視差画像によって大きく変わってしまう課題がある。
【０１０３】
図７に示す曲線の入出力特性（形状）は入力された両眼視差画像に依らず同様な傾向を示す。しかし、初回差分ｄ１及びオフセット値Ｏｆｓｔは、入力された両眼視差画像に依存してその絶対値が大きく異なる場合がある。このため、閾値Ｔｈとして所定の値を設定すると、入力画像に依存して処理終了条件を満たす繰り返し処理回数が異常に大きくなる、もしくは少なくなることがあり、結果として表示面画像の精度も揺れてしまう。
【０１０４】
画像Ｌ’と両眼視差画像Ｌとの差分や画像Ｒ’と両眼視差画像Ｒとの差分ではなく、内部データＦＩ［ｉ］と内部データＦＩ［ｉ−１］との差分や内部データＢＩ［ｉ］と内部データＢＩ［ｉ−１］との差分を扱う場合、オフセット値Ｏｆｓｔは０に近い小さな値となるが、初回差分ｄ１は入力された両眼視差画像に依存してその絶対値が大きく異なる場合がある。
【０１０５】
この課題を解決するため、例えば内部データＦＩ［ｉ］については、ＦＩ［２］とＦＩ［１］との差分を基準とし、その差分に割合を掛けた値を所定の値として用いる方法がある。同様に内部データＢＩ［ｉ］については、内部データＢＩ［２］と内部データＢＩ［１］との差分を基準とし、その差分に割合を掛けた値を所定の値として用いる方法がある。
【０１０６】
所定の値として任意の値を使用する場合と同様に、前述の割合の値が大きいほど、繰り返し処理が少ない回数で少なく処理終了条件に達する。また、前述の割合の値が小さいほど、処理終了条件に達するまでに繰り返し処理の回数が多くかかる。ただしその場合、精度の良い表示面画像が得られる。
【０１０７】
繰り返し処理において最初に求めた差分に割合を掛けた値を所定の値にすることにより、初回差分ｄ１の絶対値に関わらず、図７に示す曲線に対して適切な閾値Ｔｈを設定することができる。つまり、入力画像による処理終了条件を満たす繰り返し処理回数の変動を小さくし、結果として表示面画像の精度が安定することになる。よって、繰り返し処理の処理量と、所望の表示面画像の精度とのバランスを保ちやすくなる。
【０１０８】
なお、繰り返し処理制御部１４の処理終了条件として、繰り返し処理を設定した繰り返し回数（例えば５回など）行うこととする方法もある。こうすることで、繰り返し処理に係る処理量を一定にすることができる。
【０１０９】
図３及び図４では、表示面上の水平方向に伸びる１ラインの画素について説明したが、全てのラインの画素について、同様の処理が適用される。内部データＦＩ［ｉ］と内部データＢＩ［ｉ］とは、全ラインについて処理を行ったものである。
【０１１０】
実施の形態１では、積層した２枚の表示面を使って、両眼視差画像を表示する装置及び方法について説明を行った。本発明により、２枚の表示面を越えて３次元画像を知覚させることが可能となり、その対象は単純な図形のみならず、自然画など複雑な奥行き情報を持つ両眼視差画像も表示可能である。
【０１１１】
表示面で挟まれた空間を越えて奥行き表現が可能な手法（例えば、非特許文献１）では、前方表示面及び後方表示面の画素値を変数とし、画像の全画素値について式７及び式８で与えられる方程式を立てている。また、この手法では、これらの方程式群を多元連立１次方程式と見なし、最小二乗法等の最適化手法を用いて解いている。変数は画素数の２倍となり、大規模な線形最小二乗問題を解くことになる。また、表示装置として液晶を用いているため、制約条件を付けて、最適化を行う必要がある。ヤコビ行列乗算関数を使い、少ないメモリリソースで制約条件付き最適化を行う手法は提案されているものの、本発明と比較して複雑な処理が必要であり、高速にＦＩ及びＢＩを求めるためにはＧＰＵなど高価なハードウェアが必要である。
【０１１２】
これに対し、本発明では、積層した表示面を使って両眼視差画像を表現するため、式９及び式１３に示した処理を繰り返すことにより、第一表示面に表示する画像ＦＩと第二表示面に表示する画像ＢＩを求める。式９及び式１３に示した処理は、画像をずらして減算し、平均を求める処理であり、単純かつ平易な処理と言える。
【０１１３】
また、図６に示した処理フローは、走査方向に沿って入力される画像の画素に対して逐次処理を行うことにも適した処理である。逐次処理に適しているため、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等において、大容量のＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）ではなく、小容量のＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を用い実装することが可能である。
【０１１４】
また、ＦＰＧＡ又はＡＳＩＣといったハードウェアではなく、マイコン上で動くソフトウェアとしても、実装可能である。
【０１１５】
また、本発明では、繰り返し処理において制約条件を都度適用する。これにより、元々画像が表現できる範囲内に限って、繰り返し処理を行うことで、観察者から観察される画像のコントラストを悪化させずに、画像ＦＩ及び画像ＢＩを求めることが可能である。
【０１１６】
本実施の形態以外の液晶の偏光フィルム構成として、例えば非特許文献１では、積層した液晶の最前面と最後面に加え、積層した液晶間にも最後面から順に９０度傾きが異なる偏光フィルムを設置している。この積層方法では、積層した各液晶で光の強度の減衰が発生し、観察者の眼に到達する光の強度は、各液晶における光の透過率の乗算によって求められる。乗算式は対数を取ることで加算式に置き換えることが可能であることを利用すれば、観察者２５の眼に到達する光は、偏光角の加算の場合と同様の式で表現することが可能である。
【０１１７】
このように、眼に到達する光を加算式で表現できれば、本技術を適用することが可能である。よって、前述するような本実施の形態以外の液晶の偏光フィルムの構成であっても良い。
【０１１８】
また、ハーフミラー等を使って、２つの表示面が重なるように表示する際にも、本技術は適用可能である。ハーフミラーを使用すると、眼に到達する光は２つの表示面の輝度の加算で表現できる。ハーフミラーを使うと、液晶以外の表示装置、例えば有機ＥＬやプラズマディスプレイなど透過型でない表示装置でも積層表示が可能となる。
【０１１９】
本実施の形態では、初期解生成部１１において、繰り返し処理の初期解として、第一表示面画像の内部データＦＩ［０］を求めた。これにより、両眼視差画像に含まれる視差成分が、第二表示面画像の内部データＢＩ［１］に現われやすくなる傾向がある。結果、第二表示面に表示する画像ＢＩに視差成分が現われやすくなる。視差成分は、左眼用画像Ｌと右眼用画像Ｒとで異なる成分であり、二重像として現われる。観察者にとって近い側にある第一表示面に二重像が含まれる画像を表示すると、視認性が低下する恐れがある。観察者によって遠い側にある第二表示面に二重像が含まれる画像を表示したほうが、視認性の低下を抑えることができる。
【０１２０】
これを許容するのであれば、初期解生成部１１では、ＦＩ［０］の代わりに、第二表示面画像の内部データＢＩ［０］を求め、それ以降の処理としてＳＴ４とＳＴ６とを入れ替え、ＢＩ［０］からＦＩ［１］を求めて、制約条件を適用してＦＩｃ［１］を求め、ＦＩｃ［１］からＢＩ［１］を求めて、制約条件を適用してＢＩｃ［１］を求めても良い。この時、第二表示面画像の内部データＢＩ［０］は、例えば第一表示面画像の内部データＦＩ［０］と同じ方法で求めることができる。
【０１２１】
実施の形態２．
実施の形態２では、観察者が立体知覚を得る観察範囲を広げた３次元画像表示装置について説明する。実施の形態２の３次元画像表示装置の構成は、実施の形態１で説明したものと同じものであるので説明を省き、実施の形態１と異なる部分のみ説明を行う。
【０１２２】
実施の形態１では、観察者の左右眼方向に対して両眼視差画像を表示する方法について説明を行った。この場合、観察者が立体知覚を得られる観察範囲が、３次元画像表示装置２０の真正面に限定される課題がある。
【０１２３】
そこで、両眼視差画像及び中央視点画像を入力とし、３視点分の画像をそれぞれ観察者の左右眼及び中央方向へ表示するように画像ＦＩ及び画像ＢＩを生成することで、観察者が立体知覚を得られる観察範囲を広げることができる。
【０１２４】
中央視点とは、観察者の左右眼の中央に眼があると仮定した時の視点である。中央視点画像とは、中央視点から被写体を撮影した画像である。
【０１２５】
図８は、積層した表示面を使って、両眼視差画像及び中央視点画像を表示する様子を示したものである。図８において、図２で説明した左右眼方向に加え、中央視点７０から中央視点画像７１を観察できるようにする。以下、左右眼方向に加え、中央視点７０から中央視点画像７１を観察する方法について、説明する。
【０１２６】
実施の形態２では、画像処理装置２４の入力部１０に対して、両眼視差画像（左眼用画像Ｌ、右眼用画像Ｒ）及び中央視点画像Ｃが入力される。そして、初期解生成部１１、積層画像生成部１２、制約条件適用部１３及び繰り返し処理制御部１４において、図６に示したフローチャートの処理を行ってＦＩ及びＢＩを生成し、液晶２１及び液晶２２にそれぞれ表示制御を行う。
【０１２７】
＜１＞ＳＴ４：内部データＢＩ［ｉ］の生成
内部データＢＩＰＲ［ｉ］生成部１２ａ１において、両眼視差画像及び初期解ＦＩ［０］又は内部データＦＩ［ｉ］を用いて内部データＢＩ［ｉ］を生成する処理について説明する。
【０１２８】
図９は、角θＬ及び角θＲから観察される画像を、積層した表示面の画素単位で描いた図３に対して、中央視点方向θＣから観察される画像を追加したものである。θＣは、実質０°の角度である。
【０１２９】
中央視点方向θＣへの光は、視線８０上にある画素４０７と画素８１における偏光の回転とによって決定される。視線８０上で観察される中央視点画像の位置は投影点８２となり、この画素値をＣ（ｘ）と表す。画素値Ｃ（ｘ）が以下の関係を満たすとき、積層した表示面を使って、中央視点方向θＣへ中央視点画像Ｃを表示することが可能となる。画素値Ｃ（ｘ）の内部データを、Ｃ［ｉ］（ｘ）とする。
【０１３０】
【数１３】
2016121233.tif 000015
【０１３１】
式１４を変形して、式１５が得られる。
【０１３２】
【数１４】
2016121233.tif 000016
【０１３３】
実施の形態１で説明した式７及び式８に加え、式１５を満たすようにＢＩ（ｘ）を求めることができれば、両眼視差画像及び中央視点画像を３次元画像表示装置２０で表示可能となる。
【０１３４】
実施の形態１と同様に、式７、式８及び式１５における右辺は、一意に決定する事ができる。一方で、ＢＩ［ｉ］（ｘ）として取り得る値は１つだけであり、３つの式から得られる３つの値を使って、算出する内部データの画素値ＢＩ［ｉ］（ｘ）を決定する必要がある。１つの方法としては、３つの値の平均を内部データの画素値ＢＩ［ｉ］（ｘ）とする方法がある。
【０１３５】
【数１５】
2016121233.tif 000017
【０１３６】
別の方法として、３つの値の加重平均をとる方法がある。左眼用画像Ｌの重みをα、右眼用画像Ｒの重みをβ、中央視点画像Ｃの重みをγとした時、加重平均による内部データの画素値ＢＩ［ｉ］（ｘ）は以下の式で与えられる。
【０１３７】
【数１６】
2016121233.tif 000018
【０１３８】
加重平均を取る際の重み付けは、それぞれ内部データの画素値ＢＩ［ｉ］（ｘ）に反映される画像の重み付けになる。例えば重みαと重みβとに異なる値を設定すると、両眼視差画像が異なる重み付けで内部データの画素値ＢＩ［ｉ］（ｘ）に反映されるため、内部データの画素値ＢＩ［ｉ］（ｘ）が正しく視差を再現できなくなる場合がある。よって、重みαと重みβとは等しい値とすることが望ましい。
【０１３９】
重みγについては、重みα又は重みβ以下の値とすることが望ましい。重みγの値を大きくすると、内部データの画素値ＢＩ［ｉ］（ｘ）に反映される両眼視差画像の成分が小さくなる場合がある。この時、観察者は、本来の両眼視差画像が含む立体感よりも弱い立体感しか知覚できなくなる。
【０１４０】
式１６又は式１７等を使って、第二表示面に表示する画像の全画素について求めることで、内部データＢＩ［ｉ］を算出することが可能である。
【０１４１】
＜２＞ＳＴ６：内部データＦＩ［ｉ］の生成
内部データＦＩＰＲ［ｉ］生成部１２ｂ１において、両眼視差画像及び内部データＢＩ［ｉ］を用いて内部データＦＩ［ｉ］を生成する処理について説明する。式１４を変形して、式１８が得られる。
【０１４２】
【数１７】
2016121233.tif 000019
【０１４３】
実施の形態１で説明した式１０、式１１及び式１８を満たすように内部データの画素値ＦＩ［ｉ］（ｘ）を求めることができれば、両眼視差画像及び中央視点画像を３次元画像表示装置２０で表示可能となる。
【０１４４】
実施の形態１と同様に、式１０、式１１及び式１８における右辺は、一意に決定する事ができる。一方で、内部データの画素値ＦＩ［ｉ］（ｘ）として取り得る値は１つだけであり、３つの式から得られる３つの値を使って、算出する内部データの画素値ＦＩ［ｉ］（ｘ）を決定する必要がある。１つの方法としては、３つの値の平均を内部データの画素値ＦＩ［ｉ］（ｘ）とする方法がある。
【０１４５】
【数１８】
2016121233.tif 000020
【０１４６】
別の方法として、３つの値の加重平均をとる方法がある。加重平均による内部データの画素値ＦＩ［ｉ］（ｘ）は以下の式で与えられる。重みα、重みβ及び重みγに関しては、内部データの画素値ＢＩ［ｉ］（ｘ）を求める際と同様の条件が適用可能である。
【０１４７】
【数１９】
2016121233.tif 000021
【０１４８】
式１９又は式２０等を使って、第一表示面に表示する画像の全画素について求めることにより、内部データＦＩ［ｉ］を算出することが可能である。
【０１４９】
＜３＞制約条件の適用
実施の形態１と同じであるため、説明を省略する。
【０１５０】
＜４＞初期解ＦＩ［０］の生成
初期解生成部１１では、入力された両眼視差画像（左眼用画像Ｌ及び右眼用画像Ｒ）と中央視点画像Ｃとから、初期解として第一表示面３１に表示する初期解ＦＩ［０］を生成する。なお、初期解生成部１１は、複数の入力画像のデータから、一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データを生成する。ここで「一方の端面画像の内部データ」は、ＢＩ［ｉ］であり、「一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データ」は、ＦＩ［０］である。
【０１５１】
初期解ＦＩ［０］の生成方法としては、中央視点画像Ｃを初期解ＦＩ［０］とする方法がある。
【０１５２】
別の初期解ＦＩ［０］の生成方法としては、左眼用画像Ｌ、右眼用画像Ｒ及び中央視点画像Ｃの平均値を求め、初期解ＦＩ［０］とする方法がある。
【０１５３】
さらに、別の初期解ＦＩ［０］の生成方法としては、デプスマップを利用した手法がある。デプスマップとは、画像の各画素の奥行き値を示したものであり、図９における奥行き座標軸の数値を示すものである。デプスマップは、１つの方法として、左眼用画像Ｌと右眼用画像Ｒとから算出できる視差の分布から生成できる。被写体の画像とデプスマップとを同時取得することが可能なカメラもあり、両眼視差画像、中央視点画像及びデプスマップを画像処理装置２４に入力しても良い。
【０１５４】
デプスマップを利用した手法として、中央視点画像Ｃの各画素の階調に対し、デプスマップに示される奥行き座標と第一表示面までの距離とに基づいて割合を掛けて、得られる画像を初期解ＦＩ［０］とする方法がある。
【０１５５】
デプスマップを利用することで、表示対象の手前の部分は第一表示面で、後方部分は第二表示面で表示するように、初期解を設定することができる。これにより、観察者にとってより自然な３次元画像が表示できるとともに、繰り返し処理における収束までの処理回数を減らすことができる。
【０１５６】
＜５＞処理終了条件の設定
繰り返し処理制御部１４で行う処理終了条件の判定として、以下の方法がある。まず、生成した内部データＦＩ［ｉ］及び内部データＢＩ［ｉ］を用いて、観察者が両眼方向から見える画像Ｌ’及び画像Ｒ’、並びに中央方向から見える画像Ｃ’を求める。次に、画像Ｌ’と表示したい視差画像Ｌとの差分、画像Ｒ’と表示したい視差画像Ｒとの差分及び画像Ｃ’と表示したい中央視点画像Ｃとの差分を求める。そして、全ての差分が所定の値を下回ったことを処理終了条件とする。
【０１５７】
実施の形態１で説明した条件と同じ条件を用いて、処理終了条件の判定を行っても良い。
【０１５８】
実施の形態２では、積層した２枚の表示面を使って、両眼視差画像及び中央視点画像を表示する装置及び方法について説明を行った。本発明により、２枚の表示面を越えて３次元画像を知覚させることが可能となるとともに、観察者が立体知覚を得られる観察範囲を広げることができる。
【０１５９】
観察範囲が広がる理由は、中央視点画像を加えることで、観察者が積層した表示面の画像を融合視しやすくなるからである。
【０１６０】
両眼視差画像のみから積層画像を生成した場合、角θＬと角θＲのちょうど中間である中央視点θＣから観察者が観察できる画像は、左眼用画像Ｌと右眼用画像Ｒとの平均とはならず、両者が混ざり合った画像となる。このため、例えば、観察者が左方向に動き、観察者の右眼が中央視点θＣの視線８０上の位置になった時、観察者の右眼にはこの混ざり合った画像が見えてしまい、観察者は左右眼の像を融合視できず、立体知覚を得ることができなくなってしまう。
【０１６１】
角θＬから角θＲで挟まれる中央視点画像を表示対象に加えることで、角θＬから角θＲ間における表示の連続性を保ち、観察者が左右方向に動いた時、中央視点θＣの方向からも被写体を表す正常な画像が見えることで融合視を保ち、立体知覚を得やすくなる効果がある。このように、観察者の観察範囲を広げるためには、より多視点の画像を細かい角度で表示すれば良い。
【０１６２】
一方、多視点の画像を表示しようとすると、画像の鮮明感が低下するデメリットがある。積層画像生成部１２でＦＩ［ｉ］及びＢＩ［ｉ］を求める過程において、各視点画像の平均もしくは加重平均が含まれる。平均や加重平均といった処理はローパスフィルタの効果を含み、画像がぼやけ、鮮明感の悪化を引き起こす。
【０１６３】
そこで、実施の形態２では、左右眼視点及び中央視点の３視点分の画像を表示対象とすることにより、観察者が立体知覚を得られる観察範囲を広げるとともに、画像の鮮明感を維持した表示を可能としている。
【０１６４】
表示する視点数は、上記３視点に限るものではない。角θＬ、角θＲよりも大きい角度方向の視点画像を追加すれば、観察範囲を広げる効果がある。
【０１６５】
視点数を増やす時に注意すべきは、視点間の角度の大きさである。視点間隔が広い場合は、視点間において融合視を阻害する画像が観察者に表示されてしまう。細かい間隔で視点数を増やすことが必要である。
【０１６６】
画像の鮮明感を維持するために、観察者の位置を検出し、検出した観察者の方向に合わせて表示対象とする視点画像を選択しても良い。この場合、画像処理装置２４には多視点画像と検出した観察者の位置情報が入力され、適宜処理される。
【０１６７】
本発明は、繰り返し処理を用いて計算量を抑えた平易な処理とすることによって、小規模なハードウェアとすることが可能である。
【０１６８】
実施の形態３．
実施の形態３では、実施の形態１で説明した装置に対して、第三の液晶表示面を追加した３次元画像表示装置について説明する。実施の形態３の３次元画像表示装置の構成は実施の形態１で説明したものと異なるが、同一の構成要素については説明を省き、実施の形態１と異なる部分のみ説明を行う。
【０１６９】
実施の形態１では、２枚の液晶表示面を用いて観察者の左右眼方向に対して両眼視差画像を表示する方法について説明を行った。
【０１７０】
第三の液晶表示面を追加することで、視線上に存在する表示画素が増加し、各画素の取りうる値の自由度が増すことで、繰り返し処理の過程で誤差を低減することができ、観察者が視認する両眼視差画像の品位が向上する。
【０１７１】
図１０は、第三の液晶表示面９０を追加し積層した表示面を使って、両眼視差画像を表示する様子を示した説明図である。実施の形態１で用いた第一表示面３１と第二表示面３２との間に第三表示面９０は配置される。左眼３３と右眼３４との各視線は、第一表示面３１、第三表示面９０、第二表示面３２の順で通過する。以下では、第一表示面３１、第三表示面９０及び第二表示面３２の各画素の階調を算出する処理方法について説明する。
【０１７２】
実施の形態３にかかる第三表示面９０は、いずれの面にも偏光版が張られていない液晶表示面であり、第一表示面３１と第二表示面３２との間に配置されている。特に図示しないが、第三表示面を持つ液晶を示す記号を９２０とする。また、実施の形態３における第三の液晶表示面を追加した３次元画像表示装置も実施の形態１の３次元画像表示装置と同様の記号２０を用いて説明する。
【０１７３】
実施の形態３でも、実施の形態１の画素階調の算出方法と同じく、初期解を算出し、順次各表示面の画素階調を算出する方法をとる。実施の形態３では、初期解として、第一表示面３１に表示する内部データＦＩ［０］及び第三表示面９０に表示する内部データＭＩ［０］を生成する。
【０１７４】
図１１は、左眼方向及び右眼方向から観察される画像を、積層した表示面の画素単位で描いた説明図である。また、図１１は、３次元画像表示装置２０を上方から見た俯瞰図である。図１１において３次元画像表示装置２０は、角θＬ及び角θＲから観察される画像を、積層した表示面の画素単位で表している。また、図１１は、等しい垂直位置にある第一表示面である液晶２１上の画素群４０１と第二表示面である液晶２２上の画素群４０２と第三表示面である液晶９２０上の画素群９０１とを抜き出したものである。言い換えると画素群４０１と画素群４０２と画素群９０１とは、水平方向に並ぶあるライン上の画素群である。第一表示面と第二表示面とは、所定の間隔Ｐを置いて積層され、第一表示面と第三表示面とは、所定の間隔Ｕを置いて積層されている。即ち、実施の形態１において説明した図３で示した３次元画像表示装置に、第三表示面である液晶９０上の画素群９０１が所定の位置に追加されたものである。図１１においてはバックライト４１５の記載を省略している。
【０１７５】
以下、図１１を用いて、液晶２１の画素群４０１のうち、水平座標ｘの位置にある画素４０７を通して観察される光について、説明する。本実施の形態３では、所定の間隔Ｕは所定の間隔Ｐのちょうど２分の１である場合を例にして説明する。所定の間隔Ｕが他の長さであっても構わない。
【０１７６】
左眼の視線４０５で表わされる表示面から左眼への光は、視線４０５上にある画素４０７と画素９０３と画素４０９とにおける偏光の回転によって決定される。実施の形態１で説明したとおり、画素４０７の水平座標をｘとしたとき、第二表示面である液晶２２上の画素４０９の水平座標は式２により得られる距離ｓを用いて、ｘ＋２・ｓで与えられる。また、所定の距離Ｕが所定の距離Ｐの２分の１であることから、第三表示面９０上の画素９０３の水平座標はｘ＋ｓで与えられる。
【０１７７】
実施の形態１で説明したとおり、液晶２１に表示する画像をＦＩ、液晶２２に表示する画像をＢＩとする。また、液晶２１上の画素における偏光の回転による光の変調を示す水平座標ｎにおける画素値をＦＩ（ｎ）と表記する。液晶２２上の画素における偏光の回転による光の変調示す水平座標ｍにおける画素値をＢＩ（ｍ）と表記する。それに加えて、第三表示面９０に表示する画像をＭＩとし、水平座標ｋにおける画素値をＭＩ（ｋ）と表記する。
【０１７８】
画素値ＦＩ（ｎ）及び画素値ＢＩ（ｍ）と同様、画素値ＭＩ（ｋ）も光の輝度に対してリニアな数値とする。画素値ＭＩ（ｋ）が表示輝度を示したものとすれば、画像の階調と相互変換するために、前記のガンマ特性と逆特性を有するような逆ガンマ変換を行う必要がある。
【０１７９】
また、実施の形態１で説明したとおり、左眼の視線４０５上で観察される画像をＬ’とし、左眼の視線４０５上で観察される画素の輝度を表す画素値を、その水平座標ｘを用いて、画素値Ｌ’（ｘ）と表記することとする。画像Ｌ’は、面間中央の奥行き座標が０の表示面に平行な面を投影面とする。つまり、左眼の視線４０５上で観察される画像Ｌ’の画素の位置は投影点４１４となり、その水平座標は、ｘ＋ｓで与えられる。図１１においては、第三表示面９０に表示する画素と奥行き座標が一致している。所定の距離Ｕが所定の距離Ｐの２分の１でない場合は、奥行座標は一致しない。また、奥行座標は一致する必要もない。
【０１８０】
以上から、左眼の視線４０５上において、下記の式２１が成り立つ。
【０１８１】
【数２０】
2016121233.tif 000022
【０１８２】
同様に、右眼の視線４０６への光は、その視線上にある画素４０７と画素４０８と画素９０２とにおける偏光の回転によって決定される。画素４０７の水平座標をｘとしたとき、式２により得られる距離ｓを用いて、画素４０８の水平座標はｘ−２・ｓで与えられ、画素９０２の水平座標はｘ−ｓで与えられる。
【０１８３】
以上から、右眼の視線４０６上において、下記の式２２が成り立つ。
【０１８４】
【数２１】
2016121233.tif 000023
【０１８５】
式２１と式２２とから、積層した３枚の表示面を用いて、左右方向に異なる画像を表示する事が可能であることが分かる。
【０１８６】
実施の形態１において導出した式５と式６と同様に、特に図示しないが、水平座標ｘの位置にある第二表示面４０２上の画素を通る左右眼の視線から以下の式２３と式２４とが導出できる。
【０１８７】
【数２２】
2016121233.tif 000024
【０１８８】
【数２３】
2016121233.tif 000025
【０１８９】
ただし、実施の形態１において式５と式６とについて説明したように、式２１は、ｘをｘ−２・ｓと置き換えることで式２３が得られ、式２１と式２３とは実質的に同じ式であることが自明である。同様に、式２２と式２４とは、実質的に同じ式である。
【０１９０】
左眼の視線４０５上で観察される画像Ｌ’及び右眼の視線４０６上で観察される画像Ｒ’が、両眼視差画像である時、観察者は３次元画像を知覚することが可能となる。これを実現するため、画像処理装置２４では、入力された両眼視差画像が、画像Ｌ’と画像Ｒ’となるように、第一表示面３１に表示する画像ＦＩと、第二表示面３２に表示する画像ＢＩと第三表示面９０に表示する画像ＭＩとを生成する処理を行う。
【０１９１】
図１２は、画像処理装置９２４の構成を示すブロック図である。画像処理装置９２４は、入力部９１０、初期解生成部９１１、積層画像生成部９１２、繰り返し処理制御部９１４及び出力部９１５を備える。また、積層画像生成部９１２は、内部データＢＩ［ｉ］生成部９１２ａ及び内部データＭＩ［ｉ］生成部９１２ｃ及び内部データＦＩ［ｉ］生成部９１２ｂを備える。図１３は、内部データＢＩ［ｉ］生成部９１２ａの構成を示すブロック図である。内部データＢＩ［ｉ］生成部９１２ａは、内部データＢＩＰＲ［ｉ］生成部９１２ａ１及び内部データＢＩＰＲ［ｉ］制約部９１２ａ２を備える。図１４は、内部データＭＩ［ｉ］生成部９１２ｃの構成を示すブロック図である。内部データＭＩ［ｉ］生成部９１２ｃは、内部データＭＩＰＲ［ｉ］生成部９１２ｃ１及び内部データＭＩＰＲ［ｉ］制約部９１２ｃ２を備える。図１５は、内部データＦＩ［ｉ］生成部９１２ｂの構成を示すブロック図である。また、内部データＦＩ［ｉ］生成部９１２ｂは、内部データＦＩＰＲ［ｉ］生成部９１２ｂ１及び内部データＦＩＰＲ［ｉ］制約部９１２ｂ２を備える。
【０１９２】
図１６は、画像処理装置９２４における処理の流れを示すフローチャートである。処理の開始（ＳＴ９０１）から処理の終了（ＳＴ９１３）までの流れを、図１２〜図１５の構成と合わせて説明する。なお、各構成要素の詳細については、後述する。
【０１９３】
入力部９１０は、多視点画像、例えば、被写体を撮影した両眼視差画像を入力として受け付ける。両眼視差画像は、左眼用画像Ｌと右眼用画像Ｒとから構成される。一般に画像は各画素における階調値を示したものである。階調値はガンマ変換等によって、３次元画像表示装置２０で表示される輝度に対してリニアな系に変換して処理される。
【０１９４】
初期解生成部９１１では、繰り返し処理を制御するためのインクリメント変数ｉに１を設定する（ＳＴ９０２）。そして、入力された両眼視差画像から、第一表示面３１の画像の内部データである初期解ＦＩ［０］及び第三表示面９０の画像の内部データである初期解ＭＩ［０］を求める（ＳＴ９０３）。
【０１９５】
積層画像生成部９１２は、両眼視差画像と、最初のステップでは、初期解生成部９１１で生成された初期解ＦＩ［０］及びＭＩ［０］とを入力とする。積層画像生成部９１２は、内部データＢＩＰＲ［ｉ］生成部９１２ａ１において、両眼視差画像と初期解ＦＩ［０］及びＭＩ［０］とを用いて、第二表示面３２に表示する画像の内部データＢＩＰＲ［１］を求める。インクリメント変数ｉを１として、上記を言い換えると、積層画像生成部９１２は、内部データＢＩＰＲ［ｉ］生成部９１２ａ１において、両眼視差画像と初期解ＦＩ［ｉ−１］及びＭＩ［ｉ−１］とを用いて、第二表示面３２に表示する画像の内部データＢＩＰＲ［ｉ］を求める（ＳＴ９０４）。
【０１９６】
そして、内部データＢＩＰＲ［ｉ］生成部９１２ａ１は、求めた第二表示面３２に表示する画像の内部データＢＩＰＲ［ｉ］を内部データＢＩＰＲ［ｉ］制約部９１２ａ２に送る。内部データＢＩＰＲ［ｉ］制約部９１２ａ２は、内部データＢＩＰＲ［ｉ］に対して第二表示面３２で表示するために必要な制約条件を適用した内部データをＢＩ［ｉ］として求める。内部データＢＩＰＲ［ｉ］制約部９１２ａ２は、内部データＢＩ［ｉ］生成部９１２ａの出力として、内部データＢＩ［ｉ］を出力する（ＳＴ９０５）。
【０１９７】
次に、内部データＢＩ［ｉ］生成部９１２ａは、求めた内部データＢＩ［ｉ］を内部データＭＩＰＲ［ｉ］生成部９１２ｃ１に送る。内部データＭＩＰＲ［ｉ］生成部９１２ｃ１は、両眼視差画像と初期解生成部９１１とで生成された初期解ＦＩ［０］と内部データＢＩ［ｉ］とを用いて、第三表示面９０に表示する画像の内部データＭＩＰＲ［ｉ］を求める。インクリメント変数ｉを１として、上記を言い換えると、内部データＭＩＰＲ［ｉ］生成部９１２ｃ１は、両眼視差画像と初期解生成部９１１とで生成された初期解ＦＩ［ｉ−１］と内部データＢＩ［ｉ］とを用いて、第三表示面９０に表示する画像の内部データＭＩＰＲ［ｉ］を求める。（ＳＴ９０６）。
【０１９８】
そして、内部データＭＩＰＲ［ｉ］生成部９１２ｃ１は、求めた第三表示面９０に表示する画像の内部データＭＩＰＲ［ｉ］を内部データＭＩＰＲ［ｉ］制約部９１２ｃ２に送る。内部データＭＩＰＲ［ｉ］制約部９１２ｃ２は、第三表示面９０に表示する画像の内部データＭＩＰＲ［ｉ］に対して第三表示面９０で表示するために必要な制約条件を適用した内部データをＭＩ［ｉ］として求める。内部データＭＩＰＲ［ｉ］制約部９１２ｃ２は、内部データＭＩ［ｉ］生成部１２ｃの出力として、内部データＭＩ［ｉ］を出力する（ＳＴ９０７）。
【０１９９】
次に、内部データＭＩ［ｉ］生成部９１２ｃは、求めた内部データＭＩ［ｉ］を内部データＦＩＰＲ［ｉ］生成部９１２ｂ１に送る。内部データＦＩＰＲ［ｉ］生成部９１２ｂ１は、両眼視差画像と内部データＢＩ［ｉ］及び内部データＭＩ［ｉ］とを用いて、第一表示面３１に表示する画像の内部データＦＩＰＲ［ｉ］を求める（ＳＴ９０８）。
【０２００】
そして、内部データＦＩＰＲ［ｉ］生成部９１２ｂ１は、求めた第一表示面３１に表示する画像の内部データＦＩＰＲ［ｉ］を内部データＦＩＰＲ［ｉ］制約部９１２ｂ２に送る。内部データＦＩＰＲ［ｉ］制約部９１２ｂ２は、第一表示面３１に表示する画像の内部データＦＩＰＲ［ｉ］に対して第一表示面３１で表示するために必要な制約条件を適用した内部データをＦＩ［ｉ］として求める。内部データＦＩＰＲ［ｉ］制約部９１２ｂ２は、内部データＦＩ［ｉ］生成部９１２ｂの出力として、内部データＦＩ［ｉ］を出力する（ＳＴ９０９）。
【０２０１】
内部データＦＩ［ｉ］生成部９１２ｂは、内部データＦＩ［ｉ］を繰り返し処理制御部９１４に出力する。内部データＢＩ［ｉ］生成部９１２ａは、内部データＢＩ［ｉ］を繰り返し処理制御部９１４に出力する。内部データＭＩ［ｉ］生成部９１２ｃは、内部データＭＩ［ｉ］を繰り返し処理制御部９１４に出力する。つまり、積層画像生成部１２は、内部データＦＩ［ｉ］及び内部データＢＩ［ｉ］及び内部データＭＩ［ｉ］を繰り返し処理制御部９１４に出力する。繰り返し処理制御部９１４は、入力されたデータが処理終了条件を満たすか判定を行う（ＳＴ９１０）。
【０２０２】
繰り返し処理制御部９１４の判定の結果、処理終了条件を満たさない場合、繰り返し処理制御部９１４は繰り返し処理を制御するためのインクリメント変数ｉに１を加算し（ＳＴ９１１）、ＦＩ［ｉ］とＭＩ［ｉ］とを積層画像生成部１２に出力する。積層画像生成部９１２は再度ＳＴ９０４、ＳＴ９０５、ＳＴ９０６、ＳＴ９０７、ＳＴ９０８及びＳＴ９０９の処理を行う。この繰り返し処理のたびに、積層画像生成部９１２には第一表示面３１に表示する画像の内部データＦＩ［ｉ−１］と第三表示面９０に表示する画像の内部データＭＩ［ｉ−１］とが入力され、第二表示面３２に表示する画像の内部データＢＩ［ｉ］、第一表示面３１に表示する画像の内部データＦＩ［ｉ］、第三表示面９０に表示する画像の内部データＭＩ［ｉ］を繰り返し処理制御部９１４に出力する。
【０２０３】
繰り返し処理制御部９１４の判定の結果、処理終了条件を満たした場合、その時点で最後に生成された内部データＦＩ［ｉ］及び内部データＭＩ［ｉ］及び内部データＢＩ［ｉ］を第一表示面３１に表示する画像ＦＩ及び第三表示面９０に表示する画像ＭＩ及び第二表示面３２に表示する画像ＢＩとして出力し（ＳＴ９１２）、処理が終了する（ＳＴ９１３）。
【０２０４】
画像処理装置９２４は、第一表示面３１に表示する画像ＦＩを液晶２１に表示する制御、及び第二表示面３２に表示する画像ＢＩを液晶２２に表示する制御、及び第三表示面９０に表示する画像ＭＩを液晶９２０に表示する制御を行う。なお、積層画像生成部９１２が生成する内部データの画素値ＦＩ［ｉ］（ｎ）及び内部データの画素値ＭＩ［ｉ］（ｋ）及び内部データの画素値ＢＩ［ｉ］（ｍ）は、それぞれ表示輝度にリニアな系であるため、逆ガンマ変換等を行うことで、画像の階調値に変換して表示制御することが望ましい。
【０２０５】
以下、上記処理のうち、ＳＴ９０２、ＳＴ９０４、ＳＴ９０５、ＳＴ９０６、ＳＴ９０７、ＳＴ９０８、ＳＴ９０９及びＳＴ９１０について、詳細に説明する。
【０２０６】
＜１＞ＳＴ９０４：内部データＢＩＰＲ［ｉ］の生成
内部データＢＩＰＲ［ｉ］生成部９１２ａ１における、両眼視差画像及び、初期解ＦＩ［０］又は第一表示面画像の内部データＦＩ［ｉ−１］及び、初期解ＭＩ［０］又は第三表示面画像の内部データＭＩ［ｉ−１］を用いて第二表示面画像の内部データＢＩＰＲ［ｉ］を生成する処理について説明する。なお、内部データＦＩ［ｉ］の場合も、画像ＦＩと同様、水平座標ｎにおける画素値をＦＩ［ｉ］（ｎ）と表記する。同様に、内部データＭＩ［ｉ］の場合も、画像ＭＩと同様、水平座標ｋにおける画素値をＭＩ［ｉ］（ｋ）と表記する。また、内部データＢＩＰＲ［ｉ］においても、画像ＢＩと同様、水平座標ｍにおける画素値をＢＩＰＲ［ｉ］（ｍ）と表記する。
【０２０７】
式２３及び式２４において、２枚の表示面を通して観察される画像Ｌ’の画素値及び画像Ｒ’の画素値を、両眼視差画像の左眼用画像Ｌの画素値、及び右眼用画像Ｒの画素値に置き換え、それぞれ画素値ＢＩ（ｘ）が左辺にくるように変形すると、以下の２つの式、式２５及び式２６が得られる。
【０２０８】
【数２４】
2016121233.tif 000026
【０２０９】
【数２５】
2016121233.tif 000027
【０２１０】
式２５と式２６とを満たすように画素値ＦＩ［ｉ］（ｘ）と画素値ＭＩ［ｉ］（ｘ）と画素値ＢＩ（ｘ）とを求めることができれば、両眼視差画像を３次元画像表示装置２０で表示することが可能となる。
【０２１１】
式２５と式２６とにおいて、Ｌ（ｘ−ｓ）及びＲ（ｘ＋ｓ）は、入力された左眼用画像Ｌ及び右眼用画像Ｒから求めることができる。また、画素値ＦＩ（ｘ―２・ｓ）及び画素値ＦＩ（ｘ＋２・ｓ）は、ＳＴ９０２で生成した初期解ＦＩ［０］又はＳＴ９０９で生成した内部データＦＩ［ｉ−１］から求めることができる。さらに、画素値ＭＩ（ｘ―ｓ）及び画素値ＭＩ（ｘ＋ｓ）は、ＳＴ９０２で生成した初期解ＭＩ［０］又はＳＴ９０７で生成した内部データＭＩ［ｉ−１］から求めることができる。よって、式２５と式２６とから画素値ＢＩ（ｘ）について２つの値を得ることができる。
【０２１２】
ここで、画素値ＢＩ（ｘ）として取り得る値は１つだけであり、式２５と式２６とを両方満たす画素値ＢＩ（ｘ）を得られるのは、式２５と式２６とから得られる画素値ＢＩ（ｘ）が等しいケースに限られる。
【０２１３】
そこで、式２５と式２６とから得られる２値の平均を画素値ＢＩ（ｘ）に与えることとする。以上の方法を用いて、内部データＢＩＰＲ［ｉ］（ｘ）について式２７のように算出することができる。
【０２１４】
【数２６】
2016121233.tif 000028
【０２１５】
式２７を使って、第二表示面に表示する画像の全画素について求めることにより、内部データＢＩＰＲ［ｉ］（ｘ）を算出することが可能である。
【０２１６】
＜２＞ＳＴ９０６：内部データＭＩＰＲ［ｉ］の生成
内部データＭＩＰＲ［ｉ］生成部９１２ｃ１において、両眼視差画像及び内部データＭＩ［ｉ］を用いて内部データＭＩＰＲ［ｉ］を生成する処理について説明する。式２１及び式２４に対してｘ＋ｓ＝ｘを代入すると、式２８、式２９が得られる。
【０２１７】
【数２７】
2016121233.tif 000029
【０２１８】
【数２８】
2016121233.tif 000030
【０２１９】
式２８及び式２９において、２枚の表示面を通して観察される画像Ｌ’の画素値及び画像Ｒ’の画素値を、両眼視差画像の左眼用画像Ｌの画素値及び右眼用画像Ｒの画素値に置き換え、それぞれＭＩ（ｘ）が左辺にくるように変形すると、以下の２式、式３０及び式３１が得られる。
【０２２０】
【数２９】
2016121233.tif 000031
【０２２１】
【数３０】
2016121233.tif 000032
【０２２２】
式３０と式３１とを満たすように画素値ＦＩ（ｘ）と画素値ＭＩ（ｘ）と画素値ＢＩ（ｘ）とを求めることができれば、両眼視差画像を３次元画像表示装置２０で表示することが可能となる。
【０２２３】
式３０と式３１とにおいて、画素値Ｌ（ｘ）及び画素値Ｒ（ｘ）は、入力された左眼用画像Ｌの画素値及び右眼用画像Ｒの画素値から求めることができる。また、画素値ＦＩ（ｘ―ｓ）及び画素値ＦＩ（ｘ＋ｓ）は、ＳＴ９０２で生成した初期解ＦＩ［０］又はＳＴ９０９で生成した内部データＦＩ［ｉ−１］から求めることができる。そして、画素値ＢＩ（ｘ＋ｓ）及び画素値ＢＩ（ｘ―ｓ）は、ＳＴ９０５で生成した内部データＢＩ［ｉ］を用いれば、一意に求めることができる。よって、式３０と式３１とから画素値ＭＩ（ｘ）について２つの値を得ることができる。
【０２２４】
ここで、画素値ＭＩ（ｘ）として取り得る値は１つだけであり、式３０と式３１とを両方満たす画素値ＭＩ（ｘ）を得られるのは、式３０と式３１とから得られる画素値ＭＩ（ｘ）が等しいケースに限られる。
【０２２５】
そこで、式３０と式３１とから得られる２値の平均を画素値ＭＩ（ｘ）に与えることとする。以上の方法を用いて、内部データＭＩＰＲ［ｉ］（ｘ）について式３２が得られる。
【０２２６】
【数３１】
2016121233.tif 000033
【０２２７】
式３２を使って、第三表示面に表示する画像の全画素について求めることで、内部データＭＩＰＲ［ｉ］を算出することが可能である。
【０２２８】
＜３＞ＳＴ９０８：内部データＦＩＰＲ［ｉ］の生成
内部データＦＩＰＲ［ｉ］生成部９１２ｂ１において、両眼視差画像及び内部データＢＩ［ｉ］を用いて内部データＦＩＰＲ［ｉ］を生成する処理について説明する。式２１及び式２２において、２枚の表示面を通して観察される画像Ｌ’の画素値及び画像Ｒ’の画素値を、両眼視差画像の左眼用画像Ｌの画素値及び右眼用画像Ｒの画素値に置き換え、それぞれＦＩ（ｘ）が左辺にくるように変形すると、以下の２式、式３３及び式３４が得られる。
【０２２９】
【数３２】
2016121233.tif 000034
【０２３０】
【数３３】
2016121233.tif 000035
【０２３１】
式３３と式３４とを満たすように画素値ＦＩ（ｘ）と画素値ＭＩ（ｘ）と画素値ＢＩ（ｘ）とを求めることができれば、両眼視差画像を３次元画像表示装置２０で表示することが可能となる。
【０２３２】
式３３と式３４とにおいて、画素値Ｌ（ｘ＋ｓ）及び画素値Ｒ（ｘ―ｓ）は、入力された左眼用画像Ｌの画素値及び右眼用画像Ｒの画素値から求めることができる。また、画素値ＢＩ（ｘ＋２・ｓ）及び画素値ＢＩ（ｘ―２・ｓ）は、ＳＴ９０５で生成した内部データＢＩ［ｉ］を用いれば、一意に求めることができる。さらに、画素値ＭＩ（ｘ＋ｓ）及び画素値ＭＩ（ｘ―ｓ）は、ＳＴ９０７で生成した内部データＭＩ［ｉ］を用いれば、一意に求めることができる。よって、式３３と式３４とから画素値ＦＩ（ｘ）について２つの値を得ることができる。
【０２３３】
ここで、画素値ＦＩ（ｘ）として取り得る値は１つだけであり、式３３と式３４とを両方満たす画素値ＦＩ（ｘ）を得られるのは、式３３と式３４とから得られる画素値ＦＩ（ｘ）が等しいケースに限られる。
【０２３４】
そこで、式３３と式３４とから得られる２値の平均を画素値ＦＩ（ｘ）に与えることとする。以上の方法を用いて、内部データＦＩＰＲ［ｉ］（ｘ）について式３５のように算出することができる。
【０２３５】
【数３４】
2016121233.tif 000036
【０２３６】
式３５を使って、第一表示面に表示する画像の全画素について求めることで、内部データＦＩＰＲ［ｉ］を算出することが可能である。
【０２３７】
＜４＞ＳＴ９０５、ＳＴ９０７、ＳＴ９０９：制約条件の適用
内部データＢＩＰＲ［ｉ］制約部９１２ａ２では、内部データＢＩＰＲ［ｉ］生成部９１２ａ１で生成した内部データＢＩＰＲ［ｉ］に対して、第二表示面３２で表示するために必要な制約条件を適用し、内部データＢＩ［ｉ］を生成する。内部データＭＩＰＲ［ｉ］制約部９１２ｃ２では、内部データＭＩＰＲ［ｉ］生成部９１２ｃ１で生成した内部データＭＩＰＲ［ｉ］に対して、第三表示面９２０で表示するために必要な制約条件を適用し、内部データＭＩ［ｉ］を生成する。さらに同様に、内部データＦＩＰＲ［ｉ］制約部９１２ｂ２では、内部データＦＩＰＲ［ｉ］生成部９１２ｂ１で生成した内部データＦＩＰＲ［ｉ］に対して、第一表示面３１で表示するために必要な制約条件を適用し、内部データＦＩ［ｉ］を生成する。なお、積層画像生成部９１２は、一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データ及び制約条件から各々の表示面画像の内部データを生成する。ここで「一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データ」は、ＦＩ［０］及びＭＩ［０］である。また、ここでの「各々の表示面画像の内部データ」は、内部データＢＩ［ｉ］、内部データＭＩ［ｉ］及び内部データＦＩ［ｉ］である。
【０２３８】
本実施の形態３では、第一表示面３１及び第二表示面３２及び第三表示面９０として液晶を用いている。液晶を使用した場合、液晶を透過する偏光に対する偏光角を変化させることができるが、その範囲は０度から９０度に限定される。また、偏光角の変化は加算に限られ、減算による負の方向への変化は不可能である。この事情は実施の形態１と同様であり、表示面が第一表示面３１、第二表示面３２及び第三表示面９０のように３枚存在し、クリッピング処理すべき内部データも内部データＢＩＰＲ［ｉ］、内部データＭＩＰＲ［ｉ］及び内部データＦＩＰＲ［ｉ］のように３つある。ただし、本実施の形態３の処理内容は実施の形態１同じである。そのため、処理内容の詳細は省略する。
【０２３９】
＜５＞ＳＴ９０３：初期解ＦＩ［０］及び初期解ＭＩ［０］の生成
初期解生成部９１１では、入力された両眼視差画像（左眼用画像及び右眼用画像）から、第一表示面３１の画像の内部データである初期解ＦＩ［０］及び初期解ＭＩ［０］を生成する。なお、初期解生成部９１１は、複数の入力画像のデータから、一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データを生成する。ここで「一方の端面画像の内部データ」は、ＢＩ［ｉ］であり、「一方の端面画像の内部データを除く表示面に表示する表示面画像の内部データ」は、ＦＩ［０］及びＭＩ［０］である。
【０２４０】
初期解ＦＩ［０］及び初期解ＭＩ［０］の生成方法としては、左眼用画像Ｌ、又は右眼用画像Ｒのいずれかを初期解ＦＩ［０］又は初期解ＭＩ［０］とする方法がある。あるいは、左眼用画像Ｌ、又は右眼用画像Ｒのいずれかの階調値を２分の１にした画像を初期解ＦＩ［０］又は初期解ＭＩ［０］とする方法がある。すなわち、左眼用画像Ｌ、右眼用画像Ｒ、左眼用画像Ｌの階調値を２分の１にした画像、又は右眼用画像Ｒの階調値を２分の１にした画像の４種類を初期解ＦＩ［０］又は初期解ＭＩ［０］のそれぞれとすることが考えられ、その組み合わせは１６種類あることになる。
【０２４１】
別の初期解ＦＩ［０］及び初期解ＭＩ［０］の生成方法としては、左眼用画像Ｌと右眼用画像Ｒとの平均を求め、初期解ＦＩ［０］又は初期解ＭＩ［０］とする方法がある。あるいは、左眼用画像Ｌと右眼用画像Ｒとの平均の階調値を２分の１にした画像を初期解ＦＩ［０］又は初期解ＭＩ［０］とする方法がある。すなわち、左眼用画像Ｌと右眼用画像Ｒとの平均、又は左眼用画像Ｌと右眼用画像Ｒとの平均の階調値を２分の１にした画像を初期解ＦＩ［０］又は初期解ＭＩ［０］のそれぞれとすることが考えられ、その組み合わせは４種類あることになる。
【０２４２】
さらに、別の初期解ＦＩ［０］及び初期解ＭＩ［０］の生成方法としては、左眼用画像Ｌと右眼用画像Ｒとに含まれる共通成分のみを抜き出す方法がある。具体的には、左眼用画像Ｌと右眼用画像Ｒとで同一座標にある画素の差分を求め、差分が０ならその画素の階調値を、差分が０以外なら階調値０を初期解ＦＩ［０］又は初期解ＭＩ［０］にあてれば良い。あるいは、左眼用画像Ｌと右眼用画像Ｒとに含まれる共通成分について、その階調値を２分の１にした画像を初期解ＦＩ［０］又は初期解ＭＩ［０］とする方法がある。すなわち、左眼用画像Ｌと右眼用画像Ｒとに含まれる共通成分、又は左眼用画像Ｌと右眼用画像Ｒとに含まれる共通成分の階調値を２分の１にした画像を初期解ＦＩ［０］又は初期解ＭＩ［０］のそれぞれとすることが考えられ、その組み合わせは４種類あることになる。
【０２４３】
実施の形態１において、左眼用画像Ｌと右眼用画像Ｒとに含まれる共通成分のみを初期解ＦＩ［０］とすることで、少ない繰り返し処理回数で処理終了条件を満たすことが可能となる点について述べた。この事情は、本実施の形態３においても同様であり、左眼用画像Ｌと右眼用画像Ｒとに含まれる共通成分のみあるいはその２分の１の階調値から初期解ＦＩ［０］又は初期解ＭＩ［０］とすることで、少ない繰り返し処理回数で処理終了条件を満たすことが可能となる。
【０２４４】
また、初期解ＦＩ［０］及び初期解ＭＩ［０］を、実施の形態２で示したようにデプスマップを利用して生成する手法がある。デプスマップは、左眼用画像Ｌ及び右眼用画像Ｒの各画素について奥行き情報を示すものである。デプスマップが示す奥行きを、第一表示面、第二表示面及び第三表示面で分割し、デプスマップに示される奥行き座標と各表示面までの距離とに基づいて割合を求め、この割合を左眼用画像Ｌ又は右眼用画像Ｒに掛けて、得られる画像を初期解ＦＩ［０］及び初期解ＭＩ［０］としてもよい。
【０２４５】
デプスマップを利用することで、表示対象の手前の部分は第一表示面で、中間の部分は第三表示面で表示するように、初期解を設定することができる。このように表示対象の配置と表示面の配置とを一致させることによって、観察者にとって、より自然な３次元画像が表示できるとともに、繰り返し処理における収束までの処理回数を減らすことができる。
【０２４６】
なお、実施の形態１と同様に、初期解ＦＩ［０］及び初期解ＭＩ［０］も第一表示面３１及び第三表示面９０で表示するために必要な制約条件の元で求めることが望ましい。図１２には記載しないが、初期解生成部９１１で生成した初期解ＦＩ［０］及び初期解ＭＩ［０］に対し、制約条件適用部９１３において、式１３に示す制約条件を適用してから積層画像生成部９１２で処理を行ってもよい。
【０２４７】
＜６＞ＳＴ９１０：処理終了条件の設定
繰り返し処理制御部９１４で行う処理終了条件の判定として、生成した内部データＦＩ［ｉ］、内部データＭＩ［ｉ］及び内部データＢＩ［ｉ］を用いて、観察者が両眼方向から見える画像Ｌ’及び画像Ｒ’を求め、さらに画像Ｌ’及び画像Ｒ’と表示したい両眼視差画像Ｌ及び両眼視差画像Ｒとの差分を求め、両差分が共に所定の値を下回ったことを条件とする方法がある。この場合は、繰り返し処理制御部９１４に両眼視差画像Ｌ及び両眼視差画像Ｒを入力する必要がある。
【０２４８】
また、生成した内部データＦＩ［ｉ］と前回生成した内部データＦＩ［ｉ−１］との差分を求め、この差分が所定の値を下回ったことを条件とする方法がある。
【０２４９】
同様に、生成した内部データＭＩ［ｉ］と前回生成した内部データＭＩ［ｉ−１］との差分を求め、この差分が所定の値を下回ったことを条件とする方法がある。あるいは、生成した内部データＢＩ［ｉ］と前回生成した内部データＢＩ［ｉ−１］との差分を求め、この差分が所定の値を下回ったことを条件とする方法がある。
【０２５０】
さらに、内部データＦＩ［ｉ］と内部データＦＩ［ｉ−１］との差分、内部データＢＩ［ｉ］と内部データＢＩ［ｉ−１］との差分、及び、内部データＭＩ［ｉ］と内部データＭＩ［ｉ−１］との差分のすべてが所定の値を下回ったことを条件とする方法がある。
【０２５１】
所定の値としては、任意の値を使用する方法がある。
【０２５２】
しかし、所定の値として任意の値を使用すると、入力された両眼視差画像によって差分の大きさが異なり、処理終了までの繰り返し処理回数が、入力された両眼視差画像によって大きく変わってしまう課題がある。
【０２５３】
この課題を解決するため、例えば内部データＦＩ［ｉ］については、ＦＩ［２］とＦＩ［１］との差分を基準とし、その差分にある割合を掛けた値を所定の値として用いる方法がある。同様に内部データＭＩ［ｉ］については、内部データＭＩ［２］と内部データＭＩ［１］との差分を基準とし、その差分にある割合を掛けた値を所定の値として用いる方法がある。また同様に内部データＢＩ［ｉ］については、内部データＢＩ［２］と内部データＢＩ［１］との差分を基準とし、その差分にある割合を掛けた値を所定の値として用いる方法がある。
【０２５４】
このように割合を使って所定の値を決定することで、入力された両眼視差画像によらず、処理終了までの繰り返し処理回数の変化を抑えることが可能である。
【０２５５】
また、繰り返し処理回数を所定の回数に固定する方法が考えられる。繰り返し処理回数を固定することで、処理時間を一定にできる、あるいは一定の時間に納めることができる。ここでの所定の回数とは、リフレッシュレートをＲＲ［Ｈｚ」、繰り返し処理1回にかかる時間をｔ[ｓ]としたとき、１／（ＲＲ・ｔ）［回］となる。繰り返し処理1回にかかる時間は、処理に用いるデバイスに依存する。
【０２５６】
図１１では、表示面上の水平方向に伸びる１ラインの画素について説明したが、全てのラインの画素について、同様の処理が適用される。内部データＦＩ［ｉ］と内部データＭＩ［ｉ］と内部データＢＩ［ｉ］とは、全ラインについて処理を行ったものである。
【０２５７】
実施の形態３では、ＳＴ９０４〜ＳＴ９０９の順番で処理を繰り返す方法を説明した。すなわち第二表示面に表示する画像ＢＩ、第三表示面に表示する画像ＭＩ、及び第一表示面に表示する画像ＦＩに対して、均等な回数だけ値の更新が行われる。そのため、ＢＩ、ＭＩ、又はＦＩのいずれかが先に収束し、不必要な繰り返し処理を繰り返してしまう事態を避けられる。結果、全体として効率よく繰り返し処理を行える。
【０２５８】
実施の形態３では、積層した３枚の表示面を使って、両眼視差画像を表示する装置及び方法について説明を行った。本発明により、３枚の表示面を越えて３次元画像を知覚させることが可能となり、その対象は単純な図形のみならず、自然画など複雑な奥行き情報を持つ両眼視差画像も表示可能である。
【０２５９】
また、積層した３枚の表示面を使うことで、視線上に存在する表示画素が増加し、各画素の取りうる値の自由度が増すことで、繰り返し処理の過程で誤差を低減することができ、観察者が視認する両眼視差画像の品位が向上する。
【０２６０】
さらに、積層した３枚の表示面を使うことで、表示装置全体の奥行きを広げることができる。表示装置全体の奥行きを広げることで、物理的により離れた表示面を使って３次元画像を表示することができ、より大きな奥行きをもった３次元画像を表示することができる。一方で、表示装置全体の奥行きを広げるために、表示面の積層間隔を広げすぎると、視聴者からそれぞれの表示面が独立に見え、３次元画像を表示した際に、表示面間において連続する奥行きが知覚されなくなる問題がある。積層枚数を増加させることで、液晶の積層間隔を広げることなく、表示装置全体の奥行きを広げることができる。すなわち、液晶を２枚積層した場合に比べ、液晶を３枚使用した場合、同じ積層間隔で表示装置全体の奥行きを２倍に広げることができる。
【０２６１】
以上では、液晶表示面を３枚使用した例を示したが、４枚以上液晶表示面を用いる場合も考えられる。３次元画像表示装置に４枚目の液晶表示面として第四の液晶表示面を追加する場合は、第三の液晶表示面を追加した場合と同様に、第一の液晶表示面と第三の液晶表示面の間に追加すればよい。
【０２６２】
また実施の形態１の画像処理装置２４に対して、実施の形態３では内部データＭＩ［ｉ］生成部９１２ｃを追加し画像処理装置９２４を構成したことと同様に、第四の液晶表示面を追加した画像表示装置に対応する画像処理装置を構成することができる。すなわち、画像処理装置９２４の内部データＭＩ［ｉ］生成部９１２ｃと内部データＦＩ［ｉ］生成部９１２ｂとの間に、第四の液晶表示面に表示するための画像内部データＭＩ２［ｉ］を生成する内部データＭＩ２［ｉ］生成部９１２ｄを追加すればよい。内部データＭＩ２［ｉ］生成部９１２ｄは内部データＭＩ［ｉ］生成部９１２ｃと同様の構成であり、入出力関係が異なるのみである。すなわち、Ｌ、Ｒ、ＢＩ［ｉ］、ＭＩ［ｉ］及びＦＩ［ｉ−１］を入力し、ＭＩ２［ｉ］を出力する。
【０２６３】
そして、初期解生成部９１１は、ＦＩ［０］及びＭＩ［０］に加えＭＩ２［０］を生成する。内部データＢＩ［ｉ］生成部９１２ａは、Ｌ、Ｒ、ＭＩ［ｉ−１］、ＭＩ２［ｉ−１］及びＦＩ［ｉ−１］を入力し、ＢＩ［ｉ］を出力する。内部データＭＩ［ｉ］生成部９１２ｃは、Ｌ、Ｒ、ＢＩ［ｉ］、ＭＩ［ｉ−１］及びＦＩ［ｉ−１］を入力し、ＭＩ［ｉ］を出力する。内部データＦＩ［ｉ］生成部９１２ｂは、Ｌ、Ｒ、ＢＩ［ｉ］、ＭＩ［ｉ］及びＭＩ２［ｉ］を入力し、ＦＩ［ｉ］を出力する。繰り返し処理制御部９１４は、ＢＩ［ｉ］、ＭＩ［ｉ］、ＭＩ２［ｉ］及びＦＩ［ｉ］を入力し、入力されたデータが処理終了条件を満たすか判定を行う。
【０２６４】
第四液晶表示面以降、第五液晶表示面、第六液晶表示面と液晶表示面を増加させた場合であっても、同様の構成の追加で、容易に画像表示装置及び画像処理装置を作成することができる。
【０２６５】
本発明は、３次元画像表示装置以外に、多視点画像表示装置としても応用が可能である。多視点画像表示装置とは、表示装置から見て異なる方向にいる観察者に対して、それぞれ別の画像を表示する装置である。用途としては、例えば、自動車における運転席の乗員と助手席の乗員とに対して、それぞれ異なる画像を表示する場合がある。
【０２６６】
実施の形態１では、両眼視差画像を入力としたが、これを運転席の乗員と助手席の乗員とに表示したい画像に置き換えれば、２視点画像表示装置の実現が可能となる。
【０２６７】
また、実施の形態２では、両眼視差画像と中央視点画像とを入力としたが、これを運転席の乗員、助手席の乗員、及び中央後部座席の乗員に表示したい画像に置き換えれば、３視点画像表示装置の実現が可能となる。４視点を越える画像表示も同様に可能である。
【０２６８】
実施の形態３では、両眼視差画像を入力としたが、これを運転席の乗員と助手席の乗員とに表示したい画像に置き換えれば、３視点画像表示装置の実現が可能となる。４視点を越える画像表示も同様に可能である。
【０２６９】
これまでに説明した方法は、第一表示面と第二表示面とに対し、左右に対称の関係にある方向にそれぞれ画像を表示するものであるが、左右に対称の関係にない方向にも、それぞれの方向において視線が重なる画素に置き換えれば、本発明は適用可能である。
【０２７０】
さらに、これまでに説明したのは、画像表示装置の水平方向に多視点画像を表示する手法であるが、画像の垂直方向に同様の処理を適用することで、画像表示装置の垂直方向にも多視点画像を表示することが可能である。さらに、水平方向の処理後に垂直方向の処理を行うことで、斜め方向の視点にも対応可能である。
【０２７１】
多視点画像表示装置については、観察者が特定の方向から見た時だけ、正しく画像が見えるといった、観察角度により画像を秘匿化する表示装置としても、使用可能である。
【０２７２】
これまでに説明した方法では、インクリメント変数ｉを用いて、繰り返し処理毎にｉに１を加算していたが、変数をデクリメント変数として繰り返し処理毎にｉに１を減算してもよい。
【符号の説明】
【０２７３】
１０  入力部
１１  初期解生成部
１２  積層画像生成部
１３  制約条件適用部
１４  繰り返し処理制御部
１５  出力部
２０  ３次元画像表示装置
２１  液晶
２２  液晶
２３  バックライト
２４  画像処理装置
２５  観察者
２６  視線
３１  第一表示面
３２  第二表示面
３３  左眼
３４  右眼
３５  左眼用画像
３６  右眼用画像
３７  視線群
３８  視線群
４０１  第一表示面上の画素群
４０２  第二表示面上の画素群
４０５  視線
４０６  視線
４０７  画素
４０８  画素
４０９  画素
４１３  投影点
４１４  投影点
４１５  バックライト
５０５  視線
５０６  視線
５０７  画素
５０８  画素
５０９  画素
５１３  投影点
５１４  投影点
７０  中央視点
７１  中央視点画像
８０  視線
８１  画素
８２  投影点
９０  第三表示面
９０１  第三表示面上の画素群
９０２  画素
９０３  画素
９１０  入力部
９１１  初期解生成部
９１２  積層画像生成部
９１３  制約条件適用部
９１４  繰り返し処理制御部
９１５  出力部
９２０  液晶
【図１】
2016121233.tif 000037
【図２】
2016121233.tif 000038
【図３】
2016121233.tif 000039
【図４】
2016121233.tif 000040
【図５】
2016121233.tif 000041
【図６】
2016121233.tif 000042
【図７】
2016121233.tif 000043
【図８】
2016121233.tif 000044
【図９】
2016121233.tif 000045
【図１０】
2016121233.tif 000046
【図１１】
2016121233.tif 000047
【図１２】
2016121233.tif 000048
【図１３】
2016121233.tif 000049
【図１４】
2016121233.tif 000050
【図１５】
2016121233.tif 000051
【図１６】
2016121233.tif 000052
【手続補正書】
【提出日】平成29年5月17日(2017.5.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の異なる入力画像を受け付ける入力部と、
前記複数の異なる入力画像のデータから、複数の表示面画像からなる積層画像のうち一方の端面画像を除く画像の内部データを初期解として生成する初期解生成部と、
前記複数の表示面画像の内部データを生成する繰り返し処理を繰り返し行う積層画像生成部と、
前記表示面画像の内部データの生成を終了する処理終了条件を判断し、前記処理終了条件を満たしたとき前記積層画像生成部が最後に生成した前記複数の表示面画像の内部データを前記積層画像のデータとして出力する繰り返し処理制御部と
を備え、
前記積層画像生成部は、前記繰り返し処理の初回において、前記初期解及び制約条件から前記複数の表示面画像の内部データを生成し、前記処理終了条件を満たすまで、前記繰り返し処理の二回目以降の各々の回において、前回の繰り返し処理において生成された前記複数の表示面画像の内部データ及び前記制約条件から前記複数の表示面画像の新たな内部データを生成し、
前記繰り返し処理の回数が増えるほどに、前記表示面画像の新たな内部データと前回の繰り返し処理において生成された前記表示面画像の内部データとの差分が小さくなる
ことを特徴とする画像処理装置。
【請求項２】
前記制約条件は、前記積層画像を表示する複数の表示面の各々で表現可能な範囲に、各々の前記表示面画像の内部データを制限する条件である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記初期解は、前記複数の異なる入力画像のデータの平均値である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記複数の異なる入力画像は、両眼視差画像であり、
前記初期解は、前記両眼視差画像のうち視差成分を含まない共通成分である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記初期解は、前記複数の異なる入力画像の奥行きを示すデプスマップを用いて求める
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記処理終了条件は、予め設定された繰り返し回数である
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記処理終了条件は、前記積層画像生成部で生成した前記表示面画像の新たな内部データと、前記積層画像生成部で前回の繰り返し処理において生成した前記表示面画像の内部データとの差分が、前記繰り返し処理の初回において生成された前記表示面画像の内部データと、前記繰り返し処理の二回目において生成された前記表示面画像の内部データとの差分に所定の割合を掛けた値を下回ったことであり、
前記所定の割合が大きい値のときの繰り返し処理の回数は、前記所定の割合が小さい値のときの繰り返し処理の回数に比べて小さい
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項８】
前記積層画像生成部は、前記複数の表示面画像のうちある１つの表示面画像の内部データを生成するにあたり、前記複数の異なる入力画像のデータと、前記ある１つの表示面画像の内部データを除く前記複数の表示面画像の内部データとの差分を用いる
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記積層画像生成部は、前記複数の表示面画像のうちある１つの表示面画像の内部データを生成するにあたり、前記複数の異なる入力画像のデータと、前記ある１つの表示面画像の内部データを除く前記複数の表示面画像の内部データとの複数の差分を用いて加重平均をとり、前記加重平均をとる場合に前記複数の差分に異なる重み付けを行う
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記複数の異なる入力画像は、両眼視差画像を含む
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記複数の異なる入力画像は、さらに中央視点画像を含む
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
請求項１から１１のいずれか１項に記載の画像処理装置と、
所定の間隔をあけて平行に積層された複数の表示面とを備え、
前記複数の表示面で、前記繰り返し処理制御部が前記積層画像のデータとして出力した内部データを表示する
ことを特徴とする画像表示装置。
【請求項１３】
前記複数の表示面は、液晶パネルで構成される
ことを特徴とする請求項１２に記載の画像表示装置。
【請求項１４】
複数の異なる入力画像を受け付ける入力部と、
前記複数の入力画像から、インクリメント変数ｉが１のときの第一表示面画像の内部データＦＩ［ｉ−１］である初期解ＦＩ［０］を生成する初期解生成部と、
前記第一表示面画像の内部データＦＩ［ｉ−１］及び制約条件から第二表示面画像の内部データＢＩ［ｉ］を生成し、前記第二表示面画像の内部データＢＩ［ｉ］及び前記制約条件から内部データＦＩ［ｉ］を生成する積層画像生成部と、
前記内部データＦＩ［ｉ］と前記内部データＢＩ［ｉ］とが処理終了条件を満たすか判定し、前記処理終了条件を満たさない場合はインクリメント変数ｉに１を加算して前記積層画像生成部の処理を継続させ、前記処理終了条件を満たす場合は前記積層画像生成部の処理を終了する繰り返し処理制御部と
を備え、
前記積層画像生成部の処理を終了したときの前記内部データＦＩ［ｉ］を前記第一表示面画像として出力し、前記積層画像生成部の処理を終了したときの前記内部データＢＩ［ｉ］を前記第二表示面画像として出力する
ことを特徴とする画像処理装置。
【請求項１５】
複数の異なる入力画像を受け付ける入力部と、
前記複数の入力画像のデータから、インクリメント変数ｉが１のときの第一表示面画像の内部データＦＩ［ｉ−１］である初期解ＦＩ［０］と第三表示面画像の内部データＭＩ［ｉ−１］である初期解ＭＩ［０］とを生成する初期解生成部と、
前記内部データＦＩ［ｉ−１］及び前記内部データＭＩ［ｉ−１］及び制約条件から第二表示面画像の内部データＢＩ［ｉ］を生成し、前記内部データＦＩ［ｉ−１］及び前記内部データＢＩ［ｉ］及び前記制約条件から前記第三表示面画像の内部データＭＩ［ｉ］を生成し、前記内部データＭＩ［ｉ］及び前記内部データＢＩ［ｉ］及び前記制約条件から内部データＦＩ［ｉ］を生成する積層画像生成部と、
前記内部データＦＩ［ｉ］と前記内部データＭＩ［ｉ］と前記内部データＢＩ［ｉ］とが処理終了条件を満たすか判定し、前記処理終了条件を満たさない場合はインクリメント変数ｉに１を加算して前記積層画像生成部の処理を継続させ、前記処理終了条件を満たす場合は前記積層画像生成部の処理を終了する繰り返し処理制御部と
を備え、
前記積層画像生成部の処理を終了したときの前記内部データＦＩ［ｉ］を前記第一表示面画像として出力し、前記積層画像生成部の処理を終了したときの前記内部データＭＩ［ｉ］を前記第三表示面画像として出力し、前記積層画像生成部の処理を終了したときの前記内部データＢＩ［ｉ］を前記第二表示面画像として出力する
ことを特徴とする画像処理装置。
【請求項１６】
複数の異なる入力画像を受け付ける入力ステップと、
前記複数の異なる入力画像のデータから、複数の表示面画像からなる積層画像のうち一方の端面画像を除く画像の内部データを初期解として生成する初期解生成ステップと、
前記複数の表示面画像の内部データを生成する繰り返し処理を繰り返し行う積層画像生成ステップと、
前記表示面画像の内部データの生成を終了する処理終了条件を判断し、前記処理終了条件を満たしたとき前記積層画像生成ステップが最後に生成した前記複数の表示面画像の内部データを前記積層画像として出力する繰り返し処理制御ステップと
を備え、
前記積層画像生成ステップは、前記繰り返し処理の初回において、前記初期解及び制約条件から前記複数の表示面画像の内部データを生成し、前記処理終了条件を満たすまで、前記繰り返し処理の二回目以降の各々の回において、前回の繰り返し処理において生成された前記複数の表示面画像の内部データ及び前記制約条件から前記複数の表示面画像の新たな内部データを生成し、
前記繰り返し処理の回数が増えるほどに、前記表示面画像の新たな内部データと前回の繰り返し処理において生成された前記表示面画像の内部データとの差分が小さくなる
ことを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記課題を解決するために、本発明の画像処理装置は、複数の異なる入力画像を受け付ける入力部と、前記複数の異なる入力画像のデータから、複数の表示面画像からなる積層画像のうち一方の端面画像を除く画像の内部データを初期解として生成する初期解生成部と、前記複数の表示面画像の内部データを生成する繰り返し処理を繰り返し行う積層画像生成部と、前記表示面画像の内部データの生成を終了する処理終了条件を判断し、前記処理終了条件を満たしたとき前記積層画像生成部が最後に生成した前記複数の表示面画像の内部データを前記積層画像のデータとして出力する繰り返し処理制御部とを備え、前記積層画像生成部は、前記繰り返し処理の初回において、前記初期解及び制約条件から前記複数の表示面画像の内部データを生成し、前記処理終了条件を満たすまで、前記繰り返し処理の二回目以降の各々の回において、前回の繰り返し処理において生成された前記複数の表示面画像の内部データ及び前記制約条件から前記複数の表示面画像の新たな内部データを生成し、前記繰り返し処理の回数が増えるほどに、前記表示面画像の新たな内部データと前回の繰り返し処理において生成された前記表示面画像の内部データとの差分が小さくなることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
液晶２１に表示する画像をＦＩ、液晶２２に表示する画像をＢＩとする。また、液晶２１上の画素における偏光の回転による光の変調を示す水平座標ｎにおける画素値をＦＩ（ｎ）と表記する。液晶２２上の画素における偏光の回転による光の変調を示す水平座標ｍにおける画素値をＢＩ（ｍ）と表記する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、右眼の視線４０６上で観察される画像をＲ’とし、右眼の視線４０６上で観察される画素の輝度を表す画素値を、その水平座標ｘを用いて、画素値Ｒ’（ｘ）と表記することとする。画像Ｒ’は、面間中央の奥行き座標が０の表示面に平行な面を投影面とする。つまり、視線４０６上で観察される画像Ｒ’の画素の位置は投影点４１３となり、その水平座標は、ｘ−ｓで与えられる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
そして、内部データＢＩＰＲ［ｉ］生成部１２ａ１は、求めた第二表示面３２に表示する画像の内部データＢＩＰＲ［ｉ］を内部データＢＩＰＲ［ｉ］制約部１２ａ２に送る。内部データＢＩＰＲ［ｉ］制約部１２ａ２は、内部データＢＩＰＲ［ｉ］に対して第二表示面３２で表示するために必要な制約条件を適用した内部データをＢＩ［ｉ］として求める。内部データＢＩＰＲ［ｉ］制約部１２ａ２は、内部データＢＩ［ｉ］生成部１２ａの出力として、内部データＢＩ［ｉ］を出力する（ＳＴ５）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
以下、上記処理のうち、ＳＴ３、ＳＴ４、ＳＴ５、ＳＴ６、ＳＴ７及びＳＴ８について、詳細に説明する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
式７と式８において、Ｌ（ｘ−ｓ）及びＲ（ｘ＋ｓ）は、入力された左眼用画像Ｌ及び右眼用画像Ｒから求めることができる。また、画素値ＦＩ（ｘ―２・ｓ）及び画素値ＦＩ（ｘ＋２・ｓ）は、ＳＴ３で生成した初期解ＦＩ［０］又はＳＴ７で生成した内部データＦＩ［ｉ−１］から求めることができる。よって、式７と式８とから画素値ＢＩ（ｘ）について２つの値を得ることができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
また、内部データＢＩＰＲ［ｉ］及び内部データＦＩＰＲ［ｉ］を求める度に制約条件を適用することで、制約条件を適用した時点では階調つぶれが発生するものの、繰り返し処理によって階調つぶれが発生した内部データＦＩＰＲ［ｉ］及び内部データＢＩＰＲ［ｉ］を元にＦＩ［ｉ］及びＢＩ［ｉ］を、さらにはＢＩＰＲ［ｉ＋１］及びＦＩＰＲ［ｉ＋１］を生成するため、階調つぶれが発生した部分を分散させることができ、観察者の立体知覚を阻害しにくくすることが可能になる。
＜４＞ＳＴ３：初期解ＦＩ［０］の生成
初期解生成部１１では、入力された両眼視差画像（左眼用画像及び右眼用画像）から、第一表示面３１の画像の内部データである初期解ＦＩ［０］を生成する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
これに対し、本発明では、積層した表示面を使って両眼視差画像を表現するため、式９及び式１２に示した処理を繰り返すことにより、第一表示面に表示する画像ＦＩと第二表示面に表示する画像ＢＩを求める。式９及び式１２に示した処理は、画像をずらして減算し、平均を求める処理であり、単純かつ平易な処理と言える。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１７４
【補正方法】変更
【補正の内容】
【０１７４】
図１１は、左眼方向及び右眼方向から観察される画像を、積層した表示面の画素単位で描いた説明図である。また、図１１は、３次元画像表示装置２０を上方から見た俯瞰図である。図１１において３次元画像表示装置２０は、角θＬ及び角θＲから観察される画像を、積層した表示面の画素単位で表している。また、図１１は、等しい垂直位置にある第一表示面である液晶２１上の画素群４０１と第二表示面である液晶２２上の画素群４０２と第三表示面である液晶９２０上の画素群９０１とを抜き出したものである。言い換えると画素群４０１と画素群４０２と画素群９０１とは、水平方向に並ぶあるライン上の画素群である。第一表示面と第二表示面とは、所定の間隔Ｐを置いて積層され、第一表示面と第三表示面とは、所定の間隔Ｕを置いて積層されている。即ち、実施の形態１において説明した図３で示した３次元画像表示装置に、第三表示面である液晶９２０上の画素群９０１が所定の位置に追加されたものである。図１１においてはバックライト４１５の記載を省略している。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１７７
【補正方法】変更
【補正の内容】
【０１７７】
実施の形態１で説明したとおり、液晶２１に表示する画像をＦＩ、液晶２２に表示する画像をＢＩとする。また、液晶２１上の画素における偏光の回転による光の変調を示す水平座標ｎにおける画素値をＦＩ（ｎ）と表記する。液晶２２上の画素における偏光の回転による光の変調を示す水平座標ｍにおける画素値をＢＩ（ｍ）と表記する。それに加えて、第三表示面９０に表示する画像をＭＩとし、水平座標ｋにおける画素値をＭＩ（ｋ）と表記する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１９８
【補正方法】変更
【補正の内容】
【０１９８】
そして、内部データＭＩＰＲ［ｉ］生成部９１２ｃ１は、求めた第三表示面９０に表示する画像の内部データＭＩＰＲ［ｉ］を内部データＭＩＰＲ［ｉ］制約部９１２ｃ２に送る。内部データＭＩＰＲ［ｉ］制約部９１２ｃ２は、第三表示面９０に表示する画像の内部データＭＩＰＲ［ｉ］に対して第三表示面９０で表示するために必要な制約条件を適用した内部データをＭＩ［ｉ］として求める。内部データＭＩＰＲ［ｉ］制約部９１２ｃ２は、内部データＭＩ［ｉ］生成部９１２ｃの出力として、内部データＭＩ［ｉ］を出力する（ＳＴ９０７）。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０２０１
【補正方法】変更
【補正の内容】
【０２０１】
内部データＦＩ［ｉ］生成部９１２ｂは、内部データＦＩ［ｉ］を繰り返し処理制御部９１４に出力する。内部データＢＩ［ｉ］生成部９１２ａは、内部データＢＩ［ｉ］を繰り返し処理制御部９１４に出力する。内部データＭＩ［ｉ］生成部９１２ｃは、内部データＭＩ［ｉ］を繰り返し処理制御部９１４に出力する。つまり、積層画像生成部９１２は、内部データＦＩ［ｉ］及び内部データＢＩ［ｉ］及び内部データＭＩ［ｉ］を繰り返し処理制御部９１４に出力する。繰り返し処理制御部９１４は、入力されたデータが処理終了条件を満たすか判定を行う（ＳＴ９１０）。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０２０２
【補正方法】変更
【補正の内容】
【０２０２】
繰り返し処理制御部９１４の判定の結果、処理終了条件を満たさない場合、繰り返し処理制御部９１４は繰り返し処理を制御するためのインクリメント変数ｉに１を加算し（ＳＴ９１１）、ＦＩ［ｉ］とＭＩ［ｉ］とを積層画像生成部９１２に出力する。積層画像生成部９１２は再度ＳＴ９０４、ＳＴ９０５、ＳＴ９０６、ＳＴ９０７、ＳＴ９０８及びＳＴ９０９の処理を行う。この繰り返し処理のたびに、積層画像生成部９１２には第一表示面３１に表示する画像の内部データＦＩ［ｉ−１］と第三表示面９０に表示する画像の内部データＭＩ［ｉ−１］とが入力され、第二表示面３２に表示する画像の内部データＢＩ［ｉ］、第一表示面３１に表示する画像の内部データＦＩ［ｉ］、第三表示面９０に表示する画像の内部データＭＩ［ｉ］を繰り返し処理制御部９１４に出力する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０２０５
【補正方法】変更
【補正の内容】
【０２０５】
以下、上記処理のうち、ＳＴ９０３、ＳＴ９０４、ＳＴ９０５、ＳＴ９０６、ＳＴ９０７、ＳＴ９０８、ＳＴ９０９及びＳＴ９１０について、詳細に説明する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０２１１
【補正方法】変更
【補正の内容】
【０２１１】
式２５と式２６とにおいて、Ｌ（ｘ−ｓ）及びＲ（ｘ＋ｓ）は、入力された左眼用画像Ｌ及び右眼用画像Ｒから求めることができる。また、画素値ＦＩ（ｘ―２・ｓ）及び画素値ＦＩ（ｘ＋２・ｓ）は、ＳＴ９０３で生成した初期解ＦＩ［０］又はＳＴ９０９で生成した内部データＦＩ［ｉ−１］から求めることができる。さらに、画素値ＭＩ（ｘ―ｓ）及び画素値ＭＩ（ｘ＋ｓ）は、ＳＴ９０３で生成した初期解ＭＩ［０］又はＳＴ９０７で生成した内部データＭＩ［ｉ−１］から求めることができる。よって、式２５と式２６とから画素値ＢＩ（ｘ）について２つの値を得ることができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０２１６
【補正方法】変更
【補正の内容】
【０２１６】
＜２＞ＳＴ９０６：内部データＭＩＰＲ［ｉ］の生成
内部データＭＩＰＲ［ｉ］生成部９１２ｃ１において、両眼視差画像、初期解ＦＩ［０］又は内部データＦＩ［ｉ−１］、及び内部データＢＩ［ｉ］を用いて内部データＭＩＰＲ［ｉ］を生成する処理について説明する。式２１及び式２４に対してｘ＋ｓ＝ｘを代入すると、式２８、式２９が得られる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０２２３
【補正方法】変更
【補正の内容】
【０２２３】
式３０と式３１とにおいて、画素値Ｌ（ｘ）及び画素値Ｒ（ｘ）は、入力された左眼用画像Ｌの画素値及び右眼用画像Ｒの画素値から求めることができる。また、画素値ＦＩ（ｘ―ｓ）及び画素値ＦＩ（ｘ＋ｓ）は、ＳＴ９０３で生成した初期解ＦＩ［０］又はＳＴ９０９で生成した内部データＦＩ［ｉ−１］から求めることができる。そして、画素値ＢＩ（ｘ＋ｓ）及び画素値ＢＩ（ｘ―ｓ）は、ＳＴ９０５で生成した内部データＢＩ［ｉ］を用いれば、一意に求めることができる。よって、式３０と式３１とから画素値ＭＩ（ｘ）について２つの値を得ることができる。
【国際調査報告】
2016121233.tif 000053
2016121233.tif 000054