(57)【要約】【課題】多視点画像を生成できるようにする。【解決手段】２次元画像信号からなる入力画像信号の各画素に対して注目画素の左右の画素を含む３画素にフィルタ処理を施して強調信号を生成し、入力画像の各画素に対して強調信号を加算、または減算して得られる出力信号により、複数の視点における３次元立体視を実現できるように、視点毎の出力信号の差分、すなわち、視点間信号差分が、同一になるようにすることで、クロストークの少ない多視点による３次元立体視を実現することができる。本技術は、３次元画像処理装置に適用することができる。【選択図】図４
2013026808.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像信号からなる入力画像信号より、視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように複数の視点用画像を生成する
画像処理装置。
【請求項２】
２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、
前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理装置。
【請求項３】
前記複数の強調信号を前記入力画像信号より減算することにより、前記複数の強調信号毎に第２の視点用画像を生成する複数の第２の画像生成部をさらに含み、
前記複数の抽出部は、前記入力画像信号に対して加算、または減算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
請求項２に記載の画像処理装置。
【請求項４】
前記入力画像信号が、連続的に所定の方向に隣接する画素単位で順次供給される場合、
前記第１の画像生成部は、前記強調信号を現画素の前記入力画像信号に加算することにより、前記第１の視点用画像を生成する
請求項２に記載の画像処理装置。
【請求項５】
２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップととを含み、
前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理方法。
【請求項６】
２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、
前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理装置を制御するコンピュータに、
前記複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、
前記複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、
前記複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、
前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、簡易な方法で、２次元画像からなる入力画像から、多視点による裸眼３次元立体視を実現できる多視点画像の生成を実現できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、一枚の画像より立体視可能な２枚のステレオ画像を生成する技術が提案されている（特許文献１参照）。
【０００３】
特許文献１により提案されている技術によれば、簡易な微分フィルタ等を使用して入力画像より取り出した特徴量信号に対して非線形変換を行うことで強調信号を生成し、この強調信号を入力信号に加算、および、減算することで、立体視可能な右眼用画像と左眼用画像を生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６３０８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の方法による生成される画像は、右眼用画像と左眼用画像の２種類のみであるため、例えば、レンチキュラーレンズ方式や視差バリア方式などの裸眼立体視画像表示装置に代表される、多視点表示装置の入力信号として必要となる、多視点画像を生成することはできなかった。
【０００６】
本技術はこのような状況に鑑みてなされたものであり、特に、簡易な手法で２次元画像からなる入力画像から多視点の裸眼３次元立体視画像を適切に生成できるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の画像処理装置は、２次元画像信号からなる入力画像信号より、視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように複数の視点用画像を生成する。
【０００８】
本技術の第２の側面の画像処理装置は、２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する。
【０００９】
前記複数の強調信号を前記入力画像信号より減算することにより、前記複数の強調信号毎に第２の視点用画像を生成する複数の第２の画像生成部をさらに含ませるようにすることができ、前記複数の抽出部には、前記入力画像信号に対して加算、または減算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出させるようにすることができる。
【００１０】
前記入力画像信号が、連続的に所定の方向に隣接する画素単位で順次供給される場合、前記第１の画像生成部には、前記強調信号を現画素の前記入力画像信号に加算することにより、前記第１の視点用画像を生成させるようにすることができる。
【００１１】
本技術の第２の側面の画像処理方法は、２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する。
【００１２】
本技術の第２の側面のプログラムは、２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する画像処理装置を制御するコンピュータに、前記複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、前記複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、前記複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出するプログラム。
【００１３】
本技術の第１の側面の画像処理装置においては、２次元画像信号からなる入力画像信号より、視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するような複数の視点用画像が生成される。
【００１４】
本技術の第２の側面の画像処理装置においては、２次元画像信号からなる入力画像信号の空間的な特徴量信号が複数に抽出され、前記複数の特徴量信号のそれぞれに対して強調処理が施されて複数の強調信号が生成され、前記複数の強調信号が前記入力画像信号に加算されることにより、前記複数の強調信号毎に第１の視点用画像が生成され、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像が構成され、３次元立体視が実現されるように、前記２次元画像信号からなる入力画像信号の空間的な特徴量が複数に抽出される。
【００１５】
本技術の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００１６】
本技術によれば、２次元の入力画像より裸眼による多視点の３次元立体視画像を簡易な手法で生成することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本技術である画像処理装置を適用した画像符号化装置の第１の実施の形態の構成例を示すブロック図である。
【図２】従来のステレオ画像生成処理を説明する図である。
【図３】本技術の画像処理装置を適用した多視点画像生成部の第１の実施の形態の構成例を示す図である。
【図４】図３の多視点画像生成部による多視点画像生成処理を説明する図である。
【図５】非線形変換処理を説明する図である。
【図６】図３の多視点画像生成部による多視点画像生成処理を説明するフローチャートである。
【図７】図３の多視点画像生成部により生成された多視点画像により生じるクロストークを説明する図である。
【図８】本技術の画像処理装置を適用した多視点画像生成部の第２の実施の形態の構成例を示す図である。
【図９】図８の多視点画像生成部による多視点画像生成処理を説明する図である。
【図１０】図８の多視点画像生成部による多視点画像生成処理を説明するフローチャートである。
【図１１】図３の多視点画像生成部により生成された多視点画像により生じるクロストークを説明する図である。
【図１２】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００１８】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行なう。
１．第１の実施の形態
２．第２の実施の形態（１つのフィルタ係数列自身が中央の係数値を基準として奇対称とならない場合の構成例）
【００１９】
＜１．第１の実施の形態＞
［従来の裸眼による３次元立体視画像］
本技術を適用した裸眼による３次元立体視画像を生成する多視点画像生成部の説明にあたり、上述した特許文献１により開示されている３次元立体視画像の生成原理について説明する。
【００２０】
図１は、２次元画像からなる入力画像から裸眼による３次元立体視画像を生成する従来のステレオ画像生成部１の構成を示している。
【００２１】
ステレオ画像生成部１は、フィルタ１１、非線形変換部１２、加算器１３、および減算器１４より構成されている。フィルタ１１は、２次元画像からなる入力画像を、微分フィルタ処理するなどして特徴量信号として抽出する。非線形変換部１２は、特徴量信号を非線形変換することにより強調信号として出力する。加算器１３は、入力画像に対して強調信号を加算して左眼用画像信号として出力する。減算器１４は、入力画像に対して強調信号を減算して右眼用画像信号として出力する。
【００２２】
この右眼用画像信号および左眼用画像信号に基づいて得られる右眼用画像および左眼用画像が立体視可能となるには、右眼用画像および左眼用画像に立体視に適した信号差分があることが必要条件と考えられる。以下、右眼用画像と左眼用画像の信号差分を左右視点間信号差分と称するものとする。
【００２３】
フィルタ１１が、例えば、注目画素に対して、左右に隣接する画素を含む３画素に対して、[−1,0,1]の係数をそれぞれ乗じた線形和を用いて処理するような場合、特徴量信号を[−1,0,1]で表現するものとする。また、非線形変換部１２により入力信号を１，２，３，４，・・・としたときの出力信号が1u，2u，3u，4u，・・・で表現されるものとする。尚、非線形変換部１２における入力信号と出力信号との関係は詳細を後述する。このような場合、入力画像の各画素に対応する強調信号は、図２で示されるように、左眼用画像に対して[−u,0,u]であり、左眼用画像に対して[u,0,−u]のように表現される。したがって、図２で示されるように、左眼用出力信号は、[−u,1,u]として、右眼用出力信号は、[u,1,−u]として表現される。結果として、左眼用出力信号から右眼用出力信号を減算することにより、左右視点間信号差分が、[−2u,0,2u]として表現される。
【００２４】
すなわち、このように表現される左右視点間信号差分が、[−2u,0,2u]が適切に設定されると、２次元画像から裸眼による３次元立体視が可能となる左眼用出力信号および右眼用出力信号を生成することが可能となる。
【００２５】
しかしながら、上述したように、特許文献１に記載の方法では、生成される画像が、左眼用出力信号および右眼用出力信号からなる２種類の画像のみであるため、例えば、レンチキュラーレンズ方式や視差バリア方式などの裸眼立体画像表示装置に代表される、多視点表示装置の入力信号として必要となる、多視点画像を生成することはできない。
【００２６】
［本技術を適用した画像処理装置からなる多視点画像生成部の構成例］
そこで、レンチキュラーレンズ方式や視差バリア方式などの裸眼立体視画像表示装置に代表される、多視点表示装置で利用できる多視点画像の生成を可能とした多視点画像生成部の構成例について、図３を参照して説明する。
【００２７】
図３の多視点画像生成部３１は、第１フィルタ５１乃至第４フィルタ５４、非線形変換部６１乃至６４、加算器７１乃至７４、および減算器７５乃至７８を備えている。第１フィルタ５１乃至第４フィルタ５４の４種類のフィルタは、それぞれ異なるフィルタ係数を備えた、例えば、ＦＩＲフィルタであり、入力画像である２次元画像にフィルタ処理を施して、特徴量信号を求め、それぞれ非線形変換部６１乃至６４に供給する。
【００２８】
非線形変換部６１乃至６４は、供給されてくる特徴量信号に対して、同一の非線形特性の非線形処理を施して、強調信号を生成する。非線形変換部６１は、生成した強調信号を加算器７１、および減算器７８に供給する。非線形変換部６２は、生成した強調信号を加算器７２、および減算器７７に供給する。非線形変換部６３は、生成した強調信号を加算器７３、および減算器７６に供給する。非線形変換部６４は、生成した強調信号を加算器７４、および減算器７５に供給する。
【００２９】
加算器７１乃至７４は、入力画像に対して、それぞれに供給されてくる強調信号を加算して、それぞれ、第１視点用出力信号乃至第４視点用出力信号として出力する。減算器７５乃至７８は、入力画像に対して、それぞれに供給されてくる強調信号を減算して、それぞれ、第６視点用出力信号乃至第９視点用出力信号として出力する。尚、入力画像は、第５視点用出力信号として、そのまま出力される。
【００３０】
すなわち、多視点画像生成部３１は、１の２次元画像からなる入力画像より、９種類の視点の異なる第１視点用出力信号乃至第９視点用出力信号を生成して出力する。
【００３１】
［図３の多視点画像生成部における第１フィルタ乃至第４フィルタのフィルタ係数］
次に、図４を参照して、第１フィルタ５１乃至第４フィルタ５４のフィルタ係数について説明する。尚、各視点は、図４の丸印内に付された番号に対応する位置に対応するものとし、それぞれ視点１乃至視点９と称するものとする。また、各視点毎に裸眼３次元立体視可能な画像として設定される左眼用画像信号および右眼用画像信号は、隣接する視点間距離Ｒを１とする場合、各視点の入力画像に対応する位置に設定される画像に隣接する視点間距離が２となる２枚の視点用出力信号とするものとする。
【００３２】
すなわち、視点５における入力画像に対応する出力信号は、視点５の位置に設定される第５視点用出力信号である。そして、視点５における左眼用画像信号および右眼用画像信号は、それぞれ第４視点用出力信号および第６視点用出力信号となる。同様に、視点４における入力画像に対応する出力信号は、視点４の位置に設定される第４視点用出力信号である。そして、視点４における左眼用画像信号および右眼用画像信号は、それぞれ第３視点用出力信号および第５視点用出力信号となる。また、視点３における入力画像に対応する出力信号は、視点３の位置に設定される第３視点用出力信号である。そして、視点３における左眼用画像信号および右眼用画像信号は、それぞれ第２視点用出力信号および第４視点用出力信号となる。さらに、視点２における入力画像に対応する出力信号は、視点２の位置に設定される第２視点用出力信号である。そして、視点２における左眼用画像信号および右眼用画像信号は、それぞれ第１視点用出力信号および第３視点用出力信号となる。
【００３３】
また、視点６における入力画像に対応する出力信号は、視点６の位置に設定される第６視点用出力信号である。そして、視点６における左眼用画像信号および右眼用画像信号は、それぞれ第５視点用出力信号および第７視点用出力信号となる。また、視点７における入力画像に対応する出力信号は、視点７の位置に設定される第７視点用出力信号である。そして、視点７における左眼用画像信号および右眼用画像信号は、それぞれ第６視点用出力信号および第８視点用出力信号となる。さらに、視点８における入力画像に対応する出力信号は、視点８の位置に設定される第８視点用出力信号である。そして、視点８における左眼用画像信号および右眼用画像信号は、それぞれ第７視点用出力信号および第９視点用出力信号となる。
【００３４】
また、視点aの出力信号をＣ_a、視点aの出力信号と視点b出力信号の差分をＤ_abと表記するものとする。
【００３５】
すなわち、各視点における左眼用画像信号および右眼用画像信号は、いずれも、裸眼３次元立体視が実現されることが前提であるので、各視点における左眼用画像信号および右眼用画像信号の視点間信号差分は同一である。したがって、第１フィルタ５１乃至第４フィルタ５４におけるフィルタ係数は、視点間信号差分が同一になるように設定されている。
【００３６】
そこで、この視点間信号差分が同一になるという拘束条件に基づいて第１フィルタ５１乃至第４フィルタ５４のフィルタ係数を考える。
【００３７】
例えば、視点４，６の特徴量信号を生成する第１フィルタ５１が、フィルタ係数として[−1,0,1]のタップ係数を持つ、３タップのＦＩＲフィルタを用いているものとし、非線形変換により入力が、１，２，３，４・・・の場合、u，2u，3u，4u，・・・であるようなとき、単位入力１に対する、視点４乃至６における出力信号Ｃ_4乃至Ｃ_6は、以下の式（１）乃至式（３）のように表わされる。
【００３８】
Ｃ_4＝[−u,1,u]
・・・（１）
Ｃ_5＝[0,1,0]
・・・（２）
Ｃ_6＝[u,1,−u]
・・・（３）
【００３９】
したがって、視点１乃至３および７乃至９の出力信号Ｃ_1乃至Ｃ_3および出力信号Ｃ_7乃至Ｃ_9を生成するフィルタ係数は以下の手順により求められることになる。ここで、uは、非線形変換において生じる値であり、詳細は、後述する。
【００４０】
すなわち、視点４の出力信号と視点６の出力信号の差分Ｄ_46は、視点４の出力信号Ｃ_4と視点６の出力信号Ｃ_6との差分であるので、以下の式（４）で示されるように表わされる。
【００４１】
Ｄ_46＝Ｃ_4−Ｃ_6＝[−u,1,u]−[u,1,−u]＝[−2u,0,2u]
・・・（４）
視点３の出力信号Ｃ_3と視点５の出力信号Ｃ_5の差分Ｄ_35は、拘束条件に基づいて、差分Ｄ_46と等しくなるので、以下の式（５）の関係が成立する。
【００４２】
Ｄ_35＝Ｃ_3−Ｃ_5＝Ｄ_46
・・・（５）
【００４３】
この式（５）を以下の式（６）のように変形することで、視点３の出力信号Ｃ_3が求められる。
【００４４】
Ｃ_3＝Ｄ_46＋Ｃ_5＝[−2u,0,2u] +[0,1,0]＝[−2u,1,2u]
・・・（６）
【００４５】
さらに、視点２の出力信号Ｃ_2と視点４の出力信号Ｃ_4の差分Ｄ_24は、拘束条件により、差分D_46と等しくなるので、以下の式（７）の関係が成立する。
【００４６】
Ｄ_24＝Ｃ_2−Ｃ_4＝D_46
・・・（７）
【００４７】
この式（７）を以下の式（８）のように変形することで、視点２の出力信号Ｃ_2が求められる。
【００４８】
Ｃ_2＝D_46＋Ｃ_4＝[−2u,0,2u]+[−u,1,u]＝[−3u,1,3u]
・・・（８）
【００４９】
また、視点１の出力信号Ｃ_1と視点３の出力信号Ｃ_3の差分Ｄ_13は、拘束条件により、差分D_46と等しくなるので、以下の式（９）の関係が成立する。
【００５０】
Ｄ_13＝Ｃ_1−Ｃ_3＝D_46
・・・（９）
【００５１】
この式（９）を以下の式（１０）のように変形することで、視点１の出力信号Ｃ_1が求められる。
【００５２】
Ｃ_1＝D_46＋Ｃ_3＝[−2u,0,2u]+[−2u,1,2u]＝[−4u,1,4u]
・・・（１０）
【００５３】
さらに、視点５の出力信号Ｃ_5と視点７の出力信号Ｃ_7の差分Ｄ_57は、拘束条件により、差分D_46と等しくなるので、以下の式（１１）が成立する。
【００５４】
Ｄ_57＝Ｃ_5−C_7＝D_46
・・・（１１）
【００５５】
この式（１１）を以下の式（１２）のように変形することで、視点７の出力信号Ｃ_7が求められる。
【００５６】
C_7＝Ｃ_5−D_46＝[0,1,0]−[−2u,0,2u]＝[2u,1,−2u]
・・・（１２）
【００５７】
また、視点６の出力信号Ｃ_6と視点８の出力信号Ｃ_8の差分Ｄ_68は、拘束条件により差分D_46と等しくなるので、以下の式（１３）が成立する。
【００５８】
Ｄ_68＝Ｃ_6−Ｃ_8＝D_46
・・・（１３）
【００５９】
この式（１３）を以下の式（１４）のように変形することで、視点８の出力信号Ｃ_8が求められる。
【００６０】
Ｃ_8＝Ｃ_6−D_46＝[u,1,−u]−[−2u,0,2u]＝[3u,1,−3u]
・・・（１４）
【００６１】
さらに、視点７の出力信号C_7と視点９の出力信号C_9の差分Ｄ_79は、拘束条件により、差分D_46と等しくなるので、以下の式（１５）が成立する。
【００６２】
Ｄ_79＝C_7−Ｃ_9＝D_46
・・・（１５）
【００６３】
この式（１５）を以下の式（１６）のように変形することで、視点９の出力信号Ｃ_9が求められる。
【００６４】
Ｃ_9＝C_7−D_46＝[2u,1,−2u]−[−2u,0,2u]＝[4u,1,−4u]
・・・（１６）
【００６５】
上記の各視点の出力信号Ｃ_1乃至Ｃ_9は、非線形変換部６１乃至６４により、同一の非線形変換された後に入力信号が加算された値であるため、フィルタ係数は、出力信号Ｃ_1乃至Ｃ_9から入力信号を減算後、逆非線形変換を行うことにより求められる。
【００６６】
また、立体視効果のある強調信号の振幅は主に低いレベルであるため、この領域においては非線形変換、および、非線形逆変換は線形変換に近似できる。すなわち、例えば、非線形変換部６１乃至６４が非線形変換に用いる関数y=f(x)が、図５で示されるような曲線で定義される関数であるとすれば、例えば、図中の一点鎖線の矢印で示される強調信号の振幅が大きい範囲内における、出力y＝f(x)＝Auであるような場合、入力は非線形であるので、x＝Aとはならない。しかしながら、図中の実線の矢印の範囲内などの、振幅が低レベルであり、原点近傍であれば、図中の点線で示されるような線形関数と近似できるので、出力y＝uまたは2uであれば、対応する入力は、ほぼ１また２と考えることができる。
【００６７】
すなわち、非線形変換部６１乃至６４への入力をx、非線形変換部６１乃至６４からの出力をyとし、非線形変換部６１乃至６４により非線形変換に用いられる関数をy=f(x)とし、非線形逆変換に用いられる関数をx=f'(y)と定義すると、非線形変換に係る式は、入力xを１，２，３，４とするとき、以下の式（１７）乃至式（２０）により表される。
【００６８】
u=f(1)
・・・（１７）
2u=f(2)
・・・（１８）
3u=f(3)
・・・（１９）
4u=f(4)
・・・（２０）
【００６９】
したがって、非線形変換に係る式は、以下の式（２１）乃至（２４）により表される。
【００７０】
1=f'(u)
・・・（２１）
2=f'(2u)
・・・（２２）
3=f'(3u)
・・・（２３）
4=f'(4u)
・・・（２４）
【００７１】
このため、第１フィルタ５１乃至第４フィルタ５４のフィルタ係数は、以下の式（２５）乃至式（２８）のように求められることになる。
【００７２】
第１フィルタ５１のフィルタ係数＝[−4,0,4]
・・・（２５）
第２フィルタ５２のフィルタ係数＝[−3,0,3]
・・・（２６）
第３フィルタ５３のフィルタ係数＝[−2,0,2]
・・・（２７）
第４フィルタ５４のフィルタ係数＝[−1,0,1]
・・・（２８）
【００７３】
この結果、フィルタ係数は、第１視点用出力信号乃至第９視点用出力信号に対して、実質的に、第５視点用出力を中心として、奇対称の関係となることがわかる。上記のように、視点間信号差分が常に一定となるようフィルタ係数を設定することにより、いずれの視点においても、常に最適な裸眼３次元立体視を可能とする多視点画像を生成することが可能となる。尚、フィルタ係数については、隣接視点間距離により設定される拘束条件が満たされる限り、その他のフィルタ係数であってもよいことはいうまでもない。
【００７４】
［図３の多視点が画像生成部による多視点画像生成処理］
次に、図６のフローチャートを参照して、図３の多視点画像生成部３１による多視点画像生成処理について説明する。
【００７５】
ステップＳ１において、多視点画像生成部３１は、画素位置を管理するための図示せぬカウンタｘ，ｙを０に初期化する。
【００７６】
ステップＳ２において、多視点画像生成部３１は、注目画素の画素位置を（ｘ，ｙ）に設定する。
【００７７】
ステップＳ３において、多視点画像生成部３１は、視点位置を管理するための図示せぬカウンタｎを０に初期化する。
【００７８】
ステップＳ４において、多視点画像生成部３１は、カウンタｎが０であるか否かを判定し、例えば、最初の処理の場合、カウンタｎが０であるので、処理は、ステップＳ５に進む。
【００７９】
ステップＳ５において、多視点画像生成部３１は、入力画像の注目画素の画像信号を、第５視点用出力信号としてそのまま出力し、処理は、ステップＳ１３に進む。
【００８０】
ステップＳ１３おいて、多視点画像生成部３１は、図示せぬカウンタｎを１インクリメントし、処理は、ステップＳ４に戻る。
【００８１】
そして、ステップＳ４において、例えば、カウンタｎ＝０ではない場合、処理は、ステップＳ６に進む。
【００８２】
ステップＳ６において、多視点画像生成部３１は、第１フィルタ５１乃至第４フィルタ５４のうち、カウンタｎに対応する第ｎフィルタを制御して、入力画像の注目画素の信号から上述した、フィルタ係数によるフィルタ処理により特徴量信号を生成する。多視点画像生成部３１は、第ｎフィルタにより生成された特徴量信号を、非線形変換部６１乃至６４のうち、対応する非線形変換部（６０＋ｎ）に供給する。
【００８３】
ステップＳ７において、多視点画像生成部３１は、非線形変換部（６０＋ｎ）を制御して、特徴量信号に非線形変換処理を施すことで強調信号を生成し、加算器（７０＋ｎ）、および減算器（７９−ｎ）に供給する。
【００８４】
ステップＳ８において、多視点画像生成部３１は、加算器（７０＋ｎ）を制御して、入力画像に対して、強調信号を加算して、第ｎ視点用出力信号を生成する。すなわち、この処理により、カウンタｎの値に応じて、順次第１視点用出力信号乃至第４視点用出力信号が生成される。
【００８５】
ステップＳ９において、加算器（７０＋ｎ）は、生成した第ｎ視点用出力信号を出力する。
【００８６】
ステップＳ１０において、多視点画像生成部３１は、減算器（７９−ｎ）を制御して、入力画像に対して、強調信号を減算して、第（１０−ｎ）視点用出力信号を生成する。すなわち、この処理により、カウンタｎの値に応じて、順次第９視点用出力信号乃至第６視点用出力信号が生成される。
【００８７】
ステップＳ１１において、減算器（７９−ｎ）は、生成した第（１０−ｎ）視点用出力信号を出力する。
【００８８】
ステップＳ１２において、多視点画像生成部３１は、カウンタｎ＝４になったか、すなわち、全ての視点用出力信号が生成されたか否かを判定し、全ての視点用出力信号が生成されていない場合、処理は、ステップＳ１３に進む。すなわち、全ての視点用出力信号が生成されるまで、ステップＳ４，Ｓ６乃至Ｓ１３の処理が繰り返される。そして、ステップＳ１２において、カウンタｎ＝４であるとみなされ、全ての視点用出力信号が生成されたと判定されると、処理は、ステップＳ１４に進む。
【００８９】
ステップＳ１２において、多視点画像生成部３１は、カウンタxがxmaxであるか否か、すなわち、画像の水平方向の端部であるか否かを判定し、カウンタxがxmaxでなく、すなわち、画像の水平方向の端部ではない場合、処理は、ステップＳ１５に進む。
【００９０】
ステップＳ１５において、多視点画像生成部３１は、カウンタｘを１インクリメントして、処理は、ステップＳ２に戻る。
【００９１】
また、ステップＳ１４において、カウンタｘがxmaxである場合、ステップＳ１６において、多視点画像生成部３１は、カウンタxを０に初期化し、処理は、ステップＳ１７に進む。
【００９２】
ステップＳ１７において、多視点画像生成部３１は、カウンタｙがymaxであるか、すなわち、垂直方向の端部であるか否かを判定し、例えば、カウンタｙがymaxでなく、垂直方向の端部ではない場合、ステップＳ１８において、カウンタｙを１インクリメントして、処理は、ステップＳ２に戻る。
【００９３】
そして、ステップＳ１７において、カウンタｙがymaxであり、画像全体の処理が完了したとみなされた場合、処理は、終了する。
【００９４】
以上の処理により、第１視点用画像乃至第９視点用画像からなる多視点画像が生成される。尚、図３の多視点画像生成部３１においては、９種類の視点に対応する多視点画像を生成する例について説明してきたが、第１フィルタ５１乃至第４フィルタ５４、非線形変換部６１乃至６４、加算器７１乃至７４、および減算器７５乃至７８のそれぞれに対応するフィルタ、非線形変換部、加算器、および減算器を増減することにより、異なる種類数に対応する多視点画像を生成する構成としてもよい。また、第１視点用画像乃至第９視点用画像は、それぞれ隣接する視点間の視点間信号差分が所定値となり、その所定値の２倍、すなわち、例えば、上述した[−2u,0,2u]となる２枚の視点用画像であれば、いずれの２枚の画像であっても、それぞれ左眼用出力信号、および右眼用出力信号を構成する。この結果、複数の視点においても、裸眼３次元立体視を実現することが可能となる。
【００９５】
［図３の多視点画像生成部により生成された多視点画像のクロストークによる影響］
一般的に多視点表示装置では完全に１つの視点画像のみを視聴者に提示することが構造上難しく、特定の視点の両側の視点画像（以下ではこれを「隣接視点画像」と称する）の画像が一定の割合で同時に見えてしまうことが避けられない。この現象は、音声信号の漏話に例えてクロストークと称される。
【００９６】
ここで、図７を参照して、図３の多視点画像生成部３１により生成された多視点画像の隣接視点からのクロストークがある場合の視点間信号差分について説明する。
【００９７】
図７で示されるように、本来、左眼用画像として視聴者に提示されるべき画像である第４視点用出力信号に加えて、通常、隣接視点画像である第３視点用出力信号、および第５視点用出力信号が一定の割合で左眼に対して提示される状態となる。
【００９８】
また、本来の右眼用画像として視聴者に提示されるべき画像である第６視点用出力信号に加えて、隣接視点画像である第５視点用出力信号および第７視点用出力信号が一定の割合で右眼に対して提示されている状態を示している。
【００９９】
本来提示すべき画像に対する、隣接視点画像の割合をpとすると、図７において、このように視点５において、左眼用の視点ａの画像として左眼に提示される出力信号Ｃ_a’と、右眼用の視点ｂの画像として右眼に提示される出力信号Ｃ_b’との差分である、視点間信号差分Ｄ_abは以下の式（２９）で示されるように求められる。
【０１００】
Ｄ_ab＝Ｃ_a’−Ｃ_b’
・・・（２９）
【０１０１】
ここで、視点aと視点bの出力信号、Ｃ_a’とＣ_b’は、以下の式（３０），式（３１）のように置き換えられる。
【０１０２】
Ｃ_a’＝p×Ｃ_a−1＋（1−2×p）×Ｃ_a＋p×Ｃ_a+1
・・・（３０）
Ｃ_b’＝p×Ｃ_b−1＋（1−2×p）×Ｃ_b＋p×Ｃ_b+1
・・・（３１）
【０１０３】
また、視点間距離Rは２であるので、視点ａ，ｂの関係は、以下の式（３２）で示されるようなものとなる。
【０１０４】
b＝a＋R＝a＋2
・・・（３２）
【０１０５】
この関係を利用すると、式（３１）は、以下の式（３３）に変形することができる。
【０１０６】
Ｃ_b’＝p×Ｃ_a+1＋（1−2×p）×Ｃ_a+2＋p×Ｃ_a+3
・・・（３３）
【０１０７】
従って、クロストークの影響を加味した視点間信号差分Ｄ_abは以下の式（３４）で表されることになる。
【０１０８】
Ｄ_ab＝｛p×Ｃ_a−1＋（1−2×p）×Ｃ_a＋p×Ｃ_a+1｝
−｛p×Ｃ_a+1＋（1−2×p）×Ｃ_a+2＋p×Ｃ_a+3｝
＝p×（Ｃ_a−1−Ｃ_a+1）＋（Ｃ_a−Ｃ_a+2）
−2×p×（Ｃ_a−Ｃ_a+2）＋p×（Ｃ_a+1−Ｃ_a+3）
＝(p＋1−2×p＋p)×[−2u,0,2u]
（∵Ｃ_a−1−Ｃ_a+1＝Ｃ_a−Ｃ_a+2＝Ｃ_a+1−Ｃ_a+3＝[−2u,0,2u]）
＝[−2u,0,2u]
・・・（３４）
【０１０９】
式（３４）で示されるように、視点間信号差分Ｄ_abは、クロストークの割合pに依存しない値となる。すなわち、図３の多視点画像生成部３１により生成された多視点画像は、隣接視点間で生じるクロストークの量や位置に関わらず、常に一定の視点間信号差分が維持できるので、常に最適な３次元立体視を実現することが可能となる。
【０１１０】
＜２．第２の実施の形態＞
［直前の注目画素における強調信号を利用する多視点画像生成部の構成例］
以上においては、１つのフィルタ係数列自身が中央の係数値を基準として奇対称とならる場合の構成例について説明してきたが、１つのフィルタ係数列自身が中央の係数値を基準として奇対称とならない場合でも係数値の構成を工夫することにより実現できる。
【０１１１】
図８は、１つのフィルタ係数列自身が中央の係数値を基準として奇対称とならない場合の多視点画像生成部３１の構成例を示している。尚、図８の多視点画像生成部３１において、図３の多視点画像生成部３１の構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０１１２】
すなわち、図８の多視点画像生成部３１における、図３の多視点画像生成部３１と異なる構成は、第１フィルタ５１乃至第４フィルタ５４、および減算部７５乃至７８に代えて、第１フィルタ８１乃至第４フィルタ８８と、加算部９１乃至９４とを設けた点である。
【０１１３】
第１フィルタ８１乃至第４フィルタ８８は、基本的に、第１フィルタ５１乃至第４フィルタ５４と同様の機能であるが、フィルタ係数が異なる。
【０１１４】
加算部９１乃至９４は、それぞれ加算部７１乃至７４と同一の機能を備えている。
【０１１５】
［図８の多視点画像生成部における第１フィルタ乃至第４フィルタのフィルタ係数］
図９で示されるように、例えば、視点４，６の特徴量信号を生成する第１フィルタ８１が、フィルタ係数として[−1,1,0]のタップ係数を持つ、３タップのＦＩＲフィルタを用いているものとし、非線形変換により入力が、１，２，３，４・・・の場合、u，2u，3u，4u，・・・であるようなとき、単位入力１に対する、視点４乃至６における出力信号Ｃ_4乃至Ｃ_6は、以下の式（３５）乃至式（３７）のように表わされる。
【０１１６】
Ｃ_4＝[−u,1+u,0]
・・・（３５）
Ｃ_5＝[0,1,0]
・・・（３６）
Ｃ_6＝[0,1+u,−u]
・・・（３７）
【０１１７】
したがって、視点１乃至３および７乃至９の出力信号Ｃ_1乃至Ｃ_3および出力信号Ｃ_7乃至Ｃ_9を生成するフィルタ係数は以下の手順により求められることになる。
【０１１８】
すなわち、視点４の出力信号と視点６の出力信号の差分Ｄ_46は、視点４の出力信号Ｃ_4と視点６の出力信号Ｃ_6との差分であるので、以下の式（３８）で示されるように表わされる。
【０１１９】
D_46＝Ｃ_4−Ｃ_6＝[−u,1+u,0]−[0,1+u,−u]＝[−u,0,u]
・・・（３８）
【０１２０】
視点３の出力信号Ｃ_3と視点５の出力信号Ｃ_5の差分Ｄ_35は、拘束条件に基づいて、差分Ｄ_46と等しくなるので、以下の式（３９）の関係が成立する。
【０１２１】
Ｄ_35＝Ｃ_3−Ｃ_5＝D_46
・・・（３９）
【０１２２】
この式（３９）を以下の式（４０）のように変形することで、視点３の出力信号Ｃ_3が求められる。
【０１２３】
Ｃ_3＝D_46＋Ｃ_5＝[−u,0,u]+[0,1,0]＝[−u,1,u]
・・・（４０）
【０１２４】
さらに、視点２の出力信号Ｃ_2と視点４の出力信号Ｃ_4の差分Ｄ_24は、拘束条件により、差分D_46と等しくなるので、以下の式（４１）の関係が成立する。
【０１２５】
Ｄ_24＝Ｃ_2−Ｃ_4＝D_46
・・・（４１）
【０１２６】
この式（４１）を以下の式（４２）のように変形することで、視点２の出力信号Ｃ_2が求められる。
【０１２７】
Ｃ_2＝D_46＋Ｃ_4＝[−u,0,u]+[−u,1+u,0]＝[−2u,1+u,u]
・・・（４２）
【０１２８】
また、視点１の出力信号Ｃ_1と視点３の出力信号Ｃ_3の差分Ｄ_13は、拘束条件により、差分D_46と等しくなるので、以下の式（４３）の関係が成立する。
【０１２９】
Ｄ_13＝Ｃ_1−Ｃ_3＝D_46
・・・（４３）
【０１３０】
この式（４３）を以下の式（４４）のように変形することで、視点１の出力信号Ｃ_1が求められる。
【０１３１】
Ｃ_1＝D_46＋Ｃ_3＝[−u,0,u]+[−u,1,u]＝[−2u,1,2u]
・・・（４４）
【０１３２】
さらに、視点５の出力信号Ｃ_5と視点７の出力信号Ｃ_7の差分Ｄ_57は、拘束条件により、差分D_46と等しくなるので、以下の式（４５）が成立する。
【０１３３】
Ｄ_57＝Ｃ_5−C_7＝D_46
・・・（４５）
【０１３４】
この式（４５）を以下の式（４６）のように変形することで、視点７の出力信号Ｃ_7が求められる。
【０１３５】
C_7＝Ｃ_5−D_46＝[0,1,0]−[−u,0,u]＝[u,1,−u]
・・・（４６）
【０１３６】
また、視点６の出力信号Ｃ_6と視点８の出力信号Ｃ_8の差分Ｄ_68は、拘束条件により差分D_46と等しくなるので、以下の式（４７）が成立する。
【０１３７】
Ｄ_68＝Ｃ_6−Ｃ_8＝D_46
・・・（４７）
【０１３８】
この式（４７）を以下の式（４８）のように変形することで、視点８の出力信号Ｃ_8が求められる。
【０１３９】
Ｃ_8＝Ｃ_6−D_46＝[0,1+u,−u]−[−u,0,u]＝[u,1+u,−2u]
・・・（４８）
【０１４０】
さらに、視点７の出力信号C_7と視点９の出力信号C_9の差分Ｄ_79は、拘束条件により、差分D_46と等しくなるので、以下の式（４９）が成立する。
【０１４１】
Ｄ_79＝C_7−Ｃ_9＝D_46
・・・（４９）
【０１４２】
この式（４９）を以下の式（５０）のように変形することで、視点９の出力信号Ｃ_9が求められる。
【０１４３】
Ｃ_9＝C_7−D_46＝[u,1,−u]−[−u,0,u]＝[2u,1,−2u]
・・・（５０）
【０１４４】
非線形変換部６１乃至６４に係る非線形変換については、上述した式（１７）乃至式（２４）の関係と同様である。
【０１４５】
このため、第１フィルタ８１乃至第４フィルタ８４のフィルタ係数は、以下の式（５１）乃至式（５４）のように求められることになる。
【０１４６】
第１フィルタ８１のフィルタ係数＝[−2,0,2]
・・・（５１）
第２フィルタ８２のフィルタ係数＝[−2,1,1]
・・・（５２）
第３フィルタ８３のフィルタ係数＝[−1,0,1]
・・・（５３）
第４フィルタ８４のフィルタ係数＝[−1,1,0]
・・・（５４）
【０１４７】
また、同様の手法により、第５フィルタ８５乃至第８フィルタ８８のフィルタ係数についても、上述した第１フィルタ８１乃至第４フィルタ８４のフィルタ係数と同様の手法により求めることができ、以下の式（５５）乃至（５８）のように求められる。
【０１４８】
第５フィルタ８５のフィルタ係数＝[0,1,−1]
・・・（５５）
第６フィルタ８６のフィルタ係数＝[1,0,−1]
・・・（５６）
第７フィルタ８７のフィルタ係数＝[1,1,−2]
・・・（５７）
第８フィルタ８８のフィルタ係数＝[2,0,−2]
・・・（５８）
【０１４９】
上記のように、視点間信号差分が常に一定となるようフィルタ係数を設定することにより、いずれの視点においても、常に最適な裸眼３次元立体視を可能とする多視点画像を生成することが可能となる。この結果、複数の視点においても、裸眼３次元立体視を実現することが可能となる。尚、フィルタ係数については、隣接視点間距離により設定される拘束条件が満たされる限り、その他のフィルタ係数であってもよいことはいうまでもない。
【０１５０】
［図８の多視点が画像生成部による多視点画像生成処理］
次に、図１０のフローチャートを参照して、図８の多視点画像生成部３１による多視点画像生成処理について説明する。尚、図１０のフローチャートのステップＳ４０乃至４２の処理を除く、ステップＳ３１乃至Ｓ４９の処理については、図６のフローチャートを参照して説明したステップＳ１０の処理を除く、ステップＳ１乃至Ｓ１８の処理と同様であるので、その説明は省略する。
【０１５１】
すなわち、ステップＳ４０において、多視点画像生成部３１は、第１フィルタ８１乃至第８フィルタ８８のうち、カウンタｎに対応する第（９−ｎ）フィルタを制御して、入力画像の注目画素の信号から上述した、フィルタ係数によるフィルタ処理により特徴量信号を生成する。多視点画像生成部３１は、第（９−ｎ）フィルタにより生成された特徴量信号を、非線形変換部６１乃至６８のうち、対応する非線形変換部（６９−ｎ）に供給する。
【０１５２】
ステップＳ４１において、多視点画像生成部３１は、非線形変換部（６９−ｎ）を制御して、特徴量信号に非線形変換処理を施すことで強調信号を生成し、加算器（９５−ｎ）に供給する。
【０１５３】
ステップＳ４２において、多視点画像生成部３１は、加算器（９５−ｎ）を制御して、入力画像に対して、強調信号を加算して、第（１０−ｎ）視点用出力信号を生成する。すなわち、この処理により、カウンタｎの値に応じて、順次第９視点用出力信号乃至第６視点用出力信号が生成される。
【０１５４】
以上の処理により、多視点画像が生成される。尚、図８の多視点画像生成部３１においては、９種類の視点に対応する多視点画像を生成する例について説明してきたが、第１フィルタ８１乃至第４フィルタ８８、非線形変換部６１乃至６８、加算器７１乃至７４、および加算器９１乃至９４のそれぞれに対応するフィルタ、非線形変換部、および加算器、を増減することにより、異なる種類数に対応する多視点画像を生成する構成としてもよい。また、第１視点用画像乃至第９視点用画像は、それぞれ隣接する視点間の視点間信号差分が所定値となり、その所定値の２倍、すなわち、例えば、上述した[−u,0,u]となる２枚の視点用画像であれば、いずれの２枚の画像であっても、それぞれ左眼用出力信号、および右眼用出力信号を構成する。この結果、複数の視点においても、裸眼３次元立体視を実現することが可能となる。尚、水平方向に隣接する画素単位で順次処理する場合、水平方向の先頭位置、または最後尾位置に存在する画素が注目画素となるとき、直前、または直後の注目画素は、隣接する画素ではなくなるので、水平方向の先頭位置、または最後尾位置の画素が注目画素となったときには、直前、または直後の注目画素も、現注目画素であるものとして扱うようにしてもよい。
【０１５５】
［図８の多視点画像生成部により生成された多視点画像のクロストークによる影響］
ここで、図１１を参照して、図８の多視点画像生成部３１により生成された多視点画像の隣接視点からのクロストークがある場合の視点間信号差分について説明する。隣接視点間のクロストークについては、上述した式（３４）より求められることになる。この式（３４）に、図８の多視点画像生成部３１の第１フィルタ８１乃至第４フィルタ８４のフィルタ係数を代入することにより、図８の多視点画像生成部３１により求められた隣接視点間のクロストークを加味した視点間信号差分Ｄ_abは、以下の式（５９）として求められる。
【０１５６】
Ｄ_ab＝｛p×Ｃ_a−1＋（1−2×p）×Ｃ_a＋p×Ｃ_a+1｝
−｛p×Ｃ_a+1＋（1−2×p）×Ｃ_a+2＋p×Ｃ_a+3｝
＝p×（Ｃ_a−1−Ｃ_a+1）＋（Ｃ_a−Ｃ_a+2）
−2×p×（Ｃ_a−Ｃ_a+2）＋p×（Ｃ_a+1−Ｃ_a+3）
＝(p＋1−2×p＋p)×[−u,0,u]
（∵Ｃ_a−1−Ｃ_a+1＝Ｃ_a−Ｃ_a+2＝Ｃ_a+1−Ｃ_a+3＝[−u,0,u]）
＝[−u,0,u]
・・・（５９）
【０１５７】
式（５９）で示されるように、視点間信号差分Ｄ_abは、クロストークの割合pに依存しない値となる。すなわち、図８の多視点画像生成部３１により生成された多視点画像は、隣接視点間で生じるクロストークの量や位置に関わらず、常に一定の視点間信号差分が維持できるので、常に最適な３次元立体視を実現することが可能となる。
【０１５８】
以上の如く、本技術においては、簡易な処理により立体視に適したな多視点画像を生成することが可能になると共に、多視点画像を表示するにあたり生じるクロストークの量に依存せず、常に最適な３次元立体視を実現することが可能となる。
【０１５９】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１６０】
図１２は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１６１】
入出力インタフェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１６２】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１６４】
尚、本技術は以下のような構成を取ることができる。
（１）  ２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、
前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理装置。
（２）  前記複数の強調信号を前記入力画像信号より減算することにより、前記複数の強調信号毎に第２の視点用画像を生成する複数の第２の画像生成部をさらに含み、
前記複数の抽出部は、前記入力画像信号に対して加算、または減算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
請求項２に記載の画像処理装置。
（３）  前記入力画像信号が、連続的に所定の方向に隣接する画素単位で順次供給される場合、
前記第１の画像生成部は、前記強調信号を現画素の前記入力画像信号に加算することにより、前記第１の視点用画像を生成し、
前記第２の画像生成部は、前記強調信号を前記現画素より直前に処理された画素の前記入力画像信号より減算することにより、前記第２の視点用画像を生成する
（１）または（２）に記載の画像処理装置。
（４）  ２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、
前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理方法。
（５）  ２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、
前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理装置を制御するコンピュータに、
前記複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、
前記複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、
前記複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、
前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
プログラム。
【符号の説明】
【０１６５】
３１  多視点画像生成部，  ５１  第１フィルタ，  ５２  第２フィルタ，  ５３  第３フィルタ，  ５４  第４フィルタ，  ６１乃至６４  非線形変換部，  ７１乃至７４  加算器，  ７５乃至７８  減算器，  ８１  第１フィルタ，  ８２  第２フィルタ，  ８３  第３フィルタ，  ８４  第４フィルタ，  ８５  第５フィルタ，  ８６  第６フィルタ，  ８７  第７フィルタ，  ８８  第８フィルタ，  ９１乃至９４  加算器
【図１】
2013026808.tif 000003
【図２】
2013026808.tif 000004
【図３】
2013026808.tif 000005
【図４】
2013026808.tif 000006
【図５】
2013026808.tif 000007
【図６】
2013026808.tif 000008
【図７】
2013026808.tif 000009
【図８】
2013026808.tif 000010
【図９】
2013026808.tif 000011
【図１０】
2013026808.tif 000012
【図１１】
2013026808.tif 000013
【図１２】
2013026808.tif 000014