(57)【要約】【課題】ユーザが奥行きを感じることができる画像を生成する。【解決手段】画像情報に対応する奥行き情報に基づいて、該奥行き情報の頻度分布に関する情報を抽出する奥行き情報解析部１０３と、奥行き情報解析部１０３が抽出した情報と奥行き情報とに基づいて、画像情報の各画素における画像処理強度を決定する画像処理強度決定部１０１と、画像処理強度決定部１０１が決定した画像処理強度にしたがって、該画素の画像情報に対して画像処理を行う画像処理部１０２と、を備える【選択図】図１
2013132018.tif 000002
【特許請求の範囲】
【請求項１】
画像情報に対応する奥行き情報に基づいて、該奥行き情報の頻度分布に関する情報を抽出する奥行き情報解析部と、
前記奥行き情報解析部が抽出した情報と前記奥行き情報とに基づいて、前記画像情報の各画素における画像処理強度を決定する画像処理強度決定部と、
前記画像処理強度決定部が決定した各画素における画像処理強度にしたがって、該画素の画像情報に対して画像処理を行う画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記奥行き情報の頻度分布に関する情報は、第一の奥行き情報および第二の奥行き情報であり、
前記画像処理強度決定部は、前記第二の奥行き情報において画像処理強度が最も大きくなり、前記第一の奥行き情報において画像処理強度が最も小さくなり、該第一の奥行き情報と該第二の奥行き情報の間で奥行き情報が大きくなるほど画像処理強度が大きくなるように画像処理強度を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第一の奥行き情報が一つの奥行き情報の頻度分布において、奥行き情報の頻度が予め決められた閾値以上となる範囲における奥行き情報の最小値であり、前記第二の奥行き情報が一つの奥行き情報の分布において、奥行き情報の頻度が予め決められた閾値以上となる範囲における奥行き情報の最大値であることを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記第二の奥行き情報が一つの奥行き情報の頻度分布内において、奥行き情報の頻度が予め決められた閾値以上となる範囲における奥行き情報の最大値であり、前記第一の奥行き情報が主要被写体の奥行き情報であることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記第二の奥行き情報が一つの奥行き情報の頻度分布内において、奥行き情報の頻度が予め決められた閾値以上となる範囲における奥行き情報の最大値であり、前記第一の奥行き情報が主要被写体の奥行き情報と前記最大値との間の値であることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記奥行き情報解析部は、対象フレームにおける奥行き情報の頻度分布に関する情報と、該対象フレームより前のフレームにおける少なくとも一つ以上の奥行き情報の頻度分布に関する情報を算出し、
前記画像処理強度決定部は、前記奥行き情報解析部が算出した複数の奥行き情報の頻度分布に基づいて、前記画像情報の各画素における画像処理強度を決定することを特徴とする請求項１から５のいずれかに一項に記載の画像処理装置。
【請求項７】
前記画像処理部で処理する画像処理が、輪郭強調、コントラスト補正または彩度補正であることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
複数の画像情報から視差情報を算出し、該算出した視差情報に基づいて奥行き情報を算出する視差算出部を備え、
前記奥行き情報解析部は、前記視差算出部が算出した奥行き情報に基づいて、該奥行き情報の頻度分布に関する情報を算出することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置を備えた画像処理装置。
【請求項９】
被写体を撮像して画像情報を生成する撮像部と、
前記撮像部が生成した画像情報に対して画像処理を行う請求項１に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項１０】
請求項１に記載の画像処理装置と、
前記画像処理装置により画像処理された画像を表示する画像表示部と、
を備えることを特徴とする表示装置。
【請求項１１】
奥行き情報解析部が画像情報に対応する奥行き情報に基づいて、該奥行き情報の頻度分布を算出する手順と、
画像処理強度決定部が、前記奥行き情報解析部が算出した奥行き情報の頻度分布に基づいて、前記画像情報の各画素における画像処理強度を決定する手順と、
画像処理部が、前記画像処理強度決定部が決定した画像処理強度にしたがって、該画素の画像情報に対して画像処理を行う手順と、
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータに、
画像情報に対応する奥行き情報に基づいて、該奥行き情報の頻度分布を算出する奥行き情報解析ステップと、
前記奥行き情報解析ステップにより算出された奥行き情報の頻度分布に基づいて、前記画像情報の各画素における画像処理強度を決定する画像処理強度決定ステップと、
前記画像処理強度決定ステップにより決定された画像処理強度にしたがって、該画素の画像情報に対して画像処理を行う画像処理ステップと、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム
に関する。
【背景技術】
【０００２】
静止画又は動画をカメラで撮影したり、静止画又は動画をモニタに表示したりする際に、先鋭感又は鮮明感を高めるために様々な画像処理技術が開発されている。例えば、先鋭感を増加させる輪郭強調処理や、鮮明感を増加させる彩度強調処理などが従来の画像処理として挙げられる。さらに、奥行き感を調整する画像処理として奥行きデータを使用した方式が有る。例えば、特許文献１では、奥行きデータと奥行き程度により、奥行き感補正のゲインを制御することにより、自由に奥行き感程度を調整できることが開示されている。
【０００３】
ここで、奥行きデータに従って奥行き感を調整する画像処理を行う場合、奥行きデータと画像処理のパラメータを適切に設定する必要がある。図１４は、特許文献１における奥行きデータと輪郭補正ゲインとの関係を示す図である。同図に示すように、特許文献１には、奥行きデータが第１の奥行き値Ｚ０より小さい領域および奥行きデータが第２の奥行き値Ｚ１より大きい領域において、奥行きデータの変化に対して奥行き感補正のゲインを一定とすることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３３８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像によっては第１の奥行き値Ｚ０より小さい奥行きデータのみの場合、または第２の奥行き値Ｚ１より大きい奥行きデータのみの場合なども存在する。その場合、特許文献１の画像処理装置は、適切な画像処理パラメータを設定することができないので、画像に対して奥行き感を調整できず、ユーザが奥行きを感じることができないという問題があった。
【０００６】
そこで本発明は、上記問題に鑑みてなされたものであり、ユーザが奥行きを感じることができる画像を生成することを可能とする画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は、画像情報に対応する奥行き情報に基づいて、該奥行き情報の頻度分布に関する情報を抽出する奥行き情報解析部と、前記奥行き情報解析部が抽出した情報と前記奥行き情報とに基づいて、前記画像情報の各画素における画像処理強度を決定する画像処理強度決定部と、前記画像処理強度決定部が決定した各画素における画像処理強度にしたがって、該画素の画像情報に対して画像処理を行う画像処理部と、を備えることを特徴とする画像処理装置である。
【０００８】
（２）上記に記載の画像処理装置において、本発明の一態様は、前記奥行き情報の頻度分布に関する情報は、第一の奥行き情報および第二の奥行き情報であり、前記画像処理強度決定部は、前記第二の奥行き情報において画像処理強度が最も大きくなり、前記第一の奥行き情報において画像処理強度が最も小さくなり、該第一の奥行き情報と該第二の奥行き情報の間で奥行き情報が大きくなるほど画像処理強度が大きくなるように画像処理強度を決定することを特徴とする。
【０００９】
（３）上記に記載の画像処理装置において、本発明の一態様は、前記第一の奥行き情報が一つの奥行き情報の頻度分布において、奥行き情報の頻度が予め決められた閾値以上となる範囲における奥行き情報の最小値であり、前記第二の奥行き情報が一つの奥行き情報の分布において、奥行き情報の頻度が予め決められた閾値以上となる範囲における奥行き情報の最大値であることを特徴とする。
【００１０】
（４）上記に記載の画像処理装置において、本発明の一態様は、前記第二の奥行き情報が一つの奥行き情報の頻度分布内において、奥行き情報の頻度が予め決められた閾値以上となる範囲における奥行き情報の最大値であり、前記第一の奥行き情報が主要被写体の奥行き情報であることを特徴とする。
【００１１】
（５）上記に記載の画像処理装置において、本発明の一態様は、前記第二の奥行き情報が一つの奥行き情報の頻度分布内において、奥行き情報の頻度が予め決められた閾値以上となる範囲における奥行き情報の最大値であり、前記第一の奥行き情報が主要被写体の奥行き情報と前記最大値との間の値であることを特徴とする。
【００１２】
（６）上記に記載の画像処理装置において、本発明の一態様は、前記奥行き情報解析部は、対象フレームにおける奥行き情報の頻度分布に関する情報と、該対象フレームより前のフレームにおける少なくとも一つ以上の奥行き情報の頻度分布に関する情報を算出し、前記画像処理強度決定部は、前記奥行き情報解析部が算出した複数の奥行き情報の頻度分布に基づいて、前記画像情報の各画素における画像処理強度を決定することを特徴とする。
【００１３】
（７）上記に記載の画像処理装置において、本発明の一態様は、前記画像処理部で処理する画像処理が、輪郭強調、コントラスト補正または彩度補正であることを特徴とする。
【００１４】
（８）上記に記載の画像処理装置において、本発明の一態様は、複数の画像情報から視差情報を算出し、該算出した視差情報に基づいて奥行き情報を算出する視差算出部を備え、前記奥行き情報解析部は、前記視差算出部が算出した奥行き情報に基づいて、該奥行き情報の頻度分布に関する情報を算出することを特徴とする。
【００１５】
（９）本発明の一態様は、被写体を撮像して画像情報を生成する撮像部と、前記撮像部が生成した画像情報に対して画像処理を行う請求項１から請求項８のいずれか一項に記載の画像処理装置と、を備えることを特徴とする撮像装置である。
【００１６】
（１０）本発明の一態様は、請求項１から請求項８のいずれか一項に記載の画像処理装置と、前記画像処理装置により画像処理された画像を表示する画像表示部と、を備えることを特徴とする表示装置である。
【００１７】
（１１）本発明の一態様は、奥行き情報解析部が画像情報に対応する奥行き情報に基づいて、該奥行き情報の頻度分布を算出する手順と、画像処理強度決定部が、前記奥行き情報解析部が算出した奥行き情報の頻度分布に基づいて、前記画像情報の各画素における画像処理強度を決定する手順と、画像処理部が、前記画像処理強度決定部が決定した画像処理強度にしたがって、該画素の画像情報に対して画像処理を行う手順と、を有することを特徴とする画像処理方法である。
【００１８】
（１２）本発明の一態様は、コンピュータに、画像情報に対応する奥行き情報に基づいて、該奥行き情報の頻度分布を算出する奥行き情報解析ステップと、前記奥行き情報解析ステップにより算出された奥行き情報の頻度分布に基づいて、前記画像情報の各画素における画像処理強度を決定する画像処理強度決定ステップと、前記画像処理強度決定ステップにより決定された画像処理強度にしたがって、該画素の画像情報に対して画像処理を行う画像処理ステップと、を実行させるための画像処理プログラムである。
【発明の効果】
【００１９】
本発明によれば、ユーザが奥行きを感じることができる画像を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態における画像処理装置の概略ブロック図である。
【図２】第１の実施形態における奥行き情報解析部の概略ブロック図である。
【図３】奥行き情報の頻度分布の一例を示した図である。
【図４】画像処理強度Ｄと奥行き情報Ｄとの関係の一例を示す図である。
【図５】奥行き情報に対する画像処理強度の設定の一例を示す図である。
【図６】第１の実施形態における画像処理装置に入力される画像情報Ｇｉの例を示す図である。
【図７】図５に対応した奥行き情報Ｄの例を示す図である。
【図８】第１の実施形態における画像処理装置の処理の一例を示すフローチャートである。
【図９】主要被写体以上に奥に位置する被写体に対して画像処理強度を行う場合における、奥行き情報に対する画像処理強度の設定の一例を示す図である。
【図１０】主要被写体より奥に位置する被写体に対して画像処理強度を行う場合における、奥行き情報に対する画像処理強度の設定の一例を示す図である。
【図１１】第２の実施形態における撮像装置の概略ブロック図である。
【図１２】距離Ｚと視差ｄとの関係を示した図である。
【図１３】第３の実施形態における表示装置の概略ブロック図である。
【図１４】特許文献１における奥行きデータと輪郭補正ゲインとの関係を示す図である。
【発明を実施するための形態】
【００２１】
［第１の実施形態］
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。図１は、第１の実施形態における画像処理装置１００の概略ブロック図である。画像処理装置１００は、画像処理強度決定部１０１と、画像処理部１０２と、奥行き情報解析部１０３とを備える。
【００２２】
画像処理装置１００には、入力画像である画像情報Ｇｉと、画像情報Ｇｉに対応した奥行き情報Ｄが入力される。ここで、画像情報は、画像を構成する画素の階調値などの値である。また、奥行き情報は、画像情報に対応した奥行きを示す情報であり、本実施形態では、奥行き情報の値が大きくなると画像情報内の被写体までの距離が大きいとする。すなわち、８ビットの奥行き情報が入力される場合には、階調値０が最も近景の被写体であり、階調値２５５が最も遠景の被写体である。
そして、画像処理装置１００は、奥行き情報Ｄに基づき、画像情報Ｇｉに対して画像処理を行い、処理結果を出力画像情報Ｇｏとして出力する。
なお、画像情報Ｇｉは、ビデオ信号など、動画像を表すデータや信号であってもよいし、ＪＰＥＧ（Joint Picture Experts Group）ファイルなど、静止画を表すデータや信号であってもよい。
【００２３】
奥行き情報解析部１０３は、画像情報に対応する奥行き情報Ｄに基づいて、該奥行き情報Ｄの頻度分布に関する情報を抽出する。具体的には、例えば、奥行き情報解析部１０３は、入力される一つの画像情報に対する奥行き情報Ｄの頻度分布に基づいて、予め決められた規則によって第一の奥行き情報及び第二の奥行き情報を算出する。ここで、第一の奥行き情報及び第二の奥行き情報は、それぞれ異なる奥行き情報Ｄの値である。そして、奥行き情報解析部１０３は、抽出した奥行き情報Ｄの頻度分布に関する情報（例えば、第一の奥行き情報及び第二の奥行き情報）を画像処理強度決定部１０１に出力する。奥行き情報解析部１０３の処理の詳細は後述する。
【００２４】
画像処理強度決定部１０１は、奥行き情報解析部１０３が抽出した情報と画像処理装置１００の外部から入力された奥行き情報Ｄとに基づいて、画像情報の各画素における画像処理強度Ｓを決定する。画像処理強度決定部１０１は、決定した画像処理強度Ｓを画像処理部１０２に出力する。
【００２５】
画像処理部１０２は、画像処理強度決定部１０１が決定した各画素における画像処理強度にしたがって、該画素の画像情報に対して画像処理を行う。ここで、画像処理は輪郭強調、コントラスト補正又は彩度補正が好適である。画像処理部１０２は、画像処理を行うことにより生成した画像を出力画像情報Ｇｏとして自装置の外部へ出力する。
なお、画像処理強度決定部１０１、画像処理部１０２及び奥行き情報解析部１０３の各ブロックはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェア、又は画像処理装置１００に内在するマイコン（図示せず）などにより処理されるソフトウェアにより構成してもよい。
【００２６】
＜奥行き情報解析部１０３の処理の詳細＞
続いて、奥行き情報解析部１０３の処理の詳細について説明する。
図２は、第１の実施形態における奥行き情報解析部１０３の概略ブロック図である。奥行き情報解析部１０３は、頻度分布算出部１１１と、第一の奥行き情報算出部１１２と、第二の奥行き情報算出部１１３とを備える。
頻度分布算出部１１１は、画像処理装置１００の外部から入力された奥行き情報Ｄの頻度分布を算出し、算出した頻度分布を第一の奥行き情報算出部１１２と第二の奥行き情報算出部１１３とに出力する。
【００２７】
第一の奥行き情報算出部１１２は、頻度分布算出部１１１から入力された頻度分布において、頻度が閾値α以上の範囲で奥行き情報Ｄが最小となる奥行き情報Ｄｍｉｎの値を第一の奥行き情報として算出する。そして、第一の奥行き情報算出部１１２は、算出した第一の奥行き情報を画像処理強度決定部１０１に出力する。
【００２８】
第二の奥行き情報算出部１１３は、頻度分布算出部１１１から入力された頻度分布において、頻度が閾値α以上の範囲で奥行き情報Ｄが最大となる奥行き情報Ｄｍａｘの値を第二の奥行き情報として算出する。そして、第二の奥行き情報算出部１１３は、算出した第二の奥行き情報を画像処理強度決定部１０１に出力する。
【００２９】
続いて、図３を用いて、奥行き情報解析部１０３の処理について説明する。図３は、奥行き情報の頻度分布の一例を示した図である。同図において、横軸が奥行き情報、縦軸が頻度である。同図において、頻度が最大となる奥行き情報Ｄｏｂｊが示されている。また、同図において、閾値α以上の頻度を取る範囲における奥行き情報Ｄの最小値（以下、範囲最小値という）Ｄｍｉｎと、閾値α以上の頻度を取る範囲における奥行き情報Ｄの最大値（以下、範囲最大値という）Ｄｍａｘとが示されている。
【００３０】
例えば、奥行き情報解析部１０３は、図３に示すように、奥行き情報Ｄの頻度分布（ヒストグラム）を利用して第一の奥行き情報と第二の奥行き情報を算出する。ここで、通常の方式で最大値および最小値を算出すると、頻度が予め決められた閾値αより小さい場合であっても最大値および最小値として算出されてしまい、奥行き情報にノイズが存在する場合などは誤算出が発生する可能性がある。
【００３１】
本実施形態において、奥行き情報解析部１０３は、一つの奥行き情報の頻度分布において、奥行き情報の頻度が予め決められた閾値以上である範囲で最小の奥行き情報Ｄを第一の奥行き情報として算出する。また、奥行き情報解析部１０３は、一つの奥行き情報の分布において、奥行き情報Ｄの頻度が予め決められた閾値以上である範囲で最大の奥行き情報Ｄを第二の奥行き情報として算出する。奥行き情報解析部１０３は、算出した第一の奥行き情報と第二の奥行き情報を画像処理強度決定部１０１に出力する。
これにより、奥行き情報解析部１０３は、安定して第一の奥行き情報及び第二の奥行き情報を算出することができる。
【００３２】
また、奥行き情報解析部１０３は、頻度の極大値には主要な被写体が存在すると推定することも可能で、例えば、極大値のうち最も頻度の値が大きい奥行き情報（最頻値）Ｄｏｂｊには主要な被写体が存在すると推定する。
【００３３】
さらに、奥行き情報解析部１０３は、画像情報Ｇｉを任意の領域（例えば、縦４分割、横４分割で合計１６分割の領域）に分割して領域ごとにヒストグラムを作成して、被写体の位置を推定してもよい。その場合、例えば、特定領域に偏って存在する被写体の場合、その被写体は奥行き情報全体のヒストグラムでは極大値として表れないが、その被写体は、分割された領域において、その領域のヒストグラムでは極大値として表れる場合がある。これにより、奥行き情報解析部１０３は、画像情報Ｇｉ内の各被写体の奥行き情報を推定することができる。
奥行き情報解析部１０３は、このようにして算出された奥行き情報の解析結果を、画像処理強度決定部１０１に出力する。
【００３４】
＜画像処理強度決定部１０１の処理の詳細＞
図４は、画像処理強度Ｓと奥行き情報Ｄとの関係の一例を示した図である。同図において、横軸が奥行き情報Ｄで、縦軸が画像処理強度Ｓである。同図において奥行き情報Ｄの値が大きくなるに従って、線形に画像処理強度Ｓが大きくなる特性が示されている。被写体の連続性を考慮すると、画像処理強度Ｓは奥行き情報Ｄに対して単調増加の関係が好適である。
【００３５】
図４では、奥行き情報Ｄが取り得る範囲の最大値（例えば２５５）にあるときに、画像処理強度が最も大きくなるようにし、奥行き情報Ｄが取り得る範囲の最小値（例えば０）にあるときに、画像処理強度Ｓが最も小さくなるようにしている。
しかし、実際に入力される画像情報は図３に示したように、奥行き情報の階調値の取り得る範囲のうち、一部の範囲に分布している。そのため、画像処理による効果が十分に得られない可能性がある。
【００３６】
そこで、画像処理強度決定部１０１は、奥行き情報解析部１０３が算出した第一の奥行き情報と第二の奥行き情報を利用して画像処理強度を決定する。画像処理強度決定部１０１は、第一の奥行き情報と第二の奥行き情報との間の所望の範囲で、画像処理強度を変化させる。
図５は、奥行き情報に対する画像処理強度の設定の一例を示す図である。同図において、横軸が奥行き情報Ｄで、縦軸が画像処理強度Ｓである。同図において、範囲最小値Ｄｍｉｎで画像処理強度Ｓがβ１であり、範囲最大値Ｄｍａｘで画像処理強度Ｓがβ２であることが示されている。また、同図において、範囲最小値Ｄｍｉｎから範囲最大値Ｄｍａｘまでの範囲で、奥行き情報の値が大きくなるに従って、線形に画像処理強度Ｓが大きくなる特性が示されている。
なお、奥行き情報ＤがＤｍｉｎ以下では、画像処理強度Ｓはβ１で一定とし、奥行き情報ＤがＤｍａｘ以下では、画像処理強度Ｓはβ２で一定とする。
【００３７】
画像処理強度決定部１０１は、例えば、図５に示すような特性により画像処理強度を決定する。具体的には、画像処理強度決定部１０１は、画像処理強度Ｓをβ１からβ２で変化させて画像処理を行う場合、範囲最小値Ｄｍｉｎでβ１となり範囲最大値Ｄｍａｘでβ２となるように設定し、その間の奥行き情報Ｄの画像処理強度Ｓを連続的に設定する。これにより、画像処理強度決定部１０１は、奥行き情報Ｄと画像処理強度Ｓの対応関係を設定する。そして、画像処理強度決定部１０１は、設定した奥行き情報Ｄと画像処理強度Ｓの対応関係に、各画素における奥行き情報Ｄを適用することにより、各画素における画像処理強度Ｓを算出する。
【００３８】
ここで、本実施形態の例では、範囲最小値Ｄｍｉｎを第一の奥行き情報とし、範囲最大値Ｄｍａｘを第二の奥行き情報とする。その場合、画像処理強度決定部１０１は、第二の奥行き情報において画像処理強度Ｓが最も大きくなり、第一の奥行き情報において画像処理強度が最も小さくなり、第一の奥行き情報と第二の奥行き情報の間で奥行き情報Ｄが大きくなるほど画像処理強度Ｓが大きくなるように画像処理強度を決定する。
【００３９】
＜画像処理部１０２の処理の詳細＞
図６と図７を用いて、画像処理装置１００に入力される画像情報Ｇｉと奥行き情報Ｄを説明する。図６は、第１の実施形態における画像処理装置１００に入力される画像情報Ｇｉの例を示す図である。同図において、近景に存在する被写体Ｂの画像領域７２と、被写体Ｂよりも遠方に位置する被写体Ａの画像領域７１とが示されている。
【００４０】
図７は、図６に対応した奥行き情報Ｄの例を示す図である。同図の各画素において、奥行き情報が白から黒までのグレースケールで表されており、白色になるほど奥行き情報が小さい。同図において、被写体Ａの画像領域に相当する奥行き情報（被写体Ａの奥行き情報）８１と、被写体Ｂの画像領域に相当する奥行き情報（被写体Ｂの奥行き情報）８２とが示されている。被写体Ｂの奥行き情報８２が被写体Ａの奥行き情報８１よりも奥行き情報Ｄが小さいことが示されている。これは、被写体Ｂが被写体Ａよりも手前に位置することを意味する。
【００４１】
図６のようなシーンが画像情報として入力され、対応する奥行き情報が図７として入力される場合、主要な被写体は近景に配置される被写体Ｂであり、背景が遠景に配置される被写体Ａなどである。遠景の被写体は光の散乱などにより輪郭が不鮮明になるため、画像処理部１０２における処理は、被写体までの距離が大きくなるほど輪郭強調の強度を大きくするのが好適である。また、近景である被写体Ｂは鮮明に撮影されているため、輪郭強調の強度を大きくするとノイズ感が目立ち画質が劣化してしまう。
【００４２】
そこで、画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓに基づいて、例えば、画像情報Ｇｉの輪郭を強調する。具体的には、画像処理部１０２は、画像処理強度Ｓが大きいほど、画像情報Ｇｉの輪郭を強く強調するように輪郭強調処理を行う。輪郭強調処理とは、例えば、隣接する画素との明るさ値の差が、より大きくなるように明るさ値を変換する処理である。このとき、明るさ値の差が大きいほど、輪郭が強く強調される。これらは、４近傍や８近傍の周辺画素を考慮した空間フィルタにより実現することができる。例えば、対象画素の画素値がＰ０、周辺画素の画素値がＰ１、Ｐ２、Ｐ３、Ｐ４である４近傍を考慮する場合、画像処理後の画素値Ｐは、Ｐ＝Ｐ０＋（Ｐ０×４−Ｐ１−Ｐ２‐Ｐ３‐Ｐ４）×Ｓとして算出することができる。ここで、Ｓは画尾処理強度決定部１０１により算出される画像処理強度である。
【００４３】
これにより、画像処理部１０２は、画像処理強度Ｓが大きくなるほど、画像情報Ｇｉの輪郭をより強調することができ、鮮明な画像を生成することができる。その結果、画像処理装置１００は、画像の遠景を鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくすることで、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、ユーザに奥行きを感じさせることができる。
【００４４】
しかも、画像処理装置１００は、奥行き情報Ｄの頻度分布に基づいて（特に奥行き情報Ｄの頻度分布に閾値を設定することで）画像処理強度Ｓを変更する奥行き情報Ｄの範囲を設定し、設定した奥行き情報Ｄの範囲で画像処理強度が変化させることができるので、適切に画像の奥行き感を強調することができる。
【００４５】
さらに、遠景では、光の散乱などによりコントラストも低下してしまう。そこで、画像処理部１０２における処理は、トーンカーブなどによりコントラストを強調するコントラスト補正をしてもよい。近景である被写体Ｃは十分なコントラストで十分な階調により撮影されており、過渡のコントラスト補正は階調数の減少が発生して画質が劣化してしまう。
そこで、画像処理部１０２は、画像処理強度Ｓが大きいほど、画像情報Ｇｉのコントラストが強くなるようにコントラスト補正処理を行ってもよい。ここで、コントラスト補正処理とは、例えば、明るさ値が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対する補正した値を定義したＬＵＴにより実現することができる。
【００４６】
コントラスト補正処理とは、例えば、明るさ値が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対する補正した値を定義したＬＵＴにより実現することができる。
これにより、画像処理部１０２は、コントラスト感が向上した画像を生成することができる。その結果、画像処理装置１００は、画像の遠景を鮮明にすることにより、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、その画像を見たユーザに対し近景との距離感を感じやすくさせることができるので、ユーザに奥行きを感じさせることができる。
【００４７】
また、記憶色や鮮やかさにより画像の彩度は高い方が好まれ、実物のように感じる。しかしながら、人物の肌などは肌色である必要があり、過渡の彩度強調は違和感が発生するため画質劣化となってしまう。そこで、画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓに基づいて、画像情報Ｇｉに対して彩度補正を行ってもよい。ここで、彩度補正処理は、ＨＳＶ空間での彩度を乗算または加算したり、入力される画素値を行列による線形変換したりすることにより実現することができる。これにより、画像処理部１０２は、奥行き情報Ｄに基づいて彩度を変化させることができる。その結果、画像処理部１０２は、画像の遠景の彩度を強調することで、違和感無く彩度が高められた画像を生成することができる。
【００４８】
これにより、画像処理装置１００は、画像の遠景の彩度を高くして、遠景を鮮明にすることにより、近景との距離感を感じやすくさせることができるので、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、その画像を見たユーザに対しユーザに奥行きを感じさせることができる。
【００４９】
図８は、第１の実施形態における画像処理装置１００の処理の一例を示すフローチャートである。まず、奥行き情報解析部１０３は、画像情報Ｇｉから範囲最小値Ｄｍｉｎを算出する（ステップＳ１０１）。次に、奥行き情報解析部１０３は、画像情報Ｇｉから範囲最大値Ｄｍａｘを算出する（ステップＳ１０２）。次に、画像処理強度決定部１０１は、範囲最小値Ｄｍｉｎと範囲最大値Ｄｍａｘに基づいて、奥行き情報Ｄと画像処理強度Ｓとの対応関係を設定する（ステップＳ１０３）。
【００５０】
次に、画像処理強度決定部１０１は、設定した対応関係に、各画素における奥行き情報Ｄを適用することにより、各画素における画像処理強度Ｓを算出する（ステップＳ１０４）。次に、画像処理部１０２は、画像処理強度決定部１０１が決定した各画素における画像処理強度Ｓに基づいて、その画素の画像情報Ｇｉに対して画像処理を行う。以上で、本フローチャートの処理を終了する。
【００５１】
以上により、画像処理強度決定部１０１は、画像情報Ｇｉの奥行き情報Ｄの範囲で奥行き情報Ｄに応じて画像処理強度Ｓを決定することができる。画像処理部１０２は、画像情報に含まれる全ての画像領域に対して、奥行き情報Ｄに応じた画像処理強度Ｓで画像処理を行うので、遠景を鮮明にすることができる。その結果、画像処理装置１００は、その画像を見たユーザに対し近景との距離感を感じやすくさせることができるので、ユーザに奥行きを感じさせることができる。
【００５２】
＜変形例１＞
さらに、画像処理強度決定部１０１は、前景の主要被写体の奥行き情報Ｄを利用して画像処理強度Ｓを決定してもよい。ここで、画像情報Ｇｉは主要被写体を中心とした画像であり、主要被写体からの奥行き情報Ｄの違いに対して画像処理をすることにより、主要被写体が強調される画像処理を行うことができる。
【００５３】
図９は、主要被写体以上に奥に位置する被写体に対して画像処理強度を行う場合における、奥行き情報に対する画像処理強度の設定の一例を示す図である。同図において、横軸が奥行き情報Ｄで、縦軸が画像処理強度Ｓである。また、同図において、Ｄｍｉｎは範囲最小値であり、Ｄｍａｘは範囲最大値である。同図において、主要被写体の奥行き情報Ｄｏｂｊで画像処理強度Ｓがβ１であり、範囲最大値Ｄｍａｘで画像処理強度Ｓがβ２であることが示されている。また、同図において、主要被写体の奥行き情報Ｄｏｂｊから範囲最大値Ｄｍａｘまでの範囲で、奥行き情報の値が大きくなるに従って、線形に画像処理強度Ｓが大きくなる特性が示されている。
【００５４】
奥行き情報解析部１０３は、奥行き情報Ｄの頻度分布から主要被写体の奥行き情報Ｄｏｂｊと奥行き情報の最大値Ｄｍａｘを抽出し、抽出した主要被写体の奥行き情報Ｄｏｂｊと奥行き情報の最大値Ｄｍａｘを画像処理強度決定部１０１に出力する。
画像処理強度決定部１０１は、画像処理強度Ｓをβ１からβ２で変化させて画像処理を行う場合、画像処理強度Ｓは、奥行き情報Ｄが主要被写体の奥行き情報Ｄｏｂｊでβ１となり範囲最大値Ｄｍａｘでβ２となるように設定し、その間の奥行き情報Ｄに対応する画像処理強度Ｓを連続的に設定する。
【００５５】
すなわち、奥行き情報解析部１０３は、奥行き情報Ｄの頻度分布から第一の奥行き情報および第二の奥行き情報に対応する奥行き情報Ｄを抽出する。ここで、本変形例１では、第二の奥行き情報が範囲最大値である。また、例えば、第一の奥行き情報が主要被写体の奥行き情報である。そして、画像処理強度決定部１０１は、第二の奥行き情報において画像処理強度が最も大きくなり、第一の奥行き情報において画像処理強度が最も小さくなり、奥行き情報が大きくなると画像処理強度が大きくなるように画像処理強度を決定する。
【００５６】
これにより、画像処理強度決定部１０１は、画像情報の主要被写体の奥行き情報Ｄｏｂｊに応じた画像処理強度を割り当てる。これにより、画像処理部１０２は、主要被写体以上に奥に位置する被写体の画像領域に対して、奥行き情報に応じた画像処理強度で画像処理を行うことができるので、ユーザに奥行きを感じさせることができる。
【００５７】
ここで、奥行き情報解析部１０３は、主要被写体が人物である場合には、顔認識技術を組み合わせることにより、主要被写体の奥行き情報Ｄｏｂｊを取得するようにしてもよい。例えば、顔認識により顔を検出したときに、検出した顔の領域に対応した奥行き情報Ｄを主要被写体の奥行き情報Ｄｏｂｊとする。このとき、奥行き情報解析部１０３は、検出した顔の領域に対応した奥行き情報Ｄを所定の領域の平均値とする。これにより、奥行き情報解析部１０３は、平均値を取ることより、奥行き情報Ｄに含まれるノイズなどの影響を低減することができる。
【００５８】
＜変形例２＞
さらに、画像処理強度決定部１０１は、主要被写体の奥行き情報Ｄｏｂｊと奥行き情報の最大値Ｄｍａｘの間の奥行き情報Ｄを起点として範囲最大値Ｄｍａｘに向かって画像処理強度Ｓを大きくしてもよい。ここで、人物や動物などの主要被写体は厚みを持っている。そのため、奥行き情報解析部１０３で算出された主要被写体の奥行き情報Ｄｏｂｊは、主要被写体の画像領域に含まれる各画素に対応する奥行き情報Ｄのうちのいずれかの奥行き情報Ｄである。
【００５９】
したがって、主要被写体より奥に位置する被写体から画像処理を開始するためには、画像処理強度決定部１０１は、算出された主要被写体の奥行き情報Ｄｏｂｊより予め決められた値だけ大きい奥行き情報Ｄを起点として範囲最大値Ｄｍａｘに向かって画像処理強度Ｓを大きくしてもよい。その際、例えば、画像処理強度決定部１０１は、図１０のような奥行き情報Ｓと画像処理強度Ｓの関係を使用して、画像処理強度Ｓを決定してもよい。
【００６０】
図１０は、主要被写体より奥に位置する被写体に対して画像処理強度を行う場合における、奥行き情報に対する画像処理強度の設定の一例を示す図である。同図において、横軸が奥行き情報Ｄで、縦軸が画像処理強度Ｓである。また、同図において、Ｄｍｉｎは範囲最小値であり、Ｄｍａｘは範囲最大値であり、Ｄ０は主要被写体の奥行き情報Ｄｏｂｊと奥行き情報の最大値Ｄｍａｘの間に位置する奥行き情報（以下、中間奥行き情報と称する）である。同図において、中間奥行き情報Ｄ０で画像処理強度Ｓがβ１であり、範囲最大値Ｄｍａｘで画像処理強度Ｓがβ２であることが示されている。また、同図において、中間奥行き情報Ｄ０から範囲最大値Ｄｍａｘまでの範囲で、奥行き情報Ｄの値が大きくなるに従って、線形に画像処理強度Ｓが大きくなる特性が示されている。
【００６１】
奥行き情報解析部１０３は、範囲最大値Ｄｍａｘと中間奥行き情報Ｄ０とを算出する。具体的には、例えば、奥行き情報解析部１０３は、主要被写体の奥行き情報Ｄｏｂjに所定値だけ加算することにより中間奥行き情報Ｄ０を算出する。そして、奥行き情報解析部１０３は、算出した範囲最大値Ｄｍａｘと中間奥行き情報Ｄ０とを画像処理強度決定部１０１に出力する。
【００６２】
なお、奥行き情報解析部１０３は、主要被写体の奥行き情報Ｄｏｂjに所定値だけ乗算すること、主要被写体の奥行き情報Ｄｏｂjと範囲最大値Ｄｍａｘの平均値とすること、または主要被写体の奥行き情報Ｄｏｂjと範囲最大値Ｄｍａｘと予め決められた割合で混合した値とすること等により中間奥行き情報Ｄ０を算出してもよい。
【００６３】
画像処理強度決定部１０１は、画像処理強度Ｓをβ１からβ２で変化させて画像処理を行う場合、中間奥行き情報Ｄ０でβ１となり範囲最大値Ｄｍａｘでβ２となるように設定し、その間の奥行き情報Ｄに対する画像処理強度Ｓを連続的に設定する。
【００６４】
すなわち、奥行き情報解析部１０３は、奥行き情報Ｄの頻度分布から第一の奥行き情報および第二の奥行き情報に対応する奥行き情報Ｄを抽出する。ここで、本変形例２では、第二の奥行き情報が範囲最大値Ｄｍａｘであり、第一の奥行き情報が中間奥行き情報Ｄ０である。そして、画像処理強度決定部１０１は、第二の奥行き情報において画像処理強度Ｓが最も大きくなり、第一の奥行き情報において画像処理強度Ｓが最も小さくなり、第一の奥行き情報と第二の奥行き情報の範囲で奥行き情報Ｄが大きくなると画像処理強度Ｓが大きくなるように画像処理強度Ｓを決定する。
【００６５】
これにより、画像処理部１０２は、主要被写体より奥に位置する被写体に対応する画像領域に対して、奥行き情報Ｄに応じた画像処理強度Ｓで画像処理を行うことができるので、ユーザに奥行きを感じさせることができる。
【００６６】
なお、画像処理強度決定部１０１は、上述した図４の特性、図５の特性（本実施形態の特性）、図９の特性（変形例１の特性）及び図１０の特性（変形例２の特性）をシーンによって選択するようにしても良い。例えば、画像処理強度決定部１０１は、近景の被写体が存在しない場合又は被写体として人物が存在しない場合などは、図４の特性を利用して画像処理強度Ｓを決定してもよい。また、画像処理強度決定部１０１は、近景の被写体や人物が被写体として存在する場合には、図１０の特性を利用してもよい。さらに、画像処理強度決定部１０１は、視差範囲が一部に偏っている場合（例えば、近景のみ、遠景のみの画像の場合）、画像処理強度Ｓを奥行き情報Ｄによらず一律に予め決められた値にしてもよい。これにより、画像処理装置１００は、シーンに応じて画像処理強度Ｓの決定方式を切り替えるので、シーンに応じた適切な画像処理を行うことができる。
【００６７】
ここで、上述の画像処理装置１００の実施例は、１枚の画像に相当する画像情報Ｇｉの画像処理について説明したが動画についても適用することができ、同様の効果を得ることができる。動画での処理においては、画像処理強度決定部１０１は、奥行き情報解析部１０３の算出結果を、解析対象フレームに対して時間的に前のフレームの結果も考慮する。
【００６８】
例えば、奥行き情報解析部１０３が、ある対象フレームで奥行き情報Ｄを解析した結果、範囲最大値がＤｍａｘ１で、範囲最小値がＤｍｉｎ１で、主要被写体の奥行き情報がＤｏｂj１であった場合で、更に次の場合について説明する。次の場合とは、奥行き情報解析部１０３がその対象フレームの直前のフレームで奥行き情報Ｄを解析した結果、範囲最大値がＤｍａｘ０で、範囲最小値がＤｍｉｎ０で、主要被写体の奥行き情報がＤｏｂj０であった場合である。
【００６９】
その場合、奥行き情報解析部１０３は、最終的に出力する範囲最大値として（Ｄｍａｘ１＋Ｄｍａｘ０）／２を、最終的に出力する範囲最小値として（Ｄｍｉｎ１＋Ｄｍｉｎ０）／２を、最終的に出力する主要被写体の奥行き情報として（Ｄｏｂj１＋Ｄｏｂj０）／２を算出する。そして、奥行き情報解析部１０３は、算出した上記各パラメータを画像処理強度決定部１０１に出力する。これにより、画像処理強度決定部１０１は、奥行き情報Ｄに含まれるノイズによる各パラメータのフレーム間の変動を低減することができ、出力画像情報Ｇｏが示す画像のちらつきを低減することができる。
【００７０】
なお、各パラメータの算出は平均値に限らず、奥行き情報解析部１０３は、中央値でもよく、各パラメータで別々の算出方式で算出してもよい。具体的には、例えば、奥行き情報解析部１０３は、最終的に出力する範囲最小値を直前フレームと対象フレームにおける範囲最小値の平均値で算出し、最終的に出力する主要被写体の奥行き情報は直前フレームと対象フレームにおける主要被写体の奥行き情報の中央値で算出してもよい。
【００７１】
また、対象フレームの各パラメータと平均をとるフレームは直前フレームに限らず、複数フレームだけ前のフレームでもよいし、対象フレームより後のフレームでもよく、対象フレームとは異なるフレームであればよい。また、奥行き情報解析部１０３は、二つのフレームで平均をとったが、これに限らず、三つ以上のフレームで平均をとってもよい。さらに、フレーム間で画像のシーンが大きく変わらない場合は、直前までの数フレームを、対象フレームの解析結果とすることで、画像処理の遅延を低減することができる。
【００７２】
すなわち、奥行き情報解析部１０３は、対象フレームにおける奥行き情報の頻度分布に関する情報と、該対象フレームより前のフレームにおける少なくとも一つ以上の奥行き情報の頻度分布に関する情報を算出する。ここで、頻度分布に関する情報とは、頻度分布から算出される情報であり、例えば、範囲最小値、範囲最大値又は主要被写体の奥行き情報または中間奥行き情報である。そして、画像処理強度決定部１０１は、奥行き情報解析部１０３が算出した複数の奥行き情報の頻度分布に基づいて、画像情報の各画素における画像処理強度を決定すればよい。
【００７３】
なお、奥行き情報解析部１０３は、画像情報の平均輝度、輪郭強度又は色彩分布などが大きく変化した場合には、シーンが変化したと判定してもよい。その場合、奥行き情報解析部１０３は、前のフレームの計算結果を用いずに、対象フレームの計算結果だけを利用して各パラメータを算出してもよい。これにより、画像処理装置１００は、シーンが変化した際には、前のフレームのパラメータを参照しないので、前のシーンのパラメータによる影響を受けずに、現在のシーンの奥行き情報Ｄに応じた画像処理強度Ｓで画像処理を行うことができる。
【００７４】
以上に説明したように、本実施形態の画像処理装置１００は、奥行き情報Ｄの頻度分布から画像処理強度を変化させる起点となる第一の奥行き情報を抽出する。画像処理装置１００は、抽出した第一の奥行き情報から範囲最大値に向かって画像処理強度Ｓを大きくするように、各画素における画像処理強度Ｓを決定する。そして、画像処理装置１００は、画素毎に決定した画像処理強度Ｓで、当該画素に対して予め決められた画像処理を行う。これにより、画像処理装置１００は、適切な奥行き情報Ｄの範囲で画像処理強度Ｓを変化させることで、遠景の画像領域を鮮明にすることができ、奥行き感を向上した高画質な画像を生成することができる。このことから、画像処理装置１００は、ユーザが奥行きを感じることができる画像を生成することができる。
【００７５】
［第２の実施形態］
図１１は、第２の実施形態における撮像装置３０１の概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。撮像装置３０１は、撮像部２００と、撮像部２０１と、画像処理装置１００ａと、画像表示部２０３と、画像記憶部２０４とを備える。また、図１１の画像処理装置１００ａの構成は、図１の第１の実施形態の画像処理装置１００の構成に対して、視差算出部２０２が追加されたものになっている。
【００７６】
撮像部２００および撮像部２０１の２つの撮像装置は、互いに平行に配置されている。撮像部２００および２０１はレンズモジュールとＣＣＤ（Charge Coupled Devic）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサなどで構成される。
撮像部２００は被写体を撮像し、撮像することにより得られた第１画像情報を視差算出部２０２に出力する。同様に、撮像部２０１は被写体を撮像し、撮像することにより得られた第２画像情報を視差算出部２０２に出力する。
【００７７】
視差算出部２０２は、入力画像と、入力画像とは視点の異なる画像とに基づき、入力画像の各画素に対応する視差を算出し、算出した視差に基づいて奥行き情報Ｄを決定する。ここで、視差は２つの画像間の被写体のずれ量である。具体的には、例えば、視差算出部２０２は、撮像部２００から入力された第１画像情報と撮像部２０１から入力された第２画像情報とを用いて、ブロックマッチングにより、第１画像情報の各画素に対応する視差値を算出する。
【００７８】
ここで、撮影された被写体までの距離Ｚと視差ｄの関係はｄ＝ｆ×Ｂ／Ｚで表される。ｆは撮像部２００及び撮像部２０１の焦点距離であり、Ｂは撮像部２００と撮像部２０１との間の距離である基線長である。上述の距離Ｚと視差ｄの関係式から、距離Ｚと視差ｄとには相関がある。本実施形態において、画像処理装置１００ａは、視差ｄに基づいて奥行き情報Ｄを算出する。
【００７９】
図１２は、距離Ｚと視差ｄとの関係を示した図である。同図に示すように、距離Ｚと視差ｄとは反比例の関係にあり、線形的な関係ではない。そこで、視差算出部２０２は、距離との関係が線形となるように視差ｄを変換し、変換後の値を奥行き情報Ｄとして利用する。具体的には、例えば、視差算出部２０２は、算出した視差ｄの逆数（１／ｄ）を算出し、算出した視差ｄの逆数を奥行き情報Ｄとする。そして、視差算出部２０２は、算出した奥行き情報Ｄを、画像処理強度決定部１０１に出力する。
【００８０】
なお、視差の変換は、距離と完全に線形の関係にする必要はなく、それに近い変換であればよい。
また、視差算出部２０２は、算出した視差ｄをそのまま奥行き情報Ｄとしてもよい。その場合、奥行き情報Ｄは被写体までの距離が遠いほど小さく、距離が近いほど大きくなる。そのため、画像処理強度決定部１０１は、奥行き情報Ｄの値が小さくなるほど画像処理強度Ｓを大きくすればよい。これにより、画像処理強度決定部１０１は、奥行き情報Ｄが奥を示すほど画像処理強度Ｓを大きくすることができる。
【００８１】
画像処理強度決定部１０１は、視差算出部２０２から入力された奥行き情報Ｄに基づいて、画像処理強度Ｓを決定する。画像処理部１０２は、画像処理強度決定部１０１が決定した画像処理強度Ｓで撮像部２００から入力された第一画像情報に対して画像処理を行う。画像処理部１０２は画像処理により得られた出力画像情報Ｇｏを、画像表示部２０３に表示させたり、画像記憶部２０４に記憶させたりする。
【００８２】
以上に説明したように、本実施形態の撮像装置３０１は、奥行き情報Ｄの頻度分布から画像処理強度Ｓを変化させる起点となる第一の奥行き情報を抽出する。そして、撮像装置３０１は、抽出した第一の奥行き情報から範囲最大値Ｄｍａｘに向かって画像処理強度を大きくするように、各画素における画像処理強度Ｓを決定する。これにより、撮像装置３０１は、適切な奥行き情報Ｄの範囲で画像処理強度Ｓを変化させることで、遠景の画像領域を鮮明にすることができ、奥行き感を向上した高画質な画像を生成することができる。このことから、撮像装置３０１は、ユーザが奥行きを感じることができる画像を生成することができる。
【００８３】
しかも、画像処理装置１００は、奥行き情報Ｄの頻度分布に基づいて（特に奥行き情報Ｄの頻度分布に閾値を設定することで）画像処理強度Ｓを変更する奥行き情報Ｄの範囲を設定し、設定した奥行き情報Ｄの範囲で画像処理強度が変化させることができるので、適切に画像の奥行き感を強調することができる。
【００８４】
なお、本実施形態では、撮像部を２つ備えた撮像装置３０１について説明したが、複数の画像から視差情報を算出する方式でも同様の効果が得られ、例えば、１回目の撮影位置から左右方向へ移動して２回目の撮影を行うことで実現できる。また、視差算出部２０２に代えて後述する奥行き情報算出部を備えるようにしてもよい。
【００８５】
［第３の実施形態］
図１３は、第３の実施形態における表示装置３０２の概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。表示装置３０２は、画像処理装置１００ｂと、画像表示部２０３とを備える。図１３の画像処理装置１００ｂの構成は、図１の第１の実施形態の画像処理装置１００の構成に対して、奥行き情報算出部２０５が追加されたものになっている。
【００８６】
奥行き情報算出部２０５は、自装置の外部から入力される画像情報Ｇｉから奥行き情報Ｄを推定する。ここで、奥行き情報Ｄの推定には、従来の様々な推定方式が使用できる。例えば、奥行き情報算出部２０５は、色情報、消失点解析、領域分割、オブジェクト抽出などにより２次元画像から３次元画像を生成することにより、奥行き情報Ｄを生成する。奥行き情報算出部２０５は、推定した奥行き情報Ｄを画像処理強度決定部１０１に出力する。
【００８７】
画像処理部１０２は、第１の実施形態の画像処理部１０２と同様の機能を有するが、以下の点が異なる。画像処理部１０２は、画像処理により得られた出力画像を画像表示部２０３に表示させる。
これにより、表示装置３０２は、適切な奥行き情報Ｄの範囲で画像処理強度Ｓを変化させることで、遠景の画像領域を鮮明にすることができ、奥行き感を向上した高画質な画像を生成することができる。このことから、表示装置３０２は、ユーザが奥行きを感じることができる画像を表示することができる。
【００８８】
なお、本実施形態では、奥行き情報算出部２０５を備えた表示装置３０２について説明したが、立体映像などの情報をもった画像情報が入力された場合には、立体映像から視差を算出し、視差に基づいて奥行き情報Ｄを算出し、算出した奥行き情報Ｄに基づいて画像処理強度Ｓを決定してもよい。その場合にも表示装置３０２は、上記と同様の効果が得られる。また、表示装置３０２に画像情報とともに奥行き情報Ｄが入力される場合には、表示装置３０２は、奥行き情報Ｄを直接、画像処理強度決定部１０１へ入力するようにしてもよい。
【００８９】
また、複数の装置を備えるシステムが、各実施形態の画像処理装置（１００、１００ａ又は１００ｂ）の各処理を、それらの複数の装置で分散して処理してもよい。
また、本実施形態の画像処理装置（１００、１００ａ又は１００ｂ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置（１００、１００ａ又は１００ｂ）に係る上述した種々の処理を行ってもよい。
【００９０】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９１】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００９２】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００９３】
１００、１００ａ、１００ｂ  画像処理装置
１０１  画像処理強度決定部
１０２  画像処理部
１０３  奥行き情報解析部
１１１  頻度分布算出部
１１２  第一の奥行き情報算出部
１１３  第二の奥行き情報算出部
２００、２０１  撮像部
２０２  視差算出部
２０３  画像表示部
２０４  画像記憶部
２０５  奥行き情報算出部
【図１】
2013132018.tif 000003
【図２】
2013132018.tif 000004
【図３】
2013132018.tif 000005
【図４】
2013132018.tif 000006
【図５】
2013132018.tif 000007
【図６】
2013132018.tif 000008
【図７】
2013132018.tif 000009
【図８】
2013132018.tif 000010
【図９】
2013132018.tif 000011
【図１０】
2013132018.tif 000012
【図１１】
2013132018.tif 000013
【図１２】
2013132018.tif 000014
【図１３】
2013132018.tif 000015
【図１４】
2013132018.tif 000016