(57)【要約】【課題】奥行き制御効果と画質の両立を実現することができるようにする。【解決手段】奥行き調整量決定部は、入力された画像の奥行き調整量を決定する。入力値調整量決定部は、画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された奥行き調整量に対応する彩度成分の網膜応答を示す入力値の調整量を決定する。調整ゲイン計算部は、決定された入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算する。ゲイン重畳部は、調整ゲイン計算部で計算された各空間周波数成分の調整ゲインを、入力された画像の彩度成分に重畳する。本開示の技術は、例えば、３次元画像を処理する画像処理装置等に適用できる。【選択図】図４
2015132995.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像の奥行き調整量を決定する奥行き調整量決定部と、
画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、
前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量を決定する入力値調整量決定部と、
決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算する調整ゲイン計算部と、
前記調整ゲイン計算部で計算された前記各空間周波数成分の調整ゲインを、入力された前記画像の彩度成分に重畳するゲイン重畳部と
を備える画像処理装置。
【請求項２】
前記評価関数記憶部は、前記彩度成分に加えて画像の輝度コントラスト成分と、前記主観的奥行き量との関係を表す前記評価関数を記憶し、
前記入力値調整量決定部は、前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記輝度コントラスト成分及び前記彩度成分それぞれの網膜応答を示す入力値の調整量を決定し、
前記調整ゲイン計算部は、前記輝度コントラスト成分及び前記彩度成分それぞれについて、前記入力値の調整量に基づいて各空間周波数成分の調整ゲインを計算し、
前記ゲイン重畳部は、前記輝度コントラスト成分及び前記彩度成分それぞれについて、前記調整ゲイン計算部で計算された前記各空間周波数成分の調整ゲインを、入力された前記画像に重畳する
請求項１に記載の画像処理装置。
【請求項３】
前記入力値調整量決定部は、前記輝度コントラスト成分と前記彩度成分の調整バランスを設定するパラメータを有し、前記パラメータにより設定された前記調整バランスで、前記輝度コントラスト成分及び前記彩度成分それぞれの網膜応答を示す入力値の調整量を決定する
請求項２に記載の画像処理装置。
【請求項４】
前記彩度成分及び前記輝度コントラスト成分と前記主観的奥行き量との関係を表す前記評価関数は、前記彩度成分をIcol、前記輝度コントラスト成分をIlum、前記彩度成分の主観的奥行き量をDcol、前記輝度コントラスト成分の主観的奥行き量をDlum、前記彩度成分と前記輝度コントラスト成分の統合による主観的奥行き量をD(Ilum，Icol)として、
【数２５】
2015132995.tif 000029
（Alum，Acol，Bは、所定の定数）で表される
請求項２に記載の画像処理装置。
【請求項５】
前記彩度成分及び前記輝度コントラスト成分と前記主観的奥行き量との関係を表す前記評価関数は、前記彩度成分をIcol、前記輝度コントラスト成分をIlum、前記彩度成分と前記輝度コントラスト成分の統合による主観的奥行き量をD(Ilum，Icol)として、
【数２６】
2015132995.tif 000030
（Alum，Acol，Bは、所定の定数）で表される
請求項２に記載の画像処理装置。
【請求項６】
前記彩度成分と前記主観的奥行き量との関係を表す前記評価関数は、前記彩度成分をIcol、前記主観的奥行き量をDcolとして、
Dcol＝Acollog10Icol＋Bcol
（AcolおよびBcolは、所定の定数）で表される
請求項１に記載の画像処理装置。
【請求項７】
入力された前記画像は、３次元画像である
請求項１に記載の画像処理装置。
【請求項８】
前記３次元画像は、左眼用画像と右眼用画像から構成されるステレオ画像の形式で入力される
請求項７に記載の画像処理装置。
【請求項９】
前記３次元画像は、３以上の複数の視点画像から構成される多視点画像の形式で入力される
請求項７に記載の画像処理装置。
【請求項１０】
前記３次元画像は、２次元画像と奥行き情報の形式で入力される
請求項７に記載の画像処理装置。
【請求項１１】
入力された前記画像は、２次元画像である
請求項１に記載の画像処理装置。
【請求項１２】
入力された前記画像の表色系を、RGB表色系からCIE L*a*b*表色系に変換する色変換部をさらに備える
請求項１に記載の画像処理装置。
【請求項１３】
入力された前記画像から、奥行き情報を推定する奥行き情報推定部と、
前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部と
をさらに備え、
前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する
請求項１に記載の画像処理装置。
【請求項１４】
前記奥行き情報推定部は、入力された前記画像が２次元画像である場合、前記２次元画像を解析した解析結果に基づいて、前記奥行き情報を推定する
請求項１３に記載の画像処理装置。
【請求項１５】
空間周波数成分ごとの調整ゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、
前記調整ゲイン計算部は、前記関数を前記入力値の調整量に乗算して、前記調整ゲインを計算する
請求項１に記載の画像処理装置。
【請求項１６】
前記ゲイン重畳部は、入力された前記画像を周波数ドメインに変換し、前記周波数ドメインに変換された前記画像に対し、前記各空間周波数成分の調整ゲインを畳み込み積分した結果を、画像ドメインに逆変換する
請求項１に記載の画像処理装置。
【請求項１７】
前記ゲイン重畳部は、フーリエ変換により、入力された前記画像を周波数ドメインに変換し、逆フーリエ変換により、前記画像ドメインに逆変換する
請求項１６に記載の画像処理装置。
【請求項１８】
前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である
請求項１に記載の画像処理装置。
【請求項１９】
入力された画像を処理する画像処理装置が、
入力された前記画像の奥行き調整量を決定し、画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算し、
計算された前記各空間周波数成分の調整ゲインを、入力された前記画像の彩度成分に重畳する
画像処理方法。
【請求項２０】
コンピュータを、
入力された画像の奥行き調整量を決定する奥行き調整量決定部と、
画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量を決定する入力値調整量決定部と、
決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算する調整ゲイン計算部と、
前記調整ゲイン計算部で計算された前記各空間周波数成分の調整ゲインを、入力された前記画像の彩度成分に重畳するゲイン重畳部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、奥行き制御効果と画質の両立を実現することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
人間が物体の立体感や奥行きを知覚するための情報としては、両眼による両眼立体情報と、単眼による単眼立体情報とがある。人間は、単眼立体情報と両眼立体情報とを併せて、物体や空間の立体感や奥行き感を知覚している。両眼立体情報には、例えば、両眼視差、水平輻輳などがあり、単眼立体情報には、例えば、陰影、コントラスト、色、空間周波数、遮蔽関係などがある。
【０００３】
２次元ディスプレイに画像を表示させ、鑑賞者に３次元画像として知覚させる場合において、立体感や奥行き感を強調したいとき、例えば、両眼立体情報のうちの一つである両眼視差を大きくする方法が考えられる。
【０００４】
しかし、両眼視差を大きくすることは、人間の眼球構造や視覚特性の観点からすると、次のような問題がある。すなわち、人間の眼球は、通常、平行からやや内向きの輻輳状態になっているため、両眼視差が瞳孔間距離よりも大きくなると、両眼が外側に向く開散状態となる。瞳孔間距離は年齢や性別などによって異なるため、特に、瞳孔間距離が通常よりも狭い人は、開散状態になりやすい。
【０００５】
従って、両眼視差を大きくすることで立体感や奥行き感を強調することは、眼精疲労を生じさせることになりやすい。
【０００６】
そこで、単眼立体情報を用いて、立体感や奥行き感を強調する方法が提案されている。例えば、特許文献１では、画像内のオブジェクトの奥行き位置に応じて、オブジェクトが有する陰影、遮蔽関係、ボケ具合の特徴を変化させることで、奥行き感を強調させることが提案されている。
【０００７】
しかしながら、特許文献１では、どのパラメータをどのような計算式に基づいてどのような値に設定すればよいかが具体的に開示されていない。試行錯誤的に値を設定した場合であっても、得られる左眼用画像と右眼用画像が人間にとって自然で快適である保証はなく、むしろ不自然さや不快感を覚えたり、視覚疲労を引き起こしたりする可能性もある。
【０００８】
そこで、本出願人は、単眼立体情報と奥行き知覚の関係を定量化し、その定量関係を用いて立体感や奥行き感を制御する技術を提案している（特許文献２，３）。特許文献２には、コントラストと奥行き知覚の関係を定量化し、その定量関係を用いてコントラストを調整し、立体感や奥行き感を制御する技術が開示されている。また、特許文献３には、コントラスト/空間周波数と奥行き知覚の関係を定量化し、その定量関係を用いて空間周波数ごとにコントラストを調整し、奥行きを制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００１−２３８２３１号公報
【特許文献２】特開２０１１−１１３３６３号公報
【特許文献３】特開２０１２−２４７８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献２，３に開示した技術は、コントラストとして画像の輝度情報のみを利用した処理であり、色の情報を考慮していないため、奥行き制御効果と画質の両立に制限があった。
【００１１】
本開示は、このような状況に鑑みてなされたものであり、奥行き制御効果と画質の両立を実現することができるようにするものである。
【課題を解決するための手段】
【００１２】
本開示の一側面の画像処理装置は、入力された画像の奥行き調整量を決定する奥行き調整量決定部と、画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量を決定する入力値調整量決定部と、決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算する調整ゲイン計算部と、前記調整ゲイン計算部で計算された前記各空間周波数成分の調整ゲインを、入力された前記画像の彩度成分に重畳するゲイン重畳部とを備える。
【００１３】
本開示の一側面の画像処理方法は、入力された画像を処理する画像処理装置が、入力された前記画像の奥行き調整量を決定し、画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算し、計算された前記各空間周波数成分の調整ゲインを、入力された前記画像の彩度成分に重畳する。
【００１４】
本開示の一側面のプログラムは、コンピュータを、入力された画像の奥行き調整量を決定する奥行き調整量決定部と、画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量を決定する入力値調整量決定部と、決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算する調整ゲイン計算部と、前記調整ゲイン計算部で計算された前記各空間周波数成分の調整ゲインを、入力された前記画像の彩度成分に重畳するゲイン重畳部として機能させるためのものである。
【００１５】
本開示の一側面においては、入力された画像の奥行き調整量が決定され、画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量が決定され、決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインが計算され、計算された前記各空間周波数成分の調整ゲインが、入力された前記画像の彩度成分に重畳される。
【００１６】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１７】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１８】
本開示の一側面によれば、奥行き制御効果と画質の両立を実現することができる。
【００１９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】画像の輝度コントラスト及び彩度と奥行き知覚の定量関係を示す図である。
【図２】輝度コントラストの奥行き効率Elum(ω)を示す図である。
【図３】彩度の奥行き効率Ecol(ω)を示す図である。
【図４】本技術が適用された画像処理装置の第１の実施の形態の構成例を示すブロック図である。
【図５】奥行き調整量定義関数の一例を示す図である。
【図６】評価関数上を探索を説明する図である。
【図７】重み関数f(ω)の設定例を示す図である。
【図８】重み関数f(ω)の設定例を示す図である。
【図９】重み関数f(ω)の設定例を示す図である。
【図１０】奥行き制御処理を説明するフローチャートである。
【図１１】画像処理結果例を説明する図である。
【図１２】画像処理結果例を説明する図である。
【図１３】フーリエ変化以外の処理例を説明する図である。
【図１４】フーリエ変化以外の処理例を説明する図である。
【図１５】評価関数のその他の例を説明する図である。
【図１６】本技術が適用された画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図１７】第２の実施の形態の評価関数の例を説明する図である。
【図１８】I値調整量決定部の処理を説明する図である。
【図１９】彩度ゲイン重畳部の詳細構成例を示すブロック図である。
【図２０】ブロックマッチングを説明する図である。
【図２１】ブロックマッチングを説明する図である。
【図２２】本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像の輝度コントラストと彩度を調整して奥行き制御する構成例）
２．第２の実施の形態（画像の彩度のみを調整して奥行き制御する構成例）
３．第３の実施の形態（２次元画像に対して奥行き制御する例）
【００２２】
＜１．第１の実施の形態＞
＜画像の輝度コントラスト及び彩度と奥行き知覚の定量関係＞
以下で説明する画像処理装置では、画像の輝度コントラストと彩度を調整することで、その画像をみたユーザが感じる奥行き知覚を変更する調整を行う。
【００２３】
そこで、初めに、画像の輝度コントラスト及び彩度と奥行き知覚との定量関係について説明する。
【００２４】
図１は、視覚実験により得られた、画像の輝度コントラスト及び彩度と奥行き知覚の定量関係を示す図である。
【００２５】
図１において、X軸は輝度コントラストの網膜応答Ilumを表し、Y軸は彩度の網膜応答Icolを表す。そして、図１のXY平面上に、(Ilum, Icol)における主観的奥行き量D(Ilum, Icol)が、グレースケールでマッピングされている。主観的奥行き量D(Ilum, Icol)は、グレースケールの濃度が薄いほど、鑑賞者は物体が手前にあると感じることを示している。
【００２６】
図１では、輝度コントラストが強いほど、または、彩度が高いほど、グレースケールの濃度が薄くなっている。従って、画像の輝度コントラスト及び彩度と奥行き知覚との間には、輝度コントラストが強ければ物体がより手前に知覚され、彩度が高ければ物体がより手前に知覚されるという関係があることが、視覚実験により得られている。
【００２７】
輝度コントラストの網膜応答Ilumと、彩度の網膜応答Icolについて詳細に説明する。
【００２８】
X軸の輝度コントラストの網膜応答Ilumは、次式（１）によって定義することができる。
【数１】
2015132995.tif 000003
式（１）において、ωは空間周波数（cpd (cycle per degree)）、Ωは局所領域（例えばMxNの矩形領域）内の空間周波数の集合（DC成分を含まない）、Elum(ω)は空間周波数ωの輝度コントラストの奥行き効率、Slum(ω)は空間周波数ωの輝度コントラスト（輝度成分の空間周波数ごとのスペクトル）を表す。空間周波数ωの輝度コントラストSlum(ω)は、局所領域をフーリエ変換することで得ることができる。
【００２９】
奥行き効率Elum(ω)は所定の空間周波数ω（cpd）の重みに相当し、式（１）は、網膜応答Ilumが重み付きの複数空間周波数コントラストの重ね合わせで表現できることを示している。
【００３０】
輝度コントラストの奥行き効率Elum(ω)は、次式（２）によって表すことができる。
【数２】
2015132995.tif 000004
【００３１】
図２は、式（２）の輝度コントラストの奥行き効率Elum(ω)のグラフである。
【００３２】
図２で分かるように、輝度コントラストの奥行き効率Elum(ω)は、空間周波数ωが低いほど奥行きの効率Elum(ω)は高くなり、空間周波数ωが高いほど奥行きの効率Elum(ω)が低くなる、ローパス型の視覚フィルタとしての性質を持っている。
【００３３】
一方、彩度の網膜応答Icolは、次式（３）によって定義することができる。
【数３】
2015132995.tif 000005
式（３）において、ωは空間周波数（cpd）、Ω’は局所領域内の空間周波数の集合（DC成分を含む）、Ecol(ω)は空間周波数ωの彩度の奥行き効率、Scol(ω)は空間周波数ωの彩度（彩度成分の空間周波数ごとのスペクトル）を表す。空間周波数ωの彩度Scol(ω)は、局所領域をフーリエ変換することで得ることができる。
【００３４】
輝度コントラストの場合と同様に、奥行き効率Ecol(ω)が所定の空間周波数ω（cpd）の重みに相当し、式（３）は、網膜応答Icolが重み付きの複数空間周波数の彩度の重ね合わせで表現できることを示している。
【００３５】
彩度の奥行き効率Ecol(ω)は、次式（４）によって表すことができる。
【数４】
2015132995.tif 000006
【００３６】
図３は、式（４）の彩度の奥行き効率Ecol(ω)のグラフである。
【００３７】
図３で分かるように、彩度の奥行き効率Ecol(ω)は、空間周波数ωが低いほど奥行きの効率Ecol(ω)は高くなり、空間周波数ωが高いほど奥行きの効率Ecol(ω)が低くなる、ローパス型の視覚フィルタとしての性質を持つが、輝度コントラストの奥行き効率Elum(ω)とは式が異なる。
【００３８】
なお、本実施の形態では、輝度コントラストの奥行き効率Elum(ω)と彩度の奥行き効率Ecol(ω)を、上記のような指数関数で表すこととするが、他の関数で表すようにしてもよい。
【００３９】
例えば、次式（５）のように、３つの定義域に区切って多項式で近似して表すこともできる。また、折れ線により近似してもよい。
【数５】
2015132995.tif 000007
【００４０】
以上のように定義された輝度コントラストの網膜応答Ilumを用いて、輝度コントラスト単体から知覚される主観的奥行き量Dlumは、次式（６）で表すことができる。
【数６】
2015132995.tif 000008
【００４１】
また、彩度の網膜応答Icolを用いて、彩度単体から知覚される主観的奥行き量Dcolは、次式（７）で表すことができる。
【数７】
2015132995.tif 000009
【００４２】
そして、輝度コントラストの主観的奥行き量Dlumと、彩度の主観的奥行き量Dcolとの統合により知覚される主観的奥行き量D(Ilum, Icol)は、次式（８）で表すことができる。
【数８】
2015132995.tif 000010
【００４３】
式（６）のAlum、式（７）のAcol、及び、式（８）のBは、所定の定数を表す。式（８）は、輝度コントラストの主観的奥行き量Dlumが、彩度の主観的奥行き量Dcolよりも大きければ、主観的奥行き量D(Ilum, Icol)としては輝度コントラストの主観的奥行き量Dlumが優先され、逆に、彩度の主観的奥行き量Dcolが、輝度コントラストの主観的奥行き量Dlumよりも大きければ、彩度の主観的奥行き量Dcolが優先されることを示している。
【００４４】
なお、式（６）及び式（７）では、対数型の関数で視覚実験データをフィッティングすることで精度の良い関数近似を実現しているが、主観的奥行き量Dlum及びDcolは、視覚系の応答について利用されるNaka-Rushtonの式によっても表すことができる。
【００４５】
また、上記では、フーリエ変換による空間周波数ドメインでの解析を例として輝度コントラストの網膜応答Ilumと彩度の網膜応答Icolを計算する方法を説明した。しかしながら、例えば、ウェーブレット変換あるいはガボールフィルタなどの帯域通過型フィルタを輝度成分画像と彩度成分画像にそれぞれ適用することで、近似的に輝度コントラストの網膜応答Ilumと彩度の網膜応答Icolを計算してもよい。
【００４６】
以下で説明する画像処理装置では、図１に示した、視覚実験により得られた、画像の輝度コントラスト及び彩度と奥行き知覚との定量関係を、評価関数として用いて、画像から知覚される奥行き量を調整する処理が行われる。
【００４７】
＜画像処理装置のブロック図＞
図４は、本技術が適用された画像処理装置の第１の実施の形態の構成例を示すブロック図である。
【００４８】
画像処理装置１は、入力された３次元画像の輝度コントラストと彩度を制御することで、その３次元画像の奥行き感を調整する処理を行う。ここで、３次元画像とは、鑑賞者に３次元画像を知覚させるための画像をいう。
【００４９】
画像処理装置１に入力された３次元画像（以下、原画像ともいう。）は、色変換部１１に供給される。なお、外部から入力される３次元画像のデータ形式には様々な形式があるが、その形式は問わない。３次元画像のデータ形式には、例えば、左眼用画像（L画像）と右眼用画像（R画像）から構成されるステレオ画像の形式である第１のデータ形式、３以上の複数の視点画像から構成される多視点画像の形式である第２のデータ形式、２次元画像とその奥行き情報という形式である第３のデータ形式などがある。本実施の形態では、第１のデータ形式で３次元画像の画像データが供給されるものとして、画像処理装置１は、左眼用画像と右眼用画像それぞれに対して処理を行うものとする。
【００５０】
色変換部１１は、供給される原画像（左眼用画像と右眼用画像のそれぞれ）を輝度成分と彩度成分に分解する。例えば、原画像の表色系をCIE L*a*b*表色系に変換することで、輝度成分であるL* (∝ 輝度Y)と、彩度成分であるa*, b*成分に分解することができる。具体的には、原画像がRGB表色系で表されている場合、この色変換はCIEで規定される次式（９）乃至式（１４）により計算される。
【数９】
2015132995.tif 000011
【００５１】
色変換部１１は、式（１０）により得られた原画像の輝度Y（原画像Y）を、奥行き推定部１２と輝度I値推定部１５に供給し、式（１３）及び式（１４）により得られた原画像の彩度a*及びb*（原画像a*,b*）を、彩度I値推定部１６に供給する。なお、輝度成分としては、輝度Yではなく、式（１２）で得られたL*を用いてもよい。
【００５２】
奥行き推定部１２は、色変換部１１から供給された原画像の各画素について奥行き情報（ディスパリティ）を推定する。具体的には、奥行き推定部１２は、ステレオ画像における水平方向の対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。両眼視差は、ブロックマッチング法や、輝度勾配の画像面内の空間相関とLR画像間の相関によって対応点のずれ量を推定する勾配法などの手法を用いることで算出することができる。
【００５３】
また、３次元画像が第２のデータ形式で入力された場合には、奥行き推定部１２は、３以上の視点画像のうちの対応する２枚の視点画像に対して両眼視差を算出し、算出された両眼視差から、奥行き情報を近似的に算出する。さらに、３次元画像が第３のデータ形式で入力された場合には、奥行き推定部１２は、奥行き情報そのものが供給されるので、それを採用する。
【００５４】
奥行き推定部１２により推定された奥行き情報は、奥行き調整量決定部１４に供給される。
【００５５】
奥行き調整量定義関数記憶部１３は、奥行き情報（の値）に対する奥行き調整量を定義した奥行き調整量定義関数を記憶し、奥行き調整量決定部１４に供給する。
【００５６】
＜奥行き調整量定義関数の一例＞
図５は、奥行き調整量定義関数記憶部１３に記憶される奥行き調整量定義関数の一例を示している。
【００５７】
図５の横軸は、入力された３次元画像において検出される奥行き情報（単位：画素）を示し、縦軸は奥行き調整量（単位：arcmin）を示している。奥行き情報は、正の値が画像上の物体をユーザが奥に知覚するディスパリティであり、負の値が画像上の物体をユーザが手前に知覚するディスパリティである。奥行き調整量は、正の値が手前に変化させることを表し、負の値が奥に変化させることを表す。
【００５８】
図５で示される奥行き調整量定義関数は、入力された３次元画像において奥にある物体は、より奥に変化するように移動させ、手前にある物体は、より手前に変化するように移動させて、画像のもつ立体感や奥行きのダイナミックレンジが強調されるような関数として定義されている。
【００５９】
図４の奥行き調整量決定部１４は、奥行き調整量定義関数記憶部１３に記憶されている、このような奥行き調整量定義関数に基づいて、原画像の各画素について奥行き調整量を決定する。例えば、原画像の奥行き情報ｄである画素に対して、奥行き調整量決定部１４は、図５の奥行き調整量定義関数を用いて、奥行き調整量△Dを決定する。決定された奥行き調整量△Dは、I値調整量決定部１８に供給される。
【００６０】
輝度I値推定部１５は、原画像の各画素を注目画素として、注目画素を中心とする局所領域（M x N画素）を解析し、上述した式（１）及び式（２）を用いて、注目画素の輝度コントラストのモデル入力値Ilumを計算する。輝度I値推定部１５は、原画像の各画素の輝度Yと輝度コントラストのモデル入力値Ilumを、I値調整量決定部１８に供給する。
【００６１】
彩度I値推定部１６は、原画像の各画素を注目画素として、注目画素を中心とする局所領域（M x N画素）を解析し、上述した式（３）及び式（４）を用いて、注目画素の彩度のモデル入力値Icolを計算する。彩度I値推定部１６は、原画像の各画素の彩度a*及びb*と彩度のモデル入力値Icolを、I値調整量決定部１８に供給する。
【００６２】
評価関数記憶部１７は、図１に示した評価関数を記憶する。即ち、評価関数記憶部１７は、視覚実験により得られた、画像の輝度コントラスト及び彩度と奥行き知覚との関係を定量化した評価関数を記憶する。
【００６３】
I値調整量決定部１８は、評価関数記憶部１７に記憶されている評価関数に基づいて、奥行き調整量決定部１４で決定された奥行き調整量△Dに対応するモデル入力値Iの調整量△Iを決定する。すなわち、I値調整量決定部１８は、輝度コントラストのモデル入力値Ilumの調整量△Ilumと、彩度のモデル入力値Icolの調整量△Icolを決定する。
【００６４】
具体的には、まず、評価関数上の輝度コントラストのモデル入力値Ilumおよび彩度のモデル入力値Icol、すなわち2次元のモデル入力ベクトル I = (Ilum, Icol)において、原画像の輝度コントラストと彩度から知覚される主観的奥行き量D0がわかる。これに対し、I値調整量決定部１８は、奥行き調整量が、奥行き調整量決定部１４から供給された奥行き調整量△Dとなるように評価関数空間を探索する。
【００６５】
換言すれば、I値調整量決定部１８は、図６で示されるように、評価関数空間において、原画像のモデル入力ベクトルIを出発点として、評価関数上を探索し、主観的奥行き量がD0 +△Dとなる点を求める。このとき、出発点から、I値調整量決定部１８が探索する探索方向が、調整ベクトルｎで定義される。
【００６６】
調整ベクトルnは、探索方向によって輝度コントラストと彩度の調整バランスを設定する、ユーザ設定可能なパラメータであり、以下の式（１５）で定義することができる。
【数１０】
2015132995.tif 000012
ここで、a及びbは輝度コントラストと彩度の調整ゲインのバランスを調整するパラメータであり、a, bの大小関係（比）により輝度コントラストと彩度の調整ゲインのバランスを調整することができる。例えば、a > bとなるようにa及びbを設定した場合には、輝度コントラストの調整ゲインが彩度の調整ゲインより大きく調整される。一方、a < bとなるようにa及びbを設定した場合には、輝度コントラストの調整ゲインが彩度の調整ゲインより小さく調整される。a = bとなるようにa及びbを設定した場合には輝度コントラストの調整ゲインと彩度の調整ゲインが等しく調整される。
【００６７】
式（１５）のように調整ベクトルnを定義した場合、奥行き制御処理後の原画像（以下、処理後画像という。）の輝度コントラストおよび彩度から求まるモデル入力値I’ = (I’lum, I’col)は、以下のように表すことができる。
【数１１】
2015132995.tif 000013
【００６８】
式（１６）を見ると、式（１５）により調整ベクトルnを定義すれば、輝度コントラストと彩度の調整ゲインの比は(１ + ε× a):(1 +ε× b)となり、パラメータa, bによって輝度コントラストと彩度の調整ゲインのバランスが調整できることがわかる。なお、εは、奥行き調整量が△Dとなるための正規化係数である。
【００６９】
I値調整量決定部１８は、評価関数空間において、原画像のモデル入力ベクトルIを出発点として、調整ベクトルｎで設定された方向に評価関数上を探索し、主観的奥行き量がD0 +△Dとなるモデル入力ベクトルをI’ = (I’lum, I’col)を求める。
【００７０】
主観的奥行き量がD0+△Dとなるモデル入力ベクトルI’ = (I’lum, I’col)が得られると、式（１７）及び式（１８）により、輝度コントラストのモデル入力値Ilumの調整量△Ilumと、彩度のモデル入力値Icolの調整量△Icolが求まる。
【数１２】
2015132995.tif 000014
【００７１】
算出された輝度コントラストのモデル入力値Ilumの調整量△Ilumと、彩度のモデル入力値Icolの調整量△Icolは、原画像の輝度Y並びに彩度a*及びb*とともに、調整ゲイン計算部１９に供給される。
【００７２】
調整ゲイン計算部１９は、次の式（１９）及び式（２０）により、輝度コントラストの調整ゲインglum(ω)と彩度の調整ゲインgcol(ω)をそれぞれ計算する。
【数１３】
2015132995.tif 000015
【００７３】
ここで、flum(ω)は空間周波数ωの輝度コントラストの調整ゲインの重み関数（以下、輝度コントラスト重み関数という。）、fcol(ω)は空間周波数ωの彩度の調整ゲインの重み関数（以下、彩度重み関数という。）であり、正値であれば強調処理、負値であれば低減処理、0であれば処理しないことを表す。
【００７４】
式（１９）及び式（２０）の輝度コントラスト重み関数flum(ω)と彩度重み関数fcol(ω)は、ユーザが設定できるパラメータであり、空間周波数重み設定部２０から供給される。ユーザは、輝度コントラスト重み関数flum(ω)と彩度重み関数fcol(ω)を空間周波数ごとの調整ゲインの重みのみに着目して設定すれば、式（１９）及び式（２０）によって輝度コントラストと彩度の調整量がそれぞれ調整量△Ilumと調整量△Icolとなるように正規化される。
【００７５】
空間周波数重み設定部２０は、ユーザの操作に基づいて設定された、輝度コントラスト重み関数flum(ω)と彩度重み関数fcol(ω)を記憶する。空間周波数重み設定部２０は、輝度コントラスト重み関数flum(ω)と彩度重み関数fcol(ω)を、調整ゲイン計算部１９に供給する。空間周波数重み設定部２０の内部には、低域側を強調したり、高域側を強調したり、または、全域を強調したりなどの特性を有する各種の輝度コントラスト重み関数flum(ω)と彩度重み関数fcol(ω)が記憶されている。なお、輝度コントラスト重み関数flum(ω)と彩度重み関数fcol(ω)を特に区別しない場合、単に、重み関数f(ω)と記述する。調整量△Ilumと調整量△Icolについても同様に、それらを特に区別しない場合、単に、調整量△Iと記述する。
【００７６】
＜重み関数f(ω)の設定例＞
図７乃至図９は、空間周波数重み設定部２０に記憶される重み関数f(ω)の設定例を示している。
【００７７】
図７は、画像上の物体をより手前に調整する場合、即ち、奥行き調整量△Dおよびモデル入力値Iの調整量△Iが正である場合（△D＞０⇔△I＞０）の重み関数f(ω)の設定例を示している。
【００７８】
また、図７は、（A）各空間周波数帯の全域を一律にn倍に強調、（B）低い空間周波数帯を強調、（C）高い空間周波数帯を強調、の場合の３種類の重み関数f(ω)の設定例を示している。
【００７９】
（A）各空間周波数帯の全域を一律にn倍に強調した場合には、マイケルソンコントラストがn倍に強調される。マイケルソンコントラストは、次式（２１）で定義される。
【数１４】
2015132995.tif 000016
式（２１）において、Lmaxは、原画像の処理単位領域内の輝度値の最大値、Lminは、原画像の処理単位領域内の輝度値の最小値を表す。処理単位領域の大きさは、視角と画素数の関係から、最適な大きさに適宜設定される。
【００８０】
（B）低い空間周波数帯を強調した場合には、原画像に対して、陰影を強調し、エッジを保持する処理となり、相対的にシャッキリ感は減少することがある。
【００８１】
（C）高い空間周波数帯を強調した場合には、原画像に対して、エッジを強調し、陰影を保持する処理となり、同程度の輝度値が並ぶのっぺりした領域で、ノイズが強調されることがある。
【００８２】
図８は、画像上の物体をより奥に調整する場合、即ち、奥行き調整量△Dおよびモデル入力値Iの調整量△Iが負である場合（△D＜０⇔△I＜０）の重み関数f(ω)の設定例を示している。
【００８３】
また、図８は、（A）各空間周波数帯の全域を一律にn倍に低減、（B）低い空間周波数帯を低減、（C）高い空間周波数帯を低減、の場合の３種類の重み関数f(ω)の設定例を示している。
【００８４】
（A）各空間周波数帯の全域を一律にn倍に低減した場合には、マイケルソンコントラストがn倍に低減される。
【００８５】
（B）低い空間周波数帯を低減した場合には、原画像に対して、エッジを保持し、陰影を低減する処理となり、高周波成分を残しすぎるとテクスチャの印象が変化することがある。
【００８６】
（C）高い空間周波数帯を低減した場合には、原画像に対して、陰影を保持し、エッジを低減する処理となり、（A）全域低減よりボケたような印象になることがある。
【００８７】
図７および図８に示した重み関数f(ω)は、いずれも、関数が常に正側または負側の領域となるように設定された例であるが、重み関数f(ω)が所定の制約条件を満たすのであれば、常に正側または負側の領域となるような重み関数f(ω)である必要はない。
【００８８】
図９は、画像上の物体をより手前に調整する場合の、さらにその他の重み関数f(ω)の設定例を示している。
【００８９】
画像上の物体をより手前に調整する場合には、重み関数f(ω)が以下の式（２２）の制約条件を満たしさえすれば、図９に示すような重み関数f(ω)の設定も可能である。
【数１５】
2015132995.tif 000017
【００９０】
図９は、（A）低い空間周波数帯を強調し、高い空間周波数帯を低減、（B）特定の空間周波数帯を重点的に強調、の場合の重み関数f(ω)の設定例を示している。
【００９１】
（A）低い空間周波数帯を強調し、高い空間周波数帯を低減した場合には、原画像に対して、エッジを強調し、陰影を低減する処理となる。
【００９２】
（B）特定の空間周波数帯を重点的に強調する処理は、例えば、画像特徴量に応じて調整する空間周波数帯を選択して処理する場合に使用される。
【００９３】
画像上の物体をより奥に調整する場合においても、重み関数f(ω)が以下の式（２３）の制約条件を満たしさえすれば、図９と同様の重み関数f(ω)を設定することが可能である。即ち、図示は省略するが、低い空間周波数帯を低減し、高い空間周波数帯を強調したり、特定の空間周波数帯を重点的に低減する重み関数f(ω)の設定などが可能である。
【数１６】
2015132995.tif 000018
【００９４】
以上のように、調整ゲイン計算部１９では、輝度コントラストと彩度のそれぞれにおいて、空間周波数ωごとに異なるゲインをパラメータにより決定することができる。式（１９）により計算された輝度コントラストの調整ゲインglum(ω)は、原画像Yとともに、輝度ゲイン重畳部２１に供給され、式（２０）により計算された彩度の調整ゲインgcol(ω)は、彩度a*及びb*とともに、彩度ゲイン重畳部２２に供給される。
【００９５】
輝度ゲイン重畳部２１は、原画像Yに対して、調整ゲイン計算部１９から供給された輝度コントラストの調整ゲインglum(ω)を重畳した処理後画像Y’を算出して、色変換部２３に供給する。
【００９６】
具体的には、輝度ゲイン重畳部２１は、初めに、フーリエ変換により、原画像Yを空間周波数ドメインに変換する。原画像Yのフーリエ変換は、次式（２４）で表される。
【数１７】
2015132995.tif 000019
【００９７】
次に、輝度ゲイン重畳部２１は、式（２５）により、調整ゲイン計算部１９で計算された輝度コントラストの調整ゲインglum(ω)を、フーリエ係数f(u,v)に重畳する。式（２５）では、u,vの値からωが一意に決まるため、g(u,v)＝g(ω)となる。
【数１８】
2015132995.tif 000020
【００９８】
換言すれば、輝度ゲイン重畳部２１は、フーリエ変換により空間周波数ドメインに変換してそれぞれのスペクトルとして得られた輝度コントラストSlum(ω)に対し、輝度コントラストの調整ゲインglum(ω)を畳み込み積分する。
【００９９】
最後に、輝度ゲイン重畳部２１は、式（２６）の逆フーリエ変換を行うことにより、輝度コントラストの調整ゲインglum(ω)重畳後のスペクトルを画像ドメインに戻す。これにより、処理後画像Y’を得ることができる。
【数１９】
2015132995.tif 000021
【０１００】
輝度ゲイン重畳部２１は、以上の処理により得られた処理後画像の輝度Y’（処理後画像Y’）を色変換部２３に供給する。
【０１０１】
彩度ゲイン重畳部２２は、調整ゲイン計算部１９で計算された彩度の調整ゲインgcol(ω)を用いて、輝度ゲイン重畳部２１と同様の手順により、処理後画像の彩度a*’及びb*’（処理後画像a*’,b*’）を算出し、色変換部２３に供給する。
【０１０２】
色変換部２３は、色変換部１１が行った変換の逆変換を行う。すなわち、色変換部２３は、CIE L*a*b*表色系で表されている処理後画像をRGB表色系に変換することで、入力された原画像と同じ表色系に戻して出力する。
【０１０３】
＜奥行き制御処理のフローチャート＞
次に、図１０のフローチャートを参照して、画像処理装置１が行う、原画像の輝度コントラストと彩度を制御することにより奥行きを調整する奥行き制御処理について説明する。この処理は、例えば、外部から画像処理装置１に原画像が入力されたとき開始される。
【０１０４】
初めに、ステップＳ１において、色変換部１１は、RGB表色系で表されている原画像の表色系をCIE L*a*b*表色系に変換する色変換を行う。これにより、例えば、左眼用画像（L画像）と右眼用画像（R画像）それぞれが、輝度成分と彩度成分に分解される。
【０１０５】
ステップＳ２において、奥行き推定部１２は、色変換部１１から供給された原画像の各画素について奥行き情報（ディスパリティ）を推定する。
【０１０６】
ステップＳ３において、奥行き調整量決定部１４は、奥行き調整量定義関数記憶部１３に記憶されている奥行き調整量定義関数を用いて、推定された奥行き情報に基づいて、奥行き調整量△Dを決定する。
【０１０７】
ステップＳ４において、輝度I値推定部１５は、上述した式（１）及び式（２）を用いて、原画像の輝度コントラストのモデル入力値Ilumを計算する。
【０１０８】
ステップＳ５において、彩度I値推定部１６は、上述した式（３）及び式（４）を用いて、原画像の彩度のモデル入力値Icolを計算する。
【０１０９】
なお、ステップＳ４とステップＳ５の処理は、逆の順序で行ってもよいし、同時に行ってもよい。
【０１１０】
ステップＳ６において、I値調整量決定部１８は、評価関数記憶部１７に記憶されている評価関数に基づいて、ステップＳ３の処理で決定された奥行き調整量△Dに対応するモデル入力値Iの調整量△Iを決定する。すなわち、I値調整量決定部１８は、輝度コントラストのモデル入力値Ilumの調整量△Ilumと、彩度のモデル入力値Icolの調整量△Icolを決定する。
【０１１１】
ステップＳ７において、調整ゲイン計算部１９は、式（１９）及び式（２０）により、輝度コントラストの調整ゲインglum(ω)と彩度の調整ゲインgcol(ω)をそれぞれ計算する。
【０１１２】
ステップＳ８において、輝度ゲイン重畳部２１は、原画像Yに対して、ステップＳ７の処理で得られた輝度コントラストの調整ゲインglum(ω)を重畳して、処理後画像の輝度Y’を算出する。
【０１１３】
すなわち、ステップＳ８では、原画像の輝度Yがフーリエ変換により空間周波数ドメインに変換されて、スペクトルとして得られた輝度コントラストSlum(ω)に対して、輝度コントラストの調整ゲインglum(ω)が畳み込み積分された後、画像ドメインに戻され、処理後画像の輝度Y’が算出される。
【０１１４】
ステップＳ９において、彩度ゲイン重畳部２２は、ステップＳ７の処理で得られた彩度の調整ゲインgcol(ω)を重畳して、処理後画像の彩度a*’及びb*’を算出する。
【０１１５】
すなわち、原画像の彩度a*及びb*がフーリエ変換により空間周波数ドメインに変換されて、スペクトルとして得られた彩度Scol(ω)に対して、彩度の調整ゲインgcol(ω)が畳み込み積分された後、画像ドメインに戻され、処理後画像の彩度a*’及びb*’が算出される。
【０１１６】
ステップＳ８とステップＳ９の処理は、逆の順序で行ってもよいし、同時に行ってもよい。
【０１１７】
ステップＳ１０において、色変換部２３は、CIE L*a*b*表色系で表されている処理後画像をRGB表色系に戻す色変換を行う。そして、色変換後の処理後画像が、画像処理装置１から出力されて、処理が終了する。
【０１１８】
＜画像処理例＞
図１１及び図１２を参照して、画像処理結果例について説明する。
【０１１９】
図１１は、図１２に示す画像処理結果を求めたときに適用したパラメータを示している。
【０１２０】
図１１Aは、適用したパラメータの一つである奥行き調整量定義関数を示している。
【０１２１】
図１２の画像処理例では、奥行き調整量△Dが、奥行き情報に応じて、0.0乃至7.5（arcmin）の範囲で設定される奥行き調整量定義関数を用いた。奥行き情報としては、左眼用画像（L画像）と右眼用画像（R画像）の対応点のずれ量の計算によって求められる水平ディスパリティを採用した。
【０１２２】
より具体的には、図１１Aに示される奥行き調整量定義関数は、最も手前の領域を＋7.5（arcmin）、最も奥の領域は調整せず、中間の領域については線形に奥行きの調整を割り振ることで、画像の主観的奥行き量Dのダイナミックレンジが拡大されるような設定とされている。
【０１２３】
なお、この例では、線形に奥行き調整量を割り振っているが、線形に限らず、折れ線や非線形の関数で奥行き調整量定義関数を設定してもよい。
【０１２４】
図１１Bは、適用したパラメータの一つである輝度コントラスト重み関数flum(ω)を示している。
【０１２５】
図１２の画像処理例では、図１１Bに示されるように、高域を重点的に強調するような輝度コントラスト重み関数flum(ω)が設定されている。これにより、画像の輝度成分の鮮鋭感が高まり、奥行き制御と同時に高精細さを高めることができる。
【０１２６】
図１１Cは、適用したパラメータの一つである彩度重み関数fcol(ω)を示している。
【０１２７】
図１２の画像処理例では、図１１Cに示されるように、空間周波数の全帯域（DC成分を含む）を一様の重みで強調するような彩度重み関数fcol(ω)が設定されている。これにより、画像の彩度成分が強調され、奥行き制御と同時に鮮やかさを高めることができる。
【０１２８】
図１２は、図１１に示した条件で、輝度コントラストと彩度の調整バランスを決めるパラメータａ，ｂを、（a,b）=(1.0.0.0),(0.0,1.0),(1.0,1.0)の３種類として、奥行き制御処理を実行したときの画像処理結果を示している。
【０１２９】
定性的には、（a,b）=(1.0.0.0)は、輝度コントラストのみを調整することを意味し、（a,b）=(0.0,1.0)は、彩度のみを調整することを意味し、（a,b）=(1.0,1.0)は、輝度コントラストと彩度の両方をバランスさせながら調整することを意味する。
【０１３０】
図１２において、輝度コントラストの調整ゲインglum(ω)と、彩度の調整ゲインgcol(ω)については、ゲインの値が大きいほど階調値を大きくした画像で表現することで、ゲインの値を可視化して示している。
【０１３１】
図１２では、原画像が、パラメータａ，ｂによって、輝度コントラストと彩度の調整バランスを変化させて処理されていることがわかる。特に、（a,b）=(1.0,1.0)とした場合には、画像の輝度成分に加え、彩度成分も調整できるため、コントラスト・エッジ・陰影などを調整すると同時に、画像の鮮やかさも調整することができる。
【０１３２】
以上のように、画像処理装置１による奥行き制御処理では、奥行き調整量定義関数に基づいて決定された入力画像の各画素の奥行き調整量△Dに対応する輝度コントラストのモデル入力値Ilumの調整量△Ilumと、彩度のモデル入力値Icolの調整量△Icolが決定される。そして、その調整量△Ilumと△Icolそれぞれを満たすように、輝度コントラストの調整ゲインglum(ω)と彩度の調整ゲインgcol(ω)が決定される。この奥行き調整量△Dに対応するモデル入力値Iの調整量△Iは、視覚実験により得られた、画像の輝度コントラスト及び彩度と奥行き知覚の定量関係を示す評価関数に基づいて決定されている。
【０１３３】
従って、人間の視覚特性に基づいて単眼立体情報のパラメータである輝度コントラストと彩度の両方を調整することで、画像から知覚される奥行き感や立体感を制御することができ、奥行き制御効果と画質の両立を実現することができる。これにより、視差を制御することなく立体感や奥行き感を制御することができるため、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。本技術によって、ディスプレイの高精細化や高色域化と合わせて、超高臨場感な映像体験を実現することができる。
【０１３４】
また、奥行き制御処理では、調整ベクトルnにより評価関数空間上の探索方向を決定することができるので、輝度コントラストと彩度の調整ゲインのバランスを所望のバランスに調整することができる。
【０１３５】
さらに、ユーザは、空間周波数重み設定部２０に記憶されている輝度コントラスト重み関数flum(ω)と彩度重み関数fcol(ω)のなかから所望のものを選択することで、低域側を強調したり、高域側を強調したり、全域を強調したりなど、ユーザの好みに応じて画像の特性を設定することが可能である。
【０１３６】
＜空間周波数変換手段のその他の例＞
上述した実施の形態では、フーリエ変換を用いて、輝度コントラストの調整ゲインglum(ω)と彩度の調整ゲインgcol(ω)を計算し、輝度コントラスト及び彩度を調整する方法を説明した。しかし、ウェーブレット変換あるいはガボールフィルタなどの帯域通過型フィルタを輝度成分画像と彩度成分画像にそれぞれ適用することで、近似的に輝度コントラスト及び彩度を調整してもよい。
【０１３７】
フーリエ変換以外の処理を用いて、原画像の輝度コントラストを調整する例について説明する。
【０１３８】
第１の例として、空間周波数の全帯域を一律にｇ倍に強調する場合には、次のような処理で行うことができる。
【０１３９】
最初に、原画像の位置（x,y）が、
s - dx < x < s + dx   ,   t - dy < y < t + dy
で表される（x,y）＝（s,t）周辺の矩形領域において、輝度値の平均値Yave(s,t)が計算される。ここで、輝度値の平均値Yave(s,t)は、単純な加算平均でもよいし、ガウシアン関数の平均でもよい。
【０１４０】
そして、次式のマッピング関数を用いて、コントラスト調整した輝度値Y’(s,t)を計算することにより、ｇ倍にコントラスト調整された輝度値Y’(s,t)を求めることができる。
Y’(s,t) = G(s,t)(Y(s,t) - Yave(s,t)) + Yave(s,t)
【０１４１】
このマッピング関数は、原画像からDC成分を差し引き、AC成分のみｇ倍して、再びDC成分を加算する処理を行っている。
【０１４２】
図１３は、上記の処理例の概念図を示している。
【０１４３】
次に、第２の例として、空間周波数の高域を強調する場合の例について説明する。
【０１４４】
最初に、原画像の位置（x,y）が、
s - dx < x < s + dx   ,   t - dy < y < t + dy
で表される（x,y）＝（s,t）周辺の矩形領域において、複数の帯域通過型の線形フィルタ（例えば、LOGフィルタ、Gaborフィルタ）を用いて解析することにより、矩形領域の空間周波数分布が簡易的に解析される。
【０１４５】
そして、鮮鋭化フィルタK(x,y)を用いて、式（２７）により、コントラスト調整した輝度値Y’(s,t)を計算することにより、高域の空間周波数が強調された輝度値Y’(s,t)を求めることができる。
【数２０】
2015132995.tif 000022
【０１４６】
図１４は、鮮鋭化フィルタK(x,y)の空間周波数特性を示している。
【０１４７】
空間周波数ドメインで所望のゲイン倍となるαをテーブルとして保持し、矩形領域の空間周波数分布の解析結果に応じて適応的に鮮鋭化フィルタでフィルタリングすることで、フーリエ変換なしで空間周波数の高域を強調する処理が可能である。なお、鮮鋭化フィルタK(x,y)の形状は、この例に限られない。
【０１４８】
＜評価関数のその他の例＞
上述した実施の形態では、輝度コントラスト主観的奥行き量Dlumと、彩度の主観的奥行き量Dcolとの統合により知覚される主観的奥行き量D(Ilum, Icol)の評価関数を、式（８）で表すこととしたが、評価関数は、それ以外のものを採用してもよい。
【０１４９】
次式（２８）は、主観的奥行き量D(Ilum, Icol)の評価関数のその他の例を示している。
【数２１】
2015132995.tif 000023
【０１５０】
式（２８）のAlum、Acol、及び、Bは、所定の定数を表す。式（２８）の評価関数は、輝度コントラストの主観的奥行き量Dlumと、彩度の主観的奥行き量Dcolのべき乗の和で表したモデルである。
【０１５１】
図１５は、式（２８）のべき乗の和のモデルで表される評価関数をマッピングした図であり、図１と同様、輝度コントラストが強ければ物体がより手前に知覚され、彩度が高ければ物体がより手前に知覚されるという関係を有するが、式（８）よりも丸みを帯びた等高線を描いている。
【０１５２】
＜２．第２の実施の形態＞
＜画像処理装置のブロック図＞
図１６は、本技術が適用された画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【０１５３】
上述した第１の実施の形態では、画像の輝度コントラストと彩度を制御して奥行きを調整する例について説明したが、第２の実施の形態では、画像の輝度コントラストは変えずに、彩度のみを制御して奥行きを調整する例について説明する。
【０１５４】
図１６においては、図４の第１の実施の形態と対応する部分については同一の符号を付してあり、その部分の説明については省略する。
【０１５５】
第２の実施の形態では、輝度I値推定部１５と輝度ゲイン重畳部２１が省略され、評価関数記憶部１７、I値調整量決定部１８、調整ゲイン計算部１９、空間周波数重み設定部２０、及び彩度ゲイン重畳部２２に代えて、評価関数記憶部４１、I値調整量決定部４２、調整ゲイン計算部４３、空間周波数重み設定部４４、及び彩度ゲイン重畳部４５が設けられている。
【０１５６】
評価関数記憶部４１は、視覚実験により得られた、画像の彩度と奥行き知覚との関係を定量化した評価関数を記憶する。
【０１５７】
図１７は、評価関数記憶部４１に記憶される評価関数の例を示している。
【０１５８】
図１７に示される評価関数は、次式（２９）で表される。
【数２２】
2015132995.tif 000024
式（２９）のAcol及びBcolは所定の定数を表し、図１７では、Acol＝10.3，Bcol＝-11.5である。
【０１５９】
I値調整量決定部４２は、図１８に示されるように、評価関数上の原画像の彩度のモデル入力値I colを出発点として、主観的奥行き量がD0 +△Dとなるモデル入力値I’colを求める。
【０１６０】
主観的奥行き量がD0 +△Dとなるモデル入力ベクトルI’colが得られると、式（１８）により、彩度のモデル入力値Icolの調整量△Icolが求まる。
【０１６１】
調整ゲイン計算部４３は、上述した式（２０）により、彩度の調整ゲインgcol(ω)を計算する。
【０１６２】
空間周波数重み設定部４４は、ユーザの操作に基づいて設定された、各種の彩度重み関数fcol(ω)を記憶する。すなわち、第１の実施の形態の空間周波数重み設定部２０との違いは、輝度コントラスト重み関数flum(ω)が格納されていない点である。
【０１６３】
彩度ゲイン重畳部４５は、調整ゲイン計算部４３で計算された彩度の調整ゲインgcol(ω)を用いて、処理後画像の彩度a*’及びb*’（処理後画像a*’,b*’）を算出し、色変換部２３に供給する。
【０１６４】
図１９は、彩度ゲイン重畳部４５の詳細構成例を示すブロック図である。
【０１６５】
彩度ゲイン重畳部４５は、フーリエ変換部６１A及び６１B、ゲイン畳み込み部６２A及び６２B、並びに、逆フーリエ変換部６３A及び６３Bを有する。
【０１６６】
フーリエ変換部６１A、ゲイン畳み込み部６２A、及び、逆フーリエ変換部６３Aは、原画像の彩度a*について、調整ゲインgcol(ω)を重畳する処理を行う。一方、フーリエ変換部６１B、ゲイン畳み込み部６２B、及び、逆フーリエ変換部６３Bは、原画像の彩度b*について、調整ゲインgcol(ω)を重畳する処理を行う。
【０１６７】
フーリエ変換部６１Aは、上述した式（２４）で示されるフーリエ変換により、原画像の彩度a*を空間周波数ドメインに変換する。
【０１６８】
ゲイン畳み込み部６２Aは、上述した式（２５）により、調整ゲイン計算部４３で計算された彩度の調整ゲインgcol(ω)を、フーリエ係数f(u,v)に重畳する。これにより、空間周波数ドメインにおいてゲインが調整された処理後画像の彩度a*’が得られる。
【０１６９】
逆フーリエ変換部６３Aは、上述した式（２６）の逆フーリエ変換を行うことにより、彩度の調整ゲインgcol(ω)重畳後のスペクトルを画像ドメインに戻す。これにより、画像ドメイン上の処理後画像の彩度成分a*’を得ることができる。
【０１７０】
フーリエ変換部６１B、ゲイン畳み込み部６２B、及び、逆フーリエ変換部６３Bの処理は、演算対象が原画像の彩度a*ではなく彩度b*である点を除いて、フーリエ変換部６１A、ゲイン畳み込み部６２A、及び、逆フーリエ変換部６３Aの処理と同様であるので、説明を省略する。
【０１７１】
画像処理装置１の第２の実施の形態における奥行き制御処理は、輝度Y’についての処理が省略されて、図１０を参照して説明した第１の実施の形態の奥行き制御処理と同様に実行することができる。
【０１７２】
以上のように、画像処理装置１の第２の実施の形態によれば、原画像の彩度のみを調整して、奥行きを制御することができるので、画像の鮮やかさを調整でき、奥行き制御と画質の両立が実現できる。
【０１７３】
なお、画像処理装置１は、上述した第１の実施の形態と第２の実施の形態の全ての構成を備え、原画像の彩度のみに基づいて奥行き量を調整するか、彩度と輝度コントラストの両方に基づいて奥行き量を調整するかのいずれかを選択して、実行させるようにすることもできる。
【０１７４】
上述した例では、連続フーリエ変換による空間周波数ドメインへの変換、及び、画像ドメインへの逆変換を行うものとして説明したが、離散フーリエ変換では、上述した式（２４）乃至式（２６）は、以下の式（３０）乃至式（３２）で表すことができる。
【数２３】
2015132995.tif 000025
【０１７５】
＜３．第３の実施の形態＞
＜２次元画像に対して奥行き制御する例＞
上述した実施の形態では、入力される画像が、鑑賞者に３次元画像を知覚させるための３次元画像である例について説明した。
【０１７６】
しかし、本技術は、３次元画像に限らず、通常の２次元画像についても適用することができる。そこで、以下では、２次元画像の輝度成分と彩度成分（または彩度成分のみ）を制御することにより奥行き量を調整する例について説明する。
【０１７７】
２次元画像の奥行き量を調整するためには、２次元画像の各画素の奥行き量を解析することができれば、データ形式が、２次元画像とその奥行き情報という３次元画像の第３のデータ形式と同等となるので、２次元画像の奥行き量を調整することができる。
【０１７８】
そこで、奥行き推定部１２による２次元画像の奥行き量の算出について説明する。
【０１７９】
初めに、奥行き推定部１２は、ブロックマッチング等の所定の動き検出手法を用いて、２次元画像のフレーム間の画像内の物体の動きを検出する。
【０１８０】
図２０及び図２１は、ブロックマッチングを説明する図である。
【０１８１】
ブロックマッチングでは、図２０に示されるように、Nフレーム目の各画素を注目画素として、注目画素を中心とする所定のブロック（例えば、３画素×３画素のブロック）が基準ブロックに設定される。
【０１８２】
そして、注目画素に対応するN+1フレーム目の画素を中心とする所定の探索範囲内のなかから、基準ブロックと類似度が最も高いブロックである対応ブロックが探索される。
【０１８３】
対応ブロックの探索には、例えば、以下のコスト関数を用いることができる。
【数２４】
2015132995.tif 000026
【０１８４】
コスト関数CostSADは、Nフレーム目の基準ブロックと、N+1フレーム目の探索範囲内の比較ブロックとの対応する画素どうしの差分の絶対値和で表され、図２１に示されるように、ブロックどうしの類似度が高いほど、コスト関数CostSADが小さくなる。したがって、探索範囲内の複数の比較ブロックのうち、コスト関数CostSADが最小となる比較ブロックを検出することで、基準ブロックに対応する対応ブロックを検出することができ、物体の動きを検出することができる。
【０１８５】
なお、動きを検出する方法は、ブロックマッチングに限らず、勾配法、Structure From Motionなどのその他の手法でもよい。
【０１８６】
そして、２次元画像において物体の動きが検出されると、奥行き推定部１２は、「手前にある物体ほど見かけの動きが速い」、「動いた距離が大きい物体ほど手前に存在する」という規則の下、検出された物体の動きに基づいて、２次元画像の各画素の奥行き量を算出することができる。
【０１８７】
なお、２次元画像の奥行き量の算出は、動きの検出に基づくものに限られない。例えば、セグメンテーションによる画像の構図解析に基づき、３次元形状を求め、その結果に基づいて奥行き量を算出してもよい。
【０１８８】
＜コンピュータへの適用例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８９】
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１９０】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１９１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０１９２】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０１９３】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９４】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１９５】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９６】
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【０１９７】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２００】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０２０１】
なお、本開示は以下のような構成も取ることができる。
（１）
入力された画像の奥行き調整量を決定する奥行き調整量決定部と、
画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、
前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量を決定する入力値調整量決定部と、
決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算する調整ゲイン計算部と、
前記調整ゲイン計算部で計算された前記各空間周波数成分の調整ゲインを、入力された前記画像の彩度成分に重畳するゲイン重畳部と
を備える画像処理装置。
（２）
前記評価関数記憶部は、前記彩度成分に加えて画像の輝度コントラスト成分と、前記主観的奥行き量との関係を表す前記評価関数を記憶し、
前記入力値調整量決定部は、前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記輝度コントラスト成分及び前記彩度成分それぞれの網膜応答を示す入力値の調整量を決定し、
前記調整ゲイン計算部は、前記輝度コントラスト成分及び前記彩度成分それぞれについて、前記入力値の調整量に基づいて各空間周波数成分の調整ゲインを計算し、
前記ゲイン重畳部は、前記輝度コントラスト成分及び前記彩度成分それぞれについて、前記調整ゲイン計算部で計算された前記各空間周波数成分の調整ゲインを、入力された前記画像に重畳する
前記（１）に記載の画像処理装置。
（３）
前記入力値調整量決定部は、前記輝度コントラスト成分と前記彩度成分の調整バランスを設定するパラメータを有し、前記パラメータにより設定された前記調整バランスで、前記輝度コントラスト成分及び前記彩度成分それぞれの網膜応答を示す入力値の調整量を決定する
前記（２）に記載の画像処理装置。
（４）
前記彩度成分及び前記輝度コントラスト成分と前記主観的奥行き量との関係を表す前記評価関数は、前記彩度成分をIcol、前記輝度コントラスト成分をIlum、前記彩度成分の主観的奥行き量をDcol、前記輝度コントラスト成分の主観的奥行き量をDlum、前記彩度成分と前記輝度コントラスト成分の統合による主観的奥行き量をD(Ilum，Icol)として、
【数２５】
2015132995.tif 000027
（Alum，Acol，Bは、所定の定数）で表される
前記（２）または（３）に記載の画像処理装置。
（５）
前記彩度成分及び前記輝度コントラスト成分と前記主観的奥行き量との関係を表す前記評価関数は、前記彩度成分をIcol、前記輝度コントラスト成分をIlum、前記彩度成分と前記輝度コントラスト成分の統合による主観的奥行き量をD(Ilum，Icol)として、
【数２６】
2015132995.tif 000028
（Alum，Acol，Bは、所定の定数）で表される
前記（２）または（３）に記載の画像処理装置。
（６）
前記彩度成分と前記主観的奥行き量との関係を表す前記評価関数は、前記彩度成分をIcol、前記主観的奥行き量をDcolとして、
Dcol＝Acollog10Icol＋Bcol
（AcolおよびBcolは、所定の定数）で表される
前記（１）に記載の画像処理装置。
（７）
入力された前記画像は、３次元画像である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記３次元画像は、左眼用画像と右眼用画像から構成されるステレオ画像の形式で入力される
前記（７）に記載の画像処理装置。
（９）
前記３次元画像は、３以上の複数の視点画像から構成される多視点画像の形式で入力される
前記（７）に記載の画像処理装置。
（１０）
前記３次元画像は、２次元画像と奥行き情報の形式で入力される
前記（７）に記載の画像処理装置。
（１１）
入力された前記画像は、２次元画像である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（１２）
入力された前記画像の表色系を、RGB表色系からCIE L*a*b*表色系に変換する色変換部をさらに備える
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
入力された前記画像から、奥行き情報を推定する奥行き情報推定部と、
前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部と
をさらに備え、
前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記奥行き情報推定部は、入力された前記画像が２次元画像である場合、画像中の物体の動きを検出した結果に基づいて、前記奥行き情報を推定する
前記（１３）に記載の画像処理装置。
（１５）
空間周波数成分ごとの調整ゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、
前記調整ゲイン計算部は、前記関数を前記入力値の調整量に乗算して、前記調整ゲインを計算する
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
前記ゲイン重畳部は、入力された前記画像を周波数ドメインに変換し、前記周波数ドメインに変換された前記画像に対し、前記各空間周波数成分の調整ゲインを畳み込み積分した結果を、画像ドメインに逆変換する
前記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
前記ゲイン重畳部は、フーリエ変換により、入力された前記画像を周波数ドメインに変換し、逆フーリエ変換により、前記画像ドメインに逆変換する
前記（１６）に記載の画像処理装置。
（１８）
前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である
前記（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
入力された画像を処理する画像処理装置が、
入力された前記画像の奥行き調整量を決定し、画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算し、
計算された前記各空間周波数成分の調整ゲインを、入力された前記画像の彩度成分に重畳する
画像処理方法。
（２０）
コンピュータを、
入力された画像の奥行き調整量を決定する奥行き調整量決定部と、
画像の彩度成分とユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記彩度成分の網膜応答を示す入力値の調整量を決定する入力値調整量決定部と、
決定された前記入力値の調整量に基づいて、各空間周波数成分の調整ゲインを計算する調整ゲイン計算部と、
前記調整ゲイン計算部で計算された前記各空間周波数成分の調整ゲインを、入力された前記画像の彩度成分に重畳するゲイン重畳部
として機能させるためのプログラム。
【符号の説明】
【０２０２】
１  画像処理装置，  １２  奥行き推定部，  １３  奥行き調整量定義関数記憶部，  １４  奥行き調整量決定部，  １５  輝度I値推定部，  １６  彩度I値推定部，  １７  評価関数記憶部，  １８  I値調整量決定部，  １９  調整ゲイン計算部，  ２０  空間周波数重み設定部，  ２１  輝度ゲイン重畳部，  ２２  彩度ゲイン重畳部，  ４１  評価関数記憶部，  ４２  I値調整量決定部，  ４３  調整ゲイン計算部，  ４４  空間周波数重み設定部，  ４５  輝度ゲイン重畳部，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０６  入力部，  １０７  出力部，  １０８  記憶部，  １０９  通信部，  １１０  ドライブ
【図１】
2015132995.tif 000031
【図２】
2015132995.tif 000032
【図３】
2015132995.tif 000033
【図４】
2015132995.tif 000034
【図５】
2015132995.tif 000035
【図６】
2015132995.tif 000036
【図７】
2015132995.tif 000037
【図８】
2015132995.tif 000038
【図９】
2015132995.tif 000039
【図１０】
2015132995.tif 000040
【図１１】
2015132995.tif 000041
【図１２】
2015132995.tif 000042
【図１３】
2015132995.tif 000043
【図１４】
2015132995.tif 000044
【図１５】
2015132995.tif 000045
【図１６】
2015132995.tif 000046
【図１７】
2015132995.tif 000047
【図１８】
2015132995.tif 000048
【図１９】
2015132995.tif 000049
【図２０】
2015132995.tif 000050
【図２１】
2015132995.tif 000051
【図２２】
2015132995.tif 000052