"入力された3次元画像の奥行き調整量を決定する奥行き調整量決定部と、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記3次元画像の各空間周波数成分を調整する画像調整部とを備える画像処理装置。入力された前記3次元画像を周波数空間に変換する周波数空間変換部と、前記周波数空間に変換された前記3次元画像を画像空間に逆変換する画像空間逆変換部とをさらに備え、前記調整ゲイン計算部は、前記入力値調整量決定部により決定された前記入力値の調整量を満たす、前記各空間周波数成分のゲイン値を計算し、前記画像調整部は、前記周波数空間変換部が周波数空間に変換して得られる係数に、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値を重畳することで、入力された前記3次元画像の各空間周波数成分を調整し、前記画像空間逆変換部は、前記各空間周波数成分のゲイン値が重畳された前記係数を、画像空間に逆変換する請求項1に記載の画像処理装置。前記周波数空間変換部は、フーリエ変換により、入力された前記3次元画像を周波数空間に変換する請求項2に記載の画像処理装置。各空間周波数成分に与えるゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、前記調整ゲイン計算部は、前記関数に基づいて、前記各空間周波数成分のゲイン値を計算する請求項1に記載の画像処理装置。前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である請求項1に記載の画像処理装置。入力された前記3次元画像から、奥行き情報を推定する奥行き情報推定部と、前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部とをさらに備え、前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する請求項1に記載の画像処理装置。入力された3次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記3次元画像の各空間周波数成分を調整するステップを含む画像処理方法。コンピュータに、入力された3次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記3次元画像の各空間周波数成分を調整するステップを含む処理を実行させるためのプログラム。しかしながら、特許文献2では、どのパラメータをどのような計算式に基づいてどのような値に設定すればよいかが具体的に開示されていない。試行錯誤的に値を設定した場合であっても、得られる左眼用2次元画像と右眼用2次元画像が人間にとって自然で快適である保証はなく、むしろ不自然さや不快感を覚えたり、視覚疲労を引き起こしたりする可能性もある。本技術は、このような状況に鑑みてなされたものであり、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない3次元画像を提供することができるようにするものである。本技術の一側面の画像処理装置は、入力された3次元画像の奥行き調整量を決定する奥行き調整量決定部と、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記3次元画像の各空間周波数成分を調整する画像調整部とを備える。本技術の一側面の画像処理方法は、入力された3次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記3次元画像の各空間周波数成分を調整するステップを含む。本技術の一側面のプログラムは、コンピュータに、入力された3次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記3次元画像の各空間周波数成分を調整するステップを含む処理を実行させるためのものである。本技術の一側面においては、入力された3次元画像の奥行き調整量が決定され、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された奥行き調整量に対応する入力値の調整量が決定され、決定された入力値の調整量に基づいて、各空間周波数成分のゲイン値が計算され、計算された各空間周波数成分のゲイン値により、入力された3次元画像の各空間周波数成分が調整される。なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。記録装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。本発明の一側面によれば、3次元画像の奥行き感を制御することができる。また、本発明の一側面によれば、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない3次元画像を提供することができる。<1.第1の実施の形態>[画像処理装置の構成例]図1は、本技術が適用された画像処理装置の第1の実施の形態の構成例を示している。画像処理装置1は、入力された3次元画像の奥行き感を強調させるため、その3次元画像の空間周波数を調整する処理を行う。ここで、3次元画像とは、鑑賞者に3次元画像を知覚させるための2次元画像をいう。画像処理装置1に入力された3次元画像は、輝度成分計算部11に供給される。なお、外部から入力される3次元画像のデータ形式には様々な形式があるが、その形式は問わない。3次元画像のデータ形式には、例えば、左眼用画像L画像と右眼用画像R画像から構成されるステレオ画像の形式である第1のデータ形式、3以上の複数の視点画像から構成される多視点画像の形式である第2のデータ形式、2次元画像とその奥行き情報という形式である第3のデータ形式などがある。本実施の形態では、第1のデータ形式で3次元画像の画像データが供給されるものとして、画像処理装置1は、左眼用画像と右眼用画像それぞれに対して処理を行うものとする。輝度成分計算部11は、供給される3次元画像左眼用画像と右眼用画像の輝度成分を計算する。例えば、供給される3次元画像がRGB表色系における線形のRGB値で表されている場合、輝度成分計算部11は、ITURBT709で規定される次式1により、輝度値Yに変換することで、3次元画像の輝度成分を計算する。Y0.2126R0.7152G0.0722B1式1により、左眼用画像または右眼用画像それぞれの輝度画像が得られる。以下において左眼用画像と右眼用画像を特に区別しない場合、単に、輝度画像といい、また、3次元画像という場合であっても、左眼用画像及び右眼用画像それぞれの輝度画像に対する処理を行うものとする。なお、3次元画像は、必ずしもRGB値からなる形式RGB信号で表されている必要はなく、CIEXYZ表色系におけるXYZ値で表されている場合には、輝度値Yで構成される画像が輝度画像とされる。また、輝度値の算出抽出も、式1以外の方法で算出してもよい。輝度成分計算部11により計算されて得られた輝度画像が奥行き推定部12に供給される。奥行き推定部12は、輝度成分計算部11から供給された輝度画像の各画素について奥行き情報ディスパリティを推定する。具体的には、奥行き推定部12は、ステレオ画像における水平方向の対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。両眼視差は、ブロックマッチング法やDPマッチング法などの手法を用いることで算出することができる。また、3次元画像が第2のデータ形式で入力された場合には、奥行き推定部12は、3以上の視点画像のうちの対応する2枚の視点画像に対して両眼視差を算出し、算出された両眼視差から、奥行き情報を近似的に算出する。さらに、3次元画像が第3のデータ形式で入力された場合には、奥行き推定部12は、奥行き情報そのものが供給されるので、それを採用する。奥行き推定部12により推定された奥行き情報は、奥行き調整量決定部14に供給される。奥行き調整量定義関数記憶部13は、奥行き情報の値に対する奥行き調整量を定義した奥行き調整量定義関数を記憶し、奥行き調整量決定部14に供給する。[奥行き調整量定義関数の一例図2は、奥行き調整量定義関数記憶部13に記憶される奥行き調整量定義関数の一例を示している。図2の横軸は、入力された3次元画像において検出される奥行き情報[画素]を示し、縦軸は奥行き調整量[arcmin:角度分]を示している。奥行き情報は、正の値が画像上の物体をユーザが奥に知覚するディスパリティであり、負の値が画像上の物体をユーザが手前に知覚するディスパリティである。奥行き調整量は、正の値が手前に変化させることを表し、負の値が奥に変化させることを表す。図2で示される奥行き調整量定義関数では、入力された3次元画像において奥にある物体は、より奥に変化するように移動させ、手前にある物体は、より手前に変化するように移動させて、3次元画像全体として立体感を増すような関数として定義されている。図1の奥行き調整量決定部14は、奥行き調整量定義関数記憶部13に記憶されている、このような奥行き調整量定義関数に基づいて、輝度画像の各画素について奥行き調整量を決定する。例えば、奥行き情報がdである輝度画像のある画素に対して、奥行き調整量決定部14は、図2の奥行き調整量定義関数を用いて、奥行き調整量を△Dと決定する。図1に戻り、評価関数記憶部15は、視覚実験によって得られた、3次元画像から得られる入力値Iと、主観的に知覚される奥行き量である主観的奥行き量zとの関係を定量化した評価関数を記憶する。[評価関数の説明]図3は、視覚実験によって得られた評価関数の例を示している。図3において、対数軸である横軸は、次式2で求められる入力値Iを表し、縦軸は主観的奥行き量zを表す。式2のCは、輝度画像の画像全体に含まれる空間周波数成分をN個の空間周波数成分fsに分類したときの各周波数成分fsのコントラストを表す。式2のEは、各空間数周波数fsの奥行き効率を表す。各空間数周波数fsの奥行き効率Eとは、各空間数周波数fsが奥行き知覚に与える重みであり、視覚実験によって得られた値である。従って、入力値Iは、各空間周波数成分fsのコントラストと、その空間周波数成分fsの重みを乗算した乗算結果の、画像全体のN個の空間周波数成分fsについての総和であるということができる。図4は、視覚実験により得られた空間数周波数fsと奥行き効率Eとの関係を示している。横軸の空間数周波数fsは、人間の目の1°degreeの視角内に入る、白色と黒色の濃淡変化コントラストで定義され、その単位はcpdcycleperdegreeである。視覚実験では、様々な空間数周波数fsの画像パターンを被験者に提示し、その画像から、被験者が奥行き量奥行き位置をどの程度に感じるかが実験される。図4に示されるデータによれば、空間数周波数fsと奥行き効率Eとの関係は、空間数周波数fsが大きくなるほど、重みが小さい奥行き知覚に与える影響が小さいことを示している。式2の奥行き効率Eは、図4に示される空間数周波数fsと奥行き効率Eとの関係を定式化したものであり、例えば、ガウス近似式で表した次式3が採用される。ここで、Aは係数、fs0は空間周波数fsのオフセット、σsは空間周波数fsの標準偏差を表す。一方、図3の縦軸である主観的奥行き量zは、視覚実験の被験者が知覚した実際の奥行き量である実データxを、以下の式4の計算式で換算したものであり、実データxを正規化または標準化したものに相当する。このような主観的奥行き量zを採用することで、データの単位を揃えることができるので、データ感の比較が容易となり、実データの絶対的なバラツキを排除した解析が可能となる。主観的奥行き量zは、大きい値であるほど、ユーザが物体を手前に知覚することを示す。主観的奥行き量zは、次式5を用いて、単位をarcminとする奥行き調整量に換算することが可能である。3次元画像から得られる入力値Iと、主観的奥行き量zとの関係を定量化した評価関数は、例えば、視覚系の応答について利用されるNakaRushtonの式と、zA×log10IB,A,Bは定数の対数式の2種類で表すことができる。図3において実線で示される評価関数は、入力値Iと主観的奥行き量zとの関係を対数関数で定義した場合を示しており、その式は、式6で表される。また、破線で示される評価関数は、入力値Iと主観的奥行き量zとの関係をNakaRushtonの式で定義した場合を示しており、その式は、式7で表される。評価関数によれば、3次元画像の入力値Iが大きくなるように調整することで、物体を手前に知覚させることができることがわかる。反対に、物体を奥に知覚させるように調整したい場合には、その逆の調整が必要である。そこで、I値調整量決定部16は、このような評価関数に基づいて、図5に示すように、奥行き調整量決定部14で決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。具体的には、I値調整量決定部16は、奥行き調整量決定部14で決定された奥行き調整量△Dを、上述した式5により、主観的奥行き量zの調整量△zに換算する。そして、I値調整量決定部16は、換算して得られた主観的奥行き量zの調整量△zに対応する入力値Iの調整量△I=I1I2を決定する。なお、図5において、縦軸のz1及びz2は、主観的奥行き量調整前の入力時の3次元画像の主観的奥行き量zと、主観的奥行き量調整後の3次元画像の主観的奥行き量zを示している。また、横軸のI1及びI2は、主観的奥行き量調整前の入力時の3次元画像の入力値Iと、主観的奥行き量調整後の3次元画像の入力値Iを示している。しかし、奥行き量調整のためには、入力値I1と入力値I2自体は知る必要がなく、入力値Iの調整量△Iが分かればよい。そして、入力値Iの調整量△Iは、対数関数である式7の評価関数を採用すれば、傾き一定であるので簡単に算出することができる。図1に戻り、I値調整量決定部16は、以上のようにして、奥行き調整量決定部14から供給される奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。奥行き制御部17は、I値調整量決定部16で決定された入力値Iの調整量△Iを満たすように、3次元画像の空間周波数成分を調整することで、入力された3次元画像の奥行きを調整制御し、調整後の3次元画像を出力する。奥行き制御部17は、周波数空間変換部31、ゲイン計算部32、ゲイン重畳部33、及び逆変換部34を有する。周波数空間変換部31は、3次元画像を周波数空間に変換する。即ち、周波数空間変換部31は、入力された3次元画像の画像データに対してDFTDiscreteFourierTransformation:離散フーリエ変換演算を行うことにより、画像空間から周波数空間に変換する。以下では、周波数空間に変換された3次元画像を、周波数空間画像という。ゲイン計算部32は、I値調整量決定部16からの入力値Iの調整量△Iを満たす、各空間周波数fsのゲインを計算する。ゲイン重畳部33は、周波数空間画像に対し、ゲイン計算部32で得られたゲインを重畳することにより、3次元画像の空間周波数を調整変更する。逆変換部34は、周波数空間画像に対してIDFTInversedDFT演算を行うことにより、周波数空間から画像空間へ逆変換する。そして、逆変換部34は、逆変換後の3次元画像を、空間周波数調整後の3次元画像として出力する。空間周波数重み設定部18は、ゲイン計算部32で各空間周波数fsのゲインを計算するために必要となる、各空間周波数fsに与えるゲインの重みを示す重み関数Fを、ユーザの操作に基づいて設定し、ゲイン計算部32に供給する。空間周波数重み設定部18の内部には、低域側を強調したり、高域側を強調したり、全域を強調したりなどの特性を有する各種の重み関数Fが記憶されている。画像処理装置1は、以上のように構成される。[奥行き制御部17の詳細処理]次に、図6乃至図8を参照して、奥行き制御部17の処理の詳細について説明する。図6は、奥行き制御部17が行う一連の処理の概要を示している。入力画像である3次元画像輝度画像の所定の位置にあるm×n画素m,n>0を、空間周波数調整の対象として注目し、m×n画素の輝度値画素値の空間周波数を調整する場合について説明する。この場合、m×n画素の周辺のM×N画素M>m,N>nが処理対象領域に設定される。ここで、m,n,N、およびMは、例えば、m,n=2、M,N=114などとすることができる。周波数空間変換部31は、DFT演算を行うことにより、3次元画像を、画像空間から周波数空間に変換する。ここで、画像空間上の輝度画像をfk,lで表し、周波数空間に変換して得られるフーリエ係数をFで表すと、周波数空間変換部31の処理は、次式8で表すことができる。次に、空間周波数重み設定部18は、ユーザの操作に基づいて、各空間周波数fsに与えるゲインの重みを示す重み関数Fを決定し、ゲイン計算部32に供給する。図7は、各空間周波数fsに与えるゲインの重みを示す重み関数Fの例を示している。奥行き調整量△Dが正である場合には、入力値Iの調整量△Iも正である必要があるため△D>0⇔△I>0、入力値Iの調整量△Iも正となるような制約条件を満たす重み関数Fが、空間周波数重み設定部18から供給される。図7Aは、空間周波数重み設定部18から供給される、△I>0の制約条件を満たすための重み関数Fの例である。換言すれば、図7Aは、輝度画像上の物体をより手前に調整するための重み関数Fの例である。図7Aの重み関数Fは、全ての空間周波数fsにおいて、常に正となるように設定されているので、△I>0の制約条件を満たす。また、図7Aの重み関数Fは、高域側の周波数成分を特に強調するような設定とされている。一方、奥行き調整量△Dが負である場合には、入力値Iの調整量△Iも負である必要があるため△D<0⇔△I<0、入力値Iの調整量△Iも負となるような制約条件を満たす重み関数Fが、空間周波数重み設定部18から供給される。図7Bは、空間周波数重み設定部18から供給される、△I<0の制約条件を満たすための重み関数Fの例である。換言すれば、図7Bは、輝度画像上の物体をより奥に調整するための重み関数Fの例である。図7Bの重み関数Fは、全ての空間周波数fsにおいて、常に負となるように設定されているので、△I<0の制約条件を満たす。また、図7Bの重み関数Fは、高域側の周波数成分の落ち込みを抑えるような設定とされている。ゲイン計算部32は、空間周波数重み設定部18から重み関数Fを取得し、次式9の、入力値Iの調整量△Iを満たすような空間周波数コントラストC’を算出する。ここで、C’は、空間周波数調整後の各周波数成分fsのコントラストを表す。空間周波数調整後の空間周波数コントラストC’の算出方法について説明する。初めに、ゲイン計算部32は、上述した式8のDFT演算により得られるフーリエ係数Fを、0ないし100の範囲の値に正規化することにより、空間周波数調整前の空間周波数コントラストCを求める。図8は、奥行き制御部17の周波数空間の演算で利用される、空間周波数対応テーブルを示した図である。なお、図8は、M,N=114の例である。空間周波数対応テーブルは、画像空間の画素数と同一の114行×114列からなり、テーブルの各要素が各空間周波数fsに対応する。空間周波数対応テーブルは、図8Aに示されるように、左上隅に配置されるDC成分と、それ以外のAC成分で表される。空間周波数対応テーブルのAC成分は、おおよそ05cpdないし40cpdの空間周波数であって、114行×114列のテーブルの中心に高域成分、境界周辺に低域成分が配置される。図8Bは、図8Aにおいて破線で示されるDC成分周辺の拡大図を示し、マス目内の値は、そのマスの要素が対応する空間周波数fsを示している。上述した式8のDFT演算により得られるフーリエ係数Fは、このような空間周波数対応テーブルを用いて得ることが出来るので、フーリエ係数Fを0ないし100の範囲の値に正規化して得られるCも同様に求めることができる。そして、Cが分かれば、空間周波数調整前の空間周波数コントラストCも得られる。例えば、図8Bの対応テーブルにおいて斜線を付して示される、DC成分の隣の第1行第2列の要素であるCに格納される値がCに相当する。ゲイン計算部32は、空間周波数重み設定部18から取得した重み関数Fが調整量△Iに対応するように、式10により、重み関数Fを正規化し、正規化後の重み関数Fを得る。式10により、重み関数Fを、いわば後処理的に調整量△Iとなるように調整することができるので、空間周波数重み設定部18において重み関数Fを設定する場合に、ユーザは、各空間周波数fsに与えるゲインの重みのみに注意すればよい。これにより、重み関数Fの設計が容易になる。次に、ゲイン計算部32は、周波数空間画像に直接付加するゲインである、各空間周波数fsのゲインGを、次式11により設定する。G=1F11重み関数Fは、入力値Iの調整量が△Iとなるように式10により正規化した場合、0以上1以下の値になることがある。そのため、式11で示されるように、正規化後の重み関数Fに1を加算したものが最終的な各空間周波数fsのゲインGとされる。これにより、重み関数Fが正であればF>0、ゲインGが1以上となり、奥行き制御部17では、各空間周波数fsのコントラストを高める処理が行われることになる。一方、重み関数Fが負であればF<0、ゲインGが1未満となり、奥行き制御部17では、各空間周波数fsのコントラストを抑制する処理が行われることになる。ゲイン計算部32は、算出された各空間周波数fsのゲインGを、フーリエ変換のDFTフォーマットのゲインgに変換する。即ち、ゲイン計算部32は、算出された各空間周波数fsのゲインGを、図8の空間周波数対応テーブルの形式に変換する。ゲイン計算部32が、入力値Iの調整量△Iを満たす各空間周波数fsのゲインG=gを求めることは、即ち、式9で表される、入力値Iの調整量△Iを満たす空間周波数コントラストCを求めたことを意味する。そして、図6に示すように、ゲイン重畳部33は、DFT演算後のフーリエ係数FのAC成分に、ゲイン計算部32で得られたゲインgを重畳し、空間周波数を調整する。即ち、ゲイン重畳部33は、次式12を演算することにより、ゲイン重畳後のフーリエ係数Fを求める。F=Fg12最後に、逆変換部34は、ゲイン重畳後のフーリエ係数FをIDFT演算InversedDFTすることにより、周波数空間から画像空間へ逆変換する。即ち、逆変換部34は、次式13を演算し、空間周波数調整後の輝度画像fを得る。そして、逆変換部34は、逆変換後の輝度画像を、空間周波数調整後の3次元画像として出力する。なお、本実施の形態では、奥行き制御部17において、3次元画像を周波数空間に変換する演算として、フーリエ変換を採用しているが、ウェーブレット変換やコサイン変換などのその他の空間周波数変換手段演算を用いてもよい。[奥行き調整処理のフローチャート]次に、図9のフローチャートを参照して、画像処理装置1が行う、空間周波数調整により奥行きを制御する奥行き制御処理について説明する。この処理は、例えば、3次元画像が入力されたとき開始される。初めに、ステップS1において、輝度成分計算部11は、外部から入力された3次元画像の輝度成分を計算する。これにより、例えば、左眼用画像L画像と右眼用画像R画像それぞれの輝度画像が奥行き推定部12に供給される。ステップS2において、奥行き推定部12は、輝度成分計算部11から供給された3次元画像輝度画像の各画素について奥行き情報ディスパリティを推定する。ステップS3において、奥行き調整量決定部14は、奥行き調整量定義関数記憶部13に記憶されている奥行き調整量定義関数に基づいて、3次元画像の各画素について奥行き調整量△Dを決定する。ステップS4において、I値調整量決定部16は、評価関数記憶部15に記憶されている評価関数に基づいて、ステップS3で決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。ステップS5において、周波数空間変換部31は、DFT演算を行うことにより、入力画像である3次元画像を周波数空間に変換する。ステップS6において、空間周波数重み設定部18は、ユーザの操作に基づいて、各空間周波数fsに与えるゲインの重みを示す重み関数Fを決定し、ゲイン計算部32に供給する。ステップS7において、ゲイン計算部32は、式10により、調整量△Iとなるように重み関数Fを正規化する。これにより、正規化後の重み関数Fが得られる。ここで、M×N画素の入力値Iの算出方法について説明する。M×N画素の入力値Iは、例えば、以下の2種類の算出方法を採用することができる。第1の算出方法は、図8に示した空間周波数対応テーブルを利用して、式3の奥行き効率EをEに変換し、次式14により計算する方法である。第2の算出方法は、基準となる空間周波数を定めて積算する方法である。具体的には、例えば、基準となる空間周波数fsが、05cpd10cpd20cpd40cpd80cpdの5種類に決定されているとする。初めに、以下の式15または式16のいずれかにより、基準周波数fsを中心とする所定の範囲内の空間周波数コントラストCが、基準周波数fsの空間周波数コントラストCとして求められる。そして、式17により、入力値Iが求められる。即ち、計算された各基準周波数fsと奥行き効率Eとの積和が計算され、入力値Iとされる。なお、これらの2種類の算出方法には、値を単純加算するのではなく、複数の隣接する空間周波数の平均化した値を加算するなどの変形もあり得る。ステップS7において、正規化後の重み関数Fが求められた後、ステップS8において、ゲイン計算部32は、上述した式11により、各空間周波数fsのゲインGを計算する。そして、ステップS9において、ゲイン計算部32は、計算により得られた各空間周波数fsのゲインGを、DFTフォーマットのゲインgに変換する。ステップS10において、ゲイン重畳部33は、上述した式12を演算することにより、ゲイン重畳後のフーリエ係数Fを求める。ステップS11において、逆変換部34は、IDFT演算を行うことにより、ゲイン重畳後のフーリエ係数Fを、周波数空間から画像空間へ逆変換する。そして、逆変換部34は、逆変換後の輝度画像を、空間周波数調整後の3次元画像として出力して、終了する。画像処理装置1では、以上のようにして、奥行き調整量定義関数に基づいて決定された入力画像の各画素の奥行き調整量△Dに対応する入力値Iの調整量△Iが決定され、その調整量△Iを満たすように、入力画像の各空間周波数fsが制御される。奥行き調整量△Dに対応する入力値Iの調整量△Iは、画像パターンの各空間周波数fsに対する人間の視覚特性を評価した評価関数に基づいて決定され、また、各空間周波数fsに所望の重みを設定することが可能である。従って、人間の視覚特性に基づいて単眼立体情報のパラメータである空間周波数を調整することで、人間にとってより違和感や不快感が少ない3次元画像を提供することができる。[重み関数Fの設定例]上述した実施の形態では、各空間周波数fsに設定する重み、即ち、各空間周波数fsに与えるゲインの重みを示す重み関数Fとして、図7を参照して説明したような、低域側または高域側を強調する関数の例を示した。図10乃至図12を参照して、重み関数Fのその他の設定例について説明する。図10は、画像上の物体をより手前に調整する場合、即ち、奥行き調整量△Dおよび入力値Iの調整量△Iが正である場合△D>0⇔△I>0の重み関数Fの設定例を示している。また、図10は、A各空間周波数帯の全域を一律にn倍に強調、B低い空間周波数帯を強調、C高い空間周波数帯を強調、の場合の3種類の重み関数Fの設定例を示している。A各空間周波数帯の全域を一律にn倍に強調した場合には、マイケルソンコントラストがn倍に強調される。マイケルソンコントラストは、次式18で定義される。式18において、Lmaxは、3次元画像の処理単位領域内の輝度値の最大値、Lminは、3次元画像の処理単位領域内の輝度値の最小値を表す。処理単位領域の大きさは、視角と画素数の関係から、最適な大きさに適宜設定される。B低い空間周波数帯を強調した場合には、3次元画像に対して、陰影を強調し、エッジを保持する処理となり、相対的にシャッキリ感は減少することがある。C高い空間周波数帯を強調した場合には、3次元画像に対して、エッジを強調し、陰影を保持する処理となり、同程度の輝度値が並ぶのっぺりした領域で、ノイズが強調されることがある。図11は、画像上の物体をより奥に調整する場合、即ち、奥行き調整量△Dおよび入力値Iの調整量△Iが負である場合△D<0⇔△I<0の重み関数Fの設定例を示している。また、図11は、A各空間周波数帯の全域を一律にn倍に低減、B低い空間周波数帯を低減、C高い空間周波数帯を低減、の場合の3種類の重み関数Fの設定例を示している。A各空間周波数帯の全域を一律にn倍に低減した場合には、マイケルソンコントラストがn倍に低減される。B低い空間周波数帯を低減した場合には、3次元画像に対して、エッジを保持し、陰影を低減する処理となり、高周波成分を残しすぎるとテクスチャの印象が変化することがある。C高い空間周波数帯を低減した場合には、3次元画像に対して、陰影を保持し、エッジを低減する処理となり、A全域低減よりボケたような印象になることがある。図7、図10、および、図11に示した重み関数Fは、いずれも、関数が常に正側または負側の領域となるように設定された例であるが、入力値Iの調整量△Iについての制約条件を満たすのであれば、常に正側または負側の領域となるような重み関数Fである必要はない。図12は、画像上の物体をより手前に調整する場合の、さらにその他の重み関数Fの設定例を示している。画像上の物体をより手前に調整する場合には、入力値Iの調整量△Iが正であるという制約条件△I>0を満たしさえすれば、図12に示すような重み関数Fの設定も可能である。図12は、A低い空間周波数帯を強調し、高い空間周波数帯を低減B特定の空間周波数帯を重点的に強調、の場合の重み関数Fの設定例を示している。A低い空間周波数帯を強調し、高い空間周波数帯を低減した場合には、3次元画像に対して、エッジを強調し、陰影を低減する処理となる。B特定の空間周波数帯を重点的に強調する処理は、例えば、画像特徴量に応じて調整する空間周波数帯を選択して処理する場合に使用される。画像上の物体をより奥に調整する場合においても、入力値Iの調整量△Iが負であるという制約条件△I<0を満たしさえすれば、図12と同様の重み関数Fを設定することが可能である。即ち、図示は省略するが、低い空間周波数帯を低減し、高い空間周波数帯を強調したり、特定の空間周波数帯を重点的に低減する重み関数Fの設定などが可能である。[奥行き効率のその他の例]上述した実施の形態において、評価関数の入力値Iは、式2のように、各周波数成分fsのコントラストCと、その空間数周波数fsの奥行き効率Eの積和で求めた。しかし、入力値Iのその他の計算例として、式2の空間数周波数fsの奥行き効率Eだけでなく、時間周波数ftの奥行き効率Eも考慮して、入力値Iを計算することも可能である。以下の式19は、空間数周波数fsの奥行き効率Eだけでなく、時間周波数ftの奥行き効率Eも考慮した場合の入力値Iの演算式であり、式20は、奥行き効率Eを表す式である。奥行き効率Eは、式20から分かるように、空間数周波数fsに対する奥行き効率Eと、時間数周波数ftに対する奥行き効率Eの積で表される。図13は、式20の時間数周波数ftに対する奥行き効率Eのガウス近似式に対応する、時間数周波数ftと奥行き効率Eとの関係を表す視覚実験のデータを示している。<2.第2の実施の形態>[画像処理装置の構成例]図14は、本技術が適用された画像処理装置の第2の実施の形態の構成例を示している。図14は、周波数解析部51とコントラスト解析部52が新たに設けられている点が、上述した第1の実施の形態と異なる。周波数解析部51は、3次元画像の空間周波数成分の解析を行う。空間周波数成分の解析には、例えば、ガボールフィルタGaborfilterを用いる手法を採用することができる。ガボールフィルタは、視覚系における信号応答特性を近似していると言われ、その関数gx,y,λ,θ,ψ,σ,γは、式21で表される。式21において、x,yは輝度画像の座標値を、λは空間周波数に対応する波長を、θは方位方向を、ψは位相を、σはガウス分布の分散を、γはアスペクト比を、それぞれ表す。例えば、周波数解析部51は、λを1cpdの波長とした式21のガボールフィルタ関数gx,y,λ,θ,ψ,σ,γと、輝度成分計算部11で計算された輝度画像の輝度値を畳み込み積分することで、輝度画像の1cpdの空間周波数成分を有する領域を抽出することができる。輝度画像のその他の空間周波数成分を有する領域を抽出する場合も同様に、λを適宜設定して、そのガボールフィルタ関数gx,y,λ,θ,ψ,σ,γと輝度画像の輝度値を畳み込み積分することで、求めることができる。例えば、λは、上述した1cpdの波長の他、0.5cpd、2cpd、4cpd、8cpdの5種類の波長に設定して、空間周波数成分の解析を行うことができる。勿論、その他の波長をさらに加えたり、これら以外の波長について解析してもよい。このように、λを所定の空間周波数の波長とした式21のガボールフィルタ関数gx,y,λ,θ,ψ,σ,γと、輝度成分計算部11で計算された輝度画像の輝度値を畳み込み積分することで、輝度画像のどの領域にどの空間周波数の成分が含まれるかが分かる。コントラスト解析部52は、輝度成分計算部11で計算された3次元画像の輝度成分を用いて、3次元画像のコントラスト成分を抽出する。具体的には、コントラスト解析部52は、コントラスト成分を抽出する処理の単位である処理単位領域として、例えば、上述のM×N画素の領域を決定する。そして、コントラスト解析部52は、決定した処理単位領域について、式18のマイケルソンコントラストを算出する。各処理単位領域は、一部が重複するように設定してもよいし、重複しないようにタイル状に設定してもよい。精度を重視する場合には、1画素単位でずらすようにすればよい。周波数解析部51で解析された空間周波数成分の特徴分布、及び、コントラスト解析部52で解析されたコントラスト成分の特徴分布は、奥行き制御部17に供給される。奥行き制御部17では、それらの特徴を用いて、各空間周波数fsのゲインの重みを決定することができる。即ち、各空間周波数fsに与えるゲインの重みを示す重み関数Fの決定を、周波数解析部51とコントラスト解析部52の解析結果に基づいて行うことができる。上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。図15は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、CPUCentralProcessingUnit101,ROMReadOnlyMemory102,RAMRandomAccessMemory103は、バス104により相互に接続されている。バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、及びドライブ110が接続されている。入力部106は、キーボード、マウス、マイクロホンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体111を駆動する。以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。コンピュータでは、プログラムは、リムーバブル記録媒体111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。なお、本技術は以下のような構成も取ることができる。1入力された3次元画像の奥行き調整量を決定する奥行き調整量決定部と、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記3次元画像の各空間周波数成分を調整する画像調整部とを備える画像処理装置。2入力された前記3次元画像を周波数空間に変換する周波数空間変換部と、前記周波数空間に変換された前記3次元画像を画像空間に逆変換する画像空間逆変換部とをさらに備え、前記調整ゲイン計算部は、前記入力値調整量決定部により決定された前記入力値の調整量を満たす、前記各空間周波数成分のゲイン値を計算し、前記画像調整部は、前記周波数空間変換部が周波数空間に変換して得られる係数に、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値を重畳することで、入力された前記3次元画像の各空間周波数成分を調整し、前記画像空間逆変換部は、前記各空間周波数成分のゲイン値が重畳された前記係数を、画像空間に逆変換する前記1に記載の画像処理装置。3前記周波数空間変換部は、フーリエ変換により、入力された前記3次元画像を周波数空間に変換する前記2に記載の画像処理装置。4各空間周波数成分に与えるゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、前記調整ゲイン計算部は、前記関数に基づいて、前記各空間周波数成分のゲイン値を計算する前記1乃至3のいずれかに記載の画像処理装置。5前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である前記1乃至4のいずれかに記載の画像処理装置。6入力された前記3次元画像から、奥行き情報を推定する奥行き情報推定部と、前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部とをさらに備え、前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する前記1乃至5のいずれかに記載の画像処理装置。7入力された3次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記3次元画像の各空間周波数成分を調整するステップを含む画像処理方法。8コンピュータに、入力された3次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記3次元画像の各空間周波数成分を調整するステップを含む処理を実行させるためのプログラム。"