(57)【特許請求の範囲】
【請求項１】
１枚の２次元画像の空間周波数成分を空間周波数分解して周波数成分を算出する周波数分解手段と、
立体化したい画像に与えるべき視差量を指定する視差量指定手段と、
分解して得られた周波数成分に、前記視差量を割り当てる視差量割当手段と、
前記視差量割当手段を経て得られた各周波数成分を合成する周波数合成手段と、
前記周波数合成手段で得られた結果から、両眼立体視を可能とする左眼用画像および右眼用画像を出力する画像出力手段と、
を少なくとも含むことを特徴とする画像処理方法。
【請求項２】
前記視差量割当手段で視差量が割り当てられる周波数成分は、前記２次元画像の明度の周波数成分であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の高周波数成分であり、視差量が割り当てられる前記高周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の低周波数成分であり、視差量が割り当てられる前記低周数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記視差量は、水平視差であることを特徴とする請求項１乃至４のいずれかに記載の画像処理方法。
【請求項６】
前記水平視差は、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記水平視差は、画像の彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることを特徴とする請求項５に記載の画像処理方法。
【請求項８】
１枚の２次元画像の空間周波数成分を空間周波数分解して周波数成分を算出する周波数分解手段と、
立体化したい画像に与えるべき視差量を指定する視差量指定手段と、
分解して得られた周波数成分に、前記視差量を割り当てる視差量割当手段と、
前記視差量割当手段を経て得られた各周波数成分を合成する周波数合成手段と、
前記周波数合成手段で得られた結果から、両眼立体視を可能とする左眼用画像および右眼用画像を出力する画像出力手段と、
を少なくとも含むことを特徴とする画像処理装置。
【請求項９】
前記視差量割当手段で視差量が割り当てられる周波数成分は、前記２次元画像の明度の周波数成分であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の高周波数成分であり、視差量が割り当てられる前記低周数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の低周波数成分であり、視差量が割り当てられる前記低周数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項８に記載の画像処理装置。
【請求項１２】
前記視差量は、水平視差であることを特徴とする請求項８乃至１１のいずれかに記載の画像処理装置。
【請求項１３】
前記水平視差は、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることを特徴とする、請求項１２に記載の画像処理装置。
【請求項１４】
前記水平視差は、画像の彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることを特徴とする、請求項１２に記載の画像処理装置。
【請求項１５】
請求項１から請求項７のいずれかに記載の画像処理方法を演算装置に実行させることを特徴とする画像処理プログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を立体視した際に立体感を操作する（強調あるいは抑制する）ことを可能にする画像処理方法、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
人間の視覚の立体視処理では、左右それぞれの眼で見た画像（映像）に基づいて、立体を認識する。したがって、画像（映像）を立体的に見せるためには、左眼用画像（映像）および右眼用画像（映像）の一組の画像（映像）が必要である。
２次元画像にある加工を加えることにより、平面的な画像を立体的に見せる方法、いわゆる「立体視」技術が知られている。その中に、１枚の２次元画像から左眼用と右眼用の２つの画像を生成する技術がある。これは、画像中の注目物体（被写物体）に対する両眼の視差を算出し、これに基づいた量だけ画像の各画素位置を水平方向にシフトすることにより左眼用画像と右眼用画像を生成する処理である。
【０００３】
両眼視差を算出する方法として、明度や彩度などの色情報に基づいて、実際の物体の奥行き（カメラからの相対距離）を概算する方法がある。
例えば、特許文献１では、画像の遠近を表す画像特徴量として、各領域毎の高周波数成分の積算値、輝度コントラスト、輝度積算値および彩度積算値を定め、これらのいずれか或は組合せから各領域間に差が出るように奥行き補正量を算出し、その大小から遠近の度合いを決定する方法が開示されている。
この方法では、領域間に都合よく前後関係を付けるように奥行き量を補正するが、そのために適切な画像特徴量を選択するものであり、様々な場合に対応し得る柔軟性があるが、逆に、自動的に決定するなどの決定力に欠ける。さらに、同一面内などの領域内部に前後関係を与えることが困難な対象には不適切といえる。
【０００４】
両眼立体視を前提として、立体感を調整する方法が数多く提供されている。
例えば、特許文献１では、映像中の注目領域の移動量に応じた動きベクトルの平均値を求め、その平均値と比較した大小関係から、注目領域が被写体であるか背景であるかを決定し、被写体と背景との間の差分に応じて水平位相量を調節する方法が提示されている。しかし、この方法では背景自体や被写体の面の内部に立体感を与えることはできない。
また、特許文献２では、映像信号のエッジ情報を求め、エッジ情報の密な領域を前景に、疎な領域を背景とみなして前後関係を求め、前景には大きく、背景には小さく視差を与える方法が提示されている。しかし、この方法ではエッジが密な領域全体を対象とするため、毛皮や織物などの細かい構造が密集した素材に対しては、面全体が前景の対象となって背景を特定できず、前後関係が求まらない。
さらに特許文献３では、一般に被写体にピントが合っている映像が多いことから、近くにあるものほど、高周波数成分、コントラスト、輝度および彩度が高いと考え、高周波の積算値、輝度コントラスト、輝度積算値および彩度積算値が多い領域ほど、前方に存在する物体と判断して奥行き補正量を決定し、この奥行き量に対して線形に視差量を対応付ける方法が提示されている。しかし、この方法は領域間に視差を与える事を目的としており、例えば面積の小さい領域内部に視差を与える目的に対しては不適切である。
【０００５】
一方、質感をリアルに再現するという同じ目的に対して、実際の画像や映像を操作する代わりに、ＣＧ（コンピュータ・グラフィクス）として再現する方法がある。そのためには、実際の素材の反射特性を高精度に計測して忠実に再現する必要がある。そのような方法として代表的な方法が、素材をある形状（平面・曲面等の３次元形状）に貼り付け、予め光色の分かっている光源を指定の方向に配置して一定の強さの光量で照射するとともに、カメラ撮影をほぼ全ての方向から行なって対象物のあらゆる見え方を撮影し、そうして得られた大量の画像群から、照明方向と観察方向とをパラメータとして与えることで反射色を出力する関数を構成して利用する方法である。この方法はBRDF（二方向性反射分布関数）と呼ばれている。この方法を織物に適用した方法が、例えば、非特許文献１に提示されている。この方法では、静止観察する観察者の視点に、移動する被写体の面の見えを反射光の変化として算出することができるためリアリティが向上できる。しかし、この方法では視差情報を利用した立体視に勝るような立体効果を得ることはできない。
【０００６】
以上のように従来の方法では、対象物の個々の面内の立体感（素材表面の厚み感など）を再現したり、強調したりすることは困難な問題であった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３２３５７７６号公報
【特許文献２】特開平１０−３３６７０２号公報
【特許文献３】特開平１０−１９１３９７号公報
【非特許文献】
【０００８】
【非特許文献１】武田  祐樹、  田中  弘美、  “反射光解析に基づく織布の微視的表面幾何構造の復元、”  情報処理学会「画像の認識・理解シンポジウム(ＭＩＲＵ‘０６)」論文集ｐｐ．１０８４-１０８９、  Ｊｕｌｙ  ２００６
【非特許文献２】「ウェーブレットビギナーズガイド」、榊原  進  著、東京電機大学出版局、１９９５
【非特許文献３】「ウェーブレットと直交関数系」、Ｇ．Ｇ．ウォルター著、榊原  進、萬代  武史、芦野  隆一  訳、東京電機大学出版局、２００１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように従来の技術は、画像（映像）中の領域（例えば、個々の物体）間、あるいは個々の面の間で視差を与えて前後感や奥行き感を与えることで立体感を増強することを目的としており、個々の面内部や領域内部の立体感を操作することは考慮していない。そのため、従来の技術をそのまま面内部や領域内部に適用すると、二重像になったり、二層に見えるなど不自然で違和感の強い立体視になる問題がある。
【００１０】
この発明は、上記問題に鑑みて、物体の面や領域内部、細部構造や素材に由来する表面の起伏や厚みを直接の処理対象として、両眼立体視した際に自然な立体感を感じさせることを可能にする、さらに１枚の２次元画像だけから左眼用画像および右眼用画像を生成することを可能にする画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するための手段として、第１の発明は、１枚の２次元画像の空間周波数成分を空間周波数分解して周波数成分を算出する周波数分解手段と、立体化したい画像に与えるべき視差量を指定する視差量指定手段と、分解して得られた周波数成分に、前記視差量を割り当てる視差量割当手段と、前記視差量割当手段を経て得られた各周波数成分を合成する周波数合成手段と、前記周波数合成手段で得られた結果から、両眼立体視を可能とする左眼用画像および右眼用画像を出力する画像出力手段と、を少なくとも含むことを特徴とする画像処理方法である。
また、第２の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、前記２次元画像の明度の周波数成分であることを特徴とする請求項１に記載の画像処理方法である。
また、第３の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の高周波数成分であり、視差量が割り当てられる前記高周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１に記載の画像処理方法である。
また、第４の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の低周波数成分であり、視差量が割り当てられる前記低周数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１に記載の画像処理方法である。
また、第５の発明は、前記視差量は、水平視差であることを特徴とする請求項１乃至４のいずれかに記載の画像処理方法である。
また、第６の発明は、前記水平視差は、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることを特徴とする請求項５に記載の画像処理方法である。
また、第７の発明は、前記水平視差は、画像の彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることを特徴とする請求項５に記載の画像処理方法である。
また、第８の発明は、１枚の２次元画像の空間周波数成分を空間周波数分解して周波数成分を算出する周波数分解手段と、立体化したい画像に与えるべき視差量を指定する視差量指定手段と、分解して得られた周波数成分に、前記視差量を割り当てる視差量割当手段と、前記視差量割当手段を経て得られた各周波数成分を合成する周波数合成手段と、前記周波数合成手段で得られた結果から、両眼立体視を可能とする左眼用画像および右眼用画像を出力する画像出力手段と、を少なくとも含むことを特徴とする画像処理装置である。
また、第９の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、前記２次元画像の明度の周波数成分であることを特徴とする請求項８に記載の画像処理装置である。
また、第１０の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の高周波数成分であり、視差量が割り当てられる前記低周数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項８に記載の画像処理装置。
また、第１１の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の低周波数成分であり、視差量が割り当てられる前記低周数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項８に記載の画像処理装置である。
また、第１２の発明は、前記視差量は、水平視差であることを特徴とする請求項８乃至１１のいずれかに記載の画像処理装置である。
また、第１３の発明は、前記水平視差は、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることを特徴とする、請求項１２に記載の画像処理装置である。
また、第１４の発明は、前記水平視差は、画像の彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることを特徴とする、請求項１２に記載の画像処理装置である。
また、第１５の発明は、請求項１から請求項７のいずれかに記載の画像処理方法を演算装置に実行させることを特徴とする画像処理プログラムである。
【発明の効果】
【００１２】
第１の発明によれば、対象物の面の１枚の２次元画像に対し、空間周波数分解を適用して個々の周波数成分に分解し、所望の空間周波数成分に対して所定の水平視差量を与えて、周波数合成することにより左眼用画像および右眼用画像を生成することによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
また、本発明は、特に物体表面の厚み感を強調する性能に優れており、人間が厚みを感じる対象物、例えば絨毯、毛皮、毛織物、厚手の布地、衣類などの素材に対して特に有効である。また、元々立体視用に撮影した画像や映像でなくても、擬似的に視差を生成することができるため、既存の画像や映像から擬似的にステレオ画像やステレオ映像を生成する際に活用することができる。
これらを両眼立体視環境で観察することにより、違和感なく面の立体感が強調ないし抑制される。
例えば１台の撮像機器で撮影した画像や映像、もしくはアニメーション映像から、両眼立体視用の画像や映像もしくはアニメーション映像を容易に実現することができ、両眼立体視可能な観察環境においてリアルな擬似立体視を実現可能になる。
また、第２の発明によれば、明度の空間周波数成分を分解することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
明度成分と色度成分とを分離して、明度成分だけを処理することによって、色彩の変化を最大限に抑制しつつ、効果的に立体感を強調ないし抑制することができる。
また、第３の発明によれば、明度の高周波数成分を分解、処理することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
特に、人の視覚が中・高周波数成分に対しては主に明度成分に対して感度が高いことから、明度の高周波数成分に対して本発明を適用することで、立体感を違和感無く効果的に得ることができる。
この発明は、特に、厚手の毛皮など毛が密集した素材の細部の表面立体感を強調するのに適している。また、映像においてカメラが徐々に接近してズームインする場面や、対象物体の面をより接写して映じる場面に有効である。
また、第４の発明によれば、明度の高周波数成分を分解、処理することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
明度の低周波数成分は、主に対象物の表面形状（表面全体に渡る面積の大きな凹凸形状）を反映するため、表面形状の立体感を効果的に強調ないし抑制することができる。
例えば、この発明は犬や猫などの動物の毛の画像や映像において、背中、腹部、臀部など、あるいは空中に浮遊する雲や砂漠の砂丘の盛り上がり、海面の波のうねりなどの対象物の比較的広い面積の立体感を強調ないし抑制するのに適している。また、映像においてカメラが徐々に遠写しになるズームアウトする場面において、対象物の面を広く映し出す際に有効である。
また、第５の発明によれば、視差量に水平視差を採用することによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
また、第６の発明によれば、視差量に水平視差を採用し、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
特に、表面構造に多層の網目状の構造を有する素材、例えば多層のガーゼや綿、毛織物、あるいはナイロンタワシなどの場合、表面に近いほど反射が強く明るく、奥に行くほど反射が弱く暗いため、明度の大きい成分に大きい視差量を与え、明度の小さい成分に小さい視差量を与えることにより、表面側と奥側との奥行き差を漸次的に強調することができ、その結果、奥行き感を自然に強調することができる。
また、第７の発明によれば、視差量に水平視差を採用し、彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
これは、近くにある対象物体の面の彩度が強く、遠くにある対象物体の面の彩度が弱くなる経験則に依拠しており、例えば派手な色使いの衣装やカーテン、ペルシャ絨毯などの色彩鮮やかな素材の表面立体感を得たい場合に有効であり、また、映像におけるズームイン／ズームアウトの際の物体表面の立体感の変化を再現する場面に有効である。
第８の発明によれば、対象物の面の１枚の２次元画像に対し、空間周波数分解を適用して個々の周波数成分に分解し、所望の空間周波数成分に対して所定の水平視差量を与えて、周波数合成することにより左眼用画像および右眼用画像を生成することによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
また、本発明は、特に物体表面の厚み感を強調する性能に優れており、人間が厚みを感じる対象物、例えば絨毯、毛皮、毛織物、厚手の布地、衣類などの素材に対して特に有効である。また、元々立体視用に撮影した画像や映像でなくても、擬似的に視差を生成することができるため、既存の画像や映像から擬似的にステレオ画像やステレオ映像を生成する際に活用することができる。
これらを両眼立体視環境で観察することにより、違和感なく面の立体感が強調ないし抑制される。
例えば１台の撮像機器で撮影した画像や映像、もしくはアニメーション映像から、両眼立体視用の画像や映像もしくはアニメーション映像を容易に実現することができ、両眼立体視可能な観察環境においてリアルな擬似立体視を実現可能になる。
また、第９の発明によれば、明度の空間周波数成分を分解することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
明度成分と色度成分とを分離して、明度成分だけを処理することによって、色彩の変化を最大限に抑制しつつ、効果的に立体感を強調ないし抑制することができる。
また、第１０の発明によれば、明度の高周波数成分を分解、処理することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
特に、人の視覚が中・高周波数成分に対しては主に明度成分に対して感度が高いことから、明度の高周波数成分に対して本発明を適用することで、立体感を違和感無く効果的に得ることができる。
この発明は、特に、厚手の毛皮など毛が密集した素材の細部の表面立体感を強調するのに適している。また、映像においてカメラが徐々に接近してズームインする場面や、対象物体の面をより接写して映じる場面に有効である。
また、第１１の発明によれば、明度の高周波数成分を分解、処理することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
明度の低周波成分低周波数成分は、主に対象物の表面形状（表面全体に渡る面積の大きな凹凸形状）を反映するため、表面形状の立体感を効果的に強調ないし抑制することができる。
例えば、この発明は犬や猫などの動物の毛の画像や映像において、背中、腹部、臀部など、あるいは空中に浮遊する雲や砂漠の砂丘の盛り上がり、海面の波のうねりなどの対象物の比較的広い面積の立体感を強調ないし抑制するのに適している。また、映像においてカメラが徐々に遠写しになるズームアウトする場面において、対象物の面を広く映し出す際に有効である。
また、第１２の発明によれば、視差量に水平視差を採用することによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
また、第１３の発明によれば、視差量に水平視差を採用し、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
特に、表面構造に多層の網目状の構造を有する素材、例えば多層のガーゼや綿、毛織物、あるいはナイロンタワシなどの場合、表面に近いほど反射が強く明るく、奥に行くほど反射が弱く暗いため、明度の大きい成分に大きい視差量を与え、明度の小さい成分に小さい視差量を与えることにより、表面側と奥側との奥行き差を漸次的に強調することができ、その結果、奥行き感を自然に強調することができる。
また、第１４の発明によれば、視差量に水平視差を採用し、彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
これは、近くにある対象物体の面の彩度が強く、遠くにある対象物体の面の彩度が弱くなる経験則に依拠しており、例えば派手な色使いの衣装やカーテン、ペルシャ絨毯などの色彩鮮やかな素材の表面立体感を得たい場合に有効であり、また、映像におけるズームイン／ズームアウトの際の物体表面の立体感の変化を再現する場面に有効である。
また、第１５の発明によれば、本発明をパソコンなどの演算装置に実行させることによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
また、第１乃至１５の発明によれば、映像において、本発明における高周波数成分の立体感強調手法と低周波数成分の立体感強調手法とを時間軸上で適宜選択して適用することによって、水面のうねりなどの粘性物体の動きや、風にたなびく旗などの布地のうねりなどの動きを強調ないし抑制することも可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明の画像処理方法の一例を示した概要図。
【図２】本発明の画像処理方法の一例を示した処理フロー図。
【図３】本発明の周波数分解処理の一例を示した処理フロー図。
【図４】本発明の視差量割当処理の一例を示した処理フロー図。
【図５】本発明の周波数合成処理の一例を示した処理フロー図。
【図６】ウェーブレット変換・逆変換の概念を示す説明図。
【図７】Ｄａｕｂｅｃｈｉｅｓウェーブレット（第１０次）のウェーブレット関数およびスケーリング関数の形状を示す図。
【図８】本発明により生成された画像を表示する、観察対象物体の両眼視差画像の提示が可能な画像提示環境の一例を示す概念図。
【図９】図８の環境で観察者が知覚しうる単一の仮想的画像の様子を示す概念図。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１５】
図８は、本発明を用いて生成された画像を表示するための、観察対象物体の両眼視差画像の提示が可能な画像提示環境の一例である。また、図９は、図８の環境で観察者が知覚しうる単一の仮想的画像の様子を示す概念図の一例である。
【００１６】
左眼用画像１と右眼用画像２に表示された画像は、融像用ミラー３に反射し、観察者の両眼でそれぞれ観察される。双方の画像に同一の画像を表示した場合には、画像とミラーの適切な配置によって、観察者には図９に示すように単一の仮想的画像４が正面に存在するかのような知覚をもたらす。
また、画像とミラーの配置を変更することで視差角が変化し、画像までの距離感が変化する．また、画像とミラーの配置を変更することなく、双方の画像に表示されている画像に対して、それぞれに異なる量の平行移動を加えることによっても視差角が変化し距離感が変化する。
【００１７】
図１は、本発明の画像処理方法の一例を示した概要図である。
【００１８】
画像入力手段Ｓ１において、立体化したい画像を本発明の装置に入力する。
画像入力手段Ｓ１では、ハードディスクデバイス等の記憶装置もしくはネットワークを通じた通信回線もしくは映像機器等に接続した映像信号線などから２次元画像データＩ（ｘ，ｙ）を入力する。
【００１９】
次に、画像変換手段Ｓ３において、前記画像入力手段から入力した画像を変換し、明度画像Ｌ（ｘ，ｙ）および色度画像Ｃ１（ｘ，ｙ）、Ｃ２（ｘ，ｙ）および彩度画像Ｓ（ｘ，ｙ）を出力する。
【００２０】
次に、視差量指定手段Ｓ２において、立体化したい画像に与えるべき視差量を本発明の装置に入力する。視差量入力手段Ｓ２ａは、視差量Ｈを入力する。これは例えば、コンピュータ端末上に提示した入力画面から任意の数値を入力する、ないし複数の候補値の中から選択することなどで実現できる。あるいは、ボタンやダイヤル等を配した入力装置等を介して入力しても良い。
【００２１】
本発明の視差量は、両眼視差を想定しており、観察者の両眼の方向に平行な方向の視差や、視差画像の横方向（画像の水平方向）の水平視差を対象としており、それらを適宜調整する。
【００２２】
例えば、視差量入力手段Ｓ２ａでは、水平視差量Ｈとして、所定の数値ｈを与える（Ｈ＝ｈ）。次に、補正係数設定手段Ｓ２ｂにおいて、前記画像変換手段Ｓ３において出力された明度成分画像Ｌ（ｘ，ｙ）および彩度成分画像Ｓ（ｘ，ｙ）を受け取り、数値ｋ、明度ｖの単調増加関数ｆ（ｖ）、彩度ｓの単調増加関数ｇ（ｓ）、のうちいずれかの形式で視差補正係数Ｋを設定する（Ｋ＝ｋ、Ｋ＝ｆ（ｖ）、Ｋ＝ｇ（ｓ））。
【００２３】
ここで、視差の補正係数を明度の単調増加関数として与えるのは、光の反射の性質から、対象物表面のより表層部分はより明るく見え、逆により深奥部分はより暗く見えることに対応している。
【００２４】
また、視差の補正係数を彩度の単調増加関数として与えるのは、人間の視覚にはより近くの対象は色鮮やかに見え、逆により遠くの対象は色が弱く見えることから、対象物表面のより表層部分は色鮮やか、すなわち彩度が高くなり、逆により深奥部分は色が薄い、すなわち彩度が低くなることに対応している。
【００２５】
次に、視差量補正手段Ｓ２ｃにおいて、前記視差量入力手段Ｓ２ａから所定の視差量Ｈを受け取り、前記補正係数指定手段Ｓ２ｂから補正係数Ｋを受け取り、視差補正量Ｈ’としてＨ’＝Ｋ×Ｈを算出する。
【００２６】
続いて、周波数選択手段Ｓ４において、前記画像変換手段Ｓ３から受け取った画像の最大分解レベルＭを算出し、分解レベル１からＭまでの間で所望の分解レベルを選択する。
ここで、分解レベルとは画像を周波数成分に分解する際の分解回数に相当する。例えば、画像の最小構成単位である画素を単位として周波数を規定する場合、最も細かい、すなわち最も高周波なのは、２画素を１波長とする場合になる。これが分解レベル１で周波数１／２に当たる。次に分解レベル２ではその半分の周波数１／４になり、以下同様に繰り返して、分解レベルｎでは周波数１／２ｎになる。
なお、各分解レベルにおける周波数の値は、周波数を規定する際の単位の大きさに依存する。
【００２７】
次に、周波数分解手段Ｓ５において、前記画像変換手段Ｓ３で変換された画像を空間周波数分解する。
【００２８】
ここで、２次元画像を空間周波数分解して個々の周波数成分を算出する場合、さまざまな画像信号に対して行うことができる。たとえば、明度成分や色度成分を空間周波数分解して個々の周波数成分を算出する方法が挙げられる。
本発明は人間の立体視に関するため、視知覚的に有意味な信号に対して適用するのが適切と考えられる。画像の信号成分である明度成分と色度成分に関しては、人間の視知覚の空間周波数の知覚に関して、明度成分に対する感度特性がバンドパス型を示すのに対して、色度成分に対する感度特性がローパス型を示し、中・高周波数成分の知覚には主として明度成分が利用されることから、本発明における空間周波数の処理は明度成分に対して行なうのが好ましい。以下、明度成分を適用する場合を用いて説明する。
【００２９】
視差量指示手段Ｓ２において、水平視差量を指定する。視差量指定手段Ｓ２ａにおいて、所定の視差量ｈを受け取り、Ｈ＝ｈとし、次に補正係数指定手段Ｓ２ｂにおいて、
視差補正係数Ｋとして、数値Ｋｖ、明度の関数Ｋｌ、彩度の関数Ｋｓののうちいずれかを受け取り、それぞれに対応した、Ｋ＝Ｋｖ、Ｋ＝Ｋｌ、Ｋ＝Ｋｓとなる。
【００３０】
そして、視差量補正手段Ｓ２ｃにおいて、前記視差量指定手段Ｓ２ａから所定の視差量Ｈを受け取り、前記補正係数指定手段Ｓ２ｂから視差補正係数Ｋを受け取り、視差補正量Ｈ’としてＨ’＝Ｋ×Ｈを算出する。
【００３１】
次に、視差量割当手段Ｓ６において、前記周波数分解手段Ｓ５で得られた周波数成分に、前記視差量指定手段Ｓ２で指定した視差補正量Ｈ’を割り当てる。
【００３２】
このとき、視差補正量Ｈ’は、画像の種類によって、高周波数成分は所定の水平視差量だけ左右にシフトされ、その他の周波数成分はシフトされないようにする手法や、低周波数成分は所定の水平視差量だけ左右にシフトされ、その他の周波数成分はシフトされない手法や、所定の水平視差量に、定数、ないし明度成分の単調増加関数で与えられる補正係数を乗じた値を新たな水平視差量として採用し、所望の周波数成分をシフトする手法、所定の水平視差量に、定数、ないし彩度成分の単調増加関数で与えられる補正係数を乗じた値を新たな水平視差量として採用し、所望の周波数成分をシフトする手法を適宜選択して、もしくはそれらを組み合わせて視差量を割り当てる。
【００３３】
具体的には、前記周波数分解手段Ｓ５から受け取った各周波数成分Ｆｉ（ｘ，ｙ）のうち、１が割り当てられた分解レベルｉの周波数成分に対しては水平視差量として視差補正量Ｈ’を水平方向に対称に割り当て、０が割り当てられた分解レベルｉの周波数成分に対しては水平視差量を割り当てずに、左眼用の周波数成分画像ＦｉＬ（ｘ，ｙ）、および右眼用の周波数成分画像ＦｉＲ（ｘ，ｙ）を次式のように生成する。
【００３４】
【数１】
0005515864.tif 000002
【００３５】
次に、周波数合成手段Ｓ７において、分解した各周波数成分を合成して画像を構成する。
周波数合成手段Ｓ７では、前記周波数分解方法とは逆方向に処理を進める。分解レベルｎの低周波画像および分解レベルｎのウェーブレット係数にウェーブレット逆変換を適用して分解レベルｎ−１の低周波画像が得られる。次に、分解レベルｎ−１の低周波画像とウェーブレット係数にウェーブレット逆変換を適用することにより分解レベルｎ−２の低周波画像が得られる。この操作を順次繰り返すことにより、分解レベル０の画像すなわち元の画像を再構成することができる。
【００３６】
ウェーブレット変換によって周波数分解することにより、各分解レベル毎のウェーブレット係数が得られる。分解レベルはツースケール関係により、２のべき乗分の１の空間解像度に対応しており、例えば、分解レベルｉは、原画像の空間解像度の
【００３７】
【数２】
0005515864.tif 000003
【００３８】
倍の空間解像度に対応し、これは原画像の
【００３９】
【数３】
0005515864.tif 000004
【００４０】
倍の空間周波数成分に相当する。
【００４１】
そこで、所望の周波数成分、すなわち、所望の分解レベルのウェーブレット係数には水平視差を与え、その他のウェーブレット係数には水平視差を与えずに、前記合成方法を適用することにより、所望の周波数成分だけに水平視差が付与された左眼用画像
【００４２】
【数４】
0005515864.tif 000005
【００４３】
および右眼用画像が得られる。
【００４４】
【数５】
0005515864.tif 000006
【００４５】
次に、画像出力手段Ｓ８において、周波数合成手段Ｓ７で得られた結果を所望の形式の画像として出力する。
具体的には、画像出力手段Ｓ８は、前記周波数合成手段から左眼用周波数合成画像
【００４６】
【数６】
0005515864.tif 000007
【００４７】
および右眼用周波数合成画像
【００４８】
【数７】
0005515864.tif 000008
【００４９】
を受け取り、前記画像変換手段Ｓ２から色度画像Ｃ１（ｘ，ｙ）、Ｃ２（ｘ，ｙ）を受け取り、これらから色変換を適用して所望の二次元画像である左眼用画像ＩＬ（ｘ，ｙ）と右眼用画像ＩＲ（ｘ，ｙ）を出力する。
【００５０】
結果を画像として出力する媒体は画像を表示できるものであれば特に限定するものではなく、液晶ディスプレイやプラズマ、ＣＲＴ、有機ＥＬなどが挙げられる。
【００５１】
図２は、本発明の画像処理方法の一例を示した処理フロー図である。以降は図２の処理フローを用いて本発明の一形態を説明する。
まず、画像読み取り処理Ｐ１において、処理すべき２次元画像データＩ（ｘ，ｙ）を読み取る。
【００５２】
次に、画像変換処理Ｐ２において、前記画像読み取り処理Ｐ１において読み取った２次元画像データＩ（ｘ，ｙ）を、明度成分と色度成分とに分離し、明度成分の２次元画像Ｌ（ｘ，ｙ）および色度成分の２次元画像Ｃ１（ｘ，ｙ）、Ｃ２（ｘ，ｙ）および彩度成分の２次元画像Ｓ（ｘ，ｙ）にそれぞれ変換する。
【００５３】
なお、色情報を明度情報と色度情報に分離する方法としては、Ｙ（Ｒ−Ｙ）（Ｂ−Ｙ）ないしＣＩＥＬＡＢないしＨＳＶなどのいずれかの表色系を用いればよい。ここで、最も一般的に用いられている二次元画像の表色系としてＲＧＢ表色系を基準にすると、Ｙ（Ｒ−Ｙ）（Ｂ−Ｙ）の場合は放送用に用いられ、明度Ｙは式１で算出し、彩度Ｓは式２で算出する。
【００５４】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ  （式１）
【００５５】
【数８】
0005515864.tif 000009
【００５６】
一方、視差量入力処理Ｐ３においては、まず、前記視差量入力手段Ｓ２ａを介して視差量Ｈを入力する。これは例えば、コンピュータ端末上に提示した入力画面から任意の値を入力する、ないし複数の候補値の中から選択することなどで実現できる。あるいは、ボタンやダイヤル等を配した入力装置等から入力しても良い。
【００５７】
補正係数算出処理Ｐ４においては、前記画像変換Ｐ２から明度画像Ｌ（ｘ，ｙ）および彩度画像Ｓ（ｘ，ｙ）を受け取り、処理数値ｋ、明度ｖの関数ｆ（ｖ）、彩度ｓの関数ｇ（ｓ）のうちいずれかの形式で補正係数Ｋを算出する（Ｋ＝ｋ、Ｋ＝ｆ（ｖ）、Ｋ＝ｇ（ｓ））。
【００５８】
ここで、明度の関数ｆ（ｖ）としては、例えば、明度画像Ｌ（ｘ，ｙ）の明度の最大値をＶｍａｘ、最小値をＶｍｉｎとすると、ｖ＝Ｌ（ｘ，ｙ）としてｆ（ｖ）＝ｖ／（Ｖｍａｘ−Ｖｍｉｎ）のように線形に与えることができる。彩度の関数ｇ（ｓ）としても、同様に、彩度画像Ｓ（ｘ，ｙ）の彩度の最大値をＳｍａｘ、最小値をＳｍｉｎとすると、ｓ＝Ｓ（ｘ，ｙ）としてｇ（ｓ）＝ｓ／（Ｓｍａｘ−Ｓｍｉｎ）のように線形に与えることができる。もちろん、これらに限るわけではなく、単調増加の範囲内で様々な関数を選択することが可能である。
【００５９】
次に、視差量補正処理Ｐ５において、前記画像変換処理Ｐ２から明度成分画像Ｌ（ｘ，ｙ）および彩度成分画像Ｓ（ｘ，ｙ）を受け取り、前記視差量入力処理Ｐ３から所定の視差量Ｈを受け取り、前記補正係数算出処理Ｐ４から補正係数Ｋを受け取り、視差補正量Ｈ’としてＨ’＝Ｋ×Ｈを算出する。
【００６０】
次に、最大分解レベル算出処理Ｐ６において、前記画像変換処理Ｐ２において出力された明度成分画像Ｌ（ｘ，ｙ）を受け取り、横幅ｗｉｄｔｈおよび高さｈｅｉｇｈｔを読み取り、ｗｉｄｔｈとｈｅｉｇｈｔの小さい方の値を超えない最大の２のべき乗数を算出し、そのべき数を最大分解レベルとしてＭに代入する。
【００６１】
次に、周波数選択処理Ｐ７においては、前記最大分解レベル算出処理Ｐ６から最大分解レベルＭを受け取り、分解レベル１からＭまでの間で所望の分解レベルを指定し、各分解レベルに応じて視差を与えるか否かを指定するリストであるｌｉｓｔ（ｉ）に格納する。ここでは、分解レベル数が小さいほど高周波数を表し、レベル数が大きいほど低周波数を表す。
【００６２】
選択の仕方については、画像の被写体の性質に応じた処理を指示するために、高周波数成分だけを処理する場合には高周波数成分の分解レベルを選択し、低周波数成分だけを処理する場合には低周波数成分の分解レベルを選択し、所望の周波数だけを処理したい場合には所望の周波数成分の分解レベルだけを選択し、周波数に関わらず処理する場合には全分解レベルを選択する。
【００６３】
視差を指定するリストであるｌｉｓｔ（ｉ）の実現方法としては、例えば、分解レベルｉを選択する場合にはｌｉｓｔ（ｉ）＝１を、選択しない場合にはｌｉｓｔ（ｉ）＝０を与えて出力する。ｌｉｓｔ（ｉ）は、周波数成分分割数をＭとすると、例えば長さＭビットのデータとして実現可能であるし、あるいは大きさＭの配列として実現することも可能である。
【００６４】
周波数分解処理Ｐ８においては、前記画像変換処理Ｐ２で算出した明度画像Ｌ（ｘ，ｙ）を、分解レベル１から前記最大分解レベル算出処理で求めた最大分解レベルＭまで順次空間周波数変換して、各分解レベルの周波数成分画像Ｆｉ（ｘ，ｙ）を算出する。
【００６５】
ここで、周波数成分の分解方法について説明する。図３は本発明の周波数分解処理の一例を示した処理フロー図である。まず、ｃ０＝Ｌ（ｘ，ｙ）として、分解レベルをｉとして、ｉに１を代入し（Ｐ８ｂ）、１回目の空間周波数変換を適用する（Ｐ８ｃ）。これにより分解レベル１の分解係数ｃ１、ｄ１が求められる（Ｐ８ｄ）。
次にｉの値に１を加算した値でｉを更新し（Ｐ８ｅ）、最大分解レベル数Ｍと比較する（Ｐ８ｆ）。ｉの値がＭ以下であれば、ｃ１に対して再度Ｐ８ｃからＰ８ｆまでの処理を適用して分解レベル２の分解係数、ｃ２、ｄ２を求め、以下、Ｐ８ｃからＰ８ｆまでの処理を繰り返して各分解係数ｃｉ、ｄｉを順次算出する。ｉの値がＭを超えた時点で周波数分解処理を終了する。その結果、各分解レベルにおける周波数成分画像Ｆｉ（ｘ，ｙ）＝ｃｉが得られる。
【００６６】
次に、周波数変換の方法については、従来は特に音響技術分野で多くの方法が考案されており、例えばフーリエ変換法やウェーブレット変換法などが代表的である。本発明では、（色々な周波数変換の方法を適宜利用することも可能だが）より好適な例として、空間的局在精度の高いウェーブレット変換法を適用する場合をここでは紹介する。
ウェーブレット変換は、ツースケール関係と正規直交系条件をみたす２種類の関数（スケーリング関数とウェーブレット関数）を用いて信号を分解・生成する方法である。ウェーブレット変換の基本的内容は、例えば「非特許文献２」などで説明されている。又、ウェーブレットを構成するための関数系に関しては、例えば「非特許文献３」で説明されている。
ウェーブレット関数の例としては、Ｄａｕｂｅｃｈｉｅｓウェーブレットや、カーディナル・スプライン・ウェーブレット、等がある。性質が素直で滑らかなウェーブレット関数は、本発明には好適である。
【００６７】
処理対象となる画像から、画像の幅と高さが互いに等しく、その値が２のべき乗に等しい面積最大の領域を抽出して処理画像とする。この画像に対して、所望のウェーブレット関数のスケーリング係数およびウェーブレット係数を用意して、ウェーブレット変換を行なう。図６に示すように、ウェーブレット変換を一回行なう毎に、周波数が半減するとともに、高周波数成分と低周波数成分に分解される。ここで、変換前の原画像の状態を分解レベル０、変換を一回適用した場合を分解レベル１、変換をｎ回繰り返した状態を分解レベルｎと呼ぶ。したがって、変換をｎ回まで繰り返した際、元の画像の空間周波数を最高周波数として、その１／２倍、１／４倍、・・・、１／２ｎ倍の周波数成分にそれぞれ分解される。
【００６８】
分解レベルｋの分解成分と分解レベルｋ−１（０＜ｋ＜ｎ）の分解成分との間には、以下の関係が成り立つ。
【００６９】
【数９】
0005515864.tif 000010
【００７０】
【数１０】
0005515864.tif 000011
【００７１】
【数１１】
0005515864.tif 000012
【００７２】
これらの式は、原信号ｃｋおよび、原信号を所定の水平視差量Ｈだけ右にシフトした左眼用信号
【００７３】
【数１２】
0005515864.tif 000013
および、原信号を所定の水平視差量Ｈだけ左にシフトした右眼用信号
【００７４】
【数１３】
0005515864.tif 000014
【００７５】
がフィルター：
【００７６】
【数１４】
0005515864.tif 000015
【００７７】
によって、解像度の一段階低い信号：
【００７８】
【数１５】
0005515864.tif 000016
【００７９】
に分解できることを表している。ここで、関数
【００８０】
【数１６】
0005515864.tif 000017
【００８１】
は、ウェーブレット関数と呼ばれ、また、関数
【００８２】
【数１７】
0005515864.tif 000018
【００８３】
は、スケーリング関数と呼ばれる。
【００８４】
図７にＤａｕｂｅｃｈｉｅｓウェーブレット（第１０次）のウェーブレット関数およびスケーリング関数の波形を示す。
【００８５】
視差量割当処理Ｐ９においては、前記視差量補正処理Ｐ５から視差補正量Ｈ’を受け取り、前記周波数選択処理Ｐ７から指示リストｌｉｓｔ（ｉ）を受け取り、前記周波数分解処理Ｐ８から算出した各周波数成分画像Ｆｉ（ｘ，ｙ）を受け取り、指定された分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ）に対して視差補正量Ｈ’を水平視差として与えて、左眼用周波数成分画像ＦｉＬ（ｘ，ｙ）および右眼用周波数成分画像ＦｉＲ（ｘ，ｙ）を出力する。
【００８６】
続いて視差量割当処理Ｐ９について詳細に説明する。図４は本発明の視差量割当処理Ｐ９の一例を示した処理フロー図である。
まず、前記周波数選択指示処理Ｐ５から選択リストｌｉｓｔ（ｉ）を受け取り、前記視差量補正処理Ｐ５から視差補正量Ｈ’を受け取り、前記周波数分解処理Ｐ８から分解レベル１からＭまでの各周波数成分画像Ｆｉ（ｘ，ｙ）を受け取る。
いま分解レベルｉに１を代入し（Ｐ９ａ）、ｌｉｓｔ（ｉ）の値を１と比較し（Ｐ９ｂ）、一致すれば分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ）に対称に水平視差を与えて、分解レベルｉの左眼用周波数成分画像ＦｉＬ（ｘ，ｙ）および右眼用周波数成分画像ＦｉＲ（ｘ，ｙ）を算出する。具体的には、分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ）に水平右方向に視差Ｈ’を与えて分解レベルｉの左眼用周波数成分画像
【００８７】
【数１８】
0005515864.tif 000019
【００８８】
を算出し、同様に分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ）に水平左方向に視差Ｈ’を与えて分解レベルｉの右眼用周波数成分画像
【００８９】
【数１９】
0005515864.tif 000020
【００９０】
を算出する。この処理（Ｐ９ｅからＰ９ｉまで）をｘの値が０からwidthまでｘの値を１ずつ増やしながら行い、さらにyの値が０からheightまでｙの値を１ずつ増やしながら繰り返し処理する。
一方、ｌｉｓｔ（ｉ）の値が１と一致しなければ、分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ）を分解レベルｉの左眼用周波数成分画像ＦｉＬ（ｘ，ｙ）および右眼用周波数成分画像ＦｉＲ（ｘ，ｙ）に代入する（ＦｉＬ（ｘ，ｙ）＝Ｆｉ（ｘ，ｙ），ＦｉＲ（ｘ，ｙ）＝Ｆｉ（ｘ，ｙ））。この処理（Ｐ９ｊからＰ９ｎまで）をｘの値が０からｗｉｄｔｈまでｘの値を１ずつ増やしながら行い、さらにyの値が０からｈｅｉｇｈｔまでｙの値を１ずつ増やしながら繰り返し処理する。
次にｉの値に１を加算してＭと比較し、Ｍ以下であれば同様の処理（Ｐ９ｂからＰ９ｏまで）を再度行なうことを繰り返し、Ｍを超えた時点で処理を終了する。
【００９１】
周波数合成処理Ｐ８においては、前記視差量割当処理Ｐ７において所望の周波数成分に対して所定の水平視差が与えられた左眼用周波数成分画像ＦｉＬ（ｘ，ｙ）および右眼用周波数成分画像ＦｉＲ（ｘ，ｙ）から、分解レベルＭから始めて、周波数分解処理の逆変換を適用して１段階低い分解レベルＭ−１の周波数画像を算出して、この処理を分解レベルが０になるまで順次繰り返して行なって、最終的に分解レベル０の左眼用周波数画像Ｆ０Ｌ（ｘ，ｙ）および右眼用周波数画像Ｆ０Ｒ（ｘ，ｙ）が得られる。
【００９２】
続いて周波数合成処理Ｐ１０について詳細に説明する。
図６において左から右へ進む矢印のフローを、逆方向の右から左へと進めることを考える。最大分解レベルＭにおける低周波数成分と高周波数成分を用いて、ウェーブレット逆変換を一回行なう毎に、周波数が２倍に増すとともに、分解レベルが１つ少ないレベルの低周波数成分に合成される。したがって、変換をＭ回繰り返した際、最大分解レベルの、その２倍、４倍、・・・、２Ｍ倍の周波数成分にそれぞれ合成される。２Ｍ倍の周波数成分とは、分解を行なっていないレベルを表し、結局元の画像の周波数成分が合成されることになる。
以下、具体的に処理を説明する。
また、図５は本発明の周波数合成処理の一例を示した処理フロー図である。
前記視差量割当処理Ｐ９から、分解レベル１からＭまでの各左眼用周波数成分画像ＦｉＬ（ｘ，ｙ）および右眼用周波数成分画像ＦｉＲ（ｘ，ｙ）を受け取る。
いま、分解レベルをｉとして、まずｉに最大分解レベル数Ｍを代入する（Ｐ１０ａ）。左眼用周波数成分画像
【００９３】
【数２０】
0005515864.tif 000021
【００９４】
および右眼用周波数成分画像
【００９５】
【数２１】
0005515864.tif 000022
【００９６】
に前記周波数変換Ｐ８ｃの逆変換（式３）および（式４）を適用して（Ｐ１０ｂ）、分解レベルの１つ少ないレベルの左眼用周波数成分画像
【００９７】
【数２２】
0005515864.tif 000023
【００９８】
および右眼用周波数成分画像
【００９９】
【数２３】
0005515864.tif 000024
【０１００】
を算出する。
【０１０１】
【数２４】
0005515864.tif 000025
【０１０２】
【数２５】
0005515864.tif 000026
【０１０３】
次にｉの値を１減らした値で更新して１と比較する。もし１以上であれば、再度逆変換処理（Ｐ１０ｂからＰ１０ｅまで）を適用し、０であれば処理を終了する。これにより、最終的に左眼用周波数合成画像
【０１０４】
【数２６】
0005515864.tif 000027
【０１０５】
および右眼用周波数合成画像
【０１０６】
【数２７】
0005515864.tif 000028
【０１０７】
が得られる。
【０１０８】
次に、画像変換処理Ｐ１１において、前記周波数合成処理Ｐ１０の出力である左眼用周波数画像
【０１０９】
【数２８】
0005515864.tif 000029
【０１１０】
および右眼用周波数画像
【０１１１】
【数２９】
0005515864.tif 000030
【０１１２】
を受け取り、さらに前記画像変換処理Ｐ２において分離した色度画像Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）を受け取り、元の画像Ｉ（ｘ，ｙ）と同一の画像形式に変換して、左眼用２次元画像ＩＬ（ｘ，ｙ）および右眼用２次元画像ＩＲ（ｘ，ｙ）を出力する。
【０１１３】
今回は、本発明を説明するために、一例として静止画像を用いた。本発明は二次元画像全般を対象としており、その適用対象は静止画像に限らない。例えば、二次元映像の各フレーム画像、ＣＧ（コンピュータ・グラフィクス）画像、および３ＤＣＧ映像の各フレーム画像等にも、同様に適用可能である。
【０１１４】
また、特に２次元映像を対象とした場合に、ＭＴＤ（Ｍｏｄｉｆｉｅｄ  Ｔｉｍｅ  Ｄｉｆｆｅｒｅｎｃｅ  時間差修飾）を組み合わせる方法がある。ＭＴＤは、一方の眼に映じる２次元映像に対し、他方の眼に映じる２次元映像に時間的な遅延を与えることで、例えば、被写体を背景に対して飛び出して見える立体効果を得る方法である。そこで、各フレームの二次元映像（画像）に対して本発明の画像処理方法を適用し、さらに映像の輝度成分の高周波数成分だけにＭＴＤを適用する方法が有効と考えられる。
【産業上の利用可能性】
【０１１５】
本発明は、１枚の二次元画像を画像処理して両眼立体視用の左眼用画像および右眼用画像を生成する方法であって、最近普及しつつある３Ｄ映画に代表される立体画像や立体映像全般に適用可能である。
【符号の説明】
【０１１６】
１・・・左眼用画像
２・・・右眼用画像
３・・・融像用ミラー
４・・・仮想的画像
５・・・視差角
Ｄ１・・・Ｄａｕｂｅｃｈｉｅｓウェーブレット（第１０次）のスケーリング関数
Ｄ２・・・Ｄａｕｂｅｃｈｉｅｓウェーブレット（第１０次）のウェーブレット関数
Ｐ１・・・画像読み取り処理
Ｐ２・・・画像変換処理
Ｐ３・・・視差量入力処理
Ｐ４・・・補正係数算出処理
Ｐ５・・・視差量補正処理
Ｐ６・・・最大分解レベル算出処理
Ｐ７・・・周波数選択指示処理
Ｐ８・・・周波数分解処理
Ｐ８ａ・・・分解レベルを変数ｉに設定
Ｐ８ｂ・・・ｉに１を設定
Ｐ８ｃ・・・周波数変換処理
Ｐ８ｄ・・・分解係数を格納
Ｐ８ｅ・・・ｉの値を１加算
Ｐ８ｆ・・・ｉの値をＭと比較
Ｐ９・・・視差量割当処理
Ｐ９ａ・・・変数ｉに１を設定
Ｐ９ｂ・・・list(i)の値を１と比較
Ｐ９ｃ・・・変数ｘ，ｙに０を設定
Ｐ９ｄ・・・変数ｘ，ｙに０を設定
Ｐ９ｅ・・・左眼用および右眼用周波数成分に周波数成分をｘ方向に右および左に対称に水平視差Ｈ’を設定したものを設定
Ｐ９ｆ・・・変数ｘの値を１加算する
Ｐ９ｇ・・・変数ｘの値をwidthと比較
Ｐ９ｈ・・・変数ｙの値を１換算する
Ｐ９ｉ・・・変数ｙの値をheightと比較
Ｐ９ｊ・・・左眼用および右眼用周波数成分に周波数成分を設定
Ｐ９ｋ・・・変数ｘの値を１加算する
Ｐ９ｌ・・・変数ｘの値をwidthと比較
Ｐ９ｍ・・・変数ｙの値を１換算する
Ｐ９ｎ・・・変数ｙの値をheightと比較
Ｐ９ｏ・・・変数ｉの値を１加算
Ｐ９ｐ・・・変数ｉの値をＭと比較
Ｐ１０・・・周波数合成処理
Ｐ１０ａ・・・変数ｉにＭを設定
Ｐ１０ｂ・・・分解レベルｉの分解係数および分解画像から周波数逆変換
Ｐ１０ｃ・・・分解レベルｉ−１の分解画像を算出
Ｐ１０ｄ・・・変数ｉの値を１減じる
Ｐ１０ｅ・・・変数ｉの値を１と比較
Ｐ１１・・・画像変換処理
Ｓ１・・・画像入力手段
Ｓ２・・・視差量指定手段
Ｓ２ａ・・・視差量入力手段
Ｓ２ｂ・・・補正係数指定手段
Ｓ２ｃ・・・視差量補正手段
Ｓ３・・・画像変換手段
Ｓ４・・・周波数選択手段
Ｓ５・・・周波数分解手段
Ｓ６・・・視差量割当手段
Ｓ７・・・周波数合成手段
Ｓ８・・・画像出力手段
【図１】
0005515864.tif 000031
【図２】
0005515864.tif 000032
【図３】
0005515864.tif 000033
【図４】
0005515864.tif 000034
【図５】
0005515864.tif 000035
【図６】
0005515864.tif 000036
【図７】
0005515864.tif 000037
【図８】
0005515864.tif 000038
【図９】
0005515864.tif 000039