(57)【特許請求の範囲】
【請求項１】
２次元画像の空間周波数成分を空間周波数分解して周波数成分を算出する周波数分解手段と、前記２次元画像に与えるべき視差量を指定する視差量指定手段と、
分解して得られた周波数成分に、前記視差量を割り当てる視差量割当手段と、
前記視差量割当手段を経て得られた各周波数成分を合成する周波数合成手段と、
前記周波数合成手段で得られた結果から、両眼立体視を可能とする左眼用画像および右眼用画像を出力する画像変換手段と、前記画像変換手段を経て得られる左眼用２次元画像および右眼用２次元画像を受け取って左眼用動画像および右眼用動画像を出力する動画像出力手段と、
を少なくとも含むことを特徴とする動画像処理方法。
【請求項２】
前記周波数分解手段を経て得られる各周波数成分を計数する計数手段と、前記計数手段を経て得られる結果から場面の動的性質を判定する判定手段と、前記判定手段を経て得られる結果から視差量の補正量を決定する視差量補正手段と、をさらに含むことを特徴とする請求項１に記載の動画像処理方法。
【請求項３】
前記視差量割当手段で視差量が割り当てられる周波数成分は、前記２次元画像の明度の周波数成分であることを特徴とする請求項１に記載の動画像処理方法。
【請求項４】
前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の高周波数成分であり、視差量が割り当てられる前記高周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１に記載の動画像処理方法。
【請求項５】
前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の低周波数成分であり、視差量が割り当てられる前記低周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１に記載の動画像処理方法。
【請求項６】
前記視差量は、水平視差であることを特徴とする請求項１乃至５のいずれかに記載の動画像処理方法。
【請求項７】
前記水平視差は、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることを特徴とする請求項６に記載の動画像処理方法。
【請求項８】
前記水平視差は、画像の彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることを特徴とする請求項６に記載の動画像処理方法。
【請求項９】
前記水平視差は、動画像データにおいて、ズームイン場面ないし面が手前側に変位する領域に対して大きく、ズームアウト場面ないし面が奥行き側に変位する領域に対して小さくなるように漸次的に与えることを特徴とする請求項６に記載の動画像処理方法。
【請求項１０】
２次元画像の空間周波数成分を空間周波数分解して周波数成分を算出する周波数分解手段と、前記周波数分解手段を経て得られる各周波数成分を計数する計数手段と、前記計数手段を経て得られる結果から場面の動的性質を判定する判定手段と、前記判定手段を経て得られる結果に基づいて前記２次元画像に与えるべき視差量を指定する視差量指定手段と、
分解して得られた周波数成分に、前記視差量を割り当てる視差量割当手段と、
前記視差量割当手段を経て得られた各周波数成分を合成する周波数合成手段と、
前記周波数合成手段で得られた結果から、両眼立体視を可能とする左眼用画像および右眼用画像を出力する画像変換手段と、前記画像変換手段を経て得られる左眼用２次元画像および右眼用２次元画像を受け取って左眼用動画像および右眼用動画像を出力する動画像出力手段と、
を少なくとも含むことを特徴とする動画像処理装置。
【請求項１１】
前記周波数分解手段を経て得られる各周波数成分を計数する計数手段と、前記計数手段を経て得られる結果から場面の動的性質を判定する判定手段と、前記判定手段を経て得られる結果から視差量の補正量を決定する視差量補正手段と、をさらに含むことを特徴とする請求項１０に記載の動画像処理装置。
【請求項１２】
前記視差量割当手段で視差量が割り当てられる周波数成分は、前記２次元画像の明度の周波数成分であることを特徴とする請求項１０に記載の動画像処理装置。
【請求項１３】
前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の高周波数成分であり、視差量が割り当てられる前記高周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１０に記載の動画像処理装置。
【請求項１４】
前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の低周波数成分であり、視差量が割り当てられる前記低周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１０に記載の動画像処理装置。
【請求項１５】
前記視差量は、水平視差であることを特徴とする請求項１０乃至１４のいずれかに記載の動画像処理装置。
【請求項１６】
前記水平視差は、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることを特徴とする、請求項１５に記載の動画像処理装置。
【請求項１７】
前記水平視差は、画像の彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることを特徴とする、請求項１５に記載の動画像処理装置。
【請求項１８】
前記水平視差は、動画像データにおいて、ズームイン場面ないし面が手前側に変位する領域に対して大きく、ズームアウト場面ないし面が奥行き側に変位する領域に対して小さくなるように漸次的に与えることを特徴とする請求項１５に記載の動画像処理装置。
【請求項１９】
請求項１から請求項９のいずれかに記載の画像処理方法を演算装置に実行させることを特徴とする動画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を立体視した際に立体感を操作する（強調あるいは抑制する）ことを可能にする動画像処理方法、動画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
人間の視覚の立体視処理では、左右それぞれの眼で見た画像（映像）に基づいて、立体を認識する。したがって、画像（映像）を立体的に見せるためには、左眼用画像（映像）および右眼用画像（映像）の一組の画像（映像）が必要である。
２次元画像にある加工を加えることにより、平面的な画像を立体的に見せる方法、いわゆる「立体視」技術が知られている。その中に、１枚の２次元画像から左眼用と右眼用の２つの画像を生成する技術がある。これは、画像中の注目物体（被写物体）に対する両眼の視差を算出し、これに基づいた量だけ画像の各画素位置を水平方向にシフトすることにより左眼用画像と右眼用画像を生成する処理である。
【０００３】
両眼視差を算出する方法として、明度や彩度などの色情報に基づいて、実際の物体の奥行き（カメラからの相対距離）を概算する方法がある。
例えば、特許文献１では、画像の遠近を表す画像特徴量として、各領域毎の高周波数成分の積算値、輝度コントラスト、輝度積算値および彩度積算値を定め、これらのいずれか或は組合せから各領域間に差が出るように奥行き補正量を算出し、その大小から遠近の度合いを決定する方法が開示されている。
この方法では、領域間に都合よく前後関係を付けるように奥行き量を補正するが、そのために適切な画像特徴量を選択するものであり、様々な場合に対応し得る柔軟性があるが、逆に、自動的に決定するなどの決定力に欠ける。さらに、同一面内などの領域内部に前後関係を与えることが困難な対象には不適切といえる。
【０００４】
両眼立体視を前提として、立体感を調整する方法が数多く提供されている。
例えば、特許文献１では、映像中の注目領域の移動量に応じた動きベクトルの平均値を求め、その平均値と比較した大小関係から、注目領域が被写体であるか背景であるかを決定し、被写体と背景との間の差分に応じて水平位相量を調節する方法が提示されている。しかし、この方法では背景自体や被写体の面の内部に立体感を与えることはできない。
また、特許文献２では、映像信号のエッジ情報を求め、エッジ情報の密な領域を前景に、疎な領域を背景とみなして前後関係を求め、前景には大きく、背景には小さく視差を与える方法が提示されている。しかし、この方法ではエッジが密な領域全体を対象とするため、毛皮や織物などの細かい構造が密集した素材に対しては、面全体が前景の対象となって背景を特定できず、前後関係が求まらない。
さらに特許文献３では、一般に被写体にピントが合っている映像が多いことから、近くにあるものほど、高周波数成分、コントラスト、輝度および彩度が高いと考え、高周波の積算値、輝度コントラスト、輝度積算値および彩度積算値が多い領域ほど、前方に存在する物体と判断して奥行き補正量を決定し、この奥行き量に対して線形に視差量を対応付ける方法が提示されている。しかし、この方法は領域間に視差を与える事を目的としており、例えば面積の小さい領域内部に視差を与える目的に対しては不適切である。
【０００５】
一方、プルフリッヒ効果とよばれる、明るい刺激の方が暗い刺激よりも早く点灯されたように感じる知覚特性を利用して立体効果を得る方法が知られている。例えば、特許文献４では、左眼に映じる映像と右眼に映じる映像とに時間差を設定して擬似的な３次元映像を生成する方法が提示されている。しかし、この方法は左右眼からの距離が異なる対象に対して有効であり、例えば左右に移動する物体の立体感を増強するのに有効であるが、前後に移動する対象などではそれほど有効とは言えない。
【０００６】
以上のように従来の方法では、対象物の個々の面内の立体感（素材表面の厚み感など）を再現したり、さらに面が時間的に手前や奥行き方向に変位する様子を強調したりすることは困難な問題であった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３２３５７７６号公報
【特許文献２】特開平１０−３３６７０２号公報
【特許文献３】特開平１０−１９１３９７号公報
【特許文献４】特許第３２４９３３５号公報
【非特許文献】
【０００８】
【非特許文献１】「ウェーブレットビギナーズガイド」、榊原  進  著、東京電機大学出版局、１９９５
【非特許文献２】「ウェーブレットと直交関数系」、Ｇ．Ｇ．ウォルター著、榊原  進、萬代  武史、芦野  隆一  訳、東京電機大学出版局、２００１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように従来の技術は、画像（映像）中の領域（例えば、個々の物体）間、あるいは個々の面の間で視差を与えて前後感や奥行き感を与えることで立体感を増強することを目的としており、個々の面内部や領域内部の立体感を操作することは考慮していない。そのため、従来の技術をそのまま面内部や領域内部に適用すると、二重像になったり、二層に見えるなど不自然で違和感の強い立体視になる問題がある。
【００１０】
この発明は、上記問題に鑑みて、物体の面や領域内部、細部構造や素材に由来する表面の起伏や厚みを直接の処理対象として、両眼立体視した際に自然な立体感を感じさせることを可能にする、ならびに面が時間的に手前側や奥行き方向に変位する際の立体感を強調することを可能にする、さらに１本の２次元動画像だけから左眼用動画像および右眼用動画像を生成することを可能にする動画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するための手段として、第１の発明は、２次元画像の空間周波数成分を空間周波数分解して周波数成分を算出する周波数分解手段と、
前記２次元画像に与えるべき視差量を指定する視差量指定手段と、
分解して得られた周波数成分に、前記視差量を割り当てる視差量割当手段と、
前記視差量割当手段を経て得られた各周波数成分を合成する周波数合成手段と、
前記周波数合成手段で得られた結果から、両眼立体視を可能とする左眼用画像および右眼用画像を出力する画像変換手段と、前記画像変換手段を経て得られる左眼用２次元画像および右眼用２次元画像を受け取って左眼用動画像および右眼用動画像を出力する動画像出力手段と、
を少なくとも含むことを特徴とする動画像処理方法である。
【００１２】
また、第２の発明は、前記周波数分解手段を経て得られる各周波数成分を計数する計数手段と、前記計数手段を経て得られる結果から場面の動的性質を判定する判定手段と、前記判定手段を経て得られる結果から視差量の補正量を決定する視差量補正手段と、をさらに含むことを特徴とする請求項１に記載の動画像処理方法である。
【００１３】
また、第３の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、前記２次元画像の明度の周波数成分であることを特徴とする請求項１に記載の動画像処理方法である。
【００１４】
また、第４の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の高周波数成分であり、視差量が割り当てられる前記高周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１に記載の動画像処理方法である。
【００１５】
また、第５の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の低周波数成分であり、視差量が割り当てられる前記低周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１に記載の動画像処理方法である。
【００１６】
また、第６の発明は、前記視差量は、水平視差であることを特徴とする請求項１乃至５のいずれかに記載の動画像処理方法である。
【００１７】
また、第７の発明は、前記水平視差は、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることを特徴とする請求項６に記載の動画像処理方法である。
【００１８】
また、第８の発明は、前記水平視差は、画像の彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることを特徴とする請求項６に記載の動画像処理方法。
【００１９】
また、第９の発明は、前記水平視差は、動画像データにおいて、ズームイン場面ないし面が手前側に変位する領域に対して大きく、ズームアウト場面ないし面が奥行き側に変位する領域に対して小さくなるように漸次的に与えることを特徴とする請求項６に記載の動画像処理方法である。
【００２０】
また、第１０の発明は、２次元画像の空間周波数成分を空間周波数分解して周波数成分を算出する周波数分解手段と、前記周波数分解手段を経て得られる各周波数成分を計数する計数手段と、前記計数手段を経て得られる結果から場面の動的性質を判定する判定手段と、前記判定手段を経て得られる結果に基づいて前記２次元画像に与えるべき視差量を指定する視差量指定手段と、分解して得られた周波数成分に、前記視差量を割り当てる視差量割当手段と、前記視差量割当手段を経て得られた各周波数成分を合成する周波数合成手段と、
前記周波数合成手段で得られた結果から、両眼立体視を可能とする左眼用画像および右眼用画像を出力する画像変換手段と、前記画像変換手段を経て得られる左眼用２次元画像および右眼用２次元画像を受け取って左眼用動画像および右眼用動画像を出力する動画像出力手段と、
を少なくとも含むことを特徴とする動画像処理装置である。
【００２１】
また、第１１の発明は、前記周波数分解手段を経て得られる各周波数成分を計数する計数手段と、前記計数手段を経て得られる結果から場面の動的性質を判定する判定手段と、前記判定手段を経て得られる結果から視差量の補正量を決定する視差量補正手段と、をさらに含むことを特徴とする請求項１０に記載の動画像処理装置である。
【００２２】
また、第１２の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、前記２次元画像の明度の周波数成分であることを特徴とする請求項１０に記載の動画像処理装置である。
【００２３】
また、第１３の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の高周波数成分であり、視差量が割り当てられる前記高周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１０に記載の動画像処理装置である。
【００２４】
また、第１４の発明は、前記視差量割当手段で視差量が割り当てられる周波数成分は、所望回数の周波数分解を繰り返した後に二分された周波数成分の内、周波数が低い側の周波数成分を低周波数成分、周波数が高い側の周波数成分を高周波数成分とした際の、前記２次元画像の明度の低周波数成分であり、視差量が割り当てられる前記低周波数成分以外の周波数成分には視差量を割り当てないことを特徴とする請求項１０に記載の動画像処理装置である。
【００２５】
また、第１５の発明は、前記視差量は、水平視差であることを特徴とする請求項１０乃至１４のいずれかに記載の動画像処理装置である。
【００２６】
また、第１６の発明は、前記水平視差は、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることを特徴とする、請求項１５に記載の動画像処理装置である。
【００２７】
また、第１７の発明は、前記水平視差は、画像の彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることを特徴とする、請求項１５に記載の動画像処理装置である。
【００２８】
また、第１８の発明は、前記水平視差は、動画像データにおいて、ズームイン場面ないし面が手前側に変位する領域に対して大きく、ズームアウト場面ないし面が奥行き側に変位する領域に対して小さくなるように漸次的に与えることを特徴とする請求項１５に記載の動画像処理装置である。
【００２９】
また、第１９の発明は、請求項１から請求項９のいずれかに記載の画像処理方法を演算装置に実行させることを特徴とする動画像処理プログラムである。
【発明の効果】
【００３０】
第１の発明によれば、対象物の面の１枚のフレーム画像に対し、空間周波数分解を適用して個々の周波数成分に分解し、所望の空間周波数成分に対して所定の水平視差量を与えて、周波数合成することにより左眼用画像および右眼用画像を生成することによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
また、本発明は、特に物体表面の厚み感を強調する性能に優れており、人間が厚みを感じる対象物、例えば絨毯、毛皮、毛織物、厚手の布地、衣類などの素材に対して特に有効である。また、元々立体視用に撮影した映像でなくても、擬似的に視差を生成することができるため、既存の映像から擬似的にステレオ映像を生成する際に活用することができる。
これらを両眼立体視環境で観察することにより、違和感なく面の立体感が強調ないし抑制される。
例えば１台の撮像機器で撮影した映像、もしくはアニメーション映像から、両眼立体視用の映像もしくはアニメーション映像を容易に実現することができ、両眼立体視可能な観察環境においてリアルな擬似立体視を実現可能になる。
【００３１】
また、第２の発明によれば、複数のフレーム画像間で周波数成分の分布を比較することによって、映像の場面の分類を行い、場面の種類に応じて面の立体感を強調したり抑制したりすることが可能となる。
【００３２】
また、第３の発明によれば、動画像データ（複数の連続するフレーム画像）から、ズームインないしズームアウト場面、あるいは、時間軸に沿って面が手前側および奥行き側に変化する領域を検出して、ズームイン場面ないし手前側に変位する領域には時間的に増加する水平視差量を与えて、ズームアウト場面ないし奥行き側に変位する領域には時間的に減少する水平視差量を与えることによって、両眼立体視可能な観察条件で、時間的に変位する物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
【００３３】
また、第４の発明によれば、明度の空間周波数成分を分解することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
明度成分と色度成分とを分離して、明度成分だけを処理することによって、色彩の変化を最大限に抑制しつつ、効果的に立体感を強調ないし抑制することができる。
【００３４】
また、第５の発明によれば、明度の高周波数成分を分解、処理することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
特に、人の視覚が中・高周波数成分に対しては主に明度成分に対して感度が高いことから、明度の高周波数成分に対して本発明を適用することで、立体感を違和感無く効果的に得ることができる。
この発明は、特に、厚手の毛皮など毛が密集した素材の細部の表面立体感を強調するのに適している。また、映像中でカメラが徐々に接近してズームインする場面や徐々に離れるズームアウト場面における立体感の強調や抑制に有効である。
【００３５】
また、第６の発明によれば、明度の高周波数成分を分解、処理することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
明度の低周波数成分は、主に対象物の表面形状（表面全体に渡る面積の大きな凹凸形状）を反映するため、表面形状の立体感を効果的に強調ないし抑制することができる。
例えば、この発明は犬や猫などの動物の毛の動画像において、背中、腹部、臀部など、あるいは空中に浮遊する雲や砂漠の砂丘の盛り上がり、海面の波のうねりなどの対象物の比較的広い面積の立体感を強調ないし抑制するのに適している。また、動画像においてカメラが徐々に遠写しになるズームアウトする場面において、対象物の面を広く映し出す際に有効である。
【００３６】
また、第７の発明によれば、視差量に水平視差を採用することによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
【００３７】
また、第８の発明によれば、視差量に水平視差を採用し、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
特に、表面構造に多層の網目状の構造を有する素材、例えば多層のガーゼや綿、毛織物、あるいはナイロンタワシなどの場合、表面に近いほど反射が強く明るく、奥に行くほど反射が弱く暗いため、明度の大きい成分に大きい視差量を与え、明度の小さい成分に小さい視差量を与えることにより、表面側と奥側との奥行き差を漸次的に強調することができ、その結果、奥行き感を自然に強調することができる。
【００３８】
また、第９の発明によれば、視差量に水平視差を採用し、彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
これは、近くにある対象物体の面の彩度が強く、遠くにある対象物体の面の彩度が弱くなる経験則に依拠しており、例えば派手な色使いの衣装やカーテン、ペルシャ絨毯などの色彩鮮やかな素材の表面立体感を得たい場合に有効であり、また、映像におけるズームイン／ズームアウトの際の物体表面の立体感の変化を再現する場面に有効である。
【００３９】
第１０の発明によれば、対象物の面の１枚のフレーム画像に対し、空間周波数分解を適用して個々の周波数成分に分解し、所望の空間周波数成分に対して所定の水平視差量を与えて、周波数合成することにより左眼用画像および右眼用画像を生成することによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
また、本発明は、特に物体表面の厚み感を強調する性能に優れており、人間が厚みを感じる対象物、例えば絨毯、毛皮、毛織物、厚手の布地、衣類などの素材に対して特に有効である。また、元々立体視用に撮影した映像でなくても、擬似的に視差を生成することができるため、既存の映像から擬似的にステレオ映像を生成する際に活用することができる。
これらを両眼立体視環境で観察することにより、違和感なく面の立体感が強調ないし抑制される。
例えば１台の撮像機器で撮影した画像や映像、もしくはアニメーション映像から、両眼立体視用の画像や映像もしくはアニメーション映像を容易に実現することができ、両眼立体視可能な観察環境においてリアルな擬似立体視を実現可能になる。
【００４０】
また、第１１の発明によれば、明度の空間周波数成分を分解することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能になる。複数のフレーム画像間で周波数成分の分布を比較することによって、映像の場面の分類を行い、場面の種類に応じて面の立体感を強調したり抑制したりすることが可能となる。
【００４１】
また、第１２の発明によれば、動画像データ（複数の連続するフレーム画像）から、ズームインないしズームアウト場面、あるいは、時間軸に沿って面が手前側および奥行き側に変化する領域を検出して、ズームイン場面ないし手前側に変位する領域には時間的に増加する水平視差量を与えて、ズームアウト場面ないし奥行き側に変位する領域には時間的に減少する水平視差量を与えることによって、両眼立体視可能な観察条件で、時間的に変位する物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
また、本発明は、特に物体表面の厚み感を強調する性能に優れており、人間が厚みを感じる対象物、例えば絨毯、毛皮、毛織物、厚手の布地、衣類などの素材に対して特に有効である。また、元々立体視用に撮影した画像や映像でなくても、擬似的に視差を生成することができるため、既存の画像や映像から擬似的にステレオ画像やステレオ映像を生成する際に活用することができる。
これらを両眼立体視環境で観察することにより、違和感なく面の立体感が強調ないし抑制される。
【００４２】
また、第１３の発明によれば、明度の空間周波数成分を分解することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
明度成分と色度成分とを分離して、明度成分だけを処理することによって、色彩の変化を最大限に抑制しつつ、効果的に立体感を強調ないし抑制することができる。
【００４３】
また、第１４の発明によれば、明度の高周波数成分を分解、処理することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
特に、人の視覚が中・高周波数成分に対しては主に明度成分に対して感度が高いことから、明度の高周波数成分に対して本発明を適用することで、立体感を違和感無く効果的に得ることができる。
この発明は、特に、厚手の毛皮など毛が密集した素材の細部の表面立体感を強調するのに適している。また、映像においてカメラが徐々に接近してズームインする場面や、対象物体の面をより接写して映じる場面に有効である。
【００４４】
また、第１５の発明によれば、明度の高周波数成分を分解、処理することによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
明度の低周波数成分は、主に対象物の表面形状（表面全体に渡る面積の大きな凹凸形状）を反映するため、表面形状の立体感を効果的に強調ないし抑制することができる。
例えば、この発明は犬や猫などの動物の毛の動画像において、背中、腹部、臀部など、あるいは空中に浮遊する雲や砂漠の砂丘の盛り上がり、海面の波のうねりなどの対象物の比較的広い面積の立体感を強調ないし抑制するのに適している。また、映像においてカメラが徐々に遠写しになるズームアウトする場面において、対象物の面を広く映し出す際に有効である。
【００４５】
また、第１６の発明によれば、視差量に水平視差を採用することによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
【００４６】
また、第１７の発明によれば、視差量に水平視差を採用し、画像の明度の大きい成分に対して大きく、明度の小さい成分に対しては小さく与えることによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
特に、表面構造に多層の網目状の構造を有する素材、例えば多層のガーゼや綿、毛織物、あるいはナイロンタワシなどの場合、表面に近いほど反射が強く明るく、奥に行くほど反射が弱く暗いため、明度の大きい成分に大きい視差量を与え、明度の小さい成分に小さい視差量を与えることにより、表面側と奥側との奥行き差を漸次的に強調することができ、その結果、奥行き感を自然に強調することができる。
【００４７】
また、第１８の発明によれば、視差量に水平視差を採用し、彩度の大きい成分に対して大きく、彩度の小さい成分に対しては小さく与えることによって、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
これは、近くにある対象物体の面の彩度が強く、遠くにある対象物体の面の彩度が弱くなる経験則に依拠しており、例えば派手な色使いの衣装やカーテン、ペルシャ絨毯などの色彩鮮やかな素材の表面立体感を得たい場合に有効であり、また、映像におけるズームイン／ズームアウトの際の物体表面の立体感の変化を再現する場面に有効である。
【００４８】
また、第１９の発明によれば、本発明をパソコンなどの演算装置に実行させることによって、両眼立体視可能な観察条件で、物体表面の立体感を違和感なく強調したり抑制したりすることが可能となる。
また、第１乃至１９の発明によれば、映像において、本発明における高周波数成分の立体感強調手法と低周波数成分の立体感強調手法とを時間軸上で適宜選択して適用することによって、水面のうねりなどの粘性物体の動きや、風にたなびく旗などの布地のうねりなどの動きを強調ないし抑制することが可能となる。
【図面の簡単な説明】
【００４９】
【図１】本発明の動画像処理方法の一例を示した概要図。
【図２】本発明の動画像処理方法の一例を示した処理フロー図。
【図３】本発明の周波数分解処理の一例を示した処理フロー図。
【図４】本発明の視差量割当処理の一例を示した処理フロー図。
【図５】本発明の周波数合成処理の一例を示した処理フロー図。
【図６】ウェーブレット変換・逆変換の概念を示す説明図。
【図７】Ｄａｕｂｅｃｈｉｅｓウェーブレット（第１０次）のウェーブレット関数およびスケーリング関数の形状を示す図。
【図８】本発明により生成された動画像を表示する、観察対象物体の両眼視差画像の提示が可能な動画像提示環境の一例を示す概念図。
【図９】図８の環境で観察者が知覚しうる単一の仮想的画像の様子を示す概念図。
【発明を実施するための形態】
【００５０】
以下、図面を参照して、この発明の実施の形態について説明する。
【００５１】
図８は、本発明を用いて生成された動画像を表示するための、観察対象物体の両眼視差動画像の提示が可能な動画像提示環境の一例である。また、図９は、図８の環境で観察者が知覚しうる単一の仮想的動画像の様子を示す概念図の一例である。
【００５２】
左眼用画像１と右眼用画像２に表示された画像は、融像用ミラー３に反射し、観察者の両眼でそれぞれ観察される。双方の画像に同一の画像を表示した場合には、画像とミラーの適切な配置によって、観察者には図９に示すように単一の仮想的画像４が正面に存在するかのような知覚をもたらす。
また、画像とミラーの配置を変更することで視差角が変化し、画像までの距離感が変化する．また、画像とミラーの配置を変更することなく、双方の画像に表示されている画像に対して、それぞれに異なる量の平行移動を加えることによっても視差角が変化し距離感が変化する。
【００５３】
図１は、本発明の動画像処理方法の一例を示した概要図である。
【００５４】
動画像入力手段Ｓ１において、立体化したい動画像を本発明の装置に入力する。
動画像入力手段Ｓ１では、ハードディスクデバイス等の記憶装置もしくはネットワークを通じた通信回線もしくは映像機器等に接続した映像信号線などから動画像データＶｉｎを入力する。
【００５５】
次に、画像変換手段Ｓ２において、前記画像入力手段から入力した動画像Ｖｉｎを複数のフレーム画像に変換し、時刻ｔのフレーム画像Ｉ（ｘ，ｙ，ｔ）に対し、明度画像Ｌ（ｘ，ｙ，ｔ）および色度画像Ｃ１（ｘ，ｙ，ｔ）、Ｃ２（ｘ，ｙ，ｔ）および彩度画像Ｓ（ｘ，ｙ，ｔ）を出力する。
【００５６】
次に、視差量指定手段Ｓ３において、立体化したい画像に与えるべき視差量を本発明の装置に入力する。視差量入力手段Ｓ３ａは、視差量Ｈを入力する。これは例えば、コンピュータ端末上に提示した入力画面から任意の数値を入力する、ないし複数の候補値の中から選択することなどで実現できる。あるいは、ボタンやダイヤル等を配した入力装置等を介して入力しても良い。
【００５７】
本発明の視差量は、両眼視差を想定しており、観察者の両眼の方向に平行な方向の視差や、視差画像の横方向（画像の水平方向）の水平視差を対象としており、それらを適宜調整する。
【００５８】
例えば、視差量入力手段Ｓ３ａでは、水平視差量Ｈとして、所定の数値ｈを与える（Ｈ＝ｈ）。次に、補正係数指定手段Ｓ３ｂにおいて、前記画像変換手段Ｓ２において出力された明度成分画像Ｌ（ｘ，ｙ，ｔ）および彩度成分画像Ｓ（ｘ，ｙ，ｔ）を受け取り、数値ｋ、明度ｖの単調増加関数ｆ（ｖ）、彩度ｓの単調増加関数ｇ（ｓ）、のうちいずれかの形式で視差補正係数Ｋを設定する（Ｋ＝ｋ、Ｋ＝ｆ（ｖ）、Ｋ＝ｇ（ｓ））。
【００５９】
ここで、視差の補正係数を明度の単調増加関数として与えるのは、光の反射の性質から、対象物表面のより表層部分はより明るく見え、逆により深奥部分はより暗く見えることに対応している。
【００６０】
また、視差の補正係数を彩度の単調増加関数として与えるのは、人間の視覚にはより近くの対象は色鮮やかに見え、逆により遠くの対象は色が弱く見えることから、対象物表面のより表層部分は色鮮やか、すなわち彩度が高くなり、逆により深奥部分は色が薄い、すなわち彩度が低くなることに対応している。
【００６１】
続いて、周波数選択手段Ｓ４において、前記画像変換手段Ｓ２から受け取ったフレーム画像の最大分解レベルＭを算出し、分解レベル１からＭまでの間で所望の分解レベルを選択する。
【００６２】
ここで、分解レベルとは画像を周波数成分に分解する際の分解回数に相当する。例えば、画像の最小構成単位である画素を単位として周波数を規定する場合、最も細かい、すなわち最も高周波なのは、２画素を１波長とする場合になる。これが分解レベル１で周波数１／２に当たる。次に分解レベル２ではその半分の周波数１／４になり、以下同様に繰り返して、分解レベルｎでは周波数１／２ｎになる。
なお、各分解レベルにおける周波数の値は、周波数を規定する際の単位の大きさに依存する。
【００６３】
次に、周波数分解手段Ｓ５において、前記画像変換手段Ｓ２で変換された画像を空間周波数分解する。
【００６４】
ここで、２次元画像を空間周波数分解して個々の周波数成分を算出する場合、さまざまな画像信号に対して行うことができる。たとえば、明度成分や色度成分を空間周波数分解して個々の周波数成分を算出する方法が挙げられる。
本発明は人間の立体視に関するため、視知覚的に有意味な信号に対して適用するのが適切と考えられる。画像の信号成分である明度成分と色度成分に関しては、人間の視知覚の空間周波数の知覚に関して、明度成分に対する感度特性がバンドパス型を示すのに対して、色度成分に対する感度特性がローパス型を示し、中・高周波数成分の知覚には主として明度成分が利用されることから、本発明における空間周波数の処理は明度成分に対して行なうのが好ましい。以下、明度成分を適用する場合を用いて説明する。
【００６５】
次に、計数手段Ｓ６において、分解した周波数成分を所定のフレーム数に渡って計数する。ここで、所定のフレーム数とは動画像の内容に合わせて適応的に決めるのが適切であるが、変化の早い対象には小さく、変化の遅い対象には大きく設定するのがよい。
さて、計数の方法としては色々と考えられるが、例えば、ヒストグラムを用いる方法がある。所定のフレーム数の画像に渡り、各周波数成分のヒストグラムを求める。
【００６６】
次に、判定手段Ｓ７において、前記計数手段Ｓ６から計数結果を受け取り、ズームイン場面か、ズームアウト場面か、或いはその他場面であるかを判定して、フレームｆの関数Ｋ２（ｆ）を出力する。
判定の方法としては、ズームイン場面およびズームアウト場面、さらにその他の場面を学習用映像として用意し、それぞれヒストグラムを算出し、例えば判別分析法などの統計的手法によってそれぞれの分類閾値を算出して利用する方法が考えられる。
あるいは、各時間毎に、所定のフレーム数に渡るヒストグラムを逐次算出し、ヒストグラムの分布形状およびピーク位置を比較し、形状が類似で、かつ、ピーク位置が低周波側へシフトする場面はズームイン場面として、形状が類似で、かつ、ピーク位置が高周波側へシフトする場面はズームアウト場面として、それぞれ判定する方法などが考えられる。
ここで、関数Ｋ２（ｆ）としては、ズームイン場面では、場面の全フレーム数（開始フレームｆ１から終了フレームｆ２）に渡って０から１まで単調増加する関数を、またズームアウト場面では全フレーム数に渡って１から０まで単調減少する関数として、その他の場面ではＫ２（ｆ）＝１のように設定する。
最も単純な例としては、
【数１】
0005545059.tif 000002
のように与えることができるが、もちろん、これらに限るわけではなく、単調増加、および単調減少の範囲内で様々な関数を選択することが可能である。
【００６７】
そして、視差量補正手段Ｓ８において、前記視差量指定手段Ｓ３ａから所定の視差量Ｈを受け取り、前記補正係数指定手段Ｓ３ｂから視差補正係数Ｋ１を受け取り、さらに前記判定手段Ｓ７から場面に応じたフレームの関数Ｋ２（ｆ）を受け取り、視差補正量Ｈ’としてＨ’＝Ｋ１×Ｋ２（ｆ）×Ｈを算出する。
ここで、関数としては、例えば、明度画像Ｌ（ｘ，ｙ，ｔ）の明度の最大値をＶｍａｘ、最小値をＶｍｉｎとすると、ｖ＝Ｌ（ｘ，ｙ，ｔ）としてｆ（ｖ）＝ｖ／（Ｖｍａｘ−Ｖｍｉｎ）のように線形に与えることができる。彩度の関数ｇ（ｓ）としても、同様に、彩度画像Ｓ（ｘ，ｙ，ｔ）の彩度の最大値をＳｍａｘ、最小値をＳｍｉｎとすると、ｓ＝Ｓ（ｘ，ｙ，ｔ）としてｇ（ｓ）＝ｓ／（Ｓｍａｘ−Ｓｍｉｎ）のように線形に与えることができる。もちろん、これらに限るわけではなく、単調増加の範囲内で様々な関数を選択することが可能である。
【００６８】
次に、視差量割当手段Ｓ９において、前記周波数分解手段Ｓ５で得られた周波数成分に、前記視差量指定手段Ｓ８で補正した視差補正量Ｈ’を割り当てる。
【００６９】
このとき、視差補正量Ｈ’は、画像の種類によって、高周波数成分は所定の水平視差量だけ左右にシフトされ、その他の周波数成分はシフトされないようにする手法や、低周波数成分は所定の水平視差量だけ左右にシフトされ、その他の周波数成分はシフトされない手法や、所定の水平視差量に、定数、ないし明度成分の単調増加関数で与えられる補正係数を乗じた値を新たな水平視差量として採用し、所望の周波数成分をシフトする手法、所定の水平視差量に、定数、ないし彩度成分の単調増加関数で与えられる補正係数を乗じた値を新たな水平視差量として採用し、所望の周波数成分をシフトする手法を適宜選択して、もしくはそれらを組み合わせて視差量を割り当てる。
【００７０】
具体的には、前記周波数分解手段Ｓ５から受け取った各周波数成分Ｆｉ（ｘ，ｙ，ｔ）のうち、１が割り当てられた分解レベルｉの周波数成分に対しては水平視差量として視差補正量Ｈ’を水平方向に対称に割り当て、０が割り当てられた分解レベルｉの周波数成分に対しては水平視差量を割り当てずに、左眼用の周波数成分画像ＦｉＬ（ｘ，ｙ，ｔ）、および右眼用の周波数成分画像ＦｉＲ（ｘ，ｙ，ｔ）を次式のように生成する。
【００７１】
【数２】
0005545059.tif 000003
【００７２】
次に、周波数合成手段Ｓ１０において、分解した各周波数成分を合成して画像を構成する。
周波数合成手段Ｓ１０では、前記周波数分解方法とは逆方向に処理を進める。分解レベルｎの低周波画像および分解レベルｎのウェーブレット係数にウェーブレット逆変換を適用して分解レベルｎ−１の低周波画像が得られる。次に、分解レベルｎ−１の低周波画像とウェーブレット係数にウェーブレット逆変換を適用することにより分解レベルｎ−２の低周波画像が得られる。この操作を順次繰り返すことにより、分解レベル０の画像すなわち元の画像を再構成することができる。
【００７３】
ウェーブレット変換によって周波数分解することにより、各分解レベル毎のウェーブレット係数が得られる。分解レベルはツースケール関係により、２のべき乗分の１の空間解像度に対応しており、例えば、分解レベルｉは、原画像の空間解像度の
【００７４】
【数３】
0005545059.tif 000004
【００７５】
倍の空間解像度に対応し、これは原画像の
【００７６】
【数４】
0005545059.tif 000005
【００７７】
倍の空間周波数成分に相当する。
【００７８】
そこで、所望の周波数成分、すなわち、所望の分解レベルのウェーブレット係数には水平視差を与え、その他のウェーブレット係数には水平視差を与えずに、前記合成方法を適用することにより、所望の周波数成分だけに水平視差が付与された左眼用画像
【００７９】
【数５】
0005545059.tif 000006
【００８０】
および右眼用画像が得られる。
【００８１】
【数６】
0005545059.tif 000007
【００８２】
次に、画像変換手段Ｓ１１において、周波数合成手段Ｓ１０で得られた結果を所望の形式の画像として出力する。
具体的には、画像出力手段Ｓ１１は、前記周波数合成手段から左眼用周波数合成画像
【００８３】
【数７】
0005545059.tif 000008
【００８４】
および右眼用周波数合成画像
【００８５】
【数８】
0005545059.tif 000009
【００８６】
を受け取り、前記画像変換手段Ｓ２から色度画像Ｃ１（ｘ，ｙ，ｔ）、Ｃ２（ｘ，ｙ，ｔ）を受け取り、これらから色変換を適用して所望の二次元画像である左眼用画像ＩＬ（ｘ，ｙ，ｔ）と右眼用画像ＩＲ（ｘ，ｙ，ｔ）を出力する。
【００８７】
動画像出力手段Ｓ１２は、前記画像変換手段Ｓ１１から各フレームの左眼用画像ＩＬ（ｘ，ｙ，ｔ）と右眼用画像ＩＲ（ｘ，ｙ，ｔ）を受け取り、左眼用動画像と右眼用動画像を出力する。
【００８８】
結果を画像として出力する媒体は画像を表示できるものであれば特に限定するものではなく、液晶ディスプレイやプラズマ、ＣＲＴ、有機ＥＬなどが挙げられる。
【００８９】
図２は、本発明の動画像処理方法の一例を示した処理フロー図である。以降は図２の処理フローを用いて本発明の一形態を説明する。
まず、動画像入力処理Ｐ１において、処理すべき２次元動画像データＶｉｎを入力する。
【００９０】
次に、画像変換処理Ｐ２において、前記動画像入力処理Ｐ１において読み取った２次元動画像データＶｉｎをフレーム画像Ｉ（ｘ，ｙ，ｔ）に分解し、さらに各フレーム画像を明度成分と色度成分とに分離し、明度成分の２次元画像Ｌ（ｘ，ｙ，ｔ）および色度成分の２次元画像Ｃ１（ｘ，ｙ，ｔ）、Ｃ２（ｘ，ｙ，ｔ）および彩度成分の２次元画像Ｓ（ｘ，ｙ，ｔ）にそれぞれ変換する。
【００９１】
なお、色情報を明度情報と色度情報に分離する方法としては、Ｙ（Ｒ−Ｙ）（Ｂ−Ｙ）ないしＣＩＥＬＡＢないしＨＳＶなどのいずれかの表色系を用いればよい。ここで、最も一般的に用いられている二次元画像の表色系としてＲＧＢ表色系を基準にすると、Ｙ（Ｒ−Ｙ）（Ｂ−Ｙ）の場合は放送用に用いられ、明度Ｙは式１で算出し、彩度Ｓは式２で算出する。
【００９２】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ  （式１）
【００９３】
【数９】
0005545059.tif 000010
【００９４】
一方、視差量入力処理Ｐ３においては、まず、前記視差量入力手段Ｓ３ａを介して視差量Ｈを入力する。これは例えば、コンピュータ端末上に提示した入力画面から任意の値を入力する、ないし複数の候補値の中から選択することなどで実現できる。あるいは、ボタンやダイヤル等を配した入力装置等から入力しても良い。
【００９５】
補正係数算出処理Ｐ４においては、前記画像変換Ｐ２から明度画像Ｌ（ｘ，ｙ，ｔ）および彩度画像Ｓ（ｘ，ｙ，ｔ）を受け取り、処理数値ｋ、明度ｖの関数ｆ（ｖ）、彩度ｓの関数ｇ（ｓ）のうちいずれかの形式で補正係数Ｋを算出する（Ｋ＝ｋ、Ｋ＝ｆ（ｖ）、Ｋ＝ｇ（ｓ））。
【００９６】
ここで、明度の関数ｆ（ｖ）としては、例えば、明度画像Ｌ（ｘ，ｙ，ｔ）の明度の最大値をＶｍａｘ、最小値をＶｍｉｎとすると、ｖ＝Ｌ（ｘ，ｙ，ｔ）としてｆ（ｖ）＝ｖ／（Ｖｍａｘ−Ｖｍｉｎ）のように線形に与えることができる。彩度の関数ｇ（ｓ）としても、同様に、彩度画像Ｓ（ｘ，ｙ，ｔ）の彩度の最大値をＳｍａｘ、最小値をＳｍｉｎとすると、ｓ＝Ｓ（ｘ，ｙ，ｔ）としてｇ（ｓ）＝ｓ／（Ｓｍａｘ−Ｓｍｉｎ）のように線形に与えることができる。もちろん、これらに限るわけではなく、単調増加の範囲内で様々な関数を選択することが可能である。
【００９７】
次に、時刻の変数ｔに１を代入する。本実施例では時刻をフレーム番号で代用することとし、これは一番初めのフレーム番号を代入することを意味する。
次に、最大分解レベル算出処理Ｐ５において、前記画像変換処理Ｐ２において出力された時刻ｔの明度成分画像Ｌ（ｘ，ｙ，ｔ）を受け取り、横幅ｗｉｄｔｈおよび高さｈｅｉｇｈｔを読み取り、ｗｉｄｔｈとｈｅｉｇｈｔの小さい方の値を超えない最大の２のべき乗数を算出し、そのべき数を最大分解レベルとしてＭに代入する。
【００９８】
次に、周波数選択処理Ｐ６においては、前記最大分解レベル算出処理Ｐ５から最大分解レベルＭを受け取り、分解レベル１からＭまでの間で所望の分解レベルを指定し、各分解レベルに応じて視差を与えるか否かを指定するリストであるｌｉｓｔ（ｉ）に格納する。ここでは、分解レベル数が小さいほど高周波数を表し、レベル数が大きいほど低周波数を表す。
【００９９】
選択の仕方については、画像の被写体の性質に応じた処理を指示するために、高周波数成分だけを処理する場合には高周波数成分の分解レベルを選択し、低周波数成分だけを処理する場合には低周波数成分の分解レベルを選択し、所望の周波数だけを処理したい場合には所望の周波数成分の分解レベルだけを選択し、周波数に関わらず処理する場合には全分解レベルを選択する。
【０１００】
視差を指定するリストであるｌｉｓｔ（ｉ）の実現方法としては、例えば、分解レベルｉを選択する場合にはｌｉｓｔ（ｉ）＝１を、選択しない場合にはｌｉｓｔ（ｉ）＝０を与えて出力する。ｌｉｓｔ（ｉ）は、周波数成分分割数をＭとすると、例えば長さＭビットのデータとして実現可能であるし、あるいは大きさＭの配列として実現することも可能である。
【０１０１】
一方、時刻ｔを含む複数のフレームに渡る場面を解析する。まず、時刻の変数ｔ’にｔ１を代入する。ここで、ｔ１は参照する複数フレームの先頭フレームを表す（ｔ１≦ｔ）。
周波数分解処理Ｐ７においては、前記画像変換処理Ｐ２で算出した明度画像から時刻ｔ'の明度画像Ｌ（ｘ，ｙ，ｔ’）を、分解レベル１から前記最大分解レベル算出処理で求めた最大分解レベルＭまで順次空間周波数変換して、各分解レベルの周波数成分画像Ｆｉ（ｘ，ｙ，ｔ’）を算出する。
【０１０２】
ここで、周波数成分の分解方法について説明する。図３は本発明の周波数分解処理の一例を示した処理フロー図である。まず、ｃ０＝Ｌ（ｘ，ｙ，t’）として、分解レベルをｉとして、ｉに１を代入し（Ｐ７ｂ）、１回目の空間周波数変換を適用する（Ｐ７ｃ）。これにより分解レベル１の分解係数ｃ１、ｄ１が求められる（Ｐ７ｄ）。
次にｉの値に１を加算した値でｉを更新し（Ｐ７ｅ）、最大分解レベル数Ｍと比較する（Ｐ７ｆ）。ｉの値がＭ以下であれば、ｃ１に対して再度Ｐ７ｃからＰ７ｆまでの処理を適用して分解レベル２の分解係数、ｃ２、ｄ２を求め、以下、Ｐ７ｃからＰ７ｆまでの処理を繰り返して各分解係数ｃｉ、ｄｉを順次算出する。ｉの値がＭを超えた時点で周波数分解処理を終了する。その結果、各分解レベルにおける周波数成分画像Ｆｉ（ｘ，ｙ，ｔ’）＝ｃｉが得られる。
【０１０３】
次に、周波数変換の方法については、従来は特に音響技術分野で多くの方法が考案されており、例えばフーリエ変換法やウェーブレット変換法などが代表的である。本発明では、（色々な周波数変換の方法を適宜利用することも可能だが）より好適な例として、空間的局在精度の高いウェーブレット変換法を適用する場合をここでは紹介する。
ウェーブレット変換は、ツースケール関係と正規直交系条件をみたす２種類の関数（スケーリング関数とウェーブレット関数）を用いて信号を分解・生成する方法である。ウェーブレット変換の基本的内容は、例えば「非特許文献１」などで説明されている。又、ウェーブレットを構成するための関数系に関しては、例えば「非特許文献２」で説明されている。
ウェーブレット関数の例としては、Ｄａｕｂｅｃｈｉｅｓウェーブレットや、カーディナル・スプライン・ウェーブレット、等がある。性質が素直で滑らかなウェーブレット関数は、本発明には好適である。
【０１０４】
処理対象となる画像から、画像の幅と高さが互いに等しく、その値が２のべき乗に等しい面積最大の領域を抽出して処理画像とする。この画像に対して、所望のウェーブレット関数のスケーリング係数およびウェーブレット係数を用意して、ウェーブレット変換を行なう。図６に示すように、ウェーブレット変換を一回行なう毎に、周波数が半減するとともに、高周波数成分と低周波数成分に分解される。ここで、変換前の原画像の状態を分解レベル０、変換を一回適用した場合を分解レベル１、変換をｎ回繰り返した状態を分解レベルｎと呼ぶ。したがって、変換をｎ回まで繰り返した際、元の画像の空間周波数を最高周波数として、その１／２倍、１／４倍、・・・、１／２ｎ倍の周波数成分にそれぞれ分解される。
【０１０５】
分解レベルｋの分解成分と分解レベルｋ−１（０＜ｋ＜ｎ）の分解成分との間には、以下の関係が成り立つ。
【０１０６】
【数１０】
0005545059.tif 000011
【０１０７】
【数１１】
0005545059.tif 000012
【０１０８】
【数１２】
0005545059.tif 000013
【０１０９】
これらの式は、原信号ｃｋおよび、原信号を所定の水平視差量Ｈだけ右にシフトした左眼用信号
【０１１０】
【数１３】
0005545059.tif 000014
および、原信号を所定の水平視差量Ｈだけ左にシフトした右眼用信号
【０１１１】
【数１４】
0005545059.tif 000015
【０１１２】
がフィルター：
【０１１３】
【数１５】
0005545059.tif 000016
【０１１４】
によって、解像度の一段階低い信号：
【０１１５】
【数１６】
0005545059.tif 000017
【０１１６】
に分解できることを表している。ここで、関数
【０１１７】
【数１７】
0005545059.tif 000018
【０１１８】
は、ウェーブレット関数と呼ばれ、また、関数
【０１１９】
【数１８】
0005545059.tif 000019
【０１２０】
は、スケーリング関数と呼ばれる。
【０１２１】
図７にＤａｕｂｅｃｈｉｅｓウェーブレット（第１０次）のウェーブレット関数およびスケーリング関数の波形を示す。
【０１２２】
次に、周波数計数手段Ｐ８において、前記周波数分解手段Ｐ７から各周波数成分を受け取り、当該フレーム画像の各周波数成分を計数して、計数結果ｈｉｓｔ（ｉ）を更新する。
続いて、時刻変数ｔ’の値に増分時間Δｔを加えて更新し、場面の最終時刻ｔ２と比較し（ｔ≦ｔ２），ｔ２より小さければ再びＰ７、Ｐ８の処理を実行することを繰り返す。
【０１２３】
場面の最終時刻に達した後、場面判定処理Ｐ９において、前記周波数計数手段Ｐ８から受け取った計数結果ｈｉｓｔ（ｉ）の分布形状およびピーク位置のシフト量を計算して、ズームイン場面／ズームアウト場面／その他場面を判定して、各場面ごとに適した補正係数Ｋ２（ｔ）を設定する。
例えば、各時刻ごとに所定のフレーム（時刻ｔ１からｔ２まで）に渡るｈｉｓｔ（ｉ）を算出し、ヒストグラムの分布形状およびピーク位置を比較し、形状が類似で、かつ、ピーク位置が低周波側へシフトする場面はズームイン場面として、形状が類似で、かつ、ピーク位置が高周波側へシフトする場面はズームアウト場面として、それぞれ判定する。
ここで、関数Ｋ２（ｔ）（ｔ１≦ｔ≦ｔ２）としては、ズームイン場面では、場面の全フレーム数（開始フレームｔ１から終了フレームｔ２）に渡って０から１まで単調増加する関数を、またズームアウト場面では全フレーム数に渡って１から０まで単調減少する関数として、その他の場面ではＫ２（ｔ）＝１のように設定する。
最も単純な例としては、
【数１９】
0005545059.tif 000020
のように与えることができるが、もちろん、これらに限るわけではなく、単調増加、および単調減少の範囲内で様々な関数を選択することが可能である。
【０１２４】
次に、視差量補正処理Ｐ１０において、前記画像変換処理Ｐ２から明度成分画像Ｌ（ｘ，ｙ，ｔ）および彩度成分画像Ｓ（ｘ，ｙ，ｔ）を受け取り、前記視差量入力処理Ｐ３から所定の視差量Ｈを受け取り、前記補正係数算出処理Ｐ４から補正係数Ｋを受け取り、さらに前記場面判定処理Ｐ９から場面に応じたフレームの関数Ｋ２（ｔ）を受け取り、視差補正量Ｈ’としてＨ’＝Ｋ１×Ｋ２（ｔ）×Ｈを算出する。
【０１２５】
視差量割当処理Ｐ１１においては、前記視差量補正処理Ｐ１０から視差補正量Ｈ’を受け取り、前記周波数選択処理Ｐ６から指示リストｌｉｓｔ（ｉ）を受け取り、前記周波数分解処理Ｐ７から算出した各周波数成分画像Ｆｉ（ｘ，ｙ，ｔ）を受け取り、指定された分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ，ｔ）に対して視差補正量Ｈ’を水平視差として与えて、左眼用周波数成分画像ＦｉＬ（ｘ，ｙ，ｔ）および右眼用周波数成分画像ＦｉＲ（ｘ，ｙ，ｔ）を出力する。
【０１２６】
続いて視差量割当処理Ｐ１１について詳細に説明する。図４は本発明の視差量割当処理Ｐ１１の一例を示した処理フロー図である。
まず、前記周波数選択処理Ｐ６から選択リストｌｉｓｔ（ｉ）を受け取り、前記視差量補正処理Ｐ１０から視差補正量Ｈ’を受け取り、前記周波数分解処理Ｐ７から分解レベル１からＭまでの各周波数成分画像Ｆｉ（ｘ，ｙ，ｔ）を受け取る。
いま分解レベルｉに１を代入し（Ｐ１１ａ）、ｌｉｓｔ（ｉ）の値を１と比較し（Ｐ１１ｂ）、一致すれば分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ，ｔ）に対称に水平視差を与えて、分解レベルｉの左眼用周波数成分画像ＦｉＬ（ｘ，ｙ，ｔ）および右眼用周波数成分画像ＦｉＲ（ｘ，y，ｔ）を算出する。具体的には、分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ，ｔ）に水平右方向に視差Ｈ’を与えて分解レベルｉの左眼用周波数成分画像
【０１２７】
【数２０】
0005545059.tif 000021
【０１２８】
を算出し、同様に分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ，ｔ）に水平左方向に視差Ｈ’を与えて分解レベルｉの右眼用周波数成分画像
【０１２９】
【数２１】
0005545059.tif 000022
【０１３０】
を算出する。この処理（Ｐ１１ｅからＰ１１ｉまで）をｘの値が０からwidthまでｘの値を１ずつ増やしながら行い、さらにyの値が０からheightまでｙの値を１ずつ増やしながら繰り返し処理する。
一方、ｌｉｓｔ（ｉ）の値が１と一致しなければ、分解レベルｉの周波数成分画像Ｆｉ（ｘ，ｙ，ｔ）を分解レベルｉの左眼用周波数成分画像ＦｉＬ（ｘ，ｙ，ｔ）および右眼用周波数成分画像ＦｉＲ（ｘ，ｙ，ｔ）に代入する（ＦｉＬ（ｘ，ｙ，ｔ）＝Ｆｉ（ｘ，ｙ，ｔ），ＦｉＲ（ｘ，ｙ，ｔ）＝Ｆｉ（ｘ，ｙ，ｔ））。この処理（Ｐ１１ｊからＰ１１ｎまで）をｘの値が０からｗｉｄｔｈまでｘの値を１ずつ増やしながら行い、さらにyの値が０からｈｅｉｇｈｔまでｙの値を１ずつ増やしながら繰り返し処理する。
次にｉの値に１を加算してＭと比較し、Ｍ以下であれば同様の処理（Ｐ１１ｂからＰ１１ｏまで）を再度行なうことを繰り返し、Ｍを超えた時点で処理を終了する。
【０１３１】
次に、時刻変数ｔの値を時間増分Δｔだけ加算した値で更新し、最終フレーム時刻Ｔと比較する。もし、ｔの値がＴ以下であれば、Ｐ５からＰ１１までの一連の処理を実行することを繰り返す。ｔの値がＴを超えたら次の処理Ｐ１２へ進む。
【０１３２】
周波数合成処理Ｐ１２においては、前記視差量割当処理Ｐ１１において所望の周波数成分に対して所定の水平視差が与えられた左眼用周波数成分画像ＦｉＬ（ｘ，ｙ，ｔ）および右眼用周波数成分画像ＦｉＲ（ｘ，ｙ，ｔ）から、分解レベルＭから始めて、周波数分解処理の逆変換を適用して１段階低い分解レベルＭ−１の周波数画像を算出して、この処理を分解レベルが０になるまで順次繰り返して行なって、最終的に分解レベル０の左眼用周波数画像Ｆ０Ｌ（ｘ，ｙ，ｔ）および右眼用周波数画像Ｆ０Ｒ（ｘ，ｙ，ｔ）が得られる。
【０１３３】
続いて周波数合成処理Ｐ１２について詳細に説明する。
図６において左から右へ進む矢印のフローを、逆方向の右から左へと進めることを考える。最大分解レベルＭにおける低周波数成分と高周波数成分を用いて、ウェーブレット逆変換を一回行なう毎に、周波数が２倍に増すとともに、分解レベルが１つ少ないレベルの低周波数成分に合成される。したがって、変換をＭ回繰り返した際、最大分解レベルの、その２倍、４倍、・・・、２Ｍ倍の周波数成分にそれぞれ合成される。２Ｍ倍の周波数成分とは、分解を行なっていないレベルを表し、結局元の画像の周波数成分が合成されることになる。
以下、具体的に処理を説明する。
また、図５は本発明の周波数合成処理の一例を示した処理フロー図である。
前記視差量割当処理Ｐ１１から、分解レベル１からＭまでの各左眼用周波数成分画像ＦｉＬ（ｘ，ｙ，ｔ）および右眼用周波数成分画像ＦｉＲ（ｘ，ｙ，ｔ）を受け取る。
いま、分解レベルをｉとして、まずｉに最大分解レベル数Ｍを代入する（Ｐ１２ａ）。左眼用周波数成分画像
【０１３４】
【数２２】
0005545059.tif 000023
【０１３５】
および右眼用周波数成分画像
【０１３６】
【数２３】
0005545059.tif 000024
【０１３７】
に前記周波数変換Ｐ８ｃの逆変換（式３）および（式４）を適用して（Ｐ１２ｂ）、分解レベルの１つ少ないレベルの左眼用周波数成分画像
【０１３８】
【数２４】
0005545059.tif 000025
【０１３９】
および右眼用周波数成分画像
【０１４０】
【数２５】
0005545059.tif 000026
【０１４１】
を算出する。
【０１４２】
【数２６】
0005545059.tif 000027
【０１４３】
【数２７】
0005545059.tif 000028
【０１４４】
次にｉの値を１減らした値で更新して１と比較する。もし１以上であれば、再度逆変換処理（Ｐ１２ｂからＰ１２ｅまで）を適用し、０であれば処理を終了する。これにより、最終的に左眼用周波数合成画像
【０１４５】
【数２８】
0005545059.tif 000029
【０１４６】
および右眼用周波数合成画像
【０１４７】
【数２９】
0005545059.tif 000030
【０１４８】
が得られる。
【０１４９】
次に、画像変換処理Ｐ１３において、前記周波数合成処理Ｐ１２の出力である左眼用周波数画像
【０１５０】
【数３０】
0005545059.tif 000031
【０１５１】
および右眼用周波数画像
【０１５２】
【数３１】
0005545059.tif 000032
【０１５３】
を受け取り、さらに前記画像変換処理Ｐ２において分離した色度画像Ｃ１（ｘ，ｙ，ｔ）およびＣ２（ｘ，ｙ，ｔ）を受け取り、元の画像Ｉ（ｘ，ｙ，ｔ）と同一の画像形式に変換して、左眼用２次元画像ＩＬ（ｘ，ｙ，ｔ）および右眼用２次元画像ＩＲ（ｘ，ｙ，ｔ）を出力する。
【０１５４】
最後に、動画像出力処理Ｐ１４において、前記画像変換処理Ｐ１３から各フレーム画像の左眼用２次元画像ＩＬ（ｘ，ｙ，ｔ）および右眼用２次元画像ＩＲ（ｘ，ｙ，ｔ）を受け取り、左眼用動画像ＶＬおよび右眼用動画像ＶRを出力する。
【０１５５】
今回は、本発明を説明するために、一例として静止画像を用いた。本発明は二次元画像全般を対象としており、その適用対象は静止画像に限らない。例えば、二次元映像の各フレーム画像、ＣＧ（コンピュータ・グラフィクス）画像、および３ＤＣＧ映像の各フレーム画像等にも、同様に適用可能である。
【産業上の利用可能性】
【０１５６】
本発明は、１枚の二次元画像を画像処理して両眼立体視用の左眼用画像および右眼用画像を生成する方法であって、最近普及しつつある３Ｄ映画に代表される立体画像や立体映像全般に適用可能である。
【符号の説明】
【０１５７】
１・・・左眼用画像
２・・・右眼用画像
３・・・融像用ミラー
４・・・仮想的画像
５・・・視差角
Ｄ１・・・Ｄａｕｂｅｃｈｉｅｓウェーブレット（第１０次）のスケーリング関数
Ｄ２・・・Ｄａｕｂｅｃｈｉｅｓウェーブレット（第１０次）のウェーブレット関数
Ｐ１・・・動画像入力処理
Ｐ２・・・画像変換処理
Ｐ３・・・視差量入力処理
Ｐ４・・・補正係数算出処理
Ｐ５・・・最大分解レベル算出処理
Ｐ６・・・周波数選択処理
Ｐ７・・・周波数分解処理
Ｐ７ａ・・・分解レベルを変数ｉに設定
Ｐ７ｂ・・・ｉに１を設定
Ｐ７ｃ・・・周波数変換処理
Ｐ７ｄ・・・分解係数を格納
Ｐ７ｅ・・・ｉの値を１加算
Ｐ７ｆ・・・ｉの値をＭと比較
Ｐ８・・・周波数計数処理
Ｐ９・・・場面判定処理
Ｐ１０・・・視差量補正処理
Ｐ１１・・・視差量割当処理
Ｐ１１ａ・・・変数ｉに１を設定
Ｐ１１ｂ・・・list(i)の値を１と比較
Ｐ１１ｃ・・・変数ｘ，ｙに０を設定
Ｐ１１ｄ・・・変数ｘ，ｙに０を設定
Ｐ１１ｅ・・・左眼用および右眼用周波数成分に周波数成分をｘ方向に右および左に対称に水平視差Ｈ’を設定したものを設定
Ｐ１１ｆ・・・変数ｘの値を１加算する
Ｐ１１ｇ・・・変数ｘの値をwidthと比較
Ｐ１１ｈ・・・変数ｙの値を１換算する
Ｐ１１ｉ・・・変数ｙの値をheightと比較
Ｐ１１ｊ・・・左眼用および右眼用周波数成分に周波数成分を設定
Ｐ１１ｋ・・・変数ｘの値を１加算する
Ｐ１１ｌ・・・変数ｘの値をwidthと比較
Ｐ１１ｍ・・・変数ｙの値を１換算する
Ｐ１１ｎ・・・変数ｙの値をheightと比較
Ｐ１１ｏ・・・変数ｉの値を１加算
Ｐ１１ｐ・・・変数ｉの値をＭと比較
Ｐ１２・・・周波数合成処理
Ｐ１２ａ・・・変数ｉにＭを設定
Ｐ１２ｂ・・・分解レベルｉの分解係数および分解画像から周波数逆変換
Ｐ１２ｃ・・・分解レベルｉ−１の分解画像を算出
Ｐ１２ｄ・・・変数ｉの値を１減じる
Ｐ１２ｅ・・・変数ｉの値を１と比較
Ｐ１３・・・画像変換処理
Ｐ１４・・・動画像出力処理
Ｓ１・・・動画像入力手段
Ｓ２・・・画像変換手段
Ｓ３・・・視差量指定手段
Ｓ３ａ・・・視差量入力手段
Ｓ３ｂ・・・補正係数指定手段
Ｓ４・・・周波数選択手段
Ｓ５・・・周波数分解手段
Ｓ６・・・計数手段
Ｓ７・・・判定手段
Ｓ８・・・視差量補正手段
Ｓ９・・・視差量割当手段
Ｓ１０・・・周波数合成手段
Ｓ１１・・・画像変換手段
Ｓ１２・・・動画像出力手段
【図１】
0005545059.tif 000033
【図２】
0005545059.tif 000034
【図３】
0005545059.tif 000035
【図４】
0005545059.tif 000036
【図５】
0005545059.tif 000037
【図６】
0005545059.tif 000038
【図７】
0005545059.tif 000039
【図８】
0005545059.tif 000040
【図９】
0005545059.tif 000041