(57)【要約】【課題】  従来は、様々な画像に対して、消失点の決定を自動的に行うことは困難であり、また遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない。【解決手段】  どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うために、フレームメモリ４、５、６には、基本となる３種類のシーン構造のそれぞれについて奥行き値を示す３種類の基本奥行きモデルが格納されている。上部の高域成分評価部２と下部の高域成分評価部３からの入力非立体画像の輝度信号の高域成分評価値の値に応じて合成比率８が決定され、その合成比率８に応じて３種類の基本奥行きモデルが合成される。合成基本奥行きモデルは加算器１０において、非立体画像のＲ信号９と重畳されて最終的な奥行き推定データ１１とされる。【選択図】            図１
2005151534.tif 000002
【特許請求の範囲】
【請求項１】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを作成し、この奥行き推定データと前記非立体画像とから擬似的な立体画像を作成する擬似立体画像作成装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶している記憶手段と、
供給される前記非立体画像の、画面内の所定領域における画素値の統計量を算定して、シーン構造を推定する算定手段と、
前記記憶手段から読み出した前記複数の基本奥行きモデルを、前記算定手段により算定された値に応じた合成比率で合成する合成手段と、
前記合成手段により合成された合成結果と、供給される前記非立体画像とから前記奥行き推定データを作成する作成手段と
を有することを特徴とする擬似立体画像作成装置。
【請求項２】
前記算定手段は、供給される前記非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、シーン構造を推定することを特徴とする請求項１記載の擬似立体画像作成装置。
【請求項３】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを作成し、この奥行き推定データと前記非立体画像とから擬似的な立体画像を作成する擬似立体画像作成方法であって、
供給される前記非立体画像の、画面内の所定領域における画素値の統計量を算定して、シーン構造を推定する第１のステップと、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、前記第１のステップにより算定された値に応じた合成比率で合成する第２のステップと、
前記第２のステップにより合成された合成結果と、供給される前記非立体画像とから前記奥行き推定データを作成する第３のステップと
を含むことを特徴とする擬似立体画像作成方法。
【請求項４】
前記第１のステップは、供給される前記非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、シーン構造を推定することを特徴とする請求項３記載の擬似立体画像作成方法。
【請求項５】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを作成し、この奥行き推定データと前記非立体画像とから擬似的な立体画像を作成する請求項１記載の擬似立体画像作成装置と、
前記擬似立体画像作成装置に供給される前記非立体画像と、前記擬似立体画像作成装置から出力される前記奥行き推定データとに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する複数視点画像作成装置と、
前記複数視点画像作成装置で作成された前記別視点画像と前記非立体画像との一方を左目画像とし、他方を右目画像として表示するステレオ表示装置と
からなることを特徴とする擬似立体画像表示システム。
【請求項６】
前記複数視点画像作成装置は、
前記擬似立体画像作成装置に供給される前記非立体画像と、前記擬似立体画像作成装置から出力される前記奥行き推定データとに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うテクスチャシフト部と、
テクスチャの存在しない部分であるオクルージョンを、入力画像の対応部で充填するか又は分割された画像のテクスチャの統計量に基づきオクルージョン補償を行うオクルージョン補償部と、
オクルージョン補償部から出力された信号に対してポスト処理を行うポスト処理部と、
前記ポスト処理部から出力された画像信号を前記別視点画像である左目画像又は右目画像とし、前記擬似立体画像作成装置に供給される前記非立体画像を右目画像又は左目画像として出力する手段と
を有することを特徴とする請求項５記載の擬似立体画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システムに係り、特に通常の静止画若しくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体画像を作成する擬似立体画像作成装置及び擬似立体画像作成方法並びに作成した擬似的な立体画像を表示する擬似立体画像表示システムに関する。
【背景技術】
【０００２】
立体表示システムにおいて非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画若しくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体化画像を作成することが行われる。また、立体視に限らず２次元画像からシーンの３次元構造を推定し、画像の合成や仮想的な視点移動を実現しようというアプローチは数多く研究・検討がなされている（例えば、非特許文献１参照）。この非特許文献１記載のツァー・インツー・ザ・ピクチャ（″Tour Into the Picture″）では、撮影済みの画像から近影物を除去し、遠近法における消失点を決定した上で、それを基にシーンの概略的な構成を推定して視点移動を行うことを可能にしている。
【０００３】
また、上記の″Tour Into the Picture″では奥行き構造が長方形を断面とするチューブ状になっているのに対して、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチによる擬似立体画像作成装置及び擬似立体画像作成方法も従来より知られている（例えば、特許文献１参照）。この特許文献１記載の発明では、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、上記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。
【０００４】
また、古典的な２次元→３次元手法としては所謂シェープ・フロム・モーション（″shape from motion″）が知られている（例えば、非特許文献２参照）。これは文字通り動き情報から奥行きを推定するもので、動画の動き情報を用いて立体画像を構成するというものである。しかし、編集なしに動きのみから安定した奥行き推定を自動的に行うことは困難であり、この編集を行い易くするための擬似立体画像作成装置及び擬似立体画像作成方法も知られている（例えば、特許文献２参照）。この特許文献２には、元の２次元画像を複数個のシーンに分割し、そのシーン毎に２次元画像のままにするか３次元画像に変換するかによって、２次元画像から生成される３次元画像の前記２次元画像に対する変換率を調整する２次元画像から３次元画像への変換方法が開示されている。
【０００５】
【非特許文献１】Y.Horry,K.Anjyo,K.Arai：″Tour Into the Picture：Using a Spidery Mesh Interface to Make Animation from a Single Image"，SIGGRAPH’97 Proceedings,pp.225-232(1997)
【非特許文献２】C.Tomasi and T.Kanade：″Shape and Motion from Image Streams under Orthography：A Factorization Method″,Int．Journal of Computer Vision．Vol.9,No.2,pp.137-154(1992)
【特許文献１】特開平９−１８５７１２号公報
【特許文献２】特開平７−２２２２０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来の擬似立体画像作成装置及び擬似立体画像作成方法では、様々な画像に対して、消失点の決定を自動的に行うことは困難であり、また入力されるすべてのシーンに対して遠近法的な構造推定が適合するわけではなく、また遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現することは容易ではない。
【０００７】
また、非特許文献２に記載の手法（″shape from motion″）は上記のように安定した奥行き推定を自動的に行うことは困難であり、さらに根本的には静止画若しくは相対的に動きが停止した部分の立体化は不可能である。また、このような動き推定の伴う処理を高速で行うことは困難であり、画像処理のリアルタイム性を損なう可能性が高い。
【０００８】
本発明は以上の点に鑑みなされたもので、所謂シェープ・フロム・モーションのような動き情報を利用した奥行き推定は行わず、静止画の画像内容からシーンの基本的な奥行き構造を、”経験知からあるタイプのシーン構造が比較的近い可能性が高いので選択する”という程度に推定し、誤判定された場合でも強い違和感を感じさせないようなものを採用する、所謂フェイルセーフの思想に基づき、非立体画像から擬似的な立体化画像を作成する擬似立体画像作成装置及び擬似立体画像作成方法並びに作成した擬似立体画像を表示する擬似立体画像表示システムを提供することを目的とする。
【０００９】
また、本発明の他の目的は、処理の高速化のため、擬似立体画像の作成アルゴリズムを簡便なものとした擬似立体画像作成装置及び擬似立体画像作成方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、第１の発明の擬似立体画像作成装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを作成し、この奥行き推定データと非立体画像とから擬似的な立体画像を作成する擬似立体画像作成装置であって、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶している記憶手段と、供給される非立体画像の、画面内の所定領域における画素値の統計量を算定して、シーン構造を推定する算定手段と、記憶手段から読み出した複数の基本奥行きモデルを、算定手段により算定された値に応じた合成比率で合成する合成手段と、合成手段により合成された合成結果と、供給される非立体画像とから奥行き推定データを作成する作成手段とを有する構成としたものである。
【００１１】
また、上記の目的を達成するため、第２の発明は、第１の発明の算定手段を、供給される非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、シーン構造を推定する構成としたことを特徴とする。
【００１２】
また、上記の目的を達成するため、第３の発明の擬似立体画像作成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを作成し、この奥行き推定データと非立体画像とから擬似的な立体画像を作成する擬似立体画像作成方法であって、供給される非立体画像の、画面内の所定領域における画素値の統計量を算定して、シーン構造を推定する第１のステップと、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、第１のステップにより算定された値に応じた合成比率で合成する第２のステップと、第２のステップにより合成された合成結果と、供給される非立体画像とから奥行き推定データを作成する第３のステップとを含むことを特徴とする。
【００１３】
また、上記の目的を達成するため、第４の発明は、第３の発明における第１のステップを、供給される非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、シーン構造を推定するようにしたことを特徴とする。
【００１４】
第１乃至第４の発明の擬似立体画像作成装置及び作成方法では、所謂シェープ・フロム・モーションのような動き情報を利用した奥行き推定は行わず、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、シーンの奥行き構造を推定する。このとき推定されるシーンの奥行き構造は厳密なものではなく、”経験知からあるタイプのシーン奥行き構造が比較的近い可能性が高いので選択する”という程度のものに止め、誤判定された場合でも強い違和感を感じさせないようなものを採用する、所謂フェイルセーフの思想に基づくものとする。この理由は、事実上１枚の非立体画像からその内容を確実に検知し、詳細なシーン構造を決定することは技術的に不可能であるためである。
【００１５】
現実のシーン構造は無限に存在するが、本発明ではどのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うために、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを複数（例えば、３種類）用意し、それらの合成比率を上記の非立体画像の、画面内の所定領域における輝度信号の高域成分の算定値に応じて変化させる。
【００１６】
基本奥行きモデルを用いることの利点は、本来複雑な構造である現実の３次元のシーンについて、比較的単純な数式で表現される曲面や平面を用いて近似することにより、視覚的な広がり（奥行き感）と動き推定や消失点決定などのプロセスのない簡便な演算処理を両立することである。
【００１７】
合成比率の変化の例としては、通常の球状の凹面を示す第１の基本奥行きモデルの使用を基本にしながらも、上記の高域成分の算定値が例えば画面上部の高域成分が少ないことを示している場合は、画面上部に空若しくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした第２の基本奥行きモデルの比率を増加させ、また、上記の高域成分の算定値が例えば画面下部の高域成分が少ないことを示している場合は、画面下部に平坦な地面若しくは水面が手前に連続的に広がるシーンと認識して、画面上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる第３の基本奥行きモデルの比率を増加させるといった処理を行う。このようにして、本発明では、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーンの奥行き構造を得ることが可能になる。
【００１８】
上記の３種類のモデルについては、発明を実施するための最良の形態において詳説するが、これらはあくまでも一例であり、別の形状を持つモデルを使用することや、３種類に限らない数のモデルを使用することも可能である。また、モデルの混在比について、画面上部・下部の高域成分を算定した結果をもとに決定しているが、この算定領域について限定されるものではなく、算定されるものも輝度の高域成分に限定されない。本発明のポイントはモデルの形態ではなく、モデルの使用そのものにある。
【００１９】
また、上記の目的を達成するため、第５の発明の擬似立体画像表示システムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを作成し、この奥行き推定データと非立体画像とから擬似的な立体画像を作成する請求項１記載の擬似立体画像作成装置と、擬似立体画像作成装置に供給される非立体画像と、擬似立体画像作成装置から出力される奥行き推定データとに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する複数視点画像作成装置と、複数視点画像作成装置で作成された別視点画像と非立体画像との一方を左目画像とし、他方を右目画像として表示するステレオ表示装置とからなることを特徴とする。
【００２０】
また、上記の目的を達成するため、第６の発明は、第５の発明における複数視点画像作成装置を、擬似立体画像作成装置に供給される非立体画像と、擬似立体画像作成装置から出力される奥行き推定データとに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うテクスチャシフト部と、テクスチャの存在しない部分であるオクルージョンを、入力画像の対応部で充填するか又は分割された画像のテクスチャの統計量に基づきオクルージョン補償を行うオクルージョン補償部と、オクルージョン補償部から出力された信号に対してポスト処理を行うポスト処理部と、ポスト処理部から出力された画像信号を別視点画像である左目画像又は右目画像とし、擬似立体画像作成装置に供給される非立体画像を右目画像又は左目画像として出力する手段とからなる構成としたことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを複数用意し、それらの合成比率を、非立体画像の、画面内の所定領域における輝度信号の高域成分の算定値に応じて変化させることにより、１枚の非立体画像から違和感を感じさせないと同時に、できる限り現実に近いシーンの奥行き構造を得ることができるため、これを基にどのような非立体画像からも違和感の少ない擬似立体画像を作成することができる。
【発明を実施するための最良の形態】
【００２２】
次に、本発明を実施するための最良の形態について図面と共に説明する。図１は本発明になる擬似立体画像作成装置の一実施の形態のブロック図、図２は図１における“合成部”の一実施の形態のブロック図、図３は本発明になる擬似立体画像作成方法の一実施の形態のフローチャートを示す。
【００２３】
図１において、本実施の形態の擬似立体画像作成装置は、擬似立体化を行う非立体画像が入力される画像入力部１と、画像入力部１からの非立体画像の上部約２０％の高域成分評価値（”ｔｏｐ  ａｃｔｉｖｉｔｙ”）を計算により求める上部の高域成分評価部２と、画像入力部１からの非立体画像の下部約２０％の高域成分評価値（”ｂｏｔｔｏｍ  ａｃｔｉｖｉｔｙ”）を計算により求める下部の高域成分評価部３と、各々基本奥行きモデルタイプ１、基本奥行きモデルタイプ２及び基本奥行きモデルタイプ３の画像を記憶する３つのフレームメモリ４、５及び６と、下部の高域成分評価値及び上部の高域成分評価値の各値に応じて決定される合成比率により、フレームメモリ４、５及び６からの３種類の基本奥行き画像を合成する合成部７と、合成部７により得られた合成基本奥行きモデル画像に、画像入力部１の基になる画像の三原色信号（ＲＧＢ信号）のうち赤色信号（Ｒ信号）９を重畳し最終的な奥行き推定データ１１を得る加算器１０とより構成されている。
【００２４】
図２は上記合成部７の構成を示したもので、後述する手法により、下部の高域成分評価値及び上部の高域成分評価値の各値をもとに各モデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定する合成比率決定部７０と、これらの合成比率ｋ１，ｋ２，ｋ３と、前記基本奥行きモデルタイプ１、基本奥行きモデルタイプ２、基本奥行きモデルタイプ３Ｓを別々に乗算して、合成比率ｋ１，ｋ２，ｋ３による各モデルの線形和を出力する３つの乗算器７１、７２、７３と、これらの乗算器７１、７２、７３の各乗算結果を加算する加算器７４とより構成されている。
【００２５】
上記の基本奥行きモデルタイプ１は、球面上の凹面による奥行きモデルで、上部の高域評価値（ｔｏｐ  ａｃｔｉｂｉｔｙ）と下部の高域評価値（ｂｏｔｔｏｍ  ａｃｔｉｖｉｔｙ）の値が特に小さい場合以外は、この基本奥行きモデルタイプ１の画像が使用される。また、上記の基本奥行きモデルタイプ２は、基本奥行きモデルタイプ１の上部を球面でなく、アーチ型の円筒面に置き換えたもので、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルである。更に、上記の基本奥行きモデルタイプ３は、上部を平面（Ｚ＝１０００−９０１＝９９）、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルである。
【００２６】
次に、図１の実施の形態の動作について図３のフローチャート等と共に説明する。まず、画像入力部１に擬似立体化を行う画像が入力される（ステップＳ１）。この画像は、通常の静止画若しくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像で、８ビットで量子化されている画像データである。また、この入力画像の画像サイズは、例えば、水平７２０画素、垂直４８６画素である。
【００２７】
上記の画像入力部１に入力された非立体画像の画像データは、上部の高域成分評価部２に供給され、ここで非立体画像の上部約２０％が水平８画素、垂直８画素のブロックに分割され、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて次式
【００２８】
【数１】
2005151534.tif 000003
による計算が行われ、この計算結果の値の上記画像上部約２０％のブロックについての平均が高域成分評価値（”ｔｏｐ  ａｃｔｉｖｉｔｙ”）とされる（ステップＳ２）。
【００２９】
また、上記の高域成分評価と並行して、上記の画像入力部１に入力された非立体画像の画像データは、下部の高域成分評価部３にも供給され、ここで非立体画像の下部約２０％が水平８画素、垂直８画素のブロックに分割され、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて上記と同じ式による計算が行われ、この計算結果の値の上記画像下部約２０％のブロックについての平均が下部の高域成分評価値（”ｂｏｔｔｏｍ  ａｃｔｉｖｉｔｙ”）とされる（ステップＳ３）。
【００３０】
一方、フレームメモリ４には、球面（凹面）モデルである基本奥行きモデルタイプ１の半径をｒ、画像中心をｘ、ｙ座標の原点とした場合、次式により得られる奥行きＺの基本奥行きモデルタイプ１の画像が格納されている。
【００３１】
【数２】
2005151534.tif 000004
ここで、画像入力部１の水平７２０画素、垂直４８６画素の画像データの例では、上式の半径ｒを画素サイズを単位としてｒ＝１０００としている。なお、本明細書において、奥行きＺは、球を示す次式
ｘ２＋ｙ２＋ｚ２＝ｒ２
におけるｚの値のことであり、１画素の一辺の長さを単位とし、ｘｙ平面に画像を置き、ｚ軸方向を奥行きと設定したときの値である。
【００３２】
この基本奥行きモデルタイプ１の奥行き画像の一例を図４に示す。図４は通常の球状の凹面を示しており、このときの輝度は２５５−２×Ｚで表され、輝度が高いほど奥行きが浅いことを示す。図５に基本奥行きモデルタイプ１の立体構造を示す。この基本奥行きモデルタイプ１で凹面を使用する理由は、基本的にオブジェクトが存在しないシーンにおいては画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。基本奥行きモデルタイプ１が使用されるシーン構成の一例として、図６のようなシーンが挙げられる。
【００３３】
また、フレームメモリ５には、上部が円筒面（軸は垂直方向）で下部が凹面（球面）とした基本奥行きモデルタイプ２の次式により得られる奥行きＺの画像が格納されている。
【００３４】
【数３】
2005151534.tif 000005
この基本奥行きモデルタイプ２の奥行き画像を図７に示す。図７は上半分が円筒状の凹面で、下半分が球状の凹面を示しており、輝度の換算は基本奥行きモデルタイプ１の画像と同様に２５５−２×Ｚである。図８に基本奥行きモデルタイプ２の立体構造を示す。
【００３５】
この基本奥行きモデルタイプ２は、上部の高域成分評価値（ｔｏｐ  ａｃｔｉｖｉｔｙ）が小さい場合に、画面上部に空若しくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深く設定するものである。基本奥行きモデルタイプ２が使用されるシーン構成の一例として、図９のようなシーンがあげられる。
【００３６】
更に、フレームメモリ６には、画像上部を平面（Ｚ＝１０００−９０１＝９９）、画像下部をその平面から連続し、画像の下に行くほど手前側に向かう円筒面状とした基本奥行きモデルタイプ３の次式により得られる奥行きＺの画像が格納されている。
【００３７】
【数４】
2005151534.tif 000006
この基本奥行きモデルタイプ３の奥行き画像を図１０に示す。図１０は上半分が平面で下半分が下に行くほど手前寄りになるグラデーション画像を示しており、輝度の換算も上記の２つの基本奥行きモデルタイプ１、２と同様に２５５−２×Ｚである。図１１に基本奥行きモデルタイプ３の立体構造を示す。
【００３８】
この基本奥行きモデルタイプ３は下部の高域成分評価値（ｂｏｔｔｏｍ  ａｃｔｉｖｉｔｙ）が小さい場合に、画面下部に平坦な地面若しくは水面に広がるシーンと認識し、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きＺが小さくなるように設定したものである。基本奥行きモデルタイプ３が使用されるシーン構成の一例として、図１２のようなシーンが挙げられる。
【００３９】
上記のフレームメモリ４、５及び６に格納されている３種類の基本奥行きモデルタイプ１、２、３の各奥行き画像は、入力画像の画像サイズによって奥行きＺが決定されている。上部の高域成分評価部２からの上部の高域成分評価値（ｔｏｐ  ａｃｔｉｖｉｔｙ）と、下部の高域成分評価部３からの下部の高域成分評価値（ｂｏｔｔｏｍ  ａｃｔｉｖｉｔｙ）の値に応じて合成比率８が決定され（ステップＳ４）、その合成比率８に応じて上記のフレームメモリ４、５及び６に格納されている３種類の基本奥行きモデルタイプ１、２、３の各奥行き画像が、図２に示したブロック図の構成の合成部７において合成される（ステップＳ５）。合成部７では、後述する手法により、各モデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定し、これらの比率による各モデルの線形和を出力する。
【００４０】
図１３はステップＳ５で決定される合成比率の決定条件の一例を示す。図１３は上部の高域成分評価値（ｔｏｐ  ａｃｔｉｖｉｔｙ）を横軸、下部の高域成分評価値（ｂｏｔｔｏｍ  ａｃｔｉｖｉｔｙ）を縦軸とし、予め指定された値ｔｐｓ，ｔｐｌ，ｂｍｓ，ｂｍｌとの兼ね合いにより基本奥行きモデルタイプが選択若しくは合成されることを示す。図１３において、複数の基本奥行きモデルタイプが記載されている部分については、高域成分評価値（ａｃｔｉｖｉｔｙ）に応じて線形に合成される。
【００４１】
例えば、Ｔｙｐｅ１／２では（ｔｏｐ  ａｃｔｉｖｉｔｙ−ｔｐｓ）：（ｔｐｌ−ｔｏｐ  ａｃｔｉｖｉｔｙ）の比率で基本奥行きモデルタイプ１（Ｔｙｐｅ１）と基本奥行きモデルタイプ２（Ｔｙｐｅ２）の合成比率が決定する。すなわち、Ｔｙｐｅ１／２の合成比率は、基本奥行きモデルタイプ３（Ｔｙｐｅ３）は使用せず、
Type1：Type2：Type3＝(top activity−tps)：(tpl−top activity)：0
で合成比率が決定される。
【００４２】
また、Ｔｙｐｅ２／３、Ｔｙｐｅ１／３については（ｂｏｔｔｏｍ  ａｃｔｉｖｉｔｙ−ｂｍｓ）：（ｂｍｌ−ｂｏｔｔｏｍ  ａｃｔｉｖｉｔｙ）の比率で基本奥行きモデルタイプ２と基本奥行きモデルタイプ３の合成比率が決定し、基本奥行きモデルタイプ１と基本奥行きモデルタイプ３の合成比率が決定する。すなわち、Ｔｙｐｅ２／３の合成比率は、基本奥行きモデルタイプ１（Ｔｙｐｅ１）は使用せず、
Type1：Type2：Type3＝0：(bottom activity−bms)：(bml−bottom activity)
で合成比率が決定され、Ｔｙｐｅ１／３の合成比率は、基本奥行きモデルタイプ２（Ｔｙｐｅ２）は使用せず、
Type1：Type2：Type3＝(bottom activity−bms)：0：(bml−bottom activity)
で合成比率が決定される。
【００４３】
更に、Ｔｙｐｅ１／２／３においては、Ｔｙｐｅ１／２，Ｔｙｐｅ１／３の合成比率の平均を採用しており、
Type1：Type2：Type3＝(top activity−tps)＋(bottom activity−bms)：(tpl−top activity)：(bml−bottom activity)
で合成比率が決定される。
【００４４】
なお、図２における合成比率ｋ１，ｋ２，ｋ３は、次式で表現される。
【００４５】
ｋ１＝Type1／(Type1＋Type2＋Type3)
ｋ２＝Type2／(Type1＋Type2＋Type3)
ｋ３＝Type3／(Type1＋Type2＋Type3) 
このように、本実施の形態では、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルを用意し、基になる画像の輝度信号の高域成分を画面上部及び画面下部について算定し、基本奥行きモデルタイプ１を基本にしながらも、画面上部の高域成分が少ない場合には上部に空若しくは平坦な壁が存在するシーンと認識して上部の奥行きを深くした基本奥行きモデルタイプ２の比率を増加させ、画面下部の高域成分が少ない場合は下部に平坦な地面若しくは水面が手前に連続的に広がるシーンと認識して、上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる基本奥行きモデルタイプ３の比率を増加させるといった処理を行うようにしたため、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うことが可能になる。
【００４６】
再び図１及び図３に戻って説明する。上記のように図１の合成器７において図３のステップＳ５で得られた合成基本奥行きモデルは加算器１０に供給され、ここで画像入力部１により入力された基になる非立体画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）９と重畳されて最終的な奥行き推定データ１１とされる（ステップＳ６）。ここでは原画のＲ信号の１／１０を重畳している。
【００４７】
Ｒ信号を使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更にもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
【００４８】
基本奥行きモデル１の一例である図６のシーンの、手前に人物を配したサンプルである図１４に対して、Ｒ信号を重畳したときの奥行き推定データ１１の画像の例を図１５に示す。また図１６にその３次元構造を示す。図１５、図１６においてはＲ信号の比較的大きな人物や並木が一段前面に出たような形態になっている。
【００４９】
他方、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。さらに双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
【００５０】
また、以上の奥行き推定データ１１を基に別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。
【００５１】
ステレオペア生成のより具体的な手順を図１７に示す。ここでは、入力画像１５に対応する奥行き推定データ１６を８ビットの輝度値Ｙｄで表すものとする。テクスチャシフト部１７では、この輝度値Ｙｄについて小さい値、すなわち奥に位置するものから順に、その値に対応する部分の入力画像１５のテクスチャを（Ｙｄ−ｍ）／ｎ画素右にシフトする。ここで、ｍは画面上の奥行きに表示する奥行きデータであり、これより大きなＹｄに関しては画面より手前に、小さなＹｄに関しては奥に表示される。また、ｎは奥行き感を調整するパラメータであり、これらのパラメータの具体例として、ｍ＝２００、ｎ＝２０などが挙げられる。
【００５２】
シフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部１８において、入力画像１５の対応部分で充填する、若しくは公知の文献（山田邦男、望月研二、相澤清晴、齋藤隆弘：”領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Ｖｏｌ．５６，Ｎｏ．５，ｐｐ．８６３〜８６６（２００２．５））に記載の手法で充填する。
【００５３】
オクルージョン補償部１８でオクルージョン補償された画像は、ポスト処理部１９において平滑化などの公知のポスト処理が施されることにより、それ以前の処理において発生したノイズなどが軽減されることによって左目画像２１として生成され、一方、入力画像１５を右目画像２０とすることによりステレオペアが構成される。これらの右目画像２０と左目画像２１とは、出力手段により出力される。
【００５４】
図１８に以上の手順で生成されたステレオペアの一例を示す。但し、ここでは、左右の違いをわかりやすくするための強調がなされている。なお、上記について左右反転することで、左目画像が原画、右目画像が生成された別視点画像のステレオペアが構成される。
【００５５】
なお、上記プロセスにおいて、右目画像を入力画像、他方を生成された別視点画像とするようなステレオペアを構成しているが、左目画像を入力画像、右目画像を生成された別視点画像としてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。更に、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成することも可能である。
【００５６】
上記の奥行き推定及びステレオペア生成法を組み合わせることにより、図１９のような本発明に係る２次元画像を立体視することを可能にする擬似立体画像生成・表示システムを構成することができる。同図中、図１及び図１７と同一構成部分には同一符号を付し、その説明を省略する。
【００５７】
図１９に示す擬似立体画像表示システムは、図１に示した擬似立体画像生成装置３０で生成した擬似立体画像である奥行き推定データと、画像入力部１に入力された非立体画像とを図１７に示した構成のステレオペア生成装置４０のテクスチャシフト部１７に供給し、これによりステレオペア生成装置４０で生成されたステレオペア画像（右目画像２０及び左目画像２１）をステレオ表示装置５０に供給する構成である。
【００５８】
ここで、上記のステレオ表示装置５０とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムを含む。また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体映像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。
【００５９】
このように、本実施の形態によれば、基本奥行きモデルの決定において、３種類の基本奥行きモデルの合成を基本にし、経験知に基づき、現実のシーン構造に比較的に近い可能性が高いようにすることを目標としつつも、複雑なシーンの場合には、球面の基本モデルタイプ１が主体になるように、いわばフェイルセーフに配慮しながら、立体感を見る者に与えるようにし、得られたステレオペア（擬似立体画像）は、左目画像について目立った破綻がなく、また立体視した場合、大きな違和感がないため、１枚の画像からシーン内容に応じた奥行きモデルを構築することが可能になり、これを基に違和感の少ない擬似立体画像を生成することができる。
【００６０】
なお、本発明は、ハードウェアにより図１の構成の擬似立体画像作成装置を構成する場合に限定されるものではなく、図３の手順を実行するコンピュータプログラムによるソフトウェアにより擬似立体画像作成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００６１】
【図１】本発明の擬似立体画像作成装置の一実施の形態のブロック図である。
【図２】図１における“合成部”の一実施の形態のブロック図である。
【図３】本発明の擬似立体画像作成方法の一実施の形態のフローチャートである。
【図４】基本奥行きモデルタイプ１の奥行き画像の一例を示す図である。
【図５】基本奥行きモデルタイプ１の立体構造の一例を示す図である。
【図６】基本奥行きモデルタイプ１が使用されるシーン構成の一例を示す図である。
【図７】基本奥行きモデルタイプ２の奥行き画像の一例を示す図である。
【図８】基本奥行きモデルタイプ２の立体構造の一例を示す図である。
【図９】基本奥行きモデルタイプ２が使用されるシーン構成の一例を示す図である。
【図１０】基本奥行きモデルタイプ３の奥行き画像の一例を示す図である。
【図１１】基本奥行きモデルタイプ３の立体構造の一例を示す図である。
【図１２】基本奥行きモデルタイプ３が使用されるシーン構成の一例を示す図である。
【図１３】基本奥行きモデル合成比率決定条件を説明する図である。
【図１４】画像サンプルの一例を示す図である。
【図１５】Ｒ信号を重畳した奥行き画像の一例を示す図である。
【図１６】Ｒ信号を重畳した奥行きの立体構造を示す図である。
【図１７】ステレオペアの生成装置の一実施の形態のブロック図である。
【図１８】擬似立体化されたステレオペアの一例を示す図である。
【図１９】本発明の擬似立体画像表示システムの一実施の形態のブロック図である。
【符号の説明】
【００６２】
１  画像入力部
２  上部の高域成分評価部
３  下部の高域成分評価部
フレームメモリ
７  合成部
９  Ｒ信号
１０  加算器
１１  奥行き推定データ
１７  テクスチャシフト部
１８  オクルージョン補償部
１９  ポスト処理部
２０  右目画像
２１  左目画像
３０  擬似立体画像生成装置
４０  ステレオペア生成装置
５０  ステレオ表示装置
７０  合成比率決定部
７１、７２、７３  乗算器
７４  加算器
【図１】
2005151534.tif 000007
【図２】
2005151534.tif 000008
【図３】
2005151534.tif 000009
【図１３】
2005151534.tif 000010
【図１７】
2005151534.tif 000011
【図１８】
2005151534.tif 000012
【図１９】
2005151534.tif 000013
【図４】
2005151534.tif 000014
【図５】
2005151534.tif 000015
【図６】
2005151534.tif 000016
【図７】
2005151534.tif 000017
【図８】
2005151534.tif 000018
【図９】
2005151534.tif 000019
【図１０】
2005151534.tif 000020
【図１１】
2005151534.tif 000021
【図１２】
2005151534.tif 000022
【図１４】
2005151534.tif 000023
【図１５】
2005151534.tif 000024
【図１６】
2005151534.tif 000025