(57)【要約】【課題】カメラの移動方向、視線方向が変動した場合にも安定した処理が可能な３次元形状入力方法を提供する。【解決手段】画像入力ステップ３１では、カメラが平行移動しながら撮影する。画像蓄積ステップ３２では、画像入力ステップ３１で撮影された画像列をフレーム毎にメモリに蓄積し、時空間画像を形成する。安定特徴点抽出ステップ３３では、エッジの角など安定に追跡し得る特徴点を既知の方法で追跡する。画像歪み推定ステップ３４では、画像の歪みＡ（ｔ）〜Ｅ（ｔ）画像補正ステップ３５では、ｆｎｅｗ（ｘ，ｙ：ｔ）＝ｆ（ｘ＋Ｄｘｓ（ｘ，ｙ），ｙ＋Ｄｙｓ（ｘ，ｙ）：ｔ）により入力画像を変形する。３次元形状抽出ステップ３６では既知の方法により、補正時刻推定ステップ１３で求められた補正時刻Ｔｊを用い、時空間画像をスキャンラインｙ＝ｙ０面方向でスライスしたエピポーラ画像を解析することにより３次元形状を抽出する。【選択図】　図３
2004125783.tif 000002
【特許請求の範囲】
【請求項１】
カメラが平行移動しながら撮影された時空間画像をメモリに蓄積する画像蓄積ステップと、前記時空間画像中の特徴点を抽出する特徴点抽出ステップと、該特徴点の軌跡を抽出する特徴点軌跡抽出ステップと、該特徴点軌跡から特徴点の３次元座標を計算する３次元座標計算ステップを有する３次元形状入力方法において、
前記特徴点軌跡抽出ステップと前記３次元座標計算ステップの間に、
画面上の複数の特徴点を時間方向に追跡し、これらの特徴点の軌跡がそれぞれ同一のスキャンライン上になるように、視線方向をｚ軸、スキャン方向をｘ軸として、（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘｓ，Ｙｓ）のカメラの方向、位置の変動による投影点の変分Ｄｘｓ（ｘ，ｙ）、Ｄｙｓ（ｘ，ｙ）を求め、式ｆｎｅｗ（ｘ，ｙ；ｔ）＝ｆ（ｘ＋Ｄｘｓ（ｘ，ｙ），ｙ＋Ｄｙｓ（ｘ，ｙ）；ｔ）により入力画像を変形するステップを有することを特徴とする３次元形状入力方法。
【請求項２】
請求項１に記載の３次元形状入力方法をコンピュータに実行させるためのプログラムを記録した、コンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、実画像から高臨場感画像を生成するのに必要な３次元構造を推定するための３次元形状入力方法に関する。
【０００２】
【従来の技術】
時空間画像を対象とする３次元形状入力方法としては、入力画像を撮影するカメラの移動が視線方向に垂直、かつｘ軸に平行であると仮定する方法が知られている（例：ＢｏｌｌｅｓＲ．Ｃ．，　Ｂａｋｅｒ　Ｈ．　Ｈ．　ａｎｄ　Ｍａｒｉｍｏｎｔ　Ｄ．　Ｈ．：　”Ｅｐｉｐｏｌａｒ−ｐｌａｎｅ　ｉｍａｇｅ　ａｎａｌｙｓｉｓ：　ａｎ　ａｐｐｒｏａｃｈ　ｔｏ　ｄｅｔｅｒｍｉｎｉｎｇ　ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　ｍｏｔｉｏｎ”，　ＩＪＣＶ，　Ｖｏｌ．　１，　ＮＯ．　１，　ｐｐ．７−５５，　１９８７，以下文献Ａと呼ぶ）。この方法を図５を用いて説明する。
【０００３】
図５（１）で、５１はカメラを移動させながら撮影した画像系列ｆｏ（ｘ，ｙ；ｔ）である。カメラの移動は視線方向（ｚ軸）に垂直、かつスキャンライン方向（ｘ軸）に平行であるとする。この時、同一物点の像点、すなわち特徴点軌跡は、５１においてｙ＝一定の面上に拘束される。ｙ＝一定の画像５２、
【０００４】
【数１】
2004125783.tif 000003
はエピポーラ画像と呼ばれる。特徴点軌跡５３は同一エピポーラ画像上においてのみ存在するので、特徴点軌跡の処理はエピポーラ画像上で行なえばよい。
【０００５】
カメラの移動量が一定であるとすれば、特徴点軌跡５３は直線となる。この傾きは特徴点の奥行き値に比例し、カメラパラメータから奥行きが計算できるので、エピポーラ画像上の特徴点を抽出し、さらに該特徴点の軌跡を推定することにより、該特徴点の軌跡の傾きより、該特徴点の奥行きが求まる。
【０００６】
【発明が解決しようとする課題】
上述した従来の方法は、カメラの移動方向、視線方向が変動する場合には、特徴点軌跡５３は同一エピポーラ画像上においてのみ存在するという仮定が成り立たず、処理の精度が著しく低下するという欠点がある。
【０００７】
本発明の目的は、カメラの移動方向、視線方向が変動した場合にも安定した処理が可能な３次元形状入力方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の３次元入力方法は、カメラが平行移動しながら撮影された時空間画像をメモリに蓄積する画像蓄積ステップと、時空間画像中の特徴点を抽出する特徴点抽出ステップと、該特徴点の軌跡を抽出する特徴点軌跡抽出ステップと、該特徴点軌跡から特徴点の３次元座標を計算する３次元座標計算ステップを有する３次元形状入力方法において、
特徴点軌跡抽出ステップと３次元座標計算ステップの間に、
画面上の複数の特徴点を時間方向に追跡し、これらの特徴点の軌跡がそれぞれ同一のスキャンライン上になるように、視線方向をｚ軸、スキャン方向をｘ軸として、（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘｓ，Ｙｓ）のカメラの方向、位置の変動による投影点の変分Ｄｘｓ（ｘ，ｙ）、Ｄｙｓ（ｘ，ｙ）を求め、式ｆｎｅｗ（ｘ，ｙ；ｔ）＝ｆ（ｘ＋Ｄｘｓ（ｘ，ｙ），ｙ＋Ｄｙｓ（ｘ，ｙ）；ｔ）により入力画像を変形するステップを有する。
【０００９】
入力に用いるカメラのモデルとしてピンホールカメラモデルを用いる。カメラの回転がなく、視線方向がｚ軸、スキャン方向がｘ軸を向いている場合、（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘｓ，Ｙｓ）は角倍率ａを用いて
【００１０】
【数２】
2004125783.tif 000004
と表せる。
【００１１】
時刻ｔにおいてカメラがｘ軸回りに−αｔ、ｙ軸回りに−βｔ、ｚ軸回りに−γｔ回転したとする。このときの投影点（Ｘ’ｓ，Ｙ’ｓ）は以下のように求められる。
【００１２】
まず、各軸回りの回転行列はそれぞれ、
【００１３】
【数３】
2004125783.tif 000005
であり、全体の回転行列Ｒは
【００１４】
【数４】
2004125783.tif 000006
となる。特に回転角−αｔ，−βｔ，−γｔが小さい場合には
【００１５】
【数５】
2004125783.tif 000007
と近似できる。投影点は、
【００１６】
【数６】
2004125783.tif 000008
となる。近似式（７）を用いれば、
【００１７】
【数７】
2004125783.tif 000009
と近似できる。
【００１８】
次に、カメラ位置がＸ軸から−δｙ、−δｚずれた場合を考える。この場合には、
【００１９】
【数８】
2004125783.tif 000010
となる。δｙ、δｚが小さい場合には、
【００２０】
【数９】
2004125783.tif 000011
と近似できる。ここで、第２項、第３項はｚに依存するが、ｚの変化が小さい場合には、定数と見なすことができる。式（１２）、（１６）から、カメラの方向、位置の変動による投影点の変分Ｄｘｓ＝Ｘｓ−Ｘ’ｓ、Ｄｙｓ＝Ｙｓ−Ｙ’ｓは、
【００２１】
【数１０】
2004125783.tif 000012
と書き表せる。Ａ（ｔ）〜Ｅ（ｔ）は各フレームｔ毎に決まる定数であり、入力画像の歪みを表している。カメラ定数ａが既知であれば、これらから、α（ｔ）、β（ｔ）、γ（ｔ）、δｙ、δｚを求めることができ、ｘ方向の変分Ｄｘｓ＝Ｘｓ−Ｘ’ｓを計算することができる。
【００２２】
５個以上の特徴点の軌跡（Ｘｉ（ｔ），Ｙｉ（ｔ））からＡ（ｔ）〜Ｅ（ｔ）を推定すれば、これを用いてＤｙｓを求め、
【００２３】
【数１１】
2004125783.tif 000013
により入力画像を変形し、歪みを減少させることができる。ｆｎｅｗは補正された入力画像を示している。この推定は、例えば、
【００２４】
【数１２】
2004125783.tif 000014
を最小化するＡ（ｔ）〜Ｅ（ｔ）を最小自乗法で解くことが行なえる。また、
【００２５】
【数１３】
2004125783.tif 000015
によりロバスト推定することもできる（例：Ｚ．　Ｚｈａｎｇ，　ｅｔ．　ａｌ，　Ａ　ｒｏｂｕｓｔ　ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　ｍａｔｃｈｉｎｇ　ｔｗｏ　ｕｎｃａｌｉｂｒａｔｅｄ　ｉｍａｇｅｓ　ｔｈｒｏｕｇｈ　ｔｈｅ　ｒｅｃｏｖｅｒｙ　ｏｆ　ｔｈｅ　ｕｎｋｎｏｗｎ　ｅｐｉｐｏｌａｒ　ｇｅｏｍｅｔｒｙ，　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　Ｖｏｌ．　７８，（１９９５）８７−１１９，以下、文献Ｂ）。
【００２６】
このように、本発明では、カメラの変動による画像の歪みを推定し、入力画像を補正するため、カメラの移動方向、視線方向の変動に強い３次元画像方法を実現できる。
【００２７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２８】
図１を参照すると、本発明の第１の実施形態の３次元形状入力方法は画像入力ステップ１１と画像蓄積ステップ１２と安定特徴点抽出ステップ１３と補正時刻推定ステップ１４とエピポーラ解析に基づく３次元形状抽出ステップ１５で構成される。
【００２９】
まず、本実施形態の原理を説明する。
入力に用いるカメラのモデルとしてピンホールカメラモデルを用いる。カメラの位置を（ｘｅ，０，０）とし、視線方向をｚ軸、スキャン方向がｙ軸を向いている場合、（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘｓ，Ｙｓ）は角倍率ａを用いて
【００３０】
【数１４】
2004125783.tif 000016
と表せる。Ｙｓはｘｅに依存しないので、投影点は同一スキャンラインに留まる。また、Ｘｓはカメラ位置ｘｅに対し直線的に変化する。特に、カメラが等速度υｏで移動する場合は、
【００３１】
【数１５】
2004125783.tif 000017
となり、投影点は時刻ｔに関して線形に変化し、（Ｘｓ，ｔ）は直線上にのる。
【００３２】
さて、一般の場合でも、同様な線形関係を得ることができる。簡単のため、ｔ＝０におけるカメラの位置を原点にとり、最終フレームｎにおけるカメラの位置を（Ｘ，０，０）ととる。
【００３３】
Ｔ＝ｘｅ／Ｘ
とおけば、式（２７）から
【００３４】
【数１６】
2004125783.tif 000018
とできる。すなわち（Ｘｓ，Ｔ）は直線上にのることが分かる。ここで、Ｔは補正された時刻と見なすことができる。したがって、各フレームｊに対し、補正時刻Ｔｊを推定すれば、特徴線軌跡が直線になることが分かる。
【００３５】
補正時刻Ｔｊは以下のように推定することができる。ｊを入力画像フレームの番号、最終フレームをｎとし、特徴点軌跡を｛ｘｉ，ｊ｝とする。直線の傾きＬｉを
【００３６】
【数１７】
2004125783.tif 000019
とする。
【００３７】
【数１８】
2004125783.tif 000020
という関係がなるべく成り立つようにＴｊを決めればよいので、例えば、
【００３８】
【数１９】
2004125783.tif 000021
を最小とすることにより、Ｔｊを推定することができる。その他、既知のラバスト推定法などを用いてもよい（文献Ｂ）。
【００３９】
このように求められた補正時刻Ｔｊと特徴点軌跡ｘｉ，ｊの対、
（ｘｉ，ｊ，Ｔｊ）
は直線上にのるため、これに対して既知のエピポーラ解析処理（例えば文献Ａ）を施せば、速度変動の影響を受けることなく安定に３次元形状の抽出を行うことができる。
【００４０】
次に、本実施形態の処理手順を図１により説明する。
画像入力ステップ１１において、カメラが平行移動しながら撮影する。画像蓄積ステップ１２において、画像入力ステップ１１で撮影された画像列がフレーム毎にメモリに蓄積され、時空間画像５１（図５）が形成される。
【００４１】
安定特徴点抽出ステップ１３では、エッジの角など安定に追跡し得る特徴点を既知の方法（文献Ｂ）で追跡し、特徴点軌跡｛ｘｉ，ｊ｝を求める。
【００４２】
補正時刻推定ステップ１４では、安定特徴点抽出ステップ１３で求めた特徴点軌跡を用いて、式（３２）の最小化を最小自乗法により行ない、補正時刻Ｔｊを求める。
【００４３】
エピポーラ解析に基づく３次元形状抽出ステップ１６は既知の方法（例えば、特願平８−３３８３８８（以下、文献Ｃと呼ぶ）、文献Ａなど）により、補正時刻推定ステップ１４で求められた補正時刻Ｔｊを用い、時空間画像５１をスキャンラインｙ＝ｙ０面方向でスライスしたエピポーラ画像５２（図５（２））を解析することにより３次元形状を抽出する。
【００４４】
本実施形態によれば、カメラの移動速度の変動に対し、従来の技術に比べてロバストに３次元形状を復元しうる。
【００４５】
図２を参照すると、本発明の第１の実施形態の３次元形状入力プログラムを記録した記録媒体は、それぞれ図１中の画像入力ステップ１１、画像蓄積ステップ１２、安定特徴点抽出ステップ１３、補正時刻推定ステップ１４、３次元形状抽出ステップ１５の各処理２１〜２５からなる３次元形状入力プログラムを記録した、ＦＤ（フロッピーディスク）、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）、半導体メモリ等の記録媒体で、ＣＰＵにより３次元形状入力プログラムが読み出され、実行される。
【００４６】
図３を参照すると、本発明の第２の実施形態の３次元形状入力方法は、画像入力処理ステップ３１と画像蓄積ステップ３２と安定特徴点抽出ステップ３３と画像歪み推定ステップ３４と画像補正ステップ３５とエピポーラ解析に基づく３次元形状抽出ステップ３６で構成されている。なお、３次元形状抽出ステップ３６は［００４１］記載のの特徴点軌跡抽出ステップと３次元座標計算ステップを構成している。
【００４７】
画像入力ステップ３１において、カメラがほぼ平行移動しながら撮影する。画像蓄積ステップ３２において、画像入力ステップ３１で撮影された画像列がフレーム毎にメモリに蓄積され、時空間画像５１が形成される。
【００４８】
特徴点抽出ステップ３３では、エッジの角など安定に追跡し得る特徴点を既知の方法（文献Ｂ）で追跡する。
【００４９】
画像歪み推定ステップ３４では、式（２５）に最小自乗法を適用して画像の歪みＡ（ｔ）〜Ｅ（ｔ）を推定する。
【００５０】
画像補正ステップ３５では、式（２４）による画像の変形を行なう。
【００５１】
エピポーラ解析に基づく３次元形状抽出ステップ３６は既知の方法（例えば、文献Ａ、文献Ｃなど）により、時空間画像５１をスキャンラインｙ＝ｙ０面方向でスライスしたエピポーラ画像５２を解析することにより３次元形状を抽出する。
【００５２】
本実施形態によれば、カメラの姿勢、移動方向の変動に対し、従来の技術に比べて、ロバストに３次元形状を復元しうる。
【００５３】
図４を参照すると、本発明の第２の実施形態の３次元形状入力プログラムを記録した記録媒体は、それぞれ図３中の画像入力ステップ３１、画像蓄積ステップ３２、安定特徴点抽出ステップ３３、画像歪み推定ステップ３４、画像補正ステップ３５、３次元形状抽出ステップ３６の各処理４１〜４６からなる３次元形状入力プログラムを記録した、ＦＤ、ＣＤーＲＯＭ、ＭＯ、半導体メモリ等の記録媒体で、ＣＰＵにより３次元形状入力プログラムが読み出され、実行される。
【００５４】
【発明の効果】
以上説明したように、本発明は、画面上の複数の特徴点を時間方向に追跡し、これら特徴点の軌跡がそれぞれ同一のスキャンライン上になるように入力画像を変形することにより、カメラの移動方向、視線方向の変動に強い３次元画像入力方法を実現可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の３次元形状入力方法を示すフローチャートである。
【図２】本発明の第１の実施形態の３次元形状入力プログラムを記録した記録媒体の構成図である。
【図３】本発明の第２の実施形態の３次元形状入力方法を示すフローチャートである。
【図４】本発明の第２の実施形態の３次元形状入力プログラムを記録した記録媒体の構成図である。
【図５】従来技術の説明図である。
【符号の説明】
１１　画像入力ステップ
１２　画像蓄積ステップ
１３　安定特徴点抽出ステップ
１４　補正時刻推定ステップ
１５　３次元形状抽出ステップ
２１　画像入力処理
２２　画像蓄積処理
２３　安定特徴点抽出処理
２４　補正時刻推定処理
２５　３次元形状抽出処理
３１　画像入力ステップ
３２　画像蓄積ステップ
３３　安定特徴点抽出ステップ
３４　画像歪み推定ステップ
３５　画像補正ステップ
３６　３次元形状抽出ステップ
４１　画像入力処理
４２　画像蓄積処理
４３　安定特徴点抽出処理
４４　画像歪み推定処理
４５　画像補正処理
４６　３次元形状抽出処理
【図１】
2004125783.tif 000022
【図２】
2004125783.tif 000023
【図３】
2004125783.tif 000024
【図４】
2004125783.tif 000025
【図５】
2004125783.tif 000026