(57)【要約】【課題】  時系列画像中の対象物の形状およびカメラ運動を復元して動画像を作成する場合にカメラ運動を平滑化する平滑化処理方法を提供する。【解決手段】    相対座標位置にあるカメラ位置を単位球面上に射影し、単位球上の点列を射影平面上へ極射影し、射影平面上の点に円に対して重み付き最小２乗法に基づく演算処理により円を推定する。推定円を単位球面上に逆射影して、逆射影円を初期値としたニュートン法に基づく演算処理により小円を得て、単位球面上のデータ点を小円上に射影してカメラ位置の推定値とする。そして、小円弧の水平方向が新しいＸ軸となるように画像を回転させる処理を画像列のそれぞれの画像に対してコンピュータにより実行する。これにより、少数画像から被写体の３次元形状とカメラ運動を復元し、３次元空間において滑らかなカメラ運動とすることができる。【選択図】  図２
2006350448.tif 000002
【特許請求の範囲】
【請求項１】
画像入力装置で取得した時系列画像データから時系列画像中の対象物の形状およびカメラ運動を復元し、前記カメラ運動をコンピュータの処理により平滑化することによって、前記時系列画像を平滑化する画像処理方法であって、
（１）相対座標位置にあるカメラ位置を単位球面上に射影するステップと、
（２）単位球上の点列を射影平面上へ極射影するステップと、
（３） 射影平面上の点に対して重み付き最小２乗法に基づく演算処理により円などの曲線を推定するステップと、
（４）推定された円を単位球面上に逆射影するステップと、
（５）逆射影円を初期値としたニュートン法に基づく演算処理により小円を得るステップと、
（６）単位球面上のデータ点を小円上に射影してカメラ位置の推定値とするステップと、
（７）カメラ位置の推定値における画像及びそれらを補間する新たな画像を、画像入力装置で取得した時系列画像をアフィン変換や射影変換により推定するステップと、
（８）小円弧の水平方向が新しいＸ軸となるように画像を回転させるステップと
（９）推定された全画像を連続的に提示して動画像を生成するステップと
の処理を画像列のそれぞれの画像に対してコンピュータにより実行する
ことを特徴とするカメラ運動の平滑化を利用して時系列画像を平滑化する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力装置で取得した時系列画像データから時系列画像中の対象物の形状およびカメラ運動を復元して動画像を作成する場合において、そのカメラ運動を平滑化するカメラ運動の平滑化処理方法に関し、特に、画像データの少数画像から被写体の３次元形状とカメラ運動を復元した場合に、カメラ位置に対して球面上の点列への小円あてはめを用いて、カメラ運動を滑らかなものにするカメラ運動の平滑化処理方法に関するものである。
【背景技術】
【０００２】
画像入力装置で取得した時系列画像データから時系列画像中の対象物の形状およびカメラ運動を復元し動画像を作成する場合において、従来は、少数画像から動画を作成する際は、モーフィング等を用いて少数画像を逐次的に滑らかに補間しながらつなぐだけであった。
【０００３】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測または獲得する手法として、ステレオ計測やエピポーラ解析を用いた３次元解析手法があり、最近では、カメラの運動と対象物の形状に関する３次元情報を同時に計測または獲得する手法の代表的な手法として、因子分解法がある。
【０００４】
これらの手法によれば、対象物が撮影されている複数の時系列画像から、３次元の形状に関する情報、およびカメラ視点に関する運動を獲得、復元することができ、因子分解法を反復的に作用させることで、近似カメラモデル、例えば、平行透視モデルから、現実のカメラモデルに近い透視投影での因子分解が可能である。このようなカメラ運動と物体形状復元の技術については、特許文献１が参照できる。これによると時系列画像からカメラ運動と対象物の物体形状を高精度に復元できる。
【特許文献１】特開２００３−２４２４８４号公報
【非特許文献１】藤木淳，赤穂昭太郎（２００４）．球面上の点列への小円あてはめ〜カメラ運動の平滑化に向けて〜，信学技報，ＰＲＭＵ２００４−１４９，ｐｐ．９１−９６，Ｄｅｃ．２００４．
【非特許文献２】藤木淳（２００１）．点対応を用いた複数の２次元画像からの３次元形状復元−因子分解法の数理−，統計数理，第４９巻第１号、ｐｐ．７７−１０７．
【非特許文献３】藤木淳，赤穂昭太郎（２００５）．超球面上の点列への小超球面あてはめ〜球面最小２乗法〜，信学技報，ＮＣ２００４−２１７，ｐｐ．１４１−１４６，Ｍａｒ．２００５．
【非特許文献４】Ｐｏｅｌｍａｎ，  Ｃ．Ｊ．ａｎｄ  Ｋａｎａｄｅ，  Ｔ．（１９９７）．Ａ  ｐａｒａｐｅｒｓｐｅｃｔｉｖｅ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ  ｆｏｒ  ｓｈａｐｅ  ａｎｄ  ｍｏｔｉｏｎ  ｒｅｃｏｖｅｒｙ，  ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｎｇｅｎｃｅ，  １９（３），  ２０６−２１８．
【非特許文献５】Ｔｏｍａｓｉ，  Ｃ．ａｎｄ  Ｋａｎａｄｅ，  Ｔ．（１９９２）．Ｓｈａｐｅ  ａｎｄ  ｍｏｔｉｏｎ  ｆｒｏｍ  ｉｍａｇｅ  ｓｔｒｅａｍｓ  ｕｎｄｅｒ  ｏｒｔｈｏｇｒａｐｈｙ：  Ａ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，９（２），１３７−１５４．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、２次元画像列からカメラ運動と３次元形状を復元する際、画像撮影時の手ブレやノイズ等の影響により、因子分解法のようなカメラ運動の連続性を仮定しない復元手法を用いると、カメラ運動が滑らかに推定されず、復元されたカメラ運動は不自然な動きをするという問題点がある。
【０００６】
カメラ運動を滑らかにするには、例えば、カメラ運動が単位球面上の点の軌跡として表現されることから、これらの点列に小円をあてはめることにより、カメラ運動を滑らかにすることが期待される。このようなカメラ運動の平滑化処理を行うことにより、この処理方法を用いて時系列の画像データの画像列を修正することにより、より自然な動画像とすることのできる画像列が得られる。
【０００７】
また、２次元画像列からカメラ運動と３次元形状を復元する際には、非特許文献４および非特許文献５のように、因子分解法等のカメラ運動の連続性を仮定する必要のない復元手法は、復元を容易に実現できるという利点があるが、その反面、画像撮影時の手ブレやノイズ等の影響が残り、実際には滑らかなカメラ運動であっても不自然な動きをしてしまうことがあるという問題点がある。
【０００８】
その一方で、より現実的なカメラ運動を推定するために、カメラ速度や加速度、躍度等に制約を加えた関数を最適化する手法も考えられるが、これは、一般に非線形最適化問題となるため、手ブレ、ノイズの影響を受け易く、数値計算上不安定となる欠点がある。そもそも、画像が時間的に隣接してないと速度等が計算できないという問題点もある。
【０００９】
本発明は上記のような問題点を解決するためになされたものであり、本発明の目的は、画像入力装置で取得した時系列画像データから時系列画像中の対象物の形状およびカメラ運動を復元して動画像を作成する場合において、そのカメラ運動を平滑化するカメラ運動の平滑化処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記のような目的を達成するため、本発明によるカメラ運動の平滑化処理方法は、画像入力装置で取得した時系列画像データから時系列画像中の対象物の形状およびカメラ運動を復元し、前記カメラ運動を平滑化するカメラ運動の平滑化処理をコンピュータの処理により実行するカメラ運動平滑化処理方法であって、相対座標位置にあるカメラ位置を単位球面上に射影するステップと、単位球上の点列を射影平面上へ極射影するステップと、射影平面上の点に円に対して重み付き最小２乗法に基づく演算処理により円を推定するステップと、推定円を単位球面上に逆射影するステップと、逆射影円を初期値としたニュートン法に基づく演算処理により小円を得るステップと、単位球面上のデータ点を小円上に射影してカメラ位置の推定値とするステップと、小円弧の水平方向が新しいＸ軸となるように画像を回転させるステップと、の処理を画像列のそれぞれの画像に対してコンピュータにより実行することを特徴とする。ここで、データ点の小円上への射影とは、データ点との測地線に沿う距離が最小となる小円上の点への置き換えである。
【発明の効果】
【００１１】
本発明によるカメラ運動の平滑化処理方法は、カメラ位置に対して球面上の点列への小円あてはめを用いて、カメラ運動を滑らかなものにする。また、因子分解法を用いた復元の利点を活かすために、復元によって得られたカメラ運動を平滑化することによって現実的なカメラ運動を推定する。これにより、少数画像から被写体の３次元形状とカメラ運動を復元し、３次元空間において滑らかなカメラ運動を構築し、それに基づいて少数画像を変換することによって動画を作成することができる。
【００１２】
具体的には、カメラ運動が単位球面上の点の軌跡として表現されることを利用して、これらの点列に小円をあてはめて滑らかなカメラ運動を構成する。小円のあてはめは測地線に沿う距離の２乗和をニュートン法を用いて最小化する。これにより、少数画像から被写体の３次元形状とカメラ運動を復元し、３次元空間において滑らかなカメラ運動とすることができ、それに基づいて画像を変換することによって滑らかな動画像を作成することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施する場合の一形態について図面を参照して説明する。図１は、本発明によるカメラ運動の平滑化処理方法のデータ処理を実行する情報処理システムの構成の一例を示す図である。図１において、１００はキーボードおよびマウスからの入力操作を受け付ける入力部、１０１は例えば数値データ等の入力操作および演算指示のためのキーボード、１０２は選択および指示の入力操作のためのポインティングデバイスのマウス、１０３はデータ処理を行うためのマイクロプロセッサ（ＣＰＵ）およびメモリなどのシステム装置から構成される演算部、１０４は例えばディスプレ装置から構成される表示部、１０５はハードディスク装置などから構成されるデータベースである。
【００１４】
カメラ運動の平滑化処理方法を実行する情報処理システムにおいては、表示画面１０６に、処理結果の動画像が表示されるが、その被処理対象の時系列画像は、データベースに予め格納されている画像データを利用する。この画像データは、図示されない画像入力装置により予め取得されてデータベースに格納されているものである。図２は、本発明によるカメラ運動の平滑化処理方法の処理手順を示すフローチャートである。
【００１５】
図２を参照して、カメラ運動の平滑化処理について説明する。ここでの処理を行う前に前処理として、画像入力装置で取得した時系列画像データから時系列画像中の対象物の形状およびカメラ運動（カメラ位置）を復元する処理を行う。これらの処理は、後述するように、公知の画像処理の手法により行う。そして、カメラ運動を平滑化するカメラ運動の平滑化処理をコンピュータの処理により実行する。時系列画像のそれぞれの画像について、次の処理を繰り返し行い、処理を行った複数の画像に基づいて動画像を生成する。
【００１６】
前処理により、それぞれの画像について対象物の形状およびカメラ位置が復元されているので、まず、ステップ２０１において、相対座標位置にあるカメラ位置を単位球面上に射影する。次に、ステップ２０２において、単位球上の点列を射影平面上へ極射影する。そして、次のステップ２０３において、射影平面上の点に円に対して重み付き最小２乗法に基づく演算処理によって円を推定する処理を行い、次のステップ２０４において、推定円を単位球面上に逆射影する。
【００１７】
続いて、ステップ２０５において、逆射影円を初期値としたニュートン法に基づく演算処理によって小円を得て、次のステップ２０６において、単位球面上のデータ点を小円上に射影してカメラ位置の推定値とする。そして、ステップ２０７において、小円弧の水平方向が新しいＸ軸となるように画像を回転させる処理を行う。
【００１８】
この処理を例えば時系列画像データの画像列のそれぞれの画像に対してコンピュータにより実行することにより、この複数の画像を組み合わせて動画像とすることにより、動きの滑らかな動画像が得られる。なお、ここでステップ２０６において、データ点の小円上への射影とは、データ点との測地線に沿う距離が最小となる小円上の点への置き換えである。
【００１９】
次に、実施例として、具体的にデータ処理を行って実証した結果について説明する。これらの説明の理解のための前提技術について説明するが、まず、Paraperspective射影の因子分解法について説明する。図３は、Paraperspectiveモデルを説明する図である。
【００２０】
Paraperspective射影モデル（非特許文献４，非特許文献２）とは、次の手順（１）〜（４）を含む画像面への射影である。
手順（１）：被写体の適当な特徴点（第*特徴点）を基準点として選ぶ（図３では、重心を基準点としている）。
手順（２）：基準点を含むＸＹ平面と平行な画像面ｂを設定する。
手順（３）：カメラと基準点を結ぶベクトルを設定して、基準点以外の特徴点すべてをこのベクトルに平行と画像面ｂへ射影する（図３では見易さのため画像面ｃを用意して射影している）。
手順（４）：画像面ｂから画像面ａに透視射影する。
【００２１】
この場合に、カメラの焦点距離をｌとする。第ｆカメラ中心の世界座標をｔｆ、第ｆ画像面上の正規直交基底を（ｉｆ、ｊｆ）（カメラのＸ軸、Ｙ軸に相当）、カメラの光軸方向の単位ベクトルをｋｆ（カメラのＺ軸に相当）とし、これらを並べてできる行列を
【数１】
2006350448.tif 000003
とする。
【００２２】
また、第ｐ特徴点の世界座標をｓｐ、第ｆ画像面上の第ｐ特徴点のカメラ座標（基底ｉｆ，ｊｆ，ｋｆにおける成分表示）、画像座標をそれぞれ
【数２】
2006350448.tif 000004
とする。（ｆ＝１，…，Ｆ；ｐ＝１，…，Ｐ）。そして、ある基準点である第＊特徴点（特徴点の重心を選んでも良い）およびその射影からの相対座標を
ｓ＊ｐ＝ｓｐ−ｓ＊，Ｘ＊ｆｐ＝Ｘｆｐ−Ｘｆ＊，ｘ＊ｆｐ＝ｘｆｐ−ｘｆ＊
のように表す。このときparaperspectiveモデルは
【数３】
2006350448.tif 000005
となる。ここでＩ２は２次単位行列である。いま、グローバルスケールの不定性のため、Ｚｆ＊については比しか求まらない。そこで、λｆ＊＝Ｚｆ＊／Ｚ１＊（λ１＊＝１に注意）のようにグローバルスケールを調整すると、
【数４】
2006350448.tif 000006
が得られる。ここでλｆ＊は平均奥行きと呼ばれるパラメータである。式（４）を相対座標を用いて記述すると、
【数５】
2006350448.tif 000007
と簡単な式になる。
【００２３】
〔因子分解法〕
次に、因子分解法について説明する。特徴点Ｐ個、写真Ｆ枚が与えられたとき、
【数６】
2006350448.tif 000008
と定義すると、式（５）により、
【数７】
2006350448.tif 000009
となる。よって特徴点の座標、カメラ位置、向きを復元するためには、Ｗ＊をＭとＳ＊の積に分解できればよい。ここで計測行列Ｗ＊のランクは、式（８）により３（以下）となるが、ノイズ等の影響から必ずしもランクが３になるとは限らないので、観測された計測行列からランクが３の行列を推定する必要がある。そして、その最小２乗推定量はＷ＊の第４特異値以下を０に置き換えることによって得られる。
【００２４】
計測行列Ｗ＊の第４特異値以下を０に置き換えた行列を改めてＷ＊とし、その特異値分解を
【数８】
2006350448.tif 000010
とする。＾Ｍ＝ＵＤ，Ｓ＊＝ＶＴとおくと式（９）は
【数９】
2006350448.tif 000011
となり、＾Ｍと＾Ｓ＊はＷ＊の１つの分解を与える。この＾Ｍと＾Ｓ＊はアフィン復元解で、ユークリッド復元解ＭとＳ＊との間には、
【数１０】
2006350448.tif 000012
のような関係がある（非特許文献２）。ここで、Ａとはある３×３可逆行列であり、その求め方はについて次に説明すると、Ｃｆが３次元回転行列であることから
【数１１】
2006350448.tif 000013
が成立する。これを計量拘束という。計量拘束によりＡの満たすべき条件は、Ｑ＝ＡＡＴとおくと式（１２）より
【数１２】
2006350448.tif 000014
となり、これはＱの成分に関する線形連立方程式だから簡単に解くことができる。さらに、Ｑ＝ＡＡＴからＡはＱのコレスキー分解などを用いれば求めることができる。以上により、Ｍ，Ｓ＊を求めることができ、Ｃｆ，ｔｆが求まり、復元が完了する（非特許文献２）。
【００２５】
〔カメラ運動の単位球面による表現〕
各画像に対し、基準点の像が画像の原点となるように平行移動すれば、カメラの光軸上に基準点があることになる。さらに画像を平均奥行きにあわせて拡大し、全画像の奥行きを等しくすると、カメラ位置に関するパラメータはカメラ座標系のＸ軸、Ｙ軸、Ｚ軸だけとなる。また、画像は自由に回転できるので、結局のところ、カメラ位置に関するパラメータカメラ座標系のＺ軸であるｋｆのみとなる。ｋｆは単位ベクトルであるから、カメラ位置は単位球面上の点とみなすことができる。この関係は、図４に示すように表現できることになる。
【００２６】
〔球面上への小円あてはめ〕
球面上の点列への小円あてはめ（非特許文献１）について説明する。図５は、球面上の小円表現について説明する図である。例えば、単位球面‖ｘ‖＝１上において、中心がλ（‖λ‖＝１）、測地線に沿う半径がμ（０＜μ＜π）であるような小円（μ＝π／２のときは大円）を考える。この小円は単位球面と平面
λＴｘ＝ｃｏｓμ                                          ……（１４）
の交線として捉えられ、この平面上では半径ｓｉｎμの円となる（図５）。
各小円は４次元ベクトル〜λ＝（λ  μ）によって表現することができる。このとき、〜λ＝（−λ  π−μ）なる小円は、〜λ＝（λ  μ）なる小円と一致することに注意しておく。
【００２７】
〔球面最小２乗法〕
さて、単位球面上のデータ点（各カメラ位置に対応する単位球面上の点）をｘｆ（ｆ＝１，…，Ｆ）とする。このとき‖ｘｆ‖＝１であり、ｘｆとλとのなす角度をψｆ（０≦ψｆ≦π）とすると
ｃｏｓψｆ＝λＴｘｆ                                      ……（１５）
が成立する。もし、全てのｘｆが小円〜λ＝（λ  μ）上にあるならば、任意のカメラ位置ｆに対してψｆ＝μが成立するが、一般にそうなるとは限らない。そこで測地線に沿う誤差
ｒｆ＝μ−ψｆ                                            ……（１６）
の２乗和
【数１３】
2006350448.tif 000015
を最小化するようなλを推定することを考える。その際、非線形関数Ｊを最小化するためにニュートン法を用いる。
【００２８】
〔ニュートン法による解法〕
λを極座標で表し、２つのパラメータで表現して式（１７）の最小化を行う。その際、固定されたλに対して式（１７）を最小化するμが陽に求まることを利用してμを消去する。具体的には、式（１７）を１／Ｆ倍した
【数１４】
2006350448.tif 000016
が、固定されたλに対して、μ＝Ｅ［ψｆ］のとき、最小値Ｖａｒ［ψｆ］をとることを利用する。したがって１／Ｆ倍した２乗和を新たにＪとして、
【数１５】
2006350448.tif 000017
を最小化すれば良い。ここで
【数１６】
2006350448.tif 000018
と置き換えると、
【数１７】
2006350448.tif 000019
を計算することにより、ニュートン法を用いて最小２乗法を行うことができる（非特許文献１）。
【００２９】
〔極射影によるユークリッド化〕
本発明のカメラ運動の平滑化処理方法において用いるニュートン法について説明したが、ここで問題となってくるのが初期値である。なぜなら、初期値により収束値が大きく変わってしまう場合があるからである。よって、今回の初期値決定には、相当の精度が期待できる極射影を用いた最小２乗法を使用し、これにより求まる小円をニュートン法の初期値とする。球面上の小円は極射影により射影平面上の円に射影されるので、具体的には射影平面に射影された単位球面上のデータ点から最小２乗法で円を推定すればよい。そして、その推定された円を逆射影して、球面上に戻した小円をニュートン法の初期値とする。
【００３０】
しかし、極射影において、極の付近にデータ点があると、推定量が極端に悪くなることがある。なぜなら対蹠点における拡大率は１であるのに対し、極は無限遠点に移されるので極における拡大率は∞となる。このため、極の対蹠点から離れた点の微小変化は射影平面では大きな変化となり射影平面において通常の最小２乗法によって推定すると、その推定結果は極の対蹠点から離れた点に引きずられてしまうからである。
【００３１】
そこで、極射影において変化する拡大率（計量）を補正する重み付き最小２乗法により処理を行う。射影平面の原点からの距離がｒである点の近傍は（１＋ｒ２／４）倍拡大されるので、球面上で測地線に沿う距離の２乗和を近似的に最小にするには、各点に（１＋ｒ２／４）−２倍の重みを付ければ良い。このように、測地線に沿う長さを近似的にユークリッド距離に置き換えるために、計量の辻褄を合わせるような重みを考慮することをユークリッド化（非特許文献３）と呼ぶことにする。これにより、ニュートン法の良い初期値を安定して得ることができる。
【００３２】
〔カメラ運動の平滑化と画像補正〕
以上を踏まえて、実際にカメラ運動の平滑化アルゴリズムは以下のようになる。
（１）相対座標位置にあるカメラを単位球面上に射影する。
（２）単位球上の点列を射影平面上へ極射影する
（３）射影平面上の点に円に対して、重み付き最小２乗法をあてはめ、円を推定する。
（４）推定円を単位球面上に逆射影する。
（５）逆射影円を初期値としたニュートン法を使用し、小円を得る。
（６）単位球面上のデータ点を小円上に射影して、カメラ位置の推定値とする。
（７）小円弧の水平方向が新しいＸ軸となるように画像を回転させる。
ここで（６）にあるデータ点の小円上への射影とは、データ点との測地線に沿う距離が最小となる小円上の点への置き換えである。
【００３３】
〔カメラ運動の平滑化後の画像補正〕
平滑化前と平滑化後の画像（Ｗ＊，〜Ｗ＊）における関係は、得られた関係式（８）より
Ｗ＊＝ＭＳ＊，  〜Ｗ＊＝Ｍ’Ｓ＊                            ……（２３）
Ｗ＊Ｍ＋＝〜Ｗ＊  〜Ｍ＋＝Ｓ＊                                ……（２４）
ここで、例えばＭ＋はＭのムーア・ペンローズ逆行列である。
〜Ｗ＊＝Ｗ＊Ｍ＋  〜Ｍ                                      ……（２５）
となる。これより、お互いの各画像同士の対応関係がわかり、カメラ運動平滑化後の画像を得ることができる。
【００３４】
平滑化アルゴリズムと画像補正を実画像を用いて確かめてみるため「被写体：椅子、特徴点：１６点(うち１点は基準点)、写真数：８枚、カメラ配置：ほぼ均等な間隔で全周に配置」の設定により、画像を８枚（図６）生成し、カメラ運動を推定し、平滑処理化を行うことにより、図６〜図１１にしめすように、滑らかな動画像を得られることが確認できる。具体的には、Paraperspective 射影の因子分解法より、被写体の３次元形状、カメラ位置、向きは図７のように復元される。次に、この得られたカメラ位置のデータ点を、ｚ軸が物体の垂直上向き方向、原点が物体の重心位置となるような座標系に変換し、この座標系における原点中心の単位球面上にデータ点を射影する（図９の球面上の点）。
【００３５】
この設定で平滑化アルゴリズムを適用し、得られた射影平面上の推定円を図８に示し、また、その逆射影円を初期円としたニュートン法適用後の最適円を図９に示す。次に、この平滑化されたカメラ運動をワイヤーフレームと補正画像で示すと、図１０および図１１ようになる。この対応関係にあるワイヤーフレームと補正画像を示している。
【００３６】
補正画像は、画像すべてに変換を適用したため、画像が回転していくように見えるが、ワイヤーフレームと対応づけて観察することで、うまく補正画像が得られたことが確認できた。また、平滑化されたカメラ運動をワイヤーフレームで再現してみたところ、平滑化アルゴリズムは上手く動いていることが確認できた。
【００３７】
ここでは、物体とカメラの距離が常に等しくなるように正規化したが、より幅広いカメラ運動を表現するために、物体とカメラの距離に入れた手法とするようにしても良い。また、ここでは、単位球面の中心である基準点を1 つに固定したが、カメラ回転の中心となる基準点を複数選ぶことにより、幅広い運動を表現するようにしても良い。また、画像補正については画像すべての画素に対して変換を適用したが、本来、この変換は被写体の特徴点のみに有効であるので、画像補正としては不十分である。そこで被写体を三角網などで分割し、それぞれのパッチ毎に変換を考えて画像を貼つけることにより、より精密な補正画像を得るようにしても良い。
【図面の簡単な説明】
【００３８】
【図１】本発明によるカメラ運動の平滑化処理方法のデータ処理を実行する情報処理システムのシステム構成を示す図である。
【図２】本発明によるカメラ運動の平滑化処理方法の処理手順を示すフローチャートである。
【図３】paraperspectiveモデルを説明する図である。
【図４】単位球面上のカメラの向きを説明する図である。
【図５】球面上の小円表現を説明する図である。
【図６】生成された画像の一例を示す図である。
【図７】３次元復元形状モデルを説明する図である。
【図８】射影平面上のデータ点と推定円を説明する図である。
【図９】単位球面上の最適円を説明するである。
【図１０】平滑化後のワイヤーフレーム画像の一例を示す図である。
【図１１】平滑化後の補正画像を示す図である。
【図１】
2006350448.tif 000020
【図２】
2006350448.tif 000021
【図３】
2006350448.tif 000022
【図４】
2006350448.tif 000023
【図５】
2006350448.tif 000024
【図７】
2006350448.tif 000025
【図８】
2006350448.tif 000026
【図９】
2006350448.tif 000027
【図１０】
2006350448.tif 000028
【図６】
2006350448.tif 000029
【図１１】
2006350448.tif 000030