(57)【要約】【課題】撮影時の制約を無くして容易にカメラ挙動を推定することを目的とする。【解決手段】３つの画像データからカメラの回転及び移動を含むカメラの動きを推定し、推定したカメラの動きと、画像データが表す画像の輝度変化に基づいて画像の奥行き情報を推定することによって、３次元によるカメラ挙動を推定する（１０２）。また、画像内の移動物体を検出して、カメラ挙動の推定対象外とし（１０４）、繰り返しカメラ挙動の推定を行って推定精度を向上する。。【選択図】図６
2008008797.tif 000002
【特許請求の範囲】
【請求項１】
同一対象物が撮影された３つのフレームの画像データに基づいて、カメラの回転及び移動を推定する動き推定手段と、
前記動き推定手段の推定結果及び画像データが表す画像の対応する点の輝度変化に基づいて、画像の奥行き情報を推定する奥行き情報推定手段と、
を含むカメラ挙動推定装置。
【請求項２】
前記奥行き情報推定手段は、中心画素と該中心画素の近傍領域の画素との距離に応じて定めた重みを表す関数を用いて、画像の奥行き情報を推定することを特徴とする請求項１に記載のカメラ挙動推定装置。
【請求項３】
前記関数は、中心画素と近傍画素との距離に応じて定めた重みを表す関数を中心画素から離れるほど小さい値としたことを特徴とする請求項２に記載のカメラ挙動推定装置。
【請求項４】
前記３つのフレームの画像データに基づいて、前記画像中の移動物体を検出する検出手段を更に含み、前記検出手段によって検出された移動物体に対応する部分を、前記動き推定手段及び前記奥行き情報推定手段の推定対象外とすることを特徴とする請求項１乃至請求項３の何れか１項に記載のカメラ挙動推定装置。
【請求項５】
前記動き推定手段による推定及び前記奥行き情報推定手段による推定を繰り返し行って、３つのフレームの画像データのうちの何れかの画像データと、該画像データに時間的に隣接する画像データを各推定結果を用いて変形させた画像データとの一致度をそれぞれ算出し、該一致度の高い前記推定結果を判別する判別手段を更に含むことを特徴とする請求項１乃至請求項４の何れか１項に記載のカメラ挙動推定装置。
【請求項６】
前記動き推定手段及び前記奥行き情報推定手段の推定結果におけるノイズを除去する方法がそれぞれ異なる複数のノイズ除去手段を更に含み、
３つのフレームの画像データのうちの何れかの画像データと、該画像データに時間的に隣接する画像データを各前記ノイズ除去手段の除去結果を用いて変形させた画像データとの一致度を算出し、算出した一致度が高い前記ノイズ除去手段によって前記推定結果のノイズを除去することを特徴とする請求項１乃至請求項５の何れか１項に記載のカメラ挙動推定装置。
【請求項７】
前記動き推定手段の推定結果及び前記奥行き情報推定手段の推定結果に基づいて、３次元の各軸に対するカメラの回転挙動を算出する算出手段を更に含むことを特徴とする請求項１乃至請求項６の何れか１項に記載のカメラ挙動推定装置。
【請求項８】
コンピュータに以下の処理を実行させるカメラ挙動推定プログラムであって、
前記処理は、
同一対象物が撮影された３つのフレームの画像データに基づいて、カメラの回転及び移動を推定する動き推定ステップと、
前記動き推定ステップの推定結果及び画像データが表す画像の対応する点の輝度変化に基づいて、画像の奥行き情報を推定する奥行き情報推定ステップと、
を含むことを特徴とするカメラ挙動推定プログラム。
【請求項９】
前記奥行き情報推定ステップは、中心画素と該中心画素の近傍領域の画素との距離に応じて定めた重みを表す関数を用いて、画像の奥行き情報を推定することを特徴とする請求項８に記載のカメラ挙動推定プログラム。
【請求項１０】
前記関数は、中心画素と近傍画素との距離に応じて定めた重みを表す関数を中心から離れるほど小さい値としたことを特徴とする請求項９に記載のカメラ挙動推定プログラム。
【請求項１１】
前記３つのフレームの画像データに基づいて、前記画像中の移動物体を検出する検出ステップを更に含み、前記検出ステップで検出した移動物体に対応する部分を、前記動き推定ステップ及び前記奥行き情報推定ステップの推定対象外とすることを特徴とする請求項８乃至請求項１０の何れか１項に記載のカメラ挙動推定プログラム。
【請求項１２】
前記動き推定ステップによる推定及び前記奥行き情報推定ステップによる推定を繰り返し行って、３つのフレームの画像データのうちの何れかの画像データと、該画像データに時間的に隣接する画像データを各推定結果を用いて変形させた画像データとの一致度をそれぞれ算出し、該一致度の高い前記推定結果を判別する判別ステップを更に含むことを特徴とする請求項８乃至請求項１１の何れか１項に記載のカメラ挙動推定プログラム。
【請求項１３】
前記動き推定ステップ及び前記奥行き情報推定ステップの推定結果におけるノイズを除去する方法がそれぞれ異なる複数のノイズ除去ステップを更に含み、
３つのフレームの画像データのうちの何れかの画像データと、該画像データに時間的に隣接する画像データを各前記ノイズ除去ステップによる除去結果を用いて変形させた画像データとの一致度を算出し、算出した一致度が高い前記ノイズ除去ステップによって前記推定結果のノイズを除去することを特徴とする請求項８乃至請求項１２の何れか１項に記載のカメラ挙動推定プログラム。
【請求項１４】
前記動き推定ステップの推定結果及び前記奥行き情報推定ステップの推定結果に基づいて、３次元の各軸に対するカメラの回転挙動を算出する算出ステップを更に含むことを特徴とする請求項８乃至請求項１３の何れか１項に記載のカメラ挙動推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ挙動推定装置及びカメラ挙動推定プログラムにかかり、特に、ビデオカメラ等のカメラの撮影によって取得した画像データからカメラ挙動を推定するカメラ挙動推定装置及びカメラ挙動推定プログラムに関する。
【背景技術】
【０００２】
カメラによって撮影した画像からカメラの挙動を推定するには、カメラによって撮影した画像が２次元の情報量であるため、撮影時に環境を測定したり、大きさが既知の形状の物を置くなどすることによって推定することができる。
【０００３】
また、特許文献１に記載の技術では、所定の位置関係を満たす３点からターゲットの画像をそれぞれ撮影して、撮影することによって得られる３つの画像を基に、カメラ位置及び光軸の傾きを算出して、任意の物体の３次元座標を算出することが提案されている。
【特許文献１】特開２００１−４１７４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術などの従来の技術では、撮影時に環境を測定したり、大きさが既知の形状の物を置いて撮影したり、所定の位置関係を満たす３点の位置から撮影したりしなければならないため、撮影時の制約がある。
【０００５】
本発明は、上記事実を考慮して成されたもので、撮影時の制約を無くして容易にカメラ挙動を推定することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために請求項１に記載のカメラ挙動推定装置は、同一対象物が撮影された３つのフレームの画像データに基づいて、カメラの回転及び移動を推定する動き推定手段と、前記動き推定手段の推定結果及び画像データが表す画像の対応する点の輝度変化に基づいて、画像の奥行き情報を推定する奥行き情報推定手段と、を含むことを特徴としている。
【０００７】
請求項１に記載の発明によれば、動き推定手段では、カメラ（例えば、ビデオカメラ等）によって同一対象物が撮影された３つのフレームの画像データに基づいて、カメラの回転及び移動が推定される。
【０００８】
また、奥行き情報推定手段では、動き推定手段の推定結果及び画像データが表す画像の対応する点の輝度変化に基づいて、画像の奥行き情報が推定される。
【０００９】
従って、カメラの回転及び移動だけではなく、奥行きについても推定するので、これによって、３次元のカメラの挙動を推定することがことができる。すなわち、撮影時に環境を測定したり、大きさが既知の形状の物を置いて撮影したり、所定の位置関係を満たす３点の位置から撮影したりする等の撮影時の制約なく、撮影した画像データだけで３次元のカメラ挙動を推定することができるので、容易にカメラ挙動を推定することができる。
【００１０】
例えば、奥行き情報推定手段は、請求項２に記載の発明のように、中心画素と該中心画素の近傍領域の画素との距離に応じて定めた重みを表す関数を用いて、画像の奥行き情報を推定するようにしてもよい。これによって、奥行き情報の推定精度を向上することが可能となる。また、この場合には、関数として、請求項３に記載の発明のように、中心画素と近傍画素との距離に応じて定めた重みを表す関数を中心から離れるほど小さい値にしてもよい。例えば、ガウス分布となる関数などを用いることができる。
【００１１】
なお、請求項４に記載の発明のように、３つのフレームの画像データに基づいて、画像中の移動物体を検出する検出手段を更に含み、検出手段によって検出された移動物体に対応する部分を、動き推定手段及び奥行き情報推定手段の推定対象外とするようにしてもよい。すなわち、画像中に移動物体が存在するとその領域の推定精度が低下するため、推定対象外とすることで推定精度を向上することが可能となる。
【００１２】
また、請求項５に記載の発明のように、動き推定手段による推定及び奥行き情報推定手段による推定を繰り返し行って、３つのフレームの画像データのうちの何れかの画像データと、該画像データに時間的に隣接する画像データを各推定結果を用いて変形させた画像データとの一致度をそれぞれ算出し、該一致度の高い推定結果を判別する判別手段を更に含むようにしてもよい。すなわち、カメラ挙動の推定を繰り返し行って推定精度の高い推定結果を求めることによって、カメラ挙動の推定精度を向上することが可能となる。
【００１３】
また、請求項６に記載の発明のように、動き推定手段及び奥行き情報推定手段の推定結果におけるノイズを除去する方法がそれぞれ異なる複数のノイズ除去手段を更に含み、３つのフレームの画像データのうちの何れかの画像データと、該画像データに時間的に隣接する画像データを各ノイズ除去手段の除去結果を用いて変形させた画像データとの一致度を算出し、算出した一致度が高いノイズ除去手段によって推定結果のノイズを除去するようにしてもよい。すなわち、複数のノイズ除去手段のうち最適なノイズ除去手段を選択して推定結果のノイズを除去することによって、カメラ挙動の推定精度を向上することが可能となる。
【００１４】
さらに、請求項７に記載の発明のように、動き推定手段の推定結果及び奥行き情報推定手段の推定結果に基づいて、３次元の各軸に対するカメラの回転挙動を算出する算出手段を更に含むようにしてもよい。
【００１５】
また、請求項８に記載のカメラ挙動推定プログラムは、コンピュータに以下の処理を実行させるカメラ挙動推定プログラムであって、前記処理は、同一対象物が撮影された３つのフレームの画像データに基づいて、カメラの回転及び移動を推定する動き推定ステップと、前記動き推定ステップの推定結果及び画像データが表す画像の対応する点の輝度変化に基づいて、画像の奥行き情報を推定する奥行き情報推定ステップと、を含むことを特徴としている。
【００１６】
請求項８に記載の発明によれば、動き推定ステップは、カメラ（例えば、ビデオカメラ等）によって同一対象物が撮影された３つのフレームの画像データに基づいて、カメラの回転及び移動を推定する。
【００１７】
また、奥行き情報推定ステップは、動き推定ステップの推定結果及び画像データが表す画像の対応する点の輝度変化に基づいて、画像の奥行き情報を推定する。
【００１８】
従って、カメラの回転及び移動だけではなく、奥行きについても推定するので、これによって、３次元のカメラの挙動を推定することがことができる。すなわち、撮影時に環境を測定したり、大きさが既知の形状の物を置いて撮影したり、所定の位置関係を満たす３点の位置から撮影したりする等の撮影時の制約なく、撮影した画像データだけで３次元のカメラ挙動を推定することができるので、容易にカメラ挙動を推定することができる。
【００１９】
例えば、奥行き情報推定ステップは、請求項９に記載の発明のように、中心画素と該中心画素の近傍領域の画素との距離に応じて定めた重みを表す関数を用いて、画像の奥行き情報を推定するようにしてもよい。これによって、奥行き情報の推定精度を向上することが可能となる。また、この場合には、関数として、請求項１０に記載の発明のように、中心画素と近傍画素との距離に応じて定めた重みを表す関数を中心から離れるほど小さい値にしてもよい。例えば、ガウス分布となる関数などを用いることができる。
【００２０】
なお、請求項１１に記載の発明のように、３つのフレームの画像データに基づいて、画像中の移動物体を検出する検出ステップを更に含み、検出手段で検出した移動物体に対応する部分を、動き推定ステップ及び奥行き情報推定ステップの推定対象外とするようにしてもよい。すなわち、画像中に移動物体が存在するとその領域の推定精度が低下するため、推定対象外とすることで推定精度を向上することが可能となる。
【００２１】
また、請求項１２に記載の発明のように、動き推定ステップによる推定及び奥行き情報推定ステップによる推定を繰り返し行って、３つのフレームの画像データのうちの何れかの画像データと、該画像データに時間的に隣接する画像データを各推定結果を用いて変形させた画像データとの一致度をそれぞれ算出し、該一致度の高い推定結果を判別する判別ステップを更に含むようにしてもよい。すなわち、カメラ挙動の推定を繰り返し行って推定精度の高い推定結果を求めることによって、カメラ挙動の推定精度を向上することが可能となる。
【００２２】
また、請求項１３に記載の発明のように、動き推定ステップ及び奥行き情報推定ステップの推定結果におけるノイズを除去する方法がそれぞれ異なる複数のノイズ除去ステップを更に含み、３つのフレームの画像データのうちの何れかの画像データと、該画像データに時間的に隣接する画像データを各ノイズ除去ステップによる除去結果を用いて変形させた画像データとの一致度を算出し、算出した一致度が高いノイズ除去ステップによって推定結果のノイズを除去するようにしてもよい。すなわち、複数のノイズ除去方法のうち最適なノイズ除去方法を選択して推定結果のノイズを除去することによって、カメラ挙動の推定精度を向上することが可能となる。
【００２３】
さらに、請求項１４に記載の発明のように、動き推定ステップの推定結果及び奥行き情報推定ステップの推定結果に基づいて、３次元の各軸に対するカメラの回転挙動を算出する算出ステップを更に含むようにしてもよい。
【発明の効果】
【００２４】
以上説明したように本発明によれば、同一対象物が撮影された３つのフレームの画像データに基づいて、カメラの回転及び移動を推定すると共に、該推定結果及び画像データが表す画像の対応する点の輝度変化に基づいて、画像の奥行き情報を推定することによって、３次元のカメラの挙動を推定することができるので、撮影時に環境を測定したり、大きさが既知の形状の物を置いて撮影したり、所定の位置関係を満たす３点の位置から撮影したりする等の撮影時の制約なく容易にカメラ挙動を推定することができる、という効果がある。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本発明の実施の形態に係わるカメラ挙動推定装置の概略を説明するための図である。
【００２６】
本発明の実施の形態に係わるカメラ挙動推定装置１０は、図１に示すように、モニタ１２等の表示手段や、キーボード１４やマウス等の入力手段を備えた一般的なパーソナルコンピュータ等で構成されており、ビデオカメラ等によって撮影することによって得られる画像１６をカメラ挙動推定装置１０に入力することによって、入力された画像１６から撮影したカメラの挙動を推定したカメラ挙動推定結果１８を出力するものである。
【００２７】
本発明の実施の形態に係わるカメラ挙動推定装置１０は、コンピュータグラフィック（以下、ＣＧという）によって作成した画像と、カメラ等によって撮影した背景画像とを合成する処理を行うために、カメラによって撮影した背景画像におけるカメラの挙動を推定するものである。
【００２８】
また、本実施の形態に係わるカメラ挙動推定装置１０は、入力する画像データとして３つの画像データを少なくとも入力し、３つの画像データからカメラの回転及び移動を含むカメラの動きを推定すると共に、推定したカメラの動きと、画像データが表す画像の輝度変化に基づいて画像の奥行き情報を推定することによって、３次元によるカメラ挙動を推定する。
【００２９】
本発明の実施の形態に係わるカメラ挙動推定装置１０によるカメラ挙動の推定について説明する。
【００３０】
ところで、カメラの座標系は、図２に示すように、３次元座標Ｐ（Ｘ，Ｙ，Ｚ，１）Ｔをスクリーン平面１に投影したとき、その座標ｐ＝（ｘ、ｙ、１）Ｔは以下の式（１）で表される。なお、「Ｔ」は転置を表すものとする。
【００３１】
【数１】
2008008797.tif 000003
ここで、ｆはカメラの焦点距離とし、Ｍ をカメラ標準座標系での標準カメラマトリックスとする。この時、３次元座標系は始点を原点として、視線の方向とＺ軸方向が一致しているものとする。
【００３２】
次にカメラを３×３回転行列Ｒ’と平行移動ベクトルｔ’によりカメラを移動させる。ここで、ｔ’の各Ｘ，Ｙ，Ｚ軸方向への平行移動成分ｔ’１，ｔ’２，ｔ’３と定義する。この時、３次元座標Ｐ をスクリーン平面２に投影した時の座標ｐ’＝（ｘ’、ｙ’、１）とすると、ｐ’は以下の式で表される。
【００３３】
【数２】
2008008797.tif 000004
ここで、Ｄ をカメラ変換行列とし、ＭＤ を始点２でのカメラマトリックスとする。すなわち、動画背景の回転行列Ｒ’と平行移動ベクトルｔ’が分かれば、同等の変換をＣＧ物体に対して行うことで遠近感のあった合成が可能となる。
【００３４】
一方、回転行列Ｒ’は、カメラの回転量である角速度ωから求めることができ、ここで、角速度ωと回転行列Ｒの変換について説明する。
【００３５】
ωは回転成分ωｘ，ωｙ，ωｚからなるベクトルである。このωを任意軸とした回転行列Ｒを考えると、図３に示すように任意軸をｋと置くと、その回転の大きさθは以下の式で表される。なお、図３中のＸｏｌｄ軸，ｙｏｌｄ軸，ｚｏｌｄ軸は、回転前の座標軸を示し、Ｘｎｅｗ軸，Ｙｎｅｗ軸，Ｚｎｅｗ軸は、回転後の座標軸を示す。
【００３６】
【数３】
2008008797.tif 000005
また、任意軸ｋの各方向ベクトルは、以下の式で表される。
【００３７】
【数４】
2008008797.tif 000006
【００３８】
【数５】
2008008797.tif 000007
【００３９】
【数６】
2008008797.tif 000008
この時、任意軸ｋをθ回転させた回転行列Ｒは以下の式で求めることができる。
【００４０】
【数７】
2008008797.tif 000009
なお、Ｖθ＝１−Ｃθ、Ｓθ＝ｓｉｎθ、Ｃθ＝ｃｏｓθである。また逆に、回転行列Ｒの各成分から連立方程式により、角速度を求めることも可能である。
【００４１】
また、Ｘ，Ｙ，Ｚそれぞれの軸回転量をα，β，γとすると、各軸の回転行列は、以下のように表すことができる。
Ｘ軸回りの回転行列：
【００４２】
【数８】
2008008797.tif 000010
Ｙ軸回りの回転行列：
【００４３】
【数９】
2008008797.tif 000011
Ｚ軸回りの回転行列：
【００４４】
【数１０】
2008008797.tif 000012
３つの回転行列を掛け合わせることで、全ての回転を表現することが可能であり、全ての回転を表現する行列は以下のようになる。
【００４５】
【数１１】
2008008797.tif 000013
この時、式（７）と式（１１）は共に全ての回転を１つの回転行列Ｒで表しているため、等しい行列とみなすことができ、式（１１）の各成分からα，β，γは以下のように表すことができ、図４に示すように、回転行列Ｒから各軸回りの回転量α，β，γに分解したことになり、回転行列からオイラー角へ変換することができる。
【００４６】
【数１２】
2008008797.tif 000014
【００４７】
【数１３】
2008008797.tif 000015
【００４８】
【数１４】
2008008797.tif 000016
また、以下の式で示すように、回転量α，β，γを使用することで、回転行列Ｒへの復元も可能となる。
【００４９】
【数１５】
2008008797.tif 000017
なお、もし回転成分が発生しないと判明しているのであれば、γ＝０とすることで、回転成分を除去するこした回転行列Ｒθを作り出すことも可能となる。
【００５０】
本実施の形態に係わるカメラ挙動推定装置１０では、上述のカメラの回転に関するパラメータの他に、移動量ｔをカメラパラメータを求める。
【００５１】
本実施の形態で推定する移動量ｔは奥行きに対する相対値となるため、入力された画像の各フレーム毎に求まるｔのスケールを合わせる必要がある。
【００５２】
ここで、時刻ｔ，ｔ−１，ｔ＋１，ｔ＋２それぞれの画像を図５に示すように、Ｉｍｇ０，Ｉｍｇ１，Ｉｍｇ２，Ｉｍｇ３とし、それぞれの画像に射影した点ＰをＰ，Ｐ’，Ｐ’’，Ｐ’’’とする。
【００５３】
この時、Ｉｍｇ０上の点ＰとＩｍｇ２上の点Ｐ’’の関係は、以下の式で表すことができる。
【００５４】
【数１６】
2008008797.tif 000018
同様に、Ｉｍｇ２上の点Ｐ’’とＩｍｇ３上の点Ｐ’’’の関係は、以下の式で表すことができる。
【００５５】
【数１７】
2008008797.tif 000019
また、式（１７）と式（１６）から以下の式を導き出すことができる。
【００５６】
【数１８】
2008008797.tif 000020
ここで、式（１７）、式（１８）は等しくなるはずであるので、式（１８）を基準として、式（１７）のｔ＾’’（ｔ’’の推定値）の大きさを調整することで、移動成分のスケールを合わせることができる。すなわち、３つの画像から移動成分のスケールを求めることができる。
【００５７】
続いて、本発明の実施の形態に係わるカメラ挙動推定装置１０で行われるカメラ挙動推定処理について詳細に説明する。図６は、本発明の実施の形態に係わるカメラ挙動推定装置１０で行われるカメラ挙動推定処理の流れを示すフローチャートである。
【００５８】
まず始めに、ビデオカメラ等で撮影した動画をｄｔ間隔でサンプリングして、時系列順に並べた静止画の塊としてカメラ挙動推定装置１０に入力されると、ステップ１００では、画像ピラミッドが作成される。画像ピラミッドは、低解像度から高解像度までの複数の異なる解像度の画像の集合であり、隣り合う階層の画像は、高さ・幅の比は１：２となり、解像度比は１：４となる関係を持つ。本実施の形態に係わるカメラ挙動推定装置１０は、このような複数解像度の画像ピラミッドを用いて、カメラパラメータの推定を行う。
【００５９】
なお、画像ピラミッドは、解像度によって画像が持つ情報量が違っており、画像ピラミッドとすることで、詳細な情報から大まかな情報まで含まれていることになる。解像度を上げることは、より細かな特徴を含むことを意味する。本実施の形態に係わるカメラ挙動推定装置１０では、低解像度の画像から高解像度の画像へ順次推定を行っていくことで、カメラの挙動を推定する。
【００６０】
次に、ステップ１０２では、画像ピラミッドの注目階層について、３次元によるカメラ挙動（ｔ，ω）が推定される。カメラ挙動（ｔ，ω）の推定は以下のようにして行う。
【００６１】
時刻ｔの静止画における点ｐの輝度をＩ（ｘ，ｙ，ｚ）と定義し、次に、時刻ｔで座標ｐにあった点が時刻ｔ＋ｄｔではカメラの移動によりｐ’＝（ｘ’，ｙ’，１）＝（ｘ＋ｄｘ，ｙ＋ｄｙ，１）Ｔに移動したと仮定する。ここで、ｄｘ，ｄｙは２次元スクリーンでの移動量とする。移動後の点の輝度は定義によりＩ（ｘ＋ｄｘ，ｙ＋ｄｙ，ｔ＋ｄｔ）となる。
【００６２】
このとき、照明条件が変化せず、その物体の輝度が視点との角度によって変化しないと仮定すると、以下の式が成り立つ。
【００６３】
【数１９】
2008008797.tif 000021
上式の右辺に対して、テイラー級数展開を行うと、以下の式を得ることができる。
【００６４】
【数２０】
2008008797.tif 000022
なお、移動フローベクトルｕ＝ｄｘ／ｄｔ，ｖ＝ｄｙ／ｄｔとし、輝度のｘ軸方向、ｙ軸方向、時間軸ｔ方向への微分値をＩｘ，Ｉｙ、Ｉｔ’とする。
【００６５】
式（２０）は、ｕ，ｖは回転行列Ｒ，平行移動量ｔを含んでいないため、このままではカメラ挙動を推定できないので、カメラ移動情報ｔ’，ω’よりｕ，ｖを導出する。ここで、ω’は回転行列Ｒと同じ回転変換であり、ω’とＲ’は相互に変換可能であり、ω’は回転成分ω’１，ω’２，ω’３からなるベクトルであり、ω’はω’を回転軸として、｜ω’｜［ｒａｄ］回転する変換である。
【００６６】
上述の式（２）では背景が固定でカメラが移動したと仮定したが、以降ではカメラが固定で背景が移動する座標系を仮定する。
【００６７】
この時、３次元上の座標Ｐは瞬間速度ｔ’＋ω’×Ｐで移動する。よって瞬間速度の各Ｘ，Ｙ，Ｚ成分はそれぞれ以下に示すようになる。
【００６８】
【数２１】
2008008797.tif 000023
次に、３次元空間上の点Ｐをスクリーン平面に投影した時の座標ｐは上述の式（２）から以下に示すようになる。
【００６９】
【数２２】
2008008797.tif 000024
ただし、ｆ＝１とする。ここで、式（２２）をｄｔで微分すると、
【００７０】
【数２３】
2008008797.tif 000025
【００７１】
【数２４】
2008008797.tif 000026
となる。
【００７２】
一方、全ての点における奥行き情報（奥行き情報の求め方は後述）とカメラの動きが与えられた時、例えば、図７に示すように、ＩｍｇＢをＩｍｇＡの空間へ変形することができ、各画素に対するＩｍｇＢからＩｍｇＡの空間への移動については、式（２３）、（２４）から以下で求めることができる。
【００７３】
【数２５】
2008008797.tif 000027
【００７４】
【数２６】
2008008797.tif 000028
ここで、式（２０）に式（２５）、式（２６）を代入すると、
【００７５】
【数２７】
2008008797.tif 000029
を得る。なお、
【００７６】
【数２８】
2008008797.tif 000030
と定義する。
【００７７】
Ｉｘ，Ｉｙ，Ｉ’ｔは画像より計算できるがｋは深さ情報を含むため、ここまでの処理では直接計算できない。そこで、以下のようにしてｋの項を消去する。式（２７）は、時刻ｔと時刻ｔ＋ｄｔの画像より導き出した。同様に、時刻ｔ＋２ｄｔに関しても導出すると、
【００７８】
【数２９】
2008008797.tif 000031
を得る。ここで、ｔ’’、ω’’は時刻ｔから時刻ｔ＋２ｄｔになったときのカメラ移動情報である。Ｉ’’ｔは時刻ｔから時刻ｔ＋２ｄｔの時間軸方向の微分である。
【００７９】
次に式（２７）と式（２８）の両辺にそれぞれｓ’Ｔｔ’，ｓ’’Ｔｔ’’をそれぞれかけひくと、以下の式を求めることができる。
【００８０】
【数３０】
2008008797.tif 000032
式（３０）は、Ｉ’’ｔ，Ｉ’ｔ，ｓ，ｑを係数とし、ｔ’，ｔ’’，ω’，ω’’をパラメータとするテンソル方程式となる。各係数は画像の各ピクセル毎に計算できるので、ｗ，ｈを画像の幅と高さとすると、ｗｈ個の関係式を得ることができ、ｗｈ個の式を連立することにより、ｔ’，ｔ’’，ω’，ω’’を求める。求めたｔ’，ｔ’’，ω’，ω’’より回転行列Ｒ’、平行移動ベクトルｔ’を計算することで、背景とＣＧを合成ことが可能となる。
【００８１】
また、式（３０）はパラメータ数が１２で、方程式の数がｗｈ（例えば、６４０×４８０＝約３０万）である。連立方程式を最小２乗法により解く場合、方程式数がパラメータに比べて多いため、ノイズによる影響が吸収され安定した解を得ることができる。
【００８２】
本実施の形態では、次のようにしてパラメータを求めた。まず、式（３０）の［ｔ’ｗ’’Ｔ−ｔ’’ｗ’Ｔ］を３×３行列Ｂとし、まずｔ’，ｔ’’，Ｂをパラメータとする連立方程式を解く。この変換をすることで、連立線形方程式の解法を利用することができる。ｔ’，ｔ’’，Ｂが求まった後、ω’，ω’’をパラメータとする連立方程式
【００８３】
【数３１】
2008008797.tif 000033
により、ω’，ω’’を求める。これによって、カメラの動きを求めることができる。
【００８４】
また、このようにｔ’，ｔ’’，ω’，ω’’が求まった後に、式（２８）と式（２９）を用いて、全画素における奥行き情報を推定する。本実施の形態では、以下のような評価関数からＥを最小とするｋを画素における奥行き情報とする。
【００８５】
【数３２】
2008008797.tif 000034
ここで、ｊ＝１，２は「’」、「’’」と同義であり画像間で得られるパラメータを意味する。
【００８６】
画像輝度の勾配が０付近（ｓＴｔｊが０付近）では、ｋの推定精度が悪くなってしまう恐れがる。この問題を解決するために、本実施の形態では、近傍領域の画素を使用する。その近傍領域Ｒにおいて奥行き情報は一定であると仮定し、次のような評価関数を最小とするようなｋを奥行き情報に用いた。
【００８７】
【数３３】
2008008797.tif 000035
ここで、β（ｘ，ｙ）は、近傍領域の画素と中心画素との距離における重みを表す関数であり、本実施の形態では、ガウス分布とし、中心画素と近傍領域の画素との距離に応じて定めた重み係数を中心から離れるほど小さい値とした。｜ｓＴｔｊ｜ｐは、輝度変換の勾配が少ない画素の重みを減らすための項である。これらの項を追加した評価関数を最小とするときのｋを画素における奥行き情報とした。これによって、奥行き情報を考慮したカメラの挙動を推定することができる。
【００８８】
このようにして３次元によるカメラ挙動が推定されると、次にステップ１０４では、推定精度が十分か否か判定される。すなわち、角速度ω、平行移動量ｔ、及び奥行き情報を推定してきたが、これらは一度の推定で正確な値が求まるものではないので、推定したカメラ挙動が十分な精度か否かを判定する必要がある。
【００８９】
そこで、本実施の形態では、推定したカメラ挙動を用いて画像を変形させて前の画像と一致するか否かを判定する。更に詳細には、推定精度を向上するために以下の（１）〜（４）の処理を繰り返し行う繰り返し処理を行うことで、最適なカメラ挙動の推定を行う。
（１）上述のカメラ挙動（ｔ’，ｔ’’，ω’，ω’’）の推定
（２）奥行き情報ｋの推定
（３）評価関数ＣａｌｃＩｔからＥｒｒ値を算出
（４）収束判定
ここで、該繰り返し処理の具体的な処理について説明する。ここでΨ１〜Ψ３は入力となる３つの画像を指し、ｋ＾，ｔ＾ｊ，ω＾ｊは、前回の繰り返し処理によって得られた推定値である（ｊは「’」、「’’」と同義）。カメラ挙動の移動要素ｕ＾ｊｔ，ｖ＾ｊｔと回転要素ｕ＾ｊｒ，ｖ＾ｊｒから、ｋ＾，ｔ＾，ω＾を計算することができる。
この時、カメラ挙動を使用して変形した画像をΨ＾２，Ψ＾３とし、変形後の画像は、以下の輝度拘束式を満足する。
【００９０】
【数３４】
2008008797.tif 000036
ここで、各画素の微分値は以下によって求められる。
【００９１】
【数３５】
2008008797.tif 000037
また、分かっていない値ｄｕｊ，ｄｖｊは計算したカメラの動きと真値となるカメラの動きとの差を意味する。すなわち、以下に示すようになり、
【００９２】
【数３６】
2008008797.tif 000038
ここで、
【００９３】
【数３７】
2008008797.tif 000039
とすると、以下のように書き換えることが可能である。
【００９４】
【数３８】
2008008797.tif 000040
式（３４）に式（３６）と式（３７）を代入すると以下に示す式となる。
【００９５】
【数３９】
2008008797.tif 000041
また、式（３９）に式（２５）と式（２６）を代入すると、修正された式（２７）と式（２９）を得ることができる。
【００９６】
【数４０】
2008008797.tif 000042
そして、上述したようにカメラ挙動を求めればよい。これを繰り返し行い、最急降下法で最適値を得ることができる。
【００９７】
繰り返し処理の初期値には、ピラミッド画像が最小解像度の場合、ｋ＾，ｔ＾ｊ，ω＾ｊそれぞれ０を代入し、最小ではない場債は全階層における繰り返し処理の収束値を初期値として使用する。
【００９８】
全ての点における奥行き情報とカメラ挙動（角速度ω、平行移動量ｔ）が求まると、図７のように、ＩｍｇＢをＩｍｇＡの空間へ変形することができる。なお、図７（Ｂ），（Ｃ）中のＩ’ｏｌｄはＩｍｇＢを変形する前の元の画像を意味し、Ｉ’ｎｅｗはＩｍｇＢをＩｍｇＡの時間へ変形された後の画像を意味する。各画素に対するＩｍｇＢからＩｍｇＡの空間への移動については、式（２３）、式（２４）から以下のように求めることができる。
【００９９】
【数４１】
2008008797.tif 000043
【０１００】
【数４２】
2008008797.tif 000044
各画素の移動完了後、図７（Ｃ）に示すＩ’ｎｅｗがＩ’ｏｌｄの領域内に含まれるかの判別は以下のようにして行う。
【０１０１】
【数４３】
2008008797.tif 000045
ｘｏｌｄとｙｏｌｄの値は、整数値ではないため、Ｉ’ｏｌｄの近傍の画素から補間をすることによって求める必要がある。本実施の形態では、Ｌａｎｃｚｏｓフィルタによる重みを使用して、Ｉ’ｏｌｄを中心画素とした、距離が３となる６×６画素間で補間を行った。
【０１０２】
図８（Ａ）にＬａｎｃｚｏｓフィルタの重み分布を示し、図８（Ｂ）に（ｘｏｌｄ，ｙｏｌｄ）と近傍画素の距離の重みと画素を掛け合わせ、３６近傍の畳み込みから、Ｉ’ｎｅｗ（ｘ，ｙ）を求めるイメージ図を示す。
【０１０３】
Ｌａｎｘｚｏｓフィルタは以下のように定義できる。
【０１０４】
【数４４】
2008008797.tif 000046
【０１０５】
【数４５】
2008008797.tif 000047
｜ｘ｜＜３は、中心画素からの距離が３（Ｌ＝３）以内である範囲を意味し、この範囲内における画素の重みを得ることができる。
【０１０６】
このとき、補間したい中心画素は、以下のような畳み込みによって求めることができる。
【０１０７】
【数４６】
2008008797.tif 000048
ここで、
【０１０８】
【数４７】
2008008797.tif 000049
【０１０９】
【数４８】
2008008797.tif 000050
である。
【０１１０】
図７（Ｃ）の２つの画像が重なった部分（斜線部）における、ＩｍｇＡとＩ’ｎｅｗの一致度であるＥｒｒ値を導入する。
【０１１１】
【数４９】
2008008797.tif 000051
式（１９）から２画像の対応する点の輝度が変化しないとすると、Ｅｒｒ＝０となる。以後、２画像間で画像を変形して、Ｅｒｒ値を求め、この関数をＣａｌｃＩｔと定義し、評価関数として使用する。
【０１１２】
このような繰り返し処理によって正確なカメラ挙動を推定することは、最適化問題と言える。最適化問題とは、”ある評価関数を最大（小）にする解を求める”と定義することができ、本実施の形態では、上述のＣａｌｃＩｔを評価関数とした。評価巻数ＣａｌｃＩｔは非線形関数であり、制約条件が存在しないため、最急降下法のアルゴリズムを利用して非線形問題の最適解を求めることができる。
【０１１３】
評価巻数ＣａｌｃＩｔから得られるＥｒｒ値の微分係数（勾配）を求め、Ｅｒｒ値が最小となった場合を収束と見なし、ステップ１０４が肯定される。
【０１１４】
本実施の形態では、時刻ｔにおいて、ｔ−１，ｔ，ｔ＋１の３枚の画像から最適なカメラ挙動を推定するため、評価関数によって得られたＥｒｒ値をＥｒｒ１，Ｅｒｒ２とすると、双方向の最急降下法となる（図９（Ａ））。両方の勾配ｆ’が増加傾向になった場合、その１つ前のカメラ挙動を最適値とすることができる。
【０１１５】
最急降下法による最適化の問題として、ローカルミニマムが上げられる。ローカルミニマムとは、一時的な小さな谷の極小値のことを示す。例えば、図９（Ｂ）では連続した３枚の画像からえら得れる２つのパラメータは、大きな差がないものと仮定すると、
【０１１６】
【数５０】
2008008797.tif 000052
とすることができる。
【０１１７】
ここで、評価関数ＣａｌｃＩｔを使用すると、ローカルミニマムとなった場合、
【０１１８】
【数５１】
2008008797.tif 000053
となる。この場合、推定値ω＾１を−ω＾２にすることで、ローカルミニマムを超えることが可能となる（図９（Ｃ））。なお、Ｅｒｒ２のローカルミニマムも同様の手順で比較すればよい。
【０１１９】
このようにして３次元によるカメラ挙動が推定されると、続いてステップ１０６では、画像内の移動物体が検出される。すなわち、画像内の移動物体によってカメラ挙動の推定精度が低下するので計算対象外とするために画像内の移動物体を検出する。本実施の形態では、画像内の移動物体の検出は以下のようにして行う。
【０１２０】
背景画像に移動物体（例えば、人や車など）が含まれる場合、その物体はカメラと違った動きをするため解析誤差の原因となり得る。また、画像の局所的な輝度変化や、視点移動によって生じるオクルージョン、評価関数ＣａｌｃＩｔに悪影響を及ぼす恐れがある。そのような点を、マスキング（計算対象外）する。
【０１２１】
本実施の形態では、式（１９）が成り立つと仮定したので、上記のような問題が含まれるとすれば、その画素において、
【０１２２】
【数５２】
2008008797.tif 000054
となり、輝度差が生じるものと仮定する。
【０１２３】
この時、時刻ｔにおける前後の画像を変形させて、時刻ｔを中心とした３つの画像を準備する。時刻ｔ−１の画像を時刻ｔに変形した画像をΩ＾１（推定画像）、時刻ｔの画像をΩ２、時刻ｔ＋１の画像を時刻ｔへ変形した画像をΩ＾３（推定画像）とした。
【０１２４】
このとき、３つの画像の差分をとることにより、移動物体の検出を行う。もし、移動物体でない場合は、式（１９）となるため、差分値は０（もしくは０に近い値）となり、移動物体が含まれる場合の差分値は式（５２）にあるように、何らかの数値を持つことになる。３つの差分画像をＤｉｆＩｍｇとすると、
【０１２５】
【数５３】
2008008797.tif 000055
で求めることができる。
【０１２６】
作成した差分画像にメディアンフィルタを使用して、数値レベルでのフィルタリングを行った後、２値化を行う。
【０１２７】
【数５４】
2008008797.tif 000056
なお、ＭａｓｋＩｍｇの１は計算対象、０は計算対象外を意味する。
【０１２８】
次に、２値化されたマスク画像のノイズ除去を行う。計算対象である画素を中心とした３×３画素にメディアンフィルタを使用する。繰り返し処理の収束条件として、マスク領域の変化量を考える。マスク領域の変化量が、閾値以下となった場合、収束と見なして繰り返し処理を終了する。
【０１２９】
最後に、最適化されたマスク画像を次の階層サイズへ拡大し、次の階層での計算時に、マスク画像を合わせることで、移動物体のマスクキングが可能となる。
【０１３０】
一方、上述のように推定精度が評価されて画像内の移動物体が計算対象外に設定されると、ステップ１０８へ移行して、画像ピラミッドの全階層について上記各ステップが行われたか否か判定され、該判定が否定された場合にはステップ１１０へ移行して、画像ピラミッドの注目階層が１つ上げられてステップ１０２に戻って、画像ピラミッドの全階層について上記各ステップが行われて、ステップ１０８の判定が肯定されたところでステップ１１２へ移行する。
【０１３１】
ステップ１１２では、焦点距離ｆが推定される。ここで、焦点距離ｆの推定方法の一例について説明する。
【０１３２】
第１画像の点（ｘ，ｙ）が第２画像の点（ｘ’，ｙ’）に対応するとき、次のエピ極線方程式が成り立つ。
【０１３３】
【数５５】
2008008797.tif 000057
ただし、ベクトルａ，ｂの内積を（ａ，ｂ）と記し、次のように置いた。
【０１３４】
【数５６】
2008008797.tif 000058
式（５５）中のＦはランク２の行列であり、基礎行列と呼ばれている（Hartley,R.and Zisserman,A.:Multipke View Geometry in Computer Vision,Cambridge University Press,Cambridge,U.K(2000)参照）。式（５６）中のｆ０は数値計算を安定にするための任意のスケール因子であり、例えば、画像の大きさ（単位は画素）をとる。
【０１３５】
２画像間の特徴点の対応｛ｘα｝，｛ｘ’α｝，α＝１，・・・，Ｎが与えられれば、誤差の統計モデルに基づいて（ｘα，Ｆｘα）は０にほぼ等しく、αは１，・・・、Ｎとなる最適な基礎行列Ｆを計算する方法が知られている。計算した基礎行列Ｆからそれぞれの画像を撮影したカメラの焦点距離ｆ、ｆ’を計算する。まず次のようにｆ，ｆ’からξ，ηに変数変換する。
【０１３６】
【数５７】
2008008797.tif 000059
そして、次の４次多項式Ｋ（ξ，η）を定義する。
【０１３７】
【数５８】
2008008797.tif 000060
なお、未知数ξ，ηは次の条件から定まる。
【０１３８】
【数５９】
2008008797.tif 000061
上式は２個の未知数ξ，ηに対する３個の等式であり、条件が過剰であるように見えるが、詳しく調べてみると、その３式は互いに代数的に従属であり、２個のみが独立である。幾何学的には式（５９）は関数Ｋ（ξ，η）がξη平面に接する曲線を表し、Ｋ（ξ，η）がξη平面に接する曲面を表し、Ｋ（ξ，η）の最小値０を与える接点が解であることを意味する。
【０１３９】
Ｋ（ξ，η）は４次多項式であるから、解はニュートン法によって数値的に簡単に求まり、解析的な公式もいろいろ知られている。本実施の形態では、一例として以下の式を用いる（金谷健一，松永力，基礎行列の分解：焦点距離の直接的表現，情報処理学会研究報告，2000-CVIM-120-7(2000-1),49-56）。
【０１４０】
【数６０】
2008008797.tif 000062
ここで、ｅ，ｅ’はそれぞれＦＦＴ，ＦＴＦの固有値０の単位固有ベクトルであり、それぞれの画像のエピ極点を表す（ｅは第１カメラから見た第２カメラのレンズ中心を示すベクトル、ｅ’は第２カメラから見た第１カメラのレンズ中心を指すベクトルである）。
【０１４１】
式（６０）から分かるように、注視画像では（ｋ，Ｆｋ）＝０であるから、注視画像では計算が破綻するが、注視画像でなければ、式（５７）より焦点距離ｆ，ｆ’を次のように求めることができる。
【０１４２】
【数６１】
2008008797.tif 000063
なお、基礎行列Ｆの精度が不足すると分母の平方根の中身（どちらか或いは両方）が負になることがあり、焦点距離が虚数となる。
【０１４３】
一方、以上のようにして焦点距離ｆが推定されると、続いてステップ１１４では、推定したカメラ挙動の補正が行われる。
【０１４４】
推定したカメラ挙動の補正は、まずカメラの回転成分であるωｚの補正と、カメラの視中心移動パラメータであるωｘ，ｙの補正を行った後に、解析ノイズの除去を行う。
【０１４５】
まず、カメラの回転成分の補正方法について説明する。上述した繰り返し処理で得られた回転成分の角速度をω＾ｚとする。このとき、ω＾ｚを中心として、Δωｚ〜Δωｚを１１分割するようにωｚ（ｋ）をサンプリングする。本実施の形態では、サンプリング間隔Δω＝０．００２とした。
【０１４６】
現在の時刻における画像をΩｏｒｇ、回転させる前の画像をΩｏｌｄとすると、サンプリングしたωｚだけ画像を回転させ、それぞれについて上述のＥｒｒ値を計算する。
【０１４７】
【数６２】
2008008797.tif 000064
ここで、Ｒｏｔａｔｅ（ω，Ｉｍｇ）は、Ｉｍｇをωだけ回転させることを意味する。このとき、サンプリングした回転成分毎に画像を回転させ、Ｅｒｒを最小とするようなωｚ（ｋ）を最適値とする。
【０１４８】
【数６３】
2008008797.tif 000065
これを階層的に繰り返して行うことで、回転成分の補正を行う。
【０１４９】
次にカメラの視中心移動パラメータの補正方法について説明する。まず始めに（Ａ）近傍角速度のサンプリングを行い、（Ｂ）各サンプリングデータのＥｒｒ値を算出し、（Ｃ）Ｅｒｒ値を最小にする角速度を選択する。
【０１５０】
以上の（Ａ）〜（Ｃ）の流れをサンプリング間隔を狭めながら繰り返すことで、視中心移動パラメータであるωｘ，ｙの補正を行う。
【０１５１】
近傍角速度のサンプリングでは、収束した値を中心とした８近傍の角速度サンプリングを行う。ｘ，ｙ方向の角速度のサンプリングは以下の通りである。
【０１５２】
【数６４】
2008008797.tif 000066
【０１５３】
【数６５】
2008008797.tif 000067
ここで、δωｘ，δωｙは各区方向に対するサンプリングの間隔を意味する。
【０１５４】
各サンプリングデータのＥｒｒ値算出では、サンプリングした角速度から評価関数ＣａｌｃＩｔを使用して、２画像間の一致度を計算する。
【０１５５】
【数６６】
2008008797.tif 000068
そして、Ｅｒｒ値を最小にする角速度選択では、２画像間で最も一致している角速度を選択し、補正した推定値とする。
【０１５６】
【数６７】
2008008797.tif 000069
最後に５階層未満の場合、ω＾（ωｘ，ωｙ）を中心として、サンプリング間隔をΔω／２として近傍角速度のサンプリングに戻る。
【０１５７】
上記の（Ａ）〜（Ｃ）を繰り返すことによって、ω＾ｘ，ｙの推定値の補正を行うことができる。
【０１５８】
次に解析ノイズの除去について説明する。解析ノイズの除去は、複数のモデルを使用して行う。
【０１５９】
本実施の形態では、移動平均（MovingAberage:MA）、カルマンフィルタ（KalmanFilter:KF），拡張カルマンフィルタ（ExtendedKalmanFilter:EKF），及びフーリエ変換による高周波成分除去（Fourier）の４種類の方法をそれぞれモデルを用いて解析ノイズを除去する。なお、４種類のモデルは一般的なものであるため詳細な説明は省略する。
【０１６０】
４種類の各モデルは個々の特性があり、各フレームで最適な値を選択する必要がある。ここで、本実施の形態では、上述の評価関数ＣａｌｃＩｔを使用して、画像の一致度を表すＥｒｒ値を求める。
【０１６１】
【数６８】
2008008797.tif 000070
ここで、（model=normal,MA,KF,EKF,Fourier）であり、ｔは時間を表す。
【０１６２】
評価関数ＣａｌｃＩｔを最小とする、つまり２画像が最も一致するような角速度ωｍｏｄｅｌを最適値とすることによって解析ノイズを除去する。
【０１６３】
【数６９】
2008008797.tif 000071
このように全フレームで最適な角速度を求めることで、推定誤差を最適に補正することができる。
【０１６４】
また、このように推定したカメラ挙度の補正が行われると、次にステップ１１６ではカメラ挙動が仮想空間の移動量へ変換される。
【０１６５】
すなわち、上述のようして推定したカメラ挙動（ｔ、ω）を上述した式（７）を用いて回転行列Ｒに変換し、該回転行列Ｒから式（１１）〜（１４）を用いてオイラー角へ変換すると共に、推定した奥行き情報及び式（１７）、（１８）を用いて平行移動量ｔのスケールを合わせてカメラ挙動を出力する。これによって撮影画像とＣＧ画像とを遠近感を合わせて違和感なく合成することができる。
【０１６６】
なお、カメラ挙動としては、オイラー角α、β、γと平行移動量ｔの他に推定したカメラ挙動（ｔ、ω）から視点の動き（並進）、視中心の動き（横方向や縦方向）、カメラの上向き（ロール）、画角（焦点距離の動き）等をカメラ挙動として算出して出力するようにしてもよい。
【０１６７】
このように本実施の形態に係わるカメラ挙動推定装置１０で行われるカメラ挙動推定処理では、従来技術のように、撮影時に環境を測定したり、大きさが既知の形状の物を置いて撮影したり、所定の位置関係を満たす３点の位置から撮影したりするなどの撮影時の制約条件を必要とせずに、カメラの挙動を推定することができるので、カメラの挙動推定を容易に行うことができる。
【０１６８】
また、このようにカメラ挙動を推定することで、本実施の形態では、カメラ挙動（ｔ、ω）を推定する共に、全画素における奥行き情報を推定するので、背景画像とＣＧ画像を合成する際に、遠近感等の違和感がない合成画像を作成することができる。
【図面の簡単な説明】
【０１６９】
【図１】本発明の実施の形態に係わるカメラ挙動推定装置の概略を説明するための図である。
【図２】カメラ座標を示す図である。
【図３】カメラ挙動の任意軸回りの回転を説明するための図である。
【図４】オイラー角による回転を示す図である。
【図５】移動量のスケール合わせを説明するための図である。
【図６】本発明の実施の形態に係わるカメラ挙動推定装置１０で行われるカメラ挙動推定処理の流れを示すフローチャートである。
【図７】（Ａ）は時刻ｔにおける画像（ＩｍｇＡ）を示す図であり、（Ｂ）は時刻ｔ＋１における画像（ＩｍｇＢ（＝Ｉ’ｏｌｄ））を示す図であり、（Ｃ）はＩ’ｏｌｄをーｔ，ーωだけ変形（Ｉ’ｎｅｗ）した画像を示す図である。
【図８】（Ａ）はＬａｎｃｚｏｓフィルタの重み分布を示す図であり、（Ｂ）は（ｘｏｌｄ，ｙｏｌｄ）と近傍画素の距離の重みと画素を掛け合わせ、３６近傍の畳み込みから、Ｉ’ｎｅｗ（ｘ，ｙ）を求めるイメージ図である。
【図９】最急降下法を説明するための図である。
【符号の説明】
【０１７０】
１０    カメラ挙動推定装置
１６    画像
１８    カメラ挙動推定結果
【図１】
2008008797.tif 000072
【図２】
2008008797.tif 000073
【図３】
2008008797.tif 000074
【図４】
2008008797.tif 000075
【図５】
2008008797.tif 000076
【図６】
2008008797.tif 000077
【図７】
2008008797.tif 000078
【図８】
2008008797.tif 000079
【図９】
2008008797.tif 000080