(57)【要約】【課題】  撮影者が移動しながら撮影した動画像の画像揺れを、大掛かりな設備を使用せずに、画像処理で補正する。【解決手段】  動画像から各時刻でのパラメータ値を求めるパラメータ抽出手段と、各時刻でのそのパラメータ値を統計処理して各時刻での理想パラメータ値を計算する理想パラメータ計算手段と、実際のパラメータ値と理想パラメータ値に基づき、補正量を計算する補正量計算手段とから構成する。【選択図】  図１
2010016548.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置の位置または撮影方向を変化させて撮影した画像から各時刻でのパラメータ値を求めるパラメータ抽出手段と、前記パラメータ抽出手段で求めた各時刻でのパラメータ値を統計処理し、各時刻での理想パラメータ値を計算する理想パラメータ計算手段と、前記パラメータ抽出手段で求められた実際のパラメータ値と前記理想パラメータ計算手段で計算された理想パラメータ値に基づき、補正量を計算する補正量計算手段とを備え、その補正量に基づいて画像列を補正することを特徴とする動画像処理装置。
【請求項２】
前記パラメータ抽出手段で求めるパラメータとは、特定の点の座標であることを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記パラメータ抽出手段で求めるパラメータとは、各時刻での撮影装置の変化量であることを特徴とする請求項１に記載の動画像処理装置。
【請求項４】
前記撮影装置の変化量とは、撮影装置の回転角であることを特徴とする請求項１に記載の動画像処理装置。
【請求項５】
撮影装置の位置または撮影方向を変化させて撮影した画像から各時刻での撮影装置の回転角を求める回転角抽出手段と、前記回転角抽出手段で求めた各時刻での回転角を統計処理し、各時刻での理想回転角を計算する理想回転角計算手段と、前記回転角抽出手段で求めた回転角から計算される実際の回転角と前記理想回転角計算手段で計算された理想回転角に基づき、補正回転量を計算する補正回転量計算手段とを備え、その補正量に基づいて、画像列を補正する手段と、さらに各時刻での特定の点の座標値を求める移動座標抽出手段と、前記移動座標抽出手段で求めた各時刻での移動座標値を統計処理し、各時刻での理想移動座標値を計算する理想移動座標計算手段と、前記移動座標抽出手段で求められた実際の移動座標と前記理想移動座標計算手段で計算された理想移動座標値に基づき、画像を切り出す量を計算する切り出し量計算手段とを備えると共に、その補正切り出し量に基づいて、画像列を補正する手段とを備えることを特徴とする動画像処理装置。
【請求項６】
前記パラメータ抽出手段で求めるパラメータである特定の点の座標が、画像中で決められた領域から外れた際には、新たな特定の点に変更することを特徴とする請求項２に記載の動画像処理装置。
【請求項７】
更に、変化量計算手段と理想変化量計算手段を備え、前記理想変化量計算手段は、変化量計算手段で計算された前記各時刻での変化量から、各時刻における、ある基準値からの変化の累積を計算し、その結果を統計処理する統計処理手段とから構成されることを特徴とする請求項３に記載の動画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画像揺れを補正する動画像処理装置及び、動画像処理方法に関わり、特にカメラ一体型VTRを用いて撮影者が歩行等移動しながら撮影した画像や、またロボットの遠隔操作のために、操作者のディスプレイに表示する、ロボットに取りつけられた撮影装置からの画像や、自律的に動くロボットに取りつけられた撮影装置で撮影された画像等、移動撮影された動画像の画像揺れによる不快感をなくすための動画像処理装置及び、動画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラ一体型ビデオ等を用いた動画像撮影における、手振れによる画像の振動を防ぐ防振技術として特許文献１に示されているように、出力画像よりも大きな画像で入力した画像をメモリに一時保持し、手振れによって生じた動きベクトルの大きさに基づいてそのメモリから出力画像を切り出す処理を各フレーム毎に行う、手振れ補正技術がある。
【０００３】
また、映画や各種スポーツ競技における移動撮影においては、平行に架設した2本のレールの上を移動する台車に撮影装置を搭載して撮影を行っている。また、特許文献２のように移動撮影において撮影者の挙動が撮影装置に伝わらないようにするための撮影用クレーンや特許文献２のように撮影装置を搭載した移動台をワイヤを使用して移動させるものがある。
【０００４】
さらに、移動撮影された動画像の不快感を、画像処理を用いて、軽減する方法として、“Recovery of Ego-Motion Using Image Stabilization"(M.Irani etc,CVPR-94,June)に述べられているように、時間的に連続する画像を処理して、撮影装置の並進・回転の移動パラメータを求め、その中の回転パラメータのみを使用して、最初に撮影された画像と同じ向きになるように各画像を変換させて、画像の振動を補正する方法がある。
【特許文献１】特開平３−２８０４０６号公報
【特許文献２】特開平５−１６１０３７号公報
【特許文献３】特開平７−３２５３３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮影者が移動しながら撮影した画像は、撮影装置の位置または撮影方向が変化することにより、画像揺れがあり、そのまま観察すると不快感が生じる。この不快感を無くすために、上記示したような、移動撮影時の画像揺れを防止するための方法には、以下のようにそれぞれ問題がある。
【０００６】
特許文献１で示される方法は、時間的に連続する画像のうち時間的に前の画像を基準とし、後の画像の移動量を動きベクトルとして求め、その動きベクトル分メモリの読み出し位置を変更して、前の画像と後の画像を見た目上同じ画像にする。そして続いて、その切り出した画像と次の時刻の画像の移動ベクトルを求め、それに基づいて画像を切り出す、ということを繰り返すものであり、撮影者が静止し撮影装置がある位置を基準に上下左右に微小に揺れている状況での撮影には有効である。しかしながら、移動撮影はそのような状況ではなく、画像中の物体は撮影者の進行方向を中心として上下左右に徐々に移動していく。つまり、最初画像中心にある被写体は、撮影者がその被写体に向かって移動すれば、徐々に画像中で大きくなるし、また移動方向が被写体の方向と異なれば、徐々に画像中心から外れていくことになる。このような画像列では最初の画像と同じ領域が徐々に減少するので、同じ領域を切り出すことは不可能になる。
【０００７】
また、レールやワイヤを架設したり、クレーンを使用するというのは、設備として大掛かりになるという問題がある。
【０００８】
また、“Recovery of Ego-Motion Using Image Stabilization"の論文による方法では、動画像を補正する際に、最初に撮影された画像の向きに各画像を変換するので、進行方向が直進でなく、曲がりながら撮影している時等徐々に移動方向が変化している時、またパンやチルトなど撮影装置を回転させて撮影しているときなどは変換後の画像が所望のものと異なるという問題があった。
【０００９】
さらに、この方法では並進成分を完全に分離した回転成分のみの変換のため、並進による画像揺れを補正出来ないという問題があった。そのため、この論文には、処理の最後にローバスフィルタをかけているという説明がある。
【００１０】
このように、従来においては、移動撮影において、大きな設備を必要としないで、画像振れを補正する方法が示されていない。そこで本発明の目的は、大きな設備を必要とせずに、画像処理によって、移動撮影時の画像揺れを補正する動画像処理装置及び方法を提供することである。
【課題を解決するための手段】
【００１１】
前記目的を実現するために、
本出願に係る第1の発明の動画像処理装置は、
撮影装置の位置または撮影方向を変化させて撮影した画像から各時刻でのパラメータ値を求めるパラメータ抽出手段と、前記パラメータ抽出手段で求めた各時刻でのパラメータ値を統計処理し、各時刻での理想パラメータ値を計算する理想パラメータ計算手段と、前記理想パラメータ計算手段で計算された理想パラメータ値に基づき、補正量を計算する補正量計算手段とから構成され、その補正量に基づいて、画像列を補正することを特徴とする動画像処理装置である。
【００１２】
本出願に係る第２の発明の動画像処理装置は、
第1の発明において、パラメータ抽出手段で求めるパラメータが、特定の点の座標であることを特徴とする動画像処理装置である。
【００１３】
本出願に係る第３の発明の動画像処理装置は、
第１項の発明において、パラメータ抽出手段で求めるパラメータが、各時刻での撮影装置の変化量であることを特徴とする動画像処理装置である。
【００１４】
本出願に係る第４の発明の動画像処理装置は、
第３の発明において、変化量とは、撮影装置の回転角であることを特徴とする動画像処理装置である。
【００１５】
本出願に係る第５の発明の動画像処理装置は、
撮影装置の位置または撮影方向を変化させて撮影した画像から各時刻での撮影装置の回転角を求める回転角抽出手段と、前記回転角抽出手段で求めた各時刻での回転角を統計処理し、各時刻での理想回転角を計算する理想回転角計算手段と、前記理想回転角計算手段で計算された理想回転角に基づき、補正回転量を計算する補正回転量計算手段とを備え、その補正量に基づいて、画像列を補正する手段と、さらに各時刻での特定の点の座標値を求める移動座標抽出手段と、前記移動座標抽出手段で求めた各時刻での移動座標値を統計処理し、各時刻での理想移動座標値を計算する理想移動座標計算手段と、前記理想移動座標計算手段で計算された理想移動座標値に基づき、画像を切り出す量を計算する切り出し量計算手段とを備えると共に、その補正切り出し量に基づいて、画像列を補正する手段とから構成される動画像処理装置である。
【００１６】
本出願に係る第６の発明の動画像処理装置は、
第2の発明において、パラメータ抽出手段で求めるパラメータである特定の点の座標が、画像中で決められた領域から外れた際には、新たな特定の点に変更することを特徴とする動画像処理装置である。
【００１７】
本出願に係る第７の発明の動画像処理装置は、
第３の発明において、
更に、変化量計算手段と理想変化量計算手段を備え、前記理想理想変化量変化量計算手段は、変化量計算手段で計算された前記各時刻での変化量から、各時刻における、ある基準値からの変化の累積を計算し、その結果を統計処理する統計処理手段とから構成されることを特徴とする動画像処理装置である。
【００１８】
撮影者の移動により、撮影装置の位置または撮影方向が変化して撮影された画像の画像揺れを補正するために、まずパラメータ抽出手段は、各時刻で撮影された画像から各時刻でのパラメータ値を求める。このパラメータは、１つは画像中の特定の点の座標であり、1つは各時刻での撮影装置の変化量である撮影装置の回転角である。このパラメータを画像中の特定の点の座標としたときには、各時刻の画像中で特定の点の座標（水平・垂直方向）がなめらかに変化するように、理想パラメータ計算手段で、各時刻の画像中での特定の点の理想的な座標を求める。そして、補正量計算手段で、各時刻の画像中で特定の点の実際の座標と、理想パラメータ計算手段で求めた理想的な座標とから、補正量を計算し、その補正量に基づいて、メモリから画像を切り出し画像揺れのない補正された画像列を作成する。なお、撮影者の移動により、画像中の特定の点が画像中で徐々に移動していき、その点の座標が画像中のある範囲から外れた場合は、特定の点を新たな点に変更することで対応する。このように、画像を観察する際に、この特定の点が滑らかに変化していくことで、画像揺れによる不快感をなくすことが出来る。
【００１９】
また、パラメータを各時刻での撮影装置の変化量である撮影装置の回転角とした時には、各時刻での回転角を累積して、最初の画像を撮影した時の撮影装置の方向を基準として、各時刻での実際の撮影装置の回転角を求める。そして、その撮影装置の回転角の変化が滑らかになるように、理想パラメータ計算手段で、各時刻の撮影装置の回転角を求める。そして、補正量計算手段で、各時刻での実際の撮影装置の回転角と、理想パラメータ計算手段で求めた理想的な撮影装置の回転角とから、補正量を計算し、その補正量に基づいて、画像を回転変換させて画像揺れのない補正された画像列を作成する。このように、画像を観察する際に、この撮影装置の回転が滑らかに行われることで、画像揺れによる不快感をなくすことが出来る。
【００２０】
さらに、パラメータを、各時刻での撮影装置の変化量である撮影装置の回転角、及び画像中の特定の点の座標と順に切り替える。パラメータを各時刻での撮影装置の変化量である撮影装置の回転角として補正画像を作成し、その補正画像に対し、再びパラメータを画像中の特定の点の座標として新たな補正画像を作成する。そして、このパラメータの切り替えを繰り返す。このように、画像を観察する際に、パラメータの切り替えを行うことで、それぞれの処理の誤差が減少していき、結果として、この撮影装置の回転が滑らかに行われ、特定の点の座標が滑らかに変化することで、画像揺れによる不快感をなくすことが出来る。
【発明の効果】
【００２１】
上記実施例で説明したように、本発明の動画像処理装置及び方法によれば、大きな設備を必要とせずに、特定の点がなめらかに移動するようにメモリから画像を切り出したり、また、撮影装置の回転角が滑らかになるように画像変換処理を行うといった画像処理によって、進行方向が変化するような移動であっても、移動撮影時の画像揺れを補正することが出来るという効果がある。
【発明を実施するための最良の形態】
【００２２】
次に、本発明の詳細を実施例の記述に従って説明する。
【００２３】
以下、本発明の実施例について、図を用いて説明する。
【実施例１】
【００２４】
移動撮影において、撮影装置をレール上を移動する台車に搭載して撮影する時は、画像中の各点は、動画像中をなめらかに移動していく。つまり、画像揺れがある動画像を、画像処理で画像中の点がなめらかに移動するように補正すれば良いと考えられる。これが、本実施例における画像揺れ補正処理の基本的な考え方である。
【００２５】
図１が本実施例の構成を示す図である。
【００２６】
図１において、１００は動画像メモリを、１０１は動画像メモリ制御手段を、１１０は移動座標抽出手段を、１２０は座標メモリを、１２１は座標メモリ制御手段を、１３０は理想移動座標計算手段を、１４０は切り出し量決定手段を、１５０は記録手段を、１６０は表示手段を、１７０は送信手段を示す。
【００２７】
以下図１中のそれぞれの構成要素の機能を説明する。
【００２８】
動画像メモリ１００は、入力される動画像を一時的に保持するメモリであり、動画像メモリ１０１はその動画像メモリ１００への書きこみや読み出しの制御及びそのアドレスの設定を行う。移動座標抽出手段１１０は動画像メモリ１００に保持された動画像から時間的に連続する2枚の画像を入力し、時間的に前に撮像された画像の特定の点が、後に撮像された画像中で対応する点の座標を計算する。この計算を動画像メモリ１００に保持された全ての画像について行う。この計算は、動画像メモリ１００に保持された動画像の最初の画像の中の特定の点が、次の画像中に存在する座標、さらにその次の画像中で存在する座標を計算するということを繰り返すことであり、それらの座標をプロットすれば、動画像中でその特定の点の移動する軌跡が得られる。そしてその計算された座標を座標メモリ１２０に出力する。座標メモリ１２０は移動座標抽出手段１１０で求められた、特定の点の各画像での対応点の座標値を保持する。座標メモリ制御手段１２１はその座標メモリ１２０への書きこみや読み出しの制御及びそのアドレスの設定を行う。理想移動座標計算手段１３０は座標メモリ１２０に保持された、特定の点が各画像で対応する座標値からその点の理想的な移動座標を計算する。切り出し量決定手段１４０は座標メモリ１２０に保持された実際の移動座標と理想移動座標計算手段１３０で計算された理想的な移動座標に基づいて動画像メモリ１００から画像を切り出す位置を決定し、動画像メモリ制御手段１０１に出力する。記録手段１５０は動画像メモリ１００から出力される動画像を記録する。表示手段１６０は動画像メモリ１００から出力される動画像を表示する。送信手段１７０は動画像メモリ１００から出力される動画像をインターネットなどに送信する。
【００２９】
続いて、図１から図６を用いて、この動画像処理装置及び方法の全体の動作を説明する。
【００３０】
図２のフローチャートが本実施例の動作を示している。ステップS２０１で動画像メモリ１００に動画像が保持されると、ステップS２０２で動画像メモリ制御手段１０１が動画像メモリ１００を制御して、画像1枚を読みこむ。ステップS２０３では、その画像が最初の画像かを判断し、最初の画像であれば、ステップS204で特定の点の抽出を行う。この特定の点の抽出は、人間が選択しても良いし、画像の中央付近で強いエッジの点を自動で選択することも出来る。つづいてステップS202に戻り次の画像を読みこみ、ステップS203で最初の画像ではないので、次にステップS205に行き、その画像中でステップS２０４で選択した特定の点の対応点を求める。この対応点を求める作業は、図１の移動座標抽出手段１１０で行われる。次にステップS202に戻り、次の画像を読み込み、先ほどステップS205で求めた対応点の次の画像中での対応点を求める。この動作を全ての画像で行う。ステップS207では、上記動作で求めた全ての画像間での対応点を読みこむ。つまり、最初の画像で選択した特定の点の、各画像中で対応する点の座標が読みこまれる。この座標の変化を模式的に図３に示す。図３において、P０が最初の画像で選択された特定の点の座標を示している。そして、その点の対応点P1、P2、…Pnの軌跡を実線で示している。なおPのあとの番号は画像の番号を示している。図３に示すように、画像揺れのため、被写体の同一点が動画像中でなめらかに移動していない。ステップS208では、これらの対応点の軌跡がなめらかになるような理想的な軌跡を計算で求める。具体的には、図４（a）、図４（ｂ）に示すように、実際の対応点の水平、垂直の座標値を、画像番号を横軸に、縦軸に水平方向、垂直方向それぞれの座標値を縦軸にしたグラフを書き、それらの点に対して点線で示すような曲線を2次の最小2乗法で求める。ここで、Hは水平方向の座標値を、Vは垂直方向の座標値を示す。またｎは画像番号を示す。このように水平・垂直方向それぞれで各画像において特定の点の座標値の変化が滑らかになるような理想的な軌跡を求める。そして、各画像番号の水平・垂直座標値から、各画像における理想的な対応点の水平・垂直方向の座標値を読み取る。このような方法で求めた理想的な対応点の動画像中の軌跡を図５に点線で示す。この作業は、図1の理想移動座標計算手段１３０で行われる。ステップS２０９では各画像での実際の対応点の座標と理想的な対応点の座標値とから、動画像メモリ１００から切り出す画像の切り出し位置を求める。例えば、図６(a)において、点P４が実際の対応点の座標を、点Q４が理想的な対応点の座標とすると、その座標値の水平方向・垂直方向の差分（ｄH,ｄV）の量だけ、図６（ｂ）に示すように、画像切りだし位置を変更する。この作業は、図1の切り出し量決定手段１４０で行われる。ステップS210では図6（ｂ）で示したようにステップS209で求めた位置から画像を切り出し、記録手段１５０、表示手段１６０、送信手段１７０に出力する。そして、ステップS２１１で動画像メモリ１００に保持した画像全てに行ったか判断し、全て終えれば終了とする。
【００３１】
例えば撮影者が撮影中ずっとある一定の場所へ向かって移動していれば、ある特定の点の対応点の軌跡は直線になる（Focus of Expansionと最初の画像中の特定の点を結んだ直線上を動く）。しかし、実際の撮影においては、ゆっくり曲がりながら歩いて撮影するなど徐々に移動方向が変化することもある。そのようなときは、対応点の軌跡は直線ではなくなる。そのため本実施例では、上記示したように実際の対応点の軌跡からなめらかな軌跡を求め、画像の切り出し位置を計算して、対応点がその理想的な軌跡に沿うようにするという簡単な処理を行うことで、撮影者がまっすぐに移動しなくても、動画像の画像揺れを防ぐことができるという効果がある。
【００３２】
なお、最初の画像で選択した特定の点の対応点が、撮影者の移動によって、画像から消えてしまう場合は、図7に示したように、ある領域（グレーの領域）を決めておき、対応点がその領域からはずれたら、画像の中央付近から新しい特定点を選択し、以降の処理もその点に切りかえることで、同様の処理を行って対処することが出来る。図7では、５０番目の画像における対応点がグレーの領域からはずれたため、新たにP５０として、画像中心付近から、あらたな特定点を選択したことを示している。
【実施例２】
【００３３】
上記示した第１の実施例では、最初の画像中の特定の点と、各画像中のその点の対応点の座標の変化がなめらかになるように画像を切り出していた。それに対し、本実施例では、時間的に連続する各画像間の移動ベクトルから画像間の回転パラメータを求め、そして撮影装置の角度の変化がなめらかになるように、画像変換を行う。
【００３４】
図８が本実施例の構成を示す図である。
【００３５】
図８中、図1中の番号と同じ番号は同じものを示す。図８において、１００は動画像メモリを、１０１は動画像メモリ制御手段を、８１０は回転角抽出手段を、８２０は回転角メモリを、８２１は回転角メモリ制御手段を、８３０は理想回転角計算手段を、８４０は回転量決定手段を、１５０は記録手段を、１６０は表示手段を、１７０は送信手段を、８８０は画像変換手段を示す。
【００３６】
以下図８中のそれぞれの構成要素の機能を説明する。
【００３７】
動画像メモリ１００は、入力される動画像を一時的に保持するメモリであり、動画像メモリ制御手段１０１はその動画像メモリ１００への書きこみや読み出しの制御及びそのアドレスの設定を行う。回転角抽出手段８１０は動画像メモリ１００に保持された動画像から時間的に連続する2枚の画像を入力し、複数の移動ベクトルを求める。そして、それらの移動ベクトルからその画像間の回転角を計算する。この計算を動画像メモリ１００に保持された全ての画像について行う。そしてその計算された回転角を回転角メモリ８２０に出力する。回転角メモリ８２０は回転角抽出手段８１０で求められた時間的に連続する2枚の画像間の回転角を保持する。回転角メモリ制御手段８２１はその回転角メモリ８２０への書きこみや読み出しの制御及びそのアドレスの設定を行う。理想回転角計算手段８３０は回転角メモリ８２０に保持された各画像間の回転角からその画像の理想的な回転角を計算する。回転量決定手段８４０は回転角メモリ８２０に保持された実際の回転角と理想回転角計算手段８３０で計算された理想的な回転角に基づいて変換処理を行う回転量を決定する。記録手段１５０、表示手段１６０、送信手段１７０は第1の実施例で説明したのと同様である。画像変換手段８８０は回転量決定手段８４０で決定された回転量に変換された画像を作成するために動画像メモリ１００から画像を読み取り、画像変換を行う。
【００３８】
続いて、図９から図１１を用いて、この動画像処理装置及び方法の全体の動作を説明する。
【００３９】
図９のフローチャートが本実施例の動作を示している。ステップS９０１で動画像メモリ１００に動画像が保持されると、ステップS９０２で動画像メモリ制御手段１０１が動画像メモリ１００を制御して、画像1枚を読みこむ。ステップS９０３では、その画像から特定の点を数点抽出する。この点の抽出は、人間が選択しても良いし、画像中で、強いエッジの点を自動で選択することも出来る。ステップS９04では次の画像を1枚読みこむ。ステップS９05では、ステップS904で読みこんだ画像中で、ステップS９０３で選択した点の対応点を抽出する。この対応点抽出は、テンプレートマッチング法などを使用する。ステップS９０６では、求めた対応点から画像の回転量を求める。この回転量の求め方にはいくつかあり、例えば、出口光一郎著“ロボットビジョンの基礎”に説明されている８点アルゴリズムと呼ばれる方法や、また、従来例で示した、“Recovery of Ego-Motion Using Image Stabilization"の論文で説明している3枚の画像を使用した方法などどれを使用してもよい。ここではアフィン変換を使用する方法について説明する。
【００４０】
画像中の水平方向の軸をX軸、垂直方向の軸をY軸、画面に垂直な方向をZ軸とし、XYZ軸それぞれの軸回りの回転角を（ψ、φ、θ）とする。時間的に後の画像の対応点座標を（Xa,Ya）、前の画像の座標を（Xb、Yb）とすると、前の画像に対して、後の画像が、θ回転、（ｄｘ、ｄｙ）平行移動、ｍ倍拡大したとすると、
Xa＝(cosθ・Xb＋sinθ・Yb−ｄｘ)・ｍ
＝A・Xb＋B・Yb＋C
Ya＝（―sinθ・Xb＋cosθ・Yb−ｄｙ）・ｍ
＝−B・Xb＋A・Yb＋D
（ただし、A＝ｍ・cosθ、B＝ｍ・sinθ、C＝−ｍ・ｄｘ、D＝−ｍ・ｄｙ）
の関係がある。
【００４１】
ステップS９０５で求めた複数の点の対応点をこの式に代入し、最小２乗法で、A,B,C,Dの係数を求め、そこから、回転量θ、平行移動量ｄｘ、ｄｙ、拡大量ｍを求める。さらに、一般的に撮影者の移動の並進成分よりも回転成分で大きく画像が変化するので、平行移動量ｄｘ、ｄｙが、それぞれ回転φ、回転ψで生じている仮定し、回転角ψ、φを、φ＝arctan(dx/f)、ψ＝arctan(dy/f)として求める。なおここで、ｆは撮像系の焦点距離で、図示しない自動合焦手段から得られているとする。これらステップS９０２からステップS９０６の処理が図８の回転角抽出手段８１０で行われる。
【００４２】
ステップS９０７では上記の対応点抽出及び回転角計算を全ての画像で行われたか判定し、全ての画像で終了していなければ、ステップS９０３で後から読みこんだ画像中から複数の特定点を抽出し、さらにステップS904で新たに画像を読みこみ、ステップS905でその画像中で、ステップS903で新たに求めた特定点の対応点を求め、ステップS90６で回転角を計算するという動作を繰り返す。そして、全画像で回転角が求めると、ステップS９０８へ行く。ステップS９0８では、上記動作で求めた全ての画像間での回転角を読みこむ。そして、それらの回転角を順に足し合わせて実際の回転角を求める。これは、ステップS９０６で求めた回転角ψ、φ、θは各画像間の相対的な回転角（先に読みこんだ画像を基準とした回転角）であり、それらから実際の撮影装置の回転量を求める。つまり、最初に撮影した画像を基準として、その基準画像のX軸、Y軸、Z軸のそれぞれの回転角をα、β、γとすると、ｎ番目の画像のときの回転角はそれぞれ、α（ｎ）＝α（ｎ−１）＋ψ（ｎ）、β（ｎ）＝β（ｎ−１）＋φ（ｎ）、γ（ｎ）＝γ（ｎ−１）＋θ（ｎ）となる。なお、最初の画像を基準としているので、α（０）＝β（０）＝γ（０）＝０であり、また、最初の画像と次の画像との回転角がψ（１）、φ（１）、θ（１）である。この回転角の変化を模式的に図１０に示す。図１０において、横軸が画像番号で、縦軸が最初の画像を基準とした時の撮影装置の回転角であり、（a）が回転角α、（ｂ）が回転角β、（ｃ）が回転角γである。ステップS９0９では、ステップS９０８で求めた回転角から、回転角がなめらかに変化するような理想的な回転角を計算で求める。具体的には、図１０（a）、図１０（ｂ）、図１０（ｃ）に示すように、黒点で示した実際の回転角に対し、点線で示すような曲線を2次の最小2乗法で求める。これらステップS９０８からステップS９０９の処理が図８の理想回転角計算手段８３０で行われる。ステップS９１０では実際の回転角と理想的な回転角とから、回転の画像変換を行う回転量を求める。例えば、図１１にX軸回りの補正回転量ｄαを求める方法を模式的に示す。ここでは、画像番号１１の時のｄαを示し、黒点が実際の回転角、白点が理想的な回転角で、その差ｄαが画像変換を行う回転量になる。この計算は図8の回転量決定手段８４０で行われる。ステップS９１１では時間的に前の画像と後の画像の回転量が理想的な回転量になるように、画像変換を行う。この変換は、図8の画像変換手段８８０で行われる。そして変換画像を、記録手段１５０、表示手段１６０、送信手段１７０に出力する。そして、ステップS９１２で動画像メモリ１００に保持した画像全てに行ったか判断し、全て終えれば終了とする。
【００４３】
上記示したように、本実施例では画像の回転変換を行うため、実施例1に比べて処理時間はかかるが、撮像装置の回転を補正することで、より精度のよい補正が可能である。また、最初の画像を基準として、撮像装置の実際の回転角を考慮することで、直線移動だけではなく、パンやチルトなどにも対応ができる。
【実施例３】
【００４４】
上記示した第１、第２の実施例では、画像中の特定の点の軌跡がなめらかになるように切りだしたり、また、撮像装置の回転角がなめらかになるように画像変換を行っていた。本実施例は、それらを組み合わせたもので、回転の画像変換でとりきれない微小な水平垂直方向のぶれを、ある特定の点の軌跡がなめらかになるように切り出すことで対応する。
【００４５】
図１２が本実施例の構成を示す図である。
【００４６】
基本的に、図１と図８を組み合わせたものであり、処理選択手段９１０と画像変換手段９８０が新しい手段である。この処理選択手段は、第1の実施例で示した方法か第2の実施例で示した方法を選択するものである。これにより、回転角がなめらかになるように補正する方法と、特定点が滑らかに移動するように補正することが出来、より精度の高い補正が可能である。例えば、最初に第2の実施例の回転角による補正をおこなったあと、その画像を動画像メモリ１００に戻し、次に第1の実施例で示した特定の点の座表値がなめらかになるように補正する。なお、第1の実施例による処理の時は、画像変換手段９８０は特に処理を行わない。
【００４７】
また、これらの処理をそれぞれ一度行うだけではなく、交互に何回も繰り返すことで、さらに微小な誤差を徐々に減少させることも出来る。
【図面の簡単な説明】
【００４８】
【図１】実施例１の構成を示す図
【図２】実施例１の動作を示すフローチャート
【図３】特定の点の軌跡を示す図
【図４】実際の座標値と理想の座標値を示す図
【図５】実際の軌跡と理想の軌跡を示す図
【図６】補正切り出し量を示す図
【図７】特定点の切り替えを示す図
【図８】実施例２の構成を示す図
【図９】実施例２の動作を示すフローチャート
【図１０】実際の回転角と理想の回転角を示す図
【図１１】補正回転量を示す図
【図１２】第3の実施例の構成を示す図
【符号の説明】
【００４９】
１００  動画像メモリ
１０１  動画像メモリ制御手段
１２０  座標メモリ    
１２１  座標メモリ制御手段
１１０  移動座標抽出手段
１３０  理想移動座標計算手段
１４０  切り出し量決定手段
１５０  記録手段
１６０  表示手段
１７０  送信手段
８２０  回転角メモリ
８２１  回転角メモリ制御手段
８１０  回転角抽出手段
８３０  理想回転角計算手段
８４０  回転量決定手段
８８０，９８０  画像変換手段
９１０  処理選択手段
【図１】
2010016548.tif 000003
【図２】
2010016548.tif 000004
【図３】
2010016548.tif 000005
【図４】
2010016548.tif 000006
【図５】
2010016548.tif 000007
【図６】
2010016548.tif 000008
【図７】
2010016548.tif 000009
【図８】
2010016548.tif 000010
【図９】
2010016548.tif 000011
【図１０】
2010016548.tif 000012
【図１１】
2010016548.tif 000013
【図１２】
2010016548.tif 000014