(57)【要約】【課題】  カメラ一体型VTRを用いて撮影者が歩行等移動しながら撮影した画像や、またロボットの遠隔操作のために、操作者のディスプレイに表示する、ロボットに取付けられた撮影装置からの画像や、自律的に動くロボットに取付けられた撮影装置で撮影された画像等、移動撮影された動画像の画像揺れによる不快感をなくす。【解決手段】  （１）撮影装置の回転角が滑らかになるように画像変換処理を行う。  （２）画像変換に使用するパラメータの推定に適した画像のみを使用したり、精度の高いパラメータのみを使用する。【選択図】  図１
2010011050.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像の各時刻でのパラメータ値を求めるパラメータ抽出手段と、前記パラメータ抽出手段で求めた各時刻でのパラメータ値を統計処理し各時刻での理想パラメータ値を計算する理想パラメータ計算手段と、新旧の画像を保持する画像メモリと、前記パラメータ抽出手段で求められた実際のパラメータ値と前記理想パラメータ計算手段で計算された理想パラメータ値に基づき補正量を計算し、その補正量に基づいて前記画像メモリに保持された画像を変換する画像変換手段と、入力信号の使用・不使用を判別する判別手段とから構成される動画像処理装置において、
前記判別手段が入力信号を不使用と判別した時には、前記画像メモリに保持された旧画像を変換して出力することを特徴とする動画像処理装置。
【請求項２】
前記判別手段が入力信号を不使用と判別し、画像メモリに保持された旧画像を変換する際には、理想パラメータ計算手段で理想パラメータを予測して予測理想パラメータを求め、その予測理想パラメータと旧画像に関して求めたパラメータとから、補正量を計算することを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記判別手段の入力信号とは、パラメータ抽出手段で求めたパラメータであり、前記判別手段で、そのパラメータの精度を調査し、精度が低い時は、そのパラメータを使用しないと判断することを特徴とする請求項１又は請求項２に記載の動画像処理装置。
【請求項４】
前記パラメータ抽出手段で抽出されたパラメータとは撮像装置の回転量であることを特徴とする請求項３に記載の動画像処理装置。
【請求項５】
前記判別手段の入力信号とは、画像信号であり、前記判別手段で、その画像の周波数成分を調査した時の低周波成分の量、またはその画像に関して求めた動きベクトルの信頼度を調査した時の信頼度が低い動きベクトルの割合により、その画像信号を使用しないと判断することを特徴とする請求項１又は請求項２に記載の動画像処理装置。
【請求項６】
撮影した動画像に対し、請求項１〜請求項５のいずれかに記載の動画像処理を行い、動画像処理を行なった動画像を記録することを特徴とするカメラ一体型画像記録装置。
【請求項７】
撮影または記録された動画像に対し、請求項１〜請求項５のいずれかに記載の動画像処理を行い、動画像処理を行なった動画像を再生することを特徴とする動画像再生装置。
【請求項８】
ロボット等の移動手段をネットワークを介して遠隔操作する遠隔操作システムにおいて、移動手段に取り付けられた撮像装置で撮影された動画像に対し、請求項１〜請求項５のいずれかに記載の動画像処理を行い、動画像処理を行なった動画像をネットワークに送信し、遠隔操作を行なうオペレータに処理された動画像をネットワークを介して表示することを特徴とする遠隔操作システム。
【請求項９】
ロボット等の移動手段をネットワークを介して遠隔操作する遠隔操作システムにおいて、移動手段に取り付けられた撮像装置で撮影された動画像をネットワークに送信し、ネットワークを介して得られる移動手段で撮影された動画像に対し、請求項１〜請求項５のいずれかに記載の動画像処理を行い、処理された動画像を遠隔操作を行なうオペレータに表示することを特徴とする遠隔操作システム。
【請求項１０】
動画像の各時刻でのパラメータ値を求めるパラメータ抽出ステップと、及び前記パラメータ抽出ステップで求めた各時刻でのパラメータ値を統計処理し各時刻での理想パラメータ値を計算する理想パラメータ計算ステップと、前記パラメータ抽出ステップで求められた実際のパラメータ値と前記理想パラメータ計算ステップで計算された理想パラメータ値に基づき補正量を計算し、その補正量に基づいて画像メモリに保持された画像を変換する画像変換ステップと、入力信号の使用・不使用を判別する判別ステップとから構成される動画像処理方法において、前記判別ステップが入力信号を不使用と判別した時には、画像メモリに保持された旧画像を変換して出力することを特徴とする動画像処理方法。
【請求項１１】
前記判別ステップが入力信号を不使用と判別し、画像メモリに保持された旧画像を変換する際には、理想パラメータ計算ステップで理想パラメータを予測して予測理想パラメータを求め、その予測理想パラメータと旧画像に関して求めたパラメータとから、補正量を計算することを特徴とする請求項１０に記載の動画像処理方法。
【請求項１２】
前記判別ステップの入力信号とは、パラメータ抽出ステップで求めたパラメータであり、前記判別ステップで、そのパラメータの精度を調査し、精度が低い時は、そのパラメータを使用しないと判断することを特徴とする請求項１０又は請求項１１に記載の動画像処理方法。
【請求項１３】
前記パラメータ抽出ステップで抽出されたパラメータとは撮像装置の回転量であることを特徴とする請求項１２に記載の動画像処理方法。
【請求項１４】
前記判別ステップの入力信号とは、画像信号であり、前記判別ステップで、その画像の周波数成分を調査した時の低周波成分の量、またはその画像に関して求めた動きベクトルの信頼度を調査した時の信頼度が低い動きベクトルの割合により、その画像信号を使用しないと判断することを特徴とする請求項１０又は請求項１１に記載の動画像処理方法。
【請求項１５】
請求項１０〜請求項１４のいずれかに記載の動画像処理方法をコンピュータに実行させるための動画像処理プログラムであって、コンピュータによって読み取り可能な動画像処理プログラム。
【請求項１６】
請求項１５に記載の動画像処理プログラムをコンピュータによって読み取り可能な形で記憶させた記憶媒体。
【請求項１７】
画像入力手段と、新旧の画像を保持する画像メモリと、前記請求項１５に記載の動画像処理プログラムと、前記動画像処理プログラムを実行するプロセッサと、前記動画像処理プログラムを記憶する記憶手段と、前記動画像処理プログラムで処理された動画像を記録する記録手段、または前記動画像処理プログラムで処理された動画像を表示する表示手段、または前記動画像処理プログラムで処理された動画像をネットワークに送信する送信手段とから構成されることを特徴とする動画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画像揺れを補正する動画像処理装置及び動画像処理方法に関わり、特にカメラ一体型VTRを用いて撮影者が歩行等移動しながら撮影した画像や、またロボットの遠隔操作のために、操作者のディスプレイに表示する、ロボットに取りつけられた撮影装置からの画像や、自律的に動くロボットに取りつけられた撮影装置で撮影された画像等、移動撮影された動画像の画像揺れによる不快感をなくすための動画像処理装置及び動画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラ一体型ビデオ等を用いた動画像撮影における、手振れによる画像の振動を防ぐ防振技術として、特許文献１の従来例に示されているように、出力画像よりも大きな画像で入力した画像をメモリに一時保持し、手振れによって生じた動きベクトルの大きさに基づいてそのメモリから出力画像を切り出す処理を各フレーム毎に行う、手振れ補正技術がある。
【０００３】
また、映画や各種スポーツ競技における移動撮影においては、平行に架設した2本のレールの上を移動する台車に撮影装置を搭載して撮影を行っている。また、特許文献２のように移動撮影において撮影者の挙動が撮影装置に伝わらないようにするための撮影用クレーンや、特許文献３のように撮影装置を搭載した移動台をワイヤを使用して移動させるものがある。
【０００４】
さらに、移動撮影された動画像の不快感を、画像処理を用いて、軽減する方法として、“Recovery of Ego-Motion Using Image Stabilization”M.Irani etc,CVPR-94,June)に述べられているように、時間的に連続する画像を処理して、撮影装置の並進・回転の移動パラメータを求め、その中の回転パラメータのみを使用して、最初に撮影された画像と同じ向きになるように各画像を変換させて、画像の振動を補正する方法がある。
【特許文献１】特開平３−２８０４０６号公報
【特許文献２】特開平５−１６１０３７号公報
【特許文献３】特開平７−３２５３３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮影者が移動しながら撮影した画像は、撮影装置の位置または撮影方向が変化することにより、画像揺れがあり、そのまま観察すると不快感が生じる。この不快感を無くすために、上記示したような、移動撮影時の画像揺れを防止するための方法には、以下のようにそれぞれ問題がある。
【０００６】
特許文献１で示される方法は、時間的に連続する画像のうち時間的に前の画像を基準とし、後の画像の移動量を動きベクトルとして求め、その動きベクトル分メモリの読み出し位置を変更して、前の画像と後の画像を見た目上同じ画像にする。そして続いて、その切り出した画像と次の時刻の画像の移動ベクトルを求め、それに基づいて画像を切り出す、ということを繰り返すものであり、撮影者が静止し撮影装置がある位置を基準に上下左右に微小に揺れている状況での撮影には有効である。しかしながら、移動撮影はそのような状況ではなく、画像中の物体は撮影者の進行方向を中心として上下左右に徐々に移動していく。つまり、最初画像中心にある被写体は、撮影者がその被写体に向かって移動すれば、徐々に画像中で大きくなるし、また移動方向が被写体の方向と異なれば、徐々に画像中心から外れていくことになる。このような画像列では最初の画像と同じ領域が徐々に減少するので、同じ領域を切り出すことは不可能になる。
【０００７】
また、レールやワイヤを架設したり、クレーンを使用するというのは、設備として大掛かりになるという問題がある。
【０００８】
また、“Recovery of Ego-Motion Using Image Stabilization”の論文による方法では、動画像を補正する際に、最初に撮影された画像の向きに各画像を変換するので、進行方向が直進でなく、曲がりながら撮影している時等徐々に移動方向が変化している時、またパンやチルトなど撮影装置を回転させて撮影しているときなどは変換後の画像が所望のものと異なるという問題があった。
【０００９】
さらに、この方法では並進成分を完全に分離した回転成分のみの変換のため、並進による画像揺れを補正出来ないという問題があった。そのため、この論文には、処理の最後にローバスフィルタをかけているという説明がある。
【００１０】
このように、従来においては、移動撮影において、大きな設備を必要としないで、画像振れを補正する方法が示されていない。そこで本発明の目的は、大きな設備を必要とせずに、画像処理によって、移動撮影時の画像揺れを補正する動画像処理装置及び方法を提供することである。
【課題を解決するための手段】
【００１１】
前記目的を実現するために、
本出願に係る第1の発明の動画像処理装置とは、
入力される動画像の各時刻でのパラメータ値を求めるパラメータ抽出手段と、前記パラメータ抽出手段で求めた各時刻でのパラメータ値を統計処理し各時刻での理想パラメータ値を計算する理想パラメータ計算手段と、新旧の画像を保持する画像メモリと、前記パラメータ抽出手段で求められた実際のパラメータ値と前記理想パラメータ計算手段で計算された理想パラメータ値に基づき補正量を計算し、その補正量に基づいて前記画像メモリに保持された画像を変換する画像変換手段と、入力信号の使用・不使用を判別する判別手段とから構成され、前記判別手段が入力信号を不使用と判別した時には、前記画像メモリに保持された旧画像を変換して出力することを特徴とする動画像処理装置である。
【００１２】
本出願に係る第２の発明の動画像処理装置とは、
第１の発明において、判別手段が入力信号を不使用と判別し、画像メモリに保持された旧画像を変換する際には、理想パラメータ計算手段で理想パラメータを予測して予測理想パラメータを求め、その予測理想パラメータと旧画像に関して求めたパラメータとから、補正量を計算することを特徴とする動画像処理装置である。
【００１３】
本出願に係る第３の発明の動画像処理装置とは、
第１または第２の発明において、判別手段の入力信号とは、パラメータ抽出手段で求めたパラメータであり、前記判別手段で、そのパラメータの精度を調査し、精度が低い時は、そのパラメータを使用しないと判断することを特徴とする動画像処理装置である。
【００１４】
本出願に係る第４の発明の動画像処理装置とは、
第３の発明において、パラメータ抽出手段で抽出されたパラメータとは撮像装置の回転量であることを特徴とする、動画像処理装置である。
【００１５】
本出願に係る第５の発明の動画像処理装置とは、
第１または第２の発明において、判別手段の入力信号とは、画像信号であり、前記判別手段で、その画像の周波数成分を調査した時の低周波成分の量、またはその画像に関して求めた動きベクトルの信頼度を調査した時の信頼度が低い動きベクトルの割合により、その画像信号を使用しないと判断することを特徴とする動画像処理装置である。
【００１６】
本出願に係る第６の発明は、
上記第1から第５の発明の内のいずれか１つに記述の動画像処理により、撮影した動画像を処理して、処理した動画像を記録する、カメラ一体型画像記録装置である。
【００１７】
本出願に係る第７の発明は、
上記第1から第５の発明の内のいずれか1つに記述の動画像処理により、撮影または記録された動画像を処理して、処理した動画像を再生する、動画再生装置である。
【００１８】
本出願に係る第８の発明は、
移動手段に取り付けられた撮像装置で撮影された動画像を、上記第1から第５の発明の内いずれか１つに記述の動画像処理を行い、処理を行なった動画像をネットワークに送信し、その処理された動画像を、遠隔操作を行なうオペレータに、ネットワークを介して表示する、遠隔操作システムである。
【００１９】
本出願に係る第９の発明は、
移動手段に取り付けられた撮像装置で撮影された動画像をネットワークに送信し、ネットワークを介して得られる移動手段で撮影された動画像を、上記第1から第５の発明の内いずれか１つに記述の動画像処理を行い、処理を行なった動画像を、遠隔操作を行なうオペレータに表示する、遠隔操作システムである。
【００２０】
本出願に係る第１０の発明は、
動画像の各時刻でのパラメータ値を求めるパラメータ抽出ステップと、及び前記パラメータ抽出ステップで求めた各時刻でのパラメータ値を統計処理し各時刻での理想パラメータ値を計算する理想パラメータ計算ステップと、前記パラメータ抽出ステップで求められた実際のパラメータ値と前記理想パラメータ計算ステップで計算された理想パラメータ値に基づき補正量を計算し、その補正量に基づいて画像メモリに保持された画像を変換する画像変換ステップと入力信号の使用・不使用を判別する判別ステップとから構成される動画像処理方法において、前記判別ステップが入力信号を不使用と判別した時には、画像メモリに保持された旧画像を変換して出力することを特徴とする動画像処理方法である。
【００２１】
本出願に係る第１１の発明は、
第１０の発明において、判別ステップが入力信号を不使用と判別し、画像メモリに保持された旧画像を変換する際には、理想パラメータ計算ステップで理想パラメータを予測して予測理想パラメータを求め、その予測理想パラメータと旧画像に関して求めたパラメータとから、補正量を計算することを特徴とする動画像処理方法である。
【００２２】
本出願に係る第１２の発明は、
第１０または第１１の発明において、判別ステップの入力信号とは、パラメータ抽出ステップで求めたパラメータであり、前記判別ステップで、そのパラメータの精度を調査し、精度が低い時は、そのパラメータを使用しないと判断することを特徴とする動画像処理方法である。
【００２３】
本出願に係る第１３の発明は、
第１２の発明において、パラメータ抽出ステップで抽出されたパラメータとは撮像装置の回転量であることを特徴とする動画像処理方法である。
【００２４】
本出願に係る第１４の発明は、
第１０または第１１の発明において、判別ステップの入力信号とは、画像信号であり、前記判別ステップで、その画像の周波数成分を調査した時の低周波成分の量、またはその画像に関して求めた動きベクトルの信頼度を調査した時の信頼度が低い動きベクトルの割合により、その画像信号を使用しないと判断することを特徴とする動画像処理方法である。
【００２５】
本出願に係る第１５の発明は、
第１０から第１４の発明の内のいずれか1つに記述の動画像処理方法をコンピュータに実行させるための動画像処理プログラムであって、コンピュータによって読み取り可能な動画像処理プログラムである。
【００２６】
本出願に係る第１６の発明は、第１５の発明に記述の動画像処理プログラムをコンピュータによって読み取り可能な形で記憶させた記憶媒体である。
【００２７】
本出願に係る第１７の発明は、
画像入力手段と、新旧の画像を保持する画像メモリと、第１５の発明に記載の動画像処理プログラムと、前記動画像処理プログラムを実行するプロセッサと、前記動画像処理プログラムを記憶する記憶手段と、前記動画像処理プログラムで処理された動画像を記録する記録手段、または前記動画像処理プログラムで処理された動画像を表示する表示手段、または前記動画像処理プログラムで処理された動画像をネットワークに送信する送信手段とから構成される、動画像処理システムである。
【００２８】
撮影者の移動により、撮影装置の位置または撮影方向が変化して撮影された画像の画像揺れを補正するために、まずパラメータ抽出手段は、各時刻で撮影された画像から各時刻でのパラメータ値を求める。このパラメータは、撮像装置の回転量である。理想パラメータ計算手段では、各時刻で撮影装置の回転量がなめらかに変化するように、過去のパラメータも用いて、各時刻での理想的な回転量を求める。そして、画像変換手段で実際の回転量と理想回転量とに基づいて計算された補正量に基づいて、画像メモリに保持されている画像を変換する。判別手段では入力信号の使用・不使用を判別する。この入力信号は、１つパラメータであり、もう一つは入力画像である。入力信号をパラメータとした時は、判別手段では、そのパラメータの精度を調査し、そのパラメータを使用するか、否かを判断する。入力信号を入力画像とした時には、判別手段では、画像の周波数成分とその画像に関する動きベクトルの信頼度を調査し、低周波成分の量と信頼できる動きベクトルの割合とからその入力画像を使用するか否かを判断する。そして、判別手段が入力信号をそのまま使用すると判別した時には、画像メモリに保持された新画像を変換して出力し、逆に不使用と判別した時には、画像メモリに保持された旧画像を変換して出力する。
【００２９】
また、判別手段が入力信号を使用しないと判断したときには、理想パラメータ計算手段では、保持している情報から、理想パラメータを予測して予測理想パラメータを求め、その予測理想パラメータと旧画像に関して求めたパラメータとから画像メモリの旧画像を変換して出力する。
【発明の効果】
【００３０】
上記実施例で説明したように、本発明の動画像処理装置及び方法によれば、大きな設備を必要とせずに、撮影装置の回転角が滑らかになるように画像変換処理を行うといった画像処理によって、進行方向が変化するような移動であっても、移動撮影時の画像揺れを補正することが出来るという効果がある。
【００３１】
またその際に、画像変換に使用するパラメータの推定に適した画像のみを使用したり、精度の高いパラメータのみを使用することで、画像変換による画像揺れ補正の精度が向上するという効果がある。
【００３２】
また、この処理を、カメラ一体型記録装置で用いて、撮影した画像の画像揺れが無いように処理した画像を記録したり、撮影した画像や記録された画像を再生する装置や、ロボット等の移動手段をネットワークを介して遠隔操作するシステムに用いて、移動手段で撮影された動画像を画像揺れが無いように処理した画像をオペレータに表示して、観察者の不快感をなくすことが出来るという効果がある。また、画像入力手段で入力された画像を、そのプログラムをプロセッサで実行し、画像揺れが無いように処理した画像を、記録または表示またはネットワークに送信することで、PCなどで容易にこの動画像処理を行なうこともできるという効果もある。
【発明を実施するための最良の形態】
【００３３】
次に、本発明の詳細を実施例の記述に従って説明する。
【００３４】
以下、本発明の実施例について、図を用いて説明する。
【実施例１】
【００３５】
図１が本実施例の構成を示す図である。
【００３６】
図１において、１００は画像メモリを、１０１は画像メモリ制御手段を、１１０は動きベクトル抽出手段を、１２０はパラメータ抽出手段を、１３０はパラメータ判別手段を、１４０は理想パラメータ計算手段を、１５０は画像変換手段を、１６０は補間手段を、１７０は記録手段を、１８０は表示手段を、１９０は送信手段を示す。
【００３７】
以下図１中に示す構成要素の機能を説明する。
【００３８】
画像メモリ１００は、デジタル化された画像を保持するメモリであり、画像メモリ制御手段１０１は、その画像メモリ１００への画像の書きこみや画像メモリ１００からの読み出しの制御、及びそのアドレスの設定を行う。動きベクトル抽出手段１１０は、画像メモリ１００に保持された画像と、次の画像とのマッチングを行い、画像中の点の移動を示す動きベクトルを抽出する。パラメータ抽出手段１２０は、動きベクトル抽出手段１１０で求められた動きベクトルから時間的に連続する画像間の回転等のパラメータを求める。パラメータ判別手段１３０は、パラメータ抽出手段１２０で求められたパラメータの精度を判別し、精度が高ければ、そのパラメータを理想パラメータ計算手段１４０に出力し、また精度が低ければ、そのパラメータを使用しないことを理想パラメータ計算手段１４０に通知する。理想パラメータ計算手段１４０は、パラメータ抽出手段１２０で求められたパラメータを複数保持し、パラメータ判別手段１３０からパラメータがくれば、そのパラメータも使用して、理想的なパラメータを計算する。また、パラメータ判別手段１３０からそのパラメータを使用しないという信号がくれば、保持しているパラメータを用いて、理想的なパラメータを計算する。画像変換手段１５０は、パラメータ抽出手段１２０で求められたパラメータと理想パラメータ計算手段１４０で計算された理想パラメータとに基づいて、画像メモリ１００に保持された画像から、記録手段１７０に記録する画像または表示手段１８０に表示する画像または送信手段１９０から送信する変換画像を作成するための、画像メモリ１００の座標を計算し、画像メモリ制御手段１０１へ出力する。補間手段１６０は画像メモリ１００から読み出された変換後の画像を補間して出力する。記録手段１７０は補間手段１６０から出力される画像を記録する。表示手段１８０は補間手段１６０から出力される画像を表示する。送信手段１９０は補間手段１６０から出力される画像をインターネットなどに送信する。
【００３９】
続いて、図１から図７を用いて、この動画像処理装置及び方法の全体の動作を説明する。
【００４０】
デジタルの入力画像は分岐され、画像メモリ１００と、動きベクトル抽出手段１１０とに入力される。画像メモリ１００に入力する経路では、入力された画像を、画像メモリ制御手段１０１の制御で画像メモリ１００に保持する。また、動きベクトル抽出手段１１０にも入力され、動きベクトルの抽出の計算に用いられる。
【００４１】
画像メモリ１００は、デジタル入力画像を保持するとともに、その前の時刻に保持された画像を読み出し、動きベクトル抽出手段１１０に出力する。つまり、画像メモリ１００は、旧画像と新画像の２枚の画像を保持している。
【００４２】
続いて、動きベクトル抽出手段１１０において、入力されたデジタルの入力画像と、画像メモリ１００より入力される、前の時刻の画像とでマッチングをとり、画像中の動きベクトルを求める。この動きベクトルを求める点の選択は、画像中の強いエッジ上の点で、ある程度離れた複数の点を自動で選択しても良いし、または人間が選択しても良い。抽出された動きベクトルおよびその信頼度は、パラメータ抽出手段１２０に出力される。動きベクトルの信頼度は、例えば残差法のテンプレートマッチングであれば、その残差値でよく、この場合は、０に近いほど信頼度が高くなる。また相関法であれば相関値でよい。この場合は、１に近いほど信頼度が高くなる。
【００４３】
パラメータ抽出手段１２０では、入力された動きベクトルから時間的に連続する画像間の画像の回転パラメータを求める。この回転量の求め方にはいくつかあり、例えば、出口光一郎著“ロボットビジョンの基礎”に説明されている８点アルゴリズムと呼ばれる方法や、また、従来例で示した、“Recovery of Ego-Motion Using Image Stabilization”の論文で説明している3枚の画像を使用した方法などどれを使用してもよい。ここではアフィン変換を使用する方法について説明する。
【００４４】
画像中の水平方向の軸をX軸、垂直方向の軸をY軸、画面に垂直な方向をZ軸とし、XYZ軸それぞれの軸回りの回転角を（ψ、φ、θ）とする。時間的に後の画像の対応点座標を（Xa,Ya）、前の画像の座標を（Xb、Yb）とすると、前の画像に対して、後の画像が、θ回転、（ｄｘ、ｄｙ）平行移動、ｍ倍拡大したとすると、
Xa=(cosθ・Xb＋sinθ・Yb−ｄｘ)・ｍ
＝A・Xb＋B・Yb＋C                              （１）
Ya=（―sinθ・Xb＋cosθ・Yb−ｄｙ）・ｍ
＝−B・Xb＋A・Yb＋D                            （２）
（ただし、A=ｍ・cosθ、B=ｍ・sinθ、C＝−ｍ・ｄｘ、D=−ｍ・ｄｙ）
の関係がある。動きベクトル抽出手段１１０で求めた複数の点の動きベクトルの座標をこの式に代入し、最小２乗法で、A,B,C,Dの係数を求め、そこから、回転量θ、平行移動量ｄｘ、ｄｙ、拡大量ｍを求める。さらに、一般的には撮影者の移動の並進成分よりも回転成分で大きく画像が変化するので、平行移動量ｄｘ、ｄｙが、それぞれ回転φ、回転ψで生じていると仮定し、回転角ψ、φを、φ＝arctan(dx/f)、ψ＝arctan(dy/f)として求める。なおここで、ｆは撮像系の焦点距離で、図示しない自動合焦手段から得られているとする。このとき、入力された動きベクトルの中には誤抽出したものも含まれており、それら誤抽出した結果も使用すると求めるパラメータの精度が低下するので、動きベクトルの信頼度を見て、使用する動きベクトルを決定することが出来る。そして、このように計算された各パラメータは、パラメータ判別手段１３０に出力される。
【００４５】
パラメータ判別手段１３０では、入力されたパラメータの精度を判別し、精度が高いと判別した場合は、そのパラメータを理想パラメータ計算手段１４０に出力し、逆に精度が低く使用不可と判別した場合は、そのパラメータを破棄し、そして使用不可という結果を理想パラメータ計算手段１４０に出力する。ここで、入力されたパラメータを判別する動作を図２のフローチャートで説明する。ステップS２０１で、動きベクトル抽出手段１１０で求められた各点の動きベクトルが入力される。ステップS２０２で、入力された全ての動きベクトルに関し、動きベクトルの始点（前の画像の点（Xb,Yb））の座標を式（１）、（２）に代入し、パラメータ抽出手段１２０で求めたパラメータで変換した後の座標（Xc,Yc）を求める。ステップS２０３で、変換後の座標（Xc,Yc）と、動きベクトルの終点の座標（Xa,Ya）との差を、全ての動きベクトルで求め、その長さの２乗和（S＝Σ（（Xa-Xc）*（Xa-Xc）＋（Ya-Yc）*(Ya-Yc)））を求める。ステップS２０４で、ステップS２０３で求めた差を、動きベクトルの数で割り、一点での誤差（Es）とする。ステップS２０５で、その誤差Esと閾値εとを比較し、誤差Esの方が小さければ、ステップS206でパラメータの精度は高いとして、そのパラメータを理想パラメータ計算手段１４０に出力する。誤差Esの方が大きければ、ステップS207でパラメータの精度は低いとして破棄し、パラメータが使用不可であるという結果を理想パラメータ計算手段１４０に出力する。また同時に、パラメータが使用可能であったか否かの信号を画像変換手段１５０、及び画像メモリ制御手段１０１に出力する。
【００４６】
理想パラメータ計算手段１４０では、パラメータ判別手段１３０を介して入力される回転パラメータを順に足し合わせて実際の回転角を求める。これは、パラメータ抽出手段１２０で求めた回転角ψ、φ、θは各画像間の相対的な回転角（先に読みこんだ画像を基準とした回転角）であるので、それらから実際の撮影装置の回転量を求めるということである。つまり、最初の入力画像を基準として、その基準画像のX軸、Y軸、Z軸のそれぞれの軸まわりの回転角をα、β、γとすると、ｎ番目の画像のときの回転角はそれぞれ、α（ｎ）＝α（ｎ−１）＋ψ（ｎ）、β（ｎ）＝β（ｎ−１）＋φ（ｎ）、γ（ｎ）＝γ（ｎ−１）＋θ（ｎ）となる。なお、最初の画像を基準としているので、α（０）＝β（０）＝γ（０）＝０であり、また、最初の画像と次の画像との回転角がψ（１）、φ（１）、θ（１）である。この回転角の変化を模式的に図３に示す。図３において、横軸が画像番号で、縦軸が最初の画像を基準とした時の撮影装置の回転角であり、（a）が回転角α、（ｂ）が回転角β、（ｃ）が回転角γである。そして、次に回転角がなめらかに変化するような理想的な回転角を計算で求める。具体的には、図３（a）、図３（ｂ）、図３（ｃ）に示すように、黒点で示した実際の回転角に対し、点線で示すような曲線を2次の最小2乗法で求める。そして、一般的な動作としては、その理想回転角を画像変換手段１５０に出力する。
【００４７】
パラメータ判別手段１３０から信頼できるパラメータが入力された時は、新たに回転角ψ、φ、θが入力されるので、図４（a）、図４（ｂ）、図４（ｃ）に示すように、回転角α、β、γに関するグラフが更新される。この図４においては、白丸で示したのが、新しく入力されたψ、φ、θから更新した新しい回転角α、β、γである。そして、一番古いデータを消去し、更新した新たな回転角も含めて、理想回転曲線が新たに計算される。そして、新たに求められた理想回転角を画像変換手段１５０に出力する。つまり、この図４でいうと、メッシュを入れた丸の示す回転角を出力する。それに対し、パラメータ判別手段１３０からパラメータが使用不可であるいう信号が入力されたときは、以前求めた理想曲線を外挿し、予測理想パラメータを求める。この様子を図５（a）、図５（ｂ）、図５（ｃ）に示す。この図５において、黒丸で示す過去の回転角は図３に示したものと同様であり、また、点線で示した理想曲線も過去の回転角から求めたもので同様である。ただし、今回は新たな回転角が入力されないので、理想回転角を求めるために、図３よりも画像１つ分長さが長くなっている。つまり、今回は、パラメータ判別手段１３０において、パラメータ抽出手段１２０で求めたパラメータの精度が低いと判別され、そのパラメータが破棄されたので、その時刻の補正画像を作成するために、理想曲線を外挿して理想パラメータを求め、その理想パラメータと以前の画像、及びその以前の画像で求められたパラメータを使用する。つまり、この理想パラメータ計算手段１４０では、図５中に示す、外挿した理想曲線上でメッシュの白丸で示す予測した理想パラメータを画像変換手段１５０に出力する。
【００４８】
画像変換手段１５０では、パラメータ判別手段１３０からパラメータを使用するという信号があれば、パラメータ検出手段１２０からのパラメータと理想パラメータ計算手段１４０からの理想パラメータとの差を求め、その差分の回転角で画像を変換させるような座標を計算し、画像メモリ制御手段１０１に出力して、画像メモリ１００に保持された新画像から画像を読み出し、補間手段１６０に出力する。それに対し、パラメータ判別手段１３０からパラメータが使用不可であるという信号があれば、パラメータ検出手段１２０からの以前のパラメータと理想パラメータ計算手段１４０からの予測理想パラメータの差を求め、その差分の回転角で画像を変換させるような座標を計算し、画像メモリ制御手段１０１に出力して、画像メモリ１００に保持された旧画像を読み出し、補間手段１６０に出力する。つまり、新画像から求めたパラメータの精度が低い時は、旧画像を予測理想パラメータになるように変換する。これを示したのが図６である。図６は回転角αの時を示しているが、図６（ａ）はパラメータ判別手段１３０でパラメータの精度が高いと判別したときを示しており、黒丸がパラメータ抽出手段１２０から入力された実際のパラメータ値、メッシュで示した白丸が理想パラメータ計算手段１４０から入力された理想パラメータで、その差分の回転角ｄαで変換するように計算する。それに対し図６（ｂ）はパラメータ判別手段１３０でパラメータの精度が低いと判別したときを示しており、黒丸が前の画像に関して、パラメータ抽出手段１２０から入力されたパラメータ値、メッシュで示した白丸が理想パラメータ計算手段１４０から入力された予測理想パラメータで、その差分ｄαで変換するように計算する。ちなみに、点線が理想曲線で、白丸で示したのがその前の時刻の理想パラメータであり、その差分ｄα‘は、前の時刻の時の変換に使用した差分である。
【００４９】
画像メモリ制御手段１０１は、パラメータ判別手段１３０からの信号に基づいて、画像メモリ１００に保持された画像のうち、新画像と旧画像のどちらかを読み出す。また、次の画像がきたときに、以前のパラメータの精度が高ければ、旧画像が保持されていた領域にその次の画像を保持して新画像とし、それまでの新画像を旧画像とする。また、以前のパラメータの精度が低ければ、新画像が保持されていた領域次の画像を保持し、新画像とする。なおこのときは、旧画像はそのままである。
【００５０】
パラメータ判別手段１３０で、パラメータの精度が低いと判別されたときの全体の動作を、図６に示すフローチャートを使用して、再度説明する。図７のステップS７０１において、理想パラメータ計算手段１４０で、予測理想パラメータを求める。ステップS７０２において、画像変換手段１５０で以前のパラメータと予測理想パラメータから補正量を求める。ステップS７０３において、画像メモリ制御手段１０１で、旧画像を読み出し、また新画像が保持されていた領域に次の画像を保持する。なお、ステップS７０３では、旧画像を読み出しながら、新画像が保持されていた領域に次の画像を書き込むことも可能である。
【００５１】
補間手段１６０では、画像変換手段１５０で計算された座標の画素値をその周囲の点の画素値に基づいて補間する。そして、補間した結果を出力する。出力された補間画像は、記録手段１７０で記録されたり、表示手段１８０で表示されたり、送信手段１９０インターネットなどに送信されたりする。
【００５２】
このように、本実施例では画像の回転変換を行ない、撮像装置の回転を補正することで、移動撮影時の画像揺れの補正が出来るという効果がある。また、求めた回転パラメータの精度を調査し、精度が高くそのパラメータを使用する時と、動きベクトルの誤抽出や撮像装置の並進移動等によってパラメータの精度が低く、そのパラメータを使用せずに、予測したパラメータを使用する時とにわけることで、補正の精度が向上するという効果がある。また、パラメータの精度が低いときは、実際の回転角の計算にそのパラメータを使用しないので、それ以降の画像に対する処理への影響を防ぐことが出来るという効果もある。
【実施例２】
【００５３】
上記示した第１の実施例では、移動ベクトルから求めたパラメータの精度から、そのパラメータを使用するか否かの判別を行っていた。それに対し本実施例では、入力された画像を使用するか否かの判別を行う。具体的には、その画像がブレていないかを判別する。つまり、移動撮影における一瞬の動きと、イメージセンサの露光時間との関係で、撮影された画像がブレていることがある。そのような画像においては、移動ベクトルの誤抽出も起き易いし、またその画像を補正して出力しても、低周波の多い見にくい画像となる。そこで、本実施例では、そのようなブレた画像を判別し、補正画像の作成に使用しないようにする。
【００５４】
図８が本実施例の構成を示す図である。
【００５５】
図８中、図１と同じ番号は同じものを示している。図８において、１００は画像メモリを、８０１は画像メモリ制御手段を、１１０は動きベクトル抽出手段を、８１５は画像判別手段を、１２０はパラメータ抽出手段を、８４０は理想パラメータ計算手段を、８５０は画像変換手段を、１６０は補間手段を、１７０は記録手段を、１８０は表示手段を、１９０は送信手段を示す。
【００５６】
以下、図８中に示された構成要素において、第１の実施例と異なる手段である、画像判別手段８１５と理想パラメータ計算手段８４０、画像変換手段８５０および画像メモリ制御手段８０１の機能を説明する。
【００５７】
画像判別手段８１５では、入力された画像の周波数を調査し、低周波が多ければブレ画像として、その画像を使用しないと判断する。また、動きベクトル抽出手段１１０から入力される動きベクトルの中で、信頼度が低い動きベクトルが多い時もその画像を使用しないと判断する。理想パラメータ計算手段８４０は、パラメータ抽出手段１２０で求められたパラメータを既定数分保持し、それらから理想的なパラメータを計算し、その理想パラメータを画像変換手段８５０に出力する。また、画像判別手段８１５から画像を使用しないという信号が入力されたときは、理想パラメータを予測し、その予測理想パラメータを画像変換手段８５０に出力する。画像変換手段８５０では、パラメータ計算手段１２０からのパラメータと理想パラメータ計算手段８４０からの理想パラメータもしくは予測理想パラメータに基づき、画像メモリ１００に保持された画像から、記録手段１７０に記録する画像または表示手段１８０に表示する画像または送信手段１９０から送信する変換画像を作成するための、画像メモリ１００の座標を計算し、画像メモリ制御手段８０１へ出力する。画像メモリ制御手段８０１は、画像の書き込みや画像メモリ１００からの画像の読み出しの制御、及びそのアドレスの設定を行なう際に、その画像を使用するか否かの信号によって、その制御を変更する。
【００５８】
続いて、図８から図１０を用いて、この動画像処理装置及び方法の全体の動作を説明する。
【００５９】
デジタルの入力画像は分岐され、画像メモリ１００と、動きベクトル抽出手段１１０と、画像判別手段８１５とに入力される。画像メモリ１００に入力する経路では、入力された画像を、画像メモリ制御手段８０１の制御で画像メモリ１００に保持する。また、動きベクトル抽出手段１１０にも入力され、動きベクトルの抽出に用いられる。さらに画像判別手段８１５にも入力され、画像のブレ等の判別を行う。
【００６０】
画像メモリ１００は、デジタル入力画像を保持するとともに、その前の時刻に保持された画像を読み出し、動きベクトル抽出手段１１０に出力する。つまり、画像メモリ１００は、旧画像と新画像の２枚の画像を保持している。
【００６１】
続いて、動きベクトル抽出手段１１０において、入力されたデジタルの入力画像と、画像メモリ１００より入力される、前の時刻の画像とでマッチングをとり、画像中の動きベクトルを求める。この動きベクトルを求める点の選択は、第１の実施例と同様である。抽出された動きベクトルおよびその信頼度は、画像判別手段８１５に出力される。
【００６２】
画像判別手段８１５では、入力された画像の周波数を調査し、低周波が多ければブレ画像として、その画像を使用しないと判断する。また、動きベクトル抽出手段１１０から入力される動きベクトルの中で、信頼度が低い動きベクトルが多い時もその画像を使用しないと判断する。画像の周波数の検出方法は、例えばFFTを用いて、ある周波数より高い、高周波成分の和が、ある閾値より低いことで判別することが出来る。また、より簡易に低周波の多い画像を判別する方法として、ある代表点の近傍との画素値の差の和を用いることも出来る。この方法について、図９のフローチャートを用いて説明する。
【００６３】
図９のフローチャートにおいて、ステップS９０１では、変数を初期化する。ステップS９０２では画像から、任意の数の代表点を決定する。これは動きベクトルを求めた点と同じでも良い。ステップS９０３ではステップS９０２で選択された代表点の内から１つを選択し、その代表点の画素値を変数Iに入力する。ステップS９０４では、ステップS９０３で選択された代表点の近傍の点の中から１つの点を選択し、その点の画素値を変数Rに入力する。ステップS９０５では、変数Iと変数Rの差の絶対値を求め変数Dに入力する。ステップS９０６では、変数Dを変数Sに足す。ステップS９０７では、代表点の近傍全ての点で終了したか判別し、終わっていなければステップS９０４に戻る。ステップS９０８では、ステップS９０２で選択した代表点全てで終わったか判別し、終わっていなければステップS９０３に戻る。ステップS９０９では、変数Sと閾値Thとを比較し、閾値Thより変数Sの方が大きければ、ステップS９１０で正常な画像と判別する。逆に、変数Sの値のほうが閾値Thより小さければ、低周波が多いとして、ステップS９１１で低周波の多い画像と判別する。そして、その画像を使用しないと判断する。
【００６４】
また、動きベクトル抽出手段１１０から入力される動きベクトルの信頼度を調査する。第１の実施例で述べたように、パラメータ抽出手段１２０において、信頼度の低い動きベクトルは使用しないようにして、パラメータの精度を向上させるが、この画像判別手段８１５では、その信頼度の低い動きベクトルの割合が多い場合、例えば７割以上が信頼度が低いという動きベクトルの場合、その画像が、動きベクトルが検出しにくい画像と判別する。そして、その画像を使用しないと判断する。
【００６５】
画像判別手段８１５で画像を使用すると判断された場合は、動きベクトルは、パラメータ抽出手段１２０に出力され、パラメータ抽出手段１２０では、入力された動きベクトルから時間的に連続する画像間の回転パラメータを計算する。この計算は第１の実施例と同様であるので説明は省略する。計算された回転パラメータは、理想パラメータ計算手段８４０に出力される。そして、第１の実施例同様、理想パラメータ計算手段８４０で理想パラメータを求め、画像変換手段８５０に出力する。画像変換手段８５０では、第１の実施例と同様に変換座標を計算し、画像メモリ制御手段８０１に出力する。画像メモリ制御手段８０１では、画像変換手段８５０から入力された情報に基づいて、画像メモリ１００に保持された新画像が読み出される。そして、次の画像がくれば、旧画像の領域に書き込み、新画像とし、今までの新画像が旧画像となる。補間手段１６０では、画像メモリ１００から読みだされた変換画像を補間して出力し、そして、出力された補間画像は、記録手段１７０で記録されたり、表示手段１８０で表示されたり、送信手段１９０インターネットなどに送信されたりする。
【００６６】
それに対し、画像判別手段７１５で画像がブレ画像等使用しない画像と判断された場合について、図１０に示すフローチャートを使用して、説明する。入力画像を使用しないと判断されると、その結果が、理想パラメータ計算手段８４０と画像変換手段８５０と画像メモリ制御手段８０１に出力される。これが、図１０のステップS１００１である。続いて、理想パラメータ計算手段８４０で、第１の実施例でパラメータを使用しないときと同様に、予測理想パラメータを求め、画像変換手段８５０に出力する。これがステップS１００２である。そして、画像変換手段８５０では、予測理想パラメータと以前のパラメータとを用いて、補正量も求め、変換画像のための座標を計算し、画像メモリ制御手段８０１に出力する。これがステップS１００３である。そして、画像メモリ制御手段８０１で、画像変換手段８５０からの情報に基づき旧画像を読み出し、また次の画像がくれば、新画像が保持されていた領域に次の画像を保持し、新画像とする。これがステップS１００６である。補間手段１６０では、画像メモリ１００から読みだされた変換画像を補間して出力し、そして、出力された補間画像は、記録手段１７０で記録されたり、表示手段１８０で表示されたり、送信手段１９０インターネットなどに送信されたりする。
【００６７】
上記示したように、本実施例では、パラメータの推定の困難な入力画像を判別することで、画像揺れ補正の精度を向上させることが出来るという効果がある。
【００６８】
なお、第1及び第２の実施例で示した動画像処理を、カメラ一体型記録装置で用いて、撮影した画像の画像揺れが無いように処理した画像を記録する事、及び撮影した画像や記録された画像を再生する装置で用いて、画像揺れが無いように処理した画像を再生すること、及びロボット等の移動手段をネットワークを介して遠隔操作するシステムに用いて、移動手段で撮影された動画像を画像揺れが無いように処理した画像をネットワークに送信して、オペレータに表示すること、及びロボット等の移動手段をネットワークを介して遠隔操作するシステムに用いて、ネットワークに送信された、移動手段で撮影された動画像を画像揺れが無いように処理した画像をオペレータに表示すること、及び動画像処理プログラムとすること、及び画像入力手段で入力された画像を、そのプログラムをプロセッサで実行し、画像揺れが無いように処理した画像を、記録または表示またはネットワークに送信することが可能である。
【図面の簡単な説明】
【００６９】
【図１】実施例１の構成を示す図
【図２】パラメータ判別の動作を示すフローチャート
【図３】回転角と理想曲線を示す図
【図４】理想曲線の更新を示す図
【図５】予測理想パラメータを示す図
【図６】補正量を示す図
【図７】パラメータの精度が低い時の動作を示すフローチャート
【図８】実施例２の構成を示す図
【図９】低周波画像の判別の動作を示すフローチャート
【図１０】画像が低周波画像と判別されたときの動作を示すフローチャート
【符号の説明】
【００７０】
１００  画像メモリ
１０１、８０１  画像メモリ制御手段
１１０  動きベクトル抽出手段
１２０  パラメータ抽出手段
１３０  パラメータ判別手段
１４０、８４０  理想パラメータ計算手段
１５０、８５０  画像変換手段
１６０  補間手段
１７０  記録手段
１８０  表示手段
１９０  送信手段
８１５  画像判別手段
【図１】
2010011050.tif 000003
【図２】
2010011050.tif 000004
【図３】
2010011050.tif 000005
【図４】
2010011050.tif 000006
【図５】
2010011050.tif 000007
【図６】
2010011050.tif 000008
【図７】
2010011050.tif 000009
【図８】
2010011050.tif 000010
【図９】
2010011050.tif 000011
【図１０】
2010011050.tif 000012