(57)【要約】【課題】画像振動補償装置とその方法を提供する。【解決手段】その装置および方法は、デジタルスチルカメラ（ＤＳＣ）またはデジタルビデオレコーダ（ＤＶＲ）等の撮像装置に適用し、画像を捕捉する際の画像振動を補償する。画像振動補償装置は、適応エッジ抽出器、サブ領域運動検出器、フレーム移動計算器、および修正ベクトル発生器を有する。画像振動補償装置は現在の画像と前の画像の違いを解析し、修正移動ベクトルを出力し、画像振動補償機能を実現する。画像振動補償方法では、蓄積補償モードを用いて、比較的大きな画像振動が短期間に発生した際、使用者の目に不快感を引き起こす画像フレームの高速移動を妨げる。【選択図】図１
2007166578.tif 000002
【特許請求の範囲】
【請求項１】
捕捉した画像を補償するために撮像装置に適用可能な画像振動補償装置であって、
画像の画像信号を受け取り、画像信号内の各画素のエッジ特徴値を計算し、エッジ特徴信号を出力し、前記エッジ特徴フレーム信号で構成したエッジ特徴フレームが複数のサブ領域を備えた適応エッジ抽出器と、
適応エッジ抽出器に電気的に接続し、現在のエッジ特徴フレームの各サブ領域と同様の前のエッジ特徴フレーム内のサブ領域を各々検索し、複数の第一移動ベクトルを出力するサブ領域運動検出器と、
サブ領域運動検出器に電気的に接続し、第一移動ベクトルに従って、前の画像に対応する現在の画像の第二移動ベクトルを計算するフレーム移動計算器と、
フレーム移動計算器に電気的に接続し、第二移動ベクトルを所定の期間蓄積し、修正移動ベクトルを出力する修正ベクトル発生器を有し、
前記撮像装置が修正移動ベクトルに従って画像を補償する画像振動補償装置。
【請求項２】
撮像装置が、デジタルスチルカメラ（ＤＳＣ）である請求項１記載の画像振動補償装置。
【請求項３】
撮像装置が、デジタルビデオレコーダ（ＤＶＲ）である請求項１記載の画像振動補償装置。
【請求項４】
エッジ特徴フレームが、二値のエッジ特徴信号によって画像内の各画素のエッジ特徴を表す請求項１記載の画像振動補償装置。
【請求項５】
適応エッジ抽出器が、
画像信号を受け取り、そのノイズを除去するノイズフィルタと、
ノイズフィルタに電気的に接続し、加重平均法で画像信号内の対応する各画素のエッジ特徴値を計算し、画像信号のエッジ情報を獲得および出力するエッジ特徴抽出ユニットと、
エッジ特徴抽出ユニットに電気的に接続し、閾値に従って、画像信号のエッジ情報を二値のエッジ特徴信号に変換する適応変換ユニットを有する請求項１記載の画像振動補償装置。
【請求項６】
適応変換ユニットが、前のエッジ特徴信号の中で高レベルを備えたものの割合に従って、現在の閾値を決定する請求項５記載の画像振動補償装置。
【請求項７】
サブ領域運動検出器が、
前のエッジ特徴フレームを格納するエッジ特徴メモリと、
エッジ特徴メモリに電気的に接続し、現在のエッジ特徴フレームの各サブ領域を順次受け取り、現在のエッジ特徴フレームの各サブ領域と、前のエッジ特徴フレームの対応する検索範囲内の全てのサブ領域の相関値を各々計算する相関計算器と、
相関計算器に電気的に接続し、相関計算器が提供した相関値に従って、現在のエッジ特徴フレーム内の各サブ領域の第一移動ベクトルを各々計算および出力する移動ベクトル計算器を有する請求項１記載の画像振動補償装置。
【請求項８】
フレーム移動計算器が、第一移動ベクトルの中で最も高い相関値を備えたものを、第二移動ベクトルとして出力する請求項７記載の画像振動補償装置。
【請求項９】
修正ベクトル発生器がさらに設定に従って、単一フレーム補償モードで動作するか、または蓄積補償モードで動作するかを決定する請求項１記載の画像振動補償装置。
【請求項１０】
単一フレーム補償モードの場合、修正ベクトル発生器が、所定の各期間内にフレーム移動計算器で出力した第二移動ベクトルを連続的に受け取り、所定の期間内に受け取った第二移動ベクトルを修正移動ベクトルとして構成する請求項９記載の画像振動補償装置。
【請求項１１】
蓄積補償モードの場合、修正ベクトル発生器が、所定の期間内に受け取った第二移動ベクトルを修正移動ベクトルとして構成し、所定の決定パラメータと出力修正移動ベクトルの関係に従って、出力修正移動ベクトルを徐々に低減するかどうかを決定する請求項９記載の画像振動補償装置。
【請求項１２】
捕捉した画像を補償するために撮像装置に適用可能な画像振動補償方法であって、
画像内のエッジ特徴を捕捉し、エッジ特徴フレームを獲得し、前記エッジ特徴フレームが複数のサブ領域を備え、
現在の画像内のエッジ特徴フレームの各サブ領域に従って、前の画像のエッジ特徴フレーム内の同様のサブ領域を各々検索し、複数の第一移動ベクトルを獲得し、
第一移動ベクトルに従って、前の画像信号に対応する現在の画像信号の第二移動ベクトルを計算し、
第二移動ベクトルを所定の期間蓄積し、それによって修正移動ベクトルを出力し、
修正移動ベクトルに従って、撮像装置による画像振動を補償することを含む方法。
【請求項１３】
撮像装置が、ＤＳＣである請求項１２記載の画像振動補償方法。
【請求項１４】
撮像装置が、ＤＶＲである請求項１２記載の画像振動補償方法。
【請求項１５】
エッジ特徴フレームが、画像内の各画素のエッジ特徴値を二値データで表す請求項１２記載の画像振動補償方法。
【請求項１６】
画像のエッジ特徴を捕捉するステップが、
画像のノイズを除去し、
加重平均法で画像内の対応する画素を計算し、画像のエッジ情報を獲得し、
閾値に従って画像のエッジ情報を二値のエッジ特徴に変換し、エッジ特徴信号によってエッジ特徴フレームを構成することを含む請求項１２記載の画像振動補償方法。
【請求項１７】
エッジ特徴フレーム全体の中で前のエッジ特徴フレーム内のエッジとして表した画素の数の割合に従って、現在の閾値を決定した請求項１６記載の画像振動補償方法。
【請求項１８】
前の画像のエッジ特徴フレーム内の同様のサブ領域を検索し、第一移動ベクトルを獲得するステップが、
現在のエッジ特徴フレームの各サブ領域と、前のエッジ特徴フレームの対応する検索範囲内の全てのサブ領域の相関値を各々計算し、
相関値に従って、現在のエッジ特徴フレーム内の各サブ領域の第一移動ベクトルを計算および出力することを含む請求項１２記載の画像振動補償方法。
【請求項１９】
第二移動ベクトルが、第一移動ベクトルの中で最も高い相関値を備えたものである請求項１８記載の画像振動補償方法。
【請求項２０】
さらに、単一フレーム補償モードで動作するか、蓄積補償モードで動作するかを決定する請求項１２記載の画像振動補償方法。
【請求項２１】
さらに、
第一フレーム補償モードの場合、所定の期間内の第二移動ベクトルの全てを修正移動ベクトルとして構成し、
蓄積補償モードの場合、所定の期間に受け取った第二移動ベクトルの全てを修正移動ベクトルとして構成し、所定の決定パラメータと修正移動ベクトルの関係に従って、修正移動ベクトルを徐々に低減するかどうかを決定することを含む請求項２０記載の画像振動補償方法。
【請求項２２】
蓄積補償モードで、
決定パラメータを指定し、
修正移動ベクトルが決定パラメータを超えない場合、現在の第二移動ベクトルから修正移動ベクトルを構成し、
現在の第二移動ベクトルから修正移動ベクトルを構成する際、修正移動ベクトルが決定パラメータを超える場合、現在の第二移動ベクトルの一部から修正移動ベクトルを構成し、
構成した修正移動ベクトルが、修正限界値を超えるかどうかを決定し、
修正移動ベクトルが修正限界値を超える場合、修正移動ベクトルをベクトルとして修正限界値を超えないように設定する請求項２０記載の画像振動補償方法。
【請求項２３】
蓄積補償モードでさらに、
修正移動ベクトルが決定パラメータを超える場合、修正移動ベクトルを連続的に低減する請求項２２記載の画像振動補償方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は撮像装置に関し、より詳細には、画像振動補償装置、および撮像装置に適用したその方法に関する。
【背景技術】
【０００２】
デジタル撮像装置は、既存の機械的撮像装置の代わりとなっている。デジタル撮像装置内で用いられる多くの制御および計算機構は、既存の機械的カメラ部品の代わりとなっている。従って、消費者に広く受け入れられた軽量、薄型、短縮型、および小型デジタル撮像装置が市販されている。しかし、デジタル撮像装置が軽量、薄型になると、撮像中のデジタル撮像装置の振動によって画像振動が生じ、その結果、写真画像フレームは使用者の期待に応えられなくなる。このような事例は、デジタル撮像装置を片手で用いる事でより明らかになる。
【０００３】
デジタル撮像システムの上記の振動現象を解決する技術が、一時期開発されてきた。例えば、撮像する際、ジャイロスコープを用いてデジタル撮像システムの動きを検出し、その後、回転によって生成される二つのパラメータをジャイロスコープが計算し、二つのパラメータに従って逆方向にレンズ部品を駆動し、画像の動きを補償する。しかし、ジャイロスコープ検出器およびジンバル機構は大重量、大型、高価等の欠点を有し、デジタル撮像装置の体積と重量を低減できず、コストを増大させる。
【０００４】
米国特許第６，５３５，２４４号に開示されている別の既存の技術では、ビットプレーン（ｂｉｔ  ｐｌａｎｅ）照合を用いて、入力画像を修正する。前記既存の技術では、入力画像信号を解析し、それを８ビットプレーンに変換し、各ビットプレーンの光束とビット変換率を参照し、現在画像の最良ビットプレーンの四隅にある四つの検出窓の画像値と、前の画像の最良ビットプレーンの四隅にある四つの検出窓の画像値とを比較することで、最良ビットプレーンを決定する。それによって、検出窓の移動ベクトルを計算し、複数の移動ベクトルを蓄積した後、画像を移動ベクトルと反対方向に移動させる。しかし、各ビットプレーンの光束量とビット変換率を参照することで、最良ビットプレーンを決定する方法は完全ではない。所定の確実な方法で最良ビットプレーンを決定できない場合、画像安定化素子の効率は低下し、従って既存の技術を改善する必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この発明の目的は、デジタルスチルカメラ（ＤＳＣ）およびデジタルビデオレコーダ（ＤＶＲ）等の撮像装置に適用した画像振動補償装置を提供することであり、前記撮像装置で捕捉した画像は次の計算のために簡略化し、計算要件を低減する。従って、手振れ補償機能を備えた手頃な価格の撮像装置を提供できる。
【０００６】
この発明の別の目的は、ＤＳＣまたはＤＶＲ等の撮像装置に適用した画像振動補償方法を提供することであり、ここで画像フレームの高速ジッタによって生じた視覚的不快感を防ぎ、画像フレームの安定制御を実現できる。
【課題を解決するための手段】
【０００７】
上記および他の目的に基づいて、この発明は画像振動補償装置を提供し、撮像装置で捕捉した画像を補償できるようにする。画像振動補償装置は、適応エッジ抽出器、サブ領域運動検出器、フレーム移動計算器、および修正ベクトル発生器を有する。適応エッジ検出器は画像の画像信号を受け取り、画像信号内の各画素のエッジ特徴値を計算し、エッジ特徴信号を出力するために用いられる。エッジ特徴信号で構成したエッジ特徴フレームは、複数のサブ領域を有する。サブ領域運動検出器は適応エッジ抽出器と電気的に接続し、現在のエッジ特徴フレームの各サブ領域と同様の前のエッジ特徴フレーム内のサブ領域を検索し、複数の第一移動ベクトルを出力する。フレーム移動計算器はサブ領域運動検出器と電気的に接続し、複数の第一移動ベクトルに従って、前の画像に対応する現在の画像の第二移動ベクトルを計算する。修正ベクトル発生器はフレーム移動計算器と電気的に接続し、第二移動ベクトルを所定の期間蓄積し、修正移動ベクトルを出力する。その後、撮像装置は、修正移動ベクトルに従って画像振動を修正する。
【０００８】
この発明の一実施例では、画像振動捕捉装置はＤＳＣまたはＤＶＲであり、エッジ特徴フレームは二値データによって各画素の対応するエッジ特徴信号を表す。前記適応エッジ抽出器は、ノイズフィルタ、エッジ特徴抽出ユニット、および適応変換ユニットを有する。ノイズフィルタは画像信号を受け取り、ノイズを除去するために用いられる。エッジ特徴抽出ユニットはノイズフィルタと電気的に接続し、加重平均法で画像信号内の対応する各画素のエッジ特徴値を計算し、画像信号のエッジ特徴情報を獲得および出力するために用いられる。また、適応変換ユニットはエッジ特徴抽出ユニットと電気的に接続し、閾値に従って、画像信号のエッジ情報を二値のエッジ特徴信号に変換する。
【０００９】
この発明の一実施例では、適応変換ユニットは、前のエッジ特徴信号の中の高レベルのものの割合に従って、現在の閾値を決定する。サブ領域運動検出器は、エッジ特徴メモリ、相関計算器、および移動ベクトル計算器を有する。エッジ特徴メモリは、前のエッジ特徴フレームを格納するために用いられる。相関計算器はエッジ特徴メモリと電気的に接続し、現在のエッジ特徴フレームの各サブ領域を順次受け取り、現在のエッジ特徴フレームの各サブ領域と、前のエッジ特徴フレームの対応する検索範囲内の全てのサブ領域の相関値を計算する。移動ベクトル計算器は相関計算器と電気的に接続し、相関計算器が提供した複数の相関値に従って、現在のエッジ特徴フレームの各サブ領域の第一移動ベクトルを計算し出力する。
【００１０】
この発明の一実施例では、フレーム移動計算器は、複数の第一移動ベクトル内で最も高い相関値を備えたものを第二移動ベクトルとして出力する。さらに、修正ベクトル発生器は設定に従って、単一フレーム補償モードで動作するか、蓄積補償モードで動作するかを決定する。単一フレーム動作モードの場合、修正ベクトル発生器は前記所定の期間内の各々でフレーム移動計算器が出力した第二移動ベクトルを受け取り、所定の期間に受け取った第二移動ベクトルを修正移動ベクトルとして構成する。また、蓄積補償モードの場合、修正ベクトル発生器は所定の期間に受け取った第二移動ベクトルを修正移動ベクトルとして構成し、所定の決定パラメータと出力修正移動ベクトルの関係に従って、出力修正移動ベクトルを累進的に低減するかどうかを決定する。
【００１１】
この発明で開示した画像振動補償方法は、撮像装置で捕捉した画像を補償するために用いられる。この画像振動補償方法では、最初に画像内のエッジ特徴信号を捕捉および計算し、複数のサブ領域を備えたエッジ特徴フレームを獲得し、現在の画像のエッジ特徴フレームの各サブ領域に従って、前の画像のエッジ特徴フレーム内の同様のサブ領域を各々検索し、複数の第一移動ベクトルを獲得し、それから第一移動ベクトルに従って、前の画像に対応する現在の画像の第二移動ベクトルを計算し、第二移動ベクトルを所定の期間蓄積し、それから修正移動ベクトルを出力し、修正移動ベクトルに従って、撮像装置による画像振動を補償する。
【００１２】
この発明の一実施例では、撮像装置はＤＳＣまたはＤＶＲである。さらに、エッジ特徴フレームは、画像内の各画素のエッジ特徴値を二値データで表す。
【００１３】
この発明の一実施例では、上記の画像振動補償方法の画像内のエッジ特徴信号を捕捉するステップは、画像のノイズを除去し、加重平均法で画像内の対応する画素を計算し、画像のエッジ情報を獲得し、閾値に従って、画像のエッジ情報を二値のエッジ特徴信号に変換し、エッジ特徴信号によってエッジ特徴フレームを構成することを含んでいる。現在の閾値は、前のエッジ特徴信号の中の高レベルのものの割合に従って決定する。
【００１４】
この発明の一実施例では、上記の画像振動補償方法において、前の画像のエッジ特徴フレーム内の同様のサブ領域を検索し、複数の第一移動ベクトルを獲得するステップは、現在のエッジ特徴フレームの各サブ領域と、前のエッジ特徴フレームの対応する検索範囲内の全てのサブ領域の相関値を計算し、複数の相関値に従って、現在のエッジ特徴フレーム内の各サブ領域の第一移動ベクトルを各々計算し出力することを含んでいる。そして、次のステップの第二移動ベクトルは、複数の第一移動ベクトル内で最も高い相関値を備えたものである。
【００１５】
この発明の一実施例では、上記の画像振動補償方法はさらに、画像振動補償装置を単一フレーム補償モードで動作させるか、蓄積補償モードで動作させかを決定することを含んでいる。単一フレーム補償モードの場合、所定の期間内の第二移動ベクトルの全てを修正移動ベクトルとして構成する。蓄積補償モードの場合、所定の期間に受け取った第二移動ベクトルの全てを修正移動ベクトルとして構成し、所定の決定パラメータと修正移動ベクトルの関係に従って、累進的に修正移動ベクトルを低減するかどうかを決定する。蓄積補償モードではさらに、最初に決定パラメータを指定し、修正移動ベクトルが決定パラメータを超えない場合、現在の第二移動ベクトルから修正移動ベクトルを構成し、第二移動ベクトルから修正移動ベクトルを構成し、修正移動ベクトルが所定のパラメータを超える場合、現在の第二移動ベクトルの一部から修正移動ベクトルを構成し、それから構成した修正移動ベクトルが修正限界値を超えるかどうかを決定し、修正移動ベクトルが修正限界値を超える場合、修正移動ベクトルが修正限界値を超えないように設定する。上記の蓄積補償モードではさらに、修正移動ベクトルが決定パラメータを超える場合、修正移動ベクトルを連続的に低減する。
【発明の効果】
【００１６】
この発明の画像振動補償装置およびその方法では、画像は二値のエッジ特徴信号に変換する。それから、エッジ特徴信号で構成したエッジ特徴フレームの計算を実行し、撮像装置を使用する際に生じた手振れ現象を効果的に補正できるようにする。従来の技術と比較すると、計算時間および複雑性を著しく低減できる。
【００１７】
別の観点からは、この発明は、撮像装置を使用中、より大きな手振れが短い期間に発生した場合、累進的補償を実行可能な蓄積補償モードを提供し、表示フレームがひどいジッタを起こさないようにし、さらに画像フレームの安定性をもたらし、ＤＳＣまたはＤＶＲの品質を向上させる。
【００１８】
この発明の上記の目的および他の目的、特徴と利点を理解可能にするために、図面と共に好ましい実施例を以降で詳しく説明する。
【００１９】
当然のことながら、上記の一般的な説明と以降の詳細な説明は例示的なものであり、請求したとおりの発明をさらに説明するものとする。
【発明を実施するための最良の形態】
【００２０】
図１は、この発明の一実施例による画像振動補償装置の構造ブロック図である。図１を参照すると、実施例において画像振動補償装置１００は、デジタルスチルカメラ（ＤＳＣ）またはデジタルビデオレコーダ（ＤＶＲ）等の撮像装置の振動による、捕捉した画像の画像フレーム振動を補償可能にするために用いられる。画像振動補償装置１００は、適応エッジ抽出器１１０、サブ領域運動検出器１２０、フレーム移動計算器１３０、および修正ベクトル発生器１４０を有する。適応エッジ抽出器１１０は、撮像装置が捕捉した画像フレームの画像信号Ｓｉに従って、エッジ特徴信号Ｓｅを出力する。サブ領域運動検出器１２０は適応エッジ抽出器１１０と電気的に接続し、エッジ特徴信号Ｓｅに従って複数の第一移動ベクトルＭＶ１〜ＭＶｎを出力し、ここでｎは１より大きな整数である。フレーム移動計算器１３０はサブ領域運動検出器１２０と電気的に接続し、複数の第一移動ベクトルＭＶ１〜ＭＶｎに従って、前の画像に対応する現在の画像の第二移動ベクトルＭＶｍを計算する。修正ベクトル発生器１４０はフレーム移動計算器１３０と電気的に接続し、第二移動ベクトルＭＶｍを所定の期間蓄積し、それによって修正移動ベクトルＭＶｆを出力する。それから、画像振動補償装置１００は、修正移動ベクトルＭＶｆに従って、撮像装置の振動を補償する。
【００２１】
図２Ａは、この発明の一実施例による適応エッジ抽出器の構造ブロック図である。図２Ｂは、この発明の一実施例による画像信号のエッジ特徴データの概略図である。図２Ａと２Ｂを参照すると、適応エッジ抽出器１１０は画像の画像信号Ｓｉを受け取り、画像信号Ｓｉ内の各画素のエッジ特徴値を計算し、エッジ特徴信号Ｓｅを出力するために用いられる。適応エッジ抽出器１１０は、ノイズフィルタ２１２、エッジ特徴抽出ユニット２１４、および適応変換ユニット２１６を有する。ノイズフィルタ２１２は、画像信号Ｓｉを受け取り、そのノイズを除去し、画像信号Ｓｉ’を出力し、それによって画像信号Ｓｉの均一性を改善し、次の計算の精度を向上させるために用いられる。エッジ特徴抽出ユニット２１４はノイズフィルタ２１２と電気的に接続し、加重平均法で画像信号内の対応する各画素のエッジ特徴値を計算し、エッジ情報Ｓｄを構成および出力するために用いられる。加重平均法は、例えば（式１）を用いることができる。
【数１】
2007166578.tif 000003
【００２２】
ここで、ｇ（ｘ，ｙ）はｙ番目のラインのｘ番目の画素のエッジ特徴値を示し、ｗ（ｓ，ｔ）は加重関数を示し、ｆ（ｘ，ｙ）は画素値を示し、ａはｇ（ｘ，ｙ）の計算で考慮すべきｘ方向に延びる前記画素の周りの画素の距離を示し、つまり、ｇ（ｘ，ｙ）の計算では前記画素の周りの２ａ×２ｂ画素を考慮する。
【００２３】
さらに、ｆ（ｘ，ｙ）のラプラシアン関数を用いて、画像信号Ｓｉの能力をさらに改善し、詳細なデータを捕捉できる。つまり、（式２）となる。
【数２】
2007166578.tif 000004
【００２４】
適応変換ユニット２１６はエッジ特徴抽出ユニット２１４と電気的に接続し、画像信号Ｓｉのエッジ情報Ｓｄを、閾値Ｔに従って０と１で表したエッジ特徴信号Ｓｅに変換し、前記閾値Ｔより大きなエッジ特徴値を備えた画素がエッジ画素となる。この方法では、既に複数ビットで表された画素値を１ビットで表したものに変換する。従って、画像信号Ｓｉの次の計算が簡略化される。さらに、ある画素と隣接する画素のエッジ特徴値の差が大きい、例えば、画素Ｐ２のエッジ特徴値が画素Ｐ１と画素Ｐ３のエッジ特徴値よりかなり大きい場合、画素Ｐ２の画素値は１に設定され、画素Ｐ２はエッジ画素になるように設定される。エッジ特徴信号Ｓｅの全てのエッジ画素は、次の解析および計算で画像のエッジを表すために用いられる。
【００２５】
図３は、この発明の一実施例によるサブ領域運動検出器の回路ブロック図である。図４Ａは、この発明の一実施例による画像フレームおよびフレーム移動の概略図である。図４Ｂは、この発明の一実施例によるサブ領域の第一移動ベクトルを計算する概略図である。図３、４Ａおよび４Ｂを参照すると、サブ領域運動検出器１２０は、エッジ特徴メモリ３２１、相関計算器３２３、および移動ベクトル計算器３２５を有する。エッジ特徴メモリ３２１は、前の画像信号のエッジ特徴信号Ｓｅ０を格納するために用いられる。相関計算器３２３はエッジ特徴メモリ３２１と電気的に接続し、現在のエッジ特徴信号Ｓｅで構成した現在のエッジ特徴フレームＦｅ１の各サブ領域を順次受け取り、前のエッジ特徴信号Ｓｅ０で構成した前のエッジ特徴フレームＦｅ０の対応する検索範囲内の全ての位置で相関値を計算する。つまり、現在のエッジ特徴フレームＦｅ１のあるサブ領域について、前のエッジ特徴フレームＦｅ０の対応する検索範囲内の各位置に対して、比較領域（上記のサブ領域と等しいサイズを備えた領域）を各々定義する。相関計算器３２３が現在のエッジ特徴フレームＦｅ１のあるサブ領域を受け取ると、相関計算器３２３はＦｅ０の対応する検索範囲内の各比較領域とサブ領域を比較し、各比較領域の比較結果に従って、複数の相関値を出力する。移動ベクトル計算器３２５は相関計算器３２３と電気的に接続し、相関計算器３２３が提供した複数の相関値に従って、現在のエッジ特徴フレームＦｅ１の各サブ領域に対応する前のエッジ特徴フレームＦｅ０内のサブ領域を決定し、各々計算し、現在のエッジ特徴フレームＦｅ１内の各サブ領域ＳＲ１〜ＳＲ２４の第一移動ベクトルＭＶ１〜ＭＶ２４を出力する。
【００２６】
図４Ａでは、表示可能範囲４１０の面積は画像フレームＦ０の面積より大きく、ここで表示可能範囲４１０は撮像装置上で画像フレームを表示可能な範囲である。画像フレームＦ０の左側と右側は各々、＋ｘおよび−ｘ方向に表示可能範囲４１０のエッジから距離ａだけあり、画像フレームＦ０の上側および下側は＋ｙおよび−ｙ方向に表示可能範囲４１０のエッジから距離ｂだけある。
【００２７】
デジタルスチルカメラ等の撮像装置を用いる場合、一般的な使用者は通常、画像フレームの中央に目標を配置する。例えば、図４Ａに示したように、目標４２０は前の画像フレームＦ０の中心にあり、前の画像フレームＦ０の中心点Ｐｃは目標４２０の中心点Ｐｉと重なり合っている。前の画像フレームＦ０は、変換される前のエッジ特徴信号Ｓｅ０を介して、エッジ特徴メモリ３２１に格納する。撮像装置が振動するため、目標４２０は移動ベクトル（ｘ，ｙ）＝（ｃ，０）だけ前の画像フレームＦ０の右側にシフトし、その結果、現在の画像フレームＦ１を形成する。つまり、目標４２０の点Ｐｉは前の画像フレームＦ０の中心点Ｐｃに対して距離ｃだけ右に移動する。この実施例では、現在の画像フレームＦ１を距離ｃだけ右にシフトさせ、現在の画像フレームＦ１の中心点が、シフトした目標４２０の中心点Ｐｉと重なり合うようにする。
【００２８】
より詳細な説明では、現在の画像フレームＦ１の画像信号Ｓｉは上記の計算を介して、現在のエッジ特徴信号Ｓｅを生成し、現在のエッジ特徴フレームＦｅ１は現在のエッジ特徴信号Ｓｅで構成される。計算を簡略化し、計算要件を減らすために、図４Ｂでは、現在のエッジ特徴フレームＦｅ１は四隅に四つの領域Ｒ１〜Ｒ４を有するように設計し、前記領域を各々六つのサブ領域に分割し、全部で６×４＝２４個のサブ領域ＳＲ１〜ＳＲ２４とする。明確にするために、エッジ特徴フレームＦｅ１上のエッジ画素の画素値は１とし、他の画素の画素値０の印は省略する。同様に、前のエッジ特徴信号Ｓｅ０で構成した前のエッジ特徴フレームＦｅ０も同じ方法で、四隅に四つの領域Ｒ０１〜Ｒ０４を有するように設計し、前記領域を各々六つのサブ領域に分割し、全部で６×４＝２４個のサブ領域ＳＲ０１〜ＳＲ０２４とする。
【００２９】
図４Ｃは、この発明の一実施例によるサブ領域の相関値を計算する概略図である。図４Ｂと４Ｃを参照すると、例えば、サブ領域ＳＲ１１の場合、領域Ｒ２のサブ領域ＳＲ１１はＡＮＤ論理計算を用いることで、領域Ｒ０２の全てのサブ領域ＳＲ０７〜ＳＲ０１２と共に確認する。サブ領域ＳＲ０１２を確認する場合、サブ領域ＳＲ１１内の各画素値Ｖ１〜Ｖ４と、サブ領域ＳＲ０１２内の対応する位置における画素値Ｖ０１〜Ｖ０４の間で、ＡＮＤ論理計算を実行し、四つの計算結果を獲得および合計し、それからサブ領域ＳＲ１１内に含まれる高レベル画素の数で割る。つまり、（Ｖ１＆Ｖ０１）＋（Ｖ２＆Ｖ０２）＋（Ｖ３＆Ｖ０３）＋（Ｖ４＆Ｖ０４）＝３、それから３÷３＝１．０。ここで、３はサブ領域ＳＲ１１の中の高レベル画素の数である。つまり、サブ領域ＳＲ１１とサブ領域ＳＲ０１２の相関値は１となる。サブ領域ＳＲ１１とサブ領域ＳＲ０８の相関値も同じ方法で計算し、相関値１／３を獲得する。サブ領域ＳＲ１１と各サブ領域ＳＲ０７〜ＳＲ０１２の相関値を計算した後、最も高い相関値を備えたものを対応するサブ領域とみなす。この実施例では、サブ領域ＳＲ０７、ＳＲ０９およびＳＲ１０に対応するサブ領域ＳＲ１１の相関値は０であり、サブ領域ＳＲ０８とＳＲ０１１に対応する相関値は１／３であり、サブ領域ＳＲ０１２に対応する相関値は１．０である。六つの相関値を比較後、サブ領域ＳＲ１１とサブ領域ＳＲ０１２の相関値が最も大きいことが決定される。従って、サブ領域ＳＲ１１はサブ領域ＳＲ０１２に対応することを決定し、その二つの第一移動ベクトルＭＶ１１を計算する。同じ方法で、第一移動ベクトルＭＶ１〜ＭＶ２４を獲得する。
【００３０】
第一移動ベクトルＭＶ１〜ＭＶ２４を決定した後、第一移動ベクトルＭＶ１〜ＭＶ２４をフレーム移動計算器で受け取り、各々確認するために四つの領域Ｒ１〜Ｒ４に分割する。つまり、第一移動ベクトルＭＶ１〜ＭＶ６の中から、最も高い相関値を備えたものを全領域Ｒ１の領域移動ベクトルＭＶａとして選択する。同様に、第一移動ベクトルＭＶ７〜ＭＶ１２の中から、最も高い相関値を備えたものを全領域Ｒ２の領域移動ベクトルＭＶｂとして選択する。第一移動ベクトルＭＶ１３〜ＭＶ１８の中から、最も高い相関値を備えたものを全領域Ｒ３の領域移動ベクトルＭＶｃとして選択する。そして、第一移動ベクトルＭＶ１８〜ＭＶ２４の中から、最も高い相関値を備えたものを全領域Ｒ４の領域移動ベクトルＭＶｄとして選択する。領域移動ベクトルＭＶａ、ＭＶｂ、ＭＶｃおよびＭＶｄを比較し、最も高い相関値を備えたものを第二移動ベクトルＭＶｍとして選択する。
【００３１】
図４Ｄは、この発明の一実施例による第二移動ベクトルを決定する流れ図である。図４Ｂと４Ｄを参照すると、ステップＳ４１０では、第一移動ベクトルＭＶ１〜ＭＶ２４のサブ領域ＳＲ１〜ＳＲ２４内にエッジ特徴を備えた画素の数を各々計算する。ステップＳ４２０では、サブ領域ＳＲ１〜ＳＲ２４内のエッジ画素の数が設定値を超えるかどうかを決定する。サブ領域ＳＲ１〜ＳＲ２４内のエッジ画素の数が設定値を超える場合、サブ領域の第一移動ベクトルを信頼できると考え、個々の計算領域Ｒ１〜Ｒ４内で最も高い相関値を備えたものを領域移動ベクトルＭＶａ、ＭＶｂ、ＭＶｃ、およびＭＶｄとみなす（ステップＳ４３１）。また、サブ領域ＳＲ１〜ＳＲ２４内のエッジ画素の数が設定値以下である場合、サブ領域の第一移動ベクトルを無視する（ステップＳ４３３）。ステップＳ４４０では、領域移動ベクトルＭＶａ、ＭＶｂ、ＭＶｃ、およびＭＶｄから、最も高い相関値を備えたものを第二移動ベクトルＭＶｍとして選択する。
【００３２】
図５は、この発明の一実施例による画像振動補償方法の流れ図である。図１と５を参照すると、画像振動補償方法は次のとおりのステップを有する。ステップＳ５１では、画像信号Ｓｉのノイズを除去する。ステップＳ５３では、加重平均法で画素信号Ｓｉ内の個々の画素値を計算し、画像信号Ｓｉのエッジ情報を獲得する。ステップＳ５５では、閾値Ｔに従って、画像信号Ｓｉのエッジ情報Ｓｄを現在の二値のエッジ特徴フレームＦｅ１に変換する。ステップＳ５７では、現在のエッジ特徴フレームＦｅ１の各サブ領域ＳＲ１〜ＳＲｎと、前のエッジ特徴フレームＦｅ０の対応する検索範囲内の全ての位置で構成した比較領域の各々の相関値を計算し、複数の相関値に従って、現在のエッジ特徴フレームＦｅ１内の各サブ領域ＳＲ１〜ＳＲｎの第一移動ベクトルＭＶ１〜ＭＶｎを計算および出力する。ステップＳ５９では、複数の第一移動ベクトルＭＶ１〜ＭＶｎに従って、前の画素フレームＦ０に対応する現在の画像フレームＦ１の第二移動ベクトルＭＶｍを決定する。ステップＳ５１１では、第二移動ベクトルＭＶｍを所定の期間蓄積し、それによって修正移動ベクトルＭＶｆを出力する。そしてステップＳ５１３では、撮像装置は修正移動ベクトルＭＶｆに従って、画像フレーム振動を補償する。移動ベクトルＭＶｍは、複数の移動ベクトルＭＶ１〜ＭＶｎ内で最も高い相関値を備えたものである。そしてステップＳ５５では、前のエッジ特徴信号Ｓｅ０内の全ての画素のエッジ画素の割合に従って、現在の閾値Ｔを決定する。
【００３３】
画像振動補償方法では、単一フレーム補償モードで動作するか、蓄積補償モードで動作するかを決定する。単一フレーム補償モードの場合、所定の期間の第二移動ベクトルＭＶｍの全てを修正移動ベクトルＭＶｆとして構成する。蓄積補償モードの場合、所定の期間に受け取った第二移動ベクトルＭＶｍの一部を修正移動ベクトルＭＶｆとして構成する。そして、所定の決定パラメータ（ｉ，ｊ）と修正移動ベクトルＭＶｆの関係に従って、修正移動ベクトルＭＶｆを累進的に低減するかどうかを決定する。
【００３４】
図６は、この発明の一実施例による蓄積補償モードの流れ図である。図６を参照すると、このモードは次のステップを有する。ステップＳ６１０では、決定パラメータ（ｉ，ｊ）を指定し、第二移動ベクトルＭＶｍから修正移動ベクトルＭＶｆを構成する場合、構成した移動ベクトルＭＶｆが決定パラメータ（ｉ，ｊ）を超えるかどうかを決定する。構成した移動ベクトルＭＶｆが決定パラメータ（ｉ，ｊ）を超える場合はステップＳ６２１に進み、ここで第二移動ベクトルＭＶｍの一部から修正移動ベクトルＭＶｆを構成し、移動ベクトルＭＶｆを連続的に低減する。例えば、修正移動ベクトルＭＶｆが（３，０）、第二移動ベクトルＭＶｍが（４，０）、決定パラメータが（４，０）であれば、第二移動ベクトル（４，０）から修正移動ベクトル（３，０）を構成することで得られる修正移動ベクトル（３＋４，０）＝（７，０）は、決定パラメータ（４，０）より大きくなるので、第二移動ベクトル（４，０）の半分、つまり（４×１／２，０）＝（２，０）を修正移動ベクトル（３，０）に追加する。つまり、追加した修正移動ベクトルは（５，０）になる。その上、修正移動ベクトル（５，０）が決定パラメータ（４，０）より大きい場合は修正移動ベクトル（５，０）を累進的に低減する。つまり、（５−１，０）＝（４，０）となる。構成した移動ベクトルＭＶｆが決定パラメータ（ｉ，ｊ）以下の場合はステップ６２３に進み、ここで第二移動ベクトルＭＶｍから修正移動ベクトルＭＶｆを構成する。それから、ステップ６３０で、構成した修正移動ベクトルＭＶｆが修正限界値（Ｍｘ，Ｍｙ）を超えるかどうかを決定する。修正移動ベクトルＭＶｆが修正限界値（Ｍｘ，Ｍｙ）を超える場合、修正移動ベクトルＭＶｆは修正限界値（Ｍｘ，Ｍｙ）以下のベクトルに設定する（ステップ６４１）。修正限界値（Ｍｘ，Ｍｙ）は、図４Ａの距離ａ、ｂに従って（Ｍｘ，Ｍｙ）＝（±ａ，±ｂ）に設定できる。
【産業上の利用可能性】
【００３５】
要約すると、この発明の画像振動補償装置において、適応エッジ抽出器は画像信号を簡略化し、エッジ特徴信号を獲得するために用いられる。サブ領域運動検出器は、エッジ特徴信号で構成したエッジ特徴フレームのサブ領域の第一移動ベクトルを確認および解析するために用いられる。それから、フレーム移動計算器は個々の第一移動ベクトルの相関値に従って、第二移動ベクトルを選択するために用いられ、最後に、修正ベクトル発生器は第二移動ベクトルを蓄積し、修正移動ベクトルを提供し、撮像装置の振動によって生じた画像フレームの振動を補償するために用いられる。従って、従来の技術に比べて、この発明は計算要件を低減し、撮像装置の振動を正確に補償できる。
【００３６】
その上、この発明の画像振動補償方法において、蓄積補償モードは、一連の決定、設定および計算を実行するために用いられる。その結果、修正移動ベクトルを補償でき、修正移動ベクトルが修正限界値を超えることなく補償され、決定パラメータを超える修正移動ベクトルが連続的に低減される。従って、画像フレームの移動は、使用者の目に不快感を引き起こすほど速くはならない。その上、この発明は画像振動のみを補償し、撮像装置によって生じたフレーム移動を補償しないので、使用者が移動しながら画像を捕捉するのに適している。
【００３７】
当業者には明らかなように、発明の範囲または精神から逸脱することなく、この発明の構造に様々な修正および変形を行うことができる。上記の観点から、添付の請求項およびそれらと等価なものの範囲内にある限り、この発明はその修正および変形を含むものとみなされる。
【図面の簡単な説明】
【００３８】
【図１】この発明の一実施例による画像振動補償装置の構造ブロック図である。
【図２Ａ】この発明の一実施例による適応エッジ抽出器の構造ブロック図である。
【図２Ｂ】この発明の一実施例による画像信号のエッジ特徴データの構造ブロック図である。
【図３】この発明の一実施例によるサブ領域運動検出器の回路ブロック図である。
【図４Ａ】この発明の一実施例による画像フレームおよびフレーム移動の概略図である。
【図４Ｂ】この発明の一実施例によるサブ領域の第一移動ベクトルを計算するプロセスの概略図である。
【図４Ｃ】この発明の一実施例によるサブ領域の相関値を計算する概略図である。
【図４Ｄ】この発明の一実施例による第二移動ベクトルを決定する流れ図である。
【図５】この発明の一実施例による画像振動補償方法の流れ図である。
【図６】この発明の一実施例による蓄積補償モードの流れ図である。
【符号の説明】
【００３９】
１００ 画像振動補償装置
１１０ 適応エッジ抽出器
１２０ サブ領域運動検出器
１３０ フレーム移動計算器
１４０ 修正ベクトル発生器
２１２ ノイズフィルタ
２１４ エッジ特徴抽出ユニット
２１６ 適応変換ユニット
３２１ エッジ特徴メモリ
３２３ 相関計算器
３２５ 移動ベクトル計算器
４１０ 表示可能範囲
４２０ 目標
【図１】
2007166578.tif 000005
【図２Ａ】
2007166578.tif 000006
【図２Ｂ】
2007166578.tif 000007
【図３】
2007166578.tif 000008
【図４Ａ】
2007166578.tif 000009
【図４Ｂ】
2007166578.tif 000010
【図４Ｃ】
2007166578.tif 000011
【図４Ｄ】
2007166578.tif 000012
【図５】
2007166578.tif 000013
【図６】
2007166578.tif 000014