(57)【要約】【課題】振れの影響を受けた撮像データから簡単にしかも高い精度でその影響を補正した画像データを生成する。【解決手段】順次撮像された撮像データと撮像装置の振れに応答する振れ応答データとを入力し、前記撮像データから前記振れの影響を削減して画像データを切り出す制御を行うことを前提とし、前記振れ応答データに基づいて振れ量を画素数換算で演算（Ｓ２４）し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和の範囲でこれを相殺する方向に現フレームの画像データの切り出し位置をずらす制御を行う（Ｓ２５，Ｓ２６）。前記ずらす制御に用いられなかった余りの振れ量を次フレームの振れ量として繰り越す。振れ量の繰り越し制御を行うので、一つのフレームで相殺しきれない振れが無視されることはないから、振れの相殺誤差が蓄積されることを抑制することができる。【選択図】図１
2009246440.tif 000002
【特許請求の範囲】
【請求項１】
順次撮像された撮像データと撮像装置の振れに応答する振れ応答データとを入力し、前記撮像データから前記振れの影響を削減して画像データを切り出す制御を行う画像処理装置であって、
前記振れ応答データに基づいて振れ量を画素数換算で演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和の範囲でこれを相殺する方向に現フレームの画像データの切り出し位置をずらす制御を行い、前記ずらす制御に用いられなかった余りの振れ量を次フレームの振れ量として繰り越す、画像処理装置。
【請求項２】
インタレース方式の撮像装置で順次撮像された撮像データと撮像装置の振れに応答する振れ応答データとを入力し、前記撮像データから前記振れの影響を削減して画像データを切り出す制御を行う画像処理装置であって、
前記振れ応答データから垂直走査方向の振れに対応する上下方向を考慮した振れ量を画素数換算で演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対する法数２の商に応ずる画素数分だけ前記垂直走査方向の振れとは逆方向に現フレームの画像データの切り出し位置をずらす制御を行い、前記和に対する法数２の商の余りに応ずる画素数分の振れ量を次フレームの垂直走査方向の振れ量として繰り越す、画像処理装置。
【請求項３】
前記画像処理装置は、前記画素換算で振れ量を演算すると共に、現フレームの撮像データから切り出す位置のスタートアドレスを生成する中央処理装置を有する請求項２記載の画像処理装置。
【請求項４】
前記撮像データをフレームバッファに描画すると共に、描画された撮像データから前記画像データを読出す制御を行うディジタル画像信号処理ＩＣを有し、前記ディジタル画像信号処理ＩＣは前記画像データの読出し開始位置が前記中央処理装置によって指示される、請求項３記載の画像処理装置。
【請求項５】
前記フレームバッファと前記中央処理装置の動作プログラムを保有するプログラムメモリとをオンチップで備えて半導体集積回路化された、請求項４記載の画像処理装置。
【請求項６】
前記振れ応答データから水平走査方向の振れに対応する左右方向を考慮した振れ量を画素数換算で演算し、演算された画素数分だけ前記水平走査方向の振れとは逆方向に現フレームの画像データの切り出し位置をずらす制御を行う、請求項２記載の画像処理装置。
【請求項７】
前記振れ応答データは、所定の検出感度を有する角速度センサの出力である、請求項２記載の画像処理装置。
【請求項８】
前記撮像装置は前記画像処理装置と一体の携帯型ビデオカメラ又は据え置き型の監視カメラである、請求項７記載の画像処理装置。
【請求項９】
撮像装置で順次撮像された撮像データと撮像装置の振れに応答する振れ応答データとを入力し、前記撮像データから前記振れの影響を削減して画像データを切り出す制御を行う画像処理装置であって、
前記振れ応答データから垂直方向の振れに対応する上下方向を考慮した振れ量を１画素の１／ｎ（ｎは２以上の整数から選ばれた一つの値）の単位の単位数に換算して演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対してその振れ量を相殺する方向に現フレームの画像データの切り出し位置をずらす制御を行い、ずらす単位を１画素単位とし、前記１画素数単位に満たない前記１画素の１／ｎの単位の単位数に応ずる振れ量を次フレームの垂直方向の振れ量として繰り越す、画像処理装置。
【請求項１０】
撮像装置で順次撮像された撮像データと撮像装置の振れに応答する振れ応答データとを入力し、前記撮像データから前記振れの影響を削減して画像データを切り出す制御を行う画像処理装置であって、
前記振れ応答データから水平方向の振れに対応する左右方向を考慮した振れ量を１画素の１／ｎ（ｎは２以上の整数から選ばれた一つの値）の単位の単位数に換算して演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対してその振れ量を相殺する方向に現フレームの画像データの切り出し位置をずらす制御を行い、ずらす単位を１画素単位とし、前記１画素単位に満たない前記１画素の１／ｎの単位の単位数に応ずる振れ量を次フレームの水平方向の振れ量として繰り越す、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の振れによる画像のぼやけを軽減する画像処理装置に関し、例えば、デジタルカメラやビデオカメラ等による手振れ、固定カメラや監視カメラ等の揺れによる画像のぼやけを軽減する画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラ、固定カメラ、監視カメラ、スキャナや複写機等の撮像装置において、撮像時に、撮像装置の揺れや振れを生じると、画像がぼやけてしまうことがある。この画像のぼやけを軽減するための技術について記載された下記文献がある。特許文献１には、インターレースタイプの撮像素子を備えた撮像装置において、被写体を高速で操作したときのブレを補正する技術が記載される。すなわち、奇数フィールドと偶数フィールドとの間の画像ずれを防止するために、奇数フィールドの画像信号および偶数フィールドの画像信号のうち一方のフィールドの画像信号を、その一方のフィールドの各ラインを挟む他方の上下の水平ラインから生成する。要するに、他方のフィールドの上下の水平ラインの画素の平均値を計算して、一方のフィールドの各画素信号とする。特許文献２には、フレーム画像を順次取得し、隣り合うフレーム間の位置ずれ補正量を求めて記憶しておき、それらの位置ずれ補正量を順次足し合わせて、ある基準フレームに対する補正量を算出する。
【０００３】
【特許文献１】特開２００６−２７９８８４号公報
【特許文献２】特開２００５−３４８２２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献に記載の技術は画像データそれ自体に対する演算を経て補正量を算出するので演算量が多くなってしまう。本発明者はカメラの振れによる画像のずれを、撮像データから画像データを切り出すときの領域制御によって補正することを検討した。例えば撮像装置の振れに応答する角速度センサの出力に基づいて振れ量を演算し、その振れ量分の振れを相殺する方向に画像データの切り出し方向を移動させる。しかしながら、インタレース走査で取得された偶数フィールドと奇数フィールの撮像データはそれぞれ１走査線置きのデータであるから、振れ量が２の倍数の走査線本数であれば相殺できるが、奇数本数分の場合には、その移動量に過不足を生じ、誤差が蓄積されて、良好な結果を得ることができない虞のあることが本発明者によって見出された。この現象はインタレース走査された撮像データに固有の問題ではない。即ち、インタレース走査の場合には補正単位（領域移動単位）は水平走査線単位であり、ノンインタレースであってもその点については同じであるが、実際の振れの検出精度が１画素の複数分の１（例えば１／２）であるような場合には、振れの検出精度を充分に生かすことが出来ない。
【０００５】
本発明の目的は、撮像装置の振れによって生じる画像のぼやけを軽減する画像処理装置を提供することである。
【０００６】
本発明の別の目的は、振れの影響を受けた撮像データから簡単にしかも高い精度でその影響を補正した画像データを生成することができる画像処理装置を提供することになる。
【０００７】
本発明の更に別の目的は、振れの検出精度が１画素の複数分の１であるような場合にも振れの検出精度を充分に生かして、撮像データから補正した画像データを生成することができる画像処理装置を提供することにある。
【０００８】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００９】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１０】
すなわち、順次撮像された撮像データと撮像装置の振れに応答する振れ応答データとを入力し、前記撮像データから前記振れの影響を削減して画像データを切り出す制御を行うことを前提とし、前記振れ応答データに基づいて振れ量を画素数換算で演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和の範囲でこれを相殺する方向に現フレームの画像データの切り出し位置をずらす制御を行う。前記ずらす制御に用いられなかった余りの振れ量を次フレームの振れ量として繰り越す。
【００１１】
インタレース走査された撮像データの場合には、垂直方向の振れ量を画素数換算で演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対する法数２の商に応ずる画素数分だけ前記垂直走査方向の振れとは逆方向に現フレームの画像データの切り出し位置をずらす制御を行い、その制御に用いなかった振れ量を次フレームの垂直走査方向の振れ量として繰り越す。
【００１２】
振れの検出精度が１画素の整数分の１の場合には、ずらす単位を１画素単位とし、１画素単位に満たない振れを次フレームの振れ量に繰り越すようにする。
【００１３】
上記より、振れ量の繰り越し制御を行うので、一つのフレームで相殺しきれない振れが無視されることはない為、振れの相殺誤差が蓄積されることを抑制することができる。また、振れの検出精度が１画素の整数分の１というように精度を高くする場合に、ずらす単位が１画素単位であっても、１画素単位に満たない振れが次フレームの振れ量に繰り越される為、高い振れ検出精度を充分に生かして、高精度に振れの影響を削減することが可能になる。
【発明の効果】
【００１４】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１５】
すなわち、撮像装置の振れによって生じる画像のぼやけを軽減することができる。また、振れの影響を受けた撮像データから簡単にしかも高い精度でその影響を補正した画像データを生成することができる。また、振れの検出精度が１画素の複数分の１であるような場合にも振れの検出精度を充分に生かして、撮像データから補正した画像データを生成することができる。
【発明を実施するための最良の形態】
【００１６】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１７】
〔１〕本発明に係る画像処理装置は、順次撮像された撮像データと撮像装置の振れに応答する振れ応答データとを入力し、前記撮像データから前記振れの影響を削減して画像データを切り出す制御を行うことを前提とした上で次の処理を行う。すなわち、前記振れ応答データに基づいて振れ量を画素数換算で演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和の範囲でこれを相殺する方向に現フレームの画像データの切り出し位置をずらす制御を行い、前記ずらす制御に用いられなかった余りの振れ量を次フレームの振れ量として繰り越す。
【００１８】
〔２〕本発明に係る更に具体的な画像処理装置は、インタレース方式の撮像装置で順次撮像された撮像データと撮像装置の振れに応答する振れ応答データとを入力し、前記撮像データから前記振れの影響を削減して画像データを切り出す制御を行うことを前提とした上で次の処理を行なう。すなわち、前記振れ応答データから垂直走査方向の振れに対応する上下方向を考慮した振れ量を画素数換算で演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対する法数２の商に応ずる画素数分だけ前記垂直走査方向の振れとは逆方向に現フレームの画像データの切り出し位置をずらす制御を行い、前記和に対する法数２の商の余りに応ずる画素数分の振れ量を次フレームの垂直走査方向の振れ量として繰り越す。
【００１９】
〔３〕項２の画像処理装置は、例えば前記画素換算で振れ量を演算すると共に、現フレームの撮像データから切り出す位置のスタートアドレスを生成する中央処理装置を有する。
【００２０】
〔４〕項３の画像処理装置は、例えば前記撮像データをフレームバッファに描画すると共に、描画された撮像データから前記画像データを読出す制御を行うディジタル画像信号処理ＩＣを有し、前記ディジタル画像信号処理ＩＣは前記画像データの読出し開始位置が前記中央処理装置によって指示される。
【００２１】
〔５〕項４の画像処理装置は、例えば前記フレームバッファと前記中央処理装置の動作プログラムを保有するプログラムメモリとをオンチップで備えて半導体集積回路化されて成る。
【００２２】
〔６〕項２の画像処理装置はさらに次の機能を備えている。即ち、前記振れ応答データから水平走査方向の振れに対応する左右方向を考慮した振れ量を画素数換算で演算し、演算された画素数分だけ前記水平走査方向の振れとは逆方向に現フレームの画像データの切り出し位置をずらす制御を行う。
【００２３】
〔７〕項２の画像処理装置において、前記振れ応答データは、例えば所定の検出感度を有する角速度センサの出力である。
【００２４】
〔８〕項７の画像処理装置において、前記撮像装置は例えば前記画像処理装置と一体の携帯型ビデオカメラ又は据え置き型の監視カメラである。
【００２５】
〔９〕本発明の更に具体的な別の画像処理装置は、撮像装置で順次撮像された撮像データと撮像装置の振れに応答する振れ応答データとを入力し、前記撮像データから前記振れの影響を削減して画像データを切り出す制御を行うことを前提として次の処理を行なう。すなわち、前記振れ応答データから垂直方向の振れに対応する上下方向を考慮した振れ量を１画素の１／ｎ（ｎは２以上の整数から選ばれた一つの値）の単位の単位数に換算して演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対してその振れ量を相殺する方向に現フレームの画像データの切り出し位置をずらす制御を行い、ずらす単位を１画素単位とし、前記１画素数単位に満たない前記１画素の１／ｎの単位の単位数に応ずる振れ量を次フレームの垂直方向の振れ量として繰り越す。
【００２６】
〔１０〕本発明の更に具体的な別の画像処理装置は、振れ応答データから水平方向の振れに対応する左右方向を考慮した振れ量を１画素の１／ｎ（ｎは２以上の整数から選ばれた一つの値）の単位の単位数に換算して演算し、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対してその振れ量を相殺する方向に現フレームの画像データの切り出し位置をずらす制御を行い、ずらす単位を１画素単位とし、前記１画素単位に満たない前記１画素の１／ｎの単位の単位数に応ずる振れ量を次フレームの水平方向の振れ量として繰り越す。
【００２７】
２．実施の形態の詳細
実施の形態について更に詳述する。以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明する。なお、発明を実施するための最良の形態を説明するための全図において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。
【００２８】
図１には本発明に係る画像処理装置を適用したデータ処理システムが例示される。データ処理装置１は画像処理装置２、フレームバッファ等に利用されるＳＤＲＡＭ（シンクロナス・ダイナミック・ランダム・アクセスメモリ）６、制御データ等を保有する電気的に書換え可能なＥＥＰＲＯＭ（エレクトリカリ・イレーサブル・プログラマブル・リード・オンリ・メモリ）８、プログラム等を保有する電気的に書換え可能なフラッシュメモリ（ＦｌａｓｈＲＯＭ）７を有する。
【００２９】
画像処理装置２は、中央処理装置（ＣＰＵ）３、アナログフロントエンドＩＣ（ＡＦＥ）５及びディジタル画像信号処理ＩＣ（ＤＳＰ）４を有する。
【００３０】
ＡＦＥ５は撮像装置としてのＣＣＤセンサ９からアナログの映像信号を受けて、ディジタルの映像データに変換する。特に制限されないが、ＣＣＤセンサはインタレース方式のカメラであり、ＤＳＰ４は映像データを順次ＳＤＲＡＭ６のフレームバッファに格納し、格納した映像データから画像データを切り出して後段に出力する。切り出しに際してＣＣＤセンサ９の振れによる画像のずれを補正する。その補正は、画像データを切り出す領域の先頭アドレスを制御することによって行う。ＣＣＤセンサ９の振れは振れ検出部を構成する角速度センサ１０からの出力に基づいてＣＰＵ３が演算し、その演算結果に基づいてＣＰＵ３が前記領域に先頭アドレスをＤＳＰ４に与えてフレームバッファからの画像データの読出しを指示する。角速度センサ１０は所定の感度を有し、それに従ってＣＣＤセンサ９に作用された角速度を検出する。ＣＰＵ３はＦｌａｓｈＲＯＭ７に格納されたプログラムを実行することによって振れに対する補正処理等を行なう。
【００３１】
ここで、前記振れに対する補正処理を原理的に説明する。撮像データから画像データを切り出すとき、ＣＣＤセンサ９の振れを相殺する方向にその切り出し位置をずらす制御を行うことを前提する。このとき、ＣＣＤセンサ９の垂直方向の振れが画素数換算で演算される。演算された振れ量には垂直方向の上下方向に従って例えば符号が付されている。振れ量それ自体に符号を付さなくても、フラグを用いて符号がわかるようになっていてもよい。要するに、画素数換算で演算された振れ量には上下方向が考慮されている。そして、演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対する法数（除数）２の商に応ずる画素数分だけ前記垂直走査方向の振れとは逆方向に現フレームの画像データの切り出し位置をずらす制御を行い、前記和に対する法数２の商の余りに応ずる画素数分の振れ量（要するに今回のずらす制御量に用いなかった余り）を次フレームの垂直走査方向の振れ量として繰り越す。ＣＣＤセンサ９による奇数フィールドの１フレーム分の撮影画像を表示形態で示した図２を例とすれば、ＣＣＤセンサ９の振れは画素換算で把握するが、インタレース走査による奇数フィールドの撮像データは水平走査線方向に沿った奇数番目の位置のデータであるから、奇数フィールドの水平走査線１本分のデータ位置のずれは表示形態では水平走査線２本分の位置にズレに相当する。この差異を整合させるために、前記振れ量の和に対する法数２の商に応ずる画素数分だけずらすようにしている。さらに、補正の単位は１画素の単位であるから、１画素分の振れ量は今回の補正の対象にはならない。従って今回補正の対象にならない１画素分の振れ量は次のフレームに対する振れ量に繰り越しする。これにより、補正不可能な半端な振れ量は無視されること無く次の処理に反映されるから、振れに対する相殺誤差は蓄積されず、高い精度で振れに対する影響を削減することが可能になる。
【００３２】
図３には上記振れに対する補正処理の制御タイミングの概要が例示される。垂直同期信号ＶＳＹＮＣによる垂直同期期間毎のＣＣＤセンサ９からの蓄積撮像データが表示形態で示される。その表示形態はインタレース走査の形態では示されて居ないが実際には各フレームはインタレース走査の形態で撮像されたデータになっている。第１フレームに対して第２フレームはＸ，Ｙ方向に画像が振れている。この振れはＣＣＤセンサ９の振れに起因するものとする。このずれを補正するために、ＣＰＵ３はフレームの中央のタイミングで角速度センサ１０の出力に基づいて第１フレームに対する第２フレームのずれを例えば長さの単位で蓄積する（Ｓ１）。そして、ＣＰＵ３はこのずれを画素数換算で演算して今回の振れ量を取得すると共に繰り越された振れ量を考慮して、補正量を演算する処理を行う（Ｓ２）。演算された補正量はＤＳＰ４に与えられ、ＤＳＰ４は撮像データに対して画像データに切り出し位置を補正量に従ってずらすことによって、振れの影響を削減した画像データを出力する（Ｓ３）。Ｓ３の処理に並行してＣＰＵ３は第２フレームに対する第３フレームのずれを角速度センサ１０の出力に基づいて蓄積する。Ｓ１とＳ２の処理はパイプライン的に実行される。
【００３３】
図４には振れ量の繰り越しの例が示される。フレームＡはカメラの下方への振れにより画素数単位で３の振れ量を生じ、フレームＢはカメラの下方への振れにより画素数単位で１の振れ量を生じたものとする。インタレース走査でなければ、フレームＡにおいて振れが起きる前の画像切り出しスタート位置を（Ｘｓ，Ｙｓ）とすると、フレームＡの補正後の画像スタート位置は（Ｘｓ，Ｙｓ−３）、フレームＢの画像スタート位置は（Ｘｓ，Ｙｓ−４）となるのが理想的である。しかし、インターレースタイプのＣＣＤセンサの場合、フレームＡで３画素分の振れ量が得られても、１画素分の振れ量は次回への繰り越しとするようにスタート位置を補正する。フレームＢでは、そこで得られた１画素数分の振れ量に前記繰り越された１画素数分の振れ量を加算してスタート位置を補正する。フレームＢの処理では振れ量の繰り越しは０になる。この振れ量の繰り越し制御によって、当該フレームでは補正が出来ない半端な振れ量に対しても補完することが可能になる。尚、図４の説明は表示形態での画素のアドレスを用いて模式的に示しているものであり、インタレース走査における撮像データから実際に領域を切り出すときのアドレスとは相違される。
【００３４】
図５には画像処理装置２の制御フローが例示される。画像処理装置２は振れ補正制御処理（Ｓ１０）とその他のカメラ制御処理（Ｓ１１）とを行う。
【００３５】
図６には振れ補正制御処理（Ｓ１０）の詳細が示される。フレームの中心位置で（Ｓ２０）において角速度センサ１０の出力を取得し（Ｓ２１）、これに基づいて振れ幅寸法が演算され（Ｓ２２）、振れ方向が演算される（Ｓ２３）。そして、それに基づいて水平走査線方向の画素数換算による振れ量と、垂直走査線方向の画素数換算による振れ量が演算される（Ｓ２４）。それぞれの振れ量に対してこれを相殺するための補正量演算処理が行われ（Ｓ２５）その演算結果に従って撮像データから画像データを切り出す切り出し処理が行なわれる（Ｓ２６）。
【００３６】
図７には補正量演算処理の具体例が示される。補正量演算処理には前フレームにおける画素数換算の振れ量を格納するレジスタＲｈ、現フレームにおける画素数換算の振れ量を格納するレジスタＲｉ、補正量を格納するレジスタＲｊ、テンポラリレジスタＲｔｍｐなどを用いる。最初にレジスタＲｈとＲｉの夫々の振れ量を加算してテンポラリレジスタＲｔｍｐに格納される（Ｓ３０）。レジスタＲｔｍｐ＝０か否かが判定され（Ｓ３１）、レジスタＲｔｍｐ＝０の場合には補正すべき振れ量がないのでリターンする。このとき、レジスタＲｈの繰り越し量は１又は−１である可能性があるので、レジスタＲｈに０を書き込んで繰越量をクリアする操作が行われる。レジスタＲｔｍｐ＝０でないときは、レジスタＲｔｍｐの値（現フレームの振れ量と前フレームから繰り越された振れ量との和）に対する法数２の商に応ずる画素数が補正量として演算されてレジスタＲｊに格納され（Ｓ３２）、その商の余りに応ずる画素数分の振れ量が次フレームの垂直走査方向の振れ量として繰り越されるようにレジスタＲｈに上書きされる（Ｓ３３）。
【００３７】
図８には切り出し処理の具体例が示される。レジスタＲｊの値の符号が判定され（Ｓ４０）、負（上向き）であれば現在の画像データ切り出しスタートアドレスからレジスタＲｊの補正量の絶対値を減算（Ｒｊの補正量の加算）してスタートアドレスをずらす。正（下向き）であれば現在の画像データ切り出しスタートアドレスにレジスタＲｊの補正量の絶対値を加算（Ｒｊの補正量の加算）してスタートアドレスをずらす。
【００３８】
上記制御によれば、振れ量の繰り越し制御を行うので、一つのフレームで相殺しきれない振れが無視されることはないから、振れの相殺誤差が蓄積されることを抑制することができる。
【００３９】
特に図示はしないが水平方向の振れに対しても同様の補正が行われる。ただし、水平方向にはインタレース走査の影響がないから繰り越し制御は行わない。すなわち、前記振れ応答データから水平走査方向の振れに対応する左右方向を考慮した振れ量を画素数換算で演算し、演算された画素数分だけ前記水平走査方向の振れとは逆方向に現フレームの画像データの切り出し位置をずらす制御を行えばよい。
【００４０】
また、本発明は１ライン未満の振れに対する制御にも適用することができる。すなわち、インタレース走査の場合には補正単位（領域移動単位）は水平走査線単位であり、ノンインタレースであってもその点については同じであるが、実際の振れの検出精度が１画素の複数分の１（例えば１／２）のような場合である。図示はしないが、そのような場合にも振れの検出精度を充分に生かすことが出来るように以下の手順を採用することが可能である。例えばここではノンインタレース走査されるＣＣＤセンサからの撮像データに対する処理を考える。垂直方向の振れに対しては、角速度センサからの振れ応答データから垂直方向の振れに対応する上下方向を考慮した振れ量を１画素の１／ｎ（ｎは２以上の整数から選ばれた一つの値であって例えば２）の単位の単位数に換算して演算する。演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対してその振れ量を相殺する方向に現フレームの画像データの切り出し位置をずらす制御を行う。ずらす単位は１画素単位とされ、前記１画素数単位に満たない前記１画素の１／ｎの単位の単位数に応ずる振れ量は次フレームの垂直方向の振れ量として繰り越す。水平方向の振れに対しても同様であり、振れ応答データから水平方向の振れに対応する左右方向を考慮した振れ量を１画素の１／ｎ（ｎは２以上の整数から選ばれた一つの値であって例えば２）の単位の単位数に換算して演算する。演算された現フレームの振れ量と前フレームから繰り越された振れ量との和に対してその振れ量を相殺する方向に現フレームの画像データの切り出し位置をずらす制御が行われる。ずらす単位は１画素単位とされ、前記１画素単位に満たない前記１画素の１／ｎの単位の単位数に応ずる振れ量を次フレームの水平方向の振れ量として繰り越される。
【００４１】
上記制御手順により、振れの検出精度が１画素の整数分の１というように精度を高くする場合に、ずらす単位が１画素単位であっても、１画素単位に満たない振れが次フレームの振れ量に繰り越されるから、高い振れ検出精度を充分に生かして、高精度に振れの影響を削減することが可能になる。
【００４２】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。撮像装置はＣＣＤセンサに限定されるＣＭＯＳセンサを用いたカメラであってもよい。本発明は監視カメラのような据え置き型カメラに限らず携行型若しくは移動可能なビデオカメラ等であってもよい。後者の場合には角速度センサの感度を落とせば正常な撮影時におけるカメラの移動によって上記補正が行われることはない。
【図面の簡単な説明】
【００４３】
【図１】図１は本発明に係る画像処理装置を適用したデータ処理システムのブロックダイヤグラムである。
【図２】図２はインタレース形式で走査された撮像データに対する補正量とカメラの振れから把握される画素換算の振れ量との関係を説明するための模式図である。
【図３】図３は振れに対する補正処理の制御タイミングを概略的に示す説明図である。
【図４】図４は振れ量の繰り越しの概念を説明するための模式図である。
【図５】図５は画像処理装置の制御フローを全体的に示すフローチャートである。
【図６】図６は振れ補正制御処理の詳細を例示するフローチャートである。
【図７】図７は補正量演算処理の詳細を例示するフローチャートである。
【図８】図８は切り出し処理の詳細を例示するフローチャートである。
【符号の説明】
【００４４】
１  データ処理装置
２  画像処理装置
６  ＳＤＲＡＭ
８  ＥＥＰＲＯＭ
７  ＦｌａｓｈＲＯＭ
３  中央処理装置（ＣＰＵ）
５  アナログフロントエンドＩＣ（ＡＦＥ）
４  ディジタル画像信号処理ＩＣ（ＤＳＰ）
９  ＣＣＤセンサ
１０  角速度センサ
【図１】
2009246440.tif 000003
【図２】
2009246440.tif 000004
【図３】
2009246440.tif 000005
【図４】
2009246440.tif 000006
【図５】
2009246440.tif 000007
【図６】
2009246440.tif 000008
【図７】
2009246440.tif 000009
【図８】
2009246440.tif 000010