(57)【特許請求の範囲】
【請求項１】
検出した自装置の動きを示す信号を出力する動き検出部と、
前記動き検出部により出力された信号から第１の周波数帯域の信号をフィルタし、フィルタ後の第１の信号を出力する第１の信号増幅回路と、
前記動き検出部により出力された信号から、前記第１の周波数帯域の最低周波数よりも高周波の最低周波数を有する第２の周波数帯域の信号をフィルタし、フィルタ後の第２の信号を出力する第２の信号増幅回路と、
自装置がパンニング操作を開始されたことを検出するパンニング検出部と、
前記第１の信号と、前記第２の信号との差分を算出し、前記パンニング検出部によりパンニング操作が開始されたと検出された後に、前記算出した差分が最初に所定値未満となった時点を揺り戻しの開始時点であるとみなす判定部と、を備える、
手振れ補正装置。
【請求項２】
前記第１の信号増幅回路により出力された信号を時系列的に平均化する平均化部と、
前記平均化部により平均化された信号と、前記信号増幅回路により出力された信号とに基づいて、補正信号を生成する補正信号決定部と、をさらに備え、
前記平均化部は、前記判定部により揺り戻しの開始時点であるとみなされた時点から時系列的に新たに平均化を再開する、
請求項１に記載の手振れ補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮像装置において用いられる手振れ補正装置に関する。
【背景技術】
【０００２】
一般にビデオカメラ及びスチルカメラ等の撮像装置において、撮影時に「手の振れ」によるボケや映像の揺れを軽減する手振れ補正技術が用いられている。手振れ補正技術としては、例えばレンジ内に振動ジャイロ機構を備えた補正レンズを組み込んで、振れを打ち消す方向に補正レンズを動かす事によって光軸を補正する光学式手振れ補正技術がある。
【０００３】
しかしながら、このような手振れ補正技術において、手振れ検出回路の構成上、パン・チルト操作等のカメラを大きく動かした後に動作を止めた時、パン・チルト操作によって生じた動きを打ち消す方向に補正レンズを動かすために、撮影した画像が逆方向に動く不自然な揺り戻し現象が発生する。
【０００４】
このような揺り戻し現象を低減する技術として、特許文献１では、振動を検出する振動検出手段と、振動検出手段から出力される信号よりパンやチルトの検出を行うパン・チルト検出手段と、パンやチルトの検出結果に応じてリセット制御や積分値の補正を行う手振れ補正装置が開示されている。
【特許文献１】特開２００７−３２４９２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手振れ補正装置では、パン・チルト動作の開始・終了を判定できるものの、パン・チルト動作の開始時に積分補正手段にリセット命令を出し、終了時にリセット命令を解除するために、パン・チルト動作の開始・終了直後に、不自然な動き補正が行われるという課題があった。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像動き補正装置は、動きを検出する動き検出部と、前記動き検出部の出力信号を手振れ周波数をフィルタする第１のフィルタ特性に基づき増幅する第１の増幅部と、前記第１の増幅部の出力信号をＡ／Ｄ変換する第１のＡ／Ｄ変換部と、前記動き検出部の出力信号をパンニング周波数をフィルタする第２のフィルタ特性に基づき増幅する第２の増幅部と、前記第２の増幅部の出力信号をＡ／Ｄ変換する第２のＡ／Ｄ変換部と、前記第１のＡ／Ｄ変換部が出力した信号を平均化する平均化部と、前記第１のＡ／Ｄ変換部の出力と前記平均化部の出力との差分を算出する差分算出部と、前記第１のＡ／Ｄ変換部の出力と前記第２のＡ／Ｄ変換部の出力とに基づき、パンニングの開始および終了を判定するパンニング・揺り戻し判定部と、前記パンニング・揺り戻し判定部によるパンニング開始判定時に、前記平均化部を停止し、パンニング終了判定時に、前記平均化部を再開し、前記差分算出部の出力に基づき、補正信号を生成する補正信号決定部と、前記補正信号を基に動き補正信号を発生する補正信号発生部と、を備えるものである。
【発明の効果】
【０００７】
本発明では、パン・チルト動作の開始・終了を正確に判定し、パン・チルト動作の開始・終了時に、適切な動き補正を行う画像動き補正装置を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１にかかるビデオカメラ１０１の構成を示すブロック図である。ビデオカメラ１０１は、光学系１１０により形成された被写体像を撮像素子１２１で撮像する。撮像素子１２１で生成された画像データは、画像処理部１４０で各種処理が施され、メモリーカード１６４に格納される。また、メモリーカード１６４などに格納された画像データは、液晶モニタ１６２で表示可能である。以下、ビデオカメラ１０１の構成を詳細に説明する。
【０００９】
光学系１１０は、対物レンズ１１１、ズームレンズ１１２、絞り１１３、ＯＩＳユニット１１４、フォーカスレンズ１１５を含む。光学系１１０は、被写体からの光を集光し、被写体像を形成する。
【００１０】
対物レンズ１１１は、最も被写体側に配置されたレンズである。ズームレンズ１１２は、光学系１１０の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。絞り１１３は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、光学系１１０を透過する光の量を調整する。ＯＩＳユニット１１４は、内部に、光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳユニット１１４は、ビデオカメラ１０１のぶれを相殺する方向に補正レンズを駆動することにより、被写体像のぶれを低減する。フォーカスレンズ１１５は、光学系１１０の光軸に沿って移動することにより、被写体像のピントを調整する。
【００１１】
駆動系１５０は、光学系１１０内の各光学素子を駆動する。
【００１２】
撮像素子１２１は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。撮像素子１２１は、ＣＣＤイメージセンサー、又はＣＭＯＳイメージセンサーである。タイミングジェネレータ１２２は、撮像素子１２１を駆動するためのタイミング信号を生成する。撮像素子１２１は、タイミングジェネレータ１２２で生成されるタイミング信号に従って、露光、転送、電子シャッタなどの各種の動作を行う。ＡＤコンバータ１３１は、撮像素子１２１で生成された画像データをデジタル信号に変換する。
【００１３】
画像処理部１４０は、ＡＤコンバータ１３１で変換された画像データに対して各種の処理を施す。画像処理部１４０は、撮像素子１２１で生成された画像データに対して処理を施し、メモリーカード１６４に記録するための画像データを生成したり、液晶モニタ１６２に表示するための画像データを生成する。また、画像処理部１４０は、メモリーカード１６４に格納された画像データに対して処理を施し、液晶モニタ１６２に表示するための画像データを生成したり、メモリーカード１６４に再格納するための画像データを生成したり、通信部１８０を介して外部装置に送信するための画像データを生成したりする。画像処理部１４０は、ＤＳＰやマイコンなどで実現可能である。
【００１４】
前処理部１４１は、ＡＤコンバータ１３１で変換された画像データに対して、ガンマ補正やホワイトバランス補正、傷補正などの各種画像処理を行う。
【００１５】
圧縮部１４２は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。圧縮部１４２は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。但し、本発明は、ＭＰＥＧ−２や、Ｈ．２６４の形式の画像データに限定されない。
【００１６】
伸張部１４３は、メモリーカード１６４に格納された圧縮済みの画像データを液晶モニタ１６２で再生する場合などに、この画像データを非圧縮の状態に復号化する。
【００１７】
コントローラ１６０は、ビデオカメラ１０１全体を制御する制御手段である。コントローラ１６０は、半導体素子などで実現可能である。コントローラ１６０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。コントローラ１６０は、マイクロコンピュータで実現できる。
【００１８】
バッファメモリ１６１は、画像処理部１４０及びコントローラ１６０のワークメモリとして機能する。バッファメモリ１６１は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００１９】
カードスロット１６３は、メモリーカード１６４を着脱可能である。カードスロット１６３は、機械的及び電気的にメモリーカード１６４と接続可能である。メモリーカード１６４は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
【００２０】
コントローラ１６０は、生成した画像ファイルをメモリーカード１６４に格納可能である。
【００２１】
液晶モニタ１６２は、撮像素子１２１で生成した画像データが示す画像やメモリーカード１６４などから読み出した画像データが示す画像を表示可能である。また、液晶モニタ１６２は、ビデオカメラ１０１の各種の設定情報や、撮影時間などを表示可能である。
【００２２】
通信部１８０は、外部装置との間で通信を行うための手段である。通信部１８０は、ＵＳＢ通信ユニット、ＨＤＭＩ通信ユニットなどで構成できる。
【００２３】
操作部材１７０は、各種操作手段を総称した構成要素である。操作部材１７０は、使用者の指示を受け付け、その指示をコントローラ１６０に伝える。
【００２４】
動き検出部１９０は、ビデオカメラ１０１の動き状態を検出する。コントローラ１６０は、動き検出部１９０が検出したビデオカメラ１０１の動き状態に関する情報を取得することができる。例えば、動き検出部１９０は、回転センサや、角速度センサで実現できる。
【００２５】
動き補正装置１９０は、ビデオカメラ１０１の動きに応じて、動き補正信号を発生する。動き補正装置１９０の構成の詳細を、図２に示す。図２に示すブロックの一部については、、図１に示すコントローラ１６０により実現される。
【００２６】
動き補正装置１９０は、動き検出部２０１と、第１の信号増幅回路２０２と、第２の信号増幅回路２０３と、第１のＡ／Ｄ変換部２０４と、第２のＡ／Ｄ変換部２０５と、平均化部２０６と、差分算出部２０７と、パンニング・揺り戻し判定部２０８と、補正信号決定部２０９と、補正信号発生部２１０とを備える。
【００２７】
動き検出部２０１は、ジャイロセンサ等で構成され、装置の物理的な動きを検出する。
【００２８】
第１の信号増幅回路２０２は、動き検出部２０１で検出した動きから手振れ周波数をフィルタして増幅する。一般に、人が装置を手で保持した際に、一定の周波数で保持した装置に対する手振れが発生するが、手振れ周波数とは、その発生する手振れによる周波数である。
【００２９】
第２の信号増幅回路２０３は、動き検出部２０１で検出した動きからパンニング周波数をフィルタして増幅する。パンニング周波数は、パンニング動作時の周波数であり、およそ０．３Ｈｚ〜０．６Ｈｚの周波数である。
【００３０】
第１のアナログ／デジタル変換部（以下Ａ／Ｄ変換部と記す）２０４、及び第２のＡ／Ｄ変換部２０５は、第１の信号増幅回路２０２、及び第２の信号増幅回路２０３のアナログ信号をデジタル化する。
【００３１】
平均化部２０６は、第１のＡ／Ｄ変換部２０４でデジタル化された動き信号の移動平均を求める。平均化部２０６は、コントローラ１５０、又は専用回路により実現される。
【００３２】
差分算出部２０７は、第１のＡ／Ｄ変換部２０４でデジタル化された動き信号と平均化部２０６により平均化された信号との差分と符号を演算する。差分算出部２０７は、コントローラ１５０により実現される。
【００３３】
パンニング・揺り戻し判定部２０８は、差分算出部２０７の演算結果について同一の符号が所定時間継続することによりパンニングの開始を判定し、Ａ／Ｄ変換部２０４の出力値とＡ／Ｄ変換部２０５の出力値の差分が所定の値以下になることによって、パンニングの終了を判定する。パンニング・揺り戻し判定部２０８は、コントローラ１５０により実現される。
【００３４】
補正信号決定部２０９は、パンニング・揺り戻し判定部２０８がパンニングの開始を判定した際は、平均化部２０６を停止し、差分算出部２０７の出力値を減少させ、パンニング・揺り戻し判定部２０８がパンニングの終了を判定した際は、平均化部２０６を再開し、差分算出部２０７の出力値を通常処理に戻し、動きを補正する信号を決定する。補正信号決定部２０９は、コントローラ１５０により実現される。
【００３５】
補正信号発生部２１０は、補正信号決定部２０９の出力信号により、実際の撮像装置の動きを補正する信号を発生する。補正信号発生部２１０は、コントローラ１５０により実現される。補正信号発生部２１０が出力する補正信号は、駆動系１３０に入力され、ＯＩＳユニット１２４を駆動し、動き補正を行う。
【００３６】
このように構成された動き補正装置１９０について、その動作を図３のフローチャートを用いて説明する。
【００３７】
動き検出部２０１は、装置の物理的な揺れを検出し、検出した揺れを信号として出力する。第１の信号増幅回路２０２は、その出力信号を増幅する。第１のＡ／Ｄ変換部２０４は、第１の信号増幅回路２０２からの信号をデジタル信号に変換する（ステップ３０１）。
【００３８】
第２の信号増幅回路２０３は、動き検出部２０１からの信号を増幅する。第２のＡ／Ｄ変換部２０５は、第２の信号増幅回路２０３からの信号をデジタル信号に変換する（ステップ３０２）。
【００３９】
コントローラ１５０は、パンニング・揺り戻し判定部２０８の判定結果（後述のステップ３０９〜３１３）が「パンニング」であった際（ステップ３０３でＹｅｓの場合）には、平均化処理を停止する（ステップ３０５）。
【００４０】
パンニング・揺り戻し判定部２０８の判定結果が「揺り戻し」であった際（ステップ３０４でＹｅｓの場合）には、平均化処理を再開する（ステップ３０６）。
【００４１】
パンニング・揺り戻し判定部２０８の判定結果が「通常（パンニングでも揺り戻しでも無い）」であった際（ステップ３０４でＮｏの場合）には、通常平均化処理を行う（ステップ３０７）。
【００４２】
ステップ３０３〜３０７は、平均化部２０６の処理である。
【００４３】
差分算出部２０７は、ステップ３０１で求めた第１のＡ／Ｄ変換部２０４の出力値と平均化部２０６の出力値から、その時の符号と差分を求める。
【００４４】
ステップ３０９〜３１３は、パンニング・揺り戻し判定部２０８の処理である。
【００４５】
パンニング・揺り戻し判定部２０８は、ステップ３０８にて算出した符号が所定時間同一である際（ステップ３０９でＹｅｓの場合）に、「パンニング」と判定する（ステップ３１０）。所定時間の値は、ビデオカメラ１０１の不揮発性メモリ（図示せず）に保持される。
【００４６】
パンニング・揺り戻し判定部２０８は、ステップ３１１で「パンニング」と判定されている際（ステップ３１１でＹｅｓの場合）に、ステップ２０１の出力値とステップ２０２の出力値の差分が所定の値以下になった際（ステップ３１２でＹｅｓの場合）に、「揺り戻し」と判定する（ステップ３１３）。所定の値は、ビデオカメラ１０１の不揮発性メモリ（図示せず）に保持される。
【００４７】
パンニング・揺り戻し判定部２０８において、「パンニング」「揺り戻し」を判定する際の第１のＡ／Ｄ変換部２０４と第２のＡ／Ｄ変換部２０５との出力信号を図４に示す。
【００４８】
図４の４０１の時点において、差分算出部２０７の出力が、所定時間、同一符号が継続したことから、「パンニング」と判定する。
【００４９】
図４の４０２の時点において、第１のＡ／Ｄ変換部２０４の出力と第２のＡ／Ｄ変換部２０５の出力との差分が、所定の値以下になったことによって、「揺り戻し」と判定する。
【００５０】
このように、第１のＡ／Ｄ変換部２０４と第２のＡ／Ｄ変換部２０４の出力信号を用いて、「パンニング」及び「揺り戻し」を判定することによって、精度良く「パンニング」の開始および終了を判定することができる。
【００５１】
補正信号決定部２０９は、ステップ３０１〜３１３を経由して算出されたステップ３０８の出力値から、実際の撮像装置の動きを補正する信号を発生する（ステップ３１４）。すなわち、パンニングの開始を判定した際は、平均化部２０６を停止し（ステップ３０５）、差分算出部２０７の出力値を減少させ、パンニングの終了を判定した際は、平均化部２０６を再開し（ステップＳ３０６）、差分算出部２０７の出力値を通常処理に戻し、動きを補正する信号を決定する。
【００５２】
補正信号発生部２１０は、ステップ２１４の出力信号を基に、実際の撮像装置の動きを補正する信号を発生する。補正信号発生部２１０が出力する補正信号は、駆動系１３０に入力され、ＯＩＳユニット１２４を駆動し、動き補正を行う（ステップ３１５）。
【００５３】
このように補正信号決定部２０９で、平均化部２０６の停止・再開を制御し、差分算出部２０７の出力値により、動き補正信号を決定するために、パンニング開始時は、補正の効きを弱め、パンニング終了時は、通常の補正を行い、パンニングの開始・終了時に、適切な動き補正を行うことができる。
【００５４】
なお、本実施の形態では、「パン」動作について説明したが、「チルト」動作についても同様である。
【産業上の利用可能性】
【００５５】
本発明は、パン・チルト動作の開始・終了を迅速に判定できるとともに、パン・チルト動作の開始・終了時において、適切な動き補正を行うことができる画像動き補正装置であり、画像動き補正を行う必要があるビデオカメラ及びスチルカメラ等の撮像装置に適用することができ、有用である。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施の形態における動き補正装置を適用したビデオカメラの構成を示す図
【図２】本発明の一実施の形態における画像動き補正装置の構成を示すブロック図
【図３】本発明の一実施の形態における画像動き補正装置の処理を示すフローチャート
【図４】パンニング・揺り戻し判定を説明するための図
【符号の説明】
【００５７】
１９０    動き補正装置
２０１    動き検出部
２０２    第１の信号増幅回路
２０３    第２の信号増幅回路
２０４    第１のＡ／Ｄ変換部
２０５    第２のＡ／Ｄ変換部
２０６    平均化部
２０７    差分算出部
２０８    パンニング・揺り戻し判定部
２０９    補正信号決定部
２１０    補正信号発生部
【図１】
0005146107.tif 000002
【図２】
0005146107.tif 000003
【図３】
0005146107.tif 000004
【図４】
0005146107.tif 000005