(57)【要約】【課題】  撮像開始ボタンなどの操作の直後に発生する手ブレの影響を受け難くすること。【解決手段】  撮像装置は、撮像した画像の画像データを出力する撮像手段２，５と、撮像手段２，５の動きを検出する動き検出手段３，４，７と、録画開始ボタン１８ｂと、録画開始ボタン１８ｂが操作されてから所定の時間が経過した後に動き検出手段３，４，７により検出される動きのデータを用いて、撮像手段２，５により撮像された画像データに対する手ブレ補正処理を実行する手ブレ補正処理手段４３と、を有する。【選択図】  図３
2006254000.tif 000002
【特許請求の範囲】
【請求項１】
撮像した画像の画像データを出力する撮像手段と、
上記撮像手段の動きを検出する動き検出手段と、
録画開始ボタンと、
上記録画開始ボタンが操作されてから所定の時間が経過した後に上記動き検出手段により検出される動きのデータを用いて、上記撮像手段により撮像された画像データに対する手ブレ補正処理を実行する手ブレ補正処理手段と、
を有することを特徴とする撮像装置。
【請求項２】
撮像した画像の画像データを出力する撮像手段と、
上記撮像手段の動きを検出する動き検出手段と、
録画開始ボタンと、
データを記憶する記憶手段と、
上記録画開始ボタンが操作されてから所定の時間が経過した後に、上記動き検出手段により検出される動きのデータ、および上記撮像手段から出力された画像データを上記記憶手段に蓄積する保存処理手段と、
上記記憶手段に記憶された動きのデータを用いて、上記記憶手段に記憶された画像データに対する手ブレ補正処理を実行する手ブレ補正処理手段と、
を有することを特徴とする撮像装置。
【請求項３】
前記保存処理手段は、前記録画開始ボタンが操作されてから所定の時間が経過した後に、前記撮像手段が画像の撮像タイミングの基準として使用するタイミング信号を検出すると、前記動き検出手段により検出される動きのデータの蓄積を開始することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記手ブレ補正処理手段は、前記記憶手段に記憶される複数の動きデータに含まれるパンによる動き成分をフィルタ処理により除いた上で、手ブレ補正処理を実行することを特徴とする請求項２記載の撮像装置。
【請求項５】
前記撮像手段により、当該撮像手段が撮像した画像の画像データが書き込まれるバッファメモリと、
前記バッファメモリに記憶される画像データに基づく画像を表示する表示手段と、
前記手ブレ補正処理手段により補正された複数の画像データを前記バッファメモリに順番に書き込む再生処理手段と、
を有することを特徴とする請求項２記載の撮像装置。
【請求項６】
前記動き検出手段は、前記撮像手段の動きを、その角速度として検出するジャイロセンサを有することを特徴とする請求項１から５の中のいずれか１項記載の撮像装置。
【請求項７】
録画開始ボタンが操作されてからの経過時間が所定の時間以上であるか否かを判断するステップと、
上記経過時間が所定の時間以上になった後に、検出される撮像手段の動きのデータを用いて、上記撮像手段により撮像された画像データに対する手ブレ補正処理を実行するステップと、
を有することを特徴とする手ブレ補正処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および手ブレ補正処理方法に関する。
【背景技術】
【０００２】
特許文献１は、撮像装置を開始する。この撮像装置は、撮像装置の手ブレを検出する手ブレ検出部と、手ブレ検出部で検出された手ブレに基づいて動画撮影モードの像ブレ補正量を演算する動画モード補正量演算部と、この動画モード補正量演算部で演算された像ブレ補正量に基づいて像ブレを補正する像ブレ補正部と、を備える。
【０００３】
【特許文献１】特開２００１−２６８４２９号公報（要約など）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されるように、撮像装置に手ブレ検出部を設け、この手ブレ検出部の検出データに基づいて、撮像する動画の手ブレによる像ブレを補正することができる。
【０００５】
しかしながら、撮像装置に手ブレ検出部を設けただけでは、実際には、手ブレを適切にキャンセルすることができないことがある。
【０００６】
撮像装置における動画の撮像は、その撮像装置に設けられた撮像開始ボタンなどがユーザによって操作されることにより、開始される。この撮像開始ボタンの操作直後には、撮像装置には、ボタンを押すことに起因する振動が発生する。この撮像開始ボタンの操作に起因する手ブレは、激しく、しかも、振幅が大きなものとなることがある。
【０００７】
そして、この撮像開始ボタンなどの操作の直後から、手ブレ検出部の検出データに基づいて、手ブレの補正処理をした場合、手ブレ検出部の検出データには、その撮像開始ボタンの操作に起因する手ブレが含まれてしまう。その結果、その激しく且つ大きく変化する手ブレの成分によって、画像の基準位置が変動してしまい、手ブレによるずれを好適に相殺することができなくなる。
【０００８】
本発明は、撮像開始ボタンなどの操作の直後に発生する手ブレの影響を受け難い撮像装置および手ブレ補正処理方法を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、撮像した画像の画像データを出力する撮像手段と、撮像手段の動きを検出する動き検出手段と、録画開始ボタンと、録画開始ボタンが操作されてから所定の時間が経過した後に動き検出手段により検出される動きのデータを用いて、撮像手段により撮像された画像データに対する手ブレ補正処理を実行する手ブレ補正処理手段と、を有するものである。
【００１０】
この構成を採用すれば、撮像手段により撮像された画像データは、録画開始ボタンが操作されてから所定の時間が経過した後における動きのデータを用いて手ブレ補正処理が実行される。したがって、撮像開始ボタンの操作の直後に発生する手ブレの影響を受け難い。
【００１１】
本発明に係る他の撮像装置は、撮像した画像の画像データを出力する撮像手段と、撮像手段の動きを検出する動き検出手段と、録画開始ボタンと、データを記憶する記憶手段と、録画開始ボタンが操作されてから所定の時間が経過した後に、動き検出手段により検出される動きのデータ、および撮像手段から出力された画像データを記憶手段に蓄積する保存処理手段と、記憶手段に記憶された動きのデータを用いて、記憶手段に記憶された画像データに対する手ブレ補正処理を実行する手ブレ補正処理手段と、を有するものである。
【００１２】
この構成を採用すれば、録画開始ボタンが操作されてから所定の時間が経過した後における動きのデータが蓄積され、その蓄積された動きのデータを用いて、撮像手段により撮像された画像データの手ブレ補正処理が実行される。したがって、撮像開始ボタンの操作の直後に発生する手ブレの影響を受け難い。
【００１３】
本発明に係る他の撮像装置は、上述した他の撮像装置の構成に加えて、保存処理手段が、録画開始ボタンが操作されてから所定の時間が経過した後に、撮像手段が画像の撮像タイミングの基準として使用するタイミング信号を検出すると、動き検出手段により検出される動きのデータの蓄積を開始するものである。
【００１４】
この構成を採用すれば、記憶手段において、複数の動きデータの検出タイミングと複数の画像データの撮像タイミングとの一定の対応関係が確保され、記憶手段に蓄積された複数の画像データによる画像に対して好適な手ブレ補正処理を実行することができる。
【００１５】
本発明に係る他の撮像装置は、上述した他の撮像装置の構成に加えて、手ブレ補正処理手段が、記憶手段に記憶される複数の動きデータに含まれるパンによる動き成分をフィルタ処理により除いた上で、手ブレ補正処理を実行するものである。
【００１６】
この構成を採用すれば、パンなどにより撮像された動画から、手ブレによるぶれを好適に相殺することができる。
【００１７】
本発明に係る他の撮像装置は、上述した他の撮像装置の構成に加えて、撮像手段により、当該撮像手段が撮像した画像の画像データが書き込まれるバッファメモリと、バッファメモリに記憶される画像データに基づく画像を表示する表示手段と、手ブレ補正処理手段により補正された複数の画像データをバッファメモリに順番に書き込む再生処理手段と、を有するものである。
【００１８】
この構成を採用すれば、撮像手段により撮像されている画像を動画として表示手段に表示し、且つ、その表示手段に手ブレ補正処理後の動画を表示することができる。
【００１９】
本発明に係る他の撮像装置は、上述した各撮像装置の構成に加えて、動き検出手段が、撮像手段の動きを、その角速度として検出するジャイロセンサを有するものである。
【００２０】
この構成を採用すれば、撮像手段の動きを角速度として検出し、その検出された角速度に基づいて手ブレ補正を実行することができる。
【００２１】
本発明に係る手ブレ補正処理方法は、録画開始ボタンが操作されてからの経過時間が所定の時間以上であるか否かを判断するステップと、経過時間が所定の時間以上になった後に、検出される撮像手段の動きのデータを用いて、撮像手段により撮像された画像データに対する手ブレ補正処理を実行するステップと、を有するものである。
【００２２】
この方法を採用すれば、撮像手段により撮像された画像データは、録画開始ボタンが操作されてから所定の時間が経過した後における動きのデータを用いて手ブレ補正処理が実行される。したがって、撮像開始ボタンの操作の直後に発生する手ブレの影響を受け難い。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態に係る撮像装置および手ブレ補正処理方法を、図面に基づいて説明する。手ブレ補正処理方法は、撮像装置の動作の一部として説明する。
【００２４】
図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。この撮像装置は、ムービー機能付き携帯電話機、ビデオカメラなどといった携帯可能な撮像装置である。
【００２５】
図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。この撮像装置は、ムービー機能付き携帯電話機、ビデオカメラなどといった携帯可能な撮像装置である。
【００２６】
撮像装置は、カメラユニットボード１を有する。カメラユニットボード１には、撮像手段の一部としての撮像デバイス２と、動き検出手段の一部としてのジャイロセンサ３，４と、が実装される。このカメラユニットボード１は、撮像装置の図示外の筐体内に固定される。
【００２７】
撮像デバイス２は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）となどといった受光デバイスであり、複数の受光素子を有する。複数の受光素子は、撮像デバイス２の光軸Ｘに対して垂直な面上に二次元的に配列される。図１では、この複数の受光素子の二次元的な配列方向を、Ｙ軸およびＺ軸として示す。撮像デバイス２には、Ｘ軸方向において図示外の光学系ユニットが重ねて配設される。光学系ユニットは、レンズなどで構成され、入射する光による被写体の像を、撮像デバイス２に投影する。
【００２８】
各受光素子は、受光光量に応じたレベル信号を出力する。受光素子が出力するレベル信号は、リセット信号が入力されると、初期状態のレベルとなる。受光素子が出力するレベル信号は、リセット信号が入力された後に受光する光量の増加に応じて変化する。
【００２９】
撮像デバイス２には、撮像手段の一部としての撮像コントローラ５が接続される。撮像コントローラ５は、撮像デバイス２を制御する。具体的にはたとえば、撮像コントローラ５は、撮像するときには、まず、所定のライン数毎に、リセット信号を出力する。撮像コントローラ５は、リセット信号を出力してから所定の期間の後に、そのリセット信号を出力したラインの複数の受光素子のレベル信号を読み取る。撮像コントローラ５は、すべてのラインへリセット信号を出力し、読み取った複数の受光素子のレベル信号に基づいて、撮像デバイス２に投影される像の画像データを生成する。撮像コントローラ５は、この生成した画像データを、１つのフレーム画像のデータとして出力する。
【００３０】
撮像コントローラ５には、ＶＳＹＮＣ（Ｖｅｒｔｉｃａｌ  Ｓｙｎｃｈｒｏｎｉｚｉｎｇ  ｓｉｇｎａｌ：垂直同期信号）信号発生器６が接続される。ＶＳＹＮＣ信号発生器６は、所定の周期、たとえば３０分の１秒毎に、タイミング信号としてのＶＳＹＮＣ信号を出力する。撮像コントローラ５は、ＶＳＹＮＣ信号に基づいて、撮像デバイス２による撮像を開始する。撮影コントローラ５は、ＶＳＹＮＣ信号発生器６が出力するＶＳＹＮＣ信号をサンプリングする。
【００３１】
ジャイロセンサ３，４は、所定の一方向での角速度を検出する。このようなジャイロセンサ３，４としては、たとえば、本出願人らが開発した振動ジャイロセンサ「ＸＶ−３５００ＣＢ」などがある。一例としてのこの振動ジャイロセンサ「ＸＶ−３５００ＣＢ」の外形寸法は、５．０［ｍｍ］×３．２［ｍｍ］×１．３［ｍｍ］であり、その質量は６６［ｍｇ］である。このような小型・薄型の振動ジャイロセンサを使用することで、筐体内の空間が狭い撮像装置でも充分に、センサを設置可能である。
【００３２】
ジャイロセンサ３は、図１のＺ軸周りの周回方向の動きによる角速度を検出する。ジャイロセンサ４は、図１のＹ軸周りの周回方向の動きによる角速度を検出する。したがって、ジャイロセンサ３，４は、撮像デバイス２のＹ軸方向の動きとＺ軸方向の動きとを検出する。
【００３３】
動き検出手段の一部としてのＡ／Ｄ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）変換器７は、ジャイロセンサ３，４による角速度のレベル信号をサンプリングし、サンプリング値を有するデジタルデータを出力する。Ａ／Ｄ変換器７は、ＶＳＹＮＣ信号発生器６が出力するＶＳＹＮＣ信号の周期のたとえば１６分の１の周期で、ジャイロセンサ３，４のレベル信号とをサンプリングする。以下、この実施の形態において、Ａ／Ｄ変換器７が出力するデジタルデータを、ジャイロデータと呼ぶ。
【００３４】
この撮像装置は、他にも、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２と、記憶手段としての記憶デバイス１３と、ビデオボード１４と、入出力ポート１５と、これらを接続するシステムバス１６と、を有する。ビデオボード１４には、表示手段としての液晶モニタ（ＬＣＤ）１７が接続される。
【００３５】
ビデオボード１４は、バッファメモリとしてのＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１と、ＬＣＤコントローラ２２と、を有する。ＶＲＡＭ２１は、表示データを記憶する。
【００３６】
ＬＣＤコントローラ２２は、ＶＲＡＭ２１に記憶されている表示データを読出し、読み出した表示データに応じた表示信号を生成し、ＬＣＤ１７へ出力する。ＬＣＤ１７は、表示信号に基づいて表示部に画像などを表示する。
【００３７】
また、ＬＣＤコントローラ２２は、ＶＲＡＭ２１へのデータ書き込みおよびデータ読出しを管理する。ＬＣＤコントローラ２２は、たとえば、システムバス１６側からのデータ書き込み要求と、表示処理とがある場合、これらを順番に処理する。ＶＲＡＭ２１へのアクセスは、排他的に管理される。
【００３８】
入出力ポート１５には、ジャイロセンサ３，４と、Ａ／Ｄ変換器７と、撮像コントローラ５と、ＶＳＹＮＣ信号発生器６と、キーデバイス１８とが接続される。Ａ／Ｄ変換器７は、入出力ポート１５へジャイロログデータを出力する。撮像コントローラ５は、入出力ポート１５へフレーム画像のデータを出力する。キーデバイス１８は、入出力ポート１５へ、操作されたキーに応じた入力データを出力する。キーデバイス１８は、たとえば起動ボタン１８ａ、録画開始ボタン１８ｂ、再生ボタン１８ｃなどを有する。
【００３９】
また、記憶デバイス１３は、動画記録再生プログラム３１、撮像動画データ３２、ジャイロログデータ３３および補正動画データ３４を記憶する。記憶デバイス１３は、たとえばフラッシュメモリなどの各種の半導体メモリや、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などで構成することができる。
【００４０】
なお、動画記録再生プログラム３１は、撮像装置の出荷前に記憶デバイス１３に保存されても、撮像装置の出荷後に記憶デバイス１３に保存されてもよい。撮像装置の出荷後に記憶デバイス１３に動画記録再生プログラム３１を保存する場合、この動画記録再生プログラム３１は、たとえばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体に記憶されているものをインストールしたり、インターネット、電話回線などの通信媒体を介してダウンロードしたものをインストールしたりすることで、記憶デバイス１３に保存されればよい。
【００４１】
図２は、図１の撮像装置において、動画記録再生プログラム３１の起動時に実現される機能を示すブロック図である。図３は、図１の撮像装置において、撮像モード時に実現される機能を示すブロック図である。図４は、図１の撮像装置において、再生モード時に実現される機能を示すブロック図である。
【００４２】
図２中のモード切替部４１は、撮像装置の動作モードを、撮像モードと、再生モードとの間で切り替える。撮像モードは、動画を撮像し、これにより記憶デバイス１３に、撮像動画データ３２、ジャイロログデータ３３および補正動画データ３４を記憶させるモードである。再生モードは、記憶デバイス１３に記憶されている補正動画データ３４による動画を、ＬＣＤ１７に表示させるモードである。
【００４３】
図３中の保存処理部４２は、保存処理手段として機能し、入出力ポート１５に入力されるジャイロデータと、撮像コントローラ５によりサンプリングされたＶＳＹＮＣ信号の有無を示すデータとを対応付けて、ジャイロログデータ３３として記憶デバイス１３に保存する。保存処理部４２は、あるタイミングにおいて読み取ったこれらのデータを、１つのレコードとして、ジャイロログデータ３３に追加する。
【００４４】
図５は、図１中の記憶デバイス１３に保存されるジャイロログデータ３３のデータ構造の一例を示す説明図である。図５において、各行は、あるタイミングにおける１つのレコードに相当する。１つのレコードは、サンプル番号と、Ｙ軸のジャイロデータと、Ｚ軸のジャイロデータと、ＶＳＹＮＣマークデータと、で構成される。
【００４５】
サンプル番号は、入出力ポート１５に入力されるジャイロデータおよびＶＳＹＮＣ信号の読み取り処理ごとに１ずつ増加される番号である。ＶＳＹＮＣマークデータは、ＶＳＹＮＣ信号が所定の非零値で検出された場合に「１」が記録され、零で検出された場合に「０」が記録される。図５では、１６レコード毎に、ＶＳＹＮＣマークデータ値が「１」となっている。
【００４６】
図５のジャイロログデータ３３において、複数のレコードは、時系列順に、上から下に向かって順番に追加されている。新しく追加されるレコードは、ジャイロログデータ３３の最後尾（図５の一番下）に追加される。
【００４７】
また、図３の保存処理部４２は、ＶＲＡＭ２１に記憶されている表示データを所定のフレームレートで読み取り、これを撮像動画データ３２として、記憶デバイス１３に保存する。なお、保存処理部４２の動作は、カメラ側のＶＳＹＮＣ信号発生器６によるＶＳＹＮＣ信号に同期している。保存処理部４２は、ＶＲＡＭ２１から読み取った表示データを、１つのフレーム画像として、撮像動画データ３２に追加する。
【００４８】
図３中の手ブレ補正処理部４３は、手ブレ補正処理手段として機能し、記憶デバイス１３における撮像動画データ３２に対して、記憶デバイス１３におけるジャイロログデータ３３を用いて、所定の手ブレ補正処理を実行する。手ブレ補正処理部４３は、所定の手ブレ補正処理済みの撮像動画データ３２を、補正動画データ３４として、記憶デバイス１３に保存する。
【００４９】
図４中の再生処理部４４は、再生処理手段として機能し、記憶デバイス１３に記憶されている補正動画データ３４を読み取る。再生処理部４４は、表示データを生成してＬＣＤコントローラ２２を介してＶＲＡＭ２１に書き込む。
【００５０】
次に、以上の構成を有する図１の撮像装置の動作を説明する。以下の説明では、まず、撮像モードについて説明し、次に再生モードについて説明する。
【００５１】
図１中のキーデバイス１８の起動ボタン１８ａが操作されると、キーデバイス１８は、起動ボタン１８ａに応じた入力データを出力する。この入力データは、図１中の入出力ポート１５およびシステムバス１６を介して、中央処理装置１１に供給される。中央処理装置１１は、記憶デバイス１３から動画記録再生プログラム３１を読み込んで実行する。これにより、図２に示すようにモード切替部４１が実現される。
【００５２】
この状態では、撮像コントローラ５は、ＶＳＹＮＣ信号の周期ごとに、撮像デバイス２を撮像動作させ、フレーム画像データを生成し、入出力ポート１５へ出力する。このフレーム画像のデータは、システムバス１６を介して、ビデオボード１４へ供給される。ビデオボード１４のＬＣＤコントローラ２２は、このシステムバス１６から供給されるフレーム画像データを、ＶＲＡＭ２１に書き込む。
【００５３】
これにより、ＶＲＡＭ２１は、撮像デバイス２により撮像されたフレーム画像のデータを、表示データとして記憶する。ＶＲＡＭ２１に記憶されるフレーム画像のデータは、ＶＳＹＮＣ信号の周期毎に更新される。
【００５４】
ＬＣＤコントローラ２２は、ＶＲＡＭ２１から表示データを周期的に読み込む。この周期は、たとえばＶＳＹＮＣ信号発生器６がＶＳＹＮＣ信号を発生する周期と同じであれば良い。ＬＣＤコントローラ２２は、読み出した表示データに応じた表示信号を生成し、ＬＣＤ１７へ出力する。ＬＣＤ１７は、表示信号に基づいて表示部にフレーム画像を表示する。以上の一連の処理により、ＬＣＤ１７には、撮像デバイス２により撮像された画像が、動画としてリアルタイムに表示される。
【００５５】
なお、この撮像デバイス２により撮像された画像をリアルタイムにＬＣＤ１７に表示する処理において、ＬＣＤコントローラ２２は、フレーム画像データをＶＲＡＭ２１へ書き込む処理と、表示データの読出し処理とを、順番に処理している。
【００５６】
図６は、撮像モードにおける動作を示すフローチャートである。
【００５７】
ＬＣＤ１７に撮像デバイス２により撮像された画像が動画としてリアルタイムに表示されている状態において、図１のキーデバイス１８の録画開始ボタン１８ｂの操作が検出される（ステップＳＴ１）と、モード切替部４１は、この入力データの供給に基づいて、撮像装置の動作モードを、撮像モードに設定する。これにより、図１の撮像装置には、図３に示すように、保存処理部４２と、手ブレ補正処理部４３とが実現される。
【００５８】
保存処理部４２は、まず、Ａ／Ｄ変換器７に対して起動信号を出力する。Ａ／Ｄ変換器７は、角速度の検出を開始する。ユーザによるボタン押下操作、回路の初期変動状態などに起因して、ジャイロセンサ３，４の出力レベルが過渡状態を経て安定するまで、約数百ミリ秒程度の時間がかかる。保存処理部４２は、起動信号を出力してからたとえば１秒程度経過したか否かを判断する（ステップＳＴ２）。
【００５９】
起動信号を出力してからたとえば１秒程度経過したと判断すると、保存処理部４２は、さらに、ＶＳＹＮＣ信号が検出されたか否かを判断する（ステップＳＴ３）。そして、ＶＳＹＮＣ信号が検出されると、保存処理部４２は、保存処理を開始する。保存処理部４２は、たとえば６秒間の動画を記録する保存処理を開始する。
【００６０】
動画の保存処理が開始されると、保存処理部４２は、入出力ポート１５に入力されるジャイロデータと、撮像コントローラ５によりサンプリングされたＶＳＹＮＣ信号の有無を示すデータとを読み取り、それらを対応付けて記憶デバイス１３のジャイロログデータ３３に追加する（ステップＳＴ４）。
【００６１】
また、保存処理部４２は、読み込んだＶＳＹＮＣ信号の有無を示すデータが「１」であるか否かを判断し、「１」である場合、ＶＲＡＭ２１に保存されている表示データを読み取る。保存処理部４２は、読み取った表示データを、１つのフレーム画像のデータとして撮像動画データ３２に追加する（ステップＳＴ５）。
【００６２】
保存処理部４２は、動画の保存処理を開始してから、６秒が経過し、９０フレーム分のフレーム画像データとジャイロログデータを取得したか否かを判断する（ステップＳＴ６）。
【００６３】
動画の保存処理を開始してから６秒が経過していない場合、保存処理部４２は、ステップＳＴ４，ＳＴ５に戻り、ジャイロログデータおよびフレーム画像データの保存処理を繰り返す。
【００６４】
動画の保存処理を開始してから６秒が経過している場合、保存処理部４２は、動画の保存処理を終了する。これにより、動画の保存処理終了時には、記憶デバイス１３には、図５に例示するようなジャイロログデータ３３と、複数のフレーム画像データからなる撮像動画データ３２と、が保存される。
【００６５】
６秒間の動画を記録する場合、ジャイロログデータ３３のレコード数は、１４４０（６×１５×１６）個となる。値が「１」であるＶＳＹＮＣマークデータの数は、９０（＝６×１５）個となる。
【００６６】
撮像動画データ３２には、撮像コントローラ５により連続して生成される複数のフレーム画像が、その撮像順に含まれる。６秒間の動画を記録する場合、撮像動画データ３２のフレーム画像の数は、９０（＝６×１５）個となる。
【００６７】
保存処理部４２による動画の保存処理が終了すると、手ブレ補正処理部４３は、記憶デバイス１３における撮像動画データ３２およびジャイロログデータ３３から補正動画データ３４を生成し、生成した補正動画データ３４を記憶デバイス１３に保存する。
【００６８】
具体的にはたとえば、手ブレ補正処理部４３は、補正動画データ３４の各フレーム画像に対して、そのフレーム画像に含まれる手ブレによるずれを補正する処理を実行する。
【００６９】
最初のフレーム画像に対する手ブレによるずれの補正処理において、手ブレ補正処理部４３は、まず、ジャイロログデータ３３の先頭からレコードを検索し、ＶＳＹＮＣマークデータの値が「１」である最初のレコードを特定する。図５では、上から３行目のレコードが、ＶＳＹＮＣマークデータの値が「１」である最初のレコードである。
【００７０】
ＶＳＹＮＣマークデータの値が「１」である最初のレコードを特定した後、手ブレ補正処理部４３は、ジャイロログデータ３３の先頭から、Ｙ軸およびＺ軸の軸毎に、特定したレコードまでを使用して、そのフレーム画像についてのずれ量を計算する。
【００７１】
特定したレコードまでのずれ量を計算した後、手ブレ補正処理部４３は、そのずれ量を相殺するようにフレーム画像における画像枠を移動し、その画像枠内の画像のデータを抽出し、補正後の画像データとする。
【００７２】
図７は、図３の手ブレ補正処理部４３による、手ブレ補正処理を示す説明図である。図７（Ａ）は、撮像風景である。図７（Ｂ）は、撮像されたフレーム画像である。図７（Ｃ）は、手ブレ補正後のフレーム画像である。図７（Ｄ）は、手ブレ補正処理により最終的に生成されるフレーム画像である。図７（Ａ）において、四角の点線枠は、保存処理部４２による保存処理が開始されたタイミングにおける撮像範囲である。図７（Ａ）において、四角の一点鎖線枠は、図７（Ｂ）のフレーム画像を撮像するタイミングにおける撮像範囲である。
【００７３】
図７（Ａ）において、図７（Ｂ）のフレーム画像を撮像するタイミングにおける撮像範囲（一点鎖線枠）は、保存処理部４２による保存処理が開始されたタイミングにおける撮像範囲（点線枠）より紙面の左側へずれている。手ブレ補正処理部４３は、ジャイロログデータ３３に基づいてこのずれ量を演算し、図７（Ｃ）に示すように、そのずれ量に相当する分だけ、フレーム画像内において、紙面の右側へ、画像枠を移動する。
【００７４】
この手ブレ補正処理により、フレーム枠内での被写体（たとえば自動車）の位置は、保存処理部４２による保存処理が開始されたタイミングにおける撮像範囲内での被写体の位置と一致し、手ブレによるずれが相殺される。
【００７５】
上述した説明においては、手ブレ補正処理部４３は、ジャイロログデータ３３に基づいて特定したレコードまでに発生したずれ量をすべて相殺するように、フレーム枠内においてフレーム画像を移動している。
【００７６】
実際には、手ブレ補正処理部４３は、ジャイロログデータ３３に基づいて特定したレコードまでに発生したずれ量を、手ブレによるずれ量とパンによるずれ量とに切り分け、手ブレによるずれ量のみを相殺している。このような切り分け処理は、ブレ量の振幅や周波数で分別するフィルタ処理で実現される。
【００７７】
パンとは、撮像時に撮像装置を略一定の方向へ略一定の速度で動かす撮り方である。したがって、パンによるずれ量は、ジャイロデータに、撮像装置を一方向へ略定常的に動かす動き成分として含まれている。そのため、手ブレ補正処理部４３は、手ブレによるずれ量とパンによるずれ量とを切り分けるために、まず、蓄積されているジャイロログデータ３３に基づいて、たとえば各軸のジャイロデータの先頭から最後までに、略定常的な一方向への動き成分が含まれているか否かを判断する。
【００７８】
略定常的な一方向への動き成分が含まれていない場合、手ブレ補正処理部４３は、上述した説明による手ブレ補正処理、すなわち演算されたずれ量をすべて相殺する補正処理を実行する。
【００７９】
これに対して、略定常的な一方向への動き成分が含まれている場合、手ブレ補正処理部４３は、各レコードとジャイロログデータ３３の先頭レコードとの差分の替わりに、さらにその差分からその特定した一方向への動き成分を減算した値を用いて、特定したレコードまでに発生した手ブレによるずれ量を計算する。計算したずれ量を用いたフレーム画像の補正処理は、上述した場合と同様であり、説明を省略する。
【００８０】
特定した最初のレコードまでの手ブレによるずれを用いて、最初のフレーム画像に対する手ブレ補正処理を完了すると、手ブレ補正処理部４３は、再び、ジャイロログデータ３３の先頭からレコードを検索し、ＶＳＹＮＣマークデータの値が「１」である二番目のレコードを特定する。なお、手ブレ補正処理部４３は、このレコードの検索処理において、前回のレコードの検索の続きから、検索をするようにしてもよい。図５では、二番目のレコードとして、上から１９番目のレコードが特定される。そして、手ブレ補正処理部４３は、この二番目のレコードまでの手ブレによるずれ量を計算し、計算した手ブレによるずれ量で、二番目のフレーム画像に対する手ブレ補正処理を実行する。
【００８１】
手ブレ補正処理部４３は、撮像画像データ３２の各フレーム画像に対する手ブレ補正処理を繰り返すことで、撮像動画データ３２のすべてのフレーム画像に対して、手ブレ補正処理を実行する。６秒間の動画の撮像動画データ３２である場合、手ブレ補正処理部４３は、９０個のフレーム画像に対して、９０回の手ブレ補正処理を実行することになる。手ブレ補正処理部４３は、補正した複数のフレーム画像による補正動画データ３４を生成し、記憶デバイス１３に記憶させる。
【００８２】
次に、再生モードについて説明する。図１中のキーデバイス１８の再生ボタン１８ｃが操作されると、キーデバイス１８は、再生ボタン１８ｃに応じた入力データを出力する。モード切替部４１は、この入力データの供給に基づいて、撮像装置の動作モードを、再生モードに設定する。これにより、図１の撮像装置には、図４に示すように、再生処理部４４が実現される。
【００８３】
再生処理部４４は、まず、記憶デバイス１３に記憶されている補正動画データ３４から、最初のフレーム画像データを読み込み、読み込んだフレーム画像データをＶＲＡＭ２１に書き込む。
【００８４】
ＬＣＤコントローラ２２は、ＶＲＡＭ２１から表示データを周期的に読み込む。ＬＣＤコントローラ２２は、読み出した表示データに応じた表示信号を生成し、ＬＣＤ１７へ出力する。これにより、ＬＣＤ１７には、再生処理部４４によりＶＲＡＭ２１に書き込まれたフレーム画像が表示される。
【００８５】
再生処理部４４は、フレーム周期毎に、記憶デバイス１３に記憶されている補正動画データ３４から、最後に読み込んだ次のフレーム画像データを読み込み、読み込んだフレーム画像データをＶＲＡＭ２１に書き込む。
【００８６】
これにより、ＶＲＡＭ２１には、フレーム周期毎に、補正動画データ３４の複数のフレーム画像データが順番に書き込まれる。その結果、ＬＣＤ１７に表示される画像は、このフレーム周期毎に更新され、ＬＣＤ１７には、補正動画データ３４の複数のフレーム画像による動画が表示される。
【００８７】
以上のように、この実施の形態に係る撮像装置では、録画開始ボタン１８ｂが操作されてから所定の時間が経過した後におけるジャイロデータが記憶デバイス１３に蓄積され、その蓄積されたジャイロデータを用いて、撮像デバイス２により撮像されたフレーム画像データの手ブレ補正処理が実行される。したがって、撮像開始ボタンの操作の直後に発生する手ブレの影響を受け難い。
【００８８】
また、この実施の形態に係る撮像装置では、保存処理部４２が、録画開始ボタン１８ｂが操作されてから所定の時間が経過した後に、ジャイロログデータに基づいてＶＳＹＮＣ信号を検出すると、ジャイロログデータの蓄積を開始する。これにより、記憶デバイス１３において、複数のジャイロログデータの検出タイミングと複数のフレーム画像データの撮像タイミングとの一定の対応関係が確保され、記憶デバイス１３に蓄積された複数のフレーム画像データによる画像に対して好適な手ブレ補正処理を実行することができる。
【００８９】
また、この実施の形態に係る撮像装置では、手ブレ補正処理部４３は、記憶デバイス１３に記憶される複数のジャイロデータに含まれるパンによる動き成分をフィルタ処理により除いた上で、手ブレ補正処理を実行する。したがって、パンにより撮像された動画から、手ブレによるぶれを好適に相殺することができる。
【００９０】
また、この実施の形態に係る撮像装置では、再生処理部４４は、手ブレ補正処理部４３により補正された複数のフレーム画像データを、ＶＲＡＭ２１に書き込む。これにより、ＬＣＤ１７には、撮像デバイス１３により撮像されている画像を動画として表示し、且つ、手ブレ補正処理後の動画を表示することができる。
【００９１】
以上の実施の形態は、本発明の好適な実施の形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。
【００９２】
たとえば、上記実施の形態では、撮像デバイス２が撮像したフレーム画像のデータは、ＶＲＡＭ２１に書き込まれ、その後、保存処理部４２により記憶デバイスに蓄積される。この他にもたとえば、撮像デバイス２が撮像したフレーム画像のデータは、バッファなどのＶＲＡＭ２１以外のメモリに書き込まれ、その後、保存処理部４２により記憶デバイスに蓄積されるようにしてもよい。
【００９３】
上記実施の形態では、撮像モードにおいて、保存処理部４２および手ブレ補正処理部４３が実現され、再生モードにおいて、再生処理部４４が実現されている。この他にもたとえば、保存処理部４２、手ブレ補正処理部４３および再生処理部４４が同時に実現されるようにしてもよい。この変形例の場合において、さらに、再生処理部４４は、ＶＲＡＭ２１に補正したフレーム画像データを書き込み、撮像コントローラ５は、ＶＲＡＭ２１以外の別途設けたバッファなどのメモリに、撮像デバイス２により撮像されたフレーム画像データを書き込むようにしてもよい。これにより、ＬＣＤ１７には、手ブレ補正処理後の動画がリアルタイムに表示される。なお、この変形例においても、撮像コントローラ５が撮像デバイス２により撮像されたフレーム画像データをメモリに書き込む処理と、保存処理部４２がそのメモリからフレーム画像データを読み出す処理とは競合することがある。そのため、このメモリのメモリコントローラを設け、これらの処理を順番に処理させるようにすればよい。
【産業上の利用可能性】
【００９４】
本発明は、携帯されたり、移動体に固定されたりして動画を撮像する撮像装置などに利用することができる。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】動画記録再生プログラムの起動時に実現される機能を示すブロック図である。
【図３】撮像モード時に実現される機能を示すブロック図である。
【図４】再生モード時に実現される機能を示すブロック図である。
【図５】記憶デバイスに保存されるジャイロログデータのデータ構造の説明図である。
【図６】保存処理部の動作を示すフローチャートである。
【図７】手ブレ補正処理部による手ブレ補正処理を示す説明図である。
【符号の説明】
【００９６】
２  撮像デバイス（撮像手段の一部）、３，４  ジャイロセンサ（動き検出手段の一部）、５  撮像コントローラ（撮像手段の一部）、７  Ａ／Ｄ変換器（動き検出手段の一部）、１３  記憶デバイス（記憶手段）、１７  ＬＣＤ（表示手段）、１８ｂ  録画開始ボタン、２１ ＶＲＡＭ（バッファメモリ）、４２  保存処理部（保存処理手段）、４３  手ブレ補正処理部（手ブレ補正処理手段）、４４  再生処理部（再生処理手段）
【図１】
2006254000.tif 000003
【図２】
2006254000.tif 000004
【図３】
2006254000.tif 000005
【図４】
2006254000.tif 000006
【図５】
2006254000.tif 000007
【図６】
2006254000.tif 000008
【図７】
2006254000.tif 000009