(57)【要約】【課題】  正確に手ブレ補正処理を実行すること。【解決手段】  撮像装置の撮像手段２，５は、画像を撮像し画像データを生成する。画像データ記憶手段１３は、画像データを記憶する。画像保存処理手段４２は、周期的に発生するタイミング信号に応じて、撮像手段２，５により生成された画像データを画像データ記憶手段１３へ書き込む。動き検出手段３，４，７は、撮像手段２，５の動きを周期的に検出する。記憶手段１３は、動き検出手段３，４，７により検出された動きのデータとタイミング信号の発生タイミングのデータとを関連付けて記憶する。手ブレ補正処理手段４３は、記憶手段１３に記憶されているデータに基づいて、タイミング信号の発生タイミングから次の発生タイミングまでの動きのデータに基づいて、画像データ記憶手段１３に記憶された画像データに対して手ブレ補正を実行する。【選択図】  図３
2006253999.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像し画像データを生成する撮像手段と、
画像データを記憶する画像データ記憶手段と、
周期的に発生するタイミング信号に応じて、上記撮像手段により生成された画像データを上記画像データ記憶手段へ書き込む画像保存処理手段と、
上記撮像手段の動きを周期的に検出する動き検出手段と、
上記動き検出手段により検出された動きのデータと上記タイミング信号の発生タイミングのデータとを関連付けて記憶する記憶手段と、
上記記憶手段に記憶されているデータに基づいて、上記タイミング信号の発生タイミングから次の発生タイミングまでの動きのデータに基づいて、上記画像データ記憶手段に記憶された画像データに対して手ブレ補正を実行する手ブレ補正処理手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記撮像手段により取得された画像データを一時的に記憶するバッファメモリを備え、
前記画像保存処理手段は、周期的に発生するタイミング信号に応じて、上記撮像手段により生成された画像データを上記バッファメモリから読み出し前記画像データ記憶手段へ書き込み、
前記手ブレ補正処理手段は、前記画像データ記憶手段に記憶された画像データに対して手ブレ補正を実行すること、
を特徴とする請求項１記載の撮像装置。
【請求項３】
前記記憶手段は、時系列に沿って取得された順番で動きのデータと発生タイミングのデータを記憶し、
前記画像データ記憶手段は、時系列に沿って取得された順番で前記画像データを記憶し、
前記手ブレ補正処理手段は、動きのデータと発生タイミングのデータを、記憶されている順番で前記記憶手段から読み出し、画像データを、記憶されている順番で前記画像データ記憶手段から読み出し、その動きのデータと発生タイミングのデータに基づいてその画像データに対して手ブレ補正を実行すること、
を特徴とする請求項１記載の撮像装置。
【請求項４】
前記手ブレ補正処理手段は、動きデータに含まれるパンによる動き成分をフィルタ処理により除いた上で、手ブレ補正処理を実行することを特徴とする請求項１から３の中のいずれか１項記載の撮像装置。
【請求項５】
前記動き検出手段は、前記撮像手段の動きを検出するセンサと、上記センサの検出値を周期的にサンプリングするサンプリング手段とを有することを特徴とする請求項１から４の中のいずれか１項記載の撮像装置。
【請求項６】
前記センサは、直交する２軸の周回方向の角速度を検出する２つのジャイロセンサであることを特徴とする請求項５記載の撮像装置。
【請求項７】
撮像素子により画像を撮像し画像データを生成するステップと、
周期的に発生するタイミング信号に応じて、上記撮像素子により生成された画像データを、所定の画像データ記憶手段へ書き込むステップと、
上記撮像素子の動きを周期的に検出するステップと、
上記動きのデータと上記タイミング信号の発生タイミングのデータとを関連付けて所定の記憶手段に記憶するステップと、
上記記憶手段に記憶されているデータに基づいて、上記タイミング信号の発生タイミングから次の発生タイミングまでの動きのデータに基づいて、上記画像データ記憶手段に記憶された画像データに対して手ブレ補正を実行するステップと、
を有することを特徴とする手ブレ補正処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および手ブレ補正処理方法に関する。
【背景技術】
【０００２】
特許文献１は、撮像装置を開始する。この撮像装置は、撮像装置の手ブレを検出する手ブレ検出部と、手ブレ検出部で検出された手ブレに基づいて動画撮影モードの像ブレ補正量を演算する動画モード補正量演算部と、この動画モード補正量演算部で演算された像ブレ補正量に基づいて像ブレを補正する像ブレ補正部と、を備える。
【０００３】
【特許文献１】特開２００１−２６８４２９号公報（要約など）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されるように、動画は、手ブレ検出部により検出される手ブレに基づいて、その手ブレによる像ブレを補正することができる。
【０００５】
たとえば、連続的に撮像される複数のフレーム画像とともに、ジャイロセンサなどが検出する角速度をメモリに蓄積し、その蓄積された角速度に基づいて演算されるずれ量を打ち消す方向へ、各フレーム画像の画像枠内の位置を移動し、これにより、手ブレをキャンセルすることが考えられる。
【０００６】
しかしながら、ジャイロセンサが検出する角速度のデータをメモリに蓄積するだけでは、複数のフレーム画像を撮像している間に発生する手ブレが適切にキャンセルされないことがある。以下に、一例を説明する。
【０００７】
ある第一のフレーム画像と、その直後のフレーム画像である第二のフレーム画像との間での手ブレをキャンセルする場合、その２つのフレーム画像を撮像する間に検出された角速度を積分し、第二のフレーム画像を、その積分値の分だけ、その画像枠内において移動すれば、手ブレをキャンセルすることができる。これにより、第一のフレーム画像に写っている被写体と、第二のフレーム画像に写っている被写体とを、画像枠内の略同じ位置に合わせることができる。
【０００８】
しかしながら、ジャイロセンサによる角速度データの取得とフレーム画像の取得が互いに独立して実行される場合、ジャイロセンサが検出する角速度データをメモリに蓄積しただけでは、そのメモリに蓄積されている複数の角速度データのうちのどの角速度データが、第一のフレーム画像と第二のフレーム画像との間のフレーム期間に検出された角速度データであるのかを特定することができず、正確に手ブレ補正を行うことが難しい。
【０００９】
特に、撮像デバイスにより撮像されたフレーム画像のデータが、ビデオメモリなどのバッファに一旦格納され、そのバッファから所定のメモリへ、所定のフレームレートでキャプチャされる場合、撮像タイミングとキャプチャタイミングとの間にずれが生じるため、特に、上述の問題は顕著となる。
【００１０】
本発明は、正確に手ブレ補正処理を実行することができる撮像装置および手ブレ補正処理方法を得ることを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る撮像装置は、画像を撮像し画像データを生成する撮像手段と、画像データを記憶する画像データ記憶手段と、周期的に発生するタイミング信号に応じて、撮像手段により生成された画像データを画像データ記憶手段へ書き込む画像保存処理手段と、撮像手段の動きを周期的に検出する動き検出手段と、動き検出手段により検出された動きのデータとタイミング信号の発生タイミングのデータとを関連付けて記憶する記憶手段と、記憶手段に記憶されているデータに基づいて、タイミング信号の発生タイミングから次の発生タイミングまでの動きのデータに基づいて、画像データ記憶手段に記憶された画像データに対して手ブレ補正を実行する手ブレ補正処理手段と、を有するものである。
【００１２】
この構成を採用すれば、周期的に発生するタイミング信号に応じて、撮像手段により生成されて画像データ記憶手段へ書き込まれる画像データは、タイミング信号の発生タイミングから次の発生タイミングまでの動きのデータに基づいて、手ブレ補正が実行される。したがって、正確に手ブレ補正処理を実行することができる。
【００１３】
本発明に係る撮像装置は、上述した発明の構成に加えて、撮像手段により取得された画像データを一時的に記憶するバッファメモリを備え、画像保存処理手段が、周期的に発生するタイミング信号に応じて、撮像手段により生成された画像データをバッファメモリから読み出し画像データ記憶手段へ書き込み、手ブレ補正処理手段が、画像データ記憶手段に記憶された画像データに対して手ブレ補正を実行するものである。
【００１４】
この構成を採用すれば、撮像手段により生成された画像データは、バッファメモリに一旦格納され、その後、そのバッファメモリから画像データ記憶手段へ、周期的に発生するタイミング信号に応じて書き込まれる。他方で、動き検出手段により検出された撮像手段の動きのデータは、そのタイミング信号の発生タイミングのデータと関連付けられて記憶手段に記憶され、タイミング信号の発生タイミングから次の発生タイミングまでの動きのデータに基づいてその画像データに対する手ブレ補正に使用される。したがって、正確に手ブレ補正処理を実行することができる。
【００１５】
本発明に係る撮像装置は、上述した各発明の構成に加えて、記憶手段が、時系列に沿って取得された順番で動きのデータと発生タイミングのデータを記憶し、画像データ記憶手段が、時系列に沿って取得された順番で画像データを記憶し、手ブレ補正処理手段が、動きのデータと発生タイミングのデータを、記憶されている順番で記憶手段から読み出し、画像データを、記憶されている順番で画像データ記憶手段から読み出し、その動きのデータと発生タイミングのデータに基づいてその画像データに対して手ブレ補正を実行するものである。
【００１６】
この構成を採用すれば、撮像手段により撮像された画像データは、時系列に沿って取得された順番で記憶され、動きのデータと発生タイミングのデータは、時系列に沿って取得された順番で記憶される。したがって、手ブレ補正処理手段は、それらの記憶された順番において、記憶された画像データと、記憶された動きのデータとを対応付け、手ブレを好適に相殺することができる。
【００１７】
本発明に係る撮像装置は、上述した各発明の構成に加えて、手ブレ補正処理手段が、動きデータに含まれるパンによる動き成分をフィルタ処理により除いた上で、手ブレ補正処理を実行するものである。
【００１８】
この構成を採用すれば、パン操作により撮像された動画から、手ブレによるぶれを好適に相殺することができる。
【００１９】
本発明に係る撮像装置は、上述した各発明の構成に加えて、動き検出手段が、撮像手段の動きを検出するセンサと、センサの検出値を周期的にサンプリングするサンプリング手段とを有するものである。
【００２０】
この構成を採用すれば、手ブレ補正処理に利用することができる撮像手段の動きのデータを生成することができる。
【００２１】
本発明に係る撮像装置は、上述した各発明の構成に加えて、センサが、直交する２軸の周回方向の角速度を検出するジャイロセンサであるものである。
【００２２】
この構成を採用すれば、ジャイロセンサを用いて、手ブレ補正処理に利用することができる撮像手段の動きのデータを生成することができる。
【００２３】
本発明に係る手ブレ補正処理方法は、撮像素子により画像を撮像し画像データを生成するステップと、周期的に発生するタイミング信号に応じて、撮像素子により生成された画像データを、所定の画像データ記憶手段へ書き込むステップと、撮像素子の動きを周期的に検出するステップと、動きのデータとタイミング信号の発生タイミングのデータとを関連付けて所定の記憶手段に記憶するステップと、記憶手段に記憶されているデータに基づいて、タイミング信号の発生タイミングから次の発生タイミングまでの動きのデータに基づいて、画像データ記憶手段に記憶された画像データに対して手ブレ補正を実行するステップと、を有するものである。
【００２４】
この方法を採用すれば、周期的に発生するタイミング信号に応じて、撮像手段により生成されて画像データ記憶手段へ書き込まれる画像データは、タイミング信号の発生タイミングから次の発生タイミングまでの動きのデータに基づいて、手ブレ補正が実行される。したがって、正確に手ブレ補正処理を実行することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態に係る撮像装置および手ブレ補正処理方法を、図面に基づいて説明する。手ブレ補正処理方法は、撮像装置の動作の一部として説明する。
【００２６】
図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。この撮像装置は、ムービー機能付き携帯電話機、ビデオカメラなどといった携帯可能な撮像装置である。
【００２７】
撮像装置は、カメラユニットボード１を有する。カメラユニットボード１には、撮像手段の一部としての撮像デバイス２と、動き検出手段の一部としてのジャイロセンサ３，４と、が実装される。このカメラユニットボード１は、撮像装置の図示外の筐体内に固定される。
【００２８】
撮像デバイス２は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）となどといった受光デバイスであり、複数の受光素子を有する。複数の受光素子は、撮像デバイス２の光軸Ｘに対して垂直な面上に二次元的に配列される。図１では、この複数の受光素子の二次元的な配列方向を、Ｙ軸およびＺ軸として示す。撮像デバイス２には、Ｘ軸方向において図示外の光学系ユニットが重ねて配設される。光学系ユニットは、レンズなどで構成され、入射する光による被写体の像を、撮像デバイス２に投影する。
【００２９】
各受光素子は、受光光量に応じたレベル信号を出力する。受光素子が出力するレベル信号は、リセット信号が入力されると、初期状態のレベルとなる。受光素子が出力するレベル信号は、リセット信号が入力された後に受光する光量の増加に応じて変化する。
【００３０】
撮像デバイス２には、撮像手段の一部としての撮像コントローラ５が接続される。撮像コントローラ５は、撮像デバイス２を制御する。具体的にはたとえば、撮像コントローラ５は、撮像するときには、まず、所定のライン数毎に、リセット信号を出力する。撮像コントローラ５は、リセット信号を出力してから所定の期間の後に、そのリセット信号を出力したラインの複数の受光素子のレベル信号を読み取る。撮像コントローラ５は、すべてのラインへリセット信号を出力し、読み取った複数の受光素子のレベル信号に基づいて、撮像デバイス２に投影される像の画像データを生成する。撮像コントローラ５は、この生成した画像データを、１つのフレーム画像のデータとして出力する。
【００３１】
撮像コントローラ５には、ＶＳＹＮＣ（Ｖｅｒｔｉｃａｌ  Ｓｙｎｃｈｒｏｎｉｚｉｎｇ  ｓｉｇｎａｌ：垂直同期信号）信号発生器６が接続される。ＶＳＹＮＣ信号発生器６は、所定の周期、たとえば３０分の１秒毎に、タイミング信号としてのＶＳＹＮＣ信号を出力する。撮像コントローラ５は、ＶＳＹＮＣ信号に基づいて、撮像デバイス２による撮像を開始する。撮像コントローラ５は、ＶＳＹＮＣ信号発生器６が出力するＶＳＹＮＣ信号をサンプリングする。
【００３２】
ジャイロセンサ３，４は、所定の一方向での角速度を検出する。このようなジャイロセンサ３，４としては、たとえば、本出願人らが開発した振動ジャイロセンサ「ＸＶ−３５００ＣＢ」などがある。一例としてのこの振動ジャイロセンサ「ＸＶ−３５００ＣＢ」の外形寸法は、５．０［ｍｍ］×３．２［ｍｍ］×１．３［ｍｍ］であり、その質量は６６［ｍｇ］である。このような小型・薄型の振動ジャイロセンサを使用することで、筐体内の空間が狭い撮像装置でも充分に、センサを設置可能である。
【００３３】
ジャイロセンサ３は、図１のＺ軸周りの周回方向の動きによる角速度を検出する。ジャイロセンサ４は、図１のＹ軸周りの周回方向の動きによる角速度を検出する。したがって、ジャイロセンサ３，４は、撮像デバイス２のＹ軸方向の動きとＺ軸方向の動きとを検出する。
【００３４】
動き検出手段の一部としてのＡ／Ｄ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）変換器７は、ジャイロセンサ３，４による角速度のレベル信号をサンプリングし、サンプリング値を有するデジタルデータを出力する。Ａ／Ｄ変換器７は、ＶＳＹＮＣ信号発生器６が出力するＶＳＹＮＣ信号の周期のたとえば１６分の１の周期で、ジャイロセンサ３，４のレベル信号をサンプリングする。撮影コントローラ１８はＶＳＹＮＣ信号発生器６が出力するＶＳＹＮＣ信号をサンプリングする。以下、この実施の形態において、Ａ／Ｄ変換器７が出力するデジタルデータを、ジャイロデータと呼ぶ。
【００３５】
この撮像装置は、他にも、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２と、記憶手段および画像データ記憶手段としての記憶デバイス１３と、ビデオボード１４と、入出力ポート１５と、これらを接続するシステムバス１６と、を有する。ビデオボード１４には、表示手段としての液晶モニタ（ＬＣＤ）１７が接続される。
【００３６】
ビデオボード１４は、バッファメモリとしてのＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１と、ＬＣＤコントローラ２２と、を有する。ＶＲＡＭ２１は、表示データを記憶する。
【００３７】
ＬＣＤコントローラ２２は、ＶＲＡＭ２１に記憶されている表示データを読出し、読み出した表示データに応じた表示信号を生成し、ＬＣＤ１７へ出力する。ＬＣＤ１７は、表示信号に基づいて表示部に画像などを表示する。
【００３８】
また、ＬＣＤコントローラ２２は、ＶＲＡＭ２１へのデータ書き込みおよびデータ読出しを管理する。ＬＣＤコントローラ２２は、たとえば、システムバス１６側からのデータ書き込み要求と、表示処理とがある場合、これらを順番に処理する。ＶＲＡＭ２１へのアクセスは、排他的に管理される。
【００３９】
入出力ポート１５には、ジャイロセンサ３，４と、Ａ／Ｄ変換器７と、撮像コントローラ５と、ＶＳＹＮＣ信号発生器６と、キーデバイス１８とが接続される。Ａ／Ｄ変換器７は、入出力ポート１５へジャイロログデータを出力する。撮像コントローラ５は、入出力ポート１５へフレーム画像のデータを出力する。キーデバイス１８は、入出力ポート１５へ、操作されたキーに応じた入力データを出力する。キーデバイス１８は、たとえば図示外の起動ボタン、録画開始ボタン、再生ボタンなどを有する。
【００４０】
また、記憶デバイス１３は、動画記録再生プログラム３１、撮像動画データ３２、ジャイロログデータ３３および補正動画データ３４を記憶する。記憶デバイス１３は、たとえばフラッシュメモリなどの各種の半導体メモリや、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などで構成することができる。
【００４１】
なお、動画記録再生プログラム３１は、撮像装置の出荷前に記憶デバイス１３に保存されても、撮像装置の出荷後に記憶デバイス１３に保存されてもよい。撮像装置の出荷後に記憶デバイス１３に動画記録再生プログラム３１を保存する場合、この動画記録再生プログラム３１は、たとえばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体に記憶されているものをインストールしたり、インターネット、電話回線などの通信媒体を介してダウンロードしたものをインストールしたりすることで、記憶デバイス１３に保存されればよい。
【００４２】
図２は、図１の撮像装置において、動画記録再生プログラム３１の起動時に実現される機能を示すブロック図である。図３は、図１の撮像装置において、撮像モード時に実現される機能を示すブロック図である。図４は、図１の撮像装置において、再生モード時に実現される機能を示すブロック図である。
【００４３】
図２中のモード切替部４１は、撮像装置の動作モードを、撮像モードと、再生モードとの間で切り替える。撮像モードは、動画を撮像し、これにより記憶デバイス１３に、撮像動画データ３２、ジャイロログデータ３３および補正動画データ３４を記憶させるモードである。再生モードは、記憶デバイス１３に記憶されている補正動画データ３４による動画を、ＬＣＤ１７に表示させるモードである。
【００４４】
図３中の保存処理部４２は、画像保存処理手段として機能し、入出力ポート１５に入力されるジャイロデータと、撮像コントローラ５によりサンプリングされたＶＳＹＮＣ信号の有無を示すデータとを対応付けて、ジャイロログデータ３３として記憶デバイス１３に保存する。保存処理部４２は、あるタイミングにおいて読み取ったこれらのデータを、１つのレコードとして、ジャイロログデータ３３に追加する。
【００４５】
図５は、図１中の記憶デバイス１３に保存されるジャイロログデータ３３のデータ構造の一例を示す説明図である。図５において、各行は、あるタイミングにおける１つのレコードに相当する。１つのレコードは、サンプル番号と、Ｙ軸のジャイロデータと、Ｚ軸のジャイロデータと、ＶＳＹＮＣマークデータと、で構成される。
【００４６】
サンプル番号は、入出力ポート１５に入力されるジャイロデータおよびＶＳＹＮＣ信号の読み取り処理ごとに１ずつ増加される番号である。ＶＳＹＮＣマークデータは、ＶＳＹＮＣ信号が所定の非零値で検出された場合に「１」が記録され、零で検出された場合に「０」が記録される。図５では、１６レコード毎に、ＶＳＹＮＣマークデータ値が「１」となっている。
【００４７】
図５のジャイロログデータ３３において、複数のレコードは、時系列順に、上から下に向かって順番に追加されている。新しく追加されるレコードは、ジャイロログデータ３３の最後尾（図５の一番下）に追加される。
【００４８】
また、図３の保存処理部４２は、ＶＲＡＭ２１に記憶されている表示データを所定のフレームレートで読み取り、これを撮像動画データ３２として、記憶デバイス１３に保存する。なお、保存処理部４２の動作は、カメラ側のＶＳＹＮＣ信号発生器６によるＶＳＹＮＣ信号には、特に同期している必要はない。保存処理部４２は、ＶＲＡＭ２１から読み取った表示データを、１つのフレーム画像として、撮像動画データ３２に追加する。
【００４９】
図３中の手ブレ補正処理部４３は、手ブレ補正処理手段として機能し、記憶デバイス１３における撮像動画データ３２に対して、記憶デバイス１３におけるジャイロログデータ３３を用いて、所定の手ブレ補正処理を実行する。手ブレ補正処理部４３は、所定の手ブレ補正処理済みの撮像動画データ３２を、補正動画データ３４として、記憶デバイス１３に保存する。
【００５０】
図４中の再生処理部４４は、記憶デバイス１３に記憶されている補正動画データ３４を読み取る。再生処理部４４は、表示データを生成してＬＣＤコントローラ２２を介してＶＲＡＭ２１に書き込む。
【００５１】
次に、以上の構成を有する図１の撮像装置の動作を説明する。以下の説明では、まず、撮像モードについて説明し、次に再生モードについて説明する。
【００５２】
図１中のキーデバイス１８の起動ボタンが操作されると、キーデバイス１８は、起動ボタンに応じた入力データを出力する。この入力データは、図１中の入出力ポート１５およびシステムバス１６を介して、中央処理装置１１に供給される。中央処理装置１１は、記憶デバイス１３から動画記録再生プログラム３１を読み込んで実行する。これにより、図２に示すようにモード切替部４１が実現される。
【００５３】
この状態では、撮像コントローラ５は、ＶＳＹＮＣ信号の周期ごとに、撮像デバイス２を撮像動作させ、フレーム画像データを生成し、入出力ポート１５へ出力する。このフレーム画像のデータは、システムバス１６を介して、ビデオボード１４へ供給される。ビデオボード１４のＬＣＤコントローラ２２は、このシステムバス１６から供給されるフレーム画像データを、ＶＲＡＭ２１に書き込む。
【００５４】
これにより、ＶＲＡＭ２１は、撮像デバイス２により撮像されたフレーム画像のデータを、表示データとして記憶する。ＶＲＡＭ２１に記憶されるフレーム画像のデータは、ＶＳＹＮＣ信号の周期毎に更新される。
【００５５】
ＬＣＤコントローラ２２は、ＶＲＡＭ２１から表示データを周期的に読み込む。この周期は、たとえばＶＳＹＮＣ信号発生器６がＶＳＹＮＣ信号を発生する周期と同じであれば良い。ＬＣＤコントローラ２２は、読み出した表示データに応じた表示信号を生成し、ＬＣＤ１７へ出力する。ＬＣＤ１７は、表示信号に基づいて表示部にフレーム画像を表示する。以上の一連の処理により、ＬＣＤ１７には、撮像デバイス２により撮像された画像が、動画としてリアルタイムに表示される。
【００５６】
なお、この撮像デバイス２により撮像された画像をリアルタイムにＬＣＤ１７に表示する処理において、ＬＣＤコントローラ２２は、フレーム画像データをＶＲＡＭ２１へ書き込む処理と、表示データの読出し処理とを、順番に処理している。
【００５７】
この状態において、図１のキーデバイス１８の録画開始ボタンが操作されると、キーデバイス１８は、録画開始ボタンに応じた入力データを出力する。モード切替部４１は、この入力データの供給に基づいて、撮像装置の動作モードを、撮像モードに設定する。これにより、図１の撮像装置には、図３に示すように、保存処理部４２と、手ブレ補正処理部４３とが実現される。
【００５８】
図６は、図３の保存処理部４２の動作を示すフローチャートである。保存処理部４２は、まず、Ａ／Ｄ変換器７に対して起動信号を出力する（ステップＳＴ１）。Ａ／Ｄ変換器７は、角速度の検出を開始する。ユーザによるボタン押下操作、回路の初期変動状態などに起因して、ジャイロセンサ３，４の出力レベルが過渡状態を経て安定するまで、約数百ミリ秒程度の時間がかかる。保存処理部４２は、起動信号を出力してからたとえば１秒程度経過したか否かを判断し（ステップＳＴ２）、１秒が経過した場合には、保存処理を開始する。保存処理部４２は、たとえば６秒間の動画を記録する保存処理を開始する。
【００５９】
動画の保存処理が開始されると、保存処理部４２は、入出力ポート１５からジャイロデータと、撮像コントローラ５によりサンプリングされたＶＳＹＮＣ信号の有無を示すデータとを読み取り、それらを対応付けて記憶デバイス１３のジャイロログデータ３３に追加する（ステップＳＴ３）。
【００６０】
また、保存処理部４２は、ＶＲＡＭ２１に保存されている表示データを読み取り、読み取った表示データを記憶デバイス１３に書き込む。保存処理部４２は、読み取った表示データを、１つのフレーム画像のデータとして撮像動画データ３２に追加する（ステップＳＴ４）。
【００６１】
図７は、本発明の実施の形態におけるジャイロログデータサンプルと、記憶デバイス１３へキャプチャされたフレーム画像データとの対応関係を示す図である。
【００６２】
図７に示すように、ＶＳＹＮＣ信号発生器６によるＶＳＹＮＣ信号に同期してフレーム画像が撮像され、そのフレーム画像データがＶＲＡＭ２１に格納される。この実施の形態では、第１のフレーム画像の撮像タイミングＴ１から第２のフレーム画像の撮像タイミングＴ２までの期間、第１のフレーム画像のフレーム画像データがＶＲＡＭ２１に格納されており、その期間のいずれかのタイミングで、保存処理部４２が、ＶＲＡＭ２１のフレーム画像データをキャプチャし、記憶デバイス１３の撮像動画データ３２に追加する。
【００６３】
したがって、例えば、第２のフレーム画像の画像データは、時刻Ｔ２から時刻Ｔ３までの期間のいずれかのタイミングでＶＲＡＭ２１からキャプチャされる。そして、キャプチャされた第２のフレーム画像の画像データには、第１のフレーム画像の撮像タイミングＴ１から第２のフレーム画像の撮像タイミングＴ２までのジャイロログデータサンプルが対応付けられる。つまり、ＶＲＡＭ２１からフレーム画像データをキャプチャしたタイミングにおいて、ジャイロログデータ３３の最新のレコード（最後尾のレコード）から見てＶＳＹＮＣマークデータの値が「１」である最初のレコードの次のレコードからＶＳＹＮＣマークデータの値が「１」である次のレコードまでが、そのキャプチャしたフレーム画像データに対応付けられる。
【００６４】
保存処理部４２は、動画の保存処理を開始してから、６秒が経過し、９０フレーム分のフレーム画像データとジャイロログデータを取得したか否かを判断する（ステップＳＴ５）。
【００６５】
動画の保存処理を開始してから６秒が経過していない場合、保存処理部４２は、ステップＳＴ３，ＳＴ４に戻り、ジャイロログデータおよびフレーム画像データの保存処理を繰り返す。
【００６６】
動画の保存処理を開始してから６秒が経過している場合、保存処理部４２は、動画の保存処理を終了する。これにより、動画の保存処理終了時には、記憶デバイス１３には、図５に例示するようなジャイロログデータ３３と、複数のフレーム画像データからなる撮像動画データ３２と、が保存される。
【００６７】
６秒間の動画を記録する場合、ジャイロログデータ３３のレコード数は、１４４０（６×１５×１６）個となる。値が「１」であるＶＳＹＮＣマークデータの数は、９０（＝６×１５）個となる。
【００６８】
撮像動画データ３２には、撮像コントローラ５により連続して生成される複数のフレーム画像が、その撮像順に含まれる。６秒間の動画を記録する場合、撮像動画データ３２のフレーム画像の数は、９０（＝６×１５）個となる。
【００６９】
保存処理部４２による動画の保存処理が終了すると、手ブレ補正処理部４３は、記憶デバイス１３における撮像動画データ３２およびジャイロログデータ３３から補正動画データ３４を生成し、生成した補正動画データ３４を記憶デバイス１３に保存する。
【００７０】
具体的にはたとえば、手ブレ補正処理部４３は、補正動画データ３４の各フレーム画像に対して、そのフレーム画像に含まれる手ブレによるずれを補正する処理を実行する。
【００７１】
最初のフレーム画像に対する手ブレによるずれの補正処理において、手ブレ補正処理部４３は、まず、ジャイロログデータ３３の先頭からレコードを検索し、ＶＳＹＮＣマークデータの値が「１」である最初のレコードを特定する。図５では、上から３行目のレコードが、ＶＳＹＮＣマークデータの値が「１」である最初のレコードである。
【００７２】
ＶＳＹＮＣマークデータの値が「１」である最初のレコードを特定した後、手ブレ補正処理部４３は、ジャイロログデータ３３の先頭から、Ｙ軸およびＺ軸の軸毎に、特定したレコードまでを使用して、そのフレーム画像についてのずれ量を計算する。
【００７３】
特定したレコードまでのずれ量を計算した後、手ブレ補正処理部４３は、そのずれ量を相殺するようにフレーム画像における画像枠を移動し、その画像枠内の画像のデータを抽出し、補正後の画像データとする。
【００７４】
図８は、図３の手ブレ補正処理部４３による、手ブレ補正処理を示す説明図である。図８（Ａ）は、撮像風景である。図８（Ｂ）は、撮像されたフレーム画像である。図８（Ｃ）は、手ブレ補正後のフレーム画像である。図８（Ｄ）は、手ブレ補正処理により最終的に生成されるフレーム画像である。図８（Ａ）において、四角の点線枠は、保存処理部４２による保存処理が開始されたタイミングにおける撮像範囲である。図８（Ａ）において、四角の一点鎖線枠は、図８（Ｂ）のフレーム画像を撮像するタイミングにおける撮像範囲である。
【００７５】
図８（Ａ）において、図８（Ｂ）のフレーム画像を撮像するタイミングにおける撮像範囲（一点鎖線枠）は、保存処理部４２による保存処理が開始されたタイミングにおける撮像範囲（点線枠）より紙面の左側へずれている。手ブレ補正処理部４３は、ジャイロログデータ３３に基づいてこのずれ量を演算し、図８（Ｃ）に示すように、そのずれ量に相当する分だけ、フレーム画像内において、紙面の右側へ、画像枠を移動する。
【００７６】
この手ブレ補正処理により、フレーム枠内での被写体（たとえば自動車）の位置は、保存処理部４２による保存処理が開始されたタイミングにおける撮像範囲内での被写体の位置と一致し、手ブレによるずれが相殺される。
【００７７】
上述した説明においては、手ブレ補正処理部４３は、ジャイロログデータ３３に基づいて特定したレコードまでに発生したずれ量をすべて相殺するように、フレーム枠内においてフレーム画像を移動している。
【００７８】
実際には、手ブレ補正処理部４３は、ジャイロログデータ３３に基づいて特定したレコードまでに発生したずれ量を、手ブレによるずれ量とパンによるずれ量とに切り分け、手ブレによるずれ量のみを相殺している。このような切り分け処理は、ブレ量の振幅や周波数で分別するフィルタ処理で実現される。
【００７９】
パンとは、撮像時に撮像装置を略一定の方向へ略一定の速度で動かす撮り方である。したがって、パンによるずれ量は、ジャイロデータに、撮像装置を一方向へ略定常的に動かす動き成分として含まれている。そのため、手ブレ補正処理部４３は、手ブレによるずれ量とパンによるずれ量とを切り分けるために、まず、蓄積されているジャイロログデータ３３に基づいて、たとえば各軸のジャイロデータの先頭から最後までに、略定常的な一方向への動き成分が含まれているか否かを判断する。
【００８０】
略定常的な一方向への動き成分が含まれていない場合、手ブレ補正処理部４３は、上述した説明による手ブレ補正処理、すなわち演算されたずれ量をすべて相殺する補正処理を実行する。
【００８１】
これに対して、略定常的な一方向への動き成分が含まれている場合、手ブレ補正処理部４３は、各レコードとジャイロログデータ３３の先頭レコードとの差分の替わりに、さらにその差分からその特定した一方向への動き成分を減算した値を用いて、特定したレコードまでに発生した手ブレによるずれ量を計算する。計算したずれ量を用いたフレーム画像の補正処理は、上述した場合と同様であり、説明を省略する。
【００８２】
特定した最初のレコードまでの手ブレによるずれを用いて、最初のフレーム画像に対する手ブレ補正処理を完了すると、手ブレ補正処理部４３は、再び、ジャイロログデータ３３の先頭からレコードを検索し、ＶＳＹＮＣマークデータの値が「１」である二番目のレコードを特定する。なお、手ブレ補正処理部４３は、このレコードの検索処理において、前回のレコードの検索の続きから、検索をするようにしてもよい。図５では、二番目のレコードとして、上から１９番目のレコードが特定される。そして、手ブレ補正処理部４３は、この二番目のレコードまでの手ブレによるずれ量を計算し、計算した手ブレによるずれ量で、二番目のフレーム画像に対する手ブレ補正処理を実行する。
【００８３】
手ブレ補正処理部４３は、撮像画像データ３２の各フレーム画像に対する手ブレ補正処理を繰り返すことで、撮像動画データ３２のすべてのフレーム画像に対して、手ブレ補正処理を実行する。６秒間の動画の撮像動画データ３２である場合、手ブレ補正処理部４３は、９０個のフレーム画像に対して、９０回の手ブレ補正処理を実行することになる。手ブレ補正処理部４３は、補正した複数のフレーム画像による補正動画データ３４を生成し、記憶デバイス１３に記憶させる。
【００８４】
次に、再生モードについて説明する。図１中のキーデバイス１８の再生ボタンが操作されると、キーデバイス１８は、再生ボタンに応じた入力データを出力する。モード切替部４１は、この入力データの供給に基づいて、撮像装置の動作モードを、再生モードに設定する。これにより、図１の撮像装置には、図４に示すように、再生処理部４４が実現される。
【００８５】
再生処理部４４は、まず、記憶デバイス１３に記憶されている補正動画データ３４から、最初のフレーム画像データを読み込み、読み込んだフレーム画像データをＶＲＡＭ２１に書き込む。
【００８６】
ＬＣＤコントローラ２２は、ＶＲＡＭ２１から表示データを周期的に読み込む。ＬＣＤコントローラ２２は、読み出した表示データに応じた表示信号を生成し、ＬＣＤ１７へ出力する。これにより、ＬＣＤ１７には、再生処理部４４によりＶＲＡＭ２１に書き込まれたフレーム画像が表示される。
【００８７】
再生処理部４４は、フレーム周期毎に、記憶デバイス１３に記憶されている補正動画データ３４から、最後に読み込んだ次のフレーム画像データを読み込み、読み込んだフレーム画像データをＶＲＡＭ２１に書き込む。
【００８８】
これにより、ＶＲＡＭ２１には、フレーム周期毎に、補正動画データ３４の複数のフレーム画像データが順番に書き込まれる。その結果、ＬＣＤ１７に表示される画像は、このフレーム周期毎に更新され、ＬＣＤ１７には、補正動画データ３４の複数のフレーム画像による動画が表示される。
【００８９】
以上のように、この実施の形態に係る撮像装置では、周期的に発生するＶＳＹＮＣ信号に応じて、撮像デバイス２により生成されて記憶デバイス１３へ書き込まれるフレーム画像データは、ＶＳＹＮＣ信号の発生タイミングから次の発生タイミングまでのジャイロデータに基づいて、手ブレ補正が実行される。したがって、正確に手ブレ補正処理を実行することができる。
【００９０】
また、この実施の形態に係る撮像装置では、ＬＣＤコントローラ２２は、ＶＲＡＭ２１に対する、撮像コントローラ５によるフレーム画像データの書き込み処理と、保存処理部４２によるフレーム画像データの読み出し処理と、フレーム画像データの表示処理とを順番に処理する。この場合、保存処理部４２によるフレーム画像データの読み出しを要求してから、保存処理部４２が実際にそのデータを読み取るまでの時間は一定とはいえない。したがって、保存処理部４２は、フレーム画像データを読み込んだタイミングに基づいて、そのフレーム画像データの画像が撮像された正確なタイミングを知ることができない。
【００９１】
しかしながら、この実施の形態では、ジャイロセンサ３，４により検出された撮像デバイス２のジャイロデータは、そのＶＳＹＮＣ信号の発生タイミングのデータと関連付けられて記憶デバイス１３に記憶され、ＶＳＹＮＣ信号の発生タイミングから次の発生タイミングまでの動きのデータに基づいてそのフレーム画像データに対する手ブレ補正に使用される。したがって、正確に手ブレ補正処理を実行することができる。
【００９２】
また、この実施の形態に係る撮像装置では、撮像デバイス２により撮像されたフレーム画像データは、時系列に沿って取得された順番で記憶デバイス１３に記憶され、ジャイロデータとＶＳＹＮＣ信号の発生タイミングのデータは、ジャイロログデータとして、時系列に沿って取得された順番で記憶デバイス１３に記憶される。したがって、手ブレ補正処理部４３は、それらの記憶された順番において、記憶されたフレーム画像データと、記憶されたジャイロログデータとを対応付け、手ブレを好適に相殺することができる。
【００９３】
また、この実施の形態に係る撮像装置では、手ブレ補正処理部４３は、記憶デバイス１３に記憶される複数のジャイロデータに含まれるパンによる動き成分をフィルタ処理により除いた上で、手ブレ補正処理を実行する。したがって、パンにより撮像された動画から、手ブレによるぶれを好適に相殺することができる。
【００９４】
また、この実施の形態に係る撮像装置では、保存処理部４２は、ジャイロセンサ３，４を起動してからたとえば１秒などの所定の時間が経過した後に、ジャイロセンサ３，４により検出されるジャイロデータの蓄積を開始する。したがって、保存処理部４２は、ジャイロセンサ３，４により検出されるジャイロデータが過渡状態を経て安定してから記憶デバイス１３へ蓄積することができる。また、録画開始ボタン１８ｂの操作などにより撮像装置が一時的に激しく揺れたりしたとしても、その影響を受けないように手ブレ補正処理を実行することができる。ジャイロログデータ３３の最初のジャイロデータが安定した状況下のものになることで、そのタイミングを基準として手ブレを好適に補正することができる。
【００９５】
以上の実施の形態は、本発明の好適な実施の形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。
【００９６】
たとえば、上記実施の形態では、撮像デバイス２が撮像したフレーム画像のデータは、ＶＲＡＭ２１に書き込まれ、その後、保存処理部４２により記憶デバイスに蓄積される。この他にもたとえば、撮像デバイス２が撮像したフレーム画像のデータは、バッファなどのＶＲＡＭ２１以外のメモリに書き込まれ、その後、保存処理部４２により記憶デバイスに蓄積されるようにしてもよい。
【００９７】
上記実施の形態では、撮像モードにおいて、保存処理部４２および手ブレ補正処理部４３が実現され、再生モードにおいて、再生処理部４４が実現されている。この他にもたとえば、保存処理部４２、手ブレ補正処理部４３および再生処理部４４が同時に実現されるようにしてもよい。この変形例の場合において、さらに、再生処理部４４は、ＶＲＡＭ２１に補正したフレーム画像データを書き込み、撮像コントローラ５は、ＶＲＡＭ２１以外の別途設けたバッファなどのメモリに、撮像デバイス２により撮像されたフレーム画像データを書き込むようにしてもよい。これにより、ＬＣＤ１７には、手ブレ補正処理後の動画がリアルタイムに表示される。なお、この変形例においても、撮像コントローラ５が撮像デバイス２により撮像されたフレーム画像データをメモリに書き込む処理と、保存処理部４２がそのメモリからフレーム画像データを読み出す処理とは競合することがある。そのため、このメモリへのアクセス制御手段としてのメモリコントローラを設け、これらの処理を順番に処理させるようにすればよい。
【産業上の利用可能性】
【００９８】
本発明は、携帯されたり、移動体に固定されたりして動画を撮像する撮像装置などに利用することができる。
【図面の簡単な説明】
【００９９】
【図１】本発明の実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】動画記録再生プログラムの起動時に実現される機能を示すブロック図である。
【図３】撮像モード時に実現される機能を示すブロック図である。
【図４】再生モード時に実現される機能を示すブロック図である。
【図５】記憶デバイスに保存されるジャイロログデータのデータ構造の説明図である。
【図６】保存処理部の動作を示すフローチャートである。
【図７】ジャイロログデータとフレーム画像との対応関係を示す図である。
【図８】手ブレ補正処理部による手ブレ補正処理を示す説明図である。
【符号の説明】
【０１００】
２  撮像デバイス（撮像手段の一部）、３，４  ジャイロセンサ（動き検出手段の一部、センサ）、５  撮像コントローラ（撮像手段の一部）、７  Ａ／Ｄ変換器（動き検出手段の一部、サンプリング手段）、１３  記憶デバイス（画像データ記憶手段、記憶手段）、１７  ＬＣＤ（表示手段）、２１ ＶＲＡＭ（バッファメモリ）、４２  保存処理部（画像保存処理手段）、４３  手ブレ補正処理部（手ブレ補正処理手段）
【図１】
2006253999.tif 000003
【図２】
2006253999.tif 000004
【図３】
2006253999.tif 000005
【図４】
2006253999.tif 000006
【図５】
2006253999.tif 000007
【図６】
2006253999.tif 000008
【図７】
2006253999.tif 000009
【図８】
2006253999.tif 000010