(57)【要約】【課題】ぶれを生じた撮影画像を復元するため複雑かつ高負荷の演算処理を行い得る装置を、容易に実現できるようにする。【解決手段】画像を撮影する撮影部１５を備えたカメラ１に、撮影時のカメラ１の動きを検出するジャイロセンサ３２、３３と、検出された動きに基づいて軌跡を求める軌跡変換部３５と、求めた軌跡に基づいて撮影画像のぶれを補正する逆変換フィルタ部３６とを一体に備えたジャイロユニット３を接続して撮影装置１００を構成する。【選択図】図１
2007221711.tif 000002
【特許請求の範囲】
【請求項１】
筐体内に構成部を納めて構成されるセンサユニットであって、
前記構成部として、撮影時の前記筐体の動きを検出する動きセンサと、前記動きセンサにより検出された前記筐体の動きに基づいて前記筐体の軌跡を求める軌跡算出手段と、
を備えたことを特徴とするセンサユニット。
【請求項２】
前記動きセンサの出力値を補正するセンサ出力補正手段をさらに一体に備えること、を特徴とする請求項１記載のセンサユニット。
【請求項３】
前記動きセンサは、前記筐体の角速度に対応する電圧値を出力する角速度センサであって、
前記センサ出力補正手段は、前記角速度センサの出力電圧値を補正するものであること、を特徴とする請求項２記載のセンサユニット。
【請求項４】
前記軌跡算出手段により求められた軌跡に基づいて、撮影画像のぶれを補正するぶれ補正手段をさらに一体に備えること、を特徴とする請求項１から３のいずれかに記載のセンサユニット。
【請求項５】
前記ぶれ補正手段は、前記軌跡算出手段により求められた軌跡から画像変換用の行列を求め、この行列を用いた演算を行うことによって前記撮影画像のぶれを補正すること、を特徴とする請求項４記載のセンサユニット。
【請求項６】
前記筐体は、画像を撮影する撮影装置に接続可能に構成されたこと、を特徴とする請求項１から４記載のセンサユニット。
【請求項７】
前記筐体は、画像を撮影する撮影装置の筐体を兼ねること、を特徴とする請求項１から４記載のセンサユニット。
【請求項８】
画像を撮影する撮影手段を備えた電子機器であって、
撮影時の動きを検出する動きセンサと、前記動きセンサにより検出された動きに基づいて軌跡を求める軌跡算出手段と、軌跡算出手段により求められた軌跡に基づいて、前記撮影手段により撮影された画像のぶれを補正するぶれ補正手段と、を筐体内に納めてなるセンサユニットに接続され、
前記撮影手段により撮影した撮影画像を前記センサユニットに出力するとともに、前記センサユニットにより補正された画像を取得して出力すること、
を特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きセンサを有するセンサユニット、及び、このセンサユニットに接続される電子機器に関する。
【背景技術】
【０００２】
従来、ぶれを生じた撮影画像を補正する手法が様々提案されている。一例として、角速度センサによって手ぶれを検出してぶれ伝達関数を求め、このぶれ伝達関数に基づく演算処理を行って、ぶれを補正する装置があった（例えば、特許文献１参照）。この装置によれば、高度な演算処理を行うことで画像のぶれを良好に補正し、ぶれのない画像に復元できる。
【特許文献１】特開平６−２７５１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところが、上記従来の装置を含めて、演算処理によって画像のぶれを補正する場合には、軌跡を求める等の高負荷の演算処理を行い得るハードウェアを使う必要があった。特に、動画像のぶれを復元するためには、動画像を構成するフレームを短時間で次々と処理する必要があり、能力の高いハードウェアを用いる必要があった。従って、画像を撮影するカメラにおいて、上記の方法により画像を復元する機能を持たせようとすると、撮影動作を制御するものに比べて、著しく高性能のハードウェアを用意する必要があった。
さらに、上記従来の装置のようにセンサを用いる場合には、センサのドリフトを補正する等の処理が必要になり、その実現には高度な技術が要求される。このため、ぶれを生じた撮影画像を速やかに復元できる装置を、容易に実現するための手法が望まれていた。
【０００４】
本発明は、上述した事情に鑑みてなされたものであり、ぶれを生じた撮影画像を復元するため複雑かつ高負荷の演算処理を行い得る装置を、容易に実現できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明は、筐体内に構成部を納めて構成されるセンサユニットであって、前記構成部として、撮影時の前記筐体の動きを検出する動きセンサと、前記動きセンサにより検出された動きに基づいて前記筐体の軌跡を求める軌跡算出手段と、を備えたことを特徴とするセンサユニットを提供する。
この構成によれば、センサユニットの筐体の動きを検出するとともに、軌跡を求める複雑で高負荷の処理を行うことができるので、このセンサユニットを用いることにより、画像のぶれを補正するのに必要な軌跡を容易に得ることができる。また、例えば、このセンサユニットを撮影装置に一体に接続することで、撮影時における撮影装置の動きを検出して、その軌跡を容易に求めることができる。従って、このセンサユニットと低負荷の処理が可能な装置とを組み合わせれば、ぶれを生じた画像を復元する装置を容易に実現できる。
【０００６】
ここで、前記動きセンサの出力値を補正するセンサ出力補正手段をさらに一体に備える構成としてもよい。この場合、センサユニットにおいてセンサのドリフト等を補正することが可能となり、正確に、かつ安定して筐体の軌跡を求めることができるので、高精度で画像の復元を行える。また、前記動きセンサは、前記筐体の角速度に対応する電圧値を出力する角速度センサであって、前記センサ出力補正手段は、前記角速度センサの出力電圧値を補正するものとしてもよい。この場合、角速度を検出することによって、より正確に軌跡を求めることができる。
【０００７】
さらに、前記軌跡算出手段により求められた軌跡に基づいて、撮影画像のぶれを補正するぶれ補正手段をさらに一体に備える構成としてもよい。この場合、センサユニットにおいて撮影画像のぶれを補正できるので、ぶれを生じた画像を復元する装置を極めて容易に実現することができ、例えば、画像を撮影する撮影装置に画像を復元する機能を持たせるといった事が可能となる。
さらにまた、前記ぶれ補正手段は、前記軌跡算出手段により求められた軌跡から画像変換用の行列を求め、この行列を用いた演算を行うことによって前記撮影画像のぶれを補正するものとしてもよい。この場合、センサユニットにおいて高負荷な行列演算を行ってぶれ画像を高精度に補正することが可能なため、他の装置と組み合わせることで、当該他の装置において画像を復元する機能を持たせることが可能となる。
また、前記筐体は、画像を撮影する撮影装置に接続可能に構成されたものとしてもよい。この場合、上記のセンサユニットを撮影装置と簡単に組み合わせて使用できるという利点がある。また、前記筐体は、画像を撮影する撮影装置の筐体を兼ねる構成としてもよく、この場合、撮影時の筐体の動きを検出して軌跡を求める機能を有する撮影装置を容易に実現できる。
【０００８】
また、上記課題を解決するため、本発明は、画像を撮影する撮影手段を備えた電子機器であって、撮影時の動きを検出する動きセンサと、前記動きセンサにより検出された動きに基づいて軌跡を求める軌跡算出手段と、軌跡算出手段により求められた軌跡に基づいて、前記撮影手段により撮影された画像のぶれを補正するぶれ補正手段と、を筐体内に納めてなるセンサユニットに接続され、前記撮影手段により撮影した撮影画像を前記センサユニットに出力するとともに、前記センサユニットにより補正された画像を取得して出力すること、を特徴とする電子機器を提供する。
この構成によれば、画像を撮影する電子機器において、撮影画像をセンサユニットに出力し、センサユニットにより補正された画像を出力することにより、高負荷の処理を行い得るハードウェアを持たなくとも、高精度でぶれが補正された画像を出力することが可能となる。
【０００９】
このように、上記構成によれば、撮影時の動きを検出して軌跡を求め、この軌跡に基づいてぶれを生じた画像を復元する装置を、極めて容易に実現できる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では、撮影装置１００に本発明を適用した場合について説明する。この撮影装置１００は、いわゆる携帯型デジタルビデオカメラとして機能し、動画像および静止画像を撮影し、撮影した画像のデータを記録する機能を有する。また、撮影装置１００は、撮影時のぶれを検出することで、ぶれのない画像を復元する機能をも有する。
図１は、本実施の形態に係る撮影装置１００の構成を示すブロック図である。この撮影装置１００は、図１に示すように、電子機器としてのカメラ１に、センサユニットとしてのジャイロユニット３を接続して構成される。撮影装置１００が有するカメラ１は画像の撮影および記録を担い、ジャイロユニット３は、カメラ１の撮影時の手ぶれを検出して画像を復元する処理を担う。
これらカメラ１及びジャイロユニット３は、図６を参照して後述するように一体に連結され、或いは、図７を参照して後述するように同一筐体に納められる。
【００１１】
カメラ１は、予めフラッシュＲＯＭ１３に格納された制御プログラム１Ａに従ってカメラ１の各部を制御する制御部１１、制御部１１により実行されるプログラムを格納するワークエリアを形成するＲＡＭ１２、各種プログラム等を格納するフラッシュＲＯＭ１３、および、カメラ１を操作する各種スイッチ等を備えた操作部１４を備える。また、カメラ１は、撮影制御部１６の制御に従って連続するフレームからなる動画像及び静止画像を撮影する撮影手段としての撮影部１５、撮影部１５を制御する撮影制御部１６、撮影部１５により撮影された動画像及び静止画像のデータを格納する撮影部ＲＡＭ１７、制御部１１の制御に従って、撮影部ＲＡＭ１７に格納されたデータに基づいて動画像及び静止画像を表示する表示部１８、および、カメラ１に対して着脱可能に構成されたリムーバブルメディア２０を備える。さらに、カメラ１は、ジャイロユニット３等の外部装置と制御部１１とを接続するためのインタフェース（Ｉ／Ｆ）１９を備える。
【００１２】
制御部１１は、制御プログラム１Ａを読み出して実行することにより、操作部１４における操作に従ってカメラ１の各部を制御し、撮影部１５によって撮影を実行させ、撮影された画像データをリムーバブルメディア２０に記録する。
フラッシュＲＯＭ１３は、書き換え可能な不揮発性記憶媒体として構成され、制御プログラム１Ａの他、各種プログラムおよびこれらのプログラムに係るデータ等を格納する。ここで、フラッシュＲＯＭ１３に格納される制御プログラム１Ａは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク、半導体記憶素子を用いた可搬型メモリ等のコンピュータ読み取り可能な記録媒体（図示略）に記録して配布することが可能である。さらに、パーソナルコンピュータとカメラ１とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体（図示略）の制御プログラム１Ａをカメラ１に出力することで、フラッシュＲＯＭ１３に制御プログラム１Ａを格納することも可能である。
【００１３】
撮影部１５は、ＣＣＤやＣＭＯＳ等の光電変換素子がマトリクス状あるいはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサによって取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するＡ／Ｄ変換回路等を備えて構成される。この撮影部１５は、上述のように動画像及び静止画像を撮影する機能を有するものであり、以下の説明においては、連続するフレームから構成される動画像を撮影する場合を例に挙げて説明する。
撮影部１５は、被写体が撮像されたフレームの画像データ（以下、単に「フレーム」と言う）を所定のサンプリングレートで順次出力するものであり、この撮影部１５により撮影される動画像は、例えば１秒あたり３０フレーム（３０ｆｐｓ）の連続する複数の静止画像の集合として記録され、フレーム毎に画像処理を施すことが可能である。
撮影制御部１６は、制御部１１の制御の下、撮影部１５に対して露出時間やズーム倍率等の撮影条件を設定し、この撮影条件に従って撮影部１５に撮影を実行させ、撮影部１５から出力されるフレームの画像データを撮影部ＲＡＭ１７に一時的に格納する。撮影部ＲＡＭ１７はフレームを一時的に格納するバッファとして機能し、この撮影部ＲＡＭ１７にはフレーム毎に画像データが格納される。撮影部ＲＡＭ１７に格納されたフレームは、撮影制御部１６によって読み出されて制御部１１に出力され、制御部１１の制御のもとにリムーバブルメディア２０に記録される。
【００１４】
リムーバブルメディア２０は、書き換え可能な記録媒体であり、磁気的・光学的記録媒体もしくは半導体記憶デバイスを用いて構成され、具体的には、ビデオテープ、書き込み可能な光学ディスク、リムーバブルハードディスク、フラッシュメモリカード等である。リムーバブルメディア２０には、制御部１１の制御により、撮影部１５により撮影された動画像のデータが格納される。ここで、リムーバブルメディア２０に格納される動画像のデータは、フレームの画像データそのものであってもよいし、或いは、制御部１１によって所定フォーマットでエンコードされたデータであってもよい。
【００１５】
上記のように構成されるカメラ１には、インタフェース１９を介してジャイロユニット３が接続されている。制御部１１は、撮影部ＲＡＭ１７に格納されたフレームを、インタフェース１９を介してジャイロユニット３に出力し、ジャイロユニット３によってこのフレームの画像を復元する処理を行わせて、処理後のフレームを取得する。この処理後のフレームは表示部１８に表示されるとともに、リムーバブルメディア２０に格納される。
ジャイロユニット３は、図１に示すように、カメラ１のインタフェース１９に接続されるインタフェース３９を備える。インタフェース１９とインタフェース３９とは、相互にデータの入出力が可能な形態で接続される。具体的な接続形態としては、例えば、各種規格に準じたコネクタを各々備えている。これらのコネクタが接続ケーブル（図示略）等を介して相互に接続される形態、インタフェース１９、３９のコネクタがオス−メスの対応を有する形状となっており、これらオス−メスコネクタが直接連結される形態、インタフェース１９、３９の各々が所定周波数の電波や赤外線等を用いた無線信号を送受信する送受信部を備え、無線通信回線を介して接続される形態等が挙げられる。
【００１６】
ジャイロユニット３は、各部を制御する制御部３１、カメラ１の動きを検出してその角速度に応じた角速度検出信号を出力する動きセンサとしてのＸ軸ジャイロセンサ３２およびＹ軸ジャイロセンサ３３、これら各ジャイロセンサ３２、３３から出力された角速度検出信号の調整を行うとともに、上記角速度検出信号に基づいてカメラ１の本体が移動する角速度を求め、さらにカメラ１の移動量（移動した角度）及び移動方向を検出するセンサ出力補正手段としての角速度検出部３４を備える。
また、ジャイロユニット３は、角速度検出部３４により求められた角速度、移動量、及び移動方向に基づいて、撮影時に手ぶれによってカメラ１が動いた軌跡を求める軌跡算出手段としての軌跡変換部３５、軌跡変換部３５により求めた軌跡をもとに画像変換用逆行列を求め、この画像変換用逆行列を用いた演算処理を行ってぶれを生じたフレームの画像を復元するぶれ補整手段としての逆変換フィルタ部３６、逆変換フィルタ部３６の演算処理に要するプログラムやデータ等を格納するフラッシュＲＯＭ３７、および、逆変換フィルタ部３６の演算処理に係るフレームの画像データをフレーム毎に格納するフィールドメモリ３８を備える。
ジャイロユニット３は、図１に示す各構成部が、後述するように一つの筐体に納められ、或いは、一つの基板上に実装されていて、換言すれば、ジャイロユニット３の全体が一つのユニットとなっている。
このように構成されるジャイロユニット３は、電気的に、インタフェース１９、３９を介してカメラ１と相互に接続された上、物理的にもカメラ１と一体に連結される。このため、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３によって、カメラ１の角速度が検出され、角速度検出部３４及び軌跡変換部３５によって、カメラ１の移動の軌跡を求めることができるようになっている。
【００１７】
図２は、ジャイロユニット３の動作の概要を示す図である。
この図２に示すように、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３から角速度検出信号が出力されると（ステップＳＴ１）、この角速度検出信号は角速度検出部３４に入力されて調整が施される（ステップＳＴ２）。角速度検出部３４による調整は、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３から出力される角速度検出信号のドリフトを補正するための処理であり、具体的には、電源投入時の誤差を取得しないように、ジャイロユニット３の電源投入から一定時間（例えば１秒程度）経過してから、角速度検出信号の取り込みを開始する動作や、暗電流の影響を除くために、所定電圧値以下の角速度検出信号を無視する動作等である。また、角速度検出部３４は、各ジャイロセンサ３２、３３の個体差により生じる信号の偏りに対応して、各ジャイロセンサ３２、３３から出力される角速度検出信号を調整する機能を有する。この角速度検出部３４の機能により、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３のドリフトが補正される等して出力電圧が安定するので、正確な角速度を検出できる。
続いて、角速度検出部３４によってカメラ１の角速度が求められるとともに、この角速度を積分することで所定時間（例えば、露出時間）における移動量及び移動方向が求められる。これら角速度、移動量、及び移動速度は軌跡変換部３５に入力され、軌跡変換部３５によってカメラ１の軌跡が求められる（ステップＳＴ３）。次に、軌跡変換部３５によって、カメラ１の軌跡に基づいて画像変換用逆行列が生成され（ステップＳＴ４）、この画像変換用逆行列を用いた演算処理が行われて、フレームの画像がぶれのない状態に復元される（ステップＳＴ５）。
【００１８】
図３は、軌跡とフレーム撮影の様子を示す図であり、（Ａ）は軌跡の例を、（Ｂ）は撮影されたフレームを示す。
図３（Ａ）には、カメラ１がＸ軸方向及びＹ軸方向に移動した軌跡が曲線で表されている。符号ｔ１〜ｔ７はフレームを撮影した時刻を示しており、曲線上の点ｔ１〜ｔ７は、フレーム撮影時におけるカメラ１の位置を示す。フレームを復元する処理は前のフレーム撮影時からの軌跡に基づいて行われる。例えば図３（Ｂ）に示すように時刻ｔ３で撮影したフレームを復元する場合は、前のフレームを撮影した時刻ｔ２から時刻ｔ３までの間におけるカメラ１の軌跡をもとに復元が行われる。
【００１９】
次に、ステップＳＴ４の画像変換用逆行列を生成する処理について説明する。
逆変換フィルタ部３６は、角速度検出部３４が求めた軌跡から、上記の特許文献１（特開平６−２７５１２号公報）等により既に知られた様々な方法によって、ぶれ伝達関数ｈを求めた上、その逆行列ｈ-1を求める。
すなわち、ぶれがない場合の画像（元の像）を関数ｆ（ｘ，ｙ）で表し、ぶれた画像を関数ｇ（ｘ，ｙ）で表すと、これらｈ，ｆ，ｇには下記式（１）の関係が成り立つ。
【００２０】
【数１】
2007221711.tif 000003
上記式（１）の両辺をフーリエ変換すれば、下記式（２）に示す関係式が得られる。
【００２１】
【数２】
2007221711.tif 000004
上記式（２）の関係式を行列で表現すると、下記式（３）〜（６）のようになる。
【００２２】
【数３】
2007221711.tif 000005
但し、下記式（４）の関係式はｍｎ×ｍｎの行列であり、式（５）〜（６）の関係式は、それぞれｍｎ次の列ベクトルである。
【００２３】
【数４】
2007221711.tif 000006
ぶれ伝達関数ｈは、図３（Ａ）に例示したようなカメラ１の動きの軌跡から求めることができる。従って、ぶれ伝達関数ｈを求め、この逆行列ｈ-1を求めて、上記式（３）の行列式を解くことにより、ぶれ画像ｇからぶれのない画像ｆを得ることができる。
【００２４】
このように、ジャイロユニット３は、カメラ１により撮影された動画像の各フレームの画像を、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３により検出した角速度に基づいて復元し、ぶれたフレームを復元する機能を有する。従って、撮影装置１００では、カメラ１により動画像を撮影しつつ、撮影したフレームをジャイロユニット３によって復元できるので、ぶれを復元する機能を持たないカメラ１を用いて、ぶれのない美しい動画像を得ることができる。
【００２５】
図４は、撮影時におけるカメラ１の動作を示すフローチャートである。
この図４に示す動作を実行するにあたって、カメラ１にはジャイロユニット３が接続されている。カメラ１の制御部１１は、ジャイロユニット３に対して動作開始を指示する制御信号を出力する（ステップＳ１１）。続いて、制御部１１は、ジャイロユニット３から返される制御信号等に基づいて、ジャイロユニット３が軌跡を算出可能な状態であるか否かを判別する（ステップＳ１２）。ここで、ジャイロユニット３が軌跡を算出できない状態であれば（ステップＳ１２；Ｎｏ）、制御部１１はジャイロユニット３に対してリセットを指示する制御信号を出力し（ステップＳ１３）、ステップＳ１１に戻る。
また、ジャイロユニット３が軌跡を算出可能な状態であれば（ステップＳ１２；Ｙｅｓ）、制御部１１は、撮影部１５によって動画像を撮影させ、撮影されたフレームの画像データ及びフレームの復元に必要な諸情報（露出時間、解像度、フレームの画像データの容量等）をジャイロユニット３に出力する（ステップＳ１４）。
【００２６】
続いて、制御部１１は、ジャイロユニット３によってフレームの復元が行われて、復元されたフレームがジャイロユニット３から入力されると、このフレームを取得する（ステップＳ１５）。ここで、制御部１１は、ジャイロユニット３によりフレームの復元が正常に行われたか否かを判別する（ステップＳ１６）。この判別は、例えば、復元された画像の先鋭度（シャープネス）を求め、先鋭度が所定のレベルより低いか否かに基づいて判別してもよいし、或いは、後述するように、フレームの復元時にエラーを生じた場合にジャイロユニット３から制御信号が入力される構成とすれば、この制御信号が入力されたか否かに基づいて、復元が正常に行われたか否かを判別できる。
ジャイロユニット３によって正常な復元が行われなかった場合（ステップＳ１６；Ｎｏ）、復元前のフレーム、すなわち撮影部１５により撮影されたフレームを撮影画像として表示部１８に出力するとともにリムーバブルメディア２０に記録する（ステップＳ１７）。一方、ジャイロユニット３によって正常に復元が行われた場合（ステップＳ１６；Ｙｅｓ）、制御部１１は、復元されたフレームを撮影画像として表示部１８に出力するとともにリムーバブルメディア２０に記録する（ステップＳ１８）。
【００２７】
ステップＳ１７またはＳ１８で撮影画像を出力した後、制御部１１は、撮影を終了するか否かを判別し（ステップＳ１９）、撮影を継続する場合はステップＳ１２に戻り、撮影を終了する場合には、ジャイロユニット３に対して動作停止を指示する制御信号を出力して（ステップＳ２０）、図４の動作を終了する。
【００２８】
図５は、撮影時におけるジャイロユニット３の動作を示すフローチャートである。
この図５に示す動作を行うにあたって、ジャイロユニット３はカメラ１に接続される。
ジャイロユニット３の制御部３１は、カメラ１から送信される動作開始を指示する制御信号を受けるまで待機し（ステップＳ３１）、この制御信号が入力されると、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３による検出を開始させる（ステップＳ３２）。各ジャイロセンサ３２、３３が角速度検出信号の出力を開始すると、角速度検出部３４によって各ジャイロセンサの出力が安定したかどうかの判定が行われる。制御部３１は、角速度検出部３４によって出力が安定したと判定されるまで待機する（ステップＳ３３）。
【００２９】
ジャイロセンサの出力が安定した後、制御部３１は、角速度検出部３４によって角速度検出信号に基づいて求められるカメラ１の移動量及び移動方向を取得し（ステップＳ３４）、軌跡変換部３５により、移動量から軌跡を算出させる（ステップＳ３５）。
続いて、制御部３１は、カメラ１から入力されるフレームに関する情報（露出時間、解像度、フレームの画像データの容量等）を取得し（ステップＳ３６）、取得した情報と、軌跡変換部３５によって求めた軌跡とに基づいて、逆変換フィルタ部３６によって画像変換用逆行列を生成させる（ステップＳ３７）。そして、制御部３１は、カメラ１から入力されるフレームの画像データを取得して（ステップＳ３８）、逆変換フィルタ部３６によって画像変換用逆行列を用いた演算処理を行い、このフレームの画像を復元する（ステップＳ３９）。その後、制御部３１は、逆変換フィルタ部３６により復元されたフレームをカメラ１に出力する（ステップＳ４０）。
このステップＳ３９において、フレームの復元時にエラーを生じた場合、制御部３１は、ステップＳ４０において、復元後のフレームに代えて、或いは復元後のフレームとともに、復元時にエラーを生じた旨を示す制御信号をインタフェース３９からカメラ１に出力する。
【００３０】
制御部３１は、カメラ１から動作停止を指示する制御信号が入力されたか否かを判別し（ステップＳ４１）、この制御信号が入力された場合はＸ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３を停止させて動作を停止し（ステップＳ４２）、上記制御信号が入力されなければステップＳ３４に戻って動作を継続する。
【００３１】
図６は、撮影装置１００の具体的構成の一例を示す外観斜視図である。図６に示すように、撮影装置１００は、例えば、カメラ付携帯電話機２と、外付ジャイロユニット４１とを相互に接続した形態として、実現可能である。
図６に示すカメラ付携帯電話機２は、折り畳み式の本体の背面側に露出するメインカメラ２１と、本体の内側に面して各種画像を表示するディスプレイ２３と、ディスプレイ２３の側方に位置するサブカメラ２２と、ディスプレイ２３に対向する面に配設されたキー操作部２４とを備える。このメインカメラ２１及びサブカメラ２２はカメラ１（図１）の撮影部１５に相当し、ディスプレイ２３はカメラ１の表示部１８に相当し、キー操作部２４はカメラ１の操作部１４に相当する機能を有する。そして、カメラ付携帯電話機２は、内蔵する制御回路（図示略）の制御のもと、キー操作部２４における操作に従って、メインカメラ２１及びサブカメラ２２による動画像及び静止画像の撮影を実行し、撮影した動画像及び静止画像をディスプレイ２３に表示する。このほか、カメラ付携帯電話機２は、携帯型電話機としての通信機能を有するものであるが、ここでは説明を省略する。
【００３２】
外付ジャイロユニット４１は、略箱型の筐体に、図１に示すジャイロユニット３の各部を収容したものである。カメラ付携帯電話機２と外付ジャイロユニット４１とは、インタフェース１９、３０に相当するコネクタ（図示略）を介して相互に接続される。
図６に示す構成では、カメラ付携帯電話機２が有するメインカメラ２１またはサブカメラ２２によって動画像または静止画像を撮影した場合に、撮影した動画像のフレームまたは静止画像を、外付ジャイロユニット４１において復元し、復元した動画像または静止画像をディスプレイ２３に表示できる。
そして、動画像及び静止画像を撮影するカメラ付携帯電話機２は、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３等のセンサを備えていなくてもよく、軌跡を求める演算処理や、画像変換用逆行列を求める演算処理等の複雑かつ高負荷の演算処理を行わなくてもよい。このため、カメラ付携帯電話機２の制御回路（図示略）は、上記の通信機能の他、メインカメラ２１、サブカメラ２２等の各部の動作制御のみを行えば良く、カメラ付携帯電話機２の制御回路の処理負荷を増大させることなく画像を復元し、ぶれのない美しい画像を得ることができる。
【００３３】
さらに、図６の例においてカメラ付携帯電話機２に外部接続された外付ジャイロユニット４１を、カメラ付携帯電話機２の筐体に内蔵した構成としてもよい。
図７には、撮影装置１００の別の具体的構成例について外観斜視図を示す。この図７に示す構成例では、外付ジャイロユニット４１の各部を実装したジャイロユニット基板４２を、カメラ付携帯電話機２の本体に内蔵している。ジャイロユニット基板４２は、上述したカメラ付携帯電話機２の制御回路に対し、インタフェース１９、３９に相当する内部接続インタフェース（図示略）を介して接続されている。
図７の構成例では、装置全体の小型化を図ることができるという利点がある。また、カメラ付携帯電話機２の制御回路（図示略）に対してジャイロユニット基板４２を接続することで、上述した撮影装置１００の機能を実現できるので、動画像及び静止画像を撮影する機能を備えたカメラ付携帯電話機に、ジャイロユニット基板４２を付加的に内蔵させるだけで実現可能である。さらに、ジャイロユニット基板４２には、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３の個体差にも対応して、各ジャイロセンサ３２、３３から出力される角速度検出信号のドリフト補正等を行う角速度検出部３４が実装されているので、カメラ付携帯電話機２の制御回路において各ジャイロセンサ３２、３３の出力調整を行う必要もない。このため、撮影装置１００と同様の機能を備えたカメラ付携帯電話機２の開発負担を大幅に軽減できるという利点がある。
【００３４】
以上のように、本発明を適用した実施の形態によれば、ジャイロユニット３により、撮影時における手ぶれを検出して撮影画像のフレームを復元し、ぶれのない動画像を容易に得ることが可能である。この撮影装置１００において、撮影時のカメラ１の軌跡を求めて画像変換用逆行列を生成し、この画像変換用逆行列によりフレームを復元するという一連の高負荷の処理は、ジャイロユニット３によって実行される。
つまり、撮影装置１００は、カメラ１の動きを検出して軌跡を求める機能部と、さらに高負荷の演算により画像を復元するための機能部とをユニットとして一体に備えたジャイロユニット３を用いることで、高精度で画像の復元を行うことが可能となっている。また、ジャイロユニット３と組み合わされるカメラ１は、画像を撮影してジャイロユニット３との間でデータを入出力する機能を実現するだけの機能を有するものであればよく、汎用的なカメラを用いることが可能である。従って、ジャイロユニット３を用いることで、ぶれを生じた画像を復元する装置を容易に実現できる。
また、ジャイロユニット３は、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３のドリフト等を補正する角速度検出部３４を一体に備えているので、正確に、かつ安定して軌跡を求めることができ、高精度で画像の復元を行うことが可能となる。
【００３５】
なお、上記実施の形態では、カメラ１及びジャイロユニット３を用いて複数のフレームからなる動画像を撮影及び復元する場合について説明したが、静止画像を撮影する場合についても、全く同様の動作により、ぶれた静止画像を復元できる。すなわち、カメラ１において、撮影部１５によって１回のみ露出を行って静止画像を撮影し、この静止画像の画像データをカメラ１からジャイロユニット３へ出力する。ジャイロユニット３においては、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３及び角速度検出部３４によって露出時間中の手ぶれによるカメラ１の移動を検出し、軌跡変換部３５によってカメラ１の軌跡を検出し、この軌跡に基づいて、逆変換フィルタ部３６によって画像変換用逆行列を求めるとともに、ぶれ画像を復元し、復元した画像をカメラ１へ出力する。つまり、静止画像を、動画像を構成するフレームと同様に処理することにより、ぶれを生じた静止画像をぶれのない画像に復元できる。
【００３６】
また、上記の実施の形態において、ジャイロユニット３は、逆変換フィルタ部３６によって画像変換用逆行列を求め、この画像変換用逆行列による演算処理を行うものとしたが、本発明はこれに限定されるものではなく、例えば、ぶれを生じたフレームまたは静止画像の輪郭を強調する処理を行うものとしてもよい。この場合について、変形例として説明する。
【００３７】
図８は、上記実施の形態の変形例におけるジャイロユニット３の動作を示すフローチャートである。
この図８に示す動作は、上述した図５の動作に代えて実行される。図８の動作を行うにあたってジャイロユニット３はカメラ１に接続されている。ジャイロユニット３の制御部３１は、カメラ１からの動作開始を指示する制御信号を受けるまで待機し（ステップＳ５１）、この制御信号が入力されると、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３による検出を開始させる（ステップＳ５２）。各ジャイロセンサ３２、３３が角速度検出信号の出力を開始すると、角速度検出部３４によって各ジャイロセンサの出力が安定したかどうかの判定が行われ、制御部３１は、角速度検出部３４によって出力が安定したと判定されるまで待機する（ステップＳ５３）。
【００３８】
ジャイロセンサの出力が安定した後、制御部３１は、角速度検出部３４によって角速度検出信号に基づいて求められるカメラ１の移動量及び移動方向を取得し（ステップＳ５４）、軌跡変換部３５によって軌跡を算出させる（ステップＳ５５）。ここで、制御部３１は、軌跡変換部３５を制御して、既に求めた軌跡から、フレームにおけるぶれ方向及びぶれ量を求めさせる（ステップＳ５６）。
そして、制御部３１は、インタフェース３９を介してカメラ１から入力されるフレームの画像データを取得して（ステップＳ５７）、制御部３１自身または他の機能部の機能により、カメラ１のぶれ方向及びぶれ量に基づき、ぶれた方向を中心にぶれ量に応じた輪郭強調を行って、画像を鮮鋭化し、ぶれを目立たなくする（ステップＳ５８）。その後、制御部３１は、復元したフレームをカメラ１に出力する（ステップＳ５９）。
ステップＳ５８において、フレーム画像を復元する際にエラーを生じた場合、制御部３１は、ステップＳ５９において、復元後のフレームに代えて、復元時にエラーを生じた旨を示す制御信号をインタフェース３９からカメラ１に出力する。
その後、制御部３１は、カメラ１から動作停止を指示する制御信号が入力されたか否かを判別し（ステップＳ６０）、この制御信号が入力された場合はＸ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３を停止させて動作を停止し（ステップＳ６１）、上記制御信号が入力されなければステップＳ５４に戻る。
【００３９】
この図８に示す変形例では、ジャイロユニット３において、画像変換用逆行列を用いた演算に変えて、カメラ１の軌跡に基づいてフレームの輪郭（エッジ）を強調することにより、ぶれを生じたフレームを復元する。この場合も、上記実施の形態と同様に、ジャイロユニット３において高精度でフレームを復元することが可能となる。さらに、画像変換用逆行列を用いる場合に比べて、高速でフレームを復元することが可能である。
【００４０】
なお、上述した実施の形態および変形例は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、上記実施の形態では、撮影部１５により撮影されたフレームを復元してリムーバブルメディア２０に記録する例について説明したが、例えば、リムーバブルメディア２０等に格納された複数フレームからなる動画像について、その表示（再生）時に上記処理を行うようにしてもよい。すなわち、撮影されたフレームと、各フレーム撮影時の露出中にジャイロユニット３により求めたカメラ１の軌跡等の情報をリムーバブルメディア２０等に記録しておけば、他の機器においてフレームを復元することが可能である。
さらに、上記実施の形態および変形例では、ジャイロユニット３においてフレームを復元するものとして説明したが、本発明はこれに限定されるものではなく、軌跡変換部３５によって求められた軌跡をジャイロユニット３から他の装置に出力し、この他の装置（例えば、カメラ１）において、軌跡に基づく輪郭強調の処理等を行うことで、画像を復元するようにしてもよい。この場合も、軌跡を求める高負荷の処理をジャイロユニット３において実行することで、画像を復元する装置側では低負荷の処理を行えばよく、上記実施の形態と同様の効果が得られる。
また、上記実施の形態及び変形例において、ジャイロユニット３は、角速度検出部３４によって求めたカメラ１の移動量が所定のしきい値より小さい場合には、フレームの補正を行わずに、カメラ１から入力された撮影画像をそのままカメラ１へ出力するようにしてもよい。この場合、ぶれが無いか、視認できない程度に小さいフレームについては復元を行わないようにすることができ、処理の効率化を図ることができる。
【００４１】
上記実施の形態および変形例では、カメラ１の動きを検出するため、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３により角速度を検出する構成としたが、本発明はこれに限定されるものではなく、カメラ１の単位時間あたりの移動量を検出可能なものであれば、例えば加速度センサを用いることも可能である。
さらに、上記実施の形態及び変形例におけるカメラ１において、パーソナルコンピュータとケーブル等で通信可能に接続される外部インタフェースや、テレビやプロジェクタなどの外部ディスプレイ装置に動画像の映像信号を出力するための映像出力端子、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アン
プ等に出力するための音声出力端子などを備えた構成としてもよい。
また、本発明は、上記実施の形態および変形例で説明した撮影装置１００以外の動画像撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、動画像撮影機能付きデジタルスチルカメラ、および、このようなデジタルスチルカメラを具備した携帯電話機、ＰＤＡ、ノート型パソコン等の各種電子機器においても適用可能である。
【図面の簡単な説明】
【００４２】
【図１】実施の形態に係る撮影装置の構成を示すブロック図である。
【図２】画像を復元する処理の概要を示す図である。
【図３】軌跡と復元するフレームの撮影タイミングとの関係を示す図である。
【図４】カメラの動作を示すフローチャートである。
【図５】ジャイロユニットの動作を示すフローチャートである。
【図６】撮影装置の具体的構成例を示す図である。
【図７】撮影装置の別の具体的構成例を示す図である。
【図８】変形例におけるジャイロユニットの動作を示すフローチャートである。
【符号の説明】
【００４３】
１…カメラ（電子機器）、２…カメラ付携帯電話機（電子機器）、３…ジャイロユニット（センサユニット）、１１…制御部、１５…撮影部（撮影手段）、１７…撮影部ＲＡＭ、１８…表示部、１９…インタフェース、２１…メインカメラ（撮影手段）、２２…サブカメラ（撮影手段）、２３…ディスプレイ、３１…制御部、３２…Ｘ軸ジャイロセンサ（動きセンサ）、３３…Ｙ軸ジャイロセンサ（動きセンサ）、３４…角速度検出部（センサ出力補正手段）、３５…軌跡変換部（軌跡算出手段）、３６…逆変換フィルタ部（ぶれ補整手段）、３９…インタフェース、４１…外付ジャイロユニット（センサユニット）、４２…ジャイロユニット基板（センサユニット）、１００…撮影装置。
【図１】
2007221711.tif 000007
【図２】
2007221711.tif 000008
【図３】
2007221711.tif 000009
【図４】
2007221711.tif 000010
【図５】
2007221711.tif 000011
【図６】
2007221711.tif 000012
【図７】
2007221711.tif 000013
【図８】
2007221711.tif 000014