(57)【要約】【課題】被写体が動いている場合であっても、ブレの無い鮮明な画像を容易に撮像する。【解決手段】複数の画像を捕捉する撮像部と、撮像部により捕捉された複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択部と、主要被写体選択部により選択された、複数の画像のそれぞれにおける主要被写体を示す領域に基づいて、主要被写体の動きベクトルを算出する動きベクトル算出部と、動きベクトル算出部により算出された動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく撮像部を駆動させつつ、撮像部に複数の画像を捕捉させる撮像制御部とを備える撮像装置を提供する。【選択図】図１
2005260894.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を捕捉する撮像部と、
前記撮像部により捕捉された前記複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択部と、
前記主要被写体選択部により選択された、前記複数の画像のそれぞれにおける前記主要被写体を示す領域に基づいて、前記主要被写体の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部により算出された前記動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく前記撮像部を駆動させつつ、前記撮像部に前記複数の画像を捕捉させる撮像制御部と
を備える撮像装置。
【請求項２】
前記撮像制御部は、更に、前記動きベクトル算出部により算出された前記動きベクトルの大きさが予め定められた基準値より小さい場合に、前記撮像部に画像を撮像させる請求項１に記載の撮像装置。
【請求項３】
前記動きベクトル算出部は、前記複数の画像における、前記主要被写体選択部により選択された前記主要被写体を示す領域の画像内での変位ベクトルを算出する変位ベクトル算出部を有し、
前記撮像制御部は、前記変位ベクトル算出部により算出された前記変位ベクトルの大きさが予め定められた基準値より大きい場合に、当該変位ベクトルを補償する方向に撮像方向を変化させつつ、前記撮像部に前記複数の画像を捕捉させる
請求項１に記載の撮像装置。
【請求項４】
前記動きベクトル算出部は、前記複数の画像における、前記主要被写体選択部により選択された前記主要被写体を示す領域の大きさの変化率を算出する大きさ変化率算出部を有し、
前記撮像制御部は、前記大きさ変化率算出部により算出された変化率が予め定められた基準値より大きい場合に、算出された変化率の逆数に基づいて前記撮像部の撮像倍率を変化させつつ、前記撮像部に前記複数の画像を捕捉させる
請求項１に記載の撮像装置。
【請求項５】
前記動きベクトル算出部は、前記複数の画像における、前記主要被写体選択部により選択された前記主要被写体を示す領域の、予め定められた中心軸の周りの回転角度を算出する回転角度算出部を有し、
前記撮像制御部は、前記回転角度算出部により算出された前記回転角度が予め定められた基準値より大きい場合に、前記撮像部を前記中心軸の周りに前記回転角度で回転させつつ、前記撮像部に前記複数の画像を捕捉させる
請求項１に記載の撮像装置。
【請求項６】
撮像部により複数の画像を捕捉する撮像段階と、
前記撮像段階において捕捉された前記複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択段階と、
前記主要被写体選択段階において選択された、前記複数の画像のそれぞれにおける前記主要被写体を示す領域に基づいて、前記主要被写体の動きベクトルを算出する動きベクトル算出段階と、
前記動きベクトル算出段階において算出された前記動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく前記撮像部を駆動させつつ、前記撮像部により前記複数の画像を捕捉させる撮像制御段階と
を備える撮像方法。
【請求項７】
前記撮像制御段階は、更に、前記動きベクトル算出段階において算出された前記動きベクトルの大きさが予め定められた基準値より小さい場合に、前記撮像部により画像を撮像させる
請求項６に記載の撮像方法。
【請求項８】
撮像装置を機能させる撮像プログラムであって、
当該撮像装置を、
複数の画像を捕捉する撮像部と、
前記撮像部により捕捉された前記複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択部と、
前記主要被写体選択部により選択された、前記複数の画像のそれぞれにおける前記主要被写体を示す領域に基づいて、前記主要被写体の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部により算出された前記動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく前記撮像部を駆動させつつ、前記撮像部に前記複数の画像を捕捉させる撮像制御部と
を備える撮像装置として機能させる撮像プログラム。
【請求項９】
前記撮像制御部は、更に、前記動きベクトル算出部により算出された前記動きベクトルの大きさが予め定められた基準値より小さい場合に、前記撮像部に画像を撮像させることを特徴とする請求項８に記載の撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。特に本発明は、被写体の画像を撮像する撮像装置、撮像方法、及び撮像プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラが急速に普及している。デジタルカメラは、被写体の光学像を、レンズを通してＣＣＤに入射させて電気信号に変換することにより、画像データを生成する。デジタルカメラを用いて走っている人物等の動きのある被写体を撮像した場合、ＣＣＤに光を入射させている時間内、つまり露光時間内における被写体の光学像の変化は、生成された画像において被写体像のブレとして現れる。そこで、従来のデジタルカメラにおいて動きのある被写体を撮像したい場合、利用者は、露光時間を短くすることにより、被写体像のブレを低減させている。
現時点で先行技術文献の存在を認識していないので、先行技術文献に関する記載を省略する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のデジタルカメラにおいては、露光時間を短くするにつれて、生成される画像信号における出力レベルは低下し、またノイズは増加するので、際限なく露出時間を短くすることはできず、被写体像にブレが生じる場合が多かった。また、多くの利用者にとって、撮像対象に応じて露光時間を切り替えるという作業は面倒であり、デジタルカメラの利便性が低下しているという問題もあった。
従来のデジタルカメラにおいては、この問題を解決するための方法は提案されていない。
【０００４】
そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、撮像装置であって、複数の画像を捕捉する撮像部と、撮像部により捕捉された複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択部と、主要被写体選択部により選択された、複数の画像のそれぞれにおける主要被写体を示す領域に基づいて、主要被写体の動きベクトルを算出する動きベクトル算出部と、動きベクトル算出部により算出された動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく撮像部を駆動させつつ、撮像部に複数の画像を捕捉させる撮像制御部とを備える。
【０００６】
撮像制御部は、更に、動きベクトル算出部により算出された動きベクトルの大きさが予め定められた基準値より小さい場合に、撮像部に画像を撮像させてもよい。動きベクトル算出部は、複数の画像における、主要被写体選択部により選択された主要被写体を示す領域の画像内での変位ベクトルを算出する変位ベクトル算出部を有し、撮像制御部は、変位ベクトル算出部により算出された変位ベクトルの大きさが予め定められた基準値より大きい場合に、当該変位ベクトルを補償する方向に撮像方向を変化させつつ、撮像部に複数の画像を捕捉させてもよい。
【０００７】
動きベクトル算出部は、複数の画像における、主要被写体選択部により選択された主要被写体を示す領域の大きさの変化率を算出する大きさ変化率算出部を有し、撮像制御部は、大きさ変化率算出部により算出された変化率が予め定められた基準値より大きい場合に、算出された変化率の逆数に基づいて撮像部の撮像倍率を変化させつつ、撮像部に複数の画像を捕捉させてもよい。動きベクトル算出部は、複数の画像における、主要被写体選択部により選択された主要被写体を示す領域の、予め定められた中心軸の周りの回転角度を算出する回転角度算出部を有し、撮像制御部は、回転角度算出部により算出された回転角度が予め定められた基準値より大きい場合に、撮像部を中心軸の周りに回転角度で回転させつつ、撮像部に複数の画像を捕捉させてもよい。
【０００８】
また、本発明の第２の形態においては、撮像方法であって、撮像部により複数の画像を捕捉する撮像段階と、撮像段階において捕捉された複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択段階と、主要被写体選択段階において選択された、複数の画像のそれぞれにおける主要被写体を示す領域に基づいて、主要被写体の動きベクトルを算出する動きベクトル算出段階と、動きベクトル算出段階において算出された動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく撮像部を駆動させつつ、撮像部により複数の画像を捕捉させる撮像制御段階とを備える。撮像制御段階は、更に、動きベクトル算出段階において算出された動きベクトルの大きさが予め定められた基準値より小さい場合に、撮像部により画像を撮像させてもよい。
【０００９】
また、本発明の第３の形態においては、撮像装置を機能させる撮像プログラムであって、当該撮像装置を、複数の画像を捕捉する撮像部と、撮像部により捕捉された複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する主要被写体選択部と、主要被写体選択部により選択された、複数の画像のそれぞれにおける主要被写体を示す領域に基づいて、主要被写体の動きベクトルを算出する動きベクトル算出部と、動きベクトル算出部により算出された動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく撮像部を駆動させつつ、撮像部に複数の画像を捕捉させる撮像制御部とを備える撮像装置として機能させる。撮像制御部は、更に、動きベクトル算出部により算出された動きベクトルの大きさが予め定められた基準値より小さい場合に、撮像部に画像を撮像させてもよい。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１１】
本発明によれば、被写体が動いている場合であっても、ブレの無い鮮明な画像を容易に撮像することができる。
【発明を実施するための最良の形態】
【００１２】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１３】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成の一例を示すブロック図である。デジタルカメラ１０は、本発明における撮像装置の一例であり、被写体の画像を撮像する。デジタルカメラ１０は、静止画像を撮像するデジタルスチルカメラであってよく、また、動画像を撮影するデジタルビデオカメラであってもよい。
【００１４】
本実施形態に係るデジタルカメラ１０は、被写体が移動している場合であっても、捕捉した画像から算出した被写体像の動きベクトルに基づいて撮像方向等を制御することにより、ブレの無い画像を撮像することを目的とする。
【００１５】
なお、本実施形態では、デジタルカメラ１０が、メモリカード等の記録媒体に保存すべく画像を取得する処理を撮像と呼び、それ以外の目的で、例えば電子ビューファインダーに表示すべく画像を取得する処理を捕捉と呼ぶ。ここで、デジタルカメラ１０は、画像の撮像及び捕捉のそれぞれにおいて、互いに異なる方法により画像の取得及び画像処理を行ってよい。例えば、デジタルカメラ１０は、画像を撮像する場合に、画像を捕捉する場合より長い露光時間を用いてもよい。また、例えば、デジタルカメラ１０は、画像を撮像する場合に、画像を捕捉する場合より高い解像度を用いてもよい。
【００１６】
デジタルカメラ１０は、撮像部１００、１次メモリ１１０、画像処理部１２０、撮像制御部１４０、表示部１５０、及び２次メモリ１６０を備える。撮像部１００は、光学系１０２、ＣＣＤ１０４、及び撮像信号処理部１０６を有し、被写体の画像を捕捉する。光学系１０２は、被写体像をＣＣＤ１０４の受光面上に結像する。また、光学系１０２は、光軸の方向を制御すべく光学系１０２を駆動させる図示しないアクチュエータを含む。また、光学系１０２は、撮像倍率を制御することのできる図示しないズームレンズを含む。ＣＣＤ１０４は、複数の受光素子を含み、光学系１０２により受光面に結像された被写体の光学像によってそれぞれの受光素子に蓄積された電荷を、アナログの電圧信号として撮像信号処理部１０６に出力する。また、ＣＣＤ１０４は、例えば光軸等を中心軸としてＣＣＤ１０４を回転可能に制御する図示しないアクチュエータを含む。撮像信号処理部１０６は、ＣＣＤ１０４から受け取った、被写体像を示すアナログの電圧信号を、Ｒ、Ｇ、及びＢの各成分に分解する。そして、撮像信号処理部１０６は、Ｒ、Ｇ、及びＢの各成分に分解されたアナログ信号をＡ／Ｄ変換し、その結果得られた被写体像を示すデジタルの画像データを１次メモリ１１０に出力する。撮像部１００は、以上のような被写体像の捕捉を複数回行い、捕捉した画像データを順次１次メモリ１１０に出力する。１次メモリ１１０は、例えばＤＲＡＭ等の揮発性メモリであり、撮像信号処理部１０６が出力した複数の画像データをそれぞれ格納する。
【００１７】
画像処理部１２０は、１次メモリ１１０に格納された画像データに対して画像処理を行う。ここで、画像処理とは、例えば、ＹＣ変換処理、ＪＰＥＧ等のデータ圧縮処理、及びＮＴＳＣやＰＡＬ等のビデオ信号への変換処理である。そして、画像処理部１２０は、画像処理を行った画像データを、表示部１５０及び２次メモリ１６０に出力する。また、画像処理部１２０は、主要被写体選択部１２２及び動きベクトル算出部１２４を有する。主要被写体選択部１２２は、撮像部１００により捕捉され、１次メモリ１１０に格納された複数の画像データにより示される画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する。そして、主要被写体選択部１２２は、画像データ及び選択した領域を示す情報を動きベクトル算出部１２４に出力する。
【００１８】
動きベクトル算出部１２４は、主要被写体選択部１２２により選択された、複数の画像のそれぞれにおける主要被写体を示す領域に基づいて、主要被写体の動きベクトルを算出する。ここで、動きベクトルとは、主要被写体の動きを示す量であり、例えば、画像内における主要被写体像の変位により示される、撮像方向に垂直な面の動き、画像内における主要被写体像の大きさの変化により示される、撮像方向に平行な方向の動き、及び画像内における主要被写体の回転により示される、撮像方向の周りの動き等を示す量として算出される。動きベクトル算出部１２４は、変位ベクトル算出部１３０、大きさ変化率算出部１３２、及び回転角度算出部１３４を含む。
【００１９】
変位ベクトル算出部１３０は、撮像部１００により撮像された複数の画像における、主要被写体選択部１２２により選択された主要被写体を示す領域の、画像内での変位ベクトルを算出する。ここで、変位ベクトルとは、主要被写体を示す領域が、ある画像と当該画像の後に撮像された他の画像との間で移動した方向及び距離を示す量である。そして、変位ベクトル算出部１３０は、算出した変位ベクトルを撮像制御部１４０に出力する。大きさ変化率算出部１３２は、撮像部１００により捕捉された複数の画像における、主要被写体選択部１２２により選択された主要被写体を示す領域の大きさの変化率を算出する。そして、大きさ変化率算出部１３２は、算出した変化率を撮像制御部１４０に出力する。回転角度算出部１３４は、撮像部１００により捕捉された複数の画像における、主要被写体選択部１２２により選択された主要被写体を示す領域の、予め定められた中心軸の周りの回転角度を算出する。ここで、予め定められた中心軸とは、例えば光学系１０２における光軸である。そして、回転角度算出部１３４は、算出した回転角度を撮像制御部１４０に出力する。
【００２０】
撮像制御部１４０は、動きベクトル算出部１２４により算出された動きベクトルの大きさが予め定められた基準値より大きい場合に、当該動きベクトルを補償するべく撮像部１００を駆動させつつ、撮像部１００に複数の画像を捕捉させる。具体的には、撮像制御部１４０は、撮像部１００における撮像方向、即ち光学系１０２における光軸の方向を、変位ベクトル算出部により算出された変位ベクトルを補償する方向に変化させつつ、撮像部１００に複数の画像を捕捉させる。これにより、撮像方向に対して垂直な面において、主要被写体を光学系１０２に対して相対的に静止させた状態で、画像を捕捉することができる。また、具体的には、撮像制御部１４０は、大きさ変化率算出部１３２により算出された主要被写体を示す領域の大きさの変化率の逆数に基づいて、撮像部１００の撮像倍率を変化させつつ、撮像部１００に複数の画像を捕捉させる。これにより、撮像方向に対して平行な方向において、主要被写体を光学系１０２に対して相対的に静止させた状態で、画像を捕捉することができる。また、具体的には、撮像制御部１４０は、算出された回転角度で光軸を中心としてＣＣＤ１０４を回転させつつ、撮像部１００に複数の画像を捕捉させる。これにより、光軸の周りにおいて、主要被写体を光学系１０２及びＣＣＤ１０４に対して相対的に静止させた状態で、画像を捕捉することができる。また、撮像制御部１４０は、動きベクトルの大きさが予め定められた基準値より小さい場合、即ち、主要被写体が撮像部１００に対して相対的に静止した状態で画像が捕捉されている場合に、当該複数の画像を捕捉した場合と同様に撮像部１００を駆動させつつ、撮像部１００により画像を撮像させ、画像データを１次メモリ１１０に格納させる。
【００２１】
表示部１５０は、画像処理部１２０から受け取った画像データを、例えば液晶パネルを用いた電子ビューファインダー等に表示して、デジタルカメラ１０の利用者に提供する。２次メモリ１６０は、例えばフラッシュメモリ等の不揮発性メモリであり、撮像部１００により撮像された画像データを、画像処理部１２０から受け取って格納する。
【００２２】
本実施形態に係るデジタルカメラ１０によれば、被写体が移動している場合であっても、捕捉した複数の画像から算出した主要被写体を示す領域の変位ベクトル、大きさの変化率、及び回転角度に基づいて撮像部１００を駆動させ、主要被写体が撮像部１００に対して相対的に静止した状態で画像を撮像することにより、利用者がデジタルカメラ１０の向きを制御するといった操作を行うことなく、ブレの無い画像を撮像することができる。
また、本実施形態に係るデジタルカメラ１０によれば、主要被写体を撮像部１００に対して相対的に静止させることにより、所望の品質を得るために十分な露光時間を用いて画像を撮像することができる。
【００２３】
図２は、本発明の実施形態に係るデジタルカメラ１０における処理の流れの一例を示すフローチャートである。本例において、デジタルカメラ１０は、利用者がレリーズスイッチを押下したことを検出した場合に、以下の処理を実行する。これに変えて、デジタルカメラ１０は、他のスイッチの操作に基づいて以下の処理を実行してもよい。
【００２４】
まず、撮像部１００は、複数の画像を捕捉する（Ｓ１０００）。ここで、撮像部１００は、例えば毎秒３０コマよりも高い頻度で画像を捕捉し、毎秒３０コマ分の画像を表示部１５０に表示させて利用者に提供すると共に、他の画像を用いて、以下の処理を行ってもよい。こうすることにより、デジタルカメラ１０は、利用者が構図を決定する際に参照する画像を表示部１５０に表示しながら、主要被写体を撮像部１００に対して相対的に静止させる処理を行うことができる。また、この場合、撮像部１００は、表示部１５０に表示させる毎秒３０コマの画像と他の画像とを、互いに異なる露光時間を用いて捕捉してもよい。具体的には、撮像部１００は、表示部１５０に表示させる画像を捕捉する場合よりも短い露光時間を用いて、他の画像を捕捉してよい。一般に、露光時間を短くした場合、捕捉された画像における信号の出力レベル及び品質は低下する。しかし、後述する、主要被写体の選択、並びに変位ベクトル、大きさの変化率、及び回転角度の算出といった画像処理を行う場合に必要とされる画像信号の出力レベル及び品質が、表示部１５０において表示される場合に必要とされる画像信号の出力レベル及び品質より低い場合、撮像部１００は、他の画像を捕捉する場合に、より短い露光時間を用いることができる。そして、露光時間を短くして、所定の時間内により多くの画像を捕捉する、又は所定の枚数の画像をより短い時間で撮像することにより、後述する画像処理において、より精度の高い結果を得ることができる。
【００２５】
続いて、主要被写体選択部１２２は、撮像部１００により捕捉された複数の画像のそれぞれについて、当該画像から主要被写体を示す領域を選択する（Ｓ１０１０）。例えば、主要被写体選択部１２２は、公知の方法を用いて、複数の画像から移動体を示す領域を検出し、当該移動体を示す領域を、主要被写体を示す領域として選択してよい。具体的には、主要被写体選択部１２２は、複数の画像の間で差分を抽出することにより、移動体を示す領域を検出してよく、また、複数の画像に基づいてオプティカルフローを算出し、画像の周辺部分等の背景領域における画素のオプティカルフローとは異なるオプティカルフローを示す画素の集合を、移動体を示す領域として検出してもよい。ここで、複数の移動体が検出された場合、主要被写体選択部１２２は、例えば、それぞれの移動体を示す領域の面積、及び画像内の位置等に基づいて、主要被写体を選択してよい。具体的には、主要被写体選択部１２２は、移動体を示す領域の面積がより大きく、また、レリーズスイッチ押下時により中央に近い位置に存在していた場合に、当該移動体により大きな重みを付加し、複数の移動体のうち、最も重みの大きな領域を主要被写体として選択する。
【００２６】
また、主要被写体選択部１２２は、撮像された画像に対してエッジ抽出処理を行うことにより、複数の被写体の輪郭形状を抽出し、利用者に何れの被写体が主要被写体であるかを指定させてもよい。ここで、主要被写体選択部１２２は、利用者に主要被写体を指定させるのに代えて、レリーズスイッチ押下時に、画像の中心等の所定位置に存在している被写体を主要被写体として選択してもよい。これらの場合、主要被写体選択部１２２は、捕捉された複数の画像のうち、何れかの画像に対して主要被写体を示す領域を選択した後、当該画像に前後して捕捉された画像に対して被写体の輪郭形状の抽出を行う。そして、主要被写体選択部１２２は、抽出された複数の被写体の中で、選択された主要被写体に最も近い輪郭形状を有する、又は重なる部分の面積が最も大きい被写体を、当該画像における主要被写体として選択する。このようにして、主要被写体選択部１２２は、複数の画像のそれぞれについて、主要被写体を示す領域を順次選択することができる。
【００２７】
続いて、大きさ変化率算出部１３２は、捕捉された複数の画像における、主要被写体を示す領域の大きさの変化率を算出する（Ｓ１０２０）。具体的には、大きさ変化率算出部１３２は、複数の画像のうち、２枚の画像について、後に捕捉された画像における主要被写体を示す領域の面積を、先に捕捉された画像における主要被写体の面積で除算することにより、主要被写体を示す領域の大きさの変化率を算出する。ここで用いられる２枚の画像は、それぞれの画像を捕捉した時間間隔が、撮像部１００が画像を撮像する場合の露光時間と略同一であることが好ましい。こうすることにより、大きさ変化率算出部１３２は、それらの画像が捕捉された時点で画像を撮像したと仮定した場合の、露光時間中における主要被写体を示す領域の大きさの変化率を算出することができるので、撮像制御部１４０において主要被写体を相対的に静止させるべく、より高い精度で撮像部１００を制御することができる。更に、大きさ変化率算出部１３２は、複数の画像における主要被写体を示す領域の大きさの時間変化を、三角関数等を用いて近似することにより、所定時間後における変化率の予測値を算出してもよい。
【００２８】
続いて、大きさ変化率算出部１３２により算出された変化率が、予め定められた基準値より大きい場合に、撮像制御部１４０は、算出された変化率の逆数に基づいて撮像部１００の撮像倍率を制御する（Ｓ１０３０）。例えば、主要被写体を示す領域の大きさにおける単位時間あたりの変化率が２であると算出され、当該変化率が基準値より大きい場合、撮像制御部１４０は、当該変化率を補償するために必要な撮像倍率の単位時間あたりの変化率を１／２と算出する。そして、撮像制御部１４０は、撮像部１００により複数の画像が捕捉された時点における撮像倍率の変化率、例えば１／３に、算出された変化率である１／２を乗じた変化率である１／６を算出する。そして、撮像制御部１４０は、光学系１０２における撮像倍率を単位時間あたり１／６の割合で減少させる。また、予め定められた基準値とは、移動している被写体を撮像した画像において被写体像に発生するブレが十分に小さいと考えられる場合の、被写体像の大きさの変化率における上限値であり、光学系１０２の特性等に基づいて定められた値である。また、大きさ変化率算出部１３２において、所定時間後、具体的には次に画像を捕捉するタイミングにおける変化率の予測値が算出されている場合、撮像制御部１４０は、当該予測値に基づいて撮像部１００の撮像倍率を算出してもよい。これにより、撮像制御部１４０は、主要被写体を示す領域の大きさの変化率が時間に対して線形に変化していない場合であっても、主要被写体を撮像部１００に対して相対的に静止させるべく、精度よく撮像倍率の制御を行うことができる。
【００２９】
続いて、回転角度算出部１３４は、捕捉された複数の画像における、主要被写体を示す領域の、光学系１０２における光軸の周りの回転角度を算出する（Ｓ１０４０）。例えば、回転角度算出部１３４は、複数の画像のうち２枚の画像について、それぞれの画像における主要被写体を示す領域の画像を、それぞれの領域の重心で重ね合わせる。そして、回転角度算出部１３４は、２枚のうち先に捕捉された画像における主要被写体を示す領域の画像を、重心を中心に回転させつつ、パターンマッチング等の方法を用いてそれぞれの領域の画像が一致するか否かを判定し、一致する場合の回転角度を検出する。そして、回転角度算出部１３４は、検出した重心を中心とする回転角度と、それぞれの画像における主要被写体を示す領域の重心の、画像内における位置とに基づいて、２枚のうち先に捕捉された画像を光軸を中心に回転させることによって、それぞれの画像における主要被写体を示す領域の画像を一致させることができるか否かを判定する。そして、一致させることができる場合に、回転角度算出部１３４は、光軸を中心とした回転における回転角度を、撮像制御部１４０に出力すべき回転角度として算出する。
【００３０】
ここで、既に、大きさ変化率算出部１３２により算出された変化率を補償するべく撮像倍率が制御されている場合、回転角度算出部１３４は、それぞれの主要被写体を示す領域の大きさ及び画像内の位置を、撮像倍率の変化により生じる大きさ及び画像内の位置の変化に基づいて補正した画像を用いて、回転角度を算出してよい。また、ここで用いられる２枚の画像は、それぞれの画像を捕捉した時間間隔が、撮像部１００が画像を撮像する場合の露光時間と略同一であることが好ましい。こうすることにより、回転角度算出部１３４は、それらの画像が捕捉された時点で画像を撮像したと仮定した場合の、露光時間中における主要被写体を示す領域の回転角度を算出することができるので、撮像制御部１４０において主要被写体を相対的に静止させるべく、より高い精度で撮像部１００を制御することができる。更に、回転角度算出部１３４は、複数の画像における主要被写体を示す領域の回転角度の時間変化を、三角関数等を用いて近似することにより、所定時間後における回転角度の予測値を算出してもよい。
【００３１】
続いて、回転角度算出部１３４により算出された主要被写体を示す領域の回転角度が、予め定められた基準値より大きい場合に、撮像制御部１４０は、算出された回転角度に基づいて撮像部１００を回転させる（Ｓ１０５０）。具体的には、算出された回転角度が基準値より大きい場合、撮像制御部１４０は、撮像部１００により複数の画像が捕捉された時点の回転角度に、算出された回転角度を加算した回転角度を用いて、ＣＣＤ１０４を回転させる。また、予め定められた基準値とは、回転している被写体を撮像した画像において被写体像に発生するブレが十分に小さいと考えられる場合の、被写体像の回転角度の大きさにおける上限値であり、ＣＣＤ１０４の特性等に基づいて定められた値である。また、回転角度算出部１３４において、所定時間後、具体的には次に画像を捕捉するタイミングにおける回転角度の予測値が算出されている場合に、撮像制御部１４０は、当該予測値に基づいてＣＣＤ１０４の回転角度を算出してもよい。これにより、撮像制御部１４０は、主要被写体を示す領域の回転角度が、時間に対して線形に変化していない場合であっても、主要被写体を撮像部１００に対して相対的に静止させるべく、精度よくＣＣＤ１０４の回転を制御することができる。
【００３２】
続いて、変位ベクトル算出部１３０は、捕捉された複数の画像における、主要被写体を示す領域の画像内での変位ベクトルを算出する（Ｓ１０６０）。例えば、変位ベクトル算出部１３０は、複数の画像のうち、２枚の画像について、先に捕捉された画像における主要被写体を示す領域の重心と、後に捕捉された画像における主要被写体の重心とを結ぶベクトルを、変位ベクトルとして算出する。ここで、既に、大きさ変化率算出部１３２により算出された変化率を補償するべく撮像倍率が制御されている場合、及び／又は回転角度算出部１３４により算出された回転角度を補償するべくＣＣＤ１０４が回転されている場合、変位ベクトル算出部１３０は、それぞれの主要被写体を示す領域の画像を、撮像倍率の変化及び／又はＣＣＤ１０４の回転により生じる画像の変化に基づいて補正した画像を用いて、変位ベクトルを算出してよい。
【００３３】
また、ここで用いられる２枚の画像は、それぞれの画像を捕捉した時間間隔が、撮像部１００が画像を撮像する場合の露光時間と略同一であることが好ましい。こうすることにより、変位ベクトル算出部１３０は、それらの画像が捕捉された時点で画像を撮像したと仮定した場合の、露光時間中における主要被写体を示す領域の変位ベクトルを算出することができるので、撮像制御部１４０において主要被写体を相対的に静止させるべく、より高い精度で撮像部１００を制御することができる。また、変位ベクトル算出部１３０は、主要被写体選択部１２２が主要被写体を示す領域を選択する際に、捕捉された複数の画像から移動体を示す領域を検出していた場合に、その結果を用いて変位ベクトルを算出してもよい。更に、変位ベクトル算出部１３０は、複数の画像における主要被写体を示す領域の変位ベクトルの時間変化を、成分毎に三角関数等を用いて近似することにより、所定時間後における変位ベクトルの予測値を算出してもよい。
【００３４】
続いて、変位ベクトル算出部１３０により算出された変位ベクトルの大きさが、予め定められた基準値より大きい場合に、撮像制御部１４０は、算出された変位ベクトルを補償する方向に撮像方向を変化させる（Ｓ１０７０）。例えば、主要被写体を示す領域が、光学系１０２における光学中心から見て、画像に向かって右方向に毎秒１０°の速さで変位していると算出され、この変位量が基準値より大きい場合、撮像制御部１４０は、撮像部１００により複数の画像が捕捉された時点における撮像方向の変化量に、右方向に毎秒１０°という変化量を加算した変化量を用いて、撮像方向、即ち光軸の向きを変化させる。また、予め定められた基準値とは、移動している被写体を撮像した画像において被写体像に発生するブレが十分に小さいと考えられる場合の、被写体像の変位ベクトルの大きさにおける上限値であり、光学系１０２の特性等に基づいて定められた値である。また、変位ベクトル算出部１３０において、所定時間後、具体的には次に画像を捕捉するタイミングにおける変位ベクトルの予測値が算出されている場合に、撮像制御部１４０は、当該予測値を用いて光軸の向きを制御してもよい。これにより、撮像制御部１４０は、主要被写体を示す領域の変位ベクトルが、時間に対して線形に変化していない場合であっても、主要被写体を撮像部１００に対して相対的に静止させるべく、精度よく光軸の向きの制御を行うことができる。
【００３５】
続いて、撮像制御部１４０は、大きさ変化率算出部１３２により算出された変化率、回転角度算出部１３４により算出された回転角度、及び変位ベクトル算出部１３０により算出された変位ベクトルの大きさの何れか１つが、それぞれにおける予め定められた基準値より大きいか否かを判定する（Ｓ１０８０）。そして、変化率、回転角度、及び変位ベクトルの大きさの何れか１つが基準値より大きい場合（Ｓ１０８０：Ｙｅｓ）、デジタルカメラ１０は、処理をＳ１０００に戻して、再度撮像部に画像を捕捉させる。
【００３６】
一方、変化率、回転角度、及び変位ベクトルの大きさの何れもが基準値より小さい場合（Ｓ１０８０：Ｎｏ）、撮像制御部１４０は、主要被写体が撮像部１００に対して相対的に静止していると判断し、Ｓ１０００において複数の画像が捕捉された際の撮像倍率の変化率、ＣＣＤ１０４の回転角度、及び光軸の向きの変化量を維持したまま、撮像部１００に画像を撮像させる（Ｓ１０９０）。これに代えて、撮像制御部１４０は、大きさ変化率算出部１３２により算出された変化率の予測値、回転角度算出部１３４により算出された回転角度の予測値、及び変位ベクトル算出部１３０により算出された変位ベクトルの予測値に基づいて撮像部１００を駆動させつつ、撮像部１００に画像を撮像させてもよい。また、撮像部１００は、静止画像を撮像するのに代えて、動画像を撮影してもよい。撮像部１００が動画像を撮影する場合であっても、撮像制御部１４０の制御により、主要被写体が撮像部１００に対して相対的に静止した状態で撮影することができるので、主要被写体像にブレの無い品質の高い動画像を撮影することができる。
【００３７】
本実施形態に係るデジタルカメラ１０によれば、捕捉した画像における主要被写体を示す領域の変位ベクトル、大きさの変化率、及び回転角度に基づいて撮像部１００を制御することにより、撮像方向に垂直な面内、平行な方向、及びその周りの回転について、主要被写体を撮像部１００に対して相対的に静止させることができる。そして、算出した変位ベクトル、大きさの変化率、及び回転角度に基づいて、主要被写体が撮像部１００に対して相対的に静止しているか否かを判定し、静止していると判定した場合に画像を撮像する、言い換えれば、主要被写体が撮像部１００に対して相対的に静止するまで撮像を遅らせることにより、ブレの無い鮮明な画像を確実に撮像することができる。
【００３８】
更に、本実施形態に係るデジタルカメラ１０によれば、主要被写体選択部１２２が、移動体を主要被写体として認識するのでなく、利用者に指定させて、又は画像内における位置等に基づいて主要被写体を選択することにより、手振れ等によって、主要被写体を含む画像全体が撮像部１００に対して相対的に移動する場合であっても、主要被写体を撮像部１００に対して相対的に静止させることができるので、ブレの無い鮮明な画像を撮像することができる。
【００３９】
図３は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００４０】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００４１】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介してデジタルカメラ１０と通信し、デジタルカメラ１０にプログラム及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０及び通信インターフェイス１５３０に提供する。
【００４２】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００４３】
また、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介してデジタルカメラ１０に送信される。デジタルカメラ１０に送信されたプログラムは、デジタルカメラ１０においてインストールされて実行される。デジタルカメラ１０にインストールされて実行されるプログラムは、デジタルカメラ１０を、図１から図２にかけて説明したデジタルカメラ１０として機能させる。
【００４４】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００４５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態に係るデジタルカメラ１０の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係るデジタルカメラ１０における処理の流れの一例を示すフローチャートである。
【図３】本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。
【符号の説明】
【００４７】
１０  デジタルカメラ、１００  撮像部、１０２  光学系、１０４  ＣＣＤ、１０６  撮像信号処理部、１１０  １次メモリ、１２０  画像処理部、１２２  主要被写体選択部、１２４  動きベクトル算出部、１３０  変位ベクトル算出部、１３２  大きさ変化率算出部、１３４  回転角度算出部、１４０  撮像制御部、１５０  表示部、１６０  ２次メモリ
【図１】
2005260894.tif 000003
【図２】
2005260894.tif 000004
【図３】
2005260894.tif 000005