(57)【特許請求の範囲】
【請求項１】
撮像部と、
複数のフレーム画像を予め定められた複数のタイミングで連続して前記撮像部に撮像させるフレーム画像撮像制御部と、
前記撮像部が撮像したフレーム画像に含まれる少なくとも１つのオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクト抽出部が抽出した少なくとも１つのオブジェクトの動きを算出するオブジェクト動き算出部と、
前記撮像部が撮像したフレーム画像の背景の動きを算出する背景動き算出部と、
前記オブジェクト抽出部が抽出した少なくとも１つのオブジェクトから、前記オブジェクト動き算出部が算出したオブジェクトの動きが、前記背景動き算出部が算出した背景の動きと異なるオブジェクトを、前記撮像部が撮像したフレーム画像の中の主要なオブジェクトである主要オブジェクトとして選択する主要オブジェクト選択部と、
前記主要オブジェクト選択部が選択した主要オブジェクトの画像情報に基づいて、前記撮像部が静止画を撮像する場合の露光量を決定する露光量決定部と、
前記撮像部が前記予め定められた複数のタイミングで連続して撮像する動画撮像中に、前記露光量決定部が決定した露光量で、前記撮像部に静止画を撮像させる静止画撮像制御部と
を備え、
前記複数のフレーム画像を動画として記録するとともに、前記静止画を記録する
撮像装置。
【請求項２】
前記撮像部が前記静止画を撮像した場合に、前記撮像部が前記静止画を撮像することによって撮像できなかったタイミングのフレーム画像を、前記静止画から生成し、撮像した前記複数のフレーム画像および前記静止画から生成したフレーム画像を動画として記録するとともに、前記静止画を記録する
請求項１に記載の撮像装置。
【請求項３】
前記静止画撮像制御部は、前記撮像部がフレーム画像を撮像すべきタイミングを含む露光期間に露光することにより、前記撮像部に静止画を撮像させる
請求項２に記載の撮像装置。
【請求項４】
前記動画撮像中にレリーズボタンの押下が検出された場合に、前記主要オブジェクト選択部は、前記レリーズボタンの押下が検出されたタイミングの直前のタイミングで撮像された複数のフレーム画像に含まれるオブジェクトから前記主要オブジェクトを選択し、前記露光量決定部は、前記選択された主要オブジェクトの画像情報に基づいて、前記撮像部が静止画を撮像する場合の露光量を決定し、前記静止画撮像制御部は、前記決定された露光量で前記撮像部に静止画を撮像させる
請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記主要オブジェクト選択部が決定した主要オブジェクトの少なくとも一部分を含む部分画像領域の明るさを算出するオブジェクト明るさ算出部
をさらに備え、
前記露光量決定部は、前記オブジェクト明るさ算出部が算出した部分画像領域の明るさに基づいて、前記撮像部が静止画を撮像する場合の露光量を決定する
請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記撮像部が撮像したフレーム画像全体の明るさを算出するフレーム画像明るさ算出部
をさらに備え、
前記露光量決定部は、前記フレーム画像明るさ算出部が算出したフレーム画像全体の明るさにさらに基づいて、前記撮像部が静止画を撮像する場合の露光量を決定する
請求項５に記載の撮像装置。
【請求項７】
前記露光量決定部は、部分画像領域の明るさに基づいて算出した露光量と、フレーム画像全体の明るさに基づいて算出した露光量とのそれぞれに重み付けをして、前記撮像部が静止画を撮像する場合の露光量を決定する
請求項６に記載の撮像装置。
【請求項８】
前記露光量決定部は、部分画像領域の明るさに基づいて算出した露光量に対して、フレーム画像全体の明るさに基づいて算出した露光量より大きく重み付けをして、前記撮像部が静止画を撮像する場合の露光量を決定する
請求項７に記載の撮像装置。
【請求項９】
前記オブジェクト動き算出部は、前記主要オブジェクト選択部が選択した主要オブジェクトの動きの速度を算出し、
前記露光量決定部は、前記オブジェクト動き算出部が算出した主要オブジェクトの動きの速度に基づいて、前記撮像部が静止画を撮像する場合の露光時間を決定する
請求項１から４のいずれかに記載の撮像装置。
【請求項１０】
前記主要オブジェクト選択部は、前記オブジェクト動き算出部が算出したオブジェクトの動きが、前記背景動き算出部が算出した背景の動きに対して相対的により大きいオブジェクトを主要オブジェクトとして選択する
請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記オブジェクト抽出部が抽出した少なくとも１つのオブジェクトのフレーム画像における面積を算出するオブジェクト面積算出部
をさらに備え、
前記主要オブジェクト選択部は、前記オブジェクト面積算出部が算出した面積がより大きいオブジェクトを主要オブジェクトとして選択する
請求項１から９のいずれかに記載の撮像装置。
【請求項１２】
複数のフレーム画像を予め定められた複数のタイミングで連続して撮像部に撮像させるフレーム画像撮像制御段階と、
前記撮像部により撮像されたフレーム画像に含まれる少なくとも１つのオブジェクトを抽出するオブジェクト抽出段階と、
前記オブジェクト抽出段階において抽出された少なくとも１つのオブジェクトの動きを算出するオブジェクト動き算出段階と、
前記撮像部により撮像されたフレーム画像の背景の動きを算出する背景動き算出段階と、
前記オブジェクト抽出段階において抽出された少なくとも１つのオブジェクトから、前記オブジェクト動き算出段階において算出されたオブジェクトの動きが、前記背景動き算出段階において算出された背景の動きと異なるオブジェクトを、前記撮像部により撮像されたフレーム画像の中の主要なオブジェクトである主要オブジェクトとして選択する主要オブジェクト選択段階と、
前記主要オブジェクト選択段階において選択された主要オブジェクトの画像情報に基づいて、前記撮像部により静止画が撮像される場合の露光量を決定する露光量決定段階と、
前記撮像部が前記予め定められた複数のタイミングで連続して撮像する動画撮像中に、前記露光量決定段階において決定された露光量で、前記撮像部に静止画を撮像させる静止画撮像制御段階と、
前記複数のフレーム画像を動画として記録するとともに、前記静止画を記録する段階と
を備える撮像方法。
【請求項１３】
前記撮像部に前記静止画を撮像させた場合に、前記撮像部が前記静止画を撮像することによって撮像できなかったタイミングのフレーム画像を、前記静止画から生成する段階
をさらに備え、
前記記録する段階は、撮像した前記複数のフレーム画像および前記静止画から生成されたフレーム画像を動画として記録するとともに、前記静止画を記録する
請求項１２に記載の撮像方法。
【請求項１４】
前記静止画撮像制御段階は、前記撮像部がフレーム画像を撮像すべきタイミングを含む露光期間に露光させることにより、前記撮像部に静止画を撮像させる
請求項１３に記載の撮像方法。
【請求項１５】
前記動画撮像中にレリーズボタンの押下が検出された場合に、前記主要オブジェクト選択段階は、前記レリーズボタンの押下が検出されたタイミングの直前のタイミングで撮像された複数のフレーム画像に含まれるオブジェクトから前記主要オブジェクトを選択し、前記露光量決定段階において、前記選択された主要オブジェクトの画像情報に基づいて、前記撮像部に静止画を撮像させる場合の露光量を決定し、前記静止画撮像制御段階において、前記決定された露光量で前記撮像部に静止画を撮像させる
請求項１２から１４のいずれかに記載の撮像方法。
【請求項１６】
撮像装置用のプログラムであって、コンピュータを、
複数のフレーム画像を予め定められた複数のタイミングで連続して撮像部に撮像させるフレーム画像撮像制御部、
前記撮像部が撮像したフレーム画像に含まれる少なくとも１つのオブジェクトを抽出するオブジェクト抽出部、
前記オブジェクト抽出部が抽出した少なくとも１つのオブジェクトの動きを算出するオブジェクト動き算出部、
前記撮像部が撮像したフレーム画像の背景の動きを算出する背景動き算出部、
前記オブジェクト抽出部が抽出した少なくとも１つのオブジェクトから、前記オブジェクト動き算出部が算出したオブジェクトの動きが、前記背景動き算出部が算出した背景の動きと異なるオブジェクトを、前記撮像部が撮像したフレーム画像の中の主要なオブジェクトである主要オブジェクトとして選択する主要オブジェクト選択部、
前記主要オブジェクト選択部が選択した主要オブジェクトの画像情報に基づいて、前記撮像部が静止画を撮像する場合の露光量を決定する露光量決定部、
前記撮像部が前記予め定められた複数のタイミングで連続して撮像する動画撮像中に、前記露光量決定部が決定した露光量で、前記撮像部に静止画を撮像させる静止画撮像制御部
として機能させ、
前記コンピュータに、前記複数のフレーム画像を動画として記録させるとともに、前記静止画を記録させる
プログラム。
【請求項１７】
前記コンピュータに、
前記撮像部が前記静止画を撮像した場合に、前記撮像部が前記静止画を撮像することによって撮像できなかったタイミングのフレーム画像を、前記静止画から生成させ、撮像した前記複数のフレーム画像および前記静止画から生成したフレーム画像を動画として記録させるとともに、前記静止画を記録させる
請求項１６に記載のプログラム。
【請求項１８】
前記静止画撮像制御部は、前記撮像部がフレーム画像を撮像すべきタイミングを含む露光期間に露光することにより、前記撮像部に静止画を撮像させる
請求項１７に記載のプログラム。
【請求項１９】
前記動画撮像中にレリーズボタンの押下が検出された場合に、前記主要オブジェクト選択部は、前記レリーズボタンの押下が検出されたタイミングの直前のタイミングで撮像された複数のフレーム画像に含まれるオブジェクトから前記主要オブジェクトを選択し、前記露光量決定部は、前記選択された主要オブジェクトの画像情報に基づいて、前記撮像部が静止画を撮像する場合の露光量を決定し、前記静止画撮像制御部は、前記決定された露光量で前記撮像部に静止画を撮像させる
請求項１６から１８のいずれかに記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及びプログラムに関する。特に本発明は、動画及び静止画を撮像する撮像装置、撮像方法、及び撮像装置用のプログラムに関する。
【背景技術】
【０００２】
従来、動画の記録中に静止画を撮影しても滑らかな動きのある動画を得ることができるムービ・スチル・カメラがある（例えば、特許文献１参照。）。このムービ・スチル・カメラでは、動画の記録中には、一駒が水平方向６４０画素、垂直方向４８０画素をもつ動画データが一定周期で得られる。そして、動画データを記録中にレリーズボタンが押されると、水平方向１２８０画素、垂直方向９６０画素の静止画像データが取得され、メモリ・カードに記録される。このとき、静止画像データから、動画用の一駒の画像と同じ大きさをもつ縮小画像が生成され、静止画像データが得られた位置に挿入される。
【特許文献１】特開２００３−２１９３４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１には、静止画撮像時において、ユーザが着目して撮像している被写体が適切な明るさで撮像されるよう露光条件を調整する技術については開示されていない。例えば、動画撮像中に静止画を撮像しようとすると、ユーザが着目している被写体に合わせてレリーズボタンを二度押したりするような時間的余裕はない。したがって、ユーザが着目している被写体を特定して、特定した被写体が鮮明に撮像された静止画が得られるよう、適切な露光量が決定されることが望ましい。
【０００４】
そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態による撮像装置は、撮像部と、複数のフレーム画像を連続して撮像部に撮像させるフレーム画像撮像制御部と、撮像部が撮像したフレーム画像に含まれる少なくとも１つのオブジェクトを抽出するオブジェクト抽出部と、オブジェクト抽出部が抽出した少なくとも１つのオブジェクトの動きを算出するオブジェクト動き算出部と、撮像部が撮像したフレーム画像の背景の動きを算出する背景動き算出部と、オブジェクト抽出部が抽出した少なくとも１つのオブジェクトから、オブジェクト動き算出部が算出したオブジェクトの動きが、背景動き算出部が算出した背景の動きと異なるオブジェクトを、撮像部が撮像したフレーム画像の中の主要なオブジェクトである主要オブジェクトとして選択する主要オブジェクト選択部と、主要オブジェクト選択部が選択した主要オブジェクトの画像情報に基づいて、撮像部が静止画を撮像する場合の露光量を決定する露光量決定部と、露光時間決定部が決定した露光量で、撮像部に静止画を撮像させる静止画撮像制御部とを備える。
【０００６】
主要オブジェクト選択部が決定した主要オブジェクトの少なくとも一部分を含む部分画像領域の明るさを算出するオブジェクト明るさ算出部をさらに備え、露光量決定部は、オブジェクト明るさ算出部が算出した部分画像領域の明るさに基づいて、撮像部が静止画を撮像する場合の露光量を決定してよい。
【０００７】
撮像部が撮像したフレーム画像全体の明るさを算出するフレーム画像明るさ算出部をさらに備え、露光量決定部は、フレーム画像明るさ算出部が算出したフレーム画像全体の明るさにさらに基づいて、撮像部が静止画を撮像する場合の露光量を決定してよい。
【０００８】
露光量決定部は、部分画像領域の明るさに基づいて算出した露光量と、フレーム画像全体の明るさに基づいて算出した露光量とのそれぞれに重み付けをして、撮像部が静止画を撮像する場合の露光量を決定してよい。
【０００９】
露光量決定部は、部分画像領域の明るさに基づいて算出した露光量に対して、フレーム画像全体の明るさに基づいて算出した露光量より大きく重み付けをして、撮像部が静止画を撮像する場合の露光量を決定してよい。
【００１０】
露光量決定部は、オブジェクト動き算出部が算出した主要オブジェクトの動きの速度に基づいて、撮像部が静止画を撮像する場合の露光時間を決定してよい。
【００１１】
主要オブジェクト選択部は、オブジェクト動き算出部が算出したオブジェクトの動きが、背景動き算出部が算出した背景の動きに対して相対的により大きいオブジェクトを主要オブジェクトとして選択してよい。
【００１２】
記オブジェクト抽出部が抽出した少なくとも１つのオブジェクトのフレーム画像における面積を算出するオブジェクト面積算出部をさらに備え、主要オブジェクト選択部は、オブジェクト面積算出部が算出した面積がより大きいオブジェクトを主要オブジェクトとして選択してよい。
【００１３】
本発明の第２の形態による撮像方法は、撮像段階と、複数のフレーム画像を連続して撮像段階に撮像させるフレーム画像撮像制御段階と、撮像段階において撮像されたフレーム画像に含まれる少なくとも１つのオブジェクトを抽出するオブジェクト抽出段階と、オブジェクト抽出段階において抽出された少なくとも１つのオブジェクトの動きを算出するオブジェクト動き算出段階と、撮像段階において撮像されたフレーム画像の背景の動きを算出する背景動き算出段階と、オブジェクト抽出段階において抽出された少なくとも１つのオブジェクトから、オブジェクト動き算出段階において算出されたオブジェクトの動きが、背景動き算出段階において算出された背景の動きと異なるオブジェクトを、撮像段階において撮像されたフレーム画像の中の主要なオブジェクトである主要オブジェクトとして選択する主要オブジェクト選択段階と、主要オブジェクト選択段階において選択された主要オブジェクトの画像情報に基づいて、撮像段階において静止画が撮像される場合の露光量を決定する露光量決定段階と、露光時間決定段階において決定された露光量で、撮像段階に静止画を撮像させる静止画撮像制御段階とを備える。
【００１４】
本発明の第３の形態によると、撮像装置用のプログラムであって、当該撮像装置を、撮像部と、複数のフレーム画像を連続して撮像部に撮像させるフレーム画像撮像制御部、撮像部が撮像したフレーム画像に含まれる少なくとも１つのオブジェクトを抽出するオブジェクト抽出部、オブジェクト抽出部が抽出した少なくとも１つのオブジェクトの動きを算出するオブジェクト動き算出部、撮像部が撮像したフレーム画像の背景の動きを算出する背景動き算出部、オブジェクト抽出部が抽出した少なくとも１つのオブジェクトから、オブジェクト動き算出部が算出したオブジェクトの動きが、背景動き算出部が算出した背景の動きと異なるオブジェクトを、撮像部が撮像したフレーム画像の中の主要なオブジェクトである主要オブジェクトとして選択する主要オブジェクト選択部、主要オブジェクト選択部が選択した主要オブジェクトの画像情報に基づいて、撮像部が静止画を撮像する場合の露光量を決定する露光量決定部、露光時間決定部が決定した露光量で、撮像部に静止画を撮像させる静止画撮像制御部として機能させる。
【００１５】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１６】
本発明によれば、動画撮像中に、ユーザが着目している被写体が鮮明に撮像された静止画を撮像することができる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１８】
図１は、本発明の一実施形態に係る撮像装置１１０の利用環境の一例を示す。撮像装置１１０は、動画のフレーム画像を撮像している最中に、ユーザ１９０によるレリーズボタンを押下を検出すると、レリーズボタンの押下を検出したタイミングの直前のタイミングで撮像された複数のフレーム画像に含まれる主要オブジェクトを特定する。具体的には、撮像装置１１０は、複数のフレーム画像において、背景画像に対して動きのあるオブジェクトを主要オブジェクトとして特定する。例えば、撮像装置１１０は、電柱、ビル等の背景となる被写体のフレーム画像上の動きに対して、特徴的な動きのある自動車を、主要被写体として特定する。そして、撮像装置１１０は、フレーム画像における主要オブジェクトの明るさに基づいて、主要オブジェクトを静止画として撮像する場合に設定すべき適切な露光量を決定して、決定した露光量で静止画を撮像して記録する。
【００１９】
なお、撮像装置１１０は、動画を撮像している最中に静止画を撮像する場合以外に、静止画を撮像する撮像条件を決定すべく予め複数の予備画像を撮像し、予め撮像した複数の予備画像において、背景画像に対して動きのあるオブジェクトを、主要オブジェクトとして特定してもよい。撮像装置１１０は、デジタルスチルカメラ、デジタルビデオカメラ等の機器であってよく、カメラ付携帯電話、撮像機能を有するＰＤＡ等の携帯情報端末等であってもよい。以上説明した撮像装置１１０によれば、動画撮像中に、ユーザ１９０が注目して撮像している被写体に適した望ましい露光量で静止画を撮像して記録することができる。
【００２０】
図２は、撮像装置１１０のブロック構成の一例を示す。撮像装置１１０は、撮像部２１０、フレーム画像撮像制御部２１５、静止画撮像制御部２２０、オブジェクト抽出部２３０、オブジェクト動き算出部２４０、オブジェクト面積算出部２４５、背景動き算出部２５０、オブジェクト明るさ算出部２６０、フレーム画像明るさ算出部２７０、主要オブジェクト選択部２８０、及び露光量決定部２９０を備える。
【００２１】
フレーム画像撮像制御部２１５は、複数のフレーム画像を連続して撮像部２１０に撮像させる。撮像部２１０は、具体的には、被写体からの光をＣＣＤ等の撮像素子によって受光して被写体を撮像する。なお、撮像部２１０は、動画用のフレーム画像を撮像してよい。また、本実施形態におけるフレーム画像とは、静止画の撮像前に撮像され、静止画を撮像する撮像条件を決定すべく予め撮像される予備画像を含む。
【００２２】
オブジェクト抽出部２３０は、撮像部２１０が撮像したフレーム画像に含まれる少なくとも１つのオブジェクトを抽出する。具体的には、オブジェクト抽出部２３０は、フレーム画像に対して、エッジ抽出等によりオブジェクトの輪郭を抽出する。
【００２３】
オブジェクト動き算出部２４０は、オブジェクト抽出部２３０が抽出した少なくとも１つのオブジェクトの動きを算出する。具体的には、オブジェクト動き算出部２４０は、連続して撮像されたフレーム画像において、オブジェクト抽出部２３０が抽出したオブジェクトの、画像上の位置の変位を、オブジェクトの動きとして算出する。また、オブジェクト動き算出部２４０は、オブジェクト抽出部２３０が抽出したオブジェクトの動きの速度を算出する。具体的には、オブジェクト動き算出部２４０は、フレーム画像が撮像された撮像間隔と、それぞれのフレーム画像においてオブジェクト抽出部２３０が抽出したオブジェクトのそれぞれの位置とに基づいて、主要オブジェクトの動きの速度を算出する。
【００２４】
背景動き算出部２５０は、撮像部２１０が撮像したフレーム画像の背景の動きを算出する。そして、主要オブジェクト選択部２８０は、オブジェクト抽出部２３０が抽出した少なくとも１つのオブジェクトから、オブジェクト動き算出部２４０が算出したオブジェクトの動きが、背景動き算出部２５０が算出した背景の動きと異なるオブジェクトを、撮像部２１０が撮像したフレーム画像の中の主要なオブジェクトである主要オブジェクトとして選択する。
【００２５】
具体的には、主要オブジェクト選択部２８０は、オブジェクト動き算出部２４０が算出したオブジェクトの動きが、背景動き算出部２５０が算出した背景の動きに対して相対的により大きいオブジェクトを主要オブジェクトとして選択してよい。これにより、撮像装置１１０は、背景に対してフレーム画像において特徴的な動きをしているオブジェクトを主要オブジェクトとして選択することができる。
【００２６】
また、オブジェクト面積算出部２４５は、オブジェクト抽出部２３０が抽出した少なくとも１つのオブジェクトのフレーム画像における面積を算出する。主要オブジェクト選択部２８０は、オブジェクト面積算出部２４５が算出した面積がより大きいオブジェクトを主要オブジェクトとして選択する。また、主要オブジェクト選択部２８０は、オブジェクト抽出部２３０が抽出したオブジェクトのうち、オブジェクト面積算出部２４５が算出した面積が予め定めた基準面積以上であって、オブジェクト動き算出部２４０が算出したオブジェクトの動きの速度の大きさが予め定めた基準速度の大きさ以上であるオブジェクトを、主要オブジェクトとして選択してよい。このため、撮像装置１１０は、ユーザ１９０が注目して撮像したオブジェクトを、主要オブジェクトとして適切に選択することができる。
【００２７】
露光量決定部２９０は、主要オブジェクト選択部２８０が選択した主要オブジェクトの画像情報に基づいて、撮像部２１０が静止画を撮像する場合の露光量を決定する。そして、静止画撮像制御部２２０は、露光量決定部２９０が決定した露光量で、撮像部２１０に静止画を撮像させる。なお、静止画撮像制御部２２０は、フレーム画像の解像度より高い解像度で撮像部２１０に静止画を撮像させてよい。
【００２８】
具体的には、オブジェクト明るさ算出部２６０は、主要オブジェクト選択部２８０が決定した主要オブジェクトの少なくとも一部分を含む部分画像領域の明るさを算出する。そして、露光量決定部２９０は、オブジェクト明るさ算出部２６０が算出した部分画像領域の明るさに基づいて、撮像部２１０が静止画を撮像する場合の露光量を決定する。このため、撮像装置１１０は、ユーザ１９０が注目している主要被写体を、適切な露光量で静止画として撮像することができる。
【００２９】
フレーム画像明るさ算出部２７０は、撮像部２１０が撮像したフレーム画像全体の明るさを算出する。そして、露光量決定部２９０は、フレーム画像明るさ算出部２７０が算出したフレーム画像全体の明るさにさらに基づいて、撮像部２１０が静止画を撮像する場合の露光量を決定する。このため、撮像装置１１０は、静止画全体の明るさのバランスをとることができる。
【００３０】
具体的には、露光量決定部２９０は、部分画像領域の明るさに基づいて算出した露光量と、フレーム画像全体の明るさに基づいて算出した露光量とのそれぞれに重み付けをして、撮像部２１０が静止画を撮像する場合の露光量を決定する。例えば、露光量決定部２９０は、部分画像領域の明るさに基づいて算出した露光量に対して、フレーム画像全体の明るさに基づいて算出した露光量より大きく重み付けをして、撮像部２１０が静止画を撮像する場合の露光量を決定する。また、露光量決定部２９０は、オブジェクト面積算出部２４５が算出したオブジェクトの面積がより大きい場合に、主要オブジェクトを含む部分画像領域の明るさに基づいて算出された露光量に対して、より大きく重み付けをする。このため、撮像装置１１０は、画像全体の明るさのバランスをとりつつ、主要被写体の撮像に適した露光量で、静止画を撮像することができる。
【００３１】
なお、オブジェクト動き算出部２４０は、主要オブジェクト選択部２８０が選択した主要オブジェクトの動きの速度を算出する。そして、露光量決定部２９０は、オブジェクト動き算出部２４０が算出した主要オブジェクトの動きの速度に基づいて、撮像部２１０が静止画を撮像する場合の露光時間を決定する。例えば、露光量決定部２９０は、オブジェクト動き算出部２４０が算出した主要オブジェクトの動きの速度の大きさがより大きい場合に、より短い露光時間を設定する。また、露光量決定部２９０は、主要オブジェクトの動きの速度の大きさがより大きい場合に、決定した露光量を確保すべく、より少ない絞り量を設定してよい。このため、撮像装置１１０は、主要オブジェクトの動きが大きい場合であっても、主要被写体が鮮明に撮像された静止画を得ることができる。
【００３２】
以上説明した撮像装置１１０によれば、ユーザ１９０は、動画を撮像している最中に、シャッタチャンスを逃すことなく、ユーザ１９０が注目して撮像している被写体が鮮明に写った静止画を得ることができる。
【００３３】
図３は、静止画を撮像する方法の一例を示す。本図の例では、撮像装置１１０は、時刻ｔ４０１、ｔ４０２、ｔ４０４・・・において、露光時間Δｔ４５０で動画用のフレーム画像４１１、４１２、４１４・・・を撮像している。そして、撮像装置１１０は、時刻ｔ４０２と時刻ｔ４０４の間の時刻ｔ４１０で、ユーザ１９０によりレリーズボタンが押下されたことを検知する。そして、露光量決定部２９０は、レリーズボタンが押下された時刻ｔ４１０の直前に連続して撮像されたフレーム画像４１１及び４１２から、静止画４１３を取得すべき露光量を決定する。
【００３４】
背景動き算出部２５０は、フレーム画像４１１及びフレーム画像４１２において、背景のオブジェクト（フレーム画像４１１における４８０ａ、４８１ａ、及び４８２ａ、並びに、フレーム画像４１２における４８０ｂ、４８１ｂ、及び４８２ｂを含むオブジェクト）の動きを算出する。そして、主要オブジェクト選択部２８０は、背景の動きに対して相対的な動きの大きいオブジェクト（４８３a及び４８３ｂ）を、主要オブジェクトとして特定する。なお、背景の動きの算出動作及び主要被写体の選択動作の詳細については、図４において説明する。
【００３５】
なお、本実施形態における背景のオブジェクトとは、主要オブジェクト以外の画像領域に位置するオブジェクトを意味し、主要オブジェクトとして撮像される被写体の実際の位置関係を示すものではない。例えば、フレーム画像４１２におけるオブジェクト４８２ｂは、撮像装置１１０の撮像方向に対して、主要オブジェクト４８３ｂとして特定される自動車の位置より前面に位置するガードレールを示すが、オブジェクト４８２ｂは本実施形態でいう背景のオブジェクトに含まれる。
【００３６】
そして、オブジェクト明るさ算出部２６０は、フレーム画像４１２における主要オブジェクト４８３ｂの明るさを算出する。具体的には、オブジェクト明るさ算出部２６０は、オブジェクト４８３ｂを含む領域の各画素の輝度の平均値を、主要オブジェクトの明るさの指標としてよい。なお、オブジェクト４８３ｂを含む領域とは、オブジェクトの輪郭によって囲まれる画像領域の少なくとも一部であってよい。
【００３７】
また、フレーム画像明るさ算出部２７０は、フレーム画像４１２におけるフレーム画像全体の明るさを算出する。具体的には、フレーム画像明るさ算出部２７０は、フレーム画像全体の各画素の輝度の平均値を、フレーム画像全体の明るさの指標としてよい。なお、フレーム画像明るさ算出部２７０は、必ずしもフレーム画像の全画像領域の明るさを算出するということを指すものではない。例えば、フレーム画像明るさ算出部２７０は、フレーム画像における全画素の輝度データを用いてフレーム画像全体の明るさを算出するのではなく、所定の画素間隔で間引いて選択される画素の輝度データを用いてフレーム画像全体の明るさを算出してよい。また、フレーム画像明るさ算出部２７０は、主要オブジェクト４８３ｂを除く画像領域の明るさを、フレーム画像全体の明るさとして算出してよい。
【００３８】
そして、露光量決定部２９０は、オブジェクト明るさ算出部２６０が算出した主要オブジェクト４８３ｂの明るさから、静止画を撮像する場合の露光量（Ｅ１）を算出する。また、露光量決定部２９０は、フレーム画像明るさ算出部２７０が算出したフレーム画像４１２におけるフレーム画像全体の明るさから、静止画を撮像する場合の露光量（Ｅ２）を算出する。そして、露光量決定部２９０は、静止画を撮像する場合の露光量Ｅを、α×Ｅ１＋β×Ｅ２として計算する。なお、α及びβは、０以上１以下の値であり、かつ、αとβの和が１となる重み付け係数である。このとき、露光量決定部２９０は、αをβより大きく設定する。また、露光量決定部２９０は、フレーム画像の面積に対する主要オブジェクト４８３ｂの面積の比がより大きい場合に、重み付け係数αの値をより大きく設定してもよい。
【００３９】
そして、露光量決定部２９０は、静止画を撮像する露光量Ｅを得るための、絞り値及び露光時間（Δｔ４６０）を含む露光条件を決定し、決定した露光条件で撮像部２１０に静止画４１３を撮像させる。そして、静止画撮像制御部２２０は、露光量決定部２９０が決定した露光条件で撮像する。なお、静止画撮像制御部２２０は、撮像部２１０がフレーム画像を撮像すべきタイミング（例えば、時刻ｔ４０３）を含む露光タイミングで露光させることによって撮像部２１０に静止画４１３を撮像させてよい。そして、撮像装置１１０は、撮像部２１０により撮像した静止画を記録する。
【００４０】
なお、撮像部２１０が本来フレーム画像を撮像すべきタイミングを含む露光期間で静止画を撮像することによって、当該タイミングにおいてはフレーム画像を得ることができない。例えば、本図の例では、フレーム画像を撮像すべき時刻ｔ４１３において、フレーム画像ではなく静止画を撮像すべく露光させることにより、時刻ｔ４１３におけるフレーム画像を得ることができない。この場合、撮像装置１１０は、フレーム画像が撮像すべき時間的位置の近傍で撮像された静止画４１３からフレーム画像４２３を生成して、生成したフレーム画像４２３を、撮像時刻ｔ４１３で撮像されたフレーム画像として格納する。
【００４１】
以上説明した撮像装置１１０によると、ユーザ１９０はシャッタチャンスを逃すことなく、望ましい露光条件で静止画を撮像することができる。また、撮像装置１１０は、撮像した静止画からフレーム画像を生成して記録するので、コマ落ちのない動画もユーザ１９０に提供することができる。
【００４２】
図４は、主要オブジェクトを選択する方法の一例を示す。背景動き算出部２５０は、レリーズボタンが押下された直前に連続して撮像された複数のフレーム画像４１１及び４１２について、フレーム画像４１１を他のフレーム画像４１２に対してずらした位置において、フレーム画像が重なり合う画像領域における、フレーム画像の一致度を算出する。そして、背景動き算出部２５０は、所定のずらし量毎におけるフレーム画像の一致度を算出する。
【００４３】
例えば、背景動き算出部２５０は、フレーム画像４１１の長手方向において、フレーム画像４１１を、フレーム画像４１２の端部から長手方向にずらしていく。そして、背景動き算出部２５０は、重なり合う画像領域において画像をマッチングさせ、画像のマッチング度を、フレーム画像の一致度として算出する。なお、画像のマッチング度とは、フレーム画像が重なり合う画像領域においてオブジェクト抽出部２３０が抽出したオブジェクトがマッチングしている部分の面積の、当該画像領域の面積に対する割合を指標とした値であってもよい。他にも、画像のマッチング度とは、フレーム画像が重なり合う画像領域の差分画像において、各画素の輝度の平均値を指標とした値であってもよい。
【００４４】
そして、背景動き算出部２５０は、一致度が最大となるずらし量４７０を求め、当該ずらし量４７０を、フレーム画像の背景の動きの量として算出する。これは、画像において背景領域の占める面積が最大であることが多ので、背景領域が一致したところでフレーム画像の一致度も最大となると考えられる。したがって、背景動き算出部２５０は、フレーム画像の一致度が最大となるずらし量４７０を算出することによって、背景の動きの量を適切に算出することができる。
【００４５】
そして、オブジェクト動き算出部２４０は、フレーム画像４１１においてオブジェクト抽出部２３０が抽出した各オブジェクト（４８０ａ、４８１ａ、４８２ａ、４８３ａ、及び４８４ａ）の位置が、オブジェクト抽出部２３０がフレーム画像４１２において抽出した各オブジェクト（４８０ｂ、４８１ｂ、４８２ｂ、４８３ｂ、及び４８４ｂ）の位置へと変位した変位量を、オブジェクトをマッチングさせることによって算出する。そして、主要オブジェクト選択部２８０は、算出した各オブジェクトにおける変位量から、背景動き算出部２５０が算出したずらし量４７０を差し引いた値を、各オブジェクトが背景の動きと異なる動きをしている度合いを示す、背景に対する動き量として算出する。そして、主要オブジェクト選択部２８０は、当該背景に対する動き量が最も大きいオブジェクトを、主要オブジェクトとして選択する。
【００４６】
また、主要オブジェクト選択部２８０は、各オブジェクトについて、オブジェクト面積算出部２４５により算出された各オブジェクトの面積を、背景に対する動き量に乗じた値を計算し、当該値が最も大きいオブジェクトを主要オブジェクトとして選択してもよい。以上説明した主要オブジェクトの選択動作によって、撮像装置１１０はユーザ１９０が注目して撮像した被写体が写ったオブジェクトを主要オブジェクトとして適切に選択することができる。
【００４７】
なお、主要オブジェクト選択部２８０は、背景動き算出部２５０が算出したずらし量毎の一致度のデータを受け取り、当該一致度のデータに基づいて、一致度が最大となるずらし量を除くずらし量領域における、一以上の一致度の極大値を選択する。そして主要オブジェクト選択部２８０は、選択した極大値のうち、最も値の大きい極大値の一致度が得られるずらし量だけフレーム画像をずらした位置において各オブジェクトのマッチング度を算出し、最も大きいマッチング度が得られたオブジェクトを、主要オブジェクトとして選択してよい。これにより、ユーザ１９０が注目している被写体が写ったオブジェクトを主要オブジェクトとして容易に選択することができる。なぜなら、主要オブジェクトは背景に対して動きのあるオブジェクトの中では面積が最大となると考えられるため、一致度が最大となるずらし量の次に大きい一致度が得られるずらし量だけずらした位置において、主要オブジェクト同士が重なっていると考えることができるからである。
【００４８】
以上説明した動作によって、例えば本図の例においては、主要オブジェクト選択部２８０によって、歩いている人物を表すオブジェクト４８４ｂより、面積が大きく動きも大きい自動車が写ったオブジェクト４８３ｂが、主要オブジェクトとしてより優先して選択される。
【００４９】
なお、以上の説明においては、説明を簡略化するために、フレーム画像の長手方向にずらせていった場合の一致度を算出することによって、主要オブジェクトを選択する一連の動作について説明した。しかし、フレーム画像をずらせていく方向は長手方向に限られない。例えば、背景動き算出部２５０は、フレーム画像の縦方向又は横方向等、任意の方向に沿って、所定のずらし量毎にフレーム画像をずらしていって一致度を算出してもよい。また、背景動き算出部２５０は、縦方向及び横方向等、互いに異なる二方向において、所定のずらし量を同時に各々変化させた場合の一致度を算出してもよい。したがって、ユーザ１９０が撮像装置１１０をパンニング、ティルティングさせながら撮像した場合でも、主要オブジェクト選択部２８０は適切に主要オブジェクトを選択することができる。
【００５０】
以上説明した撮像装置１１０によれば、ユーザ１９０は、動画を撮像している最中に、シャッタチャンスを逃すことなく静止画を撮像することができる。このとき、撮像装置１１０は、適切な露光量で静止画を撮像するとともに、撮像した静止画から動画用のフレーム画像を生成して記録しておくことができる。したがって、撮像装置１１０は、ユーザ１９０にとって望ましいタイミングで撮像された静止画と、コマ落ちのない動画とを、ユーザ１９０に提供することができる。
【００５１】
図５は、撮像装置１１０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００５２】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００５３】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１１０と通信し、撮像装置１１０にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００５４】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００５５】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１１０に送信される。撮像装置１１０に送信されたプログラムは、撮像装置１１０においてインストールされて実行される。
【００５６】
撮像装置１１０にインストールされて実行されるプログラムは、撮像装置１１０を、図１から図４に関連して説明した撮像部２１０、フレーム画像撮像制御部２１５、静止画撮像制御部２２０、オブジェクト抽出部２３０、オブジェクト動き算出部２４０、オブジェクト面積算出部２４５、背景動き算出部２５０、オブジェクト明るさ算出部２６０、フレーム画像明るさ算出部２７０、主要オブジェクト選択部２８０、及び露光量決定部２９０として機能させる。
【００５７】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００５８】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００５９】
【図１】撮像装置１１０の利用環境の一例を示す図である。
【図２】撮像装置１１０のブロック構成の一例を示す図である。
【図３】静止画を撮像する方法の一例を示す図である。
【図４】主要オブジェクトを選択する方法の一例を示す。
【図５】撮像装置１１０に係るコンピュータ１５００のハードウェア構成の一例を示す図である。
【符号の説明】
【００６０】
１１０  撮像装置
２１０  撮像部
２１５  フレーム画像撮像制御部
２２０  静止画撮像制御部
２３０  オブジェクト抽出部
２４０  オブジェクト動き算出部
２４５  オブジェクト面積算出部
２５０  背景動き算出部
２６０  オブジェクト明るさ算出部
２７０  フレーム画像明るさ算出部
２８０  主要オブジェクト選択部
２９０  露光量決定部
【図１】
0004527028.tif 000002
【図２】
0004527028.tif 000003
【図３】
0004527028.tif 000004
【図４】
0004527028.tif 000005
【図５】
0004527028.tif 000006