(57)【特許請求の範囲】
【請求項１】
動画像の撮像と並行して、静止画像を撮像可能な撮像装置であって、
画像を撮像する撮像部と、
前記撮像部によって撮像された画像中に含まれる被写体像の動き量を検出する動き量検出部と、
前記動き量検出部によって検出された被写体像の動き量を用いたフレーム間予測により、前記撮像部によって撮像された画像を動画像として符号化する動画像符号化部と、
前記動画像符号化部による動画像の符号化と並行して、前記動き量検出部によって検出された所定の時間間隔毎の被写体像の動き量に基づいて、静止画像の連写時の単位時間あたりの撮像回数である連写速度を算出する算出部と、
前記動画像符号化部による動画像の符号化と並行して、前記算出部によって算出された連写速度で、前記撮像部によって撮像された画像を連写画像として取得する連写画像取得部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記連写画像取得部は、
連写画像を取得する連写速度を、前記算出部によって所定の時間間隔毎に算出された連写速度に変更する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記算出部は、
前記動き量検出部によって検出された被写体像の動き量の代表値に基づいて、前記連写画像取得部における連写画像を取得する連写速度を算出する、
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記連写画像取得部は、
前記撮像部によって最高の連写速度で撮像された画像を、連写画像として一時的に記憶し、
前記一時的に記憶された連写画像の中から、前記算出部によって算出された連写速度に応じて静止画像を選択することにより、その連写速度での連写画像を取得する処理を、所定の時間間隔で繰り返す、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記動画像符号化部による動画像の符号化はＭＰＥＧ形式であって、
符号化データは、フレーム内符号化データであるＩピクチャ、順方向予測符号化データであるＰピクチャ及び双方向予測符号化データであるＢピクチャである、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記算出部は、
前記動き量検出部によって検出された、前記Ｉピクチャ、Ｐピクチャ及びＢピクチャによらない所定の時間間隔毎の被写体像の動き量に基づいて、静止画像の連写時の単位時間あたりの撮像回数である連写速度を算出する、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
動画像の撮像と並行して、静止画像を撮像可能な撮像方法であって、
画像を撮像する撮像工程と、
前記撮像工程によって撮像された画像中に含まれる被写体像の動き量を検出する動き量検出工程と、
前記動き量検出工程によって検出された被写体像の動き量を用いたフレーム間予測により、前記撮像工程によって撮像された画像を動画像として符号化する動画像符号化工程と、
前記動画像符号化工程による動画像の符号化と並行して、前記動き量検出工程によって検出された所定の時間間隔毎の被写体像の動き量に基づいて、静止画像の連写時の単位時間あたりの撮像回数である連写速度を算出する算出工程と、
前記動画像符号化工程による動画像の符号化と並行して、前記算出工程によって算出された連写速度で、前記撮像工程によって撮像された画像を連写画像として取得する連写画像取得工程と、
を備えることを特徴とする撮像方法。
【請求項８】
動画像の撮像と並行して、静止画像を撮像可能な撮像装置を制御するコンピュータを、
画像を撮像する撮像部によって撮像された画像中に含まれる被写体像の動き量を検出する動き量検出部、
前記動き量検出部によって検出された被写体像の動き量を用いたフレーム間予測により、前記撮像部によって撮像された画像を動画像として符号化する動画像符号化部、
前記動画像符号化部による動画像の符号化と並行して、前記動き量検出部によって検出された所定の時間間隔毎の被写体像の動き量に基づいて、静止画像の連写時の単位時間あたりの撮像回数である連写速度を算出する算出部、
前記動画像符号化部による動画像の符号化と並行して、前記算出部によって算出された連写速度で、前記撮像部によって撮像された画像を連写画像として取得する連写画像取得部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像を連続的に撮像する撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、静止画像を連続的に撮像（連写）する機能を備える撮像装置が製品化されている。この撮像装置では、被写体像の動きが速い場合は連写間隔を短くし、被写体像の動きが遅い場合は連写間隔を長くすれば、被写体像の動きに適した過不足のない連写が可能になる。
【０００３】
そこで、被写体像の動きに応じて連写速度（静止画像の連写時の単位時間あたりの撮像回数）を変更できる種々の撮像装置が開示されている。
【０００４】
例えば、被写体像の動きを検出し、検出された動きに基づいて連写速度を決定してから連写を行うカメラ等が開示されている（例えば、特許文献１及び２参照）。
【０００５】
また、被写体像の動画像を一時的に録画しておき、録画後に、録画された動画像の中から被写体像の動きに適した間隔で静止画像を選択することにより、連写画像を取得する撮像装置が開示されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３１１０号公報
【特許文献２】特開２００７−１３４９９１号公報
【特許文献３】特開２００１−４２３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１及び２に開示されたカメラ等では、被写体像の動きを検出し、連写速度を決定した後に連写を行うため、被写体像の動きを検出する時間と連写を行う時間との間にタイムラグが発生する。このタイムラグの間に被写体像の動きが変化すると、連写速度が必ずしも被写体像の動きに適したものにならなくなるおそれがある。
【０００８】
また、特許文献３に開示された装置では、動画像を一時的に記憶する大容量のバッファが必要である。また、事後的に静止画像を選択する処理を行うので、最終的に連写画像を得るまでに時間を要する。
【０００９】
本発明は上記実情に鑑みてなされたものであり、被写体像の動きにより適した連写速度で、より効率的に連写画像を取得できる撮像装置、撮像方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の第１の観点に係る撮像装置は、
動画像の撮像と並行して、静止画像を撮像可能な撮像装置であって、
画像を撮像する撮像部と、
前記撮像部によって撮像された画像中に含まれる被写体像の動き量を検出する動き量検出部と、
前記動き量検出部によって検出された被写体像の動き量を用いたフレーム間予測により、前記撮像部によって撮像された画像を動画像として符号化する動画像符号化部と、
前記動画像符号化部による動画像の符号化と並行して、前記動き量検出部によって検出された所定の時間間隔毎の被写体像の動き量に基づいて、静止画像の連写時の単位時間あたりの撮像回数である連写速度を算出する算出部と、
前記動画像符号化部による動画像の符号化と並行して、前記算出部によって算出された連写速度で、前記撮像部によって撮像された画像を連写画像として取得する連写画像取得部と、
を備える。
【００１２】
また、前記連写画像取得部は、
連写画像を取得する連写速度を、前記算出部によって所定の時間間隔毎に算出された連写速度に変更する、
こととしてもよい。
【００１３】
また、前記算出部は、
前記動き量検出部によって検出された被写体像の動き量の代表値に基づいて、前記連写画像取得部における連写画像を取得する連写速度を算出する、
こととしてもよい。
【００１４】
また、前記連写画像取得部は、
前記撮像部によって最高の連写速度で撮像された画像を、連写画像として一時的に記憶し、
前記一時的に記憶された連写画像の中から、前記算出部によって算出された連写速度に応じて静止画像を選択することにより、その連写速度での連写画像を取得する処理を、所定の時間間隔で繰り返す、
こととしてもよい。
【００１５】
また、前記動画像符号化部による動画像の符号化はＭＰＥＧ形式であって、
符号化データは、フレーム内符号化データであるＩピクチャ、順方向予測符号化データであるＰピクチャ及び双方向予測符号化データであるＢピクチャである、
こととしてもよい。
この場合、前記算出部は、
前記動き量検出部によって検出された、前記Ｉピクチャ、Ｐピクチャ及びＢピクチャによらない所定の時間間隔毎の被写体像の動き量に基づいて、静止画像の連写時の単位時間あたりの撮像回数である連写速度を算出する、
こととしてもよい。
【００１６】
また、本発明の第２の観点に係る撮像方法は、
動画像の撮像と並行して、静止画像を撮像可能な撮像方法であって、
画像を撮像する撮像工程と、
前記撮像工程によって撮像された画像中に含まれる被写体像の動き量を検出する動き量検出工程と、
前記動き量検出工程によって検出された被写体像の動き量を用いたフレーム間予測により、前記撮像工程によって撮像された画像を動画像として符号化する動画像符号化工程と、
前記動画像符号化工程による動画像の符号化と並行して、前記動き量検出工程によって検出された所定の時間間隔毎の被写体像の動き量に基づいて、静止画像の連写時の単位時間あたりの撮像回数である連写速度を算出する算出工程と、
前記動画像符号化工程による動画像の符号化と並行して、前記算出工程によって算出された連写速度で、前記撮像工程によって撮像された画像を連写画像として取得する連写画像取得工程と、
を備える。
【００１７】
また、本発明の第３の観点に係るプログラムは、
動画像の撮像と並行して、静止画像を撮像可能な撮像装置を制御するコンピュータを、
画像を撮像する撮像部によって撮像された画像中に含まれる被写体像の動き量を検出する動き量検出部、
前記動き量検出部によって検出された被写体像の動き量を用いたフレーム間予測により、前記撮像部によって撮像された画像を動画像として符号化する動画像符号化部、
前記動画像符号化部による動画像の符号化と並行して、前記動き量検出部によって検出された所定の時間間隔毎の被写体像の動き量に基づいて、静止画像の連写時の単位時間あたりの撮像回数である連写速度を算出する算出部、
前記動画像符号化部による動画像の符号化と並行して、前記算出部によって算出された連写速度で、前記撮像部によって撮像された画像を連写画像として取得する連写画像取得部、
として機能させる。
【発明の効果】
【００１８】
本発明によれば、静止画像の連写速度は、その連写と並行して行われる動画像の符号化の際に得られる被写体像の動きに関する情報に基づいて算出されるため、被写体像の動きにより適した連写速度で、より効率的に連写画像を取得できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】図２（Ａ）は時点ｔ１で撮像された静止画像を示す図である。図２（Ｂ）は時点ｔ２で撮像された静止画像を示す図である。図２（Ｃ）は時点ｔ３で撮像された静止画像を示す図である。
【図３】図１の撮像装置の動作の概略を示すタイミングチャートである。
【図４】図１の撮像装置における静止画像の連写のタイミングの一例を説明するための模式図である。
【図５】本発明の第２の実施形態に係る撮像装置における、静止画像の連写のタイミングの一例を説明するための模式図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について添付の図面を参照して詳細に説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。
【００２１】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
【００２２】
本実施形態に係る撮像装置１はデジタルカメラ、デジタルビデオカメラ等の画像を撮像する装置である。撮像装置１は静止画像を連写する機能を有する。また、撮像装置１は動画像を撮像しながら、任意のタイミングで静止画像を連写できる。
【００２３】
撮像装置１は動画像を圧縮するために、例えばＭＰＥＧ（Moving Picture Experts Group）−４等のＭＰＥＧ形式で規定された符号化を行う。
【００２４】
図１に示すように、撮像装置１は操作部２、表示部３、撮像部４、Ａ／Ｄ変換部５、信号処理部６、制御部７、及び記録部８を備える。
【００２５】
操作部２はシャッターボタン、録画ボタン、ジョグダイヤル、タッチパネル等（いずれも不図示）を備える。ユーザによる操作は操作部２を介して入力される。操作部２は入力された操作に対応する操作入力信号を出力する。出力される操作入力信号は、例えば、録画開始、録画終了、連写開始、連写終了等に対応する操作入力信号である。
【００２６】
表示部３は例えば液晶ディスプレイ（不図示）等を備え、動画像又は静止画像等を液晶ディスプレイ等に表示する。
【００２７】
撮像部４は光学系とイメージセンサ（いずれも不図示）を備える。
【００２８】
光学系はシャッタ、レンズ、フォーカスレンズ、及び絞り等（いずれも不図示）を備える。光学系を通過した光がイメージセンサの受光面に入射することにより、被写体像がイメージセンサの受光面に結像される。
【００２９】
イメージセンサは、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子（不図示）を備える。イメージセンサは結像された被写体像を光電変換して、被写体像に対応するアナログ画像信号を出力する。
【００３０】
Ａ／Ｄ変換部５はイメージセンサから出力されたアナログ画像信号をデジタル画像信号に変換して出力する。
【００３１】
信号処理部６はＡ／Ｄ変換部５から出力されたデジタル画像信号に対して、階調補正、白バランス調整等の処理を行う。
【００３２】
制御部７はＣＰＵ及びメモリ（いずれも不図示）を備える。ＣＰＵがメモリに格納されたプログラムを実行することにより、制御部７は以下の機能を実現する。
【００３３】
制御部７は操作部２に入力された操作入力信号に従って、撮像装置１を統括制御する。例えば、制御部７は録画開始に対応する操作入力信号に従って動画像を録画し、録画終了に対応する操作入力信号に従ってその録画を終了する。また、制御部７は連写開始に対応する操作入力信号に従って連写を開始し、連写終了に対応する操作入力信号に従って連写を終了する。
【００３４】
さらに、制御部７は表示部３における動画像等の表示を制御する。また、制御部７は撮像部４の光学系やイメージセンサの動作を制御する。
【００３５】
制御部７は動画像符号化部９、算出部１０及び連写画像取得部１１を備える。
【００３６】
動画像符号化部９は信号処理部６から出力されたデジタル画像信号に基づく画像を動画像として符号化する。
【００３７】
動画像符号化部９はフレーム間予測によって画像を動画像として符号化する。フレーム間予測とは、異なる時点の画像に基づいて予測された画像（予測画像）と実際の画像との差分を符号化する方法である。この方法では、予測画像を生成するために、画像に含まれる被写体像の動きベクトル（動き量）が求められる。
【００３８】
例えば、図２（Ａ）に示す時点ｔ１で撮像された画像を参照画像とし、図２（Ｂ）に示す時点ｔ２の画像についてフレーム間予測を行う場合には、矢印で示される被写体像２１の動きベクトルが動き量として検出される。また、図２（Ｂ）に示す時点ｔ２で撮像された画像を参照画像とし、図２（Ｃ）に示す時点ｔ３の画像についてフレーム間予測を行う場合には、矢印で示される被写体像２１の動きベクトルが動き量として検出される。図２（Ａ）乃至図２（Ｃ）に示すように、時点ｔ１と時点ｔ２との間では、時点ｔ２と時点ｔ３との間よりも、被写体像２１の動きが速いので、被写体像２１の動き量も大きくなっている。
【００３９】
動き量を検出するため、動画像符号化部９は動き量検出部１２を備える。動き量検出部１２は、例えばブロックマッチング処理等を行って、信号処理部６から出力されたデジタル画像信号に基づく画像中に含まれる被写体像の動き量を検出する。
【００４０】
動画像符号化部９は動き量検出部１２によって検出された動き量を用いてフレーム間予測を行い、予測画像と実際の画像との差分を圧縮することにより動画像の符号化を行う。動画像符号化部９で符号化された動画像は記憶部８に出力される。
【００４１】
算出部１０は動画像符号化部９による動画像の符号化と並行して、動画像符号化部９における符号化の際に得られる被写体像の動きに関する情報（動き量）に基づいて、静止画像の連写時の単位時間あたりの撮像回数である連写速度を算出する。
【００４２】
連写画像取得部１１は動画像符号化部９による動画像の符号化と並行して、算出部１０によって算出された連写速度で、信号処理部６から出力されたデジタル画像信号に基づく画像を連写画像として取得する。なお、連写画像取得部１１は画像を静止画像として符号化する機能を有していてもよい。連写画像取得部１１で符号化された静止画像は記憶部８に出力される。
【００４３】
記録部８は動画像符号化部９及び連写画像取得部１１から出力された動画像、静止画像等を記録する。
【００４４】
次に、図３のタイミングチャートを参照して、撮像装置１の動作について説明する。
【００４５】
操作部２から録画開始に対応する操作入力信号が入力されると、制御部７は動画像の録画を開始する（時点ｔ４）。
【００４６】
録画が開始されると、動画像符号化部９の動き量検出部１２はフレーム間予測で得られる動き量の検出を開始する。さらに、動画像符号化部９は検出された動き量を用いて画像を動画像として符号化する。符号化された動画像が記録部８に記録される。これにより動画像の録画が行われる。
【００４７】
これらの処理は時点ｔ７で録画終了に対応する操作入力信号が入力されるまで継続される。
【００４８】
動画像の撮像中（時点ｔ４−時点ｔ７）に、操作部２から連写開始に対応する操作入力信号が入力されると、制御部７は静止画像の連写を開始する（時点ｔ５）。
【００４９】
連写が開始されると、算出部１０は動画像符号化部９による動画像の符号化と並行して、動き量検出部１２によって検出された被写体像の動き量に基づいて連写速度を算出する。さらに、連写画像取得部１１は動画像符号化部９による動画像の符号化と並行して、算出部１０によって算出された連写速度で、信号処理部６から出力されたデジタル画像信号に基づく画像を連写画像として取得する。取得された連写画像が記録部８に記録される。これにより連写が行われる。
【００５０】
これらの処理は時点ｔ６で連写終了に対応する操作入力信号が入力されるまで継続される。
【００５１】
動き量検出部１２は動画像の符号化と並行して動き量を検出するため、連写画像取得部１１は時点ｔ５から時点ｔ６の間で動き量の変化に対応した連写速度で連写画像を取得する。
【００５２】
本実施形態における連写のタイミングについて、図４を参照して詳細に説明する。
【００５３】
動画像符号化部９によって符号化された動画像は、動画像中のフレームに対応するＩピクチャ、Ｐピクチャ、及びＢピクチャから構成される。
【００５４】
Ｐピクチャは時間的に前のフレームから変化した差分のみを符号化する順方向予測符号化データである。Ｂピクチャは時間的に前後のフレームから変化した差分のみを符号化する双方向予測符号化データである。ＰピクチャとＢピクチャは動き量を用いて符号化される。なお、Ｉピクチャは予測を用いずに符号化されるフレーム内符号化データである。
【００５５】
算出部１０は、所定の時間間隔で得られた動き量に基づいて、静止画像の連写速度を算出する。例えば、算出部１０は符号化データＡ１から符号化データＡ２までの画像各々の符号化で得られた動き量の平均値、符号化データＡ３から符号化データＡ４までの画像各々の符号化で得られた動き量の平均値、符号化データＡ５から符号化データＡ６までの画像各々の符号化で得られた動き量の平均値、符号化データＡ７から符号化データＡ８までの画像各々の符号化で得られた動き量の平均値をそれぞれ取得する。そして、算出部１０は、取得された動き量の平均値各々に基づいて、期間Ｐ１、Ｐ２、Ｐ３、及びＰ４各々における連写速度を算出する。連写画像取得部１１は連写速度を、算出部１０によって算出された連写速度に変更する。
【００５６】
このように、静止画像の連写速度は、並行して行われる動画像の符号化の際に得られる被写体像の動きに関する情報に基づいて算出される。このため、被写体像の動きを検出する時間と連写を行う時間との間に生じるタイムラグを極力短くすることができる。また、連写画像を得るために動画像を一時的に記憶するバッファと動画像の録画後に連写画像を選択する処理が不要となる。この結果、被写体像の動きにより適した連写速度で、より効率的に連写画像を取得できる。
【００５７】
また、本実施形態によれば、動画像の符号化においてフレーム間予測を行っている場合には、そのフレーム間予測において算出される動き量が連写速度の算出に用いられる。このようにすれば、最も効率的に連写速度を算出できる。
【００５８】
また、本実施形態によれば、動き量に基づいて連写速度を一定間隔で更新するので、被写体像の動きに迅速に対応できる。
【００５９】
また、本実施形態によれば、算出部１０は被写体像の動き量の平均値に基づいて、連写速度を算出するため、被写体像の動きの瞬間的な変動に左右されずに連写速度を算出することができる。
【００６０】
また、本実施形態によれば、ＭＰＥＧ形式による動画像の圧縮と並行して、連写画像を効率的に取得できる。
【００６１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００６２】
本実施形態に係る撮像装置１の構成は、上記実施形態１に係る撮像装置１の構成と同じである。
【００６３】
連写画像取得部１１は、図５に示すように、最高の連写速度で静止画像を連写し、連写画像を一時的に記憶する。
【００６４】
これと並行して、例えば、算出部１０は、符号化データＢ１から符号化データＢ２までの画像各々の符号化で得られた動き量の平均値を取得する。そして、算出部１０は、取得された動き量の平均値に基づいて、動き量が得られた時とほぼ同時の期間Ｐ５における連写速度を算出する。連写画像取得部１１は一時的に記憶された連写画像の中から、算出部１０によって算出された連写速度に応じて静止画像を選択することによって、その連写速度での連写画像を取得する。
【００６５】
連写画像取得部１１は、このようにして、符号化データＢ３から符号化データＢ４までに得られる動き量の平均値、符号化データＢ５から符号化データＢ６までに得られる動き量の平均値、符号化データＢ７から符号化データＢ８までに得られる動き量の平均値それぞれに基づいて算出された動き量に基づいて期間Ｐ６、Ｐ７、Ｐ８各々における連写速度を算出する。連写画像取得部１１は算出された連写速度に応じて静止画像を選択することによって、その連写速度での連写画像を取得する。
【００６６】
このようにすれば、被写体像の動きを検出する時間と連写を行う時間との間に生じるタイムラグをさらに短くすることができる。
【００６７】
なお、動画像の符号化で得られた動き量の平均値に限られず、算出部１０は、中間値、最頻値等の代表値に基づいて、連写速度を算出するようにしてもよい。
【００６８】
なお、上記実施形態では、動画像の符号化形式がＭＰＥＧ−４の場合を説明したが、例えば、動画像の符号化形式はＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４等でもよい。
【００６９】
また、制御部７はＣＰＵを２個以上備え、動画像の録画と静止画像の連写を別々のＣＰＵが実行するようにしてもよい。このようにすると、ＣＰＵが動画像の録画用のＣＰＵと静止画像の連写用のＣＰＵとに分かれているので、動画像の録画と静止画像の連写を並行に実行しやすい。
【００７０】
なお、上記実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical Disk）等のコンピュータ読み取り可能な記録媒体に記録して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
【００７１】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に記録しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
【００７２】
また、ＯＳ（Operating System）が分担して上述の機能を実現する場合又はＯＳとアプリケーションとの協働により上述の機能を実現する場合等には、ＯＳ以外の部分のみを媒体に記録して配布してもよく、また、ダウンロード等してもよい。
【符号の説明】
【００７３】
１…撮像装置、２…操作部、３…表示部、４…撮像部、５…Ａ／Ｄ変換部、６…信号処理部、７…制御部、８…記録部、９…動画像符号化部、１０…算出部、１１…連写画像取得部、１２…動き量検出部、２１…被写体像
【図１】
0005671900.tif 000002
【図２】
0005671900.tif 000003
【図３】
0005671900.tif 000004
【図４】
0005671900.tif 000005
【図５】
0005671900.tif 000006