(57)【要約】【課題】動画撮影のフレームレートに左右されること無く、自然な動画を生成することができる撮像装置を提供する。【解決手段】ＣＰＵ１３は、動画記録中にユーザにより静止画記録指示が操作されたことが検出されると、動作記録時のフレームレートと動画記録の停止期間に静止画を撮影する際のシャッタスピードとから、停止期間を埋めるのに必要とされるフレーム数を算出する。画像処理部８は、停止期間の前後に撮像された動画のフレーム画像と、中間フレームとして静止画から生成した縮小静止画とを、所定の比率で合成することにより、合成フレームを生成し、生成した中間フレーム、合成フレームを停止期間に収容した、撮影したフレーム画像をＭＰＥＧにエンコーディングし、フラッシュメモリ１６や、メモリ・カード２０などの記録媒体に記録する。【選択図】図１
2012222485.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段を駆動させ、所定のフレームレートで順次撮像される画像を出力させる第１の出力手段と、
前記所定のフレームレートで順次撮像されている時に、前記所定のフレームレートでの撮像動作を一時停止させ、この停止期間に、前記撮像手段を駆動させ、所定のシャッタスピードで露光させて撮像される画像を静止画データとして出力させる第２の出力手段と、
前記所定のフレームレートと前記所定のシャッタスピードとに基づいて、前記停止期間に相当するフレーム数を算出する算出手段と、
この算出手段によって算出されたフレーム数の画像を、前記停止期間の前後に撮像された画像と前記静止画データとを合成することにより生成する生成手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記生成手段は、前記算出手段によって算出されたフレーム数と前記停止期間における補完位置とに応じた重み付けで、前記停止期間の前後に撮像された画像と前記静止画データとを合成することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記生成手段は、前記重み付けに応じた透過度を設定して画素毎にαブレンディングすることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記第１の出力手段によって出力される画像のサイズに合わせて前記静止画データをリサイズするリサイズ手段を更に備え、
前記生成手段は、更に、前記算出手段によって算出されたフレーム数の各フレームにおける中間フレームを、前記リサイズ手段によってリサイズされたフレームとすることを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記算出手段は、前記所定のフレームレートを前記シャッタスピードで除した値をフレーム数とすることを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
撮像部を備える撮像装置による撮像制御方法において、
前記撮像部を駆動させ、所定のフレームレートで順次撮像される画像を出力させる第１の出力ステップと、
前記所定のフレームレートで順次撮像されている時に、前記所定のフレームレートでの撮像動作を一時停止させ、この停止期間に、前記撮像部を駆動させ、所定のシャッタスピードで露光させて撮像される画像を静止画データとして出力させる第２の出力ステップと、
前記所定のフレームレートと前記所定のシャッタスピードとに基づいて、前記停止期間に相当するフレーム数を算出する算出ステップと、
前記停止期間の前後に撮像された画像と前記静止画データとを合成することにより、前記算出されたフレーム数の画像を生成する生成ステップと
を含むことを特徴とする撮像制御方法。
【請求項７】
撮像部を備える撮像装置のコンピュータに、
前記撮像部を駆動させ、所定のフレームレートで順次撮像される画像を出力させる第１の出力機能、
前記所定のフレームレートで順次撮像されている時に、前記所定のフレームレートでの撮像動作を一時停止させ、この停止期間に、前記撮像部を駆動させ、所定のシャッタスピードで露光させて撮像される画像を静止画データとして出力させる第２の出力機能、
前記所定のフレームレートと前記所定のシャッタスピードとに基づいて、前記停止期間に相当するフレーム数を算出する算出機能、
前記停止期間の前後に撮像された画像と前記静止画データとを合成することにより、前記算出されたフレーム数の画像を生成する生成機能
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像制御方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラや、撮像機能を備えた携帯電話などの撮像装置では、動画撮影中に静止画記録が指示されることにより、所望のタイミングで高精細な静止画データを記録する技術が存在する。
【０００３】
そして、このような技術において、静止画記録時の動画記録中断を動画再生時に目立たないようにするため、中断時におけるフレームを記録された静止画から補完生成する技術が存在する（例えば特許文献１参照）。
【０００４】
ところで、近年、画像処理や圧縮符号化処理処理の高速化に伴い、記録時におけるフレームレートを高くして動画記録する技術が登場しており、この場合において上記の技術を適用することが考案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１１１９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１記載の技術では、記録しされた静止画データを用いて補完フレームを生成しようとすると、フレームレートが高いために生成すべきフレーム数が不足し、連続性が保てない動画が生成されてしまう虞がある。
【０００７】
そこで本発明は、動画撮影途中で静止画撮影する技術において、動画撮影のフレームレートに左右されること無く、自然な動画を生成することができる撮像装置、撮像制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明は、撮像手段と、前記撮像手段を駆動させ、所定のフレームレートで順次撮像される画像を出力させる第１の出力手段と、前記所定のフレームレートで順次撮像されている時に、前記所定のフレームレートでの撮像動作を一時停止させ、この停止期間に、前記撮像手段を駆動させ、所定のシャッタスピードで露光させて撮像される画像を静止画データとして出力させる第２の出力手段と、前記所定のフレームレートと前記所定のシャッタスピードとに基づいて、前記停止期間に相当するフレーム数を算出する算出手段と、この算出手段によって算出されたフレーム数の画像を、前記停止期間の前後に撮像された画像と前記静止画データとを合成することにより生成する生成手段とを備えることを特徴とする撮像装置である。
【発明の効果】
【０００９】
この発明によれば、動画撮影途中で静止画撮影する技術において、動画撮影のフレームレートに左右されること無く、自然な動画を生成することができるという利点が得られる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態によるデジタルカメラを示すブロック図である。
【図２】本実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。
【図３】本実施形態のデジタルカメラによる補完処理を説明するための概念図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１２】
Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラを示すブロック図である。図において、デジタルカメラ１は、撮像レンズ２、レンズ駆動部３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（Timing
Generator）６、ユニット回路７、画像処理部８、スピーカ９、マイク１０、音声処理部１１、ＣＰＵ１３、ＤＲＡＭ１４、メモリ１５、フラッシュメモリ１６、表示部１７、キー入力部１８、カードＩ／Ｆ１９、及びメモリ・カード２０を備えている。
【００１３】
撮像レンズ２は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部３が接続されている。レンズ駆動部３は、撮像レンズ２を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ１３からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。
【００１４】
絞り兼用シャッタ４は、図示しない駆動回路を含み、駆動回路によってＣＰＵ１３から送られてくる制御信号に従って動作する。該絞り兼用シャッタ４は、撮像レンズ２から入ってくる光の量を制御する。ＣＣＤ（撮像素子）５は、撮像レンズ２、絞り兼用シャッタ４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。該ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。
【００１５】
ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated
Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic
Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。該ユニット回路７は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号として画像処理部８に送られる。
【００１６】
画像処理部８は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、静止画記録時の動画記録中断を動画再生時に目立たないようにするために中断時におけるフレームを記録された静止画から補完生成する補完処理などを行う。該画像処理部８は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。
【００１７】
音声処理部１１は、ＣＰＵ１３の制御に従って、音声データをＤ／Ａ変換してスピーカ９から出力するとともに、マイク１０からの音声入力をＡ／Ｄ変換して取り込むなどの制御を行う。スピーカ９は、録画した動画再生時の音声を出力する。マイク１０は、動画記録時の音声の集音を行う。ＣＰＵ１３は、デジタルカメラ１の各部を制御するワンチップマイコンである。特に、本実施形態では、ＣＰＵ１３は、動画撮影中に静止画を撮影した際、静止画撮影で生じた動画記録の停止期間を補完するためのフレーム（複数）を生成するために画像処理部８などの制御を行う。
【００１８】
ＤＲＡＭ１４は、ＣＣＤ５によって撮像された後、ＣＰＵ１３に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１３のワーキングメモリとして使用される。メモリ１５は、ＣＰＵ１３によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されている。ＣＰＵ１３は、このプログラムに従って処理を行う。フラッシュメモリ１６や、メモリ・カード２０は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。
【００１９】
表示部１７は、カラーＬＣＤとその駆動回路を含み、撮像待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１６や、メモリ・カード２０から読み出され、伸張された記録画像を表示する。キー入力部１８は、シャッタスイッチ、ズームスイッチ、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１３に出力する。カードＩ／Ｆ１９には、デジタルカメラ１本体の図示しないカードスロットを介してメモリ・カード２０が着脱自在に装着されている。
【００２０】
Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図２は、本実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。なお、図２に示すフローチャートは、動画記録中に実行されるものである。まず、ＣＰＵ１３は、動画記録中、ユーザによる静止画記録指示が検出されたか否かを判断する（ステップＳ１０）。ユーザは、動画記録中に静止画を記録する場合、例えば、静止画ボタンなどを押下する。
【００２１】
そして、ユーザにより静止画記録指示が操作されたことが検出されない場合には（ステップＳ１０のＮＯ）、撮影したフレーム画像をＭＰＥＧにエンコーディングし、フラッシュメモリ１６や、メモリ・カード２０などの記録媒体に記録し（ステップＳ２４）、図示しないメインルーチン（動画記録）に戻る。
【００２２】
一方、動画記録中にユーザにより静止画記録指示が操作されたことが検出された場合には（ステップＳ１０のＹＥＳ）、動作記録時のフレームレート（ＦＰＳ）と動画記録の停止期間において静止画を撮影する際のシャッタスピードとを取得し（ステップＳ１２）、該フレームレートをシャッタスピードで除算することで、停止期間を埋めるのに必要とされるフレーム数を算出する（ステップＳ１４）。
【００２３】
次に、算出したフレーム数が奇数であるか偶数であるかを判断する（ステップＳ１６）。そして、算出したフレーム数が１、３、５、…などの奇数である場合には（ステップＳ１６の奇数）、動画のフレーム画像の解像度に合うように、撮影した静止画を間引いて（縮小して）、中間フレームを生成する（ステップＳ１８）。なお、フレーム数が奇数であるので、中間に位置するフレームは１つである。
【００２４】
一方、算出したフレーム数が２、４、６、…などの偶数である場合には（ステップＳ１６の偶数）、動画のフレーム画像の解像度に合うように、撮影した静止画を間引いて、２つの中間フレームを生成する（ステップＳ２０）。なお、フレーム数が偶数であるので、中間に位置するフレームは２つである。
【００２５】
次に、いずれの場合も、停止期間の前後に撮像された動画のフレーム画像と、上記間引いた静止画（中間フレームとして生成した縮小静止画）とを、所定の比率で合成することにより、停止期間を埋めるのに必要とされる合成フレームを生成する（ステップＳ２２）。このとき、上記所定の比率は、フレーム数と停止期間における補完位置に応じて合成する画像毎に決定する。そして、生成した中間フレーム、合成フレームを停止期間に収容した、撮影したフレーム画像をＭＰＥＧにエンコーディングし、フラッシュメモリ１６や、メモリ・カード２０などの記録媒体に記録し（ステップＳ２４）、図示しないメインルーチン（動画記録）に戻る。
【００２６】
図３は、本実施形態のデジタルカメラによる補完処理を説明するための概念図である。なお、図示の例では、動画撮影の条件は、毎秒１００枚、すなわち１０ｍｓｅｃ／枚、４画素加算（横２、縦２）、３Ｍ画素であり、静止画撮影の条件は、５０ｍｓｅｃ／枚、全画素加算、１２Ｍ画素である。つまり、フレームレートは、１００ｆｐｓであり、シャッタスピードは、５／１００秒である。ゆえに、停止期間を埋めるのに必要とされるフレーム数は、１００／（５／１００）＝５フレームとなる。
【００２７】
静止画記録時にユーザにより静止画記録が指示されると、静止画記録中、動画記録が中断される。図示の例では、１０ｍｓｅｃの動画がＭ１、Ｍ２、…と撮影されている過程で、静止画記録が指示されると、動画Ｍ３（１０ｍｓｅｃ）の撮影後、静止画撮影に移行する。この場合、静止画Ｓ１の撮影に５０ｍｓｅｃ要したとすると、その間、動画記録が中断される。静止画Ｓ１の撮影後、再び、動画記録が開始し、１０ｍｓｅｃの動画がＭ４、Ｍ５、…と撮影される。
【００２８】
記録された動画では、静止画Ｓ１の撮影で、５０ｍｓｅｃの停止期間が生じる。このままにしておくと、動画再生時に該停止期間で動画が飛んでしまい、連続性が保てず不自然さが目立つことになる。そこで、本実施形態では、動作記録時のフレームレート「１００ｆｐｓ」と動画記録の停止期間において静止画を撮影する際のシャッタスピード「５／１００秒」とに基づいて、停止期間を埋めるのに必要とされるフレーム数「５」を算出する。
【００２９】
次に、停止期間の前後に撮像された動画のフレーム画像と停止期間中に撮影された静止画とを、所定の比率で合成することにより、停止期間を埋めるのに必要とされるフレーム数の画像を生成する。また、上記所定の比率は、フレーム数と停止期間における補完位置に応じて、合成する画像毎に決定する。
【００３０】
図示の例では、合成（画像）＃１は、フレーム画像Ｍ３と静止画Ｓ１の縮小画像とを、２：１の比率で合成する。合成（画像）＃２は、フレーム画像Ｍ３と静止画Ｓ１の縮小画像とを、１：２の比率で合成する。同様にして、合成（画像）＃３は、静止画Ｓ１の縮小画像とフレーム画像Ｍ４とを、２：１の比率で合成する。合成（画像）＃４は、静止画Ｓ１の縮小画像とフレーム画像Ｍ４とを、１：２の比率で合成する。その後、合成後の動画フレームを、ＭＰＥＧにエンコーディングし、フラッシュメモリ１６や、メモリ・カード２０などの記録媒体に記録する。
【００３１】
上述した実施形態によれば、停止期間の前後に撮像された動画のフレーム画像と停止期間中に撮影された静止画とを、所定の比率で合成することにより、停止期間を埋めるのに必要とされるフレーム数の画像を生成することで、動画撮影のフレームレートに左右されること無く、自然な動画を生成することができる。
【００３２】
なお、上述した実施形態においては、停止期間の前後に撮像された動画のフレーム画像と停止期間中に撮影された静止画とを、所定の比率で合成するようにしたが、これに限らず、重み付けに応じた透過度を設定して画素毎にαブレンディングするようにしてもよい。
【００３３】
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
【００３４】
（付記１）
付記１に記載の発明は、撮像手段と、前記撮像手段を駆動させ、所定のフレームレートで順次撮像される画像を出力させる第１の出力手段と、前記所定のフレームレートで順次撮像されている時に、前記所定のフレームレートでの撮像動作を一時停止させ、この停止期間に、前記撮像手段を駆動させ、所定のシャッタスピードで露光させて撮像される画像を静止画データとして出力させる第２の出力手段と、前記所定のフレームレートと前記所定のシャッタスピードとに基づいて、前記停止期間に相当するフレーム数を算出する算出手段と、この算出手段によって算出されたフレーム数の画像を、前記停止期間の前後に撮像された画像と前記静止画データとを合成することにより生成する生成手段とを備えることを特徴とする撮像装置である。
【００３５】
（付記２）
付記２に記載の発明は、前記生成手段は、前記算出手段によって算出されたフレーム数と前記停止期間における補完位置とに応じた重み付けで、前記停止期間の前後に撮像された画像と前記静止画データとを合成することを特徴とする付記１記載の撮像装置である。
【００３６】
（付記３）
付記３に記載の発明は、前記生成手段は、前記重み付けに応じた透過度を設定して画素毎にαブレンディングすることを特徴とする付記２記載の撮像装置である。
【００３７】
（付記４）
付記４に記載の発明は、前記第１の出力手段によって出力される画像のサイズに合わせて前記静止画データをリサイズするリサイズ手段を更に備え、前記生成手段は、更に、前記算出手段によって算出されたフレーム数の各フレームにおける中間フレームを、前記リサイズ手段によってリサイズされたフレームとすることを特徴とする付記１乃至３のいずれかに記載の撮像装置である。
【００３８】
（付記５）
付記５に記載の発明は、前記算出手段は、前記所定のフレームレートを前記シャッタスピードで除した値をフレーム数とすることを特徴とする付記項１乃至４のいずれかに記載の撮像装置である。
【００３９】
（付記６）
付記６に記載の発明は、撮像部を備える撮像装置による撮像制御方法において、前記撮像部を駆動させ、所定のフレームレートで順次撮像される画像を出力させる第１の出力ステップと、前記所定のフレームレートで順次撮像されている時に、前記所定のフレームレートでの撮像動作を一時停止させ、この停止期間に、前記撮像部を駆動させ、所定のシャッタスピードで露光させて撮像される画像を静止画データとして出力させる第２の出力ステップと、前記所定のフレームレートと前記所定のシャッタスピードとに基づいて、前記停止期間に相当するフレーム数を算出する算出ステップと、前記停止期間の前後に撮像された画像と前記静止画データとを合成することにより、前記算出されたフレーム数の画像を生成する生成ステップとを含むことを特徴とする撮像制御方法である。
【００４０】
（付記７）
付記７に記載の発明は、撮像部を備える撮像装置のコンピュータに、前記撮像部を駆動させ、所定のフレームレートで順次撮像される画像を出力させる第１の出力機能、前記所定のフレームレートで順次撮像されている時に、前記所定のフレームレートでの撮像動作を一時停止させ、この停止期間に、前記撮像部を駆動させ、所定のシャッタスピードで露光させて撮像される画像を静止画データとして出力させる第２の出力機能、前記所定のフレームレートと前記所定のシャッタスピードとに基づいて、前記停止期間に相当するフレーム数を算出する算出機能、前記停止期間の前後に撮像された画像と前記静止画データとを合成することにより、前記算出されたフレーム数の画像を生成する生成機能を実行させることを特徴とするプログラムである。
【符号の説明】
【００４１】
１  デジタルカメラ
２  撮像レンズ
３  レンズ駆動部
４  絞り兼用シャッタ
５  ＣＣＤ
６  ＴＧ
７  ユニット回路
８  画像処理部
９  スピーカ
１０  マイク
１１  音声処理部
１３  ＣＰＵ
１４  ＤＲＡＭ
１５  メモリ
１６  フラッシュメモリ
１７  表示部
１８  キー入力部
１９  カードＩ／Ｆ
２０  メモリ・カード
【図１】
2012222485.tif 000003
【図２】
2012222485.tif 000004
【図３】
2012222485.tif 000005