(57)【要約】【課題】短時間の撮影でも、適切に音声を記録すること。【解決手段】デジタルカメラは、被写体像を撮像する撮像部１２と、集音する集音部１５と、撮像部１２により撮像された画像とともに、集音部１５で集音された音声を記録部２０に記録する記録制御部１４と、集音部１５で集音された音声が所定条件を満たすか否かを検出する検出部１４ｅと、撮影指示前から集音部１５により集音された音声を蓄積する音声蓄積部１４ｄと、を備え、記録制御部１４は、検出部１４ｅで所定条件を満たす音声が連続して検出された時間を含む音声を音声蓄積部１４ｄから読み出して記録部２０に記録する。【選択図】図１
2013207352.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像部と、
集音する集音部と、
前記撮像部により撮像された画像とともに、前記集音部で集音された音声を記録部に記録する記録制御部と、
前記集音部で集音された音声が所定条件を満たすか否かを検出する検出部と、
撮影指示前から前記集音部により集音された音声を蓄積する音声蓄積部と、
を備え、
前記記録制御部は、前記検出部で前記所定条件を満たす音声が連続して検出された時間を含む音声を前記音声蓄積部から読み出して前記記録部に記録することを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
前記音声蓄積部は、撮影準備が指示されると、前記音声の蓄積を開始することを特徴とするデジタルカメラ。
【請求項３】
請求項１または２に記載のデジタルカメラにおいて、
前記撮像部は、再生時よりも高速のフレームレートで被写体像を撮像し、
前記記録制御部は、前記撮像部により撮像された動画を前記記録部に記録することを特徴とするデジタルカメラ。
【請求項４】
請求項３に記載のデジタルカメラにおいて、
前記撮影指示前から前記撮像部により撮像された動画を蓄積する動画蓄積部をさらに備え、
前記記録制御部は、前記撮影指示の時点を含む前記動画を前記動画蓄積部から読み出して前記記録部に記録することを特徴とするデジタルカメラ。
【請求項５】
請求項４に記載のデジタルカメラにおいて、
前記記録制御部により記録される前記音声は、前記動画と前記動画の再生後に連続して再生される静止画との画像再生に合わせて、再生されることを特徴とするデジタルカメラ。
【請求項６】
請求項５に記載のデジタルカメラにおいて、
前記静止画は、前記撮影指示直後に前記撮像部が撮像した画像であることを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに関する。
【背景技術】
【０００２】
再生時のフレームレートよりも高いフレームレートで動画を撮影する高速撮影機能を有するデジタルカメラが知られている（特許文献１参照）。この機能では、たとえば６０ｆｐｓのフレームレートで撮影した動画を３０ｆｐｓのフレームレートで再生することにより、動く被写体をゆっくりした動きで視認できるスローモーション動画（スロー動画）を得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１５３７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体の一瞬の動きをとらえた動画を撮影するために、１回の操作（たとえばシャッターボタンの全押し操作）に応じて短時間の高速撮影を行いたい場合がある。しかしながら、撮影時間が非常に短くなると、動画に合わせた適切な音声記録が困難になるという問題があった。
【課題を解決するための手段】
【０００５】
本発明によるデジタルカメラは、被写体像を撮像する撮像部と、集音する集音部と、撮像部により撮像された画像とともに、集音部で集音された音声を記録部に記録する記録制御部と、集音部で集音された音声が所定条件を満たすか否かを検出する検出部と、撮影指示前から集音部により集音された音声を蓄積する音声蓄積部と、を備え、記録制御部は、検出部で所定条件を満たす音声が連続して検出された時間を含む音声を音声蓄積部から読み出して記録部に記録することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、短時間の撮影でも、適切に音声を記録できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態によるデジタルカメラの構成を例示する図である。
【図２】１ショット動画データの構成を説明する図である。
【図３】１ショット動画撮影における画像および音声の取得タイミングを説明する図である。
【図４】１ショット動画撮影処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラの構成例を説明するブロック図である。図１において、デジタルカメラは、撮像光学系１１と、撮像素子１２と、フレームバッファメモリ１３と、ＣＰＵ１４と、マイク１５と、操作部材１６とを備える。デジタルカメラには、外部メモリ２０（たとえばメモリカード）が着脱可能である。
【０００９】
ＣＰＵ１４は、画像処理部１４ａと、記録時間制御部１４ｂと、マイクアンプ１４ｃと、音声バッファメモリ１４ｄと、音圧検出部１４ｅと、ビデオ／オーディオエンコード部１４ｆとを含む。
【００１０】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮像光学系１１を単レンズとして図示している。
【００１１】
撮像素子１２は、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、被写体像を光電変換して画像信号を生成する。画像信号は、不図示のＡ／Ｄ変換部でデジタル信号に変換され、フレームバッファメモリ１３に一時記憶される。フレームバッファメモリ１３は、撮像された画像信号を蓄積する。
【００１２】
ＣＰＵ１４は、不図示のフラッシュメモリが記憶するプログラムを実行することにより、デジタルカメラの動作を制御する。画像処理部１４ａは、フレームバッファメモリ１３から読み出した画像信号に対して各種の画像処理（画素補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施し、ビデオ／オーディオエンコード部１４ｆに出力する。
【００１３】
マイクアンプ１４ｃは、マイク１５で集音した音響信号（音声信号）を増幅して音声バッファメモリ１４ｄに出力する。音声バッファメモリ１４ｄは、集音された音声信号を蓄積する。音声バッファメモリ１４ｄに蓄積された音声信号は、音圧検出部１４ｅを介してビデオ／オーディオエンコード部１４ｆに出力される。
【００１４】
ビデオ／オーディオエンコード部１４ｆは、画像処理部１４ａから出力された画像処理後の画像データおよび音圧検出部１４ｅから出力された音声データに対してデータエンコード処理を行い、得られたデータを外部メモリ２０に記録する。なお、記録時間制御部１４ｂおよび音圧検出部１４ｅについては、後述する。
【００１５】
操作部材１６は、不図示のシャッターボタン、録画ボタンなどを含む。操作部材１６は、各ボタンが押下操作されると、各操作に応じた操作信号をＣＰＵ１４へ送出する。
【００１６】
本実施形態のデジタルカメラは、シャッターボタンの全押し操作に応じて１コマの静止画を取得して外部メモリ２０へ記録する通常の静止画撮影モード、および録画ボタンの押下操作に応じて所定のフレームレート（たとえば３０ｆｐｓ）で動画を取得して外部メモリ２０へ記録する動画撮影モードに加え、１ショット動画撮影モードを有する。
【００１７】
１ショット動画撮影モードは、被写体の一瞬の動きをとらえた動画を撮影するためのモードである。録画開始時と終了時にそれぞれ録画ボタンが操作される通常の動画撮影モードと異なり、１回の操作（シャッターボタンの全押し操作）に応じて１ショット動画を記録する。
【００１８】
図２は、１ショット動画の構成を説明する図である。１ショット動画撮影モードでは、シャッターボタンの全押し操作に応じて高速撮影を行う。１ショット動画は、高速撮影により取得したスロー動画を再生した後、シャッターボタンの全押し操作時のフレーム画像（静止画）を継続して再生するように構成される。上記スロー動画の再生時間は所定の時間であり、例えば２秒とする。上記静止画の再生時間は所定の時間であり、例えば８秒とする。この場合、１ショット動画全体の再生時間は、１０秒（＝２秒＋８秒）となる。また例えば、スロー再生時のフレームレートを３０ｆｐｓとし、高速撮影時のフレームレートを６０ｆｐｓとすると、上記スロー動画の録画時間（撮影時間）は１秒となる。１ショット動画の音声データの再生時間は、１ショット動画全体の再生時間（１０秒）とする。
【００１９】
なお、デジタルカメラは、操作部材１６のモード切替スイッチの操作に応じて、上記撮影モードを切り替える。
【００２０】
＜１ショット動画撮影＞
本実施形態は、１ショット動画撮影モードにおける動作に特徴を有するので、以下の説明は１ショット動画撮影モードを中心に行う。図３は、１ショット動画撮影における画像および音声の取得タイミングを説明する図である。図３における白い帯は、取得データが外部メモリ２０へ記録される区間を表す。斜線の帯は、取得データがいったんフレームバッファメモリ１３または音声バッファメモリ１４ｄに記憶されたものの外部メモリ２０へ記録されない区間を表す。
【００２１】
ＣＰＵ１４は、時刻ｔ０にシャッターボタンが半押し操作されると、プリキャプチャー処理を開始させる。プリキャプチャー処理では、撮影指示前（シャッターボタンの全押し操作前）に撮像素子１２により撮像される画像データおよびマイク１５により集音される音声データを一時記憶する。具体的には、撮像素子１２に高速撮影時のフレームレート（６０ｆｐｓ）で被写体像を撮像させ、取得した画像データを逐次フレームバッファメモリ１３へ一時記憶する。また、マイク１５により集音された音声データを逐次ＣＰＵ１４内の音声バッファメモリ１４ｄへ一時記憶する。音声は等倍録音とする。取得した画像データについては所定時間分（たとえば直近１秒分）を一時記憶し、古い画像データから順に上書き消去する。一方、音声データについては上書き消去せず、時刻ｔ０からの音声データを音声バッファメモリ１４ｄに残しておく。
【００２２】
ＣＰＵ１４は、時刻ｔ１にシャッターボタンが全押し操作されると、１ショット動画の記録が指示されたことを認識して、１ショット動画の記録処理を行う。記録処理では、シャッターボタンが全押し操作された時刻ｔ１を含む所定の録画時間（本実施形態では１秒間）の動画データを記録する。具体的には、記録時間制御部１４ｂが、画像処理部１４ａを制御して、時刻ｔ２（時刻ｔ１の０．５秒前）〜時刻ｔ３（時刻ｔ１の０．５秒後）間の動画データをフレームバッファメモリ１３から読み出させる。画像処理部１４ａは、読み出した動画データに対して画像処理を行い、画像処理後の動画データをビデオ／オーディオエンコード部１４ｆへ出力する。
【００２３】
また、記録時間制御部１４ｂは画像処理部１４ａを制御して、シャッターボタンが全押し操作された時刻ｔ１の直後に取得されたフレーム画像を上記静止画データとしてフレームバッファメモリ１３から読み出させる。画像処理部１４ａは、読み出した上記静止画データに対して画像処理を行い、画像処理後の上記静止画データをビデオ／オーディオエンコード部１４ｆへ出力する。
【００２４】
ビデオ／オーディオエンコード部１４ｆは、画像処理部１４ａから入力された１秒分の動画データのフレームレートを６０ｆｐｓから３０ｆｐｓに変換して２秒分のスロー動画データを生成する。またビデオ／オーディオエンコード部１４ｆは、画像処理部１４ａから入力された上記静止画データを８秒間継続して再生する静止画再生用動画データを生成する。ビデオ／オーディオエンコード部１４ｆは、スロー動画データの後に静止画再生用動画データをつなぎあわせることにより、上記スロー動画の後に上記静止画を継続して再生する１ショット動画データを生成する。ビデオ／オーディオエンコード部１４ｆは、生成した１ショット動画データに対してデータエンコード処理を行う。
【００２５】
またＣＰＵ１４は、半押し操作された時刻ｔ０から、マイク１５により集音された音声データの音声バッファメモリ１４ｄへの蓄積を継続し、時刻ｔ０から所定時間後（たとえば３０秒）の時刻ｔ４において蓄積を終了する。なお、時刻ｔ４までの間にシャッターボタンが全押し操作されない場合には、ＣＰＵ１４は、時刻ｔ４において蓄積を終了させず、音声バッファメモリ１４ｄに上記所定時間分の音声データが蓄積されるようにしながら、古い音声データから順に上書き消去する。
【００２６】
音圧検出部１４ｅは、音声バッファメモリ１４ｄに一時記憶された音声データを読み出し、所定の周波数帯域（たとえば人物の声に対応する周波数帯域）の音圧が連続して所定の判定閾値ΔＶ以上である区間を検出する。図３は、時刻ｔ０（半押し操作時刻）から時刻ｔ１（全押し操作時刻）までの間である、時刻ｔ５〜ｔ６間でΔＶ以上の上記音圧が連続して検出された例を示している。なお、ΔＶは、人物の声を検出しうるよう予め定められている。
【００２７】
記録時間制御部１４ｂは、音圧検出部１４ｅを制御して、時刻ｔ７（時刻ｔ５よりも所定時間（ｒ秒）前の時刻）から時刻ｔ８（時刻ｔ６よりも所定時間（ｒ秒）後の時刻）までの間の音声データを、ビデオ／オーディオエンコード部１４ｆへ出力させる。すなわち、ΔＶ以上の上記音圧が連続した時間およびその前後ｒ秒の時間の音声データを、ビデオ／オーディオエンコード部１４ｆへ出力させる。
【００２８】
なお、本実施形態では、録音時間の上限を１ショット動画全体の再生時間（１０秒）とする。録音時間（時刻ｔ７〜ｔ８間）が１０秒に満たない場合には、不足部分の音声を無音とする。また、録音時間（時刻ｔ７〜ｔ８間）が、１ショット動画全体の再生時間（１０秒）よりも長い場合には、時刻ｔ７から当該再生時間分の音声データを、ビデオ／オーディオエンコード部１４ｆへ出力させる。また、音圧検出部１４ｅがΔＶ以上の上記音圧が連続した区間を複数検出した場合には、シャッターボタンが全押し操作された時刻ｔ１に最も近い区間およびその前後ｒ秒の音声データを、ビデオ／オーディオエンコード部１４ｆへ出力させる。
【００２９】
ビデオ／オーディオエンコード部１４ｆは、入力された音声データに対してデータエンコード処理を行い、１ショット動画の音声データとして外部メモリ２０へ記録する。この結果、ΔＶ以上の上記音圧が連続した時間およびその前後ｒ秒の時間の音声が録音される。これにより、人物が発した言葉（たとえば、「おかあさん」、「おいしい」、「楽しい」などの１フレーズ）を途切れることなく録音することができる。なお、ΔＶ以上の上記音圧が連続した時間の前後ｒ秒の時間も録音時間に含める理由は、再生開始時点で突然人物の声が再生されて違和感を与えることを防ぐためである。
【００３０】
ビデオ／オーディオエンコード部１４ｆは、上記データエンコード処理後の１ショット動画データと上記１ショット動画の音声データを含む１ショット動画ファイルを生成して外部メモリ２０へ記録する。
【００３１】
この結果、外部メモリ２０へ記録された１ショット動画ファイルを再生すると、上記スロー動画が２秒再生された後に上記静止画が８秒再生されるとともに、上記スロー動画の再生開始から上記静止画の再生終了までの間、記録された音声が合わせて再生される。すなわち、人物の言葉が途切れることなく録音された音声とともに、動画（上記スロー動画＋上記静止画）が再生される。
【００３２】
図４は、ＣＰＵ１４が実行する１ショット動画撮影処理の流れを説明するフローチャートである。ＣＰＵ１４は、１ショット動画撮影モードに設定されると、図４に例示する処理を起動する。
【００３３】
ステップＳ１において、ＣＰＵ１４は、操作部材１６のシャッターボタンが半押し操作されたか否かを判定する。ＣＰＵ１４は、シャッターボタンから半押し操作信号が入力されない場合にはステップＳ１を否定判定し、当該判定処理を繰り返してシャッターボタンの半押し操作を待つ。ＣＰＵ１４は、シャッターボタンから半押し操作信号が入力された場合にステップＳ１を肯定判定してステップＳ２へ進む。
【００３４】
ステップＳ２において、ＣＰＵ１４は、上述したように、プリキャプチャー処理（撮像素子１２により撮像される画像データのフレームバッファメモリ１３への蓄積処理、およびマイク１５により集音される音声データの音声バッファメモリ１４ｄへの蓄積処理）を開始してステップＳ３へ進む。
【００３５】
ステップＳ３において、ＣＰＵ１４は、操作部材１６のシャッターボタンが全押し操作されたか否かを判定する。ＣＰＵ１４は、シャッターボタンから全押し操作信号が入力されない場合には、ステップＳ３を否定判定してステップＳ４へ進む。一方、ＣＰＵ１４は、シャッターボタンから全押し操作信号が入力された場合には、ステップＳ３を肯定判定してステップＳ５へ進む。
【００３６】
ステップＳ４において、ＣＰＵ１４は、タイムアウトか否かを判定する。ＣＰＵ１４は、所定時間（たとえば６０秒）を計時した場合にステップＳ４を肯定判定して、プリキャプチャー処理を終了し、図４による処理を終了する。ＣＰＵ１４は、計時時間が所定時間に満たない場合には、ステップＳ４を否定判定してステップＳ３へ戻る。
【００３７】
ステップＳ５において、ＣＰＵ１４は、上述したように、フレームバッファメモリ１３から、シャッターボタンの全押し操作時を含む所定時間分（１秒）の動画データを読み出し、上記スロー動画データに変換する。またＣＰＵ１４は、フレームバッファメモリ１３からシャッターボタンの全押し操作時に取得されたフレーム画像を上記静止画データとして読み出す。ＣＰＵ１４は、上記スロー動画の後に上記静止画を継続して再生する１ショット動画データを生成し、ステップＳ６へ進む。
【００３８】
ステップＳ６において、ＣＰＵ１４は、上述したように、音声バッファメモリ１４ｄから、所定の周波数帯域における所定の判定閾値（ΔＶ）以上の音圧が連続した時間およびその前後所定時間（ｒ秒）の音声データを、１ショット動画の音声データとして読み出して、ステップＳ７へ進む。
【００３９】
ステップＳ７において、ＣＰＵ１４は、上記１ショット動画データおよび上記音声データを含む１ショット動画ファイルを生成して外部メモリ２０へ記録し、図４による処理を終了する。
【００４０】
以上説明した実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラは、被写体像を撮像する撮像素子１２と、集音するマイク１５と、撮像素子１２により撮像された画像とともに、マイク１５で集音された音声を外部メモリ２０に記録するＣＰＵ１４と、マイク１５で集音された音声が所定条件（所定の周波数帯域の音圧が連続して所定の判定閾値ΔＶ以上であること）を満たすか否かを検出する音圧検出部１４ｅと、撮影指示前からマイク１５により集音された音声を蓄積する音声バッファメモリ１４ｄと、を備え、ＣＰＵ１４は、音圧検出部１４ｅで所定条件を満たす音声が連続して検出された時間を含む音声を音声バッファメモリ１４ｄから読み出して外部メモリ２０に記録するので、撮影指示前から所定条件を満たす音声（例えば人物の声）を記録でき、短時間の撮影であっても適切に音声を記録できる。例えば、録画時間には人物の声がない場合や、人物の声が録画時間よりも長い場合であっても、人物の声が途切れることなく音声を記録できるため、ユーザが記録したい音声を動画と共に記録できる。
【００４１】
（２）上記（１）のデジタルカメラにおいて、音声バッファメモリ１４ｄは、撮影準備が指示されると、音声の蓄積を開始するように構成したので、撮影準備指示（シャッターボタンの半押し操作）後から適切に音声を記録できる。
【００４２】
（３）上記（１）または（２）のデジタルカメラにおいて、撮像素子１２は、再生時よりも高速のフレームレートで被写体像を撮像し、ＣＰＵ１４は、撮像素子１２により撮像された動画を外部メモリ２０に記録するように構成したので、スロー動画に合わせて適切に音声を記録できる。
【００４３】
（４）上記（３）のデジタルカメラにおいて、撮影指示前から撮像素子１２により撮像された動画を蓄積するフレームバッファメモリ１３をさらに備え、ＣＰＵ１４は、撮影指示の時点を含む動画をフレームバッファメモリ１３から読み出して外部メモリ２０に記録するように構成したので、シャッターボタンの全押し操作を挟む前後の動画をスロー動画として記録することができる。
【００４４】
（５）上記（４）のデジタルカメラにおいて、ＣＰＵ１４により記録される音声は、動画（スロー動画）と動画の再生後に連続して再生される静止画との画像再生に合わせて、再生されるように構成したので、上記スロー動画と上記静止画とを連続して再生する１ショット動画に合わせて、適切に音声を記録できる。
【００４５】
（６）上記（５）のデジタルカメラにおいて、静止画は、撮影指示直後に撮像素子１２が撮像した画像であるように構成したので、１ショット動画の再生時に、スロー動画に加え、シャッターボタンの全押し操作時に撮像されたフレーム画像もユーザに確認させることができる。
【００４６】
（変形例１）
上述した実施の形態では、シャッターボタンの半押し操作時刻から所定時間、音声データを蓄積するようにした。この代わりに、シャッターボタンの全押し操作前後における所定時間分の音声データ（例えばシャッターボタンの全押し操作前後１５秒ずつ）を蓄積するようにしてもよいし、シャッターボタンの全押し操作前のみ、所定時間分の音声データを蓄積するようにしてもよい。
【００４７】
（変形例２）
上述した実施の形態では、１ショット動画全体の再生時間の中で記録音声が不足する部分については無音とするようにしたが、この代わりに、ＢＧＭや効果音を挿入してもよい。また、１ショット動画全体の再生時間と同じ長さのＢＧＭと録音した音声とを合成して１ショット動画の音声データを生成するようにしてもよい。
【００４８】
（変形例３）
上述した実施の形態では、１ショット動画全体の再生時間の中で記録音声が不足する部分については無音とするようにしたが、この代わりに、録音時間を上記再生時間に合わせるようにしてもよい。この場合、ＣＰＵ１４は、ΔＶ以上の上記音圧が連続した時間を含む上記再生時間分の音声データを録音する。
【００４９】
（変形例４）
上述した実施の形態では、マイク１５が集音する音声データにおいて、所定周波数帯域の音圧が所定の判定閾値以上であるかを検出する場合について述べた。周波数帯域については、たとえば、公知のシーン判定処理によって撮影シーンを判定し、判定結果に応じてどの周波数帯域の音圧を検出するかを切り替えるようにしてもよい。この場合、撮影シーンを「ポートレート」と判定した場合は、人物全般の声に対応する周波数帯域の音圧を検出し、撮影シーンを「子供」と判定した場合は、子供の声に対応する周波数帯域の音圧を検出する。
【００５０】
（変形例５）
上述した実施の形態では、マイク１５が集音する音声データにおいて、所定周波数帯域の音圧が所定の判定閾値以上であるかを検出する場合について述べた。この代わりに、過去一定時間の平均音圧を算出し、現在の音声の音圧がこの平均音圧から所定の変化量増えたか否かを検出するようにしてもよい。
【００５１】
（変形例６）
上述した実施の形態では、上記スロー動画および上記静止画を再生する１ショット動画を記録する場合について述べたが、たとえば、スロー動画のみを記録する場合に本発明を適用するようにしてもよい。また、スロー動画ではなく、通常の動画（記録時と再生時のフレームレートが同一のもの）のみを記録する場合や、静止画のみを記録する場合に本発明を適用するようにしてもよい。これらの場合、録画時間よりも録音時間が長くなってもよい。
【００５２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
【符号の説明】
【００５３】
１１…撮像光学系
１２…撮像素子
１３…フレームバッファメモリ
１４…ＣＰＵ
１４ａ…画像処理部
１４ｂ…記録時間制御部
１４ｃ…マイクアンプ
１４ｄ…音声バッファメモリ
１４ｅ…音圧検出部
１４ｆ…ビデオ／オーディオエンコード部
１５…マイク
１６…操作部材
２０…外部メモリ
【図１】
2013207352.tif 000003
【図２】
2013207352.tif 000004
【図３】
2013207352.tif 000005
【図４】
2013207352.tif 000006