(57)【要約】【課題】既成音楽データのうち、適切な開始位置からミキシング処理を行う。【解決手段】撮像部１２２は、被写体を撮像して動画像データを生成する。収音部１２６は、音声を収音して収音音声データを生成する。音楽取得部１８０は、音楽データを取得する。合成部１３４は、収音音声データと、音楽データを合成して合成データを生成するミキシング処理を行う。バッファ１３２は、記録開始信号が入力されると動画像データ及び合成データの記録を開始し、記録終了信号が入力されるまで記録を行う。連続判定部１７８は、音楽データを前回のミキシング処理の終了位置から収音音声データと合成するミキシング処理である連続合成処理、又は音楽データをそのデータの始めから収音音声データと合成するミキシング処理である不連続合成処理のいずれの処理を、合成部に遂行させるかを操作指示に基づいて判断する。【選択図】図１
2014011691.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して動画像データを生成する撮像部と、
音声を収音して収音音声データを生成する収音部と、
音楽データを取得する音楽取得部と、
前記収音音声データと、前記音楽データを合成して合成データを生成するミキシング処理を行う合成部と、
記録開始信号が入力されると前記動画像データ及び前記合成データの記録を開始し、記録終了信号が入力されるまで記録を行う記録部と、
前記合成部によって、前記ミキシング処理が行われた後、再び、前記ミキシング処理が行われる場合、前記音楽データを前回の前記ミキシング処理の終了位置から前記収音音声データと合成する前記ミキシング処理である連続合成処理、又は前記音楽データをそのデータの始めの位置から前記収音音声データと合成する前記ミキシング処理である不連続合成処理のいずれの処理を前記合成部に遂行させるかを、操作指示に基づいて判断する連続判定部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記連続判定部は、前記撮像装置の起動中に、１回目の前記記録開始信号の入力がなされた場合は前記不連続合成処理を前記合成部に遂行させ、２回目以降の前記記録開始信号の入力がなされた場合は前記連続合成処理を前記合成部に遂行させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記連続判定部は、ｎ回目の記録終了信号の入力による記録終了時刻と、ｎ＋１回目の記録開始信号の入力による記録開始時刻との間の時間が、予め定められた設定時間以上である場合、前記不連続合成処理を前記合成部に遂行させ、前記設定時間未満である場合、前記連続合成処理を前記合成部に遂行させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記収音音声データに音楽が含まれるか否かを判定する音楽判定部と、
前記収音音声データが、前記音楽が含まれると判定すると、前記合成部を機能させない合成制限部と、
をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ミキシング処理を行う機能を備えた撮像装置に関する。
【背景技術】
【０００２】
撮像した映像の画像データと共に録音された収音音声データに、例えば、ＢＧＭ等の既成音楽データ等を合成する（ミキシングする）ミキシング装置が知られている。かかるミキシング装置の加工処理により、合成されたＢＧＭ等が重畳された映像を視聴することが可能となる。一方で従来のミキシング装置では、ユーザは画像データを再生して、その内容を視認しながらミキシングのタイミング等を判断しなければならず、作業負担が大きかった。
【０００３】
そこで、撮像時にミキシング処理を行うことで、ユーザの作業負担の軽減を図った撮像装置が提案されている（例えば、特許文献１）。かかる撮像装置は、撮像終了時、ミキシングされた既成音楽データの終了位置を記憶しておく終了位置記憶手段を備え、撮像再開時、既成音楽データの終了位置からミキシングする構成となっている。そのため、この撮像装置では、撮像が一時中断する度に曲の開始部分からミキシングされ、ＢＧＭが先頭から繰り返し再生されて耳障りとなってしまう事態を回避することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２６１９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の特許文献１に記載の撮像装置では、ミキシングを伴う撮像が停止された後、撮像が再開されると、既成音楽データについては、必ず前回のミキシングの終了位置からミキシングが再開される。そのため、例えば、前回撮像した風景と撮像対象や撮像時間にまったく関連性のない風景が今回撮像されたにもかかわらず、今回の映像について、前回の既成音楽データが途中から再生開始されてしまうといった問題が生じることが推察される。
【０００６】
そこで本発明は、このような課題に鑑み、適切な開始位置から既成音楽データのミキシング処理を行うことが可能な撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の撮像装置は、被写体を撮像して動画像データを生成する撮像部と、音声を収音して収音音声データを生成する収音部と、音楽データを取得する音楽取得部と、収音音声データと、音楽データを合成して合成データを生成するミキシング処理を行う合成部と、記録開始信号が入力されると動画像データ及び合成データの記録を開始し、記録終了信号が入力されるまで記録を行う記録部と、合成部によって、ミキシング処理が行われた後、再び、ミキシング処理が行われる場合、音楽データを前回のミキシング処理の終了位置から収音音声データと合成するミキシング処理である連続合成処理、又は音楽データをそのデータの始めの位置から収音音声データと合成するミキシング処理である不連続合成処理のいずれの処理を合成部に遂行させるかを、操作指示に基づいて判断する連続判定部と、を備えることを特徴とする。
連続判定部は、撮像装置の起動中に、１回目の記録開始信号の入力がなされた場合は不連続合成処理を合成部に遂行させ、２回目以降の記録開始信号の入力がなされた場合は連続合成処理を合成部に遂行させてもよい。
連続判定部は、ｎ回目の記録終了信号の入力による記録終了時刻と、ｎ＋１回目の記録開始信号の入力による記録開始時刻との間の時間が、予め定められた設定時間以上である場合、不連続合成処理を合成部に遂行させ、設定時間未満である場合、連続合成処理を合成部に遂行させてもよい。
収音音声データに音楽が含まれるか否かを判定する音楽判定部と、収音音声データが、音楽が含まれると判定すると、合成部を機能させない合成制限部と、をさらに備えてもよい。
【発明の効果】
【０００８】
本発明によれば、適切な開始位置から既成音楽データのミキシング処理を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態における撮像装置の概略を示した機能ブロック図である。
【図２】第１の実施形態におけるミキシング開始方法の全体的な流れを示したフローチャートである。
【図３】連続合成処理と不連続合成処理を説明するための説明図である。
【図４】ミキシング処理中のモニタの表示内容を簡略的に示す図である。
【図５】第２の実施形態における撮像装置の概略を示した機能ブロック図である。
【図６】第２の実施形態におけるミキシング開始方法の全体的な流れを示したフローチャートである。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１１】
（第１の実施形態：撮像装置１００）
図１は、第１の実施形態における撮像装置１００の概略を示した機能ブロック図である。図１に示すように、撮像装置１００は、操作部１２０と、撮像部１２２と、画像処理部１２４と、収音部１２６と、音声処理部１２８と、外部Ｉ／Ｆ部１３０と、バッファ１３２と、合成部１３４と、圧縮部１３６と、記憶部１３８と、出力部１４０と、モニタ１４２と、スピーカ１４４と、中央制御部１４６と、を含んで構成される。なお、操作部１２０、画像処理部１２４、収音部１２６、音声処理部１２８、外部Ｉ／Ｆ部１３０、バッファ１３２、合成部１３４、圧縮部１３６、記憶部１３８、出力部１４０、モニタ１４２、スピーカ１４４、中央制御部１４６は、システムバス１４８を介して接続されている。
【００１２】
操作部１２０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、後述するモニタ１４２の表示面に重畳されたタッチパネル等のスイッチから構成され、ユーザの操作入力を受け付ける。ユーザは操作部１２０を介して記録開始の指示や記録終了の指示を入力する。
【００１３】
撮像部１２２は、撮像レンズ１５０と、画角変更に用いられるズームレンズ１５２と、焦点調整に用いられるフォーカスレンズ１５４と、露光調整に用いられる絞り１５６と、撮像レンズ１５０を通じて入射した光束を画像データに光電変換する撮像素子１５８と、ズームレンズ１５２、フォーカスレンズ１５４、および、絞り１５６をそれぞれ駆動させる駆動部１６０とを含んで構成される。
【００１４】
そして撮像部１２２は、操作部１２０を通じたユーザの操作入力により、被写体を撮像して画像データ（動画像データ）を生成し、生成した画像データを画像処理部１２４に出力する。
【００１５】
画像処理部１２４は、バッファ１３２から出力された画像データに、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理等の画像処理を施す。
【００１６】
収音部１２６は、マイク等で構成され音声を収音して収音音声データを生成する。
【００１７】
音声処理部１２８は、アンプ、ＬＰＦ（Low Pass Filter）、および、Ａ／Ｄ変換回路で構成され、収音部１２６が生成した収音音声データに、音量増幅、雑音除去、および、デジタル変換処理を施す。
【００１８】
外部Ｉ／Ｆ部１３０は、例えば、ＳＤカード、ＵＳＢメモリ等の補助記憶媒体Ｍの入出力スロット（ポート）で構成され、補助記憶媒体Ｍとシステムバス１４８とのデータ転送を仲介する。本実施形態において、補助記憶媒体Ｍには、予め生成されたＢＧＭ等の音楽データである既成音楽データが記憶されている。
【００１９】
バッファ１３２（記録部）は、ＲＡＭ（Random Access Memory）等で構成され、画像処理部１２４から出力された画像データ、音声処理部１２８から出力された収音音声データ、および、外部Ｉ／Ｆ部１３０から出力された既成音楽データを一時的に保持する。バッファ１３２は、操作部１２０へのユーザの記録開始の指示に応じて生成される記録開始信号に基づいて画像データの保持（記録）を開始する。保持された画像データは圧縮部１３６等に出力される。そしてバッファ１３２は、操作部１２０へのユーザの記録終了の指示に応じて生成される記録終了信号に基づいて画像データの保持（記録）を終了する。
【００２０】
合成部１３４は、バッファ１３２に保持された、撮像した映像と共に収音された収音音声データと、ＢＧＭ等の既成音楽データとを合成して合成データを生成するミキシング処理を行い、生成した合成データをバッファ１３２に保持させる。
【００２１】
圧縮部１３６は、バッファ１３２に保持された画像データに、ＭＰＥＧ−２、ＭＰＥＧ−４、またはＭＰＥＧ−４／ＡＶＣ等の形式で符号化処理を施し、記憶部１３８に記憶させる。さらに、圧縮部１３６は、バッファ１３２に保持された収音音声データ、および、合成データに、ＭＰ３（MPeg audio layer 3）、ＡＡＣ（Advanced Audio Coding）、ＷＭＡ（Windows（登録商標） Media Audio）、ＡＴＲＡＣ（Adaptive TRansform Acoustic Coding）等の圧縮処理を施し、記憶部１３８に記憶（記録）させる。
【００２２】
画像データ、収音音声データ、および、合成データには、所定の時間間隔ごとに、撮像または収音した時刻を示すタイムスタンプ（時刻情報）が付されており、かかるタイムスタンプに基づき、画像データと収音音声データ、または、画像データと合成データを同期させて再生することができる。また後述する連続判定部１７８、このタイムスタンプに基づいて記録開始信号及び記録終了信号の入力に基づく時刻情報の判断を行う。
【００２３】
また、圧縮部１３６は、記憶部１３８に記憶された画像データ、収音音声データ、および合成データを再生する場合、それぞれのデータを復号する処理を実行する。
【００２４】
記憶部１３８は、ＨＤＤ、フラッシュメモリ、不揮発性ＲＡＭ等で構成された内蔵型の記憶媒体であって、圧縮部１３６で圧縮された画像データ、収音音声データ、および合成データを記憶（記録）する。
【００２５】
本実施形態では、上記のように、画像データや収音音声データを生成しつつ、画像データと、収音音声データまたは合成データを記憶部１３８に記憶（記録）する処理を録画処理と称する。
【００２６】
出力部１４０は、記憶部１３８に記憶された画像データをモニタ１４２に出力する。また出力部１４０は、記憶部１３８に記憶された収音音声データや合成データをスピーカ１４４に出力する。
【００２７】
また出力部１４０は、記憶部１３８に記憶された、画像データ、収音音声データ、および合成データを、例えば、液晶表示装置、プロジェクタ、又は外付スピーカ等の外部装置１６２に出力する。
【００２８】
モニタ１４２は、液晶ディスプレイや有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、出力部１４０が出力した画像データに基づく画像を表示する。スピーカ１４４は、出力部１４０が出力した収音音声データや合成データに基づく音波を発生させる。
【００２９】
中央制御部１４６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、撮像装置１００全体を管理および制御する。また、本実施形態において、中央制御部１４６は、音楽判定部１７０、合成制限部１７２、連続判定部１７８、音楽取得部１８０、報知部１８２、顔検出部１７４、顔認証部１７６としても機能する。
【００３０】
（ミキシング開始方法）
以下、中央制御部１４６の各機能部の処理について、フローチャートを参照しながら説明する。図２は、第１の実施形態におけるミキシング開始方法の全体的な流れを示すフローチャートである。図２では、録画処理の開始以降であり、ミキシング処理が行われていない状態を前提とし、図２に示すミキシング開始方法全体は、ミキシング処理が行われていない録画処理中、予め設定された周期で繰り返し実行される。
【００３１】
ただし、一旦、ミキシング処理が開始されると、次のミキシング処理が開始されるまで、図２に示すフローチャートの順の処理は行われない。また、ミキシング処理の停止時に行われる処理についてのフローチャートは省略する。
【００３２】
本実施形態の撮像装置１００は、記録開始信号の入力に基づく録画処理の開始と同時にミキシング処理を開始することができる。また、記録開始信号の入力に基づく録画処理の開始と異なるタイミングで、ミキシング処理を開始することも可能である。
【００３３】
図２に示すように、音楽判定部１７０は、音声処理部１２８から出力され、バッファ１３２に保持された収音音声データに音楽が含まれるか否かを判定する（Ｓ２００）。
【００３４】
音楽判定部１７０は、例えば、特開平７−１３５８６号公報に記載のように、収音音声データを予め設定されたフレーム長さに区切り、その子音や無音の存在比率やフレームごとのパワーが閾値未満であって非音声と判定されるときに、パワー変動が低く連続性の高い場合に音楽が含まれると判定する。
【００３５】
かかる判定処理は一例にすぎず、音楽判定部１７０は、収音音声データに音楽が含まれるか否かを判定できれば他の技術を用いてもよい。
【００３６】
収音音声データに音楽が含まれる場合（Ｓ２００におけるＹＥＳ）、すなわち音楽判定部１７０が収音音声データに音楽が含まれると判定すると、合成制限部１７２は、合成部１３４を機能させず、ミキシング処理を遂行させないで、ミキシング開始方法を終了する。
【００３７】
例えば、運動会の撮像において、会場に音楽（運動を促すＢＧＭ）が流れている場合、映像とともにその音楽が収音されてしまうため、ミキシング処理を行うと、合成データは２つの異なる音楽が混合されて同時に再生されるものとなってしまい、聞きづらいもの・鑑賞しづらいものとなってしまう。撮像装置１００は、音楽判定部１７０および合成制限部１７２を備えることで、異なる音楽の混合を回避し、適切なタイミングでミキシング処理を遂行することが可能となる。
【００３８】
収音音声データに音楽が含まれない場合（Ｓ２００におけるＮＯ）、中央制御部１４６は、ユーザの操作入力によって、ミキシング処理の開始の指示があるか否かを判定する（Ｓ２０２）。開始の指示がある場合（Ｓ２０２におけるＹＥＳ）、連続判定ステップＳ２０８に処理が移る。上述したように、録画処理の開始と同時にミキシング処理を開始する場合、開始判定ステップＳ２０２の後は常に連続判定ステップＳ２０８に処理が移ることとなる。
【００３９】
開始の指示がない場合（Ｓ２０２におけるＮＯ）、顔検出部１７４は、画像処理部１２４が出力したバッファ１３２上の画像データから、顔の特徴を示す顔データの検出を試み、顔データが検出されたか否かを判定する（Ｓ２０４）。このステップＳ２０４の段階では、画像データ中に顔らしき映像が含まれるか否かを判定している。
【００４０】
具体的に、顔検出部１７４は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出することになる。また、顔検出部１７４は、顔の構成要素（目、口、鼻、耳等）に基づくテンプレートマッチングや、Ａｄａｂｏｏｓｔアルゴリズムによって生成される複数の識別器をカスケード接続して用いる技術、特開２０１０−１０３６５１号公報、特開２００９−１８１２２０号公報に記載の技術等、既存のどのような顔検出技術を用いてもよい。
【００４１】
顔データが検出されなかった場合（Ｓ２０４におけるＮＯ）、ミキシング処理を遂行させないで、ミキシング開始方法を終了する。顔データが検出された場合（Ｓ２０４におけるＹＥＳ）、顔認証部１７６は、顔検出部１７４が検出した顔データと、予め登録されて記憶部１３８に記憶された顔データである認証データとが、同一人物のものであるか否かを判定する（Ｓ２０６）。
【００４２】
認証データは、例えば、ユーザが、登録したい人物の顔を撮像して予め生成した顔データと、顔データから導出された顔の特徴量を含む。顔の特徴量は、例えば、目、口、鼻、耳等の特徴部分である特徴点同士の離間距離、特徴部分の大きさ、顔の輪郭および輝度、肌の色、髪の色、髪の量等を含む。
【００４３】
そして、顔認証部１７６は、検出された顔データと認証データとを照合し相似度を導出し、導出した相似度が閾値を超えていると、検出された顔データと認証データとが、同一人物のものであると判定する。また、顔認証部１７６は、特開２００９−１１０１４７号公報に記載の技術等、既存のどのような顔認証技術を用いてもよい。
【００４４】
顔認証部１７６が、同一人物のものであると判定しなかった場合（Ｓ２０６におけるＮＯ）、ミキシング処理を遂行させないで、ミキシング開始方法を終了する。同一人物のものであると判定した場合（Ｓ２０６におけるＹＥＳ）、顔認証部１７６は、合成部１３４に、認証データと同一人物のものであると判定された顔データの検出タイミングから、ミキシング処理を開始する。
【００４５】
かかる構成により、例えば、予めユーザの子供の顔データを認証データとして登録しておき、録画処理中に、ユーザの子供の顔が録画された場合、ユーザの操作入力を介すことなく、自動的にミキシング処理を開始することができる。そのため、撮像装置１００は、ユーザに対し操作入力を強いることなく、ユーザを撮像に専念させることが可能となる。
【００４６】
そして顔認証部１７６からの同一人物の判定結果を受け、連続判定部１７８が、合成部１３４に上記のミキシング処理を遂行させることとなる。
【００４７】
このとき連続判定部１７８は、操作部１２０を介したユーザの操作指示に基づいて、連続合成処理、および、不連続合成処理の２種類のミキシング処理のうちのいずれかの処理を合成部１３４に遂行させる。
【００４８】
図３は、連続合成処理と不連続合成処理を説明するための説明図である。ここでは、前回のミキシング処理において、既成音楽データＡのうち、曲の開始後３０秒の位置まで使用し、収音音声データａとミキシング処理を行い合成データａＡ[０−３０]を生成したとする。
【００４９】
ここで、図３中の［  ]内の数値は、既成音楽データのうち、ミキシング処理に使用される開始位置の時間と終了位置の時間を示す。すなわち既成音楽データＡ[０−３０]であれば、既成音楽データＡの開始０秒から３０秒までを示し、合成データａＡ[０−３０]であれば、既成音楽データＡの開始０秒から３０秒までが使用された合成データを示す。
【００５０】
次のミキシング処理が連続合成処理の場合、図３（ａ）に示すように、合成部１３４は、既成音楽データＡの曲の開始後３０秒の位置からミキシング処理を行う。ここでは、連続合成処理は、前回のミキシング処理の続きから既成音楽データＡを収音音声データｂと合成して合成データｂＡ[３０−１２０]を生成する。
【００５１】
このように、連続合成処理では、記録終了信号が入力され録画処理が中断される度に曲の開始位置からミキシング処理がなされることがなく、ＢＧＭが耳障りとなってしまうといった事態を回避できる。
【００５２】
しかし、毎回のミキシング処理で連続合成処理がなされると、例えば、前回撮像した映像と撮像対象や撮像時間にまったく関連性のない風景が今回撮像されたにもかかわらず、今回の映像について、前回のＢＧＭが途中から開始してしまう。
【００５３】
そこで、図３（ｂ）に示すように、合成部１３４は、連続判定部１７８の指示に応じ、不連続合成処理として既成音楽データＡの曲の開始位置（開始後０秒の位置）からミキシング処理を行う。ここでは既成音楽データＡ[０−９０]と収音音声データｂとが合成され、合成データｂＡ[０−９０]が生成される。
【００５４】
連続判定部１７８は、過去に合成部１３４によってミキシング処理が行われた後、再びミキシング処理が行われる場合、連続合成処理、および、不連続合成処理のいずれの処理を合成部１３４に遂行させるかを判定する。
【００５５】
例えば、撮像装置１００の起動後（電源ＯＮ後）、その起動中に記録開始信号の入力に基づき録画処理を開始してから（録画ボタンを１回押止し）、記録終了信号の入力に基づき録画処理を停止し（録画ボタンを再び押止し）、撮像装置１００の電源を落とすことなく（電源ＯＦＦすることなく）起動中のまま待機させ、その後、録画処理を再開した場合、再開前後の映像は関連性が高いと推測される。具体的には、ユーザの子供が参加する運動会を撮像している場合、ユーザの子供が画角に収まるときのみ、録画処理が行われ、画角から外れているときは、撮像装置１００の電源を落とさずに、録画処理を停止すること等が想定される。
【００５６】
そこで連続判定部１７８は、図２に示すように、記録開始信号の入力に基づく録画処理を開始する操作指示が、撮像装置１００の起動後１回目に行われたものであるか否かを判定する（Ｓ２０８）。
【００５７】
撮像装置１００の起動後、録画処理を開始する操作指示を受けたのが、１回目の場合（Ｓ２０８におけるＹＥＳ）、音楽取得部１８０は、補助記憶媒体Ｍに記憶されている任意の既成音楽データを取得し、バッファ１３２に保持させる（Ｓ２１０）。このとき、音楽取得部１８０は、例えば、ユーザの操作入力に応じ、予め設定された曲目リストから、曲目リストの並び順に、既成音楽データを選択してもよいし、曲目リストからランダムに既成音楽データを選択してもよい。
【００５８】
ただし、上記の認証ステップＳ２０６において、検出された顔データが認証データと同一人物と判定されていた場合、顔認証部１７６は、同一人物のものであると判定された認証データに予め関連付けられた既成音楽データを音楽取得部１８０に取得させる。
【００５９】
ここでは、録画処理の開始以前に、既成音楽データのファイル名や曲名等の識別情報が認証データに関連付けられて記憶部１３８に記憶されているものとする。ただし、既成音楽データは、識別情報を介さず、データアドレスが認証データに直接関連付けられてもよい。
【００６０】
また、１つのファイル名（曲名）に限らず、ファイル名（曲目）リストが認証データに関連付いていてもよい。この場合、例えば、ファイル名（曲目）リストの並び順やファイル名（曲目）リストからランダムに既成音楽データが選択される。
【００６１】
そして、合成部１３４は、同一人物のものであると判定された認証データに予め関連付けられた既成音楽データと収音音声データとを合成する。
【００６２】
例えば、ユーザの子供の顔データを認証データとして予め登録し、ユーザの子供が好きな曲の曲名をその認証データに関連付けて記憶させておく。すると、録画処理中に、ユーザの子供の顔が録画された場合、必ずユーザの子供が好きな曲がミキシングされるため、再生時に、ユーザやその子供にとって、好ましい映像や音声を聴くことができる。
【００６３】
そして連続判定部１７８は、取得された既成音楽データを対象として、不連続合成処理を合成部１３４に開始させる（Ｓ２１２）。
【００６４】
また、撮像装置１００の起動後、記録開始信号の入力に基づく録画処理を開始する操作指示を受けたのが、２回目以降の場合（Ｓ２０８におけるＮＯ）、音楽取得部１８０は、補助記憶媒体Ｍに記憶されている既成音楽データのうち、前回のミキシング処理で選択された既成音楽データを取得しバッファ１３２に保持させる（Ｓ２１４）。
【００６５】
そして連続判定部１７８は、取得された既成音楽データを対象として連続合成処理を合成部１３４に開始させる（Ｓ２１６）。
【００６６】
前回の記録終了信号の入力に基づく録画停止時において、連続判定部１７８は、ミキシング処理の対象となっていた既成音楽データを識別する識別情報と、ミキシング処理に使用した区間の終了位置とを関連付けて、記憶部１３８に記憶させている。上記の既成音楽データ取得ステップＳ２１４、連続合成処理開始ステップＳ２１６においては、かかる識別情報と終了位置が参照される。
【００６７】
以上のように、撮像装置１００によれば、ユーザが、録画処理を開始後、撮像処理を停止し撮像装置１００の電源を落とすことなく待機させた後、録画処理を再開した場合、連続合成処理がなされるため、再開前後の関連性の高い撮影風景に対し連続するＢＧＭ等の既成音楽データをミキシングすることが可能となる。
【００６８】
一方、撮像装置１００の電源ＯＦＦと電源ＯＮを挟む前後の映像では、既成音楽データを連続させず、電源ＯＮの後の映像には、既成音楽データの始まりからミキシングすることが可能となる。
【００６９】
最後に、報知部１８２は、ミキシング処理の対象となった既成音楽データについて、ミキシング処理の進捗状態を示す情報の報知を開始して（Ｓ２１８）、ミキシング開始方法を終了する。
【００７０】
図４は、ミキシング処理中のモニタ１４２の表示内容を簡略的に示す図である。図４に示すように、モニタ１４２には、撮像中の画像データが表示されている。ここでは、合成部１３４によるミキシング処理が遂行されている最中とする。
【００７１】
報知部１８２は、ミキシング処理の対象となった既成音楽データに関し、ミキシング処理の進捗状態を示す情報として、例えば、既成音楽データのうち、曲の始まり（開始０秒）から曲の終わりまでの時間に対応する長さの破線枠２５０と、曲の始まりからミキシング処理をしている部分までの時間に対応する長さのバー２５２を重ね合わせた画像を、撮像中の画像データに重畳して示す。
【００７２】
報知部１８２を備える構成により、ユーザは、ミキシング処理の対象となった既成音楽データの開始からの経過時間や残り時間がどの程度なのかを把握することが可能となる。そのため、例えば、残り時間が僅か２〜３秒であれば、残り時間が０秒となるところまで録画処理を２〜３秒伸ばして、区切りよくミキシング処理を行う等、既成音楽データに即した適切な録画処理が可能となる。
【００７３】
上述したように、本実施形態の撮像装置１００およびミキシング開始方法では、ユーザの操作入力に応じて、連続合成処理と不連続合成処理のいずれを用いるかを判定してミキシング処理を行うため、既成音楽データのうち、適切な開始位置からミキシング処理を行うことが可能となる。
【００７４】
（第２の実施形態）
上述した第１の実施形態では、撮像装置１００は、撮像装置１００の起動後の録画処理の回数に応じて、連続合成処理と不連続合成処理のいずれを用いるかを判定した。第２の実施形態では、録画処理の間隔（前回（ｎ回目の）録画が終了してから今回（ｎ＋１回目の）録画を開始するまでの間隔）に応じて連続合成処理と不連続合成処理のいずれを用いるかを判定する撮像装置３００およびミキシング開始方法について説明する。
【００７５】
（撮像装置３００）
図５は、第２の実施形態における撮像装置３００の概略を示した機能ブロック図である。図５に示すように、撮像装置３００は、操作部１２０と、撮像部１２２と、画像処理部１２４と、収音部１２６と、音声処理部１２８と、外部Ｉ／Ｆ部１３０と、バッファ１３２と、合成部１３４と、圧縮部１３６と、記憶部１３８と、出力部１４０と、モニタ１４２と、スピーカ１４４と、中央制御部１４６と、システムバス１４８と、を含んで構成され、中央制御部１４６は、音楽判定部１７０、合成制限部１７２、顔検出部１７４、顔認証部１７６、連続判定部３７８、音楽取得部１８０、報知部１８２として機能する。
【００７６】
第１の実施形態における構成要素として既に述べたものに関しては、実質的に機能が同一なので同一の符号を付すことで重複説明を省略し、ここでは、構成が相違する連続判定部３７８を主に説明する。
【００７７】
かかる連続判定部３７８の具体的な処理について、フローチャートを用いて説明する。図６は、第２の実施形態におけるミキシング開始方法の全体的な流れを示したフローチャートである。
【００７８】
図６に示す音楽判定ステップＳ２００から認証ステップＳ２０６までの処理は、第１の実施形態の音楽判定ステップＳ２００から認証ステップＳ２０６までの処理と実質的に同一なので説明を省略する。
【００７９】
ユーザの操作入力によってミキシング処理の開始の指示がある場合（Ｓ２０２におけるＹＥＳ）、または認証ステップＳ２０６において顔認証部１７６が認証データと同一人物のものであると判定した場合（Ｓ２０６におけるＹＥＳ）、設定時間判定処理ステップＳ３９０に処理を移す。
【００８０】
連続判定部３７８は、画像データを記憶する録画処理によって記憶された、最も新しい画像データまたは合成データの記憶終了時からの経過時間、すなわち、最後に録画処理をしてからの経過時間が設定時間以上であるか否かを判定する（Ｓ３９０）。つまりｎ回目の記録開始信号の入力及び記録終了信号の入力に基づいて生成されたｎ回目の画像データまたは合成データと、ｎ＋１回目の記録開始信号の入力及び記録終了信号の入力に基づいて生成されたｎ＋１回目の画像データまたは合成データとについて、ｎ回目の記録終了信号の入力に基づく時刻情報とｎ＋１回目の記録開始信号の入力に基づく時刻情報との間の時間間隔が、設定時間以上であるか否かが判定される。例えば、ｎ回目の記録開始信号が入力された時刻とｎ＋１回目の記録終了信号が入力された時刻との間の時間間隔が判定に用いられることになる。
【００８１】
ここでは、設定時間は、例えば、ユーザの操作入力に応じて設定された時間とするが、出荷前に予め設定された時間であってもよい。
【００８２】
設定時間以上である場合（Ｓ３９０におけるＹＥＳ）、既成音楽データ取得ステップＳ２１０に処理が移り、続く不連続合成処理ステップＳ２１２において、連続判定部３７８は不連続合成処理を合成部１３４に遂行させる。
【００８３】
設定時間未満である場合、（Ｓ３９０におけるＮＯ）、既成音楽データ取得ステップＳ２１４に処理が移り、続く連続合成処理ステップＳ２１６において、連続判定部３７８は連続合成処理を合成部１３４に遂行させる。
【００８４】
一般に、最後に録画処理をしてからの経過時間が長いほど、新たに録画処理で記憶された画像データは、最後の録画処理で記憶された画像データとの関連性が低い確率が高まる。設定時間を閾値として、連続合成処理と不連続合成処理のいずれを用いるかを判定する構成により、撮像状態に即した適切な判定がなされる可能性を高めることが可能となる。
【００８５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８６】
上述した実施形態では、連続判定部１７８が録画処理の回数に基づいて判定し、連続判定部３７８が最後に録画処理をしてからの経過時間に基づいて判定する場合について説明したが、例えば、録画処理の回数に基づく判定結果が不連続合成処理であった場合に、最後に録画処理をしてからの経過時間が設定時間未満であると、連続合成処理に判定を覆す等、いずれか一方の判定結果の補正に、他方の判定処理を用いてもよい。
【００８７】
上述した実施形態では、記憶部１３８が内蔵型の記憶媒体の場合について説明したが、記憶部１３８として、ＣＤ、ＤＶＤやＢＤ（Blu-ray Disc）といった記憶メディアや、補助記憶媒体Ｍを用いてもよい。
【００８８】
また、上述した実施形態では、既成音楽データが補助記憶媒体Ｍに記憶されている場合について説明したが、既成音楽データが記憶部１３８に記憶されていてもよい。
【００８９】
なお、本明細書のミキシング開始方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００９０】
本発明は、ミキシング処理を行う機能を備えた撮像装置に利用することができる。
【符号の説明】
【００９１】
１００、３００  …撮像装置
１２２  …撮像部
１２６  …収音部
１３４  …合成部
１７０  …音楽判定部
１７２  …合成制限部
１７４  …顔検出部
１７６  …顔認証部
１７８、３７８  …連続判定部
１８０  …音楽取得部
１８２  …報知部
【図１】
2014011691.tif 000003
【図２】
2014011691.tif 000004
【図３】
2014011691.tif 000005
【図４】
2014011691.tif 000006
【図５】
2014011691.tif 000007
【図６】
2014011691.tif 000008