(57)【要約】【課題】複数の関連付けられた動画ファイルを再生する際、視聴したい音声を大きく再生することを目的とする。【解決手段】複数の動画ファイルと前記複数の動画ファイルのそれぞれに付随した音声ファイルと前記複数の動画ファイルそれぞれの重要度を算出する重要度算出手段と、前記複数の音声ファイルを合成する音声合成部と前記重要度算出手段から得た、それぞれの動画ファイルの重要度から前記音声合成部における合成比を演算する合成比率演算部と、を備えるカメラにおいて、前記複数の動画ファイルそれぞれの重要度に応じて、複数の音声ファイルの合成比率を変更することを特徴とする。【選択図】図１
2017199987.tif 000002
【特許請求の範囲】
【請求項１】
複数の動画ファイルと前記複数の動画ファイルのそれぞれに付随した音声ファイルと前記複数の動画ファイルそれぞれの重要度を算出する重要度算出手段と、前記複数の音声ファイルを合成する音声合成部と前記重要度算出手段から得た、それぞれの動画ファイルの重要度から前記音声合成部における合成比を演算する合成比率演算部と、を備えるカメラにおいて、前記複数の動画ファイルそれぞれの重要度に応じて、複数の音声ファイルの合成比率を変更することを特徴とする撮像装置。
【請求項２】
前記重要度算出手段は前記複数の動画ファイルの再生回数から重要度を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記重要度算出手段は前記複数の動画ファイルの撮影された時間から重要度を算出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記複数の動画ファイルにおける被写体の感情の変化を検出することのできる感情検出部を備え、前記重要度算出手段は複数の動画ファイルの前記感情検出部の検出結果によって重要度を算出することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記複数の動画ファイルにおける音声のレベルを検出することのできる音声レベル検出部を備え、前記重要度算出手段は複数の動画ファイルの前記音声レベル検出部の検出結果によって重要度を算出することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記重要度算出手段によって算出される重要度は前記動画ファイルの再生時間ごとに更新されることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記重要度算出手段によって時間毎に算出される重要度は一定の遷移時間を持って前記合成比率演算部における合成比率を切り替えることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記複数の動画ファイルを表示させる表示部を備えて前記重要度算出手段によって算出される重要度に応じて前記表示部を切り替えることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
複数の撮像手段を用いて関連付けられた動画を撮影する方法が考えられている。たとえば、本来撮影したい被写体を録画するメインカメラとともに、撮影者自身を録画するサブカメラを用いて、２種類の動画を関連付けて録画することが考えられる。
【０００３】
図３(ａ)は動画を実際撮影するシーンの例の図である。３０１は本来撮影したい被写体を撮影した動画ファイルである。３０２は撮影を行っている撮影者をサブカメラによって撮影した動画ファイルである。同時刻のメインの音声ファイルを含む動画ファイル３０１とサブの音声ファイルを含む動画ファイル３０２がそれぞれ録画されて、関連付けられる。
【０００４】
また、撮影した動画ファイルを再生している視聴者を撮影されることも考えられている。図３（ｂ）は撮影した動画を再生しているシーンの例の図である。３０３は撮影者を撮影するために配置されたサブカメラである。動画の再生時についても、サブカメラ３０３を用いて、撮影者（視聴者）の表情を記憶することができる。この場合、再生するたびに動画ファイルが生成されるため、複数の動画ファイルが関連付け保存される。
【０００５】
図５（ａ）は撮影した動画ファイルを単独で再生した時の図、図５（ｂ）は撮影した動画ファイルのうち、関連付けられた動画ファイルを同時に再生する場合を示した図である。
【０００６】
図５（ｂ）で示すようにマルチウインドウで再生されることが考えられる。従来、撮像処理装置において図５（ａ）のように撮像装置で動画ファイルを再生するにあたって、選択された動画ファイルひとつを再生することが多かった。しかし、図５（ｂ）のように関連付けられた複数の動画ファイルをマルチウィンドウで再生する場合、再生音はいずれか１ファイルのみ再生、もしくは複数の音声ファイルを合成して再生する方法しかなかった。
【０００７】
そこで、再生している動画ファイルの表示の重なりや表示の大きさ、ポインタの位置に応じて、再生音量を切り替える手法が提案されている。この種の装置として関連する特許文献として、特許文献１や、特許文献２がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平５−１１３８６４号公報
【特許文献２】特開平５−１９７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１や、特許文献２で提案されている手法では、表示画面の状態に応じて、再生音量を決定するため、小さいサイズで再生している画像の音声ファイル、もしくは選択していない音声ファイルが強調させることはない。
【００１０】
たとえば、図３（ｂ）サブカメラ３０３において、視聴している人物を録画を行い、再生画像に対してコメントを付けた動画が図５（ｂ）の５０４であった場合は、５０２に対して５０４の表示画面が小さい為、５０２の音声信号が再生されないことが考えられる。
【００１１】
そこで、本発明は、複数の関連付けられた動画ファイルを再生する際、視聴したい音声を大きく再生することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明に係る撮像装置は、
複数の動画ファイルと前記複数の動画ファイルのそれぞれに付随した音声ファイルと前記複数の動画ファイルそれぞれの重要度を算出する重要度算出手段と、
前記複数の音声ファイルを合成する音声合成部と前記重要度算出手段から得た、それぞれの動画ファイルの重要度から前記音声合成部における合成比を演算する合成比率演算部と、を備えるカメラにおいて、前記複数の動画ファイルそれぞれの重要度に応じて、複数の音声ファイルの合成比率を変更することを特徴とする。
【発明の効果】
【００１３】
本発明に係る撮像装置によれば、複数の動画ファイルをマルチウインドウで再生する際、視聴したい音声データを再生することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施例の音声再生部を含むブロック図である。
【図２】本実施例の撮像装置の構成を示すブロック図である。
【図３】本実施例の撮影時の例を示した図である。
【図４】本実施例の再生時のフローチャートである。
【図５】本実施例の再生時の例を示した図である。
【図６】本実施例の重要度の例を示した表である。
【図７】本実施例の感情タグについて説明した図である。
【図８】本実施例の再生する各動画ファイルの例の図である。
【図９】本実施例の再生時の表示方法の例の図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施例を詳細に説明する。
【００１６】
［実施例］
（撮像装置全体の構成と処理の説明）
本実施例では、撮像装置について図１から図９を用いて説明する。
【００１７】
まず、図２は実施例の撮像装置２００の構成を示すブロック図である。
【００１８】
図２において、撮像部２０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。撮影レンズは、内蔵型のレンズであっても、着脱式のレンズであっても良い。また、撮像素子は、ＣＣＤ、ＣＭＯＳ等に代表される光電変換素子であればよい。
【００１９】
音声入力部２０２は、内蔵または音声端子を介して接続されたマイクにより、撮像装置２００の周辺の音声を集音し、アナログデジタル変換、音声処理などを行い音声データを生成する。マイクは、指向性、無指向性を問わないが、本実施例では無指向性のマイクを使用するものとする。
【００２０】
メモリ２０３は、撮像部２０１により得られた画像データや、音声入力部２０２により得られた音声データを一時的に記憶する。
【００２１】
表示制御部２０４は、撮像部２０１により得られた画像データに係る映像や、撮像装置２００の操作画面、メニュー画面等を表示部２０５や、不図示の映像端子を介して外部のディスプレイに表示させる。
【００２２】
符号化処理部２０６は、メモリ２０３に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。また、音声データに関しては圧縮しないようにしてもよい。
【００２３】
圧縮画像データは、例えば、ＭＰＥＧ２やＨ．２６４／ＭＰＥＧ４−ＡＶＣなど、どのような圧縮方式で圧縮されたものであってもよい。また、圧縮音声データも、ＡＣ３、ＡＡＣ、ＡＴＲＡＣ、ＡＤＰＣＭなどのような圧縮方式で圧縮されたものであってもよい。
【００２４】
記録再生部２０７は、記録媒体２０８に対して、符号化処理部２０６で生成された圧縮画像データ、圧縮音声データまたは音声データ、各種データを記録したり、記録媒体２０８から読出したりする。ここで、記録媒体２０８は、画像データ、音声データ、等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体を含む。
【００２５】
制御部２０９は、撮像装置２００の各ブロックに制御信号を送信することで撮像装置２００の各ブロックを制御することができ、各種制御を実行するためのＣＰＵやメモリなどからなる。制御部２０９で使用するメモリは、各種制御プログラムを格納するＲＯＭ、演算処理のためのＲＡＭ等であり、制御部２０９外付けのメモリも含む。
【００２６】
操作部２１０は、ボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部２０９に送信する。本実施例の撮像装置では、動画記録開始、終了を指示するための撮影ボタン、光学的、電子的に画像を拡大、縮小する指示するためのズームレバー、各種調整をするための十字キー、決定キーなどからなる。音声出力部２１１は、記録再生部２０７により再生された音声データや圧縮音声データ、または制御部２０９により出力される音声データをスピーカ２１２や音声端子などに出力する。
【００２７】
外部出力部２１３は、記録再生部２０７により再生された圧縮映像データや圧縮音声データ、音声データなどを外部機器に出力する。データバス２１４は、音声データや画像データ等の各種データ、各種制御信号を撮像装置２００の各ブロックに供給する。ここで、本実施例の撮像装置２００の通常の動作について説明する。
【００２８】
本実施例の撮像装置２００は、ユーザが操作部２１０を操作して電源を投入する指示が出されたことに応じて、不図示の電源供給部から、撮像装置の各ブロックに電源を供給する。電源が供給されると、制御部２０９は、操作部２１０のモード切り換えスイッチが、例えば、撮影モード、再生モード等のどのモードであるかを操作部２１０からの指示信号により確認する。
【００２９】
動画記録モードでは、撮像部２０１により得られた画像データと音声入力部２０２により得られた音声データとを１つのファイルとして保存する。再生モードでは、記録媒体２０８に記録された圧縮画像データを記録再生部２０７により再生して表示部２０５に表示させる。
【００３０】
動画記録モードでは、まず、制御部２０９は、撮影待機状態に移行させるように制御信号を撮像装置２００の各ブロックに送信し、以下のような動作をさせる。撮像部２０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部２０４に送信し、表示部２０５に表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。
【００３１】
音声入力部２０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データを音声出力部２１１に送信し、接続されたスピーカ２１２や不図示のイヤホンから音声として出力させる。ユーザは、この様にして出力された音声を聞きながら記録音量を決定するためのマニュアルボリュームの調整をすることもできる。
【００３２】
次に、ユーザが操作部２１０の記録ボタンを操作することにより撮影開始の指示信号が制御部２０９に送信されると、制御部２０９は、撮像装置２００の各ブロックに撮影開始の指示信号を送信し、以下のような動作をさせる。撮像部２０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部２０４に送信し、表示部２０５に表示させる。また、得られた画像データをメモリ２０３送信する。音声入力部２０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。
【００３３】
そして、得られた音声データをメモリ２０３に送信する。また、マイクが一つの場合には、得られたアナログ音声信号をデジタル変換し音声データを生成し、音声データをメモリ２０３に送信する。符号化処理部２０６は、メモリ２０３に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。そして、制御部２０９は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部２０７に出力する。
【００３４】
音声データを圧縮しない場合には、制御部２０９は、メモリ２０３に格納された音声データと圧縮画像データとを合成し、データストリームを形成して記録再生部２０７に出力する。記録再生部２０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体２０８に書き込んでいく。以上の動作を撮影中は継続する。
【００３５】
そして、ユーザが操作部２１０の記録ボタンを操作することにより撮影終了の指示信号が制御部２０９に送信されると、制御部２０９は、撮像装置２００の各ブロックに撮影終了の指示信号を送信し、以下のような動作をさせる。撮像部２０１、音声入力部２０２は、それぞれ画像データ、音声データの生成を停止する。符号化処理部２０６は、メモリに記憶されている残りの画像データと音声データとを読出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し終えたら動作を停止する。
【００３６】
音声データを圧縮しない場合には、当然、圧縮画像データの生成が終わったら動作を停止する。そして、制御部２０９は、これらの最後の圧縮画像データと、圧縮音声データまたは音声データとを合成し、データストリームを形成し、記録再生部２０７に出力する。
【００３７】
記録再生部２０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体２０８に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。制御部２０９は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置２００の各ブロックに送信して、撮影待機状態に戻る。
【００３８】
次に、再生モードでは、制御部２０９は、再生状態に移行させるように制御信号を撮像装置２００の各ブロックに送信し、以下のような動作をさせる。記録媒体２０８に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部２０７が読出して、読出された圧縮画像データ、圧縮音声データは、符号化処理部２０６に送る。符号化処理部２０６は、圧縮画像データ、圧縮音声データを復号してそれぞれ、表示制御部２０４、音声出力部２１１に送信する。表示制御部２０４は、復号された画像データを表示部２０５に表示させる。音声出力部２１１は、復号された音声データを内蔵または、取付けられた外部スピーカから出力させる。
【００３９】
本実施例では撮像部２０１を２つ、もしくはそれ以上を用いて、メインカメラとサブカメラの２つで複数の動画を撮影できることことも考えられる。
【００４０】
本実施例の撮像装置２００は以上のように、画像、音声の記録再生を行うことができる。
【００４１】
本実施例では、図３（ｂ）のように視聴者が動画再生画面を見ている時に、撮像部２０１の一つである図３（ｂ）サブカメラ３０３を用いて、撮影した画像を再生した際の処理を記載する。図５（ｂ）で表す、視聴者によって決められた再生動画のうちメインとなる動画５０２とサブとなる動画５０３〜５０６を再生させている。
【００４２】
本実施例では簡易化のため、図５（ｂ）５０２〜５０６の動画ファイルのうち、メイン動画５０２に対して、第一サブ動画５０３、第二サブ動画５０４についてそれぞれの３系統パスを用いた場合を例に説明する。もちろん動画５０２〜５０６全てに対して比較しても構わない。
【００４３】
続いて、図１は音声出力部２１１の構成を含む本実施例における説明するブロック図である。
【００４４】
１０１は記憶再生部から出力される音声信号の音声レベルを検出する音声レベル検出部である。１０１ａは図５（ｂ）のメイン動画５０２の音声信号の音声レベルを検出するメイン動画音声レベル検出部である。１０１ｂ１は第一サブ動画５０３の音声信号の音声レベルを検出する第一サブ動画音声レベル検出部である。１０１ｂ２は第二サブ動画５０４の音声信号の音声レベルを検出する第二サブ動画音声レベル検出部である。
【００４５】
１０２は再生動画の録画された時間や再生された回数などのファイル情報を取得するファイル情報取得部である。１０２ａは図５（ｂ）のメイン動画５０２のファイル情報を取得するメイン動画ファイル情報取得部である。１０２ｂ１は第一サブ動画５０３のファイル情報を取得する第一サブ動画ファイル情報取得部である。１０２ｂ２は第二サブ動画５０４のファイル情報を取得する第二サブ動画ファイル情報取得部である。
【００４６】
１０３は画像データもしくは音声信号から被写体もしくは撮影者の感情を検出する感情検出部である。１０３ａは図５（ｂ）のメイン動画５０２から感情を検出するメイン動画感情検出部である。１０３ｂ１は第一サブ動画５０３から感情を検出する第一サブ動画感情検出部である。１０３ｂ２は第二サブ動画５０４から感情を検出する第二サブ動画感情検出部である。感情検出部では再生する複数の動画ファイルにおける音声もしくは画像から、それぞれの被写体、もしくは撮影者の感情の変化を検出する。具体的な検出方法は後述する。
【００４７】
１０４はファイル情報取得部１０２の結果に基づいて、重みづけをおこない、動画ファイルの重要度を判別する初期重要度演算部である。本実施例において重要度とは動画ファイルに付随する音声ファイルが視聴者にとって必要とする度合いを表す。度合いが高いほど動画の音声ファイルの優先度があがる。本実施例にいては、再生開始時に決定する初期重要度と再生途中、状況によって遷移する時系列重要度の２つに分けて説明を行う。
【００４８】
１０４ａはファイル情報取得部１０２ａの取得結果に基づいて、重みづけをおこない、メイン動画５０２の初期重要度を判別するメイン動画初期重要度演算部である。１０４ｂ１はファイル情報取得部１０２ｂ１の取得結果に基づいて、重みづけをおこない、第一サブ動画５０３の初期重要度を判別する第一サブ動画初期重要度演算部である。１０４ｂ１はファイル情報取得部１０２ｂ２の取得結果に基づいて、重みづけをおこない、第二サブ動画５０４の初期重要度を判別する第二サブ動画初期重要度演算部である。
【００４９】
１０５は初期重要度演算部１０４の数値から音声レベル検出部１０１、感情検出部１０３の結果に応じて、重みづけをおこない、動画ファイルの時系列重要度を判別する時系列重要度演算部である。時系列重要度演算部１０５は音声レベル検出部１０１、感情検出部１０３の結果に応じて再生時間毎に更新される。１０５aはメイン動画初期重要度演算部１０４ａの数値からメイン動画音声レベル検出部１０１ａ、メイン動画感情検出部１０３ａの結果に応じてメイン動画５０２の時系列重要度を判別するメイン動画時系列重要度演算部である。
【００５０】
１０５ｂ１は第一サブ動画初期重要度演算部１０４ａの数値から第一サブ動画音声レベル検出部１０１ｂ１、第一サブ動画感情検出部１０３ｂ１の結果に応じて第一サブ動画５０３の時系列重要度を判別する第一サブ動画時系列重要度演算部である。１０５ｂ２は第二サブ動画初期重要度演算部１０４ａの数値から第二サブ動画音声レベル検出部１０１ｂ２、第二サブ動画感情検出部１０３ｂ２の結果に応じて第二サブ動画５０４の時系列重要度を判別する第二サブ動画時系列重要度演算部である。
【００５１】
１０６は時系列重要度演算部１０５応じて音声ファイルの合成比率を算出する合成比率演算部である。１０７は合成比率演算部１０６において算出した合成比率に基づいて、各音声ファイルの音量を調節する音量調整部である。１０７ａは合成比率演算部１０６において算出した合成比率に基づいて、メイン動画５０３の音量を調節するメイン動画音量調整部である。１０７ｂ１は合成比率演算部１０６において算出した合成比率に基づいて、第一サブ動画５０４の音量を調節する第一サブ動画音量調整部である。１０７ｂ２は合成比率演算部１０６において算出した合成比率に基づいて、第一サブ動画５０５の音量を調節する第二サブ動画音量調整部である。
【００５２】
１０８は音量調整部１０７で音量を調整された音声ファイルを合成する音声合成部である。音声合成部においては、再生する複数の動画ファイルにそれぞれに付随する音声ファイルを合成比率演算部１０６で求められた合成比率に基づいて合成し、一つの音声信号に変換する。
【００５３】
１０９は音声合成部１０８において合成された音声ファイルに対して、出力する音量を設定する再生ボリュームである。１１０は再生ボリューム１０９からの出力信号であるデジタルデータをスピーカ出力できるようにアナログ変換を行うＤＡＣである。そのほかのブロックについては図２の説明と同様のため、省略する。
【００５４】
本時例における動画ファイルは音声ファイルを含み、２つ以上の動画ファイルを再生した時について記述する。重要度算出手段は検出部と重要度演算部で構成される、複数の動画ファイルそれぞれの視聴者が得たいと考えられる度合いを検出する手段である。本実施例における検出部は音声レベル検出部１０１とファイル情報検出部１０２と感情検出部１０３で重要度演算部は初期重要度演算部１０４と時系列重要度演算部１０５である。重要度を検出する検出部は複数考えられるが、一つだけでも、複数を組み合わせても検出しても構わない。
【００５５】
合成比率演算部では重要度算出手段によって、算出された複数の動画ファイルそれぞれの重要度に応じて、それぞれの動画ファイルに付随する音声ファイルを合成部において合成する比率を決定する。合成部は音量調整部１０８と音声合成部１０９で構成され、合成比率演算部で算出した比率を基に音量調整部１０８を調節する。
【００５６】
次に図４を用いて、本実施例におけるの実施例１におけるフローを説明する。
【００５７】
図２の操作部２１０における操作によって制御部２０９で、まずは動画を再生する制御が開始したところで、本実施例のフローを開始する（Ｓ４０１）。図５（ａ）のように一つの動画ファイルを再生する通常再生であるか、それとも図５（ｂ）のように複数の動画を同時に再生するマルチウインドウ再生かを判別する（Ｓ４０２）。
【００５８】
マルチウインドウ再生ではない通常再生の場合は再生させる音声ファイルは決まっているため、再生開始（Ｓ４１２）させ、再生終了（Ｓ４１３）まで音声ファイルを再生させる。フローによる説明についても簡易化のため、マルチウインドウ再生は図５（ｂ）の５０２〜５０６のうち、メイン動画５０２と第一サブ動画ファイル５０３、第二サブ動画ファイル５０４を同時に再生する場合について記載する。再生する動画の数は複数であれば、３つ以上であっても構わない。
【００５９】
再生開始の信号を検出するとまず、図１の記憶媒体２０８から記憶再生部２０７を介して、ファイル情報取得部１０２において、複数の再生する動画ファイルの情報を取得する（Ｓ４０３）。次にＳ４０３で取得した動画ファイルの情報に応じて、初期重要度算出部１０４で再生するそれぞれの動画の初期重要度を算出する（Ｓ４０４）。Ｓ４０３、Ｓ４０４における具体的なファイル情報から決定する初期重要度の算出方法については後述する。ここで決定する初期重要度は再生開始前に一度、動画ファイル情報より読みだすため、再生開始後は時間ごとに変更されない値となる。
【００６０】
Ｓ４０４で決定したそれぞれの動画ファイルの重要度に応じて、合成比率演算部１０６において、初期のそれぞれの音声ファイルの再生音量を決定する（Ｓ４０５）。合成比率演算部１０６における再生音量の設定の例は後述する。ここまで、Ｓ４０３〜Ｓ４０６を初期合成率算出フローとする。この初期合成率算出フローを再生前に行い再生開始時の各動画ファイルに付随する音声ファイルの合成比率が決定する。この初期合成率算出フローによって算出された初期重要度を用いて、複数音声ファイルから再生させる音声ファイルを決定しても構わない。例えば、Ｓ５０２〜Ｓ５０６全てで初期重要度を算出し、重要度の高いものを選択する方法でも構わない。
【００６１】
初期重要度算出フローが終了すると、実際に表示制御部２０４を介して表示部２０５に、また、音声出力部２１１を介して、スピーカ２１２から再生を開始する（Ｓ４０６）。再生を開始すると感情検出部１０３においてそれぞれの動画における感情情報を検出する（Ｓ４０７）。Ｓ４０７における具体的な感情の検出、重要度の更新方法は後述する。音声レベル検出部１０１においてそれぞれの動画における音声レベル情報を検出する（Ｓ４０８）。Ｓ４０８における具体的な音声レベルの検出、重要度の更新方法は後述する。
【００６２】
次にＳ４０５で算出したの初期重要度をもとにＳ４０７でおこなった感情検出とＳ４０８における音声レベルの検出結果より、重要度を時間ごとに更新する。音声レベルの情報に応じて、時系列重要度算出部１０５で再生するそれぞれの動画の重要度を更新していく（Ｓ４０９）。Ｓ４０９において重要度の更新が終わると、更新された重要度に応じて合成比率も更新する（Ｓ４１０）。本実施例では重要度より合成比率を変更するが、重要度に応じて単純に再生するファイルを決定しても構わない。
【００６３】
Ｓ４０７〜Ｓ４１０の動作を、動画再生の終了の信号がくるまで繰り返す（Ｓ４１１）。Ｓ４０７〜Ｓ４１０を繰り返す作業を時系列合成比率算出ループとする。この時系列合成比率算出ループの間、検出状況に応じて重要度は刻々と更新されていくため、複数音声ファイルの合成比率も時間毎に変化する。
【００６４】
図２の操作部２１０における操作によって制御部２０９で、動画を再生を停止する信号を受け取ったところで、表示制御部２０４を介して表示部２０５に、また、音声出力部２１１を介して、スピーカ２１２から再生を停止する（Ｓ４１４）。以上のように、再生する動画ファイルに応じて、再生する音声ファイルの合成比率を変えることによって、再生して視聴したい音声データを得ることができる。
【００６５】
以下、図６〜９を用いてＳ４０３、４０４におけるファイル情報による初期重要度の算出、Ｓ４０７における感情検出部１０３による時系列重要度の算出、Ｓ４０８における音声レベル検出部１０１による時系列重要度の算出についてそれぞれ具体的な例を記述する。Ｓ４０３、４０４におけるファイル情報による初期重要度の算出する内容についての例を記載する。それぞれ動画ファイルに対して、動画の撮影時刻、再生回数を記録しておく。まず、図５（ｂ）の５０２で示すように、メインで再生する動画と５０３〜５０６のようにサブで再生する動画の表示による重要度を決ておく。
【００６６】
本実施例では、まず、表示の重要度はメイン動画を優先させるため、サブ画面より高く設定しておく。図６を用いて、重要度の算出の例を記載する。
【００６７】
本実施例では、図５（ｂ）メイン動画５０２の表示重要度を２、第一サブ動画５０３、第二サブ動画５０４の表示重要度を１とする。
【００６８】
次に再生回数に応じて重要度を決定する。ここでは再生方法に応じて、すなわち図５（ａ）５０１のように単独での再生回数、図５（ｂ）メイン動画５０２のようにマルチウィンドウ再生でメインウインドウでの再生回数、図５（ｂ）サブ動画５０３〜５０６のようにマルチウィンドウ再生でサブウインドウでの再生回数をそれぞれカウントしておく。カウント回数をそれぞれの再生方法に応じて重みづけを変える。
【００６９】
例えば、単独での再生の場合１倍、マルチウィンドウ再生でメインウインドウでの再生の場合０．８倍、マルチウィンドウ再生でサブウインドウでの再生の場合０．２倍とする。もし、メイン動画５０２の再生回数が単独再生で３回、マルチウィンドウ再生でメインウインドウでの再生が５回、マルチウィンドウ再生でサブウインドウでの再生が２回であれば、７．８回とする。同様にその他の動画５０３、５０４についても評価を行い、再生回数の重要度が決定する。
【００７０】
決定した再生回数による重要度の例を図６に示す。そして、動画ファイルの撮影された時刻によって重みづけを行う。本実施例では最初にとった動画を１、次の動画を２、３番目を３等の設定を行う。以上のようにして撮影された時刻による重要度を決定する。決定した再生された時刻による重要度の例を図６に示す。本実施例では最近撮影したものを重要度が高くなるように重要度を決定するが、古いものを優先、もしくは、メイン画面の撮影時から近いものを優先する等の設定にしても構わない。
【００７１】
表示による重要度、再生回数による重要度、撮影された時刻による重要度について、それぞれの項目の重要度を足し合わせて初期重要度を決定する。Ｓ４０４の初期重要度の設定の例を図６に示す。初期重要度演算部１０４でで演算された図６の初期重要度の値の比に応じて、Ｓ４０５の初期合成比率を決定する。Ｓ４０５では合成比率演算部１０６で音量調整部におけるゲインの設定を行う。
【００７２】
音声信号に対して音量調整部メイン１０７ａでは、（メイン動画の初期重要度）÷（メイン動画の初期重要度＋第一サブ動画の初期重要度＋第二サブ動画の初期重要度）のゲインをかける。同様に音量調整部第一サブ動画１０７ｂ１では、音声信号に（第一サブ動画の初期重要度）÷（メイン動画の初期重要度＋第一サブ動画の初期重要度＋第二サブ動画の初期重要度）のゲインをかける。また、音量調整部第二サブ動画１０７ｂ２では、音声信号に（第二サブ動画の初期重要度）÷（メイン動画の初期重要度＋第一サブ動画の初期重要度＋第二サブ動画の初期重要度）のゲインをかける。
【００７３】
例えば、図６で表すような初期重要度であった場合は、音声信号に音量調整部メイン１０７ａでは０．４８倍、音量調整部第一サブ動画１０７ｂ１では０．２８倍、音量調整部第二サブ動画１０７ｂ２では０．２４倍の割合に音量を調節する。音声合成部１０８において調節した音声信号をすべて合成する。再生ボリューム１０９によって、ユーザーの任意のボリュームに変更して、ＤＡＣ１１０を通してスピーカ２１２から出力される。音量調整部１０７のゲインは以下で説明する時系列重要度によって、時間毎に変化する。
【００７４】
以下、本実施例におけるＳ４０７の感情検出部１０３による時系列重要度の算出を記載する。本実施例では、再生時に感情タグを検出し、重要度を加算することを考える。感情タグとは、撮影時に特定の条件をクリアした時に動画ファイルにはりつける。感情タグを張り付ける条件とは、おもに撮影者が任意で設定する方法、画像から読み出す方法、音声から読み出す方法が考えられる。図７で感情タグを付ける方法について記載する。撮影者が任意で設定する方法は動画撮影が開始された時に、操作部２１０によって、撮影者の任意のタイミングで感情タグを張り付ける方法である。
【００７５】
図７で示すように、操作部２１０の一つである感情スイッチを検出することで感情タグを動画ファイルに付与する。
【００７６】
画像から読み出す方法は例えば笑顔検知などで被写体の表情の変化を検出した時に動画ファイルに感情タグを張り付ける方法である。図７で示すように撮像部２０１で取得した画像データから笑顔のパラメータを解析してを検出することで感情タグを動画ファイルに付与する。本実施例では、笑顔を検出することを記述しているが、その他顔の表情など、画像データから得られる被写体の状況変化を検出してもかまわない。
【００７７】
音声から読み出す方法は例えば被写体や被写体を撮影している撮影者の感情がかわった時に動画ファイルに感情タグを張り付ける方法である。図７で示すように音声入力部２０２で取得した音声データから声のレベル、あるいは声の抑揚を検出することで感情タグを動画ファイルに付与する。以上のように、動画ファイルに撮影者、被写体の感情タグを検出することによって、感情タグを付与する。本実施例では一定の閾値以上の検出レベルを検知し、タグをうつ設定であるが、検出された値によって感情タグに度合いを付けても構わない。また、感情タグは音声・画像で独立に検出を行っていたが、ＡＮＤ検出しても構わない。
【００７８】
図８に、再生する各動画ファイルの例を示す。
【００７９】
マルチウインドウ再生時には、動画撮影時にはりつけられた感情タグをＳ４０７にてメイン動画５０２、第一サブ動画５０３、第二サブ動画５０４それぞれについて感情タグを検出する。Ｓ４０９では感情タグが検出された際、初期重要度演算部１０４の結果に対して、時系列重要度演算部１０５において重要度を加算する。
【００８０】
例えば図６の初期重要度に対して、感情タグを検出すると重要度を１０加算するとする。図８で示すように第一サブ動画５０３のＴ８０１において感情タグが独立して存在すると、図６Ｔ８０１のように時系列重要度が加算され、第一サブ動画５０３の優先度が上がる。そのため、音量調整部１０７において、ゲイン調整が変化し、第一サブ動画５０３の音声が大きく再生される。
【００８１】
以上のように動画ファイルの撮影された時の被写体もしくは撮影者の感情状態を検出することによって、本来、視聴者がききたい音声信号を優先して再生することができる。本実施例では、録音時に感情タグを付ける方法を記載したが、再生時に画像データ、もしくは音声データから感情タグを付ける方法と同様に検出しても構わない。
【００８２】
以下、本実施例におけるＳ４０８における音声レベル検出部１０１における時系列重要度の算出方法を記載する。Ｓ４０８にて音声レベル検出部１０１において、音声のレベルを検出する。検出した音声レベルが図８の閾値８０３〜８０５で示すような閾値を超えたとき、初期重要度演算部１０４の結果に対して、時系列重要度演算部１０５において重要度を加算する。例えば図６の初期重要度に対して、音声レベルが閾値をこえると重要度を１０加算する。
【００８３】
図８で示すように第二サブ動画５０４のＴ８０２において、音声レベルが独立して閾値をこえると、図６のＴ８０２のように時系列重要度が加算され、第一サブ動画５０４の優先度が上がる。そのため、音量調整部１０７において、ゲイン調整が変化し、第二サブ動画５０４の音声が大きく再生される。本実施例では閾値を設けて、重要度を加算したが、検出レベルに応じて加算量を変えても構わない。
【００８４】
以上のように、音声レベルを検出して、合成率を変更することで、声の大きくなったところで、その音声を大きく再生することができる。ここまでいくつかの手段を用いて、重要度の算出を行ったがいずれかのみでも、複数の集段の組み合わせても構わない。
【００８５】
また、Ｓ４０９の時系列で重要度を算出する方法では、重要度が急に変化するため、合成比率演算部で一定の遷移時間を設けて、段階的に合成比率を変更したほうが望ましい。合成比率の変更を段階的に行う際は音量調整部において、遅延時間を持たせることで、遷移時間を含めて合成比率が最適になるタイミングと再生させる音声ファイルのタイミングに合わせることが望ましい。
【００８６】
また、合成比率演算部１０６での結果に応じて、表示制御部の表示を変更しても構わない。例えば、図９で示すように図６のＴ８０１、Ｔ８０２のようにサブ動画の重要度がメイン動画の重要度を超えた場合、図５におけるサブ動画５０３、５０４の表示を強調させる。強調は画像を大きくする、動きをつける、枠を付ける等、時系列重要度に応じて画像の表示が切換る方法であれば構わない。
【００８７】
以上、再生させる動画ファイルのファイル情報、感情情報、音声レベルをそれぞれの動画ファイルから検出し比較することで、視聴者が本来ききたい音声信号を大きく再生することができる。
【符号の説明】
【００８８】
２００  撮像装置、２０１  撮像部、２０２  音声入力部、２０３  メモリ、
２０４  表示制御部
【図１】
2017199987.tif 000003
【図２】
2017199987.tif 000004
【図３】
2017199987.tif 000005
【図４】
2017199987.tif 000006
【図５】
2017199987.tif 000007
【図６】
2017199987.tif 000008
【図７】
2017199987.tif 000009
【図８】
2017199987.tif 000010
【図９】
2017199987.tif 000011