(57)【要約】【課題】動画データのシーン内容に合わせて、可変フレーム周波数区間で最適な音声出力を実現する。【解決手段】第一のフレーム周波数と、第一のフレーム周波数とは異なる第二のフレーム周波数で撮影した動画像データを、第一のフレーム周波数で表示再生する装置において、前記第一のフレーム周波数で撮影したシーン再生時に、当該撮影シーンの内容を解析する手段と、前記解析手段の結果に応じて、前記第二のフレーム周波数で撮影したシーン再生時の音声の出力方法を切り換える手段とを備える。【選択図】図２
2016009961.tif 000002
【特許請求の範囲】
【請求項１】
第一のフレーム周波数と、第一のフレーム周波数とは異なる第二のフレーム周波数で撮影した動画像データを、第一のフレーム周波数で表示再生する装置において、
前記第一のフレーム周波数で撮影したシーン再生時に、当該撮影シーンの内容を解析する手段と、
前記解析手段の結果に応じて、前記第二のフレーム周波数で撮影したシーン再生時の音声の出力方法を切り換える手段と、
を具備することを特徴とする再生装置。
【請求項２】
前記動画像データ中に含まれる顔情報を取得する顔情報取得手段と、
前記顔情報取得手段の結果に基づいて、画面内での顔領域が有るかないかを検知する手段と、
画面内での顔領域が存在する占有割合を検知する手段と、
顔領域が継続して検出されたことを検知する手段と、
を具備することを特徴とする請求項１に記載の再生装置。
【請求項３】
前記動画像データ中に含まれる再生音声のスペクトル解析を行う音声スペクトル解析手段と、
前記音声スペクトル解析手段の結果に基づいて、所定レベル以上の音声ゲイン出力有無を検知する手段と、
特定の周波数帯域内に、音声データがあることを検知する手段と、
前記音声データ検出が連続して検出されたことを判断する手段と、
を具備することを特徴とする請求項２に記載の再生装置。
【請求項４】
前記第二のフレーム周波数で撮影したシーン再生時の音声出力を実時間の音声データの代わりに無信号音声に置き換えて出力する方式、実時間の音声データを話速変換出力した音声データを出力する方式、実時間の音声データの出力開始時間位置を、所定時間遅延して出力する方式、のいずれか一つを選択して切り替える手段とを具備することを特徴とする請求項１に記載の再生装置。
【請求項５】
前記請求項２または請求項３のシーン解析手段による結果として前記顔情報が第一のフレーム周波数撮影シーン区間において未検出であり、かつ前記第一のフレーム周波数で撮影したシーンの音声スペクトルが全帯域に所定ゲイン値未満であり、同時に所定期間以上連続している場合、実時間の音声データの代わりに無信号音声に置き換えて出力する方式を選択することを特徴とする請求項４に記載の再生装置。
【請求項６】
前記顔情報が第一のフレーム周波数撮影シーン区間で検出され、かつ前記顔情報が所定サイズ以上の顔領域を有し、さらに前記第一のフレーム周波数で撮影したシーンの音声スペクトルに、特定の周波数帯域に対して所定以上のゲイン値を持つ音声データであって、同時に所定期間以上連続している場合、実時間の音声データを話速変換出力した音声データを出力する方式を、選択することを特徴とする請求項４に記載の再生装置。
【請求項７】
第二のフレーム周波数の撮影シーン再生タイミングよりも前に、前記第二のフレーム周波数の撮影シーンに対して、前記請求項２および請求項３のシーン解析を予め行う手段と、
前記シーン解析による結果として、第二のフレーム周波数で撮影したシーンにおいて、特定の周波数帯域に対して所定以上のゲイン値を持つ音声データであって、当該音声データの発生が、当該シーン期間において１回あるいは不定期なタイミングで不連続に検出された場合、当該音声データの初回の検出時間位置を記憶する手段と、
前記検出時間位置より、出力開始遅延時間を算出する手段を設け、
前記第二のフレーム周波数の撮影シーン再生時、当該シーンの音声出力を前記出力開始遅延時間分、遅延させて出力させる手段を有することを特徴とする請求項４に記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生装置に関するものである。
【背景技術】
【０００２】
近年、デジタルビデオカメラをはじめ、動画記録が可能な機器が普及してきており、一般ユーザが簡単に動画を撮像することができるようになってきている。
【０００３】
そのような機器のなかには、特殊な記録方式として可変フレーム周波数記録の機能を備えているものがある。可変フレーム周波数記録とは、例えば毎秒３０フレームといった、通常のフレーム周波数に対して、高いフレーム周波数または低いフレーム周波数で撮像した動画像を記録する機能である。
【０００４】
前記可変フレーム周波数記録したストリームを通常のフレーム周波数で再生すると視覚的な演出効果が得られ、高いフレーム周波数で撮像した動画は滑らかなスローモーションで再生される。
一方、低いフレーム周波数で撮像した動画はクイックモーションで再生される。このような、可変フレーム周波数記録を実現する技術として特許文献１に記載されている。
【０００５】
可変フレーム周波数記録は、ＣＭ撮影や映画撮影などでよく利用される撮影技法であるが、上述のように、近年、可変フレーム周波数記録が可能な機器を一般ユーザも入手しやすくなってきている。
【０００６】
今後、上述のような高いフレーム周波数で記録したシーン再生時において、スローモーション再生として画像だけが表示出力されるのではなく、従来の実時間フレーム周波数撮影時と同じく、撮影区間の音声出力を聞きたいというユーザニーズが想定される。
【０００７】
しかしながら、映像のフレーム周波数と、音声データのサンプル周波数は通常異なっており、前記可変フレーム周波数撮影時に、映像のフレーム周波数が２倍や３倍のスピードになっても、音声データのサンプル周波数が対応して２倍、３倍とはならない。
【０００８】
そのため、可変フレーム周波数撮影時の音声データ記録を、通常のフレーム周波数撮影時と同じ方法で記録してしまうと、通常のフレーム周波数で再生した時、再生すべき音声サンプル数が不足し、ノイズ音や、不連続な細切れの音声出力、あるいは音程が本来とは変わった出力になってしまう等の問題が発生してしまう。
【０００９】
このような問題を解決し、可変フレーム周波数期間再生時の音声出力を実現する観点から、以下のような先行技術が考案されている。
【００１０】
特許文献２には、記録途中でフレーム周波数を変更して撮影した時、マイク等からの入力音声データではなく、ミュート音声に置換して記録するという手段が開示されている。
【００１１】
また、特許文献３には、可変フレーム周波数撮影時、実時間の入力音声を一時的にバッファした後にストリーム記録する。
【００１２】
そして当該可変フレーム周波数撮影したシーン再生時には、可変フレーム周波数期間の中央になるように音声出力位置をずらし、かつ前後の無音区間に、撮影時にユーザ設定された撮影モードに応じた効果音を挿入するという手段が開示されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００８−２８８９３４号公報
【特許文献２】特開２００６−３５２５８１号公報
【特許文献３】特開２００８−１５３７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献２、３のいずれにおいても、可変フレーム周波数撮影シーンの再生時の音声出力については、固定的な音声出力方式に限定されてしまい、必ずしもユーザが所望する最適な音声出力であるとは限らないという課題が生じる。
【００１５】
本発明では上述の点を鑑み、撮影記録した動画データのシーン内容に合わせて、可変フレーム周波数区間で最適な音声出力を実現することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の構成は、第一のフレーム周波数と、第一のフレーム周波数とは異なる第二のフレーム周波数で撮影した動画像データを、第一のフレーム周波数で表示再生する装置において、前記第一のフレーム周波数で撮影したシーン再生時に、当該撮影シーンの内容を解析する手段と、前記解析手段の結果に応じて、前記第二のフレーム周波数で撮影したシーン再生時の音声の出力方法を切り換える手段とを備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、第二のフレーム周波数で撮影したシーン再生時にシーン内容に適した音声出力を選択することができる。
【図面の簡単な説明】
【００１８】
【図１】動画像再生装置システム構成図である。
【図２】ソフトウェア機能ブロック図である。
【図３】映像情報データ構造例である。
【図４】映像解析部処理フローチャートである。
【図５】音声解析部処理フローチャートである。
【図６】出力音声切り替え制御フローチャートである。
【図７】ミュート音声出力動作タイミング図である。
【図８】話速変換出力動作タイミング図である。
【図９】出力位置遅延制御時の動作タイミング図である。
【図１０】動画像記録再生装置システム構成図である。
【図１１】ソフトウェア機能ブロック図である。
【図１２】出力音声方式情報生成処理フローチャートである。
【図１３】出力音声切り替え制御フローチャートである。
【図１４】出力音声切り替え動作タイミング図である。
【図１５】動画像記録装置システム構成図である。
【図１６】ソフトウェア機能ブロック図である。
【図１７】符号化用音声切り替え制御フローチャートである。
【図１８】符号化用音声切り替え動作タイミング図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態を図面に基づいて説明する。
【実施例１】
【００２０】
＜システム構成＞
図１には、本発明を適用する動画データ再生装置のシステム構成を示した。当該動画データ再生装置１００は、記録媒体１０１、媒体制御部１０２、ＤＲＡＭ１０３、メモリコントローラ１０４、マイコン１０５、ＲＯＭ１０６、ＲＡＭ１０７、音声解析部１０８、映像解析部１０９、映像復号部１１０、音声復号部１１１、映像出力部１１２、音声出力部１１３、操作受信部１１４、そしてシステムバス１１５から構成される。
【００２１】
以下、各ブロックの機能、およびブロック間のデータ経路、制御経路について説明する。本発明を適用する動画データ再生装置を構成する各ブロックは、システムバス１１５上に接続され、当該バスを介してブロック間での制御パラメタやデータ送受信を行うものとする。
【００２２】
システムバスの通信方式は、ＰＣＩ、ＬＶＤＳ，Ｉ２Ｃ等公知のバス規格、あるいは専用の内部バス方式を適用しても良く、動画像データのリアルタイムデコードと表示出力に必要十分な転送スピードとバス帯域を持っている方式であれば、本発明では特に限定しないものとする。記録媒体１０１は、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録媒体である。
【００２３】
記録媒体１０１では、撮影録画した符号化ストリームデータや、当該ストリームに関連づけられたコンテンツ管理情報、そしてマイコン１０５で使用するプログラムや、データ等を格納する。媒体制御部１０２は、前記記録媒体１０１とＤＲＡＭ１０３間での、高速なデータ書き込みや、読み出しを制御するブロックである。
【００２４】
マイコン１０５からの要求に基づいて、記録媒体１０１上の対応する物理アドレスへシークする制御や、読み込みデータのエラー訂正機能を有する。ＤＲＡＭ１０３は半導体メモリであり、符号化ストリームや復号画像データ、あるいは音声データ等、本システムを構成する各ブロックからの出力データを格納するためのブロックである。
【００２５】
メモリコントローラ１０４は、各ブロックからのＤＲＡＭ１０３へのデータ書き出しや読み込み要求に対して、アクセスするデータサイズや、各ブロックの優先順位に基づいて調停した上で、データの読み書き制御を行う。マイコン１０５は、本発明の動画データ再生装置を構成する各ブロックを制御するプロセッサである。
【００２６】
マイコン１０５には、読み出し専用のＲＯＭ１０６メモリと、読み書き可能なＲＡＭ１０７メモリが接続され、ＲＯＭ１０６とＲＡＭ１０７にはマイコン１０５を動作させる処理プログラムやデータが格納されている。音声解析部１０８は、音声データの周波数分布や音声ゲイン値を測定し、測定結果をマイコン１０５に通知する機能を有する。周波数分布測定は、本発明においては特に指定しないが、公知技術として適用されている時間方向で入力される音声サンプルのゲイン値を、周波数次元に変換する高速フーリエ変換等によって測定するものとする。また周波数分布を測定する帯域は、ヒトの可聴周波数帯域である２０Ｈｚから２００００Ｈｚ程度までとする。さらに、周波数分布測定を行うデータ長は、予め定めた所定の音声サンプル分で行うものとし、当該単位を、マイコン１０５から設定可能であることが望ましい。
【００２７】
映像解析部１０９は、画像データ中の顔領域検索を行う機能を有し、顔領域有無や検出領域情報を検出結果としてマイコン１０５へ通知する。顔検出に代表される被写体検出方法については、本発明においては特に限定しないが、パターンマッチング法における事前登録されたテンプレートとの類似度判定によって実現するものとする。また上記顔検出機能に加え、本発明を実現する上では必須の機能ではないものの、当該画像データ中の画素値の統計量（ヒストグラム）を算出し、特定の色域についての発生分布をマイコン１０５へ通知するようにしても良い。
【００２８】
映像復号部１１０は、記録媒体１０１から読み込んだ符号化ストリームから映像データを復号し、表示用のベースバンド画像データをＤＲＡＭ１０３に生成する。また本発明を実現する上では必須の機能ではないものの、上記映像復号部１１０において、復号対象ピクチャ中を占める動きベクトル量や、ベクトルの大きさを記憶保持可能な構成として備え、マイコン１０５に通知するようにしてもよい。
【００２９】
音声復号部１１１は、記録媒体１０１から読み込んだ符号化ストリームから音声データを復号し、再生出力音声データを生成する。
【００３０】
映像出力部１１２は、前記映像復号部１１０で復号されＤＲＡＭ１０３に蓄積されている表示画像データを読み出し、パネル等の表示デバイスへ出力する。音声出力部１１３は、前記音声復号部１１１で復号されＤＲＡＭ１０３に蓄積されている音声データを、スピーカやヘッドホン等へ出力する。また、本ブロック１１３では、マイコン１０５からの指示に基づき、非圧縮音声データに対して、無信号（ミュート）データに置換して出力する機能、時間軸圧縮伸長変換による話速変換処理を行ったデータを出力する機能、そして所定の音声サンプル時間遅延して出力する遅延制御機能を有するものとする。
【００３１】
操作受信部１１４は、リモコン操作やボタン押下、あるいはタッチパネル等のインタフェースによってユーザ操作を受信し、信号に応じた操作コマンドが発生したことをマイコン１０５に通知する。以上が、本発明を適用する動画データ再生装置のシステム構成と、当該装置を構成するブロックの説明である。
【００３２】
＜ソフトウェア構成＞
続いて図２に、本発明における第一の実施例で適用するソフトウェア構成図を示した。以下、同図を用いて、本発明の特徴となる各処理部の内容を説明する。なお特に断りのない限り、ソフトウェア処理の実行は、図１記載のマイコン１０５が、ＲＯＭ１０６またはＲＡＭ１０７に格納されているプログラムを順次読み出し、実行することで実現されるものとする。
【００３３】
フレーム周波数切り替え判断部２０１は、媒体制御部１０２を介して記録媒体１０１から読み出した再生対象のストリームデータについて、当該データにおいて第一のフレーム周波数から第二のフレーム周波数に切り替わったか否かを判断する。再生時のフレーム周波数の切り替わり判断を実現する方法としては、記録時において途中でフレーム周波数が切り替わった時、その旨を示す情報を符号化ストリーム中のユーザ定義領域、あるいは当該ストリームデータに関するメタデータ情報を別途管理情報として記録する。そして、再生時に当該メタ情報を１フレーム単位で映像復号部１１０から復号結果として受信する、あるいは記録媒体１０１より別途管理情報データを読み出して取得することでどの再生フレーム位置からフレーム周波数が変化したのかを判断する。これを受けて、第一のフレーム周波数から第二のフレーム周波数に切り替わった表示フレームタイミングを出力音声方式判断部２０４に通知する。
【００３４】
映像解析情報取得部２０２は、前記映像解析部１０９で行った被写体検出処理の処理結果として受け取った解析対象画像における顔画像有無、画面内における被写体領域の占有比率算出や、所定時間以上連続的に被写体検出されているか否かの判断を行う。上記の処理によって、画面内被写体比率と連続検出時間を被写体検出状態情報として、出力音声方式判断部２０４に通知する。
【００３５】
音声解析情報取得部２０３は、前記音声解析部１０８で行った、所定時間内での音声データの周波数分布や音声ゲイン値を処理結果として受け取り、所定閾値以上の音声ゲイン値有無検出、ヒトの発する音声周波数帯域での音声データが存在するか有無判定、さらには上記検出状態が連続的に続いているときの継続時間を計測する。出力音声方式判断部２０４は、前記フレーム周波数切り替え判断部２０１、映像情報解析部２０２、音声情報解析部２０３からの判断結果および解析結果に基づいて、再生中の動画像がどういうシーンであるかを判定する。
【００３６】
そして、シーン内容に応じて第二のフレーム周波数で撮影した動画像再生時に、音声出力をミュート音声として出力するか、話速変換出力するか、あるいは音声出力の開始時間を遅延させるかを決定し、出力音声方式設定部２０５に通知する。出力音声方式設定部２０５は、前記出力音声方式判断部２０４で決定した音声出力方式に基づいて、音声出力部１１３に対して各出力方式に基づいたパラメタ設定指示を行う。
【００３７】
ミュート音声出力設定時は、第二のフレーム周波数シーン再生開始時に、音声出力部１１３に対してミュート音声出力指示を設定する。そして、第一のフレーム周波数のシーンへ戻った時にミュート解除設定を行う。
【００３８】
話速変換出力設定時は、第二のフレーム周波数シーン再生開始時に、第一のフレーム周波数に対する第二のフレーム周波数の比に基づいて変換スピードを算出し、話速変換出力の開始指示とともに当該変換スピード値を設定する。話速変換方式は特に本発明では限定しないが、時間軸上の音声波形を近似的な周期パターン単位で繰り返し、重み付けによるオーバラップ処理を施して出力時間長を変化させる「時間スケール変換」等を採用するものとする。また、ミュート出力音声設定時と同様に、第一のフレーム周波数のシーンへ戻った時には話速度変換出力の停止設定を行う。
【００３９】
出力開始時間遅延設定時は、予め音声情報解析部２０３で取得した第二のフレーム周波数シーン中におけるピーク音声検出時間を、第一のフレーム周波数に対する第二のフレーム周波数の比に基づいて、実際の出力開始時間を算出する。前記出力開始時間の導出式は、下式（１）として表現することができる。
【００４０】
Ｔｓ＝Ｔ２＋ΔＴ×Ｆ２／Ｆ１−ΔＴ・・・（式１）
ここでＴｓは出力開始時間、Ｔ２は第二のフレーム周波数シーン開始時間、ΔＴは、第二のフレーム周波数シーン開始からピーク音声検出時間までのオフセット時間、Ｆ１は第一のフレーム周波数、Ｆ２は第二のフレーム周波数である。
【００４１】
そして、第一のフレーム周波数から第二のフレーム周波数へのシーン再生に切り替わってから前記出力開始時間になるまでミュート音声出力を指示し、出力開始時間になってからミュート解除とともに復号した音声データ出力を開始する。以上が、本発明を適用可能な動画データ再生装置のソフトウェア構成と、処理内容である。
【００４２】
なお、本発明を適用する上では前述の処理すべてをソフトウェア処理として実現する限定は無く、一部あるいはすべてをＬＳＩ等の布線論理によるハードウェア処理として置換しても良い。図３には、映像解析部１０９の検出結果を元に映像情報解析部２０２で生成し、管理する顔検出情報のデータ構造例（ａ）と、実際の表示画像と当該データ内容の対応関係（ｂ）を示した。顔検出情報は、撮影シーン毎に変わるので再生対象のシーン名によって識別可能とする。
【００４３】
当該シーンにおいて顔情報が検出された回数と、回数に応じてシーン中で検出開始された時間、継続的に検出された時間、そして検出された顔検出の領域座標をテーブル構造として記憶するものとする。これらの情報を記憶することによって、再生対象シーン中での顔検出の有無判断や、顔検出時の継続時間、画面内の顔領域の占有率を簡単に求めることが可能となる。
【００４４】
顔検出領域は、図３（ｂ）に示したような矩形領域として検出されるものとし、矩形領域の位置は、表示画像の左上の端点を始点とし、右下を終点とした水平方向のピクセル数と垂直方向のライン数による二次元座標系として扱う。画面全体における顔領域の占有率は、表示画面全体の面積に対する当該矩形領域の始点座標と終点座標から求めた面積比から算出するものとする。上記顔検出情報は、マイコン１０５に接続されたＲＡＭメモリ１０７またはＤＲＡＭメモリ１０３の所定領域に格納され、マイコン１０５から瞬時に読み出し可能なものとする。以上が、本発明を適用する動画像データ再生装置における、顔検出情報のデータ構造であるが、上記データフォーマットに限定するものではなく、同義の顔検出情報が定義されているものであれば実施可能である。
【００４５】
続いて、本発明の特徴となる映像情報解析部２０２と、音声情報解析部２０３、および出力音声方式判断部２０４における処理内容をフローチャートによって説明する。図４には、本発明の映像情報解析部２０２の動作フローチャートを示した。図５には、本発明の音声情報解析部２０３の動作フローチャートを示した。図６には、本発明の出力音声方式判断部２０４の動作フローチャートを示した。以下、順番に各解析部、判断部の動作フローを説明する。
【００４６】
＜映像情報解析部動作フロー＞
映像情報解析部２０２では、映像解析部１０９への顔検出実行開始や結果取得の制御を行い、結果に基づいた上述の映像情報データを作成、記憶する。当該解析処理は、解析対象となる非圧縮画像データを指定することで起動および実行されるものとする。映像情報解析部２０２では、はじめに顔画像の連続検出期間を導出する際に必要となる連続検出フレーム数を初期化する（ステップＳ４０１）。
【００４７】
続いて解析対象となる映像フレームの解析開始位置と終了位置を、当該解析処理の実行元となる出力音声方式判断部２０３より取得する（ステップＳ４０２）。開始位置および終了位置の単位は、復号後の画像データが格納されているＤＲＡＭメモリ１０３上のアドレス位置とし、当該位置アドレス情報を映像解析部１０９へ指定することによって、メモリ上に展開されている画像データの顔検出処理が実行されるものとする。
【００４８】
続いて、前記解析対象となるフレーム開始と終了位置に基づいて、すべてのフレーム画像に対して映像解析が完了したか否かを判断する（ステップＳ４０３）。全フレーム画像を処理した場合（ステップＳ４０３のＴＲＵＥ）はステップＳ４１２を、まだ解析対象の画像フレームがある場合（ステップＳ４０３のＦＡＬＳＥ）は、ステップＳ４０４を実行する。
【００４９】
ステップＳ４０４では、解析対象となるフレーム画像の格納位置を映像解析部１０９へ指定し、顔検出処理を実行する。顔検出処理の完了と結果を、システムバス１１５経由での割り込み通知や、レジスタ通知によって取得した後、当該解析対象フレームにおいて画面内に顔画像があったかどうかを判断する（ステップＳ４０５）。
【００５０】
当該判断処理において顔画像がある場合（ステップＳ４０５のＴＲＵＥ）は、ステップＳ４０５を実行し、顔画像が検出されなかった場合（ステップＳ４０５のＦＡＬＳＥ）はステップＳ４０９へ遷移する。ステップＳ４０５では、検出された顔画像について前記図３の顔情報データ構造の説明で述べた領域の始点と出演座標を元に、顔画像領域の面積を算出する。そして、前記顔画像領域の面積が、画面全体の面積に対して予め定めた閾値以上占有しているかを判断する（ステップＳ４０７）。
【００５１】
例えば水平解像度１９２０ピクセル、垂直ライン数１０８０ラインの画像を仮定した場合、その内、およそ水平・垂直方向で三分の一程度の解像度（６４０ｘ３６０）であれば、明らかに被写体を中心とした撮影であると推定される。このことから、前記閾値は１０〜２０％と設定することが好ましいものの、画面解像度や画面アスペクト比、さらには映像解析部１０９の検出精度に依存するため、本発明では特に当該閾値をいくつに設定するかは限定しないものとする。
【００５２】
ステップＳ４０７で求めた所定の占有率以上の顔領域が検出された場合（ステップＳ４０７のＴＲＵＥ）は、ステップＳ４０８を実行し、所定値未満の場合（ステップＳ４０７のＦＡＬＳＥ）はステップＳ４０９を実行する。ステップＳ４０８では、前記ステップＳ４０１で初期化した連続検出フレーム数を１フレーム期間分加算して更新する。また、初回の更新時においては、当該解析画像フレームを顔画像検出の開始フレーム時間として、前記映像情報データに検出開始時間を登録する。
【００５３】
一方、前記ステップＳ４０５およびステップＳ４０７においてＦＡＬＳＥ判定となった場合には、前記連続検出フレーム数が初期値であるか否かを元に、所定サイズ以上の顔検出の連続検出状態が途切れたことを判断する（ステップＳ４０９）。連続検出状態であった場合（ステップＳ４０９のＴＲＵＥ）は、当該画像フレームで顔検出の連続検出が途切れたと判断し、以降の映像情報データの登録と更新処理を行う。
【００５４】
映像情報データの更新では、前記連続検出フレーム数と現在のフレーム周波数より、顔検出の連続検出時間を登録する（ステップＳ４１０）。さらに、次の顔検出処理のために前記連続検出フレーム数を初期化した後、次の顔画像検出をステップＳ４０３に戻り繰り返す（ステップＳ４１１）。また、連続検出状態でない場合（ステップＳ４０９のＦＡＬＳＥ）は、ステップＳ４０３に遷移し、引き続き最後のフレームまで検出処理を繰り返す。ステップＳ４０３の判断処理で、最後フレーム画像まで映像解析が終わった場合（ステップＳ４０３のＴＲＵＥ）、終了処理として最終フレーム画像まで連続検出されていたかを判断する（ステップＳ４１２）。
【００５５】
ステップＳ４１２において、連続検出状態である場合（ステップＳ４１２のＴＲＵＥ）は、ステップＳ４１０と同様の更新処理を行い、ステップＳ４１４へ遷移する。最終フレーム画像到達時、連続検出状態でない場合（ステップＳ４１２のＦＡＬＳＥ）は、そのままステップＳ４１４を実行する。そしてステップＳ４１４では、ステップＳ４０２で指定されたフレーム区間において検出された顔画像情報を、当該解析処理の実行元となる出力音声方式判断部２０３へ結果として通知する。以上が、映像情報解析部の動作フローである。
【００５６】
＜音声情報解析部動作フロー＞
音声情報解析部２０３では、音声解析部１０８への音特解析実行開始や結果取得の制御を行い、結果に基づいた音声特性情報を記憶する。当該解析処理は、解析対象となる非圧縮音声データを指定することで起動および実行されるものとする。
【００５７】
音声情報解析部２０３では、はじめに所定ゲイン以上の音声サンプルの連続検出期間を算出するために必要な、連続検出音声サンプル数を初期化する（ステップＳ５０１）。続いて解析対象となる音声サンプルの解析開始位置と終了位置を、当該解析処理の実行元となる出力音声方式判断部２０３より取得する（ステップＳ５０２）。
【００５８】
開始位置および終了位置の単位は、復号後の音声データが格納されているＤＲＡＭメモリ１０３上のアドレス位置とし、当該位置アドレス情報を音声解析部１０８へ指定することによって、音声データのスペクトル解析を実行する。続いてステップＳ５０３では、再生対象ストリームがどの撮影モードで記録されたものかを判断するために、動画像データ管理情報あるいはストリームに埋め込まれているメタ情報から撮影モードを取得する。次に取得した撮影モードが、被写体として人物時に設定される可能性の高いポートレートやキッズモードであるかを判断する（ステップＳ５０４）。
【００５９】
ステップＳ５０４でＴＲＵＥの場合、撮影ユーザが、人物を中心とした被写体を撮影している可能性が高いことから、音声のスペクトル解析結果から判断する周波数帯域を、ヒトの声の周波数帯域、１００から９００Ｈｚとして設定する（ステップＳ５０４）。一方、ステップＳ５０５がＦＡＬＳＥの場合と、ステップＳ５０４の処理後は、ステップＳ５０６へ遷移する。
【００６０】
ステップＳ５０６では、撮影モードがスポーツモードや花火モード等、イベントに限定した撮影状況で設定されるモードであるかを判断する。スポーツモードで撮影されたシーンの場合（ステップＳ５０６のＴＲＵＥ）、検出音声ゲインの閾値を通常の話声や雑音などの６０デジベル程度から、８０〜１２０デジベル程度の高い値へ設定する（ステップＳ５０７）。これによりゴルフショットのインパクトや歓声等、一瞬の決定的瞬間に発生し得るシーンにだけ音声検出が行われるよう絞り込みを行えるようにする。一方ステップＳ５０５からステップＳ５０６を実行している場合や、それ以外のポートレートやスポーツモード以外の撮影モードは、ＦＡＬＳＥ判定となりステップＳ５０８へ進む。
【００６１】
続いて、前記解析対象となる音声データのサンプル開始と終了位置に基づいて、すべての音声データに対して映像解析が完了したか否かを判断する（ステップＳ５０８）。全音声サンプルの周波数分布特性を処理した場合（ステップＳ５０８のＴＲＵＥ）はステップＳ５１６を、まだ解析対象の音声データがある場合（ステップＳ５０８のＦＡＬＳＥ）は、ステップＳ５０９を実行する。音声データのスペクトル解析を、解析対象となる音声データのサンプル開始位置と終了位置、および検出する音声ゲインの閾値を音声解析部１０８へ指定し、スペクトル解析を実行する（ステップＳ５０９）。この時、測定単位は解析対象時間すべてを内蔵のメモリに保持することが可能であれば、全音声データ一括でスペクトル解析可能だが、本発明においてはリアルタイム特性である必要はないため、数ミリ秒から数秒単位の音声サンプル周期で良いものとする。
【００６２】
同様に検出ゲインの閾値についても、３０デシベルから１２０デシベル程度の日常生活の中で発生し得る音圧レベルの範囲で設定可能とし、通常は６０デジベル程度に設定するものとするが、条件に応じで前記ステップＳ５０７の設定値変更も可能とする。
【００６３】
これら設定パラメタに応じて当該音声サンプル期間でスペクトル解析を行った結果を、マイコン１０５に測定終了と同時に通知する。ステップＳ５１０では、スペクトル解析の結果，ステップＳ５０９で指定した音声データ測定範囲において、予め定めた所定閾値以上の音声ゲイン有無を判断する（ステップＳ５１０）。
【００６４】
所定値以上の音声ゲインを持つ音声データがあった場合（ステップＳ５１０のＴＲＵＥ）は、ステップＳ５１１を実行し、所定値未満の音声データしかなかった場合（ステップＳ５１０のＦＡＬＳＥ）は、ステップＳ５１３を実行する。続いてステップＳ５１１では、前記ステップＳ５１０で検出された音声データが、予め定めた音声帯域範囲内にある音声であるかを判断する。ここで使用する予め定めた音声帯域には、ステップＳ５０４で設定変更した帯域値を適用することで、ヒトの声がシーン中に含まれる否かの絞り込みが可能となる。
【００６５】
ステップＳ５０４による検出帯域の設定値変更が無い場合は、音声スペクトル解析で掃引した全周波数帯域について、予め定めた撮影シーンに応じた音声帯域や、データベースとして記憶保持した花火やスイングショット、歓声等の音声スペクトルとのパターン比較を行うことによって、本ステップの判断を行う。上記判断方法によって、所定の周波数帯域内に含まれる音声データであった場合（ステップＳ５１１のＴＲＵＥ）は、ステップＳ５１２での連続検出時間の更新処理を行い、検出帯域内でない場合（ステップＳ５１１のＦＡＬＳＥ）は、ステップＳ５１３を実行する。
【００６６】
ステップＳ５１２では、前記ステップＳ５０１で初期化した連続検出音声サンプル数を、ステップＳ５０９での測定期間分加算して更新する。また、初回の更新時においては、当該測定開始音声サンプル位置から検出開始時間を算出し記憶する。一方、前記ステップＳ５１０およびステップＳ５１１においてＦＡＬＳＥ判定となった場合には、前記連続検出音声サンプル数が初期値であるか否かを元に、連続検出状態が途切れたことを判断する（ステップＳ５１３）。連続検出状態であった場合（ステップＳ５１３のＴＲＵＥ）は、当該測定音声データの単位で、特定周波数帯域での所定ゲイン以上での連続検出が途切れたと判断し、以降の連続検出時間情報の更新処理を行う。
【００６７】
音声情報の更新では、前記連続検出音声サンプル数と音声のサンプリング周波数より、所定ゲイン、所定周波数帯域での音声データ連続検出時間を登録する（ステップＳ５１４）。さらに、次の音声データ検出処理のために前記連続検出音声サンプル数を初期化した後、次の音声データのスペクトル解析をステップＳ５０８に戻り繰り返す（ステップＳ５１５）また、連続検出状態でない場合（ステップＳ５１３のＦＡＬＳＥ）は、ステップＳ５０８に遷移し、引き続き最後の音声データまでスペクトル解析と検出処理を繰り返す。
【００６８】
ステップＳ５０８の判断処理で、最後音声データまでスペクトル解析と検出判定処理による音声解析が終わった場合（ステップＳ５０８のＴＲＵＥ）、終了処理としてステップＳ５１６を実行する。ステップＳ５１６では、所定の音声ゲインの有無および、音声ゲイン値とその継続時間を解析結果として、当該音声解析処理の実行元となる出力音声方式判断部２０３へ結果として通知する。以上が、音声情報解析部の動作フローである。
【００６９】
＜出力音声方式切り替え動作フロー＞
続いて、出力音声判断部２０４の動作を説明する。出力音声方式判断部２０４は、前述の映像情報解析部２０２と、音声情報解析部２０３からの結果と、フレーム周波数切り替え判断部２０１によるフレーム周波数切り替わりタイミングを元に、再生中の動画像がどういうシーンであるかを判定する。当該判断動作は、本発明の動画再生装置の電源投入後に起動され、記録済みの再生データが記録媒体に蓄積されていて、かつメニュー画面表示による再生待機状態である場合や、撮影シーンの再生中は、常時実行されるものとする。
【００７０】
出力音声方式判断部２０５では、はじめに現在の再生装置の動作モードを取得する（ステップＳ６０１）。動作モードとしては、電源スタンバイ状態、再生状態、再生待機状態、その他メニュー操作状態等、動画プレイヤーとして必要なモードを備えているものとする。上記動作モードが、再生状態であるかをステップＳ６０２で判断し、再生状態である場合（ステップＳ６０２のＴＲＵＥ）はステップＳ６０３を、再生状態以外の場合（ステップＳ６０２のＦＡＬＳＥ）は、ステップＳ６０４に進む。そしてステップＳ６０３では、現在再生中の動画ストリームについて、第一のフレーム周波数で記録したシーンの再生か否かを判断する。当該判断ステップでは、再生中の画像フレーム周波数がどちらであるかを、前記フレーム周波数切り替わり判断部２０１において判断した結果を用いるものとする。
【００７１】
第一のフレーム周波数のシーン再生中（ステップＳ６０３のＴＲＵＥ）は、ステップＳ６０６を実行し、第二のフレーム周波数のシーン再生に切り替わった時（ステップＳ６０３のＦＡＬＳＥ）は，ステップＳ６０８を実行する。ステップＳ６０２でＦＡＬＳＥとなった状況は、コンテンツのメニュー画面等、再生以外の状態の場合であり、ユーザがまだ再生対象シーンを選択していないケースである。本実施例では、上記再生待機状態において、予め第二のフレーム周波数で記録したシーンのみを画面表示や音声出力を伴わないバックグラウンド処理として復号および、シーン特性解析を行うものとする。第二のフレーム周波数で記録したシーンの開始位置と終了位置は、前記フレーム周波数切り替わり判断部２０１より取得するものとし、ステップＳ６０４では前述の音声解析処理を、第二のフレーム周波数シーンに対して実行する。
【００７２】
ステップＳ６０４の処理実行後は、再度動作モード取得のステップＳ６０１に戻り、ユーザ操作によるコンテンツ再生が行われるまで繰り返す。また、ステップＳ６０４によるバックグラウンド処理は、メニュー表示を行っている全シーンに対して事前解析を行っても良いし、再生選択のフォーカスが当たっているコンテンツだけに行っても良く、再生開始時の出画レスポンスに応じて適宜変更可能とする。
【００７３】
ステップＳ６０３でＴＲＵＥ判定となった場合は、動画コンテンツの再生が始まり、第一のフレーム周波数で撮影したシーンの再生中であることを表す。第一のフレーム周波数シーン再生中は、前述のステップＳ６０４と異なり、現在表示出力および音声出力しているデータについて前述のシーン特性解析を行うものとする。シーン特性解析の内容としては、前記ステップＳ６０４と同様に第一のフレーム周波数で記録したシーンの開始位置と終了位置を、前記フレーム周波数切り替わり判断部２０１より取得する。そして、第一のフレーム周波数シーンに対して映像解析処理と（ステップＳ６０５）、音声解析処理（ステップＳ６０６）を実行するものとする。
【００７４】
ステップＳ６０５とＳ６０６の処理実行後は、再度動作モード取得のステップＳ６０１に戻り、第二のフレーム周波数シーン再生が行われるまで上記ステップを繰り返す。続いて、ステップＳ６０３のＦＡＬＳＥ判定となった場合は、第一のフレーム周波数から第二のフレーム周波数のシーンに切り替わったタイミングである。ここで前記ステップＳ６０４において、予め解析した第二のフレーム周波数シーンにおいて、特徴的なピーク値を持つ音声データが検出されたか有無判定を行う（ステップＳ６０７）。
【００７５】
特徴的なピーク値を持つ音声データがあった場合（ステップＳ６０７のＴＲＵＥ）は、第二のフレーム周波数で撮影したシーン内に、ゴルフショットのインパクトや花火の破裂音、あるいは歓声等のシーンを特徴づける決定的な瞬間があった可能性が高いと推定される。以後、ステップＳ６１０に進み、音声出力の遅延設定を選択し本判断処理を終了する。
【００７６】
一方、そのようなピーク値をもつシーンではなかった場合（ステップＳ６０７のＦＡＬＳＥ）は、第一のフレーム周波数で撮影したシーンでのシーン解析結果による出力音声方式に切り替える。ステップＳ６０８では、上述のステップＳ６０５で取得した映像情報データを参照し、第一のフレーム周波数で撮影したシーン中に顔画像データが所定時間以上継続して存在したかを判断する。所定時間以上の継続検出判断は、前述の映像解析情報の検出時間が、第一のフレーム周波数で撮影したシーン再生時間と同じである場合に、ＴＲＵＥと判断するものとする。ただし、途中から被写体として顔画像が画面内入ってくる可能性もあるため、数秒から数十秒程度連続して顔検出がなされた場合を、ＴＲＵＥと判断しても良い。
【００７７】
上記判断方法によって、顔画像検出が連続して行われていない場合は、ＦＡＬＳＥと判断してステップＳ６１２のミュート音声出力設定を選択する。ステップＳ６０８でＴＲＵＥ判定となった場合はステップＳ６０９へ進み、さらに前記音声解析情報を参照した判断処理を行う。当該判断処理では、前記ステップＳ６０６で取得した音声解析情報を参照し、第一のフレーム周波数で撮影したシーン中において、ヒトの声の周波数帯域に含まれる音声ゲインが所定時間継続して存在したかを判断する。本ステップにおいてヒトの声の周波数帯域での音声データがある場合（ステップＳ６０９のＴＲＵＥ）、上述の判断分岐よりユーザは被写体として人物を中心とした撮影をしており、かつその被写体が話者として話しているシーンであると推定される。
【００７８】
本発明では、このようなシーンにおいて可変フレーム周波数で撮影した場合も、視聴者は撮影映像に同期した同じ音程の音声データ出力を望むものと判断し、話速変換出力を出力方式として選択して処理を終了する（ステップＳ６１１）。
【００７９】
一方、顔画像が所定期間以上に第一のフレーム周波数シーンに含まれるものの、音声データとしてはヒトの声以外の周波数分布を持っていたり、所定ゲイン値を超えるものが無いケースは、再生時に音声出力を必ずしも必要とはしていないシーンであると判断する。以上の判断理由より、ステップＳ６０９がＦＡＬＳＥ判定した場合は、ステップＳ６１２に進みミュート音声出力設定を選択して処理を終了する。以上が、出力音声方式判断部の動作フローである
続いて、第一のフレーム周波数を３０フレーム毎秒、第二のフレーム周波数を６０フレーム毎秒として、シーン途中で３０フレーム毎秒から６０フレーム毎秒へフレーム周波数切り替えた時、上述の動作フローに基づいて映像情報解析と音声情報解析結果から各音声出力方式が時間経過と共に切り替わるタイミングの一例を示した。以下、本発明において採用する三種類の出力方式について各図を用いて説明する。
【００８０】
＜ミュート音声出力動作例＞
図７には、上述のシーン解析により第二のフレーム周波数で撮影したシーンの再生時、音声出力をミュート音声出力に切り替えた時の再生動作例を示した。本図の例では、図中７０１のような風景を撮影画像としているケースを想定しており、前述の映像情報解析部の処理結果として、第一および第二のフレーム周波数で撮影したシーン（図中の７０３および７０４）期間に渡って、顔検出が行われなかったものとする。
【００８１】
さらに７０５および７０６の記録音声に対する周波数分布を、前記音声情報解析部において測定した結果が、図中の７０２のように、どの周波数帯の音声データも閾値未満の音声ゲインであり、撮影シーンとして有意な音声データが含まれていないと判断される。
【００８２】
これら解析判断結果により、３０フレーム毎秒で撮影したシーンの映像出力（７０３）および音声出力（７０５）が終わった後、６０フレーム毎秒で撮影したシーンの映像出力（７０４）は継続して表示出力するが、実際の記録音声（７０６）は、当該シーン再生中はミュート音声を出力する（７０７）。以上が、本発明によるシーン解析および出力音声方式切り替えによって、記録音声をミュート音声出力に差し替えた場合の映像および音声出力動作の遷移例である。
【００８３】
＜話速変換音声出力動作例＞
図８には、上述のシーン解析により第二のフレーム周波数で撮影したシーンの再生時、音声出力を話速変換出力に切り替えた時の再生動作例を示した。本図の例では、図中８０１の被写体として人物を中心として撮影しているケースであり、前述の映像銃砲解析部の処理結果として、イメージとして画面上に矩形で囲んだ領域８０２に対応する顔画像検出が、所定時間以上行われているものとする。
【００８４】
また、当該映像シーンに対応する８０６および８０７の区間の記録音声を音声解析した結果としても、音声スペクトル８０３として、網掛けした領域に相当するヒトの声の周波数帯域（８０４）で、閾値を超える音声ゲインを検出したと判断される。
【００８５】
上記二つの解析結果より、第一のフレーム周波数のシーンにおいて、明らかに人物を被写体とした撮影が行われており、かつ当該被写体が話者として話す音声内容を記録していると判断できるため、再生時においても当該音声データの出力継続することが好ましい。
【００８６】
このことから、第一のフレーム周波数シーンから、第二のフレーム周波数シーンに切り替わった時、記録音声データは８０５の出力終了後、第二のフレーム周波数撮影時の記録音声データ８０６を元に話速変換処理を行った音声データ８０７を出力する。以上が、本発明によるシーン解析および出力音声方式切り替えによって、記録音声を話速変換した後に出力する場合の映像および音声出力動作の遷移例である。
【００８７】
＜出力遅延音声出力制御動作＞
続いて、図９には、上述のシーン解析により第二のフレーム周波数で撮影したシーンの再生において、記録音声を遅延させて出力する動作例を示した。本図の例では、図中９０１のようなゴルフショットを撮影画像としているケースを想定している。この時、当該動画ファイルがまだ再生されていない時点で、予め第二のフレーム周波数で撮影したシーン（図中の７０４および９０５）期間における音声データの音声情報解析を行い、その結果として図中９０２に示した音声スペクトルが得られるものとする。
【００８８】
上記スペクトルより第二のフレーム周波数で撮影した音声データにおいて、ゴルフインパクト時の発生音など特徴的な音声帯域で所定ゲイン値以上の音声データ（９０３）が検出された場合、７０４の映像シーンはインパクトの決定的瞬間を撮影したものと考えられる。このことから第二のフレーム周波数シーンの再生時に、映像データ７０４と、対応する記録音声９０５をそのまま出力するのはなく、インパクトの決定的瞬間に映像と音声出力が同期していることが望ましい。
【００８９】
上記機能を実現するために、上述出力音声方式設定部２０５において、式１に基づくピーク音声検出位置から、第二のフレーム周波数シーン再生時の出力開始時間を算出する。そして第一のフレーム周波数から第二のフレーム周波数シーン再生に切り替わった時、そのまま記録音声９０５を出力せず、前記算出値を元に所定時間分遅延（９０６）させてから音声出力を行う。以上が、本発明によるシーン解析および出力音声方式切り替えによって、記録音声を所定時間遅延させてから出力する場合の映像および音声出力動作の遷移例である。
【実施例２】
【００９０】
実施例１では、第一のフレーム周波数で撮影した期間のシーンに対して顔画像情報と音声情報の解析を行い、第二のフレーム周波数で撮影したシーン再生時にシーン内容に適した音声出力を行う方法を説明した。実施例２では、撮影するフレーム周波数モードを予め設定する手段を具備し、実施例１の出力音声方式判断部におけるシーン解析を再生動作時だけではなく、待機状態あるいは記録動作中において制御することを、さらに異なる動作として実施する。
【００９１】
これにより、第二のフレーム周波数で撮影するモード選択の記録待機状態で、顔画像情報と音声情報を解析するようにし、第二のフレーム周波数で最初から記録開始したシーンの再生時でも、シーン内容に適した音声出力を選択することを実現する。
【００９２】
以下、本発明の第二の実施形態について、図を用いて説明する。なお、第二の実施例の説明において、上述した第一の実施例と共通する部分については、同一の符号を付して適宜説明を省略する。
【００９３】
＜システム構成＞
第二の実施例を適用可能な画像記録再生装置のシステム構成、図１０に示した。当該動画データ記録再生装置１０００は、実施例１のブロックに加えて、映像符号化部１００１、音声符号化部１００２、撮像部１００３、音声入力部１００４から構成されることを特徴とする。映像符号化部１００１は、撮像部１００３から入力された画像データに対して例えばＭＰＥＧのようなＤＣＴと動き予測による、空間方向と時間方向の画像情報圧縮を施すものとする。音声符号化部１００２は、音声入力１００４から入力された時間領域の音声データに対して、ＭＤＣＴ（変形離散コサイン変換）による直交変換を施し、変換領域で聴覚特性に利用した情報の圧縮を行う。
【００９４】
撮像部１００３は、ＣＣＤやＣＭＯＳなどのイメージセンサ、ＡＧＣ、ＡＤ変換器を備えレンズによって結像された光学像を電気信号に変換するとともに、ＡＤ変換し画像データを生成する。音声入力部１００４は、マイク端子から入力された音声信号を所定のサンプリング周波数でＡＤ変換と、量子化を行ったＰＣＭ音声データを生成する。その他のブロック機能については、第一の実施例と同様であるため説明を省略する。
【００９５】
＜ソフトウェア構成＞
続いて当該記録再生装置において、第二の実施例を適用可能なソフトウェア機能ブロック図を、図１１に示した。ソフトウェア機能としては、実施例１のソフトウェア機能に対して、フレーム周波数モード取得部１１０１、出力音声方式判断部１１０２、出力音声方式情報記録部１１０３、そして出力音声方式情報取得部１１０４とを新たに機能ブロックとして追加し、記録時と再生に異なる処理として実行することを特徴とする。
【００９６】
フレーム周波数モード取得部１１０１は、記録再生装置１０００に備えられたボタンやスイッチ操作あるいは、ＧＵＩメニュー設定による撮影時のフレーム周波数モードを、図１０に示した操作受信部１１４より取得する。本実施例では、撮影可能なフレーム周波数として３０フレーム毎秒と６０フレーム毎秒の二つを選択可能なモードとしているが、撮像素子やセンサ性能に応じて、この他に１２０フレーム毎秒や２４０フレーム毎秒等の高速フレーム周波数まで対応しても良い。
【００９７】
また、前記操作受信部１１４より取得したフレーム周波数モード値は、異なるモード設定値に切り替えられるまでは当該取得部１１０１において記憶保持しており、再電源投入時においても、その値を保持するものする。出力音声方式判断部１１０２は、記録待機状態において実行され、前記フレーム周波数モード取得部１１０１から通知された、現在選択中の周波数モード設定値を取得する。前記周波数モード設定値が実時間のフレーム周波数と異なる時、前述の実施例１と同様に、映像情報解析部２０２、音声情報解析部２０３からの判断結果および解析結果に基づいて、再生中の動画像がどういうシーンであるかを判定する。
【００９８】
そして、シーン内容に応じて第二のフレーム周波数で撮影した動画像再生時に、音声出力をミュート音声として出力するか、話速変換出力するか、あるいは音声出力の開始時間を遅延させるかを決定し、出力音声方式設定部１１０３に通知する。出力音声方式情報取得部１１０３は、前記出力音声方式判断部１１０２の判断結果に基づき、どの出力方式で第二のフレーム周波数シーン再生時に音声出力するかの識別情報を生成し、ハードディスクやフラッシュメモリなどの不揮発メモリに記録する。
【００９９】
尚実施例においては前記識別情報のフォーマットについては、詳細を記載しないがミュート出力時をゼロ、話速変換出力時を１、遅延出力時を２等の一意の数字になるように定義し、一連の記録開始から停止まで撮影シーン毎にメタ情報として記録するものとする。
【０１００】
そして、出力音声方式情報取得部１１０４において、再生中に記録媒体読から前記識別情報を読み出し、当該識別情報に応じて、実施例１と同様に出力音声方式設定部２０４に通知する。
【０１０１】
識別情報読み出しのタイミングは、第二のフレーム周波数シーン再生前であればいつでもよく、フレーム周波数切り替え判断部２０１で保持するフレーム周波数切替り時間から遡って、所定のタイミングで行うようしても良い。
【０１０２】
このように、音声出力方式の判断を記録待機状態に実施することで、再生時には判断結果を参照するだけで良く、シーンの最初から第二のフレーム周波数で撮影したシーンにおいても最適なシーン解析による音声出力が実現できる。その他、ソフトウェアブロックについては、実施例１と同様であるため、説明を省略する。
【０１０３】
続いて、本発明第二の実施例を実施する上で特徴となる、出力音声方式判断部１１０２、出力音声方式情報記録部１１０３と、出力音声方式情報取得部１１０４における処理内容をフローチャートによって詳細を説明する。
【０１０４】
図１２には、前記出力音声方式判断部１１０２と出力音声方式記録部１１０３の動作フローを、図１３には出力音声方式取得部１１０４の動作フローを示した。以下、それぞれのフローについて説明する。
【０１０５】
＜前記出力音声方式記録動作フロー＞
出力音声方式判断部１１０２および記録部１１０３では、記録待機状態あるいは記録状態において、撮像部からの入来画像に対してシーン解析を行い、前記出力音声方式識別情報を作成する。当該記録動作は、本発明の動画記録再生装置の電源投入状態において、ユーザ操作による動作モードの変化があった場合や、所定の時間間隔で周期起動されるタイマ処理として起動、実行されるものとする。
【０１０６】
出力音声方式判断部１１０２では、はじめに前記フレーム周波数モード取得部１１０１より、撮影時のフレーム周波数モードを取得する（ステップＳ１２０１）。続いてステップＳ１２０２では、現在の記録再生装置の動作モードが、記録待機状態であるか否かを判断し、待機状態である（ＴＲＵＥ）場合はステップＳ１２０２を実行し、それ以外の動作状態の場合（ＦＡＬＳＥ）はステップＳ１２１１へ進む。
【０１０７】
ここで記録待機状態とは、撮像部からのカメラスルー画像が、ファインダやパネル等の表示出力に表示されており、ＲＥＣボタンなどのユーザ操作直後から、映像音声の符号化と記録媒体への動画データ書き込み可能な状況を指す。記録待機状態である場合（ステップＳ１２０２）は、カメラスルー画像およびマイク入力音声に対する解析処理が必要か、前記ステップＳ１２０２で取得したフレーム周波数モードが、第二のフレーム周波数であるか判断する（ステップＳ１２０３）。
【０１０８】
第二のフレーム周波数でない場合（ステップＳ１２０３のＦＡＬＳＥ）は、現在のフレーム周波数モードが第一のフレーム周波数での撮影モードであり、映像解析と音声解析は不必要と判断されることから、再度ステップＳ１２０１に戻る処理を繰り返す。一方、第二のフレーム周波数である場合（ステップＳ１２０３のＴＲＵＥ）は、ステップＳ１２０３において、既に前記出力音声識別情報の作成済みであるかを判断し、以降の判断処理による当該識別情報の上書きを防ぐ。
【０１０９】
前記識別情報が作成済みの場合（ステップＳ１２０３のＦＡＬＳＥ）は、ステップＳ１２０１に戻り、記録待機状態以外の状態を経て当該判断処理を終了するまで繰り返す。識別情報がまだ作成されていない場合（ステップＳ１２０３のＴＲＵＥ）は、撮像部から入力されてくるカメラスルー画像に対する映像解析処理（ステップＳ１２０５）と、マイク等の音声入力部からの音声データに対する音声解析処理（ステップＳ１２０６）を行う。
【０１１０】
以降、顔画像サイズが所定値以上であるかの判断ステップ（Ｓ１２０７）は、実施例１のステップＳ６０８と同義であり、同様に音声データの周波数数帯域判断ステップ（Ｓ１２０８）は、実施例１のステップＳ６０９と同じである。上記判断ステップによる判断結果に基づいて、実施例１においては音声出力部１１３に対する出力方式に応じたパラメタ設定を行うが、実施例２では各出力方式に応じて、前記出力音声方式識別情報のみを作成し記録する。
【０１１１】
ステップＳ１２０９では、第二のフレーム周波数シーン再生時における音声出力方式としてミュート音声方式を採用する識別情報を記録し、ステップＳ１２１０では話速変換方式を採用する識別情報を記録する。前記識別情報作成後は、ステップＳ１２０１に戻り、記録待機状態以外の状態を経て当該判断処理を終了するまで繰り返す。尚、当該識別情報は、記録状態にけるシーン解析で出力遅延方式を採用した方が良いと判断された場合、これを優先し、識別情報を上書きすることを許すものとする。
【０１１２】
一方、ステップＳ１２０２の現在の動作モード判断ステップで、ＦＡＬＳＥとなった場合は、ステップＳ１２１１にて、さらに記録状態であるか否かを判断するステップを実行する。本判断ステップにおいて記録状態である場合（ステップＳ１２１１のＴＲＵＥ）は、ステップＳ１２１２を実行し、それ以外の電源断や再生モードへの切り替わりが発生した場合（ステップＳ１２１１のＦＡＬＳＥ）には、本判断処理を終了する。ステップＳ１２１１では、前記ステップＳ１２０１で取得した記録時のフレーム周波数モード設定値を参照し、現在記録中の動画データが第二のフレーム周波数であるかを判断する。
【０１１３】
第二のフレーム周波数である場合（ステップＳ１２１２のＴＲＵＥ）は、撮影シーンで決定的瞬間時に発生する音声検出を行うために、現在撮影中の音声データに対する解析処理を、録画動作中常時行う（ステップＳ１２１３）。第二のフレーム周波数でない場合（ステップＳ１２１２のＦＡＬＳＥ）は、現在記録中お撮影シーンは第一のフレーム周波数で記録されているものであり、再生時に本発明の出力音声方式切替え処理が不要のため、本判断処理を終了する。
【０１１４】
ステップＳ１２１４では、前記音声解析の結果、現在録画中の第二のフレーム周波数シーンで、特徴的なピーク音を検出したか否かを判断する。ピーク音が検出された場合（ステップＳ１２１４のＴＲＵＥ）は、当該ピーク検出位置と再生時の映像フレームが同期するように出力音声遅延制御方式を採用するよう、前記出力音声方式識別情報を作成する（ステップＳ１２１５）。当該ステップは、上述のステップＳ１２０９や１２１０において既に識別情報が作成済みであった場合でも、優先的に上記遅延出力方式を採用するよう更新するものとする。以上の処理の後、当該出力音声方式判断と識別情報記録動作を終了する。
【０１１５】
一方、ピーク音が未検出の場合（ステップＳ１２１４のＦＡＬＳＥ）は、ステップＳ１２１１に戻り、記録停止状態、あるいは決定的瞬間による音声ピーク検出がある場合まで、現在撮影中のシーンに対する前記音声解析を繰り返す。
【０１１６】
＜出力音声方式切り替え動作フロー＞
出力音声取得部１１０４では、記録待機状態あるいは記録状態の出力音声方式判断部において作成した識別情報に基づいて、実際に第二のフレーム周波数シーン再生時に音声方式を切り替える処理を行う。当該記録動作は、本発明の動画記録再生装置の電源投入状態において、ユーザ操作による動作モードの変化があった場合や、所定の時間間隔で周期起動されるタイマ処理として起動、実行されるものとする。
【０１１７】
当該取得動作は、本発明の動画記録再生装置の電源投入後に起動され、記録済みの再生データが記録媒体に蓄積されていて、かつメニュー画面表示による再生待機状態や、撮影シーンの再生中は、常時実行されるものとする。出力音声方式取得部１１０４は、はじめにフレーム周波数切り替え判断部２０１より現在再生しているシーンのフレーム周波数を判断する（ステップＳ１３０１）。
【０１１８】
ステップＳ１３０１において、第一のフレーム周波数である間はＦＡＬＳＥ判定となり、フレーム周波数が変化するまで繰り返す。そして、第一のフレーム周波数から第二のフレーム周波数に切り替わったタイミング（ステップＳ１３０１のＴＲＵＥ）で、ステップＳ１３０２を実行し前記出力音声方式識別情報があるかどうかを判断する（ステップＳ１３０２）。
【０１１９】
本実施例において、第ニのフレーム周波数シーン再生時に当該識別情報が無い場合は（ステップＳ１３０２のＦＡＬＳＥ）、当該記録再生装置以外の外部の記録装置で記録された動画データの再生動作であると推定され、再生時にノイズ音や復号エラーを発生してしまう可能性があるため、ミュート音声出力処理を優先的に行うよう制御する。一方、前記識別情報が定義されている場合は（ステップＳ１３０２のＴＲＵＥ）、ハードディスクやフラッシュメモリなどの不揮発メモリより読み出し、所定のフォーマットで定義される識別情報の内容を内蔵メモリに展開する（ステップＳ１３０３）。
【０１２０】
そして当該識別情報が、どの出力音声方式に対応する値であるかを、ステップＳ１３０４およびステップＳ１３０５によって逐次判断し、対応する音声出力制御を実行する。当該識別情報が、遅延出力方式を表す値である場合は（ステップＳ１３０４のＴＲＵＥ）、ステップＳ１３０８に進み、実施例１のステップＳ６１０と同様の遅延出力設定を行う。
【０１２１】
また、話速変換方式を表す設定値である場合は（ステップＳ１３０５のＴＲＵＥ）、ステップＳ１３０７に進み、実施例１のステップＳ６１１と同様の話速変換出力設定を行う。
【０１２２】
上記以外の設定値である場合は、ステップＳ１３０６に進み、実施例１のステップ６１２と同様のミュート音声出力設定を行う。そして、以上の各設定値に応じた出力音声制御の後、当該取得処理を終了する。以上が、本発明による第二の実施例による処理フローである。
【０１２３】
＜出力音声方式情報を用いた動作例＞
続いて図１４に、上述の動作フローに基づく、記録時においてシーン解析を行い再生時の出力音声方式を判断記憶し、再生時には当該方式情報を取得して動作する記録再生装置の表示出力例を示した。本図では話速変換出力を第二のフレーム周波数シーン再生時に行う例を示したが、ミュート音声出力や、出力遅延制御方式も同様である。図中の記録動作時（ａ）においては、電源投入あるいは撮影モード切り替えが行われたタイミングから、ユーザによる可変フレーム周波数撮影モード設定が行われたタイミングまでの時間をｔ１、可変フレーム周波数モード設定から実際に録画を開始するまで時間をｔ２としている。
【０１２４】
ｔ１およびｔ２の区間は、記録再生装置としては記録待機状態であり、図中に示したマイク音声入力やカメラスルー画像入力があるものとする。本発明の出力音声方式識別情報の作成は、ユーザによる可変フレーム撮影モードに切り替わったｔ１からｔ２へ切り替わったタイミングから開始される。本図の場合はｔ２の期間のカメラ画像において、実施例１の図８と同じ撮影画像および入力音声のスペクトルが得られ、所定サイズ以上の顔画像とヒトの声の周波数帯域での音声ゲインを継続的に検知していることから、話速変換方式の適用を決定する。
【０１２５】
この時に、前記出力音声記録部１１３の動作に従い、出力音声方式識別情報を話速変換方式とする設定値にして記録する。その後、第二のフレーム周波数での撮影記録がｔ３の期間行われ、一連の記録動作を終える。図中（ｂ）は、前記記録動作で撮影したシーンの再生動作であり、第二のフレーム周波数で実時間上ｔ３期間撮影したシーンに相当する。
【０１２６】
再生時には、第ニのフレーム周波数周波数は図中のように３０フレーム枚秒の２倍、６０フレーム枚秒の周波数で記録しているので、再生時間はｔ３×２となる。当該シーン再生時は、出力開始直前で前記出力音声方式取得部１１０４の処理にしたがった、出力音声方式識別情報が話速変換方式であることを事前に判断する。
【０１２７】
これによって、最初から第二のフレーム周波数で撮影したシーンであっても、ｔ３×２の区間、フレーム周波数に応じた記録音声の話速変換した音声データの出力が実現できる。以上が、本発明による記録待機状態にシーン解析と出力音声方式の判断による識別情報の作成を行い、再生時に当該識別情報に基づく映像および音声出力動作の遷移例である。
【実施例３】
【０１２８】
実施例２では、撮影するフレーム周波数モードを予め設定し、当該設定モードに応じて待機状態あるいは記録動作中においてシーン解析を行い、当該シーン再生時に出力音声方式を切り替える方法を説明した。実施例３では、動画記録撮影時に動作中のフレーム周波数モードに応じて、シーン解析を常時行い、第一のフレーム周波数から第二のフレーム周波数に切り替わった時点で、符号化ストリーム中の音声データを、ミュート音声、話速変換音声、あるいはタイミング遅延させた音声に差し替えて記録することを、異なる動作として実施する。
【０１２９】
これにより、本発明による可変フレーム周波数撮影した動画データの再生時に、動画データ記録を行った機器とは異なる機器においても、撮影シーンに応じた最適な音声出力を実現することが可能となる。
【０１３０】
以下、本発明の第三の実施形態について、図を用いて説明する。なお、第三の実施例の説明において、上述した第一、第二の実施例と共通する部分については、同一の符号を付して適宜説明を省略する。
【０１３１】
＜システム構成＞
第三の実施例を適用可能な画像記録再生装置のシステム構成、図１５に示した。当該動画データ記録装置１５００は、実施例２のブロックから再生動作に必要なブロックである、映像復号部１１０、音声復号部１１１、映像出力部１１２、音声出力部１１３、を除いた構成である。ただし音声入力部１００４については、上述の音声出力部１１３で有していた、ミュート音声出力処理、および話速変換処理、出力遅延制御機能を代わりに新たな機能として有するものとする。
【０１３２】
そして当該ブロックにおいて、マイコン１０５からの設定指示に応じて、マイクなどから入力されＡＤ変換後の音声データに対する前記変換処理を行い、音声符号化部１００２で使用される符号化対象音声データとして、データ転送する。その他のブロック機能については、第一および第二の実施例と同様であるため説明を省略する。
【０１３３】
＜ソフトウェア構成＞
続いて当該記録再生装置において、第二の実施例を適用可能なソフトウェア機能ブロック図を、図１６に示した。ソフトウェア機能は、映像及び音声データの解析結果に応じて、符号化する音声方式を判断する判断部１６０１、および当該判断結果に応じて、音声入力部１００４へ設定する符号化音声方式設定部１６０２を、上述の実施例とは異なる処理として実行する。
【０１３４】
その他ソフトウェア機能として定義した、フレーム周波数モード取得部１１０１、映像情報解析部２０２、音声情報解析部２０３の処理内容については、実施例１および２と同義であるため説明を省略する。符号化音声方式判断部１６０１は、撮影時のフレーム周波数モード取得部１１０１、映像情報解析部２０２、音声情報解析部２０３からの判断結果および解析結果に基づいて、記録待機中および記録中のカメラ入力画像がどういうシーンであるかを判定する。
【０１３５】
そして、シーン内容に応じて第二のフレーム周波数で撮影した動画像符号化記録時に、入力音声をミュート音声として置換して符号化するか、話速変換出力後の音声データを符号化するか、あるいは入力音声の符号開始時間を遅延させるかを決定し、符号化音声方式設定部１６０２に通知する。
【０１３６】
符号化音声方式設定部１６０２は、前記符号化音声方式判断部１６０１で決定した音声出力方式に基づいて、音声入力部１０４に対して各音声変換方式に基づいたパラメタ設定指示を行う。パラメタ設定指示内容は、実施例１の出力音声方式設定部２０５にて処理した内容と同義である。続いて、本発明第三の実施例を実施する上で特徴となる、符号化音声方式判断部１６０１、および符号化音声方式情報記録部１６０２の処理内容をフローチャートによって説明する。
【０１３７】
＜符号化音声方式切り替え動作フロー＞
図１７には、前記符号化音声方式判断部１６０１と符号化音声方式設定部１６０２による符符号化音声方式切り替え動作フローを示した。本動作フローにおいて、ステップＳ１７０１からステップＳ１７１２までは、実施例２の処理フロー（図１２のステップＳ１２０１からステップＳ１２１２）と同じ処理内容のため、詳細説明を省略する。以下、本発明実施例３において前述の実施例とは異なる処理ステップについて説明する。
【０１３８】
ステップＳ１７１２の判断ステップにおいて、第二のフレーム周波数で撮影中の時（ステップＳ１７１２のＴＲＵＥ）前述の出力方式識別を取得する（ステップＳ１７１３）。そして当該識別情報が、話速変換方式を表す設定値であるかを判断し（ステップＳ１７１４）、ＴＲＵＥの場合は、ステップＳ１７１９へ進み、音声入力部に対する話速度変換設定を行う。一方、ステップＳ１７１４でＦＡＬＳＥ判定の場合は、現在マイクから入力されている録音対象音声に対する音声解析を行い（ステップＳ１７１５）、現在撮影中のシーンに決定的瞬間に発せられる特徴的な音声ゲインがあったかどうかを判断する（ステップＳ１７１６）。
【０１３９】
上記判断ステップＳ１７１６において、ゴルフのインパクト時等の決定的瞬間を捉えたシーンでの音声パターンを検知した場合（ステップＳ１７１６のＴＲＵＥ）は、ピーク音声検出時間から、再生時の出力開始遅延時間を算出し、遅延時間分の音声データをミュート音声として符号化する（ステップＳ１７１７）。その後、実際のマイクからの入力音声を符号化記録し、再生時には動画ストリームをそのまま再生すれば、フレーム周波数の切り替わりタイミングを再生機器が関知するとなく、出力遅延した音声出力が実現される（ステップＳ１７１８）。尚、本実施例おける上記開始時間遅延による音声符号化は、前記ステップＳ１７０９において音声ミュート出力方式が既に採用されている場合にも、決定的瞬間の音声をできるだけ記録したいという観点から、優先的に実行されるものとする。
【０１４０】
ステップＳ１７１６においてＦＡＬＳＥ判定の場合は、前記出力音声方式識別情報が、ステップＳ１７１０においてミュート音声出力方式を適用する設定値となっていることから、ステップＳ１７１２以降のミュート音声設定を実行する。またステップＳ１７１９では、識別情報が話速変換方式を採用する判断結果に基づいて、記録対象音声データに対する話速変換処理を音声入力部１００４に設定する。
【０１４１】
話速変換出処理設定は、実施例１の説明と同じく、第一のフレーム周波数に対する第二のフレーム周波数の比に基づいて変換スピードを算出し、変換元の音声データともに当該変換スピード値を設定し、変換処理の実行開始を指示する。上記設定値に基づいて変換後に生成される音声データを、符号化対象音声データとして、音声符号化部１００２にデータ転送との符号化開始指示を行う（ステップＳ１７２０）。
【０１４２】
ステップＳ１７２１では、マイク等の入力音声をミュート音声データに差し替える設定を音声入力部１００４に行う。その後、音声入力部１００４から生成されたミュート音声データを、符号化対象音声データとして、音声符号化部１００２にデータ転送と符号化開始指示を行う（ステップＳ１７２２）。以上が、本発明による第三の実施例による処理フローである。
【０１４３】
＜記録時の出力音声切り替えの動作例＞
続いて図１８に、上述の動作フローに基づく、記録時においてシーン解析を行い記録時の符号化音声方式を切り替えて記録する記録装置の表示出力例を示した。本図では第二のフレーム周波数シーン撮影時に話速変換音声を記録する例を示したが、ミュート音声記録や、出力遅延制御方式も同様である。図中の記録動作時（ａ）において、電源投入あるいは撮影モード切り替えが行われたタイミングから、ユーザによる可変フレーム周波数撮影モード設定が行われたタイミングまでの時間をｔ１、可変フレーム周波数モード設定から実際に録画を開始するまで時間をｔ２としている。そして、第二のフレーム周波数での撮影記録が記録停止までの一連の記録動作を終えるまでの時間をｔ３としている。
【０１４４】
本図の場合はｔ２の期間のカメラ画像において、実施例１の図８と同じ撮影画像および入力音声のスペクトルであり、所定サイズ以上の顔画像とヒトの声の周波数帯域での音声ゲインを継続的に検知していることから、話速変換方式を採用すると判断する。
【０１４５】
この時に、前記出力音声記録部１１３の動作に従い、出力音声方式識別情報を話速変換方式とする設定値にして記録する。その後、実際に第二のフレーム周波数での撮影記録が開始された時、上述の符号化音声方式判断部１６０１の動作に基づき、ｔ３の区間の入力音声に対して、話速変換処理を施したデータを実際に記録する音声として符号化および記録書き込みする。図中（ｂ）は、前記記録動作で撮影したシーンの再生動作であり、第二のフレーム周波数で実時間上ｔ３期間撮影したシーンに相当する。
【０１４６】
当該シーン再生時は、当該動画データをそのまま再生するだけで良く、特に従来の再生装置と異なる構成を備えることなく、第二のフレーム周波数で撮影した期間の音声出力として、話速変換した音声出力を視聴することが可能となる。以上、説明したように構成された動画記録装置において、第二のフレーム周波数で撮影するモード選択時に顔画像情報と音声情報を解析結果に基づいて符号化時の音声方式を切り替えて記録するようにしたので、別の再生装置で再生した場合でも、シーン内容に適した音声出力を視聴することができる。
【符号の説明】
【０１４７】
１００  動画データ再生装置、１０１  記録媒体、１０２  媒体制御部、
１０３  ＤＲＡＭ、１０４  メモリコントローラ、１０５  マイコン、１０６  ＲＯＭ、
１０７  ＲＡＭ、１０８  音声解析部、１０９  映像解析部、１１０  映像復号部、
１１１  音声復号部、１１２  映像出力部、１１３  音声出力部、１１４  操作受信部、
１１５  システムバス
【図１】
2016009961.tif 000003
【図２】
2016009961.tif 000004
【図３】
2016009961.tif 000005
【図４】
2016009961.tif 000006
【図５】
2016009961.tif 000007
【図６】
2016009961.tif 000008
【図７】
2016009961.tif 000009
【図８】
2016009961.tif 000010
【図９】
2016009961.tif 000011
【図１０】
2016009961.tif 000012
【図１１】
2016009961.tif 000013
【図１２】
2016009961.tif 000014
【図１３】
2016009961.tif 000015
【図１４】
2016009961.tif 000016
【図１５】
2016009961.tif 000017
【図１６】
2016009961.tif 000018
【図１７】
2016009961.tif 000019
【図１８】
2016009961.tif 000020