(57)【要約】      （修正有）【課題】リアルタイムの放送番組の視聴時や録画コンテンツの再生時に、簡素な構成で、時々刻々話速が変化する適応的な話速変換音声に映像を時間遅れの蓄積なく同期させることが可能な技術を提供する。【解決手段】映像音声同期再生装置は、音声データを音声区間と非音声区間とに分け、予め設定した伸縮倍率に応じて話速変換前の音声データの発話速度内に収まるように話速変換する。そして、話速変換後の音声データの再生時間と映像データの再生時間のずれが所定時間未満の場合、伸縮倍率に基づいて音声データのタイムスタンプのみを逐次更新する。一方、ずれが所定時間以上の場合、さらに、ずれ時間に応じて映像データを補間または削除し、映像データのタイムスタンプを更新する。そして、音声データのタイムスタンプと映像データのタイムスタンプと、に基づいて、音声と映像とを同期させて出力する。【選択図】図１
2011061675.tif 000002
【特許請求の範囲】
【請求項１】
映像音声コンテンツの音声の時間長を伸縮させることで、前記音声の発話速度を変換し、当該発話速度に映像を同期させて再生する映像音声同期再生装置であって、
映像音声コンテンツを含むストリームの入力を受け付け、当該ストリームから、音声データと、映像データと、前記音声データのタイムスタンプと、前記映像データのタイムスタンプとを分離抽出する分離抽出手段と、
前記分離抽出手段で分離抽出された前記音声データを復号する音声データ復号手段と、
前記分離抽出手段で分離抽出された前記映像データを復号する映像データ復号手段と、
前記音声データの時間長を伸縮させる基準となる伸縮倍率を予め設定する倍率設定手段と、
前記音声データ復号手段で復号された前記音声データを、声が出ている区間である音声区間とそれ以外の区間である非音声区間とに分け、前記音声区間の時間長と前記非音声区間の時間長とを、前記倍率設定手段によって予め設定された前記伸縮倍率に応じて、発話速度の変換前の前記音声データの発話速度内に収まるように伸縮させることで前記音声データの発話速度を変換する話速変換手段と、
前記話速変換手段によって発話速度が変換された前記音声データを記憶する音声データ記憶手段と、
前記映像データ復号手段によって復号された前記映像データを記憶する映像データ記憶手段と、
前記発話速度の変換後の音声データの時間長と前記映像データの時間長とのずれが所定時間以上である場合、前記音声データのタイムスタンプを、前記伸縮倍率に応じて逐次更新するとともに、前記映像データを、前記ずれをなくすように補間または削除し、前記映像データのタイムスタンプを、補間または削除後の前記映像データに応じて更新し、前記ずれが所定時間未満である場合、前記音声データのタイムスタンプを、前記伸縮倍率に応じて逐次更新するタイムスタンプ変換手段と、
前記タイムスタンプ変換手段によって更新された前記音声データのタイムスタンプと、更新された前記映像データのタイムスタンプ、または、前記分離抽出手段から入力された前記映像データのタイムスタンプとに基づいて、前記音声データ記憶手段に記憶された前記発話速度の変換後の音声データと、前記映像データ記憶手段に記憶された前記映像データとを同期させて出力させる制御信号を出力する制御信号出力手段と、を備えることを特徴とする映像音声同期再生装置。
【請求項２】
前記倍率設定手段は、
予め定めた複数の前記伸縮倍率を任意に選択可能であり、
前記話速変換手段は、前記倍率設定手段によって選択され設定された前記伸縮倍率に基づいて、前記音声データの時間長を変換することを特徴とする請求項１に記載の映像音声同期再生装置。
【請求項３】
前記映像音声コンテンツは、放送番組であり、
前記映像音声コンテンツを含むストリームを受信する受信手段と、
前記受信手段によって受信した前記ストリームに、予め定めた緊急情報が含まれているか否かを検出した上で、前記ストリームを、前記分離抽出手段に出力する緊急情報検出手段と、をさらに備え、
前記緊急情報検出手段は、前記緊急情報を検出した場合、その旨を前記倍率設定手段に通知し、
前記倍率設定手段は、前記緊急情報検出手段から前記緊急情報を検出した旨の通知を受け取った場合、前記伸縮倍率を等倍に設定して、当該伸縮倍率を前記話速変換手段に出力し、
前記話速変換手段は、前記倍率設定手段から入力された、等倍に設定された前記伸縮倍率を前記タイムスタンプ変換手段に出力し、
前記タイムスタンプ変換手段は、前記話速変換手段から、前記等倍に設定された伸縮倍率が入力された場合、前記分離抽出手段から入力された前記音声データのタイムスタンプおよび前記映像データのタイムスタンプを更新せずに、前記制御信号出力手段に出力し、
前記制御信号出力手段は、
前記タイムスタンプ変換手段から入力された前記音声データのタイムスタンプと前記映像データのタイムスタンプとに基づいて、前記音声データ記憶手段に記憶された前記音声データと、前記映像データ記憶手段に記憶された前記映像データとを同期させて出力させる制御信号を出力することを特徴とする請求項１または請求項２に記載の映像音声同期再生装置。
【請求項４】
放送受信装置に入力されるストリームに含まれる音声データを話速変換し、当該話速変換後の音声データを映像データと同期させる映像音声同期処理装置であって、
請求項１または請求項２に記載の映像音声同期再生装置と、
前記映像音声同期再生装置から入力された前記音声データと、前記映像データとを符号化して出力する符号化手段と、
前記映像音声コンテンツを含む放送番組のストリームの入力を受け付け、前記ストリームに、予め定めた緊急情報が含まれているか否かを検出する緊急情報検出手段と、を備え、
前記緊急情報検出手段は、前記ストリームから前記緊急情報を検出した場合、当該ストリームを外部に出力し、前記ストリームから前記緊急情報を検出しなかった場合、当該ストリームを、前記映像音声同期再生装置に出力することを特徴とする映像音声同期処理装置。
【請求項５】
映像音声コンテンツの音声の時間長を伸縮させることで、前記音声の発話速度を変換し、当該発話速度に映像を同期させて再生するために、コンピュータを、
前記ストリームの入力を受け付け、当該ストリームから、音声データと、映像データと、前記音声データのタイムスタンプと、前記映像データのタイムスタンプとを分離抽出する分離抽出手段、
前記分離抽出手段で分離抽出された前記音声データを復号する音声データ復号手段、
前記分離抽出手段で分離抽出された前記映像データを復号し、当該映像データを映像データ記憶手段に記憶させる映像データ復号手段、
前記音声データの時間長を伸縮させる基準となる伸縮倍率を予め設定する倍率設定手段、
前記音声データ復号手段で復号された前記音声データを、声が出ている区間である音声区間とそれ以外の区間である非音声区間とに分け、前記音声区間の時間長と前記非音声区間の時間長とを、前記倍率設定手段によって予め設定された前記伸縮倍率に応じて、発話速度の変換前の前記音声データの発話速度内に収まるように伸縮させることで前記音声データの発話速度を変換する話速変換手段、
前記発話速度の変換後の音声データの時間長と前記映像データの時間長とのずれが所定時間以上である場合、前記音声データのタイムスタンプを、前記伸縮倍率に応じて逐次更新するとともに、前記映像データを、前記ずれをなくすように補間または削除し、前記映像データのタイムスタンプを、補間または削除後の前記映像データに応じて更新し、前記ずれが所定時間未満である場合、前記音声データのタイムスタンプを、前記伸縮倍率に応じて逐次更新するタイムスタンプ変換手段、
前記タイムスタンプ変換手段によって更新された前記音声データのタイムスタンプと、更新された前記映像データのタイムスタンプ、または、前記分離抽出手段から入力された前記映像データのタイムスタンプとに基づいて、前記音声データ記憶手段に記憶された前記発話速度の変換後の音声データと、前記映像データ記憶手段に記憶された前記映像データとを同期させて出力させる制御信号を出力する制御信号出力手段、として機能させるための映像音声同期再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声コンテンツの視聴に際し、音声の時間長を伸縮させることで、音声の発話速度（話速）を早くしあるいは遅くする変換をした場合に、この発話速度の変換後の音声と映像とのずれを少なくする技術に関する。
【背景技術】
【０００２】
従来から、放送番組の視聴時や録画されたコンテンツの再生時に、実際の音声の話速より聴感的にゆっくり聞きたい、あるいは、早く聞きたいという要望があった。このため、音声の発話速度を変換（話速変換）する技術が種々提案されている。
【０００３】
例えば、リアルタイムの放送番組の視聴時に話速変換効果（ゆっくり感）を得るために、音声を実時間からの時間遅れを蓄積することなく話速変換して、ゆっくり感を得る手法が提案されている（非特許文献１）。
【０００４】
また、予め記録されたコンテンツに対して、任意の一定再生速度で可変速再生することにより、音声の発話速度を変換し、さらに、話速変換後の音声と映像とのずれを少なく再生する手法が提案されている。
またさらに、話速変換後の音声と映像とを同期させる方法としては、映像の信号処理による厳密な同期、例えば、動きベクトルなどを用いた映像フィールド内挿による方法がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３７９３３３３号公報
【非特許文献】
【０００６】
【非特許文献１】“ニュース音声を対象にした時間遅れを蓄積しない適応型話速変換方式” 電子情報通信学会論文誌(A), vol. J83-A No.8 pp.935-945, Aug 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、近年では、時々刻々話速が変化する適応的な話速変換音声に映像を同期させ、リアルタイムの放送番組や録画コンテンツを、簡素な構成で、実時間からの時間遅れの蓄積なく再生できる技術の開発が要望されている。
【０００８】
しかしながら、非特許文献１に記載の手法では、リアルタイムの放送番組において、音声の時間遅れを蓄積することなく発話速度を変換することはできるものの、音声と映像との同期再生を考慮していないため、音声と映像がごく一部でしか同期しないという問題があった。
また、予め記録されたコンテンツに対して、任意の一定再生速度で可変速再生する手法では、発話速度を変換した音声と映像とを同期させることはできるものの、ゆっくり再生することにより時間遅れが必然的に生じてしまっていた。このため、所定の時間枠で、音声と映像とを同期させてゆっくり再生することができなかった。
また、特許文献１に記載の手法では、音声の伸縮時間が映像の挿入／間引き時間の整数倍になっていない場合などには、演算量が極めて多くなることに加え、容量の大きな高価なメモリを要するなどにより導入コストが高額となってしまい、工業製品としての実現が困難であった。
【０００９】
本発明は、以上のような問題点に鑑みてなされたものであり、簡素な構成で、リアルタイムの放送番組の視聴時や録画コンテンツの再生時において、時々刻々話速が変化する適応的な話速変換音声に、時間遅れの蓄積なく映像を同期させることが可能な、映像音声同期再生装置、映像音声同期処理装置、および、映像音声同期再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像音声同期再生装置は、映像音声コンテンツの音声の時間長を伸縮させることで、前記音声の発話速度を変換し、当該発話速度に映像を同期させて再生する映像音声同期再生装置であって、分離抽出手段と、音声データ復号手段と、映像データ復号手段と、倍率設定手段と、話速変換手段と、音声データ記憶手段と、映像データ記憶手段と、同期制御手段と、を備える構成とした。
【００１１】
かかる構成において、映像音声同期再生装置は、分離抽出手段によって、前記映像音声コンテンツを含むストリームの入力を受け付け、当該ストリームから、音声データと、映像データと、前記音声データのタイムスタンプと、前記映像データのタイムスタンプとを分離抽出する。
また、映像音声同期再生装置は、音声データ復号手段によって、前記分離抽出手段で分離抽出された前記音声データを復号する。
さらに、映像音声同期再生装置は、映像データ復号手段によって、前記分離抽出手段で分離抽出された前記映像データを復号する。そして、映像音声同期再生装置は、映像データ記憶手段によって、前記映像データ復号手段によって復号された前記映像データを記憶する。一例として、ＭＰＥＧ（Moving Picture Experts Group）信号では各データパケットにタイムスタンプを含むヘッダが付加される。このタイムスタンプに従うことで映像と音声との同期再生を実現している。
【００１２】
また、映像音声同期再生装置は、倍率設定手段によって、前記音声データの時間長を伸縮させる基準となる伸縮倍率を予め設定する。例えば、倍率設定手段は、ＧＵＩ（Graphical User Interface）などのユーザが入力可能な手段とすることができ、ユーザからの入力によって、伸縮倍率を設定することとしても良い。
さらに、映像音声同期再生装置は、話速変換手段によって、前記音声データ復号手段で復号された前記音声データを、声が出ている区間である音声区間とそれ以外の区間である非音声区間とに分け、前記音声区間の時間長と前記非音声区間の時間長とを、前記倍率設定手段によって予め設定された前記伸縮倍率に応じて、発話速度の変換前の前記音声データの発話速度内に収まるように伸縮させることで前記音声データの発話速度を変換する。これによれば、音声データの時間長を、実時間からの時間遅れを蓄積させずに変換することができる。なお、ここでの非音声区間とは、人の声が含まれない部分であって、無音の部分や、背景音にＢＧＭやノイズが薄く含まれているような部分が含まれるものとする。
そして、映像音声同期再生装置は、音声データ記憶手段によって、前記話速変換手段によって前記時間長が変換された前記音声データを記憶する。
【００１３】
そして、映像音声同期再生装置は、タイムスタンプ変換手段によって、前記発話速度の変換後の音声データの時間長と前記映像データの時間長とのずれが所定時間以上である場合、前記音声データのタイムスタンプを、前記伸縮倍率に応じて逐次更新するとともに、前記映像データを、前記ずれをなくすように補間または削除し、前記映像データのタイムスタンプを、補間または削除後の前記映像データに応じて更新し、前記ずれが所定時間未満である場合、前記音声データのタイムスタンプを、前記伸縮倍率に応じて逐次更新する。
また、タイムスタンプ変換手段と、制御信号出力手段によって、前記タイムスタンプ変換手段によって更新された前記音声データのタイムスタンプと、更新された前記映像データのタイムスタンプ、または、前記分離抽出手段から入力された前記映像データのタイムスタンプとに基づいて、前記音声データ記憶手段に記憶された前記発話速度の変換後の音声データと、前記映像データ記憶手段に記憶された前記映像データとを同期させて出力させる制御信号を出力する。
これによれば、音声の同期情報の変化に応じて映像の時間情報を同期させることによって、時間長が変換された音声データと、映像データとを同期させて出力することができるので、映像音声コンテンツの再生時に、音声と映像とがずれるのを防止することができる。
【００１４】
また、請求項２に記載の映像音声同期再生装置は、請求項１に記載の映像音声同期再生装置において、前記倍率設定手段は、予め定めた複数の前記伸縮倍率を任意に選択して設定可能であり、前記話速変換手段は、前記倍率設定手段によって選択され設定された前記伸縮倍率に基づいて、前記音声データの時間長を変換することを特徴とする。
これによれば、音声データの時間長の伸縮倍率を適度な程度のステップに分けて任意に選択可能となるので、ユーザが聞きとりやすい速度で、映像音声コンテンツを視聴することが可能となる。
【００１５】
また、請求項３に記載の映像音声同期再生装置は、請求項１または請求項２に記載の映像音声同期再生装置において、前記映像音声コンテンツは、放送番組であり、受信手段と、緊急情報検出手段と、をさらに備える構成とした。
【００１６】
かかる構成によれば、映像音声同期再生装置は、受信手段によって、前記映像音声コンテンツを含むストリームを受信する。
また、映像音声同期再生装置は、緊急情報検出手段によって、前記受信手段によって受信した前記ストリームに、予め定めた緊急情報が含まれているか否かを検出した上で、前記ストリームを、前記分離抽出手段に出力する。また、前記緊急情報検出手段は、前記緊急情報を検出した場合、前記倍率設定手段に、前記緊急情報を検出したことを通知する。ここで、緊急情報とは、例えば、ニュース速報、緊急地震速報や気象警報などの緊要度の高い情報をいう。また、緊急情報検出手段は、前記緊急情報を検出した場合、その旨を前記倍率設定手段に通知する。
さらに、映像音声同期再生装置は、倍率設定手段によって、前記緊急情報検出手段から前記緊急情報を検出した旨の通知を受け取った場合、前記伸縮倍率を等倍に設定して、当該伸縮倍率を前記話速変換手段に出力する。
【００１７】
また、映像音声同期再生装置は、話速変換手段によって、前記倍率設定手段から入力された、等倍に設定された前記伸縮倍率を前記タイムスタンプ変換手段に出力する。
さらに、映像音声同期再生装置は、タイムスタンプ変換手段によって、前記話速変換手段から、前記等倍に設定された伸縮倍率が入力された場合、前記分離抽出手段から入力された前記音声データのタイムスタンプおよび前記映像データのタイムスタンプを更新せずに、前記制御信号出力手段に出力する。
そして、映像音声同期再生装置は、制御信号出力手段によって、前記タイムスタンプ変換手段から入力された前記音声データのタイムスタンプと前記映像データのタイムスタンプとに基づいて、前記音声データ記憶手段に記憶された前記音声データと、前記映像データ記憶手段に記憶された前記映像データとを同期させて出力させる制御信号を出力する。
【００１８】
これによれば、放送番組の視聴時に、予め定めた緊急情報が検出された場合、音声データの話速変換処理を行わずに通常の速度で再生することで、緊急情報の即時性が確保される。
【００１９】
また、請求項４に記載の映像音声同期処理装置は、放送受信装置に入力されるストリームに含まれる音声データを話速変換し、当該話速変換後の音声データを映像データと同期させる映像音声同期処理装置であって、請求項１または請求項２に記載の映像音声同期再生装置と、緊急情報検出手段と、符号化手段と、を備える構成とした。
【００２０】
かかる構成において、映像音声同期処理装置は、緊急情報検出手段によって、前記映像音声コンテンツを含む放送番組のストリームの入力を受け付け、前記ストリームに、予め定めた緊急情報が含まれているか否かを検出する。そして、映像音声同期処理装置は、緊急情報検出手段によって、前記ストリームから前記緊急情報を検出した場合、当該ストリームを外部に出力し、前記ストリームから前記緊急情報を検出しなかった場合、当該ストリームを、前記映像音声同期再生装置に出力する。
また、映像音声同期処理装置は、符号化手段によって、前記映像音声同期再生装置から入力された前記音声データと、前記映像データとを符号化して出力する。
【００２１】
これによれば、映像音声コンテンツの視聴時に、予め定めた緊急情報が検出された場合、映像音声同期処理装置をバイパスしてストリームがそのまま外部の放送受信装置に出力されるため、映像音声コンテンツが通常の速度で再生されることとなる。このため、緊急情報の即時性を確保することができる。
また、この映像音声同期処理装置を、既存のデジタルテレビジョン装置に実装することで、既存のデジタルテレビジョン装置においても、音声データの話速を変換し、話速変換後の音声と映像を同期させた映像音声コンテンツの視聴が可能となる。
【００２２】
また、請求項５に記載の映像音声同期再生プログラムは、映像音声コンテンツの音声の時間長を伸縮させることで、前記音声の発話速度を変換し、当該発話速度に映像を同期させて再生するために、コンピュータを、分離抽出手段、音声データ復号手段、映像データ復号手段、倍率設定手段、話速変換手段、同期制御手段として機能させるためのものである。
【００２３】
かかる構成において、映像音声同期再生プログラムは、分離抽出手段によって、前記映像音声コンテンツの入力を受け付け、当該映像音声コンテンツから、音声データと、映像データと、前記音声データのタイムスタンプと、前記映像データのタイムスタンプとを分離抽出する。
【００２４】
また、映像音声同期再生プログラムは、音声データ復号手段によって、前記分離抽出手段で分離抽出された前記音声データを復号する。
さらに、映像音声同期再生プログラムは、映像データ復号手段によって、前記分離抽出手段で分離抽出された前記映像データを復号し、当該映像データを映像データ記憶手段に記憶させる。
またさらに、映像音声同期再生プログラムは、倍率設定手段によって、前記音声データの時間長を伸縮させる基準となる伸縮倍率を予め設定する。
【００２５】
そして、映像音声同期再生プログラムは、話速変換手段によって、前記音声データ復号手段で復号された前記音声データを、声が出ている区間である音声区間とそれ以外の区間である非音声区間とに分け、前記音声区間の時間長と前記非音声区間の時間長とを、前記倍率設定手段によって予め設定された前記伸縮倍率に応じて、発話速度の変換前の前記音声データの発話速度内に収まるように変換する。
【００２６】
そして、映像音声同期再生プログラムは、タイムスタンプ変換手段によって、前記発話速度の変換後の音声データの時間長と前記映像データの時間長とのずれが所定時間以上である場合、前記音声データのタイムスタンプを、前記伸縮倍率に応じて逐次更新するとともに、前記映像データを、前記ずれをなくすように補間または削除し、前記映像データのタイムスタンプを、補間または削除後の前記映像データに応じて更新し、前記ずれが所定時間未満である場合、前記音声データのタイムスタンプを、前記伸縮倍率に応じて逐次更新する。
そして、映像音声同期再生プログラムは、制御信号出力手段によって、前記タイムスタンプ変換手段によって更新された前記音声データのタイムスタンプと、更新された前記映像データのタイムスタンプ、または、前記分離抽出手段から入力された前記映像データのタイムスタンプとに基づいて、前記音声データ記憶手段に記憶された前記発話速度の変換後の音声データと、前記映像データ記憶手段に記憶された前記映像データとを同期させて出力させる制御信号を出力する。
【発明の効果】
【００２７】
本発明は、以下に示す優れた効果を奏するものである。
請求項１、５に記載の発明によれば、リアルタイムの放送番組の視聴時や録画された映像音声コンテンツの再生時に、時間遅れを蓄積させることなく音声の時間長を伸縮させることができるとともに、発話速度を変換した音声と映像を同期させることができるので、ユーザが快適に映像音声コンテンツを視聴することができる。
また、リアルタイムの放送番組の視聴に適用できるため、高齢者や難聴者と、健常者とのリアルタイムのコミュニケーションの促進に寄与することができる。
さらに、音声と読唇を併用して映像音声コンテンツの情報を受容しているユーザが、より簡単に映像音声コンテンツの情報を受容することが可能となる。またさらに、構成が簡素であり、導入コストを低減することができる。
請求項２に記載の発明によれば、音声の時間長の伸縮倍率を、複数の段階から任意に選択することができるため、ユーザが聞きとりやすい速度で、映像音声コンテンツを視聴することが可能となる。
請求項３、４に記載の発明によれば、受信したストリームに、映像音声コンテンツの他に予め定めた緊急情報が含まれている場合には、映像音声コンテンツを通常の速度で再生することで、緊急情報の即時性を確保することが可能となる。
また、請求項４に記載の発明によれば、既存の放送受信装置をそのまま利用して、発話速度を変換した音声と映像が同期した映像音声コンテンツを視聴可能となるため、ユーザの導入コストを低減することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第一の実施形態に係る映像音声同期再生装置の構成を示すブロック構成図である。
【図２】本発明の第一の実施形態に係る映像音声同期再生装置で話速変換した音声と映像を同期させる手法について説明するための概念図である。
【図３】本発明の第一の実施形態に係る映像音声同期再生装置の動作を示すフローチャートである。
【図４】本発明の第二の実施形態に係る映像音声同期再生装置の構成を示すブロック構成図である。
【図５】本発明の第三の実施形態に係る映像音声同期再生装置の構成を示すブロック構成図である。
【発明を実施するための形態】
【００２９】
＜第一実施形態＞
［映像音声同期再生装置の構成］
まず、図１を参照して、第一実施形態に係る映像音声同期再生装置１Ａの具体的な構成について説明する。
図１に示すように、映像音声同期再生装置１Ａは、音声の時間長を伸縮させることで、音声の発話速度を変換し、当該発話速度に映像を同期させて再生するものであり、分離抽出手段１１と、音声データ復号手段１２と、話速変換手段１３と、倍率設定手段１４と、音声データ記憶手段１５と、映像データ復号手段１６と、映像データ記憶手段１７と、同期制御手段１８と、を備えている。
【００３０】
この映像音声同期再生装置１Ａの外部には、受信アンテナＡが接続されており、図示しないコンテンツ送信装置から送信された、少なくとも映像音声コンテンツを含むストリームを受信している。受信アンテナＡによって受信したストリームは、分離抽出手段１１に出力される。このストリームは、例えば、ＭＰＥＧ（Moving Picture Experts Group）２のデータ形式で構成されているが、これに限られるものではなく、タイムスタンプが付されたコンテンツであれば他の形式であっても良い。
【００３１】
分離抽出手段１１は、受信アンテナＡによって受信された、ストリームを、ヘッダなどに基づいて、音声データと、映像データと、音声データのタイムスタンプと、映像データのタイムスタンプとにそれぞれ分離し抽出するものである。分離された音声データは、音声データ復号手段１２に出力され、分離された映像データは、映像データ復号手段１６に出力される。また、分離された音声データのタイムスタンプと映像データのタイムスタンプは、同期制御手段１８に出力される。
【００３２】
音声データ復号手段１２は、分離抽出手段１１によって分離された音声データを復号するものである。復号された音声データは、話速変換手段１３に出力される。
【００３３】
話速変換手段１３は、音声データ復号手段１２によって復号された音声データの時間長を、倍率設定手段１４によって予め設定された伸縮倍率に基づいて変換するものである。
ここで、話速変換手段１３の詳細な説明に先立ち、倍率設定手段１４について説明する。
【００３４】
倍率設定手段１４は、話速変換手段１３によって音声データの時間長を伸縮させる基準となる伸縮倍率を設定するものである。
伸縮倍率とは、リアルタイムの放送番組においては、音声データを伸張させる倍率であり、録画されたコンテンツにおいては、音声データを伸張させ、または、短縮させる倍率であって、話速変換前の音声データの再生倍率を“１”としたときの、話速変換後の音声データの再生倍率を示すものである。
この倍率設定手段１４は、例えば、ＧＵＩなどのユーザインターフェースにより構成することができる。倍率設定手段１４は、例えば、「ゆっくり１」、「ゆっくり２」、「ゆっくり３」、「はやく１」、「はやく２」などの予め定めた適当な程度のステップと、このステップにそれぞれ対応付けられる伸縮倍率（例えば、「ゆっくり１」に対し「１．２倍に伸張」、「ゆっくり２」に対し「１．４倍に伸張」、「ゆっくり３」に対し「１．６倍に伸張」、「はやく１」に対し、「０．８倍に短縮」、「はやく２」に対し、「０．６倍に短縮」など）の組み合わせを予め有している。そして、例えば、前記した予め定めたステップを、ユーザが選択可能な形式で提示し、ユーザにより前記したステップのうちの一つが選択されると、そのステップに対応付けられた伸縮倍率を、話速変換の目安となる伸縮倍率として設定する。なお、倍率設定手段１４は、初期設定などにより予め固定の伸縮倍率を設定しておいても良い。このようにして設定された伸縮倍率は、話速変換手段１３に出力される。
【００３５】
話速変換手段１３は、倍率設定手段１４によって設定された伸縮倍率に従って、音声データ復号手段１２で復号された話速変換前の音声データを所定の時間長毎に、音声が出ている区間である音声区間とそれ以外の区間である非音声区間とに分け、音声区間の時間長と非音声区間の時間長とを、倍率設定手段１４によって予め設定された伸縮倍率に応じて、話速変換前の音声データの発話速度内に収まるように変換するものである。
【００３６】
ここでは、話速変換手段１３は、音声データを、音声区間と非音声区間とに分けるとともに、音声データから音声の基本周期を検出する。そして、話速変換手段１３は、倍率設定手段１４によって予め設定された伸縮倍率に応じて、音声区間の時間長と非音声区間の時間長とを話速変換前の音声データの発話速度内に収まるようにそれぞれ変換する。ここで、話速変換手段１３による話速変換は、任意の手法により行うことができるが、例えば、特許文献１（特許文献１：特許第３２２００４３号公報）の手法により行うことができる。
【００３７】
話速変換手段１３は、話速変換後の音声データを、音声データ記憶手段１５に出力する。また、話速変換手段１３は、伸縮倍率を、同期制御手段１８に順次出力する。この伸縮倍率による話速変換は、基本周期単位の繰り返し、または、間引きにより波形を伸縮させることによって適応的に実現される。
【００３８】
音声データ記憶手段１５は、話速変換手段１３によって話速変換された音声データを順次一時的に記憶するものであり、ＦＩＦＯ（First In First Out）として機能するものである。音声データ記憶手段１５は、話速変換された音声データを数秒間蓄積可能となっている。なお、音声データ記憶手段１５は、音声データを話速変換したときの、実時間からの最大遅れ時間を予め設定できるようになっており、この最大遅れ時間の分の話速変換された音声データを記憶するようになっている。
音声データ記憶手段１５に記憶された音声データは、同期制御手段１８から出力される制御信号のタイミングで出力される。
【００３９】
映像データ復号手段１６は、分離抽出手段１１によって分離された映像データを復号するものである。復号された映像データは、映像データ記憶手段１７に出力される。
【００４０】
映像データ記憶手段１７は、映像データ復号手段１６によって復号された映像データを順次一時的に記憶するものであり、ＦＩＦＯ（First In First Out）として機能するものである。なお、映像データ記憶手段１７は、音声データを話速変換したときの、実時間からの最大遅れ時間を予め設定できるようになっており、この最大遅れ時間の分の映像データを記憶するようになっている。映像データ記憶手段１７は、映像データを数秒間蓄積可能となっている。映像データ記憶手段１７に記憶された映像データは、同期制御手段１８から出力される制御信号のタイミングで出力される。
【００４１】
同期制御手段１８は、話速変換手段１３によって話速変換された音声データと原映像データの出力タイミングを同期させるものであり、タイムスタンプ変換手段１８ａと、制御信号出力手段１８ｂとを備える。
ここで、図２を参照して、話速変換手段１３によって、音声データの話速が変換された場合に、同期制御手段１８で行う処理について説明する。
まず、音声データおよび映像データの内容について説明する。
図２（ａ）に示すように、映像音声コンテンツの音声データが「あしたのてんきははれです」であるものとする。この音声データの音声区間「あしたのてんきは」の話始めの直前には、タイムスタンプ（時刻ｔ０）が付されており、音声区間「はれです」の話始めの直前には、タイムスタンプ（時刻ｔ１）が付されている。さらに、タイムスタンプ（時刻ｔ１）から間隔を空けて、タイムスタンプ（時刻ｔ２）が付されている。またここでは、「あしたのてんきは」と非音声区間が時刻ｔ０−ｔ１間で再生され、「はれです」と非音声区間が時刻ｔ１−ｔ２間で再生されるようになっている。なお、時刻ｔ０−ｔ１間、時刻ｔ１−ｔ２間は、それぞれ１秒間となっている。
【００４２】
また、図２（ａ）に示すように、映像データとして、映像データＤ１、Ｄ２、Ｄ３・・・Ｄｎがある。映像データは、それぞれ６０枚の画像フレームで構成されている。ここでは、映像データＤ１、Ｄ２が音声データ「あしたのてんきははれです」に対応しており、映像データＤ１が時刻ｔ０−ｔ１間で再生され、映像データＤ２が時刻ｔ１−ｔ２間で再生されるようになっている。次に、処理の内容について説明する。
【００４３】
例えば、倍率設定手段１４によって、音声データの伸縮倍率を１．２倍に伸張させると設定し、話速変換手段１３によって、伸縮倍率に基づいて、音声データ「あしたのてんきははれです」の話速を１．２倍遅くするように適応的に変換されたものと仮定する。このとき、話速変換手段１３は、例えば、図２（ｂ）に示すように、音声データの音声区間「あしたのてんきは」、「はれです」の話速をそれぞれ１．２倍遅くなるように伸張させて話速を変換し、「あしたのてんきは」の後の非音声区間の時間長と音声区間「はれです」の後の非音声区間の時間長を伸張分に合わせて短縮する。このようにして、音声データの発話速度内で、音声データの話速を変換する。
【００４４】
図２（ｂ）に示す例では、話速変換後の音声データにおける音声区間「あしたのてんきは」の再生時間が１秒間を超えている。
そこで、同期制御手段１８のタイムスタンプ変換手段１８ａは、話速変換手段１３から入力された伸縮倍率に基づき、分離抽出手段１１から入力された話速変換前の音声データのタイムスタンプを、話速変換後の音声データに対応するように変換する。
また、話速変換前の音声データ「はれです」の話始めの直前に付されたタイムスタンプを、時刻ｔ１から時刻ｔ１´に変換する。
【００４５】
さらに、タイムスタンプ変換手段１８ａは、話速変換後の音声データのタイムスタンプと、映像データのタイムスタンプとに基づいて、話速変換後の音声データの再生時間と、映像データの再生時間とを比較し、話速変換後の音声データの再生時間に対する映像データの再生時間のずれ時間を計測する。
ここで、本実施形態では、映像音声コンテンツの再生時に、話速変換後の音声データに対する映像データのずれによる違和感を軽減するために、話速変換後の音声データに対応するタイムスタンプに同期して映像データを再生することとしているが、映像と音声とを完全に同期させる必要はなく、人が違和感を覚えない程度の映像と音声のずれは許容される。
【００４６】
このため、タイムスタンプ変換手段１８ａは、音声データの再生時間に対する映像データの再生時間のずれ時間のしきい値を設定する。ここで、しきい値は、人の、映像と音声の時間ずれの検知限をもとに設定することができる。検知限については、公知の値を用いることができる。例えば、非特許文献２によれば、映像と音声とのずれが１００ｍｓ以下であると、人は、映像と音声とが同期しているものと感じる（ずれを検知しない）ことがわかっている（非特許文献２：“テレビの映像と音声の相対時間差に関する検討”,日本音響学会春季研究発表会講演論文集,3-3-6,pp.461-462,1996-3）ので、これに準じて、しきい値を例えば１００ｍｓとすることができる。
【００４７】
そして、タイムスタンプ変換手段１８ａは、音声データの再生時間に対する映像データの再生時間のずれ時間を計測し、ずれ時間がしきい値以上であるか否かを判定する。同期制御手段１８は、図２（ｂ）に示す例のように、ずれ時間がしきい値未満であると判定した場合、映像と音声が同期しているものと判断し、映像データを補間（または削除）しない。
【００４８】
一方、タイムスタンプ変換手段１８ａは、図２（ｃ）に示す例のように、ずれ時間がしきい値以上であると判定した場合、映像データのフレームを補間（または削除）し、映像データの時間長を、話速変換後の音声データの時間長に近接させるように揃える。
つまり、タイムスタンプ変換手段１８ａは、映像データＤ１の時間長（時刻ｔ０−ｔ１間の時間長）と、話速変換後の音声データ「あしたのてんきは」の時間長（時刻ｔ１−ｔ１´間の時間長）とを比較し、時刻ｔ１−ｔ１´間の時間長が１００ｍｓ以上である場合、ずれ時間がしきい値以上であるものと判定する。そして、タイムスタンプ変換手段１８ａは、映像データＤ１のフレームを補間して、映像データＤ１の時間長を伸張し、話速変換後の音声データ「あしたのてんきは」の時間長に近接させるように揃える。これにより、映像データが、時刻ｔ０からおよそ時刻ｔ１´まで再生される。
【００４９】
また、映像データＤ２の時間長（時刻ｔ１−ｔ２間の時間長）と、話速変換後の音声データ「はれです」の時間長（時刻ｔ１´−ｔ２間の時間長）とを比較し、時刻ｔ１−ｔ１´間の時間長が１００ｍｓ以上である場合、ずれ時間がしきい値以上であるものと判定する。そして、タイムスタンプ変換手段１８ａは、映像データＤ１を構成する６０枚の画像フレームのうちの一部の画像フレームを削除して、映像データＤ２の時間長を音声データの時間長に合わせて短縮し、話速変換後の音声データ「はれです」の時間長に近接させるように揃える。このようにした場合、映像データＤ２の先頭のタイムスタンプを時刻ｔ１から時刻ｔ１´に変換する。これにより、映像データが、およそ時刻ｔ１´から時刻ｔ２まで再生される。
タイムスタンプ変換手段１８ａは、話速変換後の音声データのタイムスタンプと、更新された映像データのタイムスタンプまたは更新していない映像データのタイムスタンプ（分離抽出手段１１から入力された映像データのタイムスタンプ）とを、同期制御手段１８の制御信号出力手段１８ｂに出力する。
【００５０】
制御信号出力手段１８ｂは、タイムスタンプ変換手段１８ａから入力された話速変換後の音声データのタイムスタンプと、映像データのタイムスタンプに基づいて、音声データ記憶手段１５と、映像データ記憶手段１７とに音声データまたは映像データを出力させるための制御信号を出力する。
つまり、制御信号出力手段１８ｂは、まず、時刻ｔ０で、音声データ記憶手段１５に音声データ「あしたのてんきは」を出力するように制御信号を出力し、映像データ記憶手段１７に映像データＤ１を出力するように制御信号を出力する。
【００５１】
次に、制御信号出力手段１８ｂは、時刻ｔ１´で、音声データ記憶手段１５に音声データ「はれです」を出力するように制御信号を出力する。
また、制御信号出力手段１８ｂは、映像データＤ１を補間した場合は、時刻ｔ１で、映像データ記憶手段１７に映像データＤ２を出力するように制御信号を出力し、映像データＤ１を補間した場合は、時刻ｔ１´で、映像データ記憶手段１７に映像データＤ２を出力するように制御信号を出力する。
【００５２】
このようにして、制御信号出力手段１８ｂは、話速変換後の音声データのタイムスタンプと映像データのタイムスタンプとに従ったタイミングで、音声データ記憶手段１５に音声データを出力させる制御信号を逐次出力し、映像データ記憶手段１７に、映像データを出力させるための制御信号を逐次出力する。これにより、映像データを話速変換後の音声データに同期させ、時間遅れを蓄積させずに再生可能となる。
【００５３】
［映像音声同期再生装置１Ａの動作］
次に、図３を参照しながら、第一の実施形態に係る映像音声同期再生装置１Ａの動作を説明する。ここで、映像音声同期再生装置１Ａは、受信アンテナＡにより、図示しないコンテンツ送信装置から送信されたストリームを受信し、受信したストリームを分離抽出手段１１に出力しているものとする。
【００５４】
まず、映像音声同期再生装置１Ａは、倍率設定手段１４によって、伸縮倍率を設定する（ステップＳ１０１）。
次に、映像音声同期再生装置１Ａは、分離抽出手段１１によって、ストリームから、音声データと、映像データと、音声データのタイムスタンプと、音声データのタイムスタンプとを分離抽出する（ステップＳ１０２）。映像音声同期再生装置１Ａは、分離抽出手段１１によって、分離抽出した音声データを話速変換手段１３に出力し、分離抽出した映像データを映像データ復号手段１６に出力する。また、分離抽出した音声データのタイムスタンプと映像データのタイムスタンプとを同期制御手段１８に出力する。なお、ステップＳ１０１とステップＳ１０２〜Ｓ１０４は、いずれを先に行っても良いし、同時に行っても良い。
【００５５】
映像音声同期再生装置１Ａは、映像データ復号手段１６によって、映像データを復号し、映像データ記憶手段１７に出力する（ステップＳ１０３）。
映像音声同期再生装置１Ａは、音声データ復号手段１２によって、音声データを復号し、音声データ記憶手段１５に出力する（ステップＳ１０４）。
映像音声同期再生装置１Ａは、話速変換手段１３によって、音声データの入力を受け付けると、音声データを音声区間と非音声区間とに分けるとともに、音声データから音声の基本周期単位を検出する。そして、話速変換手段１３によって、倍率設定手段１４から伸縮倍率の入力を受け付けると、この伸縮倍率を目安として音声データの音声区間と非音声区間を適応的に伸縮して話速変換し、話速変換後の音声データを、音声データ記憶手段１５に順次出力する（ステップＳ１０５）。
【００５６】
また、映像音声同期再生装置１Ａは、話速変換手段１３によって、伸縮倍率を同期制御手段１８に出力する。
映像音声同期再生装置１Ａは、タイムスタンプ変換手段１８ａによって、話速変換手段１３から、伸縮倍率の入力を受け付けるとともに、分離抽出手段１１から音声データのタイムスタンプおよび映像データのタイムスタンプの入力を受け付ける。
そして、映像音声同期再生装置１Ａは、タイムスタンプ変換手段１８ａによって、入力された伸縮倍率に基づいて、話速変換前の音声データのタイムスタンプを、話速変換後の音声データに対応させるように変換する（ステップＳ１０６）。
【００５７】
映像音声同期再生装置１Ａは、タイムスタンプ変換手段１８ａによって、話速変換後の音声データの再生時間に対する映像データの再生時間のずれ時間を計測し、ずれ時間がしきい値以上であるか否かを判定する（ステップＳ１０７）。
映像音声同期再生装置１Ａは、タイムスタンプ変換手段１８ａによって、ずれ時間がしきい値未満であると判定した場合、映像と音声が同期しているものと判断し、映像データを補間（または削除）しない。
【００５８】
一方、映像音声同期再生装置１Ａは、タイムスタンプ変換手段１８ａによって、ずれ時間がしきい値以上であると判定した場合、映像データのフレームを補間（または削除）し、映像データの時間長を、話速変換後の音声データの時間長に近接させるように揃える（ステップＳ１０８）。
また、映像音声同期再生装置１Ａは、タイムスタンプ変換手段１８ａによって、映像データのタイムスタンプを、補間（または削除）後の映像データに対応するように更新する（ステップＳ１０９）。
【００５９】
そして、映像音声同期再生装置１Ａは、制御信号出力手段１８ｂによって、映像データのタイムスタンプに従ったタイミングで、映像データ記憶手段１７に映像データを出力させるための制御信号を出力し、話速変換後の音声データのタイムスタンプに従ったタイミングで、音声データ記憶手段１５に音声データを出力させるための制御信号を出力する（ステップＳ１１０）。
【００６０】
そして、映像音声同期再生装置１Ａは、制御信号出力手段１８ｂから出力された制御信号のタイミングで映像データ記憶手段１７から映像データを出力し、音声データ記憶手段１５から音声データを出力する（ステップＳ１１１）。
このようにして、映像音声同期再生装置１Ａから映像データと音声データとを同期させて出力させることができる。
【００６１】
ここで、第一の実施形態に係る映像音声同期再生装置１Ａをテレビ受像機に内蔵する場合、音声データ記憶手段１５から出力された音声データは、図示しないスピーカによって再生され、映像データ記憶手段１７から出力された映像データは、図示しない表示装置によって表示される。このようにして、映像と音声を同期再生することが可能となる。
【００６２】
第一の実施形態に係る映像音声同期再生装置１Ａによれば、リアルタイムの放送番組の視聴時や録画された映像音声コンテンツの再生時に、実時間からの時間遅れを蓄積させることなく音声データの話速を変換することができるとともに、話速変換後の音声と映像とを同期させて再生することができるので、ユーザが快適に映像音声コンテンツを視聴することができる。
また、倍率設定手段１４によって、音声データの伸縮倍率を、複数のステップから任意に選択することができるため、ユーザが聞きとりやすい速度で、映像音声コンテンツを視聴することが可能となる。
【００６３】
なお、第一の実施形態に係る映像音声同期再生装置１Ａは、テレビ受像機に内蔵しても良いし、チューナ付の外部録画機器に内蔵しても良い。例えば、映像音声同期再生装置１Ａをチューナ付の外部録画機器に内蔵する場合、この外部録画機器をテレビ受像機に接続することで、テレビ受像機に映像音声同期再生装置１Ａを備えていない場合でも、リアルタイムの放送番組の視聴時に、映像音声同期再生装置１Ａの効果を実現することができる。また、リアルタイムの放送番組の視聴時だけでなく、録画されたコンテンツに対しても、同様の効果を実現することができる。
この場合も、一連の処理の流れは、第一の実施形態に係る映像音声同期再生装置１Ａによって実現可能であるが、分離抽出手段１１によって、映像データおよび音声データをデジタル化するフォーマットは、ＭＰＥＧ２に限らず任意である。また、それぞれの符号化方式に応じた復号化、符号化および同期制御が必要となる。
【００６４】
＜第二の実施形態＞
次に、第二の実施形態に係る映像音声同期再生装置について説明する。第二の実施形態に係る映像音声同期再生装置は、第一の実施形態に係る映像音声同期再生装置の機能に加え、受信したストリームに予め定めた緊急情報が含まれるか否かを検出可能とした点にある。
【００６５】
ここで、緊急情報とは、ニュース速報、緊急地震速報や津波警報などの緊要度の高い情報であり、このような情報は、その性質上、即時性を確保することがきわめて重要である。従って、本発明の第二の実施形態に係る映像音声同期再生装置１Ｂにおいて、映像音声コンテンツに重畳して緊急情報が受信された場合は、ユーザが話速変換を希望していたとしても、話速変換をせずに通常の再生速度で再生することにより、情報の即時性を確保するものである。
【００６６】
以下に説明する本発明の第二の実施形態に係る映像音声同期再生装置１Ｂにおいて、本発明の第一の実施形態に係る映像音声同期再生装置１Ａとの差異は、緊急情報検出手段を備えた点にある。以下の第二の実施形態に係る映像音声同期再生装置１Ｂの説明において、第１の実施形態に係る映像音声同期再生装置１Ａと共通する構成については同一の符号を付し重複する説明を省略する。
【００６７】
第二の実施形態に係る映像音声同期再生装置１Ｂは、分離抽出手段１１と、音声データ復号手段１２と、話速変換手段１３と、倍率設定手段１４と、音声データ記憶手段１５と、映像データ復号手段１６と、映像データ記憶手段１７と、同期制御手段１８と、緊急情報検出手段１９とを備えている。
【００６８】
緊急情報検出手段１９は、受信アンテナＡによって受信されたストリームに、予め定めた緊急情報が含まれているか否かを検出するものである。緊急情報は、初期設定などにより予め設定しておくことができる。緊急情報検出手段１９は、判定結果を倍率設定手段１４に出力するとともに、受信したストリームを、分離抽出手段１１に出力する。
【００６９】
［映像音声同期再生装置１Ｂの動作］
次に、図３を適宜参照しながら、映像音声同期再生装置１Ｂの動作について説明する。
なお、ここでは、映像音声同期再生装置１Ｂの緊急情報検出手段１９と、倍率設定手段１４と、話速変換手段１３と、同期制御手段１８の動作について主に説明する。
【００７０】
映像音声同期再生装置１Ｂは、緊急情報検出手段１９によって、受信アンテナＡにより受信されたストリームの入力を受け付けると、受信されたストリームに、予め定めた緊急情報が含まれているか否かを検出する。
映像音声同期再生装置１Ｂは、緊急情報検出手段１９によって、ストリームに、予め定めた緊急情報が含まれていると判定した場合、倍率設定手段１４に、緊急情報が検出されたことを示す検出結果を出力する。
【００７１】
映像音声同期再生装置１Ｂは、倍率設定手段１４によって、緊急情報検出手段１９から緊急情報が検出されたことを示す検出結果の入力を受け付けると、伸縮倍率を等倍に設定し、この伸縮倍率を、話速変換手段１３に出力する。
映像音声同期再生装置１Ｂは、話速変換手段１３によって、等倍に設定された伸縮倍率の入力を受け付けると、音声データを話速変換せずに、そのまま音声データ記憶手段１５に出力する。また、映像音声同期再生装置１Ｂは、話速変換手段１３によって、等倍に設定された伸縮倍率を同期制御手段１８に出力する。
【００７２】
映像音声同期再生装置１Ｂは、タイムスタンプ変換手段１８ａによって、話速変換手段１３から等倍に設定された伸縮倍率の入力を受け付けると、分離抽出手段１１から入力を受け付けた音声データのタイムスタンプと映像データのタイムスタンプを更新せずに、そのまま、制御信号出力手段１８ｂに出力する。すなわち、映像音声同期再生装置１Ｂは、倍率設定手段１４によって、緊急情報検出手段１９から緊急情報が検出されたことを示す検出結果の入力を受け付けると、図３に示すステップＳ１０４からステップＳ１０９をスキップする。
そして、映像音声同期再生装置１Ｂは、制御信号出力手段１８ｂによって、制御信号出力手段１８ｂから入力された音声データのタイムスタンプと映像データのタイムスタンプとに従ったタイミングで、音声データ記憶手段１５に音声データを出力させるための制御信号を出力し、映像データのタイムスタンプに従ったタイミングで、映像データ記憶手段１７に映像データを出力させるための制御信号を出力する（ステップＳ１１０）。
そして、映像音声同期再生装置１Ｂは、制御信号出力手段１８ｂから出力された制御信号のタイミングで、音声データ記憶手段１５から音声データを出力し、映像データ記憶手段１７から映像データを出力する（ステップＳ１１１）。これによれば、音声データと映像データとが、実時間通りに再生されることとなる。
【００７３】
第二実施形態に係る映像音声同期再生装置１Ｂによれば、映像音声コンテンツに緊急情報が重畳されたストリームを受信した場合に、当該緊急情報を検出可能であり、緊急情報を検出した場合には、音声データの話速変換をせずに、通常の放送状態に切り替えることで、緊急情報の即時性を確保することが可能となる。
【００７４】
＜第三の実施形態＞
次に、図５を参照しながら、本発明の第三の実施形態に係る映像音声同期処理装置について説明する。
第三の実施形態に係る映像音声同期処理装置は、第一の実施形態に係る映像音声同期再生装置を放送受信装置（例えば、デジタルテレビジョン装置）に外付けすることを考慮して設計したものである。ここでは、映像音声同期処理装置の入出力をテレビ信号のストリームとしている。映像音声同期処理装置は、第一の実施形態に係る映像音声同期再生装置を備えるものとしたため、第一の実施形態に係る映像音声同期再生装置の構成には、前記した第一の実施形態と同一の符号を付し、重複する説明を省略する。
【００７５】
図６に示すように、第三の実施形態に係る映像音声同期処理装置２は、映像音声同期再生装置１Ａと、緊急情報検出手段２１と、符号化手段２２と、を備える。
緊急情報検出手段２１は、テレビ信号のストリームの入力を受け付けると、当該ストリームに、緊急情報が含まれているか否かを検出するものである。緊急情報検出手段２１は、緊急情報が検出された場合、そのまま外部にストリーム出力し、緊急情報が検出されなかった場合、映像音声同期再生装置１Ａにストリームを出力する。
符号化手段２２は、映像音声同期再生装置１Ａから入力された映像データと音声データを、それぞれテレビ信号のストリームに符号化し、外部に出力するものである。
【００７６】
［映像音声同期処理装置２の動作］
次に、映像音声同期処理装置２の動作を説明する。なお、映像音声同期再生装置１Ａの動作は、第一の実施形態で説明した通りであるため、ここでは、説明を省略する。
映像音声同期処理装置２は、緊急情報検出手段２１によって、テレビ信号のストリームの入力を受け付けると、当該ストリームに、緊急情報が含まれているか否かを検出する。そして、映像音声同期処理装置２は、緊急情報検出手段２１によって、緊急情報を検出した場合、そのまま外部にストリームを出力する。
【００７７】
一方、映像音声同期処理装置２は、緊急情報検出手段２１によって、緊急情報を検出しなかった場合、映像音声同期再生装置１Ａにストリームを出力する。映像音声同期処理装置２は、映像音声同期再生装置１Ａによって、音声データを話速変換し、話速変換後の音声データと映像データとを同期させて符号化手段２２に出力する。映像音声同期処理装置２は、符号化手段２２によって、音声データと映像データとを、それぞれテレビ信号のストリームに符号化し、外部に出力する。
【００７８】
第三の実施形態に係る映像音声同期処理装置２によれば、映像音声コンテンツに緊急情報が重畳されたストリームを受信した場合に、この緊急情報を検出可能であり、緊急情報を検出した場合には、映像音声同期再生装置１Ａを迂回して、テレビ信号のストリームをそのまま外部のデジタルテレビジョン装置に出力することで、デジタルテレビジョン装置における通常の視聴状態とすることができるので、緊急情報の即時性を確保することが可能となる。また、既存のデジタルテレビジョン装置に取り付けるだけで、映像音声同期再生装置１Ａの効果を得ることができるので、ユーザが現在所有のデジタルテレビジョン装置をそのまま使用することができ、導入コストを低減することができる。
【符号の説明】
【００７９】
１Ａ      映像音声同期再生装置
１１      分離抽出手段
１２      音声データ復号手段
１３      話速変換手段
１４      倍率設定手段
１５      音声データ記憶手段
１６      映像データ復号手段
１７      映像データ記憶手段
１８      同期制御手段
１８ａ      タイムスタンプ変換手段
１８ｂ      制御信号出力手段
１Ｂ      映像音声同期再生装置
１９      緊急情報検出手段
２      映像音声同期処理装置
２１      緊急情報検出手段
２２      符号化手段
Ａ      受信アンテナ
【図１】
2011061675.tif 000003
【図２】
2011061675.tif 000004
【図３】
2011061675.tif 000005
【図４】
2011061675.tif 000006
【図５】
2011061675.tif 000007