(57)【要約】【課題】動画像データと音声データ間の再生時刻の差を低減できる動画像音声同期装置を提供する。【解決手段】動画像音声同期装置（１）は、符号化された動画像データに含まれるフレームを復号し、フレームの再生時刻を第１のクロック信号に基づいて決定し、かつ、符号化された音声データを復号し、復号された音声データに含まれる、フレームと同時に再生されるべき対応音声信号の再生時刻を、第１のクロック信号と異なる第２のクロック信号に基づいて決定する復号部（１１）と、対応音声信号から、無音期間を検出する無音期間検出部（１３）と、対応音声信号の期間内の無音期間をスキップまたはリピートして、フレームの再生時刻と対応音声信号の再生時刻の差を低減させる音声タイミング調節部（１５）とを有する。【選択図】図１
2015156584.tif 000002
【特許請求の範囲】
【請求項１】
符号化された動画像データに含まれるフレームを復号し、前記フレームの再生時刻を第１のクロック信号に基づいて決定し、かつ、符号化された音声データを復号し、復号された前記音声データに含まれる、前記フレームと同時に再生されるべき対応音声信号の再生時刻を、前記第１のクロック信号と異なる第２のクロック信号に基づいて決定する復号部と、
前記対応音声信号から、無音期間を検出する無音期間検出部と、
前記対応音声信号の期間内の前記無音期間をスキップまたはリピートして、前記フレームの前記再生時刻と前記対応音声信号の前記再生時刻の差を低減させる音声タイミング調節部と、
を有する動画像音声同期装置。
【請求項２】
前記第１のクロック信号に基づいて決定される前記フレームの再生時刻に対する、前記第２のクロック信号に基づいて決定される前記対応音声信号の再生時刻の遅延時間を測定する遅延時間測定部をさらに有し、
前記音声タイミング調節部は、前記遅延時間に応じて前記遅延時間が所定期間未満となるか、または、スキップ可能な前記無音期間がなくなるまで、前記無音期間をスキップまたはリピートする、請求項１に記載の動画像音声同期装置。
【請求項３】
前記所定期間は、前記無音期間のスキップまたはリピートに用いられる最小区間である、請求項２に記載の動画像音声同期装置。
【請求項４】
前記第１のクロック信号に基づいて決定される前記フレームの再生時刻に対する、前記第２のクロック信号に基づいて決定される前記対応音声信号の再生時刻の遅延時間を測定する遅延時間測定部をさらに有し、
前記音声タイミング調節部は、前記遅延時間が、前記対応音声信号の再生時刻が前記フレームの再生時刻よりも所定の閾値以上遅いことを示す場合、連続する二つの前記フレーム間の間隔よりも短い所定時間にわたって前記無音期間をスキップし、一方、前記遅延時間が、前記対応音声信号の再生時刻が前記フレームの再生時刻よりも前記所定の閾値以上早いことを示す場合、前記所定時間にわたって前記無音期間をリピートする、請求項１に記載の動画像音声同期装置。
【請求項５】
符号化された動画像データに含まれるフレームを復号し、前記フレームの再生時刻を第１のクロック信号に基づいて決定し、かつ、符号化された音声データを復号し、復号された前記音声データに含まれる、前記フレームと同時に再生されるべき対応音声信号の再生時刻を、前記第１のクロック信号と異なる第２のクロック信号に基づいて決定し、
前記対応音声信号から、無音期間を検出し、
前記対応音声信号の期間内の前記無音期間をスキップまたはリピートして、前記フレームの前記再生時刻と前記対応音声信号の前記再生時刻の差を低減させる、
ことを含む動画像音声同期方法。
【請求項６】
符号化された動画像データに含まれるフレームを復号し、前記フレームの再生時刻を第１のクロック信号に基づいて決定し、かつ、符号化された音声データを復号し、復号された前記音声データに含まれる、前記フレームと同時に再生されるべき対応音声信号の再生時刻を、前記第１のクロック信号と異なる第２のクロック信号に基づいて決定し、
前記対応音声信号から、無音期間を検出し、
前記対応音声信号の期間内の前記無音期間をスキップまたはリピートして、前記フレームの前記再生時刻と前記対応音声信号の前記再生時刻の差を低減させる、
ことをコンピュータに実行させるための動画像音声同期用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データと音声データを同期させる動画像音声同期装置、動画像音声同期方法及び動画像音声同期用コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像データと音声データとを含むコンテンツを再生する装置において、例えば、符号化された動画像データと符号化された音声データの伝送時間のずれなどにより、動画像データの再生時刻と音声データの再生時刻がずれることがある。そこで、動画像データと音声データの再生時刻を一致させるべく、動画像データと音声データとを同期させる技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２０４４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
また、動画像を高精細化する技術が研究されている。例えば、テレビジョン放送では、いわゆる4k(水平方向3840画素、垂直方向2160画素)、及び8k(水平方向7680画素、垂直方向4320画素)といった、フルハイビジョンよりも高精細なテレビジョン放送の実施が計画されている。
【０００５】
このような高精細な動画像では、動画像データ上で、動きのある物体の細部まで表現されるため、動画像データと音声データ間の再生時刻のずれが目立ち易くなる。
【０００６】
一つの側面では、本発明は、動画像データと音声データ間の再生時刻の差を低減できる動画像音声同期装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの態様では、動画像音声同期装置が提供される。この動画像音声同期装置は、符号化された動画像データに含まれるフレームを復号し、フレームの再生時刻を、第１のクロック信号に基づいて決定し、かつ、符号化された音声データを復号し、フレームと同時に再生されるべき対応音声信号の再生時刻を、第１のクロック信号と異なる第２のクロック信号に基づいて決定する復号部と、対応音声信号から、無音期間を検出する無音期間検出部と、フレームについての対応音声信号の期間内の無音期間をスキップまたはリピートして、フレームの再生時刻と対応音声信号の再生時刻の差を低減させる音声タイミング調節部とを有する。
【０００８】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【０００９】
一つの側面として、動画像データと音声データ間の再生時刻の差を低減できる。
【図面の簡単な説明】
【００１０】
【図１】一つの実施形態による動画像音声同期装置の概略構成図である。
【図２】動画像データの基準再生時刻からの遅延時間と、音声信号の基準再生時刻からの遅延時間と、音声信号の強さの関係の一例を示すタイミングチャートである。
【図３】動画像音声同期処理の動作フローチャートである。
【図４】変形例による、動画像データの遅延時間と、音声信号の基準再生時刻からの遅延時間と、音声信号の強さの関係の一例を示すタイミングチャートである。
【図５】変形例による、動画像音声同期処理の動作フローチャートである。
【図６】実施形態または変形例による動画像音声同期処理を実行するコンピュータの概略構成図である。
【発明を実施するための形態】
【００１１】
以下、図を参照しつつ、実施形態による、動画像音声同期装置について説明する。
符号化された動画像データ及び音声データを含む符号化データストリームを復号する復号装置は、パケット情報を参照して、動画像データに含まれる各フレームの再生時刻及び音声データに含まれる各オーディオフレーム単位の音声信号の再生時刻を決定する。ここで、復号装置によっては、フレームを復号する際に同期させるクロック信号が、音声信号の同期クロック信号と異なることがある。例えば、復号装置は、各フレームの再生時刻を決定するために、復号装置自身が有するクロック発振器が供給するクロック信号、または、他の装置から通信ネットワークを介して供給されるクロック信号を参照する。一方、音声信号の再生時刻を決定するために、復号装置は、符号化データストリームに含まれるクロック情報、例えば、Program Clock Reference(PCR)を用いて復号されたクロック信号を参照する。このような場合、各フレーム及び音声信号を、符号化された動画像データ及び音声データに含まれる提示時刻情報(Presentation Time Stamp, PTS)に従って再生しても、再生時刻がずれることがある。
【００１２】
動画像データに含まれるフレームの再生時刻と、そのフレームと同時に再生されるべき音声信号（以下、説明の便宜上、対応音声信号と呼ぶ）の再生時刻のずれを補正するために、復号装置は、フレームをスキップまたはリピートすることがある。これは、音声信号の一部をリピートしたり、あるいはスキップするよりも、動画像中のフレームをスキップまたはリピートする方が、視聴者に気付かれ難いためである。
【００１３】
しかし、動画像は、フレームごとに表示され、連続する二つのフレームの間隔はあらかじめ決まっている。例えば、インターレース方式では、フレーム間隔は33msecとなり、プログレッシブ方式では、フレーム間隔は16msecである。したがって、フレームのスキップまたはリピートにより動画像と音声の再生時刻のずれを補正する場合、フレーム間隔よりも短い間隔でその再生時刻のずれを補正することは困難である。
一方、音声信号は連続的に再生されるので、音声信号の一部だけをスキップまたはリピートすることで、復号装置は、動画像と音声の再生時刻のずれをフレーム間隔よりも短い間隔で補正できる。
【００１４】
そこで、この動画像音声同期装置は、音声信号から視聴者が音を知覚できない無音区間を検出し、各フレームについての対応音声信号の無音期間をリピートまたはスキップして、視聴者に不自然さを感じさせることなく動画像と音声信号の再生時刻の差を低減する。
【００１５】
図１は、一つの実施形態による、動画像音声同期装置の概略構成図である。
動画像音声同期装置１は、復号部１１と、デジタル／アナログ変換部１２と、無音期間検出部１３と、遅延時間測定部１４と、音声タイミング調節部１５と、動画像タイミング調節部１６とを有する。
動画像音声同期装置１が有するこれらの各部は、それぞれ、別個の回路として動画像音声同期装置１に実装される。あるいは、動画像音声同期装置１が有するこれらの各部は、その各部の機能を実現する回路が集積された一つまたは複数の集積回路として動画像音声同期装置１に実装されてもよい。あるいはまた、動画像音声同期装置１が有するこれらの各部は、動画像音声同期装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
【００１６】
復号部１１は、符号化データストリームから取り出された符号化動画像データ及び符号化音声データを、それぞれ、所定の符号化方法に従って復号する。符号化データストリームは、例えば、Moving Picture Experts Group(MPEG)により策定されたMPEG-2 TS形式に従ったデータストリームとすることができる。また、動画像データに適用される符号化方式は、例えば、MPEG-2、MPEG-4、あるいは、H.264/MPEG-4 AVC若しくはH.265とすることができる。また、音声データに適用される符号化方式は、例えば、MPEG-2 Advanced Audio Coding(AAC)、MPEG-4 AAC、あるいはHigh-Efficiency Advanced Audio Coding(HE-AAC)とすることができる。
【００１７】
また復号部１１は、復号された動画像データの各フレームの再生時刻を、動画像用のクロック信号に基づいて決定する。
本実施形態では、復号部１１は、自装置のクロック発振器から供給されるクロック信号または他の装置から供給されるクロック信号と、システム時刻基準参照値(System Clock Reference, SCR)に基づいて、システム時刻基準値(System Time Clock, STC)を復号する。このSTCが動画像用のクロック信号となる。そして復号部１１は、STC値が復号された動画像データのフレームについてのPTSとなったときをそのフレームの再生時刻とする。そして復号部１１は、各フレームをそのフレームの再生時刻に出力する。
【００１８】
また、復号部１１は、復号された各オーディオフレームに含まれる音声信号の再生時刻を、音声用のクロック信号に基づいて決定する。
本実施形態では、復号部１１は、STC及びPCRに基づいて求められた音声用のクロック信号が、オーディオフレームについてのPTSとなったときをそのオーディオフレームに含まれる音声信号の再生時刻とする。そして復号部１１は、その音声信号を再生時刻に出力する。なお、SCR、PCRは、符号化データストリームに含まれる。
さらに、復号部１１は、各フレームのPTSといった、再生時刻情報を遅延時間測定部１４へ出力する。
【００１９】
デジタル／アナログ変換部１２（以下、Ｄ／Ａ変換部１２と呼ぶ）は、復号された音声信号をデジタル信号からアナログ信号に変換する。そしてＤ／Ａ変換部１２は、アナログ化された音声信号を無音期間検出部１３及び音声タイミング調節部１５へ出力する。
【００２０】
無音期間検出部１３は、アナログ化された音声信号中で視聴者が音を感知できない期間である無音期間を検出する。本実施形態では、無音期間検出部１３は、音声信号に対して、人の可聴域以外の周波数成分をカットするフィルタをかける。人の可聴域は約20Hz〜20kHzの範囲なので、例えば、バンドパスフィルタは、20Hz〜20kHzの範囲内の周波数成分を残し、その他の周波数成分をカットするバンドパスフィルタとすることができる。
【００２１】
無音期間検出部１３は、フィルタリングされた音声信号を所定の期間ごとに分割し、各期間について、その期間内の音声信号の強度を所定の基準値と比較する。そして無音期間検出部１３は、その期間内の音声信号の強度が所定の基準値未満である場合、その期間を無音期間として検出する。なお、所定の期間は、例えば、後述する音声タイミング調節部１５において、スキップまたはリピートが行われる無音期間の最小期間とすることができ、動画像データのフレーム間隔(33msec)よりも短い期間、例えば、1msec〜10msecとすることができる。以下では、説明の便宜上、この所定の期間を調節単位期間と呼ぶ。
また、所定の基準値は、例えば、最小可聴音(10-12W/m2)とすることができる。
【００２２】
無音期間検出部１３は、調節単位期間ごとに、無音期間か否かを表す無音監視信号を音声タイミング調節部１５へ出力する。
【００２３】
遅延時間測定部１４は、動画像データを第１のクロック信号に基づいて決定される再生時刻と、音声信号データを第２のクロック信号に基づいて決定される再生時刻との時間差である遅延時間を測定する。遅延時間の値が正の場合、フレームの再生時刻が音声信号データの再生時刻よりも早いことを表し、一方、遅延時間の値が負の場合、フレームの再生時刻が音声信号データの再生時刻よりも遅いことを表す。
【００２４】
なお、遅延時間測定部１４は、動画像データの着目するフレームよりも前に、スキップされたフレームまたはリピートされたフレームがある場合、スキップされたフレームの枚数とリピートされたフレームの枚数に応じて遅延時間を補正する。例えば、着目するフレームよりも前にスキップされたフレームがn枚ある場合(nは1以上の整数)、その分だけ、着目するフレームの再生時刻が早くなるので、遅延時間測定部１４は、上記の遅延時間から、n×fpに相当する値を加算する。なお、fpは、フレーム間隔である。一方、着目するフレームよりも前にリピートされたフレームがm枚ある場合(mは1以上の整数)、その分だけ、着目するフレームの再生時刻が遅くなるので、遅延時間測定部１４は、上記の遅延時間から、m×fpに相当する値を減じる。
【００２５】
遅延時間測定部１４は、測定した遅延時間を表す遅延情報を音声タイミング調節部１５及び動画像タイミング調節部１６へ出力する。
【００２６】
音声タイミング調節部１５は、動画像データの各フレームについて、そのフレームの遅延時間の絶対値を所定の閾値と比較する。なお、所定の閾値は、動画像データのフレーム間隔よりも短い期間である。例えば、所定の閾値は、調節単位期間と同じ、あるいは調節単位期間の２〜３倍とすることができる。そして音声タイミング調節部１５は、遅延時間の絶対値が所定の閾値以上である場合、そのフレームについての対応音声信号に無音期間があるか否か判定する。無音期間があれば、音声タイミング調節部１５は、そのフレームの再生時刻に音声信号の再生時刻を近づけるように、無音期間をスキップまたはリピートする。例えば、着目するフレームの再生時刻が対応する音声信号よりもΔmsecだけ早い場合、音声タイミング調節部１５は、スキップする無音期間の長さの合計とΔmsecの差が所定期間以下となるか、スキップ可能な無音期間がなくなるまで、無音期間をスキップする。一方、着目するフレームの再生時刻が対応する音声信号よりもΔmsecだけ遅い場合、音声タイミング調節部１５は、リピートする無音期間の長さの合計とΔmsecの差が所定期間以下となるまで、無音期間をリピートする。なお、所定期間は、例えば、調節単位期間と同じ、あるいは調節単位期間の２〜３倍とすることができる。
【００２７】
このように、無音期間のスキップまたはリピートにより、動画像データに含まれる各フレームの再生時刻の遅延時間と対応音声信号の再生時刻の遅延時間を追従させることで、フレームと対応音声信号間の再生時刻の差がフレーム間隔以下となる。また、無音期間は、視聴者が音を知覚できない期間なので、無音期間がスキップまたはリピートされても、視聴者が気付くような不自然な音は生じない。
【００２８】
音声タイミング調節部１５は、無音期間のスキップまたはリピートにより再生時刻が調節された後の音声信号をスピーカ（図示せず）へ出力する。
【００２９】
動画像タイミング調節部１６は、動画像データの各フレームについて、そのフレームの遅延時間の絶対値がフレーム間隔の長さ以上となったか否か判定する。そして動画像タイミング調節部１６は、そのフレームの遅延時間の絶対値がフレーム間隔以上となった場合、そのフレームをスキップまたはリピートすることで、遅延時間を０に近づける。
【００３０】
例えば、着目するフレームの遅延時間が正で、かつ、フレーム間隔以上である場合、すなわち、着目するフレームの再生時刻が基準再生時刻よりもフレーム間隔以上早い場合、動画像タイミング調節部１６は、着目するフレームをリピートする。一方、着目するフレームの遅延時間が負で、かつ、フレーム間隔以上である場合、すなわち、着目するフレームの再生時刻が基準再生時刻よりもフレーム間隔以上遅い場合、動画像タイミング調節部１６は、着目するフレームをスキップする。
このように、動画像タイミング調節部１６が、遅延時間に応じてフレームをスキップまたはリピートすることで、基準再生時刻に対する各フレームの再生時刻のずれをフレーム間隔以下にできる。なお、基準再生時刻は、フレームの本来の再生時刻である。例えば、フレームと同時に再生されるべき対応音声信号について、符号化データストリームに規定されたPTSが基準再生時刻を表す。
【００３１】
動画像タイミング調節部１６は、フレームのスキップまたはリピートにより再生時刻調節された後の動画像データの各フレームを、例えば、ビデオチップといった表示用回路へ出力する。また動画像タイミング調節部１６は、フレームのスキップまたはリピートが行われる度に、その旨を表すスキップ／リピート情報を遅延時間測定部１４へ通知する。
【００３２】
図２は、動画像データの基準再生時刻からの遅延時間と、音声信号の基準再生時刻からの遅延時間と、音声信号の強さの関係の一例を示すタイミングチャートである。
図２において、横軸は時間を表す。また上側のチャートにおいて、縦軸は遅延時間を表す。遅延時間が０よりも上側であれば、動画像データのフレームの再生時刻が基準再生時刻よりも早い。一方、遅延時間が０よりも下側であれば、動画像データのフレームの再生時刻が基準再生時刻よりも遅い。また、下側のチャートにおいて、縦軸は音の強さを表す。なお、この例では、動画像データのフレーム間隔は33msecであるとする。
【００３３】
波形２０１に示される動画像データの遅延時間が+33msecになると、１フレーム分リピートされ、遅延時間は０にリセットされる。一方、動画像データの遅延時間が-33msecになると、１フレーム分スキップされ、遅延時間は０にリセットされる。
これに対して、波形２０２に示される音声データの遅延時間は、無音期間において音声信号がスキップまたはリピートされる度に、動画像データの遅延時間に近づく。無音期間は、波形２０３に示される音声信号の音の強さが基準値I0未満となる期間であり、例えば、時刻t0〜t1、時刻t2〜t3、時刻t4〜t5が無音期間である。時刻t0〜t3では、動画像データの再生時刻が基準再生時刻よりも早いので、時刻t0〜t1の無音期間はスキップされる。しかし、時刻t0〜t1の無音期間がスキップされても、まだ動画像データの再生時刻が基準再生時刻よりも早いので、時刻t2〜t3の無音期間もスキップされ、その結果、動画像データの遅延時間と音声データの遅延時間は時刻t3において一致する。しかし、時刻t3にて、動画像データの遅延時間が33msecに達するので、動画像データは１フレーム分リピートされ、遅延時間が０となる。その結果、音声データの再生時刻の方が動画像データの再生時刻よりも早くなる。そのため、音声タイミング調節部１５は、時刻t4〜t5の無音期間をリピートして、音声データの遅延時間と動画像データの遅延時間の差を減少させる。以下、音声タイミング調節部１５は、同様の処理を繰り返し行って、動画像データの遅延時間に音声データの遅延時間を追従させて、動画像データの再生時刻と音声データの再生時刻の差をフレーム間隔よりも短くする。
【００３４】
なお、動画像タイミング調節部１６は、復号部１１による各フレームの復号完了のタイミングを監視してもよい。そして動画像タイミング調節部１６は、動画像データの着目するフレームの復号が完了した時点で、その着目するフレームをスキップまたはリピートすることにより、動画像データの遅延時間を抑制してもよい。この場合には、着目するフレームについての対応音声信号の遅延時間も０にできるだけの無音期間が含まれることが好ましい。
【００３５】
図３は、本実施形態による、動画像音声同期処理の動作フローチャートである。なお、動画像音声同期装置１は、動画像データのフレームごとに、下記の処理を繰り返す。
復号部１１は、動画像データの現フレーム及び対応音声信号を復号する（ステップＳ１０１）。そして復号部１１は、動画像用のクロック信号に基づいて現フレームの再生時刻を決定する（ステップＳ１０２）。また復号部１１は、音声用のクロック信号に基づいて対応音声信号の再生時刻を決定する（ステップＳ１０３）。
【００３６】
Ｄ／Ａ変換部１２は、対応音声信号をアナログ化する（ステップＳ１０４）。そして無音期間検出部１３は、アナログ化された対応音声信号中の無音期間を検出する（ステップＳ１０５）。
【００３７】
また、遅延時間測定部１４は、対応音声信号の再生時刻に対する現フレームの再生時刻の遅延時間を測定する（ステップＳ１０６）。
【００３８】
音声タイミング調節部１５は、現フレームについての対応音声信号中に無音期間が含まれるか否か判定する（ステップＳ１０７）。無音期間が含まれていれば（ステップＳ１０７−Ｙｅｓ）、音声タイミング調節部１５は、その無音期間を利用して、動画像のそのフレームの遅延時間に対応する音声信号の遅延時間を近づけることができる。そこで音声タイミング調節部１５は、その無音期間をリピートまたはスキップして、対応音声信号に対する現フレームの遅延時間を低減する（ステップＳ１０８）。
【００３９】
一方、無音期間が含まれていない場合（ステップＳ１０７−Ｎｏ）、音声タイミング調節部１５は、対応音声信号の再生時刻を調節しない。
【００４０】
また、動画像タイミング調節部１６は、現フレームの遅延時間がフレーム間隔に達したか否か判定する（ステップＳ１０９）。そして動画像の遅延時間がフレーム間隔に達した場合（ステップＳ１０９−Ｙｅｓ）、遅延時間が０に近づくように、現フレームをスキップまたはリピートする（ステップＳ１１０）。
【００４１】
ステップＳ１１０の後、あるいは、ステップＳ１０９にて動画像の遅延時間がフレーム間隔に達していない場合（ステップＳ１０９−Ｎｏ）、動画像音声同期装置１は、動画像音声同期処理を終了する。
なお、ステップＳ１０２とステップＳ１０３の処理は並列に行われてもよい。同様に、ステップＳ１０４及びＳ１０５とステップＳ１０６の処理は並列に行われてもよい。
【００４２】
以上に説明してきたように、この動画像音声同期装置は、動画像データの再生時刻と、音声信号の再生時刻がずれている場合、音声信号の無音期間を利用して、動画像データの再生時刻と音声信号の再生時刻のずれを補正する。音声信号は、動画像のフレーム間隔よりも短い単位でスキップまたはリピートできる。そのため、この動画像音声同期装置は、動画像データの再生時刻と音声信号の再生時刻のずれがフレーム間隔よりも短くなるように、音声信号の再生時刻を調節できる。またこの動画像音声同期装置は、無音期間を利用して音声信号の再生時刻を調節するので、視聴者に気付かせることなく、音声信号の再生時刻を調節できる。
【００４３】
なお、変形例によれば、動画像データのフレームの遅延時間の絶対値が所定の閾値以上となる場合、音声タイミング調節部１５は、対応音声信号の無音期間をスキップまたはリピートして、対応音声信号の遅延時間を所定の値に設定してもよい。
【００４４】
図４は、この変形例による、動画像データの遅延時間と、音声信号の基準再生時刻からの遅延時間と、音声信号の強さの関係の一例を示すタイミングチャートである。
図４において、横軸は時間を表す。また上側のチャートにおいて、縦軸は遅延時間を表す。遅延時間が０よりも上側であれば、動画像データのフレームの再生時刻が基準再生時刻よりも早い。一方、遅延時間が０よりも下側であれば、動画像データのフレームの再生時刻が基準再生時刻よりも遅い。また、下側のチャートにおいて、縦軸は音の強さを表す。なお、この例では、動画像データのフレーム間隔は33msecとする。
波形４０１は、動画像データの遅延時間の時間変化を表す。波形４０２は、音声データの基準再生時刻に対する音声データの再生時刻の遅延時間を表す。そして波形４０３は、音声信号の強さの時間変化を表す。
【００４５】
波形４０１に示されるように、動画像データの遅延時間が+33msecになると、１フレーム分リピートされ、その遅延時間は０にリセットされる。一方、動画像データの遅延時間が-33msecになると、１フレーム分スキップされ、その遅延時間は０にリセットされる。
これに対して、時刻t0〜t4のように、動画像データの再生時刻が基準再生時刻よりも早い場合、対応音声信号の遅延時間が所定時間αになるまで、無音期間はスキップされる。この例では、波形４０３に示されるように、時間t0〜t1、t2〜t3において音声信号は無音期間となるので、時間t0〜t1、t2〜t3の無音期間がスキップされる。そして動画像データの再生時刻が基準再生時刻よりも早い間、音声データの遅延時間は所定時間αで保たれる。
【００４６】
一方、時刻t4〜t6のように、動画像データの再生時刻が基準再生時刻よりも遅くなると、時刻t4〜t6内の無音期間t4〜t5がリピートされて、音声データの遅延時間は所定時間(-α)に設定される。
なお、所定時間αは、動画像データのフレーム間隔未満、例えば、フレーム間隔の1/2、あるいは、動画像データの過去所定数のフレームの遅延時間の絶対値の平均値、中央値または最頻値に設定できる。所定時間αがこのように設定されることで、音声タイミング調節部１５は、各フレームの遅延時間と対応音声信号の遅延時間の差、すなわち、各フレームの再生時刻と対応音声信号の再生時刻の差をフレーム間隔未満にすることができる。
【００４７】
図５は、この変形例による、動画像音声同期処理の動作フローチャートである。なお、動画像音声同期装置１は、動画像データのフレームごとに、下記の処理を繰り返す。
また、ステップＳ２０１〜Ｓ２０６、Ｓ２１２及びＳ２１３の処理は、図３に示された動作フローチャートのステップＳ１０１〜Ｓ１０６、Ｓ１０９及びＳ１１０の処理と同一である。そこで、以下では、ステップＳ２０１〜Ｓ２０６、Ｓ２１２及びＳ２１３の処理の説明を省略する。
【００４８】
ステップＳ２０６の後、音声タイミング調節部１５は、現フレームについての対応音声信号中に無音期間が含まれるか否か判定する（ステップＳ２０７）。無音期間が含まれていれば（ステップＳ２０７−Ｙｅｓ）、音声タイミング調節部１５は、遅延時間の絶対値が所定の閾値Th以上か否か判定する（ステップＳ２０８）。なお、閾値Thは、フレーム間隔未満の値、例えば、調節単位期間とすることができる。遅延時間の絶対値が閾値Th以上であれば（ステップＳ２０８−Ｙｅｓ）、音声タイミング調節部１５は、遅延時間を参照して、フレームの再生時刻が基準再生時刻よりも早いか否か判定する（ステップＳ２０９）。
【００４９】
フレームの再生時刻が基準再生時刻よりも早いことを遅延時間が示していれば（ステップＳ２０９−Ｙｅｓ）、音声タイミング調節部１５は、無音期間を所定時間スキップする（ステップＳ２１０）。一方、フレームの再生時刻が基準再生時刻よりも遅いことを遅延時間が示していれば（ステップＳ２０９−Ｎｏ）、音声タイミング調節部１５は、無音期間を所定時間リピートする（ステップＳ２１１）。
【００５０】
ステップＳ２１０またはＳ２１１の後、あるいは、ステップＳ２０７にて無音期間が無い場合（ステップＳ２０７−Ｎｏ）、動画像音声同期装置１は、ステップＳ２１２以降の処理を実行する。また、ステップＳ２０８にて遅延時間の絶対値が閾値Th未満の場合（ステップＳ２０８−Ｎｏ）も、動画像音声同期装置１は、ステップＳ２１２以降の処理を実行する。そして動画像音声同期装置１は、動画像音声同期処理を終了する。
【００５１】
この変形例による動画像音声同期装置は、上記の実施形態と同様の効果を得ることができるとともに、音声データの再生時刻を調節するための制御が簡単化されるので、音声タイミング調節部１５の演算量を軽減できる。
【００５２】
なお、上記の実施形態または変形例では、アナログ化された音声信号に基づいて、無音期間の検出及び無音期間のリピートまたはスキップが行われている。しかし、動画像音声同期装置は、デジタルの音声信号に基づいて無音期間の検出及び無音期間のリピートまたはスキップを行ってもよい。そして動画像音声同期装置は、無音期間のリピートまたはスキップにより再生時刻が調節された音声信号をアナログ化してもよい。
【００５３】
図６は、上記の実施形態またはその変形例による動画像音声同期装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像音声同期装置として動作するコンピュータの概略構成図である。
【００５４】
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５と、表示装置１０６と、スピーカ１０７を有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。またプロセッサ１０５は、ビデオインターフェース（図示せず）を介して表示装置１０６と接続され、オーディオインターフェース（図示せず）を介してスピーカ１０７と接続される。
【００５５】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置を有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、復号する動画像データ及び音声データを選択する操作信号をプロセッサ１０５へ出力する。
【００５６】
通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。そして通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化された動画像データ及び音声データを取得し、それらのデータをプロセッサ１０５へ渡す。
【００５７】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像音声同期処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。
【００５８】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０８にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０８に記憶されたプロセッサ１０５上で実行される、動画像音声同期処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
【００５９】
プロセッサ１０５は、上記の実施形態または変形例による動画像音声同期処理用コンピュータプログラムを実行することにより、符号化された動画像データ及び音声データに対して動画像音声同期処理を実行する。そしてプロセッサ１０５は、復号された動画像データを表示装置１０６へ出力するとともに、復号された音声データをアナログ化した音声信号をスピーカ１０７へ出力する。
【００６０】
コンピュータ上で実行されることにより、上述した実施形態またはその変形例による動画像音声同期装置の各部の機能を実現するコンピュータプログラムは、半導体メモリまたは光記録媒体などの記録媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
【００６１】
上述した実施形態またはその変形例による動画像音声同期装置は、様々な用途に利用される。例えば、この動画像音声同期装置は、映像受信装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。
【００６２】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【００６３】
１    動画像音声同期装置
１１    復号部
１２    デジタル／アナログ変換部
１３    無音期間検出部
１４    遅延時間測定部
１５    音声タイミング調節部
１６    動画像タイミング調節部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    表示装置
１０７    スピーカ
【図１】
2015156584.tif 000003
【図２】
2015156584.tif 000004
【図３】
2015156584.tif 000005
【図４】
2015156584.tif 000006
【図５】
2015156584.tif 000007
【図６】
2015156584.tif 000008