(57)【特許請求の範囲】
【請求項１】
パケット化されて伝送される映像データと音声データの少なくとも一方を含む複数のコンテンツデータを再生する際の同期を行う映像音声同期装置であって、
映像データを受信する映像受信部と、
音声データを受信する音声受信部と、
前記映像受信部及び前記音声受信部で受信した映像データ及び音声データの解析を行うデータ解析手段と、
前記複数のコンテンツデータの再同期を行うタイミングであるかを判定する再同期判定手段と、
前記判定された再同期のタイミングで同期用の遅延量を決定する同期制御手段と、
前記遅延量に基づいて前記映像データ及び前記音声データの出力タイミングを遅延調整するデータ遅延手段と、
前記データ遅延手段により遅延調整された映像データを復号する映像復号部と、
前記データ遅延手段により遅延調整された音声データを復号する音声復号部と、
を備え、
前記再同期判定手段は、前記データ解析手段による解析結果に基づき、前記コンテンツデータの一つが映像データであり、それがフレーム内符号化映像のデータである場合及び前フレームとの差分が所定値以下である場合の少なくともいずれか一方の場合に、再同期のタイミングであると判定し、
前記同期制御手段は、前記映像受信部における映像データの受信タイミングの前記音声受信部における音声データの受信タイミングに対する伝送遅延差と、前記映像復号部及び前記音声復号部での復号処理時間差とに基づいて、前記同期用の遅延量を決定することを特徴とする映像音声同期装置。
【請求項２】
パケット化されて伝送される映像データと音声データの少なくとも一方を含む複数のコンテンツデータを再生する際の同期を行う映像音声同期装置であって、
映像データを受信する映像受信部と、
音声データを受信する音声受信部と、
前記映像受信部及び前記音声受信部で受信した映像データ及び音声データの伝送状態を検出するデータ伝送状態検出手段と、
前記複数のコンテンツデータの再同期を行うタイミングであるかを判定する再同期判定手段と、
前記判定された再同期のタイミングで同期用の遅延量を決定する同期制御手段と、
前記遅延量に基づいて前記映像データ及び前記音声データの出力タイミングを遅延調整するデータ遅延手段と、
前記データ遅延手段により遅延調整された映像データを復号する映像復号部と、
前記データ遅延手段により遅延調整された音声データを復号する音声復号部と、
を備え、
前記再同期判定手段は、前記データ伝送状態検出手段による検出結果に基づき、前記コンテンツデータの伝送状態としてパケットロス、パケットの非順序到着、パケットの到着間隔が所定値以上のいずれかを含む伝送異常が生じた場合に、再同期のタイミングであると判定し、
前記同期制御手段は、前記映像受信部における映像データの受信タイミングの前記音声受信部における音声データの受信タイミングに対する伝送遅延差と、前記映像復号部及び前記音声復号部での復号処理時間差とに基づいて、前記同期用の遅延量を決定することを特徴とする映像音声同期装置。
【請求項３】
パケット化されて伝送される映像データと音声データの少なくとも一方を含む複数のコンテンツデータを再生する際の同期を行う映像音声同期装置であって、
映像データを受信する映像受信部と、
音声データを受信する音声受信部と、
前記複数のコンテンツデータの再同期を行うタイミングであるかを判定する再同期判定手段と、
前記判定された再同期のタイミングで同期用の遅延量を決定する同期制御手段と、
前記遅延量に基づいて前記映像データ及び前記音声データの出力タイミングを遅延調整するデータ遅延手段と、
ユーザによる操作を検出するユーザ操作検出手段と、
前記データ遅延手段により遅延調整された映像データを復号する映像復号部と、
前記データ遅延手段により遅延調整された音声データを復号する音声復号部と、
を備え、
前記再同期判定手段は、前記ユーザ操作検出手段によるユーザ操作の検出結果に基づき、ユーザ操作として再生される映像または音声に関する操作がなされたときに、再同期のタイミングであると判定し、
前記同期制御手段は、前記映像受信部における映像データの受信タイミングの前記音声受信部における音声データの受信タイミングに対する伝送遅延差と、前記映像復号部及び前記音声復号部での復号処理時間差とに基づいて、前記同期用の遅延量を決定することを特徴とする映像音声同期装置。
【請求項４】
前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、
前記優先度判定手段は、前記データ解析手段による解析結果に基づき、前記音声データの到着時間のゆらぎがその音声データのパケット長よりも小さい場合に、前記映像データを優先して同期を行うよう判定することを特徴とする請求項１に記載の映像音声同期装置。
【請求項５】
前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、
前記優先度判定手段は、前記データ解析手段による解析結果に基づき、前記音声データの到着時間のゆらぎがその音声データのパケット長よりも大きい場合に、前記音声データを優先して同期を行うよう判定することを特徴とする請求項１に記載の映像音声同期装置。
【請求項６】
前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、
前記優先度判定手段は、前記データ解析手段による解析結果に基づき、前記コンテンツデータの内容によって再同期時のデータの優先度を判定することを特徴とする請求項１に記載の映像音声同期装置。
【請求項７】
前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、
前記優先度判定手段は、前記データ伝送状態検出手段による検出結果に基づき、前記コンテンツデータのパケットの伝送状態に応じて再同期時のデータの優先度を判定することを特徴とする請求項２に記載の映像音声同期装置。
【請求項８】
前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、
前記優先度判定手段は、前記ユーザ操作検出手段による検出結果に基づき、映像または音声に関するユーザ操作に応じて再同期時のデータの優先度を判定することを特徴とする請求項３に記載の映像音声同期装置。
【請求項９】
前記コンテンツデータは、伝送時に再同期に適当な所定のタイミングで再同期情報が付加されるものであり、
前記再同期判定手段は、前記再同期情報によって再同期のタイミングを判定することを特徴とする請求項１乃至８のいずれか一項に記載の映像音声同期装置。
【請求項１０】
前記映像復号部及び前記音声復号部の前段において測定用データを生成して前記映像データ及び音声データに挿入する測定信号生成手段と、
前記映像復号部及び前記音声復号部の後段において前記測定用データを取り出して前記同期制御手段に送る測定信号検出手段をさらに備え、
前記同期制御手段は、前記測定用データに基づいて同期用の遅延基準値を決定することを特徴とする請求項１乃至９のいずれか一項に記載の映像音声同期装置。
【請求項１１】
前記測定信号生成手段は、前記測定用データにおいてデータ識別子と測定開始時間とを設定するものであり、
前記測定信号検出手段は、前記データ識別子により測定用データを検出するものであり、
前記測定信号検出手段により取り出された復号処理後の測定用データに測定終了時間を設定する測定データ設定手段を備え、
前記同期制御手段は、前記測定用データの測定開始時間と測定終了時間とに基づいて復号処理時間を得て前記同期用の遅延基準値を決定することを特徴とする請求項１０に記載の映像音声同期装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像や音声の再生タイミングを同期させる映像音声同期装置に関する。
【０００２】
【従来の技術】
近年、通信回線を介して伝送されるディジタル化した映像や音声の再生を行う映像音声再生装置が用いられるようになった。例えば、ローカルエリアネットワーク（ＬＡＮ）やインターネット等のネットワークによって動画像データを伝送する動画配信システムや、ネットワークを介して伝送される動画像データを再生する動画再生装置などが実用化されている。
【０００３】
このような映像音声再生装置では、例えばＩＰ（Internet Protocol ）によるデータ通信を行うＩＰネットワーク等において、パケット化された映像や音声のデータを伝送する際に、データ伝送時間のずれ等によって映像と音声の再生タイミングがずれることがあり、このような場合に対応して映像と音声の同期を行うようにしている。映像と音声の同期を行うには、受信した映像や音声のデータに付加された時刻情報に基づいて受信時刻のずれを検出するずれ検出手段と、映像と音声の再生タイミングを一致させるための信号遅延を行う遅延手段とを用いて、映像と音声の少なくとも一方を遅延させてタイミングを調整し、同期をとるのが一般的である。
【０００４】
映像と音声の同期手順としては、以下に示すような手順が従来用いられている。（１）データパケットの受信開始時に、ずれ検出手段により映像パケットと音声パケットの受信時間差を求めて遅延量を決定する。（２）決定した遅延量を遅延手段に設定して、以後受信したデータを遅延させながら再生を行うことで同期をとる。（３）毎パケットごとあるいは一定間隔で遅延量を再確認し、再同期を行う。
【０００５】
例えば、特開平８−４６８８４号公報（特許文献１）には、映像成分と音声成分のそれぞれのタイミング・リファレンス信号（ＰＴＳ）を用い、このＰＴＳの差に応じて映像と音声の同期を行う技術が開示されている。また、特開平９−２１４９３６号公報（特許文献２）には、動画像データの復号処理がシステムの状況に応じて遅延する場合、設定した処理遅延許容値までの遅延を許容し、この処理遅延許容値を超えて増加した場合は受信した未処理の動画像データをクリアしてリフレッシュ処理データを要求し、リフレッシュ処理データを処理することで再同期を行う技術が開示されている。
【０００６】
【特許文献１】
特開平８−４６８８４号公報
【特許文献２】
特開平９−２１４９３６号公報
【０００７】
【発明が解決しようとする課題】
映像と音声の同期がとられていても、再生中にデータパケットの受信タイミングにゆらぎが生じることなどによって同期がずれることがあり、上記同期手順の（３）に述べたように所定間隔ごとなどで再同期を行う必要がある。しかし、従来の同期方法では、再同期のタイミングに対する工夫がなされておらず、再同期を行う際に再生信号に不連続が生じて映像や音声が途切れたりなど、映像や音声の乱れが生じることがあり、このときに視聴者が不自然に感じることがあった。
【０００８】
本発明は、上記事情に鑑みてなされたもので、その目的は、再同期時の映像や音声の乱れを軽減することが可能な映像音声同期装置を提供することにある。
また、本発明は、復号部の特性に応じて同期用の遅延基準値を可変設定することが可能な映像音声同期装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、第１に、パケット化されて伝送される映像データと音声データの少なくとも一方を含む複数のコンテンツデータを再生する際の同期を行う映像音声同期装置であって、映像データを受信する映像受信部と、音声データを受信する音声受信部と、前記映像受信部及び前記音声受信部で受信した映像データ及び音声データの解析を行うデータ解析手段と、前記複数のコンテンツデータの再同期を行うタイミングであるかを判定する再同期判定手段と、前記判定された再同期のタイミングで同期用の遅延量を決定する同期制御手段と、前記遅延量に基づいて前記映像データ及び前記音声データの出力タイミングを遅延調整するデータ遅延手段と、前記データ遅延手段により遅延調整された映像データを復号する映像復号部と、前記データ遅延手段により遅延調整された音声データを復号する音声復号部と、を備え、前記再同期判定手段は、前記データ解析手段による解析結果に基づき、前記コンテンツデータの一つが映像データであり、それがフレーム内符号化映像のデータである場合及び前フレームとの差分が所定値以下である場合の少なくともいずれか一方の場合に、再同期のタイミングであると判定し、前記同期制御手段は、前記映像受信部における映像データの受信タイミングの前記音声受信部における音声データの受信タイミングに対する伝送遅延差と、前記映像復号部及び前記音声復号部での復号処理時間差とに基づいて、前記同期用の遅延量を決定することを特徴とする。
【００１２】
第２に、パケット化されて伝送される映像データと音声データの少なくとも一方を含む複数のコンテンツデータを再生する際の同期を行う映像音声同期装置であって、映像データを受信する映像受信部と、音声データを受信する音声受信部と、前記映像受信部及び前記音声受信部で受信した映像データ及び音声データの伝送状態を検出するデータ伝送状態検出手段と、前記複数のコンテンツデータの再同期を行うタイミングであるかを判定する再同期判定手段と、前記判定された再同期のタイミングで同期用の遅延量を決定する同期制御手段と、前記遅延量に基づいて前記映像データ及び前記音声データの出力タイミングを遅延調整するデータ遅延手段と、前記データ遅延手段により遅延調整された映像データを復号する映像復号部と、前記データ遅延手段により遅延調整された音声データを復号する音声復号部と、を備え、前記再同期判定手段は、前記データ伝送状態検出手段による検出結果に基づき、前記コンテンツデータの伝送状態としてパケットロス、パケットの非順序到着、パケットの到着間隔が所定値以上のいずれかを含む伝送異常が生じた場合に、再同期のタイミングであると判定し、前記同期制御手段は、前記映像受信部における映像データの受信タイミングの前記音声受信部における音声データの受信タイミングに対する伝送遅延差と、前記映像復号部及び前記音声復号部での復号処理時間差とに基づいて、前記同期用の遅延量を決定することを特徴とする。
【００１３】
第３に、パケット化されて伝送される映像データと音声データの少なくとも一方を含む複数のコンテンツデータを再生する際の同期を行う映像音声同期装置であって、映像データを受信する映像受信部と、音声データを受信する音声受信部と、前記複数のコンテンツデータの再同期を行うタイミングであるかを判定する再同期判定手段と、前記判定された再同期のタイミングで同期用の遅延量を決定する同期制御手段と、前記遅延量に基づいて前記映像データ及び前記音声データの出力タイミングを遅延調整するデータ遅延手段と、ユーザによる操作を検出するユーザ操作検出手段と、前記データ遅延手段により遅延調整された映像データを復号する映像復号部と、前記データ遅延手段により遅延調整された音声データを復号する音声復号部と、を備え、前記再同期判定手段は、前記ユーザ操作検出手段によるユーザ操作の検出結果に基づき、ユーザ操作として再生される映像または音声に関する操作がなされたときに、再同期のタイミングであると判定し、前記同期制御手段は、前記映像受信部における映像データの受信タイミングの前記音声受信部における音声データの受信タイミングに対する伝送遅延差と、前記映像復号部及び前記音声復号部での復号処理時間差とに基づいて、前記同期用の遅延量を決定することを特徴とする。
【００１４】
第４に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記データ解析手段による解析結果に基づき、前記音声データの到着時間のゆらぎがその音声データのパケット長よりも小さい場合に、前記映像データを優先して同期を行うよう判定することを特徴とする。
【００１６】
第５に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記データ解析手段による解析結果に基づき、前記音声データの到着時間のゆらぎがその音声データのパケット長よりも大きい場合に、前記音声データを優先して同期を行うよう判定することを特徴とする。
【００１７】
第６に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記データ解析手段による解析結果に基づき、前記コンテンツデータの内容によって再同期時のデータの優先度を判定することを特徴とする。
【００１８】
第７に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記データ伝送状態検出手段による検出結果に基づき、前記コンテンツデータのパケットの伝送状態に応じて再同期時のデータの優先度を判定することを特徴とする。
【００１９】
第８に、前記映像データ及び前記音声データのうちのいずれを優先して同期を行うかを判定する優先度判定手段をさらに備え、前記優先度判定手段は、前記ユーザ操作検出手段による検出結果に基づき、映像または音声に関するユーザ操作に応じて再同期時のデータの優先度を判定することを特徴とする。
【００２０】
第９に、前記コンテンツデータは、伝送時に再同期に適当な所定のタイミングで再同期情報が付加されるものであり、前記再同期判定手段は、前記再同期情報によって再同期のタイミングを判定することを特徴とする。
【００２１】
第１０に、前記映像復号部及び前記音声復号部の前段において測定用データを生成して前記映像データ及び音声データに挿入する測定信号生成手段と、前記映像復号部及び前記音声復号部の後段において前記測定用データを取り出して前記同期制御手段に送る測定信号検出手段をさらに備え、前記同期制御手段は、前記測定用データに基づいて同期用の遅延基準値を決定することを特徴とする。
【００２２】
第１１に、前記測定信号生成手段は、前記測定用データにおいてデータ識別子と測定開始時間とを設定するものであり、前記測定信号検出手段は、前記データ識別子により測定用データを検出するものであり、前記測定信号検出手段により取り出された復号処理後の測定用データに測定終了時間を設定する測定データ設定手段を備え、前記同期制御手段は、前記測定用データの測定開始時間と測定終了時間とに基づいて復号処理時間を得て前記同期用の遅延基準値を決定することを特徴とする。
【００２３】
本発明では、音声データの音声レベル、映像データの符号化映像種類、データ伝送状態、ユーザ操作などによって複数のコンテンツデータの再同期を行うタイミングであるかを判定し、この再同期のタイミングで同期用の遅延量を決定して、この遅延量に基づいて複数のコンテンツデータの少なくとも一つを遅延することにより、再同期を行う。またこのとき、音声データの到着時間のゆらぎ、データ伝送状態、コンテンツデータの内容、ユーザ操作などによって再同期をいずれのデータを優先して行うか優先度を判定する。あるいは、コンテンツデータの伝送時に再同期に適当な所定のタイミングでコンテンツデータに再同期情報が付加されるようにし、この再同期情報によって再同期のタイミングを判定する。これにより、再同期を行う際に映像データの乱れ、音声データの途切れなどのコンテンツデータの乱れが目立たないように軽減される。
【００２４】
また、コンテンツデータの復号手段の前段において測定用データを生成してコンテンツデータに挿入し、復号手段の後段においてコンテンツデータから測定用データを取り出して同期制御手段に送り、同期制御手段において、前記測定用データに基づいて復号処理時間を得て同期用の遅延基準値を決定する。これにより、復号部の方式や特性等を変更しても復号部の特性に応じて同期用の遅延基準値を可変設定することが可能となる。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は本発明の第１実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図である。本実施形態では、ＩＰネットワーク等の通信回線を介して伝送されるパケット化された映像及び音声のコンテンツデータを受信して再生を行う映像音声再生装置における映像音声同期装置の構成例を示してその動作を詳細に説明する。
【００２６】
映像音声再生装置は、第１のコンテンツデータとしての映像データ（映像パケット）を受信する映像受信部１１、第２のコンテンツデータとしての音声データ（音声パケット）を受信する音声受信部１２、再生時の映像と音声の同期を行う映像音声同期部１３、映像データの復号を行う映像復号部１５、音声データの復号を行う音声復号部１６、復号した映像信号の表示を行う映像表示部１７、復号した音声信号の再生を行う音声再生部１８を備えて構成される。
【００２７】
ここでいうコンテンツデータとは、１つまたは複数のメディアデータ（音声データや映像データ）を含むものである。複数のメディアデータからなるコンテンツデータとは、例えば多重化された音声映像ストリームや、音声・映像・静止画・テキストなどからなるマルチメディア情報ストリームなどを示す。
【００２８】
映像音声同期部１３は、再同期に関する動作制御を行う再同期制御部２０、映像データの遅延時間を制御する映像遅延制御部（データ遅延手段）２１、音声データの遅延時間を制御する音声遅延制御部（データ遅延手段）２２を備えて構成される。
【００２９】
本実施形態では、映像受信部１１及び音声受信部１２でそれぞれ受信した映像データと音声データに対して、映像音声同期部１３において、再同期制御部２０の制御の元で映像遅延制御部２１及び音声遅延制御部２２でそれぞれ遅延させて映像復号部１５及び音声復号部１６への投入タイミングを調整することによって、映像と音声の同期が行われる。ここで、再同期のときの映像や音声の乱れを軽減するために、以下に示す４つのいずれかのタイミングで再同期を実行するようにする。
【００３０】
（Ａ）入力音声パケットの音声レベルが所定値以下が連続する場合、及び環境音などの音声でない音が連続する場合に、再同期を行う。
（Ｂ）入力映像パケットがフレーム内符号化映像（Ｉフレーム映像）の場合、及び前フレームとの差分が小さい場合に、再同期を行う。
（Ｃ）伝送状態（パケットロス、パケットの非順序到着、パケットの到着間隔など）に合わせて再同期を行う。
（Ｄ）ユーザ操作（ボリュームを下げる、映像表示中ウィンドウの拡大など）に合わせて再同期を行う。
【００３１】
上記のようなタイミングで再同期を行うことによって、映像データや音声データに不連続が生じても再生出力される映像や音声の乱れを目立たなくすることが可能である。例えば、音声の出力レベルが小さい場合は、多少の途切れがあったりデータ補間の伸長処理等を行っても目立たないため、映像及び音声の乱れを低減して再同期を実行できる。また、フレーム内符号化映像などの画質の良いフレーム映像において同期ずれが大きいと、ユーザにとって違和感が大きくなってしまい、またフレーム内符号化映像では以前のフレーム映像とは相関性が低いので、このようなフレーム映像のタイミングで映像及び音声の乱れが目立たないように再同期を実行できる。さらに、フレーム間符号化映像であっても前フレームとの差分が小さければ、その入力映像パケットを破棄しても映像の乱れが小さいため、このタイミングで映像の乱れが目立たないように再同期を実行可能である。また、パケットロスなどのデータ伝送時の不具合が生じたり、ユーザ操作がなされた場合は、もともと出力される映像及び音声に乱れが生じるため、この乱れが目立たない間に再同期を実行できる。
【００３２】
図２は第１実施形態に係る再同期制御部の詳細構成を示すブロック図である。この図２の例は、上記（Ａ）または（Ｂ）に示した再同期タイミングで再同期を行う構成を示したものである。
【００３３】
第１実施形態の再同期制御部２０ａは、再同期判定部（再同期判定手段）３１、優先度判定部（優先度判定手段）３２、同期制御部（同期制御手段）３３、映像パケット解析部（データ解析手段）３４、音声パケット解析部（データ解析手段）３５を有して構成される。再同期判定部３１は、再同期のタイミングになったかどうかを判定するものである。優先度判定部３２は、映像あるいは音声のどちらを優先して同期を行うかを判定し決定するものである。同期制御部３３は、映像及び音声の再同期アルゴリズムを実行し、映像及び音声の遅延量を決定するものである。
【００３４】
映像パケット解析部３４は、映像受信部１１で受信した映像パケットがフレーム内符号化映像（Ｉフレーム映像）であるかどうかを解析するものである。音声パケット解析部３５は、音声受信部１２で受信した音声パケットの音声レベルを判定する。
【００３５】
この第１実施形態では、映像パケット解析部３４及び音声パケット解析部３５での解析結果に基づき、再同期判定部３１において再同期を行うタイミングかどうかを判定するとともに、優先度判定部３２において再同期を行う場合に映像優先モードと音声優先モードのどちらで同期を実行するかを決定する。ここでは、受信した音声パケットの音声レベルが所定値以下の状態が連続する場合と、受信した映像パケットがフレーム内符号化映像である場合に再同期を行う。例えば、前記所定値として、音声レベルが（静かな部屋の騒音レベルの目安である）５０ｄＢを下回った場合、再同期を行う。なお、所定値は上記値に限定されるものではなく、システム構成や使用環境等に応じて適切な任意の値を用いればよい。
【００３６】
あるいは、映像パケットにおいて前フレームとの差分が所定値以下の場合に再同期を行うようにしてもよい。この場合、例えば、映像符号化処理の単位となるマクロブロックごとに設定され、そのマクロブロックがそのフレームに符号化情報を含んでいないことを示すnot_codedフラグを利用することで、前フレームとの差分の評価を行うことができる。本例では、解像度３５２×２４０ピクセルの画像を構成する３３０個のマクロブロックのうち、７０％にあたる２３１個以上のマクロブロックにおいてnot_codedフラグが設定されていた場合、前フレームとの差分が所定値以下であるものとして、再同期を行う。なお、所定値は上記値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。
【００３７】
音声受信部１２で受信される音声パケットの到着時間のゆらぎが音声パケット長よりも小さい場合は、音声データの伸長処理による音声の乱れが小さいので、映像優先モードで再同期を行う。映像優先モードでは、映像復号部１５への映像データの投入タイミングを基準として、音声データを音声復号部１６へ送出する。ここで、再同期時の遅延した音声データの投入タイミングが遅くなり、そのままでは音声の途切れが発生する場合には、途切れを無くすために音声データの伸長処理を行う。
【００３８】
音声受信部１２で受信される音声パケットの到着時間のゆらぎが、音声パケット長よりも大きい場合は、音声データの伸長処理による音声の乱れが大きくなるため、音声優先モードで再同期を行う。音声優先モードでは、音声復号部１６への音声データの投入タイミングを基準として、映像データを映像復号部１５へ送出する。この場合、音声の途切れが発生しないように、音声データの投入タイミングを早めるようにする。また、映像パケットの受信タイミングが音声に対して１フレーム分以上遅れた場合には、映像表示部１７に対し映像の表示を行わないように指示する。これにより、音声とずれた映像の表示を防止し、映像の乱れを防ぐようにしている。
【００３９】
なお、映像と音声の優先度の判定は、上記の例以外に、音声データや映像データの内容によって、例えば音声レベルが小さいときは映像を優先したり、映像がＩフレーム映像のときは映像を優先したりしてもよい。
【００４０】
ここで、映像と音声の同期について以下に詳しく説明する。図３は映像データと音声データの各部での入出力タイミングを示すタイムチャートである。通常、映像データと音声データの受信タイミングは、ネットワーク等の通信回線での伝送遅延差があるため、音声受信部１２での音声パケットの受信タイミングに対して映像受信部１１での映像パケットの受信タイミングの方が遅れる。この伝送遅延差と、音声復号部１６と映像復号部１５での復号処理時間差とを考慮して、これらの時間差を加えたものを音声遅延時間とし、音声データの音声復号部１６への投入タイミングを遅延させるようにする。これにより、音声再生部１８と映像表示部１７での出力内容のタイミングが一致し、映像と音声の同期をとることができる。
【００４１】
図４は映像優先モードで再同期を行う場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。なお、以降では音声ｎ，ｎ＋１，ｎ＋２のデータと映像ｍのデータとを対応させて再同期する場合を例示する。映像優先モードの場合は、映像復号部１５への映像データの投入タイミングを基準として音声データの投入タイミングを合わせて音声復号部１６へ送出する。
【００４２】
図４の例では、音声再生部１８と映像表示部１７での出力タイミングを一致させて同期をとるための音声遅延時間（遅延基準値）に対して、音声復号部１６への音声データの投入開始タイミングが早く、音声データの時間ゆらぎＴｄａが生じている場合を示している。この場合、映像データにタイミングを合わせて音声データを遅延させると、音声が途切れてしまうため、これを回避するために音声ｎ′のように音声データを補間する伸長処理を行って音声復号部１６へ投入する。例えば、図４のように音声データの時間ゆらぎＴｄａの値が音声１フレームを下回る場合であって、通常音声フレームを２０ｍｓｅｃ、ゆらぎＴｄａの値を１０ｍｓｅｃとした場合、音声データ補間処理によって音声データｎ′を３０ｍｓｅｃ分のデータに伸長する。なお、上記例示した値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。このような動作処理により、映像の出力タイミングに合わせて音声の再同期を行い、この再同期時の音声の乱れを防止することが可能となる。
【００４３】
図５は音声優先モードで再同期を行う場合で映像データの時間ゆらぎが小さい場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。音声優先モードの場合は、音声復号部１６への音声データの投入タイミングを基準として映像データの投入タイミングを合わせて映像復号部１５へ送出する。
【００４４】
図５の例では、音声再生部１８と映像表示部１７での出力タイミングを一致させるための音声遅延時間及び映像遅延時間に対して、映像復号部１５への映像データの投入開始タイミングが遅く、映像データの時間ゆらぎＴｄｖが生じている場合を示している。この場合、音声データに対して映像データを同期させるために、映像表示部１７における映像データの出力時間、すなわち映像の表示時間を短くする。例えば、図５のように映像データの時間ゆらぎＴｄｖの値が音声１フレームを下回る場合であって、通常音声フレームを２０ｍｓｅｃ、ゆらぎＴｄｖの値を１０ｍｓｅｃとした場合、映像データの投入タイミングをゆらぎＴｄｖの値１０ｍｓｅｃだけ遅らせて再同期をとる。この場合、映像及び音声の乱れを防止するために、映像表示部１７における映像データｍの出力時間をゆらぎＴｄｖの値１０ｍｓｅｃだけ短くする。なお、上記例示した値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。このような動作処理により、映像及び音声の乱れを防止しつつ、音声の出力タイミングに合わせて映像の再同期を行うことが可能となる。
【００４５】
図６は音声優先モードで再同期を行う場合で映像データの時間ゆらぎが大きい場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。図６の例では、音声再生部１８と映像表示部１７での出力タイミングを一致させるための音声遅延時間及び映像遅延時間に対して、映像復号部１５への映像データの投入開始タイミングが音声に対して１フレーム分以上遅れ、映像データの時間ゆらぎＴｄｖが大きい場合を示している。この場合、映像ｍに対応する音声ｎ，ｎ＋１，ｎ＋２のデータはすでに出力された後であり、音声ｎ＋３は次の映像ｍ＋１に対応する音声であるので、映像表示部１７において間に合っていない映像ｍのデータを非表示とする。例えば、図６のように映像データの時間ゆらぎＴｄｖの値が音声１フレームを上回る場合であって、通常音声フレームを２０ｍｓｅｃ、ゆらぎＴｄｖの値を６０ｍｓｅｃとした場合、映像表示部１７において大きく遅延した映像データｍの再生を行わないようにする。なお、上記例示した値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。
【００４６】
遅れた映像データを非表示とする場合、フレーム内符号化映像（Ｉフレーム映像）は多少遅れて表示しない場合でも映像データを廃棄しないようにする。一方、フレーム間符号化映像（Ｐフレーム映像）は非表示の場合は映像データを廃棄する。Ｉフレーム映像を廃棄すると、後続のＰフレーム映像における復号化時の情報に矛盾が生じ、画質が低下するため、Ｉフレーム映像については復号化等で使用可能なように保持しておく。このような動作処理により、再同期時に遅れて音声に間に合わなかった映像を表示しないようにして映像と音声の乱れを防止することが可能となる。
【００４７】
図７は第２実施形態に係る再同期制御部の詳細構成を示すブロック図である。この図７の例は、上記（Ｃ）に示した再同期タイミングで再同期を行う構成を示したものである。
【００４８】
第２実施形態の再同期制御部２０ｂは、再同期判定部３６、優先度判定部３７、同期制御部３３、映像パケット伝送状態計測部（データ伝送状態検出手段）３８、音声パケット伝送状態計測部（データ伝送状態検出手段）３９を有して構成される。映像パケット伝送状態計測部３８は、映像受信部１１で受信した映像パケットの受信状態を計測するものである。音声パケット伝送状態計測部３９は、音声受信部１２で受信した音声パケットの受信状態を計測するものである。
【００４９】
第２実施形態では、映像パケット伝送状態計測部３８及び音声パケット伝送状態計測部３９でのパケット伝送状態の計測結果に基づき、再同期判定部３６において再同期を行うタイミングかどうかを判定するとともに、優先度判定部３７において再同期を行う場合に映像優先モードと音声優先モードのどちらで同期を実行するかを決定する。ここでは、映像パケットや音声パケットの伝送時にパケットロスが生じたり、パケットの到着順序が入れ替わったり、パケットの到着間隔が所定値以上となった場合など、パケットの伝送異常が生じた伝送状態のときに再同期を行う。例えば、前記所定値として、音声フレームの長さが２０ｍｓｅｃの場合、その５０％である１０ｍｓｅｃを所定値とし、音声パケットの到着間隔が所定値１０ｍｓｅｃを上回った場合、再同期を行う。なお、所定値は上記値に限定されるものではなく、システム構成やデータフォーマット等に応じて適切な任意の値を用いればよい。
【００５０】
なおこのとき、第１実施形態と同様に映像パケットと音声パケットの受信タイミング等に応じて、あるいは映像パケットと音声パケットとで伝送状態が正常な方を優先して同期をとる。再同期の動作については前述した第１実施形態と同様の手順によって実行することができる。
【００５１】
パケットロスなどが生じた場合は、必然的に映像または音声が乱れることになるので、このような伝送状態のタイミングに合わせて再同期を行うことにより、再同期時の映像や音声の乱れを目立たなくすることが可能となる。
【００５２】
図８は第３実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図、図９は第３実施形態に係る再同期制御部の詳細構成を示すブロック図である。この図８及び図９の例は、上記（Ｄ）に示した再同期タイミングで再同期を行う構成を示したものである。
【００５３】
第３実施形態の映像音声再生装置は、ユーザの操作を検出するユーザ操作検出部（ユーザ操作検出手段）４２を備えており、映像音声同期部４１はこのユーザ操作検出部４２の検出結果を含めて映像と音声の同期を行うようになっている。映像音声同期部４１の再同期制御部２０ｃは、再同期判定部４３、優先度判定部４４、同期制御部３３を有して構成される。
【００５４】
第３実施形態では、ユーザ操作検出部４２でのユーザ操作の検出結果に基づき、再同期判定部４３において再同期を行うタイミングかどうかを判定するとともに、優先度判定部４４において再同期を行う場合に映像優先モードと音声優先モードのどちらで同期を実行するかを決定する。ここでは、ユーザがボリュームを下げる、映像表示中ウィンドウの拡大などの再生される映像または音声に関する操作を行ったときに再同期を行う。なおこのとき、第１実施形態と同様に映像パケットと音声パケットの受信タイミングに応じて、あるいは映像と音声とでユーザ操作対象でない方を優先して同期をとる。再同期の動作については前述した第１実施形態と同様の手順によって実行することができる。
【００５５】
このようにユーザによって音量減少などの映像または音声に関する操作がなされたときに、ユーザ操作に応じて音声や映像が変化するのに合わせて再同期を行うことにより、再同期時の映像や音声の乱れを目立たなくすることが可能となる。
【００５６】
図１０は第４実施形態に係る映像及び音声データのパケットフォーマットの構成を示す説明図である。
【００５７】
図１０（Ａ）に示すように、ネットワーク上などを伝送される映像データや音声データのパケットフォーマットは、一般に、パケット生成時間５１などのヘッダ情報を有するヘッダ部の後ろに、実際の映像や音声のデータ５２が設けられる構造となっている。第４実施形態では、図１０（Ｂ）に示すように、ヘッダ部のパケット生成時間５１の後ろなどに再同期情報５３を付加して設け、この再同期情報５３によって再同期のタイミングを制御する。
【００５８】
この場合、送信側装置で音声データに再同期情報を付加し、受信側装置で再同期情報の内容及びタイミングに合わせて映像と音声の再同期を行う。例えば、送信側装置では音声データの音声レベルが所定値以下となると再同期情報を付加する。この再同期情報は、再同期を行う場合は「１」、再同期を行わない場合は「０」などのフラグを用いても良いし、再同期の優先度付けを行って優先度を数値等で表したものを用いることもできる。なお、映像データについても同様に再同期情報を付加して再同期の制御に用いることも可能である。
【００５９】
このように再同期を行うのが望ましいタイミングで音声データや映像データに再同期情報を付加して再同期を制御することにより、再同期時の映像や音声の乱れを軽減することができる。またこの場合、受信側の装置で音声データ及び映像データの解析等を行う必要がなく、再同期制御に関する構成を簡略化することができる。
【００６０】
図１１は本発明の第５実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図、図１２は第５実施形態に係る映像及び音声データと測定用データのデータフォーマットの構成を示す説明図である。
【００６１】
第５実施形態の映像音声再生装置は、図１の第１実施形態の構成に加えて、映像音声同期部６０の映像復号部１５及び音声復号部１６の前段にそれぞれ測定信号生成部（測定信号生成手段）６１，６２を備え、映像復号部１５及び音声復号部１６の後段にそれぞれ測定信号検出部（測定信号検出手段）６３，６４と測定データ設定部（測定データ設定手段）６５，６６を備えて構成される。
【００６２】
測定信号生成部６１，６２は、測定開始時間を設定した測定用データを生成し、映像データ及び音声データにそれぞれ挿入するものである。測定信号検出部６３，６４は、映像復号部１５及び音声復号部１６の出力からそれぞれ測定用データを検出して取り出すものである。測定データ設定部６５，６６は、取り出された測定用データに測定終了時間を設定し、再同期制御部２０にフィードバックするものである。
【００６３】
映像受信部１１及び音声受信部１２でそれぞれ受信される映像データ及び音声データのデータフォーマットは、図１２（Ａ）に示すように、「０」のデータ識別子７０を有するヘッダ部の後ろに、実際の映像や音声のデータ７２が設けられる構造となっている。また、測定用データは、図１２（Ｂ）に示すように、「１」のデータ識別子７１を有するヘッダ部の後ろに、測定開始時間７３と測定終了時間７４とが付加された構造となっている。この測定開始時間７３と測定終了時間７４とによって映像復号部１５と音声復号部１６のそれぞれにおける実際の復号処理時間を得ることができる。
【００６４】
測定信号生成部６１，６２において、測定開始時間を設定して付加した測定用データが生成され、映像データ及び音声データにそれぞれ挿入される。これらのデータは映像復号部１５及び音声復号部１６でそれぞれ復号された後、測定信号検出部６３，６４でそれぞれ測定用データが検出されて取り出される。取り出された測定用データはそれぞれ測定データ設定部６５，６６において測定終了時間が設定されて付加され、再同期制御部２０に送られる。再同期制御部２０は、測定用データに含まれる測定開始時間と測定終了時間とから、映像復号部１５と音声復号部１６のそれぞれにおける復号処理時間を求め、これらの復号処理時間差に基づいて遅延基準値を決定して映像遅延制御部２１及び音声遅延制御部２２を制御することによって再同期を行う。
【００６５】
第５実施形態では、映像復号部１５や音声復号部１６における特性や復号方式が変更されたとき、あるいは新たな復号部が追加されたときに、測定用データを用いてその復号部の復号処理時間を測定し、音声遅延時間（遅延基準値）を設定して再同期を行う。これにより、映像復号部または音声復号部を切り替えた場合でも、復号部の特性に応じて同期用の遅延基準値を可変設定して再同期を行うことが可能となる。
【００６６】
なお、上記の各実施形態では、映像と音声を同期させる場合の構成を例示したが、映像と音声の組み合わせだけでなく、映像と映像の組み合わせや音声と音声の組み合わせなど、各種コンテンツデータの組み合わせにおいても同様な構成を用いることができ、適切なタイミングで支障なく再生データの再同期を実行できる。
【００６７】
【発明の効果】
以上説明したように本発明によれば、再同期時の映像や音声の乱れを軽減することが可能な映像音声同期装置を提供できる。また、復号部の特性に応じて同期用の遅延基準値を可変設定することが可能な映像音声同期装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図である。
【図２】第１実施形態に係る再同期制御部の詳細構成を示すブロック図である。
【図３】映像データと音声データの各部での入出力タイミングを示すタイムチャートである。
【図４】映像優先モードで再同期を行う場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。
【図５】音声優先モードで再同期を行う場合で映像データの時間ゆらぎが小さい場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。
【図６】音声優先モードで再同期を行う場合で映像データの時間ゆらぎが大きい場合の映像データ及び音声データの各部での入出力タイミングを示すタイムチャートである。
【図７】第２実施形態に係る再同期制御部の詳細構成を示すブロック図である。
【図８】第３実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図である。
【図９】第３実施形態に係る再同期制御部の詳細構成を示すブロック図である。
【図１０】第４実施形態に係る映像及び音声データのパケットフォーマットの構成を示す説明図である。
【図１１】本発明の第５実施形態に係る映像音声同期装置を含む映像音声再生装置の構成を示すブロック図である。
【図１２】第５実施形態に係る映像及び音声データと測定用データのデータフォーマットの構成を示す説明図である。
【符号の説明】
１１  映像受信部
１２  音声受信部
１３，４１，６０  映像音声同期部
１５  映像復号部
１６  音声復号部
１７  映像表示部
１８  音声再生部
２０，２０ａ，２０ｂ，２０ｃ  再同期制御部
２１  映像遅延制御部
２２  音声遅延制御部
３１，３６，４３  再同期判定部
３２，３７，４４  優先度判定部
３３  同期制御部
３４  映像パケット解析部
３５  音声パケット解析部
３８  映像パケット伝送状態計測部
３９  音声パケット伝送状態計測部
４２  ユーザ操作検出部
６１，６２  測定信号生成部
６３，６４  測定信号検出部
６５，６６  測定データ設定部
【図１】
0004298262.tif 000002
【図２】
0004298262.tif 000003
【図３】
0004298262.tif 000004
【図４】
0004298262.tif 000005
【図５】
0004298262.tif 000006
【図６】
0004298262.tif 000007
【図７】
0004298262.tif 000008
【図８】
0004298262.tif 000009
【図９】
0004298262.tif 000010
【図１０】
0004298262.tif 000011
【図１１】
0004298262.tif 000012
【図１２】
0004298262.tif 000013