(57)【要約】映像再生装置１２０は映像データの時刻データＴ１に処理時間Ｔ１を加算してなる再生推定時刻情報ＴＴ１をサーバ装置１００に無線送信し、オーディオ再生装置１１０はオーディオデータの時刻データＴ２に処理時間Ｔ２を加算してなる再生推定時刻情報ＴＴ２をサーバ装置１００に無線送信する。サーバ装置１００は再生推定時刻情報ＴＴ１，ＴＴ２を無線受信しこれらの再生推定時刻差情報Δｔを計算して無線送信する。映像再生装置１２０は再生推定時刻差情報Δｔに基づき映像とオーディオが実質的に同期して再生するように映像データを再生する時刻を制御し、オーディオ再生装置１１０は再生推定時刻差情報Δｔに基づき映像とオーディオが実質的に同期して再生するようにオーディオデータを再生する時刻を制御する。【特許請求の範囲】
【請求項１】
時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムにおいて、
上記映像再生装置は、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信し、
上記オーディオ再生装置は、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信し、
上記サーバ装置は、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信し、
上記映像再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御し、
上記オーディオ再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御することを特徴とする無線通信システム。
【請求項２】
上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行することを特徴とする請求項１記載の無線通信システム。
【請求項３】
上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする請求項１又は２記載の無線通信システム。
【請求項４】
時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムを用いた同期再生方法において、
上記映像再生装置において、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信するステップと、
上記オーディオ再生装置において、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信するステップと、
上記サーバ装置において、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信するステップと、
上記映像再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御するステップと、
上記オーディオ再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御するステップとを含むことを特徴とする同期再生方法。
【請求項５】
上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行するステップをさらに含むことを特徴とする請求項４記載の同期再生方法。
【請求項６】
上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする請求項４又は５記載の同期再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、無線通信システムに関する。特に、本発明は、同一のプログラムの映像データやオーディオデータを同期再生するための無線通信システム及びそれを用いた同期再生方法に関する。
【背景技術】
【０００２】  近年、インターネットのブロードバンド化や無線ＬＡＮに代表される各種無線通信システムの普及に伴い、家庭内で機器間の配線が不要で、かつ設置場所に制限されないワイヤレスのディジタル家庭電化製品が注目を集めている。その例として、いくつもの動画（例えば、ＴＶ番組など）を記録したサーバ装置と、映像を再生するディスプレイと、オーディオを再生するスピーカとを相互に無線ネットワークを介して接続して、サーバ装置から動画データを送信して、当該動画データに含まれる映像データの映像をディスプレイから再生して出力し、オーディオデータのオーディオをスピーカから再生して出力するワイヤレス映像オーディオ再生システムが提案されている。【０００３】  上述のワイヤレス映像オーディオ再生システムでは、無線ネットワークを介して送受信されるデータはディジタル符号化されているため、データの復号化に要する時間や、無線ネットワークを介するデータ伝送に要する時間などにより、映像データ及びオーディオデータの送信から再生出力までにはある程度の遅延時間が存在する。ここで、映像データに要する遅延時間と、オーディオデータに要する遅延時間はそれぞれ異なり、映像データとオーディオデータが同時刻にサーバ装置から送信されたとしても、そのデータがディスプレイ及びスピーカから同時刻に再生出力されるとは限らない。このような映像データとオーディオデータとの再生時間差は、１００ミリ秒以下程度のわずかな時間であれば視聴者は気にならないが、１００ミリ秒を超える再生時間差は視聴者に違和感を覚えさせてしまう。そのため、遅延時間の差による映像とオーディオの再生時間差を小さくし、極力映像とオーディオを同期させて再生する必要がある。このような無線通信を利用した映像とオーディオの同期再生に関する従来技術として、例えば特許文献１に記載された無線送受信システムが知られている。【０００４】
【特許文献１】特開２００４−１９３８６８号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】  特許文献１に記載された無線送受信システムは、当該システムを構成する全ての機器に共通の基準時刻を設け、動画の再生を始める前にタイムスタンプ要求及び応答パケットを送受信し、無線のデータ伝送に要する遅延時間を計測し、その結果に基づいて映像とオーディオの再生時間を定めることを特徴としている。このような方法を用いた場合、無線のデータ伝送によって発生する遅延を、映像の出力タイミングを意図的に遅延させることにより吸収し、映像とオーディオの再生時間差を小さくすることができ、一定の効果があるが、同時に以下に示す問題点を有している。【０００６】（１）実際の無線通信システムでは、無線通信路におけるデータの誤り率が有線通信路に比べて大きいことから、送受信機器の双方で十分なバッファメモリを用意し、無線通信路において多少の誤りが発生しても映像やオーディオの再生が途切れないような工夫がなされている。このバッファメモリによって発生する遅延時間が考慮されていない。【０００７】（２）システムを使用する機器周辺の電波環境は常に一定であるとは限らず、無線のデータ伝送時間も一定であるとは限らないが、電波環境の変化によって映像又はオーディオの再生時間を随時補正する手段を有していない。【０００８】  本発明の目的は以上の問題点を解決し、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる無線通信システム及びそれを用いた同期再生方法を提供することにある。
【課題を解決するための手段】
【０００９】  第１の発明に係る無線通信システムは、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムにおいて、
上記映像再生装置は、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信し、
上記オーディオ再生装置は、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信し、
上記サーバ装置は、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信し、
上記映像再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御し、
上記オーディオ再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御することを特徴とする。【００１０】  また、上記無線通信システムにおいて、上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行することを特徴とする。【００１１】  さらに、上記無線通信システムにおいて、上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする。【００１２】  第２の発明に係る同期再生方法は、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムを用いた同期再生方法において、
上記映像再生装置において、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信するステップと、
上記オーディオ再生装置において、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信するステップと、
上記サーバ装置において、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信するステップと、
上記映像再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御するステップと、
上記オーディオ再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御するステップとを含むことを特徴とする。【００１３】  また、上記同期再生方法において、上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行するステップをさらに含むことを特徴とする。【００１４】  さらに、上記同期再生方法において、上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする。
【発明の効果】
【００１５】  従って、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。
【図２】図１の無線通信システムにおいて送受信されるパケット信号の構成を示すブロック図である。
【図３】図１のオーディオ再生装置１１０及び映像再生装置１２０によって実行される同期再生出力制御処理を示すフローチャートである。
【図４】図１の無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。
【図５】本発明の変形例に係る無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。
【符号の説明】
【００１７】１００…サーバ装置、
１０１，１１１，１２１…無線送受信回路、
１０１Ａ，１１１Ａ，１２１Ａ…アンテナ、
１０２，１１２，１２２…システムコントローラ、
１０３，１１３，１２３…バッファメモリ、
１０４…動画データメモリ、
１１０…オーディオ再生装置、
１１４…オーディオデコーダ、
１１５，１２５…Ｄ／Ａ変換器、
１１６…スピーカ、
１１７，１２７…デコーダコントローラ、
１２０…映像再生装置、
１２４…映像デコーダ、
１２６…ディスプレイ、
３０１…映像データパラメータ情報、
３０２…オーディオデータパラメータ情報、
３０３…映像データパケット、
３０４…オーディオデータパケット、
３１１…タイムスタンプ情報、
３１２…キーフレーム情報、
３１３…圧縮符号化された映像データ、
３２１…タイムスタンプ情報、
３２２…圧縮符号化されたオーディオデータ。
【発明を実施するための最良の形態】
【００１８】  以下、本発明に係る実施形態について図面を参照して説明する。なお、同様の構成要素については同一の符号を付している。【００１９】実施形態．
図１は本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。本実施形態に係る無線通信システムは、ワイヤレス映像オーディオ再生システムに適用されるものであり、図１に示すように、例えばＤＶＤレコーダ又はパーソナルコンピュータなどのサーバ装置１００と、オーディオ再生装置１１０と、映像再生装置１２０とを備えて構成され、それらは無線ＬＡＮなどの無線ネットワークを介して接続されている。【００２０】  図１において、サーバ装置１００は、アンテナ１０１Ａが接続された無線送受信回路１０１と、システムコントローラ１０２と、バッファメモリ１０３と、例えばハードディスクドライブなどの動画データメモリ１０４とを備えて構成される。また、オーディオ再生装置１１０は、アンテナ１１１Ａが接続された無線送受信回路１１１と、システムコントローラ１１２と、バッファメモリ１１３と、オーディオデコーダ１１４と、ディジタル／アナログ変換器（以下、Ｄ／Ａ変換器という。）１１５と、スピーカ１１６と、デコーダコントローラ１１７とを備えて構成される。ここで、システムコントローラ１１２はオーディオ再生装置１１０の他の回路要素１１１乃至１１５の動作を制御する。さらに、映像再生装置１２０は、アンテナ１２１Ａが接続された無線送受信回路１２１と、システムコントローラ１２２と、バッファメモリ１２３と、映像デコーダ１２４と、Ｄ／Ａ変換器１２５と、ディスプレイ１２６と、デコーダコントローラ１２７とを備えて構成される。ここで、システムコントローラ１２２は映像再生装置１２０の他の回路要素１２１乃至１２５の動作を制御する。【００２１】  サーバ装置１００において、ユーザの操作により動画データメモリ１０４に予め格納された動画データ（例えば複数のプログラムデータを含み、各プログラムデータは、映像データと、オーディオデータとを含む。）は、例えばブルートゥース（Ｂｌｕｅｔｏｏｔｈ）や無線ＬＡＮ等の無線ネットワークの規格に準拠した無線通信機能を有する無線送受信回路１０１に入力され、無線送受信回路１０１は入力される動画データに従って、無線搬送波を所定のディジタル変調方式を用いて無線信号にディジタル変調した後、アンテナ１０１Ａを用いて、オーディオ再生装置１１０、及び映像再生装置１２０に対して送信する。ここで、動画データメモリ１０４に記録された動画データは、例えば、圧縮符号化された映像オーディオデータ（例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）方式などに準拠して形成された動画データである。）であるが、本発明はこれに限らず、その他の方式で符号化されたデータであってもよい。【００２２】  図２は図１の無線通信システムにおいて送受信されるパケット信号の構成を示すブロック図である。なお、当該１つのパケット信号の前段には、無線ネットワークにおいて送受信するための情報（発信元アドレスや、宛作アドレスなどの情報）が付加される。当該パケット信号は、図２に示すように、映像データに関するＩＤや圧縮符号化方式及びそれに関する仕様情報などを含む映像データパラメータ情報３０１と、オーディオデータに関するＩＤや圧縮符号化方式及びそれに関する仕様情報などを含むオーディオデータパラメータ情報３０２と、映像データパケット３０３と、オーディオデータパケット３０４と、それに続く映像データパケット３０３及びオーディオデータパケット３０４とを含み構成される。ここで、映像データパケット３０３は、１つのプログラムの最初の時刻を０時０分０秒として計時され当該圧縮符号化された映像データ３１３の最初のデータの時刻情報であるタイムスタンプ情報３１１と、例えばＭＰＥＧ方式で圧縮符号化されているときはＩピクチャのフレーム情報であるキーフレーム情報３１２と、圧縮符号化された映像データ（映像コンテンツデータ）３１３とを含む。また、オーディオデータパケット３０４は、１つのプログラムの最初の時刻を０時０分０秒として計時され当該圧縮符号化されたオーディオデータ３２２の最初のデータの時刻情報であるタイムスタンプ情報３２１と、圧縮符号化されたオーディオデータ（オーディオコンテンツデータ）３２２とを含む。すなわち、図２に示すように、圧縮符号化された映像データ及びオーディオデータには、再生時刻を定めるためのタイムスタンプ情報が含まれている。【００２３】  図１において、オーディオ再生装置１１０では、サーバ装置１００から無線送信された動画データを含む無線信号をアンテナ１１１Ａを用いて受信して無線送受信回路１１１に出力する。無線送受信回路１１１は無線送受信回路１０１と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用いて動画データに復調した後、システムコントローラ１１２を介して一旦バッファメモリ１１３に格納する。次いで、オーディオデコーダ１１４はバッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出し、伸張及び復号化処理を行って伸張復号化されたオーディオデータに変換した後Ｄ／Ａ変換器１１５に出力する。Ｄ／Ａ変換器１１５は入力されるオーディオデータをアナログオーディオデータに変換した後、スピーカ１１６に出力してオーディオの音として再生する。【００２４】  また、映像再生装置１２０では、サーバ装置１００から無線送信された動画データを含む無線信号をアンテナ１２１Ａを用いて受信して無線送受信回路１２１に出力する。無線送受信回路１２１は無線送受信回路１０１と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用いて動画データに復調した後、システムコントローラ１２２を介して一旦バッファメモリ１２３に格納する。次いで、映像デコーダ１２４はバッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出し、伸張及び復号化処理を行って伸張復号化された映像データに変換した後Ｄ／Ａ変換器１２５に出力する。Ｄ／Ａ変換器１２５は入力される映像データをアナログ映像データに変換した後、ディスプレイ１２６に出力して当該映像データの映像を再生して表示する。【００２５】  ここで、バッファメモリ１１３，１２３は、無線通信における伝送誤りによって映像やオーディオの再生が途切れないようにデータを格納しておく役割を担っている。一方でこのバッファメモリ１１３，１２３のそれぞれに再生すべきデータが格納されることにより、サーバ装置１００から送信された動画データがスピーカ１１６とディスプレイ１２６から同時にオーディオと映像が出力されるとは限らないという問題点があった。この問題点を解決するために、本実施形態に係る無線通信システムでは、以下の同期再生出力制御処理を実行する。【００２６】  図３は図１のオーディオ再生装置１１０及び映像再生装置１２０によって実行される同期再生出力制御処理を示すフローチャートである。【００２７】  図３において、まず、ステップＳ１では、時間Ｔ３を計時するＴ３タイマ（図３のステップＳ１０でのＮＯの処理に示すように、所定の時間Ｔ３以内では、復号化時の再生時刻の補正は不要で即時に復号化するように制御するために、Ｔ３タイマが設けられている。）の計時をスタートさせ、ステップＳ２において動画再生の開始か又は動画の再生中であるか否かが判断され、ＹＥＳのときはステップＳ３に進む一方、ＮＯのときは当該同期再生出力制御処理を終了する。ステップＳ３において、データを無線受信したか否かが判断され、ＹＥＳのときはステップＳ４に進む一方、ＮＯのときはステップＳ２に戻る。次いで、ステップＳ４では、無線受信したデータは時間差情報（Δｔ）である否かが判断され、ＹＥＳのときはステップＳ５に進む一方、ＮＯのとき、すなわち動画データのときはステップＳ７に進む。ステップＳ５では、受信された時間差情報（Δｔ）に基づいて復号化再生時刻の補正が必要であるか否かが判断される。ここでは、例えば｜Δｔ｜＞１００ミリ秒であるときにユーザが顕著な映像とオーディオの時間差として認識可能であると判断して、ステップＳ６において、受信された時間差情報（Δｔ）に基づいて、デコーダ１１４又は１２４を制御して各データの再生時刻を遅延させた後、ステップＳ２に戻る。一方、ステップＳ５でＮＯであるときは、ステップＳ６の処理を実行させずに、ステップＳ２に戻る。【００２８】  ステップＳ７では、動画データをバッファメモリ１１３又は１２３に格納し、ステップＳ８では、バッファメモリ１１３又は１２３に例えば１０ＭＢなど一定量の動画データが格納されたか否かが判断され、ＹＥＳのときはステップＳ９に進む一方、ＮＯのときはステップＳ２に戻る。次いで、ステップＳ９では、復号化すべき動画データをバッファメモリ１１３又は１２３から読み出し、ステップＳ１０では、Ｔ３タイマは一定時間Ｔ３だけ計時してタイムオーバーしたか否かが判断され、ＹＥＳのときはステップＳ１１に進む一方、ＮＯのときはステップＳ１４に進む。ステップＳ１１では、読み出したデータからタイムスタンプ情報Ｔ１又はＴ２を取り出し、ステップＳ１２では、再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１又はＴＴ２＝Ｔ２＋ｔ２を計算し、計算した再生推定時刻情報ＴＴ１又はＴＴ２をサーバ装置１００に無線送信する。【００２９】  ここで、ｔ１は、図４に示すように、所定の圧縮符号化された映像データ量に対して、映像デコーダ１２４による映像データの抽出及び伸張復号化処理から、Ｄ／Ａ変換器１２５によるＤ／Ａ変換処理を経て、ディスプレイ１２６による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。また、ｔ２��、図４に示すように、所定の圧縮符号化されたオーディオデータ量に対して、オーディオデコーダ１１４によるオーディオデータの抽出及び伸張復号化処理から、Ｄ／Ａ変換器１２５によるＤ／Ａ変換処理を経て、スピーカ１１６による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。ここで、既知のデータ処理時間ｔ１，ｔ２は周囲の電波環境や温度、湿度などによらずほぼ一定である。【００３０】  そして、ステップＳ１３では、Ｔ３タイマをリセットしステップＳ１４に進む。ステップＳ１４では、デコーダ１１４又は１２４に伸張復号化すべきデータを転送して伸張復号化処理を実行させた後、ステップＳ２に戻る。【００３１】  図４は図１の無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。以下、図４を参照して、映像とオーディオを同期再生させるための同期再生出力制御処理について説明する。【００３２】（１）まず、サーバ装置１００は、再生すべき動画データを抽出して（ステップ２０１）、オーディオ再生装置１１０及び映像再生装置１２０に対して無線送信する（ステップ２０２）。
（２）オーディオ再生装置１１０は、サーバ装置１００から無線送信された動画データを無線受信して（ステップ２０４）、バッファメモリ１１３に格納する（ステップ２０６）。また、映像再生装置１２０でも同様に、サーバ装置１００から無線送信された動画データを無線受信して（ステップ２０３）、バッファメモリ１２３に格納する（ステップ２０５）。【００３３】（３Ａ）オーディオ再生装置１１０のオーディオデコーダ１１４は、バッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号化処理を行うオーディオデータに含まれるタイムスタンプ情報Ｔ２をデコーダコントローラ１１７に通知する。デコーダコントローラ１１７は、通知されたタイムスタンプ情報Ｔ２に対して、圧縮符号化されたオーディオデータがバッファメモリ１１３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してスピーカ１１６から出力されるまでに要する既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２＝Ｔ２＋ｔ２を計算して、計算された再生推定時刻情報ＴＴ２をシステムコントローラ１１２及び無線送受信回路１１１を介してサーバ装置１００に対して無線送信する（ステップ２０８）。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２１０，２１２，２１４）。【００３４】（３Ｂ）映像再生装置１２０の映像デコーダ１２４は、バッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報Ｔ１をデコーダコントローラ１２７に通知する。デコーダコントローラ１２７は、通知されたタイムスタンプ情報Ｔ１に対して、圧縮符号化された映像データがバッファメモリ１２３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してディスプレイ１２６から表示出力されるまでに要する既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１を計算して、計算された再生推定時刻情報ＴＴ１をシステムコントローラ１２２及び無線送受信回路１２１を介してサーバ装置１００に対して無線送信する（ステップ２０７）。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２０９，２１１，２１３）。【００３５】（４）サーバ装置１００の無線送受信回路１０１は、オーディオ再生装置１１０及び映像再生装置１２０より送信された再生推定時刻情報ＴＴ１，ＴＴ２を受信し、映像データの再生推定時刻情報ＴＴ１と、オーディオデータの再生推定時刻情報ＴＴ２とを比較して再生推定時刻差情報Δｔ＝ＴＴ１−ＴＴ２を計算し（ステップ２１５）、計算した再生推定時刻差情報Δｔ（例えば、Δｔ＝１００ミリ秒であれば、映像データの出力の方が１００ミリ秒遅いことを示す。）をオーディオ再生装置１２０及びオーディオ再生装置１１０に対して無線送信する（ステップ２１６）。【００３６】（５）オーディオ再生装置１１０のシステムコントローラ１１２は、無線受信した再生推定時刻差情報Δｔに応じて、その時間差が小さくなるようにデコーダコントローラ１１７がオーディオデコーダ１１４を制御する（ステップ２１８）。一方、映像再生装置１２０のシステムコントローラ１２２でも、同様に、無線受信した再生推定時刻差情報Δｔに応じて、その時間差が小さくなるようにデコーダコントローラ１２７がオーディオデコーダ１２４を制御する（ステップ２１７）。デコーダコントローラ１１７又は１２７はそれぞれ、オーディオデコーダ１１４又は映像デコーダ１２４の動作クロックを数ｐｐｍ程度早くなるように補正したり、数パケットのデータの復号化を省略して制御することにより、再生時刻を早めることができ、逆にオーディオデコーダ１１４又は映像デコーダ１２４の動作クロックを数ｐｐｍ程度遅くなるように補正することにより、再生時刻を遅らせることができる。【００３７】  以上説明したように、本発明に係る実施形態によれば、無線通信システムを利用して送受信される動画データを再生する際に、容易に映像データとオーディオデータの再生を実質的に同期させることが可能となる。また、再生推定時刻情報及び再生推定生時間差情報の送受信、並びに、オーディオデコーダ１１４及び映像デコーダ１２４の制御処理を、例えば上記Ｔ３タイマを用いて一定時間間隔で周期的に繰り返し行うことにより、周囲の電波環境の変化に随時対応した同期再生を実現させることが可能となる。【００３８】  また、本発明に係る実施形態において、例えばホームシアターのようにオーディオを左右２つ、もしくは、さらに多数のスピーカを備えて再生する無線通信システムや、複数のディスプレイを備える無線通信システム等にも適用することができる。【００３９】  さらに、本発明に係る実施形態において、映像データとオーディオデータの再生時刻を制御できるので、複数のスピーカによって構成される無線通信システムの場合、それぞれのスピーカから再生される時刻を意図的に遅延させることにより、臨場感あるサラウンド効果を演出させることも可能となる。【００４０】  またさらに、本発明に係る実施形態では、無線通信システムを利用して送受信されるデータを映像データとオーディオデータを含む動画データとして説明したが、本発明はこれに限らず、動画データであることに限定するものではなく、ミニコンポなどや、ラジオ受信機のように映像出力を必要としないオーディオシステム等にも適用することができる。【００４１】変形例．
図５は、本発明の変形例に係る無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。変形例は、上記の実施形態に比較して、以下の点が異なることを特徴としている。【００４２】（１）サーバ装置１００は、再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対して所定の時間間隔でブロードキャスト送信する。また、オーディオ再生装置１１０及び映像再生装置１２０は、サーバ装置１００からの再生時刻記録要求を受信したときに、再生推定時刻情報ＴＴ１及びＴＴ２をそれぞれ計算する。【００４３】（２）サーバ装置１００は、再生推定時刻情送信要求をオーディオ再生装置１１０及び映像再生装置１２０に対して所定の時間間隔でそれぞれ無線送信する。また、オーディオ再生装置１１０及び映像再生装置１２０は、サーバ装置１００からの再生推定時刻情報送信要求を受信したときに、計算された再生推定時刻情報ＴＴ１及びＴＴ２をサーバ装置１００に対してそれぞれ無線送信する。【００４４】  ここで、サーバ装置１００は、再生時刻記録要求と、オーディオ再生装置１１０への再生推定時刻情送信要求と、映像再生装置１２０への再生推定時刻情送信要求とを、例えば１０秒間隔でそれぞれ無線送信する。【００４５】  変形例におけるシーケンスは、実施形態におけるシーケンスの（３Ａ）及び（３Ｂ）を、以下の（３Ｃ），（３Ｃ１），（３Ｃ２），（３Ｄ），（３Ｄ１），（３Ｅ）及び（３Ｅ１）に置き換えたものである。以下、実施形態との相違点について詳述する。【００４６】（３Ｃ）サーバ装置１００は、再生時刻記録要求をオーディオ再生装置１１０と映像再生装置１２０に対して無線送信する（ステップ３０１）。【００４７】（３Ｃ１）映像再生装置１２０の映像デコーダ１２４は、バッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報Ｔ１をデコーダコントローラ１２７に通知する。システムコントローラ１２２は、サーバ装置１００から無線送信された再生時刻記録要求をアンテナ１２１Ａ及び無線送受信回路１２１を介して受信して、デコーダコントローラ１２７に再生推定時刻情報ＴＴ１の計算を指示する指令を送信する。デコーダコントローラ１２７は、再生推定時刻情報ＴＴ１の計算を指示する指令を受信すると、映像デコーダ１２４から通知されたタイムスタンプ情報Ｔ１に対して、圧縮符号化された映像データがバッファメモリ１２３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してディスプレイ１２６から表示出力されるまでに要する既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１を計算し、映像再生装置１２０の一時メモリに記録する（ステップ３０２）。【００４８】（３Ｃ２）オーディオ再生装置１１０のオーディオデコーダ１１４は、バッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号化処理を行うオーディオデータに含まれる��イムスタンプ情報Ｔ２をデコーダコントローラ１１７に通知する。システムコントローラ１１２は、サーバ装置１００から無線送信された再生時刻記録要求をアンテナ１１１Ａ及び無線送受信回路１１１を介して受信して、デコーダコントローラ１１７に再生推定時刻情報ＴＴ２の計算を指示する指令を送信する。デコーダコントローラ１１７は、再生推定時刻情報ＴＴ２の計算を指示する指令を受信すると、オーディオデコーダ１１４から通知されたタイムスタンプ情報Ｔ２に対して、圧縮符号化されたオーディオデータがバッファメモリ１１３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してスピーカ１１６から出力されるまでに要する既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２＝Ｔ２＋ｔ２を計算し、オーディオ再生装置１１０の一時メモリに記録する（ステップ３０３）。【００４９】（３Ｄ）次に、サーバ装置１００は、再生推定時刻情送信要求を映像再生装置１２０に対して無線送信する（ステップ３０４）。【００５０】  （３Ｄ１）映像再生装置１２０のシステムコントローラ１２２は、サーバ装置１００から無線送信された再生推定時刻情送信要求をアンテナ１２１Ａ及び無線送受信回路１２１を介して受信して、デコーダコントローラ１２７に再生推定時刻情報ＴＴ１の送信指令を送信する。デコーダコントローラ１２７は、計算された再生推定時刻情報ＴＴ１をシステムコントローラ１２２及び無線送受信回路１２１を介してサーバ装置１００に対して無線送信する（ステップ３０５）。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２０９，２１１，２１３）。【００５１】（３Ｅ）次に、サーバ装置１００は、再生推定時刻情送信要求をオーディオ再生装置１１０に対して無線送信する（ステップ３０６）。【００５２】  （３Ｅ１）オーディオ再生装置１１０のシステムコントローラ１１２は、サーバ装置１００から無線送信された再生推定時刻情送信要求をアンテナ１１１Ａ及び無線送受信回路１１１を介して受信して、デコーダコントローラ１１７に再生推定時刻情報ＴＴ２の送信指令を送信する。デコーダコントローラ１１７は、計算された再生推定時刻情報ＴＴ２をシステムコントローラ１１２及び無線送受信回路１１１を介してサーバ装置１００に対して無線送信する（ステップ２０８）。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２１０，２１２，２１４）。【００５３】  以上の変形例においては、サーバ装置１００は再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対してブロードキャスト送信しているが、本発明はこれに限らず、サーバ装置１００は再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対してユニキャスト送信しても良い。この場合は、サーバ装置１００は、再生時刻記録要求を各装置に対して無線送信した時刻の差を記録しておき、再生推定時間差情報Δｔに加算し又は減算する。
【産業上の利用可能性】
【００５４】  以上詳述したように、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる。
【図１】
2006064689.tif 000002
【図２】
2006064689.tif 000003
【図３】
2006064689.tif 000004
【図４】
2006064689.tif 000005
【図５】
2006064689.tif 000006
【手続補正書】
【提出日】平成19年6月26日(2007.6.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムにおいて、
上記映像再生装置は、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信し、
上記オーディオ再生装置は、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信し、
上記サーバ装置は、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信し、
上記映像再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御し、
上記オーディオ再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御することを特徴とする無線通信システム。
【請求項２】
上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行することを特徴とする請求項１記載の無線通信システム。
【請求項３】
上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする請求項１又は２記載の無線通信システム。
【請求項４】
時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムを用いた同期再生方法において、
上記映像再生装置において、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信するステップと、
上記オーディオ再生装置において、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信するステップと、
上記サーバ装置において、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信するステップと、
上記映像再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御するステップと、
上記オーディオ再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御するステップとを含むことを特徴とする同期再生方法。
【請求項５】
上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行するステップをさらに含むことを特徴とする請求項４記載の同期再生方法。
【請求項６】
上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする請求項４又は５記載の同期再生方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、無線通信システムに関する。特に、本発明は、同一のプログラムの映像データやオーディオデータを同期再生するための無線通信システム及びそれを用いた同期再生方法に関する。
【背景技術】
【０００２】
近年、インターネットのブロードバンド化や無線ＬＡＮに代表される各種無線通信システムの普及に伴い、家庭内で機器間の配線が不要で、かつ設置場所に制限されないワイヤレスのディジタル家庭電化製品が注目を集めている。その例として、いくつもの動画（例えば、ＴＶ番組など）を記録したサーバ装置と、映像を再生するディスプレイと、オーディオを再生するスピーカとを相互に無線ネットワークを介して接続して、サーバ装置から動画データを送信して、当該動画データに含まれる映像データの映像をディスプレイから再生して出力し、オーディオデータのオーディオをスピーカから再生して出力するワイヤレス映像オーディオ再生システムが提案されている。
【０００３】
上述のワイヤレス映像オーディオ再生システムでは、無線ネットワークを介して送受信されるデータはディジタル符号化されているため、データの復号化に要する時間や、無線ネットワークを介するデータ伝送に要する時間などにより、映像データ及びオーディオデータの送信から再生出力までにはある程度の遅延時間が存在する。ここで、映像データに要する遅延時間と、オーディオデータに要する遅延時間はそれぞれ異なり、映像データとオーディオデータが同時刻にサーバ装置から送信されたとしても、そのデータがディスプレイ及びスピーカから同時刻に再生出力されるとは限らない。このような映像データとオーディオデータとの再生時間差は、１００ミリ秒以下程度のわずかな時間であれば視聴者は気にならないが、１００ミリ秒を超える再生時間差は視聴者に違和感を覚えさせてしまう。そのため、遅延時間の差による映像とオーディオの再生時間差を小さくし、極力映像とオーディオを同期させて再生する必要がある。このような無線通信を利用した映像とオーディオの同期再生に関する従来技術として、例えば特許文献１に記載された無線送受信システムが知られている。
【０００４】
【特許文献１】特開２００４−１９３８６８号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された無線送受信システムは、当該システムを構成する全ての機器に共通の基準時刻を設け、動画の再生を始める前にタイムスタンプ要求及び応答パケットを送受信し、無線のデータ伝送に要する遅延時間を計測し、その結果に基づいて映像とオーディオの再生時間を定めることを特徴としている。このような方法を用いた場合、無線のデータ伝送によって発生する遅延を、映像の出力タイミングを意図的に遅延させることにより吸収し、映像とオーディオの再生時間差を小さくすることができ、一定の効果があるが、同時に以下に示す問題点を有している。
【０００６】
（１）実際の無線通信システムでは、無線通信路におけるデータの誤り率が有線通信路に比べて大きいことから、送受信機器の双方で十分なバッファメモリを用意し、無線通信路において多少の誤りが発生しても映像やオーディオの再生が途切れないような工夫がなされている。このバッファメモリによって発生する遅延時間が考慮されていない。
【０００７】
（２）システムを使用する機器周辺の電波環境は常に一定であるとは限らず、無線のデータ伝送時間も一定であるとは限らないが、電波環境の変化によって映像又はオーディオの再生時間を随時補正する手段を有していない。
【０００８】
本発明の目的は以上の問題点を解決し、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる無線通信システム及びそれを用いた同期再生方法を提供することにある。
【課題を解決するための手段】
【０００９】
第１の発明に係る無線通信システムは、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムにおいて、
上記映像再生装置は、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信し、
上記オーディオ再生装置は、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信し、
上記サーバ装置は、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信し、
上記映像再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御し、
上記オーディオ再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御することを特徴とする。
【００１０】
また、上記無線通信システムにおいて、上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行することを特徴とする。
【００１１】
さらに、上記無線通信システムにおいて、上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする。
【００１２】
第２の発明に係る同期再生方法は、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムを用いた同期再生方法において、
上記映像再生装置において、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信するステップと、
上記オーディオ再生装置において、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信するステップと、
上記サーバ装置において、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信するステップと、
上記映像再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御するステップと、
上記オーディオ再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御するステップとを含むことを特徴とする。
【００１３】
また、上記同期再生方法において、上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行するステップをさらに含むことを特徴とする。
【００１４】
さらに、上記同期再生方法において、上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする。
【発明の効果】
【００１５】
従って、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明に係る実施形態について図面を参照して説明する。なお、同様の構成要素については同一の符号を付している。
【００１７】
実施形態．
図１は本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。本実施形態に係る無線通信システムは、ワイヤレス映像オーディオ再生システムに適用されるものであり、図１に示すように、例えばＤＶＤレコーダ又はパーソナルコンピュータなどのサーバ装置１００と、オーディオ再生装置１１０と、映像再生装置１２０とを備えて構成され、それらは無線ＬＡＮなどの無線ネットワークを介して接続されている。
【００１８】
図１において、サーバ装置１００は、アンテナ１０１Ａが接続された無線送受信回路１０１と、システムコントローラ１０２と、バッファメモリ１０３と、例えばハードディスクドライブなどの動画データメモリ１０４とを備えて構成される。また、オーディオ再生装置１１０は、アンテナ１１１Ａが接続された無線送受信回路１１１と、システムコントローラ１１２と、バッファメモリ１１３と、オーディオデコーダ１１４と、ディジタル／アナログ変換器（以下、Ｄ／Ａ変換器という。）１１５と、スピーカ１１６と、デコーダコントローラ１１７とを備えて構成される。ここで、システムコントローラ１１２はオーディオ再生装置１１０の他の回路要素１１１乃至１１５の動作を制御する。さらに、映像再生装置１２０は、アンテナ１２１Ａが接続された無線送受信回路１２１と、システムコントローラ１２２と、バッファメモリ１２３と、映像デコーダ１２４と、Ｄ／Ａ変換器１２５と、ディスプレイ１２６と、デコーダコントローラ１２７とを備えて構成される。ここで、システムコントローラ１２２は映像再生装置１２０の他の回路要素１２１乃至１２５の動作を制御する。
【００１９】
サーバ装置１００において、ユーザの操作により動画データメモリ１０４に予め格納された動画データ（例えば複数のプログラムデータを含み、各プログラムデータは、映像データと、オーディオデータとを含む。）は、例えばブルートゥース（Ｂｌｕｅｔｏｏｔｈ）や無線ＬＡＮ等の無線ネットワークの規格に準拠した無線通信機能を有する無線送受信回路１０１に入力され、無線送受信回路１０１は入力される動画データに従って、無線搬送波を所定のディジタル変調方式を用いて無線信号にディジタル変調した後、アンテナ１０１Ａを用いて、オーディオ再生装置１１０、及び映像再生装置１２０に対して送信する。ここで、動画データメモリ１０４に記録された動画データは、例えば、圧縮符号化された映像オーディオデータ（例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）方式などに準拠して形成された動画データである。）であるが、本発明はこれに限らず、その他の方式で符号化されたデータであってもよい。
【００２０】
図２は図１の無線通信システムにおいて送受信されるパケット信号の構成を示すブロック図である。なお、当該１つのパケット信号の前段には、無線ネットワークにおいて送受信するための情報（発信元アドレスや、宛作アドレスなどの情報）が付加される。当該パケット信号は、図２に示すように、映像データに関するＩＤや圧縮符号化方式及びそれに関する仕様情報などを含む映像データパラメータ情報３０１と、オーディオデータに関するＩＤや圧縮符号化方式及びそれに関する仕様情報などを含むオーディオデータパラメータ情報３０２と、映像データパケット３０３と、オーディオデータパケット３０４と、それに続く映像データパケット３０３及びオーディオデータパケット３０４とを含み構成される。ここで、映像データパケット３０３は、１つのプログラムの最初の時刻を０時０分０秒として計時され当該圧縮符号化された映像データ３１３の最初のデータの時刻情報であるタイムスタンプ情報３１１と、例えばＭＰＥＧ方式で圧縮符号化されているときはＩピクチャのフレーム情報であるキーフレーム情報３１２と、圧縮符号化された映像データ（映像コンテンツデータ）３１３とを含む。また、オーディオデータパケット３０４は、１つのプログラムの最初の時刻を０時０分０秒として計時され当該圧縮符号化されたオーディオデータ３２２の最初のデータの時刻情報であるタイムスタンプ情報３２１と、圧縮符号化されたオーディオデータ（オーディオコンテンツデータ）３２２とを含む。すなわち、図２に示すように、圧縮符号化された映像データ及びオーディオデータには、再生時刻を定めるためのタイムスタンプ情報が含まれている。
【００２１】
図１において、オーディオ再生装置１１０では、サーバ装置１００から無線送信された動画データを含む無線信号をアンテナ１１１Ａを用いて受信して無線送受信回路１１１に出力する。無線送受信回路１１１は無線送受信回路１０１と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用いて動画データに復調した後、システムコントローラ１１２を介して一旦バッファメモリ１１３に格納する。次いで、オーディオデコーダ１１４はバッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出し、伸張及び復号化処理を行って伸張復号化されたオーディオデータに変換した後Ｄ／Ａ変換器１１５に出力する。Ｄ／Ａ変換器１１５は入力されるオーディオデータをアナログオーディオデータに変換した後、スピーカ１１６に出力してオーディオの音として再生する。
【００２２】
また、映像再生装置１２０では、サーバ装置１００から無線送信された動画データを含む無線信号をアンテナ１２１Ａを用いて受信して無線送受信回路１２１に出力する。無線送受信回路１２１は無線送受信回路１０１と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用いて動画データに復調した後、システムコントローラ１２２を介して一旦バッファメモリ１２３に格納する。次いで、映像デコーダ１２４はバッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出し、伸張及び復号化処理を行って伸張復号化された映像データに変換した後Ｄ／Ａ変換器１２５に出力する。Ｄ／Ａ変換器１２５は入力される映像データをアナログ映像データに変換した後、ディスプレイ１２６に出力して当該映像データの映像を再生して表示する。
【００２３】
ここで、バッファメモリ１１３，１２３は、無線通信における伝送誤りによって映像やオーディオの再生が途切れないようにデータを格納しておく役割を担っている。一方でこのバッファメモリ１１３，１２３のそれぞれに再生すべきデータが格納されることにより、サーバ装置１００から送信された動画データがスピーカ１１６とディスプレイ１２６から同時にオーディオと映像が出力されるとは限らないという問題点があった。この問題点を解決するために、本実施形態に係る無線通信システムでは、以下の同期再生出力制御処理を実行する。
【００２４】
図３は図１のオーディオ再生装置１１０及び映像再生装置１２０によって実行される同期再生出力制御処理を示すフローチャートである。
【００２５】
図３において、まず、ステップＳ１では、時間Ｔ３を計時するＴ３タイマ（図３のステップＳ１０でのＮＯの処理に示すように、所定の時間Ｔ３以内では、復号化時の再生時刻の補正は不要で即時に復号化するように制御するために、Ｔ３タイマが設けられている。）の計時をスタートさせ、ステップＳ２において動画再生の開始か又は動画の再生中であるか否かが判断され、ＹＥＳのときはステップＳ３に進む一方、ＮＯのときは当該同期再生出力制御処理を終了する。ステップＳ３において、データを無線受信したか否かが判断され、ＹＥＳのときはステップＳ４に進む一方、ＮＯのときはステップＳ２に戻る。次いで、ステップＳ４では、無線受信したデータは時間差情報（Δｔ）である否かが判断され、ＹＥＳのときはステップＳ５に進む一方、ＮＯのとき、すなわち動画データのときはステップＳ７に進む。ステップＳ５では、受信された時間差情報（Δｔ）に基づいて復号化再生時刻の補正が必要であるか否かが判断される。ここでは、例えば｜Δｔ｜＞１００ミリ秒であるときにユーザが顕著な映像とオーディオの時間差として認識可能であると判断して、ステップＳ６において、受信された時間差情報（Δｔ）に基づいて、デコーダ１１４又は１２４を制御して各データの再生時刻を遅延させた後、ステップＳ２に戻る。一方、ステップＳ５でＮＯであるときは、ステップＳ６の処理を実行させずに、ステップＳ２に戻る。
【００２６】
ステップＳ７では、動画データをバッファメモリ１１３又は１２３に格納し、ステップＳ８では、バッファメモリ１１３又は１２３に例えば１０ＭＢなど一定量の動画データが格納されたか否かが判断され、ＹＥＳのときはステップＳ９に進む一方、ＮＯのときはステップＳ２に戻る。次いで、ステップＳ９では、復号化すべき動画データをバッファメモリ１１３又は１２３から読み出し、ステップＳ１０では、Ｔ３タイマは一定時間Ｔ３だけ計時してタイムオーバーしたか否かが判断され、ＹＥＳのときはステップＳ１１に進む一方、ＮＯのときはステップＳ１４に進む。ステップＳ１１では、読み出したデータからタイムスタンプ情報Ｔ１又はＴ２を取り出し、ステップＳ１２では、再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１又はＴＴ２＝Ｔ２＋ｔ２を計算し、計算した再生推定時刻情報ＴＴ１又はＴＴ２をサーバ装置１００に無線送信する。
【００２７】
ここで、ｔ１は、図４に示すように、所定の圧縮符号化された映像データ量に対して、映像デコーダ１２４による映像データの抽出及び伸張復号化処理から、Ｄ／Ａ変換器１２５によるＤ／Ａ変換処理を経て、ディスプレイ１２６による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。また、ｔ２は、図４に示すように、所定の圧縮符号化されたオーディオデータ量に対して、オーディオデコーダ１１４によるオーディオデータの抽出及び伸張復号化処理から、Ｄ／Ａ変換器１２５によるＤ／Ａ変換処理を経て、スピーカ１１６による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。ここで、既知のデータ処理時間ｔ１，ｔ２は周囲の電波環境や温度、湿度などによらずほぼ一定である。
【００２８】
そして、ステップＳ１３では、Ｔ３タイマをリセットしステップＳ１４に進む。ステップＳ１４では、デコーダ１１４又は１２４に伸張復号化すべきデータを転送して伸張復号化処理を実行させた後、ステップＳ２に戻る。
【００２９】
図４は図１の無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。以下、図４を参照して、映像とオーディオを同期再生させるための同期再生出力制御処理について説明する。
【００３０】
（１）まず、サーバ装置１００は、再生すべき動画データを抽出して（ステップ２０１）、オーディオ再生装置１１０及び映像再生装置１２０に対して無線送信する（ステップ２０２）。
（２）オーディオ再生装置１１０は、サーバ装置１００から無線送信された動画データを無線受信して（ステップ２０４）、バッファメモリ１１３に格納する（ステップ２０６）。また、映像再生装置１２０でも同様に、サーバ装置１００から無線送信された動画データを無線受信して（ステップ２０３）、バッファメモリ１２３に格納する（ステップ２０５）。
【００３１】
（３Ａ）オーディオ再生装置１１０のオーディオデコーダ１１４は、バッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号化処理を行うオーディオデータに含まれるタイムスタンプ情報Ｔ２をデコーダコントローラ１１７に通知する。デコーダコントローラ１１７は、通知されたタイムスタンプ情報Ｔ２に対して、圧縮符号化されたオーディオデータがバッファメモリ１１３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してスピーカ１１６から出力されるまでに要する既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２＝Ｔ２＋ｔ２を計算して、計算された再生推定時刻情報ＴＴ２をシステムコントローラ１１２及び無線送受信回路１１１を介してサーバ装置１００に対して無線送信する（ステップ２０８）。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２１０，２１２，２１４）。
【００３２】
（３Ｂ）映像再生装置１２０の映像デコーダ１２４は、バッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報Ｔ１をデコーダコントローラ１２７に通知する。デコーダコントローラ１２７は、通知されたタイムスタンプ情報Ｔ１に対して、圧縮符号化された映像データがバッファメモリ１２３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してディスプレイ１２６から表示出力されるまでに要する既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１を計算して、計算された再生推定時刻情報ＴＴ１をシステムコントローラ１２２及び無線送受信回路１２１を介してサーバ装置１００に対して無線送信する（ステップ２０７）。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２０９，２１１，２１３）。
【００３３】
（４）サーバ装置１００の無線送受信回路１０１は、オーディオ再生装置１１０及び映像再生装置１２０より送信された再生推定時刻情報ＴＴ１，ＴＴ２を受信し、映像データの再生推定時刻情報ＴＴ１と、オーディオデータの再生推定時刻情報ＴＴ２とを比較して再生推定時刻差情報Δｔ＝ＴＴ１−ＴＴ２を計算し（ステップ２１５）、計算した再生推定時刻差情報Δｔ（例えば、Δｔ＝１００ミリ秒であれば、映像データの出力の方が１００ミリ秒遅いことを示す。）をオーディオ再生装置１２０及びオーディオ再生装置１１０に対して無線送信する（ステップ２１６）。
【００３４】
（５）オーディオ再生装置１１０のシステムコントローラ１１２は、無線受信した再生推定時刻差情報Δｔに応じて、その時間差が小さくなるようにデコーダコントローラ１１７がオーディオデコーダ１１４を制御する（ステップ２１８）。一方、映像再生装置１２０のシステムコントローラ１２２でも、同様に、無線受信した再生推定時刻差情報Δｔに応じて、その時間差が小さくなるようにデコーダコントローラ１２７がオーディオデコーダ１２４を制御する（ステップ２１７）。デコーダコントローラ１１７又は１２７はそれぞれ、オーディオデコーダ１１４又は映像デコーダ１２４の動作クロックを数ｐｐｍ程度早くなるように補正したり、数パケットのデータの復号化を省略して制御することにより、再生時刻を早めることができ、逆にオーディオデコーダ１１４又は映像デコーダ１２４の動作クロックを数ｐｐｍ程度遅くなるように補正することにより、再生時刻を遅らせることができる。
【００３５】
以上説明したように、本発明に係る実施形態によれば、無線通信システムを利用して送受信される動画データを再生する際に、容易に映像データとオーディオデータの再生を実質的に同期させることが可能となる。また、再生推定時刻情報及び再生推定生時間差情報の送受信、並びに、オーディオデコーダ１１４及び映像デコーダ１２４の制御処理を、例えば上記Ｔ３タイマを用いて一定時間間隔で周期的に繰り返し行うことにより、周囲の電波環境の変化に随時対応した同期再生を実現させることが可能となる。
【００３６】
また、本発明に係る実施形態において、例えばホームシアターのようにオーディオを左右２つ、もしくは、さらに多数のスピーカを備えて再生する無線通信システムや、複数のディスプレイを備える無線通信システム等にも適用することができる。
【００３７】
さらに、本発明に係る実施形態において、映像データとオーディオデータの再生時刻を制御できるので、複数のスピーカによって構成される無線通信システムの場合、それぞれのスピーカから再生される時刻を意図的に遅延させることにより、臨場感あるサラウンド効果を演出させることも可能となる。
【００３８】
またさらに、本発明に係る実施形態では、無線通信システムを利用して送受信されるデータを映像データとオーディオデータを含む動画データとして説明したが、本発明はこれに限らず、動画データであることに限定するものではなく、ミニコンポなどや、ラジオ受信機のように映像出力を必要としないオーディオシステム等にも適用することができる。
【００３９】
変形例．
図５は、本発明の変形例に係る無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。変形例は、上記の実施形態に比較して、以下の点が異なることを特徴としている。
【００４０】
（１）サーバ装置１００は、再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対して所定の時間間隔でブロードキャスト送信する。また、オーディオ再生装置１１０及び映像再生装置１２０は、サーバ装置１００からの再生時刻記録要求を受信したときに、再生推定時刻情報ＴＴ１及びＴＴ２をそれぞれ計算する。
【００４１】
（２）サーバ装置１００は、再生推定時刻情送信要求をオーディオ再生装置１１０及び映像再生装置１２０に対して所定の時間間隔でそれぞれ無線送信する。また、オーディオ再生装置１１０及び映像再生装置１２０は、サーバ装置１００からの再生推定時刻情報送信要求を受信したときに、計算された再生推定時刻情報ＴＴ１及びＴＴ２をサーバ装置１００に対してそれぞれ無線送信する。
【００４２】
ここで、サーバ装置１００は、再生時刻記録要求と、オーディオ再生装置１１０への再生推定時刻情送信要求と、映像再生装置１２０への再生推定時刻情送信要求とを、例えば１０秒間隔でそれぞれ無線送信する。
【００４３】
変形例におけるシーケンスは、実施形態におけるシーケンスの（３Ａ）及び（３Ｂ）を、以下の（３Ｃ），（３Ｃ１），（３Ｃ２），（３Ｄ），（３Ｄ１），（３Ｅ）及び（３Ｅ１）に置き換えたものである。以下、実施形態との相違点について詳述する。
【００４４】
（３Ｃ）サーバ装置１００は、再生時刻記録要求をオーディオ再生装置１１０と映像再生装置１２０に対して無線送信する（ステップ３０１）。
【００４５】
（３Ｃ１）映像再生装置１２０の映像デコーダ１２４は、バッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報Ｔ１をデコーダコントローラ１２７に通知する。システムコントローラ１２２は、サーバ装置１００から無線送信された再生時刻記録要求をアンテナ１２１Ａ及び無線送受信回路１２１を介して受信して、デコーダコントローラ１２７に再生推定時刻情報ＴＴ１の計算を指示する指令を送信する。デコーダコントローラ１２７は、再生推定時刻情報ＴＴ１の計算を指示する指令を受信すると、映像デコーダ１２４から通知されたタイムスタンプ情報Ｔ１に対して、圧縮符号化された映像データがバッファメモリ１２３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してディスプレイ１２６から表示出力されるまでに要する既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１を計算し、映像再生装置１２０の一時メモリに記録する（ステップ３０２）。
【００４６】
（３Ｃ２）オーディオ再生装置１１０のオーディオデコーダ１１４は、バッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号化処理を行うオーディオデータに含まれるタイムスタンプ情報Ｔ２をデコーダコントローラ１１７に通知する。システムコントローラ１１２は、サーバ装置１００から無線送信された再生時刻記録要求をアンテナ１１１Ａ及び無線送受信回路１１１を介して受信して、デコーダコントローラ１１７に再生推定時刻情報ＴＴ２の計算を指示する指令を送信する。デコーダコントローラ１１７は、再生推定時刻情報ＴＴ２の計算を指示する指令を受信すると、オーディオデコーダ１１４から通知されたタイムスタンプ情報Ｔ２に対して、圧縮符号化されたオーディオデータがバッファメモリ１１３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してスピーカ１１６から出力されるまでに要する既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２＝Ｔ２＋ｔ２を計算し、オーディオ再生装置１１０の一時メモリに記録する（ステップ３０３）。
【００４７】
（３Ｄ）次に、サーバ装置１００は、再生推定時刻情送信要求を映像再生装置１２０に対して無線送信する（ステップ３０４）。
【００４８】
（３Ｄ１）映像再生装置１２０のシステムコントローラ１２２は、サーバ装置１００から無線送信された再生推定時刻情送信要求をアンテナ１２１Ａ及び無線送受信回路１２１を介して受信して、デコーダコントローラ１２７に再生推定時刻情報ＴＴ１の送信指令を送信する。デコーダコントローラ１２７は、計算された再生推定時刻情報ＴＴ１をシステムコントローラ１２２及び無線送受信回路１２１を介してサーバ装置１００に対して無線送信する（ステップ３０５）。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２０９，２１１，２１３）。
【００４９】
（３Ｅ）次に、サーバ装置１００は、再生推定時刻情送信要求をオーディオ再生装置１１０に対して無線送信する（ステップ３０６）。
【００５０】
（３Ｅ１）オーディオ再生装置１１０のシステムコントローラ１１２は、サーバ装置１００から無線送信された再生推定時刻情送信要求をアンテナ１１１Ａ及び無線送受信回路１１１を介して受信して、デコーダコントローラ１１７に再生推定時刻情報ＴＴ２の送信指令を送信する。デコーダコントローラ１１７は、計算された再生推定時刻情報ＴＴ２をシステムコントローラ１１２及び無線送受信回路１１１を介してサーバ装置１００に対して無線送信する（ステップ２０８）。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２１０，２１２，２１４）。
【００５１】
以上の変形例においては、サーバ装置１００は再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対してブロードキャスト送信しているが、本発明はこれに限らず、サーバ装置１００は再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対してユニキャスト送信しても良い。この場合は、サーバ装置１００は、再生時刻記録要求を各装置に対して無線送信した時刻の差を記録しておき、再生推定時間差情報Δｔに加算し又は減算する。
【産業上の利用可能性】
【００５２】
以上詳述したように、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。
【図２】図１の無線通信システムにおいて送受信されるパケット信号の構成を示すブロック図である。
【図３】図１のオーディオ再生装置１１０及び映像再生装置１２０によって実行される同期再生出力制御処理を示すフローチャートである。
【図４】図１の無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。
【図５】本発明の変形例に係る無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。
【符号の説明】
【００５４】
１００…サーバ装置、
１０１，１１１，１２１…無線送受信回路、
１０１Ａ，１１１Ａ，１２１Ａ…アンテナ、
１０２，１１２，１２２…システムコントローラ、
１０３，１１３，１２３…バッファメモリ、
１０４…動画データメモリ、
１１０…オーディオ再生装置、
１１４…オーディオデコーダ、
１１５，１２５…Ｄ／Ａ変換器、
１１６…スピーカ、
１１７，１２７…デコーダコントローラ、
１２０…映像再生装置、
１２４…映像デコーダ、
１２６…ディスプレイ、
３０１…映像データパラメータ情報、
３０２…オーディオデータパラメータ情報、
３０３…映像データパケット、
３０４…オーディオデータパケット、
３１１…タイムスタンプ情報、
３１２…キーフレーム情報、
３１３…圧縮符号化された映像データ、
３２１…タイムスタンプ情報、
３２２…圧縮符号化されたオーディオデータ。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006064689.tif 000007
【図２】
2006064689.tif 000008
【図３】
2006064689.tif 000009
【図４】
2006064689.tif 000010
【図５】
2006064689.tif 000011
【国際調査報告】
2006064689.tif 000012
2006064689.tif 000013
2006064689.tif 000014
2006064689.tif 000015