(57)【要約】【課題】異なる機器により再生されるビデオデータとオーディオデータの再生タイミングを一致させる。【解決手段】主通信機は、マルチメディアストリームデータを受信し、ビデオデータとオーディオデータとに分離し、ビデオデータを再生し、オーディオデータを従通信機に転送する。主通信機は、制御パケットを従通信機に送信し、これに応答して、従通信機は、少なくとも、従機器内での処理遅延を示す処理遅延情報を含む制御応答パケットを返信する。主通信機は、主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される時間だけ、ビデオデータの再生タイミングを変更する。【選択図】      図４
2008028599.tif 000002
【特許請求の範囲】
【請求項１】
主通信機がマルチメディアデータをビデオデータとオーディオデータとを分離し、前記ビデオデータを再生する一方で、オーディオデータを従通信機に転送し、前記従通信機が前記オーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法であり、
（Ａ）前記主通信機は、前もって定められたタイミングで、制御パケットを前記従通信機に送信し、
（Ｂ）前記従通信機は、前記制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、前記主通信機に返信し、
（Ｃ）前記主通信機は、主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間に基づいて、前記ビデオデータの再生タイミングを変更する、
ことを特徴とするマルチメディアデータの再生方法。
【請求項２】
前記処理遅延時間情報は、前記制御パケットの受信時刻と前記制御応答パケットの送信時刻とで表される請求項１記載のマルチメディアデータの再生方法。
【請求項３】
前記処理遅延時間情報は、前記制御パケットの受信時刻と前記制御応答パケットの送信時刻との差で表される請求項２記載のマルチメディアデータの再生方法。
【請求項４】
前記制御応答パケットは前記制御パケットの受信時刻を含み、前記ステップ（Ｃ）は、前記伝搬遅延情報を、前記制御パケットの送信時刻と前記制御パケットの受信時刻から計算する請求項１記載のマルチメディアデータの再生方法。
【請求項５】
前記制御応答パケットはこの制御応答パケットの送信時刻をさらに含み、前記ステップ（Ｃ）は、前記前記伝搬遅延情報を、前記制御応答パケットの発信時刻と前記応答制御パケットの受信時刻から計算する、請求項４記載のマルチメディアデータの再生方法。
【請求項６】
前記ステップ（Ｃ）は、前記要遅延時間を、第１の差の半分と、第２の差の半分との和により計算し、
前記第１の差は、前記制御パケットの送信時刻と前記制御応答パケットの受信時刻との差であり、
前記第２の差は、前記制御パケットの受信時刻と前記制御応答パケットの受信時刻との差である、
請求項１に記載のマルチメディアデータの再生方法。
【請求項７】
前記ステップ（Ｃ）は、前回計算した要遅延時間を記憶し、今回計算した要遅延時間と記憶された要遅延時間との差である差要遅延時間だけ、前記ビデオデータの再生タイミングを遅延させる、請求項１に記載のマルチメディアデータの再生方法。
【請求項８】
前記ステップ（Ｃ）は、前記差遅延時間が負である場合には、この差遅延時間に相当する量のビデオデータを廃棄する、請求項７に記載のマルチメディアデータの再生方法。
【請求項９】
前記ステップ（Ｃ）は、前記差要遅延時間が正または０である場合には、この差要遅延時間だけ、前記ビデオデータの復号を延期する、請求項１記載のマルチメディアデータの再生方法。
【請求項１０】
前記ステップ（Ａ）は、所定時間毎に前記制御パケットを送信する請求項１記載のマルチメディアデータの再生方法。
【請求項１１】
主通信機がマルチメディアデータ中のビデオデータを再生する一方で、オーディオデータを従通信機に転送し、前記従通信機が前記オーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する主通信機であり、
所定のタイミングで、制御パケットを前記従通信機へ送信するとともに、前記マルチメディアデータから分離されたオーディオデータを前記従通信機へ送信する送信部と、
前記従通信機から、前記従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを受信する受信部と、
前記主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間を計算する計算部と、
前記ビデオデータの再生タイミングを、計算された要遅延時間に基づいて、変更する調整部と、
時刻を計時するタイマ、
とを備えた主通信機。
【請求項１２】
前記処理遅延時間情報は、前記制御パケットの前期従通信機での受信時刻と前記制御応答パケットの前記従通信機での送信時刻とで表される請求項１１記載の主通信機。
【請求項１３】
前記計算部は、前記処理遅延時間情報を、前記制御パケットの受信時刻と前記制御応答パケットの送信時刻との差により求める、請求項１１記載の主通信機。
【請求項１４】
前記制御応答パケットは前記制御パケットの前記従通信機での受信時刻を含み、前記計算部は、前記伝搬遅延情報を、前記制御パケットの送信時刻と前記制御パケットの受信時刻から計算する、請求項１１記載の主通信機。
【請求項１５】
前記制御応答パケットは前記制御応答パケットの送信時刻を含み、前記計算部は、前記前記伝搬遅延情報を、前記制御応答パケットの発信時刻と前記制御応答パケットの受信時刻から計算する、請求項１１記載の主通信機。
【請求項１６】
前記計算部は、前記要遅延時間を、第１の差の半分と、第２の差の半分との和により求め、
前記第１の差は、前記タイマで計時された前記制御パケットの送信時刻と、前記タイマで計時された前記制御応答パケットの受信時刻との差であり、
前記第２の差は、前記制御パケットの受信時刻と前記制御応答パケットの受信時刻との差である、
請求項１１に記載の主通信機。
【請求項１７】
前記計算部は、前回計算した要遅延時間を記憶し、今回計算した要遅延時間との差である差要遅延時間を出力し、
前記調整部は、前記差要遅延時間だけ、前記ビデオデータの再生タイミングを遅延させる、請求項１１に記載の主通信機。
【請求項１８】
前記調整部は、前記差遅延時間が負である場合には、この差遅延時間に対応するビデオデータを廃棄する、請求項１７に記載の主通信機。
【請求項１９】
前記調整部は、前記差要遅延時間が正または０である場合には、この差要遅延時間だけ、前記ビデオデータの復号を延期する、請求項１１記載の主通信機。
【請求項２０】
前記送信部は、所定時間毎に前記制御パケットを送信する請求項１１記載の主通信機。
【請求項２１】
主通信機がマルチメディアデータ中のビデオデータを再生する一方で、オーディオデータを従通信機に転送し、前記従通信機が前記オーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する従通信機であって、
前記主通信機から転送されたオーディオデータを再生するオーディオ再生器と、
前記主通信機から制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、前記主通信機に返信する送信部と、
時刻を計時するタイマと、
を備えた従通信機。
【請求項２２】
前記制御応答パケットは、前記処理遅延時間情報として、前記タイマで計時された前記制御パケットの受信時刻と前記制御応答パケットの送信時刻を含む請求項２１記載の従通信機。
【請求項２３】
前記制御応答パケットは、前記処理遅延時間情報として、前記制御パケットの受信時刻と前記制御応答パケットの送信時刻との差を含む、請求項２１記載の従通信機。
【請求項２４】
前記制御パケットは、この制御パケットの前記主通信機での送信時刻を含み、前記制御応答パケットは、この制御パケット送信時刻を含む、請求項２１記載の従通信機。
【請求項２５】
主通信機がマルチメディアデータ中のビデオデータ再生する一方で、オーディオデータを従通信機に転送し、前記従通信機が前記オーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する主通信機としてコンピュータを動作させるための主通信機用プログラムであり、
（Ａ）所定のタイミングで制御パケットを前記従通信機へ送信するとともに、前記マルチメディアデータから分離されたオーディオデータを、前記従通信機へ送信し、
（Ｂ）前記従通信機から、前記従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを受信し、
（Ｃ）前記主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間を計算する計算し、
（Ｄ）前記ビデオデータの再生タイミングを、計算された要遅延時間に基づいて、変更する、
ステップを備えた主通信機用プログラム。
【請求項２６】
前記処理遅延時間情報は、前記制御パケットの前期従通信機での受信時刻と前記制御応答パケットの前記従通信機での送信時刻とで表される、請求項２５記載の主通信機用プログラム。
【請求項２７】
前記ステップ（Ｃ）は、前記処理遅延時間情報を、前記制御パケットの受信時刻と前記制御応答パケットの送信時刻との差で求める、請求項２５記載の主通信機用プログラム。
【請求項２８】
前記制御応答パケットは前記制御パケットの前記従通信機での受信時刻を含み、前記ステップ（Ｃ）は、前記伝搬遅延情報を、前記制御パケットの送信時刻と前記制御パケットの受信時刻から計算する、請求項２５記載の主通信機用プログラム。
【請求項２９】
前記制御応答パケットはこの制御応答パケットの送信時刻をさらに含み、前記ステップ（Ｃ）は、計算部は、前記前記伝搬遅延情報を、前記制御応答パケットの発信時刻と前記応答制御パケットの受信時刻から計算する、請求項２５記載の主通信機用プログラム。
【請求項３０】
前記ステップ（Ｃ）は、前記要遅延時間を、第１の差の半分と、第２の差の半分との和により求め、
前記第１の差は、前記制御パケットの送信時刻と前記制御応答パケットの受信時刻との差であり、
前記第２の差は、前記制御パケットの受信時刻と前記制御応答パケットの受信時刻との差である、
請求項２５に記載の主通信機用プログラム。
【請求項３１】
前記ステップ（Ｃ）は、前回計算した要遅延時間を記憶し、今回計算した要遅延時間との差である差要遅延時間を計算し、
前記ステップ（Ｄ）は、前記差要遅延時間だけ、前記ビデオデータの再生タイミングを遅延させる、請求項２５に記載の主通信機用プログラム。
【請求項３２】
前記ステップ（Ｄ）は、前記差遅延時間が負である場合には、この差遅延時間に対応するビデオデータを廃棄する、請求項３１に記載の主通信機用プログラム。
【請求項３３】
前記ステップ（Ｄ）は、前記差要遅延時間が正または０である場合には、この差要遅延時間だけ、前記ビデオデータの復号を延期する、請求項２５記載の主通信機用プログラム。
【請求項３４】
前記ステップ（Ａ）は、所定時間毎に前記制御パケットを送信する請求項２５記載の主通信機用プログラム。
【請求項３５】
主通信機がマルチメディアデータ中のビデオデータを再生する一方で、オーディオデータを従通信機に転送し、前記従通信機が前記オーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する従通信機としてコンピュータを動作させるための従通信機用プログラムであって、
（Ａ）前記主通信機から転送されたオーディオデータを再生し、
（Ｂ）前記主通信機から制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、前記主通信機に返信する、
ステップを備えた従通信機用プログラム。
【請求項３６】
前記制御応答パケットは、前記処理遅延時間情報として、前記制御パケットの受信時刻と前記制御応答パケットの送信時刻を含む請求項３５記載の従通信機用プログラム。
【請求項３７】
前記制御応答パケットは、前記処理遅延時間情報として、前記制御パケットの受信時刻と前記制御応答パケットの送信時刻との差を含む、請求項３５記載の従通信機用プログラム。
【請求項３８】
前記制御パケットは、この制御パケットの前記主通信機での送信時刻を含み、前記制御応答パケットは、この制御パケット送信時刻をさらに含む、請求項３５記載の従通信機用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は  マルチメディアデータのビデオ再生とオーディオ再生とを同期させる技術に関する。特に、本発明は、ビデオ再生とオーディオ再生とが別の機器により行われる場合に、ビデオ再生とオーディオ再生とを同期させる技術に関する。
【背景技術】
【０００２】
従来、ビデオコンテンツ等のマルチメディアサービスは、パーソナルコンピュータや、専用の再生機など、高い処理能力を持つ装置のみが提供していた。しかしながら、近年の携帯無線端末の性能向上は目覚ましく、携帯電話機のような小型携帯無線端末も、このようなマルチメディアサービスを提供するようになってきている。特に、インターネット上に蓄積されているマルチメディアコンテンツを再生する場合や、地上デジタル放送を受信する場合などに、ストリーミング技術を利用する携帯電話機が増加している。
【０００３】
一方で、携帯電話機が受信したマルチメディアストリームからオーディオデータを抜き出し、抜き出されたオーディオデータを、別の機器でユーザが聞くことも行われている。即ち、携帯電話機等の主通信機は、抜き出されたオーディオデータを、Ｂｌｕｅｔｏｏｔｈ等の近距離無線技術を使用して、従通信機に転送し、ユーザが転送されたオーディオ信号を従通信機で聴取する。
【０００４】
再公表特許公報ＷＯ０１／０９９３９３（特許文献１）は、受信オーディオデータをワイヤレスヘッドホンに転送する携帯電話機を開示している。また、この特許文献1は、受信ビデオデータを腕時計等に転送し、腕時計等は、そのディスプレイ上に、このビデオデータを表示することも併せて開示している。
【０００５】
また、特開２００４−３２０４２４（特許文献２）は、ＤＶＤプレイヤからビデオ信号及びオーディオ信号を得、ビデオ信号をＭＰＥＧ符号化した後に、プロジェクタに送信し、このビデオ信号をスクリーンに表示させる無声送信装置を開示している。この無線送信装置は、オーディオ信号を自ら再生する。
【０００６】
これらの状況を鑑みると、携帯電話機が受信したマルチメディアストリームを、マルチメディアストリームをビデオデータ部分とオーディオデータ部分とに分割し、ユーザは、ビデオデータ部分を携帯電話の画面上で鑑賞し、オーディオデータ部分をワイヤレスヘッドホンにより聴取するという利用形態も考えられる。
【０００７】
【特許文献１】再公表特許公報ＷＯ０１／０９９３９３
【特許文献２】特開２００４−３２０４２４
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、このような利用形態では、携帯電話の画面上のビデオデータ再生タイミングと、ワイヤレスヘッドホンでのオーディオデータ再生タイミングとがずれることがある。これは、２つの原因によりもたらされる。ひとつは、携帯電話機とワイヤレスヘッドホン無線部分で生じる遅延と、無線伝搬路で発生する遅延との合計である、伝搬遅延である。もうひとつは、ワイヤレスヘッドホンでの音声データバッファリング処理による処理遅延である。これらの遅延が大きい場合、携帯電話機画面上でのビデオ信号と、ワイヤレスヘッドホンから出力されるオーディオデータとの間に、ユーザは、時間的なずれを認識する。一例を挙げれば、ビデオ信号における話者の口の動きとオーディオ信号との間に時間的なずれを、ユーザは認識することがある。この時間的なずれは、ユーザに、違和感を与える。
【０００９】
同一機器によるマルチメディアストリーミング再生では、ビデオデータ再生タイミングとオーディオデータ再生タイミングとの差を調整する仕組みが知られている。この仕組みは、「リップシンク」とも呼ばれる。この仕組みでは、ビデオデータとオーディオデータの各々に、タイムスタンプ情報が付加されている。マルチメディアデータ再生機器、例えば、携帯電話機は、このタイムスタンプ情報を参照しながら、ビデオデータを復号するタイミングと、オーディオデータを復号するタイミングを調整する。この調整は、再生ビデオ信号と再生オーディオ信号との同期、即ち、リップシンクを実現している。したがって、携帯電話機のディスプレイに表示されるビデオ信号のタイミングと、同一携帯電話機のスピーあるいはイヤホンから出力されるオーディオ信号のタイミングとは、一致する。
【００１０】
前述した特許文献1記載の技術では、携帯電話機は、このリップシンク技術により、携帯電話機で、ビデオ信号及びオーディオ信号の再生タイミングを調整した後に、ビデオ信号を腕時計等へ、オーディオ信号をワイヤレスヘッドホンへ送付することができる。このため、特許文献1記載の技術では、腕時計のディスプレイ上でのビデオ信号の再生タイミングとヘッドホン出力のオーディオ信号の再生タイミングとのずれは、余り大きくならないようにすることができると考えられる。
【００１１】
しかしながら、携帯電話機がマルチメディアデータを受信し、この携帯電話機がビデオデータのみを再生し、オーディオデータをワイヤレスヘッドホンに転送し、ワイヤレスヘッドホンがオーディオデータを再生する場合には、このようなことは期待できない。この理由は、携帯電話機自身により再生されるビデオデータの再生タイミングと、ワイヤレスヘッドホン（他の機器）により再生されるオーディオデータの再生タイミングとを調整する仕組みが存在しないためである。
【００１２】
この場合には、前述した、携帯電話機からワイヤレスヘッドホン間の転送遅延、及び、ワイヤレスヘッドホン内部での処理遅延の合計が、ビデオ信号の再生タイミングとオーディオ信号の再生タイミングのずれとなって現われる。
【００１３】
また、特許文献２は、スクリーン上での再生ビデオ信号と無線送信装置からの再生オーディオ信号との再生タイミングを同期させるために、無線送信装置は、オーディオ信号を遅延させて再生している。この遅延量は、プロジェクタ装置側が、再生ビデオ信号と再生オーディオ信号とを比較することにより求める。この求められた遅延量を、プロジェクタ装置側は、無線送信装置に返送している。しかしながら、この特許文献２の技術は、再生ビデオ信号と再生オーディオ信号とのタイミング差を求めるために、無線装置は、特別なテストビデオ信号と特別なテストオーディオ信号との組を送信する必要がある。特許文献２は、このテスト信号の例として、奇数フレームで全白信号となり偶数フレームで全黒信号となるテストビデオ信号と、奇数フレーム内でのみＯＮとなる正弦波信号であるテストオーディオ信号を記載している。しかしながら、このようなテスト信号はユーザにとっては、目障りでありかつ耳障りである。
【００１４】
本発明の目的は、主通信機（例えば、携帯電話機）がマルチメディアストリームを受信し、この主通信機がビデオデータのみを再生し、オーディオデータを従通信機（例えば、ワイヤレスヘッドホン）に転送し、この従通信機がオーディオデータを再生するシステム構成において、テストビデオ信号やテストオーディオ信号を使用することなく、主通信機におけるビデオデータ再生タイミングと従通信機におけるオーディオデータ再生タイミングとを調整する仕組みを提供することにある。
【課題を解決するための手段】
【００１５】
請求項１記載の発明は、主通信機がマルチメディアデータをビデオデータとオーディオデータとを分離し、ビデオデータを再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法であり、
（Ａ）主通信機は、前もって定められたタイミングで、制御パケットを従通信機に送信し、
（Ｂ）従通信機は、制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、主通信機に返信し、
（Ｃ）主通信機は、主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間に基づいて、ビデオデータの再生タイミングを変更する、
ことを特徴とするマルチメディアデータの再生方法である。
【００１６】
請求項２記載の発明は、請求項１記載のマルチメディアデータの再生方法において、処理遅延時間情報は、制御パケットの受信時刻と制御応答パケットの送信時刻とで表されることを特徴とする。
【００１７】
請求項３記載の発明は、請求項２記載のマルチメディアデータの再生方法において、処理遅延時間情報は、制御パケットの受信時刻と制御応答パケットの送信時刻との差で表されることを特徴とする。
【００１８】
請求項４記載の発明は、請求項１記載のマルチメディアデータの再生方法において、制御応答パケットは制御パケットの受信時刻を含み、ステップ（Ｃ）は、伝搬遅延情報を、制御パケットの送信時刻と制御パケットの受信時刻から計算することを特徴とする。
【００１９】
請求項５記載の発明は、請求項４記載のマルチメディアデータの再生方法において、制御応答パケットはこの制御応答パケットの送信時刻をさらに含み、ステップ（Ｃ）は、伝搬遅延情報を、制御応答パケットの発信時刻と応答制御パケットの受信時刻から計算することを特徴とする。ことを特徴とする。
【００２０】
請求項６記載の発明は、請求項１に記載のマルチメディアデータの再生方法において、ステップ（Ｃ）は、要遅延時間を、第１の差の半分と、第２の差の半分との和により計算し、第１の差は、制御パケットの送信時刻と制御応答パケットの受信時刻との差であり、第２の差は、制御パケットの受信時刻と制御応答パケットの受信時刻との差である、ことを特徴とする。
【００２１】
請求項７記載の発明は、請求項１に記載のマルチメディアデータの再生方法において、ステップ（Ｃ）は、前回計算した要遅延時間を記憶し、今回計算した要遅延時間と記憶された要遅延時間との差である差要遅延時間だけ、ビデオデータの再生タイミングを遅延させる、ことを特徴とする。
【００２２】
請求項８記載の発明は、請求項７に記載のマルチメディアデータの再生方法において、ステップ（Ｃ）は、差遅延時間が負である場合には、この差遅延時間に相当する量のビデオデータを廃棄する、ことを特徴とする。
【００２３】
請求項９記載の発明は、請求項１記載のマルチメディアデータの再生方法において、ステップ（Ｃ）は、差要遅延時間が正または０である場合には、この差要遅延時間だけ、ビデオデータの復号を延期する、ことを特徴とする。
【００２４】
請求項１０記載の発明は、請求項１記載のマルチメディアデータの再生方法
ステップ（Ａ）は、所定時間毎に制御パケットを送信する、ことを特徴とする。
【００２５】
請求項１１記載の発明は、
主通信機がマルチメディアデータ中のビデオデータを再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する主通信機であり、
所定のタイミングで、制御パケットを従通信機へ送信するとともに、マルチメディアデータから分離されたオーディオデータを従通信機へ送信する送信部と、
従通信機から、従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを受信する受信部と、
主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間を計算する計算部と、
ビデオデータの再生タイミングを、計算された要遅延時間に基づいて、変更する調整部と、
時刻を計時するタイマ、
とを備えたことを特徴とする主通信機である。
【００２６】
請求項１２記載の発明は、請求項１１記載の主通信機において、処理遅延時間情報は、制御パケットの前期従通信機での受信時刻と制御応答パケットの従通信機での送信時刻とで表される、ことを特徴とする。
【００２７】
請求項１３記載の発明は、請求項１１記載の主通信機において、計算部は、処理遅延時間情報を、制御パケットの受信時刻と制御応答パケットの送信時刻との差により求める、ことを特徴とする。
【００２８】
請求項１４記載の発明は、請求項１１記載の主通信機において、制御応答パケットは制御パケットの従通信機での受信時刻を含み、計算部は、伝搬遅延情報を、制御パケットの送信時刻と制御パケットの受信時刻から計算する、ことを特徴とする。
【００２９】
請求項１５記載の発明は、請求項１１記載の主通信機において、制御応答パケットは制御応答パケットの送信時刻を含み、計算部は、伝搬遅延情報を、制御応答パケットの発信時刻と制御応答パケットの受信時刻から計算する、ことを特徴とする。
【００３０】
請求項１６記載の発明は、請求項１１に記載の主通信機において、
計算部は、要遅延時間を、第１の差の半分と、第２の差の半分との和により求め、
第１の差は、タイマで計時された制御パケットの送信時刻と、タイマで計時された制御応答パケットの受信時刻との差であり、
第２の差は、制御パケットの受信時刻と制御応答パケットの受信時刻との差である、
ことを特徴とする。
【００３１】
請求項１７記載の発明は、請求項１１に記載の主通信機において、
計算部は、前回計算した要遅延時間を記憶し、今回計算した要遅延時間との差である差要遅延時間を出力し、
調整部は、差要遅延時間だけ、ビデオデータの再生タイミングを遅延させる、ことを特徴とする。
【００３２】
請求項１８記載の発明は、請求項１７に記載の主通信機において、調整部は、差遅延時間が負である場合には、この差遅延時間に対応するビデオデータを廃棄する、ことを特徴とする。
【００３３】
請求項１９記載の発明は、請求項１１記載の主通信機において、調整部は、差要遅延時間が正または０である場合には、この差要遅延時間だけ、ビデオデータの復号を延期する、ことを特徴とする。
【００３４】
請求項２０記載の発明は、請求項１１記載の主通信機において、送信部は、所定時間毎に制御パケットを送信する、ことを特徴とする。
【００３５】
請求項２１記載の発明は、
主通信機がマルチメディアデータ中のビデオデータを再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する従通信機であって、
主通信機から転送されたオーディオデータを再生するオーディオ再生器と、
主通信機から制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、主通信機に返信する送信部と、
時刻を計時するタイマと、
を備えた従通信機である。
【００３６】
請求項２２記載の発明は、請求項２１記載の従通信機において、制御応答パケットは、処理遅延時間情報として、タイマで計時された制御パケットの受信時刻と制御応答パケットの送信時刻を含む、ことを特徴とする。
【００３７】
請求項２３記載の発明は、請求項２１記載の従通信機において、
制御応答パケットは、処理遅延時間情報として、制御パケットの受信時刻と制御応答パケットの送信時刻との差を含む、ことを特徴とする。
【００３８】
請求項２４記載の発明は、請求項２１記載の従通信機において、
制御パケットは、この制御パケットの主通信機での送信時刻を含み、制御応答パケットは、この制御パケット送信時刻を含む、ことを特徴とする。
【００３９】
請求項２５記載の発明は、
主通信機がマルチメディアデータ中のビデオデータ再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する主通信機としてコンピュータを動作させるための主通信機用プログラムであり、
（Ａ）所定のタイミングで制御パケットを従通信機へ送信するとともに、マルチメディアデータから分離されたオーディオデータを、従通信機へ送信し、
（Ｂ）従通信機から、従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを受信し、
（Ｃ）主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間を計算する計算し、
（Ｄ）ビデオデータの再生タイミングを、計算された要遅延時間に基づいて、変更する、
ステップを備えた主通信機用プログラムである。
【００４０】
請求項２６記載の発明は、請求項２５記載の主通信機用プログラムにおいて、処理遅延時間情報は、制御パケットの前期従通信機での受信時刻と制御応答パケットの従通信機での送信時刻とで表される、ことを特徴とする。
【００４１】
請求項２７記載の発明は、請求項２５記載の主通信機用プログラムにおいて、ステップ（Ｃ）は、処理遅延時間情報を、制御パケットの受信時刻と制御応答パケットの送信時刻との差で求める、ことを特徴とする。
【００４２】
請求項２８記載の発明は、請求項２５記載の主通信機用プログラムにおいて、制御応答パケットは制御パケットの従通信機での受信時刻を含み、ステップ（Ｃ）は、伝搬遅延情報を、制御パケットの送信時刻と制御パケットの受信時刻から計算する、ことを特徴とする。
【００４３】
請求項２９記載の発明は、請求項２５記載の主通信機用プログラムにおいて、
制御応答パケットはこの制御応答パケットの送信時刻をさらに含み、ステップ（Ｃ）は、計算部は、伝搬遅延情報を、制御応答パケットの発信時刻と応答制御パケットの受信時刻から計算する、ことを特徴とする。
【００４４】
請求項３０記載の発明は、請求項２５に記載の主通信機用プログラムにおいて、
ステップ（Ｃ）は、要遅延時間を、第１の差の半分と、第２の差の半分との和により求め、
第１の差は、制御パケットの送信時刻と制御応答パケットの受信時刻との差であり、
第２の差は、制御パケットの受信時刻と制御応答パケットの受信時刻との差である、ことを特徴とする。
【００４５】
請求項３１記載の発明は、請求項２５に記載の主通信機用プログラムにおいて、
ステップ（Ｃ）は、前回計算した要遅延時間を記憶し、今回計算した要遅延時間との差である差要遅延時間を計算し、
ステップ（Ｄ）は、差要遅延時間だけ、ビデオデータの再生タイミングを遅延させる、ことを特徴とする。
【００４６】
請求項３２記載の発明は、請求項３１に記載の主通信機用プログラムにおいて、ステップ（Ｄ）は、差遅延時間が負である場合には、この差遅延時間に対応するビデオデータを廃棄する、ことを特徴とする。
【００４７】
請求項３３記載の発明は、請求項２５記載の主通信機用プログラムにおいて、ステップ（Ｄ）は、差要遅延時間が正または０である場合には、この差要遅延時間だけ、ビデオデータの復号を延期する、ことを特徴とする。
【００４８】
請求項３４記載の発明は、請求項２５記載の主通信機用プログラムにおいて、ステップ（Ａ）は、所定時間毎に制御パケットを送信する、ことを特徴とする。
【００４９】
請求項３５記載の発明は、主通信機がマルチメディアデータ中のビデオデータを再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する従通信機としてコンピュータを動作させるための従通信機用プログラムであって、
（Ａ）主通信機から転送されたオーディオデータを再生し、
（Ｂ）主通信機から制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、主通信機に返信する、
ステップを備えたことを特徴とする。
【００５０】
請求項３６記載の発明は、請求項３５記載の従通信機用プログラムにおいて、制御応答パケットは、処理遅延時間情報として、制御パケットの受信時刻と制御応答パケットの送信時刻を含む、ことを特徴とする。
【００５１】
請求項３７記載の発明は、請求項３５記載の従通信機用プログラムにおいて、制御応答パケットは、処理遅延時間情報として、制御パケットの受信時刻と制御応答パケットの送信時刻との差を含む、ことを特徴とする。
【００５２】
請求項３８記載の発明は、請求項３５記載の従通信機用プログラムにおいて、制御パケットは、この制御パケットの主通信機での送信時刻を含み、制御応答パケットは、この制御パケット送信時刻をさらに含む、ことを特徴とする。
【００５３】
このマルチメディアストリームは、主通信機が、地上デジタル放送や、インターネット等にアクセスすることにより受信する。また、主通信機から従通信機へのオーディオデータの転送には、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮやその他の近距離無線技術が使用可能である。
【発明の効果】
【００５４】
本発明を携帯電話機等の主通信機及びこの主通信機に接続された従通信機に適用すると、これら機器間のオーディオデータ転送や、従通信機側のバッファリングに起因するデータ転送の遅延時間をあらかじめ考慮して、主通信機でのビデオ再生タイミングを、この遅延時間だけ、遅延させることができる。これにより、主通信機でのビデオ再生と従通信機でのオーディオ再生とを同期させることができる。即ち、本発明は、主通信機と従通信機とを連携させて、リップシンクを実現する。
【発明を実施するための最良の形態】
【００５５】
次に、図面を参照して、本発明の実施形態につき説明する。
【００５６】
なお、以下の説明では、マルチメディアストリームを受信する主通信機としては携帯電話機を、従通信機としてはワイヤレスヘッドホンを例として説明する。しかしながら、これらの主通信機や従通信機としては、別の機器も使用可能である。例えば、主通信機としては、携帯電話機以外の携帯通信端末や携帯型パーソナルコンピュータ等も使用できる。また、従通信機としては、無線インタフェースを有するオーディオ再生機器が使用可能である。
【００５７】
図１は、本発明の利用シーンの一例を示す。
【００５８】
図1において、ユーザ３００は、携帯電話機１００で、マルチメディアストリームを受信している。携帯電話機１００は、受信マルチメディアストリームを、ビデオデータとオーディオデータとに分離し、ビデオデータをそのディスプレイ上に再生する。また、携帯電話機１００は、オーディオデータをワイヤレスヘッドホン２００に転送する。ワイヤレスヘッドホン２００は、転送されたオーディオデータを再生する。ユーザ３００は、携帯電話機１００で、再生ビデオ信号を見、ヘッドホン２００で、再生オーディオ信号を聞く。
【００５９】
これらの携帯電話機１００及びヘッドホン２００は、Ｂｌｕｅｔｏｏｔｈ等の短距離無線器を内蔵している。
【００６０】
ユーザ３００は、携帯電話機１００からワイヤレスヘッドホン２００に転送されたオーディオデータを聴く。前述したとおり、携帯電話機１００から、ワイヤレスヘッドホン２００に無線転送されるオーディオデータは、無線伝搬路で伝搬遅延を受ける。また、このオーディオデータは、ワイヤレスヘッドホン２００における、オーディオデータのバッファリングの時間に起因する処理遅延も受ける。この結果、ワイヤレスヘッドホンからのオーディオ信号の再生タイミングは、ユーザ３００が見ている再生ビデオ信号の再生タイミングとのズレを、ユーザが認識することがある。
【００６１】
次に、図２、図３を参照して、本発明の一実施形態を説明する。図２は、本発明の一実施携帯に関わる携帯電話機の構成例を示すブロック図であり、図３は、本発明の一実施形態に関わるワイヤレスヘッドホンの構成例を示すブロック図である。
【００６２】
図２に示されたとおり、本実施形態に関わる携帯電話機１００は、プログラム制御によって動作するコンピュータ（中央処理装置）１１０と、オーディオデータをワイヤレスヘッドホンへ転送するための無線通信部１２０と、オーディオ信号を出力するスピーカ１３０と、タイマ情報を生成するタイマ１４０と、無線ネットワークあるいは有線ネットワークからマルチメディアストリームデータを受信するストリームデータ受信器１５０と、再生ビデオ信号を表示するディスプレイ（非図示）を含むユーザインタフェース１６０とからなる。
【００６３】
無線通信部１２０としては、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ送受信器等が使用できる。
【００６４】
ストリームデータ受信器１５０は、例えば、ブラウザとインターネットとの通信を行うインターネット通信部との組み合わせで実現される。ストリームデータ受信器１５０は、インターネット等からマルチメディアストリームデータを受信する。また、このストリームデータ受信器１５０は、地上デジタル放送のストリームデータを受信する地上デジタル放送受信機で構成されてもよい。ストリームデータを受信する受信機の構成そのものは、本発明には直接には関係しないので、図1では、単に、ストリームデータ受信器１５０と表示している。
【００６５】
また、コンピュータ１１０は、制御部１１１と、メディア分離部１１２と、ビデオバッファリング部１１３と、オーディオバッファリング部１１４と、通信インタフェース１１５と、タイミング同期部１１６と、ビデオ復号器１１７と、オーディオ復号器１１８とを含む。これらは、プログラムにより実現されている。
【００６６】
制御部１１１は、携帯電話機１００全体を制御する。メディア分離部１１２は、受信したマルチメディアストリーミングを、ビデオデータとオーディオデータとに分離する。ビデオバッファリング部１１３は、ビデオデータをバッファリングする。ビデオ復号器１１７は、ビデオデータを復号化する。ユーザインタフェース１６０は、復号化されたビデオ信号を、携帯電話機１００のディスプレイ上に表示する。
【００６７】
仮に、図２の構成において、ユーザが、ビデオ信号とオーディオ信号との両方を携帯電話機で視聴することを選択している場合には、オーディオバッファリング部１１４は、オーディオデータをバッファリングする。また、オーディオ復号器１１８は、オーディオデータの復号化を行い、この復号化されたオーディオ信号は、スピーカ１３０に供給される。以下に説明する本実施形態では、オーディオ復号器１１８及びスピーカ１３０は、使用されないことに注意されたい。
【００６８】
本実施形態では、オーディバッファリング部１１４は、タイミング同期部１１６及び通信インタフェース１１５及び無線通信部１２０を介して、オーディオデータを、ワイヤレスヘッドホン２００に供給する。
【００６９】
タイミング同期部１１６は、ビデオデータ及びオーディオデータを、各々、ビデオバッファリング部１１３、オーディオバッファリング部１１４から受け取る。詳しくは後述するが、タイミング同期部１１６は、携帯電話機１００のディスプレイで表示されるビデオ信号の再生タイミングとワイヤレスヘッドホン２００のスピーカ２３０から出力されるオーディオ信号の再生タイミングがほぼ等しくなるように、ビデオデータをビデオ復号器１１７へ渡すタイミングを調整する。
【００７０】
通信インタフェース１１４には、ワイヤレスヘッドホンと通信を行うための、通信プロトコル等が実装されている。
【００７１】
図３は、本実施形態にかかわるワイヤレスヘッドホン２００の構成例を示すブロック図である。
【００７２】
図３に示されたとおり、ワイヤレスヘッドホン２００は、プログラム制御によって動作するコンピュータ２１０と、無線通信部２２０と、スピーカ２３０と、タイマ情報を生成するタイマ２４０とを含む。
【００７３】
また、コンピュータ２１０は、ワイヤレスヘッドホン２００全体を制御するヘッドホン制御部２１１と、オーディオデータをバッファリングするオーディオバッファリング部２１２と、タイミング同期部２１３と、オーディオデータを復号化するオーディオ復号器２１４と、無線通信部２２０を使用して携帯電話機１００と通信を行うための通信インタフェース２１５とを含む。
【００７４】
なお、本実施形態では、ビデオデータの復号化処理、およびオーディオデータの復号化処理は、それぞれ、ソフトウェアで実現される。
【００７５】
なお、ユーザ３００は、携帯電話機１００と、ワイヤレスヘッドホン２００とを、あらかじめ無線により接続処理を行い、携帯電話機１００とワイヤレスヘッドホン２００との間で、無線上でのデータ転送が行えるようにしておくものとする。このような無線接続手順は、本発明とは直接には関係しないので、これ以上の説明は省略される。また、同様に、ワイヤレスヘッドホン２００で再生するオーディオストリーミング再生に関連する、コーデック情報、サンプリング周波数、転送ビットレート等の情報は、あらかじめ携帯電話機１００と、ワイヤレスヘッドホン２００との間でネゴシエーションがなされているものとする。このようなネゴシエーションついては、ストリーミング形式のオーディオデータの符号化方式により定められるものであり、本発明と直接には関係しないため、詳細な説明は省略される。つまり、携帯電話機１００と、ワイヤレスヘッドホン２００との間では、オーディオデータを再生するためのあらゆる準備が完了している状態にあるものとして、以下の説明を行う。
【００７６】
次に、図２の携帯電話装置１００と図３のワイヤレスヘッドホン２００との連係につき説明する。
【００７７】
図４は、本実施形態でのビデオデータ及びオーディオデータの流れを示している。図４の上側は、携帯電話機１００におけるデータの流れを示し、図４の下側は、ワイヤレスヘッドホン２００のデータの流れを示している。
【００７８】
携帯電話機１００では、ストリームデータ受信器１５０は、ビデオデータとオーディオデータとが混在したマルチメディアストリームデータを受信し、メディア分離部１１２に渡す。
【００７９】
メディア分離部１１２は、マルチメディアストリームデータからビデオデータ部分を分離してビデオバッファリング部１１３に渡す。また、メディア分離部１１２は、マルチメディアストリームデータからオーディオデータ部分を分離してオーディオバッファリング部１１４に渡す。
【００８０】
ビデオバッファリング部１１３は、このビデオデータをバッファリングする。その後、ビデオバッファリング部１１３は、タイミング同期部１１６からビデオデータを送るよう要求されたタイミングで、バッファリングされていたビデオデータを、その先頭から所定の単位で取り出して、タイミング同期部１１６に渡す。このビデオデータは、ビデオ復号器１１７にて復号され、再生ビデオ信号が、携帯電話機１００のユーザインタフェース（ディスプレイ）装置に表示される。
【００８１】
一方、オーディオバッファリング部１１４は、メディア分離部１１２から受け取ったオーディオデータをバッファリングする。その後、オーディオバッファリング部１１４は、タイミング同期部１１６からオーディオデータを送るよう要求されたタイミングで、バッファリングされていたオーディオデータを、先頭から所定の単位で取り出して、タイミング同期部１１６に渡す。
【００８２】
タイミング同期部１１６は、このオーディオデータを受け取り、通信インタフェース１１５及び無線通信部１２０を介して、ワイヤレスヘッドホン２００に送信する。
【００８３】
ワイヤレスヘッドホン２００において、オーディオバッファリング部２１２は、携帯電話機から受信したオーディオデータをバッファリングする。その後、タイミング同期部２１３からオーディオデータを送るよう要求されたタイミングで、バッファリングされていたオーディオデータを所定の単位で取り出して、タイミング同期部１１６に渡す。このオーディオデータは、オーディオ復号器にて復号化され、ワイヤレスヘッドホン２００のスピーカにて再生される。
【００８４】
以上が、本実施形態における、ビデオデータ及びオーディオデータの流れである。
【００８５】
本実施形態では、以上の動作に加えて、携帯電話機１００のタイミング同期部１１６は、制御パケットを作成し、ワイヤレスヘッドホンに送信する。この制御パケットは、タイマ１４０により計時された発信時刻を示す発信時刻情報を含む。
【００８６】
ワイヤレスヘッドホン２００は、この制御パケットを受信した時点で、オーディオバッファリング部２１２で、制御応答パケットを作成し、受信したオーディオデータとともにバッファリングする。オーディオバッファリング部２１２は、この制御応答パケットが、内蔵されたバッファから読み出された時点で、制御応答パケットを、携帯電話機に返信する。この時点で、制御応答パケットは、ワイヤレスヘッドホン内での処理遅延時間、すなわち、バッファリング処理に要した時間を示す処理遅延時間情報を含む。
【００８７】
携帯電話機１００のタイミング同期部１１６は、この制御応答パケット内の情報を基に、携帯電話機でのビデオ再生とワイヤレスヘッドホンでのオーディオ再生を同期させるための要遅延時間（Ｔ_delay）を計算する。そして、タイミング同期部は、この計算結果が出ると、この計算された要遅延時間（Ｔ_delay）に基づいて、ビデオデータをビデオ復号器に送付する動作を延期する。
【００８８】
この結果、タイミング同期部１１６からビデオ復号器１１７ビデオデータが出力される時刻は、このビデオデータと同時に再生されるべきオーデォデータよりも遅れてタイミング同期部１１６から出力される。この結果、このビデオデータがビデオ復号器１１７に到達する時刻は、ワイヤレスヘッドホンに送付されたオーディオデータが、ワイヤレスヘッドホン２００内のオーディオ復号器２１４に到着する時刻とほぼ同じとなる。この後は、後続するビデオデータも、この要遅延時間だけずれた時点で、ビデオ復号器１１７に供給されるので、後続するビデオデータ、オーディオデータの再生タイミングは一致する。
【００８９】
図５は、本実施形態において、制御パケットと制御応答パケットを用いて、前述した要遅延時間（Ｔ_delay）を計算する方法を説明するための図である。
【００９０】
図５に示したように、携帯電話機１００は、時刻ｔ１に制御パケットを送信し、時刻ｔ４に制御応答パケットを受信したものとする。なお、これらｔ１及びｔ４は、携帯電話機１００内のタイマ１４０で計時された時刻を示すタイマ情報である。また、図５に示されたように、ワイヤレスヘッドホン２００は、時刻ｔ２で制御パケットを受信し、時刻ｔ３で制御応答を送信したものとする。なお、これらｔ２及びｔ３は、ワイヤレスヘッドホン２００内のタイマ２４０で計時された時刻を示すタイマ情報である。
【００９１】
以下に、このＴ_delayの計算方法につき、３つの例を説明する。なお、この３つの計算方法例は、携帯電話機１００内のタイミング同期部１１６が実行する。
【００９２】
まず、要遅延時間計算方法の第１の例（以下、「例Ａ」）につき、説明する。この例Ａは、次の式（１）により、要遅延時間（Ｔ_delay）を計算する。
【００９３】
Ｔ_delay ＝ (ｔ２ − ｔ１) ＋ (ｔ３ − ｔ２)
＝ （ｔ３ − ｔ１）  ・・・（１）
（１）式において、(ｔ２ − ｔ１)は、携帯電話機１００から無線ヘッドホン２００までの無線区間における伝搬遅延時間を示す。(ｔ３ − ｔ２)は、ワイヤレスヘッドホン内部での処理遅延時間を示す。（１）式による要遅延時間Ｔ_delayは、この伝搬遅延時間と処理遅延時間の合計である。この要遅延時間の最初の計算がなされ、携帯電話機１００がその後の最初の音声データをワイヤレスヘッドホンに送信してから、この要処理時間が経過するまで、携帯電話機１００内のタイミング同期部１１６は、ビデオデータのビデオ復号器１１７への送付を延期する。
【００９４】
なお、この例Ａによる計算では、携帯電話機１００内のタイマ１４０とワイヤレスヘッドホン内のタイマ２４０とは、時刻が正確に、合わせられる必要がある。好ましくは、０．５秒以内に合わせられている必要がある。さらに好ましくは、時刻を計測する単位時間の１／２未満に合わせられている必要がある。その理由は、時刻ｔ１は、タイマ１４０により計時される時刻であり、時刻ｔ２、ｔ３は、タイマ２４０により掲示された時刻であるためである。仮に、タイマ１４０の時刻とタイマ２４０の時刻にずれがあると、このずれは、（１）式の計算結果の影響を与える。
【００９５】
なお、この時刻合わせは、事前に、携帯電話機１００及びワイヤレスヘッドホン２００が、基地局（インフラストラクチャモード無線ＬＡＮシステムにおいては、アクセスポイント）と交信することにより、正確な時刻情報を得て、各々のタイマをセットすることにより実現できる。また、この時刻合わせには、周知の他の方法も使用できることは言うまでも無い。
【００９６】
次に、要遅延時間計算方法の第２の例（以下、「例Ｂ」）につき、説明する。この例Ｂは、次の式（２）により、要遅延時間を計算する。なお、この例Ｂの計算方法を使用する場合も、例Ａと同様に、携帯電話機１００内のタイマ１４０とワイヤレスヘッドホン内のタイマ２４０とは、時刻が正確に合わせられている必要がある。その理由は、例Ａと同様である。
【００９７】
Ｔ_delay ＝ (ｔ４ − ｔ３) ＋ (ｔ３ − ｔ２)
＝ （ｔ４ − ｔ２）  ・・・（２）
（２）式において、(ｔ４ − ｔ３)は、無線伝搬路における伝送遅延時間を示す。(ｔ３ − ｔ２)は、ワイヤレスヘッドホン内部での処理遅延時間を示す。（２）式による要遅延時間Ｔ_delayは、この伝搬遅延時間と処理遅延時間の合計である。
【００９８】
次に、要遅延時間計算方法の第３の例（以下、「例Ｃ」）につき、説明する。この例Ｃは、次の式（３）により、要遅延時間を計算する。なお、この例３は、例Ａ、例Ｂと異なり、携帯電話機１００内のタイマ１４０とワイヤレスヘッドホン内のタイマ２４０とは、時刻が正確に一致している必要は必ずしもない。その理由は後述される。
【００９９】
Ｔ_delay＝（（ｔ２-ｔ１）＋（ｔ４―ｔ３））／２＋（ｔ３−ｔ２）
＝（ｔ４ − ｔ１）／２ − (ｔ３ − ｔ２)／２ ＋（ｔ３ − ｔ２）
＝（ｔ４ − ｔ１）／２ ＋ (ｔ３ − ｔ２)／２  ・・・（３）
（３）式において、（（ｔ２-ｔ１）＋（ｔ４ ― ｔ３））／２は、携帯電話機１００からワイヤレスヘッドホン２００までの無線区間における伝送遅延時間と、ワイヤレスヘッドホン２００から携帯電話機１００までの無線区間における伝送遅延時間との平均値を示す。(ｔ３ − ｔ２)は、ワイヤレスヘッドホン内部での処理遅延時間を示す。
【０１００】
前述したとおり、時刻ｔ１及びｔ４は、携帯電話機内のタイマ１４０で計時された時刻であり、時刻ｔ２及びｔ３は、ワイヤレスヘッドホン内のタイマ２４０で計時された時刻である。（３）式は、時刻ｔ１と時刻ｔ４との差の半分と、時刻ｔ２と時刻ｔ３との差の半分との和である。したがって、携帯電話機内のタイマ１４０の時刻とワイヤレスヘッドホン内のタイマ２４０の時刻との間に、時間差があったとしても、この時間差は、（３）式の計算結果には影響しない。したがって、この例Ｃは、例Ａ、例Ｂと異なり、携帯電話機１００内のタイマ１４０とワイヤレスヘッドホン内のタイマ２４０とは、時刻が正確に一致している必要はない。
【０１０１】
次に、図６、及び図７のフローチャートを参照して、本実施形態の全体の動作について詳細に説明する。
【０１０２】
図６は、携帯電話機１００における、本発明を実現するためのタイミング同期部１１６のビデオデータ再生時の動作を説明するためのフローチャートである。
【０１０３】
なお、ユーザが、携帯電話機１００とワイヤレスヘッドホン２００と接続しない場合には、タイミング同期部１１６は、一般的に広く知られている“メディア間同期”の方法に従って、携帯電話機１００の内部において、ビデオとオーディオの同期を取る。このような場合としては、ユーザがオーディオデータを、携帯電話機１００に有線で接続されたヘッドホンや、スピーカ１３０で聴く場合などがある。図６では、このような場合の、タイミング同期部の動作については、説明を省略している。
【０１０４】
図６のステップＡ１において、タイミング同期部１１６は、動画ストリーミング再生の状態を確認する。タイミング同期部１１６は、この確認を、制御部１１１に対して行う。携帯電話機がビデオ再生を終了する場合には、タイミング同期部１１６の動作は終了する。
【０１０５】
ビデオ再生を実行する場合には、タイミング制御部１１６は、ステップＡ２において、無線通信部１２０、通信インタフェース１１５を経て、ワイヤレスヘッドホン２００からの制御応答パケットを受信したか否かを確認する。
【０１０６】
このタイミング同期部１１６が動作を開始した直後は、タイミング同期部１１６は、制御パケットをまだ送信していないため、制御応答パケットを受信しない。したがって、タイミング同期部１１６の動作は、ステップＡ５に進む。
【０１０７】
ステップＡ５では、タイミング同期部１１６は、タイマ１４０が生成するタイマ情報から、ビデオデータの再生タイミングを判断し、ビデオバッファリング部１１３にビデオデータを要求する。この結果、タイミング同期部１１６は、ビデオバッファリング部１１３からビデオデータを受け取って、ビデオ復号器１１７に渡し、ビデオデータを再生する。
【０１０８】
また、ステップＡ６では、タイミング同期部１１６は、同じくタイマ１４０が生成するタイマ情報から、動画ストリーミングの再生タイミングを判断し、オーディオバッファリング部１１４にオーディオデータを要求する。この結果、オーディオバッファリング部１１４からオーディオデータを受け取って、通信インタフェース１１５を介して、無線通信部１２０から、オーディオデータを送信する（ステップＡ６）。このオーディオデータは、無線回線を介して、にて転送され、ワイヤレスヘッドホン２００に送られる。
【０１０９】
さらに、タイミング同期部１１６は、オーディオデータパケットの送信数をカウントしておく。そして、タイミング同期部１１６は、オーディオデータパケットを一定数送信する毎に、制御パケットをワイヤレスヘッドホン２００に送信する。ステップＡ７での判定により、オーディオデータの送信数が、一定数に達していないと判明した場合には、タイミング同期部１１６の動作は、ステップＡ１に戻る。
【０１１０】
また、一定数のオーディオデータパケットが送信された場合には、タイミング制御部１１６は、ステップＡ８で、制御パケットをワイヤレスヘッドホン２００に送信する。この時、オーディオデータパケット送信数を計数するためのカウンタは、リセットされる。また、制御パケットを送信する瞬間のタイマ１４０のタイマ情報(ｔ１)は、制御パケットに書き込まれる。なお、このタイマ情報（ｔ１）は、制御パケット内に格納される代わりに、タイミング同期部１１６内部に一時蓄積されていてもよい。
【０１１１】
なお、ここでは、オーディオデータのパケット送信数をカウントし、一定間隔ごとに制御パケットを送信するような方法を説明した。しかしながら、本実施形態は、タイマを用いて、一定時間ごとに制御パケットを送信するように、変形されてもよい。
【０１１２】
制御パケットが送信されると、タイミング同期部１１６はステップＡ１に戻る。
【０１１３】
この後、携帯電話機１００は、送信した制御パケットに対応する制御応答パケットがワイヤレスヘッドホン２００から返送されるのを待つ。その間に、タイミング同期部１１６は、ステップＡ１、Ａ２、Ａ５、Ａ６、Ａ７，Ａ８の処理を繰り返す。
【０１１４】
なお、本実施形態は、最初の制御パケット・制御応答パケットのやりとりが完了するまで、ビデオデータの再生を開始しないように、修正されることも可能である。この変形例では、ステップＡ１の前に、制御パケットの送信処理が行われる。この変形では、最初に遅延時間を測定して、その後、ビデオ再生を開始するという手順をとる。
【０１１５】
ここでは、説明を簡単にするために、制御パケットのやりとりをする前の段階でも、ビデオデータの再生を開始ものとして説明する。
【０１１６】
ここで図７のフローチャートを参照する。図７は、ワイヤレスヘッドホン２００の、オーディオバッファリング部２１２の処理を説明するためのフローチャートである。
【０１１７】
ステップＢ１にて、オーディオバッファリング部２１２は、オーディオ再生の状態を確認する。オーディオバッファリング部２１２は、この確認をヘッドホン制御部２１１に行う。オーディオ再生が終了された場合には、オーディオバッファリング部２１２は、その動作を終了する。
【０１１８】
ステップＢ１での判定結果が、“Ｎｏ”の場合、オーディオバッファリング部２１２は、ステップＢ２で、パケットを受信したか否かを判定する。即ち、オーディオバッファリング部２１２は、無線通信部２２０、通信インタフェース２１５を経て、携帯電話機１００からパケットを受信したか否かを判定する。携帯電話機からのパケットを受信している場合には、オーディオバッファリング部２１２の処理は、ステップＢ３に進み、そうでない場合には、ステップＢ６に進む。
【０１１９】
ステップＢ３では、オーディオバッファリング部２１２は、受信パケットの種別を判定する。この種別は、パケットのタイプ情報（TYPE）の欄に示されている。即ち、オーディオバッファリング部２１２がオーディオデータパケット、制御パケットのいずれであるかを判定する。到着したパケットがオーディオデータパケットの場合は、オーディオバッファリング部２１２は、ステップＢ５で、到着したオーディオデータパケットをバッファリングし、再生タイミングになるまで蓄積しておく。
【０１２０】
一方、到着したパケットが制御パケットである場合は、オーディオバッファリング部２１２は、制御応答パケットを作成する。この時刻は、制御パケットの受信時刻（ｔ２）である。この制御応答パケットも、ステップＢ５でバッファリングされる。なお、この時点では、この制御応答パケットは、２つのタイマ情報を含む。１つは、携帯電話機１００から受信した制御パケットに含まれているタイマ情報（ｔ１）、即ち、携帯電話機１００での、制御パケット送信時刻を示すタイマ情報である。もう１つは、タイマ２４０が生成した、この制御パケットの受信時刻（ｔ２）を示すタイマ情報である。なお、制御パケットがタイマ情報（ｔ１）を含まない場合には、制御応答パケットも、タイマ情報（ｔ１）を含まない。
【０１２１】
このようにして、オーディオバッファリング部２１２は、オーディオデータパケットと、制御応答パケットをバッファリングする。
【０１２２】
この後、オーディオバッファリング部２１２は、ステップＢ６で、タイミング同期部２１３から、オーディオデータを要求されているかどうかどうかを判定する。
【０１２３】
タイミング同期部２１３は、タイマ２４０が生成するタイマ情報から、オーディオの再生タイミングを判断し、再生するオーディオデータのタイミングに合わせて、オーディオバッファリング部２１２にオーディオデータを要求する。オーディオバッファリング部２１２は、この要求に応じて、オーディオデータをタイミング同期部２１３に渡すと、タイミング同期部２１３は、そのままオーディオ復号器２１４に渡して、オーディオを再生させる。
【０１２４】
ステップＢ６にて、オーディオデータを要求されている場合は、オーディオバッファリング部２１２は、その内部にバッファリングされているデータの中から先頭のデータを参照する。そして、ステップＢ７で、バッファリングされているデータがない場合には、オーディオバッファリング部２１２の動作は、ステップＢ１に戻る。バッファリングされているデータがある場合には、オーディオバッファリング部２１２の処理は、ステップＢ８に進む。
【０１２５】
ステップＢ８では、オーディオバッファリング部２１２は、パケットの種別を判定する。即ち、ステップＢ８は、このパケットが制御応答パケット、オーディオデータパケットのいずれであるかを判定する。
【０１２６】
パケットの種別がオーディオデータパケットであれば、オーディオバッファリング部２１２は、ステップＢ９で、このオーディオデータパケットをタイミング同期部２１３に渡す。このオーディオデータパケットは、そのままオーディオ復号器２１４に渡され、ワイヤレスヘッドホン２００のスピーカ２３０にて、オーディオデータが再生される。この後、オーディオバッファリング部２１２の動作は、ステップＢ１に戻る。
【０１２７】
一方、パケットの種別が、ステップＢ４で作成された制御応答パケットであれば、オーディオバッファリング部２１２は、ステップＢ１０で、通信インタフェース２１５及び無線通信部２２０を介して、携帯電話機１００に、向けて制御応答パケットを送信する。この時、送信される制御応答パケットには、最大で３つのタイマ情報を含む。
【０１２８】
１つは、携帯電話機１００から受信した制御パケットに含まれていたタイマ情報（ｔ１）である。これは、ステップＢ４にて制御応答パケットに格納されている。また、前述したタイマ情報（ｔ２）も、ステップステップＢ４にて制御応答パケットに格納されている。もう１つは、このステップＢ１０で、この制御応答パケットが、バッファから取り出された時点ｔ３（タイマ２４０で計時される）である。この時刻ｔ３は、制御応答パケットの送信時刻でもある。
【０１２９】
時間差（ｔ３−ｔ２）は、ステップＢ４で制御応答パケットが作成されてから、ステップＢ１０で、制御応答パケットが携帯電話機に送信される時刻までの経過時間を示している。したがって、この（ｔ３−ｔ２）は、ワイヤレスヘッドホン内部での処理遅延（T_dlsr）を示している。
【０１３０】
制御応答パケットは、例えば、上述のｔ１、ｔ２、ｔ３を含んでいればよい。しかしながら、制御応答パケットは、これら、３つのタイマ情報に代えて、制御応答パケットは、ｔ１及びT_dlsr(=ｔ３-ｔ２)を含んでも良い。ただし、携帯電話機が、要遅延時間（Ｔ_delay）を、前述した計算方法例Ｂに基づいて計算する場合には、制御応答パケットは、タイマ情報ｔ１を含む必要は必ずしもないが、タイマ情報ｔ２、ｔ３を必ず含む必要がある。
【０１３１】
要遅延時間（Ｔ_delay）の計算法をにつき、すでに、例Ａ、例Ｂ、例Ｃの３つの計算方法例を説明したが、携帯電話機がいずれの計算方法例を使用する場合でも、制御応答パケットは、ワイヤレスヘッドホン内部での処理遅延を計算するための情報、即ち、ｔ２とｔ３の組、あるいはT_dlsr(=ｔ３-ｔ２)を含む必要がある。制御応答パケットが、タイマ情報ｔ１を含む必要があるか否かは、携帯電話機がどの要遅延時間計算方法を採用するか、また、携帯電話機が、制御パケットにタイマ情報（ｔ１）を含ませるか否か、に依存する。
【０１３２】
図８に制御応答パケットの例を示す。なお、後述するように、タイマ情報（ｔ１）、即ち、携帯電話機が制御パケットを送信した時刻は、必ずしも制御応答パケットの格納されている必要はないが、図８では、タイマ情報ｔ１を含む制御応答パケットの例のみを示している。図８（Ａ）は、携帯電話機が前述した要遅延時間計算方法例Ａ、Ｂ，Ｃのいずれを採用する場合にも適した制御応答パケットのフォーマットの例を示す。図８（Ｂ）は、携帯電話機が前述した要遅延時間計算方法例ＡまたはＣのいずれを採用する場合に適した制御応答パケットの例を示している。図８（Ｂ）のフォーマットでは、タイマ情報ｔ２、ｔ３の組に代えて、ワイヤレスヘッドホン内部での処理遅延時間Ｔ_ｄｌｓｒ（＝ｔ３−ｔ２）が、格納されている。
【０１３３】
ワイヤレスヘッドホン２００は、このようにして、制御応答パケットを送信すると、オーディオバッファリング部の動作は、ステップＢ７に戻る。
【０１３４】
図６に戻って、携帯電話機１００におけるタイミング同期部１１６の動作説明を再開する。
【０１３５】
ステップＡ２で、携帯電話機１００のタイミング同期部１１６が、制御応答パケットの受信を確認すると、タイミング同期部１１６の動作は、ステップＡ３に進む。
【０１３６】
ステップＡ３では、タイミング同期部１１６は、前述した要遅延時間（Ｔ_delay）を計算する。この計算方法は、前述した例Ａ、例Ｂ、例Ｃのいずれを使用してもよい。タイミング同期部１１６は、前回ステップＡ３が実行されたときに計算された要遅延時間Ｔ_delay(old)との差、“ΔＴ_delay＝Ｔ_delay −Ｔ_delay(0ld)”を計算する。なお、このステップＡ３が最初に実行される時は、Ｔ_delay(old)＝０と初期設定されている。このようにして計算されたＴ_delayは、タイミング同期部１１６内にＴ_delay(0ld)として、一時蓄積される。この後、タイミング同期部１１６の動作は、ステップＡ４に移行する。
【０１３７】
ステップＡ４では、タイミング同期部１１６は、計算されたＴ_delayに基づいて、ビデオデータパケットのビデオ復号器への送付タイミングを変更する。即ち、ステップＡ４は、ステップＡ３で計算されたΔＴ_delayだけ、ビデオデータパケットのビデオ復号器への送付を延期する。ただし、タイミング同期部１１６は、この間にも、オーディオデータについては、オーディオバッファリング部１１４に要求し、ワイヤレスヘッドホン２００に転送し続ける。したがって、このステップＡ４が実行されている間は携帯電話機１００のディスプレイ上のビデオ信号は更新されない。この結果、携帯電話機のディスプレイ上のビデオ信号とワイヤレスヘッドホンから出力されるオーディオ信号との間で、所謂リップシンクが確立する。
【０１３８】
なお、ΔＴ_delayが、負の値になった場合には、タイミング同期部１１６は、その時間の分だけ、バッファリングされているビデオデータを廃棄することにより、ビデオ再生を早める。
【０１３９】
このようにして、本発明は、マルチメディアストリーミング再生におけるオーディオデータのワイヤレス転送同期技術を実現することができる。
【０１４０】
次に、本発明の他の実施形態につき説明する。
【０１４１】
前述した実施形態では、ビデオデータの復号化の処理、およびオーディオデータの復号化の処理を、それぞれソフトウェアで実行することを前提に説明した。しかしながら、本発明は、既存の携帯電話等に実装されている動画ストリーミング再生の機能、およびワイヤレスヘッドホン等にて実装されているオーディオストリーミング再生の機能をほとんど修正することなく実装できる
したがって、ビデオデータの復号化の処理、およびオーディオデータの復号化の処理が、ディジタルシグナルプロセッサ（ＤＳＰ）のような専用の装置で実現されている場合であっても本発明は問題なく使用できる。また、オーディオデータやビデオデータの復号を行う専用ハードウェアも、本発明は使用できる。
【０１４２】
また、前述した実施形態では、取り扱う入力データが通信回線等を介して供給されるストリームデータであるという前提で説明した。しかしながら、入力データが通信回線からでなく、携帯端末内に保存されているマルチメディアデータであっても、やはり同様に、本発明を使用できる。つまり、本発明の主通信機は、近距離無線機を備えたマルチメディアデータ再生装置であってもよい。
【０１４３】
また、前述した実施形態では、携帯電話機から制御パケットを送信するタイミングでの、携帯電話機におけるタイマ情報(ｔ１)を、制御パケットの内部に含めるように説明している。しかしながら、本発明は、タイマ情報（ｔ１）を制御パケットの内部に含めることなく、携帯電話機内で記憶してくこともできる。この場合には、後にワイヤレスヘッドホンから返信されてくる制御応答パケットを受信した時点で、記憶しておいたタイマ情報(ｔ１)を参照するようにすれば、携帯電話端末は、要遅延時間（Ｔ_delay）を計算できることは明らかである。
【図面の簡単な説明】
【０１４４】
【図１】本発明が使用される状況の一例を示す図である。
【図２】本発明の一実施形態に関わる携帯電話機の構成例を示すブロック図である。
【図３】本発明の一実施形態に関わるワイアレスヘッドホンの構成例を示すブロック図である。
【図４】本発明の一実施形態におけるビデオデータ及びオーディオデータの流れを示す図である。
【図５】本発明における遅延量の計算方法を説明するための図である。
【図６】本発明の一実施形態における携帯電話機の動作を説明するためのフローチャートである。
【図７】本発明の一実施形態における携帯電話機の動作を説明するためのフローチャートである。
【図８】本発明の実施形態で使用される制御応答パケットのフォーマットの例を示す図である。
【符号の説明】
【０１４５】
１００    携帯電話機
２００    ワイヤレスヘッドホン
３００    ユーザ
１１０、２１０    コンピュータ
１１１    制御部
１１２    メディア分離部
１１３    ビデオバッファリング部
１１４、２１２    オーディオバッファリング部
１１５、２１５    通信インタフェース
１１６、２１３    タイミング同期部
１１７    ビデオ復号器
１１８、２１４    オーディオ復号器
１２０、２２０    無線通信部
１３０、２３０    スピーカ
１４０、２４０    タイマ
１５０    ストリームデータ受信部
１６０    ユーザインタフェース
【図１】
2008028599.tif 000003
【図２】
2008028599.tif 000004
【図３】
2008028599.tif 000005
【図４】
2008028599.tif 000006
【図５】
2008028599.tif 000007
【図６】
2008028599.tif 000008
【図７】
2008028599.tif 000009
【図８】
2008028599.tif 000010