(57)【要約】【課題】パケット化された音声データ、映像データの双方向リアルタイム通信において、音声パケットのリアルタイム性を損なわず、かつ音声データと映像データの同期タイミングの乱れの抑制を図る。【解決手段】ＴＶアダプタ１０２はＩＰ電話１０３で受信した相手側の映像データの送信時刻情報と、映像パケットに付加された映像データの送信時刻情報を得て、これらの２つの送信時刻情報を比較し、映像パケットに付加された映像データの送信時刻が遅い場合は、受信した映像パケットと音声パケットの同期がとれていないと判定し、映像を再生しないよう制御する。【選択図】図１
2007081623.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、
前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と
映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と
前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、
前記比較部によって比較した結果、
映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えたことを特徴とする音声動画通信システム。
【請求項２】
前記制御部は、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報と実質的に同一の場合は、前記受信した映像データを再生するよう制御することを特徴とする請求項１記載の音声動画通信システム。
【請求項３】
前記制御部は、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、前記受信した映像データをバッファリングするよう制御することを特徴とする請求項１または２記載の音声動画通信システム。
【請求項４】
通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、
前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、
前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、
相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、
前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、
前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、
前記比較部によって比較した結果、
前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備え、
これらの機能を備えたデータ通信端末装置の間で、通信ネットワークを介して音声データと映像データを対話的に送受信することを特徴とする音声動画通信システム。
【請求項５】
前記制御部は、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の場合は、前記受信した映像データを再生するよう制御することを特徴とする請求項４記載の音声動画通信システム。
【請求項６】
前記制御部は、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より早い時刻情報の場合は、前記受信した映像データをバッファリングするよう制御することを特徴とする請求項４または５記載の音声動画通信システム。
【請求項７】
所定の回数の音声パケット受信毎に、前記電話装置から前記ＴＶアダプタへ前記映像データの送信時刻情報を通知することを特徴とする請求項４から６のいずれか１項に記載の音声動画通信システム。
【請求項８】
パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、
映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と
映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と
前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、
前記比較部によって比較した結果、
映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えたことを特徴とするデータ通信端末装置。
【請求項９】
前記制御部は、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報と実質的に同一の場合は、前記受信した映像データを再生するよう制御することを特徴とする請求項８記載のデータ通信端末装置。
【請求項１０】
前記制御部は、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、前記受信した映像データをバッファリングするよう制御することを特徴とする請求項８または９記載のデータ通信端末装置。
【請求項１１】
パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、
少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、
前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、
相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、
前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、
前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、
前記比較部によって比較した結果、
前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えたことを特徴とするデータ通信端末装置。
【請求項１２】
前記制御部は、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の場合は、前記受信した映像データを再生するよう制御することを特徴とする請求項１１記載のデータ通信端末装置。
【請求項１３】
前記制御部は、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より早い時刻情報の場合は、前記受信した映像データをバッファリングするよう制御することを特徴とする請求項１１または１２記載のデータ通信端末装置。
【請求項１４】
所定の回数の音声パケット受信毎に、前記電話装置から前記ＴＶアダプタへ前記映像データの送信時刻情報を通知することを特徴とする請求項１１から１３いずれか１項に記載のデータ通信端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はＬＡＮやインターネット、ＩＰ通信網等のネットワークを介して、音声データや映像データの送受信を行うためのデータ通信装置、このデータ通信装置を用いたデータ通信システムに関するものである。
【背景技術】
【０００２】
近年、ブロードバンドの普及に伴い、インターネット、ＩＰ通信網などのネットワークを介しパケット化した音声データや映像データを相手側の装置に送信するとともに、相手側の装置からパケット化した音声データや映像データを受信することにより、双方向にリアルタイム通信を行うデータ通信装置が実用化されている。
【０００３】
この種のデータ通信装置では、音声データや映像データがそれぞれ複数のパケットに分割され、ネットワークを介して順次送信されるが、帯域保証がなされていない経路で伝送される場合には、データの消失やデータ伝送時間のずれなどの発生により、音声データ、映像データがリアルタイムに送受信できず、また音声と映像の再生の同期タイミングが乱れることがある。
【０００４】
異なるパケットの送受信におけるリアルタイム性と同期タイミングのずれは本質的に相反するトレードオフの関係にあり、両者の完全な両立は不可能である。
【０００５】
特に、音声データは、パケットのサイズが小さいため、帯域保証がなされていない経路での伝送の影響が大きく、パケットの消失、遅延によってリアルタイム性が悪化し、音声のとぎれが発生することがある。
【０００６】
また、利用者は、音声、映像の双方向のリアルタイム通信では、映像の品質よりも音声の品質とリアルタイム性を利便性として重視している。
【０００７】
これらの問題を解決するために、受信端末がパケット損失又はパケットのゆらぎが一定値を超えたことを認識すると、送信端末にデータ量変更要求パケットを送出し、データ量の変更を行うことにより、リアルタイム通信時に受信端末が送信端末からの受信データを制御して、音切れや画像の乱れを発生させることなく、かつ、リアルタイム通信を可能とする技術が知られている（特許文献１参照）。
【特許文献１】特開２０００−３３２８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の技術では以下のような問題が生じる。上記特許文献１に記載の技術では、受信端末側から送信端末に対して、送信データ量の変更を要求し、送信端末側は送信する音声パケットのパケットサイズの変更、符号化方式の変更、映像のフレームレート、画質パラメータのなどの変更により送信データ量を減らす制御を行う場合がある。
【０００９】
前記制御は、符号化方式の変更による音質の劣化、フレームレート、画質パラメータの変更による映像品質の低下などをもたらし、利用者に音声、映像のリアルタイム通信のパフォーマンスに不満足感を与えてしまい、十分な課題解決にはなっていなかった。
【００１０】
本発明は、このような従来の課題を解決するものであり、音声データと映像データの双方向のリアルタイム通信において、音声データのリアルタイム性を損なわず、かつ音声データと映像データの同期タイミングの乱れを抑制し、パケットのデータ量の減少に起因する音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えないことを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記目的を達成するために、請求項１に示すとおり、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えたことを特徴とした。
【発明の効果】
【００１２】
本発明は、音声と映像の双方向リアルタイム通信を行うに際し、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に順次送信され、受信側では２つのパケットの映像送信時刻情報を比較し、映像パケットの前記映像パケット送信時刻情報が遅い場合は、受信した音声パケットと映像パケットの同期がとれていないと判断して映像データを再生しない制御部を備えたことにより、音声データのリアルタイム性を損なわず、また、音声データと映像データの同期タイミングの乱れを抑制し、かつ、パケットのデータ量の減少に起因する音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えないという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
本発明の実施の形態は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えた構成のものである。
【００１４】
これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間より遅いか、簡易かつ高速に判定して、映像データを再生しないよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れを抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。
【００１５】
また、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御し、実質的に同一の場合は、前記受信した映像データを再生する制御部を備えた構成にしてもよい。
【００１６】
これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間より遅いか、あるいは、同じか、簡易かつ高速に判定して、映像データを再生する、あるいは、しないよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れをさらに抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。
【００１７】
さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報と実質的に同一の時刻情報の場合は、受信した音声データと映像データとの同期がとれていると判断して受信した映像を再生し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より遅れた時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データを再生しないよう制御し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データをバッファリングするいずれかの処理を行う制御部を備えた構成にしてもよい。
【００１８】
これによっても、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間と同じか、あるいは早いか遅いか、簡易かつ高速に判定して、映像データを最適なタイミングで再生するよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れをさらに抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。
【００１９】
さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えた構成にしてもよい。
【００２０】
これにより、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。
【００２１】
さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御し、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の場合は、前記受信した映像データを再生するよう制御する制御部を備えた構成にしてもよい。
【００２２】
これによっても、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。
【００２３】
さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを再生しないよう制御し、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする、いずれかの処理を行う制御部を備えた構成にしてもよい。
【００２４】
これによっても、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。
【００２５】
さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、映像データを再生しない制御、または映像データの再生、または映像データのバッファリング、いずれかの最適な処理を行う制御部、を備え、かつ、所定の回数の音声パケット受信毎に、前記電話装置から前記ＴＶアダプタへ前記映像データの送信時刻情報を通知する構成にしてもよい。
【００２６】
これにより、さらに、本機能の処理負荷を軽減する、処理速度の低いＣＰＵを使用できる。
【００２７】
さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えた構成としてもよい。
【００２８】
これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間より遅いか、簡易かつ高速に判定して、映像データを再生しないよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れを抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。
【００２９】
さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制制御し、実質的に同一の場合は、前記受信した映像データを再生する制御部を備えた構成にしてもよい。
【００３０】
これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間より遅いか、あるいは、同じか、簡易かつ高速に判定して、映像データを再生させる、あるいは、させないよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れをさらに抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。
【００３１】
さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報と実質的に同一の時刻情報の場合は、受信した音声データと映像データとの同期がとれていると判断して受信した映像を再生し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より遅れた時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データを再生しないよう制御し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データをバッファリングするいずれかの処理を行う制御部を備えた構成にしてもよい。
【００３２】
これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間と同じか、あるいは早いか遅いか、簡易かつ高速に判定して、映像データを最適なタイミングで再生するよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れをさらに抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。
【００３３】
さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えた構成にしてもよい。
【００３４】
これにより、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。
【００３５】
さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御し、実質的に同一の場合は、前記受信した映像データを再生する制御部を備えた構成にしてもよい。
【００３６】
これにより、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。
【００３７】
さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを再生しないよう制御し、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする、いずれかの処理を行う制御部を備えた構成にしてもよい。
【００３８】
これにより、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。
【００３９】
さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、映像データを再生しない制御、または映像データの再生、または映像データのバッファリング、いずれかの最適な処理を行う制御部を備え、かつ、所定の回数の音声パケット受信毎に、前記電話装置から前記ＴＶアダプタへ前記映像データの送信時刻情報を通知する構成にしてもよい。
【００４０】
これにより、さらに、本機能の処理負荷を軽減する、処理速度の低いＣＰＵを使用できる。
【実施例】
【００４１】
以下、本発明の実施例における音声動画システムについて、図面を参照しながら説明する。
【００４２】
図１は、本発明の実施例における音声動画通信システム１００の構成図である。音声動画通信システム１００は、自分側音声動画通信装置１１２と相手側音声動画通信装置１１３がインターネット１０６によって接続され構成されている。
【００４３】
なお、本実施例では音声動画通信装置１１２，１１３は、ＩＰテレビ電話として実施されている。実施例の構成に限らず３台以上の音声動画通信装置を接続してシステムを構成してもかまわない。
【００４４】
自分側音声動画通信装置１１２は、ルータ１０４の配下のＬＡＮ（または無線ＬＡＮ）などのローカルネットワークに自分側ＴＶアダプタ１０２と自分側ＩＰ電話１０３を接続し、自分側ＴＶアダプタ１０２は映像の送受信を行い、自分側ＩＰ電話１０３は音声の送受信を行う。ＴＶ１０１は、自分側ＴＶアダプタ１０２に接続され動画表示をするテレビである。ルータ１０４の上位にはモデム１０５があり、インターネット１０６を介して相手側の音声動画通信装置１１３へと接続される。
【００４５】
相手側音声動画通信装置１１３は、ルータ１０８の配下のＬＡＮ（または無線ＬＡＮ）などのローカルネットワークに相手側ＴＶアダプタ１１０と相手側ＩＰ電話１０９が接続し、相手側ＴＶアダプタ１１０は映像の送受信を行い、相手側ＩＰ電話１０９は音声の送受信を行う。ＴＶ１１１は、相手側ＴＶアダプタ１１０に接続され動画表示をするテレビである。ルータ１０８の上位にはモデム１０７があり、インターネット１０６を介して自分側の音声動画通信装置１１２へと接続される。
【００４６】
図２は、自分側ＴＶアダプタ１０２の構成を示すブロック図である。なお相手側ＴＶアダプタ１１０も同様の構成を備える。
【００４７】
図２において、自分側ＴＶアダプタ１０２は、ネットワークインターフェース２０１、カメラ２０２、映像通信制御部２０３、映像コーデック２０４、表示制御部２０５、表示出力部２０６、システム制御部２０７、リモコン制御部２０８により主に構成されている。
【００４８】
ネットワークインターフェース２０１は、ルータ１０４及び自分側ＩＰ電話１０３にＬＡＮ（または無線ＬＡＮ）などのローカルネットワークで接続するインターフェースである。映像データ送信の際は、カメラ２０２で撮影された映像データは、映像コーデック２０４で圧縮符号化される。
【００４９】
圧縮符号化された映像データは、映像通信制御部２０３で映像パケット化処理され、映像パケット１０００（詳細は図１０で後述）はネットワークインターフェース２０１からインターネット１０６を介して相手側音声動画通信装置１１３へ送信される。
【００５０】
また、映像データ受信の際は、映像パケット１０００は、相手側音声動画通信装置１１３の相手側ＴＶアダプタ１１０からインターネット１０６を介してネットワークインターフェース２０１で受信される。
【００５１】
受信した映像パケット１０００は、映像通信制御部２０３においてパケット解析・分解・バッファリング処理され、映像コーデック２０４で伸張復号化され、表示制御部２０５でフレーム表示するため合成処理され、表示出力部２０６を介してＴＶ１０１で相手側の映像が再生表示される。
【００５２】
また、リモコン制御部２０８は、リモコンを用いて自分側ＴＶアダプタ１０２を操作し、システム制御部２０７は自分側ＴＶアダプタ１０２全体の制御を行う。カメラ２０２で自分側の映像を表示出力部２０６から表示させることも可能である。
【００５３】
図１０は、自分側ＴＶアダプタ１０２と相手側ＴＶアダプタ１１０の間で送受信される映像パケット１０００の構成図である。
【００５４】
映像パケット１０００は、リアルタイム通信で用いられる、ＩＥＴＦのＲＦＣ１８８９標準準拠のＲＴＰ（リアルタイムプロトコル）パケット構成を備えている。具体的にはＲＴＰヘッダ１００１、タイムスタンプ１００２、ＳＳＲＣ識別子１００３、ＣＳＲＣ識別子１００４、ペイロードヘッダ（映像）１００５、ペイロードデータ（映像）１００６から構成されている。
【００５５】
映像パケット１０００は、自分側ＴＶアダプタ１０２及び相手側ＴＶアダプタ１０３の映像通信制御部２０３で送信時に生成され、受信時に解析・分解される。
【００５６】
なお、説明の便宜上、タイムスタンプ１００２は、自分側ＴＶアダプタ１０２から相手側ＴＶアダプタ１１０へ送信されるものを映像タイムスタンプ１００２Ａとし、相手側ＴＶアダプタ１１０から自分側ＴＶアダプタ１０１へ送信されるものを映像タイムスタンプ１００２Ｂと定め、以降の説明で用いる。
【００５７】
図３は、自分側ＩＰ電話１０３の構成を示すブロック図である。なお相手側ＩＰ電話１０９も同様の構成を備える。
【００５８】
図３において、自分側ＩＰ電話１０３は、ネットワークインターフェース３０１、音声通信制御部３０２、音声制御部３０３、表示制御部３０４、ＬＣＤ３０５、システム制御部３０６、受話器３０７により主に構成されている。
【００５９】
ネットワークインターフェース３０１は、ルータ１０４及び自分側ＴＶアダプタ１０２にＬＡＮ（または無線ＬＡＮ）などのローカルネットワークで接続するインターフェースである。電話音声発信の際、受話器３０７から入力された音声データは音声制御部３０３で圧縮符号化される。
【００６０】
圧縮符号化された音声データは、音声通信制御部３０２で音声パケット化処理され、音声パケット４００（詳細は図４で後述）はネットワークインターフェース３０１からインターネット１０６を介して相手側音声動画通信装置１１３へ送出される。
【００６１】
また、電話音声受信の際、音声パケット４００は相手側音声動画通信装置１１３の相手側ＩＰ電話１０９からインターネット１０６を介してネットワークインターフェース３０１で受信される。
【００６２】
受信した音声パケット４００は、音声通信制御部３０２でパケット解析・分解・バッファリング処理され、音声制御部３０３で伸張復号化され、受話器３０７から音声が出力される。システム制御部３０６では自分側ＩＰ電話１０３全体の制御を行う。
【００６３】
表示制御部２０４は、ＩＰ電話の設定、状態などの表示処理を行い、ＬＣＤ３０５で表示を行う。
【００６４】
図４は、自分側ＩＰ電話１０３と相手側ＩＰ電話１０９の間で送受信される音声パケット４００の構成図である。
【００６５】
音声パケット４００は、リアルタイム通信で用いられる、ＩＥＴＦのＲＦＣ１８８９標準準拠のＲＴＰ（リアルタイムプロトコル）パケットをヘッダ拡張した構成を備えている。具体的にはＲＴＰヘッダ４０１、タイムスタンプ４０２、ＳＳＲＣ識別子４０３、ＣＳＲＣ識別子４０４、ペイロードヘッダ（音声）４０５、ペイロードデータ（音声）４０６に映像送信時刻情報用ヘッダ拡張４０７（詳細は図５で後述）が追加され、構成されている。
【００６６】
映像送信時刻情報用ヘッダ拡張４０７は、ＲＴＰパケットの標準準拠ではない拡張情報であり、映像パケット１０００の送信時刻情報が搭載されている。
【００６７】
図５は、映像送信時刻情報用ヘッダ拡張４０７の構成図である。
【００６８】
映像送信時刻情報用ヘッダ拡張４０７は、映像送信時刻情報用ヘッダ拡張の識別子であるデータタイプ及び映像送信時刻情報用ヘッダ拡張４０７のバイト数を示すデータ長５０１と映像パケット１０００の送信時刻情報である映像タイムスタンプ６０２から構成されている。映像タイムスタンプ６０２は設定内容が図６（後述）と同一のため、同じ符号を用いて説明している。
【００６９】
音声パケット４００は、図３に示した自分側ＩＰ電話１０３及び相手側ＩＰ電話１０９の音声通信制御部３０２で送信時に生成され、受信時に解析・分解される。
【００７０】
図６は、ＩＰ電話とＴＶアダプタとの間で送受信されるタイムスタンプ用パケット６００の構成図である。
【００７１】
タイムスタンプ用パケット６００は、タイムスタンプ用パケット６００の識別子であるデータタイプ及びタイムスタンプ用パケットのバイト数を示すデータ長６０１、音声パケットに付加される映像タイムスタンプ６０２から構成され、自分側ＴＶアダプタ１０２と自分側ＩＰ電話１０３との間、及び、相手側ＴＶアダプタ１１０と相手側ＩＰ電話１０９との間で、映像タイムスタンプ６０２の通知に用いられる。
【００７２】
なお、説明の便宜上、自分側ＴＶアダプタ１０２→自分側ＩＰ電話１０３→相手側ＩＰ電話１０９→相手側ＴＶアダプタ１１０の一方向の映像タイムスタンプ６０２を６０２Ａとし、逆方向の相手側ＴＶアダプタ１１０→相手側ＩＰ電話１０９→自分側ＩＰ電話１０３→自分側ＴＶアダプタ１０２の映像タイムスタンプ６０２を６０２Ｂとし、以降の説明で用いる。
【００７３】
次に、自分側ＩＰ電話１０３及び相手側ＩＰ電話１０９と、自分側ＴＶアダプタ１０２及び相手側ＴＶアダプタ１１０との間で、音声データのリアルタイム性を損なわず、また、音声データと映像データの同期タイミングの乱れを抑制し、かつ、パケットのデータ量の減少に起因する音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えない動作を図７に示すシーケンス図を参照して説明する。
【００７４】
図７は、音声動画通信システムの動作を説明するシーケンス図である。本シーケンスは、自分側データ通信装置１１２が備える映像通信制御部２０３及び音声通信制御部３０２と相手側データ通信装置１１３が備える図２、３と同様の映像制御通信部及び音声通信制御部との間で実施される。
【００７５】
自分側ＩＰ電話１０３は、ネットワーク接続が完了し、電源がオンされると、自分側ＴＶアダプタ１０２に向けてペアリング要求のメッセージを継続的に発信する。自分側ＴＶアダプタ１０２は、ネットワーク接続が完了し、電源がオンされると自分側ＩＰ電話１０３からのペアリング要求のメッセージに応答し、自分側ＩＰ電話１０３と自分側ＴＶアダプタ１０２とのペアリングが確立する（ステップＳ７０１）。
【００７６】
相手側ＩＰ電話１０９と相手側ＴＶアダプタ１１０でも、同様の動作によりペアリングが確立する（ステップＳ７０２）。
【００７７】
自分側ＩＰ電話１０３から受話器をオフフックして、相手側ＩＰ電話１０９にダイヤルすると、標準呼制御プロトコルＳＩＰ呼制御通信により、ＩＮＶＩＴＥメッセージを送出し、相手側ＩＰ電話１０９が鳴動し、相手側ＩＰ電話１０９が２００ＯＫメッセージを自分側ＩＰ電話１０３へ応答することによって、双方向に会話のできる音声通信が確立する（ステップＳ７０３）。
【００７８】
前記、ＳＩＰ呼制御通信のＳＩＰメッセージに含まれるＳＤＰ（セッション記述プロトコル）の映像パケット送受信の設定により、自分側ＴＶアダプタ１０２と相手側ＴＶアダプタ１１０の間の映像通信も確立する（ステップＳ７０４）。
【００７９】
映像通信が確立すると、自分側ＴＶアダプタ１０２と相手側ＴＶアダプタ１１０との間で映像パケットの双方向通信が開始する。自分側ＴＶアダプタ１０２は、相手側ＴＶアダプタ１１０へ映像タイムスタンプ１００２Ａ（符号Ａについては前記図１０の説明を参照）を含む映像パケット１０００を送信する（ステップＳ７０５）。
【００８０】
同様に、相手側ＴＶアダプタ１１０は、自分側ＴＶアダプタ１０２へ映像タイムスタンプ１００２Ｂ（符号Ｂについては前記図１０の説明を参照）を含む映像パケット１０００を送信する（ステップＳ７０６）。
【００８１】
次に、自分側ＴＶアダプタ１０２は、相手側ＴＶアダプタ１１０に送信した映像タイムスタンプ６０２Ａ（設定値は１００２Ａに等しい）をタイムスタンプ用パケット６００により、自分側ＩＰ電話１０３へ通知する（ステップＳ７０７）。
【００８２】
同様に、相手側ＴＶアダプタ１１０は、自分側ＴＶアダプタ１０２に送信した映像タイムスタンプ６０２Ｂ（設定値は１００２Ｂに等しい）を含むタイムスタンプ用パケット６００により、自分側ＩＰ電話１０９へ通知する（ステップＳ７０８）。
【００８３】
音声通信が確立すると、自分側ＩＰ電話１０３と相手側ＩＰ電話１０９との間で音声パケットの双方向通信が開始する。自分側ＩＰ電話１０３は、相手側ＩＰ電話１０９へ映像タイムスタンプ６０２Ａを付加した音声パケット４００を送信する（ステップＳ７０９）。
【００８４】
同様に、相手側ＩＰ電話１０９は、自分側ＩＰ電話１０３へ映像タイムスタンプ６０２Ｂを付加した音声パケット４００を送信する（ステップＳ７１０）。
【００８５】
次に、自分側ＩＰ電話１０３は、相手側ＩＰ電話１０９から受信した映像タイムスタンプ６０２Ｂを、タイムスタンプ用パケット６００により、自分側ＴＶアダプタ１０２に通知する（ステップＳ７１１）。
【００８６】
同様に、相手側ＩＰ電話１０９は、自分側ＩＰ電話１０３から受信した映像タイムスタンプ６０２Ａを、タイムスタンプ用パケット６００により、相手側ＴＶアダプタ１１０に通知する（ステップＳ７１２）。
【００８７】
以上の動作によって自分側ＴＶアダプタ１０２は、映像送信時刻情報を映像パケット１０００が含む映像タイムスタンプ１００２Ｂ及びタイムスタンプ用パケット６００が含む映像タイムスタンプ６０２Ｂの２つの映像タイムスタンプを取得する。
【００８８】
前記２つの映像タイムスタンプにより、音声パケットと映像パケットの２つのパケットの到達時間の相対的な早さの判定の識別ができる。
【００８９】
自分側ＴＶアダプタ１０２では、前記２つの映像タイムスタンプの値を基準に、次の比較判定によりリップシンク再生（音声と声をだす唇の動きが同期した映像の再生）を行う。
（１）映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂに等しいときは映像パケットと音声パケットの同期ずれがないと判断し、映像再生の処理を開始する。
（２）映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより大きいときは、映像パケットが音声パケットよりも遅れていると判断し、映像パケットは破棄して映像再生しない。
（３）映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより小さいときは、音声パケットが映像パケットよりも遅れていると判断し、映像パケットはバッファリングし、次の音声パケット到達時以降に、映像は音声とタイミングを同期させて再生する（ステップＳ７１３）。
【００９０】
なお、音声のリアルタイム性を損なうことなく、かつ音声データと映像データの再生タイミングの乱れの抑制が本発明の目的であるため、前記（１）、（２）、（３）の判断処理における音声タイムスタンプの比較は厳密である必要はなく、例えば、比較において“ほぼ等しい”場合は“等しい”とするように、判定比較は所定の範囲のずれの許容値をもって行ってもかまわない。
【００９１】
相手側ＴＶアダプタ１１０でも、映像タイムスタンプ１００２Ａと映像タイムスタンプ６０２Ａを基準に、自分側ＴＶアダプタ１０２と同様のリップシンク再生を行う（ステップＳ７１４）。
【００９２】
次に、自分側ＩＰ電話１０３の動作について、図８に示すフロー図を参照して説明する。図８は、自分側ＩＰ電話１０３の動作を説明するフロー図である。フロー図は、主に図３の音声通信制御部３０２で実施される。なお、相手側ＩＰ電話１０９も同様のフローによって動作する。
【００９３】
自分側ＩＰ電話１０３のネットワーク接続が完了し、電源がオンされると自分側ＴＶアダプタ１０２に向けてペアリング要求のメッセージを継続的に発信する。
【００９４】
自分側ＴＶアダプタ１０２がペアリング要求に応答することで、自分側ＩＰ電話１０３と自分側ＴＶアダプタ１０２とのペアリングが確立する（ステップＳ８０１）。
【００９５】
自分側ＩＰ電話１０３から受話器３０７をオフフックして相手側ＩＰ電話１０９にダイヤルすると、ＳＩＰ呼制御メッセージの通信により、ＩＮＶＩＴＥメッセージを送出し、２００ＯＫメッセージの応答を受信することによって双方向に会話のできる音声通信が確立する（ステップＳ８０２）。
【００９６】
音声通信が確立すると、自分側ＩＰ電話１０３は相手側ＩＰ電話１０９との間で音声パケットの双方向通信を開始する（ステップＳ８０３）。
【００９７】
自分側ＩＰ電話１０３は、自分側ＴＶアダプタ１０２が相手側ＴＶアダプタ１１０に送信した映像タイムスタンプ６０２Ａ（符号Ａについては前記図６の説明を参照）を、タイムスタンプ用パケット６００により受信する（ステップＳ８０４）。
【００９８】
さらに、自分側ＩＰ電話１０３は、相手側ＩＰ電話１０９へ映像タイムスタンプ６０２Ａを付加した音声パケット４００を送信する（ステップＳ８０５）。
【００９９】
また、自分側ＩＰ電話１０３は、相手側ＩＰ電話１０９から映像タイムスタンプ６０２Ｂ（符号Ｂについては前記図６の説明を参照）が付加された音声パケット４００を受信する（ステップＳ８０６）。
【０１００】
次に、受信した音声パケット４００が含む映像タイムスタンプ６０２Ｂをタイムスタンプ用パケット６００により、自分側ＴＶアダプタ１０２へ通知する（ステップＳ８０７）。
【０１０１】
自分側ＩＰ電話１０３は、受信した音声を順次リアルタイムに再生する（ステップＳ８０８）。
【０１０２】
順次、音声パケットの送受信を行い、通話を継続するか終了するか判定を行い、継続する場合はステップＳ８０４へ戻る（ステップＳ８０９）。
【０１０３】
判定の結果、終了するときは音声通信終了する。
【０１０４】
次に、自分側ＴＶアダプタ１０２の動作について、図９に示すフロー図を参照して説明する。図９は、自分側ＴＶアダプタ１０２の動作を説明するフロー図である。フロー図は、主に映像通信制御部２０３で実施される。なお、相手側ＴＶアダプタ１１０も同様のフローによって動作する。
【０１０５】
自分側ＴＶアダプタ１０２は、ネットワーク接続が完了し、電源がオンされると自分側ＩＰ電話１０３からのペアリング要求のメッセージに応答し、自分側ＩＰ電話１０３と自分側ＴＶアダプタ１０２とのペアリングが確立する（ステップＳ９０１）。
【０１０６】
図７で説明したように、自分側ＩＰ電話１０３が相手側ＩＰ電話１０９と呼制御により音声通信を確立すると、自分側ＴＶアダプタ１０２は相手側ＴＶアダプタ１１０との間で映像通信が確立する（ステップＳ９０２）。
【０１０７】
映像通信が確立すると、自分側ＴＶアダプタ１０２と相手側ＴＶアダプタ１１０との間で映像パケットの双方向通信が開始する（ステップＳ９０３）。
【０１０８】
自分側ＴＶアダプタ１０２は、相手側ＴＶアダプタ１１０へタイムスタンプ１００２Ａ（符号Ａについては前記図１０の説明を参照）を含む映像パケット１０００を送信する（ステップＳ９０４）。
【０１０９】
同様に、相手側ＴＶアダプタ１１０から、タイムスタンプ１００２Ｂ（符号Ｂについては前記図１０の説明を参照）を含む映像パケット１０００を受信する（ステップＳ９０５）。
【０１１０】
次に、自分側ＴＶアダプタ１０２は、相手側ＴＶアダプタ１１０に送信した映像タイムスタンプ６０２Ａ（設定値は１００２Ａに等しい）を、タイムスタンプ用パケット６００により自分側ＩＰ電話１０３へ通知する（ステップＳ９０６）。
【０１１１】
また、自分側ＴＶアダプタ１０２は、自分側ＩＰ電話１０３が相手側ＩＰ電話１０９から受信した映像タイムスタンプ６０２Ｂを、タイムスタンプ用パケット６００により受信する（ステップＳ９０７）。
【０１１２】
以上の動作によって、自分側ＴＶアダプタ１０２は、映像パケット１０００が含む映像タイムスタンプ１００２Ｂ及びタイムスタンプ用パケット６００が含む映像タイムスタンプ６０２Ｂの２つの映像タイムスタンプを得る。
【０１１３】
前記、２つの映像タイムスタンプにより、音声パケットと映像パケットの２つのパケットの到達時間の相対的な早さを判定できる。
【０１１４】
自分側ＴＶアダプタ１０２は、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂに等しいか比較を行う（ステップＳ９０８）。
【０１１５】
自分側ＴＶアダプタ１０２は、ステップＳ９０８の判定結果で、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂに等しいときは、映像パケットと音声パケットの同期ずれがないと判断し、映像再生の処理を開始する（ステップＳ９０９）。
【０１１６】
ステップＳ９０９でそれが等しくない場合、自分側ＴＶアダプタ１０２は、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより大きいか比較を行う（ステップＳ９１０）。
【０１１７】
自分側ＴＶアダプタ１０２は、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより大きいときは、映像パケットが音声パケットよりも遅れていると判断し、映像パケットは破棄して映像再生しない（ステップＳ９１１）。
【０１１８】
自分側ＴＶアダプタ１０２は、ステップＳ９１１の判定結果で、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより小さいときは、音声パケットが映像パケットよりも遅れていると判断し、映像パケットはバッファリングし、次の音声パケット到達以降に音声に同期させ映像再生する（ステップＳ９１２）。
【０１１９】
順次、映像パケットの送受信を行い、映像通信を継続するか終了するか判定を行い、継続する場合はステップＳ９０４へ戻る（ステップＳ９１３）。
【０１２０】
判定の結果、終了するときは映像通信終了する。
【０１２１】
なお、シーケンス図でも説明したように、上記ステップＳ９０８，Ｓ９１０の比較は所定の許容幅をもって行ってもかまわない。
【０１２２】
以上の実施例で説明したように、帯域保証のないインターネットにおいてリアルタイムに双方向の通話を行うＩＰテレビ電話の実現において、映像を送受信するＴＶアダプタは、音声パケットと映像パケットの２つのパケットで独立に受信された、映像送信時刻情報の比較により、映像パケットの到達時間が音声パケットの到達時間と同じか、あるいは早いか遅いかを判定し、映像データを再生制御するので、簡易かつ高速に音声との同期ずれを抑制することが可能となる。
【０１２３】
また、送受信するパケットのデータ量を減少させることはないので、音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えることなく音声、映像が再生できる。
【０１２４】
本発明を実施例に基づいて詳細に説明したが、これらの実施例はあくまでも例示であって、本発明は実施例によって限定されるものではない。本実施例ではＩＰ電話とＴＶアダプタを分離したが、ＩＰ電話とＴＶアダプタを一体化しても同様の効果が得られる。
【０１２５】
さらに、本実施例では、パケットの受信毎に映像パケット発信時刻情報を基準にした映像再生の比較判定をしたが、ＩＰ電話及びＴＶアダプタの具備するメモリ、ＣＰＵ処理能力に応じ、パケットの受信毎でなく、所定の間隔で映像パケット発信時刻情報を基準にした映像再生の比較判定をしても同様の効果が得られる。
【０１２６】
さらに、本実施例ではＩＰ電話を電話機と一体化したが、ＩＰ電話をＩＰ電話アダプタと電話機に分離して構成しても同様の効果が得られる。
【０１２７】
さらに、本実施例では、ＴＶアダプタはＴＶと分離したが、ＴＶアダプタとＴＶを一体化しても同様の効果が得られる。
【０１２８】
また、本実施例ではインターネット１０６、モデム１０５及び１０７、ルータ１０４及び１０８を備えていたが、インターネット１０６、モデム１０５及び１０７、ルータ１０４及び１０８、のいずれかを必要に応じ省き、自分側ＩＰ電話１０３及び相手側ＩＰ電話１０９、自分側ＴＶアダプタ１０２及び相手側ＴＶアダプタ１１０、テレビＴＶ１０１及びＴＶ１１１を同一ＩＰアドレス空間のＬＡＮ等のネットワーク上に備えても同様の効果が得られる。
【産業上の利用可能性】
【０１２９】
本発明の音声動画通信装置は、ＬＡＮやインターネット、ＩＰ通信網等のネットワークを介して音声と映像の双方向リアルタイム通信を行うに際し、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れを抑制することが可能となり、送受信するパケットのデータ量を減少させることはないので、音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えることなく音声、映像が再生できるので、音声動画の双方向リアルタイムデータ通信端末装置及びそれを用いたシステムとして利用することが可能である。
【図面の簡単な説明】
【０１３０】
【図１】本発明の実施例における音声動画通信システムの構成図
【図２】本実施例の自分側ＴＶアダプタの構成を示すブロック図
【図３】本実施例の自分側ＩＰ電話の構成を示すブロック図
【図４】本実施例の自分側ＩＰ電話と相手側ＩＰ電話の間で送受信される音声パケットの構成図
【図５】本実施例の映像送信時刻情報用ヘッダ拡張の構成図
【図６】本実施例のＩＰ電話とＴＶアダプタとの間で送受信されるタイムスタンプ用パケットの構成図
【図７】本実施例の音声動画通信システムの動作を説明するシーケンス図
【図８】本実施例の自分側ＩＰ電話の動作を説明するフロー図
【図９】本実施例の自分側ＴＶアダプタの動作を説明するフロー図
【図１０】本実施例の自分側ＴＶアダプタと相手側ＴＶアダプタの間で送受信される映像パケットの構成図
【符号の説明】
【０１３１】
１００    音声動画通信システム
１０２    自分側ＴＶアダプタ
１０３    自分側ＩＰ電話
１０９    相手側ＩＰ電話
１１０    相手側ＴＶアダプタ
１１２    自分側音声動画通信装置
１１３    相手側音声動画通信装置
２０３    映像通信制御部
３０２    音声通信制御部
４００    音声パケット
４０７    映像送信時刻情報用ヘッダ拡張
６００    タイムスタンプ用パケット
１０００    映像パケット
【図１】
2007081623.tif 000003
【図２】
2007081623.tif 000004
【図３】
2007081623.tif 000005
【図４】
2007081623.tif 000006
【図５】
2007081623.tif 000007
【図６】
2007081623.tif 000008
【図７】
2007081623.tif 000009
【図８】
2007081623.tif 000010
【図９】
2007081623.tif 000011
【図１０】
2007081623.tif 000012