(57)【要約】伝送路１０２を経由して通信する双方向通信装置１０１、１０３は、符号化部と復号部を備え、インタリーバとデ・インタリーバ、もしくは、誤り訂正符号化部と復号部の少なくとも一方の組み合わせを備え、インタリーブ処理単位、インタリーブの順序、もしくは、誤り訂正符号化方式、誤り生成符号生成単位、符号化レートフレームレート、標本化周波数を、送受信で、非対称に設定することができ、それぞれ、伝送路１０２の状態、利用者の遅延要求、品質要求に応じた通信を行うことができる。【特許請求の範囲】
【請求項１】
入力されたメディアを符号化するステップと、
符号化データを所定の単位でインタリーブするステップと、
インタリーブされた符号化データを出力するステップと、
符号化データを受信するステップと、
受信された符号化データを、所定の方法でデ・インタリーブするステップと、
符号化データを復号し再生するステップと、
を有する、ことを特徴とする双方向通信方法。
【請求項２】
送信する符号化データと受信する符号化データとで、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の内の少なくとも１つが異なる、ことを特徴とする請求項１に記載の双方向通信方法。
【請求項３】
利用可能な伝送路帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、符号化データの
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）フレームレート、
Ｅ）標本化周波数、
の少なくとも１つを設定する、ことを特徴とする請求項１または２に記載の双方向通信方法。
【請求項４】
呼接続処理により、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を通信相手に通知する、ことを特徴とする請求項１乃至３のいずれか１項に記載の双方向通信方法。
【請求項５】
呼接続処理により、通信相手から
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を得て、受信した符号化データを復号することを特徴とする請求項１乃至４のいずれか１項に記載の双方向通信方法。
【請求項６】
受信した符号化データの損失率、バースト長を含む受信データの到着状況を
通信相手へ送信し、
前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つを再設定する、ことを特徴とする請求項１乃至４のいずれか１項記載の双方向通信方法。
【請求項７】
符号化データの順序を表すシーケンス番号を付与するか、または、符号化データの順序がわかるフォーマットに従って、符号化データを送信する、ことを特徴とする請求項１乃至６のいずれか１項に記載の双方向通信方法。
【請求項８】
符号化データから所定の単位で誤り訂正符号データを生成するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信するステップと、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元するステップと、
符号化データを復号するステップと、
を有する、ことを特徴とする請求項１乃至５に記載の双方向通信方法。
【請求項９】
送信する誤り訂正符号データと受信する誤り訂正符号データとで、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つが異なる、ことを特徴とする請求項８に記載の双方向通信方法。
【請求項１０】
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求の少なくともいずれか１つにより、誤り訂正符号データの、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを設定する、ことを特徴とする請求項８または９に記載の双方向通信方法。
【請求項１１】
呼接続処理により、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を、通信相手に通知することを特徴とする請求項８乃至１０のいずれか１項に記載の双方向通信方法。
【請求項１２】
呼接続処理により、通信相手の
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を得て、損失がある場合の符号化データを復元する、ことを特徴とする請求項８乃至１１のいずれか１項に記載の双方向通信方法。
【請求項１３】
損失率、バースト長を含む受信データの到着状況を通信相手へ送信し、
前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを再設定する、ことを特徴とする請求項８乃至１２のいずれか１項記載の双方向通信方法。
【請求項１４】
符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知し、
符号化データおよび誤り訂正符号データに対応する前記識別子を付与して送信する、ことを特徴とする請求項８乃至１３のいずれか１項に記載の双方向通信方法。
【請求項１５】
前記インタリーブ処理の単位を変更するにあたり、
前記符号化データの送信側では、インタリーブ単位の切れ目を変更することで行い、
前記符号化データの受信側では、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する、ことを特徴とする、請求項２乃至６のいずれか１項に記載の双方向通信方法。
【請求項１６】
前記符号化データが音声符号化データを含み、
前記符号化データの受信側では、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで、音の途切れを抑制する、ことを特徴とする請求項１５に記載の双方向通信方法。
【請求項１７】
入力されたメディアを符号化して出力する符号化手段と、
前記符号化手段からの符号化データを所定の単位でインタリーブ処理するインタリーブ手段と、
前記インタリーブ手段で並び替えられた符号化データを送信する送信手段と、
前記符号化データを受信する受信手段と、
前記受信手段で受信された、インタリーブ処理された符号化データを元に並び替えるデ・インタリーブ手段と、
前記デ・インタリーブ手段からの符号化データを復号し復号データを出力する復号手段と、
前記復号手段からの復号データを再生する再生手段と、
を備えている、ことを特徴とする双方向通信装置。
【請求項１８】
送信する符号化データと受信する符号化データとで、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の内の少なくとも１つが異なる、ことを特徴とする請求項１７に記載の双方向通信装置。
【請求項１９】
利用可能な伝送路帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、符号化データの
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）フレームレート
Ｅ）標本化周波数、
の少なくとも１つを設定する、ことを特徴とする請求項１７または１８に記載の双方向通信装置。
【請求項２０】
呼接続処理により、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を通信相手に通知する手段を備えている、ことを特徴とする請求項１７乃至１９のいずれか１項に記載の双方向通信装置。
【請求項２１】
呼接続処理により、通信相手から、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を得て、受信した符号化データを復号する手段を備えている、ことを特徴とする請求項１７乃至２０のいずれか１項に記載の双方向通信装置。
【請求項２２】
受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手へ送信する手段と、
前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つを再設定する手段を備えている、ことを特徴とする請求項１７乃至２０のいずれか１項記載の双方向通信装置。
【請求項２３】
符号化データの順序を表すシーケンス番号を付与するか、または、符号化データの順序がわかるフォーマットに従って、符号化データを送信する手段を備えている、ことを特徴とする請求項１７乃至２２のいずれか１項に記載の双方向通信装置。
【請求項２４】
前記符号化データから所定の単位で誤り訂正符号データを生成する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信する手段と、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元する手段と、
符号化データを復号する手段と、
を有する、ことを特徴とする請求項１７乃至２１に記載の双方向通信装置。
【請求項２５】
送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つが異なる、ことを特徴とする請求項２４に記載の双方向通信装置。
【請求項２６】
利用可能な伝送路帯域、または、伝送路でのデータ損失パターン、または、入力手段を介して入力された利用者からの要求の少なくともいずれか１つにより、誤り訂正符号データの、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを設定する手段を備えている、ことを特徴とする請求項２４または２５に記載の双方向通信装置。
【請求項２７】
呼接続処理により、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を通信相手に通知する手段を備えている、ことを特徴とする請求項２４乃至２６のいずれか１項に記載の双方向通信装置。
【請求項２８】
呼接続処理により、通信相手の
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を得て、損失がある場合の符号化データを復元する手段を備えている、ことを特徴とする請求項２４乃至２７のいずれか１項に記載の双方向通信装置。
【請求項２９】
損失率、バースト長を含む受信データの到着状況を通信相手へ送信する手段と、
前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを再設定する手段を備えている、ことを特徴とする請求項２４乃至２８のいずれか１項記載の双方向通信装置。
【請求項３０】
符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知する手段と、
符号化データおよび誤り訂正符号データに、対応する前記識別子を付与して送信する手段を備えている、ことを特徴とする請求項２４乃至２９のいずれか１項に記載の双方向通信装置。
【請求項３１】
前記インタリーブ処理の単位を変更する手段として、前記符号化データの送信側は、インタリーブ単位の切れ目を変更する手段を備え、
前記符号化データの受信側は、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する手段を備えている、ことを特徴とする、請求項１９乃至２３のいずれか１項に記載の双方向通信装置。
【請求項３２】
前記符号化データが音声符号化データを含み、前記符号化データの受信側は、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する手段を備えている、ことを特徴とする、請求項３１に記載の双方向通信装置。
【請求項３３】
伝送路を介して通信する少なくとも２つの通信装置を備えた双方向通信システムにおいて、
前記２つの通信装置の少なくとも一方が、入力されたメディアを符号化する符号化手段と、
符号化データを所定の単位でインタリーブ処理するインタリーブ手段と、
インタリーブされた符号化データを前記伝送路に出力する送信手段と、
を備え、
前記２つの通信装置の少なくとも他方が、前記伝送路から前記符号化データを受信する受信手段と、
受信され、インタリーブ処理された符号化データを、所定の方法で元に並び替えるデ・インタリーブ手段と、
符号化データを復号し復号データを出力する復号手段と、
前記復号データを再生する再生手段と、
を備えている、ことを特徴とする双方向通信システム。
【請求項３４】
前記２つの通信装置の１つの通信装置が送信する符号化データと相手の通信装置が受信する符号化データとで、  Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の内の少なくとも１つが異なる、ことを特徴とする請求項３３に記載の双方向通信システム。
【請求項３５】
前記２つの通信装置の少なくとも１つが、
利用可能な伝送路の帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、符号化データの
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）フレームレート、
Ｅ）標本化周波数、
の少なくとも１つを設定する手段を備えている、ことを特徴とする請求項３３または３４に記載の双方向通信システム。
【請求項３６】
前記２つの通信装置の少なくとも１つが、呼接続処理により、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を、通信相手の通信装置に通知する手段を備えている、ことを特徴とする請求項３３乃至３５のいずれか１項に記載の双方向通信システム。
【請求項３７】
前記２つの通信装置の少なくとも１つが、呼接続処理により、通信相手の通信装置から
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を得て、受信した符号化データを復号する手段を備えている、ことを特徴とする請求項３３乃至３６のいずれか１項に記載の双方向通信システム。
【請求項３８】
前記２つの通信装置の少なくとも１つが、受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手の通信装置へ送信する手段と、
通信相手の通信装置から、前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つを再設定する手段を備えている、ことを特徴とする請求項３３乃至３６のいずれか１項記載の双方向通信システム。
【請求項３９】
前記２つの通信装置の少なくとも１つが、符号化データの順序を表すシーケンス番号を付与するか、または、順序がわかるフォーマットに従って、符号化データを送信する手段を備えている、ことを特徴とする請求項３６乃至３８のいずれか１項に記載の双方向通信システム。
【請求項４０】
前記２つの通信装置の少なくとも１つが、前記符号化データから所定の単位で誤り訂正符号データを生成する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信する手段と、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元する手段と、
符号化データを復号する手段と、
を有することを特徴とする請求項３３乃至３７に記載の双方向通信システム。
【請求項４１】
送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つが異なる、ことを特徴とする請求項４０に記載の双方向通信システム。
【請求項４２】
前記２つの通信装置の少なくとも１つが、
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、誤り訂正符号データの、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを設定する、ことを特徴とする請求項４０または４１に記載の双方向通信システム。
【請求項４３】
前記２つの通信装置の少なくとも１つが、
呼接続処理により、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を通信相手の通信装置に通知する手段を備えている、ことを特徴とする請求項３９乃至４２のいずれか１項に記載の双方向通信システム。
【請求項４４】
前記２つの通信装置の少なくとも１つが、
呼接続処理により、通信相手の通信装置の
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を得て、損失がある場合の符号化データを復元する手段を備えている、ことを特徴とする請求項４０乃至４３のいずれか１項に記載の双方向通信システム。
【請求項４５】
前記２つの通信装置の少なくとも１つが、
損失率、バースト長を含む受信データの到着状況を通信相手の通信装置へ送信する手段と、
通信相手の通信装置から前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを再設定する手段を備えている、ことを特徴とする請求項４０乃至４４のいずれか１項記載の双方向通信システム。
【請求項４６】
前記２つの通信装置の少なくとも１つが、
符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手の通信装置に通知する手段と、
符号化データおよび、誤り訂正符号データに、対応する前記識別子を付与して送信する手段と、
を備えている、ことを特徴とする請求項４０乃至４５のいずれか１項に記載の双方向通信システム。
【請求項４７】
前記インタリーブ処理の単位を変更する手段として、前記符号化データの送信側は、インタリーブ単位の切れ目を変更する手段を備え、
前記符号化データの受信側は、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する手段を備えている、ことを特徴とする、請求項３４乃至３８のいずれか１項に記載の双方向通信システム。
【請求項４８】
前記符号化データが音声符号化データを含み、前記符号化データの受信側は、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する手段を備えている、ことを特徴とする、請求項４７に記載の双方向通信システム。
【請求項４９】
双方向通信装置を構成するコンピュータに、
入力されたメディアを符号化する処理と、
符号化データを所定の単位でインタリーブする処理と、
インタリーブされた符号化データを出力する処理と、
前記符号化データを受信する処理と、
受信された符号化データを、所定の方法でデ・インタリーブする処理と、
符号化データを復号し再生する処理と、
を実行させるプログラム。
【請求項５０】
請求項４９記載のプログラムにおいて、
送信する符号化データと受信する符号化データとで、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の内の少なくとも１つが異なる、プログラム。
【請求項５１】
請求項４９又は５０記載のプログラムにおいて、
利用可能な伝送路帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、符号化データの
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）フレームレート、
Ｅ）標本化周波数、
の少なくとも１つを設定する処理を、前記コンピュータに実行させるプログラム。
【請求項５２】
請求項４９乃至５１のいずれか１項に記載のプログラムにおいて、
呼接続処理により、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を通信相手に通知する処理を、前記コンピュータに実行させるプログラム。
【請求項５３】
請求項４９乃至５１のいずれか１項に記載のプログラムにおいて、
呼接続処理により、通信相手から、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を得て、受信した符号化データを復号する処理を、前記コンピュータに実行させるプログラム。
【請求項５４】
請求項４９乃至５２のいずれか１項に記載のプログラムにおいて、
受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手へ送信する処理と、
通信相手から前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つを再設定する処理を、前記コンピュータに実行させるプログラム。
【請求項５５】
請求項４９乃至５４のいずれか１項に記載のプログラムにおいて、
符号化データの順序を表すシーケンス番号を付与するか、または、符号化データの順序がわかるフォーマットに従って符号化データを送信する処理を、前記コンピュータに実行させるプログラム。
【請求項５６】
請求項４９乃至５３のいずれか１項に記載のプログラムにおいて、
前記符号化データから所定の単位で誤り訂正符号データを生成する処理と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力する処理と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信する処理と、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元する処理と、
符号化データを復号する処理と、
を前記コンピュータに実行させるプログラム。
【請求項５７】
請求項５６に記載のプログラムにおいて、
送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つが異なるプログラム。
【請求項５８】
請求項５６または５７に記載のプログラムにおいて、
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、の少なくともいずれか１つにより、誤り訂正符号データの、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを設定する処理を、前記コンピュータに実行させるプログラム。
【請求項５９】
請求項５６乃至５８のいずれか１項に記載のプログラムにおいて、
呼接続処理により、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を通信相手に通知する処理を、前記コンピュータに実行させるプログラム。
【請求項６０】
請求項５６乃至５９のいずれか１項に記載のプログラムにおいて、
呼接続処理により、通信相手の
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を得て、損失がある場合の符号化データを復元する処理を、前記コンピュータに実行させるプログラム。
【請求項６１】
請求項５６乃至６０のいずれか１項に記載のプログラムにおいて、
損失率、バースト長を含む受信データの到着状況を通信相手へ送信する処理と、
通信相手からの前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを再設定する処理と、
を前記コンピュータに実行させるプログラム。
【請求項６２】
請求項５６乃至６１のいずれか１項に記載のプログラムにおいて、
符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知する処理と、
符号化データおよび、誤り訂正符号データに、対応する前記識別子を付与して送信する処理とを、
前記コンピュータに実行させるプログラム。
【請求項６３】
請求項５０乃至５４のいずれか１項に記載のプログラムにおいて、
前記インタリーブ処理の単位を変更するにあたり前記符号化データの送信側において、インタリーブ単位の切れ目を変更する処理と、
前記符号化データの受信側において、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する処理と、
を前記コンピュータに実行させるプログラム。
【請求項６４】
請求項６３記載のプログラムにおいて、
前記符号化データが音声符号化データを含み、前記符号化データの受信側は、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する処理を、前記コンピュータに実行させるプログラム。
【請求項６５】
メディア信号をキャプチャするメディアキャプチャ手段と、
キャプチャしたメディアデータを符号化するメディア符号化手段と、
前記メディア符号化手段で符号化されたデータを並び替えるインタリーブ手段と、
前記インタリーブ手段から出力される符号化データを伝送路へ送信する送信手段と、
前記伝送路から符号化データを受信する受信手段と、
受信された符号化データをもとに並び替えるデ・インタリーブ手段と、
前記デ・インタリーブ手段で並び替えが行われた符号化データを復号するメディア復号手段と、
前記メディア復号手段で復号されたメディアデータを再生する手段と、
前記メディア符号化手段での符号化設定、前記インタリーブ手段でのインタリーブ処理設定、前記送信手段での送信設定のうちの少なくとも１つを可変に設定する手段と、
前記符号化設定、前記インタリーブ処理設定、前記送信設定、符号化データの受信状況、の少なくとも１つを通信相手に通知する手段と、
を備えている、ことを特徴とする通信システム。
【請求項６６】
メディア信号をキャプチャするメディアキャプチャ手段と、
キャプチャしたメディアデータを符号化するメディア符号化手段と、
前記メディア符号化手段からの符号化データを受け誤り訂正符号データを生成する誤り訂正符号化手段と、
前記符号化データ及び誤り訂正符号データを伝送路へ送信する送信手段と、
前記伝送路から前記符号化データ及び前記誤り訂正符号データを受信する受信手段と、
前記受信された符号化データに誤りもしくは欠落がある場合、前記誤り訂正符号を用いて符号化データを復元する誤り訂正復号手段と、
前記受信符号化データまたは復元された前記符号化データを復号するメディア復号手段と、
復号されたメディアデータを再生する手段と、
前記メディア符号化手段での符号化設定、誤り訂正符号データ生成処理の設定、前記送信手段での送信設定のうちの少なくとも１つを可変に設定する手段と、
前記符号化設定、前記誤り訂正符号データ生成処理設定、前記送信設定、符号化データの受信状況、の少なくとも１つを通信相手に通知する手段と、
を備えている、ことを特徴とする通信システム。
【請求項６７】
前記符号化データと前記誤り訂正符号データとをそれぞれ別々のセッションまたは別々の伝送路で送信する手段を備えている、ことを特徴とする請求項６６記載の通信システム。
【請求項６８】
前記インタリーブ処理設定として、前記インタリーブ手段でのインタリーブ単位の切れ目を変更する手段を備え、
前記デ・インタリーブ手段について、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については、前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する手段を備えている、ことを特徴とする、請求項６５に記載の通信システム。
【請求項６９】
前記符号化データが音声符号化データを含み、前記符号化データの受信側では、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する手段を備えている、ことを特徴とする、請求項６８に記載の通信システム。
【発明の詳細な説明】
【技術分野】  本発明は、双方向通信方法と装置、システムならびにコンピュータ・プログラムに関する。より詳しくは、本発明は、ネットワークを経由した画像や音声等の双方向通信において、伝送路で発生するデータの損失によって生じる、メディアの品質の劣化の抑制、安定した品質での通信の実現に好適な双方向通信方法と装置、システムならびにコンピュータ・プログラムに関する。さらに、本発明は、伝送路の状態、利用者の遅延／品質の要求に合わせて、双方向のそれぞれの品質の維持と遅延の増加のトレードオフによる設定を可能にする方法およびその装置ならびにプログラムに関する。
【背景技術】  近年、ネットワークを経由し、パケットで画像や音声の符号化データを通信する、いわゆるＶｏＩＰ（Ｖｏｉｃｅ  ｏｖｅｒ  ＩＰ）やＴＶｏＩＰ（ＴＶ  ｏｖｅｒ  ＩＰ）と呼ばれる双方向通信が急速に普及してきている。こうした双方向通信に用いられる符号化方式にはいくつかの種類がある。例えば動画像の符号化方式として、フレーム間予測に基づいた高能率圧縮による符号化データを伝送する方法が多く用いられている。これらの方式では、時間的に前後のフレームから符号化画像を予測して得られた予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減する。さらに、予測残差画像データを変換符号化や量子化により高能率に圧縮符号化することで、少ない伝送帯域での通信を可能としている。
その代表例としてはＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブロックとよばれる一定サイズの矩形領域単位で動き補償によるフレーム間予測が行われる。得られた動きベクトルと、予測残差画像データに２次元離散コサイン変換および量子化を施して圧縮した信号データが可変長符号化される。
また、音声に関しても、Ｇ．７２２や、Ｇ．７２９、ＡＭＲ−ＮＢ（Ａｄａｐｔｉｖｅ  Ｍｕｌｔｉ  Ｒａｔｅ−Ｎａｒｒｏｗ  Ｂａｎｄ）、ＡＭＲ−ＷＢ（Ａｄａｐｔｉｖｅ  Ｍｕｌｔｉ  Ｒａｔｅ−Ｗｉｄｅ  Ｂａｎｄ）や、ＭＰＥＧ−４＿ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｅｃ）等の音声（音楽）符号化方式がある。それぞれ所定のサンプル量に対して、高い効率の符号化を行い、少ない伝送帯域で音声品質の高い音声データの伝送を可能にしている。
このような画像や音声の符号化データを、パケット交換方式を利用したＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークへ配信する方法は多数ある。
また今後は、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）や携帯電話、又はこれらを通信手段として利用する携帯端末等よりなる移動局が、無線基地局と無線チャネルを介して接続される移動通信システムにおける双方向通信システムへと展開していくことが考えられる。
なお、後述されるＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）／ＳＤＰ（Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）については技術文献１（Ｍ．Ｈａｎｄｌｅｙ，Ｈ．Ｓｃｈｕｌｚｒｉｎｎｅ，Ｅ．Ｓｃｈｏｏｌｅｒ，Ｊ．Ｒｏｓｅｎｂｅｒｇ，″ＳＩＰ：Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ″，ＲＦＣ２５４３，Ｍａｒｃｈ  １９９９，インターネットＵＲＬ＜ｈｔｔｐ：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ２５４３．ｔｘｔ＞）及び技術文献２（Ｍ．Ｈａｎｄｌｅｙ，Ｖ．Ｊａｃｏｂｓｏｎ，″ＳＤＰ：Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ″，ＲＦＣ２３２７，Ａｐｒｉｌ  １９９８，インターネットＵＲＬ＜ｈｔｔｐ：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ２３２７．ｔｘｔ＞）が参照される。また、後述されるＲＴＰについては、技術文献３（Ｈ．Ｓｃｈｕｌｚｒｉｎｎｅ，Ｓ．Ｃａｓｎｅｒ，Ｒ．Ｆｒｅｄｅｒｉｃｋ，Ｖ．Ｊａｃｏｂｓｏｎ，″ＲＴＰ：Ａ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ  ｆｏｒ  Ｒｅａｌ−Ｔｉｍｅ  Ａｐｐｌｉｃａｔｉｏｎｓ″，ＲＦＣ３５５０，Ｊａｎｕａｒｙ  ２００３，インターネットＵＲＬ＜ｈｔｔｐ：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ３５５０．ｔｘｔ＞）が参照される。
従来の双方向通信においては、伝送路でのデータの誤りや、伝送パケットの欠落が発生すると、受信した符号化データを正しく復号できず、メディアの品質劣化が発生してしまう。
また、双方向通信であるため、遅延を一定以下に抑える必要があり、失われたデータの再送を要求し、再送データすることも困難である。
さらに、画像や音声の符号化方式に、フレーム間予測を利用している場合、一度発生した画像や音声の乱れが、後続フレームにも伝搬してしまう問題がある。
これに対して、伝送路へ送信する前に、インタリーブ処理を行い、無線伝送路で発生するバースト的な損失を、インタリーブ処理単位内で散らし、連続したデータ損失が起きないようにする方法や、ＦＥＣ（Ｆｏｒｗａｒｄｓ  Ｅｒｒｏｒ  Ｃｏｒｒｅｃｔｉｏｎ）等の誤り訂正符号を用いて、誤りもしくは損失したデータを復元する方法もある。しかし、これをそのまま適用すると、遅延の増加につながり、双方向通信としての使用が難しくなってしまう。
従って、本発明の目的は、上記の事情を考慮してなされたものであり、本発明の主たる目的は、それぞれの利用者の求める、メディアの品質、遅延、帯域、遅延への要求のトレードオフによる設定に基づき、できるだけ安定した品質で双方向通信する方法、装置、システム、プログラムを提供することにある。
また、本発明の他の目的は、上りリンクと下りリンクとが非対称の伝送路でも、品質と遅延に対する使用者の要求に対応できる双方向通信の方法、装置、システム、プログラムを提供することにある。
本発明のさらに別の目的は、伝送路の変動するデータ誤り、もしくは損失状態に合わせて、品質の安定性と、処理遅延の増加を抑制した双方向通信の方法、装置、システム、プログラムを提供することにある。
【発明の開示】
第１の態様では、本発明による通信システムは、メディアの信号をキャプチャする手段と、キャプチャしたメディアデータを符号化する手段と、インタリーブ処理手段と、伝送路への送信手段と、伝送路からの受信手段と、デ・インタリーブ処理手段と、符号化データを復号する手段と、復号されたメディアデータを再生する手段と、を備え、さらに、符号化手段での符号化設定、インタリーブ処理設定、送信手段での送信設定を設定する手段と、前記符号化設定、前記インタリーブ処理設定、前記送信設定、符号化データの受信状況、の少なくとも１つを通知する手段と、を備えた構成としてもよく、キャプチャしたメディアの信号を符号化して送信し、符号化データを受信して復号し、再生する。
第２の態様では、本発明による通信システムは、メディアの信号をキャプチャする手段と、キャプチャしたメディアデータを符号化する手段と、符号化データから誤り訂正符号データを生成する手段と、伝送路への送信手段と、伝送路からの受信手段と、受信した符号化データに誤りもしくは欠落がある場合、誤り訂正符号を用いて当該データを復元する手段と、符号化データを復号する手段と、復号されたメディアデータを再生する手段と、を備え、さらに、符号化手段での符号化設定、誤り訂正符号データ生成処理設定、送信手段での送信設定を設定する手段と、前記符号化設定、前記誤り訂正符号データ生成処理設定、前記送信設定、符号化データの受信状況、の少なくとも１つを通知する手段と、を備えていてもよく、キャプチャしたメディアの信号を符号化して送信し、符号化データを受信して復号し、再生する。
第３の態様では、本発明による通信システムは、伝送路を介して通信する少なくとも２つの通信装置を備えた双方向通信システムにおいて、前記２つの通信装置の少なくとも一方が、入力されたメディアを符号化する符号化手段と、符号化データを所定の単位でインタリーブ処理するインタリーブ手段と、インタリーブされた符号化データを前記伝送路に出力する送信手段と、を備え、前記２つの通信装置の少なくとも他方が、前記伝送路から前記符号化データを受信する受信手段と、受信され、インタリーブ処理された符号化データを、所定の方法で元に並び替えるデ・インタリーブ手段と、符号化データを復号し復号データを出力する復号手段と、前記復号データを再生する再生手段と、を備えている。
第４の態様では、本発明による通信方法は、入力されたメディアを符号化するステップと、符号化データを所定の単位でインタリーブするステップと、インタリーブされた符号化データを出力するステップと、符号化データを受信するステップと、受信された符号化データを、所定の方法でデ・インタリーブするステップと、符号化データを復号し再生するステップと、を有する。
第５態様では、本発明によるコンピュータ・プログラムは、双方向通信装置を構成するコンピュータ（プロセッサ）に、入力されたメディアを符号化する処理と、符号化データを所定の単位でインタリーブする処理と、インタリーブされた符号化データを出力する処理と、前記符号化データを受信する処理と、受信された符号化データを、所定の方法でデ・インタリーブする処理と、符号化データを復号し再生する処理と、を実行させるプログラムからなる。
本発明において、送信する符号化データと受信する符号化データとで、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の内の少なくとも１つが異なる構成としてもよい。
本発明において、利用可能な伝送路帯域、伝送路でのデータ損失パターン、または、入力手段を介して入力された利用者からの要求、の少なくともいずれか１つにより、符号化データの
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）フレームレート、
Ｅ）標本化周波数、
の少なくとも１つを設定するようにしてもよい。
本発明において、呼接続処理により、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を通信相手に通知する、ようにしてもよい。
本発明において、呼接続処理により、通信相手から
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を得て、受信した符号化データを復号するようにしてもよい。
本発明において、受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手へ送信し、
通信相手から前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つを再設定する、ようにしてもよい。
本発明において、符号化データの順序を表すシーケンス番号を付与するか、もしくは順序がわかるフォーマットに従って、符号化データを送信するようにしてもよい。
本発明において、前記符号化データから所定の単位で誤り訂正符号データを生成するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信するステップと、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元するステップと、
符号化データを復号するステップと、
を有する、ようにしてもよい。
本発明において、送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つが異なるようにしてもよい。
本発明において、
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、誤り訂正符号データの、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを設定する、ようにしてもよい。
本発明において、呼接続処理により、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を通信相手に通知するようにしてもよい。
本発明において、呼接続処理により、通信相手の
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を得て、損失がある場合の符号化データを復元するようにしてもよい。
本発明において、損失率、バースト長を含む受信データの到着状況を通信相手へ送信し、前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを再設定するようにしてもよい。
本発明において、符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知し、
符号化データおよび、誤り訂正符号データに、対応する前記識別子を付与して送信するようにしてもよい。
【図面の簡単な説明】  図１は本発明の第１、第２の実施の形態のシステム構成を示す図である。
図２は本発明の第１の実施例の双方向通信装置の構成を示す図である。
図３は本発明の第１の実施例の双方向通信装置の処理を説明するための図である。
図４は本発明の第２の実施例の双方向通信装置の構成を示す図である。
図５は本発明の第２の実施例の双方向通信装置の処理を説明するための図である。
図６は本発明の第２の実施例の双方向通信装置の変形例を示す図である。
【発明を実施するための最良の形態】  ［第１の実施の形態］
本発明に好適な実施の形態について説明する。本発明の第１の実施例に係る通信システムは、メディアの信号をキャプチャする手段（２０３）と、キャプチャしたメディアデータを符号化する符号化手段（２０４）と、インタリーブ処理手段（２０６）と、伝送路への送信手段（２０７）と、伝送路からの受信手段（２０８）と、デ・インタリーブ処理手段（２０９）と、符号化データを復号する復号手段（２１１）と、復号されたメディアデータを再生する手段（２１２）とを有し、さらに符号化手段（２０４）での符号化設定、インタリーブ処理手段（２０６）でのインタリーブ処理設定、送信手段（２０７）での送信設定を行なう手段（２０２）と、前記符号化設定、前記インタリーブ処理設定、前記送信設定、符号化データの受信状況、の少なくとも１つを通知する手段（２０２）と、を有し、キャプチャしたメディアの信号を符号化して送信し、符号化データを受信して復号し、再生する。
図１は、本発明の第１の実施例のシステム構成を示す図である。図１に示すように、本発明の第１の実施例のシステムは、双方向通信装置と伝送路を備え、呼接続サーバを含んでいてもよい。本実施例では、双方向通信装置１０１、双方向通信装置１０３、呼接続サーバ装置１０４は、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）網である伝送路１０２に接続されている。双方向通信装置１０１、１０３は、パケット交換により符号化データおよび、呼接続データを送受信する端末であり、呼接続サーバ装置１０４は、例えばＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）／ＳＤＰ（Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）による呼接続データを処理して双方向通信装置１０１と双方向通信装置１０３との間の通信を確立する端末であるとする（ＳＩＰ／ＳＤＰについては、非特許文献１、２を参照）。なお、双方向通信装置１０１と双方向通信装置１０３とが、互いに相手装置のＩＰアドレスや、符号化データの受信ポート番号、送受信するメディアの符号化方式や符号化オプションをあらかじめ知っている場合、呼接続サーバ装置１０４は不要となる。
図２は、図１の双方向通信装置１０１、１０３の構成を示す図である。図２の双方向通信装置１０１、１０３は同一構成である。図２では、一つの双方向通信装置（参照符号２０１）のみが示されている。図２に示すように、この双方向通信装置２０１は、設定・呼接続処理部２０２、メディア信号キャプチャ部２０３、メディア符号化部２０４、パケット化処理部２０５、インタリーバ２０６、送信部２０７、受信部２０８、デ・インタリーバ２０９、ペイロード抽出部２１０、メディア復号部２１１、再生部２１２を備えている。
例えば、図示されないカメラや、マイクロフォン等からの画像や音声信号は、メディア信号キャプチャ部２０３で、アナログデジタル変換され、キャプチャされる。当該変換は、設定・呼接続処理部２０２で設定され、通信相手の双方向通信装置へ通知され、もしくは、あらかじめ定められた、
・フレームレート、
・標本化周波数、
・量子化ビット数
に基づいて行われる。
キャプチャされたメディアデータは、メディア符号化部２０４で、設定・呼接続処理部２０２で設定され、通信相手の双方向通信装置へ通知された、もしくは、あらかじめ定められた、
・符号化方式、
・ビットレート、
・例えばＭＰＥＧ−４符号化方式でのデータ・パーティショニングや再同期マーカの有無、ＲＶＬＣ（Ｒｅｖｅｒｓｉｂｌｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ）のような符号化オプション等
の符号化設定に基づき、符号化される。
符号化された符号化データは、設定・呼接続処理部２０２で設定された、もしくはあらかじめ定められたメディアデータ単位、ペイロードフォーマットに従い、符号化データの順序がわかるようなシーケンス番号を付与して、パケット化処理部２０５でパケット化される。
ここで、例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）に基づいたパケット化を採用すれば、ＲＴＰヘッダに含まれるシーケンス番号で符号化データの順序を示すことができる（ＲＴＰについては、非特許文献３を参照）。
パケット化された符号化データは、通信相手の双方向通信装置から通知された、もしくは、あらかじめ定められた、宛先アドレス、ポートに向けて送信部２０７から、伝送路２１４へ出力する。
双方向通信装置２０１は、設定・呼接続処理部２０２で決められた、もしくは、あらかじめ定められた、ポートにより、受信部２０８で伝送路２１４からパケットを受信する。デ・インタリーバ２０９は、パケットに付与されたシーケンス番号に基づいて、インタリーブ処理されたパケットを並べ替える。
デ・インタリーバ２０９で並べ替えられたパケットは、
ペイロード抽出部２１０で符号化データを抽出され、設定・呼接続処理部２０２で得られる通信相手の双方向通信装置から通知され、もしくは、あらかじめ定められた、
・メディア符号化方式、
・符号化オプション、
に基づいて、メディア復号部２１１で復号される。
また、前記パケットは、
設定・呼接続処理部２０２で得られる通信相手の双方向通信装置から通知され、もしくは、あらかじめ定められた、
・フレームレート、
・標本化周波数、
・量子化ビット数
に基づいて再生される。
図３は、本実施例におけるインタリーバ２０６、デ・インタリーバ２０９の処理を説明するための説明図である。図３を参照して、図２のインタリーバ２０６、デ・インタリーバ２０９での処理の内容を説明する。
図３に示すように、符号化データからなる入力ストリーム３０１は、インタリーバ３０２により、例えば、送信ストリーム３０３のように、インタリーブされる。この場合のインタリーブ処理単位は「９」となり、９個の符号化データ単位ごとに、インタリーブ処理が行われる。このため、その分の処理遅延が発生する。ここで示すインタリーブ処理の単位や、インタリーブの順序は、あくまで一例であり、処理単位や順序がこれらの設定値に制限されるものではない。送信ストリーム３０３は、伝送路３０４を経由して通信相手へと送信される。
伝送路３０４において、送信ストリームに対して、バースト的なデータ誤り、もしくは損失が発生した場合、通信相手に対して、受信ストリーム３０５のようなストリームが受信される。ここで、受信ストリーム３０５を構成する符号化データ７、２、５は、伝送路でデータ誤り、もしくは損失が発生したことを示している。
デ・インタリーバ３０６は、符号データを、本来の順序に並び替え、デ・インタリーブ後ストリーム３０７を得る。この結果、バースト的なデータ誤り／損失が分散し、連続的なデータの誤り／損失に比べて、メディアの品質の劣化を小さく抑えることができる。
これは、特に、音声符号化データに対して有効であり、連続的なデータ誤り／損失による長時間の音質の劣化を、散在させることで、聴覚的に知覚させ難くする。
ここで、インタリーブ処理単位を、伝送路で発生するデータ誤り、もしくは、損失のバースト長より長く設定すればより効果的である。すなわちインタリーブ処理単位を大きくすることで、伝送路でのデータ誤り、もしくは、損失のバースト長に対応できる幅を広げることができる。これに対して、インタリーブ処理単位を大きくすると、処理遅延は増大する。そのため、ある一対の双方向通信装置で、再生されるメディアに求められる品質が、互いに異なる場合、それぞれ通信相手の求める品質に合わせたインタリーブ処理サイズを設定することで、遅延を削減することができる。
例えば、図１において、双方向通信装置１０１で再生されるメディアの品質への要求が高く、双方向通信装置１０３で再生されるメディアの品質への要求が低い場合、双方向通信装置１０１では、インタリーブ処理単位を小さくするか、あるいは、インタリーブ処理を行わず、双方向通信装置１０３では、伝送路１０２でのデータ誤り／損失のバースト長に対応できるインタリーブ処理単位を設定することで、互いのメディア再生品質要求を満たしつつ、往復の遅延を削減することが可能である。
また、インタリーブ処理単位は、伝送路によって設定を変えることが望ましく、そのため、
・上りリンクと下りリンクで異なった伝送路を用いる場合や、
・上りリンクと下りリンクとが、異なったデータ誤り／損失特性を有する場合には、
インタリーブ処理単位を非対称とすることで、品質を安定させつつ、遅延を削減することが可能となる。
同様に、遅延を削減するため、メディア信号キャプチャ部２０３で、画像をキャプチャするフレームレートや音声をキャプチャする標本化周波数を高くすることもできる。
画像のフレームレートを高くした場合、ビットレートに変化がなければ、通信相手の双方向通信装置で再生される１フレーム当りの画質は低くなるが、遅延は、削減される。
また、例えば音声を、ＡＡＣで符号化する場合、音声の標本化周波数を高くすると、単位時間当たりの符号化データ単位数は増加するため、オーバヘッドが増加し、やはり、ビットレートに変化がなければ、メディアに割り当てるビットレートは低下し、通信相手の双方向通信装置で再生される音質は低下するが、遅延は削減される。
そのため、インタリーブ処理単位と同様に、
・画像のフレームレートや、
・音声の標本化周波数
は、通信相手の求める品質の要求に合わせて設定し、通信相手の双方向通信装置へ設定・呼接続処理部２０２で通知することで、品質と遅延の要求のトレードオフによる設定で通信を行うことができる。
さらに、受信部２０８で受信される符号化データの
・データ誤り／損失率、
・誤り／損失バースト長等、
の統計情報を、受信状況送受信部２１３で、例えばＲＴＣＰ（ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）のＳＲ（Ｓｅｎｄｅｒ  Ｒｅｐｏｒｔ）や、ＲＲ（Ｒｅｃｅｉｖｅｒ  Ｒｅｐｏｒｔ）で、通信相手の双方向通信装置に通知することにより、通信中にインタリーブ処理単位を変更することも可能である（ＲＴＣＰについては、非特許文献３を参照）。
ここで、インタリーブ処理単位の変更は、送信側ではインタリーブ単位の切れ目で容易に変更ができ、受信側では、サイズの拡大については、インタリーブのバッファを拡大することで対応できる。しかし、受信側でのサイズの縮小は、再生音の途切れをできるだけ小さく抑えてサイズを変更することが求められる。そのため、デ・インタリーバ２０９でのバッファの最後尾が空であれば、この部分から削減し、バッファに受信データが詰まっている場合、無音もしくは、値の小さい無音に近いレベルの受信データから削減することで、音の途切れを小さく抑えたバッファサイズの変更が可能となる。
この結果、データ誤り／損失パターンが変動する伝送路においても、効果的なメディアの品質安定化と、遅延の削減を実現することができる。
なお、伝送路２１４では、データ誤りは発生しても、データ損失は発生せず、かつパケットデータの順序の入れ替えも発生しない場合、インタリーバ２０６でのインタリーブ順を、設定・呼接続処理部２０２から通信相手の双方向通信装置に通知するか、もしくは、あらかじめ定めておけば、パケット化処理部２０５でのシーケンス番号の付与は不要となる。
さらに、ＡＭＲのように、符号化方式によっては、ペイロードフォーマット処理の仕組みに、インタリーブ／デ・インタリーブ処理が含まれている場合があり、その場合、インタリーバ２０６とデ・インタリーバ２０９は不要となる。この場合、ＳＤＰのａ＝ｆｍｔｐ属性に、
“ｉｎｔｅｒｌｅａｖｉｎｇ＝”
にて、インタリーブ処理単位を記述し、通信相手に通知すればよい。
また、双方向通信装置２０１における、設定・呼接続処理部２０２と、メディア信号キャプチャ部２０３と、メディア符号化部２０４と、パケット化処理部２０５と、インタリーバ２０６と、送信部２０７と、受信部２０８と、デ・インタリーバ２０９と、ペイロード抽出部２１０と、メディア復号部２１１と、再生部２１２について、双方向通信装置２０１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。
［第２の実施例］
本発明の第２の実施例に係る通信システムは、メディアの信号をキャプチャする手段（２０３）と、キャプチャしたメディアデータを符号化する手段（２０４）と、符号化データから誤り訂正符号データを生成する手段（４０３）と、伝送路への送信手段（２０７）と、伝送路からの受信手段（２０８）と、受信した符号化データに誤りもしくは欠落がある場合、誤り訂正符号を用いて当該データを復元する手段（４０４）と、符号化データを復号する手段（２１１）と、復号されたメディアデータを再生する手段（２１２）とを備え、さらに、符号化手段（２０４）での符号化設定、誤り訂正符号データ生成処理設定、送信手段（２０７）での送信設定を設定する手段（４０２）と、前記符号化設定、前記誤り訂正符号データ生成処理設定、前記送信設定、符号化データの受信状況、の少なくとも１つを通知する手段（４０２）と、を備えていてもよい。キャプチャしたメディアの信号は符号化され送信される。受信された当該符号化データは復号化され、再生される。
以下、次に本発明の第２の実施例について具体的に、上記した第１の実施例と異なる箇所のみ、図面を参照しながら説明する。
図４は、本発明の第２の実施例の双方向通信装置（図１の１０１、１０３）の構成を示す図である。図４に示されるように、本実施例に係る双方向通信装置４０１は、図２に示した前記第１の実施例に係る双方向通信装置２０１のインタリーバ２０６およびデ・インタリーバ２０９の代わりに、それぞれ誤り訂正符号化部４０３と誤り訂正復号部４０４を備えている。以下、本実施例を、主に図２の前記第１の実施例との相違点について説明し、同一部分の説明は適宜省略する。
誤り訂正符号化部４０３は、設定・呼接続処理部４０２で設定され、通信相手の双方向通信装置へ通知された、もしくはあらかじめ定められた誤り訂正符号化方式、誤り訂正符号データ生成単位に基づき、パケット化された符号化データから誤り訂正符号データを生成し、符号化データと共に送信部２０７から伝送路２１４へと出力する。ここで、誤り訂正符号化方式には、例えばＬＤＰＣ（Ｌｏｗ  Ｄｅｎｓｉｔｙ  Ｐａｒｉｔｙ  Ｃｈｅｃｋ）方式やリード・ソロモン符号等のようなＦＥＣ（Ｆｏｒｗａｒｄ  Ｅｒｒｏｒ  Ｃｏｒｒｅｃｔｉｏｎ）と呼ばれる符号が用いられることが一般的である。誤り訂正符号については、既存の技術を用いるため、ここでの詳細な説明は省略する。
図５は、本実施例における誤り訂正符号化部４０３、誤り訂正復号部４０４の処理を説明するための説明図である。次に、図５に示すように、図４に示した本実施例における誤り訂正符号化部４０３、誤り訂正復号部４０４での処理の内容を説明する。ここでは、誤り訂正符号化方式の例として、ＬＤＰＣ方式を用いて説明するが、誤り訂正符号化方式がＬＤＰＣ方式に限定されないことは勿論である。
図５に示すように、符号化データから成る入力ストリーム５０１から、誤り訂正符号化部５０２で、誤り訂正符号を生成することによって、伝送路５０４へ送信するストリームは、送信ストリーム５０３のようになる。ここで、誤り訂正符号を生成する単位は「６」であり、６個の符号化データ単位ごとに誤り訂正符号化が行われるため、その分の処理遅延が発生する。
また、本実施例では、６個の符号化データ単位から３個の誤り訂正符号データ単位を生成しているが、誤り訂正符号生成単位ごとの誤り訂正データの個数は、あくまで一例であり、かかる個数にのみ制限されるものでないことは勿論である。
送信ストリーム５０３は、伝送路５０４を経由して通信相手へと送信される。
伝送路５０４が、例えば無線伝送路で、送信ストリームに対してデータ誤り、もしくは損失が発生した場合、通信相手では受信ストリーム５０５のようなストリームが受信される。ここで、受信ストリーム５０５を構成する符号化データ３、４、５は、伝送路でデータ誤り、もしくは損失が発生したことを示している。
誤り訂正復号部５０６は、正しく受信された符号化データおよび、誤り訂正符号データより、データ誤り／損失の発生した符号化データ３、４、５を復元する。この結果、伝送路での誤り／損失の影響はなくなり、本来のメディアの品質での再生が可能となる。
受信ストリーム５０５で、メディアの符号化データと、誤り訂正符号データを区別するため、例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）に基づいたパケット化を採用するならば、ＲＴＰヘッダに含まれるペイロードタイプ、もしくはＳＳＲＣ（Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  Ｓｏｕｒｃｅ  ｉｄｅｎｔｉｆｉｅｒ）、またはＣＳＲＣ（Ｃｏｎｔｒｉｂｕｔｉｎｇ  Ｓｏｕｒｃｅ  ｉｄｅｎｔｉｆｉｅｒ）を識別子として用いて、メディアの符号化データと誤り訂正符号データに異なった値を設定し、データの種別と値との組み合わせを通信相手に通知することにより、誤り訂正復号部５０６で、メディアの符号化データと誤り訂正符号データの識別が可能となる。
図６は、図４に示した本実施例の変形例を示す図である。図６に示すように、双方向通信装置６０１は、メディアの符号化データと、誤り訂正符号データとを、それぞれメディア符号送信部６０４、誤り訂正符号送信部６０５から別々のセッション、もしくは別々の伝送路で送信する。前記両符号化データをそれぞれメディア符号受信部６０６、誤り訂正符号受信部６０７から受信して、誤り訂正復号部６０８で、誤りもしくは、損失の影響を受けたメディア符号化データを復元するようにしてもよい。この場合、メディア符号化データと、誤り訂正符号データとを識別する識別子がなくても、送受信するセッションもしくは、伝送路から、データの種別を判断することができる。
さらに、誤り訂正符号化方式によっては、メディアの符号化データを送らず、誤り訂正符号データのみ送信すればよいという符号化方式もある。かかる符号化方式の場合は、メディア符号送信部６０４とメディア符号受信部６０６との間で送受信されるメディア符号化データは不要となる。
ここで、ＬＤＰＣ方式により、誤り訂正符号データを生成する検査行列は、伝送路で発生するデータ誤り、もしくは損失のパターンに合わせて用意することが効果的である。さらに検査行列によって、メディアの符号化データに対する誤り訂正符号データ量、誤り訂正符号データを生成する単位が決定される。
誤り訂正符号データの生成には、誤り訂正符号データ生成単位分の処理遅延が必要である。生成単位を大きくすることで、より少ない誤り訂正符号データのデータ量で、データ誤り／損失からの復元率を高くすることができるが、その一方で遅延は増大する。そのため、ある一対の双方向通信装置で再生されるメディアに求められる品質が、互いに異なる場合、それぞれ通信相手の求める品質に合わせた検査行列を設定することで、遅延が削減できる場合がある。
例えば、図１において、双方向通信装置１０１で再生されるメディアの品質への要求は高く、双方向通信装置１０３で再生されるメディアの品質への要求が低い場合、双方向通信装置１０１では、誤り訂正符号生成単位が小さくなるような検査行列を設定するか、あるいは、誤り訂正符号データ生成処理を行わない。双方向通信装置１０３では、伝送路１０２でのデータ誤り／損失のパターンに合わせて、適切な誤り訂正符号データ生成量と生成単位となる検査行列を設定することで、互いのメディア再生品質要求を満たしつつ、往復の遅延を削減することが可能である。
また、伝送帯域に限りがある場合、メディアの符号化と、誤り訂正符号データにおいて、ビットレートの割り振りを変えることで、メディアの品質の安定性と、品質の高さとのトレードオフを決めることができる。これも互いの双方向通信装置それぞれで再生されるメディアへの要求に応じて設定できる。
前述したように、検査行列は、伝送路によって設定を変えることが好ましく、そのため、上りリンクと下りリンクで異なった伝送路を用いる場合や、上りリンクと下りリンクとが、異なったデータ誤り／損失特性を有する場合は、やはり検査行列を非対称とすることで、品質を安定させつつ、遅延を削減することが可能となる。
本実施例において、画像をキャプチャするフレームレート、音声をキャプチャする標本化周波数については、前記第１の実施例と同様である。
さらに、受信部２０８で受信される符号化データのデータ誤り／損失率、誤り／損失バースト長等の統計情報を、例えばＲＴＣＰ（ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）のＳＲ（Ｓｅｎｄｅｒ  Ｒｅｐｏｒｔ）やＲＲ（Ｒｅｃｅｉｖｅｒ  Ｒｅｐｏｒｔ）で、通信相手の双方向通信装置に通知することにより、伝送路の誤り／損失特性を把握することが可能となる。このように設定・呼接続処理部２０２により、前記統計情報を前記通信相手の双方向通信装置へ通知することによって、
通信中に誤り訂正符号化方式を変更することを可能にし、
通信中に検査行列を変更する、すなわち、誤り訂正符号データのビットレート、生成の単位を変更することを可能にし、
誤り訂正符号データの送信を停止／再開することも可能である。
例えば、伝送路の状態が良好で、メディアの符号化データが十分な品質で送受信できる場合、誤り訂正符号データの送信を停止し、伝送路の状態が悪化した場合には、誤り訂正符号データの送信を再開することも可能である。
また、誤り訂正符号データを選択的に送信したりすることも可能であり、データ誤り／損失パターンが変動する伝送路においても、効果的なメディアの品質安定化と遅延の削減をすることができる。
なお、本実施例に係る双方向通信装置において、図２の前記第１の実施例で説明したインタリーブ処理（インタリーバ２０６）、デ・インタリーブ処理（デ・インタリーバ２０９）を組み合わせてもよい。
また、双方向通信装置４０１における、設定・呼接続処理部４０２と、メディア信号キャプチャ部２０３と、メディア符号化部２０４と、パケット化処理部２０５と、誤り訂正符号化部４０３と、送信部２０７と、受信部２０８と、誤り訂正復号部４０４と、ペイロード抽出部２１０と、メディア復号部２１１と、再生部２１２について、双方向通信装置４０１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよい。双方向通信装置４０１は、例えば音声通信装置を構成する。
また、双方向通信装置６０１における、設定・呼接続処理部６０２と、メディア信号キャプチャ部２０３と、メディア符号化部２０４と、パケット化処理部２０５と、誤り訂正符号化部６０３と、メディア符号送信部６０４と、誤り訂正符号送信部６０５と、メディア符号受信部６０６と、誤り訂正符号受信部６０７と、誤り訂正復号部６０８と、ペイロード抽出部２１０と、メディア復号部２１１と、再生部２１２について、双方向通信装置６０１を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよい。双方向通信装置６０１は、例えば音声通信装置を構成する。
以上本発明を上記各実施例に即して説明したが、本発明は、上記実施例の構成にのみに限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明によれば、利用者の求める、メディアの品質、遅延、帯域、遅延への要求のトレードオフによる設定に基づき、できるだけ安定した品質で双方向通信を実現することができる。
また、本発明によれば、上りリンクと下りリンクとが非対称の伝送路でも、品質と遅延に対する使用者の要求に対応できる双方向通信を実現することができる。
さらに、本発明によれば、変動する伝送路でのデータ誤り／損失に合わせて、品質の安定性と、処理遅延の増加を抑制した双方向通信を実現することができる。
【図１】
2005122455.tif 000002
【図２】
2005122455.tif 000003
【図３】
2005122455.tif 000004
【図４】
2005122455.tif 000005
【図５】
2005122455.tif 000006
【図６】
2005122455.tif 000007
【手続補正書】
【提出日】平成17年11月25日(2005.11.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】請求の範囲
【請求項１】  入力されたメディアを符号化するステップと、
符号化データを所定の単位でインタリーブするステップと、
インタリーブされた符号化データを出力するステップと、
符号化データを受信するステップと、
受信された符号化データを、所定の方法でデ・インタリーブするステップと、
符号化データを復号し再生するステップと、
を有し、
送信する符号化データと受信する符号化データとで、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の内の少なくとも１つが異なる、ことを特徴とする双方向通信方法。
【請求項２】（削除）
【請求項３】  利用可能な伝送路帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、符号化データの
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）フレームレート、
Ｅ）標本化周波数、
の少なくとも１つを設定する、ことを特徴とする請求項１に記載の双方向通信方法。
【請求項４】  呼接続処理により、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を通信相手に通知する、ことを特徴とする請求項１または３のいずれか１項に記載の双方向通信方法。
【請求項５】  呼接続処理により、通信相手から
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を得て、受信した符号化データを復号することを特徴とする請求項１、３，４のいずれか１項に記載の双方向通信方法。
【請求項６】  受信した符号化データの損失率、バースト長を含む受信データの到着状況を
通信相手へ送信し、
前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つを再設定する、ことを特徴とする請求項１、３，４のいずれか１項記載の双方向通信方法。
【請求項７】  符号化データの順序を表すシーケンス番号を付与するか、または、符号化データの順序がわかるフォーマットに従って、符号化データを送信する、ことを特徴とする請求項１、３乃至６のいずれか１項に記載の双方向通信方法。
【請求項８】  符号化データから所定の単位で誤り訂正符号データを生成するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信するステップと、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元するステップと、
符号化データを復号するステップと、
を有する、ことを特徴とする請求項１、３乃至５に記載の双方向通信方法。
【請求項９】  送信する誤り訂正符号データと受信する誤り訂正符号データとで、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つが異なる、ことを特徴とする請求項８に記載の双方向通信方法。
【請求項１０】  利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求の少なくともいずれか１つにより、誤り訂正符号データの、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを設定する、ことを特徴とする請求項８または９に記載の双方向通信方法。
【請求項１１】  呼接続処理により、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を、通信相手に通知することを特徴とする請求項８乃至１０のいずれか１項に記載の双方向通信方法。
【請求項１２】  呼接続処理により、通信相手の
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を得て、損失がある場合の符号化データを復元する、ことを特徴とする請求項８乃至１１のいずれか１項に記載の双方向通信方法。
【請求項１３】  損失率、バースト長を含む受信データの到着状況を通信相手へ送信し、
前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを再設定する、ことを特徴とする請求項８乃至１２のいずれか１項記載の双方向通信方法。
【請求項１４】  符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知し、
符号化データおよび誤り訂正符号データに対応する前記識別子を付与して送信する、ことを特徴とする請求項８乃至１３のいずれか１項に記載の双方向通信方法。
【請求項１５】  前記インタリーブ処理の単位を変更するにあたり、
前記符号化データの送信側では、インタリーブ単位の切れ目を変更することで行い、
前記符号化データの受信側では、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する、ことを特徴とする、請求項３乃至６のいずれか１項に記載の双方向通信方法。
【請求項１６】  前記符号化データが音声符号化データを含み、
前記符号化データの受信側では、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで、音の途切れを抑制する、ことを特徴とする請求項１５に記載の双方向通信方法。
【請求項１７】  入力されたメディアを符号化して出力する符号化手段と、
前記符号化手段からの符号化データを所定の単位でインタリーブ処理するインタリーブ手段と、
前記インタリーブ手段で並び替えられた符号化データを送信する送信手段と、
前記符号化データを受信する受信手段と、
前記受信手段で受信された、インタリーブ処理された符号化データを元に並び替えるデ・インタリーブ手段と、
前記デ・インタリーブ手段からの符号化データを復号し復号データを出力する復号手段と、
前記復号手段からの復号データを再生する再生手段と、を備え
送信する符号化データと受信する符号化データとで、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の内の少なくとも１つが異なる、ことを特徴とする双方向通信装置。
【請求項１８】（削除）
【請求項１９】  利用可能な伝送路帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、符号化データの
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）フレームレート、
Ｅ）標本化周波数、
の少なくとも１つを設定する、ことを特徴とする請求項１７に記載の双方向通信装置。
【請求項２０】  呼接続処理により、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を通信相手に通知する手段を備えている、ことを特徴とする請求項１７または１９に記載の双方向通信装置。
【請求項２１】  呼接続処理により、通信相手から、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を得て、受信した符号化データを復号する手段を備えている、ことを特徴とする請求項１７，１９、２０のいずれか１項に記載の双方向通信装置。
【請求項２２】  受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手へ送信する手段と、
前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つを再設定する手段を備えている、ことを特徴とする請求項１７、１９、２０のいずれか１項記載の双方向通信装置。
【請求項２３】  符号化データの順序を表すシーケンス番号を付与するか、または、符号化データの順序がわかるフォーマットに従って、符号化データを送信する手段を備えている、ことを特徴とする請求項１７、１９乃至２２のいずれか１項に記載の双方向通信装置。
【請求項２４】  前記符号化データから所定の単位で誤り訂正符号データを生成する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信する手段と、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元する手段と、
符号化データを復号する手段と、
を有する、ことを特徴とする請求項１７、１９乃至２１に記載の双方向通信装置。
【請求項２５】  送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つが異なる、ことを特徴とする請求項２４に記載の双方向通信装置。
【請求項２６】  利用可能な伝送路帯域、または、伝送路でのデータ損失パターン、または、入力手段を介して入力された利用者からの要求の少なくともいずれか１つにより、誤り訂正符号データの、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを設定する手段を備えている、ことを特徴とする請求項２４または２５に記載の双方向通信装置。
【請求項２７】  呼接続処理により、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を通信相手に通知する手段を備えている、ことを特徴とする請求項２４乃至２６のいずれか１項に記載の双方向通信装置。
【請求項２８】  呼接続処理により、通信相手の
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を得て、損失がある場合の符号化データを復元する手段を備えている、ことを特徴とする請求項２４乃至２７のいずれか１項に記載の双方向通信装置。
【請求項２９】  損失率、バースト長を含む受信データの到着状況を通信相手へ送信する手段と、
前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを再設定する手段を備えている、ことを特徴とする請求項２４乃至２８のいずれか１項記載の双方向通信装置。
【請求項３０】  符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知する手段と、
符号化データおよび誤り訂正符号データに、対応する前記識別子を付与して送信する手段を備えている、ことを特徴とする請求項２４乃至２９のいずれか１項に記載の双方向通信装置。
【請求項３１】  前記インタリーブ処理の単位を変更する手段として、前記符号化データの送信側は、インタリーブ単位の切れ目を変更する手段を備え、
前記符号化データの受信側は、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する手段を備えている、ことを特徴とする、請求項１９乃至２３のいずれか１項に記載の双方向通信装置。
【請求項３２】  前記符号化データが音声符号化データを含み、前記符号化データの受信側は、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する手段を備えている、ことを特徴とする、請求項３１に記載の双方向通信装置。
【請求項３３】  伝送路を介して通信する少なくとも２つの通信装置を備えた双方向通信システムにおいて、
前記２つの通信装置の少なくとも一方が、入力されたメディアを符号化する符号化手段と、
符号化データを所定の単位でインタリーブ処理するインタリーブ手段と、
インタリーブされた符号化データを前記伝送路に出力する送信手段と、
を備え、
前記２つの通信装置の少なくとも他方が、前記伝送路から前記符号化データを受信する受信手段と、
受信され、インタリーブ処理された符号化データを、所定の方法で元に並び替えるデ・インタリーブ手段と、
符号化データを復号し復号データを出力する復号手段と、
前記復号データを再生する再生手段と、
を備え、
前記２つの通信装置の１つの通信装置が送信する符号化データと相手の通信装置が受信する符号化データとで、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の内の少なくとも１つが異なる、ことを特徴とする双方向通信システム。
【請求項３４】（削除）
【請求項３５】  前記２つの通信装置の少なくとも１つが、
利用可能な伝送路の帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、符号化データの
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）フレームレート、
Ｅ）標本化周波数、
の少なくとも１つを設定する手段を備えている、ことを特徴とする請求項３３に記載の双方向通信システム。
【請求項３６】  前記２つの通信装置の少なくとも１つが、呼接続処理により、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を、通信相手の通信装置に通知する手段を備えている、ことを特徴とする請求項３３または３５に記載の双方向通信システム。
【請求項３７】  前記２つの通信装置の少なくとも１つが、呼接続処理により、通信相手の通信装置から
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を得て、受信した符号化データを復号する手段を備えている、ことを特徴とする請求項３３、３５、３６のいずれか１項に記載の双方向通信システム。
【請求項３８】  前記２つの通信装置の少なくとも１つが、受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手の通信装置へ送信する手段と、
通信相手の通信装置から、前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つを再設定する手段を備えている、ことを特徴とする請求項３３、３５、３６のいずれか１項記載の双方向通信システム。
【請求項３９】  前記２つの通信装置の少なくとも１つが、符号化データの順序を表すシーケンス番号を付与するか、または、順序がわかるフォーマットに従って、符号化データを送信する手段を備えている、ことを特徴とする請求項３６乃至３８のいずれか１項に記載の双方向通信システム。
【請求項４０】  前記２つの通信装置の少なくとも１つが、前記符号化データから所定の単位で誤り訂正符号データを生成する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信する手段と、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元する手段と、
符号化データを復号する手段と、
を有することを特徴とする請求項３３、３４乃至３７に記載の双方向通信システム。
【請求項４１】  送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つが異なる、ことを特徴とする請求項４０に記載の双方向通信システム。
【請求項４２】  前記２つの通信装置の少なくとも１つが、
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、誤り訂正符号データの、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを設定する、ことを特徴とする請求項４０または４１に記載の双方向通信システム。
【請求項４３】  前記２つの通信装置の少なくとも１つが、
呼接続処理により、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を通信相手の通信装置に通知する手段を備えている、ことを特徴とする請求項３９乃至４２のいずれか１項に記載の双方向通信システム。
【請求項４４】  前記２つの通信装置の少なくとも１つが、
呼接続処理により、通信相手の通信装置の
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を得て、損失がある場合の符号化データを復元する手段を備えている、ことを特徴とする請求項４０乃至４３のいずれか１項に記載の双方向通信システム。
【請求項４５】  前記２つの通信装置の少なくとも１つが、
損失率、バースト長を含む受信データの到着状況を通信相手の通信装置へ送信する手段と、
通信相手の通信装置から前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを再設定する手段を備えている、ことを特徴とする請求項４０乃至４４のいずれか１項記載の双方向通信システム。
【請求項４６】  前記２つの通信装置の少なくとも１つが、
符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手の通信装置に通知する手段と、
符号化データおよび、誤り訂正符号データに、対応する前記識別子を付与して送信する手段と、
を備えている、ことを特徴とする請求項４０乃至４５のいずれか１項に記載の双方向通信システム。
【請求項４７】  前記インタリーブ処理の単位を変更する手段として、前記符号化データの送信側は、インタリーブ単位の切れ目を変更する手段を備え、
前記符号化データの受信側は、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する手段を備えている、ことを特徴とする、請求項３５乃至３８のいずれか１項に記載の双方向通信システム。
【請求項４８】  前記符号化データが音声符号化データを含み、前記符号化データの受信側は、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する手段を備えている、ことを特徴とする、請求項４７に記載の双方向通信システム。
【請求項４９】  双方向通信装置を構成するコンピュータに、
入力されたメディアを符号化する処理と、
符号化データを所定の単位でインタリーブする処理と、
インタリーブされた符号化データを出力する処理と、
前記符号化データを受信する処理と、
受信された符号化データを、所定の方法でデ・インタリーブする処理と、
符号化データを復号し再生する処理を実行させるプログラムであって、
送信する符号化データと受信する符号化データとで、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の内の少なくとも１つが異なることを特徴とするプログラム。
【請求項５０】（削除）
【請求項５１】  請求項４９記載のプログラムにおいて、
利用可能な伝送路帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか１つにより、符号化データの
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）フレームレート、
Ｅ）標本化周波数、
の少なくとも１つを設定する処理を、前記コンピュータに実行させるプログラム。
【請求項５２】  請求項４９または５１に記載のプログラムにおいて、
呼接続処理により、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を通信相手に通知する処理を、前記コンピュータに実行させるプログラム。
【請求項５３】  請求項４９または５１に記載のプログラムにおいて、
呼接続処理により、通信相手から、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つの設定情報を得て、受信した符号化データを復号する処理を、前記コンピュータに実行させるプログラム。
【請求項５４】  請求項４９、５１、５２のいずれか１項に記載のプログラムにおいて、
受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手へ送信する処理と、
通信相手から前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
Ａ）インタリーブ処理の有無、
Ｂ）インタリーブ処理の単位、
Ｃ）インタリーブの順序、
Ｄ）ビットレート、
Ｅ）フレームレート、
Ｆ）標本化周波数、
の少なくとも１つを再設定する処理を、前記コンピュータに実行させるプログラム。
【請求項５５】  請求項４９、５１乃至５４のいずれか１項に記載のプログラムにおいて、
符号化データの順序を表すシーケンス番号を付与するか、または、符号化データの順序がわかるフォーマットに従って符号化データを送信する処理を、前記コンピュータに実行させるプログラム。
【請求項５６】  請求項４９、５１乃至５３のいずれか１項に記載のプログラムにおいて、
前記符号化データから所定の単位で誤り訂正符号データを生成する処理と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力する処理と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信する処理と、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元する処理と、
符号化データを復号する処理と、
を前記コンピュータに実行させるプログラム。
【請求項５７】  請求項５６に記載のプログラムにおいて、
送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つが異なるプログラム。
【請求項５８】  請求項５６または５７に記載のプログラムにおいて、
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、の少なくともいずれか１つにより、誤り訂正符号データの、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを設定する処理を、前記コンピュータに実行させるプログラム。
【請求項５９】  請求項５６乃至５８のいずれか１項に記載のプログラムにおいて、
呼接続処理により、
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を通信相手に通知する処理を、前記コンピュータに実行させるプログラム。
【請求項６０】  請求項５６乃至５９のいずれか１項に記載のプログラムにおいて、
呼接続処理により、通信相手の
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つの設定情報を得て、損失がある場合の符号化データを復元する処理を、前記コンピュータに実行させるプログラム。
【請求項６１】  請求項５６乃至６０のいずれか１項に記載のプログラムにおいて、
損失率、バースト長を含む受信データの到着状況を通信相手へ送信する処理と、
通信相手からの前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
Ａ）誤り訂正符号化方式、
Ｂ）誤り訂正符号データ送信の有無、
Ｃ）誤り訂正符号データのビットレート、
Ｄ）誤り訂正符号データ生成の単位、
の少なくとも１つを再設定する処理と、
を前記コンピュータに実行させるプログラム。
【請求項６２】  請求項５６乃至６１のいずれか１項に記載のプログラムにおいて、
符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知する処理と、
符号化データおよび、誤り訂正符号データに、対応する前記識別子を付与して送信する処理とを、
前記コンピュータに実行させるプログラム。
【請求項６３】  請求項５１乃至５４のいずれか１項に記載のプログラムにおいて、
前記インタリーブ処理の単位を変更するにあたり前記符号化データの送信側において、インタリーブ単位の切れ目を変更する処理と、
前記符号化データの受信側において、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する処理と、
を前記コンピュータに実行させるプログラム。
【請求項６４】  請求項６３記載のプログラムにおいて、
前記符号化データが音声符号化データを含み、前記符号化データの受信側は、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する処理を、前記コンピュータに実行させるプログラム。
【請求項６５】  メディア信号をキャプチャするメディアキャプチャ手段と、
キャプチャしたメディアデータを符号化するメディア符号化手段と、
前記メディア符号化手段で符号化されたデータを並び替えるインタリーブ手段と、
前記インタリーブ手段から出力される符号化データを伝送路へ送信する送信手段と、
前記伝送路から符号化データを受信する受信手段と、
受信された符号化データをもとに並び替えるデ・インタリーブ手段と、
前記デ・インタリーブ手段で並び替えが行われた符号化データを復号するメディア復号手段と、
前記メディア復号手段で復号されたメディアデータを再生する手段と、
前記メディア符号化手段での符号化設定、前記インタリーブ手段でのインタリーブ処理設定、前記送信手段での送信設定のうちの少なくとも１つを可変に設定する手段と、
前記符号化設定、前記インタリーブ処理設定、前記送信設定、符号化データの受信状況、の少なくとも１つを通信相手に通知する手段と、
を備えている、ことを特徴とする通信システム。
【請求項６６】  メディア信号をキャプチャするメディアキャプチャ手段と、
キャプチャしたメディアデータを符号化するメディア符号化手段と、
前記メディア符号化手段からの符号化データを受け誤り訂正符号データを生成する誤り訂正符号化手段と、
前記符号化データ及び誤り訂正符号データを伝送路へ送信する送信手段と、
前記伝送路から前記符号化データ及び前記誤り訂正符号データを受信する受信手段と、
前記受信された符号化データに誤りもしくは欠落がある場合、前記誤り訂正符号を用いて符号化データを復元する誤り訂正復号手段と、
前記受信符号化データまたは復元された前記符号化データを復号するメディア復号手段と、
復号されたメディアデータを再生する手段と、
前記メディア符号化手段での符号化設定、誤り訂正符号データ生成処理の設定、前記送信手段での送信設定のうちの少なくとも１つを可変に設定する手段と、
前記符号化設定、前記誤り訂正符号データ生成処理設定、前記送信設定、符号化データの受信状況、の少なくとも１つを通信相手に通知する手段と、
を備えている、ことを特徴とする通信システム。
【請求項６７】  前記符号化データと前記誤り訂正符号データとをそれぞれ別々のセッションまたは別々の伝送路で送信する手段を備えている、ことを特徴とする請求項６６記載の通信システム。
【請求項６８】  前記インタリーブ処理設定として、前記インタリーブ手段でのインタリーブ単位の切れ目を変更する手段を備え、
前記デ・インタリーブ手段について、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については、前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する手段を備えている、ことを特徴とする、請求項６５に記載の通信システム。
【請求項６９】  前記符号化データが音声符号化データを含み、前記符号化データの受信側では、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する手段を備えている、ことを特徴とする、請求項６８に記載の通信システム。
【国際調査報告】
2005122455.tif 000008
2005122455.tif 000009
2005122455.tif 000010
2005122455.tif 000011
2005122455.tif 000012
2005122455.tif 000013
2005122455.tif 000014
2005122455.tif 000015