(57)【要約】【課題】送信するデータサイズに応じてＦＥＣ符号化するかどうかを判定することで、最適な送信条件で通信を行うことができる通信端末装置、通信制御方法、及び通信制御プログラムを提供することを課題とする。【解決手段】  まずＣＰＵ１１１は、メディアデータ取得処理を実行する（Ｓ４０１）。取得したメディアデータに対して通常符号化処理を実行する（Ｓ４０２）。符号化したデータサイズを取得して（Ｓ４０３）、第一閾値より大きいかどうかを判定し（Ｓ４０４）、大きいと判断した場合（Ｓ４０４：ＹＥＳ）、ＦＥＣ符号化処理を実行する（Ｓ４０５）。また、データサイズが第一閾値より小さいと判定した場合（Ｓ４０４：ＮＯ）、通常符号化データを送信用データに設定する（Ｓ４０９）。ステップＳ４０９の処理で設定されたデータに、通常符号化用ヘッダを付与してパケット化し（Ｓ４１０）、送信処理を実行する（Ｓ４１１）。【選択図】図３
2013051565.tif 000002
【特許請求の範囲】
【請求項１】
他の装置と通信手段を介して、撮像画像、または音声情報等のメディアデータを送受信する通信端末装置において、
自拠点の撮像手段、または音声入力手段から前記メディアデータを取得するメディアデータ取得手段と、
前記メディアデータ取得手段で取得した前記メディアデータに対して、符号化した通常符号化データを生成する通常符号化処理手段と、
前記通常符号化処理手段により生成された前記通常符号化データのデータサイズが、第一閾値以下かどうかを判断するサイズ判定手段と、
前記サイズ判定手段により前記通常符号化データが前記第一閾値以上であると判定した場合に、前記通常符号化データに対して前方誤り訂正処理であるＦＥＣ処理を施して符号化したデータであるＦＥＣ符号化データを生成するＦＥＣ符号化処理手段と、
前記ＦＥＣ符号化処理手段で生成された前記ＦＥＣ符号化データ、もしくは前記通常符号化処理手段で生成された前記通常符号化データをパケット化して他の前記通信端末装置へ送信する送信手段と、
を備えることを特徴とする通信端末装置。
【請求項２】
前記サイズ判定手段により前記通常符号化データが前記第一閾値以下であると判定した場合に、前記通常符号化処理手段は、一つのメディアデータに対して二つ以上の同じ前記通常符号化データを生成し、
前記送信手段は、前記二つ以上生成された同じ前記通常符号化データを、別々のパケットにて送信する
ことを特徴とする請求項１に記載の通信端末装置。
【請求項３】
前記サイズ判定手段により前記通常符号化データが前記第一閾値以下であると判定し、さらに前回の判定も前記第一閾値以下であると判定されていた場合に、
前記送信手段は、前回生成された前記通常符号化データの一つと、今回生成された前記通常符号化データの一つを同一のパケットに含ませて送信する
ことを特徴とする請求項２に記載の会議端末装置。
【請求項４】
前記サイズ判定手段により前記通常符号化データが前記第一閾値以下であると判定し、さらに前回の判定も前記第一閾値以下であると判定されていた場合に、
前回の前記通常符号化データに対応するメディアデータと、今回の前記通常符号化データに対応するメディアデータの類似度を判定する類似度判定手段をさらに備え、
前記送信手段は、前記類似度判定手段により類似度が第二閾値以上であると判定された場合は、前記二つ以上生成された同じ前記通常符号化データの１つのみをパケット化して送信する
ことを特徴とする請求項２乃至３のいずれか１項に記載の通信端末装置。
【請求項５】
前記サイズ判定手段は、前記第一閾値を、通信手段を介して送信できる一つのパケットサイズの最大値に対して二分の一以下のサイズに設定して判定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の通信端末装置。
【請求項６】
他の装置と通信手段を介して、撮像画像、または音声情報等のメディアデータを送受信する通信端末装置にて処理する通信制御方法について、
自拠点の撮像手段、または音声入力手段から前記メディアデータを取得するメディアデータ取得ステップと、
前記メディアデータ取得ステップで取得した前記メディアデータに対して、符号化した通常符号化データを生成する通常符号化処理ステップと、
前記通常符号化処理ステップにより生成された前記通常符号化データのデータサイズが、第一閾値以下かどうかを判断するサイズ判定ステップと、
前記サイズ判定ステップにより前記通常符号化データが前記第一閾値以上であると判定した場合に、前記通常符号化データに対して前方誤り訂正処理であるＦＥＣ処理を施して符号化したデータであるＦＥＣ符号化データを生成するＦＥＣ符号化処理ステップと、
前記ＦＥＣ符号化処理ステップで生成された前記ＦＥＣ符号化データ、もしくは前記通常符号化処理ステップで生成された前記通常符号化データをパケット化して他の前記通信端末装置へ送信する送信ステップと、
を処理することを特徴とする通信制御方法。
【請求項７】
他の装置と通信手段を介して、撮像画像、または音声情報等のメディアデータを送受信する通信端末装置にて実行する通信制御プログラムについて、
自拠点の撮像手段、または音声入力手段から前記メディアデータを取得するメディアデータ取得ステップと、
前記メディアデータ取得ステップで取得した前記メディアデータに対して、符号化した通常符号化データを生成する通常符号化処理ステップと、
前記通常符号化処理ステップにより生成された前記通常符号化データのデータサイズが、第一閾値以下かどうかを判断するサイズ判定ステップと、
前記サイズ判定ステップにより前記通常符号化データが前記第一閾値以上であると判定した場合に、前記通常符号化データに対して前方誤り訂正処理であるＦＥＣ処理を施して符号化したデータであるＦＥＣ符号化データを生成するＦＥＣ符号化処理ステップと、
前記ＦＥＣ符号化処理ステップで生成された前記ＦＥＣ符号化データ、もしくは前記通常符号化処理ステップで生成された前記通常符号化データをパケット化して他の前記通信端末装置へ送信する送信ステップと、
を前記通信端末装置にて実行させることを特徴とする通信制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信するデータサイズに応じてＦＥＣ符号化するかどうかを判定することで、最適な送信条件で通信を行うことができる通信端末装置、通信制御方法、及び通信制御プログラムに関する。
【背景技術】
【０００２】
近年、通信ネットワーク経由でマルチメディアデータを転送する機会が増えている。マルチメディアデータとは、例えばカメラ機器で撮像した撮像データや、マイク機器で収音した音声データ、これらを組み合わせたデータ又はこれらの一部を含むデータをいう。また、マルチメディアデータの伝送方法では、ダウンロード型の伝送方式やストリーム型の伝送方式が用いられている。ダウンロード型の伝送方式では、受信側の装置で受信するデータの転送が完全に終了した時点で再生が開始されるので、リアルタイム性が要求されるマルチメディアデータの再生には適していない。
【０００３】
一方、ストリーム型の伝送方式の場合は、送信装置から受信装置へ伝送するデータの一部のデータだけでも再生が開始できる。そのため、インターネット電話、テレビ会議システム、ネットワークカメラ等のシステムに適している。ストリーム型の伝送方式として、ＩＥＴＦ  ＲＦＣ３５５０で規定されているＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒｏｎｓｐｏｒｔ  Ｐｒｏｔｃｏｌ）方式がある。ＲＴＰ方式では、送信するパケットデータに、時間情報を付加することで、受信装置側での時間的関係の把握が可能になり、パケット伝送時の遅延ゆらぎなどの影響を受けずに再生することができる。
【０００４】
しかし、上記ＲＴＰ方式でも、送信装置側での送信遅延や、伝送経路でのパケット損失が起こる問題がある。そこで、ＲＴＰ方式を用いてデータ伝送の信頼性を向上させる手法として、自動再送方式であるＡＲＱ（Ａｕｔｏ  Ｒｅｐｅａｔ  ｒｅＱｕｕｅｓｔ）や、前方誤り訂正方式であるＦＥＣ（Ｆｏｒｗａｒｄ  Ｅｒｒｏｒ  Ｃｏｒｒｅｃｔｉｏｎ）等が考案されている。ＡＲＱ方式は、損失したパケットのシーケンス番号を検知して、受信装置から送信装置へ損失したパケットの再送を要求する方式である。また、ＦＥＣ方式は、複数個のパケットを１つのＦＥＣブロックとして、リードソロモン（Ｒｅｅｄ−Ｓｏｌｏｍｏｎ符号）や、その他の誤り訂正符号を用いて冗長符号化する方式である。さらに、ＦＥＣ方式を用いて伝送する際、伝送経路でのパケットロス率を検出し、ロス率に応じて冗長度を最適値に決定することで、ネットワークの混雑を不必要に増長させることを防ぐ送信装置が考案されている。（特許文献１）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１３４８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１に記載の送信装置をテレビ会議装置に用いる場合、音声データや、撮像対象の動きの少ない撮像データ等の、比較的データサイズが小さいメディアデータを送信する場合でも、送信するデータを複数個のパケットになる様にＦＥＣ処理を施してデータを冗長化するので、ネットワークの通信帯域を無駄に使用してしまうという課題がある。
【０００７】
本発明は、上記課題を解決するためになされたものであり、送信するデータサイズに応じてＦＥＣ符号化するかどうかを判定することで、最適な送信条件で通信を行うことができる通信端末装置、通信制御方法、及び通信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成する為に、請求項１に記載の通信端末装置では、他の装置と通信手段を介して、撮像画像、または音声情報等のメディアデータを送受信する通信端末装置において、自拠点の撮像手段、または音声入力手段から前記メディアデータを取得するメディアデータ取得手段と、前記メディアデータ取得手段で取得した前記メディアデータに対して、符号化した通常符号化データを生成する通常符号化処理手段と、前記通常符号化処理手段により生成された前記通常符号化データのデータサイズが、第一閾値以下かどうかを判断するサイズ判定手段と、前記サイズ判定手段により前記通常符号化データが前記第一閾値以上であると判定した場合に、前記通常符号化データに対して前方誤り訂正処理であるＦＥＣ処理を施して符号化したデータであるＦＥＣ符号化データを生成するＦＥＣ符号化処理手段と、前記ＦＥＣ符号化処理手段で生成された前記ＦＥＣ符号化データ、もしくは前記通常符号化処理手段で生成された前記通常符号化データをパケット化して他の前記通信端末装置へ送信する送信手段とを備えることを特徴とする。
【０００９】
請求項２に記載の通信端末装置では、請求項１に記載の構成に加え、前記サイズ判定手段により前記通常符号化データが前記第一閾値以下であると判定した場合に、前記通常符号化処理手段は、一つのメディアデータに対して二つ以上の同じ前記通常符号化データを生成し、前記送信手段は、前記二つ以上生成された同じ前記通常符号化データを、別々のパケットにて送信することを特徴とする。
【００１０】
請求項３に記載の通信端末装置では、請求項２に記載の構成に加え、前記サイズ判定手段により前記通常符号化データが前記第一閾値以下であると判定し、さらに前回の判定も前記第一閾値以下であると判定されていた場合に、前記送信手段は、前回生成された前記通常符号化データの一つと、今回生成された前記通常符号化データの一つを同一のパケットに含ませて送信することを特徴とする。
【００１１】
請求項４に記載の通信端末装置では、請求項２乃至３のいずれかに記載の構成に加え、前記サイズ判定手段により前記通常符号化データが前記第一閾値以下であると判定し、さらに前回の判定も前記第一閾値以下であると判定されていた場合に、前回の前記通常符号化データに対応するメディアデータと、今回の前記通常符号化データに対応するメディアデータの類似度を判定する類似度判定手段をさらに備え、前記送信手段は、前記類似度判定手段により類似度が第二閾値以上であると判定された場合は、前記二つ以上生成された同じ前記通常符号化データの１つのみをパケット化して送信することを特徴とする。
【００１２】
請求項５に記載の通信端末装置では、請求項１乃至４のいずれかに記載の構成に加え、前記サイズ判定手段は、前記第一閾値を、通信手段を介して送信できる一つのパケットサイズの最大値に対して二分の一以下のサイズに設定して判定することを特徴とする。
【００１３】
請求項６に記載の通信制御方法では、他の装置と通信手段を介して、撮像画像、または音声情報等のメディアデータを送受信する通信端末装置にて処理する通信制御方法について、自拠点の撮像手段、または音声入力手段から前記メディアデータを取得するメディアデータ取得ステップと、前記メディアデータ取得ステップで取得した前記メディアデータに対して、符号化した通常符号化データを生成する通常符号化処理ステップと、前記通常符号化処理ステップにより生成された前記通常符号化データのデータサイズが、第一閾値以下かどうかを判断するサイズ判定ステップと、前記サイズ判定ステップにより前記通常符号化データが前記第一閾値以上であると判定した場合に、前記通常符号化データに対して前方誤り訂正処理であるＦＥＣ処理を施して符号化したデータであるＦＥＣ符号化データを生成するＦＥＣ符号化処理ステップと、前記ＦＥＣ符号化処理ステップで生成された前記ＦＥＣ符号化データ、もしくは前記通常符号化処理ステップで生成された前記通常符号化データをパケット化して他の前記通信端末装置へ送信する送信ステップとを処理することを特徴とする。
【００１４】
請求項７に記載の通信制御プログラムでは、他の装置と通信手段を介して、撮像画像、または音声情報等のメディアデータを送受信する通信端末装置にて実行する通信制御プログラムについて、自拠点の撮像手段、または音声入力手段から前記メディアデータを取得するメディアデータ取得ステップと、前記メディアデータ取得ステップで取得した前記メディアデータに対して、符号化した通常符号化データを生成する通常符号化処理ステップと、前記通常符号化処理ステップにより生成された前記通常符号化データのデータサイズが、第一閾値以下かどうかを判断するサイズ判定ステップと、前記サイズ判定ステップにより前記通常符号化データが前記第一閾値以上であると判定した場合に、前記通常符号化データに対して前方誤り訂正処理であるＦＥＣ処理を施して符号化したデータであるＦＥＣ符号化データを生成するＦＥＣ符号化処理ステップと、前記ＦＥＣ符号化処理ステップで生成された前記ＦＥＣ符号化データ、もしくは前記通常符号化処理ステップで生成された前記通常符号化データをパケット化して他の前記通信端末装置へ送信する送信ステップとを前記通信端末装置にて実行させることを特徴とする。
【発明の効果】
【００１５】
請求項１に記載の通信端末装置では、他の装置と通信手段を介して、撮像画像、または音声情報等のメディアデータを送受信する。そして自拠点の撮像手段、または音声入力手段から前記メディアデータを取得する。また、取得した前記メディアデータに対して、符号化した通常符号化データを生成する。そして、生成された前記通常符号化データのデータサイズが、第一閾値以下かどうかを判断する。前記通常符号化データが前記第一閾値以上であると判定した場合に、前記通常符号化データに対して前方誤り訂正処理であるＦＥＣ処理を施して符号化したデータであるＦＥＣ符号化データを生成する。その後、前記ＦＥＣ符号化データ、もしくは前記通常符号化データをパケット化して他の前記通信端末装置へ送信する。よって、通信端末装置は、メディアデータを符号化したデータが第一閾値よりも小さいデータサイズの場合は、不要にＦＥＣ処理を施して冗長パケットを生成することが無くなるので、通信経路の通信帯域を無駄に使用することを防止できる。
【００１６】
請求項２に記載の通信端末装置では、請求項１に記載の構成の効果に加え、前記通常符号化データが前記第一閾値以下であると判定した場合に、一つのメディアデータに対して二つ以上の同じ前記通常符号化データを生成し、前記二つ以上生成された同じ前記通常符号化データを、別々のパケットにて送信する。よって、通信端末装置は、データサイズが小さいメディアデータを符号化したデータがＦＥＣ処理を施されない場合でも、同じデータを複数のパケットに分けて再送することができるので、伝送途中のパケット損失が発生しても受信装置側でメディアデータを問題無く再生することができる。
【００１７】
請求項３に記載の通信端末装置では、請求項２に記載の構成の効果に加え、前記通常符号化データが前記第一閾値以下であると判定し、さらに前回の判定も前記第一閾値以下であると判定されていた場合に、前回生成された前記通常符号化データの一つと、今回生成された前記通常符号化データの一つを同一のパケットに含ませて送信することを特徴とする。よって、通信端末装置は、無駄にパケット数を増やすことなく、効率良くメディアデータをパケット化して送信することができるようになる。
【００１８】
請求項４に記載の通信端末装置では、請求項２乃至３のいずれかに記載の構成の効果に加え、前記通常符号化データが前記第一閾値以下であると判定し、さらに前回の判定も前記第一閾値以下であると判定されていた場合に、前回の前記通常符号化データに対応するメディアデータと、今回の前記通常符号化データに対応するメディアデータの類似度を判定する。そして類似度が第二閾値以上であると判定された場合は、二つ以上生成された同じ前記通常符号化データの１つのみをパケット化して送信することを特徴とする。よって、通信端末装置は、前後のメディアデータの類似度が高い場合、つまりデータの内容の変化が少ない場合は、無駄なデータの再送をすることを防ぐことができる。
【００１９】
請求項５に記載の通信端末装置では、請求項１乃至４のいずれかに記載の構成の効果に加え、前記第一閾値を、通信手段を介して送信できる一つのパケットサイズの最大値に対して二分の一以下のサイズに設定して判定する。よって、通信端末装置は、第一閾値を、通信手段の送信可能な最大値に対して半分以下に設定することで、メディアデータ符号化したデータを２回再送しても、最大値を超えて複数個のパケットを生成するＦＥＣ符号化データより、送信するデータサイズを小さくすることができるようになる。
【００２０】
請求項６に記載の通信制御方法では、他の装置と通信手段を介して、撮像画像、または音声情報等のメディアデータを送受信する。そして自拠点の撮像手段、または音声入力手段から前記メディアデータを取得する。また、取得した前記メディアデータに対して、符号化した通常符号化データを生成する。そして、生成された前記通常符号化データのデータサイズが、第一閾値以下かどうかを判断する。前記通常符号化データが前記第一閾値以上であると判定した場合に、前記通常符号化データに対して前方誤り訂正処理であるＦＥＣ処理を施して符号化したデータであるＦＥＣ符号化データを生成する。その後、前記ＦＥＣ符号化データ、もしくは前記通常符号化データをパケット化して他の前記通信端末装置へ送信する。よって、通信端末装置は、メディアデータを符号化したデータが第一閾値よりも小さいデータサイズの場合は、不要にＦＥＣ処理を施して冗長パケットを生成することが無くなるので、通信経路の通信帯域を無駄に使用することを防止できる。
【００２１】
請求項７に記載の通信制御プログラムでは、他の装置と通信手段を介して、撮像画像、または音声情報等のメディアデータを送受信する。そして自拠点の撮像手段、または音声入力手段から前記メディアデータを取得する。また、取得した前記メディアデータに対して、符号化した通常符号化データを生成する。そして、生成された前記通常符号化データのデータサイズが、第一閾値以下かどうかを判断する。前記通常符号化データが前記第一閾値以上であると判定した場合に、前記通常符号化データに対して前方誤り訂正処理であるＦＥＣ処理を施して符号化したデータであるＦＥＣ符号化データを生成する。その後、前記ＦＥＣ符号化データ、もしくは前記通常符号化データをパケット化して他の前記通信端末装置へ送信する。よって、通信端末装置は、メディアデータを符号化したデータが第一閾値よりも小さいデータサイズの場合は、不要にＦＥＣ処理を施して冗長パケットを生成することが無くなるので、通信経路の通信帯域を無駄に使用することを防止できる。
【図面の簡単な説明】
【００２２】
【図１】通信端末装置１の電気的構成を示す図である。
【図２】ＣＰＵ１１１が処理する機能ブロック図である。
【図３】送信側メイン処理のフローチャ―ト図である。
【図４】送信処理のフローチャート図である。
【図５】受信側メイン処理のフローチャート図である。
【図６】ＦＥＣ符号化データパケットのデータ構造図である。
【図７】通常符号化データパケットのデータ構造図である。
【図８】再送用データパケットのデータ構造図である。
【図９】合成データパケットのデータ構造図である。
【図１０】図４の送信処理の第一変形例である送信処理２のフローチャート図である。
【図１１】図４の送信処理の第二変形例である送信処理３のフローチャート図である。
【発明を実施するための形態】
【００２３】
以下、本発明の一実施形態について、図面を参照して説明する。これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２４】
図１を参照し、通信端末装置１の電気的構成について説明する。通信端末装置１には、周知のパーソナルコンピュータやテレビ会議用の専用端末装置等が使用できる。また、通信端末装置１は、音声データや撮像データ等のメディアデータを、ネットワーク２００を介して他の通信端末装置１と通信接続ができるようになっている。ネットワーク２００としては、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）やＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）等のネットワークを採用することができる。
【００２５】
通信端末装置１は、図１に示す様に、ＣＰＵ１１１と、ＣＰＵ１１１に各々接続されたＲＯＭ１１２およびＲＡＭ１１３を備えている。ＣＰＵ１１１には、その他、入出力（Ｉ／Ｏ）インタフェイス１１４が接続されている。Ｉ／Ｏインタフェイス１１４には、画像入力処理部１０４、音声入力処理部１０５、音声出力処理部１０６、画像出力処理部１０７、記録装置１１５、通信接続部１１６、入力装置１０８、ＣＤ−ＲＯＭドライブ１４０が接続されている。
【００２６】
ＣＰＵ１１１は、通信端末装置１の全体の制御を司る。ＲＯＭ１１２は、ＢＩＯＳを含む、通信端末装置１を動作させるための各種のプログラムや、そのための各種設定値を記憶している。ＣＰＵ１１１は、ＲＯＭ１１２や、後述する記憶装置１１５に記憶されたプログラムに従って、通信端末装置１の動作を制御する。ＲＡＭ１１３は、各種データを一時的に記憶するための記憶装置である。画像入力処理部１０４、音声入力処理部１０５、音声出力処理部１０６、画像出力処理部１０７には、それぞれ、カメラ４、マイク５、スピーカ６、表示装置７が接続されている。カメラ４は、通信端末装置１が設置されている拠点を撮像する撮像機器であり、汎用的なデジタルカメラ機器等が用いられる。画像入力処理部１０４は、カメラ４からの撮像データの入力を処理する機器である。マイク５は、通信端末装置１が設置されている拠点の音声を取得する機器であり、音声入力処理部１０５は、マイク５から入力された音声データを処理する機器である。スピーカ６は、他拠点の装置から送信された他拠点の音声データを出力する機器であり、音声出力処理部１０６は、スピーカ６へ音声データの出力を処理する機器である。画像出力処理部１０７は、表示装置７へ画像信号等を出力する処理を行う機器である。表示装置７には、汎用的な液晶ディスプレイや、有機ＥＬディスプレイ等が用いられる。
【００２７】
また、記憶装置１１５は、プログラム情報記憶エリア１１５１を含む複数の記憶エリアを備えている。プログラム情報記憶エリア１１５１には、詳細は図示しないが、音声データや撮像データを他装置との間で送受信する機能を実行させるための各種プログラムが記憶されている。通信接続部１１６は、ネットワーク２００に接続し、他の通信端末装置１との間で撮像データや音声データ等の各種データの通信を行うための通信機器である。入力装置１０８は、利用者が通信端末装置１へ各操作指示を入力するための入力機器であり、例えばキーボード、マウスや、タッチパネル機器等が用いられる。ＣＤ−ＲＯＭドライブ１４０は、ＣＤ−ＲＯＭ１４１に記録されているプログラムデータを読み込む機器である。また、ＣＤ−ＲＯＭ１４１は、通信端末装置１の各機能を実行させる為のプログラムデータが記憶されている。ＣＤ−ＲＯＭ１４１の導入時には、これら各種プログラムデータが、ＣＤ−ＲＯＭ１４１から、プログラム情報記憶エリア１１５１に記憶される。
【００２８】
次に、図２を参照し、本実施形態の通信端末装置１で実行される機能及びデータの流れについて説明する。なお、図２に示す各種機能は、通信端末装置１のＣＰＵ１１１において実行される。通信端末装置１は、取得機能３０１、符号化機能３０２、パケット化機能３０３、送受信機能３０４、デパケット化機能３０５、復号化機能３０６、出力機能３０７、及び類似度判定機能３０８を備えている。以下に各々の機能について説明をする。
【００２９】
取得機能３０１は、他の通信端末装置１に対して送信するパケットに格納されるデータの元データ（各種メディアデータ）を取得する。取得される元データとしては、例えば、音声データ、撮像データ等がある。音声データは、マイク５から音声入力処理部１０５を介して取得される。撮像データは、カメラ４によって撮影され、画像入力処理部１０４を介して取得される。取得された元データは、ＲＡＭ１１３に一時的に記憶される。
【００３０】
符号化機能３０２は、ＲＡＭ１１３に記憶された元データを符号化する。元データの属性に応じて最適な符号化方式が選択され、符号化が実行される。符号化は、予め設定された周期で実行される。また、符号化機能３０２では、本実施形態でのＦＥＣ処理も適宜実施される。ＦＥＣ処理が実施される場合は、予め定められた送信サイズ（例えば１０００〜１５００ｋｂ）のパケットを複数個生成できるように、元データに冗長性を持たせたデータである冗長データを付加する。ＦＥＣ処理を施されたパケットを受信する受信装置側では、受信した複数個のパケットから、この冗長データ部を復号することにより、元データの一部がパケロス等で欠損しても補完して復号、再生ができるようになる。
【００３１】
パケット化機能３０３は、符号化されたデータを格納したパケットを作成する。つまり、符号化機能３０２で符号化された符号化データに、送信する相手装置の宛先アドレス情報、自装置の識別情報の他に、詳細な説明は後述するが、符号化されたデータに関する属性情報等を含むヘッダ情報が付加されてパケットが作成される。送受信機能３０４は、パケット化機能３０３で作成されたパケットを、通信接続部１１６を介して他の通信端末装置１に対して送信する。また、送受信機能３０４は、他の通信端末装置１から送信されたパケットを、通信接続部１１６を介して受信する。
【００３２】
デパケット化機能３０５は、送受信機能３０４で受信されたパケットからヘッダ部を取り除き、符号化されたデータを抽出する。復号化機能３０６は、デパケット化機能３０５で抽出された符号化データを、ヘッダ情報に基づいて復号化する。そして、復号化されたデータは、ＲＡＭ１１３に一時的に記憶される。出力機能３０７は、ＲＡＭ１１３に記憶された復号化データを、属性毎に出力する。具体的には、例えば音声データは音声出力処理部１０６を介してスピーカ６から出力される。また、撮像データは、画像出力処理部１０７を介して、表示装置７に表示出力される。
【００３３】
類似度判定機能３０８は、取得機能３０１で取得した元データ（各種メディアデータ）に対して、取得した順において前後のデータの類似度を判定する。ここで、具体的な類似度判定について説明をする。例えば、取得機能３０１で取得した元データが音声データの場合、まず音声データに対して周波数解析を施して音声波形を抽出する。そして、前後の音声データから抽出した音声波形の類似度が、予め設定された閾値以上かどうかを判定する。ここでの閾値は、例えば８０％程度とすると良いが、これに限るものではない。また、音声波形の類似度を測定する方法に関しては、周知の技術を用いれば良く、例えば抽出された音声波形の形状を、パターンマッチング法等の手法で類似度を算出するようにしても良い。
【００３４】
また、取得機能３０１で取得した元データが撮像データの場合、類似度判定機能３０８は、撮像データから２次元的な輪郭形状を抽出し、その輪郭形状に対して周知のパターンマッチング法等を用いて、類似度を算出する。撮像データの類似度については、パターンマッチング法の他にも、撮像データの色分布に対して類似度を算出する手法等が用いることができるが、これに限るものではない。
【００３５】
次に、図３を参照して通信端末装置１のＣＰＵ１１１により行われる送信側メイン処理について説明をする。図３は通信端末装置１の送信側メイン処理のフローチャートであり、通信端末装置１の電源がＯＮされると開始され、所定時間間隔で継続的に実行される。また、以下に説明する各種処理は、本実実施形態の通信端末装置１が既にインターネット２００を介して他の通信端末装置１と、音声データや撮像データ等のメディアデータを送受信できる通信接続状態になっているものとする。
【００３６】
まず初めに、ＣＰＵ１１１は、メディアデータ取得処理を実行する（Ｓ４０１）。ステップＳ４０１の処理では、カメラ４、マイク５から入力される撮像データや音声データを取得する。次に、ＣＰＵ１１１は、ステップＳ４０１で取得したメディアデータに対して、通常符号化処理を実行する（Ｓ４０２）。ステップＳ４０２の処理では、ステップＳ４０１の処理で取得したメディアデータに対して、ＦＥＣ処理を施さずに符号化したデータである通常符号化データを生成する処理が実行される。そして、ステップＳ４０２の処理で生成した通常符号化データのサイズを取得する（Ｓ４０３）。ステップＳ４０３の処理では、通常符号化データのサイズを、例えばＫｂ単位の値に換算する計測処理が行われる。次に、ＣＰＵ１１１は、ステップＳ４０３の処理で取得したデータサイズが、第一閾値より大きいかどうかを判定する（Ｓ４０４）。ここでの第一閾値とは、例えば本実施形態では、通信経路で伝送できる最大データサイズを例えば１５００Ｋｂとすると、その１／２以下の７００Ｋｂ程度に設定されるのが望ましいが、これに限るものではなく適宜変更可能である。ステップＳ４０４の処理にて、ＣＰＵ１１１は、データサイズが第一閾値より大きいと判断した場合（Ｓ４０４：ＹＥＳ）、ＦＥＣ符号化処理を実行する（Ｓ４０５）。ステップＳ４０５の処理では、ステップＳ４０２の処理で生成した通常符号化データに対して、冗長データを付加してＦＥＣ符号化データを生成する処理を実行する。
【００３７】
続いてＣＰＵ１１１は、ステップＳ４０５で生成されたＦＥＣ符号化データを送信用データとして設定する（Ｓ４０６）。次に、ＣＰＵ１１１は、ステップＳ４０５、Ｓ４０６で処理されたＦＥＣ符号化データに対して、ＦＥＣヘッダを付与してパケット化する（Ｓ４０７）。なお、本実施形態でのヘッダについての説明は、後述する。ステップＳ４０７の処理の後、ＣＰＵ１１１は、後述する送信処理を実行し（Ｓ４０８）、本処理を終了する。
【００３８】
また、ステップＳ４０４の処理で、ＣＰＵ１１は、データサイズが第一閾値より小さいと判定した場合（Ｓ４０４：ＮＯ）、ＣＰＵ１１１は、ステップＳ４０２の処理で符号化された通常符号化データを送信用データに設定する（Ｓ４０９）。そして、ステップＳ４０９の処理で設定されたデータに、通常符号化用ヘッダを付与してパケット化する（Ｓ４１０）。ここでのヘッダ情報についての詳細な説明は、後述する。ステップＳ４１０の処理の後、送信処理を実行する（Ｓ４１１）。
【００３９】
ステップＳ４１１の処理の後、ＣＰＵ１１１は、送信用データのコピーを生成し、再送用ヘッダを付与する処理を実行する（Ｓ４１２）。具体的には、ステップＳ４０９の処理で送信用データとして設定された通常符号化データのコピーを作成する。そして、コピーして生成された符号化データに対して、再送用の旨を示す情報である再送用ヘッダとしてヘッダ情報に付与する。次に、ＣＰＵ１１１は、ステップＳ４１２の処理でコピーして生成された符号化データを再送用バッファに保存する処理を実行する（Ｓ４１３）。ステップＳ４１３の処理では、ＲＡＭ１１３に設けられた再送用バッファに、コピーされた送信データである符号化データを一時的に保存する。ステップＳ４１３の処理の後は、本処理である送信側メイン処理は終了する。
【００４０】
ここで、ステップＳ４０８、又はＳ４１１で実行される送信処理について、図４を参照しながら説明する。図４は、送信処理のフローチャート図である。まず初めに、ＣＰＵ１１１は、再送用バッファから送信データを抽出する（Ｓ５０１）。ステップＳ５０１の処理では、図３のＳ４１３の処理で保存された送信データを検索し、抽出する処理を行う。次に、ＣＰＵ１１１は、再送用バッファに送信データがあるかどうかを判定する（Ｓ５０２）。ステップＳ５０２の処理で、ＣＰＵ１１１は、送信データがあったと判定した場合（Ｓ５０２：ＹＥＳ）、再送用バッファ内の送信データを通信相手の装置へ、再送信処理を実行する（Ｓ５０３）。次に、ＣＰＵ１１１は、送信用データを送信する処理を実行する（Ｓ５４０）。ステップＳ５０４の処理では、ステップＳ４０６、又はＳ４１０の処理で送信用データに設定されたＦＥＣ符号化データ又は、通常符号化データを送信する。ステップＳ５０４の処理の後、本処理は終了する。
【００４１】
次に、図５を参照して、受信側メイン処理について説明をする。受信側メイン処理は、図３で説明した送信側メイン処理により送信された送信データを、通信端末装置１が通信回線を介して受信する場合の処理である。まず初めに、ＣＰＵ１１１は、受信データを取得する処理を実行する（Ｓ６０１）。ステップＳ６０１の処理では、図３のステップＳ４０８、又はＳ４１１の送信処理にて送信された送信データを受信データとして取得する。次に、ＣＰＵ１１１は、ヘッダ解析を実行する（Ｓ６０２）。
【００４２】
ここで、図６〜８を参照にして、送受信するパケットのデータ構造について説明をする。図６は、ＦＥＣ符号化データに、ＦＥＣに関するヘッダ情報が付加されてパケット化されたデータ構造である。ＦＥＣ符号化用ヘッダには、ヘッダＩＤ、フレームＩＤ、ＤＡＴＡシンボル数、ＦＥＣシンボル数、パケットサイズ、シンボルサイズ、シンボルＩＤ、元データサイズ等の情報が含まれている。ヘッダＩＤは、パケットがＦＥＣ符号化されたデータである旨を示すヘッダの識別情報を示し、フレームＩＤは、符号化されたデータのフレームを識別する識別情報を示す。ＤＡＴＡシンボル数は、符号化された元データを構成する単位であるシンボルの数を示す情報である。ＦＥＣシンボル数は、ＦＥＣ処理にて付加された冗長データを構成するシンボルの数を示す情報である。パケットサイズは、本パケットのデータサイズを示す情報である。シンボルサイズは、シンボルとして構成されるデータ群の１つのデータサイズを示す情報である。シンボルＩＤは、シンボルを識別する為の識別情報である。元データサイズは、元データのデータサイズを示す情報である。よって、受信側での通信端末装置１では、受信したパケットデータから、上記ヘッダ情報を読み取り、ヘッダ情報に基づいて適切な条件で復号化することができるようになる。また、図３のＳ４０７の処理で付与されるＦＥＣヘッダは、上記に説明した図６のデータ構造で付与される。
【００４３】
次に、図７に示すデータ構造は、通常符号化データに、通常符号化用ヘッダが付加されてパケット化されたデータ構造である。通常符号化用ヘッダには、ヘッダＩＤ、フレームＩＤ、データサイズ等の情報が含まれている。ヘッダＩＤは、パケットが通常符号化されたデータである旨を示すヘッダの識別情報を示し、フレームＩＤは、符号化されたデータのフレームを識別する識別情報を示す。元データサイズは、元データのデータサイズを示す情報である。また、図３のＳ４１０で付与される通常符号化用ヘッダは、上記に説明した図７のデータ構造で付与される。
【００４４】
図８に示すデータ構造は、再送用データに再送用ヘッダが付加されてパケット化されたデータ構造である。再送用ヘッダには、ヘッダＩＤ、フレームＩＤ、データサイズ等の情報が含まれている。ヘッダＩＤは、パケットのヘッダの識別情報を示し、フレームＩＤは、符号化されたデータのフレームを識別する識別情報を示す。元データサイズは、元データのデータサイズを示す情報である。再送用ヘッダは、図７で説明したヘッダと同じ構造であるが、フレームＩＤとデータサイズの内容が同じでもヘッダＩＤが異なる為、受信側の通信端末装置１では再送用ヘッダであると判別できる。また、図３のＳ４１２の処理で付与される再送用ヘッダは、上記に説明した図８のデータ構造で付与される。
【００４５】
図５の受信側メイン処理の説明に戻り、ステップＳ６０２の処理の後、ＣＰＵ１１１は、ヘッダＩＤがＦＥＣに関するＩＤかどうかを判断する（Ｓ６０３）。ステップＳ６０３の処理で、ＣＰＵ１１１は、ＦＥＣに関するＩＤであると判断した場合（Ｓ６０３：ＹＥＳ）、ＦＥＣ復号処理を実行する（Ｓ６０４）。次に、ＣＰＵ１１１は、ステップＳ６０１、Ｓ６０２で取得した受信データのヘッダに含まれるフレームＩＤのＮｏ（番号）が、既に受信したデータのフレームＮｏと比較して大きいかどうかを判定する（Ｓ６０５）。ここでのフレームＮｏは、送信側の通信端末装置１で生成される順に、数値が大きくなるように採番されるようになっているものとする。そして、ステップＳ６０５の処理で、ＣＰＵ１１１は、今回のフレームＮｏの方が大きいと判断した場合（Ｓ６０５：ＹＥＳ）、今回受信したデータのフレームＮｏを、受信済のフレームＮｏとして更新保存する（Ｓ６０６）。また、ステップＳ６０５の処理で、ＣＰＵ１１１は、今回受信したフレームＮｏの方が、受信済のフレームＮｏより小さいと判断した場合（Ｓ６０５：ＮＯ）、そのまま本処理を終了する。
【００４６】
また、ステップＳ６０３の処理で、ＣＰＵ１１１は、受信したデータのヘッダがＦＥＣ符号化用ヘッダでは無いと判断した場合（Ｓ６０３：ＮＯ）、ステップＳ６０１、Ｓ６０２で取得した受信データのヘッダに含まれるフレームＩＤのＮｏが、既に受信したデータのフレームＮｏと比較して大きいかどうかを判定する（Ｓ６１０）。そしてＣＰＵ１１１は、今回受信したデータのフレームＩＤの方が大きいと判断した場合（Ｓ６１０：ＹＥＳ）、通常符号化処理を実行する（Ｓ６１１）。ステップＳ６１１の処理の後、ＣＰＵ１１１は、ステップＳ６０６へ移行する。また、ステップＳ６１０の処理で、ＣＰＵ１１１は、今回受信したデータのフレームＮｏの方が小さいと判断した場合（Ｓ６１０：ＮＯ）、今回受信したデータを破棄する処理を実行し（Ｓ６１２）、本処理を終了する。
【００４７】
次に、図１０を参照して、本実施形態の送信処理（図４）の第一の変形例である送信処理２について説明をする。図１０の送信処理２は、再送用データと次に送信する送信用データを合成して、１つのパケットとして送信する点が特徴である。また、送信処理２の説明は、図４で説明した送信処理と異なる処理の部分のみ説明をする。まず、ステップＳ７０１、Ｓ７０２は、図４の送信処理でのＳ５０１、Ｓ５０２と同様の処理の為、説明を省略する。ステップＳ７０２の処理で、ＣＰＵ１１１は、再送用バッファに送信データがあると判定した場合は（Ｓ７０２：ＹＥＳ）、再送用データと送信用データを合成する処理を実行する（Ｓ７０３）。そして、ＣＰＵ１１１は、合成データヘッダを付与して、パケット化を実行する（Ｓ７０４）。そこで、ステップＳ７０４でパケット化されたデータのデータ構造について、図９を参照して説明する。
【００４８】
図９は、再送用データである合成データ１と、送信用データである合成データ２に対して、合成データヘッダが付与されたデータ構造となっている。合成データヘッダは、ヘッダＩＤ、データサイズ、合成データ１サイズ、合成データ１オフセット、合成データ２サイズ、合成データ２オフセットで構成されている。ヘッダＩＤは、パケットが合成データである旨を示すヘッダの識別情報を示す。データサイズは、パケットのデータサイズを示す情報である。合成データ１サイズは、合成データ１のデータサイズを示す情報である。合成データ１オフセットは、当パケット内での合成データ１の位置を示す情報である。合成データ２サイズは、合成データ２のデータサイズを示す情報である。合成データ２オフセットは、当パケット内での合成データ２の位置を示す情報である。
【００４９】
図１０の送信処理２の説明に戻り、ステップＳ７０４の処理の後、ＣＰＵ１１１は、ステップＳ７０４でパケット化された送信用データを送信する処理を実行し（Ｓ７０５）、本処理を終了する。よって、再送用データと次に送信する送信用データを、１つのパケットに合成するので、効率良くデータを送信することができるようになる。
【００５０】
次に、図１１を参照して、本実施形態の送信処理（図４）の第二の変形例である送信処理３について説明をする。図１１に示す送信処理３は、再送用データと次に送信する送信用データの類似度を解析し、類似度が高い場合は送信用データを送信しない点が特徴である。また、送信処理３の説明は、図４で説明した送信処理と異なる処理の部分のみ説明をする。まず初めに、ステップＳ８０１〜Ｓ８０２の処理は、図４のステップＳ５０１〜Ｓ５０２と同様の処理の為、説明を省略する。次に、ステップＳ８０２の処理でＣＰＵ１１１は、送信データがあると判定した場合（Ｓ８０２：ＹＥＳ）、次に類似度判定処理を実行する（Ｓ８０３）。ステップＳ８０３の処理での類似度判定については、図２の類似度判定機能３０２の箇所で説明した判定手法の処理が実行される。
【００５１】
ステップＳ８０３の処理の後、ＣＰＵ１１１は、ステップＳ８０３で判定された類似度が、閾値以上（本実施形態では、例えば８０％以上）かどうかを判断する（Ｓ８０４）。ステップＳ８０４の処理で、ＣＰＵ１１１は、類似度が閾値以上であると判断した場合（Ｓ８０４：ＹＥＳ）、再送用バッファ内の送信データを削除し（Ｓ８０７）、本処理を終了する。また、ステップＳ８０４の処理で、ＣＰＵ１１１は、類似度は閾値以下であると判断した場合（Ｓ８０４：ＮＯ）、ステップＳ８０５、Ｓ８０６の処理を実行し、本処理を終了する。ステップＳ８０５、Ｓ８０６の処理は、図４の送信処理でのＳ５０３、Ｓ５０４と同じ処理の為、説明は省略する。よって、再送用データと次に送信する送信用データの類似度が高い場合は、ステップＳ８０６の送信用データを送信する処理を実行しないので、無駄なデータ送信を抑制できる。
【００５２】
上記実施形態によって、通信端末装置１は、メディアデータが第一閾値よりも小さいデータサイズの場合は、不要にＦＥＣ処理を施して冗長パケットを生成することが無くなるので、通信経路の通信帯域を無駄に使用することを防止できる。また、通信端末装置１は、データサイズが小さいメディアデータがＦＥＣ処理を施されない場合でも、同じデータを複数のパケットに分けて再送することができるので、伝送途中のパケット損失が発生しても受信装置側でメディアデータを問題無く再生することができる。さらに、通信端末装置は、無駄にパケット数を増やすことなく、効率良くメディアデータをパケット化して送信することができるようになる。また、通信端末装置１は、前後のメディアデータの類似度が高い場合、つまりデータの内容の変化が少ない場合は、無駄なデータの再送をすることを防ぐことができる。また、通信端末装置１は、第一閾値を、通信手段の送信可能な最大値に対して半分以下に設定することで、同じメディアデータを２回再送しても、最大値を超えて複数個のパケットを生成するＦＥＣ符号化データより、送信するデータサイズを小さくすることができるようになる。
【００５３】
本発明は上記実施形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、図６〜図９にて、本実施形態でのデータパケットのヘッダ構造について説明をしたが、これに限るものでは無く、記載したヘッダに含まれる情報の他に、送信元装置のＩＰアドレス、送信先装置のＩＰアドレス、送信日時情報等、データ送信する際に通常使用されるヘッダ情報を含むようにしても良い。
【符号の説明】
【００５４】
１      通信端末装置
１０４  画像入力処理部
１０５  音入力処理部
１０６  音出力処理部
１０７  画像出力処理部
１０８  入力装置
１１１  ＣＰＵ
１１２  ＲＯＭ
１１３  ＲＡＭ
１１４  Ｉ／Ｏインタフェイス
１１５  ＨＤＤ
１１６  通信接続部
１４０  ＣＤ−ＲＯＭドライブ
１４１  ＣＤ−ＲＯＭ
２００  ネットワーク
４      カメラ
５      マイク
６      スピーカ
７      表示装置
【図１】
2013051565.tif 000003
【図２】
2013051565.tif 000004
【図３】
2013051565.tif 000005
【図４】
2013051565.tif 000006
【図５】
2013051565.tif 000007
【図６】
2013051565.tif 000008
【図７】
2013051565.tif 000009
【図８】
2013051565.tif 000010
【図９】
2013051565.tif 000011
【図１０】
2013051565.tif 000012
【図１１】
2013051565.tif 000013