(57)【要約】 【課題】  相手側の通信装置で表示されている画像を再現することが可能な通信装置および通信システムを提供する。【解決手段】  テレビ電話通信装置１００は、相手側のテレビ電話通信装置との通信状態をネットワーク監視部２０９が検出する。画像加工部２０５は、検出した通信状態に基づいて、カメラ１０２から出力される画像データを加工し、加工された画像データに基づく画像が表示部１１０に表示される。これによって、テレビ電話通信の相手側のテレビ電話通信装置の表示部で表示されているであろう画像を再現することができる。【選択図】      図１
2007043227.tif 000002
【特許請求の範囲】
【請求項１】
電話通信と画像通信とを同時に行うことが可能な通信装置において、
撮像して得られた第１の画像データを出力する撮像手段と、
相手側の通信装置との通信状態を検出し、検出した通信状態を示す通信状態情報を出力する状態検出手段と、
前記第１の画像データを相手側の通信装置に送信し、相手側の通信装置から第２の画像データを受信する通信手段と、
前記第１の画像データおよび前記第２の画像データを表示する表示手段と、
前記第１の画像データを、前記通信状態情報に基づいて加工する加工手段と、
加工された第１の画像データを前記表示手段に表示させるよう制御する制御手段とを備えることを特徴とする通信装置。
【請求項２】
前記第１の画像データと前記加工された第１の画像データのいずれを前記表示手段に表示するかを指示する指示手段を備え、
前記制御手段は、前記指示手段の指示に応じて前記第１の画像データまたは前記加工された第１の画像データを前記表示手段に表示させることを特徴とする請求項１記載の通信装置。
【請求項３】
前記通信状態情報は、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つであることを特徴とする請求項１または２記載の通信装置。
【請求項４】
前記通信状態情報は、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つの統計値であることを特徴とする請求項１または２記載の通信装置。
【請求項５】
電話通信と画像通信とを同時に行うことが可能な通信装置を複数有する通信システムにおいて、
前記通信装置は、
撮像して得られた第１の画像データを出力する撮像手段と、
相手側の通信装置との通信状態を検出し、検出した通信状態を示す通信状態情報を出力する状態検出手段と、
前記第１の画像データを相手側の通信装置に送信し、相手側の通信装置から第２の画像データを受信するとともに、前記通信状態情報を相手側の通信装置に送信し、相手側の通信装置から前記通信状態情報を受信する通信手段と、
前記第１の画像データおよび前記第２の画像データを表示する表示手段と、
前記第１の画像データを、受信した通信状態情報に基づいて加工する加工手段と、
加工された第１の画像データを前記表示手段に表示させるよう制御する制御手段とを備え、
互いに通信を行う通信装置のうち、一方の通信装置が、相手側の他方の通信装置との通信状態を検出して、検出した通信状態情報を他方の通信装置に送信し、他方の通信装置が、一方の通信装置から通信状態情報を受信して、受信した通信状態情報に基づいて第１の画像データを加工し、加工された第１の画像データを表示手段に表示させることを特徴とする通信システム。
【請求項６】
前記通信装置は、前記第１の画像データと前記加工された第１の画像データのいずれを前記表示手段に表示するかを指示する指示手段を備え、
前記制御手段は、前記指示手段の指示に応じて前記第１の画像データまたは前記加工された第１の画像データを前記表示手段に表示させることを特徴とする請求項５記載の通信システム。
【請求項７】
前記通信状態情報は、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つであることを特徴とする請求項５または６記載の通信システム。
【請求項８】
前記通信状態情報は、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つの統計値であることを特徴とする請求項５または６記載の通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電話通信と画像通信とを同時に行う、いわゆるテレビ電話通信を行うことが可能な通信装置および通信システムに関する。
【背景技術】
【０００２】
データ通信の通信帯域の増加に伴い、電話通信と同時に画像通信を行う、いわゆるテレビ電話通信が容易に実現可能となっている。
【０００３】
テレビ電話通信を実現するテレビ電話通信装置（以下では単に「通信装置」と略称する。）は、通話者の画像を撮像するための撮像手段、音声データおよび画像データを送受信するための通信手段、画像を表示する表示手段、音声の入出力を行う送受話器などを備えている。
【０００４】
撮像手段によって撮像された画像は、画像データとして相手側通信装置に送信されるとともに、通話者の確認用に表示手段の一部に表示される。
【０００５】
特許文献１記載のテレビ会議方法では、会議中に相手側で出力されている音声レベルを視覚的に確認することが可能となっている。詳細には、まず会議の相手側から音声信号を受信すると、音声レベルを示す音声レベル情報を制御サーバ装置に送信する。制御サーバ装置は、音声レベル情報を会議の参加者の端末装置に配信し、端末装置は配信された音声レベルをたとえばゲージなどで視覚的に表示する。
【０００６】
【特許文献１】特開２００４−１８６８７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
通話者の確認用に表示される自らの画像は、相手側の通信装置で表示されている画像とは異なる画像であるため、通話の相手が実際に見ている画像がどのような画像であるかを、通話者は確認することはできない。通話者は、相手側から送られてきた画像データに基づいて、自装置に表示される画像を見ることで、通話相手が実際に見ている画像のブロックノイズや輪郭のぼやけ具合などをある程度推測することができるが、自らの画像は自装置にて滑らかにはっきりと表示されるため、この推測は利用者の直感としてなかなか受け入れられない。
【０００８】
本発明の目的は、相手側の通信装置で表示されている画像を再現することが可能な通信装置および通信システムを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、電話通信と画像通信とを同時に行うことが可能な通信装置において、
撮像して得られた第１の画像データを出力する撮像手段と、
相手側の通信装置との通信状態を検出し、検出した通信状態を示す通信状態情報を出力する状態検出手段と、
前記第１の画像データを相手側の通信装置に送信し、相手側の通信装置から第２の画像データを受信する通信手段と、
前記第１の画像データおよび前記第２の画像データを表示する表示手段と、
前記第１の画像データを、前記通信状態情報に基づいて加工する加工手段と、
加工された第１の画像データを前記表示手段に表示させるよう制御する制御手段とを備えることを特徴とする通信装置である。
【００１０】
また本発明は、前記第１の画像データと前記加工された第１の画像データのいずれを前記表示手段に表示するかを指示する指示手段を備え、
前記制御手段は、前記指示手段の指示に応じて前記第１の画像データまたは前記加工された第１の画像データを前記表示手段に表示させることを特徴とする。
【００１１】
また本発明は、前記通信状態情報は、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つであることを特徴とする。
【００１２】
また本発明は、前記通信状態情報は、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つの統計値であることを特徴とする。
【００１３】
また本発明は、電話通信と画像通信とを同時に行うことが可能な通信装置を複数有する通信システムにおいて、
前記通信装置は、
撮像して得られた第１の画像データを出力する撮像手段と、
相手側の通信装置との通信状態を検出し、検出した通信状態を示す通信状態情報を出力する状態検出手段と、
前記第１の画像データを相手側の通信装置に送信し、相手側の通信装置から第２の画像データを受信するとともに、前記通信状態情報を相手側の通信装置に送信し、相手側の通信装置から前記通信状態情報を受信する通信手段と、
前記第１の画像データおよび前記第２の画像データを表示する表示手段と、
前記第１の画像データを、受信した通信状態情報に基づいて加工する加工手段と、
加工された第１の画像データを前記表示手段に表示させるよう制御する制御手段とを備え、
互いに通信を行う通信装置のうち、一方の通信装置が、相手側の他方の通信装置との通信状態を検出して、検出した通信状態情報を他方の通信装置に送信し、他方の通信装置が、一方の通信装置から通信状態情報を受信して、受信した通信状態情報に基づいて第１の画像データを加工し、加工された第１の画像データを表示手段に表示させることを特徴とする通信システムである。
【００１４】
また本発明は、前記通信装置は、前記第１の画像データと前記加工された第１の画像データのいずれを前記表示手段に表示するかを指示する指示手段を備え、
前記制御手段は、前記指示手段の指示に応じて前記第１の画像データまたは前記加工された第１の画像データを前記表示手段に表示させることを特徴とする。
【００１５】
また本発明は、前記通信状態情報は、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つであることを特徴とする。
【００１６】
また本発明は、前記通信状態情報は、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つの統計値であることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮像手段が出力する第１の画像データを相手側の通信装置に送信し、相手側の通信装置から第２の画像データを受信する通信手段を備え、電話通信と画像通信とを同時に行うことが可能な通信装置である。
【００１８】
状態検出手段によって、相手側の通信装置との通信状態が検出され、検出した通信状態を示す通信状態情報が出力されると、加工手段は、前記第１の画像データを、前記通信状態情報に基づいて加工する。制御手段は、前記第１の画像データおよび前記第２の画像データを表示する表示手段に対して、加工された第１の画像データを表示させるよう制御する。
【００１９】
このように、相手側の通信装置との通信状態が反映された第１の画像データを表示することにより、相手側の通信装置で表示されている画像を再現することができる。
【００２０】
また本発明によれば、指示手段によって、前記第１の画像データと前記加工された第１の画像データのいずれを前記表示手段に表示するかが指示されると、前記制御手段は、前記指示手段の指示に応じて前記第１の画像データまたは前記加工された第１の画像データを前記表示手段に表示させる。
【００２１】
これにより、ユーザの好みに応じて、表示させる第１の画像データを切り替えることができる。
【００２２】
また本発明によれば、前記通信状態情報として、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つを用いることができる。
【００２３】
また本発明によれば、前記通信状態情報として、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つの統計値を用いることができる。
【００２４】
また本発明によれば、撮像手段が出力する第１の画像データを相手側の通信装置に送信し、相手側の通信装置から第２の画像データを受信する通信手段を備え、電話通信と画像通信とを同時に行うことが可能な通信装置を複数有する通信システムである。
【００２５】
互いに通信を行う通信装置のうち、一方の通信装置では、相手側の他方の通信装置との通信状態を検出して、検出した通信状態情報を他方の通信装置に送信する。他方の通信装置では、一方の通信装置から通信状態情報を受信して、受信した通信状態情報に基づいて第１の画像データを加工し、加工された第１の画像データを表示手段に表示させる。
【００２６】
このように、相手側の通信装置から送られてきた通信状態情報が反映された第１の画像データを表示することにより、相手側の通信装置で表示されている画像を再現することができる。
【００２７】
また本発明によれば、指示手段によって、前記第１の画像データと前記加工された第１の画像データのいずれを前記表示手段に表示するかが指示されると、前記制御手段は、前記指示手段の指示に応じて前記第１の画像データまたは前記加工された第１の画像データを前記表示手段に表示させる。
【００２８】
これにより、ユーザの好みに応じて、表示させる第１の画像データを切り替えることができる。
【００２９】
また本発明によれば、前記通信状態情報として、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つを用いることができる。
【００３０】
また本発明によれば、前記通信状態情報として、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうちの少なくとも１つの統計値を用いることができる。
【発明を実施するための最良の形態】
【００３１】
本発明は、電話通信と画像通信とを同時に行う、いわゆるテレビ電話通信を行うことが可能な通信装置である。
【００３２】
図１は、本発明の第１の実施形態であるテレビ電話通信装置１００の電気的な構成を示すブロック図である。
【００３３】
テレビ電話通信装置１００は、カメラコントローラ１０１、カメラ１０２、切換回路１０３、マイク１０４、スピーカ１０５、画像用ＤＳＰ（Digital Signal Processor）１０６、音声用ＤＳＰ１０７、ＬＡＮ（Local Area Network）コントローラ１０８、メモリー１０９、表示部１１０、操作パネル１１１および制御部２００で構成される。
【００３４】
さらに制御部２００は、テレビ電話制御部２０１、データ処理制御部２０２、表示制御部２０３、操作検出部２０４、画像加工部２０５、ネットワーク制御部２０６、音声用ＤＳＰ制御部２０７、ＬＡＮ制御部２０８、ネットワーク監視部２０９および画像用ＤＳＰ制御部２１０を含んで構成される。
【００３５】
カメラコントローラ１０１は、カメラ１０２の動作を制御し、撮像された画像データ（第１の画像データ）を画像用ＤＳＰ１０６に送る。カメラ１０２は、ＣＣＤ（Charge
Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子と、レンズなどの光学素子を含み、入射光に基づく電気信号を画像データとして出力する。カメラコントローラ１０１およびカメラ１０２は、撮像手段を構成する。
【００３６】
切換回路１０３は、ＴＶ電話制御部２０１からの制御情報に従って、マイク１０４、スピーカ１０５、音声用ＤＳＰ１０７の信号経路を切り替える。マイク１０４は、通話者から入力される音声を音声信号に変換して切換回路１０３に送り、スピーカ１０５は、切換回路１０３から送られる音声信号を音声に変換して出力する。画像用ＤＳＰ１０６は、エンコーダ１０６ａおよびデコーダ１０６ｂを含み、カメラコントローラ１０１からの画像データ、受信したＴＶ電話通信用の画像データ（第２の画像データ）をＭＰＥＧ４（
Moving Picture Experts Group phase 4）形式と、表示部１１０に適した表示形式との間で相互変換し、変換した画像データを画像用ＤＳＰ制御部２１０および画像加工部２０５に送る。音声用ＤＳＰ制御部１０７は、切換回路１０３からのアナログ音声信号をG.711形式に符号化して音声用ＤＳＰ制御部２０７に送り、また、音声用ＤＳＰ制御部２０７からのG.711形式の音声信号をアナログ音声信号に変換して切換回路１０３に送る。ＬＡＮコントローラ１０８は、ＬＡＮ制御部２０８からのパケットデータをネットワークに送り、ネットワークから受信したパケットデータをＬＡＮ制御部２０８へ送る。メモリー１０９は、通信状態を示す情報など各種情報を記憶する。表示部１１０は、液晶表示装置などで実現され、電話通信に必要なメニュー画面、通話相手の画像、通話者自らの画像などを表示する表示手段である。操作パネル１１１は、電話番号を入力するためのダイヤルキー、各種機能を使用するための機能キーなどを備える。
【００３７】
テレビ電話制御部２０１は、電話通信と同時に画像通信を行う、いわゆるテレビ電話通信を行うために装置全体を制御する制御手段である。データ処理制御部２０２は、テレビ電話制御部２０１からの指示に基づいてメモリー１０９へ情報を格納したり読み出したりする。表示制御部２０３は、テレビ電話制御部２０１からの指示に基づいて表示部１１０に画像の表示を行わせたり、画像加工部２０５を経由して画像用ＤＳＰ１０６から画像データを取得して表示部１１０に画像の表示を行わせる。操作検出部２０４は、操作パネル１１１からの入力内容をテレビ電話制御部２０１に送る。操作パネル１１１および操作検出部２０４は、指示手段を構成する。
【００３８】
画像加工部２０５は、相手側の通信装置との通信状態を示す通信状態情報に基づいて、カメラ１０２から出力された画像データの加工を行う加工手段である。ネットワーク制御部２０６は、テレビ電話通信用のパケットデータを処理する。音声用ＤＳＰ制御部２０７は、アナログ音声とG.711符号化音声の相互の変換を行うよう音声用ＤＳＰ１０７を制御する。ＬＡＮ制御部２０８は、ネットワークを介して送受信されるテレビ電話通信用のパケットデータなどを処理する。ネットワーク監視部２０９は、通信状態であるネットワークの状況を監視、検出し、通信状態情報を出力する状態検出手段である。画像用DSP制御部２１０は、画像用ＤＳＰ１０６を制御する。ネットワーク制御部２０６、ＬＡＮ制御部２０８およびＬＡＮコントローラ１０８は通信手段を構成する。
【００３９】
テレビ電話通信装置１００では、相手側のテレビ電話通信装置との通信状態をネットワーク監視部２０９が検出し、検出した通信状態に基づいて、カメラ１０２から出力される画像データを画像加工部２０５が加工し、加工された画像データに基づく画像を表示部１１０に表示する。これによって、テレビ電話通信の相手側のテレビ電話通信装置の表示部で表示されているであろう画像を再現することができる。
【００４０】
図２は、テレビ電話通信中の画像表示処理を示すフローチャートである。
テレビ電話通信の開始は、オフフックした後電話番号をダイヤルするなどして発呼する場合、または着呼した後オフフックする場合のいずれであってもよい。
【００４１】
ステップＳ１では、所定のプロトコルに従って、テレビ電話通信を開始する。ステップＳ２では、カメラ１０２で撮像された画像データに基づく通話者の画像を、表示部１１０に表示する。ステップＳ３では、再現機能がＯＮに切り替えられたかどうかを判断し、切り替えられていればステップＳ４に進み、切り替えられていなければ待機する。ステップＳ４では、再現画像表示処理を行う。ステップＳ５では、再現機能がＯＦＦに切り替えられたかどうかを判断し、切り替えられていればステップＳ２に戻り、切り替えられていなければステップＳ６に進む。ステップＳ６では、オンフックを検出することでテレビ電話通信を終了するかどうかを判断し、終了しない場合はステップＳ５に戻り、終了する場合は、回線を切断して処理を終了する。
【００４２】
ここで再現機能とは、通信状態情報に基づいて加工された画像データを表示部１１０に表示する機能のことである。再現機能のＯＮ／ＯＦＦは、たとえばテレビ電話通信装置１００の設定項目の１つであり、ユーザが操作パネル１１１を操作することでＯＮ／ＯＦＦを切り替えることが可能である。
【００４３】
図３は、再現画像表示処理を示すフローチャートである。
ステップＳ１１では、ネットワーク監視部２０９が通信状態情報を検出する。ステップＳ１２では、画像加工部２０５が通信状態情報に基づいて、画像用ＤＳＰ１０６から出力される画像データを加工して再現画像データを作成する。ステップＳ１３では、表示制御部２０３が、画像加工部２０５から出力される再現画像データを表示部１１０に表示させる。
【００４４】
以下では、ネットワーク監視部２０９および画像加工部２０５の動作について詳細に説明する。
【００４５】
ネットワーク監視部２０９は、相手側通信装置から送信される画像データの受信状態を監視し、通信状態情報として、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量およびデータ重複量のうち少なくとも１つを検出する。
【００４６】
（伝搬時間）
PING(ICMP Echo Request)を送り、返答(ICMP Echo Reply)を受け取るまでの時間を計測し、その半分の値を伝播時間として検出する。
【００４７】
（データ喪失量）
パケットデータのシーケンス番号をチェックすることにより、喪失したパケット数をデータ喪失量として検出する。
【００４８】
（ジッタ量）
パケットデータのシーケンス番号とタイムスタンプおよび受信時間とをチェックすることにより、ジッタ量を検出する。
【００４９】
（データ入れ替わり量）
パケットデータのシーケンス番号をチェックすることにより、入れ替わったパケット数をデータ入れ替わり量として検出する。
【００５０】
（データ重複量）
パケットデータのシーケンス番号をチェックすることにより、重複したパケット数をデータ重複量として検出する。
【００５１】
画像加工部２０５は、ネットワーク監視部２０９が検出した通信状態情報に基づいて再現画像データを作成する。
【００５２】
テレビ電話通信装置など、動画再生機能を有する装置は、少なくとも動画デコーダ内にバッファを持つものがほとんどである。したがって、通信状態情報には、上記のような複数種類のパラメータを利用するが、フレームの欠落が生じているものとして再現画像データを作成する。
【００５３】
たとえば、通信状態情報として伝搬時間を利用する場合は、予め複数の閾値を設定しておき、伝搬時間が越えた閾値に応じて、画像用ＤＳＰ１０６から出力される画像データから所定のフレームを欠落させることで再現画像データを作成することができる。
【００５４】
複数のパラメータを利用する場合、たとえば、伝搬時間、データ喪失量およびデータ重複量を利用する場合は、パラメータごとに複数の閾値を設定し、閾値を越えたパラメータの数、および越えた閾値に応じてフレームの欠落度合を変化させることでより再現度の高い再現画像データを作成することができる。
【００５５】
フレームの欠落に基づく画像データの加工は、たとえば以下のようにして行う。
まず、Ｉフレームが欠落した場合と、Ｐフレームが欠落した場合とを考慮する。Ｉフレームが欠落した場合は、次のＩフレームが正常に再生されるまで、写っている物体が動いている範囲を中心に、画像全体が大きく乱れてしまうことになりやすい。Ｐフレームが欠落した場合は、次のＩフレームが正常に再生されるまで、写っている物体が動いている範囲を中心に乱れが生じるが、Ｉフレームが欠落した場合よりも乱れは少ない。
【００５６】
MPEG２、MPEG４方式では、DCT(離散コサイン変換)アルゴリズムを使用しているため、画像の乱れは、いわゆるブロックノイズとして表れる。また、フレームがしばらくの間連続して欠落すると、欠落している間、画像は静止したままの状態になる。
【００５７】
フレームの欠落度合に応じて、ブロックノイズの発生、画像の静止などの加工を行うことが好ましい。
【００５８】
また、画像加工部２０５が加工の対象とする画像データとしては、相手側通信装置に送信するためにエンコード（符号化）した画像データか、エンコードしていない画像データかのいずれかがある。エンコードした画像データの場合は、ＩフレームとＰフレームの区別が可能となり、ブロックノイズの再現も可能となるので、より再現性を高めることができる。エンコードしていない画像データの場合は、ブロックノイズを表現するために、モザイク処理を施したり、一定時間画像を静止させる。なお、エンコードした画像データを加工した場合、当該画像データは一旦画像用ＤＳＰ１０６に渡し、画像用ＤＳＰ１０６が表示部１１０に適した形式に変換したものを再度受け取る。
【００５９】
なお、通信状態情報としては、表１に示すような各パラメータの統計値を時間間隔ごとに算出したもの、または表２に示すような各パラメータの瞬間値をパケットごとに検出したものを用いることができる。
【００６０】
【表１】
2007043227.tif 000003
【００６１】
【表２】
2007043227.tif 000004
【００６２】
本発明の第２の実施形態について説明する。第２の実施形態は、画像加工部２０５の動作が異なる以外は、第１の実施形態と同じ構成であるので他の構成については説明を省略する。
【００６３】
本実施形態では、さらに再現度を高めるために、通信状態情報として、伝搬時間、データ損失量、ジッタ量、データ入れ替わり量、データ重複量および相手側バッファサイズを使用し、各パラメータに応じた加工を行う。
【００６４】
動画デコーダが持つバッファは、バッファに貯められるデータ量での管理ではなく、時間での管理が適しているので、相手側バッファサイズとしては時間量で表す。動画像のフレームレートは秒間３０コマ、または１５コマが多いので、貯めておけるフレーム数の区切りにて、66.7ms、133ms、200ms、533msなどのいずれかに設定する。
【００６５】
図４は、画像加工部２０５の構成を示す概略図である。画像加工部２０５は、相手側通信装置が有するバッファサイズ以上のサイズのバッファ(加工用バッファ)に入力される画像データをためている状況にて各種加工処理を行う。また、ためられる入力画像データには、各々のフレームごとに加工順番号と加工用遅延量の管理用情報を付与する。
【００６６】
エンコーダ１０６ａによって符号化され、フレーム単位の処理が可能となった画像データが入力されると、データ喪失器２０５ａは、データ喪失量に基づく確率で、画像データを加工用バッファから消去することにより、画像データの喪失を行う。遅延発生器２０５ｂは、伝播時間に基づく時間を、画像データの加工用遅延量として記録する。ジッタ発生器２０５ｃは、ジッタ量に基づいて画像データの加工用遅延量を増減させる。入れ替わり発生器２０５ｄは、データ入れ替わり量に基づいて画像データの加工順番号を入れ替える。重複発生器２０５ｅは、加工用バッファ内で画像データを複製し、複製された画像データの加工順番号を複製元の画像データの加工順番号より１だけ増加させ、およびそれ以降の画像データの加工順番号をそれぞれ１ずつ増加させる。処理用バッファ判定器２０５ｆは、画像データの加工順番号に従い、相手側通信機のバッファサイズに基づいて、当該画像データの遅延量が相手側通信機のバッファサイズでのバッファされている時間を超えるような場合は当該画像データを消去し、超えない場合はデコーダ１０６ｂに渡す。
【００６７】
符号化されていない画像データを加工する場合は、フレーム化した後、図３で示した画像加工部２０５と同様に、各パラメータに応じた加工を行う。
【００６８】
本発明の第３の実施形態について説明する。第１および第２の実施形態では、ネットワーク監視部２０９で検出した通信状態情報に基づいて、画像加工部２０５が再現画像データを作成している。第３の実施形態は、テレビ電話通信の相手側の通信装置もテレビ電話装置１００と同じ構成であり、ネットワーク制御部２０６によってネットワーク監視部２０９で検出した通信状態情報を送受信可能に構成された通信システムである。
【００６９】
互いに通信を行う通信装置のうち、一方の通信装置において、ネットワーク監視部２０９が通信状態情報を検出すると、他方の通信装置に対して検出した通信状態情報を送信する。他方の通信装置では、一方の通信装置から通信状態情報を受信し、画像加工部２０５が、相手側の通信装置から送られてきた通信状態情報に基づいて再現画像データを作成する。画像加工部２０５から出力される再現画像データは、表示制御部２０３によって、他方の通信装置の表示部１１０に表示される。
【００７０】
これにより、相手側の通信装置における通信状態が反映された再現画像データを作成することができるので、さらに再現度を高めることができる。
【００７１】
送信する通信状態情報としては、前述の表１に示した時間間隔ごとの統計値、表２に示したパケットごとの瞬間値のいずれかである。たとえば時間間隔ごとの統計値であれば、５秒間隔ごとの統計値を５０秒ごとの通知間隔で送信する。パケットごとの瞬間値であれば、１００パケットごとの通知間隔で送信する。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施形態であるテレビ電話通信装置１００の電気的な構成を示すブロック図である。
【図２】テレビ電話通信中の画像表示処理を示すフローチャートである。
【図３】再現画像表示処理を示すフローチャートである。
【図４】画像加工部２０５の構成を示す概略図である。
【符号の説明】
【００７３】
１００  テレビ電話通信装置
１０１  カメラコントローラ
１０２  カメラ
１０３  切換回路
１０４  マイク
１０５  スピーカ
１０６  画像用ＤＳＰ（Digital Signal Processor）
１０７  音声用ＤＳＰ
１０８  ＬＡＮ（Local Area Network）コントローラ
１０９  メモリー
１１０  表示部
１１１  操作パネル
２００  制御部
２０１  テレビ電話制御部
２０２  データ処理制御部
２０３  表示制御部
２０４  操作検出部
２０５  画像加工部
２０６  ネットワーク制御部
２０７  音声用ＤＳＰ制御部
２０８  ＬＡＮ制御部
２０９  ネットワーク監視部
２１０  画像用ＤＳＰ制御部
【図１】
2007043227.tif 000005
【図２】
2007043227.tif 000006
【図３】
2007043227.tif 000007
【図４】
2007043227.tif 000008