(57)【要約】    【課題】      画像データの再送が実行される場合にも、送信側又は受信側の端末装置のみの処理により、画像、音声の再生タイミングを一致させることができる通信端末装置を提供すること。    【解決手段】  画像通信端末装置１００は、音声データの再生遅延時間に画像データがデータ蓄積バッファ１０３に蓄積されるまでの時間を加えた時間だけ遅延制御部１１５が音声データを保持して音声制御部１１１に送信することにより、音声と画像の同期がとれ、滑らかな再生が可能となる。また、画像通信端末装置１００は、異常データ受信時に通信相手の画像通信端末装置に対して再送要求を行ってから再送データを受信するまでの間は、すでに蓄積された画像データを画像制御部１０６へ順次送信するため、画像と音声の同期がずれることを防ぐことができる。  【選択図】      図１
2005229397.tif 000002
【特許請求の範囲】
【請求項１】
通信相手の通信端末装置から画像データ及び音声データを受信して、前記画像データ及び前記音声データに基づいて再生を行う通信端末装置であって、
所定の場合に、前記通信相手の通信端末装置に前記画像データの再送を要求する再送要求手段と、
前記画像データを前記再送に掛かる時間以上に蓄積して、受信した順序で蓄積画像データを出力する画像データ蓄積バッファと、
受信した前記音声データを所定の時間蓄積し、前記画像データ蓄積バッファの前記画像データの出力に同期させて、蓄積音声データを出力する遅延手段と、
を具備することを特徴とする通信端末装置。
【請求項２】
通信相手の通信端末装置から画像データ及び音声データを受信して、前記画像データ及び前記音声データに基づいて再生を行う通信端末装置であって、
受信した前記画像データの誤りを検出し、誤りを検出した時には、前記通信相手の通信端末装置に前記画像データの再送を要求する画像データ誤り検出手段と、
前記画像データを前記再送に掛かる時間以上に蓄積して、一定量に達した時に前記一定量を下回るまで、受信した順序で蓄積画像データを出力する画像データ蓄積バッファと、
受信した前記音声データを所定の時間蓄積し、前記画像データ蓄積バッファの前記画像データの出力に同期させて、蓄積音声データを出力する遅延手段と、
を具備することを特徴とする通信端末装置。
【請求項３】
前記再送要求手段は、前記画像データの再送を要求した時には、前記画像データの代わりに仮のデータを作成して前記画像データ蓄積バッファに蓄積し、前記通信相手の通信端末装置から再送された画像データを受信した時に、再送された前記画像データで前記仮のデータを上書きすることを特徴とする請求項１記載の通信端末装置。
【請求項４】
前記再送要求手段は、前記画像データの再送を要求した時には、異常データフラグを前記画像データ蓄積バッファに書き込み、前記通信相手の通信端末装置から再送された画像データを受信した時に、前記異常データフラグが書き込まれている位置から再送された前記画像データを書き込むことを特徴とする請求項１記載の通信端末装置。
【請求項５】
受信した画像データの各々に受信時刻情報を付加する受信時刻付加手段を具備し、
前記画像データ蓄積バッファは、蓄積画像データの出力タイミングを、前記蓄積画像データ及びその次に出力される蓄積画像データの前記受信時刻情報の差に基づいて、調整することを特徴する請求項１記載の通信端末装置。
【請求項６】
前記画像データを受信するビットレートを測定するレート測定手段を具備し、
前記画像データ蓄積バッファは、測定した前記ビットレートで前記蓄積画像データを出力することを特徴とする請求項１記載の通信端末装置。
【請求項７】
受信した前記画像データに、１画面分の画像データの開始位置を示すスタートコードが含まれるか否かを検出し、スタートコードを検出した時に、前記通信相手の通信端末装置に前記画像データの再送の要求をするスタートコード検出手段を具備し、
前記画像データ蓄積バッファは、再送された前記スタートコードを含む画像データを受信する時に、１画面分の前記蓄積画像データを出力することを特徴とする請求項１記載の通信端末装置。
【請求項８】
前記画像データ蓄積バッファは、前記画像データの再送に係る再送応答時間に前記画像データを受信するビットレートを乗じて求められる前記一定量に達した時に前記一定量を下回るまで、受信した順序で蓄積画像データを出力することを特徴とする請求項２記載の通信端末装置。
【請求項９】
受信した画像データに、１画面分の画像データの開始位置を示すスタートコードが含まれるか否かを検出するスタートコード検出手段と、
受信した画像データ及び音声データの各々に受信時刻情報を付加する受信時刻付加手段と、
を具備し、
前記画像データ蓄積バッファは、前記スタートコードを含む画像データの受信時刻と最も近い受信時刻の蓄積音声データが出力される時に、前記スタートコードを含む画像データから１画面分の画像データを出力することを特徴とする請求項１記載の通信端末装置。
【請求項１０】
受信した画像データに、１画面分の画像データの開始位置を示すスタートコードが含まれるか否かを検出するスタートコード検出手段と、
検出した前記スタートコードを含む画像データに受信時刻情報を付加する受信時刻付加手段と、
を具備し、
前記画像データ蓄積バッファは、前記スタートコードを含む蓄積画像データから１画面分のデータの出力タイミングを、前記スタートコードを含む蓄積画像データ及びその次に蓄積された前記スタートコードを含む蓄積画像データの前記受信時刻情報の差に基づいて、調整することを特徴する請求項１記載の通信端末装置。
【請求項１１】
受信した前記画像データに受信時刻情報を所定の受信回数ごとに付加する受信時刻付加手段を具備し、
前記画像データ蓄積バッファは、前記受信時刻情報に基づいて、前記蓄積画像データを出力することを特徴とする請求項１記載の通信端末装置。
【請求項１２】
受信した前記画像データが一定量を超えるごとに、受信時刻情報を前記画像データに付加する受信時刻付加手段を具備し、
前記画像データ蓄積バッファは、前記受信時刻情報に基づいて、前記蓄積画像データを出力することを特徴とする請求項１記載の通信端末装置。
【請求項１３】
前記画像データ出力バッファは、前記受信時刻情報が付加され、かつ受信順序が最も近い２つの前記蓄積画像データの受信時刻の差分に関する一定個数の平均値に基づいて、前記蓄積画像データを出力することを特徴とする請求項１１又は請求項１２記載の通信端末装置。
【請求項１４】
通信相手の通信端末装置に画像データ及び音声データを送信する通信端末装置であって、
１画面分の前記画像データごとにスタートコードを付加するスタートコード付加手段と、
前記スタートコードが付加された前記画像データと前記音声データとを多重して出力する多重手段と、
を具備することを特徴とする通信端末装置。
【請求項１５】
所定の場合に、前記画像データの再送を要求する再送要求ステップと、
前記画像データを前記再送に掛かる時間以上に蓄積して、受信した順序で蓄積画像データを出力するステップと、
受信した音声データを所定の時間蓄積し、前記画像データの出力に同期させて、蓄積音声データを出力するステップと、
を具備することを特徴とする画像データ及び音声データの出力同期方法。
【請求項１６】
所定の場合に、前記画像データの再送を要求する再送要求ステップと、
前記画像データを前記再送に掛かる時間以上に蓄積して、受信した順序で蓄積画像データを出力するステップと、
受信した音声データを所定の時間蓄積し、前記画像データの出力に同期させて、蓄積音声データを出力するステップと、
をコンピュータに実行させることを特徴とする画像データ及び音声データの出力同期プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信端末装置及び出力同期方法に関し、特に、画像データ及び音声データの同期再生を実現する通信端末装置及び出力同期方法に関する。
【背景技術】
【０００２】
一般的な画像通信端末装置は画像の方が音声よりも符号化及び復号化の処理量が多くデータ量も多いことから、受信側の画像通信端末装置では画像信号の処理は音声信号の処理よりも所定の時間（以下、再生遅延時間という。）だけ遅れて終了する。その結果、音声に対して映像が遅れる不自然な再生が行われてしまう不都合が生じる。
【０００３】
従来の画像通信端末装置は、上記不都合を回避するために、送信側の画像通信端末装置から音声再生時の遅延量を通知し、受信側の画像通信端末装置では、通知された分だけ音声再生を遅延させて再生する機能を持つものである。この機能を有する画像通信端末装置を使用すれば、ある程度は画像と音声との再生タイミングを一致させることができる。ただし、音声のみを遅延させるため、異常な画像データ受信した時に画像データの再送を要求する場合には、画像と音声との再生タイミングを一致させることができなくなってしまう。
【０００４】
また、従来の画像通信端末装置においては、再生時刻(ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ)を送信時にセットし、受信側の画像通信端末装置がこのＰＳＴを基に音声と画像を同期して再生することを可能としているものもある(非特許文献１参照)。
【０００５】
また、従来の画像通信端末装置においては、送信側でデータブロック毎に時刻情報を音声、画像データの夫々に付加し、受信側の画像通信端末において、音声データと画像データの時間的なずれを上記時刻情報に基づいて検知し、検知結果を基に同期をとって再生することを可能としているものもある(特許文献１参照)。
【０００６】
また、従来の画像通信端末装置においては、送信側で画像、音声符号化(圧縮)前のデータに対してマーキング信号を同時かつ周期的に付加し、受信側の画像通信端末装置において付加されたマーキング信号を利用して再生を同期させているものもある(特許文献２参照)。
【特許文献１】特開平６−６２３９８号公報
【特許文献２】特開２００１−１３６５０３号公報
【非特許文献１】最新ＭＰＥＧ教科書  アスキー出版刊  １９９５年
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の画像通信端末装置においては、画像データの再送要求時に音声と画像の再生タイミングがずれてしまうという問題がある。また、上記従来の画像通信端末装置においては、送信側と受信側の両方に、画像と音声との再生タイミングを一致させるための機構を有する必要があるため、片方の端末装置のみでは再生タイミングを一致させることはできないという問題がある。
【０００８】
特に、一般的なテレビ電話の規格(Ｈ．３２４等)においては、送信側で時刻情報を付加するような規格がないので、テレビ電話端末装置と上記従来の画像通信端末装置とで通信を行う場合、画像と音声との再生タイミングを一致させることはできないという問題がある。
【０００９】
本発明は、かかる点に鑑みてなされたものであり、画像データの再送が実行される場合にも、送信側又は受信側の端末装置のみの処理により、画像、音声の再生タイミングを一致させることができる通信端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の通信端末装置は、通信相手の通信端末装置から画像データ及び音声データを受信して、前記画像データ及び前記音声データに基づいて再生を行う通信端末装置であって、所定の場合に、前記通信相手の通信端末装置に前記画像データの再送を要求する再送要求手段と、前記画像データを前記再送に掛かる時間以上に蓄積して、受信した順序で蓄積画像データを出力する画像データ蓄積バッファと、受信した前記音声データを所定の時間蓄積し、前記画像データ蓄積バッファの前記画像データの出力に同期させて、蓄積音声データを出力する遅延手段と、を具備する構成を採る。
【００１１】
この構成によれば、画像データ蓄積バッファが、画像データの再送に対応できるように、再送に掛かる時間以上の間蓄積画像データを蓄積した後に出力し、この出力に同期させて遅延手段が音声データを出力するので、画像データの再送の要求が発生した時にも、音声データと画像データが同期して出力されるため、音声と画像の同期した再生が可能となる。また、この構成によれば、通信端末装置は、自端末のみで音声と画像の同期をとることができるので、送信側の端末装置において特別の処理が必要ないため、送信側の端末装置の処理負担を軽減することができる。
【００１２】
本発明の通信端末装置は、通信相手の通信端末装置から画像データ及び音声データを受信して、前記画像データ及び前記音声データに基づいて再生を行う通信端末装置であって、受信した前記画像データの誤りを検出し、誤りを検出した時には、前記通信相手の通信端末装置に前記画像データの再送を要求する画像データ誤り検出手段と、前記画像データを前記再送に掛かる時間以上に蓄積して、一定量に達した時に前記一定量を下回るまで、受信した順序で蓄積画像データを出力する画像データ蓄積バッファと、受信した前記音声データを所定の時間蓄積し、前記画像データ蓄積バッファの前記画像データの出力に同期させて、蓄積音声データを出力する遅延手段と、を具備する構成を採る。
【００１３】
この構成によれば、画像データ蓄積バッファが、誤りを検出した画像データの再送に対応できるように、再送に掛かる時間以上の間蓄積画像データを蓄積した後に出力し、この出力に同期させて遅延手段が音声データを出力するので、画像データの再送の要求が発生した時にも、音声データと画像データが同期して出力されるため、音声と画像の同期した再生が可能となる。また、この構成によれば、通信端末装置は、自端末のみで音声と画像の同期をとることができるので、送信側の端末装置において特別の処理が必要ないため、送信側の端末装置の処理負担を軽減することができる。
【００１４】
本発明の通信端末装置は、通信相手の通信端末装置に画像データ及び音声データを送信する通信端末装置であって、１画面分の前記画像データごとにスタートコードを付加するスタートコード付加手段と、前記スタートコードが付加された前記画像データと前記音声データとを多重して出力する多重手段と、を具備する構成を採る。
【００１５】
この構成によれば、送信側の通信端末装置において、スタートコードが付加された画像データとその画像データに対応する音声データとを同期をとって多重化するので、受信側の通信端末装置において、同期再生するための処理を軽減することができる。
【００１６】
本発明の画像データ及び音声データの出力同期方法は、所定の場合に、前記画像データの再送を要求する再送要求ステップと、前記画像データを前記再送に掛かる時間以上に蓄積して、受信した順序で蓄積画像データを出力するステップと、受信した音声データを所定の時間蓄積し、前記画像データの出力に同期させて、蓄積音声データを出力するステップと、を具備するようにした。
【００１７】
この方法によれば、画像データの再送に対応できるように、再送に掛かる時間以上の間蓄積画像データを蓄積した後に出力し、この出力に同期させて音声データを出力するので、画像データの再送の要求が発生した時にも、音声データと画像データが同期して出力されるため、音声と画像の同期した再生が可能となる。
【００１８】
本発明の画像データ及び音声データの出力同期プログラムは、所定の場合に、前記画像データの再送を要求する再送要求ステップと、前記画像データを前記再送に掛かる時間以上に蓄積して、受信した順序で蓄積画像データを出力するステップと、受信した音声データを所定の時間蓄積し、前記画像データの出力に同期させて、蓄積音声データを出力するステップと、をコンピュータに実行させる構成を採る。
【００１９】
この構成によれば、画像データの再送に対応できるように、再送に掛かる時間以上の間蓄積画像データを蓄積した後に出力し、この出力に同期させて音声データを出力するので、画像データの再送の要求が発生した時にも、音声データと画像データが同期して出力されるため、音声と画像の同期した再生が可能となる。
【発明の効果】
【００２０】
本発明によれば、画像データ再送が実行される場合にも、送信側又は受信側の端末装置のみの処理により、画像、音声の再生タイミングを一致させることができる通信端末装置を提供することができる。
【発明を実施するための最良の形態】
【００２１】
本発明の骨子は、受信した画像データをその再送要求する場合に掛かる時間以上に蓄積して出力し、かつ、受信した音声データを画像データの出力に同期させて出力することにより、画像と音声の再生タイミングを一致させることである。
【００２２】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像通信端末装置１００の全体構成を示すブロック図である。
【００２４】
画像通信端末装置１００は、全体制御部１１、回線インタフェース部１２、多重・多重分離部１０１、画像制御部１０６、音声制御部１１１及び遅延制御部１１５を具備する。
【００２５】
全体制御部１１は、画像通信端末装置１００の全体の制御を行う。回線インタフェース部１２は、ＩＳＤＮ網等を通じての通信を行うための制御を行う。多重・多重分離部１０１は、音声データ及び画像データを送信するための多重化、又は受信した多重化データを分離する。
【００２６】
画像制御部１０６は、送受信する画像データの管理などをする。音声制御部１１１は、送受信する音声データの管理などをする。
【００２７】
遅延制御部１１５は、画像制御部１０６による画像データの再生と、音声制御部１１１による音声データの再生とを同期させるために、音声データを所定の時間だけ保持して、音声制御部１１１に送信する。
【００２８】
図２は、本発明の実施の形態１に係る画像通信端末装置１００の主要部の構成を示すブロック図である。
【００２９】
画像通信端末装置１００は、多重・多重分離部１０１、画像制御部１０６並びにデータ処理部１０２、データ蓄積バッファ１０３、データ蓄積処理部１０４及びデータ送信処理部１０５からなる受信同期制御部１０７を具備する。
【００３０】
次に、画像通信端末装置１００の動作について、図２から図７を参照して説明する。
【００３１】
図３は、データ処理部の動作を示すフロー図である。図４は、データ蓄積処理部の動作を示すフロー図である。図５は、データ送信処理部の動作を示すフロー図である。図６は、データ蓄積バッファの一状態を示す図である。図７は、データ蓄積バッファの他の状態を示す図である。
【００３２】
まず、多重・多重分離部１０１は、通信相手である画像通信端末装置から送信された画像データをデータ処理部１０２に与える。
【００３３】
図３に示すように、データ処理部１０２は、画像データ受信待ち状態（ＳＴ２０１）にあり、多重・多重分離部１０１から画像データを受信する（ＳＴ２０２）。
【００３４】
データ処理部１０２は、受信した画像データにエラーがないかを検査する（ＳＴ２０３）。検査の結果がデータの正常を示す時（ＳＴ２０３：ＹＥＳ）には、データ処理部１０２は、画像データをデータ蓄積処理部１０４に送信する（ＳＴ２０４）。検査の結果がデータの異常を示す時（ＳＴ２０３：ＮＯ）には、データ処理部１０２は、通信相手の画像通信端末装置に対し再送要求を実行し（ＳＴ２０５）、仮蓄積用データを作成して（ＳＴ２０６）、仮蓄積用データをデータ蓄積処理部１０４に送信する（ＳＴ２０４）。
【００３５】
ＳＴ２０４においてデータ蓄積処理部１０４にデータを送信した後に、データ処理部１０２は、ＳＴ２０１の画像データ受信待ち状態に戻る。
【００３６】
図４に示すように、データ蓄積処理部１０４は、画像データ受信待ち状態にあり（ＳＴ３０１）、画像データがデータ処理部１０２より送信されると（ＳＴ２０４）、その画像データを受信する（ＳＴ３０２）。
【００３７】
次に、データ蓄積処理部１０４は、受信した画像データが通常の画像データであるか、又は、再送データであるかを検査する（ＳＴ３０３）。
【００３８】
検査の結果が通常のデータであることを示す場合（ＳＴ３０３：ＹＥＳ）、データ蓄積処理部１０４は、データ蓄積バッファ１０３に対して画像データを蓄積可能であるか検査する（ＳＴ３０４）。
【００３９】
画像データを蓄積することが出来るだけの容量がデータ蓄積バッファ１０３にある場合には（ＳＴ３０４：ＹＥＳ）、データ蓄積処理部１０４は、データ蓄積バッファ１０３にその画像データを蓄積する（ＳＴ３０５）。ＳＴ３０５において画像データがデータ蓄積バッファ１０３に蓄積された後は、データ蓄積処理部１０４は、ＳＴ３０１の画像データ受信待ち状態に戻る。
【００４０】
画像データを蓄積可能な容量がデータ蓄積バッファ１０３に無い場合（ＳＴ３０４：ＮＯ）、データ蓄積処理部１０４は、データ送信処理部１０５に対してデータ蓄積バッファ１０３に蓄積された最も古いデータを送信することを指示する（ＳＴ３０８）。この状態を図６に示している。
【００４１】
図６の状態においてデータ５０７をデータ蓄積バッファ１０３に蓄積しようとしても蓄積することが出来ないため（ＳＴ３０４：ＮＯ）、データ蓄積処理部１０４は、最も古いデータ５０１を送信することをデータ送信処理部１０５に指示する（ＳＴ３０８）。この状態でもまだデータ５０７を蓄積するには容量が足りないため（ＳＴ３０４：ＮＯ）、データ蓄積処理部１０４は、データ送信処理部１０５に、さらにデータ５０２を送信することを指示する（ＳＴ３０８）。
【００４２】
この状態で初めてデータ５０７を蓄積することが可能となり（ＳＴ３０４：ＹＥＳ）、データ蓄積処理部１０４は、データ蓄積バッファ１０３にその画像データを蓄積して（ＳＴ３０５）、図７に示す状態となる。画像データが蓄積された後に、データ蓄積処理部１０４は、ＳＴ３０１の画像データ受信待ち状態に戻る。
【００４３】
再送データを受信した場合（ＳＴ３０３：ＮＯ）、データ蓄積処理部１０４は、データ蓄積バッファ１０３に再送データの上書きが可能であるか検査する（ＳＴ３０６）。
【００４４】
ＳＴ２０６で作成された仮蓄積用データがデータ蓄積バッファ１０３に存在し、そのデータと再送データが同一内容のデータである場合（ＳＴ３０６：ＹＥＳ）、データ蓄積処理部１０４は、その仮蓄積用データをその再送データで上書きする（ＳＴ３０７）。この状態を示したものが図６及び図７である。再送データ５０８は、仮蓄積用データである再送待ちデータ５０４を上書きし、図７の状態となる。そして、データ蓄積処理部１０４は、その仮蓄積用データをその再送データで上書きした後（ＳＴ３０７）、ＳＴ３０１の画像データ受信待ち状態に戻る。
【００４５】
また、上書きが不可能だった場合にも（ＳＴ３０６：ＮＯ）、データ蓄積処理部１０４は、ＳＴ３０１の画像データ受信待ち状態に戻る。
【００４６】
図５に示すように、データ送信処理部１０５は、データ蓄積処理部１０４からのデータ送信処理開始指示を待つ状態（ＳＴ４０１）にあり、データ送信処理開始指示を受信した場合、画像制御部１０６に対してデータ蓄積バッファ１０３の内容を送信し（ＳＴ４０２）、その後、ＳＴ４０１のデータ送信処理開始指示を待つ状態に戻る。
【００４７】
このように、データ蓄積処理部１０４が、画像データの蓄積を行い、データ蓄積バッファ１０３に蓄積できなくなった分のみをデータ送信処理部１０５に画像制御部１０６に対して送信させる。そのため、画像制御部１０６への画像データの送信タイミングは、画像データの受信量（ビットレート）に応じて制御される。
【００４８】
また、画像通信端末装置１００は、音声データの再生遅延時間に画像データがデータ蓄積バッファ１０３に蓄積されるまでの時間を加えた時間だけ遅延制御部１１５が音声データを保持して音声制御部１１１に送信することにより、音声と画像の同期がとれ、滑らかな再生が可能となる。
【００４９】
また、画像通信端末装置１００は、異常データ受信時に通信相手の画像通信端末装置に対して再送要求を行ってから再送データを受信するまでの間は、すでに蓄積された画像データを画像制御部１０６へ順次送信するため、画像と音声の同期がずれることを防ぐことができる。
【００５０】
また、画像通信端末装置１００は、自端末のみで同期制御を行うため、送信側で画像データに時刻情報を付加せずとも、音声データと画像データとの同期をとることができる。
【００５１】
なお、本実施の形態では、データ蓄積バッファ１０３の容量は規定していないが、通信相手の画像通信端末装置との通信速度と、自端末から要求した再送データが通信相手の画像通信端末装置により送信され自端末に到達するまでの時間から求まる値である再送応答時間とを乗じた容量としてもよい。
【００５２】
（実施の形態２）
図８は、本実施の形態の画像通信端末装置７００の主要部構成を示すブロック図である。ここで、実施の形態１に係る画像通信端末装置１００と同じ構成要素には同じ符号が付されその説明が省略される。また、画像通信端末装置７００の全体構成は、画像通信端末装置１００と同様であるので、その説明を省略する。
【００５３】
画像通信端末装置７００は、多重・多重分離部１０１と、画像制御部１０６と、タイマ７０２を有する到着タイムスタンプ（Ａｒｒｉｖｅｄ Ｔｉｍｅ Ｓｔａｍｐ）付加処理部７０３、データ処理部７０４、データ蓄積バッファ７０５を有するデータ蓄積処理部７０６及びタイマ７０７を有するデータ送信処理部７０８を備える受信同期制御部７１０と、を具備する。
【００５４】
次に、画像通信端末装置７００の動作について、図８から図１３を参照して説明する。
【００５５】
図９は、到着タイムスタンプ（ＡＴＳ）付加処理部７０３の動作を示したフロー図である。図１０は、データ処理部７０４の動作を示したフロー図である。図１１は、データ蓄積処理部７０６の動作を示したフロー図である。図１２は、データ送信処理部７０８の動作を示したフロー図である。図１３は、データ蓄積バッファ７０５の一状態を示した図である。
【００５６】
まず、多重・多重分離部１０１は、通信相手である画像通信端末装置から送信された画像データを到着タイムスタンプ付加処理部７０３に与える。
【００５７】
図９に示すように、到着タイムスタンプ付加処理部７０３は、画像データ受信待ち状態（ＳＴ８０１）にあり、多重・多重分離部１０１から画像データを受信する（ＳＴ８０２）。
【００５８】
次に、到着タイムスタンプ付加処理部７０３は、タイマ７０２を使用して、現在の時刻を取得する（ＳＴ８０３）。そして、到着タイムスタンプ付加処理部７０３は、取得した現在の時刻を到着タイムスタンプとして、受信した画像データに付加する（ＳＴ８０４）。
【００５９】
到着タイムスタンプ付加処理部７０３は、ＳＴ８０４で到着タイムスタンプを付加した画像データをデータ処理部７０４に送信する（ＳＴ８０５）。到着タイムスタンプ付加処理部７０３は、データをデータ処理部７０４に送信した後は、ＳＴ８０１の画像データ受信待ち状態に戻る。
【００６０】
図１０に示すように、データ処理部７０４は、到着タイムスタンプ付加処理部７０３からの到着タイムスタンプが付加された画像データの受信待ち状態（ＳＴ９０１）にあり、到着タイムスタンプ付加処理部７０３から画像データが送信されると（ＳＴ８０５）、その画像データを受信する（ＳＴ９０２）。
【００６１】
次に、データ処理部７０４は、受信した画像データにエラーが無いかを検査する（ＳＴ９０３）。検査の結果がデータの正常を示す時（ＳＴ９０３：ＹＥＳ）には、データ処理部７０４は、画像データをデータ蓄積処理部７０６に送信する（ＳＴ９０４）。検査の結果がデータの異常を示す時（ＳＴ９０３：ＮＯ）には、データ処理部７０４は、通信相手の画像通信端末装置に対し再送要求を実行し（ＳＴ９０５）、仮蓄積用データを作成して（ＳＴ９０６）、仮蓄積用データをデータ蓄積処理部７０６に送信する（ＳＴ９０４）。
【００６２】
ＳＴ９０４においてデータ蓄積処理部７０６にデータを送信した後に、データ処理部７０４は、ＳＴ９０１の画像データ受信待ち状態に戻る。
【００６３】
図１１に示すように、データ蓄積処理部７０６は、画像データ受信待ち状態（ＳＴ１００１）にあり、画像データがデータ処理部７０４から送信されると（ＳＴ９０４）、その画像データを受信する（ＳＴ１００２）。
【００６４】
次に、データ蓄積処理部７０６は、受信した画像データが通常の画像データであるか、再送データであるかを検査する（ＳＴ１００３）。
【００６５】
検査の結果が通常のデータあることを示す場合（ＳＴ１００３：ＹＥＳ）、データ蓄積処理部７０６は、データ蓄積バッファ７０５に画像データを蓄積する（ＳＴ１００４）。
【００６６】
検査の結果が再送データであることを示す場合（ＳＴ１００３：ＮＯ）、データ蓄積処理部７０６は、データ蓄積バッファ７０５に再送データの上書きが可能であるか検査する（ＳＴ１００９）。ＳＴ９０６で作成された仮蓄積用データが存在し、そのデータと再送データが同一内容のデータである場合（ＳＴ１００９：ＹＥＳ）、データ蓄積処理部７０６は、その仮蓄積用データをその再送データで上書きする（ＳＴ１０１０）。その後、データ蓄積処理部７０６は、ＳＴ１００１の画像データ受信待ち状態に戻る。
【００６７】
ＳＴ１００４の次に、データ蓄積処理部７０６は、すでにデータ蓄積バッファ７０５に一定量の画像データが蓄積されていることを示す蓄積完了フラグがオフであるかを検査する（ＳＴ１００５）。
【００６８】
検査の結果、蓄積完了フラグがオフである場合（ＳＴ１００５：ＹＥＳ）、データ蓄積処理部７０６は、ＳＴ１００４の画像データの蓄積によりデータ蓄積バッファ７０５に一定量の画像データが蓄積されたかを判断する（ＳＴ１００６）。
【００６９】
検査の結果、すでに画像データが一定量確保されているとフラグにより判断された場合（ＳＴ１００５：ＮＯ）、データ蓄積処理部７０６は、ＳＴ１００１の画像データ受信待ちに戻る。
【００７０】
一定量の画像データが蓄積されたことを確認した場合（ＳＴ１００６：ＹＥＳ）、データ蓄積処理部７０６は、データ蓄積完了フラグをオンにする（ＳＴ１００７）。
【００７１】
そして、データ蓄積処理部７０６は、データ蓄積バッファ７０５に蓄積されたデータの送信処理開始指示をデータ送信処理部７０８に対して行い、データ送信部７０８におけるタイマ７０７を満了までの時間０秒として起動させる（ＳＴ１００８）。
【００７２】
まだ一定量の画像データが蓄積されていないと判断された場合（ＳＴ１００６：ＮＯ）、データ蓄積処理部７０６は、ＳＴ１００１の画像データ受信待ち状態に戻る。
【００７３】
一度画像データが一定の蓄積量に達すると、データ蓄積処理部７０６は、ＳＴ１００４のデータ蓄積バッファ７０５への画像データの蓄積を繰り返す。ＳＴ１００８のデータ送信処理開始は、画像データの蓄積量が一定値を超えた場合にのみ実行される。
【００７４】
図１２に示すように、データ送信処理部７０８は、タイマ７０７の満了待ち状態にある（ＳＴ１１０１）。初回には、データ送信処理部７０８は、ＳＴ１００８の送信処理開始指示によりタイマ７０７にタイマ満了値を設定する。データ送信処理部７０８は、タイマ満了により、画像制御部１０６に対してデータ蓄積バッファ７０５に蓄積されている最も古い蓄積データを送信する（ＳＴ１１０２）。
【００７５】
次に、データ送信処理部７０８は、ＳＴ１１０２で送信された画像データの到着タイムスタンプと、次回送信される現時点における最も古い蓄積データの到着タイムスタンプとの差分値を取得する。データ送信処理部７０８は、この差分値をタイマ７０７にセットして、タイマ満了までの時間とする（ＳＴ１１０３）。
【００７６】
図１３は、データ蓄積バッファ７０５の一状態において、データ送信処理部７０８が画像制御部１０６に対して画像データを送信する様子を示した図である。
【００７７】
データ送信処理部７０８がデータ１２０１を画像制御部１０６に対して送信した場合、次に送信されるデータはデータ１２０２である。データ１２０２が送信されるタイミングとなるタイマ７０７の満了時間は、データ１２０１の到着タイムスタンプＡＴＳ１と、データ１２０２の到着タイムスタンプＡＴＳ２との差分値であるＴ１となる。このＴ１がタイマ７０７に対して満了時間としてセットされ、次回タイマ満了時にデータ１２０２が画像制御部１０６に対して送信される。
【００７８】
このように、データ蓄積処理部７０６が画像データの蓄積を行い、データ送信処理部７０８が画像制御部１０６への画像データの送信を到着タイムスタンプ付加処理部７０３により付加された到着タイムスタンプを基準に行っているため、画像制御部１０６への画像データの送信タイミングは、画像データの到着タイミングとまったく同じとなる。
【００７９】
また、画像通信端末装置７００は、音声データの再生遅延時間に画像データがデータ蓄積バッファ７０５に蓄積されるまでの時間を加えた時間だけ遅延制御部１１５が音声データを保持して音声制御部１１１に送信することにより、音声と画像の同期がとれ、滑らかな再生が可能となる。
【００８０】
また、画像通信端末装置７００は、異常データ受信時に通信相手の画像通信端末装置７００に対して再送要求を行ってから再送されたデータを受信するまでの間は、すでに蓄積された画像データを画像制御部１０６へ順次送信するため、画像と音声の同期がずれることを防ぐことができる。
【００８１】
また、画像通信端末装置７００は、自端末のみで同期制御を行うため、送信側で画像データに時刻情報を付加せずとも、音声データと画像データとの同期をとることができる。
【００８２】
なお、本実施の形態では、データ蓄積バッファ７０５の容量は規定していないが、通信相手の画像通信端末装置との通信速度と、自端末から要求した再送データが通信相手の画像通信端末装置により送信され自端末に到達するまでの時間から求まる値である再送応答時間とを乗じた容量としてもよい。
【００８３】
また、本実施の形態においては、到着タイムスタンプ付加処理部７０３は、到着時刻を到着タイムスタンプ付加処理部７０３が備えるタイマ７０２から取得したが、日時情報を報知する基地局若しくはＧＰＳからの日時情報又は電波時計からの日時情報を用いてもよい。
【００８４】
また、本実施の形態においては、到着タイムスタンプ付加処理部７０３は、すべてのデータに対して到着タイムスタンプを付加したが、画像データにスタートコードが含まれる場合にのみその画像データに到着タイムスタンプを付加する構成、一定回数のスタートコードを検出するごとにその画像データに到着タイムスタンプを付加する構成、一定の個数画像データを受信した時点で画像データに到着タイムスタンプを付加する構成又は一定量異常の画像データを受信した時点で画像データに到着タイムスタンプを付加する構成としてもよい。
【００８５】
（実施の形態３）
図１４は、本実施の形態の画像通信端末装置１３００の主要部構成を示すブロック図である。ここで、実施の形態１に係る画像通信端末装置１００と同じ構成要素には同じ符号が付されその説明が省略される。また、画像通信端末装置１３００の全体構成は、画像通信端末装置１００と同様であるので、その説明を省略する。
【００８６】
画像通信端末装置１３００は、多重・多重分離部１０１と、画像制御部１０６と、データ処理部１３０２、スタートコード検索処理部１３０３、データ蓄積バッファ１３０４、データ蓄積バッファ１３０４を有するデータ蓄積処理部１３０５及びデータ送信処理部１３０６を有する受信同期制御部１３０８とを具備する。
【００８７】
次に、画像通信端末装置１３００の動作について、図１４から図１９を参照して説明する。
【００８８】
図１５は、データ処理部１３０２の動作を示したフロー図である。図１６は、スタートコード検索処理部１３０３の動作を示したフロー図である。図１７は、データ蓄積処理部１３０５の動作を示したフロー図である。図１８は、データ送信処理部１３０６の動作を示したフロー図である。図１９は、データ蓄積バッファ１３０４の一状態を示した図である。
【００８９】
まず、多重・多重分離部１０１は、通信相手である画像通信端末装置から送信された画像データをデータ処理部１３０２に与える。
【００９０】
図１５に示すように、データ処理部１３０２は、画像データ受信待ち状態（ＳＴ１４０１）にあり、多重・多重分離部１０１から画像データを受信する（ＳＴ１４０２）。
【００９１】
次に、データ処理部１３０２は、受信した画像データにエラーが無いかを検査する（ＳＴ１４０３）。検査の結果がデータの正常を示す時（ＳＴ１４０３：ＹＥＳ）には、データ処理部１３０２は、スタートコード検索処理部１３０３に画像データを送信する（ＳＴ１４０４）。検査の結果がデータの異常を示す時（ＳＴ１４０３：ＮＯ）には、データ処理部１３０２は、通信相手の画像通信端末装置に対し再送要求を実行し（ＳＴ１４０５）、仮蓄積用データを作成して（ＳＴ１４０６）、仮蓄積用データをスタートコード検索処理部１３０３に送信する（ＳＴ１４０４）。
【００９２】
ＳＴ１４０４においてスタートコード検索処理部１３０３にデータを送信した後に、データ処理部１３０２は、ＳＴ１４０１の画像データ受信待ち状態に戻る。
【００９３】
図１６に示すように、スタートコード検索処理部１３０３は、画像データ受信待ち状態（ＳＴ１５０１）にあり、画像データがデータ処理部１３０２から送信されると（ＳＴ１４０４）、その画像データを受信する（ＳＴ１５０２）。
【００９４】
次に、スタートコード検索処理部１３０３は、受信した画像データにスタートコードが含まれるかを検査する（ＳＴ１５０３）。
【００９５】
検査の結果、スタートコードが含まれる場合（ＳＴ１５０３：ＹＥＳ）には、スタートコード検索処理部１３０３は、受信画像データにスタートコード属性を付加し（ＳＴ１５０４）、その画像データをデータ蓄積処理部１３０５へ送信して（ＳＴ１５０５）、その後、ＳＴ１５０１の画像データ受信待ち状態に戻る。
【００９６】
検査の結果、スタートコードが含まれない場合（ＳＴ１５０３：ＮＯ）には、スタートコード検索処理部１３０３は、スタートコード属性を付加せずに、データ蓄積処理部１３０５へ画像データを送信して（ＳＴ１５０５）、その後、ＳＴ１５０１の画像データ受信待ち状態に戻る。
【００９７】
図１７に示すように、データ蓄積処理部１３０５は、画像データ受信待ち状態（ＳＴ１６０１）にあり、スタートコード検索処理部１３０３から画像データが送信されると（ＳＴ１５０５）、その画像データを受信する（ＳＴ１６０２）。
【００９８】
次に、データ蓄積処理部１３０５は、受信した画像データが通常の画像データであるか、再送データであるかを検査する（ＳＴ１６０３）。
【００９９】
検査の結果が通常のデータであることを示す場合（ＳＴ１６０３：ＹＥＳ）、データ蓄積処理部１３０５は、受信データに対してスタートコード属性が付加されているかどうかを検査する（ＳＴ１６０４）。スタートコード属性が付加されていない場合（ＳＴ１６０４：ＹＥＳ）には、データ蓄積処理部１３０５は、データ蓄積バッファ１３０４に画像データを蓄積する（ＳＴ１６０５）。スタートコード属性が付加されている場合（ＳＴ１６０４：ＮＯ）には、データ蓄積処理部１３０５は、通信相手の画像通信端末装置に対し再送要求を実行し、仮蓄積用データを作成して（ＳＴ１６１４）、データ蓄積バッファ１３０４に蓄積する（ＳＴ１６０５）。
【０１００】
検査の結果が再送データであることを示す場合（ＳＴ１６０３：ＮＯ）、データ蓄積処理部１３０５は、データ蓄積バッファ１３０４に再送データの上書きが可能であるか検査する（ＳＴ１６０９）。ＳＴ１４０６で作成された仮蓄積用データが存在し、そのデータと再送データが同一内容のデータである場合（ＳＴ１６０９：ＹＥＳ）、データ蓄積処理部１３０５は、その仮蓄積用データをその再送データで上書きする（ＳＴ１６１０）。
【０１０１】
そして、データ蓄積処理部１３０５は、上書きした再送データにスタートコード属性が付加さているかを検査する（ＳＴ１６１１）。
【０１０２】
スタートコード属性が付加されている場合（ＳＴ１６１１：ＹＥＳ）には、データ蓄積処理部１３０５は、蓄積完了フラグがオンかどうかを判断する（ＳＴ１６１２）。判断結果がオンを示している場合（ＳＴ１６１２：ＹＥＳ）には、データ蓄積処理部１３０５は、データ送信処理部１３０６に対してデータ送信処理開始指示を行い、上書きしたスタートコード属性付画像データより以前に蓄積されていたデータすべてを送信するように指示する（ＳＴ１６１３）。その後、データ蓄積処理部１３０５は、ＳＴ１６０１の画像データ受信待ち状態に戻る。
【０１０３】
なお、データ蓄積バッファ１３０４に上書きが不可能な場合（ＳＴ１６０９：ＮＯ）、上書きしたデータにスタートコード属性がない場合（ＳＴ１６１１：ＮＯ）及び蓄積完了フラグがオフの場合（ＳＴ１６１２：ＮＯ）には、データ蓄積処理部１３０５は、ＳＴ１６０１の画像データ受信待ち状態に戻る。
【０１０４】
ＳＴ１６０５の次に、データ蓄積処理部１３０５は、すでにデータ蓄積バッファ１３０４に一定量の画像データが蓄積されていることを示す蓄積完了フラグがオフであるかを検査する（ＳＴ１６０６）。
【０１０５】
検査の結果、蓄積完了フラグがオフである場合（ＳＴ１６０６：ＹＥＳ）、データ蓄積処理部１３０５は、ＳＴ１６０５の画像データの蓄積によりデータ蓄積バッファ１３０４に一定量の画像データが蓄積されたかを判断する（ＳＴ１６０７）。
【０１０６】
すでに画像データが一定量確保されているとフラグにより判断された場合（ＳＴ１６０６：ＮＯ）、データ蓄積処理部１３０５は、ＳＴ１６０１の画像データ受信待ち状態に戻る。
【０１０７】
一定量の画像データが蓄積されたことを確認した場合（ＳＴ１６０７：ＹＥＳ）、データ蓄積完了フラグをオンにし（ＳＴ１６０８）、ＳＴ１６０１の画像データ受信待ち状態に戻る。
【０１０８】
図１８に示すように、データ送信処理部１３０６は、データ蓄積処理部１３０５からのデータ送信処理開始指示を待つ状態（ＳＴ１７０１）にあり、データ送信処理開始指示を受信した場合、画像制御部１０６に対してデータ蓄積バッファ１３０４の内容を送信し（ＳＴ１７０２）、その後、ＳＴ１７０１のデータ送信処理開始指示を待つ状態に戻る。
【０１０９】
図１９は、データ蓄積バッファ１３０４の一状態を示したものである。
【０１１０】
データ１８０１は、スタートコード属性が付加されているため、ＳＴ１６１４の再送要求処理により再送待ち状態となっている。その再送データが通信相手の画像通信端末装置より送信されてくるまでの間に、データ１８０２、データ１８０３、再送待ちデータ１８０４、データ１８０５、再送待ちデータ１８０６及びデータ１８０７が蓄積される。再送データ１８０９が上書きされた時点においては、以前に蓄積されたスタートコード属性付きデータが存在しないため、蓄積されたデータは画像制御部１０６へは送信されない。
【０１１１】
再送データ１８１１が上書きされた時点においては、再送データ１８１０も上書きされており、この時点においてデータ１８０９、データ１８０２、データ１８０３、データ１８１０及びデータ１８０５が一斉に画像制御部１０６に対して送信される。以降、この処理が繰り返される。
【０１１２】
このように、データ蓄積処理部１３０５が画像データの蓄積を行い、データ送信処理部１３０６が画像制御部１０６への画像データの送信をスタートコード検索処理部１３０３により付加されたスタートコード属性を持つ画像データを基準に行っている。このため、スタートコード属性を持つ再送された画像データが２つ以上蓄積された段階で、古いスタートコード属性を持つ画像データから、次のスタートコード属性を持つ画像データの直前のデータまでの画像データ群が画像制御部１０６へ送信されるため、画像データ蓄積中に再送が生じても、滞りなく画像制御部１０６に送信される。
【０１１３】
画像通信端末装置１３００は、音声データの再生遅延時間に、画像データがデータ蓄積バッファ１３０４に蓄積されるまでの時間と、最初に画像データ群が完成するまでの時間とを加えた時間だけ遅延制御部１１５が音声データを保持して音声制御部１１１に送信することにより、音声を再生することで、音声と画像の同期を保つことが可能となる。
【０１１４】
また、画像通信端末装置１３００は、自端末のみで同期制御を行うため、送信側で画像データに時刻情報を付加せずとも、音声データと画像データの同期を取ることができる。
【０１１５】
なお、本実施の形態では、データ蓄積バッファ１３０４の容量は規定していないが、通信相手の画像通信端末装置との通信速度と、自端末から要求した再送データが通信相手の画像通信端末装置により送信され自端末に到達するまでの時間から求まる値である再送応答時間とを乗じた容量としてもよい。
【０１１６】
なお、本実施の形態においては、画像通信端末装置１３００は、データ蓄積バッファ１３０４の蓄積量に応じて蓄積完了フラグをＯＮにする構成としているが、通信開始時から２番目のスタートコード属性を含む再送された画像データを受信したことをきっかけに、蓄積完了フラグをＯＮとする構成としてもよい。
【０１１７】
（実施の形態４）
図２０は、本実施の形態の画像通信端末装置１９００の構成を示すブロック図である。ここで、実施の形態１に係る画像通信端末装置１００と同じ構成要素には同じ符号が付されその説明が省略される。また、画像通信端末装置１９００の全体構成は、画像通信端末装置１００と同様であるので、その説明を省略する。
【０１１８】
画像通信端末装置１９００は、多重・多重分離部１０１と、画像制御部１０６と、タイマ１９０２を有するビットレート測定処理部１９０３、データ処理部１９０４、データ蓄積バッファ１９０５を有するデータ蓄積処理部１９０６及びタイマ１９０７を有するデータ送信処理部１９０８を備える受信同期制御部１９１０と、を具備する。
【０１１９】
次に、画像通信端末装置１９００の動作について、図２０から図２５を参照して説明する。
【０１２０】
図２１は、ビットレート測定処理部１９０３の動作を示したフロー図である。図２２は、データ処理部１９０４の動作を示したフロー図である。図２３は、データ蓄積処理部１９０６の動作を示したフロー図である。図２４は、データ送信処理部１９０８の動作を示したフロー図である。図２５は、データ蓄積バッファ１９０５の一状態を示した図である。
【０１２１】
まず、多重・多重分離部１０１は、通信相手である画像通信端末装置から送信された画像データをビットレート測定処理部１９０３に与える。
【０１２２】
図２１に示すように、ビットレート測定処理部１９０３は、画像データ受信待ち状態（ＳＴ２００１）にあり、多重・多重分離部１０１から画像データを受信する（ＳＴ２００２）。
【０１２３】
次に、ビットレート測定処理部１９０３は、画像データ受信個数がＮ個に達しているか検査する（ＳＴ２００３）。検査の結果、Ｎ個に達していた場合（ＳＴ２００３：ＹＥＳ）には、ビットレート測定処理部１９０３は、受信個数を０個に戻す処理を実行する（ＳＴ２００４）。検査の結果、Ｎ個に達していない場合（ＳＴ２００３：ＮＯ）には、ビットレート測定処理部１９０３は、受信した画像データをデータ処理部１９０４に送信し（ＳＴ２００９）、ＳＴ２００１の画像データ受信待ち状態に戻る。
【０１２４】
ＳＴ２００４の受信個数を０個に戻す処理を実行した後に、ビットレート測定処理部１９０３は、タイマ１９０２を使用して現在の時刻を計測する（ＳＴ２００５）。続いて、ビットレート測定処理部１９０３は、前回計測した現在時刻と、今回計測した現在時刻との差分を計測する（ＳＴ２００６）。
【０１２５】
ビットレート測定処理部１９０３は、ＳＴ２００６で求まった時間の差分と、受信済みＮ個の画像データ総容量とから、ビットレートを測定する（ＳＴ２００７）。ビットレート測定処理部１９０３は、求まったビットレートをデータ送信処理部１９０８に設定する（ＳＴ２００８）。そして、ビットレート測定処理部１９０３は、受信した画像データをデータ処理部１９０４に送信し（ＳＴ２００９）、ＳＴ２００１の画像データ受信待ち状態に戻る。
【０１２６】
図２２に示すように、データ処理部１９０４は、画像データ受信待ち状態（ＳＴ２１０１）にあり、ビットレート測定処理部１９０３から画像データが送信されると（ＳＴ２００９）、その画像データを受信する（ＳＴ２１０２）。
【０１２７】
次に、データ処理部１９０４は、受信した画像データにエラーが無いかを検査する（ＳＴ２１０３）。検査の結果がデータの正常を示す時（ＳＴ２１０３：ＹＥＳ）には、データ処理部１９０４は、画像データをデータ蓄積処理部１９０６に送信する（ＳＴ２１０４）。検査の結果がデータの異常を示す時（ＳＴ２１０３：ＮＯ）には、データ処理部１９０４は、通信相手の画像通信端末装置に対し再送要求を実行し（ＳＴ２１０５）、仮蓄積用データを作成して（ＳＴ２１０６）、仮蓄積用データをデータ蓄積処理部１９０６に送信する（ＳＴ２１０４）。
【０１２８】
ＳＴ２１０４においてデータ蓄積処理部１９０６にデータを送信した後に、データ処理部１９０４は、ＳＴ２１０１の画像データ受信待ち状態に戻る。
【０１２９】
図２３に示すように、データ蓄積処理部１９０６は、画像データ受信待ち状態（ＳＴ２２０１）にあり、画像データがデータ処理部１９０４から送信されると（ＳＴ２１０４）、その画像データを受信する（ＳＴ２２０２）。
【０１３０】
次に、データ蓄積処理部１９０６は、受信した画像データが通常の画像データであるか、再送データであるかを検査する（ＳＴ２２０３）。
【０１３１】
検査の結果が通常のデータであることを示す場合（ＳＴ２２０３：ＹＥＳ）、データ蓄積処理部１９０６は、データ蓄積バッファ１９０５に対して画像データを蓄積する（ＳＴ２２０４）。
【０１３２】
検査の結果が再送データであることを示す場合（ＳＴ２２０３：ＮＯ）、データ蓄積処理部１９０６は、データ蓄積バッファ１９０５に再送データを上書き可能であるか検査する（ＳＴ２２０９）。ＳＴ２１０６で作成された仮蓄積用データが存在し、そのデータと再送データが同一内容のデータである場合（ＳＴ２２０９：ＹＥＳ）、データ蓄積処理部１９０６は、その仮蓄積用データをその再送データで上書きする（ＳＴ２２１０）。その後、データ蓄積処理部１９０６は、ＳＴ２２０１の画像データ受信待ち状態に戻る。
【０１３３】
ＳＴ２２０４の次に、データ蓄積処理部１９０６は、すでにデータ蓄積バッファ１９０５に一定量の画像データが蓄積されていることを示す蓄積完了フラグがオフであるかを検査する（ＳＴ２２０５）。
【０１３４】
検査の結果、蓄積完了フラグがオフである場合（ＳＴ２２０５：ＹＥＳ）、データ蓄積処理部１９０６は、ＳＴ２２０４の画像データの蓄積によりデータ蓄積バッファ１９０５に一定量の画像データが蓄積されたかを判断する（ＳＴ２２０６）。
【０１３５】
検査の結果、すでに画像データが一定量確保されているとフラグにより判断された場合（ＳＴ２２０５：ＮＯ）、データ蓄積処理部１９０６は、ＳＴ２２０１の画像データ受信待ち状態に戻る。
【０１３６】
一定量の画像データが蓄積されたことを確認した場合（ＳＴ２２０６：ＹＥＳ）、データ蓄積処理部１９０６は、データ蓄積完了フラグをオンにする（ＳＴ２２０７）。そして、データ蓄積処理部１９０６は、データ蓄積バッファ１９０５に蓄積されたデータの送信処理開始指示をデータ送信処理部１９０８に対して実行し（ＳＴ２２０８）、データ送信処理部１９０８を起動させる。
【０１３７】
まだ一定量の画像データが蓄積されていないと判断された場合（ＳＴ２２０６：ＮＯ）、データ蓄積処理部１９０６は、ＳＴ２２０１の画像データ受信待ち状態に戻る。
【０１３８】
図２４に示すように、データ送信処理部１９０８は、データ蓄積処理部１９０６からの送信処理開始指示を待つ状態（ＳＴ２３０１）にあり、ＳＴ２２０８でデータ蓄積処理部１９０６からデータ送信処理部１９０８に対する送信処理開始指示が実行されると、起動タイミング用タイマ満了待ち状態となる（ＳＴ２３０２）。
【０１３９】
続いて、起動タイミングタイマが満了すると、データ送信処理部１９０８は、ビットレート測定処理部１９０３により設定されたビットレートと、起動タイミング用タイマに設定されたタイマ値とにより、画像制御部１０６へのデータ送信容量の測定処理が実行する（ＳＴ２３０３）。
【０１４０】
そして、データ送信処理部１９０８は、ＳＴ２３０３のデータ送信容量の測定処理より求まったデータ容量分を、データ蓄積バッファ１９０５から画像制御部１０６に対し送信し（ＳＴ２３０４）、その後、ＳＴ２３０２の起動タイミング用タイマ満了待ち状態に戻る。
【０１４１】
図２５は、データ蓄積バッファ１９０５の一状態を示した図である。
【０１４２】
データ送信処理部１９０８は、起動タイミング用タイマが満了すると、ＳＴ２３０３のデータ送信容量の測定処理により求まったデータ量分だけを、データ蓄積バッファ１９０５から画像制御部１０６へ送信する。すなわち、データ送信処理部１９０８は、図２４におけるデータ２４０１の一部がデータ送信容量に相当し、この部分を画像制御部１０６へ送信する。
【０１４３】
このように、データ蓄積処理部１９０６が画像データの蓄積を行い、データ送信処理部１９０８が画像制御部１０６への画像データの送信をビットレート測定処理部１９０３により測定されたビットレートを基準に行っている。このため、画像制御部１０６への画像データの送信タイミングは、通信相手である画像通信端末装置より送信された画像データのビットレートに従って制御され、安定したタイミングで画像制御部１０６へ画像データを転送することができる。
【０１４４】
画像通信端末装置１９００は、音声データの再生遅延時間に画像データがデータ蓄積バッファ１９０５に蓄積されるまでの時間を加えた時間だけ遅延制御部１１５が音声データを保持して音声制御部１１１に送信することにより、音声と画像の遅延時間は解消され、同期が取れた滑らかな画像及び音声再生が可能となる。
【０１４５】
画像通信端末装置１９００は、異常データ受信時に通信相手の画像通信端末装置に対し再送要求を行ってから再送されたデータを受信するまでの間は、すでに蓄積された画像データを画像制御部１０６へ順次送信するため、画像と音声の同期がずれることを防ぐことができる。
【０１４６】
また、画像通信端末装置１９００は、自端末のみで同期制御を行うため、送信側で画像データに時刻情報を付加せずとも、音声データと画像データの同期を取ることができる。
【０１４７】
なお、本実施の形態では、データ蓄積バッファ１９０５の容量は規定していないが、通信相手の画像通信端末装置との通信速度と、自端末から要求した再送データが通信相手の画像通信端末装置により送信され自端末に到達するまでの時間から求まる値である再送応答時間とを乗じた容量としてもよい。
【０１４８】
なお、本実施の形態においては、ビットレート測定処理部１９０３は、現在時刻をビットレート測定処理部１９０３に内蔵のタイマ１９０２から取得する構成としたが、日時情報を報知する基地局若しくはＧＰＳからの日時情報又は電波時計からの日時情報を用いる構成としてもよい。
【０１４９】
（実施の形態５）
図２６は、本実施の形態の画像通信端末装置２５００の主要部構成を示すブロック図である。
【０１５０】
画像通信端末装置２５００は、画像制御部２５０１と、音声制御部２５０２と、多重処理部２５１１と、画像データ処理部２５０３、音声データ処理部２５０４、データ蓄積バッファ２５０５及びスタートコード検索処理部２５０６を有する画像データ蓄積処理部２５０７、データ蓄積バッファ２５０８を有する音声データ蓄積処理部２５０９並びにデータ送信処理部２５１０を備える送信同期制御部２５１２と、を具備する。
【０１５１】
次に、画像通信端末装置２５００の動作について、図２６から図３３を参照して説明する。
【０１５２】
図２７は、画像データ処理部２５０３の動作示したフロー図である。図２８は、音声データ処理部２５０４の動作を示したフロー図である。図２９は、画像データ蓄積処理部２５０７の動作を示したフロー図である。図３０は、音声データ蓄積処理部２５０９の動作を示したフロー図である。図３１は、データ送信処理部２５１０の動作を示したフロー図である。図３２は、データ蓄積バッファ２５０５の一状態を示した図である。図３３は、データ蓄積バッファ２５０８の一状態を示した図である。
【０１５３】
図２７に示すように、画像データ処理部２５０３は、画像制御部２５０１からの画像データを受信待ち状態（ＳＴ２６０１）にあり、画像制御部２５０１から画像データが送信されると、その画像データを受信する（ＳＴ２６０２）。画像データ処理部２５０３は、受信した画像データに誤り検出符号付加処理を施し（ＳＴ２６０３）、画像データ蓄積処理部２５０７へデータを送信する（ＳＴ２６０４）。
【０１５４】
図２８に示すように、音声データ処理部２５０４は、音声制御部２５０２からの音声データを受信待ち状態（ＳＴ２７０１）にあり、音声制御部２５０２から音声データが送信されると、その音声データを受信する（ＳＴ２７０２）。音声データ処理部２５０４は、受信した音声データに誤り検出符号付加処理を施し（ＳＴ２７０３）、音声データ蓄積処理部２５０９へデータを送信する（ＳＴ２７０４）。
【０１５５】
図２９に示すように、画像データ蓄積処理部２５０７は、画像データ処理部２５０３からの画像データを受信待ち状態（ＳＴ２８０１）にあり、画像データ処理部２５０３から画像データが送信されると、その画像データを受信する（ＳＴ２８０２）。
【０１５６】
画像データ蓄積処理部２５０７は、ＳＴ２８０２で画像データを受信すると、スタートコード検索処理部２５０６に対して画像データのスタートコード検索処理の要求を行い、このスタートコード検索処理の要求に応じて、スタートコード検索処理部２５０６は、スタートコード検索処理を行う（ＳＴ２８０３）。
【０１５７】
検索の結果、受信画像データがスタートコードを含んでいる場合（ＳＴ２８０３：ＹＥＳ）には、画像データ蓄積処理部２５０７は、以前にデータ蓄積バッファ２５０５に蓄積されたデータがあるか検査する（ＳＴ２８０４）。
【０１５８】
検査の結果、蓄積されたデータがある場合（ＳＴ２８０４：ＹＥＳ）には、画像データ蓄積処理部２５０７は、その蓄積データの送信指示をデータ送信処理部２５１０に対して行う（ＳＴ２８０５）。
【０１５９】
その後、画像データ蓄積処理部２５０７は、スタートコード検索処理部２５０６がスタートコード検索処理を行った画像データを、データ蓄積バッファ２５０５に蓄積する処理行い（ＳＴ２８０６）、ＳＴ２８０１の画像データ受信待ち状態に戻る。
【０１６０】
検索の結果、受信データにスタートコードが含まれない場合（ＳＴ２８０３：ＮＯ）には、画像データ蓄積処理部２５０７は、スタートコード検索処理部２５０６がスタートコード検索処理を行った画像データを、データ蓄積バッファ２５０５へ蓄積する処理を行い（ＳＴ２８０６）、ＳＴ２８０１の画像データ受信待ち状態に戻る。
【０１６１】
また、データ蓄積バッファ２５０５に蓄積されたデータがない場合（ＳＴ２８０４：ＮＯ）には、スタートコード検索処理部２５０６がスタートコード検索処理を行った画像データを、データ蓄積バッファ２５０５へ蓄積する処理を行い（ＳＴ２８０６）、ＳＴ２８０１の画像データ受信待ち状態に戻る。
【０１６２】
図３０に示すように、音声データ蓄積処理部２５０９は、音声データ処理部２５０４からの音声データの受信待ち状態（ＳＴ２９０１）にあり、音声データ処理部２５０４からデータが送信されると、その音声データを受信する（ＳＴ２９０２）。
【０１６３】
次に、音声データ蓄積処理部２５０９は、受信した音声データをデータ蓄積バッファ２５０８へ蓄積する処理を行い（ＳＴ２９０３）、ＳＴ２９０１の音声データ受信待ち状態に戻る。
【０１６４】
図３１に示すように、データ送信処理部２５１０は、画像データ蓄積処理部２５０７からのデータ送信の指示待ち状態（ＳＴ３００１）にあり、画像データ蓄積処理部２５０７から画像データ送信の指示があった場合、データ蓄積バッファ２５０５に蓄積されているすべての画像データを多重処理部２５１１へ送信する（ＳＴ３００２）。
【０１６５】
次に、データ送信処理部２５１０は、データ蓄積バッファ２５０８に蓄積されているすべての音声データを多重処理部２５１１へ送信し（ＳＴ３００３）、ＳＴ３００１のデータ送信の指示待ち状態に戻る。
【０１６６】
図３２は、データ送信処理部２５１０により画像データが多重処理部２５１１に送信される際のデータ蓄積バッファ２５０５の一状態を示した図である。画像データ３１０１から画像データ３１０７が、データ蓄積バッファ２５０５に蓄積されている。
【０１６７】
図３３は、データ送信処理部２５１０により音声データが多重処理部に送信される際のデータ蓄積バッファ２５０８の一状態を示した図である。音声データ３２０１から音声データ３２１０がデータ蓄積バッファ２５０８に蓄積されている。
【０１６８】
データ送信処理部２５１０により、画像データ及び音声データが多重処理部２５１１に送信されると、図３２におけるデータ３１０９のようにスタートコードを含む画像データと音声データとが、一つのパケットに多重化される。
【０１６９】
このように、画像通信端末装置２５００においては、画像データ蓄積処理部２５０７が画像データの蓄積を行い、また、音声データ蓄積処理部２５０９が音声データの蓄積を行う。そして、データ送信処理部２５１０が、データ蓄積バッファ２５０５にスタートコードを含む画像データが二つ蓄積された時点で、以前に蓄積されたスタートコードを含む画像データから新たに蓄積されたスタートコードを含む画像データの直前のデータまでを多重処理部２５１１へ送信する。その時、音声データとスタートコードを含む画像データとは、一つのパケットに多重化される。
【０１７０】
これにより、画像通信端末装置２５００の通信相手である受信側の画像通信端末装置は、このスタートコードを含む画像データと同じパケットに含まれる音声データとを、同時に表示及び再生することで、画像と音声とを完全に同期させることができる。
【０１７１】
また、画像通信端末装置２５００の通信相手である受信側の画像通信端末装置において再送要求処理が発生した場合の同期制御も、同じパケットに含まれる音声データと画像データを基準にタイミング調整を行うことで、再送処理発生時にも同期を保つことが可能となる。
【０１７２】
なお、通信相手である画像通信端末装置から画像データの再送要求が発生した時に、画像データ蓄積処理部２５０７のデータ蓄積バッファ２５０５に再送要求されたデータが存在している場合には、画像通信端末装置２５００は、通信相手の画像通信端末装置に対して要求されたデータを再送することができる。
【０１７３】
（実施の形態６）
図３４は、本実施の形態の画像通信端末装置３３００の構成を示すブロック図である。
【０１７４】
画像通信端末装置３３００は、多重分離部３３０１と、画像制御部３３１２と、音声制御部３３１３と、画像データ処理部３３０２、音声データ処理部３３０３、スタートコード検索処理部３３０４、データ蓄積バッファ３３０５を有する画像データ蓄積処理部３３０６、データ蓄積バッファ３３０７を有する音声データ蓄積処理部３３０８、画像データ送信処理部３３０９及びタイマ３３１０を有する音声データ送信処理部３３１１を備える受信同期制御部３３１４と、を具備する。
【０１７５】
次に、画像通信端末装置３３００の動作について、図３４から図４３を参照して説明する。
【０１７６】
図３５は、画像データ処理部３３０２の動作を示したフロー図である。図３６は、音声データ処理部３３０３の動作を示したフロー図である。図３７は、スタートコード検索処理部３３０４の動作を示したフロー図である。図３８は、画像データ蓄積処理部３３０６の動作を示したフロー図である。図３９は、音声データ蓄積処理部３３０８の動作を示したフロー図である。図４０は、画像データ送信処理部３３０９の動作を示したフロー図である。図４１は、音声データ送信処理部３３１１の動作を示したフロー図である。図４２は、データ蓄積バッファ３３０５の一状態を示した図である。図４３は、データ蓄積バッファ３３０７の一状態を示した図である。
【０１７７】
まず、多重分離部３３０１は、通信相手である画像通信端末装置から送信された画像データを画像データ処理部３３０２に与え、また、送信された音声データを音声データ処理部３３０３に与える。
【０１７８】
図３５に示すように、画像データ処理部３３０２は、多重分離部３３０１からの画像データの受信待ち状態（ＳＴ３４０１）にあり、多重分離部３３０１から画像データが送信されると、その画像データを受信する（ＳＴ３４０２）。
【０１７９】
次に、画像データ処理部３３０２は、受信した画像データにエラーが無いかを検査する（ＳＴ３４０３）。検査の結果がデータの正常を示す時（ＳＴ３４０３：ＹＥＳ）には、画像データ処理部３３０２は、画像データをスタートコード検索処理部３３０４に送信する（ＳＴ３４０４）。検査の結果がデータの異常を示す時（ＳＴ３４０３：ＮＯ）には、画像データ処理部３３０２は、通信相手の画像通信端末装置に対し再送要求を実行し（ＳＴ３４０５）、仮蓄積用データを作成して（ＳＴ３４０６）、仮蓄積用データをスタートコード検索処理部３３０４に送信する（ＳＴ３４０４）。
【０１８０】
ＳＴ３４０４においてスタートコード検索処理部３３０４にデータを送信した後に、画像データ処理部３３０２は、ＳＴ３４０１の画像データの受信待ち状態に戻る。
【０１８１】
図３６に示すように、音声データ処理部３３０３は、多重分離部３３０１からの音声データの受信待ち状態（ＳＴ３５０１）にあり、多重分離部３３０１から音声データが送信されると、その音声データを受信する（ＳＴ３５０２）。
【０１８２】
次に、音声データ処理部３３０３は、受信した音声データにエラーが無いかを検査する（ＳＴ３５０３）。検査の結果がデータの正常を示す時（ＳＴ３５０３：ＹＥＳ）には、音声データ処理部３３０３は、音声データを音声データ蓄積処理部３３０８に送信する（ＳＴ３５０４）。検査の結果がデータの異常を示す時（ＳＴ３５０３：ＮＯ）には、音声データ処理部３３０３は、仮蓄積用データを作成して（ＳＴ３５０５）、仮蓄積用データを音声データ蓄積処理部３３０８に送信する（ＳＴ３５０４）。
【０１８３】
ＳＴ３５０４において音声データ蓄積処理部３３０８にデータを送信した後に、音声データ処理部３３０３は、ＳＴ３５０１の音声データ受信待ち状態に戻る。
【０１８４】
図３７に示すように、スタートコード検索処理部３３０４は、画像データ処理部３３０２からの画像データの受信待ち状態（ＳＴ３６０１）にあり、画像データ処理部３３０２から画像データが送信されると、その画像データを受信する（ＳＴ３６０２）。
【０１８５】
次に、スタートコード検索処理部３３０４は、受信した画像データにスタートコードが含まれるかを検査する（ＳＴ３６０３）。
【０１８６】
検索の結果、受信画像データがスタートコードを含んでいる場合（ＳＴ３６０３：ＹＥＳ）には、スタートコード検索処理部３３０４は、受信画像データにスタートコード属性を付加し（ＳＴ３６０４）、音声データ蓄積処理部３３０８に対し受信音声データへスタートコード属性を付加する指示を行う（ＳＴ３６０５）。
【０１８７】
次に、スタートコード検索処理部３３０４は、画像データ蓄積処理部３３０６へ画像データを送信し（ＳＴ３６０６）、その後、ＳＴ３６０１の画像データ受信待ち状態に戻る。
【０１８８】
検索の結果、受信データにスタートコードが含まれない場合（ＳＴ３６０３：ＮＯ）には、スタートコード検索処理部３３０４は、スタートコード属性を付加せずに、画像データ蓄積処理部３３０６へ画像データを送信し（ＳＴ３６０６）、その後、ＳＴ３６０１の画像データ受信待ち状態に戻る。
【０１８９】
図３８に示すように、画像データ蓄積処理部３３０６は、スターコード検索処理部３３０４からの画像データの受信待ち状態（ＳＴ３７０１）にあり、スターコード検索処理部３３０４から画像データが送信されると、その画像データを受信する（ＳＴ３７０２）。
【０１９０】
次に、画像データ蓄積処理部３３０６は、受信した画像データが通常の画像データであるか、再送データであるかを検査する（ＳＴ３７０３）。
【０１９１】
検査の結果が通常のデータであることを示す場合（ＳＴ３７０３：ＹＥＳ）、画像データ蓄積処理部３３０６は、データ蓄積バッファ３３０５に画像データを蓄積し（ＳＴ３７０４）、ＳＴ３７０１の画像データ受信待ち状態に戻る。
【０１９２】
検査の結果が再送データであることを示す場合（ＳＴ３７０３：ＮＯ）、画像データ蓄積処理部３３０６は、データ蓄積バッファ３３０５に再送データの上書き可能であるか検査する（ＳＴ３７０５）。ＳＴ３４０６で作成された仮蓄積用データが存在し、そのデータと再送データが同一内容のデータである場合（ＳＴ３７０５：ＹＥＳ）、画像データ蓄積処理部３３０６は、その仮蓄積用データをその再送データで上書きし（ＳＴ３７０６）、その後、ＳＴ３７０１の画像データ受信待ち状態に戻る。
【０１９３】
図３９に示すように、音声データ蓄積処理部３３０８は、音声データ処理部３３０３からの音声データの受信待ち状態（ＳＴ３８０１）にあり、音声データ処理部３３０３から音声データが送信されると、その音声データを受信する（ＳＴ３８０２）。
【０１９４】
次に、音声データ蓄積処理部３３０８は、受信した音声データに対して、スタートコード検索処理部からスタートコード属性を付加する指示があるかを調査する（ＳＴ３８０３）。調査の結果、スタートコード属性の付加指示があった場合（ＳＴ３８０３：ＹＥＳ）、音声データ蓄積処理部３３０８は、その音声データに対してスタートコード属性を付加し（ＳＴ３８０４）、データ蓄積バッファ３３０７にその音声データを蓄積する（ＳＴ３８０５）。調査の結果、スタートコード属性の付加指示がなかった場合（ＳＴ３８０３：ＮＯ）には、スタートコード属性を付加することなく、その音声データをデータ蓄積バッファ３３０７に蓄積する（ＳＴ３８０５）。
【０１９５】
次に、音声データ蓄積処理部３３０８は、すでにデータ蓄積バッファ３３０７に一定量の音声データが蓄積されていることを示す蓄積完了フラグがオフであるかを検査する（ＳＴ３８０６）。
【０１９６】
検査の結果、蓄積完了フラグがオフである場合（ＳＴ３８０６：ＹＥＳ）、音声データ蓄積処理部３３０８は、ＳＴ３８０５の音声データの蓄積によりデータ蓄積バッファ３３０７に一定量の音声データが蓄積されたかを判断する（ＳＴ３８０７）。
【０１９７】
すでに音声データが一定量確保されているとフラグにより判断された場合（ＳＴ３８０６：ＮＯ）、音声データ蓄積処理部３３０８は、ＳＴ３８０１の音声データ受信待ち状態に戻る。
【０１９８】
一定量の音声データが蓄積されたことを確認した場合（ＳＴ３８０７：ＹＥＳ）、音声データ蓄積処理部３３０８は、データ蓄積完了フラグをオンにし（ＳＴ３８０８）、データ蓄積バッファ３３０５に蓄積された画像データの送信処理の開始指示を画像データ送信処理部３３０９に対して行う（ＳＴ３８０９）。
【０１９９】
次いで、音声データ蓄積処理部３３０８は、データ蓄積バッファ３３０７に蓄積された音声データの送信処理の開始指示を行い、タイマ３３１０にデータ送信タイミングを設定し（ＳＴ３８１０）、その後、ＳＴ３８０１の音声データ受信待ち状態に戻る。この送信処理開始指示を受けて、音声データ送信処理部３３１１が音声データの送信を行う。
【０２００】
図４０に示すように、画像データ送信処理部３３０９は、音声データ蓄積処理部３３０８又は音声データ送信処理部３３１１からの画像データ送信処理の指示待ち状態（ＳＴ３９０１）にあり、音声データ蓄積処理部３３０８からデータ送信の指示があると、データ蓄積バッファ３３０５の先頭スタートコード属性付データから、次スタートコード属性付データの直前データまでを画像制御部３３１２へ送信し（ＳＴ３９０２）、その後、ＳＴ３９０１の送信処理指示待ち状態に戻る。
【０２０１】
図４２に、画像データ送信処理部３３０９においてＳＴ３９０２のデータ送信処理が実行された様子を示している。先頭のスタートコード属性付画像データ４１０１から次スタートコード属性付画像データ４１０４の直前の画像データ４１０３までが、画像制御部３３１２へ送信される。
【０２０２】
図４１に示すように、音声データ送信処理部３３１１は、タイマ３３１０に基づくデータ送信タイミングの指示待ち状態（ＳＴ４００１）にあり、タイマ３３１０からデータ送信指示を受けると、データ蓄積バッファ３３０７の最も古いデータに対して、スタートコード属性が付加されているかを検査する（ＳＴ４００２）。
【０２０３】
検査の結果、スタートコード属性が付加されている場合（ＳＴ４００２：ＹＥＳ）には、音声データ送信処理部３３１１は、画像データ送信処理部３３０９に対して画像データ送信処理の開始支持を行い（ＳＴ４００３）、データ蓄積バッファ３３０７の最も古いデータを音声制御部３３１３へ送信する（ＳＴ４００４）とともに、画像制御部３３１２に対して画像情報の表示指示を与えて、その後、ＳＴ４００１の送信指示待ち状態に戻る。
【０２０４】
検査の結果、スタートコード属性が付加されていない場合（ＳＴ４００２：ＮＯ）には、そのデータを音声制御部３３１３へ送信し（ＳＴ４００４）、その後、ＳＴ４００１の送信指示待ち状態に戻る。
【０２０５】
図４３に、音声データ送信処理部３３１１においてＳＴ４００４のデータ送信処理が実行された様子を示している。音声データ送信処理部３３１１は、定期的にタイマ３３１０が満了するごとに、蓄積された最も古い音声データ４２０１から順次音声制御部３３１３へ送信する。
【０２０６】
このように、画像通信端末装置３３００においては、スタートコード検索処理部３３０４がスタートコードを含む画像データの検索及び画像データに対するスタートコード属性の付加を行い、画像データ蓄積処理部３３０６が画像データの蓄積を行い、また、音声データ蓄積処理部３３０８がスタートコード属性の付加及び音声データの蓄積を行うことで、画像データ送信処理部３３０９及び音声データ送信処理部３３１１が、スタートコードを含む画像と同じパケットに含まれた音声データを同じタイミングで画像制御部３３１２及び音声制御部３３１３に送信することが可能となる。
【０２０７】
これにより、画像制御部３３１２及び音声制御部３３１３は、これらの画像データ及び音声データを再生することで、画像と音声の同期を取ることができる。
【０２０８】
また、画像通信端末装置３３００は、異常データ受信時に通信相手の画像通信端末装置に対し再送要求を行ってから再送データを受信するまでの間は、すでに蓄積された画像データが画像制御部３３１２へ順次送信するため、画像と音声の同期がずれることを防ぐことができる。
【０２０９】
なお、本実施の形態において、画像通信端末装置３３００は、画像データ送信処理部３３０９が図４２に示すスタートコード属性付き画像データ４１０１、画像データ４１０２及び画像データ４１０３を予め画像制御部３３１２へ送信しておき、音声データ送信処理部３３１１が図４３に示す音声データ４２０１を音声制御部３３１３へ送信する際に画像制御部３３１２へ画像の表示指示を行う構成としてもよい。
【０２１０】
なお、画像通信端末装置３３００は、スタートコードを含む画像データが音声データと同じパケットに含まれずに単独で送信されてきた場合には、音声データ蓄積処理部３３０８が次に受信した音声データに対してスタートコード属性を付加するため、安定した同期を保つことができる。
【産業上の利用可能性】
【０２１１】
本発明は、画像データ再送が実行される場合にも、送信側又は受信側の端末装置のみの処理により、画像、音声の再生タイミングを一致させることができる通信端末装置として有用である。
【図面の簡単な説明】
【０２１２】
【図１】本発明の実施の形態１係る画像通信端末装置の全体構成を示すブロック図
【図２】実施の形態１に係る画像通信端末装置の主要部構成を示すブロック図
【図３】図２のデータ処理部の動作を示すフロー図
【図４】図２のデータ蓄積処理部の動作を示すフロー図
【図５】図２のデータ送信処理部の動作を示すフロー図
【図６】図２のデータ蓄積バッファの一状態を示す図
【図７】図２のデータ蓄積バッファの他の状態を示す図
【図８】実施の形態２の画像通信端末装置の主要部構成を示すブロック図
【図９】図８の到着タイムスタンプ（ＡＴＳ）付加処理部の動作を示したフロー図
【図１０】図８のデータ処理部の動作を示したフロー図
【図１１】図８のデータ蓄積処理部の動作を示したフロー図
【図１２】図８のデータ送信処理部の動作を示したフロー図
【図１３】図８のデータ蓄積バッファの一状態を示した図
【図１４】実施の形態３の画像通信端末装置の主要部構成を示すブロック図
【図１５】図１４のデータ処理部の動作を示したフロー図
【図１６】図１４のスタートコード検索処理部の動作を示したフロー図
【図１７】図１４のデータ蓄積処理部の動作を示したフロー図
【図１８】図１４のデータ送信処理部の動作を示したフロー図
【図１９】図１４のデータ蓄積バッファの一状態を示した図
【図２０】実施の形態４の画像通信端末装置の構成を示すブロック図
【図２１】図２０のビットレート測定処理部の動作を示したフロー図
【図２２】図２０のデータ処理部の動作を示したフロー図
【図２３】図２０のデータ蓄積処理部の動作を示したフロー図
【図２４】図２０のデータ送信処理部の動作を示したフロー図
【図２５】図２０のデータ蓄積バッファの一状態を示した図
【図２６】実施の形態５の画像通信端末装置の主要部構成を示すブロック図
【図２７】図２６の画像データ処理部の動作示したフロー図
【図２８】図２６の音声データ処理部の動作を示したフロー図
【図２９】図２６の画像データ蓄積処理部の動作を示したフロー図
【図３０】図２６の音声データ蓄積処理部の動作を示したフロー図
【図３１】図２６のデータ送信処理部の動作を示したフロー図
【図３２】図２６のデータ蓄積バッファの一状態を示した図
【図３３】図２６のデータ蓄積バッファの一状態を示した図
【図３４】実施の形態６の画像通信端末装置の構成を示すブロック図
【図３５】図３４の画像データ処理部の動作を示したフロー図
【図３６】図３４の音声データ処理部の動作を示したフロー図
【図３７】図３４のスタートコード検索処理部の動作を示したフロー図
【図３８】図３４の画像データ蓄積処理部の動作を示したフロー図
【図３９】図３４の音声データ蓄積処理部の動作を示したフロー図
【図４０】図３４の画像データ送信処理部の動作を示したフロー図
【図４１】図３４の音声データ送信処理部の動作を示したフロー図
【図４２】図３４のデータ蓄積バッファの一状態を示した図
【図４３】図３４のデータ蓄積バッファの一状態を示した図
【符号の説明】
【０２１３】
１１  全体制御部
１２  回線インタフェース部
１０１  多重・多重分離部
１０２、７０４、１３０２、１９０４  データ処理部
１０３、７０５、１３０４、１９０５、２５０５、２５０８、３３０５、３３０７  データ蓄積バッファ
１０４、７０６、１３０５、１９０６  データ蓄積処理部
１０５、７０８、１３０６、１９０８、２５１０  データ送信処理部
１０６、２５０１  画像制御部
１０７、７１０、１３０８、１９１０、２５１２、３３１４  受信同期制御部
１１１、２５０２  音声制御部
１１５  遅延制御部
７０２、７０７、１９０２、１９０７、３３１０  タイマ
７０３  到着タイムスタンプ付加処理部
１３０３、２５０６、３３０４  スタートコード検索処理部
１９０３  ビットレート測定処理部
２５１１  多重処理部
２５０３、３３０２  画像データ処理部
２５０４、３３０３  音声データ処理部
２５０７、３３０６  画像データ蓄積処理部
２５０９、３３０８  音声データ蓄積処理部
３３０１  多重分離部
３３１２  画像制御部
３３１３  音声制御部
３３０９  画像データ送信処理部
３３１１  音声データ送信処理部
【図１】
2005229397.tif 000003
【図２】
2005229397.tif 000004
【図３】
2005229397.tif 000005
【図４】
2005229397.tif 000006
【図５】
2005229397.tif 000007
【図６】
2005229397.tif 000008
【図７】
2005229397.tif 000009
【図８】
2005229397.tif 000010
【図９】
2005229397.tif 000011
【図１０】
2005229397.tif 000012
【図１１】
2005229397.tif 000013
【図１２】
2005229397.tif 000014
【図１３】
2005229397.tif 000015
【図１４】
2005229397.tif 000016
【図１５】
2005229397.tif 000017
【図１６】
2005229397.tif 000018
【図１７】
2005229397.tif 000019
【図１８】
2005229397.tif 000020
【図１９】
2005229397.tif 000021
【図２０】
2005229397.tif 000022
【図２１】
2005229397.tif 000023
【図２２】
2005229397.tif 000024
【図２３】
2005229397.tif 000025
【図２４】
2005229397.tif 000026
【図２５】
2005229397.tif 000027
【図２６】
2005229397.tif 000028
【図２７】
2005229397.tif 000029
【図２８】
2005229397.tif 000030
【図２９】
2005229397.tif 000031
【図３０】
2005229397.tif 000032
【図３１】
2005229397.tif 000033
【図３２】
2005229397.tif 000034
【図３３】
2005229397.tif 000035
【図３４】
2005229397.tif 000036
【図３５】
2005229397.tif 000037
【図３６】
2005229397.tif 000038
【図３７】
2005229397.tif 000039
【図３８】
2005229397.tif 000040
【図３９】
2005229397.tif 000041
【図４０】
2005229397.tif 000042
【図４１】
2005229397.tif 000043
【図４２】
2005229397.tif 000044
【図４３】
2005229397.tif 000045