(57)【特許請求の範囲】
【請求項１】
フレーム内符号化により符号化され伝送路を経由して受信した画像データを復号化する画像復号化手段と、
該画像復号化手段による前記画像データの復号化の完了後に完了信号を出力する完了信号出力手段と、
自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの経過時間を計測し、該経過時間が設定時間を経過したときに時間経過信号を出力する計時手段と、
前記完了信号または前記時間経過信号のうち、少なくとも一方を受信すると、表示させる画像データを前記画像復号化手段により復号化された画像データに切り替える制御手段と、
を備える通信装置。
【請求項２】
前記設定時間は、前記画像復号化手段における前記画像データの復号が完了するまでの予定時間であることを特徴とする請求項１に記載の通信装置。
【請求項３】
符号化され伝送路を経由して受信した音声データを復号化する音声復号化手段をさらに備え、
前記制御手段は、
自装置および伝送路を経由して接続される他装置との間のネゴシエーション結果に基づいて設定される前記音声復号化手段における前記音声データの復号方式の設定が完了すると、前記音声復号化手段により復号化された音声データを音声出力するように制御を行うことを特徴とする請求項１または２に記載の通信装置。
【請求項４】
自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの第２の経過時間を計測し、該第２の経過時間が第２の設定時間を経過したときに第２の時間経過信号を出力する第２の計時手段をさらに備え、
前記制御手段は、
前記復号方式の設定の完了または前記第２の時間経過信号の受信のうち、少なくとも一方を満足すると、前記音声復号化手段により復号化された音声データを音声出力するように制御を行うことを特徴とする請求項３に記載の通信装置。
【請求項５】
前記第２の設定時間は、前記音声復号化手段における前記音声データの復号が完了するまでの予定時間であることを特徴とする請求項４に記載の通信装置。
【請求項６】
フレーム内符号化により符号化され伝送路を経由して受信した画像データを復号化する画像復号化工程と、
該画像復号化工程による前記画像データの復号化の完了後に完了信号を出力する完了信号出力工程と、
自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの経過時間を計測し、該経過時間が設定時間を経過したときに時間経過信号を出力する計時工程と、
前記完了信号または前記時間経過信号のうち、少なくとも一方を受信すると、表示させる画像データを前記画像復号化工程により復号化された画像データに切り替える制御工程と、
を備えてなる通信方法。
【請求項７】
前記設定時間は、前記画像復号化手段における前記画像データの復号が完了するまでの予定時間であることを特徴とする請求項６に記載の通信方法。
【請求項８】
符号化され伝送路を経由して受信した音声データを復号化する音声復号化工程を含み、
前記制御工程では、
自装置および伝送路を経由して接続される他装置との間のネゴシエーション結果に基づいて設定される前記音声復号化工程における前記音声データの復号方式の設定が完了すると、前記音声復号化工程により復号化された音声データを音声出力するように制御が行われることを特徴とする請求項６に記載の通信方法。
【請求項９】
自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの第２の経過時間を計測し、該第２の経過時間が第２の設定時間を経過したときに第２の時間経過信号を出力する第２の計時工程をさらに備え、
前記制御工程では、
前記復号方式の設定の完了または前記第２の時間経過信号の受信のうち、少なくとも一方を満足すると、前記音声復号化工程により復号化された音声データを音声出力するように制御を行うことを特徴とする請求項８に記載の通信方法。
【請求項１０】
前記第２の設定時間は、前記音声復号化工程における前記音声データの復号が完了するまでの予定時間であることを特徴とする請求項９に記載の通信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、通信装置に係わるものであり、より詳しくはテレビ電話装置等の通信装置における音声と画像の出力に係わる。
【０００２】
【従来の技術】
従来の通信装置の例としてのテレビ電話装置は、例えば、特開平７−１１５６２９号公報に記載されている。以下、従来の通信装置について図面を参照して説明する。
【０００３】
図９は従来の通信装置の例としてのテレビ電話装置を示す図であり、図において、Ｔはテレビ電話装置であり、以下に述べる各要素により構成されている。なお、このテレビ電話装置Ｔと実質的に同じ構成の相手方のテレビ電話装置（他装置）との間で通信回線Ｋ（伝送路）を通じて通信をすることができるようにされている。
【０００４】
１はビデオカメラ等の画像（画像情報）を入力する画像情報入力部１、２はマイク等の音声（音声情報）を入力する音声情報入力部、３はCRT等の画像モニタ、４はスピーカ等の音声モニタ、５は音声情報処理回路、６は画像情報処理回路、７は通信回線Ｋに結合され通信回線Ｋとの間で送受信を行う通信回路、８は上記各構成要素にそれぞれ結合され、これらを制御する制御回路である。２０はマルチプレクサ、２１はデマルチプレクサである。
【０００５】
次に動作（着信時）について説明する。
他装置からの音声情報は、他装置の音声情報入力部から入力され、音声情報処理回路により音声データ化（符号化）される。この音声データはマルチプレクサにより、後述する画像データと時分割多重送信のための多重化が施される。音声データが多重化された伝送データは、通信回路により通信回線Ｋを経由して自分側のテレビ電話装置（自装置）に伝達される。
【０００６】
通信回線Ｋから伝送される音声データを含む伝送データは、自装置の通信回路７より自装置に受信（入力）され、デマルチプレクサ２１により音声データが伝送データから分離される。分離された音声データは、音声情報処理回路５により復号化（復調動作）が行われて音声信号に変換され、音声モニタ４により他装置から伝達された音声として出力される（音声出力される）。
【０００７】
他装置からの画像情報は、他装置の画像情報入力部から入力され、画像情報処理回路により画像データ化（符号化）される。この画像データはマルチプレクサにより、上述の音声データと時分割多重送信のための多重化が施される。画像データが多重化された伝送データは、通信回路により通信回線Ｋを経由して自分側のテレビ電話装置（自装置）に伝送される。
【０００８】
通信回線Ｋから伝送される画像データを含む伝送データは、自装置の通信回路７より自装置に受信（入力）され、デマルチプレクサ２１により画像データが伝送データから分離される。分離された画像データは、画像情報処理回路６により復号化（復調動作）が行われて画像信号に変換され、画像モニタ３により他装置から伝達された画像として出力される（画像出力される）。
【０００９】
このような音声および画像の出力のタイミングは、音声信号および画像信号の情報量の差と、通信回線Ｋにおける伝送容量の上限等の制約条件とに基づいて適切なものが与えられる。
【００１０】
テレビ電話やテレビ会議システムにおいては、例えば、現在普及しているディジタル公衆通信回線網（ＩＳＤＮ）等のデジタル回線により、画像、音声およびデータ通信の同時的な通信が可能であることが必要となる。
【００１１】
このようなディジタル回線における音声および画像の伝送は、例えば、ＩＴＵ−Ｔ勧告により規定された方式により実現されている。
【００１２】
画像、音声およびデータを同時に伝送する場合の伝送速度については、音声は音声信号の符号化方式により決定され、データは指定の伝送速度、画像は通信回線の伝送能力を超えないような伝送速度が割り当てられ、基本的に、画像は圧縮されて伝送される。
【００１３】
画像の圧縮方式としては圧縮率を高めると共に、伝送エラーの伝播を抑えるように、フレーム内符号化（ＩＮＴＲＡ符号化）およびフレーム間符号化（ＩＮＴＥＲ符号化）を用いた符号化方式が用いられる。
【００１４】
ＩＮＴＲＡ符号化による画面（イントラフレーム）は、その情報だけから符号化された画面であり、フレーム間予測を使わずに生成されるので、その情報のみの復号により表示装置における１画面分の画像を復元できる。
【００１５】
対して、ＩＮＴＥＲ符号化による画面は、上記のイントラフレームまたは他のＩＮＴＥＲ符号化による情報と共に復号することによって、画面を復元できる。
【００１６】
例えば、ＴＶ会議やＴＶ電話を用いて画像および音声の相互通信を行う場合、音声は画像に比してデータ量が少ない。また、画像の場合には、受信した画像データの符号化または復号化のためのアルゴリズムも複雑となり、その符号化または復号化の処理のための時間を要する。
【００１７】
従って、従来のＴＶ会議やＴＶ電話を用いた画像および音声の相互通信を行うシステムにおいては、画像モニタ３に他装置から受信した画像を出力するタイミングとして、自装置と他装置の間で信号のやりとりが行われるネゴシエーションの終了、またはネゴシエーションが終了すると予想されるあらかじめ設定された時間後を採用している。
【００１８】
なお、このネゴシエーションとは、基本的に通信開始の最初に、お互いの通信端末間における同期を取った後、相互の端末間でＨ．２２１（ＩＴＵ−Ｔ勧告による国際標準の一つ）に定めるフレームを送りあう。これにより、お互いの有する能力仕様（画像や音声の符号化能力など）をやり取りして、お互いの端末に共通の能力仕様を確認した後、それに基づく通信モード（音声および画像の、符号化にあっては符号化方式、復号化にあっては復号化方式）を設定することをいう。ネゴシエーション以降の通信動作は、この設定された通信モードに基づいて行なわれる。
【００１９】
【発明が解決しようとする課題】
従来の通信装置は、以上のように構成されていたので、ネゴシエーションが終了した後、自装置に受信された他装置からの受信画像の復号が完了していなくとも画像表示を行ってしまうことがある。そのような場合には、ネゴシエーション完了直後の画像の復号が完了していないので、例えば、画像がちらつく等の、他装置より伝送された画像が正常に表示されないという問題点があった。
【００２０】
この発明は、以上のような問題点を解決するためになされたもので、受信した他装置からの画像を、相手画像の表示が開始される時より、ちらつきなく表示可能な通信装置を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明に係る通信装置は、フレーム内符号化により符号化され伝送路を経由して受信した画像データを復号化する画像復号化手段と、該画像復号化手段による前記画像データの復号化の完了後に完了信号を出力する完了信号出力手段と、自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの経過時間を計測し、該経過時間が設定時間を経過したときに時間経過信号を出力する計時手段と、前記完了信号または前記時間経過信号のうち、少なくとも一方を受信すると、表示させる画像データを前記画像復号化手段により復号化された画像データに切り替える制御手段と、を備える。
【００２２】
また、前記設定時間は、前記画像復号化手段における前記画像データの復号が完了するまでの予定時間であることを特徴とする。
【００２３】
また、符号化され伝送路を経由して受信した音声データを復号化する音声復号化手段をさらに備え、前記制御手段は、自装置および伝送路を経由して接続される他装置との間のネゴシエーション結果に基づいて設定される前記音声復号化手段における前記音声データの復号方式の設定が完了すると、前記音声復号化手段により復号化された音声データを音声出力するように制御を行うことを特徴とする。
【００２４】
また、自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの第２の経過時間を計測し、該第２の経過時間が第２の設定時間を経過したときに第２の時間経過信号を出力する第２の計時手段をさらに備え、前記制御手段は、前記復号方式の設定の完了または前記第２の時間経過信号の受信のうち、少なくとも一方を満足すると、前記音声復号化手段により復号化された音声データを音声出力するように制御を行うことを特徴とする。
【００２５】
また、前記第２の設定時間は、前記音声復号化手段における前記音声データの復号が完了するまでの予定時間であることを特徴とする。
【００２６】
本発明に係る通信方法は、フレーム内符号化により符号化され伝送路を経由して受信した画像データを復号化する画像復号化工程と、該画像復号化工程による前記画像データの復号化の完了後に完了信号を出力する完了信号出力工程と、自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの経過時間を計測し、該経過時間が設定時間を経過したときに時間経過信号を出力する計時工程と、前記完了信号または前記時間経過信号のうち、少なくとも一方を受信すると、表示させる画像データを前記画像復号化工程により復号化された画像データに切り替える制御工程と、を備える。
【００２７】
また、前記設定時間は、前記画像復号化手段における前記画像データの復号が完了するまでの予定時間であることを特徴とする。
【００２８】
また、符号化され伝送路を経由して受信した音声データを復号化する音声復号化工程を含み、前記制御工程では、自装置および伝送路を経由して接続される他装置との間のネゴシエーション結果に基づいて設定される前記音声復号化工程における前記音声データの復号方式の設定が完了すると、前記音声復号化工程により復号化された音声データを音声出力するように制御が行われることを特徴とする。
【００２９】
また、自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの第２の経過時間を計測し、該第２の経過時間が第２の設定時間を経過したときに第２の時間経過信号を出力する第２の計時工程をさらに備え、前記制御工程では、前記復号方式の設定の完了または前記第２の時間経過信号の受信のうち、少なくとも一方を満足すると、前記音声復号化工程により復号化された音声データを音声出力するように制御を行うことを特徴とする。
【００３０】
また、前記第２の設定時間は、前記音声復号化工程における前記音声データの復号が完了するまでの予定時間であることを特徴とする。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００３２】
実施の形態１．
図１は本発明の実施の形態１による通信装置として、例えば、ＴＶ電話を示すブロック図である。
【００３３】
図１において、１はカメラ等の画像情報入力部、２はマイク等の音声情報入力部、３はＬＣＤ等の画像モニタ、４はスピーカ等の音声モニタ、５は受信した音声データの符号化および復号化等を行う音声情報処理回路、６は受信した画像データの符号化および復号化等を行う画像情報処理回路、７は通信回線Ｋに接続され、当該通信回線Ｋとの間で各種データの送受信を行う通信回路である。
【００３４】
９は受信した他装置の画像データに基づいて、自装置における画像出力の制御信号を発生する画像出力制御部、８は上記した各構成の制御を行う制御回路である。２０はマルチプレクサ、２１はデマルチプレクサである。
【００３５】
図２は、図１に示した通信装置における動作フローを示すフローチャートである。
【００３６】
本実施の形態における特徴は、自装置の受信した他装置の画像を復号するに際し、画像出力制御部９がイントラフレームの復号の完了した旨の信号を出力し、これに基づく画像表示が行われる点にある。
【００３７】
以下、動作について説明する。
ＴＶ電話による通信が開始されると、呼（発呼／着呼）が確立された後に、自装置と他装置との間で、先に述べたネゴシエーション（画像と音声の符号化方式等の通信モードが設定される）が通信回線Ｋおよび通信回路７を介して行われる（図２のＳＡ０１）。
【００３８】
ネゴシエーション完了後、設定された通信モードに基づいて、制御回路８は、音声情報処理回路５および画像情報処理回路６に対して符号化および復号化方式を設定する（図２のＳＡ０２）。符号化および復号化方式の設定が完了した後、符号化または復号化動作に移行する（図２のＳＡ０３、ＳＡ０４）。
【００３９】
（符号化の動作）
自装置における、画像および音声信号の符号化について述べる。
画像情報入力部１（例えば、カメラ）および音声情報入力部２（例えば、マイク）から、他装置に送信すべき画像信号および音声信号が出力される。この各出力信号は、それぞれ画像情報処理回路６および音声情報処理回路５に入力され、設定された符号化方式に基づいて、送信すべき音声信号および画像信号の符号化を行う（図２のＳＡ０５）。
【００４０】
画像情報処理回路６および音声情報処理回路５から出力される符号化された画像データおよび音声データは、マルチプレクサ２０に入力され、時分割多重送信のための多重化が施される（図２のＳＡ０６）。画像データおよび音声データが多重化された伝送データは、通信回路７により通信回路Ｋを経由して他装置に伝達される（送信処理。図２のＳＡ０７）。
【００４１】
（復号化の動作）
自装置における、画像および音声データの復号化について述べる。
通信回路Ｋおよび通信回路７を介して受信される（図２のＳＡ０８）他装置から送信された伝送データには画像データおよび音声データが多重化されているので、通信回路７が伝送データを受信した後、デマルチプレクサ２１に入力され、画像データおよび音声データに分離される（図２のＳＡ０９）。
【００４２】
分離された画像データは画像情報処理回路６に入力されて復号され、画像信号に変換される（図２のＳＡ１０）。この際、イントラフレームの復号が完了したかどうかの判断を行う（図２のＳＡ１２）。この判断は、例えば、後述する復号完了信号が出力されたか否かで判断できる。
【００４３】
復号が完了していなければ、画像データの復号を続ける（図２のＳＡ１０に戻る）。復号が完了した場合には、画像出力制御部９は制御回路８にイントラフレームの復号化処理の完了した旨の信号（復号完了信号）を出力する（図２のＳＡ１３）。
【００４４】
制御回路８は、復号完了信号が入力されることにより、画像モニタ３における表示画像の切り替えのための制御信号を画像情報処理回路６に出力し、画像モニタ３に与えられる画像信号の切り替え（表示）が行われる（図２のＳＡ１４）。当該画像信号は画像モニタ３により表示される（図２のＳＡ１５）。
【００４５】
また、分離された音声データは音声情報処理回路５に入力されて復号され、音声信号に変換され（図２のＳＡ１１）、音声モニタ３により音声出力がなされる。
【００４６】
上述した、符号化または復号化が、さらに行われる場合（すなわちＴＶ電話が終了していない場合）には、次の処理として上述の符号化または復号化が続行され（図２のＳＡ０３に戻る）、それ以降の符号化または復号化が続行されない場合（すなわちＴＶ電話を終了する場合）には、これまでの一連の動作が終了され、回線が切断される（図２のＳＡ１６）。
【００４７】
これにより、イントラフレームが確実に復号された後に表示画像の切替を行うため、表示画像のちらつきが生じず、ユーザに不快感を与えない。
【００４８】
実施の形態２．
図３は本発明の実施の形態２による通信装置として、例えば、ＴＶ電話を示すブロック図である。
【００４９】
図３において、図１に示す実施の形態１と同じ構成には同じ番号が付してあり、その動作も同様である。実施の形態１と本実施の形態２とが異なる点は、ネゴシエーション完了後よりイントラフレーム復号完了までの予定された時間を計測する計時部１０を有する点である。
【００５０】
図４は、図３に示した通信装置における動作フローを示すフローチャートである。
【００５１】
以下、動作について説明する。
ＴＶ電話による通信が開始されると、呼が確立された後に、自装置と他装置との間で、先に述べたネゴシエーション（画像と音声の符号化方式等の通信モードが設定される）が通信回線Ｋおよび通信回路７を介して行われる（図４のＳＢ０１）。
【００５２】
ネゴシエーション完了後、設定された通信モードに基づいて、制御回路８は、音声情報処理回路５および画像情報処理回路６に対して符号化および復号化方式を設定する（図４のＳＢ０２）。符号化および復号化方式の設定が完了した後、符号化または復号化動作に移行する（図４のＳＢ０３、ＳＢ０４）。
【００５３】
（符号化の動作）
自装置における、画像および音声信号の符号化について述べる。
画像情報入力部１（例えば、カメラ）および音声情報入力部２（例えば、マイク）から、他装置に送信すべき画像信号および音声信号が出力される。この各出力信号は、それぞれ画像情報処理回路６および音声情報処理回路５に入力され、設定された符号化方式に基づいて、送信すべき音声信号および画像信号の符号化を行う（図４のＳＢ０５）。
【００５４】
画像情報処理回路６および音声情報処理回路５から出力される符号化された画像データおよび音声データは、マルチプレクサ２０に入力され、時分割多重送信のための多重化が施される（図４のＳＢ０６）。画像データおよび音声データが多重化された伝送データは、通信回路７により通信回路Ｋを経由して他装置に伝達される（送信処理。図４のＳＢ０７）。
【００５５】
（復号化の動作）
自装置における、画像および音声データの復号化について述べる。
通信回路Ｋおよび通信回路７を介して受信される（図４のＳＢ０８）他装置から送信された伝送データには画像データおよび音声データが多重化されているので、通信回路７が伝送データを受信した後、デマルチプレクサ２１に入力され、画像データおよび音声データに分離される（図４のＳＢ０９）。
【００５６】
ここで、計時部１０は、ネゴシエーションの完了時点からの経過時間を計時するために設けられており、イントラフレームの復号が完了するまでの予定時間（設定時間）を計測する。計時部１０は、当該設定時間を計時した時点で、設定時間を経過した旨の信号（時間経過信号）を出力する。
【００５７】
計時部１０が、未だ設定時間を計時していない場合には、分離された画像データは画像情報処理回路６に入力されて復号され、画像信号に変換される（図４のＳＢ１２）。この際、計時部１０における設定時間を経過したか否かの判断、およびイントラフレームの復号が完了したかどうかの判断を行う（図４のＳＢ１０、ＳＢ１３）。
【００５８】
復号が完了しておらず、計時部１０が設定時間を計時していない場合には、画像データの復号を続ける（図４のＳＢ１０に戻る）。
【００５９】
計時部１０において、設定時間を経過したと判断される場合には、設定時間を経過した旨の信号が制御回路８に出力される。その後、制御回路８からは、画像モニタ３における表示画像の切り替えのための制御信号を画像情報処理回路６に出力し、画像モニタ３に与えられる画像信号の切り替え（表示）が行われる（図４のＳＢ１５）。当該画像信号は画像モニタ３により表示される（図４のＳＢ１６）。
【００６０】
あるいは、復号が完了した場合には、画像出力制御部９は制御回路８にイントラフレームの復号化処理の完了した旨の信号（復号完了信号）を出力する（図４のＳＢ１４）。
【００６１】
制御回路８は、復号完了信号が入力されることにより、画像モニタ３における表示画像の切り替えのための制御信号を画像情報処理回路６に出力し、画像モニタ３に与えられる画像信号の切り替え（表示）が行われる（図４のＳＢ１５）。当該画像信号は画像モニタ３により表示される（図４のＳＢ１６）
【００６２】
また、分離された音声データは音声情報処理回路５に入力されて復号され、音声信号に変換され（図４のＳＢ１１）、音声モニタ３により音声出力がなされる。
【００６３】
上述した、符号化または復号化が、さらに行われる場合（すなわちＴＶ電話が終了していない場合）には、次の処理として上述の符号化または復号化が続行され（図４のＳＢ０４に戻る）、それ以降の符号化または復号化が続行されない場合（すなわちＴＶ電話を終了する場合）には、これまでの一連の動作が終了され、回線が切断される（図４のＳＢ１７）。
【００６４】
上述のように、本実施の形態２においては、復号完了信号、または時間経過信号のうち、どちらか一方の信号が制御回路８に入力されることによって、画像モニタ３に対して他装置からの復号された画像を表示させるようにしている。
【００６５】
これにより、相手画像の復号に時間がかかる場合に、一定時間で画像表示を切り替えることにより、相互通信開始時の待ち時間を一定時間内に抑えることができる。
【００６６】
実施の形態３．
図５は本発明の実施の形態３による通信装置として、例えば、ＴＶ電話を示すブロック図である。
【００６７】
図５において、図１に示す実施の形態１と同じ構成には同じ番号が付してあり、その動作も同様である。実施の形態１と本実施の形態３とが異なる点は、音声出力制御部を設けることによりネゴシエーション完了後における音声出力を制御する点である。
【００６８】
図６は、図５に示した画像通信装置における動作フローを示すフローチャートである。
【００６９】
以下、動作について説明する。
ＴＶ電話による通信が開始されると、呼が確立された後に、自装置と他装置との間で、先に述べたネゴシエーション（画像と音声の符号化方式等の通信モードが設定される）が通信回線Ｋおよび通信回路７を介して行われる（図６のＳＣ０１）。
【００７０】
ネゴシエーション完了後、設定された通信モードに基づいて、制御回路８は、音声情報処理回路５および画像情報処理回路６に対して符号化および復号化方式を設定する（図６のＳＣ０２）。符号化および復号化方式の設定が完了した後、符号化または復号化動作に移行する（図６のＳＣ０３、ＳＣ０４）。
【００７１】
（符号化の動作）
自装置における、画像および音声信号の符号化について述べる。
画像情報入力部１（例えば、カメラ）および音声情報入力部２（例えば、マイク）から、他装置に送信すべき画像信号および音声信号が出力される。この各出力信号は、それぞれ画像情報処理回路６および音声情報処理回路５に入力され、設定された符号化方式に基づいて、送信すべき音声信号および画像信号の符号化を行う（図６のＳＣ０５）。
【００７２】
画像情報処理回路６および音声情報処理回路５から出力される符号化された画像データおよび音声データは、マルチプレクサ２０に入力され、時分割多重送信のための多重化が施される（図６のＳＣ０６）。画像データおよび音声データが多重化された伝送データは、通信回路７により通信回路Ｋを経由して他装置に伝送される（送信処理。図６のＳＣ０７）。
【００７３】
（復号化の動作）
自装置における、画像および音声データの復号化について述べる。
通信回路Ｋおよび通信回路７を介して受信される（図６のＳＣ０８）他装置から送信された伝送データには画像データおよび音声データが多重化されているので、通信回路７が伝送データを受信した後、デマルチプレクサ２１に入力され、画像データおよび音声データに分離される（図６のＳＣ０９）。
【００７４】
分離された画像データは画像情報処理回路６に入力されて復号され、画像信号に変換される（図６のＳＣ１０）。この際、イントラフレームの復号が完了したかどうかの判断を行う（図６のＳＡ１２）。この判断は、例えば後述する復号完了信号が出力されたか否かで判断できる。
【００７５】
復号が完了していなければ、画像データの復号を続ける（図６のＳＣ１０に戻る）。復号が完了した場合には、画像出力制御部９は制御回路８にイントラフレームの復号化処理の完了した旨の信号（復号完了信号）を出力する（図６のＳＣ１４）。
【００７６】
制御回路８は、復号完了信号が入力されることにより、画像モニタ３における表示画像の切り替えのための制御信号を画像情報処理回路６に出力し、画像モニタ３に与えられる画像信号の切り替え（表示）が行われる（図６のＳＣ１５）。当該画像信号は画像モニタ３により表示される（図６のＳＣ１６）。
【００７７】
また、分離された音声データは音声情報処理回路５に入力されて復号され、音声信号に変換される（図６のＳＣ１１）。音声モニタ３により音声出力がなされる（図６のＳＣ１３）。
【００７８】
なお、ここでは、音声出力制御部１１を備えることにより、画像データの復号の状態に係わらず、音声出力を行うように制御する。すなわち、本実施の形態３においては、復号化方式の設定が行われた後から音声出力を行うように構成されている。
【００７９】
上述した、符号化または復号化が、さらに行われる場合（すなわちＴＶ電話が終了していない場合）には、次の処理として上述の符号化または復号化が続行され（図６のＳＣ０４に戻る）、それ以降の符号化または復号化が続行されない場合（すなわちＴＶ電話を終了する場合）には、これまでの一連の動作が終了され、回線が切断される（図６のＳＣ１７）。
【００８０】
これにより、相互の通信を開始する際に、音声出力を停止することが可能であり、接続時に発生する雑音の出力を抑えることができる。
【００８１】
実施の形態４．
図７は本発明の実施の形態４による通信装置として、例えば、ＴＶ電話を示すブロック図である。
【００８２】
図７において、図５に示す実施の形態３と同じ構成には同じ番号が付してあり、その動作も同様である。実施の形態３と本実施の形態４とが異なる点は、音声データの復号方式を設定するまでの期間を計時する計時部および音声出力制御部を設けることによりネゴシエーション完了後における音声出力を制御する点である。
【００８３】
図８は、図７に示した通信装置における動作フローを示すフローチャートである。
【００８４】
以下、動作について説明する。
ＴＶ電話による通信が開始されると、呼が確立された後に、自装置と他装置との間で、先に述べたネゴシエーション（画像と音声の符号化方式等の通信モードが設定される）が通信回線Ｋおよび通信回路７を介して行われる（図８のＳＤ０１）。
【００８５】
ネゴシエーション完了後、設定された通信モードに基づいて、制御回路８は、音声情報処理回路５および画像情報処理回路６に対して符号化および復号化方式を設定する（図８のＳＤ０２）。符号化および復号化方式の設定が完了した後、符号化または復号化動作に移行する（図８のＳＤ０３、ＳＤ０４）。
【００８６】
（符号化の動作）
自装置における、画像および音声信号の符号化について述べる。
画像情報入力部１（例えば、カメラ）および音声情報入力部２（例えば、マイク）から、他装置に送信すべき画像信号および音声信号が出力される。この各出力信号は、それぞれ画像情報処理回路６および音声情報処理回路５に入力され、設定された符号化方式に基づいて、送信すべき音声信号および画像信号の符号化を行う（図８のＳＤ０５）。
【００８７】
画像情報処理回路６および音声情報処理回路５から出力される符号化された画像データおよび音声データは、マルチプレクサ２０に入力され、時分割多重送信のための多重化が施される（図８のＳＤ０６）。画像データおよび音声データが多重化された伝送データは、通信回路７により通信回路Ｋを経由して他装置に伝達される（送信処理。図８のＳＤ０７）。
【００８８】
（復号化の動作）
自装置における、画像および音声データの復号化について述べる。
通信回路Ｋおよび通信回路７を介して受信される（図８のＳＤ０８）他装置から送信された伝送データには画像データおよび音声データが多重化されているので、通信回路７が伝送データを受信した後、デマルチプレクサ２１に入力され、画像データおよび音声データに分離される（図８のＳＤ０９）。
【００８９】
分離された画像データは画像情報処理回路６に入力されて復号され、画像信号に変換される（図８のＳＤ１０）。この際、イントラフレームの復号が完了したかどうかの判断を行う（図８のＳＤ１２）。この判断には、例えば後述する復号完了信号が出力されたか否かで判断できる。
【００９０】
復号が完了していなければ、画像データの復号を続ける（図８のＳＤ１０に戻る）。復号が完了した場合には、画像出力制御部９は制御回路８にイントラフレームの復号化処理の完了した旨の信号（復号完了信号）を出力する（図８のＳＤ１３）。
【００９１】
制御回路８は、復号完了信号が入力されることにより、画像モニタ３における表示画像の切り替えのための制御信号を画像情報処理回路６に出力し、画像モニタ３に与えられる画像信号の切り替え（表示）が行われる（図８のＳＤ１４）。当該画像信号は画像モニタ３により表示される（図８のＳＤ１５）。
【００９２】
また、分離された音声データは音声情報処理回路５に入力されて復号され、音声信号に変換される（図８のＳＤ１１）。
【００９３】
本実施の形態においては、以下の２点の条件（１）、（２）いずれかが満足された場合に音声出力が行われる。すなわち、
（１）音声復号が完了した場合
（２）ネゴシエーション後に、音声復号方式の設定までに予定された期間が経過した場合
である。また、（１）、（２）対応する状態は以下の通りである。
【００９４】
（１）音声復号が完了した場合
音声データの復号が完了した段階で、音声出力制御部１１は、音声データの復号が完了した旨の信号（音声復号完了信号）を出力する（図８のＳＤ１６）。
【００９５】
（２）ネゴシエーション後に、音声復号方式の設定までに予定された期間が経過した場合
計時部１２は、ネゴシエーションの完了後、音声の復号化方式の設定までの予定された期間を計時する。そして、計時部１２は予定された期間が経過すると、時間経過の旨を示す信号（時間経過信号）を出力する。
【００９６】
上記、（１）または（２）により、音声復号完了信号、または時間経過信号のいずれかが出力される。
この音声復号完了信号または時間経過信号のいずれかが制御回路８に与えられると、制御回路８より音声信号出力を行う旨の制御信号が音声出力制御部１１に与えられる。そして、音声出力制御部１１は音声モニタ３に音声出力を行うよう制御する（図８のＳＤ１７）。
【００９７】
なお、ここでは、音声出力制御部１１を備えることにより、画像データの復号の状態に係わらず、音声出力を行うように制御する。すなわち、本実施の形態４においては、ネゴシエーション後における、復号化方式の設定が行われた後から音声出力を行うように構成されている。
【００９８】
上述した、符号化または復号化が、さらに行われる場合（すなわちＴＶ電話が終了していない場合）には、次の処理として上述の符号化または復号化が続行され（図８のＳＤ０４に戻る）、それ以降の符号化または復号化が続行されない場合（すなわちＴＶ電話を終了する場合）には、これまでの一連の動作が終了され、回線が切断される（図８のＳＤ１８）。
【００９９】
これにより、一定時間で音声出力を開始することによって、相互の通信開始時の待ち時間を一定時間内に抑えることが可能である。
【０１００】
【発明の効果】
本発明に係る通信装置は、フレーム内符号化により符号化され伝送路を経由して受信した画像データを復号化する画像復号化手段と、該画像復号化手段による前記画像データの復号化の完了後に完了信号を出力する完了信号出力手段と、自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの経過時間を計測し、該経過時間が設定時間を経過したときに時間経過信号を出力する計時手段と、前記完了信号または前記時間経過信号のうち、少なくとも一方を受信すると、表示させる画像データを前記画像復号化手段により復号化された画像データに切り替える制御手段と、を備えるので、受信した画像データの表示が確実に行え、ちらつきのない表示が実現できる。
【０１０１】
また、例えば、復号に時間を要する場合の待ち時間を設定できる。
【０１０２】
また、符号化され伝送路を経由して受信した音声データを復号化する音声復号化手段をさらに備え、前記制御手段は、自装置および伝送路を経由して接続される他装置との間のネゴシエーション結果に基づいて設定される前記音声復号化手段における前記音声データの復号方式の設定が完了すると、前記音声復号化手段により復号化された音声データを音声出力するように制御を行うことを特徴とするので、接続時に発生する雑音の出力を抑制できる。
【０１０３】
また、自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの第２の経過時間を計測し、該第２の経過時間が第２の設定時間を経過したときに第２の時間経過信号を出力する第２の計時手段をさらに備え、前記制御手段は、前記復号方式の設定の完了または前記第２の時間経過信号の受信のうち、少なくとも一方を満足すると、前記音声復号化手段により復号化された音声データを音声出力するように制御を行うことを特徴とするので、接続時に発生する雑音の出力を抑制できるとともに、例えば、復号に時間を要する場合の待ち時間を設定できる。
【０１０４】
本発明に係る通信方法は、フレーム内符号化により符号化され伝送路を経由して受信した画像データを復号化する画像復号化工程と、該画像復号化工程による前記画像データの復号化の完了後に完了信号を出力する完了信号出力工程と、自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの経過時間を計測し、該経過時間が設定時間を経過したときに時間経過信号を出力する計時工程と、前記完了信号または前記時間経過信号のうち、少なくとも一方を受信すると、表示させる画像データを前記画像復号化工程により復号化された画像データに切り替える制御工程と、を備えるので、受信した画像データの表示が確実に行え、ちらつきのない表示が実現できる。
【０１０５】
また、例えば、復号に時間を要する場合の待ち時間を設定できる。
【０１０６】
また、符号化され伝送路を経由して受信した音声データを復号化する音声復号化工程を含み、前記制御工程では、自装置および伝送路を経由して接続される他装置との間のネゴシエーション結果に基づいて設定される前記音声復号化工程における前記音声データの復号方式の設定が完了すると、前記音声復号化工程により復号化された音声データを音声出力するように制御が行われることを特徴とするので、接続時に発生する雑音の出力を抑制できる。
【０１０７】
また、自装置および伝送路を経由して接続される他装置との間のネゴシエーションが完了してからの第２の経過時間を計測し、該第２の経過時間が第２の設定時間を経過したときに第２の時間経過信号を出力する第２の計時工程をさらに備え、前記制御工程では、前記復号方式の設定の完了または前記第２の時間経過信号の受信のうち、少なくとも一方を満足すると、前記音声復号化工程により復号化された音声データを音声出力するように制御を行うことを特徴とするので、接続時に発生する雑音の出力を抑制できるとともに、例えば、復号に時間を要する場合の待ち時間を設定できる。
【図面の簡単な説明】
【図１】  実施の形態１の通信装置のブロック図である。
【図２】  実施の形態１の通信装置の動作のフローチャートである。
【図３】  実施の形態２の通信装置のブロック図である。
【図４】  実施の形態２の通信装置の動作のフローチャートである。
【図５】  実施の形態３の通信装置のブロック図である。
【図６】  実施の形態３の通信装置の動作のフローチャートである。
【図７】  実施の形態４の通信装置のブロック図である。
【図８】  実施の形態４の通信装置の動作のフローチャートである。
【図９】  従来の通信装置のブロック図である。
【符号の説明】
１  画像情報入力部、２  音声情報入力部、３  画像モニタ、４  音声モニタ、５  音声情報処理回路、６  画像情報処理回路、７  通信回路、８  制御回路、９  画像出力制御部、１０  計時部、１１  音声出力制御部。
【図１】
0004221911.tif 000002
【図２】
0004221911.tif 000003
【図３】
0004221911.tif 000004
【図４】
0004221911.tif 000005
【図５】
0004221911.tif 000006
【図６】
0004221911.tif 000007
【図７】
0004221911.tif 000008
【図８】
0004221911.tif 000009
【図９】
0004221911.tif 000010