(57)【特許請求の範囲】
【請求項１】
通信相手から送られてきた受信画像データを復号化する画像復号化部と、
前記通信相手に対応した画像を示す蓄積画像データを蓄積している画像蓄積部と、
前記蓄積画像データをもとに前記通信相手に対応した画像を表示する状態から、前記画像復号化部で復号化された前記受信画像データが示す画像を表示する状態へと、表示部での表示の切り替えを行う表示切り替え部と、
予め設定された時間を計測する計時部と
を備え、
前記受信画像データは、フレーム内符号化方式により符号化されたイントラ画像データと、フレーム間符号化方式により符号化されたインター画像データとを含み、
前記表示切り替え部は、
前記表示の切り替えを行う場合、
前記画像復号化部での前記イントラ画像データの復号化の完了が、前記計時部での前記予め設定された時間の計測の完了よりも遅くないときには、前記受信画像データが含むデータのうち、復号化が完了した前記イントラ画像データが示す画像を、前記表示部に最初に表示させ、
前記画像復号化部での前記イントラ画像データの復号化の完了が、前記計時部での前記予め設定された時間の計測の完了よりも遅いときには、前記予め設定された時間が計測されるまでに復号化が完了した前記インター画像データが示す画像を、前記表示部に最初に表示させる、通信装置。
【請求項２】
ユーザーの操作対象である操作部と、
前記操作部に対して行われた所定の操作に基づいて、前記蓄積画像データとして、前記受信画像データを前記画像蓄積部に蓄積させる画像データ書き込み部と
を更に備える、請求項１に記載の通信装置。
【請求項３】
前記蓄積画像データは、静止画像に関する画像データである、請求項１及び請求項２のいずれか一つに記載の通信装置。
【請求項４】
前記蓄積画像データは、動画像に関する画像データである、請求項１及び請求項２のいずれか一つに記載の通信装置。
【請求項５】
蓄積時間が設定されている時間設定部を更に備え、
前記受信画像データは動画像に関する画像データであって、
前記画像データ書き込み部は、前記蓄積画像データとして、前記蓄積時間分の前記受信画像データを前記画像蓄積部に蓄積させる、請求項２に記載の通信装置。
【請求項６】
前記画像蓄積部は、復号化される前の画像データを、前記蓄積画像データとして蓄積しており、
前記画像復号化部は、前記蓄積画像データを更に復号化し、
前記表示部は、復号化された前記蓄積画像データをもとに、前記通信相手に対応した画像を表示する、請求項１乃至請求項５のいずれか一つに記載の通信装置。
【請求項７】
前記画像蓄積部は、復号化された画像データを、前記蓄積画像データとして蓄積している、請求項１乃至請求項５のいずれか一つに記載の通信装置。
【請求項８】
前記画像データ書き込み部は、前記蓄積画像データとして、前記画像復号化部で復号化された前記受信画像データを前記画像蓄積部に蓄積させる、請求項２及び請求項５のいずれか一つに記載の通信装置。
【請求項９】
前記通信相手から送られてきた受信音声データを復号化する音声復号化部と、
前記通信相手との通信によって、前記通信相手に応じた前記受信音声データの復号化方式を決定する復号化方式決定部と、
前記復号化方式決定部で決定された前記復号化方式を、前記音声復号化部に設定する復号化方式設定部と、
前記音声復号化部で復号化された前記受信音声データをもとに、音声を出力する音声出力部と、
前記音声出力部における音声の出力を制御する音声出力制御部と
を更に備え、
前記音声復号化部は、前記復号化方式が設定された後は、前記復号化方式で前記受信音声データを復号化し、
前記音声出力制御部は、前記復号化方式で復号化された前記受信音声データでもって、前記音声出力部に音声の出力を開始させる、請求項１乃至請求項８のいずれか一つに記載の通信装置。
【請求項１０】
通信装置の通信方法であって、
（ａ）通信相手から送られてきた受信画像データを復号化する工程と、
（ｂ）画像を表示する工程と、
（ｃ）予め設定された時間を計測する工程と
を備え、
前記受信画像データは、フレーム内符号化方式により符号化されたイントラ画像データと、フレーム間符号化方式により符号化されたインター画像データとを含み、
前記工程（ｂ）は、
（ｂ−１）前記通信相手に対応した画像を示す蓄積画像データをもとに、前記通信相手に対応した画像を表示する工程と、
（ｂ−２）前記工程（ａ）で復号化された前記受信画像データが示す画像を表示する工程と、
（ｂ−３）前記工程（ｂ−１）を実行している状態から、前記工程（ｂ−２）の実行に切り替える工程と
を含み、
前記工程（ｂ−２）においては、
前記工程（ａ）での前記イントラ画像データの復号化の完了が、前記工程（ｃ）の完了よりも遅くないときには、前記受信画像データが含むデータのうち、復号化が完了した前記イントラ画像データが示す画像を最初に表示するように制御し、
前記工程（ａ）での前記イントラ画像データの復号化の完了が、前記工程（ｃ）の完了よりも遅いときには、前記工程（ｃ）が完了するまでに復号化が完了した前記インター画像データが示す画像を最初に表示するように制御する、通信方法。
【請求項１１】
（ｄ）前記通信装置に対する所定の操作に基づいて、前記蓄積画像データとして、前記受信画像データを蓄積する工程を更に備え、
前記工程（ｂ−１）では、前記工程（ｄ）で蓄積された前記受信画像データをもとに、前記通信相手に対応した画像を表示する、請求項１０に記載の通信方法。
【請求項１２】
前記蓄積画像データは、静止画像に関する画像データである、請求項１０及び請求項１１のいずれか一つに記載の通信方法。
【請求項１３】
前記蓄積画像データは、動画像に関する画像データである、請求項１０及び請求項１１のいずれか一つに記載の通信方法。
【請求項１４】
前記受信画像データは動画像に関する画像データであって、
前記工程（ｄ）において、
前記蓄積画像データとして、予め設定されている蓄積時間分の前記受信画像データを蓄積する、請求項１１に記載の通信方法。
【請求項１５】
前記工程（ｂ−１）は、
（ｂ−１−１）前記蓄積画像データを復号化する工程と、
（ｂ−１−２）前記工程（ｂ−１−１）で復号化された蓄積画像データをもとに、前記通信相手に対応した画像を表示する工程と
を含む、請求項１０乃至請求項１４のいずれか一つに記載の通信方法。
【請求項１６】
前記工程（ｄ）では、復号化された前記受信画像データを蓄積する、請求項１１及び請求項１４のいずれか一つに記載の通信方法。
【請求項１７】
（ｅ）前記通信相手から送られてきた受信音声データを復号化する工程と、
（ｆ）前記通信相手との通信によって、前記通信相手に応じた前記受信音声データの復号化方式を決定する工程と、
（ｇ）前記工程（ｆ）で決定された前記復号化方式を設定する工程と、
（ｈ）前記工程（ｅ）で復号化された前記受信音声データをもとに、音声の出力を行う工程と
を更に備え、
前記工程（ｅ）においては、前記工程（ｇ）が実行された後は、前記復号化方式で前記受信音声データを復号化し、
前記工程（ｈ）においては、前記復号化方式で復号化された前記受信音声データでもって、音声の出力が開始するように制御する、請求項１０乃至請求項１６のいずれか一つに記載の通信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、テレビ会議システムあるいはテレビ電話等で採用される通信技術に関する。
【０００２】
【従来の技術】
図１１は従来の通信装置１００の構成を示すブロック図である。通信装置１００は例えばテレビ電話装置であって、通信装置１００と実質的に同じ構成を有する相手方の通信装置との間で、データの伝送路である通信回線ｋを通じて通信を行う。
【０００３】
図１１に示すように、従来の通信装置１００は、通信回線ｋに接続され、通信回線ｋを介して通信相手とデータの送受信を行う通信部１０７と、マルチプレクサ／デマルチプレクサ（以後、「ＭＵＸ／ＤＭＵＸ」と呼ぶ）１１０と、音声データの復号化及び符号化を行う音声情報処理部１０５と、画像データの復号化及び符号化を行う画像情報処理部１０６と、通信相手に対応した画像を示す画像データを蓄積している画像蓄積部１１１と、ユーザーの操作対象である操作部１１２と、装置全体の動作を統括する制御部１０８とを備えている。
【０００４】
通信装置１００は、更に、ユーザーの顔などの被写体を画像データとして取り込む画像入力部１０１と、ユーザーの音声などを音声データとして取り込む音声入力部１０２と、音声を出力する音声出力部１０３と、画像を表示する表示部１０４とを備えている。画像入力部１０１は例えばビデオカメラであって、音声入力部１０２は例えばマイクである。また、音声出力部１０３は例えばスピーカであって、表示部１０４は例えばＣＲＴ等で構成されている。
【０００５】
次に、従来の通信装置１００の着信動作について説明する。通信部１０７は、通信相手からの発呼を検出すると、着呼を開始する。そして、通信部１０７は、通信回線ｋを介して通信相手の電話番号に関するデータを受信して、通信相手を認識する。通信部１０７は現在の通信相手を制御部１０８へ知らせる。制御部１０８は、画像蓄積部１１１から、現在の通信相手に対応した画像を示す画像データを読み出して、表示部１０４へ送る。表示部１０４は、制御部１０８から受け取った画像データをもとに、現在の通信相手に対応した画像を表示する。
【０００６】
その後、発呼及び着呼（以後、単に「呼」と呼ぶ）が確立すると、通信部１０７は、所定の符号化方式で符号化された音声データ及び画像データを含む伝送データを通信回線ｋを介して通信相手から受信する。通信部１０７は、受信した伝送データをＭＵＸ／ＤＭＵＸ１１０に入力する。ＭＵＸ／ＤＭＵＸ１１０は、伝送データから音声データと画像データとを分離し、音声情報処理部１０５に音声データを、画像情報処理部１０６に画像データを入力する。
【０００７】
音声情報処理部１０５は符号化されている音声データを復号化して音声出力部１０３に出力し、音声出力部１０３は受け取った音声データをもとに音声を出力する。また、画像情報処理部１０６は符号化されている画像データを復号化して表示部１０４に出力する。表示部１０４は、受け取った画像データが示す画像をを表示して、通信相手に対応した画像を表示する状態から、通信相手から送られてきた画像データが示す画像を表示する状態へと、表示を切り替える。
【０００８】
画像入力部１０１にて被写体が画像データとして取り込まれると、画像入力部１０１はその画像データを画像情報処理部１０６へ出力する。画像情報処理部１０６は受け取った画像データを符号化してＭＵＸ／ＤＭＵＸ１１０へ出力する。また、音声入力部１０２にて音声が音声データとして取り込まれると、音声入力部１０２はその音声データを音声情報処理部１０５へ出力する。音声情報処理部１０５は受け取った音声データを符号化してＭＵＸ／ＤＭＵＸ１１０へ出力する。ＭＵＸ／ＤＭＵＸ１１０は、受け取った音声データと画像データとを多重化して、通信部１０７へ送る。通信部１０７は多重化された音声データ及び画像データを、伝送データとして通信回線ｋを介して通信相手に送信する。
【０００９】
このように、従来の通信装置１００では、通信相手から送られてきた画像を表示する前に、通信相手に対応した画像を表示しているため、ユーザーが逸早く通信相手を視覚的に確認することができる。なお上述のような、通信相手から送られてきた画像を表示する前に通信相手に対応した画像を表示する技術については、例えば、特開平７−１１５６２９号公報に開示されている。
【００１０】
【発明が解決しようとする課題】
一般的に、画像の圧縮方法としては、圧縮率を高めると共に伝送エラーの伝播を抑えるように、フレーム内符号化方式（「ＩＮＴＲＡ符号化方式」とも呼ばれる）およびフレーム間符号化方式（「ＩＮＴＥＲ符号化方式」とも呼ばれる）が採用される。従って、通信相手から送られてきた画像データ（以後、「受信画像データ」と呼ぶ）には、フレーム内符号化方式により符号化された画像データ（以後、「イントラ画像データ」と呼ぶ）と、フレーム間符号化方式により符号化された画像データ（以後、「インター画像データ」と呼ぶ）を含んでいる。
【００１１】
フレーム内符号化方式は、フレーム間予測を使わずに、１フレーム分の情報だけで符号化を行う方式である。そのため、イントラ画像データのみの復号化により、１画面分の画像を完全に復元できる。
【００１２】
一方、フレーム間符号化方式は、近接した複数フレーム間の予測符号化を基本としているため、インター画像データをもとに１画面分の画像を完全に復元するためには、イントラ画像データが必要である。つまり、インター画像データのみを使用して画像を表示した場合、１画面分の画像を完全に表示することができない。
【００１３】
従来の通信装置１００では、通信相手からの画像を表示部１０４に順次表示しているため、例えば通信相手から最初に送られてきた画像データがインター画像データである場合には、その画像データのみを使用して画像を表示することがあった。そのため、１画面分の画像を完全に表示することができず、通信相手に対応した画像を表示する状態から、受信画像データが示す画像を表示する状態へと、表示を切り替えた際、画像がちらつくことがあった。その結果、ユーザーに不快感を与えることがあった。
【００１４】
そこで、本発明は上述のような問題を解決するために成されたものであり、通信装置を取り扱うユーザーに与える不快感を低減する技術を提供することを目的とする。
【００１５】
【課題を解決するための手段】
この発明のうち請求項１に記載の通信装置は、通信相手から送られてきた受信画像データを復号化する画像復号化部と、前記通信相手に対応した画像を示す蓄積画像データを蓄積している画像蓄積部と、前記蓄積画像データをもとに前記通信相手に対応した画像を表示する状態から、前記画像復号化部で復号化された前記受信画像データが示す画像を表示する状態へと、表示部での表示の切り替えを行う表示切り替え部とを備え、前記受信画像データは、フレーム内符号化方式により符号化されたイントラ画像データと、フレーム間符号化方式により符号化されたインター画像データとを含み、前記表示切り替え部は、前記表示の切り替えを行う場合、前記画像復号化部での前記イントラ画像データの復号化の完了が、前記計時部での前記予め設定された時間の計測の完了よりも遅くないときには、前記受信画像データが含むデータのうち、復号化が完了した前記イントラ画像データが示す画像を、前記表示部に最初に表示させ、前記画像復号化部での前記イントラ画像データの復号化の完了が、前記計時部での前記予め設定された時間の計測の完了よりも遅いときには、前記予め設定された時間が計測されるまでに復号化が完了した前記インター画像データが示す画像を、前記表示部に最初に表示させる。
【００１７】
また、この発明のうち請求項２に記載の通信装置は、請求項１に記載の通信装置であって、ユーザーの操作対象である操作部と、前記操作部に対して行われた所定の操作に基づいて、前記蓄積画像データとして、前記受信画像データを前記画像蓄積部に蓄積させる画像データ書き込み部とを更に備える。
【００１８】
また、この発明のうち請求項３に記載の通信装置は、請求項１及び請求項２のいずれか一つに記載の通信装置であって、前記蓄積画像データは、静止画像に関する画像データである。
【００１９】
また、この発明のうち請求項４に記載の通信装置は、請求項１及び請求項２のいずれか一つに記載の通信装置であって、前記蓄積画像データは、動画像に関する画像データである。
【００２０】
また、この発明のうち請求項５に記載の通信装置は、請求項２に記載の通信装置であって、蓄積時間が設定されている時間設定部を更に備え、前記受信画像データは動画像に関する画像データであって、前記画像データ書き込み部は、前記蓄積画像データとして、前記蓄積時間分の前記受信画像データを前記画像蓄積部に蓄積させる。
【００２１】
また、この発明のうち請求項６に記載の通信装置は、請求項１乃至請求項５のいずれか一つに記載の通信装置であって、前記画像蓄積部は、復号化される前の画像データを、前記蓄積画像データとして蓄積しており、前記画像復号化部は、前記蓄積画像データを更に復号化し、前記表示部は、復号化された前記蓄積画像データをもとに、前記通信相手に対応した画像を表示する。
【００２２】
また、この発明のうち請求項７に記載の通信装置は、請求項１乃至請求項５のいずれか一つに記載の通信装置であって、前記画像蓄積部は、復号化された画像データを、前記蓄積画像データとして蓄積している。
【００２３】
また、この発明のうち請求項８に記載の通信装置は、請求項２及び請求項５のいずれか一つに記載の通信装置であって、前記画像データ書き込み部は、前記蓄積画像データとして、前記画像復号化部で復号化された前記受信画像データを前記画像蓄積部に蓄積させる。
【００２４】
また、この発明のうち請求項９に記載の通信装置は、請求項１乃至請求項８のいずれか一つに記載の通信装置であって、前記通信相手から送られてきた受信音声データを復号化する音声復号化部と、前記通信相手との通信によって、前記通信相手に応じた前記受信音声データの復号化方式を決定する復号化方式決定部と、前記復号化方式決定部で決定された前記復号化方式を、前記音声復号化部に設定する復号化方式設定部と、前記音声復号化部で復号化された前記受信音声データをもとに、音声を出力する音声出力部と、前記音声出力部における音声の出力を制御する音声出力制御部とを更に備え、前記音声復号化部は、前記復号化方式が設定された後は、前記復号化方式で前記受信音声データを復号化し、前記音声出力制御部は、前記復号化方式で復号化された前記受信音声データでもって、前記音声出力部に音声の出力を開始させる。
【００２７】
また、この発明のうち請求項１０に記載の通信方法は、通信装置の通信方法であって、（ａ）通信相手から送られてきた受信画像データを復号化する工程と、（ｂ）画像を表示する工程と、（ｃ）予め設定された時間を計測する工程とを備え、前記受信画像データは、フレーム内符号化方式により符号化されたイントラ画像データと、フレーム間符号化方式により符号化されたインター画像データとを含み、前記工程（ｂ）は、（ｂ−１）前記通信相手に対応した画像を示す蓄積画像データをもとに、前記通信相手に対応した画像を表示する工程と、（ｂ−２）前記工程（ａ）で復号化された前記受信画像データが示す画像を表示する工程と、（ｂ−３）前記工程（ｂ−１）を実行している状態から、前記工程（ｂ−２）の実行に切り替える工程とを含み、前記工程（ｂ−２）においては、前記工程（ａ）での前記イントラ画像データの復号化の完了が、前記工程（ｃ）の完了よりも遅くないときには、前記受信画像データが含むデータのうち、復号化が完了した前記イントラ画像データが示す画像を最初に表示するように制御し、前記工程（ａ）での前記イントラ画像データの復号化の完了が、前記工程（ｃ）の完了よりも遅いときには、前記工程（ｃ）が完了するまでに復号化が完了した前記インター画像データが示す画像を最初に表示するように制御する。
【００２８】
また、この発明のうち請求項１１に記載の通信方法は、請求項１０に記載の通信方法であって、（ｄ）前記通信装置に対する所定の操作に基づいて、前記蓄積画像データとして、前記受信画像データを蓄積する工程を更に備え、前記工程（ｂ−１）では、前記工程（ｄ）で蓄積された前記受信画像データをもとに、前記通信相手に対応した画像を表示する。
【００２９】
また、この発明のうち請求項１２に記載の通信方法は、請求項１０及び請求項１１のいずれか一つに記載の通信方法であって、前記蓄積画像データは、静止画像に関する画像データである。
【００３０】
また、この発明のうち請求項１３に記載の通信方法は、請求項１０及び請求項１１のいずれか一つに記載の通信方法であって、前記蓄積画像データは、動画像に関する画像データである。
【００３１】
また、この発明のうち請求項１４に記載の通信方法は、請求項１１に記載の通信方法であって、前記受信画像データは動画像に関する画像データであって、前記工程（ｄ）において、前記蓄積画像データとして、予め設定されている蓄積時間分の前記受信画像データを蓄積する。
【００３２】
また、この発明のうち請求項１５に記載の通信方法は、請求項１０乃至請求項１４のいずれか一つに記載の通信方法であって、前記工程（ｂ−１）は、（ｂ−１−１）前記蓄積画像データを復号化する工程と、（ｂ−１−２）前記工程（ｂ−１−１）で復号化された蓄積画像データをもとに、前記通信相手に対応した画像を表示する工程とを含む。
【００３３】
また、この発明のうち請求項１６に記載の通信方法は、請求項１１及び請求項１４のいずれか一つに記載の通信方法であって、前記工程（ｄ）では、復号化された前記受信画像データを蓄積する。
【００３４】
また、この発明のうち請求項１７に記載の通信方法は、請求項１０乃至請求項１６のいずれか一つに記載の通信方法であって、（ｅ）前記通信相手から送られてきた受信音声データを復号化する工程と、（ｆ）前記通信相手との通信によって、前記通信相手に応じた前記受信音声データの復号化方式を決定する工程と、（ｇ）前記工程（ｆ）で決定された前記復号化方式を設定する工程と、（ｈ）前記工程（ｅ）で復号化された前記受信音声データをもとに、音声の出力を行う工程とを更に備え、前記工程（ｅ）においては、前記工程（ｇ）が実行された後は、前記復号化方式で前記受信音声データを復号化し、前記工程（ｈ）においては、前記復号化方式で復号化された前記受信音声データでもって、音声の出力が開始するように制御する。
【００３６】
【発明の実施の形態】
実施の形態１．
図１は本発明の実施の形態１に係る通信装置８０の構成を示すブロック図である。通信装置８０は例えばテレビ電話装置、あるいはテレビ会議システムで使用される端末装置であって、通信装置８０と実質的に同じ構成を有する相手方の通信装置との間で、データの伝送路である通信回線ｋを通じて通信を行う。
【００３７】
図１に示すように、本実施の形態１に係る通信装置８０は、通信回線ｋに接続され、通信回線ｋを介して通信相手とデータの送受信を行う通信部７と、ＭＵＸ／ＤＭＵＸ１０と、音声情報処理部５と、画像情報処理部６と、通信相手に対応した画像を示す画像データを予め蓄積している画像蓄積部１１と、キースイッチ等で構成されており、ユーザーの操作対象である操作部１２と、装置全体の動作を統括する制御部８とを備えている。
【００３８】
通信装置８０は、更に、ユーザーの顔などの被写体を画像データとして取り込む画像入力部１と、ユーザーの音声などを音声データとして取り込む音声入力部２と、装置の外部に音声を出力する音声出力部３と、画像を表示する表示部４と、表示部４での静止画像の表示と動画像の表示とを切り替える表示切り替え部１３とを備えている。
【００３９】
音声情報処理部５は、音声データの復号化を行う音声復号化部５１と、音声データの符号化を行う音声符号化部５２とを有している。また、画像情報処理部６は、画像データの復号化を行う画像復号化部６１と、画像データの符号化を行う画像符号化部６２と、復号完了信号を出力する完了信号出力部６３と、画像復号化部６１で復号化された画像データの出力を制御する出力制御部６４とを有している。
【００４０】
また、制御部８は、音声情報処理部５及び画像情報処理部６に、復号化方式を設定する復号化方式設定部１８と、音声情報処理部５及び画像情報処理部６に、符号化方式を設定する符号化方式設定部１９とを有している。
【００４１】
画像入力部１は例えばビデオカメラであって、音声入力部２は例えばマイクである。また、音声出力部３は例えばスピーカであって、表示部４は例えばＣＲＴ等で構成されている。
【００４２】
画像蓄積部１１が蓄積している、通信相手に対応した画像を示す画像データ（以後、「蓄積画像データ」と呼ぶ）は、復号化前の画像データ、つまり符号化されている画像データであって、静止画像あるいは動画像に関する画像データである。また、画像蓄積部１１は、複数種類の蓄積画像データを蓄積しており、各蓄積画像データは、異なる通信相手に対応している。蓄積画像データには、例えば相手方の通信装置を操作するユーザーの顔を示す画像データ、あるいはその相手方のユーザーを連想させる画像を示す画像データが採用される。また、画像蓄積部１１は、相手方のユーザーが動いている様子を示す画像データを、蓄積画像データとして予め蓄積していても良い。
【００４３】
ＭＵＸ／ＤＭＵＸ１０は、通信部７を介して通信相手から受信した伝送データから、音声データと画像データとを分離したり、音声情報処理部５から送られてきた音声データと、画像情報処理部６から送られてきた画像データとを多重化して、通信部７を介して通信相手に伝送する。また、ＭＵＸ／ＤＭＵＸ１０は、通信相手との通信によって、通信相手に応じた、音声データ及び画像データの復号化方式を決定する復号化方式決定部でもある。更に、ＭＵＸ／ＤＭＵＸ１０は、通信相手との通信によって、通信相手に応じた、音声データ及び画像データの符号化方式を決定する符号化方式決定部でもある。
【００４４】
通信装置８０のユーザーは、操作部１２のキースイッチを押すことによって、操作部１２に対して各種操作を行う。
【００４５】
次に、本実施の形態１に係る通信装置８０がテレビ電話装置である場合を例にとって、通信装置８０の動作について図２を参照して説明する。図２は、通信装置８０の着信動作を示すフローチャートであって、通信相手との通信うち、伝送データの受信動作について主に示している。
【００４６】
相手方のユーザーが、その通信装置の操作部に対して所定の操作を行うことによって、テレビ電話が開始すると、図２に示すステップｓ１において、通信部７は、通信相手からの発呼を検出し、着呼を開始する。そして、通信部７は、通信回線ｋを介して通信相手の電話番号に関するデータを受信して、通信相手を認識する。通信部７は現在の通信相手を制御部８へ知らせる。制御部８は、画像蓄積部１１から、現在の通信相手に対応した蓄積画像データを読み出して、画像情報処理部６へ送る。更に制御部８は、蓄積画像データが静止画像に関する画像データであるか、動画像に関する画像データであるかを示す画像データ識別信号を、画像情報処理部６に送る。
【００４７】
画像情報処理部６は、画像データ識別信号から、静止画像に関する画像データであるか、動画像に関する画像データであるかを認識し、受け取った蓄積画像データを画像復号化部６１で復号化する。なお、画像復号化部６１には、蓄積画像データの符号化方式に対応した復号化方式が、予め設定されており、その復号化方式を用いることによって、蓄積画像データを復号化することができる。
【００４８】
そして、復号化された蓄積画像データは、出力制御部６４の制御によって、表示部４へ出力される。ここで、表示部４は、静止画表示用のバッファ（図示せず）と、動画表示用のバッファ（図示せず）を有しており、蓄積画像データが静止画像に関する画像データである場合には、出力制御部６４の制御によって、蓄積画像データは静止画表示用のバッファに書き込まれる。一方、蓄積画像データが動画像に関する画像データである場合には、出力制御部６４の制御によって、蓄積画像データは動画表示用のバッファに書き込まれる。
【００４９】
次にステップｓ２において、表示部４は、データが書き込まれたバッファから、蓄積画像データを読み出して、その蓄積画像データをもとに、現在の通信相手に対応した画像を表示する。例えば、相手方のユーザーの顔の画像を表示する。
【００５０】
その後、呼が確立すると、ステップｓ３において、ＭＵＸ／ＤＭＵＸ１０は通信部７を介して通信相手とネゴシエーションを開始する。ここでネゴシエーションとは、通信相手と制御データのやり取りを行い、お互いの有する能力仕様、例えば画像データや音声データの符号化能力などを確認し合い、それに基づいて通信相手に対応した通信モードを決定する動作である。やり取りを行う制御データとしては、例えばＩＴＵ−Ｔ（ＩＴＵ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）勧告による国際標準の一つであるＨ．２２１に定められている制御データがある。また、通信モードが決定される際には、音声データ及び画像データの符号化方式及び復号化方式、画像データの転送ビットレート、最大画像サイズ、エラー訂正プロトコルの種別などが決定される。なお、ネゴシエーションで決定される、画像データの符号化方式及び復号化方式には、例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）や、Ｈ．２６３（ＩＴＵ−Ｔ勧告）などがある。
【００５１】
ネゴシエーションが完了し、ＭＵＸ／ＤＭＵＸ１０が、通信相手に対応した符号化方式及び復号化方式を決定すると、ステップｓ４において、ＭＵＸ／ＤＭＵＸ１０は、その符号化方式及び復号化方式を制御部８に通知する。具体的には、ＭＵＸ／ＤＭＵＸ１０は、制御部８の符号化方式設定部１９に、決定した符号化方式を通知し、制御部８の復号化方式設定部１８に、決定した復号化方式を通知する。
【００５２】
そして、復号化方式設定部１８は、音声情報処理部５の音声復号化部５１と画像情報処理部６の画像復号化部６１に、通知された復号化方式を設定する。また符号化方式設定部１９は、音声情報処理部５の音声符号化部５２と画像情報処理部６の画像符号化部６２に、通知された符号化方式を設定する。
【００５３】
一方、ネゴシエーションが完了すると、ステップｓ１１において、通信部７は、符号化された音声データ及び画像データを含む伝送データを、通信回線ｋを介して通信相手から受信する。通信部７は、受信した伝送データをＭＵＸ／ＤＭＵＸ１０に入力する。ＭＵＸ／ＤＭＵＸ１０は、伝送データから音声データと画像データとを分離し、音声情報処理部５の音声復号化部５１に音声データを、画像情報処理部６の画像復号化部６１に画像データを入力する。
【００５４】
そして、ステップｓ１２において、音声復号化部５１は、通信相手から送られてきた音声データ（以後、「受信音声データ」と呼ぶ）を復号化する。音声情報処理部５は、音声復号化部５１で復号化された受信音声データを音声出力部３に出力し、音声出力部３は復号化された受信音声データをもとに音声を出力する。このとき、上述のステップｓ４において、通信相手に対応した音声データの復号化方式が設定されていない場合には、音声復号化部５１は、予め設定されている復号化方式を用いて受信音声データを復号化し、音声出力部３に出力する。そして、ネゴシエーションで決定した音声データの復号化方式が設定された後は、その復号化方式で音声データを復号化し、音声出力部３に出力する。
【００５５】
ステップｓ４において、符号化方式及び復号化方式が設定されて、ステップｓ５において、その設定が完了すると、ステップｓ６において、画像復号化部６１は、ステップｓ１１で入力された受信画像データの復号化を開始する。画像復号化部６１は、音声復号化部５１とは異なり、通信相手に対応した復号化方式が設定される前に、受信画像データが入力された場合には、復号化を行わず、画像復号化部６１内のバッファ（図示せず）にその受信画像データを記憶している。そして、通信相手に対応した復号化方式が設定されると、画像復号化部６１は、バッファ内の受信画像データを読み出して、設定された復号化方式で復号化を行う。以後、入力された受信画像データについては、設定された復号化方式で復号化を行う。
【００５６】
次に、ステップｓ７において、画像復号化部６１で受信画像データが含むイントラ画像データの復号化が完了すると、ステップｓ８において、完了信号出力部６３は、イントラ画像データの復号化が完了したことを示す復号完了信号を制御部８に出力する。そして、ステップｓ９において、通信相手に対応した画像を表示する状態から、復号化された受信画像データが示す画像を表示する状態へと、表示部４での表示が切り替えられる。以下に、ステップｓ９について、蓄積画像データが静止画像に関する画像データである場合と、動画像に関する画像データである場合とに分けて詳細に説明する。
【００５７】
＜蓄積画像データが静止画像に関する画像データである場合＞
上述のように、受信画像データには、イントラ画像データとインター画像データとが含まれている。出力制御部６４は、受信画像データのうち、復号化が完了したイントラ画像データを、表示部４に最初に出力するように制御している。具体的には、画像情報処理部６に最初に入力された受信画像データが、インター画像データであって、続いてイントラ画像データが入力された場合、画像復号化部６１はその順に受信画像データを復号化する。出力制御部６４は、最初に入力されたインター画像データの復号化が完了しても、そのインター画像データを表示部４へは出力しないように、画像情報処理部６の出力を制御している。そして、インター画像データの後に続いて入力されたイントラ画像データの復号化が完了すると、その復号化が完了したイントラ画像データを表示部４の動画表示用のバッファに最初に出力するように、画像情報処理部６の出力を制御している。復号化されたイントラ画像データが最初に出力された後は、出力制御部６４は特に動作を行わず、画像情報処理部６は、最初に出力されたイントラ画像データに続いて入力されてくる受信画像データを復号化し、表示部４に順次出力していく。なお、上述の場合、一番最初に入力されたインター画像データは、復号化されるものの、表示部４へは出力されない。
【００５８】
そして、ステップｓ８において、復号完了信号を受け取った制御部８は、表示切り替え部１３に対して、表示部４の表示の切り替えを要求し、表示切り替え部１３は、静止画表示用のバッファ内の画像データが示す画像の表示から、動画表示用のバッファ内の画像データが示す画像の表示へと、表示部４での表示を切り替える。具体的には、表示切り替え部１３は、表示部４に対して、静止画表示用のバッファからではなく、動画表示用のバッファから画像データを読み出すように命令する。そして、表示部４は動画表示用のバッファから画像データを読み出して、画像を表示する。その結果、通信相手に対応した画像を表示する状態から、復号化された受信画像データが示す画像を表示する状態へと、表示部４での表示が切り替えられる。このとき、動画表示用のバッファには、復号化が完了したイントラ画像データが最初に書き込まれているため、表示が切り換わる際、イントラ画像データが示す画像が表示部４に最初に表示される。言い換えれば、復号化された受信画像データが示す画像を表示する際の最初の画像は、イントラ画像データが示す画像である。
【００５９】
＜蓄積画像データが動画像に関する画像データである場合＞
蓄積画像データが静止画像に関する画像データである場合と同様に、出力制御部６４は、受信画像データのうち、復号化が完了したイントラ画像データを、表示部４に最初に出力するように、画像情報処理部６の出力を制御している。このとき、復号化が完了したイントラ画像データは、表示部４の動画表示用のバッファに出力されるが、蓄積画像データも表示部４の動画表示用のバッファに書き込まれている。そのため、動画表示用のバッファに書き込まれている蓄積画像データは、復号化が完了したイントラ画像データによって上書きされる。その結果、表示部４が、動画表示用のバッファから画像データを読み出して画像を表示することによって、通信相手に対応した画像を表示する状態から、復号化された受信画像データが示す画像を表示する状態へと、表示部４での表示が切り替えられる。このとき、動画表示用のバッファには、復号化が完了したイントラ画像データが最初に書き込まれるため、表示が切り換わる際、イントラ画像データが示す画像が表示部４に最初に表示される。
【００６０】
なお、この場合、ステップｓ８において復号完了信号を受け取った制御部８は、その復号完了信号を無視する。また、表示切り替え部１３は制御部８からの表示の切り替えの要求が無いため、特に動作を行わない。
【００６１】
このように、出力制御部６４と表示切り替え部１３とが上述のように動作することによって、通信相手に対応した画像を表示する状態から、復号化された受信画像データが示す画像を表示する状態へと、表示部４での表示が切り替えられる。更に、出力制御部６４と表示切り替え部１３とによって、表示が切り替えられる際には、受信画像データが含むデータのうち、復号化が完了したイントラ画像データが示す画像が表示部４に最初に表示される。言い換えれば、復号化された受信画像データが示す画像を表示する際、出力制御部６４と表示切り替え部１３とは、受信画像データが含むデータのうち、復号化が完了したイントラ画像データが示す画像を最初に表示するように制御している。なお、表示切り替え部１３ばかりではなく、出力制御部６４も上述の表示の切り替えを行うため、以後、出力制御部６４と表示切り替え部１３とをあわせて、「表示切り替え部９」と呼ぶ場合がある。
【００６２】
ステップｓ９において、表示が切り替えられた後は、表示部４には、復号化された受信画像データが示す画像が表示される。
【００６３】
以上の説明では、通信相手から伝送データを受信する場合について述べたが、通信相手に画像データ及び音声データを送信する場合について間単に説明する。
【００６４】
上述のステップｓ４において、通信相手に対応した符号化方式及び復号化方式が設定された後に、画像入力部１にて被写体が画像データとして取り込まれると、画像入力部１はその画像データを画像情報処理部６の画像符号化部６２へ出力する。画像符号化部６２は受け取った画像データを、設定された符号化方式で符号化してＭＵＸ／ＤＭＵＸ１０へ出力する。また、音声入力部２にて音声が音声データとして取り込まれると、音声入力部２はその音声データを音声情報処理部５の音声符号化部５２へ出力する。音声符号化部５２は受け取った音声データを符号化してＭＵＸ／ＤＭＵＸ１０へ出力する。ＭＵＸ／ＤＭＵＸ１０は、受け取った音声データと画像データとを多重化して、通信部７へ送る。通信部７は多重化された音声データ及び画像データを、伝送データとして通信回線ｋを介して通信相手に送信する。
【００６５】
なお、画像データ及び音声データを同時に通信相手に伝送する場合の伝送速度については、音声データについては音声データの符号化方式により決定され、画像データについては通信回線ｋの伝送能力を超えないような伝送速度が割り当てられる。
【００６６】
そして、図２に示すステップｓ１０において、通信装置８０の相手方のユーザーがその通信装置の操作部に対してテレビ電話を終了する操作を行ったり、通信装置８０のユーザーが操作部１２に対してテレビ電話を終了する操作を行うと、テレビ電話が終了する。
【００６７】
上述のような動作を行う通信装置８０において、音声の出力タイミングと画像の表示タイミングとは、音声出力と画像表示との同期を取るために、音声データと画像データとの情報量の差と、通信回線ｋにおける伝送容量の上限等の制約条件とに基づいて適切なものが与えられる。
【００６８】
また、テレビ電話やテレビ会議システムで使用される通信装置８０においては、例えば、通信回線ｋとして、現在普及している総合サービス・ディジタル通信網（ＩＳＤＮ）等のデジタル回線が採用され、画像データおよび音声データの同時的な通信が可能である。このようなディジタル回線における音声データおよび画像データの伝送は、例えば、ＩＴＵ−Ｔ勧告により規定された方式により実現される。
【００６９】
また、例えば、テレビ電話やテレビ会議システムにおいて、画像データ及び音声データの相互通信を行う場合、音声データは画像データに比べてデータ量が少ない。また、画像データの場合には、受信画像データの符号化または復号化のためのアルゴリズムが複雑であるため、その符号化または復号化の処理を行う際には、音声データを取り扱うときよりも長い時間が必要である。
【００７０】
上述のように、本実施の形態１に係る通信装置８０によれば、通信相手に対応した画像を表示する状態から、復号化された受信画像データが示す画像を表示する状態へと、表示部４での表示が切り替えられる際、受信画像データが含むデータのうち、復号化が完了したイントラ画像データが示す画像が表示部４に最初に表示される。また、イントラ画像データが示す画像は、インター画像データが示す画像とは異なり、１画面分の完全な画像である。そのため、従来の通信装置１００とは異なり、表示の切り替えを行う際には、１画面分の完全な画像が必ず最初に表示され、画像がちらつくことを防止することができる。その結果、通信装置８０を取り扱うユーザーに与える不快感を低減することができる。
【００７１】
また、通信相手が確認できた段階で、通信相手に対応した画像を表示しているため、ユーザーが逸早く通信相手を視覚的に確認することができる。
【００７２】
なお、ユーザーの視覚的な観点からは、画像蓄積部１１が蓄積している蓄積画像データは、動画像に関する画像データである方が、次の点で望ましい。通信装置８０をテレビ電話等で使用した場合、通信相手からの画像は動画像であるため、蓄積画像データが動画像に関する画像データであれば、動画像から動画像に表示が切り替わる。そのため、静止画像から動画像に表示を切り替える場合よりも、通信装置８０のユーザーに与える、表示が切り換わった際の違和感を低減することができる。
【００７３】
一方、動画像に関する画像データは、静止画像に関する画像データよりも、通常データ量が多いため、蓄積画像データが静止画像に関する画像データである方が、蓄積するデータ量を少なくすることができる。そのため、画像蓄積部１１の蓄積容量を低減することができる。
【００７４】
また、本実施の形態１では、画像蓄積部１１は、復号化される前の画像データを蓄積画像データとして蓄積していたが、復号化された画像データを蓄積画像データとして蓄積していても良い。この場合には、復号化を行う処理が必要でないため、蓄積画像データを読み出した制御部８は、表示部４のバッファに直接書き込むことによって、通信相手に対応した画像を表示することができる。そのため、ユーザーは、より早い段階で、通信相手を視覚的に確認することができる。
【００７５】
一方、復号化前の画像データ、つまり符号化されている画像データは、復号化された画像データよりもデータ量が小さいため、蓄積画像データとして復号化されていない画像データを採用した方が、蓄積するデータ量を少なくすることができる。そのため、蓄積画像データとして復号化されていない画像データを採用した方が、画像蓄積部１１の蓄積容量を低減することができる。
【００７６】
実施の形態２．
図３は、本発明の実施の形態２に係る通信装置８１の構成を示すブロック図である。本実施の形態２に係る通信装置８１の構成は、上述の通信装置８０において、予め設定された時間（以後、単に「設定時間」と呼ぶ）を計測する計時部２０を更に備えるものである。計時部２０には、例えば、上述のネゴシエーション完了後（ステップｓ３の完了後）から、イントラ画像データの復号化が完了するまでの予測時間が予め設定されており、計時部２０はその予測時間を計測する。具体的には、計時部２０は、ネゴシエーションの完了時点から計測を開始し、設定時間である上述の予測時間の計測が完了すると、その完了を示す計測完了信号を制御部８及び画像情報処理部６に出力する。言い換えると、計時部２０は、ネゴシエーションの完了時点からの経過時間を計測し、その経過時間が設定時間と一致すると、計測完了信号を出力する。以下に、本実施の形態２に係る通信装置８１がテレビ電話装置である場合を例にとって、図４を参照して、通信装置８１の動作について説明する。
【００７７】
図４は、通信装置８１の着信動作を示すフローチャートであって、通信相手との通信うち、伝送データの受信動作について主に示している。なお、通信装置８１の音声出力動作及び伝送データの送信動作については、上述の通信装置８０と同じであるため、その説明は省略する。また、図４では、図２中のステップｓ１１，ｓ１２の記載を省略している。
【００７８】
図４に示すように、テレビ電話が開始し、上述のステップｓ１〜ｓ３までが実行される。ステップｓ３が完了すると、つまりネゴシエーションが完了すると、ステップｓ１４において、計時部２０は、設定時間の計測を開始する。具体的には、ＭＵＸ／ＤＭＵＸ１０が、ネゴシエーションの完了を計時部２０に知らせる。計時部２０は、ネゴシエーションの完了を認識すると、設定時間の計測を開始する。そして、ステップｓ１５において、設定時間の計測が完了すると、ステップｓ１６において、計時部２０は、計測完了信号を制御部８及び画像情報処理部６に出力する。
【００７９】
一方、ステップｓ３が完了すると、ステップｓ４〜ｓ８，ｓ１１、ｓ１２が実行される。そして、ステップｓ８あるいはステップｓ１６が実行された後に、ステップｓ９０において、通信相手に対応した画像を表示する状態から、復号化された受信画像データが示す画像を表示する状態へと、表示部４での表示が切り替えられる。以下に、ステップｓ９０について詳細に説明する。
【００８０】
画像情報処理部６の出力制御部６４は、画像復号化部６１でのイントラ画像データの復号化が完了した後に、あるいは画像情報処理部６が計測完了信号を受け取った後に、画像復号化部６１で復号化された受信画像データを、表示部４の動画表示用のバファに出力するように、画像情報処理部６の出力を制御している。
【００８１】
具体的には、画像復号化部６１でのイントラ画像データの復号化が完了する前に、画像情報処理部６が計測完了信号を受け取ると、出力制御部６４は、それまでに画像復号化部６１で復号化されたインター画像データを、表示部４に最初に出力するように、画像情報処理部６の出力を制御している。つまり、画像復号化部６１でのイントラ画像データの復号化の完了が、計時部２０での設定時間の計測の完了よりも遅いときには、復号化されたインター画像データが表示部４の動画表示用のバッファに最初に出力される。なお、通常、通信相手からイントラ画像データが送られてくる間隔は、インター画像データが送られてくる間隔よりも非常に長いため、設定時間が計測された時点では、少なくとも一つの（１フレーム分の）インター画像データが復号化されている。
【００８２】
また、画像復号化部６１でのイントラ画像データの復号化が完了した後、あるいは、完了と同時に、画像情報処理部６が計測完了信号を受け取ると、出力制御部６４は、上述の通信装置８０と同様に、受信画像データのうち、復号化が完了したインター画像データを、表示部４に最初に出力するように、画像情報処理部６の出力を制御している。つまり、画像復号化部６１でのイントラ画像データの復号化の完了が、計時部２０での設定時間の計測の完了よりも遅くないときには、復号化されたイントラ画像データが表示部４の動画表示用のバッファに最初に出力される。
【００８３】
画像情報処理部６が、復号化した受信画像データを最初に表示部４に出力した後は、出力制御部６４は特に動作を行わず、画像情報処理部６は、最初に出力された受信画像データに続いて入力されてくる受信画像データを復号化し、表示部４に順次出力していく。
【００８４】
そして、蓄積画像データが静止画像に関する画像データの場合には、ステップｓ８あるいはステップｓ１６において、復号完了信号あるいは計測完了信号を受け取った制御部８は、表示切り替え部１３に対して、表示部４の表示の切り替えを要求し、表示切り替え部１３は、上述の通信装置８０と同様に、静止画表示用のバッファ内の画像データが示す画像の表示から、動画表示用のバッファ内の画像データが示す画像の表示へと、表示部４での表示を切り替える。その結果、通信相手に対応した画像を表示する状態から、復号化された受信画像データが示す画像を表示する状態へと、表示部４での表示が切り替えられる。なお、制御部８は、復号完了信号及び計測完了信号のうち、最初に受け取った信号についてのみ、表示切り替え部１３に対して表示部４の切り替えを要求し、後続の信号は無視される。
【００８５】
一方、蓄積画像データが動画像に関する画像データの場合には、表示部４の動画表示用のバッファに書き込まれている蓄積画像データは、復号化が完了した受信画像データによって上書きされる。その結果、表示部４が、動画表示用のバッファから画像データを読み出して画像を表示することによって、通信相手に対応した画像を表示する状態から、復号化された受信画像データが示す画像を表示する状態へと、表示部４での表示が切り替えられる。なお、この場合、ステップｓ８あるいはステップｓ１６において復号完了信号あるいは計測完了信号を受け取った制御部８は、その各信号を無視する。また、表示切り替え部１３は、制御部８からの表示の切り替えの要求が無いため、特に動作を行わない。
【００８６】
表示部４での表示が上述のように切り替えられる場合、画像復号化部６１でのイントラ画像データの復号化の完了が、計時部２０での設定時間の計測の完了よりも遅いときには、表示部４にはインター画像データが最初に出力されているため、インター画像データが示す画像が表示部４に最初に表示される。一方、画像復号化部６１でのイントラ画像データの復号化の完了が、計時部２０での設定時間の計測の完了よりも遅くないときには、表示部４にはイントラ画像データが最初に出力されているため、イントラ画像データが示す画像が、表示部４に最初に表示される。
【００８７】
このように、出力制御部６４及び表示切り替え部１３、つまり表示切り替え部９が上述のように動作することによって、通信相手に対応した画像を表示する状態から、復号化された受信画像データが示す画像を表示する状態へと、表示部４での表示が切り替えられる。更に、表示切り替え部９は、表示を切り替える場合、イントラ画像データの復号化の完了が、計時部２０での設定時間の計測の完了よりも遅くないときには、受信画像データが含むデータのうち、復号化が完了したイントラ画像データが示す画像を、表示部４に最初に表示させ、イントラ画像データの復号化の完了が、計時部２０での設定時間の計測の完了よりも遅いときには、設定時間が計測されるまでに復号化が完了したインター画像データが示す画像を、表示部４に最初に表示させている。
【００８８】
ステップｓ９において、表示が切り替えられた後は、表示部４には、復号化された受信画像データが示す画像が表示される。そして、上述のステップｓ１０が実行されて、テレビ電話が終了する。
【００８９】
上述のように、本実施の形態２に係る通信装置８１によれば、イントラ画像データの復号化の完了が、計時部２０での設定時間の計測の完了よりも遅いときには、それまでに復号化されたインター画像データが示す画像を、表示部４に最初に表示している。上述の実施の形態１に係る通信装置８０では、イントラ画像データが送られてくる間隔が異常に長い場合、長時間、通信相手からの画像を表示することができなかった。しかし、本実施の形態２に係る通信装置８１では、イントラ画像データの復号化が完了していない場合であっても、計時部２０での設定時間の計測が完了した後には、完全な画像ではないものの、通信相手からの画像を表示することができる。そのため、通信相手から送られてきた画像の表示開始までの待ち時間を一定時間内に抑えることができる。
【００９０】
実施の形態３．
図５は、本発明の実施の形態３に係る通信装置８２の構成を示すブロック図である。本実施の形態３に係る通信装置８２の構成は、上述の通信装置８０において、音声出力部３での音声出力を制御する音声出力制御部３０を更に備えるものである。以下に、本実施の形態３に係る通信装置８２がテレビ電話装置である場合を例にとって、図６を参照して、通信装置８２の動作について説明する。
【００９１】
図６は、通信装置８２の着信動作を示すフローチャートであって、通信相手との通信うち、伝送データの受信動作について主に示している。なお、通信装置８２の画像の表示動作及び伝送データの送信動作については、上述の通信装置８０と同じであるため、その説明は省略する。
【００９２】
図６に示すように、テレビ電話が開始し、上述のステップｓ１〜ｓ３までが実行される。ステップｓ３が完了すると、上述のステップｓ１１において、音声情報処理部５の音声復号化部５１に音声データが入力される。そして、ステップｓ２５において、音声復号化部５１は、予め設定されている復号化方式で受信音声データの復号化を開始する。このとき、音声出力制御部３０は、音声情報処理部５の出力を制御し、復号化された音声データが出力されないようにしている。
【００９３】
一方、ステップｓ３が完了すると、上述のステップｓ４が実行される。そして、ステップｓ５において、通信相手に対応した、受信音声データの復号化方式の設定が完了すると、ステップｓ２３において、制御部８は復号化方式の設定の完了を示す設定完了信号を音声出力制御部３０に送る。また、音声復号化部５１は、設定された復号化方式で受信音声データの復号化を行う。そして、ステップｓ２４において、設定完了信号を受け取った音声出力制御部３０は、音声情報処理部５に対して、復号化された受信音声データの出力の開始を要求する。かかる要求を受け取った音声情報処理部５は、通信相手に対応した復号化方式で復号化された受信音声データを音声出力部３に出力する。そして、音声出力部３は、受け取った受信音声データをもとに、外部に音声を出力する。このようにして、本実施の形態１に係る通信装置８２では、通信相手に対応した復号化方式で復号化された受信音声データでもって、音声出力が開始される。そして、上述のステップｓ１０が実行されると、テレビ電話が終了する。
【００９４】
上述の実施の形態１に係る通信装置８０では、音声出力部３における音声の出力は特に制御されておらず、通信相手から音声データが送られてくると、無条件に音声を出力していた。例えば、通信相手に対応した復号化方式が設定される前に、音声データが送られてくると、予め設定されている復号化方式で受信音声データの復号化を行い、音声出力を行っていた。そのため、通信相手から送られてきた音声を正常に出力することができず、ユーザーに不快感を与えていた。
【００９５】
本実施の形態３に係る通信装置８２では、音声出力制御部３０が、通信相手に対応した復号化方式で復号化された受信音声データでもって、音声出力部３に音声の出力を開始させているため、通信装置８０とは異なり、通信相手からの音声を正常に出力することができる。そのため、ユーザーに与える不快感を低減することができる。
【００９６】
実施の形態４．
図７は本発明の実施の形態４に係る通信装置８３の構成を示すブロック図である。本実施の形態４に係る通信装置８３の構成は、上述の実施の形態１に係る通信装置８０において、画像データ書き込み部４１を更に有するものである。画像データ書き込み部４１は、制御部８に備えられており、操作部１２に対して行われた所定の操作に基づいて、蓄積画像データとして、受信画像データを画像蓄積部１１に蓄積させる。以下に、本実施の形態４に係る通信装置８３がテレビ電話装置である場合を例にとって、図８を参照して、通信装置８３の動作について説明する。なお、通信装置８３の音声出力動作及び伝送データの送信動作については、上述の通信装置８０と同じであるため、その説明は省略する。
【００９７】
図７は、通信装置８３の動作を示すフローチャートであって、図中のステップｓ１０よりも前には、図２中のステップｓ１〜ｓ９，ｓ１１，ｓ１２が実行される。また、ステップｓ１０が実行される際には、画像情報処理部６は、表示部４に出力した受信画像データのうち、最後に出力した１フレーム分の受信画像データ（以後、「蓄積用受信画像データ」と呼ぶ）を、画像復号化部６１で復号化される前の状態で、内部のメモリ（図示せず）に保持している。従って、蓄積用受信画像データは、画像情報処理部６から新たな受信画像データが出力されるたびに、更新される。なお、蓄積用受信画像データは１フレーム分の画像データであるため、静止画像に関する画像データである。
【００９８】
図７に示すように、ステップｓ１０において、通信装置８３あるいは相手方のユーザーがテレビ電話を終了する操作を行うと、ステップｓ３２において、制御部８は、表示部４に所定の文字等を表示させて、画像蓄積部１１に受信画像データを蓄積するかどうかの選択をユーザーに促す。更に、制御部８は画像情報処理部６に対して、表示部４への受信画像データの出力の停止を命令する。画像情報処理部６は、かかる命令を制御部８からを受け取ると、受信画像データの表示部４への出力を停止する。
【００９９】
そして、ステップｓ３２において、ユーザーが操作部１２に対して、受信画像データを蓄積させる操作を行うと、操作部１２はその操作情報を画像データ書き込み部４１に出力する。画像データ書き込み部４１は、ステップｓ３３において、画像情報処理部６から蓄積用受信画像データを読み出して、蓄積画像データとして、画像蓄積部１１に蓄積させる。その後、テレビ電話が終了する。
【０１００】
一方、ステップｓ３２において、ユーザーが操作部１２に対して、受信画像データを蓄積させない操作を行うと、操作部１２はその操作情報を画像データ書き込み部４１に出力する。画像データ書き込み部４１は、画像情報処理部６に対して、蓄積用受信画像データを破棄するように命令する。そして、画像情報処理部６が蓄積用受信画像データを破棄して、テレビ電話は終了する。
【０１０１】
同じ通信相手との次回の通信時には、通信装置８３は、前回の通信時のステップｓ３３で蓄積された受信画像データをもとに、通信相手に対応した画像を表示する。
【０１０２】
このように、本実施の形態４に係る通信装置８３では、蓄積画像データとして、受信画像データを画像蓄積部１１に蓄積しているため、次回の通信時には、前回の通信時の受信画像データが示す画像を、通信相手に対応した画像として、表示することができる。
【０１０３】
また、受信画像データを画像蓄積部１１に蓄積させる動作は、操作部１２に対して行われた所定の操作に基づいているため、通信装置８３のユーザーがその所定の操作を行うかどうかを決定することによって、画像蓄積部１１に受信画像データを蓄積するかどうかの選択をユーザーが行うことができる。
【０１０４】
実施の形態５．
図９は本発明の実施の形態５に係る通信装置８４の構成を示すブロック図である。本実施の形態５に係る通信装置８４の構成は、実施の形態１に係る通信装置８０において、上述の画像データ書き込み部４１と、時間設定部４０とを更に有するものである。時間設定部４０には、受信画像データの蓄積時間が予め設定されている。以下に、本実施の形態５に係る通信装置８４がテレビ電話装置である場合を例にとって、図１０を参照して、通信装置８４の動作について説明する。なお、通信装置８４の音声出力動作及び伝送データの送信動作については、上述の通信装置８０と同じであるため、その説明は省略する。
【０１０５】
図１０は、通信装置８４の着信動作を示すフローチャートである。図１０に示すように、テレビ電話が開始すると、上述のステップｓ１〜ｓ５及びステップｓ１１が実行される。一方、テレビ電話が開始すると、ステップｓ４１において、制御部８は、時間設定部４０から蓄積時間を読み出して、その蓄積時間を画像情報処理部６に設定する。
【０１０６】
ステップｓ５において、通信相手に対応した復号化方式及び符号化方式が設定されると、上述のステップｓ６〜ｓ９が実行される。このとき、画像情報処理部６は、設定された蓄積時間分の受信画像データを、内部のメモリ（図示せず）に保持している。具体的には、表示部４に出力した受信画像データのうち、最後に出力した受信画像データから、蓄積時間分前の受信画像データまでを、画像復号化部６１で復号化される前の状態で、内部のメモリに保持している。
【０１０７】
そして、ステップｓ１０において、通信装置８４あるいは相手方のユーザーがテレビ電話を終了する操作を行うと、ステップｓ３２において、制御部８は、表示部４に所定の文字等を表示させて、画像蓄積部１１に受信画像データを蓄積するかどうかの選択をユーザーに促す。更に、制御部８は画像情報処理部６に対して、表示部４への受信画像データの出力の停止を命令する。画像情報処理部６は、かかる命令を制御部８からを受け取ると、受信画像データの表示部４への出力を停止する。
【０１０８】
そして、ステップｓ３２において、ユーザーが操作部１２に対して、受信画像データを蓄積させる操作を行うと、操作部１２はその操作情報を画像データ書き込み部４１に出力する。画像データ書き込み部４１は、ステップｓ４２において、画像情報処理部６から、蓄積時間分の受信画像データを読み出して、蓄積画像データとして、画像蓄積部１１に蓄積させる。
【０１０９】
一方、ステップｓ３２において、ユーザーが操作部１２に対して、受信画像データを蓄積させない操作を行うと、操作部１２はその操作情報を画像データ書き込み部４１に出力する。画像データ書き込み部４１は、画像情報処理部６に対して、蓄積時間分の受信画像データを破棄するように命令する。そして、画像情報処理部６が蓄積時間分の受信画像データを破棄して、テレビ電話は終了する。
【０１１０】
同じ通信相手との次回の通信時には、通信装置８４は、前回の通信時のステップｓ４２で蓄積された受信画像データをもとに、通信相手に対応した画像を表示する。
【０１１１】
このように、本実施の形態５に係る通信装置８４では、蓄積画像データとして、蓄積時間分の受信画像データを画像蓄積部１１に蓄積している。そのため、実施の形態４に係る通信装置８３とは異なり、次回の通信時には、前回の通信時に受信した画像を、通信相手に対応した画像として、動画像で表示することができる。
【０１１２】
また、実施の形態４に係る通信装置８３と同様に、画像蓄積部１１に受信画像データを蓄積するかどうかの選択をユーザーが行うことができる。
【０１１３】
また、時間設定部４０に予め設定する蓄積時間の値を変化させることによって、任意の時間の受信画像データを、蓄積画像データとして蓄積することができる。
【０１１４】
なお、本実施の形態５において、ユーザーに蓄積時間を設定させても良い。具体的には、ステップｓ１０が実行された後に、制御部８は、所定の文字等を表示部４に表示させて、ユーザーに蓄積時間の設定を促す。そして、ユーザーが操作部１２のキースイッチを押して、蓄積時間を入力する。操作部１２は、入力された蓄積時間を制御部８に通知する。制御部８は、その蓄積時間を時間設定部４０に設定する。このようにして、ユーザーによる蓄積時間の設定が可能になる。そして、次回の通信時には、前回の通信時に設定された蓄積時間分の受信画像データを蓄積画像データとして蓄積することができる。
【０１１５】
また、実施の形態４，５では、画像復号化部６１で復号化される前の受信画像データを、画像蓄積部１１に蓄積させていたが、画像復号化部６１で復号化された受信画像データを蓄積させても良い。このときには、次回の通信時に、蓄積画像データを復号化する処理が必要でなくなるため、ユーザーは、より早い段階で、通信相手を視覚的に確認することができる。
【０１１６】
【発明の効果】
この発明のうち請求項１に係る通信装置及び請求項１０に係る通信方法によれば、イントラ画像データの復号化が完了していない場合であっても、予め設定された時間の計測が完了した後には、通信相手からの画像を表示することができる。そのため、通信相手から送られてきた画像の表示開始までの待ち時間を一定時間内に抑えることができる。
【０１１８】
また、この発明のうち請求項２に係る通信装置及び請求項１１に係る通信方法によれば、蓄積画像データとして、受信画像データを蓄積しているため、次回の通信時には、前回の通信時の受信画像データが示す画像を、通信相手に対応した画像として、表示することができる。
【０１１９】
また、受信画像データを蓄積させる動作は、通信装置に対する所定の操作に基づいているため、通信装置のユーザーがその所定の操作を行うかどうかを決定することによって、受信画像データを蓄積するかどうかをユーザーが選択することができる。
【０１２０】
また、この発明のうち請求項３に係る通信装置及び請求項１２に係る通信方法によれば、請求項４に係る通信装置及び請求項１３に係る通信方法よりも、蓄積するデータ量を少なくすることができる。
【０１２１】
また、この発明のうち請求項４に係る通信装置及び請求項１３に係る通信方法によれば、通信相手からの画像が動画像である場合、動画像から動画像に表示が切り替わる。そのため、静止画像から動画像に表示を切り替える場合よりも、通信装置のユーザーに与える、表示が切り換わった際の違和感を低減することができる。
【０１２２】
また、この発明のうち請求項５に係る通信装置及び請求項１４に係る通信方法によれば、蓄積画像データとして、蓄積時間分の受信画像データを蓄積しているため、次回の通信時には、前回の通信時に受信した画像を、通信相手に対応した画像として、動画像で表示することができる。
【０１２３】
また、蓄積時間を変化させることによって、任意の時間の受信画像データを、蓄積画像データとして蓄積することができる。
【０１２４】
また、この発明のうち請求項６に係る通信装置及び請求項１５に係る通信方法によれば、請求項７に係る通信装置及び請求項１６に係る通信方法よりも、蓄積するデータ量を少なくすることができる。
【０１２５】
また、この発明のうち請求項７及び請求項８に係る通信装置と、請求項１６に係る通信方法によれば、通信相手に対応した画像を表示する際に、復号化を行う処理が必要でないため、通信相手に対応した画像をより早く表示することができる。そのためユーザーは、より早い段階で、通信相手を視覚的に確認することができる。
【０１２６】
また、この発明のうち請求項９に係る通信装置と、請求項１７に係る通信方法によれば、通信相手に対応した復号化方式で復号化された受信音声データでもって、音声の出力を開始しているため、通信相手からの音声を正常に出力することができる。そのため、ユーザーに与える不快感を低減することができる。
【図面の簡単な説明】
【図１】  本発明の実施の形態１に係る通信装置の構成を示すブロック図である。
【図２】  本発明の実施の形態１に係る通信装置の動作を示すフローチャートである。
【図３】  本発明の実施の形態２に係る通信装置の構成を示すブロック図である。
【図４】  本発明の実施の形態２に係る通信装置の動作を示すフローチャートである。
【図５】  本発明の実施の形態３に係る通信装置の構成を示すブロック図である。
【図６】  本発明の実施の形態３に係る通信装置の動作を示すフローチャートである。
【図７】  本発明の実施の形態４に係る通信装置の構成を示すブロック図である。
【図８】  本発明の実施の形態４に係る通信装置の動作を示すフローチャートである。
【図９】  本発明の実施の形態５に係る通信装置の構成を示すブロック図である。
【図１０】  本発明の実施の形態５に係る通信装置の動作を示すフローチャートである。
【図１１】  従来の通信装置の構成を示すブロック図である。
【符号の説明】
３  音声出力部、４  表示部、９  表示切り替え部、１０  マルチプレクサ／デマルチプレクサ、１１  画像蓄積部、１２  操作部、１８  復号化方式設定部、２０  計時部、３０  音声出力制御部、４０  時間設定部、４１  画像データ書き込み部、５１  音声復号化部、６１  画像復号化部、８０〜８４  通信装置。
【図１】
0003996435.tif 000002
【図２】
0003996435.tif 000003
【図３】
0003996435.tif 000004
【図４】
0003996435.tif 000005
【図５】
0003996435.tif 000006
【図６】
0003996435.tif 000007
【図７】
0003996435.tif 000008
【図８】
0003996435.tif 000009
【図９】
0003996435.tif 000010
【図１０】
0003996435.tif 000011
【図１１】
0003996435.tif 000012