(57)【特許請求の範囲】
【請求項１】
送信すべき画像データを圧縮符号化する符号化手段と通信回線との間に介装されて、前記符号化手段により圧縮符号化された画像データを一時記憶する送信バッファメモリを有するテレビ電話装置であって、
前記送信バッファメモリに一時記憶されている画像データのフレーム数を検出するフレーム数検出手段と、
前記フレーム数検出手段により検出されるフレーム数が１フレームになったときに、そのフレームを前記送信バッファメモリから消去せずに、そのフレームの送信画像データの送信を継続させ、前記フレーム数検出手段により検出されるフレーム数が２フレーム以上になった時点で、既に送信済のフレームの送信画像データを前記送信バッファメモリから消去する送信バッファメモリ制御手段とを備えたことを特徴とするテレビ電話装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、アナログあるいはディジタルの電話回線などを利用して、動画像および音声を送受信するテレビ電話装置に関するものである。
【０００２】
【従来の技術】
テレビ電話装置においては、伝送速度の遅い電話回線を介して動画像および音声を送受信するので、特に情報量の多い動画像の送信に際しては、各種のデータ圧縮方式が併用されている。たとえば、ＤＣＴ（discrete cosine transform ）などの空間方向の圧縮方式と、時間方向予測や動き補償などの時間方向の圧縮方式とを併用して送信すべき画像データを圧縮符号化している。
【０００３】
したがって、圧縮符号化後の送信画像データのデータ量が各フレーム毎に異なることから、送信バッファメモリを設け、フレーム毎のデータ伝送時間の差を吸収している。
【０００４】
【発明が解決しようとする課題】
ところが、従来のテレビ電話装置では、送信バッファメモリに一時記憶された画像データを、通信回線に送出すると同時に消去していたので、何らかの原因で送信バッファメモリへの入力が一時的に中断した場合、送信バッファメモリに一時記憶されている画像データがなくなり、受信側の表示画面上に何も表示されなくなることがあるという不都合があった。
【０００５】
たとえば、符号化手段にＤＳＰ（digital signal processor）を用いた場合、解像度の変更などのためにＤＳＰのプログラムを切り換えようとしたときに、所望のプログラムがＲＡＭ（random access memory）に格納されていないときには、そのプログラムをＲＡＭに読み出すまでＤＳＰの動作が停止し、この結果、圧縮符号化された画像データが送信バッファメモリに供給されないことになる。
【０００６】
本発明は、上記の点に鑑みて提案されたものであって、送信バッファメモリへの画像データの入力が中断されたときでも、画像データの送信が途絶えることのないテレビ電話装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載した発明のテレビ電話装置は、送信すべき画像データを圧縮符号化する符号化手段と通信回線との間に介装されて、符号化手段により圧縮符号化された画像データを一時記憶する送信バッファメモリを有するテレビ電話装置であって、送信バッファメモリに一時記憶されている画像データのフレーム数を検出するフレーム数検出手段と、フレーム数検出手段により検出されるフレーム数が１フレームになったときに、そのフレームを送信バッファメモリから消去せずに、そのフレームの送信画像データの送信を継続させ、フレーム数検出手段により検出されるフレーム数が２フレーム以上になった時点で、既に送信済のフレームの送信画像データを送信バッファメモリから消去する送信バッファメモリ制御手段とを備えている。
【０００８】
このテレビ電話装置によれば、送信バッファメモリ制御手段が、フレーム数検出手段により検出されるフレーム数が１フレームになったときに、そのフレームを送信バッファメモリから消去せずに、そのフレームの送信画像データの送信を継続させ、フレーム数検出手段により検出されるフレーム数が２フレーム以上になった時点で、既に送信済のフレームの送信画像データを送信バッファメモリから消去するので、送信バッファメモリへの画像データの入力が中断されたときでも、画像データの送信が途絶えることがない。
【０００９】
したがって、受信側のテレビ電話装置の表示画面上に何も表示されなくなって、故障と間違えるというような不都合を良好に回避できる。
【００１０】
【発明の実施の形態】
以下、本発明の好ましい実施の形態を、図面を参照しつつ具体的に説明する。
【００１１】
図１は、本発明に係るテレビ電話装置の回路ブロック図であって、このテレビ電話装置は、画像入出力部１、音声入出力部２、操作部３、システムコントローラ４、画像コーデック５、音声コーデック６、プロトコル変換部７、遅延回路８、選択部９、およびモデム１０を備えている。モデム１０は、電話回線１１に接続されている。画像入出力部１は、カメラ１２およびモニタ１３を備えている。音声入出力部２は、マイクロホン１４とスピーカ１５とを備えたハンドセット１６により構成されている。
【００１２】
画像入出力部１は、撮像手段としての動画撮像用のカメラ１２と、ＣＲＴ（cathode-ray tube）あるいはＬＣＤ（liquid crystal display）などからなる表示装置としてのモニタ１３とを備えており、送信すべき動画を撮像して画像データに変換するとともに、画像コーデック５を介して入力される画像信号に基づいて受信画像を表示画面上に表示する。
【００１３】
音声入出力部２は、マイクロホン１４とスピーカ１５とを備えたハンドセット１６からなり、送信すべき音声を音声信号に変換するとともに、音声コーデック６を介して入力される音声信号を音声として出力する。もちろん、マイクロホン１４とスピーカ１５とをそれぞれ個別に設けてもよい。
【００１４】
操作部３は、キーボードあるいはテンキーなどからなり、使用者が発呼時に電話番号などを入力するためのものであって、使用者の操作に応じた操作信号を出力する。
【００１５】
システムコントローラ４は、ＣＰＵ（central processing unit ）などを備えており、テレビ電話装置の全体を制御する。
【００１６】
画像コーデック５は、送信部と受信部とを備えており、送信部は、画像入出力部１のカメラ１２からの画像信号に基づく送信画像データを、空間方向および時間方向に圧縮符号化し、受信部は、選択部９を介して入力される受信画像データを伸長復号化する。
【００１７】
音声コーデック６は、音声入出力部２のマイクロホン１４からの送信音声信号をＡ／Ｄ変換および圧縮符号化し、かつ、遅延回路８を介して入力される受信音声データを伸長復号化およびＤ／Ａ変換する。
【００１８】
プロトコル変換部７は、操作部３およびシステムコントローラ４からの送信すべきコマンドおよびデータを、所定のプロトコルに準拠したコマンドおよびデータに変換し、かつ、選択部９を介して入力される受信したコマンドおよびデータを、システムコントローラ４の採用している形式のコマンドおよびデータに変換する。
【００１９】
遅延回路８は、画像コーデック５による処理速度と音声コーデック６による処理速度との差を吸収するためのものであって、音声コーデック６からの送信音声データを遅延させ、かつ、選択部９を介して入力される受信音声データを遅延させる。
【００２０】
選択部９は、マルチプレクサおよびデマルチプレクサを備えており、画像コーデック５、遅延回路８、およびプロトコル変換部７からの送信データのうちのいずれかを選択してモデム１０に出力し、かつ、モデム１０からの受信データを画像コーデック５、遅延回路８、あるいはプロトコル変換部７に選択的に出力する。
【００２１】
モデム１０は、選択部９からの送信データを変調して電話回線１１に送出し、かつ、電話回線１１を介して入力された受信データを復調する。
【００２２】
図２は、画像コーデック５の送信部の回路ブロック図であって、画像コーデック５の送信部は、フレームメモリ２１、符号化部２２、送信バッファメモリ２３、およびメモリ制御部２４を備えている。
【００２３】
フレームメモリ２１は、画像入出力部１のカメラ１２を介して得た画像データを一時記憶する。このフレームメモリ２１の容量は、画像入出力部１からの画像データの複数フレーム分である。
【００２４】
符号化部２２は、ＤＳＰなどにより実現されており、フレームメモリ２１に一時記憶されている画像データを、ＤＣＴ（discrete cosine transform ）などの空間方向の圧縮方式と、時間方向予測や動き補償などの時間方向の圧縮方式とを併用して圧縮符号化する。
【００２５】
送信バッファメモリ２３は、符号化部２２により圧縮符号化された画像データを一時記憶する。この送信バッファメモリ２３の容量は、符号化部２２からの圧縮符号化された画像データの複数フレーム分である。
【００２６】
メモリ制御部２４は、送信バッファメモリ２３に対する画像データの書き込みおよび読み出しを制御する。すなわちメモリ制御部２４は、送信バッファメモリ２３に一時記憶されている画像データのフレーム数を常時監視しており、そのフレーム数が１フレームになったときに、そのフレームを送信バッファメモリ２３から消去せずに、そのフレームの送信画像データの送信を継続させ、送信バッファメモリ２３に一時記憶されているフレーム数が２フレーム以上になった時点で、既に送信済のフレームの送信画像データを送信バッファメモリ２３から消去する。
【００２７】
次に、このように構成されたテレビ電話装置の動作の要点について説明する。使用者が、ハンドセット１６を取り、操作部３を介して通信相手先の電話番号を入力すると、それに応じたＤＴＭＦ（dual tone multi-frequency ）信号がプロトコル変換部７、選択部９、およびモデム１０を介して電話回線１１に送出される。
【００２８】
通信相手先のオフフックにより、回線が接続されると、モデム１０、選択部９、およびプロトコル変換部７を介してシステムコントローラ４に接続情報が送られる。その後、システムコントローラ４の指示により画像コーデック５および音声コーデック６が起動される。
【００２９】
使用者の音声は、音声入出力部２のマイクロホン１４により音声信号に変換され、その音声信号は音声コーデック６によりディジタルの音声データに変換され、さらに圧縮符号化されて、遅延回路８、選択部９、およびモデム１０を介して電話回線１１に送出される。
【００３０】
また、画像情報は、画像入出力部１のカメラ１２から取り込まれ、画像コーデック５のフレームメモリ２１に一時記憶され、符号化部２２により空間方向および時間方向に圧縮符号化されて、送信バッファメモリ２３に一時記憶され、選択部９に出力される。選択部９により選択された画像データは、モデム１０により所定の変調方式で変調され、電話回線１１に送出される。なお、送信バッファメモリ２３に対する画像データの書き込みおよび読み出しは、メモリ制御部２４により制御され、符号化部２２から入力される画像データのデータ量と選択部９およびモデム１０を介して電話回線１１に送出される画像データのデータ量との単位時間当たりの差に応じて、送信バッファメモリ２３に蓄積されている画像データのデータ量が変化する。
【００３１】
一方、通信の相手側から電話回線１１を介してモデム１０に入力されたデータは、モデム１０によって変調され、選択部９によって音声データと画像データとに区別され、選択的に出力される。音声データは、遅延回路８を介して音声コーデック６に供給されて、復号化およびＤ／Ａ変換され、音声入出力部２のスピーカ１５を介して音声として出力される。画像データは、画像コーデック５に供給されて、復号化され、さらに所定形式のビデオ信号に変換されて、画像入出力部１のモニタ１３に供給される。これによりモニタ１３の表示画面上に、通信の相手側のテレビ電話装置のカメラにより撮影された画像が表示される。
【００３２】
ここで、通信相手先と回線が閉結されている状態で、使用者が操作部３に所定の操作を施し、それに基づいてシステムコントローラ４が画像コーデック５に解像度を変更すべき旨の指令信号を出力したとすると、画像コーデック５の符号化部２２が、ＤＳＰのプログラムを切り換えるなどの処理のために、圧縮符号化動作を一時的に停止する。この結果、送信バッファメモリ２３に圧縮符号化された画像データが供給されなくなり、送信バッファメモリ２３に一時記憶されている画像データが次第に減少する。そして、送信バッファメモリ２３に一時記憶されている画像データが１フレーム分まで減少すれば、メモリ制御部２４が、送信バッファメモリ２３から読み出して選択部９に供給した画像データを送信バッファメモリ２３から消去しない。すなわち、そのフレームの画像データを全て選択部９に出力した時点で、そのフレームとそれに後続するフレームとの２フレーム分以上の画像データが送信バッファメモリ２３に蓄積されていなければ、再度、そのフレームの画像データを選択部９に出力する。したがって、その時間が比較的長期にわたって継続すれば、受信側の表示画面上には、そのフレームの静止画が表示されることになる。
【００３３】
符号化部２２による解像度変更処理が終了すると、符号化部２２が画像データの圧縮符号化を再開し、符号化部２２により圧縮符号化された画像データが送信バッファメモリ２３に供給されて、送信バッファメモリ２３の蓄積画像データ量が次第に増加する。送信バッファメモリ２３に蓄積されている画像データが２フレーム分に達すれば、メモリ制御部２４が、先の１フレーム分の全ての画像データを選択部９に出力させた時点で、先の１フレーム分の画像データを送信バッファメモリ２３から消去し、次の１フレーム分の画像データを選択部９に順次出力させる。
【００３４】
このように、送信バッファメモリ２３に常に１フレーム分以上の画像データを蓄積しておき、送信バッファメモリ２３への画像データの供給が一時的に中断されたときには、送信バッファメモリ２３に蓄積されている最後の１フレーム分の画像データを繰り返し送信するので、受信側の表示画面上に何も表示されないという事態を発生させることがない。
【００３５】
もちろん、送信バッファメモリ２３に蓄積されている画像データが１フレーム分まで減少する原因は、解像度の変更に限るものではなく、たとえば、圧縮符号化後の１フレーム分の画像データのデータ量が極めて少ない状態が継続したようなときや、画像入出力部１のカメラ１２が一時的に故障したときにも、送信バッファメモリ２３に蓄積されている画像データが１フレーム分まで減少する可能性はあるのであって、このような場合にも、送信バッファメモリ２３に蓄積されている最後の１フレーム分の画像データが繰り返し送信される。
【００３６】
すなわち、メモリ制御部２４は、送信バッファメモリに一時記憶されている画像データのフレーム数を検出するフレーム数検出手段を構成している。さらにメモリ制御部２４は、フレーム数検出手段により検出されるフレーム数が１フレームになったときに、そのフレームを送信バッファメモリから消去せずに、そのフレームの送信画像データの送信を継続させ、フレーム数検出手段により検出されるフレーム数が２フレーム以上になった時点で、既に送信済のフレームの送信画像データを送信バッファメモリから消去する送信バッファメモリ制御手段を構成している。
【００３７】
なお、上記実施形態においては、電話回線１１としてアナログ回線を用いたが、ＩＳＤＮ（integrated services digital network ）などのディジタル回線を用いてもよい。この場合、モデム１０の代わりにターミナルアダプタやＤＳＵ（digital service unit）を用いることになる。
【００３８】
また、上記実施形態においては、画像コーデック５の符号化部２２により、送信画像データを空間方向の圧縮方式と時間方向の圧縮方式とを併用して圧縮符号化するように構成したが、これに限るものではなく、画面の動き量に応じてカメラからの画像信号の量子化ステップ数を可変させるように構成してもよい。たとえば、カメラからの画像信号と、フレームメモリに記憶された１フレーム前の画像信号とを比較して画面の動き量を検出し、検出した動き量が大きいときには、量子化ステップ数を少なくし、検出した動き量が小さいときには、量子化ステップ数を多くするのである。このようにすれば、画像データの平均送信量をほぼ一定に保ちつつ、画面の動き量に応じて単位時間当たりの送信フレーム数を可変させることができる。
【００３９】
上記のように量子化ステップ数を可変させるに際して、画面の動き量に変化があった場合に、ＲＯＭにより実現される量子化テーブルを用い、量子化ステップ数を複数フレームにわたってゆっくりと変化させてもよい。このようにすれば、画面を滑らかに変化させることができ、画質を良好に保持できる。
【００４０】
【発明の効果】
以上説明したように請求項１に記載した発明のテレビ電話装置によれば、送信バッファメモリ制御手段が、フレーム数検出手段により検出されるフレーム数が１フレームになったときに、そのフレームを送信バッファメモリから消去せずに、そのフレームの送信画像データの送信を継続させ、フレーム数検出手段により検出されるフレーム数が２フレーム以上になった時点で、既に送信済のフレームの送信画像データを送信バッファメモリから消去するので、送信バッファメモリへの画像データの入力が中断されたときでも、画像データの送信が途絶えることがない。
【図面の簡単な説明】
【図１】本発明に係るテレビ電話装置の回路ブロック図である。
【図２】図１のテレビ電話装置に備えられた画像コーデックの送信部の回路ブロック図である。
【符号の説明】
１  画像入出力部
２  音声入出力部
３  操作部
４  システムコントローラ
５  画像コーデック
６  音声コーデック
７  プロトコル変換部
８  遅延回路
９  選択部
１０  モデム
１１  電話回線
２１  フレームメモリ
２２  符号化部
２３  送信バッファメモリ
２４  メモリ制御部
【図１】
0004032507.tif 000002
【図２】
0004032507.tif 000003