(57)【特許請求の範囲】
【請求項１】
送信装置及び受信装置によって構成される画像伝送システムにおいて、
上記送信装置は、
マイクロフォンによって集音したユーザの音声データを上記受信装置へ送信する音声データ送信手段と、
上記ユーザの顔を撮影することにより得られた基準となる１フレーム分の顔画像データを複数のポイントに分割して結ぶことによりワイヤフレームでなる顔画像モデルを生成し、これを上記受信装置へ送信する顔画像モデル送信手段と、
上記ユーザの音声が発せられたときに顔の表情が変化するという相関関係を考慮し、上記音声データを上記受信装置へ送信している間だけ、上記顔画像モデルの目元部分の各ポイントを分析パラメータとして用い、その時間的変化を上記ワイヤフレームの動き画像成分データとして抽出し、これを上記受信装置へ送信する動き画像成分データ送信手段と
を具え、
上記受信装置は、
上記顔画像モデルを保持する顔画像モデル保持手段と、
上記動き画像成分データに基づいて上記顔画像モデルの上記目元部分について動きのある目元部分動き画像データを生成する目元部分動き画像データ生成手段と、
上記音声データに基づいて上記顔画像モデルの口元部分の動き状態を解読することにより口元部分動き画像データを生成する口元部分動き画像データ生成手段と、
上記顔画像モデルに対して、上記目元部分動き画像データ及び上記口元部分動き画像データを合成することにより合成画像を生成する合成手段と、
上記合成画像を表示する表示手段と
を具える画像伝送システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像伝送システムに関し、例えばユーザ間で音声と共に画像の送受信を行なうテレビジョン電話システムに適用して好適なものである。
【０００２】
【従来の技術】
従来、図６に示すようにテレビジョン電話システム１は、送信側端末２と受信側端末３とによって構成されている。この送信側端末２は、撮像手段（図示せず）によってユーザの顔を撮像した後にディジタル変換した画像データＤ１を１フレーム分ずつ画像圧縮符号化回路４及び動き画像成分抽出回路５に順次送出する。
【０００３】
画像圧縮符号化回路４は、画像データＤ１を所定の方式で圧縮符号化することにより画像符号化データＤ２を生成し、これを多重化回路６に送出する。
【０００４】
動き画像成分抽出回路５は、まず画像データＤ１における顔部分を複数のポイントに分割し、それら複数のポイントを結ぶことによりワイヤフレームと呼ばれる基準の顔画像モデルを生成する。因みにワイヤフレームは、顔の中で特に動きのある目元や口元にポイントが数多く配置されている
【０００５】
そして動き画像成分抽出回路５は、ワイヤフレームの各ポイントを分析パラメータとして用い、当該分析パラメータの時間的変化（すなわち前フレームと現フレームとの差分）をワイヤフレームの動き画像成分として抽出した後に圧縮符号化することにより例えば口元部分の動きを表す動き画像成分データＤ３を生成し、これを多重化回路６に送出する。
【０００６】
また送信側端末２は、マイクロフォン（図示せず）で集音した後にディジタル変換したユーザの音声データＤ４を音声圧縮符号化回路７に送出する。音声圧縮符号化回路７は、音声データＤ４を所定の圧縮符号化方法によって圧縮符号化した後、これを音声符号化データＤ５として多重化回路６に送出する。
【０００７】
多重化回路６は、画像符号化データＤ２、動き画像成分データＤ３及び音声符号化データＤ５を多重化処理し、その結果得られる多重化データＤ６を変調回路８に送出する。
【０００８】
変調回路８は、通信路９を介して送信するための所定の変調方式で多重化データＤ６を変調処理した後、これを送信データＤ７として通信路９を介して受信側端末３へ送信する。因みに通信路９としては、有線及び無線に特にこだわるものではなく、いずれであっても良い。
【０００９】
すなわち通信路９が無線通信路であるときには、送信側端末２及び受信側端末３として例えばカメラ付携帯電話機を用いたテレビジョン電話システム１であることを想定し、通信路９が有線通信路であるときには、送信側端末２及び受信側端末３として例えば家庭に設置されるカメラ付電話機を用いたテレビジョン電話システム１であることを想定している。
【００１０】
受信側端末３は、通信路９を介して送信されてきた送信データＤ７を受信データＤ８として受信して復調回路１０に送出する。復調回路１０は、受信データＤ８に対して復調処理を施すことにより復調データＤ９を得、これを分離回路１１に送出する。
【００１１】
なお実際上、復調回路１０は通信路９を介して受信した受信データＤ８を復調する際、通信路９上で生じるデータ誤りの検出及び訂正を行っているが、ここでは説明の便宜上省略する。
【００１２】
分離回路１１は、送信側端末２の多重化データＤ６に相当する復調データＤ９を多重化処理の逆の手順で分離処理することにより、元の画像符号化データＤ２、動き画像成分データＤ３及び音声符号化データＤ５にそれぞれ相当する画像符号化データＤ１２、動き画像成分データＤ１３及び音声符号化データＤ１５に分離し、音声符号化データＤ１５を音声復号化回路１２に送出し、動き画像成分データＤ１３を動き画像成分復号化回路１３に送出すると共に、画像符号化データＤ１２を画像復号化回路１４に送出する。
【００１３】
画像復号化回路１４は、分離回路１１から順次送られてくる画像符号化データＤ１２を復号することにより元の顔画像を表す基準の画像データＤ１６を１フレーム分ずつ復元し、これらを順次画像データ保持回路１５に送出する。
【００１４】
画像データ保持回路１５は、画像復号化回路１４から送られてきた画像データＤ１６を内部メモリ（図示せず）に順次保持した後、合成回路１６に送出するようになされている。
【００１５】
動き画像成分復号化回路１３は、分離回路１１から連続的に送られてくる動き画像成分データＤ１３を復号することにより元の動き画像成分データＤ３に相当する動き画像成分データを復元した後、当該動き画像成分データに基づいて動きのあるワイヤフレームを生成し、これをワイヤフレームデータＤ１８として合成回路１６に送出する。
【００１６】
合成回路１６は、動き画像成分復号化回路１３から供給されたワイヤフレームデータＤ１８と、画像データ保持回路１５から順次供給された基準の画像データＤ１６とを合成することにより、顔画像の口元が音声に合わせて動くような合成画像データＤ１９を生成し、これを表示画像として表示部（図示せず）を介して出力する。
【００１７】
音声復号化回路１２は、音声符号化データＤ１５を復号することにより元の音声データＤ４に相当する音声データＤ１７を復元し、これをアナログ変換した後に、合成回路１６から表示部を介して出力される表示画像にタイミングを合わせてスピーカ（図示せず）から音声として出力する。
【００１８】
【発明が解決しようとする課題】
ところでかかる構成のテレビジョン電話システム１においては、送信側端末２が１フレーム分ずつ画像データＤ１及びその動き画像成分について圧縮符号化して受信側端末３へ順次送信する必要があると共に、ユーザの音声データＤ４についても画像データＤ１及びその動き画像成分とは別個に圧縮符号化して受信側端末３へ送信する必要があり、非常に多くのデータ伝送量を要すると共に多大な伝送時間を要してリアルタイムな処理を実行し得ないという問題があった。
【００１９】
またテレビジョン電話システム１においては、画像データＤ１及びその動き画像成分の圧縮符号化処理、音声データＤ４の圧縮符号化処理を要すると共に、それに対応する復号処理を要することにより高速かつ大量のディジタル処理が必要であり、それに伴って送信側端末２及び受信側端末３の構成が複雑になると共に多大な消費電力を要するという問題があった。
【００２０】
本発明は以上の点を考慮してなされたもので、簡易な構成及び低消費電力でリアルタイムな処理を実行し得る画像伝送システムを提案しようとするものである。
【００２１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、送信装置及び受信装置によって構成される画像伝送システムにおいて、送信装置は、マイクロフォンによって集音したユーザの音声データを受信装置へ送信する音声データ送信手段と、ユーザの顔を撮影することにより得られた基準となる１フレーム分の顔画像データを複数のポイントに分割して結ぶことによりワイヤフレームでなる顔画像モデルを生成し、これを受信装置へ送信する顔画像モデル送信手段と、ユーザの音声が発せられたときに顔の表情が変化するという相関関係を考慮し、音声データを受信装置へ送信している間だけ、顔画像モデルの目元部分の各ポイントを分析パラメータとして用い、その時間的変化を上記ワイヤフレームの動き画像成分データとして抽出し、これを受信装置へ送信する動き画像成分データ送信手段とを具え、受信装置は、顔画像モデルを保持する顔画像モデル保持手段と、動き画像成分データに基づいて顔画像モデルの目元部分について動きのある目元部分動き画像データを生成する目元部分動き画像データ生成手段と、音声データに基づいて顔画像モデルの口元部分の動き状態を解読することにより口元部分動き画像データを生成する口元部分動き画像データ生成手段と、顔画像モデルに対して、目元部分動き画像データ及び口元部分動き画像データを合成することにより合成画像を生成する合成手段と、合成画像を表示する表示手段とを具えるようにする。
【００２２】
これにより、送信側ではユーザの音声データと、１フレーム分の顔画像モデルと、ユーザの音声が発せられたときに顔の表情が変化するという相関関係を考慮し、音声データを受信装置へ送信している間だけ顔画像モデルの目元部分の各ポイントを分析パラメータとして用い、その時間的変化を示す上記ワイヤフレームの動き画像成分データとを送信し、受信側では、動き画像成分データに基づいて目元部分動き画像データを生成し、音声データに基づいて口元部分動き画像データを生成した後、顔画像モデルと合成することにより、送信装置から受信装置へのデータ伝送量を低減しつつ、目元部分と口元部分との間に表情として相関関係を持たせた状態の表情豊かな顔画像を表示することができる。
【００２５】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００２６】
（１）第１の実施の形態
図６との対応部分に同一符号を付して示す図１において、２０は全体として第１の実施の形態におけるテレビジョン電話システムを示し、送信側端末２１及び受信側端末２２によって構成されている。因みにテレビジョン電話システム２０では、送信側端末２１が受信側となり、受信側端末２２が送信側となってもよい。
【００２７】
送信側端末２１は、マイクロフォン（図示せず）で集音した後にディジタル変換したユーザの音声データＤ４を音声圧縮符号化回路７に送出する。音声圧縮符号化回路７は、音声データＤ４を所定の圧縮符号化方法によって圧縮符号化した後、これを言葉情報に相当する音声符号化データＤ５として多重化回路６に送出する。
【００２８】
また送信側端末２１は、画像データベース２３に予め格納しておいたユーザ自身の顔画像を表す基準となる画像データＤ２３を通信開始時の最初に１フレーム分だけ読み出し、これを画像圧縮符号化回路２４に送出する。画像圧縮符号化回路２４は、画像データＤ２３を所定の圧縮符号化方法によって圧縮符号化することにより画像符号化データＤ２４を生成し、これを多重化回路６に送出する。
【００２９】
多重化回路６は、画像符号化データＤ２４及び音声符号化データＤ５を多重化処理し、その結果得られる多重化データＤ２５を変調回路８に送出する。ここで多重化回路６は、通信開始時の最初に画像圧縮符号化回路２４から１フレーム分の画像符号化データＤ２４が供給されたときのみ、当該画像符号化データＤ２４及び音声符号化データＤ５を多重化処理するが、それ以降は画像符号化データＤ２４が供給されることはないので音声符号化データＤ５だけを変調回路８に送出する。
【００３０】
変調回路８は、多重化データＤ２５及びそれ以降供給される音声符号化データＤ５を順次変調処理した後、これを送信データＤ２６として通信路９を介して受信側端末２２へ送信する。因みに通信路９としては、有線及び無線に特にこだわるものではなく、いずれであっても良い。
【００３１】
すなわち通信路９が無線通信路であるときには、送信側端末２１及び受信側端末２２として例えばカメラ付携帯電話機を用いたテレビジョン電話システム２０であることを想定し、通信路９が有線通信路であるときには、送信側端末２１及び受信側端末２２として例えば家庭に設置されるカメラ付電話機を用いたテレビジョン電話システム２０であることを想定している。
【００３２】
受信側端末２２は、通信路９を介して送信されてきた送信データＤ２６を受信データＤ２７として受信して復調回路１０に送出する。復調回路１０は、受信データＤ２７に対して復調処理を施すことにより復調データＤ２８を得、これを分離回路１１に送出する。
【００３３】
なお実際上、復調回路１０は通信路９を介して受信した受信データＤ２７を復調する際、通信路９上で生じるデータ誤りの検出及び訂正を行っているが、ここでは説明の便宜上省略する。
【００３４】
分離回路１１は、送信側端末２１の多重化データＤ２５に相当する復調データＤ２８を多重化処理とは逆の手順で分離処理することにより、元の画像符号化データＤ２４及び音声符号化データＤ５にそれぞれ対応する画像符号化データＤ２９及び音声符号化データＤ３０に分離し、当該音声符号化データＤ３０を音声復号化回路１２及び画像合成部２７の動き画像保持回路２５に送出すると共に、画像符号化データＤ２９を画像復号化回路１４に送出する。
【００３５】
因みに分離回路１１は、最初に復調データＤ２８を画像符号化データＤ２９及び音声符号化データＤ３０に分離した後には、それ以降の復調データＤ２８に画像符号化データＤ２９が多重化されていることはないので、音声符号化データＤ３０だけを音声復号化回路１２及び動き画像保持回路２５に送出するようになされている。
【００３６】
画像復号化回路１４は、分離回路１１から最初にのみ送られてくる画像符号化データＤ２９を復号することにより画像データＤ２３に相当する元の１フレーム分の基準となる画像データＤ３１を復元し、これを静止画記憶手段としての画像データ保持回路１５に送出する。
【００３７】
画像データ保持回路１５は、画像復号化回路１４から送られてきた基準の画像データＤ３１を内部メモリ（図示せず）に一旦保持した後、画像合成部２７の合成回路２６に送出するようになされている。
【００３８】
動き画像生成手段としての動き画像保持回路２５は、分離回路１１から順次送られてくる言葉情報としての音声符号化データＤ３０の符号パターンに対応した例えば口元の動きを表す動き画像データＤ３２を内部メモリ（図示せず）に複数保持しており、当該音声符号化データＤ３０に対応する動き画像データＤ３２を読み出して合成回路２６に送出する。
【００３９】
ここで音声符号化データＤ３０は、人間が音声を発する際の口元部分の形態をモデル化したものを基にディジタル圧縮符号化処理されたデータである。従って動き画像保持回路２５は、音声符号化データＤ３０の符号パターンに対応した例えば口元の動きを表す動き画像データＤ３２を予め内部メモリに複数保持していることにより、音声符号化データＤ３０の符号パターンに対応する動き画像データＤ３２を直ちに読み出して合成手段としての合成回路２６に送出し得るようになされている。
【００４０】
合成回路２６は、画像データ保持回路１５から供給された基準の画像データＤ３１に対して、動き画像保持回路２５から順次供給された動き画像データＤ３２を重ねて合成することにより、基準の顔画像に対して口元だけを動かしたような合成画像データＤ３３を生成し、これを表示画像として表示部（図示せず）を介して出力する。
【００４１】
音声復号化回路１２は、音声符号化データＤ３０を復号することにより元の音声データＤ３４を復元し、これをアナログ変換した後に、合成回路２６から表示部を介して出力される表示画像にタイミングを合わせてスピーカ（図示せず）から音声として出力する。
【００４２】
以上の構成において、第１の実施の形態におけるテレビジョン電話システム２０においては、送信側端末２１が通信開始時の最初だけ画像データベース２３から読み出した１フレーム分の基準となる顔画像の画像データＤ２３を圧縮符号化して受信側端末２２に送信し、音声データＤ４についても順次圧縮符号化して受信側端末２２に送信する。
【００４３】
これにより送信側端末２１は、ユーザ自身の顔画像を撮影しながら圧縮符号化して受信側端末２２に毎フレームずつ送信する必要はなく、予め画像データベース２３に格納してある自分の顔画像の画像データＤ２３を通信開始時の最初にだけ圧縮符号化して受信側端末２２に送信すればよく、データ伝送量を格段に低減することができる。
【００４４】
また送信側端末２１は、従来の送信側端末２（図６）と比較して動き画像成分抽出回路５が不要となる分だけ回路構成を簡素化できると共に、複雑なディジタル信号処理についてもその処理量を低減することができるので、消費電力を一段と低減することができる。
【００４５】
これに対して受信側端末２２は、受信データＤ２７を復調して分離した後、画像復号化回路１４によって通信開始時の最初だけ送られてくる基準となる顔画像の画像データＤ３１を復元すると共に、動き画像保持回路２５によって音声符号化データＤ３０に対応した口元の動きを表す動き画像データＤ３２を読み出し、基準となる顔画像の画像データＤ３１に口元の動きを表す動き画像データＤ３２を重ねて合成することにより合成画像データＤ３３を生成した後、表示画像として出力する。
【００４６】
このとき受信側端末２２は、音声復号化回路１２によって音声符号化データＤ３０を復号することにより元の音声データＤ３４を復元し、これをアナログ変換した後に、合成回路２６で合成された表示画像とタイミングを合わせて音声として出力する。
【００４７】
このように受信側端末２２は、キャラクタの口元部分だけをユーザの音声に合わせて動した表示画像を表示することにより、あたかも送信側端末２１のユーザの音声に合わせてキャラクタが喋っているような画像効果をもたらすことができる。
【００４８】
このときも受信側端末２２は、従来の受信側端末３（図６）と比較して動き画像成分復号化回路１３が不要となる分だけ回路構成を簡素化できると共に、ユーザの顔画像に関する復号処理を最初に１回だけ行えば済むので複雑なディジタル信号処理についてもその処理量を低減することができ、かくして消費電力を一段と低減することができる。
【００４９】
以上の構成によれば、第１の実施の形態におけるテレビジョン電話システム２０は、送信側端末２１が音声データＤ４を圧縮符号化して受信側端末２２に送信すると共に、予め画像データベース２３に格納してある自分の顔画像の画像データＤ２３を通信開始時の最初にだけ圧縮符号化して受信側端末２２に送信することにより、データ伝送量を従来の送信側端末２と比較して格段に低減すると共に消費電力を一段と低減することができる。
【００５０】
またテレビジョン電話システム２０は、受信側端末２２が送信側端末２１から最初にだけ送られてくる画像符号化データＤ２９を１度だけ復号することにより得られた顔画像の画像データＤ３１に対して、音声符号化データＤ３０に対応した口元部分の動きを表す動き画像データＤ３２を動き画像保持回路２５によって読み出して合成することにより、あたかも動画像のように送信側端末２１のユーザが喋っているような表示画像を表示することができる。
【００５１】
このとき受信側端末２２は、画像復号処理が１度だけで済むと共に、従来の受信側端末３のような動き画像成分復号化回路１３による動き画像成分復号化処理が不要になる分だけディジタル信号処理の処理量を格段に低減すると共に消費電力を一段と低減することができ、かくして音声のタイミングと一致して口元部分が動く表示画像をリアルタイムに表示することができる。
【００５２】
（２）第２の実施の形態
図１との対応部分に同一符号を付して示す図２において、４０は全体として第２の実施の形態におけるテレビジョン電話システムを示し、送信側端末４１及び受信側端末４２によって構成されている。因みにテレビジョン電話システム４０では、送信側端末４１が受信側となり、受信側端末４２が送信側となってもよい。
【００５３】
送信側端末４１は、マイクロフォン（図示せず）で集音した後にディジタル変換したユーザの音声データＤ４を音声圧縮符号化回路７に送出する。音声圧縮符号化回路７は、音声データＤ４を所定の圧縮符号化方法によって圧縮符号化した後、これを音声符号化データＤ５として多重化回路６に送出する。
【００５４】
また送信側端末４１は、画像データベース４２に予め格納しておいた例えばキャラクタの顔画像の画像データに対応した画像識別情報Ｄ４２を通信開始時の最初にだけ読み出し、これを多重化回路６に送出する。
【００５５】
多重化回路６は、画像識別情報Ｄ４２及び音声符号化データＤ５を多重化処理し、その結果得られる多重化データＤ４３を変調回路８に送出する。ここで多重化回路６は、通信開始時の最初に画像データベース４２から読み出された画像識別情報Ｄ４２が供給されたときのみ、当該画像識別情報Ｄ４２と音声符号化データＤ５とを多重化処理するが、それ以降は画像識別情報Ｄ４２が供給されることはないので音声符号化データＤ５だけを変調回路８に送出する。
【００５６】
変調回路８は、多重化データＤ４３及びそれ以降供給される音声符号化データＤ５を順次変調処理した後、これを送信データＤ４４として通信路９を介して受信側端末４２へ送信する。因みに通信路９としては、有線及び無線に特にこだわるものではなく、いずれであっても良い。
【００５７】
受信側端末４２は、通信路９を介して送信されてきた送信データＤ４４を受信データＤ４５として受信して復調回路１０に送出する。復調回路１０は、受信データＤ４５に対して復調処理を施すことにより復調データＤ４６を得、これを分離回路１１に送出する。
【００５８】
なお実際上、復調回路１０は通信路９を介して受信した受信データＤ４５を復調する際、通信路９上で生じるデータ誤りの検出及び訂正を行っているが、ここでは説明の便宜上省略する。
【００５９】
分離回路１１は、送信側端末４１の多重化データＤ４３に相当する復調データＤ４６を多重化処理とは逆の手順で分離処理することにより、元の画像識別情報Ｄ４２及び音声符号化データＤ５にそれぞれ対応する画像識別情報Ｄ４７及び音声符号化データＤ４８に分離し、当該音声符号化データＤ４８を音声復号化回路１２及び画像合成部４９のワイヤフレーム生成回路４４に送出すると共に、画像識別情報Ｄ４７を静止画記憶手段としての画像データベース４３に送出する。
【００６０】
因みに分離回路１１は、最初に復調データＤ４６を画像識別情報Ｄ４７及び音声符号化データＤ４８に分離した後には、それ以降の復調データＤ４６に画像識別情報Ｄ４７が多重化されていることはないので、音声符号化データＤ４８だけを音声復号化回路１２及びワイヤフレーム生成回路４４に送出するようになされている。
【００６１】
動き画像生成手段としてのワイヤフレーム生成回路４４は、分離回路１１から順次送られてくる言葉情報としての音声符号化データＤ４８に基づいてキャラクタの顔画像の例えば口元の動き状態を解読し、内部メモリ（図示せず）から解読結果に対応した動きのあるワイヤフレームを読み出し、これを動き画像に相当するワイヤフレームデータＤ５０として合成手段に相当する合成回路２６に送出する。
【００６２】
ここでワイヤフレームとは、例えばキャラクタの顔画像の顔部分を複数のポイントに分割し、それら複数のポイントを結ぶことにより生成される顔画像モデルのことであり、顔部分の中で特に動きのある目元や口元にポイントが数多く配置されている。
【００６３】
受信側端末４２の画像データベース４３は、送信側端末４３の画像データベース４２と同一内容の画像データを格納しており、分離回路１１から供給された画像識別情報Ｄ４７に対応するキャラクタの顔画像を表す画像データＤ４９を読み出して合成回路２６に送出する。
【００６４】
すなわち、送信側端末４１の画像データベース４２から読み出されたキャラクタの顔画像を表す画像データＤ４２と、受信側端末４２の画像データベース４３から読み出されたキャラクタの顔画像を表す画像データＤ４９とは同一内容のデータである。
【００６５】
ここで画像データＤ４９も、ワイヤフレームであり、キャラクタの顔部分における各ポイントの配置場所は、ワイヤフレーム生成回路４４によって生成されたワイヤフレームデータＤ５０の各ポイントと一致している。
【００６６】
合成回路２６は、画像データベース４３から供給されたキャラクタの顔画像を表すワイヤフレームの画像データＤ４９に対してワイヤフレームデータＤ５０を合成し、ワイヤフレームデータＤ５０に応じて動き部分の画像ひずみ分を補正することによりキャラクタの口元部分が音声に合わせて動くような合成画像データＤ５１を生成し、これを表示画像として表示部（図示せず）を介して出力する。
【００６７】
音声復号化回路１２は、音声符号化データＤ４８を復号することにより元の音声データＤ５２を復元し、これをアナログ変換した後に、合成回路２６から表示部を介して出力される表示画像にタイミングを合わせてスピーカ（図示せず）から音声として出力する。
【００６８】
以上の構成において、テレビジョン電話システム２０においては送信側端末４１が通信開始時の最初だけ画像データベース４２からキャラクタの顔画像の画像データを示す画像識別情報Ｄ４２を読み出して受信側端末４２に送信し、音声データＤ４についても順次圧縮符号化して受信側端末４２に送信する。
【００６９】
これにより送信側端末４１は、ユーザ自身の顔画像を撮影しながら圧縮符号化して送信する必要はなく、予め画像データベース４２に格納してあるキャラクタの顔画像データを示す画像識別情報Ｄ４２を通信開始時の最初だけ受信側端末４２に送信すればよいので、１枚だけ画像データＤ２３を送信する第１の実施の形態における送信側端末２１よりもさらにデータ伝送量を低減することができる。
【００７０】
また送信側端末４１は、従来の送信側端末２（図６）と比較して画像圧縮符号化回路４及び動き画像成分抽出回路５が不要となる分だけ回路構成を簡素化できると共に、複雑なディジタル信号処理についてもその処理量を低減することができるので、消費電力を一段と低減することができる。
【００７１】
これに対して受信側端末４２は、受信データＤ４５を復調して分離した後、画像データベース４３から通信開始時の最初だけ送られてきた画像識別情報Ｄ４７に対応するキャラクタの顔画像を表す画像データＤ４９を読み出すと共に、ワイヤフレーム生成回路４４によって音声符号化データＤ４８に対応するワイヤフレームデータＤ５０を生成する。
【００７２】
そして受信側端末４２は、ワイヤフレームデータＤ５０に基づいてキャラクタの顔画像における動き部分の画像ひずみ分を補正することによりキャラクタの口元部分が送信側端末４１のユーザの音声と同じように動く合成画像データＤ５１を生成し、これを表示画像として出力すると共に、音声復号化回路１２によって復号した音声を表示画像とタイミングを合わせてスピーカから出力する。
【００７３】
このように受信側端末４２は、キャラクタの口元部分をユーザの音声に合わせて動した表示画像を表示することにより、あたかも送信側端末４１のユーザの音声に合わせてキャラクタが喋っているような画像効果をもたらすことができる。
【００７４】
このときも受信側端末４２は、従来の受信側端末３（図６）と比較して動き画像成分復号化回路１３が不要となる上に、第１の実施の形態における受信側端末２２の画像復号化回路１４が不要となる分だけ回路構成をさらに簡素化できると共に、複雑なディジタル信号処理についてもその処理量をさらに低減することができ、かくして消費電力をより一段と低減することができる。
【００７５】
以上の構成によれば、第２の実施の形態におけるテレビジョン電話システム４０は、送信側端末４１が音声データＤ４を圧縮符号化して受信側端末４２に送信すると共に、予め画像データベース２３に格納してあるキャラクタの画像データの画像識別情報Ｄ４２を通信開始時の最初にだけ受信側端末４２に送信することにより、第１の実施の形態における送信側端末２１と比較してデータ伝送量をさらに低減すると共に消費電力を一段と低減することができる。
【００７６】
またテレビジョン電話システム２０は、受信側端末４２が送信側端末４１から最初に１回だけ送られてくる画像識別情報Ｄ４２に基づいてキャラクタの画像データＤ４９を読み出し、音声符号化データＤ４８に対応したワイヤフレームデータＤ５０を生成してキャラクタの画像データＤ４９と合成することにより、あたかも送信側端末４１のユーザの音声に合わせてキャラクタが喋っているような表示画像を生成することができる。
【００７７】
このとき受信側端末４２は、画像復号処理を全く必要としない分だけ、さらにディジタル信号処理の処理量を第１の実施の形態における受信側端末４２よりも低減すると共に消費電力を一段と低減することができ、かくして音声のタイミングと一致して口元部分が動く表示画像をリアルタイムに表示することができる。
【００７８】
（３）第３の実施の形態
図１との対応部分に同一符号を付して示す図３において、６０は全体として第３の実施の形態におけるテレビジョン電話システムを示し、送信側端末６１及び受信側端末６２によって構成されている。
【００７９】
送信側端末６１は、マイクロフォン（図示せず）で集音した後にディジタル変換したユーザの音声データＤ４を音声圧縮符号化回路７に送出する。音声圧縮符号化回路７は、音声データＤ４を所定の圧縮符号化方法によって圧縮符号化した後、これを言葉情報に相当する音声符号化データＤ５として変調回路８に送出する。
【００８０】
変調回路８は、音声圧縮符号化回路７から順次供給される音声符号化データＤ５を変調処理した後、これを送信データＤ６１として通信路９を介して受信側端末６２へ送信する。
【００８１】
この場合の送信側端末６１は、通常の携帯電話機と同様の回路構成であり、特にカメラ付携帯電話やテレビジョン電話システム６０特有の送信側端末である必要はなく、一般的な携帯電話機と同様の構成を有していれば良く、また通信路９に関しても、有線及び無線に特にこだわるものではなく、いずれであっても良い。
【００８２】
受信側端末６２は、通信路９を介して送信されてきた送信データＤ６１を受信データＤ６２として受信して復調回路１０に送出する。復調回路１０は、受信データＤ６２に対して復調処理を施すことにより送信側端末２１の音声符号化データＤ５に相当する音声符号化データＤ６３を得、これを音声復号化回路１２及び画像合成部６９のワイヤフレーム生成回路６３に送出する。
【００８３】
動き画像生成手段としてのワイヤフレーム生成回路６３は、復調回路１０から順次送られてくる言葉情報としての音声符号化データＤ６３に基づいてキャラクタの顔画像の例えば口元の動き状態を解読して動きのあるワイヤフレームを生成し、これを動き画像に相当するワイヤフレームデータＤ６４として合成手段に相当する合成回路６４に送出する。
【００８４】
ここでワイヤフレームとは、例えばキャラクタの顔画像の顔部分を複数のポイントに分割し、それら複数のポイントを結ぶことにより生成される顔画像モデルのことであり、顔部分の中で特に動きのある目元や口元にポイントが数多く配置されている。
【００８５】
一方、静止画記憶手段としての画像データベース６５は、予め決められた所定のキャラクタの顔画像を表す画像データＤ６５を読み出して合成回路６４に送出するようになされている。ここで画像データＤ６５も、ワイヤフレームであり、キャラクタの顔部分における各ポイントの配置場所は、ワイヤフレーム生成回路６３によって生成されたワイヤフレームデータＤ６４の各ポイントと一致している。
【００８６】
合成回路６４は、ワイヤフレーム生成回路６３からワイヤフレームデータＤ６４の供給を受けると同時に、画像データベース６５から予め決められた所定のキャラクタの顔画像を表す画像データＤ６５の供給を受け、当該画像データＤ６５に対してワイヤフレームデータＤ６４を合成し、ワイヤフレームデータＤ６４に応じて動き部分の画像ひずみ分を補正することにより、キャラクタの口元部分が音声に合わせて動くような合成画像データＤ６６を生成し、これを表示画像として表示部（図示せず）を介して出力する。
【００８７】
音声復号化回路１２は、音声符号化データＤ６３を復号することにより元の音声データＤ６７を復元し、これをアナログ変換した後に、画像合成回路６４から表示部を介して出力される表示画像にタイミングを合わせてスピーカ（図示せず）から音声として出力する。
【００８８】
以上の構成において、テレビジョン電話システム６０においては送信側端末６１が画像データを送信する必要はなく通常の音声データＤ４だけを順次圧縮符号化して受信側端末６２へ送信するだけで良いので、第１及び第２の実施の形態における送信側端末２１及び４１よりもデータ伝送量を低減し得ると同時に、通常の音声通話だけを行う一般的な携帯電話機と同等のデータ伝送量に抑えることができる。
【００８９】
これに対して受信側端末６２は、予め画像データベース６５に保持しているキャラクタの画像データＤ６５を読み出し、音声符号化データＤ６３に基づく口元の動き状態を表すワイヤフレームデータＤ６４を画像データＤ６５に合成することにより、キャラクタの口元部分が音声に合わせて動くような合成画像データＤ６６を生成し、これを表示画像として出力することができる。
【００９０】
このように受信側端末６２は、第２の実施の形態における受信側端末４２のように分離回路１１を必要としない分と、画像復号処理を必要としない分だけ回路構成をさらに簡素化し得ると共に、複雑なディジタル信号処理についてもその処理量をさらに低減することができるので、消費電力を一段と低減することができる。
【００９１】
さらにテレビジョン電話システム６０においては、送信側端末６１及び受信側端末６２を必ず１組として用いる必要ななく、送信側端末６１と同等の一般的な携帯電話機であっても、当該携帯電話機から音声データさえ受信することができれば、受信側端末６２においてキャラクタの顔画像をベースに口元部分を音声に合わせて動かす表示画像を表示することができ、ユーザの使い勝手を一段と向上させることができる。
【００９２】
以上の構成によれば、第３の実施の形態におけるテレビジョン電話システム６０は、受信側端末６２が送信側端末６１から受信した音声符号化データＤ６３に基づいて口元部分の動き状態を表すワイヤフレームデータＤ６４を生成し、これを画像データベース６５に予め保持していたキャラクタの画像データＤ６５に合成して合成画像データＤ６６を生成し、これを表示画像として出力することにより、送信側端末６１から画像データを送信してもらうことなく音声データだけからキャラクタの口元部分が音声に合わせて動くような画像効果をもたらすことができる。
【００９３】
また受信側端末６２は、第１及び第２の実施の形態における受信側端末２１及び４２よりも回路構成を簡素化し得ると共にディジタル信号処理の処理量を低減することができるので、消費電力をさらに一段と低減することができ、かくして音声のタイミングと一致して口元部分が動く表示画像をリアルタイムに表示することができる。
【００９４】
（４）第４の実施の形態
図６との対応部分に同一符号を付して示す図４において、８０は全体として第４の実施の形態におけるテレビジョン電話システムを示し、送信側端末８１及び受信側端末８２によって構成されている。因みにテレビジョン電話システム８０では、送信側端末８１が受信側となり、受信側端末８２が送信側となっても良い。
【００９５】
送信側端末８１は、マイクロフォン（図示せず）で集音した後にディジタル変換したユーザの音声データＤ４を音声圧縮符号化回路７に送出する。音声圧縮符号化回路７は、音声データＤ４を所定の圧縮符号化方法によって圧縮符号化した後、これを音声符号化データＤ５として多重化回路６及び動き画像成分抽出回路８３に送出する。
【００９６】
また送信側端末８１は、撮像手段（図示せず）によってユーザの顔を撮像した後にディジタル変換した画像データＤ１を画像圧縮符号化回路４及び動き画像成分抽出回路８３に順次送出する。
【００９７】
ここで送信側端末８１は、通信開始時の最初に１フレーム分の基準となる画像データＤ１を画像圧縮符号化回路４に送出した以後は、次フレーム以降の画像データＤ１を画像圧縮符号化回路４に送出するこはなく、動き画像成分抽出回路８３にのみ画像データＤ１を送出するようになされている。
【００９８】
画像圧縮符号化回路４は、画像データＤ１における顔部分を複数のポイントに分割し、それら複数のポイントを結ぶことによりワイヤフレームと呼ばれる基準の顔画像モデルを生成する。因みにワイヤフレームは、顔の中で特に動きのある目元部分や口元部分にポイントが数多く配置されている。
【００９９】
そして画像圧縮符号化回路４は、ワイヤフレーム化した画像データＤ１を所定の方式で圧縮符号化することにより画像符号化データＤ２を生成し、これを多重化回路６に送出する。
【０１００】
動き画像成分抽出回路８３も、ワイヤフレームと呼ばれる基準の顔画像モデルを生成し、音声圧縮符号化回路７から音声符号化データＤ５が供給されている間だけ、ワイヤフレームの口元部分を除く例えば目元部分の各ポイントを分析パラメータとして用い、当該分析パラメータの時間的変化（すなわち前フレームと現フレームとの差分）をワイヤフレームの動き画像成分として抽出した後に圧縮符号化することにより動き画像成分データＤ８３を生成し、これを多重化回路６に送出する。
【０１０１】
すなわち動き画像成分抽出回路８３は、音声圧縮符号化回路７から供給された音声符号化データＤ５との相関を考慮し、音声が発せられたときに顔の表情が変化すると考えて、音声が発せられている間の目元部分に関する動き画像成分データＤ８３を生成するようになされている。
【０１０２】
多重化回路６は、音声符号化データＤ５、画像符号化データＤ２及び動き画像成分データＤ８３を多重化処理し、その結果得られる多重化データＤ８４を変調回路８に送出する。
【０１０３】
ここで多重化回路６は、通信開始時の最初に画像圧縮符号化回路４から１フレーム分の画像符号化データＤ２が供給されたときのみ、当該画像符号化データＤ２、音声符号化データＤ５及び動き画像成分データＤ８３を多重化処理するが、それ以降は画像符号化データＤ２が供給されることはないので、音声符号化データＤ５及び動き画像成分データＤ８３だけを多重化処理することになる。
【０１０４】
変調回路８は、通信路９を介して送信するための所定の変調方式で多重化データＤ８４を変調処理した後、これを送信データＤ８５として通信路９を介して受信側端末８２へ送信する。因みに通信路９としては、有線及び無線に特にこだわるものではなく、いずれであっても良い。
【０１０５】
受信側端末８２は、通信路９を介して送信されてきた送信データＤ８５を受信データＤ８６として受信して復調回路１０に送出する。復調回路１０は、受信データＤ８６に対して復調処理を施すことにより復調データＤ８７を得、これを分離回路１１に送出する。
【０１０６】
なお実際上、復調回路１０は通信路９を介して受信した受信データＤ８６を復調する際、通信路９上で生じるデータ誤りの検出及び訂正を行っているが、ここでは説明の便宜上省略する。
【０１０７】
分離回路１１は、送信側端末８１の多重化データＤ８４に相当する復調データＤ８７を多重化処理の逆の手順で分離処理することにより、元の音声符号化データＤ５、画像符号化データＤ２及び動き画像成分データＤ８３にそれぞれ相当する音声符号化データＤ８８、画像符号化データＤ８９及び動き画像成分データＤ９０に分離し、音声符号化データＤ８８を音声復号化回路１２及び画像合成部８９のワイヤフレーム生成回路８５に送出し、動き画像成分データＤ９０を動き画像成分復号化回路８４に送出すると共に、画像符号化データＤ８９を画像復号化回路１４に送出する。
【０１０８】
因みに分離回路１１は、最初に復調データＤ８７を音声符号化データＤ８８、画像符号化データＤ８９及び動き画像成分データＤ９０に分離した後には、それ以降の復調データＤ８７に画像符号化データＤ８９が多重化されていることはないので、画像復号化回路１４に画像符号化データＤ８９を送出することはない。
【０１０９】
画像復号化回路１４は、分離回路１１から最初にのみ送られてくる画像符号化データＤ８９を復号することによりワイヤフレーム化された元の顔画像に相当する基準の画像データＤ１６を復元し、これを画像データ保持回路１５に送出する。
【０１１０】
画像データ保持回路１５は、画像復号化回路１４から送られてきた基準の画像データＤ１６を内部メモリ（図示せず）に一旦保持した後、画像合成部８９の合成回路８６に送出するようになされている。
【０１１１】
動き画像成分復号化回路８４は、分離回路１１から連続的に送られてくる動き画像成分データＤ９０を復号することにより元の動き画像成分データＤ８３に相当する動き画像成分データを復元した後、当該動き画像成分データに基づいて動きのあるワイヤフレームを生成し、これを動き成分画像に相当するワイヤフレームデータＤ９１として合成回路８６に送出する。この場合、ワイヤフレームデータＤ９１とは、ユーザの顔画像のうちで目元部分の動きを表したデータである。
【０１１２】
動き画像生成手段としてのワイヤフレーム生成回路８５は、分離回路１１から連続的に送られてくる言葉情報としての音声符号化データＤ８８に基づいて顔画像の例えば口元部分の動き状態を解読して動きのあるワイヤフレームを生成し、これを動き画像に相当するワイヤフレームデータＤ９２として合成手段に相当する合成回路８６に送出する。
【０１１３】
ここで、画像復号化回路１４によって復号されたワイヤフレームの画像データＤ１６と、動き画像成分復号化回路８４によって生成された目元部分の動きを表すワイヤフレームデータＤ９１と、ワイヤフレーム生成回路８５によって生成された口元部分の動きを表すワイヤフレームデータＤ９２とは、顔部分における各ポイントの配置場所が互いに一致している。
【０１１４】
合成回路８６は、画像データ保持回路１５から供給された送信側端末８１の顔画像の画像データＤ１６に対して、動き画像成分抽出回路８４から供給された目元部分のワイヤフレームデータＤ９１と、ワイヤフレーム生成回路８５から供給された口元部分のワイヤフレームデータＤ９２とを合成し、ワイヤフレームデータＤ９１及びＤ９２に応じて動き部分の画像ひずみ分を補正することにより、音声に合わせて目元部分及び口元部分が動くような合成画像データＤ９３を生成し、これを表示画像として表示部（図示せず）を介して出力する。
【０１１５】
音声復号化回路１２は、音声符号化データＤ８８を復号することにより元の音声データＤ１７を復元し、これをアナログ変換した後に、画像合成回路８６から表示部を介して出力される表示画像にタイミングを合わせてスピーカ（図示せず）から音声として出力する。
【０１１６】
以上の構成において、テレビジョン電話システム８０においては送信側端末８１が通信開始時の最初にユーザの顔画像を表す画像データＤ１を１フレーム分だけ圧縮符号化することにより画像符号化データＤ２を生成して多重化回路６に送出すると共に、ユーザの音声データＤ４を順次圧縮符号化することにより音声符号化データＤ５を生成して多重化回路６に送出する。
【０１１７】
このとき送信側端末８１は、音声が発せられたときに顔の表情が変化する場合が一般的に多いと考えられるので、音声が発せられている間の目元部分に関する動き画像成分データＤ８３を抽出して多重化回路６に送出する。
【０１１８】
そして送信側端末８１は、多重化回路６によって通信開始時の最初にのみ画像符号化データＤ２、音声符号化データＤ５及び動き画像成分データＤ８３を多重化し、変調処理して送信した後は、音声符号化データＤ５及び動き画像成分データＤ８３を多重化し、変調処理して送信する。
【０１１９】
このように送信側端末８１は、音声が発せられている間においては口元部分以外の目元部分に関する動き画像成分データＤ８３を抽出することにより、目元部分の動きを再現するための動き画像成分データＤ８３と、口元部分の動きを再現するための音声符号化データＤ５との間に相関関係を持たせている。
【０１２０】
これにより送信側端末８１は、基準となる１フレーム分の顔画像の画像データＤ１と、目元部分に関する動き画像成分データＤ８３と、口元部分に関する音声符号化データＤ５とが互いにデータとして無駄に重なりあうことなく、それぞれ必要最小限のデータ量として送信することができ、かくして従来の送信側端末２（図６）と比較してデータ伝送量を格段に低減すると共に消費電力を一段と低減することができる。
【０１２１】
これに対して受信側端末８２は、通信開始時の最初だけ送られてくる基準となる顔画像の画像データＤ１６を復元した後、音声符号化データＤ８８に基づいて生成された口元部分の動きを表すワイヤフレームデータＤ９２と、動き画像成分データＤ９０に基づいて生成されたワイヤフレームデータＤ９１とを顔画像の画像データＤ１６に重ねて合成し、ワイヤフレームデータＤ９１及びＤ９２に応じて動き部分の画像ひずみ分を補正することにより、音声に合わせて目元部分及び口元部分が動くような動き画像データＤ９３を生成して表示画像として出力する。
【０１２２】
これにより受信側端末８２は、送信側端末８１のユーザの音声に合わせて顔画像の口元を動かして喋っているような表示画像を表示するだけでなく、その時の目元部分の動きを表示することにより、表情豊かな顔画像を表示画像として表示することができる。
【０１２３】
このとき受信側端末８２は、基準となる１フレーム分の顔画像の画像データＤ１と、目元部分に関する動き画像成分データＤ８３と、口元部分に関する音声符号化データＤ５とがそれぞれ関連付けられており、それぞれ必要最小限のデータ処理量で表示画像を生成することができるので、従来の受信側端末３（図６）と比較してデータ処理量を格段に低減することができ、かくして消費電力を一段と低減することができる。
【０１２４】
以上の構成によれば、第４の実施の形態におけるテレビジョン電話システム８０は、送信側端末８１が基準となる１フレーム分の顔画像の画像データＤ１と、目元部分に関する動き画像成分データＤ８３と、口元部分に関する音声符号化データＤ５とが互いにデータとして無駄に重なりあうことなく関連付けて、それぞれ必要最小限のデータ量として送信することができ、かくして従来の送信側端末２と比較してデータ伝送量を格段に低減すると共に消費電力を一段と低減することができる。
【０１２５】
またテレビジョン電話システム８０は、受信側端末８２が基準となる１フレーム分の顔画像の画像データＤ１と、目元部分に関する動き画像成分データＤ８３と、口元部分に関する音声符号化データＤ５とをそれぞれ必要最小限のデータ処理量で表示画像を生成することができるので、従来の受信側端末３と比較してデータ処理量を格段に低減することができ、かくして消費電力を一段と低減することができる。
【０１２６】
このとき受信側端末８２は、基準の顔画像に対して口元部分及び目元部分を音声に合わせて動かして表示することができるので、表情豊かでより高次元な表示画像をリアルタイムに提供することができる。
【０１２７】
（５）他の実施の形態
なお上述の第１の実施の形態においては、受信側端末２２が動き画像保持回路２５によって音声符号化データＤ３２に対応した口元部分の動きを表す動き画像データＤ３２を読み出し、合成回路２６で基準の画像データＤ３１と合成するようにした場合について述べたが、本発明はこれに限らず、音声復号化回路１２の後段に音声認識回路を設けることによって音声を認識し、その認識結果をテキスト化して対応する動き画像データＤ３２を動き画像保持回路２５から読み出し、又は認識結果を発音記号化して対応する動き画像データＤ３２を動き画像保持回路２５から読み出し、これらを基準の画像データＤ３１と合成するようにしても良い。
【０１２８】
また上述の第１の実施の形態においては、送信側端末２１がユーザの顔画像を表す画像データＤ２３を圧縮符号化して受信側端末２２へ送信するようにした場合について述べたが、本発明はこれに限らず、キャラクタの顔を表す画像データＤ２３を圧縮符号化して送信するようにしても良い。
【０１２９】
さらに上述の第１の実施の形態においては、受信側端末２２が動き画像保持回路２５によって音声符号化データＤ３２に対応した口元部分の動きを表す動き画像データＤ３２を読み出し、合成回路２６で基準の画像データＤ３１と合成するようにした場合について述べたが、本発明はこれに限らず、送信側端末２１で音声符号化データＤ３２に対応した口元部分の動きを表す動き画像データを指定し、当該指定した動き画像データに対応する動き画像識別情報を受信側端末２２へ送信することにより、当該受信側端末２２で動き画像識別情報に対応する動き画像データを読み出して基準の画像データと合成するようにしても良い。
【０１３０】
この場合、図１との対応部分に同一符号を付して示す図５において、テレビジョン電話システム１００の受信側端末２２は音声圧縮符号化回路７によって圧縮符号化された音声符号化データＤ５を多重化回路６及び動き画像データベース１０１に送出する。動き画像データベース１０１は、音声符号化データＤ５に応じた口元部分の動きを表す動き画像データを認識し、当該認識した動き画像データに対応する動き画像識別情報Ｄ１０１を多重化回路６に送出する。
【０１３１】
多重化回路６は、画像符号化データＤ２４、音声符号化データＤ５及び動き画像識別情報Ｄ１０１を多重化処理し、その結果得られる多重化データＤ１０２を変調回路８に送出する。この場合も多重化回路６は、通信開始時の最初に画像圧縮符号化回路２４から１フレーム分の画像符号化データＤ２４が供給されたときのみ、当該画像符号化データＤ２４、音声符号化データＤ５及び動き画像識別情報Ｄ１０１を多重化処理するが、それ以降は画像符号化データＤ２４が供給されることはないので音声符号化データＤ５及び動き画像識別情報Ｄ１０１を多重化処理することによって得られる多重化データＤ１０２を変調回路８に送出する。変調回路８は、多重化データＤ１０２を順次変調処理した後、これを送信データＤ１０３として通信路９を介して受信側端末２２へ送信する。
【０１３２】
受信側端末２２は、通信路９を介して送信されてきた送信データＤ１０３を受信データＤ１０４として受信して復調回路１０に送出する。復調回路１０は、受信データＤ１０４に対して復調処理を施すことにより復調データＤ１０５を得、これを分離回路１１に送出する。分離回路１１は、復調データＤ１０５を分離処理することにより、元の画像符号化データＤ２４、音声符号化データＤ５及び動き画像識別情報Ｄ１０１にそれぞれ相当する画像符号化データＤ２９、音声符号化データＤ３０及び動き画像識別情報Ｄ１０６に分離し、音声符号化データＤ３０を音声復号化回路１２に送出し、画像符号化データＤ２９を画像復号化回路１４に送出すると共に、動き画像識別情報Ｄ１０６を画像合成部１０２の動き画像データベース１０３に送出する。
【０１３３】
動き画像データベース１０３は、送信側端末２１に設けられている動き画像データベース１０１と同一の動き画像データが格納されており、動き画像識別情報Ｄ１０６に対応する動き画像データＤ１０７を読み出して合成回路２６に送出する。合成回路２６は、画像データ保持回路１５から供給された基準の画像データＤ３１に対して、動き画像データベース１０３から順次供給された動き画像データＤ１０７を重ねて合成することにより、基準の顔画像に対して口元部分だけを動かしたような合成画像データＤ１０８を生成し、これを表示画像として表示部を介して出力するようになされている。
【０１３４】
さらに上述の第２の実施の形態においては、送信側端末４１がキャラクタの顔画像を表す画像データに対応した画像識別情報Ｄ４２を受信側端末４２へ送信するようにした場合について述べたが、本発明はこれに限らず、ユーザの顔画像を表す画像データに対応した画像識別情報Ｄ４２を受信側端末４２へ送信するようにしても良い。
【０１３５】
さらに上述の第２〜第４の実施の形態においては、受信側端末４２がワイヤフレーム生成回路４４、６３及び８５を用いて音声に対応した口元部分の動きを表すワイヤフレームデータＤ５０、Ｄ６４及びＤ９２を生成し、これを基準となる画像データＤ４９、Ｄ６５及びＤ１６に合成するようにした場合について述べたが、本発明はこれに限らず、ワイヤフレーム生成回路４４、６３及び８５の代わりに第１の実施の形態における送信側端末２１のような動き画像保持回路２５を用いて音声符号化データＤ３０に対応した口元部分の動きを表す動き画像データを読み出し、これを基準となる画像データＤ４９、Ｄ６５及びＤ１６に合成したり、あるいは音声復号化回路１２の後段に音声認識回路を設けることによって音声を認識し、その認識結果をテキスト化して対応する動き画像データＤ３２を動き画像保持回路２５から読み出し、又は認識結果を発音記号化して対応する音声画像データＤ３２を画像保持回路２５から読み出し、これらを基準となる画像データＤ４９、Ｄ６５及びＤ１６に合成するようにしても良い。
【０１３６】
さらに上述の第１〜第４の実施の形態においては、送信側端末２１、４１、６１及び８１から受信した音声符号化データに対応する言葉情報に基づいて口元部分の動きを解読し、それに応じて口元部分が動く表示画像を表示するようにした場合について述べたが、本発明はこれに限らず、テキストデータや発音記号等に対応する言葉情報に基づいて口元部分が動く表示画像を表示するようにしても良い。
【０１３７】
さらに上述の第１〜第４の実施の形態においては、送信側端末２１、４１、６１及び８１から受信した言葉情報としての音声符号化データに基づいて口元部分の動きを解読し、それに応じた動きを表示画像として表示するようにした場合について述べたが、本発明はこれに限らず、例えば基地局と受信側端末２２、４２、６２及び８２との間で、当該受信側端末２２、４２、６２及び８２が基地局から受信した音声符号化データに対応する言葉情報に基づいて口元部分の動きを解読し、それに応じて口元部分が動く表示画像を表示するようにしても良い。
【０１３８】
【発明の効果】
上述のように本発明によれば、送信側ではユーザの音声データと、１フレーム分の顔画像モデルと、ユーザの音声が発せられたときに顔の表情が変化するという相関関係を考慮し、音声データを受信装置へ送信している間だけ顔画像モデルの目元部分の各ポイントを分析パラメータとして用い、その時間的変化を示す上記ワイヤフレームの動き画像成分データとを送信し、受信側では、動き画像成分データに基づいて目元部分動き画像データを生成し、音声データに基づいて口元部分動き画像データを生成した後、顔画像モデルと合成することにより、送信装置から受信装置へのデータ伝送量を低減しつつ、目元部分と口元部分との間に表情として相関関係を持たせた状態の表情豊かな顔画像を表示することができ、かくして簡易な構成及び低消費電力でリアルタイムな処理を実行し得る画像伝送システムを実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるテレビジョン電話システムの構成を示すブロック図である。
【図２】本発明の第２の実施の形態におけるテレビジョン電話システムの構成を示すブロック図である。
【図３】本発明の第３の実施の形態におけるテレビジョン電話システムの構成を示すブロック図である。
【図４】本発明の第４の実施の形態におけるテレビジョン電話システムの構成を示すブロック図である。
【図５】他の実施の形態におけるテレビジョン電話システムの構成を示すブロック図である。
【図６】従来のテレビジョン電話システムの構成を示すブロック図である。
【符号の説明】
１、２０、４０、６０、８０、１００……テレビジョン電話システム、２、２１、４１、６１、８１……送信側端末、３、２２、４２、６２、８２……受信側端末、４、２４……画像圧縮符号化回路、５、８３……動き画像成分抽出回路、６……多重化回路、７……音声圧縮符号化回路、８……変調回路、９……通信路、１０……復調回路、１１……分離回路、１２……音声復号化回路、１３、８４……動き画像成分復号化回路、１４……画像復号化回路、１５……画像データ保持回路、１６、２６、６４、８６……合成回路、２５……動き画像保持回路、２３、４２、４３、６５……画像データベース、４４、６３、８５……ワイヤフレーム生成回路、１０１、１０３……動き画像データベース。
【図１】
0004437514.tif 000002
【図２】
0004437514.tif 000003
【図３】
0004437514.tif 000004
【図４】
0004437514.tif 000005
【図５】
0004437514.tif 000006
【図６】
0004437514.tif 000007