(57)【要約】【課題】少ない回路規模及び演算量で相手装置で撮影された画像及び自装置で入力された画像を共に表示することを可能とする。【解決手段】相手装置１５２側から送られてきた相手装置側画像符号を受信する受信手段１０３、１０４と、自装置側で入力された画像を符号化して、自装置側画像符号を生成する画像符号化手段１１０と、相手装置側画像符号と時装置側画像符号を合成して、合成画像符号を生成する画像符号合成手段１１２と、合成画像符号を復号して、合成画像データを生成する画像復号手段１０５とを備える。【選択図】        図１
2004336307.tif 000002
【特許請求の範囲】
【請求項１】
相手装置側から送られてきた相手装置側画像符号を受信する受信手段と、
自装置側で入力された画像を符号化して、自装置側画像符号を生成する画像符号化手段と、
前記相手装置側画像符号と前記自装置側画像符号を合成して、合成画像符号を生成する画像符号合成手段と、
前記合成画像符号を復号して、合成画像データを生成する画像復号手段と、
を備えることを特徴とするテレビ電話装置。
【請求項２】
請求項１に記載のテレビ電話装置において、
前記画像符号合成手段は、自装置側に蓄積されている第２の自装置側画像符号も前記相手装置側画像符号及び前記自装置側画像符号と合成することを特徴とするテレビ電話装置。
【請求項３】
請求項１に記載のテレビ電話装置において、
前記自装置側画像符号を前記相手装置に送信する送信手段を更に備えることを特徴とするテレビ電話装置。
【請求項４】
請求項１に記載のテレビ電話装置において、
前記画像符号合成手段は、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）４でいうオブジェクトの合成を行うことを特徴とするテレビ電話装置。
【請求項５】
請求項４に記載のテレビ電話装置において、
前記画像符号合成手段は、
前記相手装置側画像符号のシーン・ディスクリプション・ストリーム及びオブジェクト・ディスクリプタ・ストリームへの参照を含む第１−１の初期オブジェクト・ディスクリプタ並びに前記自装置側画像符号のシーン・ディスクリプション・ストリーム及びオブジェクト・ディスクリプタ・ストリームへの参照を含む第１−２の初期オブジェクト・ディスクリプタを含むルート・オブジェクト・ディスクリプタ・ストリームと、
前記第１−１のオブジェクト・ディスクリプタを参照する第１のＩｎｌｉｎｅノード及び前記第１−２のオブジェクト・ディスクリプタを参照する第２のｉｎｌｉｎｅノードを含むルート・シーン・ディスクリプション・ストリームと、
前記ルート・オブジェクト・ディスクリプタ・ストリーム及び前記ルート・シーン・ディスクリプション・ストリームへの参照を含む第０の初期オブジェクト・ディスクリプタと、
を生成することを特徴とするテレビ電話装置。
【請求項６】
相手装置側から送られてきた相手装置側画像符号を受信する受信ステップと、
自装置側で入力された画像を符号化して、自装置側画像符号を生成する画像符号化ステップと、
前記相手装置側画像符号と前記自装置側画像符号を合成して、合成画像符号を生成する画像符号合成ステップと、
前記合成画像符号を復号して、合成画像データを生成する画像復号ステップと、
を備えることを特徴とするテレビ電話方法。
【請求項７】
請求項６に記載のテレビ電話方法において、
前記画像符号合成ステップは、自装置側に蓄積されている第２の自装置側画像符号も前記相手装置側画像符号及び前記自装置側画像符号と合成することを特徴とするテレビ電話方法。
【請求項８】
請求項６に記載のテレビ電話方法において、
前記自装置側画像符号を前記相手装置に送信する送信ステップを更に備えることを特徴とするテレビ電話方法。
【請求項９】
請求項６に記載のテレビ電話方法において、
前記画像符号合成ステップは、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）４でいうオブジェクトの合成を行うことを特徴とするテレビ電話方法。
【請求項１０】
請求項９に記載のテレビ電話方法において、
前記画像符号合成ステップは、
前記相手装置側画像符号のシーン・ディスクリプション・ストリーム及びオブジェクト・ディスクリプタ・ストリームへの参照を含む第１−１の初期オブジェクト・ディスクリプタ並びに前記自装置側画像符号のシーン・ディスクリプション・ストリーム及びオブジェクト・ディスクリプタ・ストリームへの参照を含む第１−２の初期オブジェクト・ディスクリプタを含むルート・オブジェクト・ディスクリプタ・ストリームと、
前記第１−１のオブジェクト・ディスクリプタを参照する第１のＩｎｌｉｎｅノード及び前記第１−２のオブジェクト・ディスクリプタを参照する第２のｉｎｌｉｎｅノードを含むルート・シーン・ディスクリプション・ストリームと、
前記ルート・オブジェクト・ディスクリプタ・ストリーム及び前記ルート・シーン・ディスクリプション・ストリームへの参照を含む第０の初期オブジェクト・ディスクリプタと、
を生成することを特徴とするテレビ電話方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビ電話装置及びテレビ電話方法に関し、特に、相手装置から送信されてきた画像に自装置で撮影した画像を挿入して表示するテレビ電話装置及びテレビ電話方法に関する。
【０００２】
【従来の技術】
従来、図１１に示すように、相手装置で撮影された相手の画像を画面に表示するのみならず、自装置で撮影された自分の画像も画面に表示するテレビ電話装置は従来からある。
【０００３】
次に、相手装置で撮影された相手の画像のみを画像に表示する場合、自装置で撮影された自分の画像のみを画像に表示する場合、及び、相手装置で撮影された相手の画像及び自装置で撮影された自分の画像を共に表示する場合のテレビ電話装置の構成について説明する。
【０００４】
図１２に相手装置で撮影された相手の画像のみを画像に表示する場合のテレビ電話装置の構成を示す。図１２を参照すると、このテレビ電話装置は、ＣＰＵ９０１、メイン・メモリ９０２、イーサネット（登録商標）・インターフェース９０３、ＵＤＰ／ＩＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）処理部９０４、画像復号化部９０５、画像復号化用メモリ９０６、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）エンコーダ９０７及びこれらを接続するバス９００を備える。このテレビ電話装置は、インターネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のネットワーク９５１を介して相手装置９５２と接続されている。
【０００５】
ＣＰＵ９０１は、メイン・メモリ９０２に格納されたプログラムを実行することにより、テレビ電話装置全体を制御する。メイン・メモリ９０２は、ＣＰＵ９０１が実行するプログラムを格納する。イーサネット（登録商標）・インターフェース９０３は、相手装置９５２から送られてきたイーサネット（登録商標）・フレームからＵＤＰ／ＩＰパケットを抜き出す。ＵＤＰ／ＩＰ処理部９０４は、イーサネット（登録商標）・インターフェース９０３から送られてきたＵＤＰ／ＩＰパケットからＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）パケット等を抜き出し、更に、ＵＤＰパケットから画像符号を抜き出す。画像復号化部９０５は、ＵＤＰ／ＩＰ処理部９０４から送られてきた画像符号を復号し、ベースバンドの画像データを生成する。画像復号化用メモリ９０６は、画像復号化部９０５が画像符号の復号をするときに画像符号、ベースバンドの画像データ等を一時的に格納する。ＮＴＳＣエンコーダ９０７は、画像復号化部９０５から送られてきたベースバンドの画像データをＮＴＳＣ信号にエンコードする。ＮＴＳＣ信号は、テレビモニタ９２１に供給される。
【０００６】
図１３に自装置で撮影された自分の画像のみを画像に表示する場合のテレビ電話装置の構成を示す。図１３を参照すると、このテレビ電話装置は、ＣＰＵ９０１、メイン・メモリ９０２、イーサネット（登録商標）・インターフェース９０３、ＵＤＰ／ＩＰ処理部９０４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インターフェース９０８、画像符号化部９１０、画像符号化用メモリ９１１、ＮＴＳＣエンコーダ９０７及びこれらを接続するバス９００を備える。このテレビ電話装置は、ネットワーク９５１を介して相手装置９５２と接続されている。
【０００７】
ＵＳＢカメラ９０９は、自テレビ電話装置側でテレビ電話に参加している者を撮影して、ベースバンドの画像データを生成する。ＵＳＢインターフェース９０８は、ＵＳＢカメラ９０９からのベースバンドの画像データをテレビ電話装置に取り込む。画像符号化部９１０は、ＵＳＢインターフェース９０８から送られてくるベースバンドの画像データを符号化し、画像符号を生成する。画像符号化用メモリ９１１は、画像符号化部９１０が画像データの符号化をするときに画像符号、ベースバンドの画像データ等を一時的に格納する。ＵＤＰ／ＩＰ処理部９０４は、画像符号化部９１０から送られてくる画像符号をＵＤＰ／ＩＰパケットにパケット化する。イーサネット（登録商標）・インターフェース９０３は、ＵＤＰ／ＩＰ処理部９０４から送られてくるＵＤＰ／ＩＰパケットをイーサネット（登録商標）・フレームにフレーム化し、ネットワーク９５１を介して、相手装置９５２に送信する。ＮＴＳＣエンコーダ９０７はＵＳＢインターフェース９０８から送られてくるベースバンドの画像データをＮＴＳＣ信号にエンコードする。ＮＴＳＣ信号は、テレビモニタ９２１に供給される。
【０００８】
図１４に相手装置で撮影された相手の画像及び自装置で撮影された自分の画像を共に表示する場合のテレビ電話装置の構成を示す。図１４を参照すると、このテレビ電話装置は、ＣＰＵ９０１、メイン・メモリ９０２、イーサネット（登録商標）・インターフェース９０３、ＵＤＰ／ＩＰ処理部９０４、ＵＳＢインターフェース９０８、画像符号化部９１０、画像符号化用メモリ９１１、画像復号化部９０５、画像復号化用メモリ９０６、ベースバンド画像合成部９１２、ベースバンド画像合成用メモリ９１３、ＮＴＳＣエンコーダ９０７及びこれらを接続するバス９００を備える。
【０００９】
ＣＰＵ９０１、メイン・メモリ９０２、イーサネット（登録商標）・インターフェース９０３、ＵＤＰ／ＩＰ処理部９０４、ＵＳＢインターフェース９０８、画像符号化部９１０、画像符号化用メモリ９１１、画像復号化部９０５、画像復号化用メモリ９０６は、図１２又は図１３に示したものと同様なものであるので、これについての説明は省略する。
【００１０】
ベースバンド画像合成部９１２は、画像復号化部９０５から送られてくる相手装置側のベースバンドの画像データとＵＳＢインターフェース９０８から送られてくる自装置側のベースバンドの画像データを合成する。合成は、例えば、ピクチャ・イン・ピクチャの形式で行う。ベースバンド画像合成用メモリ９１３は、ベースバンド画像合成部９１２が画像合成を行うときに画像復号化部９０５から送られてくる相手装置側のベースバンドの画像データとＵＳＢインターフェース９０８から送られてくる自装置側のベースバンドの画像データを一時的に格納する。ＮＴＳＣエンコーダ９０７は、ベースバンド画像合成部９１２から送られてくるベースバンドの合成画像データをＮＴＳＣ信号にエンコードする。ＮＴＳＣ信号は、テレビモニタ９２１に供給される。
【００１１】
なお、本発明に関連する先行技術文献としては以下のものがある。
【００１２】
【特許文献１】
特開２００１−１５７１８３
【非特許文献１】
Ｏｖｅｒｖｉｅｗ  ｏｆ  ｔｈｅ  ＭＰＥＧ−４  Ｓｔａｎｄａｒｄ、インターネット＜ＵＲＬ：  ｈｔｔｐ：／／ｍｐｅｇ．ｔｅｌｅｃｏｍｉｔａｌｉａｌａｂ．ｃｏｍ／ｓｔａｎｄａｒｄｓ／ｍｐｅｇ−４／ｍｐｅｇ−４．ｈｔｍ＞
【非特許文献２】
ＴＨＥ  ＭＰＥＧ−４  ＢＯＯＫ（著者：Ｆｅｒｎａｎｄｏ  Ｐｅｒｅｉｒａ、  Ｔｏｕｒａｄｊ  Ｅｂｒａｈｉｍｉ、出版社：Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、ＩＳＢＮ：０−１３−０６１６２１−４）
【００１３】
【発明が解決しようとする課題】
しかしながら、図１４に示すテレビ電話装置には以下のような問題点があった。ベースバンド画像合成部９１２は、１系統の合成画像データを生成するために、相手装置側画像データと自装置側画像データのフレーム周波数及びフレーム位相を正確に一致させる必要がある。このために、相手側装置側のベースバンドの画像データ及び自装置側のベースバンドの画像データのうちの少なくとも一方をベースバンド画像合成用メモリ９１３に一時的に格納しなければならない。従って、ベースバンド画像合成用メモリ９１３としては、容量の大きいメモリを用意しなければならない。また、例えば、自装置側の画像を相手装置側の画像の一部に挿入するピクチャ・イン・ピクチャを行うとすると、そのためのベースバンド画像合成部９１２が複雑となり、回路規模及び演算量が増大する。
【００１４】
そこで、本発明は、少ない回路規模及び演算量で相手装置で撮影された画像及び自装置で入力された画像を共に表示することを可能とするテレビ電話装置及びテレビ電話方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明によれば、相手装置側から送られてきた相手装置側画像符号を受信する受信手段と、自装置側で入力された画像を符号化して、自装置側画像符号を生成する画像符号化手段と、前記相手装置側画像符号と前記自装置側画像符号を合成して、合成画像符号を生成する画像符号合成手段と、前記合成画像符号を復号して、合成画像データを生成する画像復号手段と、を備えることを特徴とするテレビ電話装置が提供される。
【００１６】
上記のテレビ電話装置において、前記画像符号合成手段は、自装置側に蓄積されている第２の自装置側画像符号も前記相手装置側画像符号及び前記自装置側画像符号と合成してもよい。
【００１７】
上記の記載のテレビ電話装置は、前記自装置側画像符号を前記相手装置に送信する送信手段を更に備えていてもよい。
【００１８】
上記のテレビ電話装置において、前記画像符号合成手段は、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）４でいうオブジェクトの合成を行ってもよい。
【００１９】
上記のテレビ電話装置において、前記画像符号合成手段は、前記相手装置側画像符号のシーン・ディスクリプション・ストリーム及びオブジェクト・ディスクリプタ・ストリームへの参照を含む第１−１の初期オブジェクト・ディスクリプタ並びに前記自装置側画像符号のシーン・ディスクリプション・ストリーム及びオブジェクト・ディスクリプタ・ストリームへの参照を含む第１−２の初期オブジェクト・ディスクリプタを含むルート・オブジェクト・ディスクリプタ・ストリームと、前記第１−１のオブジェクト・ディスクリプタを参照する第１のＩｎｌｉｎｅノード及び前記第１−２のオブジェクト・ディスクリプタを参照する第２のｉｎｌｉｎｅノードを含むルート・シーン・ディスクリプション・ストリームと、前記ルート・オブジェクト・ディスクリプタ・ストリーム及び前記ルート・シーン・ディスクリプション・ストリームへの参照を含む第０の初期オブジェクト・ディスクリプタと、を生成してもよい。
【００２０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について詳細に説明する。
【００２１】
［実施形態１］
図１は、本発明の実施形態１によるテレビ電話装置の構成を示す。図１を参照すると、このテレビ電話装置は、ＣＰＵ１０１、メイン・メモリ１０２、イーサネット（登録商標）・インターフェース１０３、ＵＤＰ／ＩＰ処理部１０４、ＵＳＢインターフェース１０８、画像符号化部１１０、画像符号化用メモリ１１１、画像符号合成部１１２、画像符号合成用メモリ１１３、画像復号化部１０５、画像復号化用メモリ１０６、ＮＴＳＣエンコーダ１０７及びこれらを接続するバス１００を備える。
【００２２】
ＣＰＵ１０１は、メイン・メモリ１０２に格納されたプログラムを実行することにより、テレビ電話装置全体を制御する。メイン・メモリ１０２は、ＣＰＵ１０１が実行するプログラムを格納する。イーサネット（登録商標）・インターフェース１０３は、インターネットやＬＡＮ等のネットワーク１５１を介して、相手装置１５２から送られてきたイーサネット（登録商標）・フレームからＵＤＰ／ＩＰパケットを抜き出す。また、イーサネット（登録商標）・インターフェース１０３は、ＵＤＰ／ＩＰ処理部１０４から送られてきたＵＤＰ／ＩＰパケットをイーサネット（登録商標）・フレームにフレーム化して、ネットワーク１５１を介して、相手装置１５２に送信する。ＵＤＰ／ＩＰ処理部１０４は、イーサネット（登録商標）・インターフェース１０３から送られてきたＵＤＰ／ＩＰパケットからＵＤＰパケット等を抜き出し、更に、ＵＤＰパケットから画像符号を抜き出す。また、ＵＤＰ／ＩＰ処理部１０４は、画像符号化部１１０から送られてきた画像符号をＵＤＰ／ＩＰパケットにパケット化する。
【００２３】
ＵＳＢカメラ１０９は、自テレビ電話装置側でテレビ電話に参加している者を撮影して、ベースバンドの画像データを生成する。ＵＳＢインターフェース１０８は、ＵＳＢカメラ１０９からのベースバンドの画像データをテレビ電話装置に取り込む。画像符号化部１１０は、ＵＳＢインターフェース１０８から送られてくるベースバンドの画像データを符号化し、画像符号を生成する。画像符号化用メモリ１１１は、画像符号化部１１０が画像データの符号化をするときに画像符号、ベースバンドの画像データ等を一時的に格納する。
【００２４】
画像符号合成部１１２は、ＵＤＰ／ＩＰ処理部１０４から送られてくる相手装置側の画像符号と画像符号化部１１０から送られてくる自装置側の画像符号を合成し、合成画像符号を生成する。画像符号合成用メモリ１１３は、画像符号合成部１１２が画像符号の合成を行うときに、画像符号を一時的に格納する。
【００２５】
画像復号化部１０５は、画像符号合成部１１２から送られてきた合成画像符号を復号し、ベースバンドの合成画像データを生成する。画像復号化用メモリ１０６は、画像復号化部１０５が合成画像データの復号をするときに画像符号、ベースバンドの画像データ等を一時的に格納する。ＮＴＳＣエンコーダ１０７は、画像復号化部１０５から送られてきたベースバンドの合成画像データをＮＴＳＣ信号にエンコードする。ＮＴＳＣ信号は、テレビモニタ１２１に供給される。
【００２６】
図１４と図１を比較すると明らかなように、本実施形態によるテレビ電話装置は、図１４に示すテレビ電話装置と比較すると、ベースバンド画像合成部９１２及びベースバンド画像合成用メモリ９１３が削除され、画像符号合成部１１２及び画像符号合成用メモリ１１３が追加されている点が異なる。
【００２７】
次に、画像符号合成部１１２が画像符号合成用メモリ１１３を用いて行う画像符号合成の方法について、画像符号がＭＰＥＧ４に準拠したものであるとして説明する。
【００２８】
図２に示すように、ＭＰＥＧ４では、音声画像シーンは、オブジェクトをリーフとするツリー構造で表される。このツリー構造のことをシーン・ディスクリプションという。図２の例では、リーフであるオブジェクトは、第１の音声オブジェクト、第２の音声オブジェクト、・・・、第ｍの音声オブジェクト、第１の画像オブジェクト、第２の画像オブジェクト、・・・、第ｎの画像オブジェクトである。また、第１の音声オブジェクト、第２の音声オブジェクト、・・・、第ｍの音声オブジェクトは、相手の音声のルート・ノードの配下にある。同様に、第１の画像オブジェクト、第２の画像オブジェクト、・・・、第ｎの画像オブジェクトは、相手の画像のルート・ノードの配下にある。そして、相手の音声のルート・ノード及び相手の画像のルート・ノードは相手のルート・ノードの配下にある。但し、図２に示したのは、単純な例であり、例えば、相手の画像のルート・ノードと第１の画像オブジェクトの間に他のノードが介在していてもよい。
【００２９】
本実施形態では、図３に示すように、自分のルート・ノードをルート・ノードとし、その配下に自分の画像のルート・ノードを有し、自分の画像のルート・ノードの下に第２−１の画像オブジェクト、第２−２の画像オブジェクト、・・・、第２−ｎ２の画像オブジェクトを有するツリー構造を画像符号化部１１０で構築し、このツリー構造を図２に示すツリー構造と初期ノードにより結合する。なお、表記上の問題より、図２に示した第１の画像オブジェクト、第２の画像オブジェクト、・・・、第ｎの画像オブジェクトを、図３では第１−１の画像オブジェクト、第１−２の画像オブジェクト、・・・、第１−ｎ１の画像オブジェクトと表している。
【００３０】
ＭＰＥＧ４符号は、シーン・ディスクリプション・ストリーム、オブジェクト・ディスクリプタ・ストリーム、ビジュアル・ストリーム及びオーディオ・ストリームがパケット化されて多重化されたものであるが、ＤＡＩ（ＤＭＩＦ−Ａｐｐｌｉｃａｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ、ＤＭＩＦ：  Ｄｅｌｉｖｅｒｙ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｆｒａｍｅｗｏｒｋ）により、これらのストリームは分離される。シーン・ディスクリプション・ストリーム内のオブジェクトとビジュアル・ストリーム又はオーディオ・ストリーム内の符号は、オブジェクト・ディスクリプタ・ストリーム内のオブジェクト・ディスクリプタにより関連付けられる。
【００３１】
図３に示すシーン・ディスクリプションに対応する各ストリーム及びそれらの関係は図４に示すようになる。
【００３２】
図４を参照すると、第１のビジュアル・ストリーム２０１には、図３に示す第１−１画像オブジェクト、第１−２の画像オブジェクト、・・・、第１−ｎ１の画像オブジェクトが収められる。オーディオ・ストリーム２０２には、図３に示す第１の音声オブジェクト、第２の音声オブジェクト、・・・、第ｍの音声オブジェクトが収められる。第１のオブジェクト・ディスクリプタ・ストリーム２０３には、第１のビジュアル・ストリーム２０１内のエレメンタリ・ストリームへの参照を含むＥＳＤ（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ  Ｄｅｓｃｒｉｐｔｏｒ）及びオーディオ・ストリーム２０２への参照を含むＥＳＤが収められる。第１のシーン・ディスクリプション・ストリーム２０４には、図３に示す相手のルート・ノード以下のツリー構造のシーン・ディスクリプションが収められる。
【００３３】
第２のビジュアル・ストリーム２１０には、図３に示す第２−１画像オブジェクト、第２−２の画像オブジェクト、・・・、第２−ｎ２の画像オブジェクトが収められる。第２のオブジェクト・ディスクリプタ・ストリーム２０９には、第２のビジュアル・ストリーム２１０内のエレメンタリ・ストリームへの参照を含むＥＳＤが収められる。第２のシーン・ディスクリプション・ストリーム２０８には、図３に示す自分のルート・ノード以下のツリー構造のシーン・ディスクリプションが収められる。
【００３４】
ルート・オブジェクト・ディスクリプタ・ストリーム２０５には、第１のオブジェクト・ディスクリプタ・ストリーム２０３及び第１のシーン・ディスクリプション・ストリーム２０４への参照を含む第１−１の初期オブジェクト・ディスクリプタ（ＯＤ）並びに第２のオブジェクト・ディスクリプタ・ストリーム２０９及び第２のシーン・ディスクリプション・ストリーム２０８への参照を含む第１−２の初期オブジェクト・ディスクリプタ（ＯＤ）が収められる。
【００３５】
ルート・シーン・ディスクリプション・ストリーム２０６には、第１−１の初期オブジェクト・ディスクリプタを参照するＩｎｌｉｎｅ１ノード及び第１−２の初期オブジェクト・ディスクリプタを参照するＩｎｌｉｎｅ２ノードが収められる。
【００３６】
第０の初期オブジェクト・ディスクリプタ２０７は、ルート・オブジェクト・ディスクリプタ・ストリーム２０５及びルート・シーン・ディスクリプション・ストリーム２０６を参照する。
【００３７】
ＵＤＰ／ＩＰ処理部１０４から画像符号合成部１１２には、ストリーム２０１、２０２、２０３及び２０４が供給され、画像符号化部１１０から画像符号合成部１１２には、ストリーム２０８、２０９及び２１０が供給される。そして、画像符号合成部１１２から画像復号化部１０５には、ストリーム２０１〜２０６及び２０８〜２１０の全て及び第０の初期オブジェクト・ディスクリプタ（ＯＤ）２０７が供給される。
【００３８】
次に、画像符号合成部１１２及び画像符号合成用メモリ１１３の構成例を図５に示し、この説明をする。
【００３９】
図５を参照すると、バッファ２５３、２５４、２５５、２５６、２５７、２５８及び２５９は画像符号合成用メモリ１１３に構築される。
【００４０】
ＤＡＩ２５１は、相手装置１５２から、ＬＡＮ１５１、イーサネット（登録商標）・インターフェース１０３及びＵＤＰ／ＩＰ処理部１０４を介して、供給されてきた画像符号を第１のビジュアル・ストリーム２０１、オーディオ・ストリーム２０２、第１のオブジェクト・ディスクリプタ・ストリーム２０３及び第１のシーン・ディスクリプション・ストリーム２０４に分離して、それらをそれぞれ、第１のビジュアル・ストリーム用バッファ２５３、オーディオ・ストリーム用バッファ２５４、第１のオブジェクト・ディスクリプタ・ストリーム用バッファ２５５及び第１のシーン・ディスクリプション・ストリーム用バッファ２５６に格納する。
【００４１】
ＤＡＩ２５２は、画像符号化部１１０から供給されてきた画像符号を第２のビジュアル・ストリーム２１０、第２のオブジェクト・ディスクリプタ・ストリーム２０９及び第２のシーン・ディスクリプション・ストリーム２０８に分離して、それらをそれぞれ、第２のビジュアル・ストリーム用バッファ２５９、第２のオブジェクト・ディスクリプタ・ストリーム用バッファ２５８及び第２のシーン・ディスクリプション・ストリーム用バッファ２５７に格納する。
【００４２】
ルート・オブジェクト・ディスクリプタ・ストリーム生成部２６０は、第１のオブジェクト・ディスクリプタ・ストリーム用バッファ２５５、第１のシーン・ディスクリプション・ストリーム用バッファ２５６、第２のオブジェクト・ディスクリプタ・ストリーム用バッファ２５８及び第２のシーン・ディスクリプション・ストリーム用バッファ２５７から、それぞれ、第１のオブジェクト・ディスクリプタ・ストリーム２０３、第１のシーン・ディスクリプション・ストリーム２０４、第２のオブジェクト・ディスクリプタ・ストリーム２０９及び第２のシーン・ディスクリプション・ストリーム２０８を読み出して、読み出した内容を基に、ルート・オブジェクトディスクリプタ・ストリーム２０５を生成する。ルート・オブジェクト・ディスクリプタ・ストリーム生成部２６０は、必要に応じて、第１のオブジェクト・ディスクリプタ・ストリーム２０３、第１のシーン・ディスクリプション・ストリーム２０４、第２のオブジェクト・ディスクリプタ・ストリーム２０９及び第２のシーン・ディスクリプション・ストリーム２０８の参照に関連する部分を書き換えても良い。
【００４３】
ルート・シーン・ディスクリプション・ストリーム生成部２６１は、ルート・オブジェクト・ディスクリプタ・ストリーム生成部２６０からルート・オブジェクト・ディスクリプタ・ストリーム２０５を入力し、それを基に、ルート・シーン・ディスクリプション・ストリーム２０６を生成する。ルート・シーン・ディスクリプション・ストリーム生成部２６１は、必要に応じて、ルート・オブジェクト・ディスクリプタ・ストリーム２０５の参照に関連する部分を書き換えても良い。
【００４４】
第０の初期オブジェクト・ディスクリプタ（ＯＤ）生成部２６２は、ルート・オブジェクト・ディスクリプタ・ストリーム生成部２６０及びルート・シーン・ディスクリプション・ストリーム生成部２６１から、それぞれ、ルート・オブジェクト・ディスクリプタ・ストリーム２０５及びルート・シーン・ディスクリプション・ストリーム２０６を入力し、それらを基に、第０の初期オブジェクト・ディスクリプタ２０７を生成する。第０の初期オブジェクト・ディスクリプタ（ＯＤ）生成部２６２は、必要に応じて、ルート・オブジェクト・ディスクリプタ・ストリーム２０５及びルート・シーン・ディスクリプション・ストリーム２０６の参照に関連する部分を書き換えても良い。
【００４５】
ＳＬ（Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  Ｌａｙｅｒ）パケット・マルチプレクサ２６４は、第１のビジュアル・ストリーム用バッファ２５３、オーディオ・ストリーム用バッファ２５４、第１のオブジェクト・ディスクリプタ・ストリーム用バッファ２５５、第１のシーン・ディスクリプション・ストリーム用バッファ２５６、第２のビジュアル・ストリーム用バッファ２５９、第２のオブジェクト・ディスクリプタ・ストリーム用バッファ２５８、第２のシーン・ディスクリプション・ストリーム用バッファ２５７、ルート・オブジェクト・ディスクリプタ・ストリーム生成部２６０、ルート・シーン・ディスクリプション・ストリーム生成部２６１及び第０の初期オブジェクト・ディスクリプタ（ＯＤ）生成部２６２から、それぞれ、第１のビジュアル・ストリーム２０１、オーディオ・ストリーム２０２、第１のオブジェクト・ディスクリプタ・ストリーム２０３、第１のシーン・ディスクリプション・ストリーム２０４、第２のビジュアル・ストリーム２１０、第２のオブジェクト・ディスクリプタ・ストリーム２０９、第２のシーン・ディスクリプション・ストリーム２０８、ルート・オブジェクト・ディスクリプタ・ストリーム２０５、ルート・シーン・ディスクリプション・ストリーム２０６及び第０の初期オブジェクト・ディスクリプタ２０７を入力し、これらのストリームをＳＬパケットの単位でマルチプレクスし、画像復号化部１０５に供給する。
【００４６】
ユーザが自装置側の画像を表示することを望む場合と望まない場合があることを考慮し、ユーザ・インターフェース２６３を設け、ユーザが、相手装置側の画像に追加して自装置側の画像を表示することを望むのか又は望まないのかを受け付ける。ユーザ・インターフェース２６３は、受け付けた内容に従って、ルート・オブジェクト・ディスクリプタ・ストリーム生成部２６０、ルート・シーン・ディスクリプション・ストリーム生成部２６１、第０の初期オブジェクト・ディスクリプタ（ＯＤ）生成部２６２及びＳＬパケット・マルチプレクサ２６４に指示を出す。ユーザが相手装置側の画像に追加して自装置側の画像を表示することを望んでいる場合には、ストリームは図４に示したとおりのものとなり、そのようなことを望んでいない場合には、ストリームは図６に示すようになる。
【００４７】
図６の場合には、図４の場合と比較して、第２のシーン・ディスクリプション・ストリーム２０８、第２のオブジェクト・ディスクリプタ・ストリーム２０９及び第２のビジュアル・ストリーム２１０は削除され、ルート・オブジェクト・ディスクリプタ・ストリーム２０５は、ルート・オブジェクト・ディスクリプタ・ストリーム２０５Ｂに変更され、ルート・シーン・ディスクリプション・ストリーム２０６は、ルート・シーン・ディスクリプション・ストリーム２０６Ｂに変更されている。ルート・オブジェクト・ディスクリプタ・ストリーム２０５Ｂには、第１−１の初期オブジェクト・ディスクリプタ（ＯＤ）が収められているが、第１−２の初期オブジェクト・ディスクリプタ（ＯＤ）は収められていない。また、ルート・シーン・ディスクリプション・ストリーム２０６Ｂには、Ｉｎｌｉｎｅ１ノードは収められているが、Ｉｎｌｉｎｅ２ノードは収められていない。
【００４８】
また、ユーザ・インターフェース２６３は、自装置側の画像を表示する位置や大きさをユーザから受け付け、これに応じて、Ｉｎｌｉｎｅノードの位置等に関する記述を変えるようにしても良い。また、シーンディスクリプション内のＬａｙｅｒ２ＤノードやＴｒａｎｓｆｏｒｍ２Ｄのパラメータを変えて、大きさを変えても良い。また、ユーザ・インターフェース２６３は、ハードウェアでもソフトウェアでも構成することが可能であり、他のアプリケーションからの指示に従ってテレビ電話装置の動作モード（子画面挿入の有無等）やパラメータ（子画面の大きさ、位置等）を変更できる機能を有していてもよい。
【００４９】
また、画像符号化部１１０から画像符号合成部１１２に供給する画像符号を所定の狭いフレーム内のものにすることにより、符号量、演算量を削減してもよい。
【００５０】
［実施形態２］
実施形態２は、図７に示すように、相手装置側の画像に、自装置側で現在撮影している画像のみならず、予め撮影しておいた画像も追加するものである。
【００５１】
実施形態２によるテレビ電話装置の構成を図８に示す。図１と図８を比較すると明らかなように、実施形態２によるテレビ電話装置は、実施形態１によるテレビ電話装置と比較すると、画像符号合成部１１２及び画像符号合成用メモリ１１３が、それぞれ、画像符号合成部１１２Ｂ及び画像符号合成用メモリ１１３Ｂに変更され、ハードディスク１１５及びハードディスク制御部１１４が追加されている。
【００５２】
ハードディスク１１５は、予め撮影しておいた画像の画像符号を格納している。ハードディスク制御部１１４は、ハードディスクに対する画像符号の読み書きを制御する。ハードディスク制御部１１４によりハードディスク１１５から読み出された画像符号は画像符号合成部１１２Ｂに供給される。画像符号合成部１１２Ｂは、相手装置で撮影された画像の画像符号、自装置で現在撮影されている画像の画像符号及びハードディスク１１５から読み出された画像符号を合成する。
【００５３】
図９を参照すると、ＵＤＰ／ＩＰ処理部１０４から画像符号合成部１１２Ｂには、第１のビジュアル・ストリーム２０１、オーディオ・ストリーム２０２、第１のオブジェクト・ディスクリプタ／ストリーム２０３及び第１のシーン・ディスクリプション・ストリーム２０４が供給され、画像符号化部１１０から画像符号合成部１１２Ｂには、第２のシーン・ディスクリプション・ストリーム２０８、第２のオブジェクト・ディスクリプタ・ストリーム２０９及び第２のビジュアル・ストリーム２１０が供給され、ハードディスク制御部１１４から画像符号合成部１１２Ｂには、第３のシーン・ディスクリプション・ストリーム２１１、第３のオブジェクト・ディスクリプタ・ストリーム２１２及び第３のビジュアル・ストリーム２１３が供給される。
【００５４】
ルート・オブジェクト・ディスクリプタ・ストリーム２０５Ｃ、ルート・シーン・ディスクリプション・ストリーム２０６Ｃ及び第０の初期オブジェクト・ディスクリプタ２０７は、画像符号合成部１１２Ｂで生成される。
【００５５】
画像符号合成部１１２ＢからＮＴＳＣエンコーダ１０７には、図９に示す全てのストリーム２０１〜２０４、２０５Ｃ、２０６Ｃ、２０８〜２１３及び第０の初期オブジェクト・ディスクリプタ２０７が供給される。
【００５６】
図１０に画像符号合成部１１２Ｂ及び画像合成用メモリ１１３Ｂの構成例を示す。図５と図１０と比較すると明らかなように、画像符号合成部１１２Ｂは、画像符号合成部１１２と比較し、ＳＬパケット・マルチプレクサ２６４がＳＬパケット・マルチプレクサ２６４Ｂに変更され、ＤＡＩ２６５、第３のシーン・ディスクリプション・ストリーム用バッファ２６６、第３のオブジェクト・ディスクリプタ・ストリーム用バッファ２６７及び第３のビジュアル・ストリーム用バッファ２６８が追加されている点が異なる。
【００５７】
ＳＬパケット・マルチプレクサ２６４Ｂ、ＤＡＩ２６５、第３のシーン・ディスクリプション・ストリーム用バッファ２６６、第３のオブジェクト・ディスクリプタ・ストリーム用バッファ２６７及び第３のビジュアル・ストリーム用バッファ２６８は、それぞれ、ＳＬパケット・マルチプレクサ２６４、ＤＡＩ２５２、第２のシーン・ディスクリプション・ストリーム用バッファ２５７、第２のオブジェクト・ディスクリプタ・ストリーム用バッファ２５８及び第２のビジュアル・ストリーム用バッファ２５９と同様なものであるので、これらの説明は省略する。
【００５８】
なお、バッファ２５３、２５４、２５５、２５６、２５７、２５８、２５９、２６６、２６７及び２６８は画像符号合成用メモリ１１３Ｂに構築される。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、画像符号のレベルで相手装置から送られてきた画像と自装置で入力した画像を合成するので、合成に必要な演算量及び回路規模を削減することができる。
【図面の簡単な説明】
【図１】相手装置から送られてきた画像及び自装置で入力した画像を表示する本発明の実施形態１によるテレビ電話装置の構成を示すブロック図である。
【図２】ＭＰＥＧ４によるシーン・ディスクリプションを示す概念図である。
【図３】本発明の実施形態１によるテレビ電話装置により作成されるシーン・ディスクリプションを示す概念図である。
【図４】本発明の実施形態１によるテレビ電話装置により作成されるストリーム等を示す概念図である。
【図５】本発明の実施形態１によるテレビ電話装置の画像符号合成部及び画像符号合成用メモリの構成を示すブロック図である。
【図６】本発明の実施形態１によるテレビ電話装置により作成される、自装置が入力した画像を表示しない場合のストリーム等を示す概念図である。
【図７】相手装置から送られてきた画像に自装置で入力した画像及び自装置で再生した画像を合成した画面を示す図である。
【図８】相手装置から送られてきた画像及び自装置で入力した画像を表示する本発明の実施形態２によるテレビ電話装置の構成を示すブロック図である。
【図９】本発明の実施形態２によるテレビ電話装置により作成されるストリーム等を示す概念図である。
【図１０】本発明の実施形態２によるテレビ電話装置の画像符号合成部及び画像符号合成用メモリの構成を示すブロック図である。
【図１１】相手装置から送られてきた画像に自装置で入力した画像を合成した画面を示す図である。
【図１２】相手装置から送られてきた画像のみを表示する従来のテレビ電話装置の構成を示すブロック図である。
【図１３】自装置で入力した画像のみを表示する従来のテレビ電話装置の構成を示すブロック図である。
【図１４】相手装置から送られてきた画像及び自装置で入力した画像を表示する従来のテレビ電話装置の構成を示すブロック図である。
【符号の説明】
１０１  ＣＰＵ
１０２  メイン・メモリ
１０３  イーサネット（登録商標）・インターフェース
１０４  ＵＤＰ／ＩＰ処理部
１０５  画像復号化部
１０６  画像復号化用メモリ
１０７  ＮＴＳＣエンコーダ
１０８  ＵＳＢインターフェース
１０９  ＵＳＢカメラ
１１０  画像符号化部
１１１  画像符号化用メモリ
１１２  画像符号合成部
１１３  画像符号合成用メモリ
１１４  ハードディスク制御部
１１５  ハードディスク
１２１  テレビモニタ
１５１  ネットワーク
１５２  相手装置
【図１】
2004336307.tif 000003
【図２】
2004336307.tif 000004
【図３】
2004336307.tif 000005
【図４】
2004336307.tif 000006
【図５】
2004336307.tif 000007
【図６】
2004336307.tif 000008
【図７】
2004336307.tif 000009
【図８】
2004336307.tif 000010
【図９】
2004336307.tif 000011
【図１０】
2004336307.tif 000012
【図１１】
2004336307.tif 000013
【図１２】
2004336307.tif 000014
【図１３】
2004336307.tif 000015
【図１４】
2004336307.tif 000016