(57)【要約】【課題】  音声と画像とのずれを少なくすることが可能な双方向通信画像合成装置を提供する。【解決手段】  ＣＭ画像送出制御コントローラ１１はＤＴＭＦデコーダ１８，１９からのトーン信号のデコード結果を基にＣＭ画像データの出力選択制御を行う。ＣＭ画像データマクロブロックデコーダ１３はＣＭ画像データ蓄積部１２から読出したＣＭ画像データをマクロブロック単位でデコードする。画像データマクロブロックデコーダ１４，１５は双方向通信で送信側端末及び受信側端末の間でやり取りされる画像データをマクロブロック単位でデコードする。画像データマクロブロックミキシング２０，２１は各々デコードされた画像データに対してマクロブロック単位の重畳処理を施す。画像データマクロブロックエンコーダ１６，１７は重畳された画像データをマクロブロック単位でエンコードして出力する。【選択図】      図２
2007251742.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末間で当該端末各々の画像フレームを伴った双方向通信を行う双方向通信画像合成システムであって、
合成する第１及び第２の画像フレームをそれぞれマクロブロック単位でデコードする手段と、そのデコード結果に対してマクロブロック単位で重畳処理を行う手段と、この重畳結果をマクロブロック単位でエンコードして出力する手段とを含む双方向通信画像合成装置を有することを特徴とする双方向通信画像合成システム。
【請求項２】
前記重畳処理を行う手段は、前記第１及び第２の画像フレームの前記マクロブロック単位でのデコード結果の重畳を予め設定された領域に対してのみ行うことを特徴とする請求項１記載の双方向通信画像合成システム。
【請求項３】
前記端末は、少なくとも携帯端末及びセットトップボックスのいずれかを含むことを特徴とする請求項１または請求項２記載の双方向通信画像合成システム。
【請求項４】
前記双方向通信画像合成装置は、少なくとも無線基地局、基地局制御装置のいずれかに接続することを特徴とする請求項１から請求項３のいずれか記載の双方向通信画像合成システム。
【請求項５】
前記双方向通信は、少なくともテレビ電話及びテレビ会議のいずれかであることを特徴とする請求項１から請求項４のいずれか記載の双方向通信画像合成システム。
【請求項６】
複数の端末間で当該端末各々の画像フレームを伴った双方向通信を行うシステムにおいて前記画像フレームの合成を行う双方向通信画像合成装置であって、
合成する第１及び第２の画像フレームをそれぞれマクロブロック単位でデコードする手段と、そのデコード結果に対してマクロブロック単位で重畳処理を行う手段と、この重畳結果をマクロブロック単位でエンコードして出力する手段とを有することを特徴とする双方向通信画像合成装置。
【請求項７】
前記重畳処理を行う手段は、前記第１及び第２の画像フレームの前記マクロブロック単位でのデコード結果の重畳を予め設定された領域に対してのみ行うことを特徴とする請求項６記載の双方向通信画像合成装置。
【請求項８】
前記端末が、少なくとも携帯端末及びセットトップボックスのいずれかを含むことを特徴とする請求項６または請求項７記載の双方向通信画像合成装置。
【請求項９】
少なくとも無線基地局、基地局制御装置のいずれかに接続することを特徴とする請求項６から請求項８のいずれか記載の双方向通信画像合成装置。
【請求項１０】
前記双方向通信が、少なくともテレビ電話及びテレビ会議のいずれかであることを特徴とする請求項６から請求項９のいずれか記載の双方向通信画像合成装置。
【請求項１１】
複数の端末間で当該端末各々の画像フレームを伴った双方向通信を行うシステムに用いられる双方向通信画像合成方法であって、
前記画像フレームの合成を行う双方向通信画像合成装置が、合成する第１及び第２の画像フレームをそれぞれマクロブロック単位でデコードする処理と、そのデコード結果に対してマクロブロック単位で重畳処理を行う処理と、この重畳結果をマクロブロック単位でエンコードして出力する処理とを実行することを特徴とする双方向通信画像合成方法。
【請求項１２】
前記重畳処理を行う処理において、前記第１及び第２の画像フレームの前記マクロブロック単位でのデコード結果の重畳を予め設定された領域に対してのみ行うことを特徴とする請求項１１記載の双方向通信画像合成方法。
【請求項１３】
前記端末が、少なくとも携帯端末及びセットトップボックスのいずれかを含むことを特徴とする請求項１１または請求項１２記載の双方向通信画像合成方法。
【請求項１４】
前記双方向通信画像合成装置を、少なくとも無線基地局、基地局制御装置のいずれかに接続することを特徴とする請求項１１から請求項１３のいずれか記載の双方向通信画像合成方法。
【請求項１５】
前記双方向通信が、少なくともテレビ電話及びテレビ会議のいずれかであることを特徴とする請求項１１から請求項１４のいずれか記載の双方向通信画像合成方法。
【請求項１６】
複数の端末間で当該端末各々の画像フレームを伴った双方向通信を行うシステムに用いられる双方向通信画像合成方法のプログラムであって、
前記画像フレームの合成を行う双方向通信画像合成装置の中央処理装置に、合成する第１及び第２の画像フレームをそれぞれマクロブロック単位でデコードする処理と、そのデコード結果に対してマクロブロック単位で重畳処理を行う処理と、この重畳結果をマクロブロック単位でエンコードして出力する処理とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は双方向通信画像合成システム、双方向通信画像合成装置及び双方向通信画像合成方法並びにそのプログラムに関し、特にＴＶ（テレビ）電話等の双方向通信における画像の合成方法に関する。
【背景技術】
【０００２】
近年、ＴＶ電話機能としては、固定電話機に限らず、携帯電話機等の携帯端末にも搭載されるようになってきている。また、家庭内のＴＶ受像機には、セットトップボックスを接続することで、ＴＶ電話として使用することも可能となってきている。
【０００３】
さらに、ＰＣ（パーソナルコンピュータ）にＴＶ電話ソフトウェアを導入することで、ＴＶ会議やＴＶ電話も実現されている。このＴＶ電話では、ＰＣにＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）電話ソフトウェアを導入することで実現されるＩＰ電話との提携も考えられている。
【０００４】
上記のＴＶ電話では、１対１のＴＶ電話のみならず、１対ｎのＴＶ電話も実現可能であり、ＴＶ電話の利用者は使用しているモニタ画面に通信相手の画像を表示しているが、モニタ画面を分割して通信相手の画像と利用者自身の画像とを同時に表示することも可能である（例えば、特許文献１，２参照）。
【０００５】
この場合、モニタ画面に表示される画像の合成方法を図６を参照して説明する。この例では、通信相手の画像にＣＭ画像（コマーシャル画像）を合成する場合について説明する。
【０００６】
モニタ画面に表示する画像の合成を行う場合には、例えば、（１）入力画像として入力された「Ａさんのフレーム」をフレーム単位でデコードし、（２）デコードした「Ａさんのフレーム」に対してＣＭ画像の「ＣＭフレーム」のフレーム単位の重畳処理（ミキシング）を施し、（３）「Ａさんのフレーム」＋「ＣＭフレーム」をフレーム単位でエンコードして出力画像として出力している。
【０００７】
【特許文献１】特開平０５−２３６４７２号公報
【特許文献２】特開平１１−０２７４１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した従来のＴＶ電話における画像の合成方法では、フレーム単位で画像の重畳処理を行っているので、処理に時間が掛かり、出力画像として出力されるまでの遅延が大きくなってしまい、ＴＶ電話における音声と画像とのずれが大きくなってしまう。
【０００９】
そこで、本発明の目的は上記の問題点を解消し、音声と画像とのずれを少なくすることができる双方向通信画像合成システム、双方向通信画像合成装置及び双方向通信画像合成方法並びにそのプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明による双方向通信画像合成システムは、複数の端末間で当該端末各々の画像フレームを伴った双方向通信を行う双方向通信画像合成システムであって、
合成する第１及び第２の画像フレームをそれぞれマクロブロック単位でデコードする手段と、そのデコード結果に対してマクロブロック単位で重畳処理を行う手段と、この重畳結果をマクロブロック単位でエンコードして出力する手段とを含む双方向通信画像合成装置を備えている。
【００１１】
本発明による双方向通信画像合成装置は、複数の端末間で当該端末各々の画像フレームを伴った双方向通信を行うシステムにおいて前記画像フレームの合成を行う双方向通信画像合成装置であって、
合成する第１及び第２の画像フレームをそれぞれマクロブロック単位でデコードする手段と、そのデコード結果に対してマクロブロック単位で重畳処理を行う手段と、この重畳結果をマクロブロック単位でエンコードして出力する手段とを備えている。
【００１２】
本発明による双方向通信画像合成方法は、複数の端末間で当該端末各々の画像フレームを伴った双方向通信を行うシステムに用いられる双方向通信画像合成方法であって、
前記画像フレームの合成を行う双方向通信画像合成装置が、合成する第１及び第２の画像フレームをそれぞれマクロブロック単位でデコードする処理と、そのデコード結果に対してマクロブロック単位で重畳処理を行う処理と、この重畳結果をマクロブロック単位でエンコードして出力する処理とを実行している。
【００１３】
本発明による双方向通信画像合成方法のプログラムは、複数の端末間で当該端末各々の画像フレームを伴った双方向通信を行うシステムに用いられる双方向通信画像合成方法のプログラムであって、
前記画像フレームの合成を行う双方向通信画像合成装置の中央処理装置に、合成する第１及び第２の画像フレームをそれぞれマクロブロック単位でデコードする処理と、そのデコード結果に対してマクロブロック単位で重畳処理を行う処理と、この重畳結果をマクロブロック単位でエンコードして出力する処理とを実行させている。
【００１４】
すなわち、本発明の双方向通信画像合成装置は、合成する第１及び第２の画像をそれぞれ、マクロブロック単位でデコードし、デコードした第１及び第２の画像に対してマクロブロック単位で重畳処理（ミキシング）を行い、重畳した第１及び第２の画像をマクロブロック単位でエンコードして出力している。
【００１５】
ここで、マクロブロックとはフレームを構成しかつ動画像の符号化の際の動き補償の単位である。したがって、本発明の双方向通信画像合成装置では、このマクロブロック単位で画像合成のデコード処理、ミキシング処理、エンコード処理を行っているため、出力画像として出力されるまでの遅延を小さくすることが可能となり、ＴＶ（テレビ）電話やＴＶ会議等の双方向通信における音声と画像とのずれを小さくすることが可能となる。
【００１６】
上述した従来の画像の合成方法では、フレーム単位で画像の重畳処理を行うために、処理負荷が大きくなるとともに、その処理を行う間、画像を蓄積しておくためのメモリも大容量が必要となる。そのため、この合成方法は、ＰＣならば処理可能であり、この画像合成を行いながら双方向通信が可能である。
【００１７】
一方、携帯電話機等の携帯端末、既存のＴＶ受像機に接続して使用するセットトップボックスにおいては、それらに用いられるＣＰＵ等の制御手段の処理能力が小さく、メモリ容量も小さいため、画像合成を行いながら双方向通信を行うことができない。
【００１８】
しかしながら、本発明の双方向通信画像合成装置では、ＴＶ電話等の双方向通信における音声と画像とのずれを小さくすることが可能となるため、無線基地局、基地局制御装置（ＲＮＣ：Ｒａｄｉｏ  Ｎｅｔｗｏｒｋ  Ｃｏｎｔｒｏｌｌｅｒ）、交換局等に接続することで、上記の携帯電話機等の携帯端末やセットトップボックスに合成した画像を提供することが可能となり、携帯端末やセットトップボックスを用いる場合でも、合成された画像を見ながら双方向通信をリアルタイムに行うことが可能となる。
【発明の効果】
【００１９】
本発明は、上記のような構成及び動作とすることで、音声と画像とのずれを少なくすることができるという効果が得られる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明の実施例について図面を参照して説明する。図１は本発明の一実施例による双方向通信画像合成システムの構成を示すブロック図である。図１において、本発明の一実施例による双方向通信画像合成システムは、複数の画像を合成する双方向通信画像合成装置１と、ＣＭコンテンツ（コマーシャル画像）を提供するＣＭコンテンツサーバ２と、双方向通信画像合成装置１を移動通信網１００に接続するための３ＧＧＷ（３Ｇゲートウェイ）３と、携帯電話機等の携帯端末４と、既存のＴＶ（テレビ）受像機６に接続されかつＴＶ電話やＴＶ会議等の画像と音声とを用いた双方向通信を実現するセットトップボックス５とから構成されている。
【００２１】
携帯端末４は移動通信網１００と３ＧＧＷ３とを介して双方向通信画像合成装置１に接続され、セットトップボックス５はＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネット網２００を介して双方向通信画像合成装置１に接続されている。携帯端末４及びセットトップボックス５各々は、少なくとも利用者の画像を撮影する撮像素子（図示せず）と利用者の音声を入力するマイク（図示せず）とを備えている。
【００２２】
尚、本実施例では、ＴＶ電話において表示される画像にＣＭ画像（コマーシャル画像）を合成する場合について述べる。また、以下の説明では、携帯端末４の利用者とセットトップボックス５の利用者とのＴＶ電話について述べるが、携帯端末同士、セットトップボックス同士、あるいは複数の携帯端末と複数のセットトップボックスとか混在するＴＶ会議等にも適用可能であり、後述する実施例に限定されるものではない。また、ＴＶ電話やＴＶ会議については公知であるので、それらの構成や動作についての説明は省略する。
【００２３】
図２は図１の双方向通信画像合成装置１の構成例を示すブロック図である。図２において、双方向通信画像合成装置１はＣＭ画像送出制御コントローラ１１と、ＣＭ画像データ蓄積部１２と、ＣＭ画像データマクロブロックデコーダ１３と、画像データマクロブロックデコーダ１４，１５と、画像データマクロブロックエンコーダ１６，１７と、ＤＴＭＦ（Ｄｉａｌ  Ｔｏｎｅ  Ｍｕｌｔｉ  Ｆｒｅｑｕｅｎｃｙ）デコーダ１８，１９と、画像データマクロブロックミキシング２０，２１とから構成されている。
【００２４】
ＣＭ画像送出制御コントローラ１１はＤＴＭＦデコーダ１８，１９からのトーン信号のデコード結果を基にＣＭ画像データの出力選択制御を行う。ＣＭ画像データ蓄積部１２は予めＣＭコンテンツサーバ２から取得したＣＭ画像データを蓄積する。ＣＭ画像データマクロブロックデコーダ１３はＣＭ画像データ蓄積部１２から読出したＣＭ画像データをマクロブロック単位でデコードし、そのデコードした画像データを画像データマクロブロックミキシング２０，２１に送る。
【００２５】
画像データマクロブロックデコーダ１４，１５はＴＶ電話等の双方向通信で送信側端末及び受信側端末の間でやり取りされる画像データをマクロブロック単位でデコードし、そのデコードした画像データを画像データマクロブロックミキシング２０，２１に送る。画像データマクロブロックミキシング２０，２１はＣＭ画像データマクロブロックデコーダ１３及び画像データマクロブロックデコーダ１４，１５各々でデコードされた画像データに対してマクロブロック単位の重畳処理（ミキシング）を施し、画像データマクロブロックエンコーダ１６，１７に送る。この画像データマクロブロックミキシング２０，２１での処理によって、送信側端末及び受信側端末の間でやり取りされる画像データにＣＭ画像データが重畳される。
【００２６】
画像データマクロブロックエンコーダ１６，１７は画像データマクロブロックミキシング２０，２１で重畳された画像データをマクロブロック単位でエンコードし、そのエンコードした画像データを出力画像として送信側端末及び受信側端末に出力する。ＤＴＭＦデコーダ１８，１９は送信側端末及び受信側端末からのトーン信号をデコードし、そのデコード結果をＣＭ画像送出制御コントローラ１１に送る。ここで、送信側端末及び受信側端末は図１に示す携帯端末４やセットトップボックス５である。
【００２７】
図３は本発明の一実施例による双方向通信画像合成装置１の画像データの合成処理動作の一例を示す図である。これら図１〜図３を参照して本発明の一実施例による双方向通信画像合成装置１の画像データの合成処理動作について説明する。
【００２８】
尚、以下の説明では、携帯端末４及びセットトップボックス５各々で撮影された画像はフレーム単位で移動通信網１００及び３ＧＧＷ３、ＩＰネット網２００を介して双方向通信画像合成装置１に入力されるものとし、ＣＭコンテンツサーバ２もＣＭ画像データをフレーム単位で双方向通信画像合成装置１に提供するものとし、双方向通信画像合成装置１はそれらの画像データをフレーム単位で蓄積しておくものとする。この場合、フレームは動画像の符号化の際の動き補償の単位である複数のマクロブロックから構成されている。
【００２９】
また、画像データマクロブロックデコーダ１４、画像データマクロブロックエンコーダ１６、ＤＴＭＦデコーダ１８は携帯端末４に対応し、画像データマクロブロックデコーダ１５、画像データマクロブロックエンコーダ１７、ＤＴＭＦデコーダ１９はセットトップボックス５に対応するものとする。
【００３０】
双方向通信画像合成装置１において、ＣＭ画像送出制御コントローラ１１はＤＴＭＦデコーダ１９からのトーン信号のデコード結果を基に、セットトップボックス５の利用者によって指定されたＣＭ画像データをＣＭ画像データ蓄積部１２から読出してＣＭ画像データマクロブロックデコーダ１３に入力させ、ＣＭ画像データマクロブロックデコーダ１３でマクロブロック単位でデコードさせ、そのデコード結果が画像データマクロブロックミキシング２０に送出させる。
【００３１】
携帯端末４で撮影された画像データは移動通信網１００及び３ＧＧＷ３を介して双方向通信画像合成装置１に入力され、画像データマクロブロックデコーダ１４でマクロブロック単位でデコードされ［図２の（１）参照］、そのデコード結果が画像データマクロブロックミキシング２０に送出される。
【００３２】
画像データマクロブロックミキシング２０はＣＭ画像データマクロブロックデコーダ１３のデコード結果と、画像データマクロブロックデコーダ１４のデコード結果とに対して、マクロブロック単位の重畳処理を施し［図２の（２）参照］、重畳した画像データを画像データマクロブロックエンコーダ１７に渡す。
【００３３】
画像データマクロブロックエンコーダ１７は画像データマクロブロックミキシング２０で重畳された画像データをマクロブロック単位でエンコードし［図２の（３）参照］、そのエンコード結果を出力画像としてセットトップボックス５側に送出する。
【００３４】
一方、ＣＭ画像送出制御コントローラ１１はＤＴＭＦデコーダ１８からのトーン信号のデコード結果を基に、携帯端末４の利用者によって指定されたＣＭ画像データをＣＭ画像データ蓄積部１２から読出してＣＭ画像データマクロブロックデコーダ１３に入力させ、ＣＭ画像データマクロブロックデコーダ１３でマクロブロック単位でデコードさせ、そのデコード結果が画像データマクロブロックミキシング２１に送出させる。
【００３５】
セットトップボックス５で撮影された画像データはＩＰネット網２００を介して双方向通信画像合成装置１に入力され、画像データマクロブロックデコーダ１５でマクロブロック単位でデコードされ［図２の（１）参照］、そのデコード結果が画像データマクロブロックミキシング２１に送出される。
【００３６】
画像データマクロブロックミキシング２１はＣＭ画像データマクロブロックデコーダ１３のデコード結果と、画像データマクロブロックデコーダ１５のデコード結果とに対して、マクロブロック単位の重畳処理を施し［図２の（２）参照］、重畳した画像データを画像データマクロブロックエンコーダ１６に渡す。
画像データマクロブロックエンコーダ１６は画像データマクロブロックミキシング２１で重畳された画像データをマクロブロック単位でエンコードし［図２の（３）参照］、そのエンコード結果を出力画像として携帯端末４側に送出する。
【００３７】
すなわち、本実施例では、モニタ画面に表示する画像の合成を行う場合、例えば、（１）入力画像として入力された「Ａさんのフレーム」をマクロブロック単位でデコードし、（２）デコードした「Ａさんのマクロブロック」に対してＣＭ画像の「ＣＭマクロブロック」のマクロブロック単位の重畳処理（ミキシング）を施し、（３）「Ａさんのマクロブロック」＋「ＣＭマクロブロック」をマクロブロック単位でエンコードして出力画像として出力している。
【００３８】
このように、本実施例では、マクロブロック単位で画像合成のデコード処理、ミキシング処理、エンコード処理を行っているため、出力画像として出力されるまでの遅延を小さくすることができ、ＴＶ電話等の双方向通信における音声と画像とのずれを小さくすることができる。
【００３９】
したがって、本実施例では、ＴＶ電話等の双方向通信における音声と画像とのずれを小さくすることができるため、双方向通信画像合成装置１を無線基地局、基地局制御装置（ＲＮＣ：Ｒａｄｉｏ  Ｎｅｔｗｏｒｋ  Ｃｏｎｔｒｏｌｌｅｒ）、交換局等に接続することで、上記の携帯電話機等の携帯端末４やセットトップボックス５に合成した画像を提供することができ、携帯端末４やセットトップボックス５を用いる場合でも、合成された画像を見ながら双方向通信をリアルタイムに行うことができる。
【００４０】
図４は本発明の他の実施例による双方向通信画像合成装置の構成例を示すブロック図である。図４において、双方向通信画像合成装置７はＣＰＵ（中央処理装置）７１と、ＣＰＵ７１が実行する制御プログラム７２ａを格納するメインメモリ７２と、入力される画像データ等を蓄積して画像処理の作業領域として用いられる記憶装置７３と、上記のＣＭコンテンツサーバ２との間で画像データ等の入出力を行うＩＦ（インタフェース）部７４とから構成されており、ＣＰＵ７１、メインメモリ７２、記憶装置７３、ＩＦ部７４各々は内部バス７１０に接続されている。
【００４１】
記憶装置７３はＣＭコンテンツサーバ２からのＣＭ画像データを予め蓄積するＣＭ画像データ蓄積部７３１と、携帯端末４やセットトップボックス５等からの画像データを保持する画像データ保持部７３２と、マクロブロック単位での画像合成のデコード処理、ミキシング処理、エンコード処理の処理結果を一時保持する一時記憶部７３３とを備えている。
【００４２】
図５は本発明の他の実施例による双方向通信画像合成装置７の処理動作を示すフローチャートである。これら図４及び図５を参照して本発明の他の実施例による双方向通信画像合成装置７による画像合成処理について説明する。尚、図５に示す処理動作はＣＰＵ７１が制御プログラム７２ａを実行することで実現される。
【００４３】
双方向通信画像合成装置７のＣＰＵ７１は携帯端末４とセットトップボックス５との間で双方向通信（例えば、ＴＶ電話やＴＶ会議等）が開始されると、送信元や送信先からの画像データを画像データ保持部７３２に保持する（図５ステップＳ１）。
【００４４】
ＣＰＵ７１は送信元や送信先からＣＭ画像データの再生指示がなければ（図５ステップＳ２）、画像データ保持部７３２に保持した画像データをマクロブロック単位でデコードし、そのデコード結果を一時記憶部７３３に一時記憶する（図５ステップＳ３）。
【００４５】
ＣＰＵ７１は一時記憶部７３３に一時記憶した画像データをマクロブロック単位で重畳し、一時記憶部７３３に一時記憶する（図５ステップＳ４）。ＣＰＵ７１は一時記憶部７３３に一時記憶した画像データの重畳結果をマクロブロック単位でエンコードし、フレームとして出力する（図５ステップＳ５）。
【００４６】
一方、ＣＰＵ７１は送信元や送信先からＣＭ画像データの再生指示があれば（図５ステップＳ２）、ＣＭ画像データの指定［例えば、どの業種のＣＭ画像か、どのような種類（新発売、セール等）のＣＭ画像かというような指定］があるかどうかを判定する（図５ステップＳ７）。この場合、ＣＰＵ７１は携帯端末４やセットトップボックス５からのトーン信号等で、ＣＭ画像データの再生指示やＣＭ画像データの指定の有無を判定する。
【００４７】
ＣＰＵ７１はＣＭ画像データの指定があれば、指定されたＣＭ画像データをＣＭ画像データ蓄積部７３１から読出す（図５ステップＳ８）。また、ＣＰＵ７１はＣＭ画像データの指定がなければ、予め設定されたＣＭ画像データをＣＭ画像データ蓄積部７３１から読出す（図５ステップＳ９）。ＣＰＵ７１はＣＭ画像データ蓄積部７３１から読出したＣＭ画像データをマクロブロック単位でデコードし、そのデコード結果を一時記憶部７３３に一時記憶する（図５ステップＳ１０）。
【００４８】
ＣＰＵ７１は画像データ保持部７３２に保持した画像データをマクロブロック単位でデコードし、一時記憶部７３３に一時記憶する（図５ステップＳ１１）。ＣＰＵ７１は一時記憶部７３３に一時記憶した画像データ及びＣＭ画像データをマクロブロック単位で重畳し、一時記憶部７３３に一時記憶する（図５ステップＳ１２）。ＣＰＵ７１は一時記憶部７３３に一時記憶した画像データ及びＣＭ画像データの重畳結果をマクロブロック単位でエンコードし、フレームとして出力する（図５ステップＳ１３）。
【００４９】
ＣＰＵ７１は上述した各処理を、携帯端末４とセットトップボックス５との間双方向通信が終了するまで（図５ステップＳ６）、繰り返し実行する。尚、ＣＰＵ７１は、その間、ＣＭ画像データの再生指示やＣＭ画像データの指定に従って上記の各処理を行て、双方向通信が終了すると上記の処理を終了する。
【００５０】
これによって、本実施例では、上述した本発明の一実施例と同様に、上記の携帯電話機等の携帯端末４やセットトップボックス５にＣＭ画像データや通信相手の画像データを合成した画像を提供することができ、携帯端末４やセットトップボックス５を用いる場合でも、合成された画像を見ながら双方向通信をリアルタイムに行うことができる。
【００５１】
尚、本発明では、上記の各実施例において、表示画面においてＣＭ画像を表示する領域を特に指定することなく、画像を合成する場合について述べたが、表示画面においてＣＭ画像を表示する領域を指定する場合にも適用可能である。その場合には、上記の重畳処理を指定された領域のみ行えばよいので、処理の負荷軽減や処理速度の高速化を図ることができる。
【００５２】
また、本発明では、送信側及び受信側各々の画像データにＣＭ画像データを重畳する場合について述べたが、ＣＭ画像データ以外の画像（動画像、静止画、テキスト等）を重畳する場合にも、あるいは送信側及び受信側各々の画像データを互いに重畳して送信側及び受信側に表示することも可能である。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施例による双方向通信画像合成システムの構成を示すブロック図である。
【図２】図１の双方向通信画像合成装置の構成例を示すブロック図である。
【図３】本発明の一実施例による双方向通信画像合成装置１の画像データの合成処理動作の一例を示す図である。
【図４】本発明の他の実施例による双方向通信画像合成装置の構成例を示すブロック図である。
【図５】本発明の他の実施例による双方向通信画像合成装置７の処理動作を示すフローチャートである。
【図６】従来の画像データの合成処理動作の一例を示す図である。
【符号の説明】
【００５４】
１，７  双方向通信画像合成装置
２  ＣＭコンテンツサーバ
３  ３ＧＧＷ
４  携帯端末
５  セットトップボックス
１１  ＣＭ画像送出制御コントローラ
１２  ＣＭ画像データ蓄積部
１３  ＣＭ画像データマクロブロックデコーダ
１４，１５  画像データマクロブロックデコーダ
１６，１７  画像データマクロブロックエンコーダ
１８，１９  ＤＴＭＦデコーダ
２０，２１  画像データマクロブロックミキシング
７１  ＣＰＵ
７２  メインメモリ
７２ａ  制御プログラム
７３  記憶装置
７４  ＩＦ部
１００  移動通信網
２００  ＩＰネット網
７１０  内部バス
７３１  ＣＭ画像データ蓄積部
７３２  画像データ保持部
７３３  一時記憶部
【図１】
2007251742.tif 000003
【図２】
2007251742.tif 000004
【図３】
2007251742.tif 000005
【図４】
2007251742.tif 000006
【図５】
2007251742.tif 000007
【図６】
2007251742.tif 000008