(57)【要約】符号化処理部（４４）は、表示画像を構成する、画像入力部（２）が入力する画像データと復号化処理部（４６）が出力する復号化データとグラフィックス生成部（４７）が出力するグラフィックス画像データと、を個別に符号化する。個別に符号化されたこれらの画像データが、蓄積部（４５）に蓄積される。このため、蓄積した表示画像を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。その結果、ユーザの利便性の向上を図ることができる。
2006513629.tif 000002
【特許請求の範囲】
【請求項１】
受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
画像データを入力する画像入力手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
前記画像合成手段が出力する前記合成画像データを元に、合成画像を表示する画像表示手段と、
前記画像入力手段が入力する前記画像データ、前記復号化処理手段が出力する前記復号化データ、及び、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、を個別に符号化する符号化処理手段と、
符号化された前記画像データ、符号化された前記復号化データ、及び、符号化された前記グラフィックス画像データ、を蓄積する蓄積手段と、を備える、データ送受信装置。
【請求項２】
受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
画像データを入力する画像入力手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
前記画像合成手段が出力する前記合成画像データを元に、合成画像を表示する画像表示手段と、
前記画像入力手段が入力する前記画像データ、及び、前記復号化処理手段が出力する前記復号化データ、を個別に符号化して、符号化データを出力する符号化処理手段と、
前記符号化処理手段が出力する前記符号化データと、前記受信データ分離手段が出力する前記グラフィックスデータと、を多重化して、多重化データを出力する多重化手段と、
前記多重化手段が出力する前記多重化データを蓄積する蓄積手段と、
前記蓄積手段から受け取った前記多重化データを分離して、前記符号化データと前記グラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備える、データ送受信装置。
【請求項３】
制御手段をさらに備え、
第１のモードでは、グラフィックス画像については、その元になる前記グラフィックスデータを、前記蓄積手段に蓄積し、
第２のモードでは、前記グラフィックス画像については、前記符号化処理手段により符号化された前記グラフィックス画像データを、前記蓄積手段に蓄積し、
前記第１のモードと前記第２のモードとの切り替えは、前記制御手段の指示に従って行われる、請求項２記載のデータ送受信装置。
【請求項４】
受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
画像データを入力する画像入力手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
前記画像合成手段が出力する前記合成画像データを元に、合成画像を表示する画像表示手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、
前記選択手段が選択した前記データを符号化して、符号化データを出力する符号化処理手段と、
前記符号化処理手段が出力する前記符号化データを蓄積する蓄積手段と、を備え、
前記符号化処理手段は、前記選択手段が選択した前記データが２以上ある場合は、前記選択手段が選択した２以上の前記データを、個別に符号化する、データ送受信装置。
【請求項５】
受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
画像データを入力する画像入力手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
前記画像合成手段が出力する前記合成画像データを元に、合成画像を表示する画像表示手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、前記画像入力手段が入力する前記画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、
前記選択手段が出力する前記データを符号化して、符号化データを出力する符号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータが与えられた場合は、前記グラフィックスデータと、前記符号化処理手段が出力する前記符号化データと、を多重化して、多重化データを出力する多重化手段と、
前記多重化手段が生成した前記多重化データが与えられた場合は、前記多重化データを蓄積し、前記符号化処理手段が生成した前記符号化データが与えられた場合は、前記符号化データを蓄積する蓄積手段と、
前記蓄積手段から受け取った前記多重化データを分離して、前記符号化データと前記グラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備え、
前記符号化処理手段は、前記選択手段が選択した前記データが２以上ある場合は、前記選択手段が選択した２以上の前記データを、個別に符号化する、データ送受信装置。
【請求項６】
制御手段をさらに備え、
第１のモードでは、グラフィックス画像については、前記符号化処理手段により符号化された前記グラフィックス画像データを、前記蓄積手段に蓄積し、
第２のモードでは、前記グラフィックス画像については、その元になる前記グラフィックスデータを、前記蓄積手段に蓄積し、
前記第１のモードと前記第２のモードとの切り替えは、前記制御手段の指示に従って行われる、請求項５記載のデータ送受信装置。
【請求項７】
前記第２のモードでは、前記制御手段の指示に従って、前記受信データ分離手段は、前記グラフィックスデータを、前記多重化手段へ入力し、あるいは、入力しない、請求項６記載のデータ送受信装置。
【請求項８】
制御手段をさらに備え、
前記画像入力手段が入力する前記画像データ、前記復号化処理手段が出力する前記復号化データ、及び、グラフィックス関連データ、のうち、前記制御手段により指示された画像データが前記蓄積手段に蓄積され、
前記グラフィックス関連データを蓄積する場合は、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、あるいは、前記受信データ分離手段が出力する前記グラフィックスデータ、のうち、前記制御手段により指示されたデータが前記蓄積手段に蓄積される、請求項５記載のデータ送受信装置。
【請求項９】
前記蓄積手段は、前記画像表示手段が表示する前記合成画像に関連するデータを蓄積する、請求項１記載のデータ送受信装置。
【請求項１０】
受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
外部から入力される前記画像データ、前記復号化処理手段が出力する前記復号化データ、及び、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、を個別に符号化する符号化処理手段と、
符号化された外部からの前記画像データ、符号化された前記復号化データ、及び、符号化された前記グラフィックス画像データ、を蓄積する蓄積手段と、を備える、画像処理装置。
【請求項１１】
受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
外部から入力される前記画像データ、及び、前記復号化処理手段が出力する前記復号化データ、を個別に符号化して、符号化データを出力する符号化処理手段と、
前記符号化処理手段が出力する前記符号化データと、前記受信データ分離手段が出力する前記グラフィックスデータと、を多重化して、多重化データを出力する多重化手段と、
前記多重化手段が出力する前記多重化データを蓄積する蓄積手段と、
前記蓄積手段から受け取った前記多重化データを分離して、前記符号化データと前記グラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備える、画像処理装置。
【請求項１２】
受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される前記画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、
前記選択手段が選択した前記データを符号化して、符号化データを出力する符号化処理手段と、
前記符号化処理手段が出力する前記符号化データを蓄積する蓄積手段と、を備え、
前記符号化処理手段は、前記選択手段が選択した前記データが２以上ある場合は、前記選択手段が選択した２以上の前記データを、個別に符号化する、画像処理装置。
【請求項１３】
受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、前記符号化データと前記グラフィックスデータとを分離して、前記符号化データ及び前記グラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、前記符号化データを出力する受信データ分離手段と、
前記受信データ分離手段が出力する前記符号化データを復号して、復号化データを出力する復号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータを元に、グラフィックス画像データを生成して、前記グラフィックス画像データを出力するグラフィックス生成手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、
前記復号化処理手段が出力する前記復号化データ、前記グラフィックス生成手段が出力する前記グラフィックス画像データ、及び、外部から入力される前記画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、
前記選択手段が出力する前記データを符号化して、符号化データを出力する符号化処理手段と、
前記受信データ分離手段が出力する前記グラフィックスデータが与えられた場合は、前記グラフィックスデータと、前記符号化処理手段が出力する前記符号化データと、を多重化して、多重化データを出力する多重化手段と、
前記多重化手段が生成した前記多重化データが与えられた場合は、前記多重化データを蓄積し、前記符号化処理手段が生成した前記符号化データが与えられた場合は、前記符号化データを蓄積する蓄積手段と、
前記蓄積手段から受け取った前記多重化データを分離して、前記符号化データと前記グラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備え、
前記符号化処理手段は、前記選択手段が選択した前記データが２以上ある場合は、前記選択手段が選択した２以上の前記データを、個別に符号化する、画像処理装置。
【請求項１４】
入力された符号化データを復号して、復号化データを生成するする復号化処理手段と、
入力された画像データと前記復号化データとを、個別に符号化する符号化処理手段と、
個別に符号化された前記画像データと前記復号化データとを蓄積する蓄積手段と、を備える、画像処理装置。
【請求項１５】
入力された符号化データを復号して、復号化データを生成するするステップと、
入力された画像データと前記復号化データとを、個別に符号化するステップと、
個別に符号化された前記画像データと前記復号化データとを蓄積するステップと、を含む、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の送受信を行うデータ送受信装置及びその関連技術に関する。
【背景技術】
【０００２】
一般に、画面に表示された映像を記録する場合は、ビデオカメラやビデオレコーダ等で、表示されたビデオ信号をそのまま記録する。
【０００３】
近年、特開２００２−９４９９６号公報に開示されているように、マルチメディアデータを受信し表示するデータ受信装置では、受信した画像符号化データに対して、復号処理および合成処理を施して作成した表示画像を表示するとともに、再符号化して蓄積する構成をとるものがある。
【０００４】
この従来のデータ受信装置を図面を用いて詳細に説明する。
【０００５】
図５は、従来のデータ受信装置のブロック図である。
【０００６】
図５に示すように、この従来のデータ受信装置は、受信データ分離部１０６、復号化処理部１０４、グラフィックス生成部１０５、画像合成部１０３、画像表示部１００、符号化処理部１０１、蓄積部１０２、及び、制御部１０７、を具備している。
【０００７】
受信データ分離部１０６は、受信した、画像符号化データとグラフィックスデータとが多重化されたデータを分離する。
【０００８】
そして、受信データ分離部１０６は、復号化処理部１０４に画像符号化データを出力し、グラフィックス生成部１０５にグラフィックスデータを出力する。
【０００９】
復号化処理部１０４は、受信データ分離部１０６が出力した画像符号化データを復号して、復号した画像データを画像合成部１０３に出力する。
【００１０】
グラフィックス生成部１０５は、受信データ分離部１０６が出力したグラフィックスデータを元に、テキスト、２次元画像、あるいは、３次元画像等のグラフィックス画像データを生成して、画像合成部１０３に出力する。
【００１１】
画像合成部１０３は、復号化処理部１０４が出力した画像データと、グラフィックス生成部１０５が出力したグラフィックス画像データと、を合成して、表示画像データを生成し、画像表示部１００に出力する。
【００１２】
画像表示部１００は、画像合成部１０３が出力した表示画像データを元に、画像を表示する。
【００１３】
また、画像表示部１００は、制御部１０７から表示画像の録画指示が入力されると、表示画像データを符号化処理部１０１に出力する。
【００１４】
すると、この場合、符号化処理部１０１は、画像表示部１００が出力した表示画像データを符号化して、蓄積部１０２に出力する。
【００１５】
すると、蓄積部１０２は、符号化処理部１０１が出力した符号化された表示画像データを蓄積する。
【００１６】
以上のように、従来のデータ受信装置では、受信した画像符号化データに対して、復号処理および合成処理を施して作成した表示画像を表示するとともに、再符号化して蓄積する。
【００１７】
また、復号化処理部１０４は、制御部１０７からの再生指示に従って、蓄積部１０２から蓄積された表示画像データを取り出して、復号を行う。
【００１８】
そして、復号された表示画像データは、画像合成部１０３を経由して、画像表示部１００に入力される。すると、画像表示部１００は、表示画像データを元に、画像を表示する。
【００１９】
上記のようなデータ受信装置を具備することで、近年、テレビ電話機能等の動画像通信機能を有するデータ送受信装置においては、受信した符号化画像データを復号した画像のみを画像表示部１００に表示するだけでなく、受信した画像に加えて、データ送受信装置に接続されたカメラからの入力画像や、内部のグラフィックス生成部１０５により生成されたグラフィックス画像など、の複数の画像を合成して、画像表示部１００に表示する場合がますます多くなってきている。
【００２０】
例えば、テレビ電話機能を有する携帯端末において、テレビ電話を行う際、受信して復号した相手画像からなる主画面と、携帯端末に内蔵されたカメラからの入力となる自画像および携帯端末の内部で生成したグラフィックス画像からなる複数の副画面と、を合成し表示画像としてから画像表示部１００に表示する。
【００２１】
この場合、表示している画像を記録して、再生、編集、及び送信するなど、再度使用することを考えると、合成された表示画像をそのまま用いるとは限らない。
【００２２】
例えば、テレビ電話を行う際、相手画像のみを切り出して用いたい場合、相手画像と自画像とから構成された画像を用いたい場合、あるいは、グラフィックス画像のみを切り出して用いたい場合等、さまざまな場合がある。
【００２３】
従って、従来のデータ受信装置を含むデータ送受信装置のように、最終的な表示画像を符号化して蓄積する場合、合成による重ねあわせ部分の画像の損失が発生したり、合成された画像からの必要部分の抽出処理が必要になる。
【００２４】
このため、上記のような要求に答えることは困難であり、利便性が低いという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【００２５】
そこで、本発明は、複数の画像を合成して作成された表示画像を任意に編集できるようにして、ユーザの利便性の向上を図ることができるデータ送受信装置及びその関連技術を提供することを目的とする。
【課題を解決するための手段】
【００２６】
第１の発明に係るデータ送受信装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、画像データを入力する画像入力手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、画像合成手段が出力する合成画像データを元に、合成画像を表示する画像表示手段と、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データ、を個別に符号化する符号化処理手段と、符号化された画像データ、符号化された復号化データ、及び、符号化されたグラフィックス画像データ、を蓄積する蓄積手段と、を備える。
【００２７】
この構成によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データと復号化処理手段が出力する復号化データとグラフィックス生成手段が出力するグラフィックス画像データと、が個別に符号化されて蓄積される。
【００２８】
このため、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。
【００２９】
その結果、ユーザの利便性の向上を図ることができる。
【００３０】
第２の発明に係るデータ送受信装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、画像データを入力する画像入力手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、画像合成手段が出力する合成画像データを元に、合成画像を表示する画像表示手段と、画像入力手段が入力する画像データ、及び、復号化処理手段が出力する復号化データ、を個別に符号化して、符号化データを出力する符号化処理手段と、符号化処理手段が出力する符号化データと、受信データ分離手段が出力するグラフィックスデータと、を多重化して、多重化データを出力する多重化手段と、多重化手段が出力する多重化データを蓄積する蓄積手段と、蓄積手段から受け取った多重化データを分離して、符号化データとグラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備える。
【００３１】
この構成によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データと復号化処理手段が出力する復号化データとが個別に符号化され蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。
【００３２】
このため、蓄積した表示画像（合成画像）を、再生、編集、送信するなど、再度使用する場合、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成して再使用することができる。
【００３３】
その結果、ユーザの利便性の向上を図ることができる。
【００３４】
また、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積するため、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積手段を高効率に使用することができる。 
【００３５】
第３の発明に係るデータ送受信装置では、制御手段をさらに備え、第１のモードでは、グラフィックス画像については、その元になるグラフィックスデータを、蓄積手段に蓄積し、第２のモードでは、グラフィックス画像については、符号化処理手段により符号化されたグラフィックス画像データを、蓄積手段に蓄積し、第１のモードと第２のモードとの切り替えは、制御手段の指示に従って行われる。
【００３６】
この構成によれば、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像データを符号化して蓄積するか、あるいは、グラフィックス画像の生成に必要なグラフィックスデータを蓄積するか、のいずれかを選択可能である。
【００３７】
このため、場面に応じて、グラフィックス画像に関する蓄積形態が選択でき、ユーザの利便性がより広がる。
【００３８】
例えば、グラフィックス生成手段を有していない受信端末に、グラフィックス画像を含む表示画像を送信する場合は、受信側で再生できるように、グラフィックス生成手段から出力されるグラフィックス画像データを符号化処理手段により符号化した状態で送信する等、場面に応じて、グラフィックス画像に関する蓄積形態が選択できる。
【００３９】
第４の発明に係るデータ送受信装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、画像データを入力する画像入力手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、画像合成手段が出力する合成画像データを元に、合成画像を表示する画像表示手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、選択手段が選択したデータを符号化して、符号化データを出力する符号化処理手段と、符号化処理手段が出力する符号化データを蓄積する蓄積手段と、を備え、符号化処理手段は、選択手段が選択したデータが２以上ある場合は、選択手段が選択した２以上のデータを、個別に符号化する。
【００４０】
この構成によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力すグラフィックス画像データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積される。
【００４１】
このため、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。
【００４２】
その結果、ユーザの利便性の向上を図ることができる。
【００４３】
また、選択手段を設けることで、ユーザの好みや蓄積手段の空き容量に応じた、表示画像（合成画像）の蓄積形態をとることができる。
【００４４】
また、選択手段を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積手段の高効率な使用ができる。
【００４５】
第５の発明に係るデータ送受信装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、画像データを入力する画像入力手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、画像合成手段が出力する合成画像データを元に、合成画像を表示する画像表示手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、画像入力手段が入力する画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、選択手段が出力するデータを符号化して、符号化データを出力する符号化処理手段と、受信データ分離手段が出力するグラフィックスデータが与えられた場合は、グラフィックスデータと、符号化処理手段が出力する符号化データと、を多重化して、多重化データを出力する多重化手段と、多重化手段が生成した多重化データが与えられた場合は、多重化データを蓄積し、符号化処理手段が生成した符号化データが与えられた場合は、符号化データを蓄積する蓄積手段と、蓄積手段から受け取った多重化データを分離して、符号化データとグラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備え、符号化処理手段は、選択手段が選択したデータが２以上ある場合は、選択手段が選択した２以上のデータを、個別に符号化する。
【００４６】
この構成によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積される。
【００４７】
あるいは、表示画像（合成画像）を構成する、画像入力手段が入力する画像データおよび復号化処理手段が出力する復号化データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。
【００４８】
以上により、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成し、再使用することができる。
【００４９】
その結果、ユーザの利便性の向上を図ることができる。
【００５０】
また、選択手段を設けることで、ユーザの好みや蓄積手段の空き容量に応じた、表示画像（合成画像）の蓄積形態をとることができる。
【００５１】
また、選択手段を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積手段の高効率な使用ができる。
【００５２】
また、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積する場合は、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積手段を高効率に使用することができる。 
【００５３】
第６の発明に係るデータ送受信装置では、制御手段をさらに備え、第１のモードでは、グラフィックス画像については、符号化処理手段により符号化されたグラフィックス画像データを、蓄積手段に蓄積し、第２のモードでは、グラフィックス画像については、その元になるグラフィックスデータを、蓄積手段に蓄積し、第１のモードと第２のモードとの切り替えは、制御手段の指示に従って行われる。
【００５４】
この構成によれば、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像データを符号化して蓄積するか、あるいは、グラフィックス画像の生成に必要なグラフィックスデータを蓄積するか、のいずれかを選択可能である。
【００５５】
このため、場面に応じて、グラフィックス画像に関する蓄積形態が選択でき、ユーザの利便性がより広がる。
【００５６】
例えば、グラフィックス生成手段を有していない受信端末に、グラフィックス画像を含む表示画像を送信する場合は、受信側で再生できるように、グラフィックス生成手段から出力されるグラフィックス画像データを符号化処理手段により符号化した状態で送信する等、場面に応じて、グラフィックス画像に関する蓄積形態が選択できる。
【００５７】
第７の発明に係るデータ送受信装置では、第２のモードでは、制御手段の指示に従って、受信データ分離手段は、グラフィックスデータを、多重化手段へ入力し、あるいは、入力しない。
【００５８】
この構成によれば、第２のモードにおいて、画像入力手段が入力する画像データおよび復号化処理手段が出力する復号化データのみならず、グラフィックスデータを蓄積するかどうかを選択することができる。その結果、よりユーザの利便性が広がる。
【００５９】
第８の発明に係るデータ送受信装置では、制御手段をさらに備え、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス関連データ（グラフィックス画像データ、グラフィックスデータ）、のうち、制御手段により指示された画像データが蓄積手段に蓄積され、グラフィックス関連データを蓄積する場合は、グラフィックス生成手段が出力するグラフィックス画像データ、あるいは、受信データ分離手段が出力するグラフィックスデータ、のうち、制御手段により指示されたデータが蓄積手段に蓄積される。
【００６０】
この構成によれば、グラフィックス関連データの蓄積を行うかどうかを選択可能であり、さらに、グラフィックス画像データ、あるいは、グラフィックスデータ、のいずれを蓄積するかを選択可能である。
【００６１】
このため、さらなるユーザの利便性の向上、及び、さらなる蓄積手段の高効率な使用、が可能となる。
【００６２】
第９の発明に係るデータ送受信装置では、蓄積手段は、画像表示手段が表示する合成画像に関連するデータを蓄積する。
【００６３】
この構成によれば、表示画像（合成画像）を蓄積する際に、表示画像（合成画像）に関連するデータを含めて蓄積するため、蓄積した表示画像（合成画像）を再度使用する場合の検索時等において、ユーザを支援することが可能であり、ユーザの利便性がより高まる。
【００６４】
第１０の発明に係る画像処理装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、外部から入力される画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データ、を個別に符号化する符号化処理手段と、符号化された外部からの画像データ、符号化された復号化データ、及び、符号化されたグラフィックス画像データ、を蓄積する蓄積手段と、を備える。
【００６５】
この構成によれば、合成画像を構成する、外部から入力される画像データと復号化処理手段が出力する復号化データとグラフィックス生成手段が出力するグラフィックス画像データと、が個別に符号化されて蓄積される。
【００６６】
このため、蓄積した合成画像を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。
【００６７】
その結果、ユーザの利便性の向上を図ることができる。
【００６８】
第１１の発明に係る画像処理装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、外部から入力される画像データ、及び、復号化処理手段が出力する復号化データ、を個別に符号化して、符号化データを出力する符号化処理手段と、符号化処理手段が出力する符号化データと、受信データ分離手段が出力するグラフィックスデータと、を多重化して、多重化データを出力する多重化手段と、多重化手段が出力する多重化データを蓄積する蓄積手段と、蓄積手段から受け取った多重化データを分離して、符号化データとグラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備える。
【００６９】
この構成によれば、合成画像を構成する、外部から入力される画像データと復号化処理手段が出力する復号化データとが個別に符号化され蓄積され、合成画像を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。
【００７０】
このため、蓄積した合成画像を、再生、編集、送信するなど、再度使用する場合、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成して再使用することができる。
【００７１】
その結果、ユーザの利便性の向上を図ることができる。
【００７２】
また、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積するため、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積手段を高効率に使用することができる。 
【００７３】
第１２の発明に係る画像処理装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、選択手段が選択したデータを符号化して、符号化データを出力する符号化処理手段と、符号化処理手段が出力する符号化データを蓄積する蓄積手段と、を備え、符号化処理手段は、選択手段が選択したデータが２以上ある場合は、選択手段が選択した２以上のデータを、個別に符号化する。
【００７４】
この構成によれば、合成画像を構成する、外部から入力される画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力すグラフィックス画像データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積される。
【００７５】
このため、蓄積した合成画像を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。
【００７６】
その結果、ユーザの利便性の向上を図ることができる。
【００７７】
また、選択手段を設けることで、ユーザの好みや蓄積手段の空き容量に応じた、合成画像の蓄積形態をとることができる。
【００７８】
また、選択手段を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積手段の高効率な使用ができる。
【００７９】
第１３の発明に係る画像処理装置では、受信データが、符号化データ及びグラフィックスデータの双方を含む場合は、符号化データとグラフィックスデータとを分離して、符号化データ及びグラフィックスデータを出力し、受信データが、符号化データを含み、グラフィックスデータを含まない場合は、符号化データを出力する受信データ分離手段と、受信データ分離手段が出力する符号化データを復号して、復号化データを出力する復号化処理手段と、受信データ分離手段が出力するグラフィックスデータを元に、グラフィックス画像データを生成して、グラフィックス画像データを出力するグラフィックス生成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちの少なくとも２つのデータが表す複数の画像を合成して、合成画像データを出力する画像合成手段と、復号化処理手段が出力する復号化データ、グラフィックス生成手段が出力するグラフィックス画像データ、及び、外部から入力される画像データ、のうちから、制御信号に従って選択したデータを出力する選択手段と、選択手段が出力するデータを符号化して、符号化データを出力する符号化処理手段と、受信データ分離手段が出力するグラフィックスデータが与えられた場合は、グラフィックスデータと、符号化処理手段が出力する符号化データと、を多重化して、多重化データを出力する多重化手段と、多重化手段が生成した多重化データが与えられた場合は、多重化データを蓄積し、符号化処理手段が生成した符号化データが与えられた場合は、符号化データを蓄積する蓄積手段と、蓄積手段から受け取った多重化データを分離して、符号化データとグラフィックスデータとをそれぞれ出力する蓄積データ分離手段と、を備え、符号化処理手段は、選択手段が選択したデータが２以上ある場合は、選択手段が選択した２以上のデータを、個別に符号化する。
【００８０】
この構成によれば、合成画像を構成する、外部から入力される画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積される。
【００８１】
あるいは、合成画像を構成する、外部から入力される画像データおよび復号化処理手段が出力する復号化データ、の中から、選択手段が選択した画像データが、個別に符号化されて蓄積され、合成画像を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。
【００８２】
以上により、蓄積した合成画像を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成し、再使用することができる。
【００８３】
その結果、ユーザの利便性の向上を図ることができる。
【００８４】
また、選択手段を設けることで、ユーザの好みや蓄積手段の空き容量に応じた、合成画像の蓄積形態をとることができる。
【００８５】
また、選択手段を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積手段の高効率な使用ができる。
【００８６】
また、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積する場合は、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積手段を高効率に使用することができる。 
【００８７】
第１４の発明に係る画像処理装置では、入力された符号化データを復号して、復号化データを生成するする復号化処理手段と、入力された画像データと復号化データとを、個別に符号化する符号化処理手段と、個別に符号化された画像データと復号化データとを蓄積する蓄積手段と、を備える。
【００８８】
この構成によれば、入力された画像データと復号化データと、が個別に符号化されて蓄積される。
【００８９】
このため、蓄積した画像を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。
【００９０】
その結果、ユーザの利便性の向上を図ることができる。
【００９１】
なお、第１４における「入力された画像データ」には、グラフィックス画像データ含んでもよい。
【００９２】
第１５の発明に係る画像処理方法では、入力された符号化データを復号して、復号化データを生成するするステップと、入力された画像データと復号化データとを、個別に符号化するステップと、個別に符号化された画像データと復号化データとを蓄積するステップと、を含む。
【００９３】
この構成によれば、入力された画像データと復号化データと、が個別に符号化されて蓄積される。
【００９４】
このため、蓄積した画像を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。
【００９５】
その結果、ユーザの利便性の向上を図ることができる。
【００９６】
なお、第１５における「入力された画像データ」には、グラフィックス画像データ含んでもよい。
【発明の効果】
【００９７】
本発明によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データ、復号化処理手段が出力する復号化データ、及び、グラフィックス生成手段が出力するグラフィックス画像データが、個別に符号化されて蓄積される。
【００９８】
また、本発明によれば、表示画像（合成画像）を構成する、画像入力手段が入力する画像データおよび復号化処理手段が出力する復号化データが、個別に符号化されて蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。
【００９９】
以上により、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成し、再使用することができる。
【０１００】
その結果、ユーザの利便性の向上を図ることができる。
【発明を実施するための最良の形態】
【０１０１】
以下、図面を参照しながら、本発明の実施の形態を説明する。次の形態では、データ送受信装置が、テレビ電話機能を有する携帯端末である例を挙げる。
【０１０２】
（実施の形態１）
図１は、本発明の実施の形態１におけるデータ送受信装置のブロック図である。
【０１０３】
図１に示すように、このデータ送受信装置は、入力部１、画像入力部２、画像表示部３、及び、画像処理部４、を具備する。
【０１０４】
画像処理部４は、制御部４１、画像合成部４３、符号化処理部４４、蓄積部４５、復号化処理部４６、グラフィックス生成部４７、及び、受信データ分離部４８、を含む。
【０１０５】
入力部１は、ユーザからの指示を電気信号として、画像処理部４の制御部４１に入力する。例えば、入力部１は、複数のキーを配列して構成することができる。
【０１０６】
画像入力部２は、ディジタル画像データを生成し、入力画像データとして、符号化処理部４４、および、画像合成部４３に出力する。
【０１０７】
例えば、画像入力部２は、ＣＣＤ（ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）カメラ等の撮像装置、あるいは、アナログテレビ信号をディジタル信号に変換するアナログディジタル変換器、などである。アナログディジタル変換器は、例えば、ＮＴＳＣ（ｎａｔｉｏｎａｌ  ｔｅｌｅｖｉｓｉｏｎ  ｓｙｓｔｅｍ  ｃｏｍｍｉｔｔｅｅ）デコーダ、あるいは、ＰＡＬ（ｐｈａｓｅ  ａｌｔｅｒｎａｔｉｏｎ  ｂｙ  ｌｉｎｅ）デコーダ、等である。
【０１０８】
画像処理部４の符号化処理部４４は、復号化処理部４６、グラフィックス生成部４７、および、画像入力部２が、それぞれ出力する画像の画像データを個別に符号化する。この点は、後で詳しく説明する。
【０１０９】
そして、符号化処理部４４は、符号化した画像データを、データ送受信装置の外部へ送信する。
【０１１０】
あるいは、符号化処理部４４は、符号化した画像データを、蓄積部４５に出力する。
【０１１１】
符号化処理部４４による動画像データの符号化処理では、動画像を、フレーム画像やフィールド画像といった矩形の形状だけでなく、フレーム画像やフィールド画像内の物体を任意形状のオブジェクトとして個別に符号化することが可能である。
【０１１２】
また、符号化処理部４４による動画像データの符号化処理では、複数の矩形の動画像や複数の任意形状のオブジェクトから、１つの画像を構成することが可能である。
【０１１３】
例えば、符号化処理部４４は、ＭＰＥＧ（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）−４の画像圧縮伸長方式に対応可能である。
【０１１４】
画像処理部４の蓄積部４５は、制御部４１からの、表示画像の録画指示に従って、符号化処理部４４が出力する符号化画像データを蓄積する。
【０１１５】
例えば、蓄積部４５は、フラッシュメモリやＤＲＡＭ（ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｏｍｏｒｙ）等の半導体メモリ、あるいは、メモリカード等のデータ記録装置、などで実現できる。
【０１１６】
画像処理部４の受信データ分離部４８は、データ送受信装置の外部から受信した受信データが、多重化データの場合は、その多重化データを符号化画像データとグラフィックスデータとに分離する。
【０１１７】
そして、受信データ分離部４８は、分離した符号化画像データを、復号化処理部４６へ出力し、分離したグラフィックスデータをグラフィックス生成部４７に出力する。
【０１１８】
一方、受信データ分離部４８は、受信データが、多重化データでない場合は、その受信データ、即ち、符号化画像データを、復号化処理部４６へ出力する。
【０１１９】
画像処理部４の復号化処理部４６は、受信データ分離部４８が出力した符号化画像データ、および、蓄積部４５から入力される符号化画像データ、を復号する。
【０１２０】
この復号化処理部４６は、符号化処理部４４と同様、オブジェクト毎の復号化が可能である画像圧縮伸長方式に対応している。例えば、復号化処理部４６は、ＭＰＥＧ−４の画像圧縮伸長方式に対応している。
【０１２１】
したがって、このような画像圧縮伸長方式により符号化された符号化画像データが復号化処理部４６に入力された場合において、入力された符号化画像データが複数のオブジェクトから構成されている場合は、復号化処理部４６は、まず、多重化されている各オブジェクトの符号化画像データを分離する。
【０１２２】
そして、その次に、復号化処理部４６は、各オブジェクトの符号化画像データの復号を行う。
【０１２３】
一方、復号化処理部４６は、入力された符号化画像データが複数のオブジェクトを多重化したものでない場合は、入力された符号化画像データの復号処理をそのまま行う。
【０１２４】
画像処理部４のグラフィックス生成部４７は、入力されたグラフィックスデータを元に、グラフィックス画像データを生成する。
【０１２５】
このグラフィックスデータは、データ送受信装置の内部で生成されて、制御部４１から入力される場合と、データ送受信装置の外部から受信して受信データ分離部４８から入力される場合と、がある。
【０１２６】
画像処理部４の画像合成部４３は、復号化処理部４６、グラフィックス生成部４７、および、画像入力部２から入力される画像データを合成して表示画像データ（合成画像データ）を生成し、画像表示部３に出力する。
【０１２７】
詳しくは、画像合成部４３は、制御部４１が出力する表示画像合成指示データに従って、入力される各画像データに対して、拡大／縮小、フィルタリング等の処理を行い、指示された各画像の表示位置、重なり順序になるように、各画像を合成して、表示画像データ（合成画像データ）を生成する。
【０１２８】
このように、表示画像合成指示データには、複数の画像をどのように合成するかを指示する情報が含まれる。
【０１２９】
画像表示部３は、画像合成部４３が出力する表示画像データ（合成画像データ）を元に、画像を表示する。例えば、画像表示部３は、ディスプレイ等の表示装置でる。
【０１３０】
画像処理部４の制御部４１は、画像処理部４の内部の各構成を制御する。
【０１３１】
次に、テレビ電話時における動作を説明する。
【０１３２】
送信処理を説明する。
【０１３３】
画像入力部２は、被写体を撮像して、主に自画像となる自分側の画像を入力する。
【０１３４】
そして、符号化処理部４４は、画像入力部２が入力した画像を符号化して、符号化画像データを相手側に送信する。
【０１３５】
受信処理を説明する。
【０１３６】
受信データ分離部４８は、相手側からの受信データが、符号化画像データとグラフィックスデータとを多重化したものであれば、それらを分離して出力する。
【０１３７】
また、受信データ分離部４８は、相手側からの受信データが、グラフィックスデータを含まず、符号化画像データからなるものであれば、そのまま符号化画像データを出力する。
【０１３８】
このような符号化画像データは、主に相手画像となる相手側の画像を符号化したものである。
【０１３９】
そして、復号化処理部４６は、受信データ分離部４８が出力した符号化画像データを復号する。
【０１４０】
グラフィックス生成部４７は、受信データ分離部４８が出力するグラフィックスデータ、あるいは、データ送受信装置の内部で生成されて制御部４１から与えられたグラフィックスデータ、を元にグラフィックス画像を生成する。
【０１４１】
ここで、グラフィックスデータは、グラフィックス画像を生成する元になるデータである。
【０１４２】
相手側から送信されるグラフィックスデータとしては、例えば、相手側の画像と共に表示する、相手側からのメッセージとなるテキストや、受信した相手側の画像を装飾するグラフィックス画像、等を生成する元になるデータが挙げられる。
【０１４３】
また、制御部４１から入力されるグラフィックスデータとしては、例えば、ユーザの操作を支援するユーザインターフェースとなる、データ送受信装置の内部で生成される、アイコンやキャラクター、そして、日付、時刻、メニュー等のテキスト、あるいは、アニメーション等のグラフィックス画像、等を生成する元になるデータが挙げられる。
【０１４４】
なお、本明細書では、このようなグラフィックスデータを元に生成される画像を、広くグラフィックス画像と呼ぶことにする。
【０１４５】
さて、画像合成部４３は、画像入力部２から入力される自分側の画像と、復号化処理部４６から入力される相手側の画像と、グラフィックス生成部から入力される様々なグラフィックス画像と、に対して、制御部４１から入力される表示画像合成指示データに従って、表示画像を生成するのに必要な処理を施す。
【０１４６】
表示画像を生成するのに必要な処理として、例えば、拡大／縮小、及びフィルタリング等の処理が挙げられる。
【０１４７】
さらに、画像合成部４３は、表示画像合成指示データにより指示される、表示画像中の位置関係にしたがって、上記処理を施した複数の画像を合成して、表示画像を生成する。
【０１４８】
そして、画像表示部３は、画像合成部４３が生成した表示画像を表示する。
【０１４９】
以上が、テレビ電話時の動作である。
【０１５０】
次に、録画処理を説明する。
【０１５１】
テレビ電話時にユーザから、制御部４１に対して、入力部１を介して、画像表示部３に表示している表示画像を録画する指示が入力されると、制御部４１は、表示画像の録画を実行するための制御信号を生成する。
【０１５２】
符号化処理部４４は、制御部４１により録画指示の制御信号が入力されると、画像入力部２からの入力画像を符号化して送信データとして外部に出力する処理に加えて、表示画像の符号化処理を行う。
【０１５３】
符号化処理部４４による表示画像の符号化処理では、画像入力部２、復号化処理部４６、および、グラフィックス生成部４７から出力される、表示画像を構成する各画像要素を個別に符号化して多重化し、１つの符号化画像データとする。
【０１５４】
この多重化処理では、ヘッダ情報、及び、制御部４１から画像合成部４３に入力される表示画像合成指示データを付加して、各オブジェクト画像及びグラフィックス画像の符号化データが多重化される。
【０１５５】
そして、蓄積部４５は、このようにして生成された多重化データ（表示画像の符号化画像データ）を蓄積する。
【０１５６】
ここで、ヘッダ情報は、多重化を行う各オブジェクト画像及びグラフィックス画像のリスト（以下、「多重化画像リスト」と呼ぶ。）や、各オブジェクト画像及びグラフィックス画像を再生する際のタイミングを表す同期信号の情報、などを含む。
【０１５７】
次に、蓄積部４５に蓄積された表示画像の再生処理を説明する。
【０１５８】
蓄積部４５に記録した表示画像を再生する場合は、蓄積部４５から、該当する符号化画像データが復号化処理部４６に入力される。
【０１５９】
そして、復号化処理部４６は、符号化画像データに多重化されているヘッダ情報及び表示画像合成指示データを分離する。
【０１６０】
制御部４１は、このヘッダ情報を解析して、多重化画像リストや各オブジェクト画像及びグラフィックス画像を再生する際のタイミングを表す同期信号の情報などの解析結果を、画像合成部４３に入力する。
【０１６１】
また、制御部４１は、表示画像合成指示データを、画像合成部４３に入力する。
【０１６２】
そして、画像合成部４３は、多重化画像リストを元に、表示画像を構成する画像を検出して、画像表示部３に、表示画像を構成する画像のリストを表示させる。
【０１６３】
これにより、ユーザは、当該表示画像が、どのような画像から構成されているかを知ることができる。
【０１６４】
ユーザが、そのリストの中から今回表示を行う画像を選択して、その選択情報を、制御部４１に対して、入力部１を介して入力すると、制御部４１は、復号化処理部４６に対して、復号を行うべき画像（選択情報が指示する画像）を指示する制御信号を入力する。
【０１６５】
復号化処理部４６は、この制御信号により指示された画像のみを復号して画像合成部４３に出力する。
【０１６６】
この際、復号化処理部４６は、分離した表示画像合成指示データも併せて、画像合成部４３に出力する。
【０１６７】
画像合成部４３は、復号化処理部４６から入力される表示画像合成指示データを元に、復号化処理部４６から入力される復号された画像に処理を施して、新たな表示画像を作成する。
【０１６８】
そして、画像表示部３は、画像合成部４３が作成したこの新たな表示画像を表示する。
【０１６９】
次に、蓄積部４５に蓄積した表示画像の編集処理、あるいは、加工処理を説明する。
【０１７０】
この場合は、上述した再生処理と同様にして、蓄積した表示画像を構成する各画像の中からユーザが選択した画像を画像表示部３に表示する。
【０１７１】
これにより、ユーザは、画像表示部３により確認を行いながら、入力部１を操作して、表示した画像に対して好みのグラフィックス画像を加えることや、表示画像を構成する複数の画像の表示位置や大きさ等を変更する等の編集、および、加工を行うことが可能となる。
【０１７２】
グラフィックス画像を加える場合には、入力部１を介してユーザによる指示が入力されると、制御部４１は、グラフィックス生成部４７に対して、加えるべきグラフィックス画像の元になるグラフィックスデータを入力するとともに、グラフィックス画像を生成する指示を入力する。
【０１７３】
この指示を受けて、グラフィックス生成部４７は、入力されたグラフィックスデータを元に、グラフィックス画像を生成して、画像合成部４３に出力する。
【０１７４】
すると、画像合成部４３は、制御部４１の指示により、入力されたグラフィックス画像と加工しようとしている画像とを合成して、加工した表示画像を生成する。
【０１７５】
そして、画像表示部３は、この加工した表示画像を表示する。
【０１７６】
一方、表示画像を構成する複数の画像の表示位置や、大きさを変更する場合は、入力部１を介してユーザによる指示が入力されると、制御部４１は、画像合成部４３に対して、表示位置、あるいは、大きさを変更する制御信号を入力する。
【０１７７】
すると、画像合成部４３は、その制御信号にしたがって、処理を行い、加工した表示画像を生成する。
【０１７８】
そして、画像表示部３は、この加工した表示画像を表示する。
【０１７９】
蓄積した表示画像の編集処理、あるいは、加工処理としては、例えば、蓄積した表示画像から相手画像のみを選択して表示し、その相手画像に対して、所定の表示枠（例えば、花柄の表示枠）のグラフィックス画像を加えること等が考えられる。
【０１８０】
さて、以上のように、本実施の形態では、表示画像（合成画像）を構成する、画像入力部１が入力する画像データと復号化処理部４６が出力する復号化データとグラフィックス生成部４７が出力するグラフィックス画像データと、が個別に符号化されて、蓄積部４５に蓄積される。
【０１８１】
このため、蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。
【０１８２】
その結果、ユーザの利便性の向上を図ることができる。
【０１８３】
なお、本実施の形態では、テレビ電話時において、表示画像を蓄積部４５に蓄積する場合、さらに、蓄積を行う表示画像に関連する情報を含めて蓄積することもできる。
【０１８４】
ここで、表示画像に関連する情報としては、テレビ電話を行っている相手に関する情報、例えば、相手の名前、通話を行っている電話番号等や、テレビ電話時の日時、録画時間等である。
【０１８５】
これらの情報は、データ送受信装置に記録されている場合が多い。このため、ユーザの指示を待つことなく、制御部４１により、表示画像に関連する情報を、自動的に蓄積部４５に蓄積するようにすることもできる。
【０１８６】
また、データ送受信装置に記録されていない情報に関しては、ユーザが、入力部１を介して、テキストを入力することで、蓄積部４５に自由に蓄積することが可能である。
【０１８７】
以上のように、蓄積部４５に、表示画像（合成画像）を蓄積する際に、表示画像（合成画像）に関連する情報を含めて蓄積すれば、蓄積した表示画像（合成画像）を再度使用する場合の検索時等において、ユーザを支援することが可能であり、ユーザの利便性がより高まる。
【０１８８】
また、本実施の形態において、復号化処理部４６及び符号化処理部４４における圧縮伸長方式は、上記例に挙げたＭＰＥＧ−４に限定されるものではなく、オブジェクト毎の符号化、及び復号に対応する他の圧縮伸長方式を採用することもできる。
【０１８９】
また、本実施の形態では、符号化処理部４４が、複数の符号化画像データ(ビットストリーム)の多重化を行ったが、この多重化は、制御部４１が実行することも可能であり、多重化の方法を制限するものではない。
【０１９０】
また、本実施の形態では、復号化処理部４６が、複数の符号化画像データ(ビットストリーム)の分離を行ったが、制御部４１がこの分離を実行することも可能であり、分離の方法を制限するものではない。
【０１９１】
（実施の形態２）
図２は、本発明の実施の形態２におけるデータ送受信装置のブロック図である。なお、図２において、図１と同様の部分については同一の符号を付して、説明を適宜省略する。
【０１９２】
図２に示すように、このデータ送受信装置は、入力部１、画像入力部２、画像表示部３、及び、画像処理部５、を具備する。
【０１９３】
画像処理部５は、画像合成部４３、符号化処理部４４、多重化部５２、蓄積部４５、蓄積データ分離部５３、復号化処理部４６、グラフィックス生成部４７、制御部５１、及び、受信データ分離部４８、を含む。
【０１９４】
入力部１は、ユーザからの指示を電気信号として、画像処理部５の制御部５１に入力する。
【０１９５】
画像入力部２は、ディジタル画像データを生成し、入力画像データとして、符号化処理部４４、および、画像合成部４３に出力する。
【０１９６】
画像処理部５の符号化処理部４４は、復号化処理部４６、および、画像入力部２が、それぞれ出力する画像の画像データを個別に符号化する。
【０１９７】
そして、符号化処理部４４は、符号化した画像データを、データ送受信装置の外部へ送信する。
【０１９８】
あるいは、符号化処理部４４は、符号化した画像データを、多重化部５２に出力する。
【０１９９】
画像処理部５の蓄積部４５は、制御部５１からの、表示画像の録画指示に従って、多重化部５２が出力する多重化データを蓄積する。後述するが、この多重化データは、多重化部５２が、符号化処理部４４が生成した符号化画像データと、受信データ分離部４８が出力するグラフィックスデータと、を多重化したものである。
【０２００】
画像処理部５の受信データ分離部４８は、データ送受信装置の外部から受信した受信データが、多重化データの場合は、その多重化データを符号化画像データとグラフィックスデータとに分離する。
【０２０１】
そして、受信データ分離部４８は、分離した符号化画像データを、復号化処理部４６へ出力し、分離したグラフィックスデータを多重化部５２に出力する。
【０２０２】
一方、受信データ分離部４８は、受信データが、多重化データでない場合は、その受信データ、即ち、符号化画像データを、復号化処理部４６へ出力する。
【０２０３】
画像処理部５の復号化処理部４６は、受信データ分離部４８が出力した符号化画像データ、および、蓄積データ分離部５３が出力した符号化画像データ、を復号する。後述するが、蓄積データ分離部５３が出力する符号化画像データは、多重化部５２が生成した多重化データから分離した、符号化処理部４４が生成した符号化画像データである。
【０２０４】
画像処理部５のグラフィックス生成部４７は、入力されたグラフィックスデータを元に、グラフィックス画像データを生成する。
【０２０５】
このグラフィックスデータは、データ送受信装置の内部で生成されて、制御部５１から入力される場合と、データ送受信装置の外部から受信して受信データ分離部４８から入力される場合と、がある。
【０２０６】
画像処理部５の画像合成部４３は、復号化処理部４６、グラフィックス生成部４７、および、画像入力部２から入力される画像データを合成して表示画像データ（合成画像データ）を生成し、画像表示部３に出力する。
【０２０７】
詳しくは、画像合成部４３は、制御部５１が出力する表示画像合成指示データに従って、入力される各画像データに対して、拡大／縮小、フィルタリング等の処理を行い、指示された各画像の表示位置、重なり順序になるように、各画像を合成して、表示画像データ（合成画像データ）を生成する。
【０２０８】
このように、表示画像合成指示データには、複数の画像をどのように合成するかを指示する情報が含まれる。
【０２０９】
画像表示部３は、画像合成部４３が出力する表示画像データ（合成画像データ）を元に、画像を表示する。
【０２１０】
画像処理部５の多重化部５２は、符号化処理部４４が符号化した符号化画像データであるビットストリームと、グラフィックスデータと、を多重化する。
【０２１１】
このグラフィックスデータは、受信データ分離部４８から入力されるグラフィックスデータ、あるいは、制御部５１から入力されるグラフィックスデータ、である。
【０２１２】
さらに、多重化部５２は、画像合成部４３に入力されている表示画像合成指示データも併せて多重化する。
【０２１３】
そして、多重化部５２は、生成した多重化データを記録保存するために、蓄積部４５に出力する。
【０２１４】
画像処理部５の蓄積データ分離部５３は、制御部５１から、蓄積部４５からのデータ読み出し指示が入力された場合、蓄積部４５から出力された多重化データを、符号化画像データと、グラフィックスデータと、表示画像合成指示データと、に分離する。
【０２１５】
そして、蓄積データ分離部５３は、符号化画像データを復号化処理部４６に出力し、グラフィックスデータをグラフィックス生成部４７に出力し、表示画像合成指示データを制御部５１に出力する。
【０２１６】
画像処理部５の制御部５１は、画像処理部５の内部の各構成を制御する。
【０２１７】
次に、テレビ電話時における動作、録画処理、再生処理、及び、編集・加工処理、について詳細に説明する。
【０２１８】
テレビ電話時における動作は、実施の形態１におけるデータ送受信装置のテレビ電話時における動作と同様であり、説明を省略する。なお、実施の形態１の制御部４１が行う動作は、制御部５１が実行する。
【０２１９】
録画処理を説明する。
【０２２０】
テレビ電話時にユーザから、制御部５１に対して、入力部１を介して、画像表示部３に表示している表示画像を録画する指示が入力されると、制御部５１は、表示画像の録画を実行するための制御信号を生成する。
【０２２１】
符号化処理部４４は、制御部５１により録画指示の制御信号が入力されると、画像入力部２からの入力画像を符号化して送信データとして外部に出力する処理に加えて、表示画像の符号化処理を行う。
【０２２２】
符号化処理部４４による表示画像の符号化処理では、画像入力部２、及び、復号化処理部４６から出力される、表示画像を構成する各画像要素を個別に符号化して多重化し、１つの符号化画像データとする。
【０２２３】
この多重化処理では、ヘッダ情報、及び、多重化を行う各オブジェクト画像に関する表示画像合成指示データを付加して、各オブジェクト画像の符号化データが多重化される。
【０２２４】
このヘッダ情報は、多重化を行う各オブジェクト画像のリスト（多重化画像リスト）や、各オブジェクト画像を再生する際のタイミングを表す同期信号の情報など、を含む。また、多重化を行う各オブジェクト画像に関する表示画像合成指示データは、制御部５１から画像合成部４３に入力される、多重化を行う各オブジェクト画像に関する表示画像合成指示データである。
【０２２５】
ここで、実施の形態２の符号化処理部４４による多重化処理が、実施の形態１の符号化処理部４４による多重化処理と異なる点は、グラフィックス生成部４７から出力されるグラフィックス画像データを多重化しない点である。
【０２２６】
多重化部５２は、符号化処理部４４が生成した多重化データ（多重化された符号化画像データ）に、表示画像を構成するグラフィックス画像の生成に必要なグラフィックスデータをさらに多重化する。
【０２２７】
この多重化処理では、ヘッダ情報、及び、グラフィックス画像に関する表示画像合成指示データ、を付加したグラフィックスデータを、符号化処理部４４が生成した多重化データにさらに多重化する。
【０２２８】
そして、蓄積部４５は、多重化部５２が生成した多重化データを蓄積する。
【０２２９】
ここで、ヘッダ情報は、多重化を行うグラフィックス画像を多重化画像リストに追加したことを示す情報や、グラフィックス画像を再生する際のタイミングを表す同期信号の情報など、を含む。また、グラフィックス画像に関する表示画像合成指示データは、制御部５１から画像合成部４３に入力されている、グラフィックス画像に関する表示画像合成指示データである。
【０２３０】
次に、蓄積部４５に蓄積された表示画像の再生処理を説明する。
【０２３１】
蓄積部４５に記録した表示画像を再生する場合は、制御部５１からの再生指示を受けて、蓄積データ分離部５３は、蓄積部４５から、該当する多重化データ（多重化部５２が生成したもの）を読み出す。
【０２３２】
そして、蓄積データ分離部５３は、その多重化データ（多重化部５２が生成したもの）を、多重化データ（符号化処理部４４が生成した多重化された符号化画像データ）と、グラフィックスデータと、ヘッダ情報と、グラフィックス画像に関する表示画像合成指示データと、に分離する。
【０２３３】
そして、蓄積データ分離部５３は、多重化された符号化画像データを復号化処理部４６に出力し、グラフィックスデータをグラフィックス生成部４７に出力し、ヘッダ情報、および、グラフィックス画像に関する表示画像合成指示データを制御部５１に出力する。
【０２３４】
復号化処理部４６は、多重化された符号化画像データに多重化されている、各オブジェクト画像に関する表示画像合成指示データを分離し、制御部５１に出力する。
【０２３５】
制御部５１は、符号化画像データ、および、グラフィックスデータに関するヘッダ情報を解析して、多重化画像リストや各オブジェクト画像及びグラフィックス画像を再生する際のタイミングを表す同期信号の情報などの解析結果を、画像合成部４３に入力する。
【０２３６】
また、制御部５１は、表示画像合成指示データを、画像合成部４３に入力する。
【０２３７】
そして、画像合成部４３は、多重化画像リストを元に、表示画像を構成する画像を検出して、画像表示部３に、表示画像を構成する画像のリストを表示させる。
【０２３８】
これにより、ユーザは、当該表示画像が、どのような画像から構成されているかを知ることができる。
【０２３９】
ユーザが、そのリストの中から今回表示を行う画像を選択して、その選択情報を、制御部５１に対して、入力部１を介して入力すると、制御部５１は、復号化処理部４６及びグラフィックス生成部４７に対して、復号あるいは生成を行うべき画像（選択情報が指示する画像）を指示する制御信号を入力する。
【０２４０】
復号化処理部４６は、この制御信号により指示されたオブジェクト画像のみを復号して画像合成部４３に出力する。
【０２４１】
グラフィックス生成部４７は、この制御信号により指示されたグラフィックス画像のみを生成して画像合成部４３に出力する。
【０２４２】
画像合成部４３は、入力された表示画像合成指示データを元に、復号化処理部４６およびグラフィックス生成部４７から入力される画像に処理を施して、新たな表示画像を作成する。
【０２４３】
そして、画像表示部３は、画像合成部４３が作成したこの新たな表示画像を表示する。
【０２４４】
さて、蓄積部４５に蓄積した表示画像の編集処理、あるいは、加工処理は、実施の形態１と同様であり、説明を省略する。なお、実施の形態１の制御部４１が行う動作は、制御部５１が実行する。
【０２４５】
さて、以上のように、本実施の形態では、表示画像（合成画像）を構成する、画像入力部１が入力する画像データと復号化処理部４６が出力する復号化データとが個別に符号化され蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される。
【０２４６】
このため、蓄積部４５に蓄積した表示画像（合成画像）を、再生、編集、送信するなど、再度使用する場合、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成して再使用することができる。
【０２４７】
その結果、ユーザの利便性の向上を図ることができる。
【０２４８】
また、本実施の形態では、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積するため、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積部４５を高効率に使用することができる。 
【０２４９】
なお、本実施の形態では、テレビ電話時において、表示画像を蓄積部４５に蓄積する場合、さらに、蓄積を行う表示画像に関連する情報を含めて蓄積することもできる。この点は、実施の形態１と同様である。
【０２５０】
また、本実施の形態では、多重化部５２では、複数の符号化画像データ(ビットストリーム)が多重化された後の多重化ビットストリーム、グラフィックスデータ、および、表示画像合成指示データの多重化を行った。
【０２５１】
しかし、符号化処理部４４が、個々の画像データに対する符号化処理のみを行い、多重化部５２が、複数の符号化画像データ、グラフィックスデータ、および、表示画像合成指示データの多重化を行うことも可能である。
【０２５２】
また、制御部５１が多重化を実行することも可能である。
【０２５３】
以上のように、本実施の形態は、多重化の方法を制限するものではない。
【０２５４】
また、本実施の形態では、蓄積データ分離部５３は、複数の符号化画像データ（ビットストリーム）が多重化された多重化ビットストリーム、グラフィックスデータ、および、表示画像合成指示データの分離を行った。そして、復号化処理部４６は、その多重化ビットストリームを、さらに、個々の符号化画像データに分離した。
【０２５５】
しかし、蓄積データ分離部５３が、多重化ビットストリームを、個々の符号化画像データに分離し、復号化処理部４６は、個々の符号化画像データの復号のみを行うようにすることも可能である。
【０２５６】
また、制御部５１が分離処理を実行することも可能である。
【０２５７】
以上のように、本実施の形態は、分離方法を制限するものではない。
【０２５８】
さて、次に、本実施の形態の変形例を説明する。この変形例では、第１のモードと第２のモードとを、制御部５１により切り替えることができる。
【０２５９】
第１のモードでは、グラフィックス画像については、その元になるグラフィックスデータを、蓄積部４５に蓄積する。つまり、この第１のモードは、上記の実施の形態２の処理を実行する。
【０２６０】
第２のモードでは、グラフィックス画像については、符号化処理部４４により符号化されたグラフィックス画像データを、蓄積部４５に蓄積する。つまり、この第２のモードでは、実施の形態１の処理を実行する。
【０２６１】
第１のモードと第２のモードとの切り替えは、制御部５１の指示に従って行われる。
【０２６２】
この変形例によれば、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像データを符号化して蓄積するか、あるいは、グラフィックス画像の生成に必要なグラフィックスデータを蓄積するか、のいずれかを選択可能である。
【０２６３】
このため、場面に応じて、グラフィックス画像に関する蓄積形態が選択でき、ユーザの利便性がより広がる。
【０２６４】
例えば、グラフィックス生成部を有していない受信端末に、グラフィックス画像を含む表示画像を送信する場合は、受信側で再生できるように、グラフィックス生成部４７から出力されるグラフィックス画像データを符号化処理部４４により符号化した状態で送信する等、場面に応じて、グラフィックス画像に関する蓄積形態が選択できる。
【０２６５】
（実施の形態３）
図３は、本発明の実施の形態３におけるデータ送受信装置のブロック図である。なお、図３において、図１と同様の部分については、同一の符号を付して説明を適宜省略する。
【０２６６】
図３に示すように、このデータ送受信装置は、入力部１、画像入力部２、画像表示部３、及び、画像処理部６、を具備する。
【０２６７】
この画像処理部６は、符号化処理部４４、蓄積部４５、復号化処理部４６、グラフィックス生成部４７、受信データ分離部４８、画像合成部４３、セレクタ６２、及び、制御部６１、を含む。
【０２６８】
入力部１、画像入力部２、復号化処理部４６、グラフィックス生成部４７、画像合成部４３、画像表示部３、符号化処理部４４、蓄積部４５、及び、受信データ分離部４８、については、実施の形態１のデータ送受信装置と同様である。なお、実施の形態１の制御部４１の動作は、制御部６１が実行する。
【０２６９】
さて、セレクタ６２は、制御部６１の指示に従って、画像入力部２、復号化処理部４６、及び、グラフィックス生成部４７が出力する画像データから、少なくとも１つの画像データを選択して、符号化処理部４４に出力する。
【０２７０】
制御部６１は、画像処理部６の内部の各構成を制御する。
【０２７１】
次に、テレビ電話時における動作を説明する。
【０２７２】
送信処理を説明する。
【０２７３】
画像入力部２は、被写体を撮像して、主に自画像となる自分側の画像を入力する。
【０２７４】
セレクタ６２は、画像入力部２が入力した画像を選択して、符号化処理部４４に出力する。
【０２７５】
そして、符号化処理部４４は、セレクタ６２が出力した画像を符号化して、符号化画像データを相手側に送信する。
【０２７６】
さて、受信処理は、実施の形態１の受信処理と同様であり、説明を省略する。なお、実施の形態１の制御部４１の動作は、制御部６１が実行する。
【０２７７】
以上が、テレビ電話時の動作である。
【０２７８】
次に、録画処理を説明する。
【０２７９】
テレビ電話時にユーザから、制御部６１に対して、入力部１を介して、画像表示部３に表示している表示画像を録画する指示が入力されると、制御部６１は、表示画像の録画を実行するための制御信号を生成する。
【０２８０】
この場合、制御部６１は、入力部１を介したユーザの指示に従って、画像入力部２から出力される画像データ、復号化処理部４６から出力される画像データ、及び、グラフィックス生成部４７から出力される画像データ、のうち、どの画像データを蓄積部４５に録画するかを指示する制御信号も生成する。
【０２８１】
セレクタ６２は、この制御信号に従って、指定された画像データを符号化処理部４４に出力する。
【０２８２】
また、セレクタ６２は、ユーザからどの画像データを録画するかの指示がない場合には、上記３つの画像データを全て符号化処理部４４に出力する。
【０２８３】
さらに、セレクタ６２は、蓄積部４５に記録できる容量に十分な空き容量がない場合には、上記３つの画像データを全て符号化処理部４４に出力するのではなく、制御部６１の制御により、空き容量に応じて、符号化処理する画像データを選択して、符号化処理部４４に出力することもできる。
【０２８４】
符号化処理部４４は、制御部４１により録画指示の制御信号が入力されると、画像入力部２からの入力画像を符号化して送信データとして外部に出力する処理に加えて、表示画像の符号化処理を行う。
【０２８５】
符号化処理部４４による表示画像の符号化処理では、画像入力部２が出力する自分側の画像、復号化処理部４６が出力する相手側の画像、および、グラフィックス生成部４７が出力するグラフィックス画像、の中からセレクタ６２が選択した画像に対する符号化処理を行う。
【０２８６】
この場合、符号化処理部４４は、セレクタ６２が選択した、表示画像を構成する各画像要素を個別に符号化して多重化し、１つの符号化画像データとする。
【０２８７】
この多重化処理では、ヘッダ情報、及び、制御部６１から画像合成部４３に入力される表示画像合成指示データを付加して、各オブジェクト画像及びグラフィックス画像の符号化データが多重化される。
【０２８８】
そして、蓄積部４５は、このようにして生成された多重化データ（表示画像の符号化画像データ）を蓄積する。
【０２８９】
ここで、ヘッダ情報は、多重化を行う各オブジェクト画像及びグラフィックス画像のリスト（多重化画像リスト）や、各オブジェクト画像及びグラフィックス画像を再生する際のタイミングを表す同期信号の情報など、を含む。
【０２９０】
さて、蓄積部４５に記録した表示画像の再生処理、及び、編集／加工処理は、実施の形態１で説明した動作と同様にして行われる。なお、実施の形態１の制御部４１の動作は、制御部６１が実行する。
【０２９１】
さて、以上のように、本実施の形態では、表示画像（合成画像）を構成する、画像入力部１が入力する画像データ、復号化処理部４６が出力する復号化データ、及び、グラフィックス生成部４７が出力すグラフィックス画像データ、の中から、セレクタ６２が選択した画像データが、個別に符号化されて蓄積される。
【０２９２】
このため、蓄積部４５に蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して復号し、再使用することができる。
【０２９３】
その結果、ユーザの利便性の向上を図ることができる。
【０２９４】
また、本実施の形態では、セレクタ６２を設けることで、ユーザの好みや蓄積部４５の空き容量に応じた、表示画像（合成画像）の蓄積形態をとることができる。
【０２９５】
また、本実施の形態では、セレクタ６２を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積部４５の高効率な使用ができる。
【０２９６】
なお、本実施の形態では、テレビ電話時において、表示画像を蓄積部４５に蓄積する場合、さらに、蓄積を行う表示画像に関連する情報を含めて蓄積することもできる。この点は、実施の形態１と同様である。
【０２９７】
（実施の形態４）
図４は、本発明の実施の形態４におけるデータ送受信装置のブロック図である。なお、図４において、図１、図２、又は、図３と同様の部分については、同一の符号を付して、説明を適宜省略する。
【０２９８】
図４に示すように、このデータ送受信装置は、入力部１、画像入力部２、画像表示部３、及び、画像処理部７、を具備する。
【０２９９】
画像処理部７は、符号化処理部４４、多重化部５２、蓄積部４５、蓄積データ分離部５３、受信データ分離部４８、復号化処理部４６、グラフィックス生成部４７、画像合成部４３、セレクタ６２、及び、制御部７１、を含む。
【０３００】
入力部１、復号化処理部４６、グラフィックス生成部４７、画像合成部４３、画像表示部３、画像入力部２、符号化処理部４４、受信データ分離部４８、および、蓄積部４５は、実施の形態１で説明したデータ送受信装置と同様である。なお、実施の形態１の制御部４１の動作は、制御部７１が実行する。
【０３０１】
多重化部５２、および、蓄積データ分離部５３は、実施の形態２で説明したデータ送受信装置と同様である。なお、実施の形態２の制御部５１の動作は、制御部７１が実行する。
【０３０２】
セレクタ６２は、実施の形態３で説明したデータ送受信装置と同様である。なお、実施の形態３の制御部６１の動作は、制御部７１が実行する。
【０３０３】
制御部７１は、画像処理部７の内部の各構成を制御する。
【０３０４】
さて、テレビ電話時における動作は、実施の形態３のテレビ電話時における動作と同様であり、説明を省略する。なお、実施の形態３の制御部６１の動作は、制御部７１が実行する。
【０３０５】
さて、録画処理を説明する。録画処理には、第１のモードと第２のモードとがある。
【０３０６】
第１のモードは、グラフィックス生成部４７が生成したグラフィックス画像データを、セレクタ６２が選択可能とするモードである。
【０３０７】
この場合は、グラフィックス画像データがセレクタ６２により選択されれば、選択されたグラフィックス画像データは、符号化処理部４４で符号化され、他の符号化された画像データと多重化される。
【０３０８】
一方、第２のモードは、グラフィックス生成部４７が生成したグラフィックス画像データを、セレクタ６２が選択不可能とするモードである。
【０３０９】
この場合は、制御部７１により、蓄積指示があれば、受信データ分離部４８は、グラフィックス画像データの元になるグラフィックスデータを、多重化部５２に入力する。
【０３１０】
そして、多重化部５２は、グラフィックスデータを、符号化処理部４４により符号化された符号化画像データに多重化する。
【０３１１】
以上のように、第１のモードと第２のモードとを切り替えることによって、グラフィックス画像データを多重化して蓄積する場合と、その元になるグラフィックスデータを多重化して蓄積する場合と、の選択が可能である。
【０３１２】
第１のモードと第２のモードとの切り替えは、制御部７１の指示で行われる。例えば、入力部１を介したユーザからの指示を受けて、制御部７１が、モードの切り替えを実行するようにすることもできる。また、例えば、色々なケースに応じて、制御部７１が、モードの切り替えを実行するようにすることもできる。
【０３１３】
このように、モードの切り替えを可能にすることで、例えば、自端末において、録画した画像を再度使用する場合、即ち、録画した画像を、再生、編集、あるいは、加工するときは、グラフィックス画像に関してはグラフィックスデータを蓄積することとし（第２のモード）、一方、グラフィックス生成部を有しない受信端末に送信する場合には、グラフィックス画像に関しては、グラフィックス生成部４７より出力されるグラフィックス画像データを符号化した符号化画像データを蓄積する（第１のモード）、といった選択が可能である。
【０３１４】
なお、第１のモード及び第２のモードのいずれかに固定しておくこともできる。
【０３１５】
さて、第１のモードによる録画処理は、実施の形態３の録画処理と同様であり、説明を省略する。なお、実施の形態３の制御部６１の動作は、制御部７１が実行する。
【０３１６】
ただし、実施の形態３と異なり、どの画像データを録画するかの指示がない場合であって、蓄積部４５に記録できる容量に十分な空き容量がない場合には、セレクタ６２は、グラフィックス画像データを選択せず、蓄積部４５が、その元になるグラフィックスデータを蓄積するようにすることもできる。
【０３１７】
第２のモードによる録画処理を説明する。
【０３１８】
テレビ電話時にユーザから、制御部７１に対して、入力部１を介して、画像表示部３に表示している表示画像を録画する指示が入力されると、制御部７１は、表示画像の録画を実行するための制御信号を生成する。
【０３１９】
この場合、制御部７１は、入力部１を介したユーザの指示に従って、画像入力部２から出力される画像データ、復号化処理部４６から出力される画像データ、及び、受信データ分離部４８から出力されるグラフィックスデータ、のうち、どの画像データを蓄積部４５に録画するかを指示する制御信号も生成する。
【０３２０】
セレクタ６２は、この制御信号に従って、指示された画像データを符号化処理部４４に出力する。
【０３２１】
また、受信データ分離部４８は、この制御信号により、グラフィックスデータを蓄積することを指示された場合は、グラフィックスデータを多重化部５２へ出力する。
【０３２２】
ユーザから、どの画像データを録画するかの指示がない場合には、表示画像を構成している全ての画像を録画する。
【０３２３】
従って、この場合は、セレクタ６２は、画像入力部２から出力される画像データ、及び、復号化処理部４６から出力される画像データ、を符号化処理部４４に出力する。
【０３２４】
さらに、この場合は、受信データ分離部４８は、グラフィックスデータを多重化部５２へ出力する。
【０３２５】
なお、蓄積部４５に記録できる容量に十分な空き容量がない場合には、表示画像を構成している全ての画像を録画するのではなく、セレクタ６２は、制御部７１の制御により、空き容量に応じて、符号化処理する画像データを選択して、符号化処理部４４に出力することもできる。
【０３２６】
このような場合、同様に、受信データ分離部４８は、制御部７１の制御により、グラフィックスデータを多重化部５２へ出力しないようにすることもできる。
【０３２７】
符号化処理部４４は、制御部７１により録画指示の制御信号が入力されると、画像入力部２からの入力画像を符号化して送信データとして外部に出力する処理に加えて、表示画像の符号化処理を行う。
【０３２８】
符号化処理部４４による表示画像の符号化処理では、画像入力部２が出力する自分側の画像、及び、復号化処理部４６が出力する相手側の画像、の中からセレクタ６２が選択した画像に対する符号化処理を行う。
【０３２９】
この場合、符号化処理部４４は、セレクタ６２が選択した、表示画像を構成する各画像要素を個別に符号化して多重化し、１つの符号化画像データとする。
【０３３０】
この多重化処理では、ヘッダ情報、及び、多重化を行う各オブジェクト画像に関する表示画像合成指示データを付加して、各オブジェクト画像の符号化データが多重化される。
【０３３１】
このヘッダ情報は、多重化を行う各オブジェクト画像のリスト（多重化画像リスト）や、各オブジェクト画像を再生する際のタイミングを表す同期信号の情報など、を含む。また、多重化を行う各オブジェクト画像に関する表示画像合成指示データは、制御部７１から画像合成部４３に入力される、多重化を行う各オブジェクト画像に関する表示画像合成指示データである。
【０３３２】
多重化部５２は、受信データ分離部４８から、表示画像を構成するグラフィックス画像の生成に必要なグラフィックスデータが与えられた場合、符号化処理部４４が生成した多重化データ（多重化された符号化画像データ）に、そのグラフィックスデータをさらに多重化する。
【０３３３】
この多重化処理では、ヘッダ情報、及び、グラフィックス画像に関する表示画像合成指示データ、を付加したグラフィックスデータを、符号化処理部４４が生成した多重化データにさらに多重化する。
【０３３４】
そして、蓄積部４５は、多重化部５２が生成した多重化データを蓄積する。
【０３３５】
ここで、ヘッダ情報は、多重化を行うグラフィックス画像を多重化画像リストに追加したことを示す情報、及び、グラフィックス画像を再生する際のタイミングを表す同期信号の情報など、を含む。また、グラフィックス画像に関する表示画像合成指示データは、制御部７１から画像合成部４３に入力されている、グラフィックス画像に関する表示画像合成指示データである。
【０３３６】
なお、多重化部５２は、受信データ分離部４８からグラフィックスデータが与えられなかった場合は、符号化処理部４４が生成した多重化データ（多重化された符号化画像データ）をそのまま蓄積部４５に出力する。
【０３３７】
そして、蓄積部４５は、符号化処理部４４が生成した多重化データを蓄積する。
【０３３８】
さて、第１のモードにより蓄積部４５に記録した表示画像の再生処理、及び、編集／加工処理は、実施の形態１で説明した動作と同様にして行われる。なお、実施の形態１の制御部４１の動作は、制御部７１が実行する。
【０３３９】
一方、第２のモードにより蓄積部４５に記録した表示画像の再生処理、及び、編集／加工処理は、実施の形態２で説明した動作と同様にして行われる。なお、実施の形態２の制御部５１の動作は、制御部７１が実行する。
【０３４０】
さて、以上のように、本実施の形態では、表示画像（合成画像）を構成する、画像入力部１が入力する画像データ、復号化処理部４６が出力する復号化データ、及び、グラフィックス生成部４７が出力するグラフィックス画像データ、の中から、セレクタ６２が選択した画像データが、個別に符号化されて蓄積される（第１のモード）。
【０３４１】
あるいは、表示画像（合成画像）を構成する、画像入力部１が入力する画像データおよび復号化処理部４６が出力する復号化データ、の中から、セレクタ６２が選択した画像データが、個別に符号化されて蓄積され、表示画像（合成画像）を構成するグラフィックス画像に関しては、制御部７１の指示に従って、グラフィックス画像の生成に必要なグラフィックスデータが蓄積される（第２のモード）。
【０３４２】
以上により、蓄積部４５に蓄積した表示画像（合成画像）を、再生、編集、あるいは送信するなど、再度使用する場合に、ユーザは、必要な画像要素を選択して、画像を復号あるいは生成し、再使用することができる。
【０３４３】
その結果、ユーザの利便性の向上を図ることができる。
【０３４４】
また、本実施の形態では、セレクタ６２を設けることで、ユーザの好みや蓄積部４５の空き容量に応じた、表示画像（合成画像）の蓄積形態をとることができる。
【０３４５】
また、本実施の形態では、セレクタ６２を設けることで、必要な画像データだけを蓄積することが可能となる。その結果、長時間の録画ができる等、蓄積部４５の高効率な使用ができる。
【０３４６】
また、本実施の形態では、表示画像（合成画像）を構成するグラフィックス画像に関しては、グラフィックス画像データを符号化して蓄積するか（第１のモード）、あるいは、グラフィックス画像の生成に必要なグラフィックスデータを蓄積するか（第２のモード）、のいずれかを選択可能である。
【０３４７】
このため、場面に応じて、グラフィックス画像に関する蓄積形態が選択でき、ユーザの利便性がより広がる。
【０３４８】
例えば、グラフィックス生成部を有していない受信端末に、グラフィックス画像を含む表示画像を送信する場合は、受信側で再生できるように、グラフィックス生成部４７から出力されるグラフィックス画像データを符号化処理部４４により符号化した状態で送信する等、場面に応じて、グラフィックス画像に関する蓄積形態が選択できる。
【０３４９】
また、本実施の形態の第２のモードでは、グラフィックス画像データではなく、その元になるグラフィックスデータを蓄積するため、必要な記憶容量を少なくでき、長時間の映像を記憶できる等、蓄積部４５を高効率に使用することができる。
【０３５０】
なお、本実施の形態では、テレビ電話時において、表示画像を蓄積部４５に蓄積する場合、さらに、蓄積を行う表示画像に関連する情報を含めて蓄積することもできる。この点は、実施の形態１と同様である。
【０３５１】
さて、次に、本実施の形態の変形例を説明する。この変形例では、グラフィックス関連データ（グラフィックス画像データ、グラフィックスデータ）を、蓄積部４５に蓄積するかどうかを選択可能としている。
【０３５２】
さらに、この変形例では、グラフィックス関連データを蓄積部４５に蓄積することを選択した場合に、グラフィックス画像データ、あるいは、グラフィックスデータ、のいずれを蓄積するかを選択可能としている。
【０３５３】
この変形例を具体的に説明する。
【０３５４】
制御部７１は、画像入力部２から出力される画像データ、復号化処理部４６から出力される画像データ、及び、グラフィックス関連データ（グラフィックス画像データ、グラフィックスデータ）、のうち、どの画像データを蓄積部４５に録画するかを指示する制御信号を生成する。
【０３５５】
さらに、制御部７１は、グラフィックス関連データを蓄積することを指示する場合は、グラフィックス画像データ、あるいは、グラフィックスデータ、のいずれを蓄積するかを指示する情報を制御信号に含ませる。
【０３５６】
セレクタ６２は、制御部７１が生成した制御信号により指示された画像データを選択して、符号化処理部に出力する。
【０３５７】
この際、セレクタ６２は、グラフィックス関連データを蓄積することを指示する制御信号に、グラフィックス画像データを蓄積することを指示する情報が含まれている場合は、グラフィックス画像データを符号化処理部４４に出力する。その後の処理は、上記実施の形態４と同様である。
【０３５８】
一方、セレクタ６２は、グラフィックス関連データを蓄積することを指示する制御信号に、グラフィックスデータを蓄積することを指示する情報が含まれていた場合は、グラフィックス画像データを符号化処理部４４に出力しない。
【０３５９】
そして、受信データ分離部４８は、グラフィックス関連データを蓄積することを指示する制御信号に、グラフィックスデータを蓄積することを指示する情報が含まれていた場合は、グラフィックスデータを多重化部５２に出力する。その後の処理は、上記実施の形態４と同様である。
【０３６０】
なお、受信データ分離部４８は、グラフィックス関連データを蓄積することを指示する制御信号に、グラフィックス画像データを蓄積することを指示する情報が含まれていた場合は、グラフィックスデータを多重化部５２に出力しない。
【０３６１】
ここで、制御部７１がどのような内容の制御信号を生成するかは、ケース毎に予め定められていてもよいし、入力部１から入力される情報に従って生成されてもよい。
【０３６２】
この変形例では、グラフィックス関連データ（グラフィックス画像データ、グラフィックスデータ）の蓄積を行うかどうかを選択可能であり、さらに、グラフィックス画像データ、あるいは、グラフィックスデータ、のいずれを蓄積するかを選択可能である。
【０３６３】
このため、この変形例では、ユーザの利便性の向上、及び、蓄積部４５の高効率な使用、が可能となる。
【産業上の利用可能性】
【０３６４】
本発明に係るデータ送受信装置は、例えばテレビ電話機能付き携帯電話等の分野において好適に利用できる。
【図面の簡単な説明】
【０３６５】
【図１】本発明の実施の形態１におけるデータ送受信装置のブロック図である。
【図２】本発明の実施の形態２におけるデータ送受信装置のブロック図である。
【図３】本発明の実施の形態３におけるデータ送受信装置のブロック図である。
【図４】本発明の実施の形態４におけるデータ送受信装置のブロック図である。
【図５】従来のデータ受信装置のブロック図である。
【図１】
2006513629.tif 000003
【図２】
2006513629.tif 000004
【図３】
2006513629.tif 000005
【図４】
2006513629.tif 000006
【図５】
2006513629.tif 000007
【国際調査報告】
2006513629.tif 000008
2006513629.tif 000009
2006513629.tif 000010
2006513629.tif 000011