(57)【特許請求の範囲】
【請求項１】
動画像データと、前記動画像データのフレーム毎の同期情報とフレームレートに関する情報を含む動画像制御信号と、を含むビデオ信号が入力される合成処理部と、
複数の合成用画像データと、前記複数の合成用画像データのそれぞれに関連付けられた複数の合成用制御データと、を含む合成用データを記憶する記憶部と、
を有する動画像合成装置であって、
前記合成用制御データは、前記合成用制御データに関連付けられた前記合成用画像データに関する繰り返し回数を含み、
前記合成処理部は、
（処理Ａ）  前記動画像制御信号に基づくタイミングで前記記憶部から前記複数の合成用制御データの内の一つを読み出し、
（処理Ｂ）  前記読み出された合成用制御データに基づいて、前記読み出された合成用制御データに関連付けられた前記合成用画像データを前記記憶部から読み出し、
（処理Ｃ）  前記読み出された合成用制御データに含まれる繰り返し回数に基づいて、前記読み出された合成用画像データを重ね合わせる前記動画像データのフレーム数を決定し、
（処理Ｄ）前記決定されたフレーム数の前記動画像データに、前記読み出された合成用画像データを重ね合わせる処理を実行する
ものであり、
前記動画像データのフレームレートの変化に基づいて、前記繰り返し回数が変更可能なこと
を特徴とする動画像合成装置。
【請求項２】
前記動画像データのフレームレートがＮ＊Ｍ（Ｎ及びＭは、それぞれ正の整数）、繰り返し回数がＭであるときに、前記フレームレートがＬ／Ｍ倍（Ｌは正の整数）されＮ＊Ｌになった場合には、前記処理の繰り返し回数をＬ／Ｍ倍にしてＬに設定すること
を特徴とする請求項１に記載の動画像合成装置。
【請求項３】
前記記憶部に記憶されている前記合成用制御データのそれぞれは、次の重ね合わせの処理に用いられる合成用制御データを示すポインタ情報を含み、
前記処理Ｄにおいて繰り返される、決定されたフレーム数の前記動画像データに、前記読み出された合成用画像データを重ね合わせる処理において、前記記憶部から読み出される合成用制御データは、前記ポインタ情報により示された合成用制御データであること
を特徴とする請求項１又は２のいずれかに記載の動画像合成装置。
【請求項４】
前記合成処理部による前記処理Ｄは、前記動画像データの振幅レベル及び前記合成用画像データの振幅レベルを減衰させてから加算する処理を含むことを特徴とする請求項１から３までのいずれかに記載の動画像合成装置。
【請求項５】
前記合成処理部は、前記動画像データの振幅レベルの減衰率及び前記合成用画像データの振幅レベルの減衰率を調節する機能を有することを特徴とする請求項４に記載の動画像合成装置。
【請求項６】
前記合成処理部は、前記動画像データ、前記合成用画像データ、及び前記加算処理により得られた画像データのいずれかを選択的に出力することを特徴とする請求項４に記載の動画像合成装置。
【請求項７】
動画像データと、前記動画像データのフレーム毎の同期情報を含む動画像制御信号と、を含むビデオ信号が入力される合成処理部と、
複数の合成用画像データと、前記複数の合成用画像データのそれぞれに関連付けられた複数の合成用制御データと、を含む合成用データを記憶する記憶部と、
を有する動画像合成装置であって、
前記合成用制御データは、前記合成用制御データに関連付けられた前記合成用画像データの繰り返し回数を含み、
前記合成処理部は、
（処理Ａ）  前記動画像制御信号に基づくタイミングで前記記憶部から前記複数の合成用制御データの内の一つを読み出し、
（処理Ｂ）  前記読み出された合成用制御データに基づいて、前記読み出された合成用制御データに関連付けられた前記合成用画像データを前記記憶部から読み出し、
（処理Ｃ）  前記読み出された合成用制御データに含まれる繰り返し回数に基づいて、前記読み出された合成用画像データを重ね合わせる前記動画像データのフレーム数を決定し、
（処理Ｄ）前記決定されたフレーム数の前記動画像データに、前記読み出された合成用画像データを重ね合わせる処理を実行するものであり、
前記各合成用画像データに関連付けられた合成用制御データ毎に、前記繰り返し回数が変更可能なこと
を特徴とする動画像合成装置。
【請求項８】
（ステップＡ）  複数の合成用画像データと、それぞれの前記合成用画像データに関する繰り返し回数を含み、前記それぞれの合成用画像データに関連付けられた複数の合成用制御データと、を含む合成用データを記憶するステップと、
（ステップＢ）  動画像データと、前記動画像データのフレーム毎の同期情報とフレームレートに関する情報を含む動画像制御信号と、を含むビデオ信号が入力されるステップと、
（ステップＣ）  前記動画像制御信号に基づくタイミングで前記記憶された複数の合成用制御データの内の一つを読み出すステップと、
（ステップＤ）  前記読み出された合成用制御データに基づいて、前記読み出された合成用制御データに関連付けられた前記合成用画像データを前記記憶された複数の合成用画像データから読み出すステップと、
（ステップＥ）  前記読み出された合成用制御データに含まれる繰り返し回数に基づいて、前記読み出された合成用画像データを重ね合わせる前記動画像データのフレーム数を決定するステップと、
（ステップＦ）  前記決定されたフレーム数の前記動画像データに、前記読み出された合成用画像データを重ね合わせる処理を実行するステップと
を有し、
前記動画像データのフレームレートの変化に基づいて、前記繰り返し回数が変更可能なこと
を特徴とする動画像合成方法。
【請求項９】
前記動画像データのフレームレートがＮ＊Ｍ（Ｎ及びＭは、それぞれ正の整数）、繰り返し回数がＭであるときに、前記フレームレートがＬ／Ｍ倍（Ｌは正の整数）されＮ＊Ｌになった場合には、前記処理の繰り返し回数をＬ／Ｍ倍にしてＬに設定すること
を特徴とする請求項８に記載の動画像合成方法。
【請求項１０】
前記記憶されている前記合成用制御データのそれぞれは、次の重ね合わせの処理に用いられる合成用制御データを示すポインタ情報を含み、
前記ステップＦにおいて繰り返される、決定されたフレーム数の前記動画像データに、前記読み出された合成用画像データを重ね合わせる処理において、読み出される合成用制御データは、前記ポインタ情報により示された合成用制御データであること
を特徴とする請求項８又は９のいずれかに記載の動画像合成方法。
【請求項１１】
前記ステップＦは、前記動画像データの振幅レベル及び前記合成用画像データの振幅レベルを減衰させてから加算する処理を含むこと
を特徴とする請求項８から１０までのいずれかに記載の動画像合成方法。
【請求項１２】
動画像データと前記動画像データのフレーム毎の同期情報を含む動画像制御信号とを含むビデオ信号を生成する撮像部と、
前記請求項１から７までのいずれかに記載の動画像合成装置と
を有することを特徴とする動画像合成機能付き情報端末装置。
【請求項１３】
動画像データと前記動画像データのフレーム毎の同期情報を含む動画像制御信号とを含むビデオ信号を受信するビデオ信号入力部と、
前記請求項１から７までのいずれかに記載の動画像合成装置と
を有することを特徴とする動画像合成機能付き情報端末装置。
【請求項１４】
前記記憶部に前記合成用データを入力するための合成用データ入力部をさらに有すること
を特徴とする請求項１２又は１３のいずれかに記載の動画像合成機能付き情報端末装置。
【発明の詳細な説明】
技術分野
本発明は、入力される動画像データに対して、グラフィックス画像データ等の合成用画像データをリアルタイムに合成して（すなわち、「動画オーバレイ」又は「アニメーションオーバレイ」して）合成動画像データを生成する動画像合成装置及び動画像合成方法、並びに、テレビ電話装置等のような動画像合成機能付き情報端末装置に関するものである。
背景技術
従来のカメラ付き電話機は、カメラ部で新規に撮影した静止画像に、予め格納されているグラフィックス静止画像から１種類を選択して合成する（すなわち、「静止画オーバレイ」する）機能を有している。
また、特開２０００−１７５１６６号公報には、動画像及び音声を送受信できるテレビ電話装置が開示されている。このテレビ電話装置は、撮像部で撮影された人物（送信者）の背景に静止画像を重ねる（すなわち、「静止画オーバレイ」する）ことによって背景を見難くしたり又は背景を静止画像で置き換えて、送信者の居場所を相手側に悟られないようにする秘匿機能を有している。
しかしながら、上記した従来のカメラ付き電話機は、カメラ部で新規に撮影した静止画像に予め用意している静止画像を合成できるのみであり、動画像を送受信することはできない。
また、上記した従来のテレビ電話装置は、動画像送受信の機能を有しているが、上記秘匿機能を利用した場合には、送信される合成画像の一部は静止画像になってしまい、動画像送信機能の一部が無駄になっている（すなわち、動画像送信機能が十分に活用されていない）という問題があった。
そこで、本発明は、入力される動画像データにリアルタイムに合成用画像データ（すなわち、「動画オーバレイ用データ」）を合成することによって、画像全体が動く合成動画像データを生成することができる動画像合成装置、動画像合成方法、及び動画像合成機能付き情報端末装置を提供することを目的とする。
発明の開示
本発明の動画像合成装置は、動画像データと、この動画像データのフレーム毎の表示タイミング情報を含む動画像制御信号と、を含むビデオ信号が入力される合成処理部と、複数の合成用画像データと、これら複数の合成用画像データに関連付けられた複数の合成用制御データと、を含む合成用データを記憶する記憶部とを有する。合成処理部は、動画像制御信号に基づくタイミングで記憶部から複数の合成用制御データの内の一つを読み出し、読み出された合成用制御データに基づいて、読み出された合成用制御データに関連付けられた合成用画像データを記憶部から読み出し、動画像データの１フレームに読み出された合成用画像データを合成する処理を実行し、これらの処理を繰り返すことによって、合成動画像データを生成する。
【図面の簡単な説明】
図１は、本発明の実施の形態１の動画像合成装置及び動画像合成機能付き情報端末装置の構成を示すブロック図であり、
図２は、図１の合成用データ記憶部の詳細な構成を示すブロック図であり、
図３は、図１の合成制御部の詳細な構成を示すブロック図であり、
図４は、図１の画像合成部の詳細な構成を示すブロック図であり、
図５は、図２の合成用制御データ記憶部に格納される合成用制御データのフォーマットの一例を示す図であり、
図６は、図５の各合成用制御データ（ヘッダ）の内部に格納される情報の種類を示す図であり、
図７は、図６のパラメータと表示画面との関係を示す図であり、
図８は、図２の合成用画像データ記憶部に格納される合成用画像データのフォーマットの一例を示す図であり、
図９は、合成用制御データと合成用画像データとの関係の一例を示す図であり、
図１０は、図９の場合の合成画像の表示例を示す図であり、
図１１は、合成用制御データと合成用画像データとの関係の他の例を示す図であり、
図１２は、図１１の場合の合成画像の表示例を示す図であり、
図１３は、本発明の実施の形態２の動画像合成装置及び動画像合成機能付き情報端末装置の構成を示すブロック図であり、
図１４は、本発明の実施の形態３の動画像合成装置における合成制御部の構成を示すブロック図である。
発明を実施するための最良の形態
以下に、本発明の実施の形態を、添付図面を参照しながら具体的に説明する。
実施の形態１．
図１は、本発明の実施の形態１の動画像合成装置１００（本発明の動画像合成方法を実施することができる装置）及び動画像合成機能付き情報端末装置１１０の構成を示すブロック図である。情報端末装置１１０は、例えば、テレビ電話機能付き携帯電話機である。
図１に示されるように、情報端末装置１１０は、動画像合成装置１００と、撮像部１と、合成用データ入力部２と、ＣＰＵ６と、音声入力部７と、音声出力部８と、画像表示部９と、公衆網１１を通して通信する機能を有するテレビ電話処理部１０とを有している。
また、図１に示されるように、動画像合成装置１００は、合成用データ記憶部３と、合成制御部４と、画像合成部５とを有している。合成制御部４と画像合成部５は、動画像データＧ１Ｇに合成用画像データＧ２Ｇを合成する（すなわち、「動画オーバーレイ」する）ための処理を行う合成処理部２０を構成している。動画像合成装置１００は、例えば、半導体集積回路により構成されている。
撮像部１は、例えば、カメラであり、動画像データＧ１Ｇ及びこれに付随する動画像制御信号Ｇ１Ｃを含むビデオ信号Ｇ１を生成する。生成されたビデオ信号Ｇ１は、実際に画像表示されるデータ部分である動画像データＧ１Ｇと、制御データ部分である動画像制御信号Ｇ１Ｃとに分けられ、動画像合成装置１００に入力される。また、動画像制御信号Ｇ１Ｃは、ＣＰＵ６にも入力される。
合成用データ入力部２は、例えば、ＲＳ−２３２Ｃ規格やＵＳＢ規格等のシリアル通信回線（図示せず）に接続されるか、又は、直接ＣＰＵバス回線（図示せず）に接続され、合成用データＧ２を動画像合成装置１００に入力させる。合成用データＧ２は、実際に画像表示されるデータ部分である合成用画像データＧ２Ｇと、シーケンスデータを構成する合成用制御データＧ２Ｃとを含む。
合成用データ記憶部３は、合成用データ入力部２から入力される合成用データＧ２を記憶する構成部分であり、詳細は図２を用いて後述する。
合成制御部４は、ビデオ信号Ｇ１に含まれる動画像制御信号Ｇ１Ｃ及び合成用データＧ２に含まれる合成用制御データＧ２Ｃに基づき、動画像データＧ１Ｇと合成用画像データＧ２Ｇとの合成処理を制御する構成部分であり、詳細は図３を用いて後述する。
画像合成部５は、合成用データ記憶部３から読み出した合成用制御データＧ２Ｃと後述するＣＰＵ６からの制御信号とに基づき、撮像部１から入力される動画像データＧ１Ｇと合成用データ記憶部３から読み出される合成用画像データＧ２Ｇとを合成する構成部分であり、詳細は図５を用いて後述する。
ＣＰＵ（中央演算素子）６は、マイクロプロセッサ等の演算素子及び動画像制御信号Ｇ１Ｃのタイミングで画像合成用に予め設定された制御信号を出力するためのレジスタ等の周辺回路を含む演算部である。ＣＰＵ６は、入力する動画像制御信号Ｇ１Ｃに基づいて、画像合成する場合の動画像の比率を示すパラメータデータである動画像比率制御信号と、合成用画像の比率を示すパラメータデータである合成用画像比率制御信号と、切替制御信号ＣＰＵCを含む制御信号とを生成し、画像合成部５に対して出力する。図１では、動画像比率制御信号及び合成用画像比率制御信号と、動画像選択制御信号及び合成用画像選択制御信号とを合わせてＣＰＵPと表示している。
音声入力部７は、マイク等を有し、入力された音声に応じた音声信号を生成する。音声出力部８は、スピーカ等を有し、入力された音声信号に応じた音を出力する。画像表示部９は、例えば、液晶表示部であり、画像合成部５で合成された合成動画像データＧ３Ｇに基づく画像や、以下に説明するテレビ電話処理部１０が受信した動画像データに基づく画像等を表示する。
テレビ電話処理部１０は、画像合成部５で合成された合成動画像データＧ３Ｇを信号圧縮してテレビ電話の画像信号とし、音声入力部７から入力された音声信号と共に相手方に送信する。また、テレビ電話処理部１０は、相手方から受信した信号を伸張してテレビ電話の画像信号及び音声信号とし、画像を画像表示部９に表示させ、音声を音声出力部８から出力させる。公衆網１１は、携帯電話回線や有線の電話回線等の通信回線網である。
図２は、図１の合成用データ記憶部３の詳細な構成を示すブロック図である。
合成用制御データ記憶部３１は、合成用データ記憶部３の入力端子Ｇ２inから入力する合成用データＧ２のうち、シーケンスデータを構成する合成用制御データＧ２Ｃを格納する。合成用制御データ記憶部３１は、合成用データ記憶部３の入力端子ＡＤＣinから入力する読出アドレス情報により指定されたアドレスの合成用制御データＧ２Ｃを合成用データ記憶部３の出力端子Ｇ２Ｃoutから出力する。
合成用画像データ記憶部３２は、合成用データ記憶部３の入力端子Ｇ２inから入力する合成用データＧ２のうち、実際に画像として表示されるデータである合成用画像データＧ２Ｇを格納する。合成用画像データ記憶部３２は、合成用データ記憶部３の入力端子ＡＤＧinから入力する読出アドレス情報により指定されたアドレスの合成用画像データＧ２Ｇを合成用データ記憶部３の出力端子Ｇ２Ｇoutから出力すると共に、合成用画像データＧ２Ｇの合成比率パラメータや合成条件等のパラメータデータＧ２ＧPを合成用データ記憶部３の出力端子Ｇ２ＧＰoutから出力する。
図３は、図１の合成制御部４の詳細な構成を示すブロック図である。
動画像制御信号Ｇ１Ｃは、撮像部１から入力される動画像データＧ１Ｇに付随する信号であり、クロック、水平同期信号、垂直同期信号等の制御信号、及び、動画像のパラメータを含む。フレームリセット信号生成部４１は、合成制御部４の入力端子Ｇ１Ｃinから入力される動画像制御信号Ｇ１Ｃから、フレームの先頭を示すフレームリセット信号ＦＲＳを発生させる。
合成用制御データ読出アドレス生成部４２は、フレームリセット信号生成部４１から出力されるフレームリセット信号ＦＲＳのタイミングで、後述する合成用制御データ解析部４４からの情報に基づき、制御データ読出アドレスＡＤＣを発生させ、合成制御部４の出力端子ＡＤＣoutから出力する。
合成用画像データ読出アドレス生成部４３は、合成制御部４の入力端子Ｇ１Ｃinから入力される動画像制御信号Ｇ１Ｃと、後述する合成用制御データ解析部４４からの情報とに基づき、画像データ読出アドレスＡＤＧを発生させ、合成制御部４の出力端子ＡＤＧoutから出力する。
合成用制御データ解析部４４は、合成用制御データ記憶部３１から制御データ読出アドレスＡＤＣにより読み出されて合成制御部４の入力端子Ｇ２Ｃinより入力した合成用制御データＧ２Ｃ（ヘッダ）を解析し、解析した情報を合成用制御データ読出アドレス生成部４２及び合成用画像データ読出アドレス生成部４３に出力する。
図４は、図１の画像合成部５の詳細な構成を示すブロック図である。
第１フェーダ５１は、撮像部１から出力されて画像合成部５の入力端子Ｇ１Ｇin経由で入力される動画像データＧ１Ｇの振幅を減衰させる。第２フェーダ５２は、合成用データ記憶部３から出力されて画像合成部５の入力端子Ｇ２Ｇin経由で入力される合成用画像データＧ２Ｇの振幅を減衰させる。
加算器５３は、第１フェーダ５１で減衰された動画像データＧ１Ｇと、第２フェーダ５２で減衰された合成用画像データＧ２Ｇとを加算した合成動画像データＧ３Ｇを出力する。
選択器５４は、画像合成部５の入力端子Ｇ１Ｇinから入力される動画像データＧ１Ｇと、画像合成部５の入力端子Ｇ２Ｇinから入力される合成用画像データＧ２Ｇと、加算器５３から出力される合成動画像データＧ３Ｇの中からいずれか一つを選択して、画像合成部５の出力端子Ｇ３Ｇoutから出力させる。
切替器５５は、選択器５４に出力する画像選択制御信号を切り替える。切替器５５は、ＣＰＵ６からの制御信号の中の切替制御信号ＣＰＵCに応じて切り替わる。切替器５５は、ＣＰＵ６から出力されて画像合成部５の入力端子ＣＰＵＰin経由で入力される制御信号の中の画像選択制御信号ＣＰＵP（動画像を選択するパラメータデータである動画像選択制御信号及び合成用画像を選択するパラメータデータである合成用画像選択制御信号）と、合成用データ記憶部３から出力されて画像合成部５の入力端子Ｇ２ＧＰin経由で入力されるパラメータデータである合成用制御データＧ２ＧP中の動画像選択制御信号及び合成用画像選択制御信号とを切り替えて、選択器５４に出力する。
切替器５６は、第１フェーダ５１及び第２フェーダ５２に出力される画像比率制御信号を切り替える。切替器５６は、ＣＰＵ６からの切替制御信号ＣＰＵCに応じて切り替わる。切替器５６は、ＣＰＵ６から出力され画像合成部５の入力端子ＣＰＵＰin経由で入力される制御信号の中の画像比率制御信号ＣＰＵP（動画像の比率についてのパラメータデータである動画像比率制御信号、及び、合成用画像の比率についてのパラメータデータである合成用画像比率制御信号）と、合成用データ記憶部３から出力され画像合成部５の入力端子Ｇ２ＧＰin経由で入力される合成用制御データＧ２ＧP中の動画像比率制御信号及び合成用画像比率制御信号とを切り替えて、第１フェーダ５１及び第２フェーダ５２に出力する。
以下に、図１から図４までを用いて、実施の形態１の動作を説明する。
合成用データ入力部２には、ＲＳ−２３２Ｃ規格やＵＳＢ規格等のシリアル通信手段（図示せず）を介して、あるいは、ＣＰＵバス（図示せず）から直接、合成用データＧ２が予め入力されている。合成用データ入力部２から入力された合成用データＧ２は合成用データ記憶部３に入力される。合成用データＧ２は、合成用制御データＧ２Ｃと合成用画像データＧ２Ｇとに分けられる。入力端子Ｇ２inを介して合成用データ記憶部３に入力された合成用データＧ２のうちで、合成用制御データＧ２Ｃは合成用制御データ記憶部３１に格納され、合成用画像データＧ２Ｇは合成用画像データ記憶部３２に格納される。
一方、撮像部１で撮像されて出力されたビデオ信号Ｇ１の内の動画像データＧ１Ｇは画像合成部５に入力される。同時に、ビデオ信号Ｇ１の内の、クロック、水平同期信号、垂直同期信号等の制御信号である動画像制御信号Ｇ１Ｃは、合成制御部４及びＣＰＵ６に入力される。
動画像制御信号Ｇ１Ｃは、合成制御部４の入力端子Ｇ１Ｃinを介してフレームリセット信号生成部４１に入力される。フレームリセット信号生成部４１は、例えば、動画像制御信号Ｇ１Ｃに含まれる垂直同期信号の先頭をとらえて、フレームリセット信号ＦＲＳを作成する。従って、フレームリセット信号ＦＲＳは毎フレームの先頭を表わす信号となる。フレームリセット信号生成部４１で発生したフレームリセット信号ＦＲＳは、合成用制御データ読出アドレス生成部４２に入力される。合成用制御データ読出アドレス生成部４２は、フレームリセット信号ＦＲＳが入力されたタイミングで、合成用データＧ２の制御データ読出アドレスＡＤＣを合成制御部４の出力端子ＡＤＣoutを介して合成用データ記憶部３に出力する。制御データ読出アドレスＡＤＣは、前フレーム時に読み出した合成用データＧ２のヘッダ（合成用制御データ）を合成用制御データ解析部４４で解析した情報に基づいて生成する。
合成制御部４から出力された制御データ読出アドレスＡＤＣは、入力端子ＡＤＣinを介して合成用データ記憶部３内の合成用制御データ記憶部３３に入力される。合成用制御データ記憶部３１は、入力された制御データ読出アドレスＡＤＣに従い、格納されたヘッダ（合成用制御データ）を読み出し、合成用データ記憶部３の出力端子Ｇ２Ｃoutを介して合成制御部４に出力する。なお、合成用制御データ記憶部３１に格納されるヘッダ（合成用制御データ）のデータフォーマット、ヘッダ構成については図５及び図６を用いて後述する。
合成用データ記憶部３内の合成用制御データ記憶部３１から読み出されたヘッダ（合成用制御データ）は、入力端子Ｇ２Ｃinを介して合成制御部４内の合成用制御データ解析部４４に入力される。合成用制御データ解析部４４の解析結果の情報のうち、次の合成用データのヘッダ部分の先頭アドレス（後述する図６における「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」から得られたアドレス）は、合成用制御データ読出アドレス生成部４２に出力され、それ以外のパラメータの情報（後述する図６における、情報３１１１〜３１１５、及び３１１７等）については合成用画像データ読出アドレス生成部４３に出力される。
合成用画像データ読出アドレス生成部４３は、合成制御部４の入力端子Ｇ１Ｃinを介して撮像部１から入力される動画像制御信号Ｇ１Ｃ（クロック、水平／垂直同期信号等）と、合成用制御データ解析部４４の解析結果のパラメータの情報とから、画像合成部５において撮像部１からの動画像データＧ１Ｇと、合成用データ記憶部３からの合成用画像データＧ２Ｇとを、合成用制御データ解析部４４で解析したパラメータに従って合成できるようにするため、合成用データ記憶部３が合成用データ入力部２から合成用画像データＧ２Ｇを取得する必要があるか否かを判断する。そして、合成用画像データＧ２Ｇを取得する必要があれば、取得要求と共に、合成用画像データ読出アドレスＡＤＧを出力する。
合成用データ記憶部３では、入力端子ＡＤＧinを介して、合成用画像データ記憶部３２に、合成制御部４からの合成用データ取得要求と合成用画像データ読出アドレスＡＤＧが入力される。合成用画像データ記憶部３２の合成用画像データ読出アドレスＡＤＧで指定されたアドレスから、合成用画像データＧ２Ｇが読み出され、出力端子Ｇ２Ｇoutから画像合成部５に出力される。このとき、合成用画像データＧ２Ｇ内の画素毎に、画像合成部５内での合成比率パラメータ（動画像比率制御信号及び合成用画像比率制御信号）や、画像選択パラメータ（動画像選択制御信号及び合成用画像選択制御信号）や、合成条件等のパラメータを有するデータフォーマットを採用している場合には、これらパラメータＧ２ＧＰを、合成用データ記憶部３の出力端子Ｇ２ＧＰoutを介して画像合成部５に出力する。
図４に示されるように、画像合成部５では、上記パラメータ（合成用制御データ）Ｇ２ＧＰ中の動画像選択制御信号及び合成用画像選択制御信号は入力端子Ｇ２ＧＰinを介して、切替器５５の入力５５ｂに入力し、上記パラメータＧ２ＧＰ中の動画像比率制御信号及び合成用画像比率制御信号は切替器５６の入力５６ｂに入力する。切替器５５の入力５５ａには、ＣＰＵ６のレジスタ等からの動画像選択制御信号及び合成用画像選択制御信号が入力端子ＣＰＵＰinを介して入力され、切替器５６の入力５６ａには、ＣＰＵ６のレジスタ等からの動画像比率制御信号及び合成用画像比率制御信号が入力端子ＣＰＵＰinを介して入力される。ＣＰＵ６からは、切替器５５の出力５５ｃに入力５５ａ又は入力５５ｂのどちらの制御信号を出力するかを切り替える制御信号ＣＰＵCが入力端子ＣＰＵＰinを介して切替器５５の制御端子５５ｓに入力される。同様に、ＣＰＵ６からは、切替器５６の出力５６ｃに入力５６ａ又は入力５６ｂのどちらの制御信号を出力するかを切り替える制御信号ＣＰＵCが入力端子ＣＰＵＰinを介して切替器５６の制御端子５６ｓに入力される。
また、図４に示されるように、画像合成部５には、撮像部１から入力端子Ｇ１Ｇinを介して動画像データＧ１Ｇが入力される。また、画像合成部５には、合成用データ記憶部３内の合成用画像データ記憶部３２から、入力端子Ｇ２Ｇinを介して合成用画像データＧ２Ｇが入力される。画像合成部５の入力端子Ｇ１Ｇinから入力された動画像データＧ１Ｇは、第１フェーダ５１及び選択器５４に入力される。また、画像合成部５の入力端子Ｇ２Ｇinから入力された合成用画像用データＧ２Ｇは、第２フェーダ５２及び選択器５４に入力される。第１フェーダ５１に入力された動画像データＧ１Ｇは、第１フェーダ５１でレベル調整（減衰）され、加算器５３に入力される。同様に、第２フェーダ５２に入力された合成用画像データＧ２Ｇは、第２フェーダ５２でレベル調整（減衰）され、加算器５３に入力される。
第１フェーダ５１と第２フェーダ５２は、連動して制御され、その制御信号は、切替器５６から出力される。加算器５３は、第１フェーダ５１出力と第２フェーダ５２出力を加算し、選択器５４に出力する。選択器５４は、切替器５５の出力に応じて、入力端子Ｇ１Ｇinから入力された動画像データＧ１Ｇ、入力端子Ｇ２Ｇinから入力された合成用画像データＧ２Ｇ、及び加算器５３から出力される動画像データＧ１Ｇと合成用画像データＧ２Ｇとの合成動画像データＧ３Ｇのいずれか一つを選択して出力する。選択器５４の出力は、出力端子Ｇ３Ｇoutを介してテレビ電話処理部１０に出力される。
テレビ電話処理部１０は、Ｈ．２６３規格（ＩＴＵ−Ｔ（国際電気通信連合、電気通信標準化部門）勧告）あるいはＭＰＥＧ４規格等で規定された方法を用いて画像合成部５からのデータを圧縮し、音声入力部７から入力される音声データも同様に音声圧縮処理を行ない、これら圧縮データをテレビ電話通信手順に従って、公衆網１１に送信する。逆に、公衆網１１からの圧縮データは、テレビ電話処理部１０で音声データと画像データに分離され、必要に応じて伸張され、音声データは音声出力部８に、画像データは画像表示部９に出力される。
次に、合成用データ記憶部３内の合成用制御データ記憶部３１の合成用制御データ（ヘッダ）Ｇ２Ｃのフォーマットについて説明する。
図５は、図２の合成用制御データ記憶部３１に格納される合成用制御データのフォーマットの一例を示す図である。
図５のデータフォーマットは、０からＮ−１（Ｎは正の整数）までのＮ個の合成用制御データ（ヘッダ）３１１〜３１４から構成される。ここでは、画像を所定順のシーケンスで変化させる場合の各１コマ（フレーム）毎の合成状態をヘッダで表わすものとする。
図６は、図５の各合成用制御データ（ヘッダ）（例えば、合成用制御データ３１１）の内部に格納される情報の種類を示す図である。
図６のヘッダは、「合成用画像の水平位置３１１１」、「合成用画像の垂直位置３１１２」、「合成用画像の水平サイズ３１１３」、「合成用画像の垂直サイズ３１１４」、「現合成用画像データを示すポインタ情報３１１５」、「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」、及び「現合成用画像の繰り返し回数３１１７」等のパラメータで構成される。なお、合成用制御データＧ２Ｃ（ヘッダ）の構造はこれに限るものではない。例えば、各パラメータの格納順が異なっていてもよい。
図７は、図６に示されるヘッダを構成する各種のパラメータと合成動画像の１フレームの表示画面との関係を示す図である。
図７では、撮像された動画像９１のフレームの走査が、図７における左上から始まり右下において終了する（すなわち、図７における左から右に水平走査が行われ、図７における上から下に垂直走査が行われる）。「合成用画像の水平位置３１１１」は、動画像データＧ１Ｇの最左上画素位置（水平方向位置）を基準（０）としたときの、合成用画像９２の合成用画像データＧ２Ｇの最左上画素合成位置（水平方向位置）（図中、ＯＶ＿ＰＯＳ＿Ｈ）を示している。「合成用画像の垂直位置３１１２」は、動画像データＧ１Ｇの最左上画素位置（垂直方向位置）を基準（０）としたときの、合成用画像９２の合成用画像データＧ２Ｇの最左上画素合成位置（垂直方向位置）（図中、ＯＶ＿ＰＯＳ＿Ｖ）を示している。「合成用画像の水平サイズ３１１３」は、合成用画像データＧ２Ｇの水平方向サイズ（図中、ＯＶ＿ＨＳＩＺＥ）を示している。「合成用画像の垂直サイズ３１１４」は、合成用画像データＧ２Ｇの垂直方向サイズ（図中、ＯＶ＿ＶＳＩＺＥ）を示している。
ヘッダの「現合成用画像データを示すポインタ情報３１１５」は、このヘッダと対応関係にある合成用画像データＧ２Ｇを示しており、この現合成用画像データを示すポインタ情報３１１５に基づいて、合成用画像データＧ２Ｇの先頭データが格納されている合成用データ記憶部３のアドレスを取得できる。また、ヘッダの「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」は、次のヘッダデータを示しており、この次合成用制御データ（ヘッダ）を示すポインタ情報３１１６に基づいて次のヘッダデータの先頭データが格納されているアドレスを取得できる。次にどのヘッダデータを参照するか（「現合成用画像データの先頭アドレス３１１５」パラメータにより、結果として、次にどの合成用画像を参照するかを指し示す）を決定するためのパラメータは、複数のヘッダデータによりシーケンスを構成するために重要である。
ヘッダの「現合成用画像の繰り返し回数３１１７」は、現在、動画像データＧ１Ｇと合成処理を行なっている合成用画像データＧ２Ｇの繰り返し回数（リピート回数）である。
次に、合成用データ記憶部３内の合成用画像データ記憶部３２の内部に格納される画像データのフォーマットについて説明する。図８は、合成用画像データ記憶部３２に格納される合成用画像データＧ２Ｇのフォーマットの一例を示す図である。
図８のデータフォーマットは、０からＭ−１（Ｍは正の整数）までのＭ個の合成用画像データ３２１〜３２４から構成される。ここでは、Ｍフレーム分の合成用画像データＧ２Ｇが格納されていることになる。なお、合成用画像データＧ２Ｇの各フレームデータは、１フレームの画面全面の寸法である必要性はなく、上述したように、
「合成用画像の水平サイズ３１１３」×「合成用画像の垂直サイズ３１１４」
に相当するサイズの画像データがあればよい。合成画像サイズの制御パラメータである「合成用画像の水平サイズ３１１３」及び「合成用画像の垂直サイズ３１１４」と、合成画像位置の制御パラメータである「合成用画像の水平位置３１１１」及び「合成用画像の垂直位置３１１２」とによって合成される合成画像は、図７に符号９２によって示されるようなものになる。
図９は、合成用制御データＧ２Ｃと合成用画像データＧ２Ｇとの関係の一例を示す図であり、図１０は、図９の場合の合成画像の表示例を示す図である。また、図１１は、合成用制御データＧ２Ｃと合成用画像データＧ２Ｇとの関係の他の例を示す図であり、図１２は、図１１の場合の合成画像の表示例を示す図である。
図９及び図１０は、各ヘッダの「現合成用画像の繰り返し回数３１１７」がすべて０回の場合（すなわち、合成用画像データＧ２Ｇを１フレーム表示させ、次のフレームでは、次の合成用画像データＧ２Ｇを表示させる場合）である。図１１及び図１２は、上から２番目のヘッダＧ２Ｃ2の「現合成用画像繰り返し回数３１１７」が１回である場合（すなわち、合成用画像データＧ２Ｇを連続する２フレーム表示させる場合）である。
まず、図９及び図１０に示される例について説明を行なう。この場合は、
・合成用制御データ記憶部３１からヘッダＧ２Ｃ1を読み出し、その結果、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、
・合成用制御データ記憶部３１からヘッダＧ２Ｃ2を読み出し、その結果、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ3が読み出され、
・合成用制御データ記憶部３１からヘッダＧ２Ｃ3を読み出し、その結果、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、
・同様の処理を繰り返し、
・合成用制御データ記憶部３１からヘッダＧ２ＣNを読み出し、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ2が読み出される、
というシーケンスが組まれている場合であり、各ヘッダの「現合成用画像の繰り返し回数３１１７」がすべて０回の場合である。
図９において、ｔ＝ｔ1時には、撮像部１からの動画像データＧ１Ｇ1の入力に先立って、合成用制御データ記憶部３１からヘッダＧ２Ｃ1が読み出される。ヘッダＧ２Ｃ1の内容に従い、動画像データＧ１Ｇ1の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、画像合成部５にて合成画像Ｇ３Ｇ1が作成され、テレビ電話処理部１０に出力される。より正確にいうと、画像合成部５内の選択器５４への制御信号により、画像毎に切替動作を行い、動画像データＧ１Ｇ1、合成用画像データＧ２Ｇ1、及び動画像データＧ１Ｇ1と合成用画像データＧ２Ｇ1の合成画像Ｇ３Ｇ1のいずれか一つを選択的に、テレビ電話処理部１０に出力する。
ｔ＝ｔ2時には、撮像部１からの動画像データＧ１Ｇ2の入力に先立って、ヘッダＧ２Ｃ2が合成用制御データ記憶部３１から読み出される。ヘッダＧ２Ｃ2が読み出されるのは、ヘッダＧ２Ｃ1内の「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２Ｃ2を指し示していたからに過ぎず、従って、合成用制御データ記憶部３１に格納された順にヘッダＧ２Ｃが読み出される必要性はない。逆に、シーケンス順にヘッダＧ２Ｃを格納する必要性はない。ヘッダＧ２Ｃ2の内容に従い、動画像データＧ１Ｇ2の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ3が読み出され、画像合成部５にて合成画像Ｇ３Ｇ2が作成され、テレビ電話処理部１０に出力される。
ｔ＝ｔ3時には、撮像部１からの動画像データＧ１Ｇ3の入力に先立って、ヘッダＧ２Ｃ3が合成用制御データ記憶部３１から読み出される。ヘッダＧ２Ｃ3が読み出されるのは、ヘッダＧ２Ｃ2内の「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２Ｃ3を指し示していたからである。ヘッダＧ２Ｃ3の内容に従い、動画像データＧ１Ｇ3の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、画像合成部５にて合成画像Ｇ３Ｇ3が作成され、テレビ電話処理部１０に出力される。ここで、ヘッダＧ２Ｃ3はヘッダＧ２Ｃ1と同一の合成用画像データＧ２Ｇ1を参照している。「合成用画像の水平サイズ３１１３」「合成用画像の垂直サイズ３１１４」がそれぞれ等しければ、同一の合成用画像データＧ２Ｇを参照してもよい。
ｔ＝ｔN時には、撮像部１からの動画像データＧ１ＧNの入力に先立って、ヘッダＧ２ＣNが合成用制御データ記憶部３１から読み出される。ヘッダＧ２ＣNが読み出されるのは、前ヘッダＧ２Ｃ内の「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２ＣNを指し示していたからである。このとき、前ヘッダＧ２Ｃが合成用制御データ記憶部３１に格納された（Ｎ−１）番目のヘッダＧ２Ｃである必要はない。ヘッダＧ２ＣNの内容に従い、動画像データＧ１ＧNの入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ2が読み出され、画像合成部５にて合成画像Ｇ３ＧNが作成され、テレビ電話処理部１０に出力される。
ｔ＝ｔN+1時には、撮像部１からの動画像データＧ１ＧN+1の入力に先立って、ヘッダＧ２Ｃ1が合成用制御データ記憶部３１から読み出される。ヘッダＧ２Ｃ1が読み出されるのは、ヘッダＧ２ＣN内の「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２Ｃ1を指し示していたからである。合成用制御データ記憶部３１に格納されたヘッダＧ２ＣがＮ個あっても、Ｎ個すべて使用する必要性はない。（Ｎ−１）番目のヘッダＧ２Ｃの「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２Ｃ1を指し示すように設定しておけば、Ｎ番目のヘッダＧ２Ｃは読み出されることはない。ヘッダＧ２Ｃ1の内容に従い、動画像データＧ１ＧN+1の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、画像合成部５にて合成画像Ｇ３ＧN+1が作成され、テレビ電話処理部１０に出力される。
以降、同様に、ヘッダＧ２Ｃ1からヘッダＧ２ＣNまでによって構成されるシーケンスに従い、画像合成部５に入力される合成用画像データＧ２Ｇが更新され、動画像データＧ１Ｇと合成用画像データＧ２Ｇとの合成画像データＧ３Ｇが作成される。
次に、図１１及び図１２に示される例について説明を行なう。この場合は、
・合成用制御データ記憶部３１からヘッダＧ２Ｃ1を読み出し、その結果、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、
・合成用制御データ記憶部３１からヘッダＧ２Ｃ2を読み出し、その結果、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ3が読み出され、
・合成用制御データ記憶部３１からヘッダＧ２Ｃ3を読み出し、その結果、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、
・同様の処理を繰り返し、
・合成用制御データ記憶部３１からヘッダＧ２ＣNを読み出し、その結果、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ2が読み出される、
というシーケンスが組まれている場合であり、ヘッダＧ２Ｃ2の「現合成用画像の繰り返し回数３１１７」が１回である場合である。
ｔ＝ｔ1時、撮像部１からの動画像データＧ１Ｇ1の入力に先立って、ヘッダＧ２Ｃ1が合成用制御データ記憶部３１から読み出される。ヘッダＧ２Ｃ1の内容に従い、動画像データのＧ１Ｇ1の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、画像合成部５にて合成画像Ｇ３Ｇ1が作成され、テレビ電話処理部１０に出力される。より正確にいうと、画像合成部５内の選択器５４への制御信号により、画素毎に切替動作を行い、動画像データＧ１Ｇ1、合成用画像データＧ２Ｇ1、及び動画像データＧ１Ｇ1と合成用画像データＧ２Ｇ1の合成画像Ｇ３Ｇ1のいずれか一つを選択的に、テレビ電話処理部１０に出力する。
ｔ＝ｔ2時には、撮像部１からの動画像データＧ１Ｇ2の入力に先立って、ヘッダＧ２Ｃ2が合成用制御データ記憶部３１から読み出される。ここでヘッダＧ２Ｃ2が読み出されるのは、ヘッダＧ２Ｃ1内の「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２Ｃ2を指し示していたからに過ぎず、従って、合成用制御データ記憶部３１に格納された順にヘッダＧ２Ｃが読み出される必要性はない。逆に、シーケンス順にヘッダＧ２Ｃを格納する必要性はない。ヘッダＧ２Ｃ2の内容に従い、動画像データＧ１Ｇ2の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ3が読み出され、画像合成部５にて合成画像Ｇ３Ｇ2が作成され、テレビ電話処理部１０に出力される。
ｔ＝ｔ3時には、撮像部１からの動画像データＧ１Ｇ3の入力に先立って、ヘッダＧ２Ｃ2が合成用制御データ記憶部３１から読み出される。ここでヘッダＧ２Ｃ2が読み出されるのは、ｔ＝ｔ2時に読み出したヘッダＧ２Ｃ2内の「現合成用画像の繰り返し回数３１１７」が１回に設定されていたからである。別の構成としては、ｔ＝ｔ2時に読み出したヘッダＧ２Ｃ2内の「現合成用画像の繰り返し回数３１１７」が１回に設定されていた場合、次のタイミング（ｔ＝ｔ3時）では、合成用制御データ記憶部３１からヘッダＧ２Ｃを読み出さないで、ｔ＝ｔ2時のヘッダＧ２Ｃの内容を引き継ぐことでも可能である。ヘッダＧ２Ｃ2の内容に従い、動画像データＧ１Ｇ3の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ3が読み出され、画像合成部５にて合成画像Ｇ３Ｇ3が作成され、テレビ電話処理部１０に出力される。
ｔ＝ｔ4時には、撮像部１からの動画像データＧ１Ｇ4の入力に先立って、ヘッダＧ２Ｃ3が合成用制御データ記憶部３１から読み出される。ここでヘッダＧ２Ｃ3が読み出されるのは、ヘッダＧ２Ｃ2内の「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２Ｃ3を指し示していたからである。ヘッダＧ２Ｃ3の内容に従い、動画像データＧ１Ｇ4の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、画像合成部５にて合成画像Ｇ３Ｇ4が作成され、テレビ電話処理部１０に出力される。ここで、ヘッダＧ２Ｃ3はヘッダＧ２Ｃ1と同一の合成用画像データＧ２Ｇ1を参照している。「合成用画像の水平サイズ３１１３」「合成用画像の垂直サイズ３１１４」がそれぞれ等しければ、同一の合成用画像データＧ２Ｇを参照してもよい。
ｔ＝ｔN+1時には、撮像部１からの動画像データＧ１ＧN+1の入力に先立って、ヘッダＧ２ＣNが合成用制御データ記憶部３１から読み出される。ヘッダＧ２ＣNが読み出されるのは、前ヘッダＧ２Ｃ内の「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２ＣNを指し示していたからである。このとき、前ヘッダＧ２Ｃが合成用制御データ記憶部３１に格納された（Ｎ−１）番目のヘッダＧ２Ｃである必要はない。ヘッダＧ２ＣNの内容に従い、動画像データＧ１ＧN+1の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ2が読み出され、画像合成部５にて合成画像Ｇ３ＧN+1が作成され、テレビ電話処理部１０に出力される。
ｔ＝ｔN+2時には、撮像部１からの動画像データＧ１ＧN+2の入力に先立って、ヘッダＧ２Ｃ1が合成用制御データ記憶部３１から読み出される。ヘッダＧ２Ｃ1が読み出されるのは、ヘッダＧ２ＣN内の「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２Ｃ1を指し示していたからである。合成用制御データ記憶部３１に格納されたヘッダＧ２ＣがＮ個あっても、Ｎ個すべて使用する必要性はない。（Ｎ−１）番目のヘッダＧ２Ｃの「次合成用制御データ（ヘッダ）を示すポインタ情報３１１６」がヘッダＧ２Ｃ1を指し示すように設定しておけば、Ｎ番目のヘッダＧ２Ｃは読み出されることはない。ヘッダＧ２Ｃ1の内容に従い、動画像データＧ１ＧN+2の入力タイミングに合わせて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇ1が読み出され、画像合成部５にて合成画像Ｇ３ＧN+2が作成され、テレビ電話処理部１０に出力される。
次に、合成用制御データ記憶部３１に格納されたヘッダＧ２Ｃの数と、合成用画像データ記憶部３２に格納された合成用画像データＧ２Ｇの数（コマ数、フレーム数）について説明する。
ヘッダＧ２Ｃの数と合成用画像データＧ２Ｇの数については、特に重要な制約はないが、メモリ容量の点からは、ヘッダＧ２Ｃの数が、合成用画像データＧ２Ｇの数以上である場合が実用上では最も有益と考えられる。その場合、動きのない（あるいは、緩やかな）フレーム（シーン）に対しては、同一の合成用画像データＧ２Ｇを指定することにより、メモリ容量を削減しつつ、長時間のシーケンスを組むことが可能である。また、シーケンス途中のＡフレーム目とＢフレーム目（例えば、第１０フレーム目と第２０フレーム目等のように）で同一の合成用画像データＧ２Ｇを指定できる場合（例えば、第１０フレーム目と第２０フレーム目で同じ合成用画像データが使用できる場合）等には、上記よりもさらに、メモリ容量を削減して、長時間のシーケンスを組むことが可能となる。もちろん、格納したヘッダＧ２Ｃ、合成用画像データＧ２Ｇをすべて使用する必要性はなく、必要なヘッダＧ２Ｃ、必要な合成用画像データＧ２Ｇを必要に応じて、好きな順番にシーケンスを組むことができる。
また、「現合成用画像の繰り返し回数３１１７」は、個々のコマ（フレーム）に対して独立に設定することができる。その場合は、少ない合成用画像データＧ２Ｇ数でシーケンス内に動きの緩急をつけたい場合等に有効であり、ここでも、メモリ削減効果が期待できる。
また、撮像部１からの動画像データＧ１Ｇ入力に同期させて、合成用画像データ記憶部３２から合成用画像データＧ２Ｇを読み出して、画像合成部５にて画像合成を行なうので、フレーム途中での切れ目のない合成動画像作成が可能である。
また、撮像部１から入力される動画像データＧ１Ｇのフレームレートが高い（１秒あたりのフレーム数が多い）場合には、「現合成用画像の繰り返し回数３１１７」を設定する（例えば、繰り返し回数が多くなるようにする）ことにより、合成用画像データＧ２Ｇの時間変化を適切に調整することができる。
このように実施の形態１の動画像合成装置１００は、合成用データ記憶部３内の合成用制御データ記憶部３１に合成シーケンスを組むことにより、ＣＰＵによるソフトウェア実行のようにＣＰＵに負担をかけることなく、自動で撮像部１からの動画像データＧ１Ｇに同期させて、動画フレームを構成する合成用画像データＧ２Ｇを動画像データＧ１Ｇに自動合成することで動く画像合成が可能となる。
また、フレームに同期して合成するため、合成途中のフレームを出力することがなくなり、良好な合成動画像を得ることができる。
また、シーケンスを構成するヘッダＧ２Ｃと合成用画像データＧ２Ｇに対応関係を持たせることにより、複数のシーケンスにおいて、合成用画像データＧ２Ｇを共用できるので、用意しておく合成用画像データＧ２Ｇのデータ量を抑制することができる。
さらに、個々のフレーム（コマ）に独立に繰り返し回数を指定することにより、緩急のある動画オーバレイが可能である。
また、テレビ電話回線を通して、撮像画像にアニメーションオーバレイ画像を合成したものを送信することができるなど、情報端末装置、特に、携帯電話機等への幅広い応用が可能である。
また、実施の形態１の動画像合成装置１００は、ヘッダＧ２Ｃのデータとして、合成用画像データＧ２Ｇのサイズ、撮像部１等の動画像入力部手段から出力される動画像データＧ１Ｇに対する合成用画像データＧ２Ｇの画像合成位置を有するので、その動画像入力手段から出力される動画像データ出力に任意のサイズで、任意の位置に合成用画像データＧ２Ｇを合成することができる。
また、実施の形態１の動画像合成装置１００は、ヘッダＧ２Ｃのデータとして、現フレームの合成用画像データＧ２Ｇの格納アドレスを指し示すポインタと、次フレームのヘッダＧ２Ｃデータを指し示すポインタとを有するので、合成用画像データＧ２ＧとヘッダＧ２Ｃを合成用データ記憶部の任意のアドレスに、任意の順番で格納可能である。
また、実施の形態１の動画像合成装置１００は、ヘッダＧ２Ｃのデータとして、現フレームの合成用画像データＧ２Ｇの繰り返し回数を有するので、動画像入力手段から入力される動画像データＧ１Ｇのフレームレートが高い場合に、合成用画像データＧ２Ｇで構成するシーケンス速度を最適な速度に設定することができる。
また、実施の形態１の動画像合成装置１００は、合成用データ記憶部内に格納するヘッダＧ２Ｃデータのフレーム数に対する合成用画像データＧ２Ｇのフレーム数を、同じ数かあるいは少ない数に設定することができるので、少ない合成用画像データＧ２Ｇで長時間の動画像合成が可能であり、シーケンスの長さに対してメモリを効率良く使用することが可能である。
実施の形態２．
図１３は、本発明の実施の形態２の動画像合成装置２００（本発明の動画像合成方法を実施することができる装置）及びこの動画像合成装置２００を構成要素とする動画像合成機能付き情報端末装置２１０の構成を示すブロック図である。図１３に示される実施の形態２の構成において、実施の形態１の構成と同一又は対応する構成には、同一の符号を付す。
図１３に示される実施の形態２の情報端末装置２１０は、入力されたビデオ信号に対して、リアルタイムに合成用画像を合成し、合成動画像を表示することができる合成動画像の表示装置である。
図１３に示される実施の形態２の情報端末装置２１０が、図１に示される実施の形態１の装置と相違する点は、撮像部１がビデオ信号入力部１２に置き代えられている点、音声入力部７、音声出力部８、及びテレビ電話処理部１０が削除されている点、画像表示部９が直接、画像合成部５に接続されている点である。
ビデオ信号入力部１２は、ビデオ入力端子（図示せず）、あるいは、直接にＣＰＵのパス（図示せず）等に接続され、デジタルビデオ信号や、ＭＰＥＧ４等のデコード信号（総称して、デジタルビデオ信号と呼ぶ。）の入力を受け付ける。
実施の形態２においては、ビデオ信号入力部１２に入力されたデジタルビデオ信号が、動画像データＧ１Ｇと動画像制御信号Ｇ１Ｃに分けられ、動画像データＧ１Ｇが画像合成部５に入力し、動画像制御信号Ｇ１Ｃが合成制御部４及びＣＰＵ６に入力する。画像合成部５及び合成制御部４は、上記実施の形態１の場合と同様の処理により、動画像データＧ１Ｇに合成用画像データＧ２Ｇを合成して、合成動画像データＧ３Ｇを生成する。
このように実施の形態２の動画像合成装置２００又は動画像合成機能付き情報端末装置２１０は、合成用データ記憶部３内の合成用制御データ記憶部３１に合成シーケンスを組むことにより、ＣＰＵによるソフトウェア実行のようにＣＰＵに負担をかけることなく、自動でビデオ信号入力部１２からのデジタルビデオ信号である動画像データＧ１Ｇに同期させて、動画フレームを構成する合成用画像データＧ２Ｇを動画像データＧ１Ｇに自動合成するので動く画像合成が可能となる。
また、フレームに同期して合成するため、合成途中のフレームを出力することがなくなり、良好な合成動画像を得ることができる。
また、シーケンスを構成するヘッダＧ２Ｃと合成用画像データＧ２Ｇに対応関係を持たせることにより、複数のシーケンスにおいて、合成用画像データＧ２Ｇを共用できるので、用意しておく合成用画像データＧ２Ｇのデータ量を抑制することができる。
さらに、個々のフレーム（コマ）に独立に繰り返し回数を指定することにより、緩急のある動画オーバレイが可能である。
なお、実施の形態２において、上記以外の点は、上記実施の形態１と同じである。
実施の形態３．
図１４は、本発明の実施の形態３の動画像合成装置（本発明の動画像合成方法を実施することができる装置）における合成制御部４ａのブロック図である。
実施の形態３の動画像合成装置が、図１に示される実施の形態１の動画像合成装置と相違する点は、実施の形態１の合成制御部４を図１４に示される合成制御部４ａに置き代えた点である。
図１４に示される実施の形態３の合成制御部４ａが、図３に示される実施の形態１の合成制御部４と相違する点は、合成制御部４ａがフレームレート検出部４５を有する点と、実施の形態１の合成用制御データ解析部４４を実施の形態３の合成用制御データ解析部４６に置き代えた点である。合成用制御データ解析部４６は、フレームレート検出部４５から出力されるフレームレートＦＲＴを受け取り、合成用制御データ読出アドレス生成部４２及び合成用画像データ読出アドレス生成部４３を制御する。
合成用制御データ解析部４６は、合成制御部４ａの入力端子Ｇ２Ｃinを介して、合成用データ記憶部３内の合成用制御データ記憶部３１から読み出されたヘッダＧ２Ｃ情報のうち、「現合成用画像の繰り返し回数３１１７」を制御する。
撮像部１から出力される動画像データＧ１Ｇのフレームレートが、フレームレート検出部４５での算出結果から、Ｎ＊Ｍ（ただし、Ｎ、Ｍは正の整数）であるとする。例えば、Ｎ＝５、Ｍ＝３として、フレームレート＝１５ｆｐｓ（ｆｐｓ：フレーム毎秒）であるとする。このとき、合成用データ記憶部３内の合成用制御データ記憶部３１に格納されたヘッダＧ２Ｃのパラメータのうち、「現合成用画像の繰り返し回数３１１７」をあらかじめＭ（＝３）となるように設定しておく。この値は、フレームレートＮ＊Ｍに対して、合成動画像の動き（フレームレート）が最適（効果的）となるように用意される。いまの場合、最適、かつ、効果的な合成画像の動きは５ｆｐｓである。
次に、使用環境が変化し、例えば、周囲の環境が暗くなり、撮像部１から出力される動画像データＧ１ＧのフレームレートがＬ／Ｍ倍（ただし、Ｌは正の整数）で、Ｎ＊Ｌになったとする。例えば、Ｌ＝１とすると、フレームレート変化後のフレームレートは、５ｆｐｓである。フレームレート検出部４５での算出結果はＮ＊Ｌで、その情報は、合成用制御データ解析部４６に出力される。合成用制御データ解析部４６では、フレームレートＮ＊Ｌという情報を受け、実際に繰り返し回数をＬ／Ｍ倍してＬに変更する。
ここでは、Ｌ＝１なので、繰り返し回数は１回となる。このとき、実際の合成用画像データＧ２Ｇの動きは５ｆｐｓとなり、合成元画像の動きが最適（効果的）なまま保たれている。つまり、ヘッダＧ２Ｃに入れる「現合成用画像の繰り返し回数３１１７」を基準となるフレームレート（上述の場合には、Ｎ＊Ｍ）に対して設定するものとする。また、動画像データＧ１Ｇのフレームレートが変化した場合には、フレームレート検出部４５からのフレームレート情報を元に合成用制御データ解析部４６が自動的に計算して、制御データ読出アドレス部４３、合成用画像データ読出アドレス生成部４３を制御する。
以上のように、実施の形態３の動画像合成装置は、合成制御部４ａ内にフレームレート検出部４５を設け、算出したフレームレートをもとに、実際の合成動画像繰り返し回数を自動的に変化させることによって、最適、効果的な動きの合成元画像を維持することができ、結果として、最適、かつ、効果的な合成動画像を得ることができる。
なお、上記した実施の形態３では、撮像画像１から出力される動画像データＧ１Ｇのフレームレートが自動的に変化したものとして述べたが、ＣＰＵ等からの制御によってフレームレートを意図的に変化させることも可能である。その場合には、フレームレート検出部４５によるフレームレート算出は不要であり、従って、フレームレート検出部４５の代わりに、現フレームレート設定部を用意すれば同様の効果を得られる。
また、実施の形態３のフレームレート検出部４５では、撮像部１等の動画像入力手段から出力される動画像データのフレームレートを検出する。従って、合成制御部４では、フレームレート検出部４５によって検出されたフレームレートに応じて、合成用データ記憶部３からの合成用画像データＧ２Ｇの読み出しを制御するので、動画像データのフレームレートが変化した場合でも、合成用データ記憶部３に格納した合成用画像データＧ２Ｇの動きを最適かつ効果的な状態に保つことが可能である。
具体的には、実施の形態３の合成制御部４ａにおいては、撮像部１等の動画像入力手段から出力される動画像データのフレームレートがＮ＊Ｍの場合に、合成用画像データＧ２Ｇの繰り返し回数をＭに設定しておき、フレームレートがＮ＊Ｌになった場合に、合成用データ記憶部３からの合成用画像データＧ２Ｇの繰り返し回数がＬとなるように、合成用データ記憶部３への合成用画像データＧ２Ｇの読み出しを制御する。このため、実施の形態３によれば、動画像データのフレームレートが変化した場合にも、合成用データ記憶部３に格納した合成用画像データＧ２Ｇの動きを最適、効果的な状態である、フレームレートＮの状態に保つことが可能である。
なお、実施の形態３において、上記以外の点は、上記実施の形態１と同じである。また、実施の形態の合成制御部４ａを、上記実施の形態２の動画像合成装置に適用することもできる。
本発明の変形例
本発明の各実施の形態において、合成用制御データ（ヘッダ）Ｇ２Ｃの構造とそのパラメータは図４に示したものに限るものではなく、例えば、合成用制御データ（ヘッダ）Ｇ２Ｃの構造で、「合成用画像の水平位置３１１１」「合成用画像の垂直位置３１１２」「合成用画像の水平サイズ３１１３」「合成用画像の垂直サイズ３１１４」の代わりに、「合成画像の水平開始位置」「合成画像の垂直開始位置」「合成画像の水平終了位置」「合成画像の垂直終了位置」等で構成しても、あるいは、パラメータ等の順番を任意に入れ替えても同様の効果を得られる。
また、上記した各実施の形態においては、図に示したように合成用制御データ記憶部３１に各ヘッダＧ２Ｃが連続して格納される必要性は無く、合成用画像データ記憶部３２に合成用画像データＧ２Ｇが連続して格納される必要性はない。
また、実施の形態１及び実施の形態３においては、合成用制御データ記憶部３１と合成用画像データ記憶部３２を合成用データ記憶部３内で独立したものとして説明したが、合成用制御データ（ヘッダ）Ｇ２Ｃ及び合成用画像データＧ２Ｇは、一体、あるいは、入り乱れた状態で格納してもよい。
また、上記した各実施の形態においては、シーケンスを構成する場合に、合成用制御データ記憶部３１に格納された合成用制御データ（ヘッダ）Ｇ２Ｃの順と、シーケンスを構成する合成用制御データ（ヘッダ）Ｇ２Ｃの順は一致している必要はない。同様に、合成用画像データ記憶部３２に格納された合成用画像データＧ２Ｇはどのような順番で格納されていてもよい。
【図１】
0003672561.tif 000002
【図２】
0003672561.tif 000003
【図３】
0003672561.tif 000004
【図４】
0003672561.tif 000005
【図５】
0003672561.tif 000006
【図６】
0003672561.tif 000007
【図７】
0003672561.tif 000008
【図８】
0003672561.tif 000009
【図９】
0003672561.tif 000010
【図１０】
0003672561.tif 000011
【図１１】
0003672561.tif 000012
【図１２】
0003672561.tif 000013
【図１３】
0003672561.tif 000014
【図１４】
0003672561.tif 000015