(57)【要約】【課題】低コストで高速かつ自在に画像合成可能な画像合成装置を提供すること。【解決手段】画像が入力される複数の入力チャンネルと、各入力チャンネルに入力された画像データを読み出し可能に格納する入力メモリ２０と、各入力チャンネルに対応して設けられ、予め設定された合成情報に含まれるアドレス情報に基づいて、入力画像を構成する任意の画素を入力メモリ２０から読み出し、出力画像の任意の位置に配置して出力する画素再配置装置３０と、合成情報に含まれる合成比率情報に基づいて、出力画像として読み出された画素を合成するための画像合成部３５とを備え、画素再配置装置３０により、出力画像を構成する画素をすべて読み出して再配置した後に、画像合成部３５において、各画素について合成比率情報に基づく画像合成処理を行うように構成した。【選択図】図１
2006014201.tif 000002
【特許請求の範囲】
【請求項１】
画像が入力される複数の入力チャンネルと、
各入力チャンネルに入力された画像データを読み出し可能に格納する入力メモリと、
各入力チャンネルに対応して設けられ、予め設定されたアドレス情報に基づいて、入力画像を構成する任意の画素を前記入力メモリから読み出し、出力画像の任意の位置に配置して出力する画素再配置装置と、
予め設定された合成比率情報に基づいて、出力画像として読み出された画素を合成するための画像合成部とを備え、
画素再配置装置により、出力画像を構成する画素をすべて読み出して再配置した後に、前記画像合成部において、各画素について合成比率情報に基づく画像合成処理を行うように構成したことを特徴とする画像合成装置。
【請求項２】
出力画像を構成する個々の画素と対応した合成情報の集合体である合成テーブルが提供され、各画素に対応した各合成情報には、読み出すべき画素の前記アドレス情報と、その画素の前記合成比率情報とが少なくとも含まれていることを特徴とする請求項１に記載の画像合成装置。
【請求項３】
合成テーブルを格納するデータメモリと、
このデータメモリから合成テーブルのデータを順次読み出して格納するバッファとを備え、
このバッファから格納されたデータを読み出して、合成ストリームとして各画素再配置装置へと送出するように構成し、
さらに、このバッファから合成ストリームを送出するに際して、出力画像と同期した形で送出するための同期信号発生部を備えていることを特徴とする請求項２に記載の画像合成装置。
【請求項４】
前記合成ストリームの前記合成情報のアドレス情報部分を画素再配置装置により読み出された画素と順次差し替えていくことで、出力画像を徐々に生成していくように構成したことを特徴とする請求項２又は３に記載の画像合成装置。
【請求項５】
前記画素再配置装置は、前記アドレス情報に対応した画素が、入力画像にヒットするか否かを判別する画素ヒット判別部と、
この画素ヒット判別部による判別結果に関わらず、前記入力メモリから画素を読み出すためのアドレスを発生するアドレス発生部と、
読み出された画素を出力画像を構成する画素として出力するか否かを制御する画素出力制御部とを備え、
この画素出力制御部は、ヒットされていない画素を読み出した場合には、読み出された画素を出力せずに破棄することを特徴とする請求項１〜４のいずれか１項に記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の入力チャンネルから入力される画像を合成して出力する画像合成装置に関するものである。
【背景技術】
【０００２】
かかる画像合成装置は、次のような産業分野で用いられている。例えば、複数台のカメラで地平方向３６０゜の画像を取り込み、複数の入力画像を合成してパノラマ画像として出力することが可能である。また、多点視点の入力画像を画像合成して一点視点の画像をとして出力することも可能であり、死角を排除した画像の合成などにも利用可能である。また、複数の監視カメラを用いた監視システムでは、複数のカメラから入力された入力画像を画像合成して、１つの出力画像として出力して不審者侵入等の監視を行っている。
【０００３】
その他に、画像（静止画）ファイリングシステムやＣＧ（コンピュータ・グラフィックス）、放送などで多用されるＤＶＥ（デジタルビデオエフェクト）効果を簡単に付加することができるので、映像編集の分野やパーソナルモニター表示（例えば、カーナビの表示）等にも用いられている。例えば、画素再配置の機能を用いると、ワイプやロールといった画像の差し替え、画像の上下左右反転、ピクチャーインピクチャー、マルチ分割画面の表示、文字やキャラクターのスーパーインポーズ、合成によるディゾルブといった映像効果を簡単に与えることができる。
【０００４】
かかる画像合成装置の従来技術として、例えば、下記特許文献１に開示される画像合成装置が知られている。この画像合成装置は、Ｎ（２≦Ｎ）の部分画像をＮの部分画像間の隠顕関係に基づいてＮの部分画像を一の画像に重畳するものである。この画像合成装置によれば、高速で画像を合成できると共に、合成画像製する画像数の増加に応じて、装置の拡張が容易であり微細な合成が可能である。
【０００５】
しかしながら、装置としては非常に大掛かりであり、パーソナルユースや監視システム、モバイル用途には適していない。
【特許文献１】特開２００３−３２３６３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記実情に鑑みてなされたものであり、その課題は、低コストで高速かつ自在に画像合成可能な画像合成装置を提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため本発明に係る画像合成装置は、
画像が入力される複数の入力チャンネルと、
各入力チャンネルに入力された画像データを読み出し可能に格納する入力メモリと、
各入力チャンネルに対応して設けられ、予め設定されたアドレス情報に基づいて、入力画像を構成する任意の画素を前記入力メモリから読み出し、出力画像の任意の位置に配置して出力する画素再配置装置と、
予め設定された合成比率情報に基づいて、出力画像として読み出された画素を合成するための画像合成部とを備え、
画素再配置装置により、出力画像を構成する画素をすべて読み出して再配置した後に、前記画像合成部において、各画素について合成比率情報に基づく画像合成処理を行うように構成したことを特徴とするものである。
【０００８】
かかる画像合成装置の作用・効果を説明する。画像が入力される複数の入力チャンネルを備え、夫々のチャンネルには、入力された画像データを読み出し可能に格納するための入力メモリが設けられる。この入力メモリを構成するためのメモリの種類は、例えば高速ＳＲＡＭが用いられるが、特定の種類のものに限定されるものではない。画像合成を行うためには、予め設定されたアドレス情報に基づいて、入力メモリから任意の画素を読み出し、これを出力画像の任意の位置に出力する。このような画素の出力を画素の再配置と呼び、これを行うための装置が画素再配置装置である。この画素再配置装置は、各入力チャンネルに対応して設けられる。
【０００９】
一方、画像合成を行うためには、ある画素と、その画素位置に対応する別の画素とを所定の合成比率に基づいて画像合成する。画像合成をする場合の合成する画素数は、適宜設定することができるものであり、特定の数に限定されるものではない。
【００１０】
そして、画素再配置装置により、出力画像を構成する画素をすべて読み出して再配置した後に、画像合成部において前述の合成比率を用いた画像合成が行われる。このように、画素の再配置が終わった後に、合成を行う様にしているので、画像を入力するためのチャンネルを容易に拡張することができる。また、画素を入力メモリから読み出して出力するときに、合成比率を用いた合成処理を行うと、各画素再配置装置に合成回路が必要になり回路構成が複雑となるが、本発明のように再配置が終わった最終段で画像合成を行うようにしているので、回路構成を簡単にできるというメリットがある。その結果、低コストで高速かつ自在に画像合成可能な画像合成装置を提供することができる。
【００１１】
本発明において、出力画像を構成する個々の画素と対応した合成情報の集合体である合成テーブルが提供され、各画素に対応した各合成情報には、読み出すべき画素の前記アドレス情報と、その画素の前記合成比率情報とが少なくとも含まれているものがあげられる。
【００１２】
例えば、出力画像がＶＧＡによる６４０×４８０画素の構成であれば、合成テーブルも同じように６４０×４８０の合成情報を有する。そして、各合成情報には、その合成情報の位置に出力されるべき画素のアドレス情報と、その画素の合成比率情報が少なくとも含まれる。なお、アドレス情報や合成比率情報のデータ構成において、アドレスの記述の仕方、合成比率の数値（所定段階のレベルで表わすか、％で表わすか等）については、種々の方法が考えられ、特定のデータ構造に限定されるものではない。
【００１３】
本発明において、合成テーブルを格納するデータメモリと、
このデータメモリから合成テーブルのデータを順次読み出して格納するバッファとを備え、
このバッファから格納されたデータを読み出して、合成ストリームとして各画素再配置装置へと送出するように構成し、
さらに、このバッファから合成ストリームを送出するに際して、出力画像と同期した形で送出するための同期信号発生部を備えていることが好ましい。
【００１４】
合成情報の集合体として、前述の合成テーブルをデータメモリに格納し、このデータメモリから順次データを読み出していき、バッファに格納する。このバッファは、データの送出速度を調整するものであり、具体的には、出力画像と同期した形でバッファから夫々の（各入力チャンネルの）画素再配置装置へと送出されていく。この送出されるデータを合成ストリームと称する。合成テーブルは、先ほど説明したように、出力画像と同様のフレーム構成となっているので、例えば、水平期間分の合成情報要素を順番に読み出していき、バッファで速度変換をした上で、合成ストリームとして送出して行くことができる。このように、出力画像と同期させることで、実際に出力画像として出力するときに、再度フレームバッファなどで出力の同期を取る必要がなくなる。従って、入出力間の画像の遅延を短縮することができる。
【００１５】
本発明において、合成ストリームの前記合成情報のアドレス情報部分を画素再配置装置により読み出された画素と順次差し替えていくことで、出力画像を徐々に生成していくように構成される。
【００１６】
このように、画素を順次差し替えていく構成にすれば、出力画像用に専用のストリームを流す必要がなく、接続Ｉ／Ｏ数の低減ができるなど、回路構成を簡素化して、低コストを実現することができる。
【００１７】
本発明において、前記画素再配置装置は、前記アドレス情報に対応した画素が、入力画像にヒットするか否かを判別する画素ヒット判別部と、
この画素ヒット判別部による判別結果に関わらず、前記入力メモリから画素を読み出すためのアドレスを発生するアドレス発生部と、
読み出された画素を出力画像を構成する画素として出力するか否かを制御する画素出力制御部とを備え、
この画素出力制御部は、ヒットされていない画素を読み出した場合には、読み出された画素を出力せずに破棄するように構成される。
【００１８】
アドレス情報に基づいて画素を読み出そうとする場合に、そのチャンネルの入力画像の画素ではなく、他のチャンネルの画素が指定されていることもある。この場合は、その入力画像にヒットしていないので、画素を読み出す必要はないのであるが、画素を読み出したり読まなかったりする制御を行うと、高速での画素読み出しが行えない。そこで、画素がヒットしているかどうかに関わらず、常時画素の読み出しを行うようにしている。これにより、高速な処理を行うことができる。なお、画素出力制御部を備えているので、ヒットしていない画素を読み出したとしても、それは出力画像として出力されず破棄されるので問題はない。従って、ヒットしていない画素は、適宜のアドレスの画素を読み出すようにすれば良い。
【発明を実施するための最良の形態】
【００１９】
本発明に係る画素再配置装置及びこれが用いられる画像合成装置の好適な実施形態を図面を用いて説明する。この画像合成装置の全体構成を図１のブロック図により説明する。
【００２０】
＜画像合成装置の構成＞
この画像合成装置は、入力される複数チャンネルの画像（動画像／静止画像）のうち、任意の入力画像の任意の画素Ｘと、任意の入力画像の任意の画素Ｙとを任意の合成割合で合成し、出力画像の任意の位置に配置（再配置）して出力可能である。この画像合成装置は、高速に画像合成を行うことができると共に、容易に被合成画像入力数の拡張が可能となっている。
【００２１】
ＮＴＳＣ入力ブロック１には、Ｎチャンネルの入力画像を取り込むことができ、Ｎチャンネル分のＮＴＳＣデコーダー１０が設けられている。本発明としては、チャンネル数Ｎは、適宜設定することができるものであり、また、任意に増減することができる。ＮＴＳＣデコーダー１０によりデコードされた画像データは、例えば、輝度・色信号が各８ビットの４：２：２方式で次段のメモリブロック２へと送られる。
【００２２】
メモリブロック２には、入力した画像をフレーム単位で書き込むためのフレームメモリ２０（入力メモリに相当する。）が設けられる。フレームメモリ２０は、各チャンネルの夫々に３面設けられる。すなわち、図１０に示すようなＡ，Ｂ，Ｃの３面のフレームメモリに入力画像が時間順次で書き込まれている。各入力チャンネルのメモリブロック２は、図１０に示すようなブロック構成となっており、スイッチＡにより書き込み面を指定し、スイッチＢで再配置のための読み出し可能面を指定している。読み出し可能面は、直前に書き込みを完了している面（レディ状態）である。そのほかに、これから書き込みが開始されようとしているか、もしくは、書き込み中の面（ビジー状態）と、再配置中に書き込み面が変更になった場合のための待機面（ウェイト状態）とが用意されている。これら３つの状態が、サイクリックに各面を移動しており、再配置は絶えずレディな面（最新の入力画像フレーム）の画素を用いてなされる。
【００２３】
このように、レディ状態（書き込み済み）のメモリ、ビジー状態（書き込み中）のメモリ、待機状態のメモリをサイクリックに切り換えて使用するために各入力チャンネルに３面分のフレームメモリが設けられている。３面のフレームメモリを用いることで、各入力画像の非同期状態を吸収することができる。
【００２４】
具体的には、１入力画像あたり、４Ｍビットの高速ＳＲＡＭを６個使用することで、フレームメモリ３面を構成している。書き込みは、ＮＴＳＣデコーダー１０に同期した周波数（１２．２７２７ＭＨｚ）で行い、読み出しは、同時に複数の合成ストリーム（出力チャンネルや合成すべき画素数が複数ある場合）に出力を必要とするため、書き込みの数倍（例えば、同時に３合成ストリームに出力するのであれば、４倍速＝４９．０９０８ＭＨｚ）で行われる。合成ストリームについては後述する。
【００２５】
画像合成ブロック３は、合成テーブル（画素再配置のためのアドレス情報が記録されているテーブルデータ）の解釈と、フレームメモリ２０からの該当する画素の読み出し、及び、読み出した画素の合成を行う機能を有する。後で詳しく説明するが、合成テーブルは、出力フレーム画像のイメージで構成されており、この出力フレーム画像の各画素位置に、入力画像から読み出した画素を差し替え（再配置）ていくことで、最終的に出力画像を生成するものである。図１では、出力チャンネルは３チャンネルであるため、出力画像を生成する合成ストリームもＳ１，Ｓ２，Ｓ３と３つ示されている。そして、この合成ストリームに画素を再配置していくための本発明に係る画素再配置装置３０が配置される。
【００２６】
また、オーバーレイパターン発生器３１が設けられており、他の入力画像と同様にオーバーレイ画像を画像合成することができる。オーバーレイ画像の入力と、他の画像入力とは、画素の再配置や画像合成においては違いはない。従って、オーバーレイパターン発生器３１は、図１に示す位置ではなく、他の位置、例えば、合成ストリームの上流側に配置することもできる。なお、オーバーレイパターン発生器３１は必ずしも必要ではない。
【００２７】
出力画像用同期信号発生器３２は、読み出された合成テーブルを出力画像に同期させる機能を有する。合成テーブルブロック４には、合成テーブルを格納するための合成テーブルデータメモリ４０，４１（以下、データメモリと称する。）が用意される。データメモリ４０，４１の容量は、合成テーブルのデータサイズと、格納される合成テーブルの数に応じて設定することができる。後述するように、合成情報の数が６４０×４８０であり、各合成情報が３バイトで構成されるのであれば、１つの合成テーブルのデータサイズは、６４０×４８０×３=９２１，６００バイトとなる。これを基準に格納されるべき合成テーブルの数分の容量を設定することができる。
【００２８】
本実施形態では、２画素の画像合成を行う構成例であり、データメモリ４０はＡ面用として，データメモリ４１はＢ面用として用意される。夫々のデータメモリ４０，４１には、同じデータが格納される。例えば、コンパクトフラッシュ（登録商標）５に６４の合成テーブルが格納されているのであれば、その６４の合成テーブルをデータメモリ４０，４１に同じように格納させることができる。もちろん、これに限定されるものではなく、コンパクトフラッシュ（登録商標）５に１２８の合成テーブルを格納し、そのうちの６４の合成テーブルをＡ面用のデータメモリ４０に格納し、残りの６４の合成テーブルをＢ面用のデータメモリ４１に格納するようにしてもよい。
【００２９】
それぞれのデータメモリに格納された合成テーブルの内から、マイコン等により指定されたテーブルは、Ａ面、Ｂ面共に、例えば６０ＭＨｚの超高速スピードで読み出される。読み出された合成テーブルは、ＦＩＦＯバッファ３３，３４（先入れ先だしバッファ）により、出力画像に同期した形で送出される。本明細書において、データメモリ４０，４１に格納されている状態、あるいは、ここから読み出されたデータ列の部分を合成テーブルと定義することとし、ＦＩＦＯバッファ３３，３４を通過して出力画像のタイミングに同期したものを合成ストリームと定義する。
【００３０】
なお、合成テーブルは、コンパクトフラッシュ（登録商標）５を介してデータメモリ４０，４１に入力させる。合成テーブルは、パソコン等を使用して予め作成したものをコンパクトフラッシュ（登録商標）５に格納しておくことができる。コンパクトフラッシュ（登録商標）５には、例えば、６４通りの合成テーブルを格納させておくことができる。このコンパクトフラッシュ（登録商標）５内のすべての合成テーブルは、電源投入等のイベントにより、前述のデータメモリ４０，４１内の所定のエリアに転送され格納される。
【００３１】
このデータメモリ４０，４１へ格納させた多数の合成テーブルのうち、Ａ面用の合成テーブルと、Ｂ面用の合成テーブルをマイコン等で指定することで、Ａ面用・Ｂ面用の合成ストリームとして流すことができる。指定する合成テーブルを変更することで、異なる画像合成を行うことができる。なお、外部記憶媒体は、コンパクトフラッシュ（登録商標）５以外のものを使用してもよい。
【００３２】
ＮＴＳＣエンコーダ６は、画像合成部３５において合成された出力信号をＮＴＳＣ信号の形で出力する。画像合成部３５に関する詳細は後述する。ＮＴＳＣエンコーダ６は、出力チャンネルの数だけ設けられる。出力チャンネルの本数は、適宜設定することができる。
【００３３】
＜合成テーブル＞
次に、アドレス情報が記述される合成テーブルについて説明する。この合成テーブルを用いて、入力画像から任意の画素を読み出し、出力画像の任意の位置に再配置を行うことができる。まず、合成テーブルを作成するに先立ち、各入力画像の画素を予めマッピングしておく必要がある。これを図２により説明する。なお、入力画像の構成画素数は６４０×４８０であるものとして説明する。そこで、画像走査に従って、０〜６４０×４８０−１とマッピングできる。複数の画像入力に対応するには、この後にマッピングするか、別に入力画像用アドレスを付加して区別できる。図２に示す例は、連番構成のマッピングを示す。なお、ＯＶＬは、キャラクター等をオーバーレイするための原色（ＲＧＢ）指定領域によるオフセット分であり、例えば、１６ビットＲＧＢをオーバーレイに使用する場合、ＯＶＬ＝６５，５３６（＝２16）となる。
【００３４】
次に、合成テーブルの構成を図３により説明する。この図からも分かるように、合成テーブルは、出力フレーム画像と同じイメージとなっている。図３において、Ｌ１Ｐ１と表記されているのは、第1ラインの第１画素を意味している。これが１画素分の合成情報に相当する。出力画像がＶＧＡに基づくものであれば、６４０×４８０の合成情報から構成されることになる。そして、夫々の合成情報は、図２のようにマッピングされた画素のアドレス情報（画素を指定するための情報）と、合成比率情報とから構成される。このアドレス情報と合成比率情報で「合成情報」を構成する。例えば、Ｌ１Ｐ１における合成情報は、この位置に再配置するべき入力画像のアドレス情報と、そのアドレスにある画素をどのような比率で画素合成するかという合成比率の情報により構成されることになる。そして、図３に示す合成テーブルを合成ストリームとして送出し、各合成情報のアドレス情報の部分が、読み出された画素により差し替えられる。すなわち、差し替えられていくことで、最終的に出力画像が生成されるものである。
【００３５】
合成テーブルを構成する各合成情報について更に詳しく説明する。本実施形態において、合成テーブルは、３チャンネル出力に対して、独立した２つの合成テーブル（Ａ面用テーブル／Ｂ面用テーブル）を設定することができる。任意の出力のある画素の合成は、Ａ面用テーブルの該当画素の合成情報と、Ｂ面用テーブルの該当画素の合成情報を使用して行われる。なお、画像合成を行う場合の合成比率情報は、Ａ面用テーブルの当該画素に組み込まれた値は無視され、Ｂ面用テーブルの当該画素に組み込まれた値により決定される。合成比率のレベルは、適宜設定することができ、例えば、０（透明）〜７（不透明）の８段階とすることができる。従って、例えば、Ｂ面用テーブルの当該画素の合成比率が６であれば、Ａ面用テーブルの当該画素の合成比率は、自動的に７−６＝１となる。
【００３６】
合成テーブルの各構成要素は、３バイト分のデータ構成になっている。これを図４により説明する。Ｄ２３〜Ｄ２１の３ビット分は、先ほど説明したように、８段階の合成比率を表わしている。ただし、合成テーブルがＡ面用テーブルに指定された場合には、この３ビットは無効になり、Ｂ面用テーブルの合成比率情報に依存する。なお、合成比率の具体的なデータは、これに限定されるものではない。
【００３７】
Ｄ２０〜Ｄ０は、入力画像の読み出しアドレスもしくはオーバーレイ画像１６ビットカラーコードを指定する。入力画像のアドレスは、図２で説明したように、画像の左上を原点とし、右／下（テレビの走査線の要領で）方向にアドレスは上がって行き、右下の画素のアドレスは６４０×４８０−１となる。また、入力チャンネルは、６４０×４８０（ｎ−１）のオフセットで指定される。
【００３８】
例えば、入力画像２の第５画素を指定する場合は、
アドレス＝６４０×４８０×（２−１）＋４となる。
【００３９】
例えば、入力が５チャンネルであり、１６ビットカラーのオーバーレイ入力がある場合は、次のようなアドレスが指定される。
１６ビットカラー：          ０〜６５，５３５番地
入力画像１  ：    ６５，５３６〜３７２，７３５番地
入力画像２  ：  ３７２，７３６〜６７９，９３５番地
入力画像３  ：  ６７９，９３６〜９８７，１３５番地
入力画像４  ：  ９８７，１３６〜１，２９４，３３５番地
入力画像５  ：１，２９４，３３６〜１，６０１，５３５番地
無効        ：１，６０１，５３６〜２，０９７，１５１番地
なお、このようなアドレッシングであれば、入力チャンネルの増設に対して、容易に対応することができる。すなわち、入力チャンネルの増設には、上方へのアドレッシングを追加していけばよく、オーバレイ入力のアドレスを変更することなく、対応可能となる。
【００４０】
＜画像合成装置の詳細＞
本発明に係る画像合成装置は、パーソナルユースや業務用途向けの低コストで高速にかつ自在に画像合成可能な装置を提供している。画像合成を行うための合成情報は、既に説明したように合成テーブルの形で提供される。この合成テーブルは、予めパソコン等のコンピュータを用いて、いくつかのパターンを作成しておくことができ、外部メディア（図１ではコンパクトフラッシュ（登録商標）５）を経由して合成テーブルデータメモリ４０，４１に格納しておくことができる。外部メディアから、データメモリ４０，４１へのデータ転送は、例えば、装置への電源投入、リロードスイッチの押し下げ等をトリガに行うことができる。合成テーブルは、行いたい画像合成の内容に合わせて多数の合成テーブルをデータメモリ４０，４１に用意しておくことができる。どの合成テーブルを使用するかは、例えば、マイコン等を用いて切り換えることができる。これは固定的であってもよいし、時間的制御で切り替えることも可能である。かかる切り替え制御により、ＤＶＥなど、合成の動きを表現することができる。
【００４１】
画像合成を行う場合、合成テーブルデータメモリ４０，４１は出力画像の１画素について、合成したい画素数の面数が用意される。図１の実施形態では、合成したい画素数は２つであり、データメモリ４０，４１もＡ面用、Ｂ面用の２つが用意される。例えば、出力画像の任意の画素を任意の３画素で合成する場合には、３面（Ａ面、Ｂ面、Ｃ面）が用意される。
【００４２】
図１では、各出力チャンネルについて、合成ストリームとしてＳ１，Ｓ２，Ｓ３が示されている。概念的には、図５に示すように、２画素の合成を行う場合には、２つの合成ストリームＳ１−１，Ｓ１−２が存在するものと考えることができる。すなわち、Ａ面用のデータメモリ４０からの合成ストリームＳ１−１と、Ｂ面用のデータメモリ４１からの合成ストリームＳ１２の２つである。
【００４３】
このように、合成したい画素数の面数が必要とされる。その理由は、出力１画素について、合成される入力画像の画素の各アドレスを指定する必要があるからである。なお、図１，５では、２つの画素を合成するために、２つの面（Ａ面、Ｂ面）を用いているが、これは物理的に全く別のデータメモリを使用する必要はない。例えば、その１面から時分割で高速に２つの合成テーブルを読み出すことで、仮想的に２面が存在するように扱うことも可能である。
【００４４】
仮に、物理的に別のデータメモリを２面分用意すれば、出力チャンネルの設定数に対応して、Ｉ／Ｏが増加するという問題がある。すなわち、本実施形態の場合、合成テーブルを構成する合成情報は３バイトで構成されているから、３バイト幅の合成ストリームとなる。従って、出力チャンネルが３チャンネルであれば、３バイト×２面×３チャンネル＝１８バイト（＝１４４本）のＩ／Ｏが必要となる。そこで、Ｉ／Ｏを削減するため、１面分のデータメモリから、高速で合成テーブルを読み出すようにすることが好ましい。
【００４５】
以下の説明では、物理的に２面のデータメモリ４０，４１を用意した場合の構成を説明する。データメモリ４０，４１からの合成テーブルデータの読み出しは、出力画像の垂直同期信号と水平同期信号に同期させて行う。これは、図１に示す出力画像用同期信号発生器３２の機能によるものである。データメモリ４０，４１にシンクロナスＤＲＡＭを用いることで、非常に高速で合成テーブルのデータを読み出すことができる。従って、出力画像の一水平同期期間に２つ以上の合成テーブルのデータの各１水平期間分（６４０画素分の情報）を読み出すことができる。出力画像をＮＴＳＣ方式の画像とすれば、一水平同期期間は６３．５μｓであるから、６４０画素分のデータ読み出しは４〜５回できることになる。
【００４６】
高速に読み出されたＡ面・Ｂ面の合成テーブルのデータは、後段の速度変換部で出力画像と同期した形に速度制御される。この速度変換の機能は、図１に示すようにＦＩＦＯバッファ３３，３４を用いることで実現することができる。以上の点は、図６のタイミングチャートにより表わされている。すなわち、出力画像の１水平期間内に、Ａ面のデータメモリ４０から出力３チャンネル分の合成テーブルのデータ（Ｃ１ＴＸ，Ｃ２ＴＹ，Ｃ３ＴＺで示されており、それぞれ１水平期間の６４０画素分のデータ）が高速で読み出される。また、Ｂ面のデータメモリ４１からも同様に出力３チャンネル分のデータ（Ｃ１Ｔｘ，Ｃ２Ｔｙ，Ｃ３Ｔｚ）が高速で読み出される。この１水平期間分の合成テーブルデータが、ラインバッファであるＦＩＦＯバッファ３３，３４に格納される。そして、このＦＩＦＯバッファ３３，３４により速度変換がされ、出力画像と同期した形でＦＩＦＯバッファ３３，３４から送出される。送出されるときの、Ａ面用・Ｂ面用の６４０画素分のデータの長さは、水平有効映像期間と一致する様に引き伸ばされることになる。図６では、便宜上、合成テーブルの読み出しと、速度変換後の状態を同じ時間軸上で描いているが、もちろん、速度変換されてデータが送り出されるのは、実際には約１水平期間遅れとなる。図６において、出力チャンネル１におけるＡ面の合成ストリームがＳ１−１で示され、Ｂ面の合成ストリームがＳ１−２により示される。他の出力チャンネルについても同様である。このように、合成テーブルは、１水平期間のデータが順次送り出され、合成ストリームとなる。
【００４７】
さらに、この合成ストリームについての詳細な具体例を図６Ａにより説明する。ここには、１合成情報分（＝２４ビット）のデータが示されている。前述のように、合成テーブルはＡ面・Ｂ面共に高速（６０ＭＨｚ）で読み出される。各合成ストリームは、２４ビット（＝３バイト）幅のストリームであるが、出力チャンネル数が増えるとＩ／Ｏの数もそれに応じて増加するので、図６Ａ（ａ）に示すように、Ａ面とＢ面とを１２．２７２７ＭＨｚ内（ＮＴＳＣの１画素期間に相当）で時間的多重を行う。これにより、Ｉ／Ｏの本数を半分にすることができる。
【００４８】
更に、図６Ａ（ｂ）に示すように、上位ワードＡＬ，ＢＬ（１６ビット）と下位ワードＡＵ，ＢＵ（１６ビット）に分けて時間的多重を行う。この場合、合成情報は２４ビットであるので、未使用のビットが生じる。このビットを後述の画素再配置装置３０による再配置がされたか否かの管理バイトとして使用できる。図６Ａ（ｂ）のようにすれば、合成ストリームの速度は４倍となり、Ｉ／Ｏを更に減らすことができる。
【００４９】
このようにして送り出された合成ストリームにより、各入力画像のチャンネルにおいて、合成テーブルに記述されているアドレス情報により、レディ状態のフレームメモリ２０から該当画素を読み出す動作を連続して行う（アドレス発生部３０Ａ参照）。すなわち、図７に示す画素再配置装置３０により、画素の再配置が順次されていく。図１では、画素再配置装置３０は、１入力画像につき１つ（１出力チャンネルにつき）が図示されているが、図５に示すように、合成ストリームが２つ存在するので、夫々に対して、合成ストリームの数に対応した数の画素再配置装置３０が設けられる。
【００５０】
図７に示すように、画素再配置装置３０において、フレームメモリ２０から画素を読み出す場合には、高速でかつランダムにアドレッシングがなされる。従って、フレームメモリ２０は高速ＳＲＡＭにより構成される。更に、画素の読み出しは、アドレッシングがヒットしていようがいまいが、合成テーブルのアドレス情報をフレームメモリ２０に対して与える。すなわち、フレームメモリ２０から読み出される画素が必要か否かにかかわらず、常に画素を読み出すようにすることで、高速読み出しを実現する。
【００５１】
すなわち、画素ヒット判別部３０Ｂにより、画素のアドレスがヒットしていないと判別された場合であっても、何らかの画素をフレームメモリ２０から読み出す。この場合に読み出す画素のアドレスは、基本的にはどのアドレスでも良いが、例えば、画像の左上のアドレス（その入力画像の最小物理アドレス）を指定することができる。なお、このようにヒットしていないにも関わらず読み出される画素は、図７のスイッチ（画素挿入部３０Ｃの機能）の制御により出力画像として再配置されることはない。かかる観点から、どのアドレスの画素を読み出してもよい。このように、読み出された画素を出力するか否かを制御する画素出力制御部の機能が設けられている（画素挿入部３０Ｃ参照）。
【００５２】
ＳＲＡＭであるフレームメモリ２０から高速読み出しを行おうとすると、読み出しを制御するＯＥ＃（アウトプットイネーブル制御ライン）を制御して、データを読み出したり読まなかったりすることは制御的に困難である。そこで、ＯＥ＃制御ラインは、絶えずＬ（ロー）レベルに固定しておいて、アドレスのみを順次切り換えて所望のアドレスの画素を読み出している。このように、ヒット画素と、不必要画素の両方を読み出すようにすることで、高速読み出しを実現している。
【００５３】
前述のように、合成ストリームは、合成したい画素数分が存在する。例えば、最大２画素の合成であれば、２合成ストリーム分の処理が、１画素期間内（例えば、ＮＴＳＣでは１２．２７２７ＭＨｚ）に必要である。出力画像のチャンネル数が２つになると、更に、１画素期間内に読み出す画素数が増えることになる。このような高速での処理が必要とされるので、上述のようなアドレッシング情報がヒットしているか否かに関わらず画素を読み出す構成は非常に有効な方法である。
【００５４】
１画素期間内に処理することで、すべての画素読み出しと画像合成（これは後述）が実時間で行われるため、画像を最終的に出力する直前に、更にフレームメモリを用意し、出力画像が構築されたフレームを順次出力する構成を採用する必要はない。かかる点は、入出力間遅延を短縮する上で非常に重要な事項である。
【００５５】
なお、合成ストリームの速度を４倍とする例を既に説明したが、これはＩＣ間を渡るＩ／Ｏ数を減らすために行っており、画素再配置装置３０では、逆に１２．２７２７ＭＨｚの速度に落とした上で再配置を行い、再配置を行った後、再び４９．０９０８ＭＨｚの高速で次段にデータが渡されていく。
【００５６】
以上説明してきたように、画像入力をＮチャンネル通過してきた合成ストリームは、オーバーレイを行うアドレス以外は、すべて入力画素に置き換わっている。４：２：２方式の場合は、アドレッシングデータをＲＧＢマトリクス回路（原色／色差変換）を通過させて得られた輝度／色差を画像データとして差し替え、ＲＧＢ方式の場合は、アドレッシングデータをそのまま画素データとして、差し替えることでオーバーレイを実現する（図８参照）。データを差し替えるか否かの制御は、画素挿入部３０Ｃ内のスイッチの切り替え制御により行われる。
【００５７】
以上のように、画像合成部３５（図１参照）の直前まで到達した合成ストリームは、そのすべてのアドレスが、画素に置き換わっている。すなわち、画素データ＋合成比率の形になっている。そこで、図９に示すように、合成ストリームＳ１−１から合成比率情報を抽出すると共に、合成ストリームＳ１−２からも合成比率情報を抽出する。そして、合成ストリームＳ１−１の画素Ｇ１と合成ストリームＳ１−２の同じ位置の画素Ｇ２を合成するにあたり、画素Ｇ１の合成比率Ｋ１と、画素Ｇ２の合成比率Ｋ２を用いて、乗算器によりＧ１×Ｋ１とＧ２×Ｋ２を演算した後、加算器で両者を加算することで、合成した出力画素が得られる。すなわち、合成ストリームＳ１−１により生成された画像と、合成ストリームＳ１−２により生成された画像を重ね合わせることで合成された出力画像が得られる。合成ストリームが３つ以上ある場合も同じように考えることができる。
【００５８】
なお、既に説明したが、合成ストリームＳ１−２の合成比率Ｋ１のみを有効にし、合成ストリームＳ１−１の合成比率Ｋ２を無効にすることもできる。この場合は、合成ストリームＳ１−２側の合成比率は、例えば、１００％−Ｋ１で求めることができる。
【００５９】
以上のような構成によれば、各入力画像の画素を再配置するときは、画素の合成処理は行わず、画素の再配置が終了した後の最終段階で画像合成が行われる。かかる構成によれば、入力チャンネルを容易に拡張することができる。また、合成ストリームを出力画像に同期して流すことにより、画像を出力する手前で再度フレームバッファなどで出力の同期をとる必要はなく、このために、入出力間の画像の遅延を短縮できる。
【００６０】
また、フレームメモリ２０の時間的アクセス制限を合成画素数と、出力チャンネル数に振り分けて利用できるため、画像合成装置の使用の自由度を増すことができる。例えば、フレームメモリ２０を１００ＭＨｚで動作可能な高速ＳＲＡＭとすれば、出力画素速度（１２．２７２７ＭＨｚ）あたり８回の読み出しが可能となる。この８回を自由に振り分けを行うことができる。また、同一入力の画素どうしは合成しないという条件をつけると、より多くのチャンネルの画像出力を実現することができる。
【００６１】
また、合成ストリームのアドレス情報と画素の差し替えによる接続Ｉ／Ｏの低減を図ることができる。さらに、入力画像バッファへの読み出しのアクセスは、画素のヒット／ノーヒットに関わらず常時行うようにし、合成情報のアドレッシングを画素データに差し替えるか否かにより行っている。これにより、入力画像用のバッファに対して最速のアクセスが可能となる。
【００６２】
＜別実施形態＞
本実施形態では、画像入力方式の一例としてＮＴＳＣを説明したが、これ以外の任意の画像入力方式の場合にも本発明は、応用できるものである。また、本実施形態では、画素数について６４０×４８０の画像を説明したが、これ以外の画素数の場合にも本発明は、適用できるものである。
【図面の簡単な説明】
【００６３】
【図１】画像合成装置の全体構成を示すブロック図
【図２】入力画像のマッピングを示す図
【図３】合成テーブルの構成を示す図
【図４】合成テーブルの１合成情報のデータ構造を示す図
【図５】合成ストリームの生成過程を説明する図
【図６】合成テーブルデータの読み出しタイミングを説明する図
【図６Ａ】合成ストリームの詳細な具体例を示す図
【図７】画素再配置装置による画素読み出し動作を説明する図
【図８】オーバレイの再配置を説明する図
【図９】画像合成部における画像合成の方法を示すブロック図
【図１０】３面のフレームメモリの切り替え構成を示す図
【符号の説明】
【００６４】
１        ＮＴＳＣ入力ブロック
２        メモリブロック
３        画像合成ブロック
５        コンパクトフラッシュ（登録商標）
６        ＮＴＳＣエンコーダ
１０      ＮＴＳＣデコーダー
２０      フレームメモリ（入力メモリ）
３０      画素再配置装置
３０Ａ    読み出しアドレス発生部
３０Ｂ    画素ヒット判別部
３０Ｃ    画素挿入部
３１      オーバーレイパターン発生器
３２      出力画像用同期信号発生器
３３      ＦＩＦＯバッファ
３４      ＦＩＦＯバッファ
３５      画像合成部
４０      合成テーブルデータメモリ
４１      合成テーブルデータメモリ
【図１】
2006014201.tif 000003
【図２】
2006014201.tif 000004
【図３】
2006014201.tif 000005
【図４】
2006014201.tif 000006
【図５】
2006014201.tif 000007
【図６】
2006014201.tif 000008
【図６Ａ】
2006014201.tif 000009
【図７】
2006014201.tif 000010
【図８】
2006014201.tif 000011
【図９】
2006014201.tif 000012
【図１０】
2006014201.tif 000013