(57)【特許請求の範囲】
【請求項１】
境界部分に互いに重複する部分画像を有する第１の画像と第２の画像とを当該境界部分で貼り合わせ処理を行う画像合成方法であって、
上記第１の画像信号の走査線に対してこれを挟み込む上記第２の画像信号の隣り合う走査線における隣接周辺の４個の画素の信号に対して、水平垂直ずれに係る水平方向の補間係数及び垂直方向の補間係数の乗算を行う補間演算と回転ずれに係る水平方向の補間係数及び垂直方向の補間係数の乗算を行う補間演算とを施して、上記第１の画像信号の走査線における画素と整合した位置関係にある補間画素を生成して新たな第２の画像信号の走査線を生成することにより、上記第１の画像と第２の画像との水平方向及び垂直方向の位置ずれ及び回転方向の位置ずれを補正する位置ずれ補正ステップと、
上記位置ずれ補正後の各画像を境界部分で貼り合わせるように合成する画像合成ステップと、
を備えたことを特徴とする画像合成方法。
【請求項２】
境界部分に互いに重複する部分画像を有する第１の画像と第２の画像とを当該境界部分で貼り合わせ処理を行う画像合成装置であって、
上記第１の画像信号の走査線に対してこれを挟み込む上記第２の画像信号の隣り合う走査線における隣接周辺の４個の画素の信号に対して、水平垂直ずれに係る水平方向の補間係数及び垂直方向の補間係数を乗算する第１の補間演算を施して、上記第１の画像信号の走査線における画素と整合した位置関係にある補間画素を生成して新たな第２の画像信号の走査線を生成することにより、上記第１の画像と第２の画像との水平方向及び垂直方向の位置ずれを補正する第１の位置ずれ補正手段と、
上記第１の画像信号の走査線に対してこれを挟み込む上記第２の画像信号の隣り合う走査線における隣接周辺の４個の画素の信号に対して、回転ずれに係る水平方向の補間係数及び垂直方向の補間係数を乗算する第２の補間演算を施して、上記第１の画像信号の走査線における画素と整合した位置関係にある補間画素を生成して新たな第２の画像信号の走査線を生成することにより、上記第１の画像と第２の画像との回転方向の位置ずれを補正する第２の位置ずれ補正手段と、
上記第１及び第２の位置ずれ補正後の各画像を境界部分で貼り合わせるように合成する画像合成手段と、
を備えたことを特徴とする画像合成装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、複数の画像を貼り合わせ処理することにより高画質かつ高視野の画像を得る画像合成方法及び画像合成装置に関する。
【０００２】
【従来の技術】
デジタルカメラ等で撮像された複数の画像を記録媒体に記録し、該記録媒体に記録された画像をパソコン等で読み出して、パソコンにて複数の画像を１枚の画像に画像合成することにより高画質の画像や高視野の画像を得る、いわゆる画像合成方法が提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、デジタルカメラ等で撮像された画像は、画像合成のため境界部分に互いに重複する部分画像を有するように撮像した場合でも、
水平方向及び垂直方向の位置ずれや回転方向の位置ずれが発生しており、画像合成後の画像は必ずしも画質の良いものではなかった。
【０００５】
そこで、本発明の目的は、上述した問題点を解決すべく高画質かつ広視野な画像を容易に得ることができる画像合成方法及びこの方法を用いた画像合成装置を提供することにある。
【０００６】
【課題を解決するための手段】
前述の課題を解決するため、本発明による画像合成方法は、境界部分に互いに重複する部分画像を有する第１の画像と第２の画像とを当該境界部分で貼り合わせ処理を行う画像合成方法であって、上記第１の画像信号の走査線に対してこれを挟み込む上記第２の画像信号の隣り合う走査線における隣接周辺の４個の画素の信号に対して、水平垂直ずれに係る水平方向の補間係数及び垂直方向の補間係数の乗算を行う補間演算と回転ずれに係る水平方向の補間係数及び垂直方向の補間係数の乗算を行う補間演算とを施して、上記第１の画像信号の走査線における画素と整合した位置関係にある補間画素を生成して新たな第２の画像信号の走査線を生成することにより、上記第１の画像と第２の画像との水平方向及び垂直方向の位置ずれ及び回転方向の位置ずれを補正する位置ずれ補正ステップと、上記位置ずれ補正後の各画像を境界部分で貼り合わせるように合成する画像合成ステップと、を備えたことを特徴とする。
また、本発明による画像合成装置は、境界部分に互いに重複する部分画像を有する第１の画像と第２の画像とを当該境界部分で貼り合わせ処理を行う画像合成装置であって、上記第１の画像信号の走査線に対してこれを挟み込む上記第２の画像信号の隣り合う走査線における隣接周辺の４個の画素の信号に対して、水平垂直ずれに係る水平方向の補間係数及び垂直方向の補間係数を乗算する第１の補間演算を施して、上記第１の画像信号の走査線における画素と整合した位置関係にある補間画素を生成して新たな第２の画像信号の走査線を生成することにより、上記第１の画像と第２の画像との水平方向及び垂直方向の位置ずれを補正する第１の位置ずれ補正手段と、上記第１の画像信号の走査線に対してこれを挟み込む上記第２の画像信号の隣り合う走査線における隣接周辺の４個の画素の信号に対して、回転ずれに係る水平方向の補間係数及び垂直方向の補間係数を乗算する第２の補間演算を施して、上記第１の画像信号の走査線における画素と整合した位置関係にある補間画素を生成して新たな第２の画像信号の走査線を生成することにより、上記第１の画像と第２の画像との回転方向の位置ずれを補正する第２の位置ずれ補正手段と、上記第１及び第２の位置ずれ補正後の各画像を境界部分で貼り合わせるように合成する画像合成手段と、を備えたことを特徴とする。
【０００７】
【作用】
本発明では、境界部分に互いに重複する部分画像を有する第１の画像と第２の画像とを当該境界部分で貼り合わせ処理を行う際に、上記第１の画像信号の走査線に対してこれを挟み込む上記第２の画像信号の隣り合う走査線における隣接周辺の４個の画素の信号に対して、水平垂直ずれに係る水平方向の補間係数及び垂直方向の補間係数の乗算を行う補間演算と回転ずれに係る水平方向の補間係数及び垂直方向の補間係数の乗算を行う補間演算とを施して、上記第１の画像信号の走査線における画素と整合した位置関係にある補間画素を生成して新たな第２の画像信号の走査線を生成することにより、上記第２の画像との水平方向及び垂直方向の位置ずれ及び回転方向の位置ずれを補正するようにしている。
【０００８】
【実施例】
次に、本発明の実施例について図面を参照しながら説明する。
図１〜図３は本発明の一実施例を示す図である。
ＮＴＳＣ方式で３８万画素の通常のＣＣＤをイメージャーとして用い、４個のイメージャーにより上下左右４領域の画像を得、これらを結合した図が図１に示されている。本例では、各分割画像は水平方向：７６８画素×垂直方向：４８０ラインであり、総合的には水平方向：１５３６画素、垂直方向：９６０ラインとなって、水平方向の解像度は改善される。しかしながら、実際のＮＴＳＣ方式では、有効ライン数は４８０ライン、１フィールドラインは２４０ラインで良く、イメージャー一枚当り４８０ラインから１２０ラインを生成すれば良い。つまり、４ラインで１ラインを生成すれば良い。図２に示すように、４本のライン情報Ａ〜Ｄから１本のライン情報を生成するために、ライン情報ＣとＤは用いずに奇数ラインは１ライン目はライン情報ＡとＢから生成し、２ライン目を次のライン情報ＡとＢから生成する。また、インターレース方式では、ライン情報ＡとＢは用いず、偶数ラインの各ライン情報はライン情報ＣとＤを用いて生成される。このとき、インターレースのため、偶数フィールドを１ラインずつずらせ、奇数ラインと偶数ラインの読み出しは混合画素が互い違いにずれるように行われる。
【０００９】
図３には、２個のイメージャーＩ１とＩ２の出力を用いて混合出力を得るときのタイミングチャートが示されている。他の２個のイメージャーＩ３、Ｉ４も同様である。これらのイメージャの駆動は、後述する図４のＴＧ（タイミングジェネレータ）６Ｂからの信号によって行われている。水平転送パルスに同期して、イメージャーＩ１の出力がライン情報ＡとＢの平均ＡＢ＝（Ａ＋Ｂ）／２、ライン情報ＣとＤの平均ＣＤ＝（Ｃ＋Ｄ）／２として求められる。ここで、Ａ〜Ｄのサフィックス番号は順番を示す。これらイメージャーＩ１とＩ２の出力を交互に読み出し、ライン情報ＣとＤは廃棄し、必要なライン情報を生成する。したがって、きわめて簡単な構成により、表示系との整合が図られた合成画像が得られる
。
【００１０】
図４は、本発明の一実施例を示す画像合成装置の構成ブロック図である。
本実施例では、上記例で廃棄していた図２のライン情報ＣとＤを廃棄せず、図５に示すように、情報ＡＢとＣＤから新たな１ライン目を生成する。その際、ライン情報ＡＢとライン情報ＣＤの相関を検出し、相関が強いときには両情報の平均値を新たなライン情報とすることによってノイズリダクション効果を得ている。この処理は、奇数ライン及び偶数ラインについて行われる。平均処理のためには、図６に示すように、１Ｈディレー部８と加算器１１及び１／２乗算器１２から成る平均回路を用いることができる。
【００１１】
図７には、かかる平均化処理動作のタイミングチャートが示されている。水平同期信号ＨＳＹＮＣに同期して、イメージャー（ＣＣＤ）からのｍライン目のデータＡとＢの平均データＡＢ（ｍ）、ＣＤ（ｍ）、続いて（ｍ＋１）ライン目の平均データＡＢ（ｍ＋１）…が出力され、１Ｈディレー部８によって１Ｈ遅延された平均データがＣＤ（ｍ−１）、ＡＢ（ｍ）、ＣＤ（ｍ）のように出力される。したがって、平均処理（ＣＤ＋ＡＢ）／２、（ＡＢ＋ＣＤ）／２、（ＣＤ＋ＡＢ）／２が出力として得られることになる。
【００１２】
図４を参照すると、４個（４枚）のイメージャー（ＣＣＤ）１Ａ，１Ｂ，１Ｃ及び１Ｄは、それぞれ一枚の画像を上下左右に分割した左上部、右上部、左下部及び右下部の画像領域を分担しており、ＴＧ（タイミングジェネレータ）６Ｂによって駆動される各イメージャーの出力は、Ｓ／Ｈ＆ＡＧＣ部２Ａ〜２Ｄでそれぞれサンプルホールドされ、ＡＧＣ（自動利得制御）された後、Ａ／Ｄコンバータ３Ａ〜３Ｄでデジタル信号に変換される。
【００１３】
Ａ／Ｄコンバータ３Ａ〜３Ｄからの各出力は、撮像プロセス部４Ａ〜４Ｄで、例えばγ処理、アパーチャ処理、色分離処理等の所定の撮像プロセスが施されて、それぞれフィールドメモリ５Ａ〜５Ｄに記憶される。フィールドメモリ５Ａ〜５Ｄの書き込み及び読み出しは、メモリコントロール部６Ａからの制御信号により制御される。
【００１４】
スイッチ７Ａと７Ｂは、一枚の画像の上半分、下半分等の必要とする画像領域対応のデータをフィールドメモリ５Ａ〜５Ｄから選択的に出力するもので、切換制御信号ＣＯＮＴ１が“Ｌ”のとき上半分領域が指定され、“Ｈ”のとき下半分領域が指定されて対応データが読み出される。すなわち、切換制御信号ＣＯＮＴ１が“Ｌ”のときには、フィールドメモリ５Ａと５Ｂからのデータが切換スイッチ７Ａと７Ｂから出力され、切換制御信号ＣＯＮＴ１が“Ｈ”のときにはフィールドメモリ５Ｃと５Ｄからのデータが出力される。
【００１５】
切換スイッチ７Ａと７Ｂからの出力は、切換スイッチ９ＡのＬ端子とＨ端子に入力されるとともに、１／２Ｈディレー部８Ａと８Ｂで１／２Ｈ遅延されて切換スイッチ９ＢのＬ端子とＨ端子に送出される。切換スイッチ９Ａと９Ｂは、一画面の左半部と右半部領域を指定、選択出力するもので、切換制御信号ＣＯＮＴ２が“Ｌ”のとき左半部領域が指定され、“Ｈ”のとき右半部領域が指定されて選択出力される。すなわち、切換制御信号ＣＯＮＴ２が“Ｌ”のときには切換スイッチ７Ａの出力と、該出力が１／２Ｈデイレー部８Ａで１／２Ｈ遅延された出力とが選択され、加算器１１で加算された後、１／２乗算器１２で１／２が乗算されて平均化処理が施される。一方、切換制御信号ＣＯＮＴ２が“Ｈ”のときには、  切換スイッチ７Ｂの出力と、該出力が１／２Ｈディレー部８Ｂで１／２遅延された出力とが選択され、同様に、加算器１１と１／２乗算器１２で平均化処理が施される。
【００１６】
相関検出部１０は、切換スイッチ９Ａと９Ｂの出力の相関、つまり、隣り合うライン間の相関を検出し、相関が高いときには、１／２乗算器１２からの出力である上記平均化処理されたデータを、また相関が低いときには平均化処理されない切換スイッチ９Ａからのデータを選択すべく、切換スイッチ１３を切り換え制御せしめる。こうすることにより、相関の低いデータ（横線のある画像）を平均化処理することによる垂直解像度の劣化を防止できるとともに、相関の高いデータに対しては平均化処理することによってノイズリダクションによる画質の改善を図ることができる。切換スイッチ１３の出力は、ＮＴＳＣ用エンコーダ１４で、エンコード処理され、Ｄ／Ａコンバータ１５でアナログ信号に変換されて、ビデオ出力が得られる。
【００１７】
図８には、上述図１における切換スイッチ７Ａと７Ｂによるフィールドメモリ５Ａ〜５Ｄの選択出力の動作タイミングチャートが示されている。１フィールド分のタイミングに相当する垂直同期信号ＶＳＹＮＣに同期して、切換制御信号ＣＯＮＴ１が“Ｌ”と“Ｈ”交互に変化し、それに伴ってフィールドメモリ５Ａ，５Ｂと５Ｃ，５Ｄの出力が図示の如く選択される。
【００１８】
図９には、上述切換スイッチ９Ａ，９Ｂによるフィールドメモリ５Ａと５Ｂからの出力の選択動作及び平均化処理出力の関係が示されている。フィールドメモリ５Ｃと５Ｄからの出力についても同様であるので、本図では省略してある。水平同期信号ＨＳＹＮＣに同期してフィールドメモリ５Ａ，５Ｂからは、図示のようにデータが出力されるが、上述ノイズリダクション効果を得るため、１水平同期信号周期内に２ライン分を読み出している。
【００１９】
切換制御信号ＣＯＮＴ２が”Ｌ”では左半部のデータが選択され、フィールドメモリ５Ａの出力と、該出力が１／２Ｈ遅延された出力とが切換スイッチ９Ａと９Ｂを通り、加算器１１と１／２乗算器１２による平均化処理データが得られる。一方、切換制御信号  ＣＯＮＴ２が“Ｈ”では右半部のデータが選択され、フィールドメモリ５Ｂの出力と、該出力が１／２Ｈ遅延された出力とが切換スイッチ９Ａと９Ｂを通り、同様に平均化処理データが得られる。
【００２０】
上述画像合成装置では、所定位置に配設された複数個のイメージャーからの画像データを電気的に合成して一枚の画面画像を生成しているが、イメージャーを互いに高精度の関係で配設することは困難であり、隣り合うイメージャー配設関係がずれることは避けられない場合が多い。
【００２１】
本発明の次の実施例は、かかるイメージャー配設関係のずれを補償するものでなおかつ高画質を維持するための画像合成装置である。
例えば、図１０に示すように、左上部領域を分担するイメージャーＩA と右上部領域を分担するイメージャーＩB について、イメージャーＩB が水平方向及び垂直方向にずれたときには、このずれを補償する必要がある。図中、白丸がイメージャーＩAからの画素データを、黒丸がイメージャーＩB からの画素データを示し、三角印が補間による補償後の画素データを示す。この補償された画素データは、隣接周辺の４つの画素データに基づく補間により得られる。
【００２２】
ＮＴＳＣ方式では、イメージャー出力画像は図１１（Ｂ）に示すようにアスペクト比は３：４、１画素のアスペクト比は２．４：１となり、上述の例では、１フィールドから１２０ライン生成すれば良い。ここで、同図（Ａ）のように、ライン情報Ｃ，Ｄを廃棄すると、補間に用いる周辺の４画素データの垂直方向の距離は４．８となり、距離が長くなって補間精度が劣化する。
【００２３】
そこで、本実施例では、画素データＣ，Ｄを廃棄せず、補間に用いる基礎データとして用いることにより補間精度を上げ、高画質化を図っている。
【００２４】
図１２と図１３は、本実施例による画像合成装置の構成ブロック図を示し、図１２のイメージャー（ＣＣＤ）１Ａ〜１Ｄ、Ｓ／Ｈ＆ＡＧＣ部２Ａ〜２Ｄ、Ａ／Ｄコンバータ３Ａ〜３Ｄ、撮像プロセス部４Ａ〜４Ｄ、切換スイッチ７Ａと７Ｂ、１／２Ｈデイレー部８Ａと８Ｂ及び切換スイッチ９Ａと９Ｂは、図４の構成と同様であり、切換スイッチ９Ａ，９Ｂの出力側＃Ａ、＃Ｂと、エンコーダ１４の入力側＃Ｃ間に、図１３に示すような補間回路が挿入される。
【００２５】
切換スイッチ９Ａからの出力であるフィールドメモリ５Ａからの出力と、切換スイッチ９Ｂからの出力であるフィールドメモリ５Ａからの１／２Ｈデイレー出力は、１クロック（１ＣＬＫ）ディレー部１６Ａ，１６Ｂと乗算器１７Ａ，１７Ｃに供給される。このとき、補間処理を説明する図１４において、切換スイッチ９Ａと９Ｂからの出力が、図１４の画素データ▲１▼と▲３▼に相当し、１ＣＬＫディレー部１６Ａと１６Ｂからの出力が画素データ▲２▼と▲４▼にそれぞれ相当する。
【００２６】
乗算器１７Ａと１７Ｂは、周知のように画素データ▲１▼と▲２▼に対して、図１４に示す距離係数Ｋｘと１−Ｋｘをそれぞれ乗算し、乗算結果が加算器１８Ａで加算されて、図１４のＢ位置の補間画素データが得られる。同様に、乗算器１７Ｃと１７Ｄは、画素データ▲３▼と▲４▼に対して、距離係数Ｋｘと１−Ｋｘを乗算し、乗算結果が加算器１８Ｂで加算されて、図１４のＡ位置の補間画素データが得られる。続いて加算器１８Ａと１８Ｂの出力は、それぞれ、乗算器１９Ａと１９Ｂで距離係数Ｋｙと１−Ｋｙが乗算され、乗算結果が加算器２０で加算されて、求めるべき補間データ（図１４の黒丸位置）が得られ、図１２のエンコーダ１４に出力されることになる。
【００２７】
図１５には、図１２の切換制御信号ＣＯＮＴ１により動作する切換スイッチ７Ａと７Ｂを介してフィールドメモリ５Ａ〜５Ｄからの読み出し出力のタイミングチャートが示されている。このタイミングチャートは図８と実質的に同一である。また、図１６には、図１２の切換制御信号ＣＯＮＴ２により切換スイッチ９Ａと９Ｂを介してフィールドメモリ５Ａ，５Ｂと、１／２Ｈディレー部８Ａ，８Ｂの出力のタイミングチャートが示されている。
【００２８】
図１７は、本発明の更に他の実施例を説明するための図で、先の実施例が水平方向と垂直方向のイメージャー配設位置のずれを補償するのに対して、隣接イメージャーの配設関係が角度θだけずれている場合に補償を行う実施例である。
同図（Ａ）に示すように、２つのイメージャーでの配設位置が角度θだけ回転ずれがある場合に得られる画像を補償するため、同図（Ｂ）に示すように、一旦メモリに記憶された画像データを角度θだけ斜め方向に読み出す。すなわち、同図（Ｂ）において、実線は回転ずれのあるイメージャー出力でメモリに記憶されている画像を示し、被写体画像もθだけ傾斜している画像データがメモリライトエリアに記憶されている。この被写体画像を回転ずれのない状態にするには、メモリからの読み出しを同図の矢印で示す方向にθだけ傾けて読み出すようなメモリリードエリアとすれば良い。このとき、読み出し方向には画素データが存在しないから、読み出し方向に位置すべき画素データを、現存する画素データから補間により生成しなければならない。
【００２９】
図１８は、この補間処理を説明するための図で、白丸で示す４つの現存する画素データ（メモリライト画素データ）から、読み出し方向上にある黒丸で示す画素データを生成するには、図１４と同様に、距離係数Ｋｘ，Ｋｙ，１−Ｋｘ  ，１−Ｋｙを用いて補間により得られる。このときにも、図１１と同様垂直方向のラインデータの補間の際には、ライン情報（ＣＤ）を用いて行う。
【００３０】
図１８のように得られた読み出し方向の補間画素データに対応するアドレスが回転ずれ補償には必要である。この回転制御を行うために必要なアドレスを得るためのアドレス変換の原理を図１９を参照して説明する。図１９は、細線で示される原画を、θだけ回転して斜め読み出し（走査）による太線画像を得る際のアドレス位置関係を示している。図中、白丸はメモリに記憶された実画素を示し、黒丸はメモリから読み出す仮想画素を示す。各アドレス位置Ｐ（００），Ｐ（１０），Ｐ（２０），Ｐ（０１），Ｐ（１１），Ｐ（２１），Ｐ（０２），Ｐ（１２），Ｐ（２２）対応の画素データがフィールドメモリに書き込まれており、これらアドレス位置の画素データを用いて、位置Ｐ（００）を中心にしてθだけ回転した後の太線で示す対応アドレス位置Ｑ（１０），Ｑ（２０），Ｑ（０１），Ｑ（１１），Ｑ（２１），…を求め、アドレス信号Ａｄｄとしてフィールドメモリに送出する。
【００３１】
例えば、図１９におけるアドレス位置Ｑ（１０），Ｑ（２０），Ｑ（０１），Ｑ（１１）仮想画素アドレスは、図示の関係から次のようにして求まる。
0003632861.tif 000002
【００３２】
図２０には、上述Ｘアドレスを発生する回路例が示されている。
ＸＳＴレジスタ１０１Ｘには、最初に読み出す画素アドレス、本例では０が設定され、ＸＷレジスタ１０２Ｘからは、図１９に示すＸＷ＝ｃｏｓθが発生され、Ｘ０レジスタ１０３Ｘからは、図１９に示すＸ０＝−ｓｉｎθが発生されている。加算器１０４Ｘの出力は、遅延器１０６Ｘで１クロック（１画素分）遅延される。加算器１０４Ｘは、ＸＷレジスタ１０２Ｘからのｃｏｓθと、遅延器１０６Ｘからの出力とを加算する。遅延器１０６Ｘの出力は、ＸＳＴレジスタ１０１Ｘからの出力（本例では０）と、加算器１０８Ｘにおいて加算される。遅延器１０７Ｘは、加算器１０５Ｘの出力を１Ｈだけ遅延する。加算器１０５Ｘは、Ｘ０レジスタ１０３Ｘからの−ｓｉｎθと、遅延器１０７Ｘからの出力とを加算する。加算器１０９Ｘは、遅延器１０７Ｘの出力と、加算器１０８Ｘの出力とを加算してＸアドレス信号ＫＸとして出力する。
【００３３】
図２１は、図２０と同様な構成のＹアドレス信号を発生する回路例が示されている。
ＹＳＴレジスタ１０１Ｙは、０が設定され、ＹＷレジスタ１０２Ｙからは、図１９に示すＹＷ＝ｓｉｎθが発生され、Ｙ０レジスタ１０３Ｙからは、図１９に示すＹ０＝ｃｏｓθが発生されている。加算器１０４Ｙの出力は遅延器１０６Ｙで１クロック（１画素分）遅延される。加算器１０４Ｙは、ＹＷレジスタ１０２Ｙからのｓｉｎθと、遅延器１０６Ｙからの出力とを加算する。遅延器１０６Ｙの出力は、ＹＳＴレジスタ１０１Ｙからの出力（本例では０）と、加算器１０８Ｙにより加算される。遅延器１０７Ｙは、加算器１０５Ｙの出力を１Ｈだけ遅延する。加算器１０５Ｙは、Ｙ０レジスタ１０３Ｙからのｃｏｓθと、遅延器１０７Ｙからの出力とを加算する。加算器１０９Ｙは、遅延器１０７Ｙの出力と、加算器１０８Ｙの出力とを加算してＹアドレス信号として出力する。
【００３４】
図２２には、図１９に示すアドレス変換原理図を、図２３に示す３対４のアスペクト比（７６８画素，２４０ライン）に適用した場合で、３０度だけ回転した場合のアドレス変換図が示されている。この場合、図２３に示す如く、１画素は縦横が２．４対１の大きさとなる。
このとき、ＸＳＴ＝０    ＸＷ＝０．８６６        Ｘ０＝−２．４×０．５
ＹＳＴ＝０    ＹＷ＝０．５／２．４    Ｙ０＝０．８６６
であり、図からも明らかなように、画素数ｍ、ライン数ｎにおけるＸアドレスＸｍｎとＹアドレスＹｍｎを表す一般式は次のようになる。
Ｘｍｎ＝ＸＳＴ＋ｍ・ＸＷ＋ｎ・Ｘ０
Ｙｍｎ＝ＹＳＴ＋ｍ・ＹＷ＋ｎ・Ｙ０
例えば、０ライン目（ｎ＝０）のアドレス（座標）は、
（ＸＹ）＝（０，０），（０．８６６，０．２０８），（１．７３２，０．４１７），…
１ライン目（ｎ＝１）では、
（ＸＹ）＝（−１．２，０．８６６），（−０．３３４，１．０７４），（０．５３２，１．２８），…となる。ここで、各アドレスの整数部がアドレスＡｄｄを、小数部が補間係数Ｋを示していることは図から明らかである。
【００３５】
例えば図２４示すような前述と同様な４点加重方式が好ましい。メモリから読み出すべきアドレス位置Ｑは、図のように、Ｘ１とＸ２を定めると、周囲の４点Ｐ（１１），Ｐ（２１），Ｐ（１２），Ｐ（２２）の加重平均を用いて、下式により求める。
Ｑ＝（１−Ｋｙ）Ｘ１＋Ｋｙ・Ｘ２
Ｘ１＝（１−Ｋｘ）Ｐ（１１）＋ＫｘＰ（２１）
Ｘ２＝（１−Ｋｘ）Ｐ（１２）＋ＫｘＰ（２２）
したがって、
0003632861.tif 000003
（１）式の演算は、１サイクル内に４画素アドレスＰ（１１），Ｐ（２１），Ｐ（１２），Ｐ（２２）を同時に読み出すことにより実現できる。
上記４画素の同時読み出しは、例えば図２５に示すようなメモリ構成を用いて行うことができる。
【００３６】
図２５に示す例では、一度のアドレス供給により４画素を読み出すことができるように、偶数列、偶数行メモリ（Ａ）、奇数列、偶数行メモリ（Ｂ）、偶数列、奇数行メモリ（Ｃ）及び奇数列、奇数行メモリ（Ｄ）の４個の独立メモリを設けている。
【００３７】
図２６は、上述４点加重平均回路による演算を行うためにメモリからのデータ読み出し用アドレス発生回路を示し、列アドレス０〜９ビットと行アドレス０〜７ビットから奇数列メモリ用列アドレス、偶数列メモリ用列アドレス、奇数行メモリ用行アドレスおよび偶数行メモリ用行アドレスが生成される。列アドレスの０ビットはセレクト信号ＨＳＥＬとして出力されるとともに、加算器２０１で、１〜９ビットと加算される。１〜９ビットが奇数列メモリ用列アドレスとなり、加算器２０１の出力が偶数列メモリ用列アドレスとなる。同様に、行アドレスの０ビットはセレクト信号ＶＳＥＬとして出力されるとともに、加算器２０２で、１〜７ビットと加算される。１〜７ビットが奇数行メモリ用行アドレスとなり、加算器２０２の出力が偶数行メモリ用行アドレスとなる。
【００３８】
図２７にはメモリから読み出したリードデータを用いて（１）式に示す４点加重平均演算を行うための回路例が示されている。
図２７において、セレクタ２０３と２０４は、図２６で得られたセレクト信号ＨＳＥＬが“Ｈ”のときは“Ｈ”端子が、“Ｌ”のときは“Ｌ”端子が選択され、セレクタ２１１は、同様にセレクト信号ＶＳＥＬにより対応する端子が選択される。セレクタ２０３には、図１３に示されている偶数列偶数行リードデータＡと奇数列偶数行リードデータＢが入力され、セレクタ２０４には、図１３には図示していない偶数列奇数行リードデータＣと奇数列奇数行リードデータＤが入力されている。
【００３９】
セレクタ２０３からの２つの出力は、それぞれ乗算器２０５，２０６により係数（１−Ｋｘ），Ｋｘが乗算される。乗算器２０５と２０６の出力は、加算器２０７で加算され、セレクタ２１１の２入力端子（Ｌ，Ｈ）に出力される。
一方、セレクタ２０４からの２つの出力は、それぞれ乗算器２０８，２０９により係数（１−Ｋｘ），Ｋｘが乗算される。乗算器２０８と２０９の出力は、加算器２１０で加算され、セレクタ２１１の他の２入力端子（Ｌ，Ｈ）に出力される。
【００４０】
セレクタ２１１からの２つの出力は、上記Ｘ１とＸ２であり、それぞれ乗算器２１２，２１３により係数（１−ＫＹ），ＫＹが乗算される。乗算器２１２と２１３の出力は、加算器２１４で加算されて補間後のデータが得られる。
【００４１】
図２６と図２７の例において、セレクト信号が必要なのは、図２８に示すように、選択すべき４点のアドレスが、パターン＃１〜＃４の４通りに応じて生成されるからであり、本例ではパターン＃２の例を示している。
【００４２】
図２９は、本実施例による画像合成装置の構成ブロック図である。図中、図４と同一符号が付されている構成部は、同様な機能を有する構成部を示す。
４個の各イメージャー対応に設けられたフィールドメモリ２１Ａ〜２１Ｄはメモリコントロール部２２により読み出し、書き込みが制御される。上記回転ずれは一つのイメージャー出力に対してのものであるため、本例ではフィールドメモリ２１Ａには上述補間処理部を設けず、フィールドメモリ２１Ｂ，２１Ｃ及び２１Ｄの出力に対して補間処理を施す補間処理部２３Ｂ，２３Ｃ及び２３Ｄが設けられている。この補間処理に用いられる補間係数（Ｋx，Ｋy等）は補間係数発生部２４から発生される。切換スイッチ２５は、フィールドメモリ２１Ａ及び出力補間処理部２３Ｂ〜２３Ｄからの出力を切り換え出力してエンコーダ１３に送出する。
【００４３】
上述実施例は、回転ずれに対する補償について説明しているが、水平方向や垂直方向ずれに対しても有効であることは明らかである。また、４個の各イメージャー出力のバックフォーカス（ズーム比率）のずれをも補償することができる。
以上の各実施例の説明は、ＮＴＳＣイメージャーについてのものであるが、ＰＡＬ方式やＨＤＴＶ等の他の方式のイメージャーについても適用できることは勿論である。
【００４４】
以上の各実施例をまとめると、次のような要旨で表現することもできる。
すなわち、
（１）水平方向に数えた画素数及び垂直方向に数えた走査線数が各所定の値に設定された表示画面領域を少なくとも上下の分割を含んで複数に分割してなる各部分領域毎に対応する部分画像の生成を賄うべく各所定位置に配されてなる複数の撮像素子と、
上記複数の各撮像素子の出力に基づいて上記表示画面領域の全域に対応する映像信号を形成するに際し、当該撮像素子毎に見て、上記表示画面領域での上記走査線数との整合をはかるべく該他の撮像素子がその正規の位置に配されているときには有効な走査線としては用いられない走査線に対応する画素の信号とこの走査線に隣接する走査線として用いられる走査線に対応する画素信号とを入力して映像信号のノイズをキャンセルするためのノイズキャンセル手段と、
を備える画像取扱い装置。
（２）水平方向に数えた画素数及び垂直方向に数えた走査線数が各所定の値に設定された表示画面領域を少なくとも上下の分割を含んで複数に分割してなる各部分領域毎に対応する部分画像の生成を賄うべく各所定位置に配されてなる複数の撮像素子と、
複数の撮像素子のうちの当該一の撮像素子の配置に対応する当該他の撮像素子の正規の位置からの平行移動による位置ずれに係る映像信号の誤差を補正すべく上記当該他の撮像素子からの信号を読み出すにつき、上記表示画面領域での上記走査線数との整合をはかるべく該他の撮像素子がその正規の位置に配されているときには有効な走査線としては用いられない走査線に対応する画素の信号とこの走査線に隣接する走査線として用いられる走査線に対応する画素信号とから補間演算によって補間走査信号を生成するための補間走査信号生成手段と、
を備える画像取扱い装置。
（３）水平方向に数えた画素数及び垂直方向に数えた走査線数が各所定の値に設定された表示画面領域を少なくとも上下の分割を含んで複数に分割してなる各部分領域毎に対応する部分画像の生成を賄うべく各所定位置に配されてなる複数の撮像素子と、
複数の撮像素子のうちの当該一の撮像素子の配置に対応する当該他の撮像素子の正規の位置からの位置の回転移動による位置ずれに係る映像信号の誤差を補正すべく上記当該他の撮像素子からの信号を読み出すにつき、上記表示画面領域での上記走査線数との整合をはかるべく該他の撮像素子がその正規の位置に配されているときには有効な走査線としては用いられない走査線に対応する画素の信号を上記有効な走査線として用いられる走査線に対応する画素の信号との補間演算に用いて補間走査信号を生成するための補間走査信号生成手段と、
を備える画像取扱い装置。
【００４５】
【発明の効果】
以上説明したように、本発明による画像合成方法及びこの方法を用いた画像合成装置によれば、複数の画像を貼り合わせ処理する際に、各画像の位置ずれを簡単な方法または簡単な構成で補正することができ、高画質かつ広視野な画像を容易に得ることができる。
【図面の簡単な説明】
【図１】ＮＴＳＣ方式で３８万画素の通常のＣＣＤを４個イメージャーとして用い、得られた画
像の結合図である。
【図２】４本のライン情報Ａ〜Ｄから１本のライン情報を生成する原理を説明するための図であ
る。
【図３】２個のイメージャーＩ１とＩ２の出力を用いて混合出力を得るときのタイミングチャー
トを示す図である。
【図４】本発明の一実施例を示す画像合成装置の構成ブロック図である。
【図５】図４に示す実施例におけるライン情報ＡＢとＣＤから新たな１ライン目を生成する原理
を説明するための図である。
【図６】図４に示す実施例における平均回路を示す図である。
【図７】図４に示す実施例における平均化処理動作のタイミングチャート図である。
【図８】図４に示す実施例における切換スイッチ７Ａと７Ｂによるフィールドメモリ５Ａ〜５Ｄ
の選択出力の動作タイミングチャートを示す図である。
【図９】図４に示す実施例における切換スイッチ９Ａ，９Ｂによるフィールドメモリ５Ａと５Ｂ
からの出力の選択動作及び平均化処理出力の関係を示す図である。
【図１０】本発明の他の実施例を説明するための図である。
【図１１】ＮＴＳＣ方式のイメージャー出力画像を示す図である。
【図１２】本実施例の更に他の実施例による画像合成装置の構成ブロック図である。
【図１３】図１２における補間回路例を示す図である。
【図１４】図１３における補間処理を説明する図である。
【図１５】図１２の切換制御信号CONT1により動作する切換スイッチ７Ａと７Ｂを介するフィール
ドメモリ５Ａ〜５Ｄからの読み出し出力のタイミングチャートを示す図である。
【図１６】図１２の切換制御信号CONT2により切換スイッチ９Ａと９Ｂを介してフィールドメモリ
５Ａ，５Ｂと、１／２Ｈディレー部８Ａ，８Ｂの出力のタイミングチャートを示す図であ
る。
【図１７】本発明の更に他の実施例を説明するための図である。
【図１８】図１７におけるこの補間処理を説明するための図である。
【図１９】本発明の上述実施例における画像回転原理を示すアドレス生成原理図である。
【図２０】図１９に示す原理図によりＸアドレスを生成するための回路図である。
【図２１】図１９に示す原理図によりＹアドレスを生成するための回路図である。
【図２２】図１９に示す原理を実際の画像回転に適用した場合のアドレス生成原理を示す図である
。
【図２３】図２２に示す原理図の基本となる画像構成図である。
【図２４】本発明の実施例における４点加重平均演算による補間処理の原理図である。
【図２５】図２４に示す補間処理を行うのに用いられるメモリ構成図である。
【図２６】図２４に示す補間処理で用いられるメモリ読み出し用のアドレス生成回路の一例を示す
回路図である。
【図２７】図２４示す補間処理の一例を示す回路図である。
【図２８】図２４に示す補間処理における選択される４点の偶、奇組み合わせ例を示す図である。
【図２９】本実施例による画像合成装置の構成ブロック図である。
【図３０】画素数の比較的少ないイメージャーを複数個用いた撮像装置を説明するための図である
。
【図３１】図３０に示す撮像装置の構成を説明する図である。
【符号の説明】
１Ａ〜１Ｄ                          イメージャー（ＣＣＤ）
２Ａ〜２Ｄ                          Ｓ／Ｈ＆ＡＧＣ部
３Ａ〜３Ｄ                          Ａ／Ｄコンバータ
４Ａ〜４Ｄ                          撮像プロセス部
５Ａ〜５Ｄ，２１Ａ〜２１Ｄ          フィールドメモリ
６Ａ，２２                          メモリコントロール部
６Ｂ                                ＴＧ（タイミングジェネレータ）
７Ａ，７Ｂ，９Ａ，９Ｂ，１３，２５  切換スイッチ
８Ａ，８Ｂ                          １／２Ｈディレー部
１０                                相関検出部
１１，１８Ａ，１８Ｂ，２０          加算器
１２                                １／２乗算部
１４                                エンコーダ
１５                                Ｄ／Ａコンバータ
１６Ａ，１６Ｂ                      １ＣＬＫデイレー部
１７Ａ〜１７Ｄ，１９Ａ，１９Ｂ      乗算器
２３Ｂ〜２３Ｄ                      補間処理部
２４                                補間係数発生部
【図１】
0003632861.tif 000004
【図２】
0003632861.tif 000005
【図３】
0003632861.tif 000006
【図４】
0003632861.tif 000007
【図５】
0003632861.tif 000008
【図６】
0003632861.tif 000009
【図７】
0003632861.tif 000010
【図８】
0003632861.tif 000011
【図９】
0003632861.tif 000012
【図１０】
0003632861.tif 000013
【図１１】
0003632861.tif 000014
【図１２】
0003632861.tif 000015
【図１３】
0003632861.tif 000016
【図１４】
0003632861.tif 000017
【図１５】
0003632861.tif 000018
【図１６】
0003632861.tif 000019
【図１７】
0003632861.tif 000020
【図１８】
0003632861.tif 000021
【図１９】
0003632861.tif 000022
【図２０】
0003632861.tif 000023
【図２１】
0003632861.tif 000024
【図２２】
0003632861.tif 000025
【図２３】
0003632861.tif 000026
【図２４】
0003632861.tif 000027
【図２５】
0003632861.tif 000028
【図２６】
0003632861.tif 000029
【図２８】
0003632861.tif 000030
【図２７】
0003632861.tif 000031
【図２９】
0003632861.tif 000032
【図３０】
0003632861.tif 000033
【図３１】
0003632861.tif 000034