(57)【要約】【課題】複数の入力画像から合成画像を生成する処理を高速化する。【解決手段】第１の座標変換部１２２は、合成画像上の画素（合成画素）について、該合成画素が合成画像の座標系における座標値（合成座標値）、入力画像の座標系における座標値に変換して第１の座標値を得る。第２の座標変換部１２４は、入力画像の画面内に含まれている第１の座標値を合成画像の座標系における座標値に変換して第２の座標値を得る。有効画素判定部１３０は、該合成画素の合成座標値と第２の座標値が一致するときに、入力画像上の、第２の座標値に対応する第１の座標値が示す位置における画素を有効画素として判定する。読出部１４０は、入力画像を格納した記憶装置から有効画素のデータのみを読み出す。合成部１５４は、読出部により読み出された各有効画素のデータで、合成画素を合成する。【選択図】図１
2011215854.tif 000002
【特許請求の範囲】
【請求項１】
異なるズーム倍数及び／または異なる走査位置で同一の被写体を撮像し得た複数の入力画像から所定のズーム倍数と所定の走査位置での１つの合成画像を生成する画像合成装置であって、
前記合成画像の各画素である合成画素について、該合成画素が前記合成画像の座標系における座標値である合成座標値を、前記複数の入力画像の座標系における座標値に変換して前記複数の入力画像にそれぞれ対応する複数の第１の座標値を得る第１の座標変換部と、
前記各合成画素について、該合成画素に対して前記第１の座標変換部により得られた前記複数の第１の座標値のうちの、該第１の座標値に対応する前記入力画像の画面内に含まれる各第１の座標値を、前記合成画像の座標系における座標値にそれぞれ変換して相対応する第２の座標値を得る第２の座標変換部と、
前記各合成画素について、該合成画素の各前記第２の座標値のうちの、該合成画素の前記合成座標値と一致する各第２の座標値に対応する前記入力画像上の、該第２の座標値に対応する第１の座標値が示す位置における画素を有効画素として判定する有効画素判定部と、
前記各合成画素について、該合成画素に対して前記有効画素判定部により判定された各有効画素のデータのみを、前記複数の入力画像を格納した記憶装置から読み出す読出部と、
前記読出部により読み出された各有効画素のデータで、対応する前記合成画素を合成する合成部とを備えることを特徴とする画像合成装置。
【請求項２】
前記読出部は、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）リクエスト生成部と、ＤＭＡコントローラを有することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
内部メモリと、
前記読出部が読み出した有効画素のデータに有効であることを示すフラグを付けて前記内部メモリに格納し、有効画素以外の画素について無効フラグを付けた任意のデータを前記内部メモリに格納するデータ整形部とをさらに備え、
前記合成部は、前記内部メモリに格納された、前記有効フラグが付けられたデータで合成を行うことを特徴とする請求項１または２に記載の画像合成装置。
【請求項４】
異なるズーム倍数及び／または異なる走査位置で同一の被写体を撮像し得た複数の入力画像から所定のズーム倍数と所定の走査位置での１つの合成画像を生成する画像合成方法において、
前記合成画像の各画素である合成画素について、該合成画素が前記合成画像の座標系における座標値である合成座標値を、前記複数の入力画像の座標系における座標値に変換して前記複数の入力画像にそれぞれ対応する複数の第１の座標値を得、
前記各合成画素について、該合成画素に対応する前記複数の第１の座標値のうちの、該第１の座標値に対応する前記入力画像の画面内に含まれる各第１の座標値を、前記合成画像の座標系における座標値にそれぞれ変換して相対応する第２の座標値を得、
前記各合成画素について、該合成画素の各前記第２の座標値のうちの、該合成画素の前記合成座標値と一致する各第２の座標値に対応する前記入力画像上の、該第２の座標値に対応する第１の座標値が示す位置における画素を有効画素として判定し、
前記各合成画素について、該合成画素に対して有効画素として判定された各画素のデータのみを、前記複数の入力画像を格納した記憶装置から読み出し、
読み出された各有効画素のデータで、対応する前記合成画素を合成することを特徴とする画像合成方法。
【請求項５】
異なるズーム倍数及び／または異なる走査位置で同一の被写体を撮像し得た複数の入力画像から所定のズーム倍数と所定の走査位置での１つの合成画像を生成際に、
前記合成画像の各画素である合成画素について、該合成画素が前記合成画像の座標系における座標値である合成座標値を、前記複数の入力画像の座標系における座標値に変換して前記複数の入力画像にそれぞれ対応する複数の第１の座標値を得、
前記各合成画素について、該合成画素に対応する前記複数の第１の座標値のうちの、該第１の座標値に対応する前記入力画像の画面内に含まれる各第１の座標値を、前記合成画像の座標系における座標値にそれぞれ変換して相対応する第２の座標値を得、
前記各合成画素について、該合成画素の各前記第２の座標値のうちの、該合成画素の前記合成座標値と一致する各第２の座標値に対応する前記入力画像上の、該第２の座標値に対応する第１の座標値が示す位置における画素を有効画素として判定し、
前記各合成画素について、該合成画素に対して有効画素として判定された各画素のデータのみを、前記複数の入力画像を格納した記憶装置から読み出し、
読み出された各有効画素のデータで、対応する前記合成画素を合成する処理をコンピュータに実行せしめることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の入力画像から１枚の合成画像を生成する技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラや携帯電話機のカメラなどの分野では、複数の低画質の画像を合成して１枚の高品質の合成画像を生成するアルゴリズムが、光学レンズの代替として注目されている。これは、光学ズーム相当の機能を、デジタルズームと合成アルゴリズによって実現することにより、光学レンズのコスト削減できるからである。
【０００３】
複数の入力画像から１枚の合成画像を生成する手法は、様々提案されている。例えば、特許文献１には、カメラなどの画像入力デバイスを手動により走査することで走査位置か異なる複数の入力画像を得て、これらの入力画像を用いて合成画像を生成する技術が開示されている。
【０００４】
図６は、特許文献１の図１であり、特許文献１の技術を適用した画像合成処理システムを示す。この画像合成処理システムは、画像入力デバイスを手動により走査することで得られる画像信号をディジタル化して複数枚の多値のフレーム画像として計算機に入力する画像入力部１０、計算機に入力されたフレーム画像を記憶する画像記憶部２０、画像に含まれる物体の構造情報を解析する構造解析部３０、各フレーム画像から抽出された構造情報どうしの対応づけを行う構造情報対応づけ部４０、構造解析の結果およびフレーム間で構造情報を構造情報記憶部５０及び対応づけられた構造情報をもとに複数のフレーム画像を合成する画像合成部６０とからなる。
【０００５】
該画像合成処理システムでは、具体的には、まず、画像入力部１０により、画像入力対象物に対して画像入力デバイスを移動して撮像することにより得た異なる走査位置の画像を入力する。これらの画像は、画像記憶部２０に記録されると共に、構造解析部３０にも入力される。
【０００６】
構造解析部３０は、画像の構造情報を解析する。例えば、画像を２値化して、黒画素連結成分を抽出し物体を分離して抽出する。抽出された物体の個々の特徴および物体間の位置関係を構造情報として、構造情報記憶部５０に出力して記憶させる。構造情報対応づけ部４０では、構造情報記憶部５０に記憶された各フレーム画像の構造情報を入力し、構造情報を用いて、各フレーム内の対応する物体どうしを対応づける。そして、対応づけられた２枚のフレーム画像の構造情報は、対応関係から統合され、統合された構造情報は構造情報記憶部５０に出力される。画像合成部６０は、統合された構造情報をもとにフレーム画像を画像記憶部２０から取り出して接合する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−０６９５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
近年では、より高品質の合成画像を得るために、低画質の入力画像の枚数を増やす傾向があり、高品質化の要求が高まるにつれ、入力画像の枚数を増やす要求と必要性が高まっている。通常、これらの入力画像は、外部メモリに記憶され、合成時に外部メモリから読み出されて使用される。
【０００９】
特許文献１に開示された手法は、合成画像を生成するために、図６に示さない外部メモリから各フレームの全画素データを読み込むので、入力画像の枚数が多いときに、合成処理の高速化ができないという問題がある。それは、内部メモリに比べ低速な外部メモリから読み出すデータ量の増加により読出しに時間がかかるためである。
【００１０】
本発明は、上記事情に鑑みてなされるものであり、複数の入力画像から合成画像を生成する際に、入力画像のデータの読出しにかかる時間を短縮することにより合成処理を高速化する技術を提供する。
【課題を解決するための手段】
【００１１】
本発明の一つの態様は、異なるズーム倍数及び／または異なる走査位置で同一の被写体を撮像し得た複数の入力画像から所定のズーム倍数と所定の走査位置での１つの合成画像を生成する画像合成装置である。この画像合成装置は、第１の座標変換部と、第２の座標変換部と、有効画素判定部と、読出部と、合成部を有する。
【００１２】
第１の座標変換部は、合成画像の各画素である合成画素について、該合成画素が合成画像の座標系における座標値である合成座標値を、上記複数の入力画像の座標系における座標値に変換して該複数の入力画像にそれぞれ対応する複数の第１の座標値を得る。
【００１３】
第２の座標変換部は、各合成画素について、該合成画素に対して第１の座標変換部により得られた複数の第１の座標値のうちの、該第１の座標値に対応する入力画像の画面内に含まれる各第１の座標値を、合成画像の座標系における座標値にそれぞれ変換して相対応する第２の座標値を得る。
【００１４】
有効画素判定部は、各合成画素について、該合成画素の各第２の座標値のうちの、該合成画素の合成座標値と一致する各第２の座標値に対応する入力画像上の、該第２の座標値に対応する第１の座標値が示す位置における画素を有効画素として判定する。
【００１５】
読出部は、各合成画素について、該合成画素に対して有効画素判定部により判定された各有効画素のデータのみを、上記複数の入力画像を格納した記憶装置から読み出す。
【００１６】
合成部は、読出部により読み出された各有効画素のデータで、対応する合成画素を合成する。
【００１７】
なお、上記態様の装置を方法やシステムに置き換えて表現したもの、コンピュータを該装置として動作させるプログラム、該プログラムを記録したコンピュータ読取可能な記録媒体なども、本発明の態様としては有効である。
【発明の効果】
【００１８】
本発明にかかる技術によれば、複数の入力画像から合成画像を生成する処理の高速化ができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態にかかる画像合成システムを示す図である。
【図２】図１に示す画像合成システムにおける処理の流れを示すフローチャートである（その１）。
【図３】図１に示す画像合成システムにおける処理の流れを示すフローチャートである（その２）。
【図４】入力画像と合成画像の具体例を示す図である。
【図５】図４に示す具体例に対する処理結果を示す図である。
【図６】従来技術を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【００２１】
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００２２】
図１は、本発明の実施の形態にかかる画像合成システム１００を示す。画像合成システム１００は、外部メモリ１１０、第１の座標変換部１２２、第２の座標変換部１２４、有効画素判定部１３０、読出部１４０、データ整形部１５０、内部メモリ１５２、合成部１５４を備える。
【００２３】
外部メモリ１１０は、複数の入力画像を格納している。これらの入力画像は、異なるズーム倍数及び／または異なる走査位置で同一の被写体を撮像し得たものであり、画像合成システム１００は、これらの入力画像から所定のズーム倍数と所定の走査位置での１つの合成画像を生成する。
【００２４】
第１の座標変換部１２２は、目的とする上記合成画像の各画素（以下合成画素という）について、該合成画素が合成画像の座標系における座標値（以下合成座標値Ｚ０という）を、各入力画像の座標系における座標値（以下第１の座標値Ｚ１という）にそれぞれ変換する。これらの第１の座標値Ｚ１は、有効画素判定部１３０と第２の座標変換部１２４に出力される。第１の座標変換部１２２による座標値変換を以下第１の変換という。
【００２５】
第２の座標変換部１２４は、各合成画素について、第１の座標変換部１２２からの各第１の座標値Ｚ１のうちの、有効画素判定部１３０からの後述する信号Ｒ０により示される第１の座標値Ｚ１を、合成画像の座標系における座標値（以下第２の座標値Ｚ２という）に変換して有効画素判定部１３０に出力する。第２の座標変換部１２４による座標値変換を以下第２の変換という。
【００２６】
第１の座標変換部１２２による第１の変換は、変換元の合成画像の座標系と、変換先の入力画像の座標系間の関係に基づいて行われる。座標間の関係は、合成画像と入力画像間の、ズーム倍数の関係や走査位置の関係から算出できる。本実施の形態において、入力画像毎に、上記関係に基づいて、合成座標値Ｚ０から第１の座標値Ｚ１へ変換するための第１の座標変換用パラメータＰ１が予め算出されて第１の座標変換部１２２に入力され、第１の座標変換部１２２は、第１の座標変換用パラメータＰ１を用いて第１の変換を行う。
【００２７】
同様に、第１の座標値Ｚ１から第２の座標値Ｚ２へ変換するための第２の座標変換用パラメータＰ２も予め算出されて第２の座標変換部１２４に入力され、第２の座標変換部１２４は、第２の座標変換用パラメータＰ２を用いて第２の変換を行う。
【００２８】
有効画素判定部１３０は、各合成画素について、第１の座標変換部１２２からの各第１の座標値Ｚ１に基づいて第１の判定を行って、判定結果に応じて信号Ｒ０と信号Ｒ１を第２の座標変換部１２４とデータ整形部１５０に出力すると共に、第２の座標変換部１２４からの各第２の座標値Ｚ２に基づいて第２の判定を行って、判定結果に応じて信号Ｒ１と信号Ｒ２をデータ整形部１５０と読出部１４０にそれぞれ出力する。第１の判定、第２の判定、及び信号Ｒ０、Ｒ１、Ｒ２を説明する。
【００２９】
第１の判定は、第１の座標変換部１２２からの第１の座標値Ｚ１が、該第１の座標値Ｚ１に対応する入力画像の画面内に含まれているか否かの判定である。有効画素判定部１３０は、「含まれていない」と判定した場合に、第１の座標値Ｚ１に対応する入力画像上に該合成画素の生成に使用する画素が無いことを示す信号Ｒ１をデータ整形部１５０に出力する。このとき、第２の座標変換部１２４への信号Ｒ０の出力と、読出部１４０への信号Ｒ２の出力をしない。
【００３０】
一方、有効画素判定部１３０は、「含まれている」と判定した場合に、該第１の座標値Ｚ１を示す信号Ｒ０を第２の座標変換部１２４に出力し、該第１の座標値Ｚ１を第２の座標値Ｚ２への変換を第２の座標変換部１２４に行わせる。このとき、データ整形部１５０への信号Ｒ１の出力と、読出部１４０への信号Ｒ２の出力をしない。
【００３１】
すなわち、第２の座標変換部１２４は、各合成画素について、該合成画素に対して第１の座標変換部１２２により得られた第１の座標値Ｚ１のうちの、該第１の座標値Ｚ１に対応する入力画像の画面内に含まれる第１の座標値Ｚ１のみを、合成画像の座標系における座標値（第２の座標値Ｚ２）に変換する。
【００３２】
有効画素判定部１３０は、各合成画素について、第２の座標変換部１２４からの各第２の座標値Ｚ２について第２の判定を行う。この第２の判定は、該第２の座標値Ｚ２が、対応する合成画素の合成座標値Ｚ０と一致するか否かの判定である。「一致しない」と判定した場合に、有効画素判定部１３０は、該第２の座標値Ｚ２に対応する入力画像上に該合成画素の生成に使用する画素が無いことを示す信号Ｒ１をデータ整形部１５０に出力する。このとき、読出部１４０への信号Ｒ２の出力をしない。
【００３３】
一方、「一致する」と判定した場合に、有効画素判定部１３０は、該第２の座標値Ｚ２に対応する入力画像上の、該第２の座標値Ｚ２に対応する第１の座標値Ｚ１が示す位置にある画素が「有効画素」であるとし、該画素を示す信号Ｒ２を読出部１４０に出力して、該画素のデータの外部メモリ１１０からの読出しを読出部１４０に行わせる。また、有効画素判定部１３０は、このとき、該画素が「有効画素」であることを示す信号Ｒ１をデータ整形部１５０に出力する。
【００３４】
読出部１４０は、有効画素判定部１３０から信号Ｒ２を受信したときにのみ、該信号Ｒ２が示す画素のデータを外部メモリ１１０から読み出してデータ整形部１５０に出力する。
【００３５】
本実施の形態において、読出部１４０は、有効画素のデータに効率良くアクセスできるようにＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）方式で外部メモリ１１０から画素のデータを読み出すものであり、ＤＭＡリクエスト生成部１４２とＤＭＡコントローラ１４４を備える。
【００３６】
ＤＭＡリクエスト生成部１４２は、有効画素判定部１３０からの信号Ｒ２が示す画素のデータについてＤＭＡ転送用のリクエスト（開始アドレス、転送量、転送数など）を生成してＤＭＡコントローラ１４４に出力する。
【００３７】
ＤＭＡコントローラ１４４は、ＤＭＡリクエスト生成部１４２からのＤＭＡ転送用のリクエストに従って、当該データを外部メモリ１１０から読み出してデータ整形部１５０に出力する。
【００３８】
データ整形部１５０は、有効画素判定部１３０から、当該入力画像上に該合成画素の生成に使用する画素が無いことを示す信号Ｒ１を受信すると、任意のデータ（例えば「００００００」）に「無効フラグ」（例えば「０」）を付けて内部メモリ１５２に格納する。一方、有効画素判定部１３０から「有効画素」を示す信号Ｒ１を受信すると、読出部１４０が外部メモリ１１０から読み出した該画素のデータに「有効フラグ」（例えば「１」）を付けて内部メモリ１５２に格納する。
【００３９】
このようにして、内部メモリ１５２には、入力画像毎に、「有効画素」については「有効フラグ」が付けられた該画素のデータが格納され、それ以外の画素については「無効フラグ」が付けられた任意のデータが格納される。
【００４０】
合成部１５４は、内部メモリ１５２に格納されたデータを用いて合成画素を生成する。具体的には、「無効フラグ」が付けられたデータを用いずに、「有効フラグ」が付けられた画素のデータのみを用いて当該合成画素を生成する。
【００４１】
図２と図３は、本実施の形態の画像合成システム１００による処理の流れを示すフローチャートである。図２に示すように、まず、合成画像を生成するための複数の入力画像が外部メモリ１１０に格納される（Ｓ１１０）。そして、１番目の入力画像上において、合成画像における１番目の合成画素の生成に使用する画素（有効画素）の有無の判定がなされる（Ｓ１０２、Ｓ１０４、Ｓ１１０）。該入力画像上に有効画素が無ければ、データ整形部１５０により、「無効フラグ＋任意のデータ」が内部メモリ１５２に格納される（Ｓ１１０：Ｎｏ、Ｓ１６０）。一方、該入力画像上に有効画素があれば、ＤＭＡリクエスト生成部１４２により該有効画素のＤＭＡリクエストが生成され、ＤＭＡコントローラ１４４によりＤＭＡリクエストに従って該画素のデータが外部メモリ１１０から読み出される（Ｓ１１０：Ｙｅｓ、Ｓ１５０、Ｓ１５２）。外部メモリ１１０から読み出されたデータは、データ整形部１５０により「有効フラグ」を付けられて内部メモリ１５２に格納される（Ｓ１５４）。
【００４２】
そして、次の入力画像について、ステップＳ１１０からの処理が行われる（Ｓ１７０：Ｎｏ、Ｓ１７２、Ｓ１１０〜）。
【００４３】
全ての入力画像についてステップＳ１１０からの処理が完了すると（Ｓ１７０：Ｙｅｓ）、合成部１５４により、内部メモリ１５２へのリードアクセスが行われ、内部メモリ１５２に格納された各入力画像の画素のデータが読み出される（Ｓ１８０）。これらのデータのうち、「有効フラグ」が付けられたデータのみが用いられて合成画素が生成される（Ｓ１８２）。
【００４４】
そして、次の合成画素について、ステップＳ１０４からの処理が行われる（Ｓ１８４：Ｎｏ、Ｓ１８６、Ｓ１０４〜）。
【００４５】
全ての合成画素の生成が完了すると（Ｓ１８４：Ｙｅｓ）、処理が終了する。
【００４６】
図３は、図２のステップＳ１１０の処理を詳細に示すフローチャートである。図示のように、まず、第１の座標変換部１２２により、該合成画素について、合成座標値Ｚ０から現在の入力画像の座標系における座標値への変換（第１の変換）が行われ、第１の座標値Ｚ１が得られる（Ｓ１２０）。そして、有効画素判定部１３０により、第１の判定、すなわち、ステップＳ１２０により得られた第１の座標値Ｚ１が現在の入力画像の画面内に含まれているか否かの判定が行われる（Ｓ１２２）。判定の結果、「含まれていない」場合には、該入力画像において当該合成画素の合成に使用する画素が無いと判定される（Ｓ１２２：Ｎｏ、Ｓ１２４）。
【００４７】
一方、ステップＳ１２２の判定結果が「含まれている」である場合には、第１の座標値Ｚ１から合成画像の座標系における座標値への変換（第２の変換）が行われ、第２の座標値Ｚ２が得られる（Ｓ１２２：Ｙｅｓ、Ｓ１３０）。
【００４８】
そして、有効画素判定部１３０により、第２の判定、すなわち第２の座標値Ｚ２と、現在の合成画素の合成座標値Ｚ０が一致するか否かの判定が行われる（Ｓ１３２）。判定の結果、一致しない場合には、該入力画像において当該合成画素の合成に使用する画素が無いと判定される（Ｓ１３２：Ｎｏ、Ｓ１２４）。
【００４９】
一方、ステップＳ１３２における判定結果が「一致する」である場合には、入力画像上における、ステップＳ１２０で求められた第１の座標値Ｚ１が示す位置の画素が有効画素として判定される（Ｓ１３２：Ｙｅｓ、Ｓ１３４）。
【００５０】
図４の例を参照してより具体的に説明する。
図４の上部に示す３つの画像Ａ、Ｂ、Ｃは、外部メモリ１１０に格納された、合成用の入力画像である。これらの画像は、２画素×２画素のものである。図示のように、画像Ａ、Ｂ、Ｃの４つの画素は、それぞれＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４である。画像Ｂは、画像Ａを横方向に２倍にした画像であり、画像Ｃは、画像Ａを縦と横方向に１／２倍にした画像である。この３つの画像から、図４の下部に示す合成画像Ｄを生成する場合を説明する。以下の説明において、画像Ａ、Ｂ、Ｃと合成画像Ｄの座標系をそれぞれＡ座標系、Ｂ座標系、Ｃ座標系、Ｄ座標系という。なお、合成画像Ｄの座標系が、画像Ａと同一であるとする。図示のように、各合成画素のＤ座標系における座標値（合成座標値）は、それぞれＺ０Ｄ１、Ｚ０Ｄ２、Ｚ０Ｄ３、ＺＯＤ４である。
【００５１】
まず、合成画素Ｄ１の生成を説明する。
第１の座標変換部１２２は、合成画素Ｄ１の合成座標値Ｚ０Ｄ１に対して、Ａ座標系における座標値への変換（第１の変換Ｊ１（Ａ））、Ｂ座標系における座標値への変換（第１の変換Ｊ１（Ｂ））、Ｃ座標系における座標値への変換（第１に変換Ｊ１（Ｃ））を行う。その結果、画像Ａに対応する第１の座標値としてＺ１Ｄ１Ａが得られ、画像Ｂに対応する第１の座標値Ｚ１としてＺ１Ｄ１Ｂが得られ、画像Ｃに対応する第１の座標値Ｚ１としてＺ１ＤＣが得られる。
【００５２】
第１の座標値Ｚ１Ｄ１Ａ、Ｚ１Ｄ１Ｂ、Ｚ１ＤＣに対して、有効画素判定部１３０による第１の判定が行われる。判定の結果、この３つの第１の座標値Ｚ１とも対応する画像の画面内に含まれるため、第２の座標変換部１２４は、この３つの第１の座標値Ｚ１に対して第２の変換を行って、それぞれに対応する第２の座標値Ｚ２を得る。具体的には、第２の座標変換部１２４は、第１の座標値Ｚ１Ｄ１Ａに対してＡ座標系からＤ座標系への変換（第２の変換Ｊ２（Ａ））を行って第２の座標値Ｚ２Ｄ１Ａを得、第１の座標値Ｚ１Ｄ１Ｂに対してＢ座標系からＤ座標系への変換（第２の変換Ｊ２（Ｂ））を行って第２の座標値Ｚ２Ｄ１Ｂを得、第１の座標値Ｚ１ＤＣに対してＡ座標系からＤ座標系への変換（第２の変換Ｊ２（Ｃ））を行って第２の座標値Ｚ２ＤＣを得る。
【００５３】
この３つの第２の座標値Ｚ２に対して、有効画素判定部１３０による第２の判定が行われる。判定の結果、第２の座標値Ｚ２Ｄ１Ａ、Ｚ２Ｄ１Ｂ、Ｚ２ＤＣのいずれも合成座標値Ｚ０Ｄ１が一致するため、有効画素判定部１３０により「有効画素」に判定される。読出部１４０は、この３つの座標値に対応する画素のデータを外部メモリ１１０から読み出す。具体的には、画像Ａの画素Ａ１のデータ、画像Ｂの画素Ｂ１のデータ、画像Ｃの画素Ｃ１のデータが読み出される。
【００５４】
データ整形部１５０は、読出部１４０が読み出した３つの画素のデータに「有効フラグ」を付けて内部メモリ１５２に格納し、合成部１５４は、内部メモリ１５２に格納されたこの３つの画素を用いて例えば平均値をとって合成画素Ｄ１を生成する。
【００５５】
このような処理は、合成画素Ｄ２、Ｄ３、Ｄ４についても行われ、画像Ａ、Ｂ、Ｃより高画質の合成画像Ｄが生成される。
【００５６】
ここで、第１の判定により、入力画像上に該合成画素の生成に使用する画素が無いと判定された場合の例を説明する。
【００５７】
例えば、合成画素Ｄ２の生成のために、まず、第１の座標変換部１２２により、合成画素Ｄ２の合成座標値Ｚ０Ｄ２に対して第１の変換が行われる。Ｂ画像の座標系への第１の変換Ｊ１（Ｂ）の結果、第１の座標値Ｚ１Ｄ２Ｂが得られる。第１の座標値Ｚ１Ｄ２Ｂが画像Ｂの画面外の座標値であるため、画像Ｂにおいて合成画素Ｄ２の生成に使用する画素が無いと判定される。そのため、合成画素Ｄ２を生成するための、画像Ｂ上の画素データとして、「無効フラグ」が付けられた任意のデータが内部メモリ１５２に格納され、合成画素Ｄ２の生成に用いられない。
【００５８】
次いで、第２の判定により、入力画像上に該合成画素の生成に使用する画素が無いと判定された場合の例を説明する。
【００５９】
例えば、合成画素Ｄ２の生成のために、まず、第１の座標変換部１２２により、合成画素Ｄ２の合成座標値Ｚ０Ｄ２に対して第１の変換が行われる。Ｃ座標系への第１に変換Ｊ１（Ｃ）の結果、第１の座標値Ｚ１ＤＣが得られる。第１の座標値Ｚ１ＤＣが画像Ｃの画面内の座標値であるため、第２の座標変換部１２４により第２の変換Ｊ２（Ｃ）が行われ、第２の座標値Ｚ２ＤＣが得られる。第２の座標値Ｚ２ＤＣと、合成画素Ｄ２の合成座標値Ｚ０Ｄ２が不一致であるため、画像Ｃ上に合成画素Ｄ２の生成に使用される画素が無いと判定される。そのため、合成画素Ｄ２を生成するための、画像Ｃ上の画素データとして、「無効フラグ」が付けられた任意のデータが内部メモリ１５２に格納され、合成画素Ｄ２の生成に用いられない。
【００６０】
図５は、図４に示す具体例に対して、各合成画素について得られた第１の座標値Ｚ１、第２の座標値Ｚ２、有効画素をまとめた図である。
【００６１】
図示のように、合成画素Ｄ１は、合成座標値がＺ０Ｄ１であり、第１の座標値Ｚ１がＺ１Ｄ１Ａ、Ｚ１Ｄ１Ｂ、Ｚ１ＤＣであり、第２の座標値Ｚ２がＺ２Ｄ１Ａ、Ｚ２Ｄ１Ｂ、Ｚ２ＤＣであり、有効画素がＡ１、Ｂ１、Ｃ１である。
【００６２】
合成画素Ｄ２は、合成座標値がＺ０Ｄ２であり、第１の座標値Ｚ１がＺ１Ｄ２Ａ、Ｚ１Ｄ２Ｂ、Ｚ１ＤＣであり、第２の座標値Ｚ２がＺ２Ｄ２Ａ、Ｚ２ＤＣであり、有効画素がＡ２のみである。
【００６３】
合成画素Ｄ３は、合成座標値がＺ０Ｄ３であり、第１の座標値Ｚ１がＺ１Ｄ３Ａ、Ｚ１Ｄ３Ｂ、Ｚ１ＤＣであり、第２の座標値Ｚ２がＺ２Ｄ３Ａ、Ｚ２Ｄ３Ｂ、Ｚ２ＤＣであり、有効画素がＡ３、Ｂ３である。
【００６４】
合成画素Ｄ４は、合成座標値がＺ０Ｄ４であり、第１の座標値Ｚ１がＺ１Ｄ４Ａ、Ｚ１Ｄ４Ｂ、Ｚ１ＤＣであり、第２の座標値Ｚ２がＺ２Ｄ４Ａ、Ｚ２ＤＣであり、有効画素がＡ４のみである。
【００６５】
図５から分かるように、本実施の形態の画像合成システム１００によれば、図４の例の場合、合成画像を生成するために、外部メモリからの読出しは、７つの画素（有効画素）に対してのみ行われる。入力画像の全ての画素のデータを読み出す従来の手法より、５画素分の外部メモリへのアクセスを減らすことができる。そのため、合成画像を生成する処理を高速化できる。
【００６６】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した実施の形態に対してさまざまな変更、増減を行ってもよい。これらの変更、増減が行われた変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６７】
例えば、上述において、全ての入力画像について第１の変換と第２の変換を経て有効画素の有無の判定を行っている。例えば、図４に示す例における画像Ａのような、合成画像と同一の座標系を有する入力画像について、第１の変換や第２の変換をせずに、全ての画素が有効画素であるように判定するようにしてもよい。
【００６８】
また、上述において、有効画素のＤＭＡリード転送を１画素ずつ行う例を説明したが、有効画素の判定をまとめて行い、複数または全ての有効画素のＤＭＡリード転送をまとめて行って連続読出しを行うようにしてもよい。
【符号の説明】
【００６９】
１０  画像入力部  ２０  画像記憶部
３０  構造解析部  ４０  構造情報対応づけ部
５０  構造情報記憶部  ６０  画像合成部
１００  画像合成システム  １１０  外部メモリ
１２２  第１の座標変換部  １２４  第２の座標変換部
１３０  有効画素判定部  １４０  読出部
１４２  ＤＭＡリクエスト生成部  １４４  ＤＭＡコントローラ
１５０  データ整形部  １５２  内部メモリ
１５４  合成部  Ｚ１  第１の座標値
Ｚ２  第２の座標値  Ｐ１  第１の座標変換用パラメータ
Ｐ２  第２の座標変換用パラメータ  Ａ  入力画像
Ｂ  入力画像  Ｃ  入力画像
Ｄ  合成画像
【図１】
2011215854.tif 000003
【図２】
2011215854.tif 000004
【図３】
2011215854.tif 000005
【図４】
2011215854.tif 000006
【図５】
2011215854.tif 000007
【図６】
2011215854.tif 000008