(57)【要約】  入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を格納するマトリクスメモリ１３と、出力画像を分割する複数の図形領域の形状をそれぞれ規定する頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部１４とを備え、マトリクス情報で規定される対応関係を用いてベクトル図形に座標変換処理を施して入力画像のテクスチャ座標を算出し、当該テクスチャ座標に対応する入力画像の画素データを用いて算出した合成画像データを、出力画像として表示する。
2011070631.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力画像を取り込む画像入力部と、
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像を分割する複数の図形領域の形状をそれぞれ規定する頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データを入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画されたベクトル図形に座標変換処理を施し、前記入力画像のテクスチャ座標を算出すると共に、前記画像メモリから読み出した当該テクスチャ座標に対応する前記入力画像の画素データを用いて、当該入力画像と前記出力画像の合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記合成画像データを格納する表示用メモリと、
前記表示用メモリから読み出した前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部とを備えた画像合成装置。
【請求項２】
前記ベクトル図形処理部は、前記画像入力部による入力画像の取り込み完了を契機としてベクトル図形の描画を開始するモードと、描画開始命令に従って前記ベクトル図形の描画を開始するモードとを備えることを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記画像合成部は、前記表示用メモリに格納された合成画像データと前記ベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とする請求項１記載の画像合成装置。
【請求項４】
前記ベクトル形式の図形データは、輪郭線の一部に曲線を含む図形領域で前記出力画像を分割して得られる頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義された図形データであり、
前記ベクトル図形処理部は、前記図形データから前記図形領域が輪郭線の一部に曲線を含むことを判定すると、当該輪郭線を微小線分に分割して当該図形領域のベクトル図形を描画することを特徴とする請求項１記載の画像合成装置。
【請求項５】
前記画像メモリ及び前記表示用メモリをそれぞれダブルバッファ構成として、前記画像メモリに対する前記入力画像の格納と画素データの読み出しを並列して行い、前記表示用メモリに対する合成画像データの格納と読み出しを並列して行うことを特徴とする請求項１記載の画像合成装置。
【請求項６】
複数の入力画像を取り込む画像入力部と、
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像を分割する複数の図形領域の形状をそれぞれ規定する頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データを入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画されたベクトル図形に座標変換処理を施し、前記入力画像のテクスチャ座標を算出すると共に、前記画像メモリから読み出した当該テクスチャ座標に対応する前記入力画像の画素データを用いて、当該入力画像と前記出力画像の合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記合成画像データを格納する表示用メモリと、
前記表示用メモリから読み出した前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部としてコンピュータを機能させるための画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の視点から見た実画像を撮影した画像データを入力し、各画像を視点変換して別の視点から見た合成画像を合成する画像合成装置及びこの装置としてコンピュータを機能させるための画像合成プログラムに関するものである。
【背景技術】
【０００２】
従来、実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た仮想画像に変換する画像処理装置が広く使われている。
例えば、特許文献１に開示される画像処理装置は、仮想画像の生成を簡易化するため、出力画像の画素位置と入力画像の画素位置とを対応付けるためのマッピングテーブルを備えている。即ち、特許文献１に開示される画像処理装置では、仮想カメラの画素座標位置（ｕ，ｖ）と実カメラの画素座標位置（Ｕ，Ｖ）との関係の他に、必要に応じて、実カメラの識別子と、複数のカメラが対応する場合の各カメラの必要度等をマッピングテーブルに記録するようにしている。
また、出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合には、入力画像の画素位置と同時に参照された各画素の必要度に応じて、それらの画素値を合成することもできる。【０００３】
従来の画像処理装置は、以上のように構成されているので、出力画像の画素位置と入力画像の画素位置との関係を簡易に得ることができる。
しかしながら、マッピングテーブルには、画素単位で必要な情報を格納する必要があるため、メモリ規模が増大するという課題があった。【０００４】
この発明は、上記のような課題を解決するためになされたもので、画素単位のマッピングテーブルを用いずにメモリ容量の削減を図りつつ、出力画像の画素位置と入力画像の画素位置との関係を簡易に得ることができる画像合成装置及びこの装置としてコンピュータを機能させるための画像合成プログラムを得ることを目的とする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−４８２６６号公報
【発明の概要】
【０００６】
この発明に係る画像合成装置は、複数の入力画像を取り込む画像入力部と、画像入力部により取り込まれた入力画像を格納する画像メモリと、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割する複数の図形領域の形状をそれぞれ規定する頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データを入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部と、マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部により描画されたベクトル図形に座標変換処理を施し、入力画像のテクスチャ座標を算出すると共に、画像メモリから読み出した当該テクスチャ座標に対応する入力画像の画素データを用いて、当該入力画像と出力画像の合成画像データを算出する画像合成部と、画像合成部が算出した合成画像データを格納する表示用メモリと、表示用メモリから読み出した合成画像データを、出力画像として表示装置の画面上に表示する表示制御部とを備えるものである。
【０００７】
この発明によれば、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割する複数の図形領域の形状をそれぞれ規定する頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データを入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部とを備え、マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部により描画されたベクトル図形に座標変換処理を施し、入力画像のテクスチャ座標を算出し、当該テクスチャ座標に対応する入力画像の画素データを用いて算出した合成画像データを、出力画像として表示装置の画面上に表示する。
このように、出力画像の部分領域と入力画像の部分領域とを対応付けるマトリクス情報を用いて画像合成を行うことで、画素単位のマッピングテーブルを用いる場合よりメモリ容量を削減することができるという効果がある。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による画像合成装置の構成を示すブロック図である。
【図２】ベクトル形式の図形データの一例を示す図である。
【図３】出力画像の領域分割の一例を示す図である。
【図４】出力画像の部分領域と入力画像の部分領域との対応例を示す図である。
【図５】実施の形態１による画像合成装置の動作の流れを示すフローチャートである。
【図６】この発明の実施の形態２による画像合成装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による画像合成装置の構成を示すブロック図である。図１において、実施の形態１による画像合成装置１０は、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６及び表示制御部１７を備える。画像入力部１１は、複数の入力画像（静止画又は動画）１，２，３，４，・・・の中から、取り込み対象の画像データを選択し、画像メモリ１２に書き込みを行う構成部である。例えば、画像入力部１１は、画像データを一時的に保存するための数ライン分の一時バッファを保持するように構成してもよい。
【００１０】
マトリクスメモリ１３は、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を保持する記憶部であり、部分領域を形成する図形単位でマトリクス情報を保持する。マトリクス情報は、出力画像と入力画像との関係が予め１つに決まっていれば、画像合成を開始する前に１度だけ計算を行い、計算結果のマトリクス情報をマトリクスメモリ１３に格納しておけば、画像合成の途中で変更を行う必要はない。また、入力画像と出力画像との関係を複数切り替えて使用する場合には、各シーンに対応したマトリクス情報をマトリクスメモリ１３に予め格納しておき、どのマトリクス情報を用いるかを画像合成時に切り替えるようにすれば、視点変更にも対応することができる。
【００１１】
ベクトル図形処理部１４は、出力画像（表示画面）を複数の領域に分割した結果として得られる頂点データと、頂点データを用いた描画内容を指定する描画コマンドからなるコマンド列とで定義されたベクトル形式の図形データを入力して受け取り、これらを基にベクトル図形を生成する構成部である。
図２は、ベクトル形式の図形データの一例を示す図である。図２の例では、５個の描画コマンドに対応する頂点データで図形が構成される。曲線を描画する場合には、図形の終点と制御点とを指定することで描画を行う。
【００１２】
ここで、領域分割は、図３に示すように、一般的な三角形（図３（ａ）参照）、四角形（図３（ｂ）参照）等に限らず、一部は、輪郭線が曲線を含むベクトル図形を用いて分割してもよい（図３（ｃ）参照）。例えば、入力画像が歪みの大きい広角カメラからの入力である場合には、出力画像（表示画面）をベクトル図形で分割することで、カメラのレンズ歪みの影響を抑えることができる。
【００１３】
図４は、マトリクスメモリ１３に保存される出力画像の部分領域と入力画像の部分領域との対応関係の一例を示す図である。例えば、図４のように入力画像内の三角形の領域が出力画像（表示画面）の三角形の領域と対応している場合、両者の対応関係は、以下のように２×３のマトリクスとして表現することができる。
但し、変換マトリクスの第ｉ行ｊ列成分をＭｉｊと表現し、入力画像内の点（Ｘ，Ｙ）が、出力画像の点（Ｘ’，Ｙ’）に対応するものとする。なお、Ｘ’とＹ’とは、下記式（１）の関係となる。ベクトル図形処理部１４は、ベクトル図形の内部に含まれる領域を判定し、描画を行う画素のＸＹ座標を画像合成部１５に対して出力する。
Ｘ’＝（Ｍ００・Ｘ＋Ｍ０１・Ｙ＋Ｍ０２）
Ｙ’＝（Ｍ１０・Ｘ＋Ｍ１１・Ｙ＋Ｍ１２）      ・・・（１）
【００１４】
画像合成部１５は、マトリクスメモリ１３の情報を用いて画像メモリ１２に保存された画像に対して所定の座標変換処理を行い、この結果をベクトル図形に対してテクスチャマッピングを行う。また、画像合成部１５は、描画を行う画素に対応したメモリの物理アドレスと描画データ（描画色）とを算出して表示用メモリ１６に格納する。マトリクスメモリ１３には、画素単位ではなく、図形単位での変換マトリクス（マトリクス情報）が保存されているので、画像合成部１５は、ベクトル図形の内部の画素に対して、補間によってテクスチャ座標を算出する。表示制御部１７は、表示用メモリ１６からデータを読み出して、ＬＣＤや液晶ディスプレイ等の各表示装置に対応した同期信号を生成して画面表示を行う。
【００１５】
図１の例では、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６、及び表示制御部１７のそれぞれが、例えば、ＭＰＵ（Micro Processing Unit）を実装する半導体集積回路基板などの専用のハードウェアで構成された場合を想定しているが、これに限定されるものではない。
例えば、画像合成装置１０を構成する、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６及び表示制御部１７の処理内容が記述された画像合成プログラムをコンピュータのメモリに格納して、当該コンピュータのＣＰＵ（Central Processing Unit）が、当該メモリに格納された画像合成プログラムを実行することで、当該コンピュータのハードウェアとソフトウェアとが協働して得られる構成部１１〜１７として実現してもよい。
なお、当該コンピュータには、例えば、パソコンの他に、後述する画像合成プログラムを実行することが可能な携帯電話や、携帯情報端末、カーナビゲーション装置等も含まれる。
【００１６】
次に動作について説明する。
図５は、実施の形態１による画像合成装置の動作の流れを示すフローチャートである。この図に沿って、実施の形態１の画像合成処理の詳細を述べる。
先ず、画像合成装置１０は、自装置１０を搭載するシステムのＣＰＵから合成処理開始命令を受けることにより、動作を開始する。ただし、動作開始前には、マトリクスメモリ１３の内容を予め設定しておく必要がある。
画像入力部１１は、前記合成処理開始命令を受けると、入力画像（静止画又は動画）１，２，３，４，・・・のうちから取り込み対象の画像データを選択し、画像メモリ１２に格納する（ステップＳＴ１）。画像入力部１１は、合成対象の全ての画像の取り込みが完了するまで、ステップＳＴ１の処理を繰り返し行う（ステップＳＴ２）。
【００１７】
画像入力部１１によって合成対象の全ての画像の取り込みが完了すると、ベクトル図形処理部１４は、頂点データとコマンド列とで定義されるベクトル形式の図形データを入力し、ベクトル図形の描画を開始する（ステップＳＴ３）。このとき、ベクトル図形処理部１４は、ベクトル図形の輪郭線が曲線を含むか否かを判定する（ステップＳＴ４）。ベクトル図形の輪郭線が曲線である場合（ステップＳＴ４；ＹＥＳ）、ベクトル図形処理部１４は、輪郭線を微小線分に分割を行う（ステップＳＴ５）。
【００１８】
輪郭線が曲線を含まない場合（ステップＳＴ４；ＮＯ）、又はステップＳＴ５で輪郭線を微小線分に分割した後は、ベクトル図形の輪郭線は直線のみで構成されるので、一般的な図形の内外判定方法の手法を用いて容易に図形の内部に含まれる領域を判定することができる。そこで、ベクトル図形処理部１４は、図形の内部に含まれる画素のＸＹ座標を算出して、このＸＹ座標を画像合成部１５へ出力する（ステップＳＴ６）。
【００１９】
画像合成部１５は、マトリクスメモリ１３から、現在描画している図形に対応したマトリクス情報を読み出し、ベクトル図形処理部１４から入力された画素のＸＹ座標（Ｘ，Ｙ）に対して、下記式（２）に従って座標変換を行う（ステップＳＴ７）。この結果、入力画像のテクスチャ座標（Ｕ，Ｖ）が得られる。ただし、変換マトリクスを３行３列として第ｉ行ｊ列成分をＭｉｊのように表す。なお、下記式（２）において、Ｗで除算を行っているのは、透視補正のためである。変換マトリクスの第３行目が、Ｍ２０＝Ｍ２１＝０、Ｍ２２＝１である場合は、通常のアフィン変換となるため、Ｗによる除算は不要である。
Ｕ＝（Ｍ００・Ｘ＋Ｍ０１・Ｙ＋Ｍ０２）／Ｗ
Ｖ＝（Ｍ１０・Ｘ＋Ｍ１１・Ｙ＋Ｍ１２）／Ｗ
Ｗ＝Ｍ２０・Ｘ＋Ｍ２１・Ｙ＋Ｍ２２
・・・（２）
【００２０】
次いで、画像合成部１５は、テクスチャ座標（Ｕ，Ｖ）に対応する入力画像の画素を画像メモリ１２から読み出し、描画を行う画素に対応したメモリの物理アドレスと描画データ（描画色）とを算出して表示用メモリ１６に格納する（ステップＳＴ８）。このとき、入力画像の画素を複数読み出して、バイリニア等のフィルタ処理を行ってもよい。
ここで、本発明の画像合成装置１０は、入力画像が複数あることを想定しているので、テクスチャ座標（Ｕ，Ｖ）が、どの入力画像と対応しているかを判別する必要がある。
このため、例えばマトリクスメモリ１３にどの入力画像に対応したマトリクスであるかを示す識別子を付加しておいてもよい。また、入力画像を画像メモリ１２に格納する際、同時に縮小・フィルタ処理等を行っておき、画像合成部１５が読み出す際は、１つの入力画像として扱えるようにしてもよい。
【００２１】
画像合成部１５が、現在描画している図形の内部に含まれる全ての画素に対して、ステップＳＴ７からステップＳＴ８までの処理を終了すると、出力画像（表示画面）を領域分割して得られる全ての図形領域の描画が完了し、出力画像の生成が終了したか否かを判定する（ステップＳＴ９）。出力画像の生成が終了していない場合（ステップＳＴ９；ＮＯ）、ステップＳＴ３からステップＳＴ８までの処理を繰り返し実施する。出力画像の生成が終了していれば（ステップＳＴ９；ＹＥＳ）、表示制御部１７が、表示用メモリ１６から１フレーム分のデータを読み出し、ＬＣＤ、液晶ディスプレイ等の表示装置に対応した同期信号を生成して画面表示を行う（ステップＳＴ１０）。
【００２２】
さらに、画像合成部１５は、次のフレームの画像合成が必要か否かを判定する（ステップＳＴ１１）。このとき、必要である場合（ステップＳＴ１１；ＹＥＳ）、ステップＳＴ１からステップＳＴ１０までの処理を繰り返し行う。次のフレームの画像合成が必要でない場合（ステップＳＴ１１；ＮＯ）には、画像合成を終了する。
【００２３】
なお、上記の説明では、説明の都合上、画像合成装置１０の各構成要素がシーケンシャルに動作する場合を例として説明したが、画像合成性能を上げたい場合には、画像メモリ１２、表示用メモリ１６をそれぞれダブルバッファ構成として、画像メモリ１２に対する画像入力用の書き込みと画像合成用の読み出し、表示用メモリ１６に対する画像合成結果の書き込みと表示用の読み出し等が並列に動作するようにしてもよい。
【００２４】
以上のように、この実施の形態１によれば、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリ１３と、出力画像を分割する複数の図形領域の形状をそれぞれ規定する頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データを入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部１４とを備え、マトリクスメモリ１３から読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部１４により描画されたベクトル図形に座標変換処理を施し、入力画像のテクスチャ座標を算出し、当該テクスチャ座標に対応する入力画像の画素データを用いて算出した合成画像データを、出力画像として表示装置の画面上に表示する。このように、出力画像の部分領域と入力画像の部分領域とを対応付けるマトリクス情報を用いて画像合成を行うことで、画素単位のマッピングテーブルを用いる場合よりメモリ容量を削減することができる。
【００２５】
また、この実施の形態１によれば、ベクトル形式の図形データが、輪郭線の一部に曲線を含む図形領域で出力画像を分割して得られる頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義された図形データであっても、ベクトル図形処理部１４が、当該輪郭線を微小線分に分割して当該図形領域のベクトル図形を描画するので、三角形、四角形等に限らず、一部は輪郭線が曲線を含むベクトル図形を用いて表示画面を領域分割することが可能であり、入力画像の種類に応じて合成処理を効率化できる。
【００２６】
さらに、この実施の形態１は、フォント、ＧＵＩ（Graphical User Interface）画面等のベクトル図形と、カメラ入力の合成画像とを１つの画面に重ね合わせて表示するような用途に対しても容易に実現することができる。
【００２７】
実施の形態２．
上記実施の形態１では、画像合成装置１０が複数の入力画像を１つに合成して表示する場合について示したが、画像合成装置１０は、通常のベクトル図形描画機能も有しているため、ベクトル図形を単独、又は合成画像と重ね合わせて表示するようにしてもよい。
【００２８】
この実施の形態２における画像合成装置は、上記実施の形態１と構成自体は同一であるが、上記実施の形態１とは、上述したようにベクトル図形を単独、又は、ベクトル図形を合成画像と重ね合わせて表示する点で異なる。そこで、実施の形態２による画像合成装置の構成については、上記実施の形態１で示した図１を参照する。また、以降は、例として合成画像とベクトル画像（フォント等）を重ね合わせて表示する場合について説明する。
【００２９】
次に動作について説明する。
図６は、この発明の実施の形態２による画像合成装置の動作の流れを示すフローチャートである。画像合成装置１０は、自装置１０を搭載するシステムのＣＰＵから図形描画開始命令を受けることにより、動作を開始する。ただし、このとき、上記実施の形態１と同様にして、合成画像の生成は完了しているものとする。
【００３０】
ベクトル図形処理部１４は、前記図形描画開始命令を受けると、頂点データとコマンド列とで定義されるベクトル形式の図形データを入力し、ベクトル図形の描画を開始する（ステップＳＴ１２）。ベクトル図形処理部１４は、ベクトル図形の輪郭線が曲線を含むか否かを判定する（ステップＳＴ１３）。ここで、ベクトル図形の輪郭線が曲線である場合（ステップＳＴ１３；ＹＥＳ）、ベクトル図形処理部１４は、輪郭線を微小線分に分割を行う（ステップＳＴ１４）。
【００３１】
輪郭線が曲線を含まない場合（ステップＳＴ１３；ＮＯ）又はステップＳＴ１４で輪郭線を微小線分に分割した後は、ベクトル図形の輪郭線は直線のみで構成されるので、一般的な図形の内外判定方法の手法を用いて容易に図形の内部に含まれる領域を判定できる。そこで、ベクトル図形処理部１４は、図形の内部に含まれる画素のＸＹ座標を算出して、このＸＹ座標を画像合成部１５へ出力する（ステップＳＴ１５）。
【００３２】
画像合成部１５は、ベクトル図形処理部１４から入力された画素のＸＹ座標に対応するメモリの物理アドレスと描画データ（描画色）を算出する（ステップＳＴ１６）。描画色としては、図形を単色で塗潰す場合は固定色を出力し、グラデーション塗潰しを行う場合は、画像合成部１５で色の補間を行うことで対応する。
次いで、画像合成部１５は、表示用メモリ１６に格納された合成画像を一旦読み出し、描画色との間でブレンド演算を行った後、表示用メモリ１６に書き戻す（ステップＳＴ１７）。
【００３３】
画像合成部１５が、現在描画している図形の内部に含まれる全ての画素に対して、ステップＳＴ１６からステップＳＴ１７までの処理を終了すると、出力画像（表示画面）を領域分割して得られる全ての図形領域の描画が完了し、出力画像の生成が終了したか否かを判定する（ステップＳＴ１８）。
【００３４】
出力画像の生成が終了していない場合（ステップＳＴ１８；ＮＯ）には、ステップＳＴ１２からステップＳＴ１７までの処理を繰り返し実施する。出力画像の生成が終了していれば（ステップＳＴ１８；ＹＥＳ）、表示制御部１７は、表示用メモリ１６から１フレーム分のデータを読み出し、ＬＣＤ、液晶ディスプレイ等の表示装置に対応した同期信号を生成して画面表示を行う（ステップＳＴ１９）。
【００３５】
以上のように、この実施の形態２によれば、ベクトル図形処理部１４が、上記実施の形態１と同様に画像入力部１１による入力画像の取り込み完了を契機としてベクトル図形の描画を開始するモードと、ＣＰＵからの描画開始命令に従ってベクトル図形の描画を開始するモードとを備え、画像合成部１５が、表示用メモリ１６に格納された合成画像データとベクトル図形処理部１４により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして表示用メモリ１６に格納する。このようにすることで、画像合成とベクトル図形の描画という異なる２つの機能を同一の画像合成装置で実現できるため、ハードウェア規模を削減することができる。
【産業上の利用可能性】
【００３６】
この発明に係る画像合成装置は、画素単位のマッピングテーブルを用いずにメモリ容量の削減を図りつつ、出力画像の画素位置と入力画像の画素位置との関係を簡易に得ることができることから、車載カメラシステムや監視カメラシステム等に好適に利用することができる。
【図１】
2011070631.tif 000003
【図２】
2011070631.tif 000004
【図３】
2011070631.tif 000005
【図４】
2011070631.tif 000006
【図５】
2011070631.tif 000007
【図６】
2011070631.tif 000008
【手続補正書】
【提出日】平成22年6月30日(2010.6.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の入力画像を取り込む画像入力部と、
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像を分割して形成された前記出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画される前記ベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、前記出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記分割数分の前記合成画像データを格納する表示用メモリと、
前記表示用メモリから読み出した前記分割数分の前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部とを備えた画像合成装置。
【請求項２】
前記ベクトル図形処理部は、前記画像入力部による入力画像の取り込み完了を契機としてベクトル図形の描画を開始するモードと、描画開始命令に従って前記ベクトル図形の描画を開始するモードとを備えることを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記画像合成部は、前記表示用メモリに格納された合成画像データと前記ベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とする請求項１記載の画像合成装置。
【請求項４】
前記ベクトル形式の図形データは、輪郭線の一部に曲線を含む図形領域で前記出力画像を分割して得られる頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義された図形データであり、
前記ベクトル図形処理部は、前記図形データから前記図形領域が輪郭線の一部に曲線を含むことを判定すると、当該輪郭線を微小線分に分割して当該図形領域のベクトル図形を描画することを特徴とする請求項１記載の画像合成装置。
【請求項５】
前記画像メモリ及び前記表示用メモリをそれぞれダブルバッファ構成として、前記画像メモリに対する前記入力画像の格納と画素データの読み出しを並列して行い、前記表示用メモリに対する合成画像データの格納と読み出しを並列して行うことを特徴とする請求項１記載の画像合成装置。
【請求項６】
複数の入力画像を取り込む画像入力部と、
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像全体を分割して形成された前記出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画される前記ベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、前記出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記分割数分の前記合成画像データを格納する表示用メモリと、
前記表示用メモリから読み出した前記分割数分の前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部としてコンピュータを機能させるための画像合成プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
成装置及びこの装置としてコンピュータを機能させるための画像合成プログラムを得ることを目的とする。
先行技術文献
特許文献
［０００５］
特許文献１：特開２００８−４８２６６号公報
発明の概要
［０００６］
この発明に係る画像合成装置は、複数の入力画像を取り込む画像入力部と、画像入力部により取り込まれた入力画像を格納する画像メモリと、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割して形成された出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部と、マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部により描画されるベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、出力画像の部分領域に対応する入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、画像合成部が算出した分割数分の合成画像データを格納する表示用メモリと、表示用メモリから読み出した分割数分の合成画像データを、出力画像として表示装置の画面上に表示する表示制御部とを備えるものである。
［０００７］
この発明によれば、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割して形成された出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部とを備え、マトリクスメモリから読み出したマトリクス情報で規定される対応関係
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
を用いて、ベクトル図形処理部により描画されるベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、出力画像の部分領域に対応する入力画像の画素データ位置を算出することにより算出した合成画像データを、出力画像として表示装置の画面上に表示する。
このように、出力画像の部分領域と入力画像の部分領域とを対応付けるマトリクス情報を用いて画像合成を行うことで、画素単位のマッピングテーブルを用いる場合よりメモリ容量を削減することができるという効果がある。
図面の簡単な説明
［０００８］
［図１］この発明の実施の形態１による画像合成装置の構成を示すブロック図である。
［図２］ベクトル形式の図形データの一例を示す図である。
［図３］出力画像の領域分割の一例を示す図である。
［図４］出力画像の部分領域と入力画像の部分領域との対応例を示す図である。
［図５］実施の形態１による画像合成装置の動作の流れを示すフローチャートである。
［図６］この発明の実施の形態２による画像合成装置の動作の流れを示すフローチャートである。
発明を実施するための形態
［０００９］
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による画像合成装置の構成を示すブロック図である。図１において、実施の形態１による画像合成装置１０は、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６及び表示制御部１７を備える。画像入力部１１は、複数の入力画像（静止画又は動画）１，２，３，４，・・・の中から、取り込み対象の画像データを選択し、画像メモリ１２に書き込みを行う構成部である。例えば、画像入力部１１は、画像データを一時的に
【手続補正書】
【提出日】平成24年4月6日(2012.4.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の視点から見た実画像を撮影した画像データを入力し、各画像を視点変換して別の視点から見た合成画像を合成する画像合成装置及びこの装置としてコンピュータを機能させるための画像合成プログラムに関するものである。
【背景技術】
【０００２】
従来、実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た仮想画像に変換する画像処理装置が広く使われている。
例えば、特許文献１に開示される画像処理装置は、仮想画像の生成を簡易化するため、出力画像の画素位置と入力画像の画素位置とを対応付けるためのマッピングテーブルを備えている。即ち、特許文献１に開示される画像処理装置では、仮想カメラの画素座標位置（ｕ，ｖ）と実カメラの画素座標位置（Ｕ，Ｖ）との関係の他に、必要に応じて、実カメラの識別子と、複数のカメラが対応する場合の各カメラの必要度等をマッピングテーブルに記録するようにしている。
また、出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合には、入力画像の画素位置と同時に参照された各画素の必要度に応じて、それらの画素値を合成することもできる。
【０００３】
従来の画像処理装置は、以上のように構成されているので、出力画像の画素位置と入力画像の画素位置との関係を簡易に得ることができる。
しかしながら、マッピングテーブルには、画素単位で必要な情報を格納する必要があるため、メモリ規模が増大するという課題があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４８２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明は、上記のような課題を解決するためになされたもので、画素単位のマッピングテーブルを用いずにメモリ容量の削減を図りつつ、出力画像の画素位置と入力画像の画素位置との関係を簡易に得ることができる画像合成装置及びこの装置としてコンピュータを機能させるための画像合成プログラムを得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る画像合成装置は、数の入力画像を取り込む画像入力部と、画像入力部により取り込まれた入力画像を格納する画像メモリと、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割して形成された出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部と、マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部により描画されるベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、画像合成部が算出した分割数分の合成画像データを格納する表示用メモリと、表示用メモリから読み出した分割数分の合成画像データを、出力画像として表示装置の画面上に表示する表示制御部とを備え、画像合成部は、表示用メモリに格納された合成画像データとベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とするものである。
【発明の効果】
【０００７】
この発明によれば、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割して形成された出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部とを備え、マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部により描画されるベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、出力画像の部分領域に対応する入力画像の画素データ位置を算出することにより算出した合成画像データを、出力画像として表示装置の画面上に表示する。
このように、出力画像の部分領域と入力画像の部分領域とを対応付けるマトリクス情報を用いて画像合成を行うことで、画素単位のマッピングテーブルを用いる場合よりメモリ容量を削減することができるという効果がある。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による画像合成装置の構成を示すブロック図である。
【図２】ベクトル形式の図形データの一例を示す図である。
【図３】出力画像の領域分割の一例を示す図である。
【図４】出力画像の部分領域と入力画像の部分領域との対応例を示す図である。
【図５】実施の形態１による画像合成装置の動作の流れを示すフローチャートである。
【図６】この発明の実施の形態２による画像合成装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による画像合成装置の構成を示すブロック図である。図１において、実施の形態１による画像合成装置１０は、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６及び表示制御部１７を備える。画像入力部１１は、複数の入力画像（静止画又は動画）１，２，３，４，・・・の中から、取り込み対象の画像データを選択し、画像メモリ１２に書き込みを行う構成部である。例えば、画像入力部１１は、画像データを一時的に保存するための数ライン分の一時バッファを保持するように構成してもよい。
【００１０】
マトリクスメモリ１３は、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を保持する記憶部であり、部分領域を形成する図形単位でマトリクス情報を保持する。マトリクス情報は、出力画像と入力画像との関係が予め１つに決まっていれば、画像合成を開始する前に１度だけ計算を行い、計算結果のマトリクス情報をマトリクスメモリ１３に格納しておけば、画像合成の途中で変更を行う必要はない。また、入力画像と出力画像との関係を複数切り替えて使用する場合には、各シーンに対応したマトリクス情報をマトリクスメモリ１３に予め格納しておき、どのマトリクス情報を用いるかを画像合成時に切り替えるようにすれば、視点変更にも対応することができる。
【００１１】
ベクトル図形処理部１４は、出力画像（表示画面）を複数の領域に分割した結果として得られる頂点データと、頂点データを用いた描画内容を指定する描画コマンドからなるコマンド列とで定義されたベクトル形式の図形データを入力して受け取り、これらを基にベクトル図形を生成する構成部である。
図２は、ベクトル形式の図形データの一例を示す図である。図２の例では、５個の描画コマンドに対応する頂点データで図形が構成される。曲線を描画する場合には、図形の終点と制御点とを指定することで描画を行う。
【００１２】
ここで、領域分割は、図３に示すように、一般的な三角形（図３（ａ）参照）、四角形（図３（ｂ）参照）等に限らず、一部は、輪郭線が曲線を含むベクトル図形を用いて分割してもよい（図３（ｃ）参照）。例えば、入力画像が歪みの大きい広角カメラからの入力である場合には、出力画像（表示画面）をベクトル図形で分割することで、カメラのレンズ歪みの影響を抑えることができる。
【００１３】
図４は、マトリクスメモリ１３に保存される出力画像の部分領域と入力画像の部分領域との対応関係の一例を示す図である。例えば、図４のように入力画像内の三角形の領域が出力画像（表示画面）の三角形の領域と対応している場合、両者の対応関係は、以下のように２×３のマトリクスとして表現することができる。
但し、変換マトリクスの第ｉ行ｊ列成分をＭｉｊと表現し、入力画像内の点（Ｘ，Ｙ）が、出力画像の点（Ｘ’，Ｙ’）に対応するものとする。なお、Ｘ’とＹ’とは、下記式（１）の関係となる。ベクトル図形処理部１４は、ベクトル図形の内部に含まれる領域を判定し、描画を行う画素のＸＹ座標を画像合成部１５に対して出力する。
Ｘ’＝（Ｍ００・Ｘ＋Ｍ０１・Ｙ＋Ｍ０２）
Ｙ’＝（Ｍ１０・Ｘ＋Ｍ１１・Ｙ＋Ｍ１２）      ・・・（１）
【００１４】
画像合成部１５は、マトリクスメモリ１３の情報を用いて画像メモリ１２に保存された画像に対して所定の座標変換処理を行い、この結果をベクトル図形に対してテクスチャマッピングを行う。また、画像合成部１５は、描画を行う画素に対応したメモリの物理アドレスと描画データ（描画色）とを算出して表示用メモリ１６に格納する。マトリクスメモリ１３には、画素単位ではなく、図形単位での変換マトリクス（マトリクス情報）が保存されているので、画像合成部１５は、ベクトル図形の内部の画素に対して、補間によってテクスチャ座標を算出する。表示制御部１７は、表示用メモリ１６からデータを読み出して、ＬＣＤや液晶ディスプレイ等の各表示装置に対応した同期信号を生成して画面表示を行う。
【００１５】
図１の例では、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６、及び表示制御部１７のそれぞれが、例えば、ＭＰＵ（Micro Processing Unit）を実装する半導体集積回路基板などの専用のハードウェアで構成された場合を想定しているが、これに限定されるものではない。
例えば、画像合成装置１０を構成する、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６及び表示制御部１７の処理内容が記述された画像合成プログラムをコンピュータのメモリに格納して、当該コンピュータのＣＰＵ（Central Processing Unit）が、当該メモリに格納された画像合成プログラムを実行することで、当該コンピュータのハードウェアとソフトウェアとが協働して得られる構成部１１〜１７として実現してもよい。
なお、当該コンピュータには、例えば、パソコンの他に、後述する画像合成プログラムを実行することが可能な携帯電話や、携帯情報端末、カーナビゲーション装置等も含まれる。
【００１６】
次に動作について説明する。
図５は、実施の形態１による画像合成装置の動作の流れを示すフローチャートである。この図に沿って、実施の形態１の画像合成処理の詳細を述べる。
先ず、画像合成装置１０は、自装置１０を搭載するシステムのＣＰＵから合成処理開始命令を受けることにより、動作を開始する。ただし、動作開始前には、マトリクスメモリ１３の内容を予め設定しておく必要がある。
画像入力部１１は、前記合成処理開始命令を受けると、入力画像（静止画又は動画）１，２，３，４，・・・のうちから取り込み対象の画像データを選択し、画像メモリ１２に格納する（ステップＳＴ１）。画像入力部１１は、合成対象の全ての画像の取り込みが完了するまで、ステップＳＴ１の処理を繰り返し行う（ステップＳＴ２）。
【００１７】
画像入力部１１によって合成対象の全ての画像の取り込みが完了すると、ベクトル図形処理部１４は、頂点データとコマンド列とで定義されるベクトル形式の図形データを入力し、ベクトル図形の描画を開始する（ステップＳＴ３）。このとき、ベクトル図形処理部１４は、ベクトル図形の輪郭線が曲線を含むか否かを判定する（ステップＳＴ４）。ベクトル図形の輪郭線が曲線である場合（ステップＳＴ４；ＹＥＳ）、ベクトル図形処理部１４は、輪郭線を微小線分に分割を行う（ステップＳＴ５）。
【００１８】
輪郭線が曲線を含まない場合（ステップＳＴ４；ＮＯ）、又はステップＳＴ５で輪郭線を微小線分に分割した後は、ベクトル図形の輪郭線は直線のみで構成されるので、一般的な図形の内外判定方法の手法を用いて容易に図形の内部に含まれる領域を判定することができる。そこで、ベクトル図形処理部１４は、図形の内部に含まれる画素のＸＹ座標を算出して、このＸＹ座標を画像合成部１５へ出力する（ステップＳＴ６）。
【００１９】
画像合成部１５は、マトリクスメモリ１３から、現在描画している図形に対応したマトリクス情報を読み出し、ベクトル図形処理部１４から入力された画素のＸＹ座標（Ｘ，Ｙ）に対して、下記式（２）に従って座標変換を行う（ステップＳＴ７）。この結果、入力画像のテクスチャ座標（Ｕ，Ｖ）が得られる。ただし、変換マトリクスを３行３列として第ｉ行ｊ列成分をＭｉｊのように表す。なお、下記式（２）において、Ｗで除算を行っているのは、透視補正のためである。変換マトリクスの第３行目が、Ｍ２０＝Ｍ２１＝０、Ｍ２２＝１である場合は、通常のアフィン変換となるため、Ｗによる除算は不要である。
Ｕ＝（Ｍ００・Ｘ＋Ｍ０１・Ｙ＋Ｍ０２）／Ｗ
Ｖ＝（Ｍ１０・Ｘ＋Ｍ１１・Ｙ＋Ｍ１２）／Ｗ
Ｗ＝Ｍ２０・Ｘ＋Ｍ２１・Ｙ＋Ｍ２２
・・・（２）
【００２０】
次いで、画像合成部１５は、テクスチャ座標（Ｕ，Ｖ）に対応する入力画像の画素を画像メモリ１２から読み出し、描画を行う画素に対応したメモリの物理アドレスと描画データ（描画色）とを算出して表示用メモリ１６に格納する（ステップＳＴ８）。このとき、入力画像の画素を複数読み出して、バイリニア等のフィルタ処理を行ってもよい。
ここで、本発明の画像合成装置１０は、入力画像が複数あることを想定しているので、テクスチャ座標（Ｕ，Ｖ）が、どの入力画像と対応しているかを判別する必要がある。
このため、例えばマトリクスメモリ１３にどの入力画像に対応したマトリクスであるかを示す識別子を付加しておいてもよい。また、入力画像を画像メモリ１２に格納する際、同時に縮小・フィルタ処理等を行っておき、画像合成部１５が読み出す際は、１つの入力画像として扱えるようにしてもよい。
【００２１】
画像合成部１５が、現在描画している図形の内部に含まれる全ての画素に対して、ステップＳＴ７からステップＳＴ８までの処理を終了すると、出力画像（表示画面）を領域分割して得られる全ての図形領域の描画が完了し、出力画像の生成が終了したか否かを判定する（ステップＳＴ９）。出力画像の生成が終了していない場合（ステップＳＴ９；ＮＯ）、ステップＳＴ３からステップＳＴ８までの処理を繰り返し実施する。出力画像の生成が終了していれば（ステップＳＴ９；ＹＥＳ）、表示制御部１７が、表示用メモリ１６から１フレーム分のデータを読み出し、ＬＣＤ、液晶ディスプレイ等の表示装置に対応した同期信号を生成して画面表示を行う（ステップＳＴ１０）。
【００２２】
さらに、画像合成部１５は、次のフレームの画像合成が必要か否かを判定する（ステップＳＴ１１）。このとき、必要である場合（ステップＳＴ１１；ＹＥＳ）、ステップＳＴ１からステップＳＴ１０までの処理を繰り返し行う。次のフレームの画像合成が必要でない場合（ステップＳＴ１１；ＮＯ）には、画像合成を終了する。
【００２３】
なお、上記の説明では、説明の都合上、画像合成装置１０の各構成要素がシーケンシャルに動作する場合を例として説明したが、画像合成性能を上げたい場合には、画像メモリ１２、表示用メモリ１６をそれぞれダブルバッファ構成として、画像メモリ１２に対する画像入力用の書き込みと画像合成用の読み出し、表示用メモリ１６に対する画像合成結果の書き込みと表示用の読み出し等が並列に動作するようにしてもよい。
【００２４】
以上のように、この実施の形態１によれば、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリ１３と、出力画像を分割する複数の図形領域の形状をそれぞれ規定する頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データを入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部１４とを備え、マトリクスメモリ１３から読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部１４により描画されたベクトル図形に座標変換処理を施し、入力画像のテクスチャ座標を算出し、当該テクスチャ座標に対応する入力画像の画素データを用いて算出した合成画像データを、出力画像として表示装置の画面上に表示する。このように、出力画像の部分領域と入力画像の部分領域とを対応付けるマトリクス情報を用いて画像合成を行うことで、画素単位のマッピングテーブルを用いる場合よりメモリ容量を削減することができる。
【００２５】
また、この実施の形態１によれば、ベクトル形式の図形データが、輪郭線の一部に曲線を含む図形領域で出力画像を分割して得られる頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義された図形データであっても、ベクトル図形処理部１４が、当該輪郭線を微小線分に分割して当該図形領域のベクトル図形を描画するので、三角形、四角形等に限らず、一部は輪郭線が曲線を含むベクトル図形を用いて表示画面を領域分割することが可能であり、入力画像の種類に応じて合成処理を効率化できる。
【００２６】
さらに、この実施の形態１は、フォント、ＧＵＩ（Graphical User Interface）画面等のベクトル図形と、カメラ入力の合成画像とを１つの画面に重ね合わせて表示するような用途に対しても容易に実現することができる。
【００２７】
実施の形態２．
上記実施の形態１では、画像合成装置１０が複数の入力画像を１つに合成して表示する場合について示したが、画像合成装置１０は、通常のベクトル図形描画機能も有しているため、ベクトル図形を単独、又は合成画像と重ね合わせて表示するようにしてもよい。
【００２８】
この実施の形態２における画像合成装置は、上記実施の形態１と構成自体は同一であるが、上記実施の形態１とは、上述したようにベクトル図形を単独、又は、ベクトル図形を合成画像と重ね合わせて表示する点で異なる。そこで、実施の形態２による画像合成装置の構成については、上記実施の形態１で示した図１を参照する。また、以降は、例として合成画像とベクトル画像（フォント等）を重ね合わせて表示する場合について説明する。
【００２９】
次に動作について説明する。
図６は、この発明の実施の形態２による画像合成装置の動作の流れを示すフローチャートである。画像合成装置１０は、自装置１０を搭載するシステムのＣＰＵから図形描画開始命令を受けることにより、動作を開始する。ただし、このとき、上記実施の形態１と同様にして、合成画像の生成は完了しているものとする。
【００３０】
ベクトル図形処理部１４は、前記図形描画開始命令を受けると、頂点データとコマンド列とで定義されるベクトル形式の図形データを入力し、ベクトル図形の描画を開始する（ステップＳＴ１２）。ベクトル図形処理部１４は、ベクトル図形の輪郭線が曲線を含むか否かを判定する（ステップＳＴ１３）。ここで、ベクトル図形の輪郭線が曲線である場合（ステップＳＴ１３；ＹＥＳ）、ベクトル図形処理部１４は、輪郭線を微小線分に分割を行う（ステップＳＴ１４）。
【００３１】
輪郭線が曲線を含まない場合（ステップＳＴ１３；ＮＯ）又はステップＳＴ１４で輪郭線を微小線分に分割した後は、ベクトル図形の輪郭線は直線のみで構成されるので、一般的な図形の内外判定方法の手法を用いて容易に図形の内部に含まれる領域を判定できる。そこで、ベクトル図形処理部１４は、図形の内部に含まれる画素のＸＹ座標を算出して、このＸＹ座標を画像合成部１５へ出力する（ステップＳＴ１５）。
【００３２】
画像合成部１５は、ベクトル図形処理部１４から入力された画素のＸＹ座標に対応するメモリの物理アドレスと描画データ（描画色）を算出する（ステップＳＴ１６）。描画色としては、図形を単色で塗潰す場合は固定色を出力し、グラデーション塗潰しを行う場合は、画像合成部１５で色の補間を行うことで対応する。
次いで、画像合成部１５は、表示用メモリ１６に格納された合成画像を一旦読み出し、描画色との間でブレンド演算を行った後、表示用メモリ１６に書き戻す（ステップＳＴ１７）。
【００３３】
画像合成部１５が、現在描画している図形の内部に含まれる全ての画素に対して、ステップＳＴ１６からステップＳＴ１７までの処理を終了すると、出力画像（表示画面）を領域分割して得られる全ての図形領域の描画が完了し、出力画像の生成が終了したか否かを判定する（ステップＳＴ１８）。
【００３４】
出力画像の生成が終了していない場合（ステップＳＴ１８；ＮＯ）には、ステップＳＴ１２からステップＳＴ１７までの処理を繰り返し実施する。出力画像の生成が終了していれば（ステップＳＴ１８；ＹＥＳ）、表示制御部１７は、表示用メモリ１６から１フレーム分のデータを読み出し、ＬＣＤ、液晶ディスプレイ等の表示装置に対応した同期信号を生成して画面表示を行う（ステップＳＴ１９）。
【００３５】
以上のように、この実施の形態２によれば、ベクトル図形処理部１４が、上記実施の形態１と同様に画像入力部１１による入力画像の取り込み完了を契機としてベクトル図形の描画を開始するモードと、ＣＰＵからの描画開始命令に従ってベクトル図形の描画を開始するモードとを備え、画像合成部１５が、表示用メモリ１６に格納された合成画像データとベクトル図形処理部１４により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして表示用メモリ１６に格納する。このようにすることで、画像合成とベクトル図形の描画という異なる２つの機能を同一の画像合成装置で実現できるため、ハードウェア規模を削減することができる。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の入力画像を取り込む画像入力部と、
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像を分割して形成された前記出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画される前記ベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、前記出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記分割数分の前記合成画像データを格納する表示用メモリと、
前記表示用メモリから読み出した前記分割数分の前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部とを備え、
前記画像合成部は、前記表示用メモリに格納された合成画像データと前記ベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とする画像合成装置。
【請求項２】
前記ベクトル図形処理部は、前記画像入力部による入力画像の取り込み完了を契機としてベクトル図形の描画を開始するモードと、描画開始命令に従って前記ベクトル図形の描画を開始するモードとを備えることを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記ベクトル形式の図形データは、輪郭線の一部に曲線を含む図形領域で前記出力画像を分割して得られる頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義された図形データであり、
前記ベクトル図形処理部は、前記図形データから前記図形領域が輪郭線の一部に曲線を含むことを判定すると、当該輪郭線を微小線分に分割して当該図形領域のベクトル図形を描画することを特徴とする請求項１記載の画像合成装置。
【請求項４】
前記画像メモリ及び前記表示用メモリをそれぞれダブルバッファ構成として、前記画像メモリに対する前記入力画像の格納と画素データの読み出しを並列して行い、前記表示用メモリに対する合成画像データの格納と読み出しを並列して行うことを特徴とする請求項１記載の画像合成装置。
【請求項５】
複数の入力画像を取り込む画像入力部と、
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像全体を分割して形成された前記出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画される前記ベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、前記出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記分割数分の前記合成画像データを格納する表示用メモリと、
前記画像合成部は、前記表示用メモリに格納された合成画像データと前記ベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とし、
前記表示用メモリから読み出した前記分割数分の前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部としてコンピュータを機能させるための画像合成プログラム。
【国際調査報告】
2011070631.tif 000009
2011070631.tif 000010