(57)【要約】【課題】複数の画像から１枚のパノラマ画像を合成する際に、局所的な非線形の歪みや画像間に幾何学的な変換が生じている場合でも、精度良く画像を合成する。【解決手段】第１の画像において、第２の画像との共通撮像領域とその周辺Ｍ画素（但し、０≦Ｍ）を含む領域から、画素を２つ以上抽出する画素抽出部と、前記第２の画像において、前記第１の画像との共通撮像領域とその周辺Ｎ画素（但し、０≦Ｎ）を含む領域から、前記抽出画素に基づき予め定義される領域と所定の条件を満たす領域を構成する画素を２つ以上選択する画素選択部と、前記第１の画像と前記第２の画像の少なくとも一方を補正する画像補正部と、前記第１の画像と前記第２の画像の少なくとも一方が補正された画像とを合成する画像合成部とを備え、画像の生成を行う。【選択図】図３
2008003683.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と第２の画像とを用いて画像を生成する装置であって、
前記第１の画像のうち、前記第１の画像と前記第２の画像との共通撮像領域とその周辺Ｍ画素（但し、０≦Ｍ）を含む領域から、画素を２つ以上抽出する画素抽出部と、
前記第２の画像のうち、前記第１の画像との共通撮像領域とその周辺Ｎ画素（但し、０≦Ｎ）を含む領域から、前記抽出画素に基づき予め定義される領域と所定の条件を満たす領域を構成する画素を２つ以上選択する画素選択部と、
前記選択した画素を基に前記第１の画像と前記第２の画像の少なくとも一方を補正する画像補正部と、
少なくとも一方が補正された前記第１の画像と前記第２の画像とを合成する画像合成部とを備えた画像生成装置。
【請求項２】
前記所定の条件は、抽出画素に基づき予め定義される領域における画素値の差異を最小にすることを特徴とする請求項１記載の画像生成装置。
【請求項３】
抽出画素に基づき予め定義される領域における差異は、画像の輝度情報、色情報、幾何情報の少なくとも一つを基に算出することを特徴とする請求項２記載の画像生成装置。
【請求項４】
前記領域は、直線、曲線、平面の少なくとも一つであることを特徴とする請求項１乃至３記載の画像生成装置。
【請求項５】
画素選択部は、画素抽出部により抽出された画素との対応関係を表す歪み関数を算出することを特徴とする請求項１乃至４記載の画像生成装置。
【請求項６】
前記補正は、前記選択された２つ以上の点のうち少なくとも１つの点を共通撮像領域外の対応点の新たな点の座標を算出するために用い、前記選択された２つ以上の点と前記新たな点とを用いて共通撮像領域外の画像データを、補正することを特徴とする請求項１乃至５記載の画像生成装置。
【請求項７】
画像補正部は、第１の画像と第２の画像との共通撮像領域以外の領域において、歪み関数に重み付けをして画素の補正を行うことを特徴とする請求項１乃至６記載の画像生成装置。
【請求項８】
画像合成部は、第１の画像と第２の画像との共通撮像領域の少なくとも一方をクリッピング処理して合成することを特徴とする請求項１乃至７記載の画像生成装置。
【請求項９】
画像合成部は、第１の画像と第２の画像との共通撮像領域の少なくとも一方を透過処理して合成することを特徴とする請求項１乃至７記載の画像生成装置。
【請求項１０】
画像のマッチング処理により、第１の画像と第２の画像との共通撮像領域を抽出する共通領域抽出部を更に備えることを特徴とする請求項１乃至９記載の画像生成装置。
【請求項１１】
第１の画像と第２の画像を合成して画像を生成する方法であって、
前記第１の画像のうち、前記第１の画像と前記第２の画像との共通撮像領域とその周辺Ｍ画素（但し、０≦Ｍ）を含む領域から、画素を２つ以上抽出する画素抽出ステップと、
前記第２の画像のうち、前記第１の画像との共通撮像領域とその周辺Ｎ画素（但し、０≦Ｎ）を含む領域から、前記抽出画素に基づき予め定義される領域と所定の条件を満たす領域を構成する画素を２つ以上選択する画素選択ステップと、
前記選択した画素を基に前記第１の画像と前記第２の画像の少なくとも一方を補正する画像補正ステップと、
少なくとも一方が補正された前記第１の画像と前記第２の画像とを合成する画像合成ステップとを含む画像生成方法。
【請求項１２】
画像のマッチング処理により、第１の画像と第２の画像との共通撮像領域を抽出する共通領域抽出ステップを更に備えることを特徴とする請求項１１記載の画像生成方法。
【請求項１３】
コンピュータに、第１の画像と第２の画像を合成して画像を生成させるプログラムであって、
前記第１の画像のうち、前記第１の画像と前記第２の画像との共通撮像領域とその周辺Ｍ画素（但し、０≦Ｍ）を含む領域から、画素を２つ以上抽出する画素抽出ステップと、
前記第２の画像のうち、前記第１の画像との共通撮像領域とその周辺Ｎ画素（但し、０≦Ｎ）を含む領域から、前記抽出画素に基づき予め定義される領域と所定の条件を満たす領域を構成する画素を２つ以上選択する画素選択ステップと、
前記選択した画素を基に前記第１の画像と前記第２の画像の少なくとも一方を補正する画像補正ステップと、
少なくとも一方が補正された前記第１の画像と前記第２の画像とを合成する画像合成ステップとを実行させるためのプログラム。
【請求項１４】
入力された第１の画像と第２の画像を合成して画像を生成するよう制御する半導体装置であって、
前記第１の画像のうち、前記第１の画像と前記第２の画像との共通撮像領域とその周辺Ｍ画素（但し、０≦Ｍ）を含む領域から、画素を２つ以上抽出させ、
前記第２の画像のうち、前記第１の画像との共通撮像領域とその周辺Ｎ画素（但し、０≦Ｎ）を含む領域から、前記抽出画素に基づき予め定義される領域と所定の条件を満たす領域を構成する画素を２つ以上選択させ、
前記選択した画素を基に前記第１の画像と前記第２の画像の少なくとも一方を補正させ、
少なくとも一方が補正された前記第１の画像と前記第２の画像とを合成させるよう制御する半導体装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像から１枚の画像を生成する技術に関するものである。
【背景技術】
【０００２】
従来、複数枚の画像を接合してパノラマ画像を生成するには、収差補正と回転補正を施し、画像を補正して生成するものがあった（特許文献１参照）。図２２は、特許文献１に記載された従来技術のブロック図である。
【０００３】
まず、画像間で共通の被写体部分に対応する点（以下、対応点と記述する）を対応点検出手段２２０３で検出する。対応点の検出には、次に、その対応点を基に歪曲収差焦点距離推定手段２２０４で、焦点距離値、歪曲収差値の推定、回転補正制御手段２２０６で回転補正角を推定する。最後に、これらの値を用いて、まず、歪曲収差補正手段２２０５で画像の歪曲収差を補正し、続いて、回転補正手段２２０７で回転補正を行う。
【特許文献１】特開平６−４６６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の構成では、対応点の抽出を正確に行なわないと補正の精度が低下する。ここで、通常、対応点の抽出はマッチング処理によって行なわれる。しかし、光源の影響等により複数の画像間で同じ位置にある画素であっても輝度値や色に違いが生じるため、画素単位で対応点の抽出を正確に行なうことは容易ではない。
【０００５】
また、領域毎に生じた非線形の歪みを、完全に補正することは困難であるため、合成時に画像が完全には繋がらない。
【０００６】
そこで本発明は、アフィン変換や透視変換の幾何学変換を用いずにマッチングだけの容易な処理で画像間の差異を推定し、この差異によって求められた歪み関数により精度よく補正を行い、パノラマ画像を生成する画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
第１の発明による画像生成装置は、第１の画像において、第２の画像との共通撮像領域とその周辺Ｍ画素（但し、０≦Ｍ）を含む領域から、画素を２つ以上抽出する画素抽出部と、前記第２の画像において、前記第１の画像との共通撮像領域とその周辺Ｎ画素（但し、０≦Ｎ）を含む領域から、前記抽出画素に基づき予め定義される領域と所定の条件を満たす領域を構成する画素を２つ以上選択する画素選択部と、前記選択した画素を基に前記第１の画像と前記第２の画像の少なくとも一方を補正する画像補正部と、前記第１の画像と前記第２の画像の少なくとも一方が補正された画像とを合成する画像合成部とを有し、画像の生成を行う。
【０００８】
第２の発明によれば、所定の条件は、抽出画素に基づき予め定義される領域における画素値の差異を最小にすることとである。
【０００９】
第３の発明によれば、抽出画素に基づき予め定義される領域における差異は、画像の輝度情報、色情報、幾何情報の少なくとも一つを基に算出する。
【００１０】
第４の発明によれば、領域は、直線、曲線、平面の少なくとも一つである。
【００１１】
第５の発明によれば、画素選択部は、画素抽出部により抽出された画素との対応関係を表す歪み関数を算出する。
【００１２】
第６の発明によれば、補正とは、選択された２つ以上の点のうち少なくとも１つの点を共通撮像領域外の対応点の新たな点の座標を算出するために用い、前記選択された２つ以上の点と前記新たな点とを用いて共通撮像領域外の画像データを補正することである。
【００１３】
第７の発明によれば、画像補正部は、第１の画像と第２の画像との共通撮像領域以外の領域において、歪み関数に重み付けをして画素の補正を行う。
【００１４】
第８の発明によれば、画像合成部は、第１の画像と第２の画像との共通撮像領域の少なくとも一方をクリッピング処理して合成する。
【００１５】
第９の発明によれば、画像合成部は、第１の画像と第２の画像との共通撮像領域の少なくとも一方を透過処理して合成する。
【００１６】
更に、第１０の発明によれば、画像のマッチング処理により、第１の画像と第２の画像との共通撮像領域を抽出する共通領域抽出部を備えることもできる。
【発明の効果】
【００１７】
本発明によれば、アフィン変換や透視変換の幾何学変換を用いずにマッチングだけの容易な処理で精度よく補正を行い、パノラマ画像を生成することができる。
【００１８】
また、さらに、所定の領域において局所的なマッチング処理を行い、その結果を基に画像に補正処理を施す。この局所的なマッチング処理により、レンズの非線形歪みを含め、様々な幾何学変換にも対応が可能となる。
【発明を実施するための最良の形態】
【００１９】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２０】
（実施の形態）
図１は、本発明の実施の形態における画像生成装置のブロック図である。
【００２１】
図１において、画像生成装置は、画素抽出部１０１と画素選択部１０２と画像補正部１０３と画像合成部１０４とを有する。
【００２２】
図３は、本発明の実施の形態１に係る、画像生成装置のフローチャートである。
【００２３】
まず、第１の画像と第２の画像を入力し、画素抽出部１０１は、第１の画像において、図４に示す第２の画像との共通撮像領域と、その周辺Ｍ画素（但し、Ｍ≧０）を含むあらかじめ定義される領域から、第１の画像の画素を２つ以上抽出する（ステップ３０１）。
【００２４】
次に、画素選択部１０２は、第２の画像において、第１の画像との共通撮像領域（図４中ハッチングされた部分）とその周辺Ｎ画素（但し、Ｎ≧０）を含む領域から、前記抽出した画素に基づき予め定義される領域と所定の条件を満たす領域を構成する第２の画像の画素を２つ以上選択する（ステップ３０２）。所定の条件については後述する。
【００２５】
そして、画像補正部１０３は、第１の画像と第２の画像の少なくとも一方を補正する（ステップ３０３）。補正は、後述する前記選択した画素から求められる歪み関数を基に行う。
【００２６】
最後に、画像合成部１０４は、少なくとも一方が補正された第１の画像と第２の画像とを合成する（ステップ３０４）。
【００２７】
以下、各ステップの詳細を説明する。
【００２８】
ここでは、周辺画素数を０（Ｍ＝Ｎ＝０）とし、図４のハッチング部分である共通の撮像領域のみを予め定義される領域として注目して合成する例を示す。
【００２９】
まず、ステップ３０１では、第１の画像から画素Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）を抽出する（図５）。図５においてハッチングがされた領域は、第１の画像における共通撮像領域である。図５に示すように、Ｐ１とＰ２は水平方向に長さを有する線分を形成するように抽出される（ｙ１＝ｙ２）。
【００３０】
そして、ステップ３０２では、前述した所定の条件、即ち、画素Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）を結んだ線分の輝度値とのノルムが最小となる線分を構成する画素Ｑ１（ｕ１，ｖ１）、Ｑ２（ｕ２，ｖ２）を第２の画像から選択する（図６）。
【００３１】
ノルム算出の際には、まず、線分Ｐ１Ｐ２、線分Ｑ１Ｑ２をｎ等分し、新たな点Ｐ’ｎ（ｘｎ，ｙｎ）、Ｑ’ｎ（ｕｎ，ｖｎ）をそれぞれ求める（図７）。そして、（数１）により算出する。尚、ｆ（ξ）はξでの輝度値を表す。
【００３２】
【数１】
2008003683.tif 000003
【００３３】
但し、ｘｎ，ｙｎ，ｕｎ，ｖｎが実数を取ることに注意する。従って、画素が存在しない場合（ｘｎ，ｙｎ，ｕｎ，ｖｎが整数でない場合）、ニアレストネイバー法（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ  Ｍｅｔｈｏｄ）、バイリニア法（Ｂｉ−Ｌｉｎｅａｒ  Ｍｅｔｈｏｄ）、バイキュービック法（Ｂｉ−Ｃｕｂｉｃ  Ｍｅｔｈｏｄ）など従来のサンプリング手法を用いて補間を行う必要がある。一例として、バイリニア法による補間方法を以下に示す。まず、座標Ａの４近傍Ａ１〜Ａ４と各座標の輝度値ｆ（Ａ１）〜ｆ（Ａ４）求める（図８）。そして、（数２）により座標Ａの輝度値ｆ（Ａ）を求める。
【００３４】
【数２】
2008003683.tif 000004
【００３５】
上記処理を繰り返し、共通撮像領域内での歪み関数（線分Ｐ１Ｐ２と線分Ｑ１Ｑ２の対応関係）を求める。一例としては、図９に示すように、１ライン単位に線分Ｐ１（ｋ）Ｐ２（ｋ）を選択し（各ラインでｙ１＝ｙ２）、それに対応する線分Ｑ１（ｋ）Ｑ２（ｋ）の組を選択すればよい。但し、線分Ｑ１（ｋ）Ｑ２（ｋ）の選択にあたって、線分Ｑ１（ｋ−１）Ｑ２（ｋ−１）の結果も考慮に、全体最適となるようにする。即ち、ノルムの計算には（数３）を用いる。
【００３６】
【数３】
2008003683.tif 000005
【００３７】
次に、ステップ３０３では、前記歪み関数を基に画像の補正を行う。ここでは、第２の画像のみ補正する方法を示す。
【００３８】
（共通撮像領域の補正）
まず、第２の画像における共通撮像領域の画素データを線分Ｑ１Ｑ２の画素データで置き換えることで補正する（図１０）。
【００３９】
この処理により、第１の画像と第２の画像の共通撮像領域が、略等しい状態となる。
【００４０】
（共通撮像領域以外の領域の補正）
次に、第２の画像における共通撮像領域以外の領域を補正する。補正は、前記歪み関数に重み付けをして周辺画素に伝播させることで行なう。ここでは、線形の重み付けを行う方法を示す。
【００４１】
共通撮像領域の右端点をＴ１（ｋ１，ｌ１）、歪みの伝播を実施する範囲（画素数）をβ、Ｔ１（ｋ１，ｌ１）とＴβ（ｋβ，ｌβ）との垂直方向の差をαとする（図１１）。線形の重みを付ける場合、ｙ＝ｌβ上の画素の輝度値を直線Ｔ１Ｔβ上の輝度値で置き換えることで実現できる。ここでは、Ｔ’ｎ（ｋｎ，ｌβ）の輝度値をＴｎ（ｋｎ，ｌβ）の輝度値で置き換える手順を説明する。
【００４２】
まず、（数４）により線分Ｔ１Ｔβを求める。
【００４３】
【数４】
2008003683.tif 000006
【００４４】
そして、（数５）によりｌｎを求める。
【００４５】
【数５】
2008003683.tif 000007
【００４６】
但し、ｌｎは実数であることに注意する。従って、画素が存在しない場合（ｌｎが整数でない場合）、前述のニアレストネイバー法、バイリニア法、バイキュービック法などのサンプリング手法を用いて補間を行う必要がある。このようにして求めたＴｎの輝度値をＴ’ｎの輝度値と置き換える。これを、ｙ＝ｌβ（ｋ１≦ｘ≦ｋβ）上の輝度値に適用することで、線形の重み付けをした歪みの伝播が完了する。
【００４７】
最後に、画像の合成を行う（図１２）。
【００４８】
まず、第２の画像の共通撮像領域を削除する。そして、第１の画像と第２の画像を接合する。
【００４９】
このように本発明によれば、アフィン変換や透視変換の幾何学変換を用いずにマッチングだけの容易な処理で精度よく補正を行い、パノラマ画像を生成することができる。
【００５０】
また、所定の領域において局所的なマッチング処理を行い、その結果を基に画像に補正処理を施す。この局所的なマッチング処理により、レンズの非線形歪みを含め、様々な幾何学変換にも対応が可能となる。
【００５１】
また、部分的な補正であるため、連続して撮像された１〜Ｎ枚の画像データを接合して３６０°パノラマ画像を生成する際にも、最初の画像（角度０°の画像）と最後の画像（角度３６０°の画像）の合成もスムースに行うことができる。
【００５２】
尚、本実施の形態において、予め指定された範囲として、Ｍ＝Ｎ＝０（即ち、共通撮像領域）としたが、これに限ったものではない。例えば、図１３の様に共通撮像領域を超えた範囲を指定された範囲として、画素を選択することも可能である。但し、ノルムを算出する際、画素が存在しない領域Ｒについては計算を行なわないことに注意する。
【００５３】
また、本実施の形態において、輝度信号に基づいてノルムの計算を行ったが、これに限ったものではない。色情報に基づいて計算を行っても良い。例えば、Ｒ信号、Ｇ信号、Ｂ信号、色差信号を用いることができる。また、幾何情報を用いても良い。例えば、近傍数画素からエッジの方向を判定し（図１４）、この方向が維持されるように線分Ｑ１（ｋ）Ｑ２（ｋ）の組を選択することができる。
【００５４】
また、本実施の形態において、２つの画素を抽出したが、これに限ったものではない。例えば、図１５の様に３つの画素を抽出し、折れ線としてマッチングを取ることもできる。また３点以上の場合は、図１６の様に、△Ｐ１Ｐ２Ｐ３と△Ｑ１Ｑ２Ｑ３の領域としてマッチングを取ってもよい。この様に、抽出点を多くすることで自由度が上がり、マッチングの精度を上げることができる。
【００５５】
また、本実施の形態において、線分をｎ等分してノルムの計算を行なったが、これに限ったものではない。例えば、図１７の様に、線分Ｐ’１Ｐ’５と線分Ｑ’１Ｑ’５のノルムが最小となるようなＱ’２（ｕ２，ｖ２）〜Ｑ’４（ｕ４，ｖ４）を探索し、非線形の分割を行なっても良い。非線形の分割を許容することで補間点Ｑ’２（ｕ２，ｖ２）〜Ｑ’４（ｕ４，ｖ４）の自由度が上がり、マッチングの精度を上げることができる。
【００５６】
本実施の形態において、歪み関数を伝播させる際に線形で重み付けを行なったが、これに限ったものではない。例えば、図１８に示すような非線形での重み付けを行っても良い。この様な曲線にすることで、より滑らかに画像を補正することができる。
【００５７】
本実施の形態において、画像を合成する際に、一方の共通撮像領域を削除したが、これに限ったものではない。透過処理を施し、重ね合わせても良い。境界部をぼかす事により、接合部の不連続性を緩和することができ、一方で透過率を０または実質上０に近い値とすることで本願の効果も奏することができる。
【００５８】
本実施の形態において、第２の画像のみを操作したが、これに限ったものではない。図１９の様に、第１の画像と第２の画像を同時に操作し、最適なパターンを探索しても良い。補正による変化量を第１の画像と第２の画像に分指させることができ、１つの画像当たりの変化量を抑えることが出来る。
【００５９】
本実施の形態において、共通撮像領域を予め指定していたが、これに限ったものではない。図２の構成例に示すように共通領域抽出部２０１を加え、本領域を計算によって求めることもできる。例えば、第１の画像と第２の画像の相互相関を算出し、最も相関値が高い領域を共通領域とすれば良い。
【００６０】
（変形例）
実施の形態１における画像生成装置の各構成要素をプログラムとして構築し、画像生成装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることも可能である。このプログラムには、画素抽出部１０１と画素選択部１０２と画像補正部１０３と画像合成部１０４が、プロセス、またはプログラムモジュールとして実装されることになる。
【００６１】
本実施の形態に係る構成例を図２０に示す。２００１はＣＰＵ、２００２はカムコーダ、デジタルカメラ等の画像取り込み部、２００３は画像取り込み機器の接続Ｉ／Ｏ、２００４はテレビ等のディスプレイ部、２００５はディスプレイ部の接続Ｉ／Ｏ、２００６はＲＡＭ、２００７はハードディスク等の外部記憶装置、２００８は外部記憶装置の接続Ｉ／Ｏ、２００９はＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体、２０１０は記憶媒体を読み込むドライブ、２０１１はドライブの接続Ｉ／Ｏ、２０１２はネットワーク通信を行うＩ／Ｆである。
【００６２】
以下、図２１のフローチャートを用いて詳細を示す。
【００６３】
まずプログラムの読み込みを行う。
【００６４】
本プログラムは、コンピュータ上で実行可能な形式として記録媒体２００９に格納されている。これをドライブ２０１０で読み込む。或いは、本プログラムは、ネットワークなどのＩ／Ｆ２０１２を通じてダウンロードしてもよい。また、本プログラムは、予め外部記憶装置２００７に格納されていてもよいし、更には、ドライブ、ネットワークを通じて読み込んだ後に、接続Ｉ／Ｏ２０１１及び２００８を通じて、外部記憶装置２００７に格納してもよい（ステップ２１０１）。
【００６５】
読み込んだプログラムをＲＡＭ２００６に読み込む（ステップ２１０２）。なお、ドライブ２０１０を用いて読み込む場合は、接続Ｉ／Ｏ２０１１を通じてＲＡＭ２００６へ展開される。一方、外部記憶装置２００７を用いて読み込む場合は、接続Ｉ／Ｏ２００８を通じてＲＡＭ２００６へ展開される。
【００６６】
次に画像データの取り込みを行う。
【００６７】
取り込みは、画像取り込み部２００２で光学的に行われる（ステップ２１０３）。
【００６８】
取り込まれた画像が、接続Ｉ／Ｏ２００３及び２００８を通じて外部記憶装置に格納される（ステップ２１０４）。
【００６９】
格納された画像データが、接続Ｉ／Ｏ２００８を通じてＲＡＭ２００６へ展開される（ステップ２１０５）。
【００７０】
ＲＡＭに読み込まれたプログラムと画像データを用いてＣＰＵ２００１で画像生成処理が行われる（ステップ２１０６）。ここでの処理は、上述した実施の形態に従って進められる。
【００７１】
生成した結果は、接続Ｉ／Ｏ２００５を通じてディスプレイ部２００４に表示される。また、生成した画像データを、Ｉ／Ｆ２０１２を通じて送信することも可能である。
【００７２】
（その他変形例）
なお、本発明を上記実施の形態及び変形例に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【００７３】
（１）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【００７４】
（２）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【００７５】
（３）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００７６】
本発明にかかる画像生成装置は、局所的な非線形の歪みを含む様々な幾何学的な変換が生じた画像からでも、パノラマ画像の合成を可能とする。撮影の際に光学中心が一致せずに視差が生じている場合やレンズの収差補正が不十分である場合に有用である。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施の形態における電子透かし埋め込み装置のブロック図
【図２】本発明の実施の形態における電子透かし埋め込み装置のブロック図
【図３】本発明の実施の形態における電子透かし埋め込み装置のフローチャート
【図４】本発明の実施の形態における共通の撮像領域を示す図
【図５】本発明の実施の形態における画素の抽出方法を示す図（２点抽出の場合）
【図６】本発明の実施の形態における画素の選択方法を示す図（２点選択の場合）
【図７】本発明の実施の形態における線分の分割方法を示す図（線形の場合）
【図８】本発明の実施の形態における画素の補間方法（Ｂｉ−Ｌｉｎｅａｒ  Ｍｅｔｈｏｄ）を示す図
【図９】本発明の実施の形態における共通撮像領域でのマッチングを示す図（周辺を含まない場合）
【図１０】本発明の実施の形態における共通撮像領域での補正を示す図（線形の場合）
【図１１】本発明の実施の形態における共通撮像領域以外での補正を示す図
【図１２】本発明の実施の形態における画像の合成方法を示す図
【図１３】本発明の実施の形態における共通撮像領域でのマッチングを示す図（周辺を含む場合）
【図１４】本発明の実施の形態におけるエッジの方向を示す図
【図１５】本発明の実施の形態における画素の抽出方法を示す図（３点抽出の場合）
【図１６】本発明の実施の形態における画素の選択方法を示す図（３点選択の場合）
【図１７】本発明の実施の形態における線分の分割方法を示す図（非線形の場合）
【図１８】本発明の実施の形態における共通撮像領域での補正を示す図（非線形の場合）
【図１９】本発明の実施の形態における共通撮像領域でのマッチングを示す図（両方を可変にする場合）
【図２０】本発明の実施の形態における記録媒体のブロック図
【図２１】本発明の実施の形態における記録媒体のフローチャート
【図２２】従来技術（特許文献１）のブロック図
【符号の説明】
【００７８】
１０１    画素抽出部
１０２    画素選択部
１０３    画像補正部
１０４    画像合成部
２０１    共通領域抽出部
２０２    画素抽出部
２０３    画素選択部
２０４    画像補正部
２０５    画像合成部
２００１    ＣＰＵ
２００２    画像取り込み部
２００３    Ｉ／Ｏ
２００４    ディスプレイ部
２００５    Ｉ／Ｏ
２００６    ＲＡＭ
２００７    外部記憶装置
２００８    Ｉ／Ｏ
２００９    ＲＯＭ
２０１０    ドライブ
２０１１    Ｉ／Ｏ
２０１２    Ｉ／Ｆ
２２０１    画像メモリ
２２０２    画像メモリ
２２０３    対応点検出手段
２２０４    歪曲収差焦点距離推定手段
２２０５    歪曲収差補正手段
２２０６    回転補正制御手段
２２０７    回転補正手段
２２０８    画像合成手段
【図１】
2008003683.tif 000008
【図２】
2008003683.tif 000009
【図３】
2008003683.tif 000010
【図４】
2008003683.tif 000011
【図５】
2008003683.tif 000012
【図６】
2008003683.tif 000013
【図７】
2008003683.tif 000014
【図８】
2008003683.tif 000015
【図９】
2008003683.tif 000016
【図１０】
2008003683.tif 000017
【図１１】
2008003683.tif 000018
【図１２】
2008003683.tif 000019
【図１３】
2008003683.tif 000020
【図１４】
2008003683.tif 000021
【図１５】
2008003683.tif 000022
【図１６】
2008003683.tif 000023
【図１７】
2008003683.tif 000024
【図１８】
2008003683.tif 000025
【図１９】
2008003683.tif 000026
【図２０】
2008003683.tif 000027
【図２１】
2008003683.tif 000028
【図２２】
2008003683.tif 000029