(57)【要約】【課題】複数の撮像領域で撮像された複数の被写体部分画像から連続した１枚の被写体全体画像を得ること。【解決手段】集光力を有する複数のレンズ部を略並列に配置して構成される複眼光学素子１０１と、上記複数のレンズ部のそれぞれによって形成される、被写体の複数領域の像（被写体部分像）を互いに異なる撮像領域で撮像する撮像素子１０２とを有する複眼撮像装置において、上記複数の撮像領域のそれぞれによって撮像された複数の画像（被写体部分画像）から被写体全体の画像を得るための合成処理を行う画像合成手段１０６を設ける。【選択図】　　図１
2004032172.tif 000002
【特許請求の範囲】
【請求項１】
集光力を有する複数のレンズ部を略並列に配置して構成される複眼光学素子と、前記複数のレンズ部のそれぞれによって形成される、被写体の複数領域の像を互いに異なる撮像領域で撮像する撮像素子とを有する複眼撮像装置であって、
前記複数の撮像領域のそれぞれによって撮像された複数の画像から被写体全体の画像を得るための合成処理を行う画像合成手段を有することを特徴とする複眼撮像装置。
【請求項２】
前記複眼光学素子において、前記複数のレンズ部が、これら各レンズ部の光軸が互いに傾いていることを特徴とする請求項１に記載の複眼撮像装置。
【請求項３】
前記画像合成手段は、前記各撮像領域に形成される像の並び替えに相当する処理を行うことを特徴とする請求項１に記載の複眼撮像装置。
【請求項４】
前記複数の撮像領域のそれぞれで撮像する被写体領域が、相互に隣り合う被写体領域間において重複する部分を有しており、
前記画像合成手段は、前記重複する部分が一致するように合成処理を行うことを特徴とする請求項１に記載の複眼撮像装置。
【請求項５】
前記画像合成手段は、前記各撮像領域で撮像された画像に対し、前記各レンズ部により生じた歪みの補正処理を行うことを特徴とする請求項１に記載の複眼撮像装置。
【請求項６】
前記補正処理を行うためのデータを記憶している記憶手段を有することを特徴とする請求項５に記載の複眼撮像装置。
【請求項７】
請求項１から６のいずれかに記載の複眼撮像装置を備えたことを特徴とする機器。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のレンズ部を略並列に配置した複眼光学素子により被写体像を撮像する複眼撮像装置に関するものである。
【０００２】
【従来の技術】
上記のような複眼撮像装置において、複数のレンズ部のそれぞれの光軸が互いに傾き、それぞれのレンズ部を通して被写体の互いに異なる領域の像（以下、被写体部分像という）を撮像することによって被写体全体の画像を得るものが従来提案されている。
【０００３】
図１２は、上記複眼撮像装置の断面を示す図である。図中、１００１は複数の集光力を有するレンズ部を並列配置した複眼光学素子、１００２はＣＣＤやＣＭＯＳなどの光電変換素子からなる撮像素子、１００３は撮像素子１００２上に被写体からの光束を集光させるマイクロレンズ、１００４は開口絞りである。
【０００４】
図示しない被写体からの光束は、開口絞り１００４および複眼光学素子１００１に配置されたレンズ部を通過し、マイクロレンズ１００３によって集光されて撮像素子１００２上に結像する。結像した光束は、撮像素子１００２によって被写体の反射率に応じた電気信号に変換され、この電気信号をアナログ／デジタル変換することによって被写体画像信号を得る。
【０００５】
図１３は、図１２に示した複眼撮像素子１００１の正面図である。前述したように、複眼光学素子１００１はレンズ部１１０１が複数並列に配置されて構成されている。図１２に示すように、それぞれのレンズ部１１０１の光軸は互いに傾き、異なる視野領域（撮影画面領域）を有している。
【０００６】
なお、ここでいう光軸とは、開口絞り１００４の開口の中心を通って個々のレンズ部１１０１に入射し、該個々のレンズ部に一対一に対応して形成された撮像領域の中心に到達する光線によって表される軸のことをいう。以下、本発明の実施形態の説明においても同様とする。
【０００７】
図１４は、図１２に示した撮像素子１００２の正面図である。撮像素子１００２上には、それぞれ複数の光電変換素子（画素）からなる撮像領域１２０１が複数形成されており、個々の撮像領域１２０１は、個々のレンズ部１１０１に一対一に対応して被写体部分像が結像するように所定間隔を空けて配置されている。
【０００８】
一方、図１５には、略全面が撮像可能領域となっている撮像素子１００２を示しており、個々のレンズ部１１０１により形成される被写体部分像が撮像素子１００２上において互いに重ならないように、すなわち、図中に示した各矩形領域１３０１に結像する。
【０００９】
【発明が解決しようとする課題】
しかしながら、図１４で示したように、複眼光学素子の複数のレンズ部により形成される複数の被写体部分像は、撮像素子１００２上の複数の撮像領域１２０１にてそれぞれ撮像されており、これら複数の被写体部分画像から１枚の被写体全体画像を得るためには、各撮像領域１２０１にて撮像された被写体部分画像の合成処理が必要である。
【００１０】
また、図１５に示すように、単一の撮像可能領域に各レンズ部に対応した撮像領域１３０１と非結像領域とが混在している場合に、１枚の被写体全体画像を得るためには、撮像領域１３０１の指定と各撮像領域１３０１により撮像された画像の合成処理とが不可欠である。
【００１１】
さらに、複眼光学素子１００１に設けられた複数のレンズ部はそれぞれ、個別の収差を有するため、隣り合う撮像領域１００３による撮像画像を合成しただけでは繋ぎ部分が不連続となってしまう。したがって、その合成処理にはレンズ収差を補正した滑らかな合成を行うことが必要である。
【００１２】
そこで、本発明は、複数の撮像領域で撮像された複数の被写体部分画像から連続した１枚の被写体全体画像を得ることができるようにした複眼撮像装置およびこれを備えた情報端末機器を提供することを目的としている。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、本発明では、集光力を有する複数のレンズ部（例えば、光軸が互いに傾いている複数のレンズ部）を略並列に配置して構成される複眼光学素子と、上記複数のレンズ部のそれぞれによって形成される、被写体の複数領域の像（被写体部分像）を互いに異なる撮像領域で撮像する撮像素子とを有する複眼撮像装置において、上記複数の撮像領域のそれぞれによって（同時に）撮像された複数の画像（被写体部分画像）から被写体全体の画像を得るための合成処理を行う画像合成手段を設けている。
【００１４】
これにより、複眼光学素子の各レンズ部を通して撮像した複数の被写体部分画像から、連続した１枚の合成画像（すなわち、被写体全体画像）を得ることが可能となる。
【００１５】
具体的には、画像合成手段に、例えば、各撮像領域に形成される像の並び替えに相当する処理を行わせる。
【００１６】
また、複数の撮像領域のそれぞれで撮像する被写体領域（被写体部分領域）に、相互に隣り合う被写体領域間において重複する部分を持たせ、画像合成手段に、上記重複する部分が一致するように合成処理を行わせるようにしてもよい。
【００１７】
すなわち、複眼光学素子に配置されているレンズ部の光軸方向やレンズ間隔が一定であることを利用して予め大まかな隣り合う被写体領域間の対応する点（すなわち対応点）の位置関係が分かれば、対応点探索の範囲を極めて小さくすることが可能で、高速な対応点探索が可能となり、対応点を繋ぎ合わせることにより高精度な合成画像を得ることが可能となる。
【００１８】
なお、撮像素子を光機能素子にすることで、エッジ抽出などの処理をオンチップ化されたマイクロプロセッサによって行なわせ、さらに高速な対応点探索が可能となる。
【００１９】
さらに、画像合成手段に、各撮像領域で撮像された画像に対し、各レンズ部により生じた歪みの補正処理を行わせるようにしてもよい。これにより、歪みなく滑らかにつなぎ合わされた被写体全体画像を得ることが可能となる。
【００２０】
そして、本発明の複眼撮像装置は、カード型カメラやノート型パーソナルコンピュータ等の各種機器に設けることができる。
【００２１】
【発明の実施の形態】
（第１実施形態）
図１には、本発明の第１実施形態である複眼撮像装置の構成を表すブロック図である。
【００２２】
図中、１０１は不図示の被写体からの光束に対して集光力を有する複数のレンズ部が略並列に配置されて構成される複眼光学素子である。１０２は複眼光学素子１０１によって結像された被写体像をアナログ電気信号に変換する光電変換素子を含む撮像素子であり、ＣＣＤやＣＭＯＳセンサなどから構成される。
【００２３】
撮像素子１０２上には、複眼光学素子１０１の各レンズ部に１対１に対応するように撮像領域が配置されている。
【００２４】
これら複眼光学素子１０１および撮像素子１０２を含む本実施形態の撮像光学系は、図１２〜１４にて説明した従来の複眼光学素子１００１および撮像素子１００２を含む撮像光学系と同様に構成されている。
【００２５】
すなわち、不図示の被写体からの光束は、不図示の開口絞りおよび複眼光学素子１０１に配置されたレンズ部を通過し、不図示のマイクロレンズによって集光されて撮像素子１０２上に結像する。結像した光束は、撮像素子１０２によって被写体の反射率に応じた電気信号に変換され、その後、後述するように処理される。
【００２６】
なお、撮像素子１０２として図１５に示した全面が撮像可能領域である撮像素子を用いてもよい。
【００２７】
１０３はＡ／Ｄ変換器であり、撮像素子１０２から出力されたアナログ信号をデジタル画像信号に変換する。１０４は画像メモリであり、デジタル信号に変換された各撮像領域で撮像された被写体部分画像を表す画像信号を一時的に記憶保持しておくものである。
【００２８】
１０５は複眼光学素子１０１を構成する個々のレンズ部の収差によって各撮像領域での撮像画像に生じた歪みを補正するためのレンズ収差補正部である。
【００２９】
１０６は画像メモリ１０４に記憶保持された各撮像領域で撮像された被写体部分画像を表す画像信号を１枚の被写体全体画像を表す画像信号に合成処理する合成処理部である。
【００３０】
１０７は合成された画像信号を記録又は表示するための外部記憶装置１０８および表示装置１０９とのインターフェースである。
【００３１】
次に、本実施形態の複眼撮像装置の動作について説明する。ここでは、複眼撮像装置による１回の撮影動作によって、連続した一画面をなす被写体全体画像を得る静止画撮影用の撮像装置として説明する。但し、１回の撮影動作によって時間的に連続したフレーム画像（すなわち動画）を撮像する動画撮影装置について、以下に説明する本発明の特徴とする処理動作を一定の速さで繰り返させるようにしてもよい。
【００３２】
まず、撮影者が不図示の電源スイッチを投入すると、複眼光学素子１０１に配列された異なる視野領域（撮影画面領域）を持つレンズ部がそれぞれ被写体からの光束を撮像素子１０２上の対応する撮像領域に結像させる。
【００３３】
撮像素子１０２上の各撮像領域からは、被写体光束による露光量に応じたアナログ電気信号が発生する。
【００３４】
撮像素子１０２の各撮像領域から出力されたアナログ電気信号には、図示しないアナログ画像処理部でゲインアンプなどによる出力信号の増幅、サンプルホールドなどの処理が施され、ＡＤ変換器１０３によって被写体部分画像を表すデジタル画像信号に変換される。
【００３５】
デジタル画像信号に変換された被写体部分画像は、一旦、画像メモリ１０４に記憶保持される。画像メモリ１０４では、撮像素子１０２上の撮像領域ごとにメモリ領域（アドレス）が区分されており、各メモリ領域１０４１、１０４２、…１０４ｎ（ｎ＝１，２，３…）に識別子が付加されている。
【００３６】
また、各メモリ領域１０４１、１０４２、…１０４ｎには、それぞれの撮像領域に対応するレンズ部も対応付けられており、対応するレンズ部の収差に関する情報が記憶保持されている。
【００３７】
ここで、本実施形態の複眼撮像装置における固有の結像関係について図２を用いて説明する。
【００３８】
図２（ａ）には本実施形態の複眼光学素子に相当する複眼レンズを用いた撮像装置、図２（ｂ）には本実施形態との比較のために示した単レンズを用いた撮像装置を示している。
【００３９】
これらの図中、２０１は被写体面の濃度分布を表しており、図２（ａ）および図２（ｂ）に示す撮像光学系はいずれも、被写体濃度２０１に対応した濃度分布を有する被写体像を撮像素子２０４上に形成する。
【００４０】
図２（ａ）において、複眼レンズ２０２は各レンズ部によって被写体を図中に矢印で示す３つの領域に分割し、それぞれの部分像（被写体像２０５）を撮像面２０４上に結像させる。この際、各レンズ部は各部分像を倒立像として撮像面２０４上に形成する。
【００４１】
一方、図２（ｂ）において、単レンズ２０３は、被写体全体の倒立像（被写体像２０６）を撮像面２０４上に形成する。
【００４２】
この関係をさらにわかりやすくするため、図３（ａ），（ｂ）を用いて、２次元平面被写体に対する複眼レンズと単レンズによる像形成を比較して説明する。
【００４３】
図中、被写体２０１はどちらも平面上に描かれた「Ｋ」の文字である。図３（ａ）に示す単レンズ２０３は、被写体「Ｋ」全体を１つの視野領域とし、被写体「Ｋ」全体の倒立像（被写体像）２０６を撮像素子上に形成する。
【００４４】
一方、図３（ｂ）に示す、レンズ部を３行３列に配列した複眼レンズ２０２は、被写体２０１を図示のようなレンズ部に対応した９つの領域に分割し、それぞれの部分像の倒立像（被写体像）２０５を撮像素子上に形成する。
【００４５】
図３（ｂ）の複眼レンズ２０２による被写体像２０６は、図３（ａ）の単レンズ２０３による被写体像２０５と異なり、中心のレンズ部により形成される像の中心を軸とした点対称に配置されている。したがって、撮像素子１０２上に結像した複数の被写体部分像はそれらの合成時に被写体像２０６のように連続した１枚の被写体像となるように並べ替える必要がある。
【００４６】
図４（ａ）は、前述した「Ｋ」の文字の被写体である。この被写体は、複眼光学素子１０１によって撮像素子１０２上に領域分割されて結像し、撮像素子１０２によって撮像される。
【００４７】
図４（ｂ）は、分割撮像された被写体を表す図であり、それぞれの分割画像（被写体部分画像）は画像メモリ１０４のメモリ領域１０４１，１０４２，…１０４ｎにそれぞれ記憶保存される。
【００４８】
画像メモリ１０４に記憶された被写体部分画像に対しては、各レンズ部の収差補正が行われる。
【００４９】
一般に、複数の画像から１枚の合成画像を作る場合、１台のカメラがパン・チルトして隣接する異なる視野領域を撮影するか、ｎ台の同仕様のカメラが隣接する異なる視野領域を同一撮影条件で撮影するなどし、得られた複数の画像を合成する。
【００５０】
このような場合、複数の画像間にはレンズの収差による歪みがあるが、画像中の同一画角領域では同じ収差補正式が適応できる。
【００５１】
一方、本実施形態における複眼光学素子のレンズ部は個々に異なるレンズ特性を有し、収差もそれぞれ異なる。
【００５２】
このため、レンズ収差補正部１０５では、画像メモリ１０４の各メモリ領域１０４１〜１０４ｎに記憶された各画像に対して個別に収差補正を行う。
【００５３】
画像の収差補正に関しては様々な手法が提案されているが、特に画像合成で問題になるのは画像の歪曲であり、本実施形態でも、歪曲補正を行う。但し、より厳密にその他の収差補正も行なってもよい。
【００５４】
歪曲補正に関しては多くの場合、座標変換によって補正することができ、予めレンズ設計値またはレンズ設計値を元に実験で修正を加えた座標変換式をレンズ部毎に作成しておく。レンズ収差補正部１０５では、各メモリ領域１０４１〜１０４ｎに記憶された画像ごとに、その画像に対応するレンズ部固有の座標変換式を適応して歪曲補正を行なう。
【００５５】
レンズ収差補正部１０５から出力された画像データは、次に、画像合成部１０６に入力されて１枚の画像への合成処理が行われる。
【００５６】
画像合成部１０６では、まず画像メモリ１０４に記憶された複数の画像から隣接して繋ぎ合わせる画像の対応を関係づける。すなわち、図４（ｂ）で示したように、複眼光学素子１０１の個々のレンズ部によって撮像面上に結像された画像は、上述したように倒立像であり、かつ中心のレンズ部による画像の中心を軸とした点対称配置となっているため、そのまま隣合う画像を繋ぎ合わせても元の被写体を再現しない。
【００５７】
このため、画像を繋ぎ合わせる前に並び変えに相当する処理を行ない、それぞれの配置関係を画像メモリ１０４又は不図示の別のメモリに記憶する。
【００５８】
図５は、この並び替え処理を表す概念図であり、図５（ａ）に示すように、中央のレンズ部を中心とした点対称に配置された各画像を、前述した単レンズによる被写体像と同じ画像が得られるように並び変える。
【００５９】
図５（ａ）に示した矢印は、各画像の並び替えの移動先を表し、中央のレンズ部を中心として点対称に並び替えることによって、図５（ｂ）に示すような画像配列を得る。
【００６０】
但し、実際に各画像を移動させて並び替えを行なうのではなく、例えば、画像メモリ１０４のメモリ領域１０４５に記憶された画像の右側にメモリ領域１０４４に記憶された画像を、左側にメモリ領域１０４６に記憶された画像などというように、合成時に繋ぎ合わせる画像の配置関係を記憶させておく。
【００６１】
図５（ｃ）には、メモリ領域１０４１〜１０４９に記憶された９つの画像のうちメモリ領域１０４１〜１０４８に記憶された画像とその上下左右に配置される画像との対応表であり、この表の配置関係が画像メモリ１０４又は不図示の別のメモリに記憶され、これを元に画像合成（並び替えに相当する処理）が行なわれる。なお、この配置関係は複眼光学素子１０１の設計段階で決まるものであり、本発明においてこの配置関係に限られるものではない。
【００６２】
このようにして各画像の繋ぎ合わせ配置が確定すると、次に実際の繋ぎ合わせが行なわれる。画像の繋ぎ合わせについては様々な方式が提案されているが、ここではアフィン変換による画像の座標変換で合成を行なう方式について説明する。
【００６３】
図６（ａ）は、画像メモリ１０４に記憶された各画像を表す（図中の符号１０４１〜１０４９は同符号が付されたメモリ領域に記憶された画像であることを示す）。
【００６４】
画像メモリ１０４に記憶されたそれぞれの画像は、図中に矢印で示すようにｘｙ座標系を有している。以下、この座標系を分割画像座標という。
【００６５】
また、画像合成部１０６は、このとき合成画像を合成画像メモリに記憶させる。図１および図６（ｂ）において、６０１は合成画像メモリを表す。合成画像メモリ６０１は、図６（ｂ）中に矢印で示すようにＸＹ座標系を有している。以下、この座標系を合成画像座標という。
【００６６】
画像合成では、画像メモリ１０４のに記憶された被写体部分画像を隙間なく繋ぎ合わせて合成画像メモリ６０１に書き込み、１枚の連続した被写体全体画像である合成画像を作成する。以下、その方法について説明する。
【００６７】
まず、合成画像メモリ６０１のほぼ中央の予め決められた位置を始点とし、複眼光学素子１０１に形成された複数のレンズ部のうち中央のレンズ部により形成され、対応する撮像領域で撮像された画像１０４５を合成画像メモリ６０１に書き込む（図６（ｃ））。
【００６８】
以下、この画像を元に周辺画像を配置していく。図６（ｄ）は、画像１０４５の左隣に画像が繋ぎ合わされていることを表す図であり、画像１０４５の左隣は図５（ｃ）の表より、画像１０４６が繋ぎ合わされる。　　また、合成画像メモリ６０１への書き込みには、下記のアフィン変換式が適応される。
【００６９】
【数１】
2004032172.tif 000003
【００７０】
ここで、（ｘ，ｙ）は分割画像座標、（Ｘ，Ｙ）は合成画像座標、ａ，ｂ，ｃ，ｄは変換パラメータでａ，ｂが回転に関するパラメータ、ｃ，ｄは平行移動に関するパラメータである。
【００７１】
これら変換パラメータは、複眼光学素子１０１に形成されたレンズ部それぞれの光軸方向や配置間距離によって決まる値であり、レンズ部毎に予め決定されてメモリなどに記憶されているものとする。
【００７２】
このように、合成画像メモリ６０１上において画像１０４５に画像１０４６が繋ぎ合わさると、画像１０４５を中心に順次周辺画像の合成が行なわれる。
【００７３】
図６（ｅ）は、画像１０４５を中心に上下左右に画像１０４２，１０４４，１０４６，１０４８が合成されている図、図６（ｆ）は斜め方向に画像１０４１，１０４３，１０４７，１０４９が合成されて、最終的に３行×３列の９画像が合成されているところを表す。
【００７４】
以上のように合成された画像（被写体全体画像）のデータは、以降、通常のデジタル撮像装置と同様に、様々な機能（編集機能やエッジ強調、色変換など）を有する不図示のデジタル画像処理部によって処理され、インターフェース１０７を介して磁気テープ、光磁気ディスクなどの外部記憶装置１０８に記録保持されたり、ＣＲＴや液晶ディスプレイなどの表示装置１０９に表示されたり、あるいはネットワーク伝送路によって遠隔地に伝送されたりする。
【００７５】
このように、本実施形態によれば、複眼光学素子１０１の各レンズ部を通して撮像された複数の被写体部分画像から１枚の広視野領域の合成画像（被写体全体画像）を得ることができる。
【００７６】
（第２実施形態）
図８には、本発明の第２実施形態である複眼撮像装置の構成を示している。図８において、第１実施形態と異なる点は、対応点検出部７０１が付加されている点と、画像合成部７０２が第１実施形態の画像合成部１０６とは機能的に異なる点であり、その他の構成については第１実施形態と同様であり、共通する構成要素には第１実施形態と同符号を付している。
【００７７】
画像合成部７０２が第１実施形態の画像合成部１０６と機能的に相違する点は、第１実施形態においては画像メモリ１０４に記憶保持された各被写体部分画像を合成画像メモリに書き込む際の変換式に関し、予めそれぞれのレンズ部に対応した変換パラメータが決定されていたが、本実施形態では、より厳密な画像合成を行なうため、複眼光学素子１０１の各レンズ部の視野領域（つまりは撮像素子１０２の撮像領域によって撮像される被写体領域）を、隣り合う領域間で重複部分を有するように設定し、各レンズ部を通して各撮像領域で撮像された各画像の重複部分から被写体の同一部分（以下、この点を対応点という）を検出し、変換パラメータに修正を加える点である。
【００７８】
以下、具体的に本実施形態の複眼撮像装置の動作について説明する。被写体が複眼光学素子１０１によって視野分割され、各被写体部分が撮像素子１０２の各撮像領域で撮像され、各画像がレンズ収差補正部１０５で収差補正されて画像メモリ１０４の各メモリ領域１０４１〜１０４ｎに記憶保持されるまでは第１実施形態と同様である。
【００７９】
ただし、本実施形態では、撮像素子１０２における隣り合う撮像領域によって撮像される被写体領域（被写体部分像）の一部が互いに重複している。つまり、隣り合う撮像領域によって被写体の同一点がそれぞれ撮像される。
【００８０】
図８（ａ）は、前述した被写体「Ｋ」を９個のレンズ部で互いに視野領域の一部が重複するように撮像していることを示す図である。図中、２つの異なる向きのハッチング領域が、隣り合う視野領域の一部Ｗが重複するように撮像する２つの撮影領域を示している。
【００８１】
図８（ｂ）には、「Ｋ」のうち図８（ａ）にハッチングして示した２つの撮像領域によって撮像された画像（被写体部分画像）を示している。このように撮像され、画像メモリ１０４に記憶保持された２つの画像内で、対応点検出部７０１によって変換パラメータ補正のために対応点が検出される。
【００８２】
一般に、対応点の検出は、テンプレートマッチング法が使われ、本実施形態でもテンプレートマッチング法を用いる。
【００８３】
但し、本実施形態の複眼撮像装置は、それぞれのレンズは複眼光学素子に固定的に配置されている。また、第１実施形態で述べたように、各分割画像（被写体部分画像）の座標系から合成画像座標系への変換パラメータが予め既知であることから、複眼光学素子１０１におけるレンズ間座標変換式は、合成画像座標系を介して一義的に決まる。
【００８４】
よって、一般のテンプレートマッチング法に比べて格段に対応点のサーチ領域を狭めることが可能である。
【００８５】
図８（ｂ）において、８０１はテンプレートである。テンプレートの選び方は、テンプレート８０１内でエッジ部のコーナーなど、形状的に特徴のある被写体部分や色や明るさなどテクスチャーに特徴のある被写体部分が望ましい。
【００８６】
また、分割画像座標系から合成画像座標系への変換式の他に、異なるレンズ部の分割画像座標系へ変換式は予め決定しておく。
【００８７】
テンプレート８０１の中心座標から隣接する画像の位置座標が求まると、この位置座標を中心とした予め決められた幅の狭領域をサーチ領域とする。
【００８８】
図８（ｂ）に示す８０２は、隣接画像のサーチ領域を表す。テンプレート８０１は、サーチ領域内を順次移動し、テンプレート領域内の対応する画素と差分の絶対値をとり、テンプレート領域全画素についての総和を計算し、総和が最小となる点を対応点とする。
【００８９】
このような対応点を少なくとも４つ選び、▲１▼式に代入して作成された連立方程式を解くことにより、分割画像間を変換するアフィン変換のパラメータａ，ｂ，ｃ，ｄが決定される。なお、対応点を４個以上求めて最小二乗法によりアフィン変換のパラメータａ，ｂ，ｃ，ｄを求めてもよい。
【００９０】
以上のようにして、対応点検出部７０１では各分割画像間の重複した被写体像の対応点を検出するとともに、各分割画像間の変換パラメータを決定する。次に、画像合成部７０２では、各分割画像間の変換パラメータを用いて、例えば複眼光学素子１０１に形成された中央のレンズ部により形成される画像を基準として、隣接する画像を分割画像間変換パラメータを用いて順次、合成画像メモリ６０１上に繋ぎ合わせながら書き込んでいく。
【００９１】
こうして最終的に全ての分割画像が繋ぎ合わされると、第１実施形態にて説明したように、合成画像のデータをインターフェース１０７を介して外部記憶装置１０８や表示装置１０９へと出力する。
【００９２】
このように、本実施形態によれば、複眼光学素子１０１の各レンズ部の光軸方向やレンズ間隔が一定であることを利用して、予め大まかな対応点の位置関係を想定して対応点探索のサーチ範囲を極めて小さくすることができるため、高速な対応点探索が可能となり、対応点を繋ぎ合わせることにより高精度な合成画像（被写体全体画像）を得ることができる。
（第３実施形態）
図９には、本発明の第３実施形態である複眼撮像装置の構成を示している。図９において、第１実施形態および第２実施形態と異なる点は、撮像素子９０１がその全面が撮像可能領域となっており、撮像画像の信号処理機能をオンチップ化した光機能素子（ビジョンセンサやビジョンチップとも呼ばれる）であること、およびＡ／Ｄ変換機能およびレンズ収差補正機能が撮像素子９０１にオンチップ化されている点である。なお、第１実施形態と共通する構成要素には、第１実施形態と同符号を付している。
【００９３】
以下、具体的に本実施形態の複眼撮像装置の動作について説明する。被写体は複眼光学素子１０１によって視野分割される。各被写体部分像は、撮像素子９０１、すなわちＣＭＯＳセンサにより構成される撮像可能領域が全面に配置され、後述する画像処理部がオンチップ化された光機能素子によって撮像される。
【００９４】
撮影画像は、オンチップ化された図示しないマイクロプロセッサのエッジ抽出フィルターによってそのエッジ部が検出され、エッジ信号はマイクロプロセッサにオンチップ化されたＡ／Ｄ変換機能でデジタル変換される。
【００９５】
一方、ＣＭＯＳセンサの任意領域読み取り機能から、撮像面上の予め調べられた各レンズ部に対応する撮像領域のアドレスを読み出し開始位置として、複数のエッジ画像（分割画像）が画像メモリ１０４に記憶保持される。
【００９６】
このときＣＭＯＳセンサの読み出し位置はレンズの収差補正関数によって補正されたアドレスを示す。画像メモリ１０４に記憶保持されたエッジ画像については、対応点検出部７０１によって第２実施形態にて説明した対応点がテンプレートマッチング法などによって検出され、画像間変換パラメータが決定される。パラメータの決定方法については第２実施形態と同様である。
【００９７】
変換パラメータが決定されると、画像合成部７０２は、ＣＭＯＳセンサ上の隣接する撮像領域に対応するレンズ部の収差補正関数によって補正されたアドレスを順次指定して、複数の分割画像を合成し、順次、画像メモリ６０１上に繋ぎ合わせながら書き込んでいく。
【００９８】
こうして最終的に全ての分割画像が繋ぎ合わされると、第１実施形態にて説明したように、合成画像のデータをインターフェース１０７を介して外部記憶装置１０８や表示装置１０９へと出力する。
【００９９】
このように、本実施形態によれば、撮像素子９０１を光機能素子にすることで、エッジ抽出など演算負荷の重い処理をオンチップ化されたマイクロプロセッサによって行なわせることができ、さらに高速な対応点探索が可能となる。
【０１００】
（第４実施形態）
図１０には、上記第１〜第３実施形態にて説明した複眼撮像装置としてのカード型カメラを示している。このカメラ２００は、カード型のカメラ本体２０５に、開口絞り付きの複眼光学素子および撮像素子等からなる複眼撮像光学系２０１と、ファインダー窓２０２と、シャッターボタン２０３と、フラッシュ２０４とを設けて構成されている。
【０１０１】
複眼撮像系２０１により撮影された画像は、上記第１〜第３実施形態にて説明したように合成処理され、カメラ本体２０５内の合成画像メモリに記憶される。また、この合成画像のデータは、インターフェースを介してコンピュータのハードディスクに記憶保存されたり、コンピュータ画面上に表示されたり、プリントアウトされたりする。
【０１０２】
（第５実施形態）
図１１には、上記第１〜第３実施形態にて説明した複眼撮像装置を備えたノート型若しくは携帯型コンピュータ（電子機器）を示している。
【０１０３】
このコンピュータ３００の画面部３０１の上部には、上記第１から第３実施形態にて説明した複眼撮像装置３０３が回転可能に保持されている。そして、使用者のコンピュータ操作に応じて複眼撮像装置３０３を動作させることにより、使用者や他の被写体の静止画又は動画を撮像することができる。
【０１０４】
【発明の効果】
以上説明したように、本発明によれば、複眼光学素子の各レンズ部を通して撮像した複数の被写体部分画像から、連続した１枚の合成画像である被写体全体画像を得ることができる。
【０１０５】
また、各被写体部分画像に対し、各レンズ部により生じた歪みの補正処理を行わせるようにすれば、歪みなく滑らかにつなぎ合わされた被写体全体画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である複眼撮像装置の構成を表すブロック図である。
【図２】（ａ）は上記第１実施形態の複眼撮像装置の断面図、（ｂ）は単レンズを用いた撮像装置の断面図である。
【図３】（ａ）は単レンズを用いた撮像装置での被写体像の結像関係を説明する図、（ｂ）は複眼レンズを用いた撮像装置での被写体像の結像関係を説明する図である。
【図４】（ａ）は上記第１実施形態にて用いられる複眼光学素子による被写体分割の様子を示す図、（ｂ）は撮像面での分割像を表す図である。
【図５】（ａ）、（ｂ）は上記第１実施形態の複眼撮像装置における合成処理を説明する図、（ｃ）は各分割画像の並べ替え後の配置関係を示す表である。
【図６】（ａ）〜（ｆ）は上記第１実施形態の複眼撮像装置における画像合成の手順を示す図である。
【図７】本発明の第２実施形態である複眼撮像装置の構成を表すブロック図である。
【図８】（ａ）は上記第２実施形態の複眼撮像装置において重複部分を有する被写体領域を撮像する撮像領域を示す図、（ｂ）は重複部分を有する画像から対応点を探索する際のテンプレートと探索範囲を示す図である。
【図９】本発明の第３実施形態である複眼撮像装置の構成を表すブロック図である。
【図１０】本発明の第４実施形態であるカード型カメラを示す斜視図である。
【図１１】本発明の第５実施形態である複眼撮像装置を備えたノート型パソコンを示す斜視図である。
【図１２】従来の複眼撮像装置を示す断面図である。
【図１３】従来の複眼撮像素子を示す正面図である。
【図１４】従来の撮像素子を示す正面図である。
【図１５】従来の撮像素子を示す正面図である。
【符号の説明】
１０１　　複眼光学素子
１０２　　撮像素子
１０３　　Ａ／Ｄ変換器
１０４　　画像メモリ
１０５　　レンズ収差補正部
１０６　　画像合成部
１０７　　インターフェース
１０８　　外部記憶装置
１０９　　表示装置
２０１　　被写体
２０２　　複眼レンズ
２０３　　単レンズ
２０４　　撮像面
２０５　　被写体像
２０６　　被写体像
６０１　　合成画像メモリ
７０１　　対応点検出部
７０２　　画像合成部
８０１　　テンプレート
８０２　　探索領域
９０１　　撮像素子（光機能素子）
１００１　　複眼光学素子
１００２　　撮像素子
１００３　　マイクロレンズ
１００４　　開口絞り
１１０１　　レンズ部
１２０１　　撮像領域
１３０１　　撮像領域
【図１】
2004032172.tif 000004
【図２】
2004032172.tif 000005
【図３】
2004032172.tif 000006
【図４】
2004032172.tif 000007
【図５】
2004032172.tif 000008
【図６】
2004032172.tif 000009
【図７】
2004032172.tif 000010
【図８】
2004032172.tif 000011
【図９】
2004032172.tif 000012
【図１０】
2004032172.tif 000013
【図１１】
2004032172.tif 000014
【図１２】
2004032172.tif 000015
【図１３】
2004032172.tif 000016
【図１４】
2004032172.tif 000017
【図１５】
2004032172.tif 000018