(57)【特許請求の範囲】
【請求項１】
複数の撮像素子をアレイ状に並べた焦点一致の撮像装置であって、
焦点一致の像を作る第１の結像系と、
前記第１の結像系による映像を結像する結像面と、
撮像素子と、前記結像面に結像した前記映像の少なくとも一部分を前記撮像素子に再結像させるレンズとを含む第２の結像系が複数存在し、複数の前記第２の結像系がアレイ状に配置されて形成される第２の結像系群と
から構成される光学系を
備え、
複数の前記第２の結像系のそれぞれのパラメータ値として、少なくとも、前記レンズについての配置位置、前記撮像素子との間の距離、および、画角が、被写体と前記撮像装置との間の距離に応じて変化する前記結像面の位置にあわせてそれぞれ決定される
撮像装置。
【請求項２】
前記第２の結像系群は、
前記被写体と前記撮像装置との間の距離が第１の距離の場合の前記結像面の位置にあわせて決定された第１のパラメータ値を有する複数の前記第２の結像系がアレイ状に配置され、
前記被写体と前記撮像装置との間の距離が前記第１の距離よりも短い第２の距離の場合の前記結像面の位置にあわせて決定された第２のパラメータ値を有する複数の前記第２の結像系がアレイ状に配置されて形成されている
請求項１に記載の撮像装置。
【請求項３】
前記第１のパラメータ値を有する複数の前記第２の結像系のそれぞれの前記撮像素子により撮像された画像をつなぎ合わせて第１の映像を生成し、前記第２のパラメータ値を有する複数の前記第２の結像系のそれぞれの前記撮像素子により撮像された画像をつなぎ合わせて第２の映像を生成する処理を実行する処理手段
をさらに備える請求項２に記載の撮像装置。
【請求項４】
前記処理手段は、さらに、前記第１の映像と前記第２の映像とを利用して、前記第１の映像と前記第２の映像との所定の部分に対応する実空間領域と、前記撮像装置との間の距離を測定する処理を実行する
請求項３に記載の撮像装置。
【請求項５】
第１の結像系、および、レンズと撮像素子とを含む複数の第２の結像系を少なくとも含む撮像装置が、
前記第１の結像系により、所定の結像面に、焦点一致の像を結像させ、
複数の前記第２の結像系のそれぞれにより、その結像面に結像した映像のうちの所定の一部を、自身が含む前記撮像素子に再結像させ、
複数の前記撮像素子のそれぞれが、自身に再結像された映像を撮像する撮像方法であって、
前記映像の撮像前に、
複数の前記第２の結像系のそれぞれのパラメータ値として、少なくとも、前記レンズについての配置位置、前記撮像素子との間の距離、および、画角を、被写体と前記撮像装置との間の距離に応じて変化する前記結像面の位置にあわせてそれぞれ決定する
撮像方法。
【請求項６】
第１の結像系、および、レンズと撮像素子とを含む複数の第２の結像系を少なくとも含む撮像装置の設計方法であって、
前記第１の結像系により、所定の結像面に、焦点一致の像を結像させ、
複数の前記第２の結像系のそれぞれにより、その結像面に結像した映像のうちの所定の一部を、自身が含む前記撮像素子に再結像させるために、
複数の前記第２の結像系のそれぞれのパラメータ値として、少なくとも、前記レンズについての配置位置、前記撮像素子との間の距離、および、画角を、被写体と前記撮像装置との間の距離に応じて変化する前記結像面の位置にあわせてそれぞれ決定する
撮像装置の設計方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法並びに撮像装置の設計方法に関し、特に、複数の撮像素子が配置されて構成される高解像度および高精細な単一焦点の撮像装置と、その被写体との間の距離を考慮した撮像ができ、その結果として例えば、遠景と近景とを別々の画像として同時に撮影したり、画像中の物体距離を測定できるようになった、撮像装置および撮像方法並びに撮像装置の設計方法に関する。
【背景技術】
【０００２】
近年、様々な高解像度画像の撮像手法が提案されている。これらの撮像手法は、CCD（Charge-Coupled Device）等の撮像素子そのものを高解像度にする手法と、複数の撮像素子を用いて高解像度撮影を行う手法とに大別できる。
【０００３】
従来、後者の手法、即ち、複数の撮像素子を用いて高解像度撮影を行う撮像手法としては、例えば特許文献１や非特許文献１に開示された手法が知られている。
【０００４】
特許文献１に開示された手法は、CCDの開口を利用していわゆる画素ずらしで撮影を行う、といった手法である。即ち、その手法は至ってシンプルであり、プリズムで光線を4方向に分配し、その分配された光線を受光するCCDを半画素ずつずらすという手法である。
【０００５】
また、非特許文献１に開示された手法は、財団法人機械システム振興協会の主催するメガビジョンの方式に対応する手法であって、プリズムで画像を3分割して、3台のHDカムで映像を撮影する手法である。
【０００６】
しかしながら、これらの従来の手法は何れも、複数の撮像素子を配置して、高解像度および高精細な単一焦点の撮像装置を低コストで実現することは非常に困難である、という問題点を有している。
【０００７】
そこで、本発明人は、このような状況に鑑みて、複数の撮像素子が配置されて構成される撮像装置であって、高解像度および高精細な単一焦点の撮像装置を低コストで実現できる新たな手法を発明し、特願2005-063675号として既に出願している。
【０００８】
このようにして、特願2005-063675号に開示された手法を利用することで、特許文献１や非特許文献１等の従来の手法が有していた問題点を解決できるようになった。このため、特願2005-063675号に開示された手法を利用して、さらに、例えば、遠景と近景とを別々の画像として同時に撮影したり、画像中の物体距離を測定したいという要望が挙げられるであろうことは想像に難くない。
【特許文献１】特開2001-45508号公報
【非特許文献１】「財団法人機械システム振興協会の主催するメガビジョンの説明」、［online］、財団法人機械産業記念事業財団ホームページ、［2005年1月17日検索］、インターネット,<URL :http://www.tepia.or.jp/14th/hds.html>
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特願2005-063675号に開示された手法を単に利用しただけでは、かかる要望に充分に応えることは困難である。特願2005-063675号の願書に添付した明細書や図面の記載内容だけでは、撮像装置と被写体との間の距離についての考慮が十分であるとは言えないからである。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、複数の撮像素子が配置されて構成される高解像度および高精細な単一焦点の撮像装置と、その被写体との間の距離を考慮した撮像を可能にし、その結果として、例えば、遠景と近景とを別々の画像として同時に撮影したり、画像中の物体距離を測定できるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の撮像装置は、複数の撮像素子をアレイ状に並べた焦点一致の撮像装置であって、焦点一致の像を作る第１の結像系と、前記第１の結像系による映像を結像する結像面と、撮像素子と、前記結像面に結像した前記映像の少なくとも一部分を前記撮像素子に再結像させるレンズとを含む第２の結像系が複数存在し、複数の前記第２の結像系がアレイ状に配置されて形成される第２の結像系群とから構成される光学系を備え、複数の前記第２の結像系のそれぞれのパラメータ値として、少なくとも、前記レンズについての配置位置、前記撮像素子との間の距離、および、画角が、被写体と前記撮像装置との間の距離に応じて変化する前記結像面の位置にあわせてそれぞれ決定される。
【００１２】
前記第２の結像系群は、前記被写体と前記撮像装置との間の距離が第１の距離の場合の前記結像面の位置にあわせて決定された第１のパラメータ値を有する複数の前記第２の結像系がアレイ状に配置され、前記被写体と前記撮像装置との間の距離が前記第１の距離よりも短い第２の距離の場合の前記結像面の位置にあわせて決定された第２のパラメータ値を有する複数の前記第２の結像系がアレイ状に配置されて形成されていることができる。
【００１３】
前記第１のパラメータ値を有する複数の前記第２の結像系のそれぞれの前記撮像素子により撮像された画像をつなぎ合わせて第１の映像を生成し、前記第２のパラメータ値を有する複数の前記第２の結像系のそれぞれの前記撮像素子により撮像された画像をつなぎ合わせて第２の映像を生成する処理を実行する処理手段をさらに設けることができる。
【００１４】
前記処理手段は、さらに、前記第１の映像と前記第２の映像とを利用して、前記第１の映像と前記第２の映像との所定の部分に対応する実空間領域と、前記撮像装置との間の距離を測定する処理を実行することができる。
【００１５】
本発明の一側面の撮像方法は、第１の結像系、および、レンズと撮像素子とを含む複数の第２の結像系を少なくとも含む撮像装置が、前記第１の結像系により、所定の結像面に、焦点一致の像を結像させ、複数の前記第２の結像系のそれぞれにより、その結像面に結像した映像のうちの所定の一部を、自身が含む前記撮像素子に再結像させ、複数の前記撮像素子のそれぞれが、自身に再結像された映像を撮像する撮像方法であって、前記映像の撮像前に、複数の前記第２の結像系のそれぞれのパラメータ値として、少なくとも、前記レンズについての配置位置、前記撮像素子との間の距離、および、画角を、被写体と前記撮像装置との間の距離に応じて変化する前記結像面の位置にあわせてそれぞれ決定する。
【００１６】
本発明の一側面の撮像装置および方法においては、第１の結像系により焦点一致の像が結像面に作られ、その結像面に結像した映像の所定の一部が、アレイ状に配置されている複数の第２の結像系のそれぞれのレンズにより、対応する撮像素子にそれぞれ再結像され、それらの撮像素子により撮像される。この場合において、複数の前記第２の結像系のそれぞれのパラメータ値として、少なくとも、前記レンズについての配置位置、前記撮像素子との間の距離、および、画角が、被写体と前記撮像装置との間の距離に応じて変化する前記結像面の位置にあわせてそれぞれ決定されている。
【００１７】
本発明の一側面の撮像装置の設計方法は、第１の結像系、および、レンズと撮像素子とを含む複数の第２の結像系を少なくとも含む撮像装置の設計方法であって、前記第１の結像系により、所定の結像面に、焦点一致の像を結像させ、複数の前記第２の結像系のそれぞれにより、その結像面に結像した映像のうちの所定の一部を、自身が含む前記撮像素子に再結像させるために、複数の前記第２の結像系のそれぞれのパラメータ値として、少なくとも、前記レンズについての配置位置、前記撮像素子との間の距離、および、画角を、被写体と前記撮像装置との間の距離に応じて変化する前記結像面の位置にあわせてそれぞれ決定する。
【００１８】
本発明の撮像装置の設計方法においては、第１の結像系により焦点一致の像が結像面に作られ、その結像面に結像した映像の所定の一部が、アレイ状に配置されている複数の第２の結像系のそれぞれのレンズにより、対応する撮像素子にそれぞれ再結像され、それらの撮像素子により撮像されるように撮像装置が設計される。さらに、この場合において、複数の前記第２の結像系のそれぞれのパラメータ値として、少なくとも、前記レンズについての配置位置、前記撮像素子との間の距離、および、画角が、被写体と前記撮像装置との間の距離に応じて変化する前記結像面の位置にあわせてそれぞれ決定される。
【発明の効果】
【００１９】
以上のごとく、本発明によれば、高解像度および高精細な単一焦点の撮像装置を低コストで実現できる。特に、その撮像装置は、被写体との間の距離を考慮した撮像ができ、その結果、遠景と近景とを別々の画像として同時に撮影したり、画像中の物体距離を測定できる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２１】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２２】
本発明の一側面の撮像装置（例えば、図１の撮像装置）は、
複数の撮像素子をアレイ状に並べた焦点一致の撮像装置であって、
焦点一致の像を作る第１の結像系（例えば、図１の第１の結像系１１）と、
前記第１の結像系による映像を結像する結像面（例えば、図１のフィールドレンズ１３が配置されている面またはその近傍の面であって、具体的には例えば、図４や図５の結像面６２−ｆ，６２−ｎ）と、
撮像素子（例えば、図１のCCD２３−K。ただし、Kは正の整数値）と、前記結像面に結像した前記映像の少なくとも一部分を前記撮像素子に再結像させるレンズ（例えば、図１のズームレンズ２２−K）とを含む第２の結像系が複数存在し、複数の前記第２の結像系がアレイ状に配置されて形成される第２の結像系群（例えば図１の第２の結像系群１２）と
から構成される光学系を
備え、
複数の前記第２の結像系のそれぞれのパラメータ値として、少なくとも、前記レンズについての配置位置（例えば図４や図５において、結像面６２−ｆからの距離Xfで示されるズームレンズ２２−Kfの配置位置や、結像面６２−ｎからの距離Xnで示されるズームレンズ２２−Knの配置）、前記撮像素子との間の距離（例えば図４や図５における距離Xf’や距離Xn’）、および、画角（例えば図４や図５において、CCD２３−KfのサイズCfで示される画角や、CCD２３−KnのサイズCnで示される画角）が、被写体と前記撮像装置との間の距離（例えば図４や図５における距離Sfや距離Sn）に応じて変化する前記結像面の位置（例えば図４や図５において、距離Sf’で示される結像面Dfの位置や、距離Sn’で示される結像面Dnの位置）にあわせてそれぞれ決定される。
【００２３】
前記第２の結像系群は、
前記被写体と前記撮像装置との間の距離が第１の距離の場合の前記結像面の位置（例えば図４や図５の遠景結像面６２−ｆの位置）にあわせて決定された第１のパラメータ値（例えば図４や図５の距離Xf、距離Xf’、サイズCf等で示されるパラメータ値）を有する複数の前記第２の結像系（ズームレンズ２２-KfとCCD２３-Kfとからなる第２の結像系）がアレイ状に配置され、
前記被写体と前記撮像装置との間の距離が前記第１の距離よりも短い第２の距離の場合の前記結像面の位置（例えば図４や図５の近景結像面６２−ｎの位置）にあわせて決定された第２のパラメータ値（例えば図４や図５の距離Xn、距離Xn’、サイズCn等で示されるパラメータ値）を有する複数の前記第２の結像系（ズームレンズ２２-KnとCCD２３-Knとからなる第２の結像系）がアレイ状に配置されて形成されている
【００２４】
前記第１のパラメータ値を有する複数の前記第２の結像系のそれぞれの前記撮像素子により撮像された画像をつなぎ合わせて第１の映像（例えば、図６の遠景画像gf）を生成し、前記第２のパラメータ値を有する複数の前記第２の結像系のそれぞれの前記撮像素子により撮像された画像をつなぎ合わせて第２の映像（例えば、図６の近景画像gn）を生成する処理を実行する処理手段（例えば図１の信号処理部１４）をさらに備えることができる。
【００２５】
前記処理手段は、さらに、前記第１の映像と前記第２の映像とを利用して（例えば図７に示されるように利用して）、前記第１の映像と前記第２の映像との所定の部分に対応する実空間領域と、前記撮像装置との間の距離を測定する（例えば図７の中央の図では、中距離物体画像omに対応する図６の中距離物体OMまでの距離を測定する）処理を実行することができる。
【００２６】
また、本発明の一側面の撮像方法/撮像装置の設計方法は、上述した本発明の一側面の撮像装置に対応する方法である。
【００２７】
このように、本発明は、複数の撮像素子を有するデジタルスチルカメラやデジタルビデオカメラといった撮像装置、並びに、その撮像方法および設計方法に適用可能である。
【００２８】
次に、本発明の実施の形態について説明する。
【００２９】
本発明が適用される撮像装置は、次の第１の手法と第２の手法とが適用された光学系を有している。
【００３０】
第１の手法とは、２回結像させる手法、換言すると、第１の結像系（以下第１の光学系とも称する）と第２の結像系（以下第２の光学系とも称する）とを形成させる手法である。この第１の手法により、単一焦点、かつ撮像素子（例えばCCD等）間の物理的な干渉なくブレンディング領域を保持した撮影が可能になる。
【００３１】
第２の手法とは、第１の手法により形成される第２の光学系の撮像素子の個数、位置、およびズームのうちの少なくともひとつを変化させる、という手法である。この第２の手法により、部分的に高解像度の撮影が可能になる。さらに、この第２の手法（および第１の手法）を適用した撮像装置の構成要素としてプリズムは不要になるので、撮像素子（CCD等）の数を増やしてもコストを抑えることが可能になる。
【００３２】
かかる第１の手法と第２の手法を適用した光学系を有する撮像装置、即ち、本発明が適用される撮像装置の一実施の形態の構成が、図１に示されている。
【００３３】
即ち、図１の例の撮像装置の光学系は、第１の光学系１１と第２の光学系群１２とを有し、それらの間をフィールドレンズ１３で結ぶ構造の光学系である。
【００３４】
第１の光学系１１は、例えば対物レンズ２１を有し、画角等に関する光学特性を決める光学系であって、フィールドレンズ１３またはその近傍に物体面２（被写体の面２）の像を１回結像させる。換言すると、フィールドレンズ１３は、第１の光学系１１の焦点距離またはその手前近傍に配置される。なお、以下、第１の光学系１１により像が結像される面を、第１の結像面と称する。後述する図４や図５に、第１の結像面６２−ｆ，６２−ｎが例示されている。
【００３５】
第２の光学系群１２は、１つのズームレンズ２２−Kと１つのCCD２３−Kとを有する第２の光学系がN個（Nは、２以上の整数値）集まって構成される。なお、Kは、１乃至Nの整数値である。ただし、説明の簡略上、図１の例では、１乃至３のうちの何れかの値がKになっている。
【００３６】
なお、ここでいう１つのズームレンズ２２−Kとは、ズームレンズ２２−Kが１つのレンズだけで構成されることを意味するのではなく、各ズームレンズ２２−K自体は１以上のレンズからそれぞれ構成されており、そのようにして構成されているズームレンズ２２−１乃至２２−Nが第２の光学系群１２内に存在しているが、１つの第２の光学系に着目した場合、その第２の光学系には、ズームレンズ２２−１乃至２２−Nのうちの所定の１つ（ただし、その所定の１つは、１以上のレンズから構成されている）が含まれている、ということを意味する。
【００３７】
このような第２の光学系群１２においては、他とは干渉なしにCCD２３−Kを配置することが可能になり、第１の結像面の像（図１の例では物体面２の像）のうちの所定の一部分を、各CCD２３−Kの面に再結像させることが可能になる。
【００３８】
なお、図１の例では、フィールドレンズ１３が採用されているが、その代わりに、図示せぬディフューザーを採用してもよい。ただし、ディフューザーは、出力光線の幅（ビーム角）を広げる機能を有しており、この機能のため、像の解像度が落ちることに注意を要する。
【００３９】
また、第２の光学系における撮像素子は、図１の例ではCCD２３−Kが採用されているが、当然ながら図１の例に限定されず、任意の撮像素子でよい。
【００４０】
さらにまた、図１の例では、フィールドレンズ１３より小さい第２の光学系が採用されているが、図１の例に限定されず、例えば、CCD２３−Kの位置を偏心させることで、フィールドレンズ１３より大きな第２の光学系を採用（配置）することも可能である。
【００４１】
信号処理部１４は、例えば本実施の形態では、各CCD２３−Kにより撮像された画像に対して各種画像処理を適宜施し、それらの各種画像処理の結果得られる画像をつなぎ合わせる等して、物体面２全体の画像（例えば後述する図６の画像gf，gn等）を生成して、出力する。
【００４２】
その他、信号処理部１４は、例えば本実施の形態では、第２の光学系群１２を構成する各第２の光学系のそれぞれについての、位置のシフト操作と、「WIDE」若しくは「TELE」のズームの操作とを行う。なお、これらの操作については、図１中、信号処理部１４から第２の光学系（ズームレンズ２２−３とCCD２３−３）に引かれた２つの矢印でそれぞれ示されている。
【００４３】
これにより、各第２の光学系の位置とズームとを、他の第２の光学系とは独立して容易に可変させることができる。その結果、部分的に高解像度な撮影を行うことが容易に可能になり、自由度の高い撮影を行うことが可能になる。さらにまた、光学系の構成を後述する図４や図５のような構成に変更することが撮影時に実現できるようになるので、被写体との間の距離を考慮した撮像が容易にかつ高精度にできるようになる。その結果、画質のよい遠景と近景とを別々の画像として同時に撮影したり、画像中の物体距離を精度よく測定できるようになる。
【００４４】
さらに、信号処理部１４として、上述した特願2005-063675号の願書に添付した図面の図２の信号処理部を適用することで、上述した第１の手法と第２の手法に加えて、さらに次の第３の手法の実現が可能になる。即ち、第３の手法とは、位相補正若しくは検出処理、輝度補正若しくは検出処理、並びに、それらの処理に必要な位相補正情報若しくは輝度補正情報を自動で求める処理を実現するための手法である。自動とは、撮像装置を使用するユーザ等の操作（トリガ信号の入力操作を除く）を介在することなく、撮像装置自身の判断で処理を実行することをいう。
【００４５】
ここで、撮像装置と被写体（図１でいう物体面２）との間の距離を考える。
【００４６】
図２は、被写体である近距離物体４２をレンズ４１で撮像した場合における結像面４３の位置を、レンズ４１の中心と結像面４３との間の距離dn（以下、近景距離dnと称する）として示している。図３は、被写体である遠距離物体（図示せず）を同一レンズ４１で撮像した場合における結像面４４の位置を、レンズ４１の中心と結像面４４との間の距離df（以下、遠景距離dfと称する）として示している。
【００４７】
図２と図３とを比較するに、近景距離dnの方が遠景距離dfよりも長距離であることがわかる。このように、被写体が撮像装置に近づくほど（撮像装置と被写体との間が短距離になるほど）、レンズと結像面との間が長距離になっていく。具体的には、図１の例の光学系においては、物体面２と対物レンズ２１との間が短距離になるほど、第１の結像面の位置（第１の光学系１１による結像面、即ち、フィールドレンズ１３による結像面の位置）が、フィールドレンズ１３から遠く離れていく。
【００４８】
このように、撮像装置と被写体（図１の例では物体面２）との間の距離が変化した場合、その変化に応じて第１の結像面の位置も変化するので、ターゲットとする被写体（焦点を合わす被写体）の位置にあわせ、即ちその位置に対応する第１の結像面の位置にあわせて、第２の光学系群１２の位置等を決定する必要がある、と本発明人は思想した。
【００４９】
そこで、本発明人は、かかる思想に基づいて、次のような新たな手法を発明した。即ち、図１の例の光学系において、物体面２（被写体）と撮像装置（対物レンズ２１）との間の距離に応じて、換言すると、その距離の変化に対応して変化する第１の結像面の位置に応じて、第２の光学系群１２におけるズームレンズ２２−Kの位置、そのズームレンズ２２−KとCCD２３−K（第２の光学系における再結像面）との間の距離（以下、第２の光学系距離と称する）、および、画角（CCD２３−Kのサイズ）といった各パラメータ値を可変する、といった手法を本発明人は発明した。以下、かかる手法を、被写体間距離考慮手法と称する。
【００５０】
さらに、被写体間距離考慮手法を応用した手法として、第２の光学系群１２を、物体面２が遠距離の場合に適合させた各パラメータ値に従って構成される第２の光学系群（以下、第２の遠景光学系群１２−ｆと称する）と、物体面２が近距離の場合に適合させた各パラメータ値に従って構成される第２の光学系群（以下、第２の近景光学系群１２−ｎと称する）とに分割する、という手法を本発明人は発明した。
【００５１】
なお、以下、第２の遠景光学系群１２−ｆにおけるズームレンズ２２-KとCCD２３-Kとのそれぞれを、ズームレンズ２２-KfとCCD２３-Kfとのそれぞれと称する。また、以下、第２の近景光学系群１２−ｎにおけるズームレンズ２２-kとCCD２３-Kとのそれぞれを、ズームレンズ２２-KnとCCD２３-Knとのそれぞれと称する。
【００５２】
かかる手法（被写体間距離考慮手法を応用した手法）の実現により、第２の遠景光学系群１２−ｆにおけるCCD２３-Kfでは、遠距離物体に焦点があった画像が撮像される一方、第２の近景光学系群１２−ｎにおけるCCD２３-Kｎでは、近距離物体に焦点があった画像が撮像されることになる。即ち、かかる手法の実現により、遠景と近景とを別々の画像として同時に撮影することが可能になる。そこで、以下、かかる手法を、遠近景同時撮影手法と称する。
【００５３】
遠近景同時撮影手法が適用された光学系の一例が、図４に示されている。即ち、図４は、本発明が適用される撮像装置のうちの光学系の一例を示している。
【００５４】
ここで、図４の例の光学系における上述した各パラメータ値、即ち、第２の遠景光学系群１２−ｆにおけるズームレンズ２２−Kfの位置、第２の光学系距離、および、画角（CCD２３-Kfのサイズ）、並びに、第２の近景光学系群１２−ｎにおけるズームレンズ２２−Knの位置、第２の光学系距離、および、画角（CCD２３-Knのサイズ）、といった各パラメータ値の決定手法（演算手法）について説明する。
【００５５】
かかる演算手法においては、次の式（１）で示されるガウスの結像公式（有限距離の結像式）と、次の式（２）で示されるニュートンの結像公式（無限距離の結像式）との利用を前提条件とする。
【００５６】
1/S’ − 1/S ＝ 1/f   ・・・（１）
式（１）において、Sは、レンズの中心と、そのレンズに対して光を入射する対象物（被写体となる物等）と間の距離を示している。S’は、レンズの中心と、そのレンズを通過した光による結像との間の距離を示している。また、fはいわゆる物側焦点距離を示している。
【００５７】
Z*Z’ ＝ f*f’        ・・・（２）
【００５８】
式（２）において、f’は、いわゆる像側焦点距離を表している。Zは、光学系の軸に対して垂直方向に存在する物であって、レンズに対して光を入射する対象物についてのfを原点とする軸方向の座標を示している。Z’は、その結像についてのf’を原点とする軸方向の座標を示している。
【００５９】
その他、かかる演算手法の前提条件として、各値をそれぞれ次のように記述するとする。
【００６０】
即ち、第１の光学系１１の焦点距離をfと、第２の近景光学系群１２−ｎの焦点距離をfnと、第２の遠景光学系群１２−ｆの焦点距離をffと、それぞれ記述する。
【００６１】
遠距離に位置する物体面６１−ｆ（以下、遠距離物体面６１−ｆと称する）と、対物レンズ２１の中心との間の距離をSfと、対物レンズ２１の中心と、遠距離物体面６１−ｆの第１の結像面６２−ｆ（以下、第１の遠景結像面６２−ｆと称する）との間の距離をSf’と、それぞれ記述する。第１の遠景結像面６２−ｆとズームレンズ２２−Kfの中心との間の距離をXfと、第２の遠景光学系群１２−ｆにおける第２の光学系距離（ズームレンズ２２−Kfの中心とCCD２３−Kfとの間の距離）をXf’と、それぞれ記述する。
【００６２】
また、第１の遠景結像面６２−ｆのうちの、１つのズームレンズ２２−Kfに入射される部分の大きさ（対応するCCD２３-Kfの所定の一辺に対して水平方向の長さ）をDfと、対応するCCD２３-Kfのサイズ（そのうちの所定の一辺の長さ）をCfと、それぞれ記述する。即ち、第２の遠景光学系群１２−ｆにおける画角のパラメータがCfで記述される。
【００６３】
一方、近距離に位置する物体面６１−ｎ（以下、近距離物体面６１−ｎと称する）と、対物レンズ２１の中心との間の距離をSnと、対物レンズ２１の中心と、近距離物体面６１−ｎの第１の結像面６２−ｎ（以下、第１の近景結像面６２−ｎと称する）との間の距離をSn’と、それぞれ記述する。第１の近景結像面６２−ｎとズームレンズ２２−Knの中心との間の距離をXnと、第２の近景光学系群１２−ｎにおける第２の光学系距離（ズームレンズ２２−Knの中心とCCD２３−Knとの間の距離）をXn’と、それぞれ記述する。
【００６４】
また、第１の近景結像面６２−ｎのうちの、１つのズームレンズ２２−Knに入射される部分の大きさ（対応するCCD２３-Knの所定の一辺に対して水平方向の長さ）をDnと、対応するCCD２３-Knのサイズ（そのうちの所定の一辺の長さ）をCnと、それぞれ記述する。即ち、第２の近景光学系群１２−ｎにおける画角のパラメータがCnで記述される。
【００６５】
以上の前提の下では、次の式（３）乃至（８）が成り立つ。
【００６６】
Sf’ ＝ 1/(1/f − 1/Sf) ＝ Sf*f/(Sf − f)        ・・・（３）
Sn’ ＝ 1/(1/f − 1/Sn) ＝ Sn*f/(Sn − f)        ・・・（４）
【００６７】
Xf’ ＝ 1(1/ff − 1/Xf) ＝ Xf*ff/(Xf − ff)       ・・・（５）
Xn’ ＝ 1(1/fn − 1/Xn) ＝ Xn*fn/(Xn − fn)       ・・・（６）
【００６８】
Xf’ ＝ Xf*Cf/Df                                ・・・（７）
Xn’ ＝ Xn*Cn/Dn                                ・・・（８）
【００６９】
従って、例えば撮像装置の製造者等は、上述した式（３）乃至（８）を満足するように、第２の遠景光学系群１２−ｆにおけるズームレンズ２２−Kfの位置（距離Xfで示される位置）、第２の光学系距離Xf’、および、画角Cf（CCD２３-Kfの一辺の長さCf）、並びに、第２の近景光学系群１２−ｎにおけるズームレンズ２２−Knの位置（距離Xnで示される位置）、第２の光学系距離Xn’、および、画角Cn（CCD２３-Knの一辺の長さCn）、といった各パラメータ値をそれぞれ決定すればよい。
【００７０】
そして、例えば製造者等は、このようにして決定した各パラメータ値に従って、各第２の光学系を図４の構成となるように製造等すればよい。
【００７１】
ただし、上述したように、信号処理部１４は、各第２の光学系のそれぞれの位置のシフト操作とズームの操作とを独立して行うことができる。そこで、画角Cfと画角Cnだけを予め決定しておき（即ち、所定のサイズのCCD２３-KfとCCD２３-Knとを搭載させておき）、第２の遠景光学系群１２−ｆにおけるズームレンズ２２−Kfの位置（距離Xfで示される位置）および第２の光学系距離Xf’、並びに、第２の近景光学系群１２−ｎにおけるズームレンズ２２−Knの位置（距離Xnで示される位置）および第２の光学系距離Xn’については、信号処理部１４に決定させるようにすることも可能である。この場合、信号処理部１４は、自身で決定した各パラメータ値に従って、各第２の光学系のそれぞれの位置のシフト操作とズームの操作とをそれぞれ行うことで、各第２の光学系を図４のように構成することができる。
【００７２】
ところで、光学系の構成の容易性を考慮した場合、第２の光学系群１２において、第２の遠景光学系群１２−ｆと第２の近景光学系群１２−ｎとの区別無く、全てのズームレンズ２２−Kとして同一のレンズを用い、全てのズームレンズ２２−Kの位置（光学系の軸方向の位置）を揃え、かつ、全てのCCD２３−Kのサイズを揃えると便利である。この場合における遠近景同時撮影手法が適用された光学系の一例が、図５に示されている。即ち、図５は、本発明が適用される撮像装置のうちの光学系の一例であって、図４とは異なる例を示している。
【００７３】
ここで、図５の例の光学系における上述した各パラメータ値、即ち、第２の遠景光学系群１２−ｆにおけるズームレンズ２２−Kfの位置（距離Xfで示される位置）、第２の光学系距離Xf’、および、画角Cf（CCD２３-Kfの一辺の長さCf）、並びに、第２の近景光学系群１２−ｎにおけるズームレンズ２２−Knの位置（距離Xnで示される位置）、第２の光学系距離Xn’、および、画角Cn（CCD２３-Knの一辺の長さCn）、といった各パラメータのそれぞれの決定手法（演算手法）について説明する。
【００７４】
かかる演算手法の前提条件としては、上述した図４の例の場合と全く同様の前提条件に加えて、さらに次の式（９）乃至（１２）といった条件と、Sf,Snのそれぞれを所定の定数とするという条件が付加されるとする。
【００７５】
Df ＝ Dn                  ・・・（９）
Cf ＝ Cn                  ・・・（１０）
Xf + Sf’ ＝ Xn + Sn’    ・・・（１１）
ff ＝ fn                  ・・・（１２）
【００７６】
従って、例えば製造者等は、図５の例の光学系を構成させる場合、Sf,Snは所定の定数であるという条件の下、上述した式（３）乃至（１２）を満足するように、第２の遠景光学系群１２−ｆにおけるズームレンズ２２−Kfの位置（距離Xfで示される位置）、第２の光学系距離Xf’、および、画角Cf（CCD２３-Kfの一辺の長さCf）、並びに、第２の近景光学系群１２−ｎにおけるズームレンズ２２−Knの位置（距離Xnで示される位置）、第２の光学系距離Xn’、および、画角Cn（CCD２３-Knの一辺の長さCn）、といった各パラメータ値のそれぞれを決定すればよい。
【００７７】
具体的には、Sf,Snは所定の定数、および、上述した式（３）乃至（１２）が成立するという条件から、次の４つの方程式（１３）乃至（１６）が得られる。
【００７８】
Xf + Sf’ ＝ Xn + Sn’      ・・・（１３）
Xf’ ＝ Xf*ff/(Xf − ff)    ・・・（１４）
Xn’ ＝ Xn*ff/(Xn − ff)    ・・・（１５）
Xf’/Xf ＝ Xn’/Xn        ・・・（１６）
【００７９】
さらに、これらのうちの３つの方程式（１４）乃至（１６）から、次の二次方程式（１７）が得られる。
【００８０】
Xf^2 + (Sf’+ ff − Sn’ − 1)*Xf + ff ＝ ０   ・・・（１７）
【００８１】
式（１７）における(Sf’+ ff − Sn’ − 1)は、Sf，SS，fが定数なので一意に求まる。即ち、(Sf’+ ff − Sn’ − 1)は定数となる。
【００８２】
従って、例えば製造者等は、この二次方程式（１７）を解くことでXfを求めることができる。さらに、例えば製造者等は、このXfを用いて方程式（１３）を解くことでXnを求めることができる。後は、例えば製造者等は、これらのXfとXnと上述した各式を用いて、第２の遠景光学系群１２−ｆにおけるズームレンズ２２−Kfの位置（距離Xfで示される位置）、第２の光学系距離Xf’、および、画角Cf（CCD２３-Kfの一辺の長さCf）、並びに、第２の近景光学系群１２−ｎにおけるズームレンズ２２−Knの位置（距離Xnで示される位置）、第２の光学系距離Xn’、および、画角Cn（CCD２３-Knの一辺の長さCn）、といった各パラメータ値をそれぞれ決定すればよい。
【００８３】
そして、例えば製造者等は、このようにして決定した各パラメータ値に従って、各第２の光学系を図５の構成となるように製造等すればよい。
【００８４】
ただし、図４の例と同様に図５の例の場合も、画角Cfと画角Cnだけを予め決定しておき（即ち、所定のサイズのCCD２３-KfとCCD２３-Knとを搭載させておき）、第２の遠景光学系群１２−ｆにおけるズームレンズ２２−Kfの位置（距離Xfで示される位置）および第２の光学系距離Xf’、並びに、第２の近景光学系群１２−ｎにおけるズームレンズ２２−Knの位置（距離Xnで示される位置）および第２の光学系距離Xn’については、信号処理部１４に決定させるようにすることも可能である。この場合、信号処理部１４は、自身で決定した各パラメータ値に従って、各第２の光学系のそれぞれの位置のシフト操作とズームの操作とをそれぞれ行うことで、各第２の光学系を図５のように構成することができる。
【００８５】
以上の決定手法（演算手法）により決定された各パラメータ値に従って構成された図４や図５の例の光学系を、撮像装置に搭載させ、その撮像装置を利用することで、上述したように、遠景と近景とを別々の画像として同時に撮影すること、即ち、同一シーン（実空間上の同一領域）についての遠景画像（遠距離物体に焦点があった画像）と近景画像（近距離物体に焦点があった画像）とを同時に得ることが可能になる。
【００８６】
具体的には例えば図６に示されるように、実領域Ａ乃至Ｃ（各領域の意味は図８を用いて後述する）で区分される実空間において、実物体OF，OM，ONが存在し、その順番で撮像装置（図６の例では、そのうちの対物レンズ２１のみが図示されている）から遠方の位置にそれぞれ存在しているとする。そこで、以下、特に、実物体OFを遠距離物体OFと、実物体OMを中距離物体OMと、実物体ONを近距離物体ONと、それぞれ称する。
【００８７】
この場合、第１の遠景結像面６２−ｆの像のうちの所定の一部分、即ち、遠距離物体OFに焦点があった像のうちの所定の一部分が、第２の遠景光学系群１２−ｆにおける各CCD２３−Kfのそれぞれにおいて再結像されて、撮影される。第２の遠景光学系群１２−ｆにおける各CCD２３−Kfの撮影結果（各部分の画像）は、信号処理部１４（図１）に提供される。そこで、信号処理部１４は、それらの各部分の画像を組み合わせる画像処理を実行することで、即ち、遠距離物体OFに焦点があった再結像の各部分のそれぞれを組み合わせる画像処理を実行することで、例えば図６に示される画像gf（以下、遠景画像gfと称する）を生成することができる。
【００８８】
この遠景画像gfには、遠距離物体OFの像of（以下、遠距離物体画像ofと称する）、中距離物体OMの像om（以下、中距離物体画像omと称する）、および、近距離物体ONの像on（以下、近距離物体画像onと称する）が含まれている。ただし、遠景画像gfにおいては、遠距離物体OFに焦点が合っているため、それに対応する遠距離物体画像ofのみがボケておらず、その他の中距離物体画像omおよび近距離物体画像onのそれぞれについては、対応する実物体の距離に応じたボケ度合いで、それぞれボケていることになる。
【００８９】
なお、本実施の形態では例えば、ボケ度合いを、０乃至１００の数値（数値が大きい程ボケている）で表すとする。図６以降の図面においては、遠距離物体画像of、中距離物体画像om、および、近距離物体画像onのそれぞれの近傍（主に右斜め上方）には、かかる定義によるボケ度合いがそれぞれ示されている。
【００９０】
また、遠景画像gfと同時に、次のようにして、図６に示される画像gnも得られる。即ち、第１の近景結像面６２−ｎの像のうちの所定の一部分、即ち、近距離物体ONに焦点があった像のうちの所定の一部分が、第２の近景光学系群１２−ｎにおける各CCD２３−Knのそれぞれにおいて再結像されて、撮影される。第２の近景光学系群１２−ｎにおける各CCD２３−Knの撮影結果（各部分の画像）は、信号処理部１４に提供される。そこで、信号処理部１４は、それらの各部分の画像を組み合わせる画像処理を実行することで、即ち、近距離物体ONに焦点があった再結像を構成する各部分のそれぞれを組み合わせる画像処理を実行することで、例えば図６に示される画像gn（以下、近景画像gnと称する）を生成することができる。
【００９１】
ところで、本発明人は、さらに、このような遠景画像gfと近景画像gnとを用いて、撮像装置と実空間の所定の位置との間の距離、例えば、撮像装置と、遠距離物体OF、中距離物体OM、および、近距離物体ONのそれぞれとの間の距離（以下、単に、遠距離物体OF、中距離物体OM、または、近距離物体ONの距離と称する）を測定する測定手法も発明した。
【００９２】
以下、かかる測定手法について説明する。なお、以下の説明においては、かかる測定手法が、上述した図４や図５の光学系を有する撮像装置に適用されているとする。即ち、かかる測定手法に従った処理は、信号処理部１４（図１）により実行されるとする。
【００９３】
本測定手法では、ボケ度合いについては、その度合いxをパラメータ値とする（ここでは、xは０乃至１００の範囲内の数値）ボケ関数h(x)を用いるとする。
【００９４】
ボケ関数h(x)は、次の式（１８）が成立するか若しくは近似的に成立するのが望ましい。
【００９５】
h(x1 + x2) ＝ h(x1) * h(x2)      ・・・（１８）
【００９６】
本実施の形態では例えば、ボケ関数h(x)としてガウス関数を採用することにする。ただし、厳密に言えばガウス関数は式（１８）を満たさないが、ここでは近似的に満たすとして以下説明していく。なお、ボケ関数h(x)は、ガウス関数に限定されず他の関数を採用してもよい。
【００９７】
この場合、信号処理部１４は、遠景画像gfと近景画像gnとのそれぞれに対して、適当なパラメータ値xf，xnをボケ関数h(x)にそれぞれ代入した場合の各出力値h(xf)，h(xn)（以下、ボケ関数出力値h(xf)，h(xn)と称する）をそれぞれ掛け合わせ、それぞれの結果得られる各画像の特徴と、その際に利用された各ボケ関数出力値h(xf)，h(xn)の特徴とに基づいて、遠距離物体OF、中距離物体OM、または、近距離物体ONの距離を測定することができる。
【００９８】
なお、以下、ボケ関数出力値h(xf)が掛けられた遠景画像gfを、ボケ遠景画像gf*h(xf)と称する。一方、ボケ関数出力値h(xn)が掛けられた近景画像gnを、ボケ近景画像gn*h(xn)と称する。
【００９９】
即ち、信号処理部１４は、ボケ遠景画像gf*h(xf)およびそのボケ関数出力値h(xf)、並びに、ボケ近景画像gn*h(xn)およびそのボケ関数出力値h(xn)の特徴に基づいて、遠距離物体OF、中距離物体OM、または、近距離物体ONの距離を測定することができる。
【０１００】
具体的には例えば、信号処理部１４が遠景画像gfと近景画像gnとのそれぞれに対して適当なボケ関数出力値h(xf)とh(xn)とのそれぞれを個別に掛け合わせせていくと、その結果それぞれ得られるボケ遠景画像gf*h(xf)とボケ近景画像gn*h(xn)とにおいて、ボケ度合いが一致した領域（以下、ボケ一致領域と称する）が発生する。
【０１０１】
そこで、信号処理部１４は、ボケ遠景画像gf*h(xf)とボケ近景画像gn*h(xn)との対応する一部分（同一領域）における一致度合いの評価を、例えば最小自乗や相関などの方法で行い、一番評価の高い同一領域、即ち、一致度度合いが一番高い同一領域をボケ一致領域として判定する。これにより、信号処理部１４は、そのときのボケ関数出力値h(xf)，h(xn)を利用する適当な演算を行うことで、ボケ一致領域に対応する実領域（ボケ一致領域に含まれる画像に対応する実物体等）と、撮像装置との間の距離を求めることができる。
【０１０２】
具体的には例えば図７の例では、そのうちの左側の図によると、遠景画像gf（ボケ関数出力値h(0)＝1を掛けた結果得られるボケ遠景画像gf*h(0)）と、ボケ関数出力値h(50)を掛けた結果得られるボケ近景画像gn*h(50)との間においては、近距離物体画像onのボケ度合いが一致する。即ち、近距離物体画像onを含む領域がボケ一致領域となる。従って、信号処理部１４は、ボケ関数出力値h(0)とボケ関数出力値h(50)とを利用する適当な演算を行うことで、近距離物体画像onに対応する近距離物体ON（図６）の距離を求めることができる。
【０１０３】
同様に、図７のうちの中央の図によると、ボケ関数出力値h(25)を掛けた結果得られるボケ遠景画像gf*h(25)と、ボケ関数出力値h(25)を掛けた結果得られるボケ近景画像gn*h(25)との間においては、中距離物体画像omのボケ度合いが一致する。即ち、中距離物体画像omを含む領域がボケ一致領域となる。従って、信号処理部１４は、ボケ関数出力値h(25)とボケ関数出力値h(25)とを利用する適当な演算を行うことで、中距離物体画像omに対応する中距離物体OM（図６）の距離を求めることができる。
【０１０４】
また、図７のうちの右側の図によると、ボケ関数出力値h(50)を掛けた結果得られるボケ遠景画像gf*h(50)と、近景画像gn（ボケ関数出力値h(0)＝1を掛けた結果得られるボケ近景画像gn*h(0)）との間においては、遠距離物体画像ofのボケ度合いが一致する。即ち、遠距離物体画像ofを含む領域がボケ一致領域となる。従って、信号処理部１４は、ボケ関数出力値h(50)とボケ関数出力値h(0)とを利用する適当な演算を行うことで、遠距離物体画像ofに対応する遠距離物体OF（図６）の距離を求めることができる。
【０１０５】
以上、遠景画像gfと近景画像gnとを用いて、遠距離物体OF、中距離物体OM、または、近距離物体ONの距離を測定する測定手法の一例について説明した。さらに、以下、別の例について説明する。
【０１０６】
この例は、「久保田彰、相沢清晴  東京大学大学院  新領域創成科学研究科，光学系研究科、焦点ぼけ付与による奥行き領域の検出法の検討、２０００年映像メディアシンポジウム（ＩＭＰＳ２０００）」に記載された技術を利用した例である。
【０１０７】
具体的には、この例では、次の式（１９）に示されるように、ボケ近景画像gn*h(xn）とボケ遠景画像gf*h(xf)とからなる画像f(h(xn),h(xf))を定義する。
【０１０８】
【数１】
0004752733.tif 000002
・・・（１９）
【０１０９】
この場合、はじめに、信号処理部１４は、画像f(0,0)，f(0,α)，f(α,0)をそれぞれ生成する。
【０１１０】
次に、信号処理部１４は、画像f(0,0)，f(0,α)，f(α,0)のそれぞれを、適当な大きさ（例えば８×８画素）のブロックに区分し、各ブロックごとにフーリエ変換を施す。
【０１１１】
ここで、各画像f(0,0)，f(0,α)，f(α,0)における(i,j)番目のブロックのフーリエ変換のそれぞれを、次の式（２０）乃至（２２）で表すとする。
【０１１２】
【数２】
0004752733.tif 000003
・・・（２０）
【数３】
0004752733.tif 000004
・・・（２１）
【数４】
0004752733.tif 000005
・・・（２２）
【０１１３】
次に、信号処理部１４は、各ブロックごとに、次の式（２３）と式（２４）で示される判定基準を算出する。
【０１１４】
【数５】
0004752733.tif 000006
・・・（２３）
【数６】
0004752733.tif 000007
・・・（２４）
【０１１５】
次に、信号処理部１４は、各ブロックごとに、判定基準である式（２３），（２４）の演算結果と、所定の閾値t1,t2とを比較し、その比較の結果が図８に示される条件のうちのいずれに該当するのかを判断する。そして、信号処理部１４は、所定のブロック（画像）に対応する実領域（実物体等を含む領域）の撮像装置からの距離としては、図８中、その所定のブロックに該当すると判断した条件の右方の項目に示される判定結果(距離)を採用する。ここで、図８の判定結果に示されるＡ，Ｏｎ，Ｂ，Ｏｆ，Ｃとは、図６の対応する実領域を示している。即ち、例えば所定のブロックについて、図８における判定結果がＯｎである場合には、信号処理部１４は、その所定のブロックに対応する実領域の撮像装置からの距離は、近距離物体ONを含む領域Ｏｎの範囲内の距離であると決定する。換言すると、信号処理部１４は、その所定のブロックに対応する実領域とは、近距離物体ONを含む領域Onであると判断する。
【０１１６】
以上説明したように、図４や図５の例の光学系は、撮像装置と被写体との間の距離を考慮して構成された光学系であるので、かかる光学系を有する撮像装置は、遠景と近景とを別々の画像として同時に撮影したり、画像中の物体距離を測定することが可能になる。
【０１１７】
さらに、上述した遠近景同時撮影手法を応用した次のような手法を適用することで、遠景画像と近景画像のみならず、実世界の同一シーン（同一空間）についての画像として、３以上の実物体面（撮像装置からの実世界上の距離が相異なる３以上の実領域にそれぞれ含まれる実物体の面）にそれぞれ焦点があった３以上の画像を同時に撮影することも可能になる。即ち、かかる手法とは、３以上の実物体面に焦点が合うようにそれぞれ決定された各パラメータ値に従って、３以上の第２の光学系を構成するという手法、換言すると、第２の光学系群を、かかる３以上の第２の光学系に分割するという手法である。
【０１１８】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１１９】
この場合、図４や図５の例のような光学系を有する撮像装置のうちの少なくとも一部（例えば信号処理部１４等）は、例えば、図９に示されるコンピュータで構成することができる。
【０１２０】
図９において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２１】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
【０１２２】
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１２３】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【０１２４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１２５】
このようなプログラムを含む記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１２６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１２７】
【図１】本発明が適用される撮像装置の構成例を示す図である。
【図２】近距離物体をレンズで撮像した場合における結像面の位置の例を示す図である。
【図３】遠距離物体をレンズで撮像した場合における結像面の位置の例を示す図である。
【図４】図１の撮像装置に搭載させる光学系の構成例を示す図である。
【図５】図１の撮像装置に搭載させる光学系の構成例であって、図４とは異なる例を示す図である。
【図６】図４や図５の例の光学系を搭載した図１の撮像装置により同時に撮影された遠距離画像と近距離画像との例を示す図である。
【図７】図６の例の遠距離画像と近距離画像とを用いて、撮像装置と実物体との距離を測定する測定手法の例を説明する図である。
【図８】図６の例の遠距離画像と近距離画像とを用いて、撮像装置と実物体との距離を測定する場合に利用される判定基準の例を示す図である。
【図９】本発明が適用される処理を実行可能なパーソナルコンピュータの構成例を示す図である。
【符号の説明】
【０１２８】
１１  第１の光学系，  １２  第２の光学系，  １３  フィールドレンズ２２  対物レンズ２１  ズームレンズ，  ２３  CCD，  ２０１  CPU，  ２０２  ROM，  ２０３  RAM，  ２０８  記憶部，  ２１１  リムーバブルメディア
【図１】
0004752733.tif 000008
【図２】
0004752733.tif 000009
【図３】
0004752733.tif 000010
【図４】
0004752733.tif 000011
【図５】
0004752733.tif 000012
【図６】
0004752733.tif 000013
【図７】
0004752733.tif 000014
【図８】
0004752733.tif 000015
【図９】
0004752733.tif 000016