(57)【要約】【課題】立体像を表示するための要素画像群の、焦点はずれによる解像度の劣化を補正できる要素画像群補正装置を提供する。【解決手段】要素画像群補正装置５は、複数の焦点はずれの量についての要素光学レンズの複数の点像強度分布関数を予め記憶する点像強度分布関数記憶手段５２と、要素画像群撮像装置によって撮像された要素画像群に基づいて、要素画像群の各画素に対応する要素光学レンズの主点から被写体までの距離を示す被写体距離を算出する被写体距離算出手段５１と、被写体距離に基づいて、要素画像群の各画素に対応する点像強度分布関数を点像強度分布関数記憶手段５２から読み出し、当該点像強度分布関数と各画素における光の強度の情報とに基づいて、被写体が要素光学レンズによって合焦状態として結像する位置における光の強度を算出する被写体光強度算出手段５３とを備えることを特徴とする。【選択図】図２
2008028538.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を形成する複数の要素光学レンズ系が同一平面上に配列された要素光学レンズ群と、当該要素光学レンズ群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された要素画像群の焦点はずれによる解像度の劣化を補正する要素画像群補正装置であって、
複数の焦点はずれの量についての前記要素光学レンズ系の複数の点像強度分布関数を予め記憶する点像強度分布関数記憶手段と、
外部から入力された前記要素画像群に基づいて、当該要素画像群の各画素について、当該画素に対応する前記要素光学レンズ系の主点から前記被写体までの距離を示す被写体距離を算出する被写体距離算出手段と、
この被写体距離算出手段によって算出された被写体距離に基づいて、前記要素画像群の各々の前記画素に対応する前記点像強度分布関数を前記点像強度分布関数記憶手段から読み出し、当該点像強度分布関数と各々の前記画素における光の強度の情報とに基づいて、前記被写体が前記要素光学レンズ系によって合焦状態として結像する位置における光の強度である被写体光強度を、各々の前記画素について算出する被写体光強度算出手段と、
を備えることを特徴とする要素画像群補正装置。
【請求項２】
前記被写体光強度算出手段によって算出された被写体光強度と、前記被写体距離算出手段によって算出された被写体距離とに基づいて、前記被写体から出射した光である物体光の振幅の分布を算出する物体光算出手段を備えることを特徴とする請求項１に記載の要素画像群補正装置。
【請求項３】
被写体の像を形成する複数の要素光学レンズ系が同一平面上に配列された要素光学レンズ群、及び、この要素光学レンズ群によって形成された被写体の像を撮像する撮像手段を有する要素画像群撮像装置と、
この要素画像群撮像装置によって撮像された要素画像群の焦点はずれによる解像度の劣化を補正する請求項１又は請求項２に記載の要素画像群補正装置と、
を備えることを特徴とする要素画像群取得システム。
【請求項４】
被写体の像を形成する複数の要素光学レンズ系が同一平面上に配列された要素光学レンズ群と、当該要素光学レンズ群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された、各々の前記要素光学レンズ系に対応する複数の要素画像からなる要素画像群の焦点はずれによる解像度の劣化を、点像強度分布関数記憶装置に予め記憶された、複数の焦点はずれの量についての前記要素光学レンズ系の複数の点像強度分布関数に基づいて補正する要素画像群補正方法であって、
前記要素画像群に基づいて、当該要素画像群の前記要素画像の各画素について、当該画素に対応する前記要素光学レンズ系の主点から前記被写体までの距離を示す被写体距離を算出する被写体距離算出ステップと、
この被写体距離算出ステップにおいて算出された被写体距離に基づいて、この要素画像の各々の前記画素に対応する前記点像強度分布関数を前記点像強度分布関数記憶装置から読み出し、当該点像強度分布関数と各々の前記画素における光の強度の情報とに基づいて、前記被写体が前記要素光学レンズ系によって合焦状態として結像する位置における光の強度である被写体光強度を、各々の前記画素について算出する被写体光強度算出ステップと、
を含むことを特徴とする要素画像群補正方法。
【請求項５】
被写体の像を形成する複数の要素光学レンズ系が同一平面上に配列された要素光学レンズ群と、当該要素光学レンズ群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された要素画像群の焦点はずれによる解像度の劣化を、点像強度分布関数記憶装置に予め記憶された、複数の焦点はずれの量についての前記要素光学レンズ系の複数の点像強度分布関数に基づいて補正するためにコンピュータを、
外部から入力された前記要素画像群に基づいて、当該要素画像群の各画素について、当該画素に対応する前記要素光学レンズ系の主点から前記被写体までの距離を示す被写体距離を算出する被写体距離算出手段、
この被写体距離算出手段によって算出された被写体距離に基づいて、前記要素画像群の各々の前記画素に対応する前記点像強度分布関数を前記点像強度分布関数記憶装置から読み出し、当該点像強度分布関数と各々の前記画素における光の強度の情報とに基づいて、前記被写体が前記要素光学レンズ系によって合焦状態として結像する位置における光の強度である被写体光強度を、各々の前記画素について算出する被写体光強度算出手段、
として機能させることを特徴とする要素画像群補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体像を表示するための画像を生成する技術に係り、特に、ＩＰ（Ｉｎｔｅｇｒａｌ  Ｐｈｏｔｏｇｒａｐｈｙ；インテグラルフォトグラフィ）方式の立体像を表示するための画像を生成する要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラムに関する。
【背景技術】
【０００２】
近年、任意の視点から観察することができる立体テレビジョン方式の１つとして平面状あるいは球面状に配列されたレンズ群やピンホール群を用いた、いわゆるインテグラルフォトグラフィ（ＩＰ；Ｉｎｔｅｇｒａｌ  Ｐｈｏｔｏｇｒａｐｈｙ）方式が開発されている。
【０００３】
以下、図５を参照して、ＩＰ方式の原理を説明する。図５は、従来のＩＰ方式を説明するための説明図、（ａ）は、従来のＩＰ方式によって要素画像群を撮像する装置の構成を模式的に示す模式図、（ｂ）は、従来のＩＰ方式によって立体像を表示する装置の構成を模式的に示す模式図である。
【０００４】
図５（ａ）に示すように、撮像装置１００は、同一平面上にアレイ状に配列された複数の要素光学レンズＬ、Ｌ、…からなるレンズ群１０１と、被写体Ｓ１、Ｓ２側から見てこのレンズ群１０１の後ろに設置された撮像部１０２とから構成され、レンズ群１０１の前に設置された被写体Ｓ１、Ｓ２を撮像する。このとき撮像部１０２には、各要素光学レンズＬ、Ｌ、…によって被写体Ｓ１、Ｓ２の像Ｉ１、Ｉ１、…、Ｉ２、Ｉ２、…が形成され、撮像される。ここで各々の要素光学レンズＬによって形成された像を撮像した画像を要素画像（要素画像ｇ）、撮像部１０２によって撮像された複数の要素画像からなる画像を要素画像群という。
【０００５】
また、図５（ｂ）に示すように、表示装置１１０は、同一平面上にアレイ状に配列された複数の要素光学レンズＬ、Ｌ、…からなるレンズ群１１１と、表示部１１２とから構成されている。ここで、撮像装置１００と表示装置１１０とにおいて、要素光学レンズＬの焦点距離は同一であり、また、レンズ群１０１と撮像部１０２との距離、及び、レンズ群１１１と表示部１１２との距離は等しい。そして、撮像装置１００によって撮像された各々の要素画像ｇを中心に対して点対称に反転させた要素画像群を、表示部１１２に表示する。そうすると、レンズ群１１１を介して表示部１１２を見る観察者からは、被写体Ｓ１、Ｓ２の立体再生像Ｓ１’、Ｓ２’を観察することができる（非特許文献１参照）。
【０００６】
一方、焦点面以外の映像成分が合焦像へ重畳するぼけ効果を示す点像分布関数を用いて、磁気共鳴映像法によって撮像された画像から焦点面以外の像を除去し、焦点面のみの画像を生成する方法が開示されている（特許文献１参照）。
【特許文献１】特開２００５−２５３７０２号公報（段落番号０００９〜００７４）
【非特許文献１】山田光穂、「インテグラル立体テレビ」、月間ディスプレイ、ｖｏｌ．７、Ｎｏ．６、ｐ．２９−３４、２００１年６月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、ＩＰ方式の撮像装置では、レンズ群から所定の距離の位置にある被写体については高い解像度で撮像することができるが、別の距離の位置にある被写体については要素画像群の解像度は劣化する。
【０００８】
例えば、図５（ａ）において、被写体Ｓ１に合焦するように、レンズ群１０１の要素光学レンズＬ、Ｌ、…の焦点距離、及び、当該レンズ群１０１と撮像部１０２の配置が設定されているとする。そうすると、レンズ群１０１から被写体Ｓ１より更に離れた位置にある被写体Ｓ２は、レンズ群１０１と撮像部１０２との間に結像し、撮像部１０２によってピントのずれた被写体Ｓ２が撮像される。
【０００９】
また、特許文献１に記載の方法では、合焦した被写体の画像を生成することはできるものの、焦点面のみの画像とするものであるため、様々な奥行きの位置にある被写体の立体像を表示するための要素画像には適用することができない。
【００１０】
本発明は、前記従来技術の問題を解決するために成されたもので、焦点はずれによる要素画像群の解像度の劣化を補正することができる要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記問題を解決するため、請求項１に記載の要素画像群補正装置は、被写体の像を形成する複数の要素光学レンズ系が同一平面上に配列された要素光学レンズ群と、当該要素光学レンズ群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された要素画像群の焦点はずれによる解像度の劣化を補正する要素画像群補正装置であって、点像強度分布関数記憶手段と、被写体距離算出手段と、被写体光強度算出手段とを備えることとした。
【００１２】
かかる構成によれば、要素画像群補正装置は、点像強度分布関数記憶手段に、複数の焦点はずれの量についての要素光学レンズ系の複数の点像強度分布関数を予め記憶する。また、要素画像群補正装置は、被写体距離算出手段によって、外部から入力された要素画像群に基づいて、要素画像群の各画素について、当該画素に対応する要素光学レンズ系の主点から被写体までの距離を示す被写体距離を算出する。
【００１３】
更に、要素画像群補正装置は、被写体光強度算出手段によって、被写体距離算出手段で算出された被写体距離に基づいて、要素画像群の各々の画素に対応する点像強度分布関数を点像強度分布関数記憶手段から読み出し、当該点像強度分布関数と各々の画素における光の強度の情報とに基づいて、被写体が要素光学レンズ系によって合焦状態として結像する位置における光の強度である被写体光強度を、各々の画素について算出する。ここで、点像強度分布関数は、光学系による点光源の像強度分布を示すものであり、焦点はずれによる像のぼけ具合を示す。そのため、要素画像群補正装置は、被写体光強度算出手段によって、点像強度分布関数に基づいて、被写体の焦点はずれの量に応じて生じた要素画像群のぼけを補正し、解像度の高い補正要素画像群を生成することができる。
【００１４】
更に、請求項２に記載の要素画像群補正装置は、請求項１に記載の要素画像群補正装置において、物体光算出手段を備えることとした。かかる構成によれば、要素画像群補正装置は、物体光算出手段によって、被写体光強度算出手段で算出された被写体光強度と、被写体距離算出手段で算出された被写体距離とに基づいて、被写体から出射した光である物体光の振幅の分布を算出する。
【００１５】
ここで、補正要素画像群は、各画素において被写体が焦点はずれによるぼけを生じることなく結像した場合の光の強度を示す。そのため、物体光算出手段は、各画素について、被写体距離に基づいて被写体と画素との位置が共役の関係にあることとして物体光の振幅の分布を算出することで、焦点はずれによる誤差を軽減した物体光の振幅の分布を算出することができる。
【００１６】
また、請求項３に記載の要素画像群取得システムは、被写体の像を形成する複数の要素光学レンズ系が同一平面上に配列された要素光学レンズ群、及び、この要素光学レンズ群によって形成された被写体の像を撮像する撮像手段を有する要素画像群撮像装置と、この要素画像群撮像装置によって撮像された要素画像群の焦点はずれによる解像度の劣化を補正する請求項１又は請求項２に記載の要素画像群補正装置とを備えることとした。
【００１７】
これによって、要素画像群取得システムは、要素画像群撮像装置によって、被写体の要素画像群を撮像し、要素画像群補正装置によって、被写体の焦点はずれの量に応じて生じた要素画像群のぼけを補正し、解像度の高い補正要素画像群を生成することができる。
【００１８】
また、請求項４に記載の要素画像群補正方法は、被写体の像を形成する複数の要素光学レンズ系が同一平面上に配列された要素光学レンズ群と、当該要素光学レンズ群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された、各々の前記要素光学レンズ系に対応する複数の要素画像からなる要素画像群の焦点はずれによる解像度の劣化を、点像強度分布関数記憶装置に予め記憶された、複数の焦点はずれの量についての前記要素光学レンズ系の複数の点像強度分布関数に基づいて補正する要素画像群補正方法であって、被写体距離算出ステップと、被写体光強度算出ステップとを含むことを特徴とする。
【００１９】
この方法によれば、被写体距離算出ステップにおいて、要素画像群の要素画像の各画素について、当該画素に対応する要素光学レンズ系の主点から被写体までの距離を示す被写体距離を算出する。続いて、被写体光強度算出ステップにおいて、被写体距離算出ステップで算出された被写体距離に基づいて、この要素画像の各々の画素に対応する点像強度分布関数を点像強度分布関数記憶装置から読み出し、当該点像強度分布関数と各々の画素における光の強度の情報とに基づいて、被写体が要素光学レンズ系によって合焦状態として結像する位置における光の強度である被写体光強度を、各々の画素について算出する。これによって、被写体の焦点はずれの量に応じて生じた要素画像群のぼけを補正し、解像度の高い補正要素画像群を生成することができる。
【００２０】
更に、請求項５に記載の要素画像群補正プログラムは、被写体の像を形成する複数の要素光学レンズ系が同一平面上に配列された要素光学レンズ群と、当該要素光学レンズ群によって形成された被写体の像を撮像する撮像手段とを備える要素画像群撮像装置によって撮像された要素画像群の焦点はずれによる解像度の劣化を、点像強度分布関数記憶装置に予め記憶された、複数の焦点はずれの量についての前記要素光学レンズ系の複数の点像強度分布関数に基づいて補正するためにコンピュータを、被写体距離算出手段、被写体光強度算出手段として機能させることとした。
【００２１】
かかる構成によれば、要素画像群補正プログラムは、被写体距離算出手段によって、外部から入力された要素画像群に基づいて、要素画像群の各画素について、当該画素に対応する要素光学レンズ系の主点から被写体までの距離を示す被写体距離を算出する。また、要素画像群補正プログラムは、被写体光強度算出手段によって、被写体距離算出手段で算出された被写体距離に基づいて、要素画像群の各々の画素に対応する点像強度分布関数を点像強度分布関数記憶装置から読み出し、当該点像強度分布関数と各々の画素における光の強度の情報とに基づいて、被写体が要素光学レンズ系によって合焦状態として結像する位置における光の強度である被写体光強度を、各々の画素について算出する。これによって、要素画像群補正プログラムは、被写体の焦点はずれの量に応じて生じた要素画像群のぼけを補正し、解像度の高い補正要素画像群を生成することができる。
【発明の効果】
【００２２】
本発明に係る要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラムでは、以下のような優れた効果を奏する。請求項１、請求項３、請求項４及び請求項５に記載の発明によれば、要素画像群の焦点はずれによるぼけを補正し、奥行き方向の広い範囲において解像度の劣化の少ない立体像を表示することを可能とする要素画像群を生成することができる。請求項２に記載の発明によれば、正確な物体光の振幅の分布を算出することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態について図面を参照して説明する。
［要素画像群取得システムの構成］
まず、図１を参照して、本発明の実施の形態である要素画像群補正装置５を備える要素画像群取得システム１の構成について説明する。図１は、本発明の実施の形態である要素画像群補正装置を備える要素画像群取得システムの構成を模式的に示した模式図である。
【００２４】
要素画像群取得システム１は、被写体Ｓの要素画像群Ｇを撮像し、焦点はずれによる解像度の劣化を補正した補正要素画像群を生成するものである。要素画像群取得システム１は、要素画像群撮像装置３と、要素画像群補正装置５とを備える。
【００２５】
要素画像群撮像装置３は、被写体Ｓの要素画像群Ｇを撮像するものである。要素画像群撮像装置３は、要素光学レンズ群３１と、撮像手段３２とを備える。
【００２６】
要素光学レンズ群３１は、被写体Ｓの像Ｉａ、Ｉｂ、…Ｉｃ、Ｉｄを結像して要素画像群Ｇを生成するものである。この要素光学レンズ群３１は、同一平面上に配列された複数の要素光学レンズＬ、Ｌ、…から構成される。
【００２７】
要素光学レンズ（要素光学レンズ系）Ｌは、被写体Ｓの像（Ｉａ、Ｉｂ、…Ｉｃ又はＩｄ）を結像して、要素画像（Ｇａ、Ｇｂ、…Ｇｃ又はＧｄ）を生成するものである。ここでは、各々の要素光学レンズＬは凸レンズから構成されることとしたが、例えば、光ファイバレンズ等のレンズからなることとしてもよいし、複数のレンズを組み合わせて構成されることとしてもよい。
【００２８】
撮像手段３２は、要素光学レンズ群３１によって生成された要素画像群Ｇを撮像するものである。この撮像手段３２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサのような撮像素子から構成される。ここで撮像された要素画像群Ｇは、要素画像群補正装置５に出力される。
【００２９】
以上のようにして、要素画像群撮像装置３は、被写体Ｓの要素画像群Ｇを撮像することができる。そして、要素光学レンズＬ、Ｌ、…に対して被写体Ｓと撮像手段３２上の像Ｉａ、Ｉｂ、…Ｉｃ、Ｉｄとが共役の関係にある場合には高い解像度で撮像することができるが、共役の関係にない場合、つまり、焦点はずれの場合には、被写体Ｓの像Ｉａ、Ｉｂ、…Ｉｃ、Ｉｄは非合焦状態として結像し、つまり、焦点外れによるぼけが生じ、それによって要素画像群Ｇの解像度は劣化する。
【００３０】
要素画像群補正装置５は、要素画像群撮像装置３から入力された要素画像群の焦点はずれによる解像度の劣化を補正するものである。また、要素画像群補正装置５は、補正された要素画像群（補正要素画像群）に基づいて、被写体Ｓから出射する光（物体光）の振幅の分布を算出するものでもある。以下、図２を参照（適宜図１参照）して、要素画像群補正装置５について説明する。図２は、本発明の実施の形態である要素画像群補正装置の構成を示したブロック図である。要素画像群補正装置５は、被写体距離算出手段５１と、点像強度分布関数記憶手段５２と、被写体光強度算出手段５３と、物体光算出手段５４とを備える。
【００３１】
被写体距離算出手段５１は、要素画像群撮像装置３によって撮像された要素画像群Ｇを入力し、各々の画素に対応する被写体Ｓから要素光学レンズＬの主点までの距離（以下、被写体距離という）を算出するものである。ここで算出された被写体距離は、被写体光強度算出手段５３に出力される。
【００３２】
図３を参照（適宜図１及び図２参照）して、被写体距離算出手段５１が被写体距離Ｄを算出する方法について具体例を用いて説明する。図３は、被写体距離を算出する方法を説明するための説明図である。なお、ここでは、要素光学レンズＬの形状が円形であることとし、要素画像Ｇａ、Ｇｂ、…、Ｇｃ、Ｇｄの領域を円形で示したが、例えば、正方形や六角形のような、他の形状であってもよい。
【００３３】
まず、被写体距離算出手段５１は、入力された要素画像群Ｇを個々の要素画像（Ｇａ、Ｇｂ、…、Ｇｃ、Ｇｄ）に切り出し、２つ以上の要素画像（Ｇａ、Ｇｂ、…、Ｇｃ、Ｇｄ）を用いて動きベクトルを算出する。被写体距離算出手段５１は、勾配法、ブロックマッチング法、位相相関法等によって動きベクトルを算出することができる。ここでは、図３（ａ）に示すような要素画像Ｇａ、Ｇｂ、…、Ｇｃ、Ｇｄから構成される要素画像群Ｇが被写体距離算出手段５１に入力され、被写体距離算出手段５１が、要素画像Ｇａ及び要素画像Ｇｂから像Ｉａ、Ｉｂの中心の画素について動きベクトルを算出した場合を例に説明する。
【００３４】
被写体距離算出手段５１は、図３（ｂ）に示すように、要素光学レンズＬ、Ｌによって生成された２つの要素画像Ｇａ、Ｇｂから動きベクトルｄｙを検出したとする。なお、図３（ｂ）では、要素画像Ｇａ、Ｇｂを形成した要素光学レンズＬ、Ｌが配列される方向をｙ軸方向とし、ｙ軸方向に直交する方向をｘ軸方向、要素画像Ｇａ、Ｇｂの中心を原点とした。
【００３５】
続いて、被写体距離算出手段５１は、算出された動きベクトルに基づいて、各々の要素画像の画素ごとに、当該画素の位置に結像している像に対応する被写体から、要素光学レンズＬの主点までの実空間における距離（被写体距離）を算出する。ここでは、被写体距離算出手段５１が、要素画像Ｇａ中の被写体Ｓの像Ｉａの中心の画素に対して、要素画像Ｇａを形成する要素光学レンズＬの主点から被写体Ｓまでの被写体距離Ｄを算出する場合について説明する。
【００３６】
図３（ｃ）に示すように、動きベクトルｄｙを用いて、要素光学レンズＬの主点から被写体Ｓまでの光軸方向の距離Ｄｚは以下の式（１）によって表される。なお、各要素光学レンズＬのピッチをｐ、各要素光学レンズＬからの要素画像Ｇａ、Ｇｂ、…、Ｇｃ、Ｇｄまでの光軸方向の距離をＤｉとする。
Ｄｚ＝−ｐ・Ｄｉ／ｄｙ      …（１）
【００３７】
そして、図３（ｄ）に示すように、要素画像Ｇａを形成した要素光学レンズＬの主点から被写体Ｓまでの被写体距離Ｄは、以下の式（２）によって算出することができる。なお、像Ｉａの要素画像中における座標を（Ｘ，Ｙ）とする。
Ｄ＝Ｄｚ・（Ｘ２＋Ｙ２＋Ｄｉ２）１／２／Ｄｉ      …（２）
【００３８】
以上のようにして、被写体距離算出手段５１は、要素画像Ｇａ、Ｇｂ、…、Ｇｃ、Ｇｄのすべての画素に記録される情報の情報源となる被写体と要素光学レンズＬの主点との被写体距離を、画素ごとに算出することができる。
【００３９】
図２に戻って説明を続ける。点像強度分布関数記憶手段（点像強度分布関数記憶装置）５２は、様々な焦点はずれ量に対応する点像分布関数を記憶するものであり、ハードディスク等の一般的な記憶手段である。この点像強度分布関数は合焦状態に依存、つまり、要素光学レンズＬ、Ｌ、…の主点から被写体までの被写体距離に依存する。そのため、ここでは、様々な被写体距離の位置に点光源を配置して点像強度分布関数を測定し、当該点像強度分布関数とこのときの焦点はずれの量とを対応させて点像強度分布関数記憶手段５２に記憶することとした。
【００４０】
なお、点像強度分布関数記憶手段５２は、要素光学レンズ群３１から様々な位置に撮像手段３２を設置した場合の点像強度分布関数を記憶することとしてもよい。更に、点像強度分布関数記憶手段５２は、計算機等（図示せず）によって算出された点像分布関数を記憶することとしてもよい。ここで、点像強度分布関数Ｉ（ｘｉ，ｙｉ，ｘｏ，ｙｏ）は、例えば、J. W. Goodman, "Introduction to Fourier optics", McGRAW-HILL, 1968, p90-93に記載されるように、以下の式（３）に基づいて、要素光学レンズＬ、Ｌ、…の瞳関数をフーリエ変換した点像振幅分布関数Ｕ（ｘｉ，ｙｉ，ｘｏ，ｙｏ）の絶対値を二乗することで算出することとしてもよい。ここで、瞳関数は、要素光学レンズＬ、Ｌ、…の形状、光の透過率、焦点はずれ量によって決まる。なお、λは光の波長、（ｘｉ，ｙｉ）は、要素光学レンズＬから光軸方向に距離ｄｉだけ隔てた平面上の座標、（ｘｏ，ｙｏ）は、要素光学レンズＬから光軸方向に距離ｄｏだけ隔てた平面上の座標である。また、ｆは、要素光学レンズＬ、Ｌ、…の焦点距離、ｋは位相定数、Ｑ（ｘ，ｙ）は瞳関数を示す。
【００４１】
【数１】
2008028538.tif 000003
【００４２】
被写体光強度算出手段５３は、被写体距離算出手段５１によって算出された被写体距離に基づいて、外部から入力された要素画像群の焦点はずれによる解像度の劣化を補正した補正要素画像群を生成するものである。ここで、被写体光強度算出手段５３は、入力された要素画像群の各画素について、被写体距離算出手段５１から入力された被写体距離と、要素光学レンズＬ、Ｌ、…の焦点距離とに基づいて焦点はずれの量を算出する。そして、この焦点はずれの量に対応する点像強度分布関数を点像強度分布関数記憶手段５２から読み出す。更に、被写体光強度算出手段５３は、読み出された点像強度分布関数に基づいて補正要素画像群を生成する。ここで生成された補正要素画像群は外部及び物体光算出手段５４に出力される。
【００４３】
なお、ここでは、被写体光強度算出手段５３は、被写体距離から算出された焦点はずれ量に対応する点像強度分布関数が点像強度分布関数記憶手段５２に記憶されていない場合には、点像強度分布関数記憶手段５２に記憶された点像強度分布関数のうち、算出された焦点はずれ量に近い値のものを読み出して、内挿や外挿等によって補間して点像強度分布関数を算出することとした。
【００４４】
以下、被写体光強度算出手段５３が、点像強度分布関数に基づいて補正要素画像群を生成する方法について説明する。被写体光強度算出手段５３は、それぞれの要素画像における各画素の座標位置に点像強度分布関数を対応させる。ここで、ある要素画像内の座標（ｘｐ，ｙｑ）における信号の値をＰ（ｘｐ，ｙｑ）とすると、Ｐ（ｘｐ，ｙｑ）は、以下の式（４）に示すように、要素画像に寄与する被写体の点像強度分布関数を畳み込みしたものとなる。なお、ここで、それぞれの要素画像が、撮像手段３２の鉛直方向（ｘ軸方向）にｋ個、水平方向（ｙ軸方向）にｋ個の画素に対応することとした。そして、要素画像の中心を原点とした場合において、ｘ軸方向にｍ番目、ｙ軸方向にｎ番目の画素の座標を（ｘｍ，ｙｎ）とし、この画素の情報の情報源となる被写体の光強度（被写体光強度）をθ（ｘｍ，ｙｎ）とした。また、ｈｍ，ｎは、座標（ｘｍ，ｙｎ）の画素の情報の情報源となる被写体の被写体距離から算出された焦点はずれの量に対応する点像強度分布関数を表す。
【００４５】
【数２】
2008028538.tif 000004
【００４６】
そして、この式（４）は、以下の式（５）、あるいは、式（６）のように表される。なお、Ｐは、各画素の信号の値Ｐ（ｘｐ，ｙｑ）（ｐ、ｑは１〜ｋの整数）を成分とする行列、Ｈは、各画素の情報の情報源となる被写体の被写体距離から算出された焦点はずれの量に対応する点像強度分布関数ｈｍ，ｎ（ｍ、ｎは１〜ｋの整数）を成分とする行列、Θは、各画素の情報の情報源となる被写体の光強度θ（ｘｍ，ｙｎ）（ｍ、ｎは１〜ｋの整数）を成分とする行列である。
【００４７】
【数３】
2008028538.tif 000005
【００４８】
したがって、行列Θは以下の式（７）によって表される。なお、Ｈ−１は、行列Ｈの逆行列を表す。
【００４９】
【数４】
2008028538.tif 000006
【００５０】
ここで、行列Ｈの成分である点像強度分布関数ｈｍ，ｎ（ｍ、ｎは１〜ｋの整数）は、焦点はずれによって生じる被写体の像のぼけを示し、式（６）は、要素画像の各画素の情報の情報源となる被写体の光強度θ（ｘｍ，ｙｎ）に、ぼけを示す点像強度分布関数ｈｍ，ｎを掛け合わせることで、焦点はずれによるぼけを含む要素画像の信号の値が得られることを示す。そのため、被写体光強度算出手段５３が、行列Ｈの逆行列Ｈ−１を算出し、式（７）に従って、外部から入力された焦点はずれによるぼけを含む要素画像群のそれぞれの要素画像の信号の値Ｐ（ｘｐ，ｙｑ）を成分とする行列Ｐに逆行列Ｈ−１を掛け合わせて、要素画像の各画素の情報の情報源となる被写体の光強度θ（ｘｍ，ｙｎ）を算出することで、焦点はずれの影響が軽減された要素画像の信号の値を算出することができる。そして、被写体光強度算出手段５３は、すべての要素画像についてこの処理を行うことで、焦点はずれの影響が軽減された補正要素画像群を生成することができる。
【００５１】
なお、ここでは、行列Ｈが正方行列であり、かつ、正則行列であることとしたが、行列Ｈが、正方行列であり、かつ、正則行列であるという条件を満足しない場合には、被写体光強度算出手段５３は、行列Ｈの擬似逆行列Ｈ＋を算出し、この擬似逆行列Ｈ＋を逆行列Ｈ-1とみなして、式（７）によって行列Θを算出することとしてもよい。
【００５２】
物体光算出手段５４は、被写体距離算出手段５１によって算出された被写体距離と、被写体光強度算出手段５３によって算出された補正要素画像群とに基づいて、被写体Ｓから出射する光（物体光）の振幅の分布を算出するものである。ここで、物体光算出手段５４は、補正要素画像群の１つの要素画像から物体光に寄与する情報を算出して、この処理をすべての要素画像について行い、得られた結果を加算することで、物体光の振幅の分布を算出することができる。ここで生成された物体光の振幅の分布の情報は外部に出力される。
【００５３】
以下、物体光算出手段５４が物体光の振幅の分布を算出する方法について説明する。まず、物体光算出手段５４は、被写体光強度算出手段５３から入力された補正要素画像群の情報に基づいて、ある要素画像に対応する要素光学レンズＬの入射面において、当該要素画像内の各画素の情報の情報源となる被写体からの光によって生成される光の振幅の分布Ｕｉ（ｘ１，ｙ１）を、以下の式（８）に基づいて算出する。なお、（ｘ１，ｙ１）は要素光学レンズＬの入射面における座標、Ｏ（ｘ0，ｙ0）は、要素画像内の座標（ｘ0，ｙ0）の画素の情報の情報源となる被写体の光の振幅、Ｃ１は定数、ｆは、要素光学レンズＬの焦点距離、Ｄは被写体距離である。
【００５４】
【数５】
2008028538.tif 000007
【００５５】
この式（９）は、焦点距離ｆの要素光学レンズＬに対して、要素光学レンズＬの主点からｇ’の位置と、要素光学レンズＬの主点から距離Ｄの位置にある被写体とが共役の関係となるための条件である。なお、従来は、式（８）においてｇ’＝ｆとして要素光学レンズＬの入射面に生成する場の光の振幅の分布Ｕｉ（ｘ１，ｙ１）を算出していたため、正しい振幅の分布Ｕｉ（ｘ１，ｙ１）を算出することができなかったが、このように、物体光算出手段５４が振幅の分布Ｕｉ（ｘ１，ｙ１）を算出する際に、被写体距離の情報を反映させることで、正しい振幅の分布Ｕｉ（ｘ１，ｙ１）を算出することができる。
【００５６】
そして、物体光算出手段５４は、振幅の分布Ｕｉ（ｘ１，ｙ１）に対して要素光学レンズＬの位相シフト関数を積算して、要素光学レンズＬの出射面の光の振幅の分布Ｕｏ（ｘ１´，ｙ１´）を、以下の式（１０）に基づいて算出する。なお、（ｘ１´，ｙ１´）は、要素光学レンズＬの出射面における座標を示す。
【００５７】
【数６】
2008028538.tif 000008
【００５８】
更に、物体光算出手段５４は、要素光学レンズＬの出射面から距離ｄだけ離れた位置にける光の振幅の分布Ｕｄ（ｘ２，ｙ２）を、以下の式（１１）に基づいて算出する。なお、（ｘ２，ｙ２）は、要素光学レンズＬの出射面から距離ｄだけ離れた平面における座標を示す。
【００５９】
【数７】
2008028538.tif 000009
【００６０】
このようにして、物体光算出手段５４は、要素光学レンズＬの出射面から距離ｄだけ離れた位置における光の振幅の分布Ｕｄ（ｘ２，ｙ２）を算出し、同様の処理をすべての要素画像について行い、算出された結果を加算することで、要素光学レンズＬの出射面から距離ｄだけ離れた位置における物体光の振幅の分布を算出することができる。
【００６１】
なお、要素画像群補正装置５は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、要素画像群補正プログラムとして動作させることも可能である。
【００６２】
［要素画像群取得システムの動作］
次に、図４を参照（適宜図１及び図２参照）して、要素画像群取得システム１が、要素画像群撮像装置３によって、被写体Ｓの要素画像群Ｇを撮像し、要素画像群補正装置５によって、焦点はずれによる解像度の劣化を補正した補正要素画像群を生成する動作について説明する。図４は、本発明の実施の形態である要素画像群補正装置を備える要素画像群取得システムの動作を示したフローチャートである。なお、要素画像群補正装置５の点像強度分布関数記憶手段５２には、様々な被写体距離の位置に点光源を配置して得られた点像強度分布関数と、焦点はずれの量とが対応付けられて予め記憶されていることとする。
【００６３】
まず、要素画像群撮像装置３は、被写体Ｓの要素画像群Ｇを撮像する（ステップＳ１１）。ここで撮像された要素画像群の情報は、要素画像群補正装置５に出力される。そして、要素画像群補正装置５は、ステップＳ１１において要素画像群撮像装置３によって撮像された要素画像群を入力し、被写体距離算出手段５１によって、１つの要素画像について、画素ごとに当該画素の情報の情報源となる被写体Ｓの被写体距離を算出する（ステップＳ１２；被写体距離算出ステップ）。
【００６４】
続いて、要素画像群補正装置５は、被写体光強度算出手段５３によって、ステップＳ１２において算出された被写体距離に基づいて画素ごとに焦点はずれの量を算出して、この焦点はずれの量に対応する点像強度分布関数を読み出し、読み出された点像強度分布関数と、ステップＳ１１において撮像された要素画像群の当該要素画像の情報とから、焦点はずれによるぼけの補正された要素画像の信号の値を算出する（ステップＳ１３；被写体光強度算出ステップ）。そして、要素画像群補正装置５は、被写体光強度算出手段５３によって、ステップＳ１１において撮像された要素画像群のすべての要素画像について、被写体距離を算出して焦点はずれによるぼけの補正された要素画像を生成する処理が終了したかを判断する（ステップＳ１４）。
【００６５】
そして、すべての要素画像について終了していない場合には（ステップＳ１４でＮｏ）、要素画像群補正装置５は、ステップＳ１２に戻って、被写体光強度算出手段５３によって、ステップＳ１１において撮像された要素画像群の次の要素画像について、被写体距離を算出する動作以降の動作を行う。また、終了した場合には（ステップＳ１４でＹｅｓ）、要素画像群補正装置５は、被写体光強度算出手段５３によって、ステップＳ１３において生成されたすべての要素画像を統合して補正要素画像群を生成し、外部に出力する（ステップＳ１５）。
【００６６】
更に、要素画像群補正装置５は、物体光算出手段５４によって、ステップＳ１５において生成された補正要素画像群の１つの要素画像について、ステップＳ１２において算出された当該要素画像の各画素に対応する被写体距離に基づいて、前記の式（８）〜（１１）によって、対応する要素光学レンズＬの出射面から距離ｄだけ離れた位置における光の振幅の分布Ｕｄ（ｘ２，ｙ２）を算出する（ステップＳ１６）。
【００６７】
そして、要素画像群補正装置５は、物体光算出手段５４によって、ステップＳ１５において生成された補正要素画像群のすべての要素画像について、光の振幅の分布Ｕｄ（ｘ２，ｙ２）を算出する処理が終了したかを判断する（ステップＳ１７）。
【００６８】
そして、すべての要素画像について終了していない場合には（ステップＳ１７でＮｏ）、要素画像群補正装置５は、ステップＳ１６に戻って、物体光算出手段５４によって、ステップＳ１５において生成された補正要素画像群の次の要素画像について、光の振幅の分布Ｕｄ（ｘ２，ｙ２）を算出する動作以降の動作を行う。また、終了した場合には（ステップＳ１７でＹｅｓ）、要素画像群補正装置５は、物体光算出手段５４によって、ステップＳ１６において算出されたすべての要素画像に対応する光の振幅の分布Ｕｄ（ｘ２，ｙ２）を加算して、要素光学レンズＬの出射面から距離ｄだけ離れた位置における物体光の振幅の分布を算出して外部に出力し（ステップＳ１８）、動作を終了する。
【００６９】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、要素画像群撮像装置３が被写体Ｓを所定時間おきに撮像して、要素画像群のフレーム画像からなる映像を撮像し、要素画像群補正装置５が、各々の要素画像群について補正要素画像群を生成するとともに物体光の振幅の分布を算出して、時系列に出力することとしてもよい。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態である要素画像群補正装置を備える要素画像群取得システムの構成を模式的に示した模式図である。
【図２】本発明の実施の形態である要素画像群補正装置の構成を示したブロック図である。
【図３】本発明の実施の形態である要素画像群補正装置の被写体距離算出手段が被写体距離を算出する方法を説明するための説明図である。
【図４】本発明の実施の形態である要素画像群補正装置を備える要素画像群取得システムの動作を示したフローチャートである。
【図５】従来のＩＰ方式を説明するための説明図、（ａ）は、従来のＩＰ方式によって要素画像群を撮像する装置の構成を模式的に示す模式図、（ｂ）は、従来のＩＰ方式によって立体像を表示する装置の構成を模式的に示す模式図である。
【符号の説明】
【００７１】
１      要素画像群取得システム
３      要素画像群撮像装置
３１    要素光学レンズ群
Ｌ      要素光学レンズ（要素光学レンズ系）
３２    撮像手段
５      要素画像群補正装置
５１    被写体距離算出手段
５２    点像強度分布関数記憶手段（点像強度分布関数記憶装置）
５３    被写体光強度算出手段
５４    物体光算出手段
【図１】
2008028538.tif 000010
【図２】
2008028538.tif 000011
【図３】
2008028538.tif 000012
【図４】
2008028538.tif 000013
【図５】
2008028538.tif 000014