(57)【要約】【課題】同一の撮像対象から同一の時刻に同一の視点から撮像された低解像度画像から高解像度画像を精度よく生成できるようにする。【解決手段】画像撮影装置１００は、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させることで、同一の時刻に同一の視点上で撮像された複数の低解像度画像を撮影し、画像処理装置３００は、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像を生成する。【選択図】      図１
2008109477.tif 000002
【特許請求の範囲】
【請求項１】
サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子と、
前記複数の撮像素子上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させる光学系と、
前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする画像生成装置。
【請求項２】
入射ビームを平行ビームに変換するテレセントリックレンズと、
前記テレセントリックレンズから出射された平行ビームを複数の光ビームに分光するビームスプリッタと、
サブピクセル単位で互いに撮像位置がずらされて配置され、前記ビームスプリッタにて分光された光ビームをそれぞれ入射させる複数の撮像素子と、
前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする請求項１記載の画像生成装置。
【請求項３】
入射ビームを集光する対物レンズと、
サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子と、
前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする請求項１記載の画像生成装置。
【請求項４】
入射ビームを集光する対物レンズと、
前記対物レンズにて集光された光ビームを複数の光ビームに分光するビームスプリッタと、
サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記ビームスプリッタによる分光回数が互いに一致するようにして前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子と、
前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする請求項３記載の画像生成装置。
【請求項５】
前記画像処理手段は、
前記低解像度画像の画素値を正規化する画素値正規化手段と、
ベクトル表現した前記複数の低解像度画像と高解像度画像との関係を線形一次方程式化する線形一次方程式化手段と、
前記線形一次方程式を最適化問題として解くことにより、前記高解像度画像を算出する最適化演算処理手段とを備えることを特徴とする請求項１から４のいずれか１項記載の画像生成装置。
【請求項６】
サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させるステップと、
前記複数の撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする画像生成方法。
【請求項７】
入射ビームを平行ビームに変換するステップと、
前記平行ビームを複数の光ビームに分光するステップと、
サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に、前記分光された光ビームをそれぞれ同時に入射させるステップと、
前記複数の撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする請求項６記載の画像生成方法。
【請求項８】
入射ビームを対物レンズにて集光するステップと、
サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子上に、前記集光された光ビームをそれぞれ同時に入射させるステップと、
前記撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする請求項６記載の画像生成方法。
【請求項９】
入射ビームを対物レンズにて集光するステップと、
前記対物レンズにて集光された光ビームを複数の光ビームに分光するステップと、
サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記分光回数が互いに一致するようにして前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子上に、前記分光された光ビームをそれぞれ同時に入射させるステップと、
前記撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする請求項８記載の画像生成方法。
【請求項１０】
前記低解像度画像から高解像度画像を生成するステップは、
前記低解像度画像の画素値を正規化するステップと、
ベクトル表現した前記複数の低解像度画像と高解像度画像との関係を線形一次方程式化するステップと、
前記線形一次方程式を最適化問題として解くことにより、前記高解像度画像を算出するステップとを備えることを特徴とする請求項６から９のいずれか１項記載の画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成装置および画像生成方法に関し、特に、複数の低解像度画像から高解像度画像を生成する方法に適用して好適なものである。
【背景技術】
【０００２】
超解像は、測定されたデータの持つ解像度を超えた解像度を持つ信号や画像を合成する技術を総称したものである（非特許文献１）。
この超解像度技術では、同一の撮像対象に対して、互いにサブピクセル単位で撮影位置をずらした複数枚の低解像度画像からサブピクセル単位の分解能を持つ高解像度画像を生成する方法が知られている（非特許文献２）。また、低解像度画像間の微小なずれ量を推定する方法も知られている（特許文献１）。
【０００３】
図１５は、従来の複数の低解像度画像から高解像度画像を生成する方法を示す図である。
図１５において、高解像度画像を生成する場合、同一の撮像対象５１００に対して、互いにサブピクセル単位で撮影位置の変化５８２１を撮像装置５８１１に与えながら複数枚の低解像度画像５３１１を撮像し、これらの複数枚の低解像度画像５３１１を合成することで高解像度画像を生成する。
【０００４】
図１６は、従来の超解像度化処理にかかる処理時間を示す図である。
図１６において、撮影位置をずらしながら複数枚の低解像度画像５３１１から高解像度画像を生成する方法では、１枚の低解像度画像５３１１を撮像するごとに露光１２０２、画像転送１２０３および撮像位置移動１２０４が行われる。そして、これらの露光１２０２、画像転送１２０３および撮像位置移動１２０４が複数回繰り返し行われた後、超解像度化１２０５が行われる。
【０００５】
このため、低解像度画像５３１１から高解像度画像を生成するまでにかかる処理時間１２０１は、（露光１２０２にかかる時間＋画像転送１２０３にかかる時間＋（撮像位置移動１２０４にかかる時間−１））×（低解像度画像５３１１の枚数）＋（超解像度化１２０５にかかる時間）となる。
なお、撮影位置をずらした複数枚の低解像度画像５３１１から高解像度画像を生成する方法では、高解像度画像の画質が劣化しないようにするために、（１）撮影位置のずれ量のベクトル値が高精度で既知あるいは推定可能であり、（２）低解像度画像５３１１間での輝度や色の変化がなく、（３）同一の撮像対象５１００が時間的かつ空間的に同じ瞬間に撮影されたものであるという条件を満たす必要がある。
【０００６】
ここで、撮影位置をずらす方法として、撮像素子またはレンズをアクチュエータにて高速に振動させる方法がある（非特許文献３）。
また、撮影位置をずらすことなく複数枚の低解像度画像から高解像度画像を生成するために、同一の撮像対象に対して複数の撮像装置で低解像度画像を異なる視点から同時に撮像し、これらの複数枚の低解像度画像を合成することで高解像度画像を生成する方法も知られている。
【０００７】
【特許文献１】特開２００５−２０７６１号公報
【非特許文献１】Ｏ  ｐｌｕｓ  Ｅ２８巻３号  頁２５２−２５３
【非特許文献２】ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ  ＶＯＬ．６  ＮＯ．１２，ＩＥＥＥ，１９９７，ｐ．１６４６（Ｒｅｓｔｏｒａｔｉｏｎ  ｏｆ  ａ  Ｓｉｎｇｌｅ  Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ  Ｉｍａｇｅ  ｆｒｏｍ  Ｓｅｖｅｒａｌ  Ｂｌｕｒｒｅｄ，Ｎｏｉｓｙ，ａｎｄ  Ｕｎｄｅｒｓａｍｐｌｅｄ  Ｍｅａｓｕｒｅｄ  Ｉｍａｇｅｓ）
【非特許文献３】ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＰＡＴＴＥＲＮ  ＡＮＡＬＹＳＩＳ  ＡＮＤ  ＭＡＣＨＩＮＥ  ＩＮＴＥＬＬＩＧＥＮＣＥ  ＶＯＬ．２７  ＮＯ．６  ＩＥＥＥ  ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ，２００５，ｐ．９７７（Ｖｉｄｅｏ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  Ｕｓｉｎｇ  Ｃｏｎｔｒｏｌｌｅｄ  Ｓｕｂｐｉｘｅｌ  Ｄｅｔｅｃｔｏｒ  Ｓｈｉｆｔｓ）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の超解像度化処理では、撮像位置を移動させながら複数枚の低解像度画像を撮像するため、同一の撮像対象を時間的かつ空間的に同じ瞬間に撮影することは原理的にできない。このため、撮像対象５１００が動いている場合や照明環境が変化する場合あるいは撮像装置５８１１の手ブレが発生した場合には、低解像度画像間で輝度や色の変化が発生したり、撮像対象５１００の位置が異なったりするようになり、低解像度画像から合成された高解像度画像の画質が劣化するという問題があった。
【０００９】
特に、撮影位置をずらすために、撮像素子またはレンズをアクチュエータにて高速に振動させる方法では、機械的な動きを伴うことから、露光１２０２にかかる時間や画像転送１２０３にかかる時間に比べて、撮像位置移動１２０４にかかる時間が無視できないほど大きくなる。このため、複数枚の低解像度画像を撮像する際に、撮像対象５１００が動いたり、照明環境が変化したり、撮像装置５８１１の手ブレが発生したりする可能性が大きくなり、低解像度画像から合成された高解像度画像の画質が劣化しやすくなる上に、機械的な動きを伴うことから、耐久性が悪いという問題があった。
【００１０】
また、同一の撮像対象に対して複数の撮像装置で低解像度画像を同時に撮像する方法では、個々の撮像装置からの撮像対象に対する視点が異なるため、低解像度画像が撮像装置で歪んだものとなり、低解像度画像から合成された高解像度画像の画質が劣化するという問題があった。
さらに、高解像度画像を得るために、高分解能の撮像素子を用いた場合においても、半導体製造プロセスの制約によって撮像素子の分解能には限界がある上に、撮像素子の集積度を上げれば感度の低下を招くという問題があった。
そこで、本発明の目的は、同一の時刻に同一の視点上で撮像された低解像度画像から高解像度画像を精度よく生成することが可能な画像生成装置および画像生成方法を提供することである。
【課題を解決するための手段】
【００１１】
上述した課題を解決するために、請求項１記載の画像生成装置によれば、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子と、前記複数の撮像素子上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させる光学系と、前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする。
【００１２】
また、請求項２記載の画像生成装置によれば、入射ビームを平行ビームに変換するテレセントリックレンズと、前記テレセントリックレンズから出射された平行ビームを複数の光ビームに分光するビームスプリッタと、サブピクセル単位で互いに撮像位置がずらされて配置され、前記ビームスプリッタにて分光された光ビームをそれぞれ入射させる複数の撮像素子と、前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする。
【００１３】
また、請求項３記載の画像生成装置によれば、入射ビームを集光する対物レンズと、サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子と、前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする。
【００１４】
また、請求項４記載の画像生成装置によれば、入射ビームを集光する対物レンズと、前記対物レンズにて集光された光ビームを複数の光ビームに分光するビームスプリッタと、サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記ビームスプリッタによる分光回数が互いに一致するようにして前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子と、前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする。
【００１５】
また、請求項５記載の画像生成装置によれば、前記画像処理手段は、前記低解像度画像の画素値を正規化する画素値正規化手段と、ベクトル表現した前記複数の低解像度画像と高解像度画像との関係を線形一次方程式化する線形一次方程式化手段と、前記線形一次方程式を最適化問題として解くことにより、前記高解像度画像を算出する最適化演算処理手段とを備えることを特徴とする。
【００１６】
また、請求項６記載の画像生成方法によれば、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させるステップと、前記複数の撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする。
また、請求項７記載の画像生成方法によれば、入射ビームを平行ビームに変換するステップと、前記平行ビームを複数の光ビームに分光するステップと、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に、前記分光された光ビームをそれぞれ同時に入射させるステップと、前記複数の撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする。
【００１７】
また、請求項８記載の画像生成方法によれば、入射ビームを対物レンズにて集光するステップと、サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子上に、前記集光された光ビームをそれぞれ同時に入射させるステップと、前記撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする。
【００１８】
また、請求項９記載の画像生成方法によれば、入射ビームを対物レンズにて集光するステップと、前記対物レンズにて集光された光ビームを複数の光ビームに分光するステップと、サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記分光回数が互いに一致するようにして前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子上に、前記分光された光ビームをそれぞれ同時に入射させるステップと、前記撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする。
【００１９】
また、請求項１０記載の画像生成方法によれば、前記低解像度画像から高解像度画像を生成するステップは、前記低解像度画像の画素値を正規化するステップと、ベクトル表現した前記複数の低解像度画像と高解像度画像との関係を線形一次方程式化するステップと、前記線形一次方程式を最適化問題として解くことにより、前記高解像度画像を算出するステップとを備えることを特徴とする。
【発明の効果】
【００２０】
以上説明したように、本発明によれば、複数の撮像素子上に同一の視点から見た同一のサイズの光学像を同時に結像させることができ、撮像対象が動いている場合や照明環境が変化する場合あるいは撮像装置の手ブレが発生した場合においても、低解像度画像間で輝度や色の変化が発生したり、撮像対象の位置が異なったりするのを防止することができる。このため、半導体製造プロセスの制約によって撮像素子の分解能に限界がある場合においても、画質の低下を抑制しつつ、その撮像素子の分解能を超える高解像度画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態に係る画像生成装置について図面を参照しながら説明する。
図１は、本発明の第１実施形態に係る画像生成装置の概略構成を示すブロック図である。
図１において、画像生成装置には、複数の低解像度画像を取得する画像取得装置２００および複数の低解像度画像から高解像度画像を生成する画像処理装置３００が設けられている。そして、画像取得装置２００には、サブピクセル単位で互いに撮像位置がずらされるようにして同一の視点から見た複数の低解像度画像を同時に撮影する画像撮影装置１００、画像撮影装置１００にて撮影された複数の低解像度画像を転送する画像転送装置２１１、画像取得装置２００を画像処理装置３００に接続する接続インターフェース２１２、画像取得装置２００に電源を供給する電源装置２１３が設けられている。
【００２２】
そして、画像撮影装置１００は、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させることで、同一の時刻に同一の視点から見た複数の低解像度画像を撮影する。そして、画像撮影装置１００にて同時に撮影された複数の低解像度画像は画像転送装置２１１に送られ、画像転送装置２１１は、それらの複数の低解像度画像を接続インターフェース２１２を介して画像処理装置３００に転送する。
【００２３】
そして、画像処理装置３００は、複数の低解像度画像を画像取得装置２００から受け取ると、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像を生成する。なお、超解像アルゴリズムでは、複数の低解像度画像の画素値を正規化し、ベクトル表現した複数の低解像度画像と高解像度画像との関係を線形一次方程式化し、その線形一次方程式を最適化問題として解くことにより、高解像度画像を算出することができる。
【００２４】
図２（ａ）は、本発明の第１実施形態に係る画像撮影装置の光学系の概略構成を示す側面図、図２（ａ）は、本発明の第１実施形態に係る画像撮影装置の光学系の概略構成を示す斜視図である。
図２において、画像撮影装置１００には、入射ビームを平行ビームに変換するテレセントリックレンズ１０１、テレセントリックレンズ１０１から出射された平行ビームを複数の光ビームに分光するビームスプリッタ１２１〜１２３、ビームスプリッタ１２１〜１２３にて分光された光ビームがそれぞれ入射される撮像素子１３１〜１３４、ビームスプリッタ１２１〜１２３にて分光された光ビームを撮像素子１３１〜１３４上にそれぞれ結像させるレンズ１４１〜１４４、サブピクセル単位で互いに撮像位置がずらされた状態で撮像素子１３１〜１３４を支持する支持体１６１が設けられている。
【００２５】
なお、テレセントリックレンズ１０１は、テレセントリックレンズ１０１から撮像素子１３１〜１３４までの光路長が互いに異なる場合においても、テレセントリックレンズ１０１から撮像対象１１０までの距離に依存することなく、撮像素子１３１〜１３４上のサイズが同一になるように光学像を結像させることができる。
また、撮像素子１３１〜１３４上の受光量が同一になるようにビームスプリッタ１２１〜１２３の透過光と反射光との分光比率を定めることができ、例えば、４個の撮像素子１３１〜１３４が設けられている場合、ビームスプリッタ１２１の透過光と反射光との分光比率は３：１、ビームスプリッタ１２２の透過光と反射光との分光比率は２：１、ビームスプリッタ１２３の透過光と反射光との分光比率は１：１に設定することができる。
【００２６】
そして、撮像対象１１０から反射された光ビームはテレセントリックレンズ１０１に入射し、テレセントリックレンズ１０１にて平行ビームに変換された後、ビームスプリッタ１２１に入射する。そして、ビームスプリッタ１２１に入射した光ビームは透過光と反射光に分光され、ビームスプリッタ１２１にて分光された反射光はレンズ１４１を介して撮像素子１３１に入射し、撮像対象１１０に対応した光学像が撮像素子１３１上に結像される。
【００２７】
一方、ビームスプリッタ１２１にて分光された透過光はビームスプリッタ１２２に入射し、透過光と反射光に分光される。そして、ビームスプリッタ１２２にて分光された反射光はレンズ１４２を介して撮像素子１３２に入射し、撮像素子１３１上に結像された光学像と同一のサイズの光学像が撮像素子１３２上に結像される。
一方、ビームスプリッタ１２２にて分光された透過光はビームスプリッタ１２３に入射し、透過光と反射光に分光される。そして、ビームスプリッタ１２３にて分光された反射光はレンズ１４３を介して撮像素子１３３に入射し、撮像素子１３１、１３２上に結像された光学像と同一のサイズの光学像が撮像素子１３３上に結像される。
【００２８】
一方、ビームスプリッタ１２３にて分光された透過光はレンズ１４４を介して撮像素子１３４に入射し、撮像素子１３１〜１３３上に結像された光学像と同一のサイズの光学像が撮像素子１３４上に結像される。
なお、ビームスプリッタ１２１〜１２３によって撮像素子１３１〜１３４の受光量が減少することから、ビームスプリッタ１２１〜１２３がない場合に比べて撮像素子１３１〜１３４の露光時間を長めに設定することが好ましい。
【００２９】
図３は、図２のテレセントリックレンズの構成例を示す側面図である。
図３において、テレセントリックレンズ１０１には、物体側レンズ５１１、像側レンズ５１２および絞り５２１が設けられ、絞り５２１は物体側レンズ５１１と像側レンズ５１２との間に配置されている。ここで、絞り５２１と像側レンズ５１２との距離５４１は、像側レンズ５１２の焦点距離に等しくなるように設定することができる。
【００３０】
そして、幾何光学におけるガウスの結像公式に基づいて物体側レンズ５１１および像側レンズ５１２を通して光線が屈折する角度や結像位置が決定される。このガウスの結像公式によれば、絞り５２１と像側レンズ５１２との距離５４１が像側レンズ５１２の焦点距離に等しいならば、絞り５２１において物体側レンズ５１１によって結像する光線群は像側レンズ５１２を通過した後、互いに平行な光線となる。このため、絞り５２１の大きさ５４３が十分に小さければ、ビームスプリッタ１２１〜１２３を通過した後に撮像素子１３１〜１３４上に結像する光学像のサイズを互いに等しくすることができる。
【００３１】
また、物体側レンズ５１１と絞り５２１との間の距離５４２を変更したり、物体側レンズ５１１の焦点距離を変えたりすることで、物体側レンズ５１１から撮像対象１１０の物体面までのピントの合う範囲を調整することができる。この場合、像側レンズ５１２から先の光学系および撮像素子１３１〜１３４は変更する必要がないため、様々の撮像対象１１０に対して同一の画像撮影装置１００を用いることを可能としつつ、超解像度技術を適用することが可能となる。
【００３２】
図４は、本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。
図４において、画像処理装置３００には、複数の低解像度画像を記憶する低解像度画像メモリ３１１、複数の低解像度画像から生成された高解像度画像を記憶する高解像度画像メモリ３１２、超解像アルゴリズムを適用することにより、複数の低解像度画像から高解像度画像を生成する演算処理部３２１、画像表示装置３５０との間で高解像度画像の入出力を行う入出力装置３２２、演算処理部３２１にて生成された高解像度画像を記憶する画像データ記憶部３３１および演算処理部３２１にて生成された高解像度画像を表示する画像表示装置３５０が設けられている。
【００３３】
なお、低解像度画像メモリ３１１は複数の撮像素子１３１〜１３４の個数分だけ設け、撮像素子１３１〜１３４にて撮像された低解像度画像をそれぞれ別個に記憶できるようにしてもよい。
そして、画像取得装置２００にて取得された複数の低解像度画像が画像処理装置３００に転送されると、それら複数の低解像度画像が低解像度画像メモリ３１１に記憶される。そして、低解像度画像メモリ３１１に記憶された複数の低解像度画像は演算処理部３２１に送られ、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像が生成され、高解像度画像メモリ３１２に記憶される。そして、高解像度画像メモリ３１２に記憶された高解像度画像が画像表示装置３５０に送られることで、高解像度画像が画像表示装置３５０に表示される。
【００３４】
図５は、本発明の一実施形態に係る超解像アルゴリズムを示すフローチャートである。
図５において、図４の演算処理部３２１は、複数枚分の低解像度画像データ３１１を取得すると、複数枚分の低解像度画像間の輝度を調整するために、画素値の正規化４１１を行う。
ここで、画素値の正規化４１１の方法としては、以下の式を用いることができる。
ｄ１（ｘ，ｙ）＝ｄ０（ｘ，ｙ）／ｕ（ｉ）
ただし、ｕ（ｉ）は観測された低解像度画像の平均輝度、ｄ０（ｘ，ｙ）は変換前の低解像度画像の座標（ｘ，ｙ）における画素値、ｄ１（ｘ，ｙ）は変換後の低解像度画像の座標（ｘ，ｙ）における画素値である。
【００３５】
次に、撮像素子１３１〜１３４のずれ、レンズ１４１〜１４４のぼかし効果、高解像度画像のサイズなどが考慮された結像パラメータ４２１に基づいて、複数の低解像度画像と高解像度画像との関係を線形一次方程式にて表現することで、線形一次方程式化４１２を行う。ここで、画像撮影装置１００にて撮影されたＭ×Ｍ画素のサイズを持つＮ枚の低解像度画像をそれぞれベクトル表現し、以下の記号によって表す。
Ｙ（ｉ）
また、Ｎ枚の低解像度画像から生成されるＬ×Ｌ画素のサイズを持つ高解像度画像をベクトル表現し、以下の記号によって表す。
Ｘ
そして、これらの低解像度画像Ｙ（ｉ）と高解像度画像Ｘとの間には、次の関係式が成り立つものとする。
Ｙ（ｉ）＝Ａ（ｉ）Ｘ＋Ｅ（ｉ）                                  ・・・（１）
【００３６】
ただし、Ｙ（ｉ）はｉ番目の低解像度画像データ３１１を表すベクトル、Ｘは推定する高解像度画像データ３１２を表すベクトル、Ａ（ｉ）は空間変換、光学的ぼかし効果およびアンダーサンプリングを表す線形行列、Ｅ（ｉ）はノイズである。
ここで、線形行列Ａ（ｉ）のうち空間変換は既知であるとすることができる。また、光学的ぼかし効果は低解像度画像Ｙ（ｉ）と高解像度画像Ｘとの間のずれ量に基づいて、ガウス関数と線形和を用いて表すことができる。さらに、アンダーサンプリングは低解像度画像Ｙ（ｉ）のサイズと高解像度画像Ｘのサイズとによって一意に決定することができる。そして、空間変換、光学的ぼかし効果およびアンダーサンプリングをまとめて結像パラメータ４２１として表すことができる。
【００３７】
ただし、低解像度画像Ｙ（ｉ）のサイズおよび枚数をそれぞれＭ×Ｍ画素およびＮとし、高解像度画像ＸのサイズをＬ×Ｌ画素とすると、以下の関係を満たさなければならない。
Ｌ２≦ＮＭ２
例えば、４個の撮像素子１３１〜１３４を用いた場合、水平および垂直の解像度を最大で２倍まで上げることができる。また、３個の撮像素子を用いた場合、水平および垂直の解像度を最大で約１．７３倍まで上げることができる。
【００３８】
図６は、本発明の一実施形態に係る複数の低解像度画像から高解像度画像を生成する方法を示す図である。
図６において、撮像素子１３１〜１３４にて撮像された低解像度画像は画素７０１〜７０４からそれぞれ構成されるものとすると、低解像度画像の画素７０１〜７０４がサブピクセル単位で互いにずらされるようにして撮像素子１３１〜１３４上に光学像が結像される。
そして、低解像度画像の画素７０１〜７０４の画素値は、高解像度画像の画素７００の空間的移動、ぼかし効果および間引き効果を考慮することで算出することができる。
そして、上述した低解像度画像Ｙ（ｉ）と高解像度画像Ｘとの間の関係式（１）を番号ｉについて連立することで、以下の式が得られる。
【００３９】
【数１】
2008109477.tif 000003
【００４０】
また、記号Ｙおよび記号Ｗを以下の式で定義する。
Ｙ＝ＨＸ＋Ｅ                                                  ・・・（３）
ただし、Ｅの期待値について、Ｅ［Ｅ］＝０が成り立つものとする。
また、低解像度画像間のノイズの相関がないものとすると、以下の式が成り立つ。
【００４１】
【数２】
2008109477.tif 000004
【００４２】
この時、（３）式は確立項Ｅを伴う線形一次方程式になっている。そして、最適化アルゴリズムにて（３）式の解を求めることで、高解像度画像Ｘを求めることができる。
すなわち、図４の演算処理部３２１は、設定パラメータ４２２に基づいて最適化演算処理４２３を実行することで、高解像度画像Ｘを求めることができる。
ここで、最適化アルゴリズムにて（３）式の解を求めるために、以下の最適化問題を解くことができる。
【００４３】
【数３】
2008109477.tif 000005
【００４４】
この（５）式の最適化問題は古典的な２次計画問題であり、最急降下法や擬似逆行列による方法などによって容易に解くことができる。
また、高解像度画像Ｘに滑らかさを持たせるために、以下に示すように、滑らかさを考慮した最適化問題を解くことができる。
【００４５】
【数４】
2008109477.tif 000006
【００４６】
ただし、Ｓはラプラシアンを表す作用素、Ｖは重みである。
さらに、高解像度画像Ｘを確率変数とみなし、その自己相関関数をＱとおくと、以下の最適化問題を解くことで、事後確率最大化原理に準じた高解像度画像Ｘを計算することができる。
【００４７】
【数５】
2008109477.tif 000007
【００４８】
上述した最適化問題は、以下の形式で表現することができる。
【００４９】
【数６】
2008109477.tif 000008
【００５０】
ただし、（５）式の最適化問題では、ＲおよびＰは以下の式で表すことができる。
【００５１】
【数７】
2008109477.tif 000009
【００５２】
また、（７）式の最適化問題では、ＲおよびＰは以下の式で表すことができる。
【００５３】
【数８】
2008109477.tif 000010
【００５４】
また、（６）式の最適化問題では、ＲおよびＰは以下の式で表すことができる。
【００５５】
【数９】
2008109477.tif 000011
【００５６】
（８）式は連立一次方程式であり、ガウスザイデル法、共役勾配法、ヤコビ法などの様々な方法にて解くことができる。
例えば、最急降下法に倣って繰り返し演算によって（８）式を解く方法を以下に示す。
第ｋ番目の高解像度画像Ｘの候補をＸｋとすると、第ｋ番目の高解像度画像Ｘｋから第（ｋ＋１）番目の高解像度画像Ｘｋ＋１を以下の式によって求める。
Ｘｋ＋１＝Ｘｋ−αＲＴ（ＲＸｋ−Ｐ）                                ・・・（９）
ただし、αは最適化問題を解く際の設定パラメータ４２２であり、非負の値をとる。
また、αは以下の式にて定義される行列Ａのスペクトル半径が１未満になるように選択することができる。
Ａ＝Ｉ−αＲＴＲ
第１番目の高解像度画像Ｘ１を設定する方法としては、観測画像それ自体を用いる方法や全ての画素値を一定値とする方法などがある。
そして、（９）式で与えられる繰り返し演算を適当な回数だけ実行することにより、最終的な高解像度画像Ｘを求めることができる。
【００５７】
これにより、複数の撮像素子１３１〜１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させた上で、複数の低解像度画像から高解像度画像を生成することができる。このため、撮像対象１１０が動いている場合や照明環境が変化する場合あるいは撮像装置の手ブレが発生した場合においても、低解像度画像間で輝度や色の変化が発生したり、撮像対象１１０の位置が異なったりするのを防止することができ、半導体製造プロセスの制約によって撮像素子１３１〜１３４の分解能に限界がある場合においても、画質の低下を抑制しつつ、その撮像素子１３１〜１３４の分解能を超える高解像度画像を生成することが可能となる。
【００５８】
また、撮像素子１３１〜１３４間の微小な位置ずれを機械的に固定させることができ、予めキャリブレーションすることで、撮像素子１３１〜１３４間の微小な位置ずれを毎回検出する必要がなくなることから、超解像アルゴリズムを高速かつ精密に適用することができ、計算量やメモリ容量を低減することができる。
また、撮像素子１３１〜１３４間のサブピクセル精度の位置ずれが固定されることから、ＦＰＧＡやＤＳＰを用いたハードウェア処理によって超解像アルゴリズムを実行させることができ、高解像度画像を高速に生成することができる。
【００５９】
さらに、テレセントリックレンズ１０１を用いることにより、ビームスプリッタ１２１〜１２３の配置にある程度の自由度を持たせることができ、撮像素子１３１〜１３４の大きさに左右されることなく、画像撮影装置１００を組み立てることが可能となる。
なお、撮像素子１３１〜１３４間の微小なずれ位置は製造過程によってばらつくことがある。このため、キャリブレーション用のパターンを予め撮影し、各撮像素子１３１〜１３４によって撮影された画像の違いから撮像素子１３１〜１３４間の微小なずれ位置を決定することができる。そして、この決定された微小なずれ位置を結像パラメータ４２１として利用することにより、撮像素子１３１〜１３４間の微小なずれ位置のばらつきを吸収することができる。
【００６０】
図７は、本発明の第２実施形態に係る画像取得装置２００の概略構成を示すブロック図である。
図７において、画像取得装置２０１には、サブピクセル単位で互いに撮像位置がずらされるようにして同一の時刻に同一の視点から見た複数の低解像度画像を同時に撮影する画像撮影装置１００、画像撮影装置１００にて撮影された複数の低解像度画像を転送する画像転送装置２１１、画像取得装置２０１を計算機３０１に接続する接続インターフェース２１２、画像取得装置２００に電源を供給する電源装置２１３が設けられている。さらに、超解像アルゴリズムを適用することにより、複数の低解像度画像から高解像度画像を生成する演算処理部３２１、複数の低解像度画像や低解像度画像から生成された高解像度画像を記憶するメモリ６１１が設けられている。そして、画像転送装置２１１、演算処理部３２１、メモリ６１１および接続インターフェース２１２はバス６１２を介して互いに接続されている。
【００６１】
そして、画像撮影装置１００は、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させることで、同一の時刻に同一の視点から見た複数の低解像度画像を撮影する。そして、画像撮影装置１００にて同時に撮影された複数の低解像度画像は画像転送装置２１１に送られ、画像転送装置２１１は、それらの複数の低解像度画像をバス６１２を介してメモリ６１１に転送する。そして、画像撮影装置１００にて撮影された複数の低解像度画像がメモリ６１１に転送されると、それら複数の低解像度画像がメモリ６１１に記憶される。そして、メモリ６６１に記憶された複数の低解像度画像は演算処理部３２１に送られ、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像が生成され、メモリ６１１に記憶される。
【００６２】
これにより、画像取得装置２００を単体として用いた場合においても、複数の撮像素子１３１〜１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させた上で、複数の低解像度画像から高解像度画像を生成することができ、画質の低下を抑制しつつ、撮像素子１３１〜１３４の分解能を超える高解像度画像を得ることが可能となる。
また、ＦＰＧＡやＤＳＰなどの高速プロセッサを演算処理部３２１に用いることで、低コストで高速に一連の処理を実行し、高解像度画像をリアルタイムで出力させることが可能となる。
【００６３】
図８は、本発明の一実施形態に係る超解像度化処理にかかる処理時間を示す図である。
図８において、図７のメモリ６１１へ同時に転送できる画像データが、撮像素子１３１〜１３４にてそれぞれ撮像された低解像度画像の１枚分に相当する場合、複数の撮像素子１３１〜１３４の露光１００２が画像撮影装置１００にて行われた後、複数枚の低解像度画像の画像転送１００３が１枚ずつ行われ、さらに超解像度化１００４が行われる。
【００６４】
このため、低解像度画像から高解像度画像を生成するまでにかかる処理時間１００１は、（露光１００２にかかる時間）＋（画像転送１００３にかかる時間）×（低解像度画像の枚数）＋（超解像度化１００４にかかる時間）となり、図１６の撮像位置移動１２０４にかかる時間がなくなることから、図１６の方法に比べて大幅に短縮することができる。
【００６５】
図９は、本発明の一実施形態に係る超解像度化処理にかかる処理時間のその他の例を示す図である。
図９において、図７のメモリ６６１へ同時に転送できる画像データが、撮像素子１３１〜１３４にてそれぞれ撮像された低解像度画像の枚数分に相当する場合、複数の撮像素子１３１〜１３４の露光１１０２が画像撮影装置１００にて一度に行われた後、複数枚の低解像度画像の画像転送１１０３が一度に行われ、さらに超解像度化１１０４が行われる。
このため、低解像度画像から高解像度画像を生成するまでにかかる処理時間１１０１は、（露光１１０２にかかる時間）＋（画像転送１１０３にかかる時間）＋（超解像度化１１０４にかかる時間）となり、図８の方法よりもさらに短縮することができる。
【００６６】
図１０は、本発明の第３実施形態に係る画像生成装置における光学系の概略構成を示す側面図である。
図１０において、画像撮影装置２１００には、入射ビームを平行ビームに変換するテレセントリックレンズ２１０１、テレセントリックレンズ２１０１から出射された平行ビームを複数の光ビームに分光するビームスプリッタ２１２１〜２１２３、ビームスプリッタ２１２１〜２１２３にて分光された光ビームがそれぞれ入射される撮像素子２１３１〜２１３４、ビームスプリッタ２１２１〜２１２３にて分光された光ビームを撮像素子２１３１〜２１３４上にそれぞれ結像させるレンズ２１４１〜２１４４、ビームスプリッタ２１２１〜２１２３にて分光された光ビームを反射させるミラー２１２４、サブピクセル単位で互いに撮像位置がずらされた状態で撮像素子２１３１〜２１３４を同一平面上で支持する支持体２１６１が設けられている。
【００６７】
そして、撮像対象２１１０から反射された光ビームはテレセントリックレンズ２１０１に入射し、テレセントリックレンズ２１０１にて平行ビームに変換された後、ビームスプリッタ２１２１に入射する。そして、ビームスプリッタ２１２１に入射した光ビームは透過光と反射光に分光され、ビームスプリッタ２１２１にて分光された反射光はレンズ２１４１を介して撮像素子２１３１に入射し、撮像対象２１１０に対応した光学像が撮像素子２１３１上に結像される。
【００６８】
一方、ビームスプリッタ２１２１にて分光された透過光はビームスプリッタ２１２２に入射し、透過光と反射光に分光される。そして、ビームスプリッタ２１２２にて分光された反射光はレンズ２１４２を介して撮像素子２１３２に入射し、撮像素子２１３１上に結像された光学像と同一のサイズの光学像が撮像素子２１３２上に結像される。
一方、ビームスプリッタ２１２２にて分光された透過光はビームスプリッタ２１２３に入射し、透過光と反射光に分光される。そして、ビームスプリッタ２１２３にて分光された反射光はレンズ２１４３を介して撮像素子１３３に入射し、撮像素子２１３１、２１３２上に結像された光学像と同一のサイズの光学像が撮像素子２１３３上に結像される。
【００６９】
一方、ビームスプリッタ２１２３にて分光された透過光はミラー２１２４にて反射された後、レンズ２１４４を介して撮像素子２１３４に入射し、撮像素子２１３１〜２１３３上に結像された光学像と同一のサイズの光学像が撮像素子２１３４上に結像される。
これにより、撮像素子２１３１〜２１３４を同一平面上に配置することを可能としつつ、複数の撮像素子２１３１〜２１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させることができ、画質の低下を抑制しつつ、複数の低解像度画像から高解像度画像を生成することが可能となるとともに、撮像素子２１３１〜２１３４間のすれのキャリブレーションを効率よく行うことができる。
【００７０】
図１１は、本発明の第４実施形態に係る画像生成装置における光学系の概略構成を示す側面図である。
図１１において、画像撮影装置３１００には、入射ビームを集光する対物レンズ３１０１、対物レンズ３１０１から出射された光ビームを複数の光ビームに分光するビームスプリッタ３１２１〜３１２３、ビームスプリッタ３１２１〜３１２３にて分光された光ビームがそれぞれ入射される撮像素子３１３１〜３１３４、サブピクセル単位で互いに撮像位置がずらされた状態で対物レンズ３１０１から結像面までの光路長が等しくなるように撮像素子３１３１〜３１３４を支持する支持体３１６１が設けられている。
【００７１】
ここで、撮像素子３１３１〜３１３４は、対物レンズ３１０１から結像面までの光路長が等しくなるように支持体３１６１にて支持することができる。具体的には、（対物レンズ３１０１からビームスプリッタ３１２１までの光路長３１４１＋ビームスプリッタ３１２１から撮像素子３１３１までの光路長３１５１）＝（対物レンズ３１０１からビームスプリッタ３１２２までの光路長３１４２＋ビームスプリッタ３１２２から撮像素子３１３２までの光路長３１５２）＝（対物レンズ３１０１からビームスプリッタ３１２３までの光路長３１４３＋ビームスプリッタ３１２３から撮像素子３１３３までの光路長３１５３）＝（対物レンズ３１０１から撮像素子３１３４までの光路長３１４４）となるように、撮像素子３１３１〜３１３４を支持体３１６１にて支持することができる。
【００７２】
そして、撮像対象３１１０から反射された光ビームは対物レンズ３１０１に入射し、対物レンズ３１０１にて集光された後、ビームスプリッタ３１２１に入射する。そして、ビームスプリッタ３１２１に入射した光ビームは透過光と反射光に分光され、ビームスプリッタ３１２１にて分光された反射光は撮像素子３１３１に入射し、撮像対象３１１０に対応した光学像が撮像素子３１３１上に結像される。
【００７３】
一方、ビームスプリッタ３１２１にて分光された透過光はビームスプリッタ３１２２に入射し、透過光と反射光に分光される。そして、ビームスプリッタ３１２２にて分光された反射光は撮像素子３１３２に入射し、撮像素子３１３１上に結像された光学像と同一のサイズの光学像が撮像素子３１３２上に結像される。
一方、ビームスプリッタ３１２２にて分光された透過光はビームスプリッタ３１２３に入射し、透過光と反射光に分光される。そして、ビームスプリッタ３１２３にて分光された反射光は撮像素子３１３３に入射し、撮像素子３１３１、３１３２上に結像された光学像と同一のサイズの光学像が撮像素子３１３３上に結像される。
【００７４】
一方、ビームスプリッタ３１２３にて分光された透過光は撮像素子３１３４に入射し、撮像素子３１３１〜３１３３上に結像された光学像と同一のサイズの光学像が撮像素子３１３４上に結像される。
これにより、テレセントリックレンズ２１０１を用いることなく、複数の撮像素子２１３１〜２１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させることができ、画質の低下を抑制しつつ、複数の低解像度画像から高解像度画像を生成することが可能となるとともに、光学系の簡略化を図ることができる。
【００７５】
図１２は、図１１の対物レンズの構成例を示す側面図である。
図１２において、図１１の対物レンズ３１０１が単一のレンズで構成されるものとする。この場合、撮像対象３１１０の物体面から対物レンズ３１０１までの距離３６４４は、対物レンズ３１０１の焦点距離３６４６と、対物レンズ３１０１から撮像素子３１３４の結像面までの距離３６４５によってガウスの結像公式にて求めることができる。このガウスの結像公式によれば、撮像素子３１３４の結像面までの距離３６４５は比較的長くとれるため、撮像対象３１１０の物体面から対物レンズ３１０１までの距離３６４４は短くなる。このため、対物レンズ３１０１を単一のレンズで構成する方法は、接写距離が比較的小さな微細構造の観察用途などに適している。また、レンズが１つであるため、製造コストを抑えることができる。
【００７６】
図１３は、図１１の対物レンズのその他の構成例を示す側面図である。
図１３において、図１１の対物レンズ３１０１が複数のレンズで構成されるものとする。この場合、対物レンズ３１０１には、物体側レンズ３７１１、像側レンズ３７１２および絞り３７２１が設けられ、絞り３７２１は物体側レンズ３７１１と像側レンズ３７１２との間に配置される。
【００７７】
そして、物体側レンズ３７１１を通して絞り３７２１付近で結像した光学像は、像側レンズ３７１２を通して再び撮像素子３１３４の結像面上で結像する。ここで、像側レンズ３７１２の焦点距離や絞り３７２１から像側レンズ３７１２までの距離３７４１を用いて像側レンズ３７１２から撮像素子３１３４の結像面までの距離３７４５を調整し、物体側レンズ３７１１の焦点距離や絞り３７２１から物体側レンズ３７１１までの距離３７４２を用いて物体側レンズ３７１１から撮像対象３１１０の物体面までの距離３７４４を調整することにより、対物レンズ３１０１から撮像対象３１１０までの距離や対物レンズ３１０１から撮像素子３１３４までの距離に比較的大きな設計の自由度を持たせることができる。
【００７８】
図１４は、本発明の第５実施形態に係る画像生成装置における光学系の概略構成を示す側面図である。
図１４において、画像撮影装置４１００には、入射ビームを集光する対物レンズ４１０１、対物レンズ４１０１から出射された光ビームを複数の光ビームに分光するビームスプリッタ４１２１〜４１２３、ビームスプリッタ４１２１〜４１２３にて分光された光ビームがそれぞれ入射される撮像素子４１３１〜４１３４が設けられている。ここで、ビームスプリッタ４１２２はビームスプリッタ４１２１の反射光が入射されるようにしてビームスプリッタ４１２１に接するように配置され、ビームスプリッタ４１２３はビームスプリッタ４１２１の透過光が入射されるようにしてビームスプリッタ４１２１に接するように配置されている。そして、撮像素子４１３１〜４１３４は、サブピクセル単位で互いに撮像位置がずらされた状態で対物レンズ４１０１から結像面までの光路長が等しくなるようにビームスプリッタ４１２１〜４１２３にて支持されている。
【００７９】
具体的には、撮像素子４１３１は、ビームスプリッタ４１２２の透過光が入射されるようにしてビームスプリッタ４１２２に接するように配置され、撮像素子４１３２は、ビームスプリッタ４１２２の反射光が入射されるようにしてビームスプリッタ４１２２に接するように配置され、撮像素子４１３３は、ビームスプリッタ４１２３の透過光が入射されるようにしてビームスプリッタ４１２３に接するように配置され、撮像素子４１３４は、ビームスプリッタ４１２３の反射光が入射されるようにしてビームスプリッタ４１２３に接するように配置されている。
【００８０】
なお、撮像素子４１３１〜４１３４上の受光量が同一になるようにビームスプリッタ４１２１〜４１２３の透過光と反射光との分光比率を定めることができ、例えば、４個の撮像素子４１３１〜４１３４が設けられている場合、ビームスプリッタ４１２１の透過光と反射光との分光比率は１：１、ビームスプリッタ４１２２の透過光と反射光との分光比率は１：１、ビームスプリッタ４１２３の透過光と反射光との分光比率は１：１に設定することができる。
【００８１】
そして、撮像対象４１１０から反射された光ビームは対物レンズ４１０１に入射し、対物レンズ４１０１にて集光された後、ビームスプリッタ４１２１に入射する。そして、ビームスプリッタ４１２１に入射した光ビームは透過光と反射光に分光され、ビームスプリッタ４１２１にて分光された反射光はビームスプリッタ４１２２に入射し、ビームスプリッタ４１２２にてさらに透過光と反射光に分光される。そして、ビームスプリッタ４１２２にて分光された透過光は撮像素子４１３１に入射し、撮像対象４１１０に対応した光学像が撮像素子４１３１上に結像される。
【００８２】
一方、ビームスプリッタ４１２２にて分光された反射光は撮像素子４１３２に入射し、撮像素子４１３１上に結像された光学像と同一のサイズの光学像が撮像素子４１３２上に結像される。
一方、ビームスプリッタ４１２１にて分光された透過光はビームスプリッタ４１２３に入射し、ビームスプリッタ４１２３にてさらに透過光と反射光に分光される。そして、ビームスプリッタ４１２３にて分光された透過光は撮像素子４１３３に入射し、撮像素子４１３１、４１３２上に結像された光学像と同一のサイズの光学像が撮像素子４１３３上に結像される。
【００８３】
一方、ビームスプリッタ４１２３にて分光された反射光は撮像素子４１３４に入射し、撮像素子４１３１、４１３２、４１３３上に結像された光学像と同一のサイズの光学像が撮像素子４１３４上に結像される。
これにより、テレセントリックレンズ２１０１を用いることなく、複数の撮像素子４１３１〜４１３４上に同一の視点から撮像された同一のサイズの光学像をそれぞれ同時に結像させることができ、画質の低下を抑制しつつ、複数の低解像度画像から高解像度画像を生成することが可能となるとともに、画像撮影装置のコンパクト化を実現しつつ、光学系の簡略化を図ることができる。
【産業上の利用可能性】
【００８４】
本発明では、複数の低解像度の撮像素子を用いることで、空間的な歪がなく、しかも時間的にずれのない高解像画像を生成することができ、品質検査装置分野、コンピュータビジョン分野、画像認識応用分野、映像製作分野などに利用することができる。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１実施形態に係る画像生成装置の概略構成を示すブロック図である。
【図２】図２（ａ）は、本発明の第１実施形態に係る画像生成装置における光学系の概略構成を示す側面図、図２（ｂ）は、本発明の第１実施形態に係る画像生成装置における光学系の概略構成を示す斜視図である。
【図３】図２のテレセントリックレンズの構成例を示す側面図である。
【図４】本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図５】本発明の一実施形態に係る超解像アルゴリズムを示すフローチャートである。
【図６】本発明の一実施形態に係る複数の低解像度画像から高解像度画像を生成する方法を示す図である。
【図７】本発明の第２実施形態に係る画像取得装置２００の概略構成を示すブロック図である。
【図８】本発明の一実施形態に係る超解像度化処理にかかる処理時間を示す図である。
【図９】本発明の一実施形態に係る超解像度化処理にかかる処理時間のその他の例を示す図である。
【図１０】本発明の第３実施形態に係る画像生成装置における光学系の概略構成を示す側面図である。
【図１１】図１１（ａ）は、本発明の第４実施形態に係る画像生成装置における光学系の概略構成を示す側面図、図１１（ｂ）は、本発明の第４実施形態に係る画像生成装置における光学系の概略構成を示す斜視図である。
【図１２】図１１の対物レンズの構成例を示す側面図である。
【図１３】図１１の対物レンズのその他の構成例を示す側面図である。
【図１４】本発明の第５実施形態に係る画像生成装置における光学系の概略構成を示す側面図である。
【図１５】従来の複数の低解像度画像から高解像度画像を生成する方法を示す図である。
【図１６】従来の超解像度化処理にかかる処理時間を示す図である。
【符号の説明】
【００８６】
１００、２１００、３１００、４１００  画像撮影装置
１０１、２１０１  テレセントリックレンズ
１１０、２１００、３１００、４１１０  撮像対象
１２１〜１２３、２１２１〜２１２３、３１２１〜３１２３、４１２１〜４１２３  ビームスプリッタ
１３１〜１３４、２１３１〜２１３４、３１３１〜３１３４、４１３１〜４１３４  撮像素子
１４１〜１４４、２１４１〜２１４４  レンズ
１６１、２１６１、３１６１  支持体
２１２４  ミラー
２００  画像取得装置
２１１  画像転送装置
２１２  接続インターフェース
２１３  電源装置
３００  画像処理装置
３１１  低解像度画像メモリ
３１２  高解像度画像メモリ
３２１  演算処理部
３２２  入出力装置
３３１  画像データ記憶部
３５０  画像表示装置
５１１、３７１１  物体側レンズ
５１２、３７１２  像側レンズ
５２１、３７２１  絞り
７００〜７０４  画素
３１０１、４１０１  対物レンズ
【図１】
2008109477.tif 000012
【図２】
2008109477.tif 000013
【図３】
2008109477.tif 000014
【図４】
2008109477.tif 000015
【図５】
2008109477.tif 000016
【図６】
2008109477.tif 000017
【図７】
2008109477.tif 000018
【図８】
2008109477.tif 000019
【図９】
2008109477.tif 000020
【図１０】
2008109477.tif 000021
【図１１】
2008109477.tif 000022
【図１２】
2008109477.tif 000023
【図１３】
2008109477.tif 000024
【図１４】
2008109477.tif 000025
【図１５】
2008109477.tif 000026
【図１６】
2008109477.tif 000027