(57)【特許請求の範囲】
【請求項１】
光波面変調素子を含む深度拡張光学系と、
前記深度拡張光学系を通過した被写体像を撮像する撮像素子と、
前記撮像素子からの画像信号に対して２値化処理を行い、当該２値化された画像内の特徴部位を色配列情報を用いた処理により抽出し、当該抽出した部位を、復元処理を行うべき所定の領域として選択する選択手段と、
前記選択手段で選択した領域の画像信号に対して所定の画像処理を施す画像信号処理部と、を有し、
前記画像信号処理部は、
前記選択した領域の分散画像を分散のない画像信号として復元する
撮像装置。
【請求項２】
前記特徴部位の抽出の処理は、前記撮像素子による像の光電変換と前記所定の画像処理による復元処理の間に行われる
請求項１記載の撮像装置。
【請求項３】
光波面変調素子を含む深度拡張光学系を通過した被写体像を撮像し、撮像した画像データに画像処理を行う画像処理方法であって、
撮像素子からの画像信号に対して２値化処理を行う２値化ステップと、
前記当該２値化された画像内の特徴部位を色配列情報を用いた処理により抽出し、当該抽出した部位を、復元処理を行うべき所定の領域として選択する選択ステップと、
前記選択ステップで選択した領域の画像信号に対して所定の画像処理を施す画像信号処理ステップと、を有し、
前記画像信号処理ステップにおいては、
前記選択した領域の分散画像を分散のない画像信号として復元する
画像処理方法。
【請求項４】
前記特徴部位の抽出の処理は、前記撮像素子による像の光電変換と前記所定の画像処理による復元処理の間に行う
請求項３記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ、情報コード読取装置等に適用可能な撮像装置および画像処理方法に関するものである。
【背景技術】
【０００２】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに代わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
【０００３】
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
【０００４】
図２３は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
【０００５】
撮像レンズ装置１においては、図２３に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図２４（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
【０００６】
また、光波面変調素子である位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
【非特許文献１】“Wavefront Coding;jointly optimized optical and digital imaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献２】“Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献１】ＵＳＰ６，０２１，００５
【特許文献２】ＵＳＰ６，６４２，５０４
【特許文献３】ＵＳＰ６，５２５，３０２
【特許文献４】ＵＳＰ６，０６９，７３８
【特許文献５】特開２００３−２３５７９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上記提案でなされている深度拡張システムは、画面全体に対し画像復元を行っている。
このため、画面内の一部を認識することを目的とする光学システムにおいては、画面全体に処理を行うシステムは非効率的であるという問題が生じている。
【０００８】
本発明の目的は、必要な箇所に対してのみ画像復元処理を行うことが可能で、システムの効率化を図ることが可能な撮像装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点の撮像装置は、光波面変調素子を含む深度拡張光学系と、前記深度拡張光学系を通過した被写体像を撮像する撮像素子と、前記撮像素子からの画像信号に対して２値化処理を行い、当該２値化された画像内の特徴部位を色配列情報を用いた処理により抽出し、当該抽出した部位を、復元処理を行うべき所定の領域として選択する選択手段と、前記選択手段で選択した領域の画像信号に対して所定の画像処理を施す画像信号処理部と、を有し、前記画像信号処理部は、前記選択した領域の分散画像を分散のない画像信号として復元する。
【００１２】
好適には、前記特徴部位の抽出の処理は、前記撮像素子による像の光電変換と前記所定の画像処理による復元処理の間に行われる。
【００１５】
本発明の第２の観点は、光波面変調素子を含む深度拡張光学系を通過した被写体像を撮像し、撮像した画像データに画像処理を行う画像処理方法であって、撮像素子からの画像信号に対して２値化処理を行う２値化ステップと、前記当該２値化された画像内の特徴部位を色配列情報を用いた処理により抽出し、当該抽出した部位を、復元処理を行うべき所定の領域として選択する選択ステップと、前記選択ステップで選択した領域の画像信号に対して所定の画像処理を施す画像信号処理ステップと、を有し、前記画像信号処理ステップにおいては、前記選択した領域の分散画像を分散のない画像信号として復元する。
【発明の効果】
【００１６】
本発明によれば、必要な箇所に対してのみ画像復元処理を行うことが可能で、システムの効率化を図ることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００１８】
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【００１９】
本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、および制御装置１９０を有している。
【００２０】
本実施形態に係る撮像装置１００は、後で詳述するように、光学系１１０に光波面変調素子を適用し、光波面変調素子により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする光波面変調光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ  Ｅｘｐａｎｔｉｏｎ  Ｏｐｔｉｃａｌ  ｓｙｓｔｅｍ）というシステムを採用し、被写体像（たとえばバーコード等の情報コード）を的確に高精度で読み取ることが可能に構成されている。
なお、光波面変調機能は、このように光学系に光波面変調素子を配置することで発現することが可能であるが、光学系を形成する光学素子に形成された光波面変調面により発現するように構成することも可能である。
【００２１】
光学系１１０は、後で詳述する位相変調素子等の光波面変調素子を含み、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。
【００２２】
撮像素子１２０は、光電変換素子として機能し、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
【００２３】
アナログフロントエンド部１３０は、タイミングジェネレータ１３１と、アナログ／デジタル（Ａ／Ｄ）コンバータ１３２と、を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
【００２４】
画像信号処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。
またたとえば、画像処理装置１４０は、撮像素子１２０からの画像信号に対して所定の領域を選択する選択手段としての機能を有し、選択した領域の分散画像信号を分散のない画像信号として復元する機能を有している。
本実施形態においては、選択される所定の領域は、たとえば画像内で予め決められている。
また、所定の領域は、画像内から特徴部位を抽出し、その部分を選択して決定されるように構成することも可能である。
この場合、画像処理装置１４０は、特徴部位の抽出の処理を、撮像素子１２０による像の光電変換と所定の画像処理による復元処理の間に行う。
本実施形態においては、特徴部位の抽出の処理に先立って、撮像素子１２０からの画像信号に対して２値化処理を行っている。
また、特徴部位の抽出の処理において、色配列情報を用いることも可能である。
これについては、後で例示する。
この画像処理装置１４０が行うフィルタリングには、コントラストを高くする機能を含む。
画像処理装置１４０は、制御装置１９０の各種情報に応じて、画像データに対してフィルタリング処理を行う。
画像処理装置１４０は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
【００２５】
画像処理装置１４０は、基本的に、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算部１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。
なお、図１の画像処理装置１４０は、画像復元処理系のみを示している。
【００２６】
コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置１９０により制御される。
【００２７】
また、カーネルデータ格納ＲＯＭ１４３には、たとえば図２あるいは図３示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
【００２８】
図２の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
【００２９】
また、図３の例では、カーネルデータＡは物体距離情報が１００ｍｍ、カーネルデータＢは物体距離が５００ｍｍ、カーネルデータＣは物体距離が４ｍに対応したデータとなっている。
画像処理装置１４０の処理については後でさらに詳述する。
【００３０】
カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、画像表示メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。
【００３１】
制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０等を制御し、システム全体の調停制御を司るものである。
【００３２】
また、制御装置１９０は、たとえば画像処理装置１４０における所定の領域の選択制御（抽出制御）を行う。
【００３３】
以上、本実施形態の特徴である画像復元処理の原理について説明した。
以下、本実施形態のＤＥＯＳに関係する光学系、画像処理装置の構成および機能について具体的に説明する。
【００３４】
図４は、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。この図は広角側を示している。
また、図５は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
そして、図６は、本実施形態に係る光学系の広角側の像高中心のスポット形状を示す図であり、図７は、本実施形態に係る光学系の望遠側の像高中心のスポット形状を示す図である。
【００３５】
図４および図５の光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板からなる光波面変調素子（波面形成用光学素子）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
たとえば、本実施形態においては、可変絞り１１０ａ（図１参照）が設けられ、露出制御（装置）において可変絞りの絞り度（開口度）を制御する。
【００３６】
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディング等により厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ、あるいはレンズ面上に形成される位相面として形成される状態）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。
【００３７】
図４および図５で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分散した画像をデジタル処理により、光学系１１０を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ  Ｅｘｐａｎｔｉｏｎ  Ｏｐｔｉｃａｌ  ｓｙｓｔｅｍ）といい、この処理を画像処理装置１４０において行う。
【００３８】
ここで、ＤＥＯＳの基本原理について説明する。
図８に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
【００３９】
[数１]
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
【００４０】
生成された画像から被写体を求めるためには、次の処理を要する。
【００４１】
[数２]
ｆ＝Ｈ-１＊ｇ
【００４２】
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
光学切り替え情報をＫＰｎ，ＫＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
【００４３】
【数３】
0005198052.tif 000002
【００４４】
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
【００４５】
本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、絞り開放時には画像処理装置１４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
【００４６】
なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
【００４７】
本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
【００４８】
図９（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図９（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図９（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、図９（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図９（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
【００４９】
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
【００５０】
図１０（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図１０（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図１０（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図１０（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
【００５１】
画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
【００５２】
画像処理装置１４０のＭＴＦ補正処理は、たとえば図１１の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１１中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図１１中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【００５３】
本実施形態においては、図１１に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、図１２に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１１のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１２に示すようになる。
【００５４】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
【００５５】
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。
【００５６】
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
【００５７】
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図９（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
【００５８】
次に、本実施形態および一般的な光学系のＭＴＦのレスポンスについて考察する。
【００５９】
図１３は、一般的な光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図１４は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図１５は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【００６０】
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
【００６１】
図１４に示した、位相板を持つ光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。
なぜなら、図１５に示した復元後のＯＴＦを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
【００６２】
以下に、上記構成を有する撮像装置１００における選択される所定の領域を認証に必要な箇所として用いる場合の構成例について説明する。
【００６３】
本実施形態においては、前述したように、深度拡張のための画像復元処理を、対象となる領域に限って実施する。対象領域は固定もしくは特徴点抽出による選択とする。
また、認証系や情報コード読み取りへの応用に関しては、画像データを２値化することで輪郭を鮮明にして、特徴点抽出の精度向上を図ることが可能となる。
【００６４】
すなわち、認証に必要な箇所に対してのみ画像復元処理を行うことにより、システムの効率化を図ることが可能となる。
好適には、認証に必要な箇所を画面内の固定の位置としてあらかじめ登録しておき、その部分に対してのみ復元処理を行うことでシステムの効率化を図ることが可能である。
また、画像取得後、認証に必要な箇所を探査、該当箇所に対してのみ画像復元を行い、さらに認証処理に移行するシステムとすることにより、画面内に占める認証に必要な箇所に対し自由度を持ったシステムとすることが可能である。
【００６５】
また、光波面変調素子を含む深度拡張光学系は、通常光学系と比べ解像力を保持する深度領域が広くすることが可能となる。そこで、認証に必要な箇所を探査する方法として、画面を二値化処理する場合、解像力を保持することで、通常よりも広い深度領域で認証が行うことが可能となる。
【００６６】
また、光波面変調素子を含む深度拡張光学系は、復元処理前の画像ではコントラストが弱い傾向がある。しかし、色の配列に対しては影響がないために、認証する被写体が色配列により識別するには適しているため、認証に必要な箇所を探知する方法として、色配列情報を用いて処理することが可能となる。
【００６７】
図１６は、選択される所定の領域が画像内で予め決められている例を説明するための図である。
【００６８】
図１６の例は、本実施形態に係る撮像装置１００を図示しない監視カメラに搭載し、たとえば、ベルトコンベア２００上を流れる製品２１０に添付された、ＱＲコード等の２次元情報コード２１１を画面中央で読み取るケースである。２次元情報コード２１１は、カラー情報コードである場合もある。
図中の点線枠２２０の内側が画面内に固定された認証に必要な位置としている。この位置情報が登録されている。
図１６（Ａ）に示すように、この固定の点線枠２２０内に認証用カラー情報コードが含まれない状態では、認証は行われない。
一方、図１６（Ｂ）に示すように、この固定の点線枠２２０内に認証用コードが含まれた場合は、認証を行う。
さらに、認証に必要な位置に対してのみ画像復元を行い深度拡張することで、図１６（Ｃ）に示すように、奥行きのある認証も行うことが可能となる。
【００６９】
図１７は、認証に必要な箇所を探査する処理が画像取得と画像復元処理の間に行う場合のフローチャートである。
換言すれば、図１７は、特徴部位の抽出の処理が、撮像素子１２０による像の光電変換と所定の画像処理による復元処理の間に行われることを示すフローチャートである。
【００７０】
本光学系の特性上、画像は、解像度は保っているがコントラストが劣化している。つまり、認証箇所の探査は十分に行えるため（ＳＴ１１，ＳＴ１２）、画像取得後に認証を行い（ＳＴ１３）、必要箇所のみを復元処理する（ＳＴ１４）ことで、画像処理量を軽減させる。
【００７１】
図１８（Ａ），（Ｂ）は、認証に必要な箇所を探査する方法として、画面を二値化処理する方法を説明するための図である。
【００７２】
本光学系の特性上、二値化処理により輪郭は正しく残される。
たとえば、図１８（Ａ）に示すように、対象が生体２３０の顔２３１であれば、顔の輪郭の内部に目や鼻、口などが確認されれば顔と認識される。
図１８（Ｂ）に示すように、車２４０のナンバープレート２４１では、ナンバーに記載される書式は国内では同一であるため、適当な書式内に文字が確認されればナンバーと認識可能である。
【００７３】
図１９は、認証に必要な箇所を探知する方法として、色配列情報を用いて処理する例を説明するための図である。
【００７４】
この例では、ファイル２５０の背ラベルにおける色ラベルを探査する。図中、Ｙは黄色のラベル、Ｇが緑のラベル、Ｂが青のラベル、Ｒが赤のラベルを示している。
たとえば、黄色Ｙの四角のラベルを探査し、それを基準にし、復元箇所を決定する。
また、数種類の色の配列を探査し、それを基準にし、復元箇所を決定する。
【００７５】
次に、色配列情報を用いる抽出処理等の具体例について説明する。
【００７６】
（１）：形の抽出について
たとえば、画像から直線や円を検出する方法として、Hough変換が知られている。（1962年にP.V.C.Houghによる米国特許）これにより形を抽出する。
【００７７】
（２）：色の抽出について
ＲＧＢをＨＳＶに変換して、hue（色相）、saturation（彩度）、value（明度）を使う方法やRGB成分の比率を使う方法などが採用することが可能である。
【００７８】
（３）：配列の処理
基本的に、上記（１），（２）を組み合わせることで、対応可能である。
たとえば、輪郭を捉えることであらかじめ定まった形状と一致するかを検索する。
次に、その輪郭内の色情報を取得する。
【００７９】
＜認証に関する特徴点の抽出方法＞
（１１）：バーコードの抽出
たとえば、画面全体から「大津の方法」で閾値を取得、二値化する。
次に、二値化結果から、矩形領域を抽出する
【００８０】
（１２）：生体認証
画像として取り込んだ生体データから、判定処理に不要な環境要因の除去処理を行う。
次に、空間的位置や大きさ、時間的な変化などを正規化し、保管したテンプレートとの比較判定を行う。
【００８１】
ここで、色配列情報コードについてさらに説明する。
本実施形態では、図２０に示すように、カラー情報コードで使用されているＲ、Ｇ、Ｂの何れか単色のみを他の２色に比べて極端に高く感知しているエリアをカラー情報コードのエリア候補とする。これらの候補エリアが隣接し、その集合の輪郭が想定されるカラー情報コードの輪郭形状（例えば正方形）に合致する場合に、その範囲をカラー情報コードの位置として抽出する方法を採用することが可能である。
【００８２】
図２０は、色配列情報コードの画像例を示す図である。
図２１は、カラー情報コードの処理を示すフローチャートである。
【００８３】
たとえば、図２０に示すような画像を撮像した場合、以下の処理を行う。
画面内でＲやＧやＢ（カラー情報コードに用いられている色成分）のみの色成分が強く
表れているエリアをカラー情報コードのエリア候補として捉えておく（ＳＴ２１）。
（図２０においてＲ、Ｇ、Ｂと記しているピクセルはその色の成分が他の色成分に比べ高く感知されていることを示す。）
それらのエリアが隣接していれば（ＳＴ２２）、カラー情報コードのエリア候補の集合体とする（ＳＴ２３）。
エリアの抽出が終了すると（ＳＴ２４）、上記エリアの集合体の輪郭が、おおよそ正方形の形状に当てはまるか否かを判定する（ＳＴ２５）。
輪郭が正方形の形状に合致していればカラー情報コードとしてデコードを行う（ＳＴ２６）。
【００８４】
次に、認証に関する特徴点抽出ついて説明する。
【００８５】
＜生体認証の場合＞
図２２（Ａ），（Ｂ）は、手の認証する部位を示した例を示す図であって、ここでは食指球（領域Ｓ１）、中指球（領域Ｓ２）、無名指球（領域Ｓ３）、小指球（領域Ｓ４）と手のひらを領域Ｓ５〜Ｓ２０に１６分割した概略図である。
【００８６】
（２１）：対象となる形状（例えば手）の輪郭抽出を行う。
（２２）：大きさの正規化のために電子ズームをかけて所定の大きさにする。
（２３）：生体認証を行う対象となる部分（例えば指紋なら各指先、静脈なら掌全体）の抽出する、
と言ったような手順をふむことで行う。
【００８７】
＜バーコード認証の場合＞
２次元バーコード（ＱＲコード）を例に挙げて説明する。
【００８８】
（３１）：閾値（予め決められたもの、画面内輝度の平均、etc）を決めて画像を２値化する。
（３２）：ＱＲコードの３隅に特徴的に設けられている正方形の枠の中心に塗りつぶした正方形がある形状を特徴点として抽出
（３３）：上記特徴点を３点抽出したら、それらが、左上隅、右上隅、左下隅の位置関係となるようなエリアを切り出しを行う、
ことによって、ＱＲコードの抽出が可能となる。
【００８９】
以上のように、本実施形態においては、深度拡張のための画像復元処理を、対象となる領域に限って実施する。対象領域は固定もしくは特徴点抽出による選択とする。
【００９０】
以上説明したように、本実施形態によれば、光波面変調素子を含む光学系１１０と、光学系１１０を通過した被写体像を撮像する撮像素子１２０と、撮像素子１２０からの被写体の画像データに対して所定の処理を施す画像処理装置１４０と、を有し、画像処理装置１４０は、選択した特定領域の分散画像を分散のない画像信号として復元することから、必要な箇所に対してのみ画像復元処理を行うことが可能で、システムの効率化を図ることが可能となる利点がある。
また、認証系や情報コード読み取りへの応用に関しては、画像データを２値化することで輪郭を鮮明にして、特徴点抽出の精度向上を図ることが可能となる。
【００９１】
また、本実施形態によれば、１次画像を形成する光波面変調素子を含む光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、撮像素子１２０と光波面変調素子としての位相変調素子（位相板）１１３ａを復元に適した配置とすることができ、公差の緩い深度拡張光学系を実現できる。
その結果、復元画が良好となるようなボカシを実現でき、適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることができる利点がある。
また、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やディフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることもできる。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたＤＥＯＳの光学システムに使用することが可能である。
【００９２】
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１４０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【００９３】
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【００９４】
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【００９５】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
【００９６】
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
【図面の簡単な説明】
【００９７】
【図１】本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【図２】カーネルデータＲＯＭの格納データの一例（光学倍率）を示す図である。
【図３】カーネルデータＲＯＭの格納データの他例を示す図である。
【図４】本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例を模式的に示す図である。
【図５】本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
【図６】広角側の像高中心のスポット形状を示す図である。
【図７】望遠側の像高中心のスポット形状を示す図である。
【図８】ＤＥＯＳの原理を説明するための図である。
【図９】本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）は合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、（Ｃ）は焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【図１０】本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
【図１１】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。
【図１２】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。
【図１３】従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
【図１４】光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
【図１５】本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【図１６】選択される所定の領域が画像内で予め決められている例を説明するための図である。
【図１７】認証に必要な箇所を探査する処理が画像取得と画像復元処理の間に行う場合のフローチャートである。
【図１８】認証に必要な箇所を探査する方法として、画面を二値化処理する方法を説明するための図である。
【図１９】認証に必要な箇所を探知する方法として、色配列情報を用いて処理する例を説明するための図である。
【図２０】色配列情報コードの画像例を示す図である。
【図２１】カラー情報コードの処理を示すフローチャートである。
【図２２】手の認証する部位を示した例を示す図である。
【図２３】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図２４】図２３の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）は合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、（Ｃ）は焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【符号の説明】
【００９８】
１００・・・撮像装置、１１０・・・光学系、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１５０・・・カメラ信号処理部、１８０・・・操作部、１９０・・・制御装置、１１１・・・物体側レンズ、１１２・・・結像レンズ、１１３・・・波面形成用光学素子、１１３ａ・・・位相板（光波面変調素子）、１４２・・・コンボリューション演算部、１４３・・・カーネルデータＲＯＭ、１４４・・・コンボリューション制御部。
【図１】
0005198052.tif 000003
【図２】
0005198052.tif 000004
【図３】
0005198052.tif 000005
【図４】
0005198052.tif 000006
【図５】
0005198052.tif 000007
【図６】
0005198052.tif 000008
【図７】
0005198052.tif 000009
【図８】
0005198052.tif 000010
【図９】
0005198052.tif 000011
【図１０】
0005198052.tif 000012
【図１１】
0005198052.tif 000013
【図１２】
0005198052.tif 000014
【図１３】
0005198052.tif 000015
【図１４】
0005198052.tif 000016
【図１５】
0005198052.tif 000017
【図１６】
0005198052.tif 000018
【図１７】
0005198052.tif 000019
【図１８】
0005198052.tif 000020
【図１９】
0005198052.tif 000021
【図２０】
0005198052.tif 000022
【図２１】
0005198052.tif 000023
【図２２】
0005198052.tif 000024
【図２３】
0005198052.tif 000025
【図２４】
0005198052.tif 000026