(57)【要約】【課題】光に対して散乱の性質を示す被写体に対して、所定の深さよりも深い位置の情報を画像として取得する。【解決手段】照射範囲が限られた光源から被写体に照射され、被写体からの反射光が撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得する取得部と、取得部により取得された各画像を加算した加算画像を生成する加算部と、加算画像に対して画像補正処理を行う復元処理部と、を有する。【選択図】図１４
2014099065.tif 000002
【特許請求の範囲】
【請求項１】
照射範囲が限られた光源から被写体に照射され、該被写体からの反射光が撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得する取得部と、
前記取得部により取得された各画像を加算した加算画像を生成する加算部と、
前記加算画像に対して画像補正処理を行う復元処理部と、
を有する画像処理装置。
【請求項２】
前記取得部は、
前記所定距離内にある画素の輝度値を白とびさせる撮像部から出力された画像を取得する請求項１記載の画像処理装置。
【請求項３】
前記撮像された画像を取得し、該画像の前記所定距離内にある画素の輝度値を低減する、又は白とびさせる前処理部をさらに有する請求項１記載の画像処理装置。
【請求項４】
前記光源は、スポット光、又はライン光を照射する光源である請求項１乃至３いずれか一項に記載の画像処理装置。
【請求項５】
前記復元処理部は、
前記撮像された画像を用いて算出した広がり関数に基づいて画像補正処理を行う請求項１乃至４いずれか一項に記載の画像処理装置。
【請求項６】
前記取得部は、各々異なる範囲の画素の輝度値を変化させた複数の画像を前記入射位置ごとに取得し、
前記加算部は、各前記入射位置において取得された画像を前記範囲ごとに加算した加算画像を生成し、
前記復元処理部は、生成された各加算画像に対し前記画像補正処理を施して複数の出力画像を生成し、
前記複数の出力画像を合成する合成部をさらに有する請求項１乃至５いずれか一項に記載の画像処理装置。
【請求項７】
照射範囲が限られた光源から被写体に照射され、該被写体からの反射光を撮像する撮像部と、
撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得する取得部と、
前記取得部により取得された各画像を加算した加算画像を生成する加算部と、
前記加算画像に対して画像補正処理を行う復元処理部と、
前記復元処理部により補正された画像を表示する表示部と、
を有する画像処理システム。
【請求項８】
照射範囲が限られた光源から被写体に照射され、該被写体からの反射光が撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得し、
前記取得された各画像を加算した加算画像を生成し、
前記加算画像に対して画像補正処理を行う、
処理をコンピュータが実行する画像処理方法。
【請求項９】
照射範囲が限られた光源から被写体に照射され、該被写体からの反射光が撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得し、
前記取得された各画像を加算した加算画像を生成し、
前記加算画像に対して画像補正処理を行う、
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像を処理する画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
生体に近赤外線等の電磁波を照射し、生体を透過した、あるいは生体によって拡散反射された電磁波を撮像することで、生体内部の情報（生体の血管パターン等）を取得する撮像装置がある。このような撮像装置は、主に生体情報を用いた個人認証システムに用いられている。
【０００３】
生体内部の情報を取得する撮像装置において、生体による散乱に起因するボカシを低減するための技術がある。例えば、生体に電磁波を透過させ、生体を透過した電磁波を撮像し、この撮像画像に画像復元処理を適用することで、生体による散乱の影響を低減し、生体内部の撮像画像を得る技術がある（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ryuichiro Araki and Ichiro Nashimoto, "Near-Infrared Imaging in vivo: Imaging of Hb oxygenation In living tissues", SPIE Vol.1431 Time-resolved Spectroscopy and Imaging of Tissues (1991) page 322-332
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、光に対して散乱の性質を示す被写体の内部をより鮮明に撮像することは困難であった。光に対して散乱の性質を示す被写体として、例えば、赤外光を散乱させる生体がある。
【０００６】
鮮明に撮像することが困難である理由は、光は被写体内を通過する際に散乱されてしまい、所定の深さ以上の情報を画像として得ることが難しく、また、空間的な情報が失われてしまうからである。ここで、拡散反射について説明する。
【０００７】
被写体に照射された光の一部は、フレネルの式に従って表面で反射される。フレネル反射は、被写体と媒体（空気など）との間の屈折率の違いによって発生する反射である。フレネル反射されなかった残りの光は、生体の内部に浸透していく。
【０００８】
光に対して散乱の性質を示す被写体（以降、散乱体とも称す）の内部では、光が直線的に進むことができず、光は絶えず方向を変えながら進んでいく。図１は、生体内の光伝搬のシミュレーション結果の一例を示す図である。
【０００９】
図１に示す例は、生体に入った１つのＰｈｏｔｏｎ（光子）の進行の様子を表したものである。図２は、図１に示すシミュレーションのシミュレーション条件を示す図である。図２に示すように、空気層及び生体層において、屈折率、吸収係数、散乱係数、異方性パラメータが設定されている。各指標の意味は、下記の通りである。
【００１０】
（１）屈折率ｎ
屈折率とは、真空中の光速を物質中の光速（より正確には位相速度）で割った値であり、物質中での光の進み方を記述する上での指標である。
【００１１】
（２）吸収係数μａ
吸収係数（absorption coefficient）とは、光がある媒質に入射したとき、その媒質がどの程度光を吸収するかを表す定数である。媒質に入射した時の光の強度をＩ０、光が距離ｘ進んだ時の光の強度をＩ（ｘ）とした時、"ランベルト・ベールの法則"に従い、次の式（１）で表すことができる。
【００１２】
【数１】
2014099065.tif 000003
媒質内を光が通る時、光の強度は、距離に対して指数関数的に減少する。その時の係数が、吸収係数μａである。
【００１３】
（３）散乱係数μｓ
散乱係数とは、光が媒質内を通過する際に散乱する割合を表す係数である。散乱は、上記の吸収係数と同じ形式で表現することができる。μｓを散乱係数とした時、媒質内を、散乱を受けることなく直進した光の強度Ｉは、次の式（２）のように表すことができる。
【００１４】
【数２】
2014099065.tif 000004
媒質内を光が通る時、光の強度は、散乱によって指数関数的に減少する。その係数が散乱係数μsである。
【００１５】
（４）異方性パラメータｇ
上述の散乱係数は、散乱が発生する頻度（確率）を表したものである。一方、異方性パラメータｇは、散乱によって光がどの方向に進路を変えるのかを表すパラメータである。図３は、光の散乱方向θを表す図である。異方性パラメータｇは、散乱角をθとした時のｃｏｓθの平均値である。ｃｏｓθの平均値を＜ｃｏｓθ＞で表す。
【００１６】
【数３】
2014099065.tif 000005
図１は、上記条件、つまり
・吸収される確率＝μａで決定される
・散乱される確率＝μｓで決定される
・散乱される方向＝ｇで決定される
という条件でＰｈｏｔｏｎの動きをシミュレートした結果である。
【００１７】
図１に示すように、散乱体内部で光が散乱した結果、得られる信号である画像は、ボカシが掛かった状態になる。よって、従来技術では、散乱体に対して、ある程度（２〜３ｍｍ）以上の深さの鮮明な画像を得ることが困難であった。
【００１８】
ここで、被写体内部の撮像画像を用いる技術の一つに、手のひら静脈認証がある。例えば、手のひら静脈認証で使用している通常の撮影方式では、皮下数ｍｍ（例えば２〜３ｍｍ）の静脈を撮像することができる。通常の撮影方式は、近赤外線の拡散光源を利用する。
【００１９】
しかし、表面からもっと深い位置（例えば３〜７ｍｍ）の血管を撮像することができれば、認証精度が大幅に向上すると考えられる。この理由は、認証に用いる情報量が増えるからである。
【００２０】
また、皮下の深い位置の情報を鮮明に可視化することができれば、血管の位置を表示して注射補助に用いる注射補助装置や、その他の病変の検出に利用することが可能となる。さらに、肉などの食品関係でも深い位置の情報を撮像することで、食品内の異物検査などにも利用することが可能となる。
【００２１】
よって、光に対して散乱の性質を示す被写体に対して、従来技術で撮像できる深さよりも深い位置の情報を画像として取得したいというニーズがある。
【００２２】
そこで、開示の技術では、光に対して散乱の性質を示す被写体に対して、所定の深さよりも深い位置の情報を画像として取得することができる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することを目的とする。所定の深さとは、例えば従来技術で撮像していた情報に対する表面からの深さである。
【課題を解決するための手段】
【００２３】
開示の一態様における画像処理装置は、照射範囲が限られた光源から被写体に照射され、該被写体からの反射光が撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得する取得部と、前記取得部により取得された各画像を加算した加算画像を生成する加算部と、前記加算画像に対して画像補正処理を行う復元処理部と、を有する。
【発明の効果】
【００２４】
開示の技術によれば、光に対して散乱の性質を示す被写体に対して、所定の深さよりも深い位置の情報を画像として取得することができる。
【図面の簡単な説明】
【００２５】
【図１】生体内の光伝搬のシミュレーション結果の一例を示す図。
【図２】図１に示すシミュレーションのシミュレーション条件を示す図。
【図３】光の散乱方向θを表す図。
【図４】実施例における撮像方式の一例を示す図。
【図５】反射光における照射位置からの距離と深さとの関係を示す図。
【図６】距離と深さとの関係を調べるためのシミュレーション結果の一例を示す図。
【図７】スポット光源を被写体に対して照射した時の拡散反射の形状を示す図。
【図８】拡散照明の場合における光の伝搬イメージの一例を示す図。
【図９】光源の一例であるスポット光源の場合における光の伝搬イメージの一例を示す図。
【図１０】透過型の場合における被写体の断面の一例を示す図。
【図１１】反射型の場合における被写体の断面の一例を示す図。
【図１２】実施例１における画像処理システムの構成の一例を示す図。
【図１３】実施例１における画像処理システムのハードウェアの一例を示すブロック図。
【図１４】実施例１の制御部の機能の一例を示すブロック図。
【図１５】前処理の一例を示す図。
【図１６】実施例１における画像処理の一例を示すフローチャート。
【図１７】実施例１における前処理の一例を示すフローチャート。
【図１８】実施例２における光源の走査の一例を示す図。
【図１９】回転機能による照明光のスキャンの一例を示す図。
【図２０】撮像画像の断面図の一例を示す図。
【図２１】実施例２における制御部の機能の一例を示すブロック図。
【図２２】実施例２における画像処理の一例を示すフローチャート。
【図２３】実施例３における画像処理システムのハードウェアの一例を示すブロック図。
【図２４】実施例３における制御部の機能の一例を示すブロック図。
【図２５】実施例３における生体情報登録処理の一例を示すフローチャート。
【図２６】実施例３における生体情報照合処理の一例を示すフローチャート。
【図２７】照明形状のバリエーションの一例を示す図。
【発明を実施するための形態】
【００２６】
まず、実施例の前提となる技術について説明する。
【００２７】
＜撮像方式＞
図４は、実施例における撮像方式の一例を示す図である。図４に示す撮像方式では、被写体２０に対して、カメラ３０と照明１０とがほぼ同じ位置に存在する、いわゆる反射型を用いる。被写体２０は、光に対して散乱の性質を示す。
【００２８】
また、一般的な撮像方式では、被写体全体を均一に照射する拡散照明を用いるが、実施例では、スポット光源（点状の光）などの照射範囲を限定した光源（照明とも称す）１０を用いる。実施例では、光源１０から照射された入射光１５は、被写体２０に照射される。光源１０（又は被写体２０）の照射位置を変えながら、カメラ３０は、被写体２０から出射される出射光２５を撮像する。
【００２９】
画像処理装置４０は、各光源１０の位置で撮像された各撮像画像を取得し、蓄積する。画像処理装置４０は、各撮像画像に対して、必要であれば画像の前処理を実施する。画像処理装置４０は、前処理後の各画像を加算して１つの加算画像を生成する。画像処理装置４０は、加算画像に対して画像復元処理（画像補正処理とも称す）を適用して出力画像を生成する。次に、このような撮像方式とした理由について順に説明する。
【００３０】
＜光源＞
実施例では、光源１０として、被写体２０を均一に照射する拡散光ではなく、照射範囲を限定した光源を利用する。この光源として、スポット光、ライン光源、格子ドット状の光源も利用可能である。
【００３１】
光源１０は、ステージやその他の駆動機構を用いて照射位置を変えながら被写体２０を照射し、ターゲットとなる被写体２０の撮影領域全体を走査する。このとき、カメラ３０で撮像された各撮像画像は、画像処理装置４０により蓄積される。
【００３２】
ここで、照射範囲が限定された光源１０を用いる理由を、スポット光を例にして説明する。生体などのように光に対して散乱を示す被写体２０に入射した光は、散乱を繰り返しながら最終的にカメラ３０に到達して画像として撮影される。
【００３３】
図５は、反射光における照射位置からの距離と深さとの関係を示す図である。図５に示す例では、入射光１５が被写体２０に入射した位置Ｐ１と、反射光２５が被写体２０から出射した位置Ｐ２との距離をｒとする。このとき、距離ｒで検出されたＰｈｏｔｏｎが、平均してどの深さに到達したかをシミュレーションで求める。以降では、平均深さを＜ｚ＞で表す。
【００３４】
図６は、距離と深さとの関係を調べるためのシミュレーション結果の一例を示す図である。図６に示す通り、入射位置Ｐ１から遠い位置で出射した光ほど平均して深くまで到達していることが分かる。
【００３５】
つまり、入射位置Ｐ１から遠い位置で出射した光ほど平均深さが深いという関係がある。同様の結果は、理論面から検討を行っている文献（Dominique J.Bicout, George H.Weiss "A measure of photon penetration into tissue in diffusion models", Optics Communications 158 (1998) 213-220）からも理解することができる。
【００３６】
次に、距離と深さとの関係について、光源１０を被写体２０に照射した時の拡散反射について考察する。
【００３７】
図７は、スポット光源を被写体２０に対して照射した時の拡散反射の形状を示す図である。図７に示す横軸は、照射中心位置からの距離ｒを示し、図７に示す縦軸は、その位置ｒにおける拡散反射の輝度値を示す。
【００３８】
図７に示すように、ｒ＝Ｐ１付近が最も反射の輝度が高い。このｒ＝Ｐ１付近の領域ａｒ１２の光は、被写体２０の浅い部分しか通っていない。一方、距離ｒがＰ１から離れるに従って、反射光の強度は低下する。
【００３９】
しかし、領域ａｒ１４から出射される光は、領域ａｒ１２から出射される光よりも、より深い位置を通ってきた光である。実施例の撮像方式では、この深い位置から来た光を優先的に取り出すことによって、より深い位置の情報を鮮明に得ることができる。
【００４０】
照射範囲が限定された光源１０を利用する利点は、通常の拡散照明を用いた場合と、光源１０を用いた場合との光の伝搬イメージを比較することで理解できる。
【００４１】
図８は、拡散照明の場合における光の伝搬イメージの一例を示す図である。図８に示す例では、拡散照明の場合、被写体２０の全ての位置に光が入射するため、様々な深さからの光が混在した状態でカメラ３０に撮影される。
【００４２】
図７に示すように、実際には領域ａｒ１２などの浅い位置から反射した光の割合が高いため、浅い位置の情報によって、領域ａｒ１４などの深い位置の情報が埋もれてしまう。
【００４３】
図９は、光源１０の一例であるスポット光源の場合における光の伝搬イメージの一例を示す図である。図９に示すように、実施例では、スポット光源を用いることで光の混在を回避することができる。
【００４４】
具体的には、入射位置に近い場所で検出された光は浅い位置から出射されたと判断され、この光をカットする処理や低減する処理を実施例で適用することができる。その結果、従来技術では撮像できなかった深さよりも深い位置の情報を得ることができる。
【００４５】
＜反射型＞
非特許文献１では、生体内を透過させた光を用いる透過型を用いている。実施例では、被写体２０に対してカメラ３０と光源１０とがほぼ同じ位置に存在する反射型の構成を用いる。
【００４６】
これにより、透過型よりもシステムを大型化させずに、被写体２０に入射した光の拡散反射光２５をカメラ３０で撮像して画像を構築することができる。
【００４７】
また、透過型では、光の入射位置と出射位置とが被写体の厚み分だけ離れることになる。図１０は、透過型の場合における被写体２０の断面の一例を示す図である。図１０に示す例では、被写体２０には、内部情報２２がある。被写体２０が食品である場合、内部情報２２は、例えば異物である。また、被写体２０が生体である場合、内部情報２２は、例えば血管などである。図１０に示すように、透過型では、被写体２０を透過した光がどの位置から入射された光か分からないので、図６に示した関係（距離ｒと深さ＜ｚ＞に関する情報）が失われる。
【００４８】
また、透過型を利用するためには、被写体２０の厚さが一定以下であることが要求される。そのため、透過型を適用できる場合は、非常に限られた場合となってしまう。
【００４９】
そこで、実施例では、反射型を用いる。図１１は、反射型の場合における被写体の断面の一例を示す図である。図１１に示すように、反射型の場合には、入射位置と出射位置とが近接しているため、「入射位置に近い光＝浅い所の光」という関係を利用することができる。そのため、画像の前処理などによって浅い位置からの光による輝度値を下げることで、従来よりも深い位置の情報を鮮明に得ることができるようになる。
【００５０】
また、反射型は、透過型とは異なり、被写体２０の厚さに依存せずに適用することができる。また、被写体２０を自由な位置に設定することができることでも利点が存在する。透過型の場合には、光源１０とカメラ３０との間に被写体２０を設置する必要があるため、被写体２０の自由度が制限されてしまう。一方、反射型の場合には、被写体２０の位置を自由に設定することができるという利点もある。
【００５１】
＜画像復元＞
次に、画像処理装置４０で行われる画像復元処理について説明する。画像復元処理は、ブレなどによって生じた画像の劣化を復元させる技術である。具体的には、画像復元処理は、入射した点光源がどのようにカメラで撮像されるかを表す点像分布関数（ＰＳＦ：Point Spread Function）を用い、ＰＳＦと撮像画像とから、劣化前の画像を算出する技術である。点像分布関数は、点広がり関数とも称される。
【００５２】
撮像画像をｇ（ｘ，ｙ）、元の画像（実際には入手不可能）をｆ（ｘ，ｙ）、撮像系全体のＰＳＦをｈ（ｘ，ｙ）とすると、下記の関係式が成立する。
【００５３】
【数４】
2014099065.tif 000006
演算子＊：畳み込み演算（コンボリューション）
ＰＳＦは、画像の劣化要因によって適切に設定される。例えば、画像処理の分野では、ガウシアン関数などが仮定される場合が多い。ＰＳＦを適切に設定することは、元画像ｆ（ｘ，ｙ）を求めるために重要なファクターとなる。一方で、正確なＰＳＦを求めることは一般には不可能である場合が多い。
【００５４】
ここで、式（４）をｆ（ｘ，ｙ）について解くための方式は、様々なものが知られている。一番単純な方式は、式（４）をフーリエ変換するものである。畳み込み定理を用いるとコンボリューション演算を単純な積に置き換えることができる。
【００５５】
つまり、ｇ（ｘ，ｙ）のフーリエ変換をＧ（ｊ，ｋ）、ｆ（ｘ，ｙ）のフーリエ変換をＦ（ｊ，ｋ）、ｈ（ｘ，ｙ）のフーリエ変換をＨ（ｊ，ｋ）とすると式（４）は次のように変換できる。
【００５６】
【数５】
2014099065.tif 000007
式（５）をＦ（）について解き、フーリエ逆変換をすることでｆ（）が算出される（逆フィルタ法）。
【００５７】
しかし、Ｆ（）を解く際に割り算が用いられる。この時に０で割る場合が出てきてしまう。これは、式（４）を設定する際に、画像のノイズを考慮していなかったために発生する問題である。
【００５８】
これに対して、画像に正規ノイズを仮定して画像復元を適用する方式がウィーナーフィルタと呼ばれる方式である。また、上記以外にも、ベイズ推定を適用して元画像を算出する方式（ルーシーリチャードソンアルゴリズム）も知られている。
【００５９】
また、画像処理装置４０は、各撮像画像又は前処理を適用した各撮像画像を全て加算して「加算画像」を生成する。加算画像には、「生体の光拡散方程式解」から求めた下式に従うＰＳＦを用いる画像の復元処理が適用される。
【００６０】
【数６】
2014099065.tif 000008
ここで、上式のｒは、光の照射位置（スポット光源の場合にはスポット中心）からの距離（ｘ２＋ｙ２の平方根）を表している。また、Ｉ（ｒ）は、ｈ（ｘ，ｙ）に相当する。また、ＡおよびＢは、定数である。Ｂは、被写体の性質に依存して決まる定数である（詳細は後述）。一方、Ａは、ＰＳＦ関数全体を正規化するという条件から一意に決まる値である。具体的には、Ａは、以下の式で求められる。
【００６１】
【数７】
2014099065.tif 000009
生体による光の散乱の影響をキャンセルするため、実施例では画像の復元処理を適用する。具体的には被写体に点光源を入射した時の反射光の形状として、式（６）の形状を適用する。
【００６２】
式（６）は、次のようにして求められたものである。まず、生体のような散乱体内部での光の伝搬は、下記に示す光拡散方程式で記述することができる（例えばT Nakai, G Nishimura, K Yamamoto and M Tamura, "Expression of optical diffusion coefficient in high-absorption turbid media" Phys. Med. Biol. 42 (1997) 2541-2549参照）。光拡散方程式は、より一般的な輸送方程式に拡散近似（散乱方向が均一である）という近似条件を課したものである。
【００６３】
【数８】
2014099065.tif 000010
ここで、点光源から入射された際に、カメラで撮像される反射光を光拡散方程式の下で求めると、式（６）が得られる。
【００６４】
【数９】
2014099065.tif 000011
実施例で適用するＰＳＦは、上記の点光源を被写体２０と同等の光学的特性を有する一様な物体、または被写体２０の均質な部分に照射した時の反射光の形状を用いている。これにより、画像処理装置４０は、画像のボケを補正することができる。
【００６５】
以上の技術を用いて、光に対して散乱の性質を示す被写体に対して、所定の深さよりも深い位置の情報を画像として取得するための各実施例を、添付された図面を参照しつつ説明する。
【００６６】
［実施例１］
まず、実施例１における画像処理システム１の構成について説明する。
【００６７】
＜システム＞
図１２は、実施例１における画像処理システム１の構成の一例を示す図である。図１２に示す画像処理システム１では、光源１０と、被写体２０と、撮像部３０と、画像処理装置４０と、ステージ５０とを有する。
【００６８】
図１２に示す実施例１は、画像処理システム１を食品などの内部を撮像する撮像装置として利用する場合である。被写体２０は、ステージ５０の上に置かれ、被写体２０に対し、光源１０から光が照射される。撮像部３０は、被写体２０からの反射光を撮像し、画像処理装置４０が所定の画像処理を行う。これによって、内部に混入した異物などの検知を行うことができる。被写体２０がステージ５０の上に置かれているため、被写体２０と撮像部３０との距離は、ほぼ一定と見なすことができる。
【００６９】
＜ハードウェア＞
図１３は、実施例１における画像処理システム１のハードウェアの一例を示すブロック図である。図１３に示す画像処理装置４０は、制御部１０１と、主記憶部１０３と、補助記憶部１０５と、通信部１０７と、ドライブ装置１０９と、駆動部Ｉ／Ｆ１１１とを有する。これらの各部は、データ通信可能なように相互にデータバスを介して接続されている。
【００７０】
制御部１０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部１０１は、主記憶部１０３や補助記憶部１０５に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置に出力する。
【００７１】
主記憶部１０３は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部１０３は、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００７２】
補助記憶部１０５は、例えばＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。補助記憶部１０５は、例えば撮像部３０から取得した撮像画像を記憶する。
【００７３】
通信部１０７は、有線又は無線で周辺機器とデータ通信を行う。通信部１０７は、例えばネットワークを介して、撮像画像を取得し、補助記憶部１０５に記憶する。
【００７４】
ドライブ装置１０９は、記録媒体１１３、例えばフレキシブルディスクやＣＤ（Compact Disc）から、後述する撮像制御プログラムを読み出し、記憶装置にインストールしてもよい。
【００７５】
また、記録媒体１１３に、撮像制御プログラムを格納し、この記録媒体１１３に格納されたプログラムは、ドライブ装置１０９を介して画像処理装置４０にインストールされる。インストールされた撮像制御プログラムは、画像処理装置４０により実行可能となる。
【００７６】
駆動部Ｉ／Ｆ１１１は、制御部１０１からステージ５０を駆動するための制御信号を取得し、駆動部５５に制御信号を通知する。
【００７７】
光源１０は、例えばスポット光を用いる。光源１０は、具体的には、レーザー光やＬＥＤと集光レンズを組み合せた構成としてもよい。撮像部３０は、画像を撮像するためのカメラであり、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。なお、撮像部３０は、画像処理装置４０に含まれる構成であってもよい。
【００７８】
駆動部５５は、駆動部Ｉ／Ｆ１１１からの制御信号により、ステージ５０の位置を制御する。例えば、駆動部５５は、光源１０により、被写体３０全体が照射されるように、ステージ５０を走査させる。
【００７９】
ステージ５０は、例えば光源１０や撮像部３０など配置する台である。また、ステージ５０は、Ｘ方向、Ｙ方向の２軸走査が可能なステージ機構を有する。これにより、光源１０の照射位置をＸ、Ｙ方向に走査させつつ、画像を撮像することが可能になる。
【００８０】
表示部６０は、画像処理装置４０により生成された出力画像を表示する。表示部６０は、画像処理装置４０に含まれる構成であってもよい。台７０は、例えば被写体２０を載せる台である。
【００８１】
＜機能＞
図１４は、実施例１の制御部１０１の機能の一例を示すブロック図である。図１４に示す制御部１０１は、撮像制御部２０１と、前処理部２０３と、取得部２０５と、加算部２０７と、復元処理部２０９とを有する。各部は、制御部１０１により撮像制御プログラムが実行されることで、主記憶部１０３上にロードされて実行可能となる機能である。
【００８２】
制御部１０１は、駆動部Ｉ／Ｆ１１１を介して、ステージ５０の制御信号を駆動部５５に出力する。これにより、光源１０の照射位置が被写体２０全体を走査するようになる。また、制御部１０１は、ステージ５０が移動したら、光源１０から光を照射するように制御してもよい。
【００８３】
撮像制御部２０１は、光源１０から光が照射された場合、撮像部３０で画像を撮像するよう制御する。撮像された画像は、所定の処理が施された後、例えば主記憶部１０３や補助記憶部１０５に記憶される。主記憶部１０３や補助記憶部１０５は、画像保存部として機能する。
【００８４】
前処理部２０３は、撮像された画像を撮像部３０から取得し、光源１０から照射された光の被写体２０の入射位置から所定距離内にある撮像画像の画素の輝度値を低減する、又は白とびさせる。
【００８５】
図１５は、前処理の一例を示す図である。前処理部２０３は、撮像画像に対し、スポット中心に近い位置の輝度を低下させる処理を適用する。図１５に示す例では、スポット中心Ｐ１から所定範囲内の輝度を低下させる。また、前処理部２０３は、このように画像処理によってスポット中心に近い輝度を低下させてもよいし、後述するように意図的に白とびを起こすことで同等の効果を得てもよい。前処理部２０３は、この所定範囲を調整することで、取得した画像の表面からの深さを調整することができる。前処理部２０３は、輝度値を変化させた撮像画像を取得部２０５に出力する。
【００８６】
図１４に戻り、取得部２０５は、照射範囲が限られた光源１０から被写体２０に照射され、被写体２０からの反射光が撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得する。実施例１では、取得部２０５は、前処理部２０３で処理された各画像を取得する。
【００８７】
加算部２０７は、取得部２０５により取得された各画像を加算した加算画像を生成する。加算画像は、光源１０の位置毎に撮像された画像が加算され、被写体２０を撮像した１枚の画像となる。加算部２０７は、加算画像を復元処理部２０９に出力する。
【００８８】
復元処理部２０９は、加算画像に対して画像復元処理（画像補正処理）を行う。例えば、復元処理部２０９は、式（６）を用いて画像復元処理を行う。復元処理部２０９は、実施例１ではＰＳＦ形状を固定形状としてもよい。
【００８９】
復元処理部２０９は、被写体の特性がある程度決まっており、また、被写体２０から撮像部３０までの距離がおおよそ一定と見なせる場合は、ＰＳＦを固定の値に設定してもよい。ただし、復元処理部２０９は、被写体２０までの距離が可変の場合にはＰＳＦを適宜調整する必要がある。
【００９０】
一方、復元処理部２０９は、被写体２０の形状や材質が均一とは限らない場合には、ＰＳＦを適宜設定する。そのため、復元処理部２０９は、スポット光を照射して撮像した画像からスポット形状を検出し、その形状をＰＳＦとして利用することもできる。
【００９１】
また、復元処理部２０９は、スポット光を照射した画像をＰＳＦにフィッティングして算出してもよい。以下、スポット光を照射した画像をスポット光画像とも称す。例えば、復元処理部２０９は、スポット光画像を直接ＰＳＦとして利用するのではなく、スポット光画像を式（６）に合うようにフィッティングしてＰＳＦを算出してもよい。
【００９２】
復元処理部２０９は、ＰＳＦ形状をモデル化（式（６））してフィッティングすることによって、画像に含まれるノイズや表面形状の影響を低減することができる。つまり、被写体２０の表面形状が平面ではない場合、スポット光画像をそのまま利用してしまうとＰＳＦ形状が大きく歪んでしまうが、モデルにフィッティングすることによってその影響を抑えることができる。
【００９３】
復元処理部２０９は、スポット光を用いて被写体距離を測定してもよい。実施例１では被写体２０にスポット光を照射して撮像している。そのため、実施例１では、スポット位置を検出することで、このスポット位置までの距離を測定することができる（例えば特許第４０１５１５３号、特許第４６４４５４０号など参照）。復元処理部２０９は、被写体２０までの距離を算出し、その距離に応じてＰＳＦ形状を調整してもよい。
【００９４】
また、復元処理部２０９は、被写体２０の種類に応じてＰＳＦを変えてもよい。この場合、被写体２０の種類と、ＰＳＦとを関連づけておき、復元処理部２０９が、ユーザなどに入力された被写体２０の種類からＰＳＦを選択してもよい。
【００９５】
復元処理部２０９により復元された画像は、例えば主記憶部１０３や補助記憶部１０５に記憶されたり、表示部６０に表示されたりする。また、復元処理部２０９により、復元された画像は、所定範囲（例えば０〜２５５）の輝度値になるように正規化が行われてもよい。
【００９６】
以上の機能を有することで、光に対して散乱の性質を示す被写体に対して、所定の深さよりも深い位置の情報を画像として取得することができる。
【００９７】
＜動作＞
次に、実施例１における画像処理システム１の動作について説明する。図１６は、実施例１における画像処理の一例を示すフローチャートである。図１６に示す例では、光源１０としてスポット光源を用い、ステージ５０でＸ，Ｙ方向の２軸方向に走査しながら撮像するとする。
【００９８】
図１６に示すステップＳ１０１で、制御部１０１は、光源１０の位置を初期化する。初期化の位置は、（ｘ＝０、ｙ＝０）とする。
【００９９】
ステップＳ１０２で、撮像制御部２０１は、光源１０の位置で、画像Ｉ（ｘ，ｙ）を撮像する。光源１０から被写体２０に光が照射され、撮像部３０は、被写体２０からの拡散反射光を撮像する。
【０１００】
ステップＳ１０３で、制御部１０１は、光源１０の位置を更新する。例えば、光源１０が所定の位置に動くように、制御部１０１は、更新する量を予め設定しておけばよい。
【０１０１】
ステップＳ１０４で、前処理部２０３は、画像Ｉ（ｘ，ｙ）に前処理を適用する。前処理は、輝度値を低下させてもよいし、白とびさせてもよい。前処理後の画像（輝度値が変化された画像）を、画像Ｉ'（ｘ，ｙ）とも称す。
【０１０２】
ステップＳ１０５で、取得部２０５は、輝度値が変化された画像を取得し、加算部２０５は、画像Ｉ'（ｘ，ｙ）を画像Ｉａｄｄに加算する。画像Ｉａｄｄは、加算画像を示し、全ての位置での画像を加算すれば、被写体２０全体を撮像した画像になる。
【０１０３】
ステップＳ１０６で、制御部１０１は、全ての位置（ｘ，ｙ）で撮像したか否かを判定する。全ての位置で撮像していれば（ステップＳ１０６−ＹＥＳ）ステップＳ１０７に進み、全ての位置で撮像が終了していなければ（ステップＳ１０６−ＮＯ）ステップＳ１０２に戻る。なお、ステップＳ１０３の処理は、ステップＳ１０６でＮＯと判定された後に行われてもよい。
【０１０４】
ステップＳ１０７で、復元処理部２０９は、画像Ｉａｄｄに復元処理を施す。実施例１では、光源１０を走査させる必要があるため、撮像に通常よりも時間が掛かる場合があるが、被写体２０が食品などの場合でステージ５０上に置いた場合には、撮像にある程度時間が掛かっても問題はない。
【０１０５】
また、上記処理では、加算画像に対して画像の復元処理を適用する。ここで、復元処理の線形性に関して説明する。ウィーナーフィルタなどのフィルタ処理は、一般に線形性を満たす。これは、フーリエ変換が線形性を満たすためである。
【０１０６】
以下の２つの処理は、同じ結果をもたらす。
（Ａ）先に画像を加算し、加算した画像に対して復元処理を適用する場合
（Ｂ）撮影した画像に対して画像の復元処理を適用し、復元後の画像を加算する場合
よって、復元処理部１０９は、（Ａ）の処理を選択することで、復元処理が１度で良いため処理時間を短縮することができる。
【０１０７】
次に、前処理の詳細について説明する。図１７は、実施例１における前処理の一例を示すフローチャートである。図１７に示すステップＳ２０１で、前処理部２０３は、撮像画像を取得する。
【０１０８】
ステップＳ２０２で、前処理部２０３は、撮像画像の輝度値に基づいて、スポット中心（Ｘ，Ｙ）を検出する。前処理部２０３は、例えば、輝度値の重心や、最高の輝度値を有する位置などにより、スポット中心を検出することができる。
【０１０９】
ステップＳ２０３で、前処理部２０３は、スポット中心からの距離に基づき、輝度値の変更処理を行う。例えば、前処理部２０３は、輝度値の減衰処理を行うとする。このとき、前処理部２０３は、スポット中心から半径Ｒ内の輝度値をα（α＜１．０）倍する。
【０１１０】
また、前処理部２０３は、スポット中心との距離ｒに応じた処理を行ってもよい。前処理部２０３は、次の式を用いて減衰処理を行ってもよい。
【０１１１】
【数１０】
2014099065.tif 000012
ここで、Ｒはスポット中心からの所定の距離を表す定数であり、輝度値を変更する範囲を決める定数でもある。Ｒよりも内側にあるピクセルに関しては、ｒに比例する形で輝度値が減少する。
【０１１２】
また、上記以外にも、前処理部２０３は、次のように処理を行ってもよい。
【０１１３】
【数１１】
2014099065.tif 000013
前処理部２０３は、単純にＲよりも内側のピクセルをゼロにしてもよい。また、前処理部２０３は、上記以外にも様々な減衰処理を適用する事が可能である。
【０１１４】
ここで、画像の前処理の基準として輝度値ではなく、距離ｒを用いる理由を説明する。もし、輝度値を基準として輝度の低減処理を実行してしまうと、被写体２０の領域依存で減衰処理の結果が変わってしまう。
【０１１５】
例えば、輝度値２５０以上の領域の輝度値を０に設定するような実装を行うとする。この場合、例えば、被写体２０として生体を適用した場合、光が皮膚領域（明るい）に当たっているのか、血管領域（暗い）に当たっているのかによって輝度値が閾値２５０に到達するかしないかが変わってしまう。
そのため、輝度値を基準とするのではなく、スポット中心Ｐ１からの距離を基準として画像の前処理を適用することが望ましい。
【０１１６】
また、前処理部２０３は、前処理を変えた複数の画像を出力してもよい。例えば、前処理部２０３は、上記前処理中のＲをＲ１，Ｒ２と複数用意し、それぞれを適用した画像を出力してもよい。
【０１１７】
上記のようにスポット中心Ｐ１に近い方が浅い位置の情報を含み、Ｐ１から遠い方が深い位置の情報を含んでいる。そのため、前処理時のＲを変えることによって、同一被写体２０の様々な深さからの情報を可視化することができるようになる。
【０１１８】
以上、実施例１によれば、光に対して散乱の性質を示す被写体に対して、所定の深さよりも深い位置の情報を画像として取得することができる。また、実施例１によれば、Ｒを調整することで、Ｒに対応する所定の深さにある情報を画像として撮像することができるようになる。
【０１１９】
［実施例２］
次に、実施例２における画像処理システムについて説明する。実施例２は、例えば、画像処理システムを血管像撮像装置などとして利用する場合である。血管画像撮像装置は、画像処理システムを用いて血管画像を撮像、表示し、注射の補助などに利用するものである。
【０１２０】
＜システム＞
実施例２における画像処理システムの構成は、図１２に示す構成のうち、台７０を不要とし、ステージ５０もしくは光源１０が駆動することで、被写体２０全体が走査される。
【０１２１】
＜ハードウェア＞
実施例２における画像処理システムのハードウェアは、基本的には図１３に示すハードウェアと同様であるため同じ符号を用いて説明する。以下、実施例１と異なるハードウェアを主に説明する。なお、実施例２では、台７０を設けない。また、実施例２では、光源１０として、ライン光を照射する光源（照明）を用いる。
【０１２２】
例えば、実施例２では、照明としてライン状の光源を用いることができ、具体的には回析格子とレーザーを組み合せたものやＬＥＤとレンズを組み合わせたものなどが利用できる。
【０１２３】
図１８は、実施例２における光源１０の走査の一例を示す図である。図１８に示す例では、ライン状の光源１０は、Ｘ方向に走査されることで、被写体２０全体に照射することができる。
【０１２４】
ライン状の光源１０を用いると、撮像時間を短縮することができる。これは、スポット光の光源を用いた場合には、Ｘ、Ｙ軸の２次元が走査される必要があるが、ライン状の場合には、１次元の走査で被写体全体が走査されるからである。
【０１２５】
これにより、被写体２０が人のような場合、あまり長時間固定することは難しいという問題があるため、撮像時間を短縮する効果があるライン状の光源１０を利用して撮像するとよい。
【０１２６】
また、駆動部５５は、例えば回転モーターである。実施例２における駆動部５５は、ライン状の光源１０を駆動し、被写体２０全体をスキャンさせるようにする。駆動部５５は、光源１０をＸ方向に移動させてもよいが、この例では、光源１０の照射方向を回転によって変化させることで被写体２０を照射する。
【０１２７】
これにより、システム全体を小型化できるメリットがある。具体的には、駆動部５５は、ステッピングモーターやピエゾモータなどを利用してもよい。
【０１２８】
図１９は、回転機能による照明光のスキャンの一例を示す図である。図１９に示す例では、駆動部５５としての回転モーターが光源１０を回転させることで、照射方向を変更させる。
【０１２９】
実施例２における画像処理装置４０は、制御部１０１の機能が実施例１と異なる。例えば、実施例２における制御部１０１は、前処理を行わない。これは、撮像部３０において、前処理が行っていた処理に対応させてサチュレーションを適用し、前処理と同等の効果を得るからである。
【０１３０】
撮像部３０は、光源１０の中心位置で輝度値がサチュレーション（白とび）するようにして撮像する。サチュレーションさせる範囲は、適宜調整可能である。生体内部の情報を得るために重要な情報は、光源１０の周辺部からの反射光であるため、光源１０の中心部分が白とびを起こす設定にして、撮像部３０は撮像を行う。
【０１３１】
図２０は、撮像画像の断面図の一例を示す図である。図２０に示す例では、光源１０の中心部分でサチュレーションを起こさせ、中心部分の輝度値が白とびするように撮像部３０は設定されている。また、例えば図２０に示す領域ａｒ２２内の輝度値を用いることで、撮像部３０は、中心からの所定距離に対応する所定の深さの情報を撮像することができる。また、サチュレーションを起こさせることで、光源１０中心に近い＝浅い所のＰｈｏｔｏｎの影響を低減させる効果がある。
【０１３２】
これにより、撮像部３０により出力される撮像画像は、光源１０中心付近に対し、サチュレーションが起こる設定で撮像されるので、所定の深さの情報を撮像した画像になっている。よって、実施例２では、前処理部は必要ない。
【０１３３】
なお、実施例２における制御部１０１は、撮像部３０においてサチュレーションを適用しない場合は、撮像画像に対して実施例１と同様に前処理を行うようにしてもよい。
【０１３４】
＜機能＞
図２１は、実施例２における制御部１０１の機能の一例を示すブロック図である。図２１に示す制御部１０１は、撮像制御部３０１と、取得部３０３と、加算部２０７と、復元処理部２０９とを有する。なお、実施例２における機能のうち、実施例１における機能と同様のものは同じ符号を付し、その説明を省略する。
【０１３５】
撮像制御部３０１は、撮像部３０による撮像を制御する。このとき、撮像制御部３０１は、光源１０中心から所定距離内にある画素の輝度値を白とびさせるように撮像部３０を制御する。光源１０の中心位置は、撮像画像内のどの位置にあるかを予め設定しておくことも可能である。
【０１３６】
取得部３０３は、撮像部３０から、各光源１０位置での撮像画像を取得する。撮像画像は、図２０に示すように、光源１０の中心付近が白とびされた画像である。取得部３０３は、各撮像画像を加算部２０７に出力する。加算部２０７以降の処理は、実施例１と同様である。
【０１３７】
以上の機能を有することで、光に対して散乱の性質を示す被写体に対して、所定の深さよりも深い位置の情報を画像として取得することができる。
【０１３８】
＜動作＞
次に、実施例２における画像処理システムの動作について説明する。図２２は、実施例２における画像処理の一例を示すフローチャートである。図２２に示す例では、光源１０としてライン状の光源を用い、撮像部３０でサチュレーションを起こさせる設定となっているとする。
【０１３９】
図２２に示すステップＳ３０１で、制御部１０１は、光源１０の位置を初期化する。初期化の位置は、（ｘ＝０）とする。なお、図２２に示す例では、ライン状の光源１０を用いるため、Ｘ方向の走査だけでよい。
【０１４０】
ステップＳ３０２で、撮像制御部３０１は、光源１０の位置で、画像Ｉ（ｘ）を撮像する。光源１０から被写体２０に光が照射され、撮像部３０は、被写体２０からの拡散反射光を撮像する。このとき、撮像部３０は、撮像画像Ｉ（ｘ）に対し、光源１０の中心位置から所定距離以内の画素を白とびさせた画像Ｉ'（ｘ）を生成する。
【０１４１】
ステップＳ３０３で、制御部１０１は、光源１０の位置を更新する。例えば、光源１０が所定の位置に動くように、制御部１０１は、更新する量を予め設定しておけばよい。
【０１４２】
ステップＳ３０４で、取得部３０３は、輝度値が変化された画像を取得し、加算部２０５は、画像Ｉ'（ｘ）を画像Ｉａｄｄに加算する。
【０１４３】
ステップＳ３０５で、制御部１０１は、全ての位置（ｘ）で撮像したかを判定する。全ての位置で撮像していれば（ステップＳ３０５−ＹＥＳ）ステップＳ３０６に進み、全ての位置で撮像が終了していなければ（ステップＳ３０５−ＮＯ）ステップＳ３０２に戻る。なお、ステップＳ３０３の処理は、ステップＳ３０５でＮＯと判定された後に行われてもよい。
【０１４４】
ステップＳ３０６で、復元処理部２０９は、画像Ｉａｄｄに線像分布関数（ＬＳＦ：Line Spread Function）に基づく復元処理を施す。実施例２では、光源１０を１次元で走査させればよいため、実施例１よりも短期間で撮像を完了することができる。
【０１４５】
以上、実施例２によれば、光に対して散乱の性質を示す被写体に対して、所定の深さよりも深い位置の情報を画像として取得することができる。また、実施例２によれば、ライン状の光源を用いることで、撮像制御処理を速く行うことができる。
【０１４６】
［実施例３］
次に、実施例３における画像処理システムについて説明する。実施例３は、画像処理システムを生体認証装置として利用する場合である。具体的には、実施例３では、手のひら静脈認証に適用し、静脈画像の撮像に適用する。
【０１４７】
＜システム＞
実施例３における画像処理システムの構成は、図１２に示す構成のうち、台７０を不要とし、ステージ５０もしくは光源１０が駆動することで、被写体２０全体が走査される。また、実施例３における画像処理システムの構成は、一般的な生体認証システムの構成と同様であるが、光源の種類や画像処理の内容が、一般的な生体認証システムとは異なる。
【０１４８】
＜ハードウェア＞
図２３は、実施例３における画像処理システムのハードウェアの一例を示すブロック図である。図２３に示す例では、生体情報を登録する装置（以下、登録装置とも称す）は、画像処理装置Ａ４０−１と、撮像部Ａ３０−１と、駆動部Ａ５５−１と、光源Ａ１０−１とを有する。上記の各部は、基本的には、実施例２で説明した各部と同様である。被写体２０として、例えば手のひらが撮像される。
【０１４９】
また、生体情報を照合する装置（以下、照合装置とも称す）は、画像処理装置Ｂ４０−２と、撮像部Ｂ３０−２と、駆動部Ｂ５５−２と、光源Ｂ１０−２とを有する。上記の各部は、基本的には、実施例２で説明した各部と同様であり、登録装置と同様である。
【０１５０】
認証装置７０は、全体制御部７１と、データベース７３と、照合処理部７５と、メッセージ表示部７７とを有する。これらの各部は、相互にデータ通信可能なようにデータバスを介して接続されている。
【０１５１】
全体制御部７１は、生体認証処理を制御する。データベース７３は、登録装置により登録された生体情報（以下、登録テンプレートとも称す。）と、個人情報とを対応付けて保存する。
【０１５２】
照合処理部７５は、生体情報の照合処理を行う。照合処理部７５は、データベース７３に登録されている登録テンプレートと、照合装置により撮像された画像との類似度を計算し、類似度が閾値以上であるか否かを判定する。照合処理部７５は、ソフトウェアとして、全体制御部７１により実行される構成でもよい。
【０１５３】
メッセージ表示部７７は、生体認証処理に関するメッセージを表示する。例えば、メッセージ表示部７７は、「手をかざしてください」や「認証に成功しました」などのメッセージを表示する。
【０１５４】
なお、実施例３では、登録装置と認証装置とを分けなければならないというわけではなく、１つの装置で、登録用の画像と、照合用の画像とを生成するようにしてもよい。また、照合装置は、実施例２における構成を有しておらず、生体認証における公知の構成を有し、公知の技術を用いて照合用の画像を撮像してもよい。この場合、登録装置において、Ｒが非常に小さいか、又は設定しないことで、公知の照合装置にも対応できる。
【０１５５】
なお、画像処理装置Ａ４０−１及び画像処理装置Ｂ４０−２は、図１３に示す画像処理装置４０と同様のハードウェアを有する。
【０１５６】
＜機能＞
図２４は、実施例３における制御部１０１の機能の一例を示すブロック図である。図２４に示す制御部１０１は、撮像制御部３０１と、取得部３０３と、加算部２０７と、復元処理部２０９と、合成部４０１とを有する。なお、実施例３における機能のうち、実施例２における機能と同様のものは同じ符号を付し、その説明を省略する。
【０１５７】
合成部４０１は、異なる所定距離Ｒのそれぞれで画像復元処理が施された複数の出力画像を合成する。これにより、手のひら表面付近の静脈と、手のひらの表面から所定の深さにある静脈との合成画像を生成することができる。これにより、認証に用いる情報を増やし、認証精度を高めることができる。
【０１５８】
なお、合成部４０１は、必ずしも必要な構成ではなく、生体認証の認証精度を上げるために設けられればよい。合成部４０１により合成された画像、又は復元処理部２０９により復元された画像は、照合処理部７５に出力される。
【０１５９】
照合処理部７５は、合成画像、又は復元された画像に対し、画像の特徴（例えば手のひら静脈）部分を抽出する。以下、特徴部分の画像を特徴画像とも称す。照合処理部７５は、登録用のデータであれば、特徴画像をユーザＩＤと共に関連付けてデータベース７３に書き込む。この場合、データベース７３に登録された特徴画像が、登録テンプレートとなる。
【０１６０】
これにより、所定の深さの情報を撮像した画像から抽出された特徴、又は異なる深さの情報を撮像した画像が合成された画像から抽出された特徴を、登録テンプレートとして登録することができる。
【０１６１】
なお、実施例３においても、所定距離Ｒを０又は微小な距離に設定すれば、従来と同様に、手のひら表面付近の静脈を撮像することができる。また、制御部１０１は、所定距離Ｒを複数用意し、それぞれの所定距離Ｒに応じた深さの情報を撮像した撮像画像を得ることができる。
【０１６２】
＜動作＞
次に、実施例３における画像処理システムの動作について説明する。図２５は、実施例３における画像処理（生体情報登録処理）の一例を示すフローチャートである。実施例３における撮像制御処理は、実施例２で説明した処理を用いるが、実施例１で説明した処理でもかまわない。
【０１６３】
図２２に示すステップＳ４０１で、画像処理装置Ａ４０−１は、登録者のＩＤを取得する。登録者のＩＤは、登録者の識別番号や名称などの他人と識別できる情報である。
【０１６４】
ステップＳ４０２で、画像処理装置Ａ４０−１は、撮像画像を取得する。このとき、画像処理装置Ａ４０−１は、画像復元処理が行われた画像、又は合成された画像を撮像画像として取得する。画像処理装置Ａ４０−１は、撮像画像と登録者のＩＤとを認証装置７０に送信する。
【０１６５】
ステップＳ４０３で、照合処理部７５は、撮像画像から特徴部分を抽出する。このとき抽出された特徴画像を特徴画像Ａと称す。
【０１６６】
ステップＳ４０４で、登録者のＩＤと特徴画像Ａとをデータベース７３に関連付けて保存する。
【０１６７】
これにより、所定の深さの情報を撮像した画像から抽出された特徴、又は異なる深さの情報を撮像した画像が合成された画像から抽出された特徴を、登録テンプレートとして登録することができる。
【０１６８】
図２６は、実施例３における画像処理（生体情報照合処理）の一例を示すフローチャートである。
【０１６９】
図２６に示すステップＳ５０１で、画像処理装置Ｂ４０−２は、認証対象者のＩＤを取得する。認証対象者のＩＤは、認証対象者の識別番号や名称などの他人と識別できる情報である。
【０１７０】
ステップＳ５０２で、画像処理装置Ｂ４０−２は、撮像画像を取得する。このとき、画像処理装置Ｂ４０−２は、画像復元処理が行われた画像、又は合成された画像を撮像画像として取得する。画像処理装置Ｂ４０−２は、撮像画像と認証対象者のＩＤとを認証装置７０に送信する。
【０１７１】
ステップＳ５０３で、照合処理部７５は、撮像画像から特徴部分を抽出する。このとき抽出された特徴画像を特徴画像Ｂと称す。
【０１７２】
ステップＳ５０４で、照合処理部７５は、データベース７３から、認証対象者のＩＤに対応する特徴画像Ａを取得する。
【０１７３】
ステップＳ５０５で、照合処理部７５は、特徴画像Ａと、特徴画像Ｂとを比較し、類似度Ｓを算出する。
【０１７４】
ステップＳ５０６で、照合処理部７５は、類似度Ｓが閾値より大きいか否かを判定する。類似度Ｓが閾値より大きければ（ステップＳ５０６−ＹＥＳ）ステップＳ５０７に進み、類似度Ｓが閾値以下であれば（ステップＳ５０６−ＮＯ）ステップＳ５０８に進む。なお、閾値は、実験等により予め適切な値が設定されていればよい。
【０１７５】
ステップＳ５０７で、メッセージ表示部７７は、認証ＯＫを表示画面に表示する。ステップＳ５０８で、メッセージ表示部７７は、認証ＮＧを表示画面に表示する。
【０１７６】
以上、実施例３によれば、被写体の表面から所定の深さにある情報を用いて、生体認証処理を行うことができる。さらに、実施例３によれば、異なる深さにある情報を撮像した画像を合成することで、認証に用いる情報を増やすことができ、認証精度を向上させることができる。
【０１７７】
［変形例］
次に、上記各実施例における変形例について説明する。例えば、上記各実施例では、撮像部３０を固定し、光源１０を駆動させる構成を用いている。これは、撮像部３０を固定した方が、安定した画像を取得することができるからである。
【０１７８】
一方、同様の効果を得るための画像処理システムの構成として、光源１０を固定させ、撮像部３０を駆動する構成としてもよい。
【０１７９】
また、上記各実施例では、スポット光源やライン状の光源を用いている。スポット光源を用いる理由は、拡散照明よりもより深い位置からの信号を捉えることができるからである。
【０１８０】
一方で、スポット光源では、被写体領域全体を走査するには時間がかかる。そのため、照明の形状として、複数のスポットを格子状に照射する照明を適用してもよい。図２７は、照明形状のバリエーションの一例を示す図である。図２７に示すように、格子状スポット照明を用いて照明を駆動することによって、短時間で画像を撮像することができる。なお、格子状にスポット光源を配置する場合、隣の光との干渉を避けるために、所定間隔を空けるようにする。所定間隔は、例えば１ｃｍとする。
【０１８１】
画像の復元処理の方法に関しても、上記各実施例で説明したようにウィーナーフィルタに限定されるわけではない。画像復元処理の具体的な方式として、ウィーナーフィルタ以外にルーシー・リチャードソンフィルタなどが知られている。
【０１８２】
フーリエ変換を適用して周波数領域で画像復元処理を行うウィーナーフィルタは、一般的にノイズに敏感な特性を持っている。これは、周波数領域においてノイズが乗ると、復元後の元画像の広範な範囲にノイズが乗る場合があるためである。
【０１８３】
一方、ルーシー・リチャードソンフィルタは、フーリエ変換ではなく、ベイズ推定を用いる方式であるため、ノイズに強いという性質がある。
【０１８４】
上記各実施例では、光源としてレーザーを用いることができるが、各実施例は、光源としてレーザーに限定されるものではない。例えば、各実施例では、ＬＥＤやハロゲンランプなどの光をレンズなどで集光する構成を用いることができる。これにより、光源について、一般的にレーザーよりも安価な構成を取ることができる。
【０１８５】
光源の駆動機構として、各実施例では、ＸＹ方向のステージを用いる構成を用いる。しかし、光源の駆動機構としてＸＹステージでなく、光の出射方向を変化させる装置構成としてもよい。光の出射方向を変化させる方式にした場合、装置自体を小型化することも可能になる。
【０１８６】
また、光源をスキャンする方式として、光源そのものはレーザーなどを固定して照射し、照射光をＭＥＭＳミラーやガルバノミラーを用いてスキャンする構成としてもよい。撮像部としてのカメラは、ＨＤＲ（ハイダイナミックレンジカメラ）を用いてもよい。
【０１８７】
なお、前述した各実施例で説明した撮像制御処理を含む画像処理を実現するためのプログラムを記録媒体に記録することで、各実施例で説明した処理をコンピュータに実施させることができる。
【０１８８】
例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末、スマートフォン、タブレット端末などに読み取らせて、前述した処理を実現させることも可能である。
【０１８９】
なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、記録媒体は、搬送波などの一過性のものを含まない。
【０１９０】
以上、画像処理装置及びプログラムについて詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。
【０１９１】
なお、以上の各実施例に関し、さらに以下の付記を開示する。
（付記１）
照射範囲が限られた光源から被写体に照射され、該被写体からの反射光が撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得する取得部と、
前記取得部により取得された各画像を加算した加算画像を生成する加算部と、
前記加算画像に対して画像補正処理を行う復元処理部と、
を有する画像処理装置。
（付記２）
前記取得部は、
前記所定距離内にある画素の輝度値を白とびさせる撮像部から出力された画像を取得する付記１記載の画像処理装置。
（付記３）
前記撮像された画像を取得し、該画像の前記所定距離内にある画素の輝度値を低減する、又は白とびさせる前処理部をさらに有する付記１記載の画像処理装置。
（付記４）
前記光源は、スポット光、又はライン光を照射する光源である付記１乃至３いずれか一項に記載の画像処理装置。
（付記５）
前記復元処理部は、
前記撮像された画像を用いて算出した広がり関数に基づいて画像補正処理を行う付記１乃至４いずれか一項に記載の画像処理装置。
（付記６）
前記取得部は、各々異なる範囲の画素の輝度値を変化させた複数の画像を前記入射位置ごとに取得し、
前記加算部は、各前記入射位置において取得された画像を前記範囲ごとに加算した加算画像を生成し、
前記復元処理部は、生成された各加算画像に対し前記画像補正処理を施して複数の出力画像を生成し、
前記複数の出力画像を合成する合成部をさらに有する付記１乃至５いずれか一項に記載の画像処理装置。
（付記７）
照射範囲が限られた光源から被写体に照射され、該被写体からの反射光を撮像する撮像部と、
撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得する取得部と、
前記取得部により取得された各画像を加算した加算画像を生成する加算部と、
前記加算画像に対して画像補正処理を行う復元処理部と、
前記復元処理部により補正された画像を表示する表示部と、
を有する画像処理システム。
（付記８）
照射範囲が限られた光源から被写体に照射され、該被写体からの反射光が撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得し、
前記取得された各画像を加算した加算画像を生成し、
前記加算画像に対して画像補正処理を行う、
処理をコンピュータが実行する画像処理方法。
（付記９）
照射範囲が限られた光源から被写体に照射され、該被写体からの反射光が撮像された画像に対し、入射位置から所定距離内にある画素の輝度値を変化させた画像を、各々異なる入射位置毎に取得し、
前記取得された各画像を加算した加算画像を生成し、
前記加算画像に対して画像補正処理を行う、
処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１９２】
１  画像処理システム
１０  光源
２０  被写体
３０  撮像部
４０  画像処理装置
６０  表示部
１０１  制御部
１０３  主記憶部
１０５  補助記憶部
２０１、３０１  撮像制御部
２０３  前処理部
２０５、３０３  取得部
２０７  加算部
２０９  復元処理部
４０１  合成部
【図２】
2014099065.tif 000014
【図３】
2014099065.tif 000015
【図４】
2014099065.tif 000016
【図５】
2014099065.tif 000017
【図６】
2014099065.tif 000018
【図７】
2014099065.tif 000019
【図８】
2014099065.tif 000020
【図９】
2014099065.tif 000021
【図１０】
2014099065.tif 000022
【図１１】
2014099065.tif 000023
【図１２】
2014099065.tif 000024
【図１３】
2014099065.tif 000025
【図１４】
2014099065.tif 000026
【図１５】
2014099065.tif 000027
【図１６】
2014099065.tif 000028
【図１７】
2014099065.tif 000029
【図１８】
2014099065.tif 000030
【図１９】
2014099065.tif 000031
【図２０】
2014099065.tif 000032
【図２１】
2014099065.tif 000033
【図２２】
2014099065.tif 000034
【図２３】
2014099065.tif 000035
【図２４】
2014099065.tif 000036
【図２５】
2014099065.tif 000037
【図２６】
2014099065.tif 000038
【図２７】
2014099065.tif 000039
【図１】
2014099065.tif 000040