(57)【要約】  照明部（１１０）は、被写体（２００）に少なくとも１つの励起光（Ｌ１）と、照明光（Ｌ２）とを照射する。撮像部（１２１）は、励起光（Ｌ１）により被写体（２００）が発生した少なくとも１つの蛍光（Ｌ３）と、被写体（２００）が照明光（Ｌ２）を反射した反射光（Ｌ４）とを撮像する。蛍光検出部（１２３）は、撮像部（１２１）が撮像した蛍光の画像から、蛍光の遅延時間画像を生成する。測距部（１２４）は撮像部（１２１）が撮像した反射光の画像から距離画像を生成する。
2017038015.tif 000002
【特許請求の範囲】
【請求項１】
被写体に少なくとも１つの励起光と照明光を照射する照明部と、
前記励起光により前記被写体が放射する少なくとも１つの蛍光と、前記被写体が前記照明光を反射した反射光とを撮像し、前記励起光の入射から前記蛍光を放射するまでの遅延時間から生成した少なくとも１つの蛍光の遅延時間画像を取得する画像取得部とを備えた撮像装置。
【請求項２】
前記照明部は、所定の露出時間毎に光を選択して、所定の照射タイミングで照射し、
前記画像取得部は、前記照射タイミングに同期した露光タイミングで前記反射光または前記蛍光を撮像する、
請求項１記載の撮像装置。
【請求項３】
前記画像取得部は、前記照明部が照射している光に応じて、前記露出時間を変更する、
請求項２記載の撮像装置。
【請求項４】
前記照明部は、前記所定の露出時間内に前記励起光と前記照明光を選択的に照射する、
請求項２記載の撮像装置。
【請求項５】
前記画像取得部は、前記励起光および前記反射光を各々２つの露光タイミングで撮像する、
請求項２または請求項４記載の撮像装置。
【請求項６】
前記画像取得部は、
前記反射光の撮像画像において、画素毎に算出した前記照明光の往復遅延時間と、前記蛍光の撮像画像において、前記画素毎に算出した前記励起光の往復遅延時間とに基づき、前記画素毎の前記被写体の遅延蛍光時間を算出して、前記蛍光の遅延時間画像を取得する、
請求項１記載の撮像装置。
【請求項７】
前記画像取得部は、所定の波長帯である撮像波長帯の光を撮像し、
前記照明光の波長は、前記画像取得部の前記撮像波長帯に含まれ、
前記励起光の波長は、前記画像取得部の前記撮像波長帯より短い、
請求項１〜３、５のいずれか１項に記載の撮像装置。
【請求項８】
前記照明光は近赤外線であり、前記励起光は紫外線である、
請求項７記載の撮像装置。
【請求項９】
前記画像取得部は、前記蛍光を撮像して蛍光スペクトルの画像を取得する、
請求項１記載の撮像装置。
【請求項１０】
被写体に少なくとも１つの励起光と照明光を照射し、前記被写体が前記照明光を反射した反射光と、前記励起光により前記被写体が放射する蛍光とを撮像し、前記少なくとも１つの蛍光の遅延時間画像を取得する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像対象に光を照射して撮像する撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、励起光照射によって対象物で発生した蛍光の画像を撮像する蛍光イメージング装置を開示する。特許文献１は、蛍光画像の各画素について蛍光強度変化の変調度および位相を求め、蛍光画像中の基準点に対する他画素の位相差を求め、蛍光画像の各画素の蛍光成分の判別と基準点からの相対的距離を求める。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−８７１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、被写体の蛍光の遅延時間画像を撮像するために有効な撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示における撮像装置は、照明部と、画像取得部とを備える。照明部は、被写体に少なくとも１つの励起光と、照明光とを照射する。画像取得部は、励起光により被写体が放射する少なくとも１つの蛍光と、被写体が照明光を反射した反射光とを撮像する。画像取得部は、さらに、励起光の入射から蛍光を放射するまでの遅延時間から生成した少なくとも１つの蛍光の遅延時間画像を取得する。【０００６】
本開示における撮像方法は、被写体に少なくとも１つの励起光と、照明光とを照射する。さらに、被写体が照明光を反射した反射光と、励起光により被写体が発生した蛍光を撮像する。撮像した結果に基づき、少なくとも１つの蛍光の遅延時間画像を取得する。
【発明の効果】
【０００７】
本開示における撮像装置は、被写体から離れた位置から被写体の蛍光の遅延時間画像を取得することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態１にかかる撮像装置の具体的な構成を示す模式図である。
【図２】図２は、実施の形態１にかかる撮像装置の動作を説明するフローチャートである。
【図３】図３は、実施の形態１にかかる撮像装置の励起光照射時の動作を説明する図である。
【図４】図４は、実施の形態１にかかる撮像装置の照明光照射時の動作を説明する図である。
【図５】図５は、被写体の一例を説明する図である。
【図６】図６は、蛍光の遅延時間画像の一例を説明する図である。
【図７】図７は、距離画像の一例を説明する図である。
【図８】図８は、実施の形態２にかかる撮像装置の動作を説明するフローチャートである。
【図９】図９は、実施の形態２にかかる撮像装置の動作を説明する図である。
【図１０】図１０は、照射タイミング信号の他の一例を説明する図である。
【図１１】図１１は、遅延時間算出の他の一例を説明する図である。
【図１２】図１２は、励起光および照明光の波長と撮像波長帯の関係について説明する図である。
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。つまり、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示における技術を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
【００１１】
（実施の形態１）
以下、図１〜７を用いて、実施の形態１を説明する。
【００１２】
［１−１．構成］
図１は、実施の形態１にかかる撮像装置１００の具体的な構成を示す模式図である。
【００１３】
図１に示すように、本開示の撮像装置１００は、照明部１１０、画像取得部１２０、制御部１３０を備える。また、画像取得部１２０は、撮像部１２１、メモリ１２２、蛍光検出部１２３、測距部１２４を備える。
【００１４】
照明部１１０は、被写体２００に少なくとも１つの励起光と、照明光とを選択的に照射する。照明部１１０は例えば、照明光を発光する発光部と、少なくとも１つの励起光を発光する発光部とを有する。制御部１３０の制御に従って、いずれかの発光部が発光する構成としてもよい。照明部１１０は、励起光と照明光を切り替えて発光できるものであれば、どのような構成でも構わない。
【００１５】
本実施の形態の照明部１１０は、１つの励起光Ｌ１と照明光Ｌ２を発光する。制御部１３０は、所定の露出時間（１フレームの画像を撮像する期間）毎にどの光を発光するかを選択する。照明部１１０は、制御部１３０の制御に従って、選択された光を所定の照射タイミングで被写体２００に照射する。
【００１６】
ここで、照明光とは、被写体２００に照射し、被写体２００が反射した反射光を観測するための光とする。また、励起光は、被写体２００に照射することにより、被写体２００に蛍光を発生させる光とする。すなわち、励起光とは、被写体２００に照射し、被写体２００の蛍光を観測するための光である。また、本開示では、励起光を被写体２００に照射してから蛍光が生じるまでの遅延時間を示す画像を、蛍光の遅延時間画像と称する。蛍光の遅延時間画像は、蛍光が発生したために、撮像装置１００へ到達する時間に生じた遅延時間の値を画素毎に持った画像である。
【００１７】
本開示では、励起光Ｌ１として、紫外線（短波長光）を用いる。なお、励起光Ｌ１は、紫外線以外を用いてもよい。励起光Ｌ１は、撮像部１２１の撮像波長帯の上限付近の光や、撮像波長帯より短波長の光を用いてもよい。例えば、可視光を用いてもよい。なお、撮像波長帯は、撮像部１２１が撮像できる光の波長の範囲である。
【００１８】
また、本開示では、照明光Ｌ２として、近赤外線（長波長光）を用いる。なお、照明光Ｌ２は、撮像波長帯に含まれる波長の光であれば、近赤外線以外を用いてもよい。また、照明光Ｌ２には、撮像部１２１の撮像波長帯の下限付近の光を用いてもよい。
【００１９】
画像取得部１２０は、蛍光Ｌ３または反射光Ｌ４を受光する。蛍光Ｌ３は、励起光Ｌ１により被写体２００が放射した光である。反射光Ｌ４は、照明部１１０から照射された照明光Ｌ２を被写体２００が反射した光である。画像取得部１２０は、所定の露出時間内に、照射タイミングに同期した露光タイミングで露光する。画像取得部１２０は、所定の露出時間内に受光した蛍光Ｌ３と反射光Ｌ４とから、蛍光の遅延時間画像、及び、距離画像を取得する。本開示では、画像取得部１２０はモノクロカメラ（可視光、及び、近赤外線を撮像するカメラ）として説明する。画像取得部１２０は、例えば、内部に入出力ポート、プログラムなどを実行、格納などするためのメモリ、プロセッサなどを備える。
【００２０】
撮像部１２１は、イメージセンサ及びレンズなどの光学系を有する。本実施の形態では、撮像部１２１は、走査型ＣＭＯＳイメージセンサを有する。撮像部１２１は、撮像波長帯に含まれる、蛍光Ｌ３または反射光Ｌ４を撮像する。撮像部１２１は、露出時間内に、所定の露光タイミングで複数回露光動作を行い、画像を撮像する。撮像部１２１は撮像した画像をメモリ１２２に格納する。
【００２１】
メモリ１２２は、例えば、複数フレーム分の画像信号を記憶するように構成された画像信号用の記憶装置である、フレームメモリである。メモリ１２２は、例えば、ＤＲＡＭ等の高速動作が可能な半導体記憶素子で構成される。また、メモリ１２２は、制御部１３０の内部に設けるなど、画像取得部１２０の外部に設ける構成であってもよい。
【００２２】
蛍光検出部１２３は、撮像部１２１が蛍光Ｌ３と反射光Ｌ４を各々撮像した画像に基づき、励起光Ｌ１と照明光Ｌ２の往復遅延時間をそれぞれ算出する。蛍光検出部１２３は、励起光Ｌ１の往復遅延時間と、照明光Ｌ２の往復遅延時間とに基づき、遅延蛍光時間を算出する。蛍光検出部１２３は、算出された遅延蛍光時間に基づき、蛍光の遅延時間画像を生成する。
【００２３】
測距部１２４は、反射光Ｌ４を撮像した複数の画像から、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式を用いて、撮像部１２１から被写体２００までの距離を推定する。測距部１２４は、推定された撮像部１２１から被写体２００までの距離に基づき、被写体２００の距離画像を生成する。距離画像はデプスマップ（Ｄｅｐｔｈ  Ｍａｐ）とも呼ばれる。なお、反射光Ｌ４を撮像した複数の画像は、撮像部１２１が露出期間において撮像し、メモリ１２２に格納したものである。
【００２４】
制御部１３０は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部１３０は、照明部１１０が照射する光の選択や光の照射タイミング、撮像部１２１の露光タイミング、露出期間の長さである露出時間などを制御する。また、制御部１３０は、蛍光検出部１２３と測距部１２４の動作も制御する。
【００２５】
［１−２．動作］
以上のように構成された撮像装置について、図２を用いてその動作（撮像方法）を説明する。図２は、実施の形態１にかかる撮像装置１００の動作を説明するフローチャートである。
【００２６】
（ステップＳ２０１）
制御部１３０は、照射タイミング信号を用いて、照明部１１０が所定のタイミングで被写体２００に励起光Ｌ１を照射するよう制御する。照明部１１０は、照射タイミング信号に従って、被写体２００に励起光Ｌ１を照射する。本開示では、照明部１１０は励起光Ｌ１として、紫外線を用いる。
【００２７】
（ステップＳ２０２）
制御部１３０は、撮像部１２１の露光動作を、照射タイミング信号に同期させた露光タイミング信号を用いて制御する。制御部１３０は、露光タイミング信号を撮像部１２１に出力する。撮像部１２１は露光タイミング信号に従って、露光動作を行う。本開示においては、制御部１３０は、２種類の露光タイミング信号を撮像部１２１に出力する。すなわち、撮像部１２１は、照明部１１０の照射タイミング信号に同期して２種類の露光を行い、蛍光Ｌ３を撮像する。
【００２８】
励起光照射時の撮像装置１００の動作を、図３を用いて説明する。図３は、実施の形態１にかかる撮像装置１００の励起光照射時の動作を説明する図である。
【００２９】
図３は、時刻ｔ０から時刻ｔｎまでの露出期間における撮像装置１００の動作を示す。
【００３０】
図３に示す励起光の照射タイミング信号は、照明部１１０が励起光を照射するタイミングを制御するための照射タイミング信号を示す。励起光の照射タイミング信号がＯＮの場合は照射状態、ＯＦＦの場合は非照射状態を示す。図３に示す蛍光の受光強度変化は、励起光Ｌ１により被写体２００が放射する蛍光Ｌ３について、撮像部１２１に入射する蛍光Ｌ３の強度の時間変化を示す。図３は撮像部１２１の２種類の露光タイミングを制御するための、第１の露光タイミング信号、及び、第２の露光タイミング信号を示している。図３において、第１の露光タイミング信号、及び、第２の露光タイミング信号は、ＯＮが撮像部１２１の露光状態を示し、ＯＦＦが非露光状態を示す。図３に示す第１の露光タイミングの画像は、第１の露光タイミング信号に従って撮像した画像を示す模式図である。図３に示す第２の露光タイミングの画像は、第２の露光タイミング信号に従って撮像した画像を示す模式図である。
【００３１】
図３の励起光の照射タイミング信号に示すように、照明部１１０は、露出期間において、所定時間ｄ１毎に、励起光Ｌ１の照射と非照射の動作を繰り返す。このように、本開示では、蛍光の遅延時間画像、及び、距離画像を１回（１フレーム）撮像するために、励起光を複数回照射する。
【００３２】
図３に示すように、撮像部１２１は、励起光Ｌ１により被写体２００に発生した蛍光Ｌ３を受光する。撮像部１２１の蛍光Ｌ３の受光タイミングは、照明部１１０の照射タイミングに対して、被写体２００までの光の往復遅延時間（第１の遅延時間）と、励起光Ｌ１に反応して被写体２００に発生する遅延蛍光の発生時間（遅延蛍光時間）とを合わせた時間だけ遅れる。図３の例では、受光タイミングは、照射タイミングより時間ｄ２だけ遅延している。ここで、第２の遅延時間（第１の遅延時間＋遅延蛍光時間）ｄ２を検出するために、本開示の撮像部１２１は、時間変調させた２種類の露光タイミング信号に応じて被写体２００を撮像する。撮像部１２１は撮像した画像を、順次、メモリ１２２に格納する。
【００３３】
図３に示すように、第１及び第２の露光タイミング信号は、励起光の照射タイミング信号と同期している。第１の露光タイミング信号は照射タイミング信号と同位相の信号である。例えば、照明部１１０が照射している時刻ｔ０〜時刻ｔ１の期間においては、撮像部１２１は露光動作を行い、照明部１１０が励起光を照射していない時刻ｔ１〜時刻ｔ２の期間においては、撮像部１２１は露光動作を行わない。これに対して、第２の露光タイミング信号は、照射タイミング信号と逆位相の信号である。例えば、照明部１１０が励起光を照射している時刻ｔ０〜ｔ１の期間においては、露光動作を行わず、照明部１１０が照射していない時刻ｔ１〜ｔ２の期間においては、露光動作を行う。
【００３４】
図３に示すように、撮像部１２１は、第１の露光タイミング信号により露光している期間のうち蛍光Ｌ３を受光している期間は、露光を開始して時間ｄ２経過後から露光終了時間までの間である。撮像部１２１が１回の露光を完了すると、メモリ１２２に１枚の画像が格納される。
【００３５】
同様に、図３に示すように、撮像部１２１は、第２の露光タイミング信号による露光では、露光開始時から蛍光Ｌ３を受光している。撮像部１２１が、１回の露光を完了すると、メモリ１２２に一枚の画像が格納される。この場合、第２の露光タイミング信号による露光は、第１の露光タイミング信号による露光で受光できなかった蛍光Ｌ３を受光し、撮像する。すなわち、２つの露光により、１回照射された励起光Ｌ１に反応して発生した蛍光Ｌ３を漏れなく受光することが可能となる。
【００３６】
また、例えば、被写体２００が撮像装置１００の近くにある場合は、第１の遅延時間が短いので、第１の露光タイミング信号による露光で蛍光Ｌ３を撮像できる可能性が高くなる。これに対して、被写体２００が撮像装置１００より離れた位置にある場合は、第１の遅延時間が長くなるので、第２の露光タイミング信号による露光で蛍光Ｌ３を撮像できる可能性が高くなる。このように、１回の照射に対して、２回露光を行うことで、いずれか一方、または両方の露光で、蛍光Ｌ３を撮像することが可能となる。
【００３７】
撮像部１２１は、露出期間において、第１の露光タイミングに対応する画像と第２の露光タイミングに対応する画像とを、それぞれ、露光の回数だけ取得する。撮像部１２１は、第１の露光タイミングで撮像した複数の画像から画像Ａ１を取得する。また、撮像部１２１は、第２の露光タイミングで撮像した複数の画像から画像Ａ２を取得する。
【００３８】
このように、露出期間の間に、励起光を照射し、露光することを複数回繰り返す。励起光により被写体２００が放射する蛍光Ｌ３は一般的に強度が低い。蛍光Ｌ３の強度が低いため、蛍光Ｌ３を撮像した画像のノイズが問題となりうる。そこで、蛍光Ｌ３を撮像した複数の画像を足し合わせることにより、ＳＮ比を改善することができる。これにより、撮像部１２１において受光される蛍光Ｌ３の強度をより正確に推定できる。なお、第１の露光タイミングで撮像した複数の画像のすべてをメモリ１２２に記憶する必要はない。例えば、メモリ１２２に記憶された１つの画像に、新たに撮像された画像を演算により足し合わせてもよい。第２の露光タイミングで撮像した複数の画像についても同様である。
【００３９】
（ステップＳ２０３）
制御部１３０は、撮像部１２１が撮像開始後、露出時間経過したかどうかを判断する。制御部１３０は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部１３０は、撮像時間が露出時間に達していないと判断した場合は、ステップＳ２０１に戻る。制御部１３０は、撮像時間が露出時間に達していると判断した場合は、ステップＳ２０４に進む。
【００４０】
（ステップＳ２０４）
制御部１３０は、撮像部１２１が撮像した画像の画素毎に、第２の遅延時間を算出する。第２の遅延時間は、照明変調の１周期の範囲で考える。図３においては、例えば、照明変調の１周期は時刻ｔ０〜ｔ１の時間ｄ１を指す。図３の第２の遅延時間ｄ２は、ステップＳ２０２で得た位相の異なる第１の露光タイミングにおける露光量（露光中に撮像部１２１が受光した光の量）と第２の露光タイミングの露光量の違いに対応付けられる。例えば、第２の遅延時間ｄ２が、時間ｄ１／２の場合、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量の差は０になる。また、このとき第１の露光タイミング露光量と第２の露光タイミングの露光量の比は１になる。このように、時間ｄ１と第２の遅延時間ｄ２との比は、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量との比から推定できる。第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量の差または比と、第２の遅延時間ｄ２との関係を予め求めておき、露光結果から第２の遅延時間ｄ２を求めることができる。なお、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量との差に基づき第２の遅延時間ｄ２を求める場合、露光量の差は被写体との距離にも依存する。そこで、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量の和で正規化するなどしてから第２の遅延時間ｄ２と対応付ける。
【００４１】
（ステップＳ２０５）
制御部１３０は、照明光の照射タイミング信号を用いて、照明部１１０が所定のタイミングで被写体２００に照明光Ｌ２を照射するよう制御する。照明部１１０は、照明光の照射タイミング信号に従って、被写体２００に照明光Ｌ２を照射する。本開示では、照明部１１０は照明光Ｌ２として、近赤外線の照明を用いる。
【００４２】
（ステップＳ２０６）
制御部１３０は、撮像部１２１の露光動作を、照射タイミング信号に同期させた露光タイミング信号を用いて制御する。制御部１３０は、露光タイミング信号を撮像部１２１に出力する。撮像部１２１は露光タイミング信号に従って、露光動作を行う。本開示においては、制御部１３０は、２種類の露光タイミング信号を撮像部１２１に出力する。すなわち、撮像部１２１は、照明部１１０の照射タイミング信号に同期して２種類の露光を行い、反射光Ｌ４を撮像する。
【００４３】
照明光照射時の撮像装置１００の動作を、図４を用いて説明する。図４は、実施の形態１にかかる撮像装置１００の照明光照射時の動作を説明する図である。図４は、時刻ｔ０から時刻ｔｎまでの露出期間における撮像装置１００の動作を示す。
【００４４】
図４の照明光の照射タイミング信号は、照明部１１０が照明光を照射するタイミングを制御するための照射タイミング信号を示す。照明光の照射タイミング信号がＯＮの場合は照射状態、ＯＦＦの場合は非照射状態を示す。反射光の受光強度変化は、照明光Ｌ２を被写体２００が反射した反射光Ｌ４について、撮像部１２１に入射する反射光Ｌ４の強度の時間変化を示す。図４は、撮像部１２１の２種類の露光タイミングを制御するための、第１の露光タイミング信号、及び、第２の露光タイミング信号を示している。図４において、第１の露光タイミング信号、及び、第２の露光タイミング信号は、ＯＮが撮像部１２１の露光状態を示し、ＯＦＦが非露光状態を示す。図４に示す第１の露光タイミングの画像は、第１の露光タイミング信号に従って撮像した画像を示す模式図である。図４に示す第２の露光タイミングの画像は、第２の露光タイミング信号に従って撮像した画像を示す模式図である。
【００４５】
図４の照明光の照射タイミング信号に示すように、照明部１１０は、露出期間において、所定時間ｄ３毎に、照射と非照射の動作を繰り返す。このように、本開示では、距離画像を１回（１フレーム）撮像するために、照明光を複数回照射する。なお、励起光照射時の露出時間と照明光照射時の露出時間は同じである必要はない。励起光Ｌ１と照明光Ｌ２では、照明強度や撮像部１２１の感度が異なるため、露出時間は異なってもよい。また、複数の励起光を用いる場合も同様に、励起光毎に、露出時間を変更してもよい。
【００４６】
図４に示すように、撮像部１２１は、照明光Ｌ２を被写体２００が反射した反射光Ｌ４を受光する。撮像部１２１の反射光Ｌ４の受光タイミングは、照明部１１０の照射タイミングに対して、被写体２００までの光の往復遅延時間（第１の遅延時間）だけ遅れる。図４の例では、受光タイミングは、照射タイミングより時間ｄ４だけ遅延する。ここで、第１の遅延時間ｄ４を検出するために、本開示の撮像部１２１は、時間変調させた２種類の露光タイミング信号に応じて被写体２００を撮像する。撮像部１２１は撮像した画像を、順次、メモリ１２２に格納する。
【００４７】
図４に示すように、第１及び第２の露光タイミング信号は、照明光の照射タイミング信号と同期している。第１の露光タイミング信号は、照射タイミング信号と同位相の信号である。これに対して、第２の露光タイミング信号は、照射タイミング信号と逆位相の信号である。第１及び第２の露光タイミング信号は、図３の第１及び第２の露光タイミング信号と同様であるので、説明を省略する。
【００４８】
図４に示すように、撮像部１２１は、第１の露光タイミング信号により露光している期間のうち反射光Ｌ４を受光している期間は、露光を開始して時間ｄ３経過後から露光終了時間までの間である。撮像部１２１が１回の露光を完了すると、メモリ１２２に１枚の画像が格納される。
【００４９】
同様に、図４に示すように、撮像部１２１は、第２の露光タイミング信号による露光では、露光開始時から反射光Ｌ４を受光している。撮像部１２１が１回の露光を完了すると、メモリ１２２に一枚の画像が格納される。第２の露光タイミング信号による露光は、第１の露光タイミング信号による露光とは逆のタイミングで受光した反射光Ｌ４を撮像する。すなわち、２つの露光により、１回照射された照明光Ｌ２を反射した反射光Ｌ４を漏れなく受光することが可能となる。照明光Ｌ２を照射した場合も、励起光Ｌ１を照射した場合と同様に、撮像装置１００と被写体２００の位置関係により、第１の露光タイミング信号による露光か、第２の露光タイミング信号による露光のいずれか、又は両方で、反射光Ｌ４を撮像することが可能となる。
【００５０】
撮像部１２１は、露出期間において、第１の露光タイミングに対応する画像と、第２の露光タイミングに対応する画像とを、それぞれ、露光の回数だけ取得する。撮像部１２１は、第１の露光タイミングで撮像した複数の画像から画像Ｂ１を取得する。また、撮像部１２１は、第２の露光タイミングで撮像した複数の画像から画像Ｂ２を取得する。なお、通常の撮影画像は、画像Ｂ１と画像Ｂ２を用いて生成できる。
【００５１】
このように、露出期間の間に、照明光を照射し、露光することを複数回繰り返す。複数回の照明と露光を行うことで、蛍光Ｌ３を撮像するときと同様に、反射光Ｌ４の撮像におけるＳＮ比を向上させることができる。これにより、撮像部１２１において反射光Ｌ４の強度をより正確に推定できる。
【００５２】
（ステップＳ２０７）
制御部１３０は、撮像部１２１が撮像開始後、露出時間経過したかどうかを判断する。制御部１３０は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部１３０は、撮像時間が露出時間に達していないと判断した場合は、ステップＳ２０５に戻る。制御部１３０は、撮像時間が露出時間に達していると判断した場合は、ステップＳ２０８に進む。
【００５３】
（ステップＳ２０８）
ステップＳ２０４と同様の手順で、制御部１３０は、撮像部１２１が撮像した画像の画素毎に、第１の遅延時間ｄ４を算出する。ステップＳ２０４と同様に、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量の差または比と、第１の遅延時間ｄ４との関係を予め求めておき、露光結果から第１の遅延時間ｄ４を求めてもよい。
【００５４】
（ステップＳ２０９）
制御部１３０は、ステップＳ２０４で求めた第２の遅延時間ｄ２と、ステップＳ２０８で求めた第１の遅延時間ｄ４から、被写体２００の距離画像と蛍光の遅延時間画像を取得する。具体的には、制御部１３０は、測距部１２４を制御して、第１の遅延時間ｄ４に基づき、距離画像を生成する。測距部１２４は、画素毎に被写体２００までの距離Ｄ（ｍ）を算出し、距離画像を生成する。距離Ｄは、Ｄ＝（ｄ４／２）×光速で算出する。ここで、光速は、２９９，７９２，４５８（ｍ／ｓ）とする。
【００５５】
また、制御部１３０は、蛍光検出部１２３を制御して、画素毎に算出した第１の遅延時間ｄ４と、第２の遅延時間ｄ２とに基づき、蛍光の遅延時間画像を生成する。蛍光検出部１２３は、画素毎に遅延蛍光時間τを算出し、蛍光の遅延時間画像を生成する。遅延蛍光時間τは、τ＝ｄ２―ｄ４により算出する。生成された距離画像と蛍光の遅延時間画像はメモリ１２２に格納される。
【００５６】
以上が、一回の露出期間（１フレーム）に対する撮像装置１００の動作である。なお、必要に応じて、ステップＳ２０１〜ステップＳ２０９の動作を繰り返してもよい。複数回動作を繰り返すことで、距離画像や蛍光の遅延時間画像を、動画像として取得することができる。
【００５７】
以下、図５〜７を用いて、本実施の形態の具体例を説明する。図５は、被写体の一例を説明する図である。図６は、蛍光の遅延時間画像の一例を説明する図である。図７は、距離画像の一例を説明する図である。
【００５８】
図５は、撮像装置１００が撮像する被写体の一例である。３つ被写体５０１〜５０３は、各々撮像装置１００からの距離や遅延蛍光時間が異なっているとする。
【００５９】
図６は、被写体５０１〜５０３を実施の形態１の撮像方法で撮像して取得した蛍光の遅延時間画像６００を示す。矩形６０１〜６０３は各々被写体５０１〜５０３に対応する蛍光の遅延時間画像である。図６において、点線の矩形６０３は、被写体５０３には励起光Ｌ１によっては蛍光を発生しなかったことを示す。矩形６０１、矩形６０２は、被写体５０１、被写体５０２が蛍光を発生させたことを示し、被写体５０１の方が、遅延蛍光時間が長かったことを示す。
【００６０】
図７は、被写体５０１〜５０３を実施の形態１の撮像方法で撮像して取得した距離画像７００を示す。矩形７０１〜７０３は各々被写体５０１〜５０３に対応する蛍光の遅延時間画像である。図７は、被写体５０１が撮像装置１００から最も遠く、被写体５０３が撮像装置１００から最も近いことを示す。
【００６１】
図６、７より、例えば、被写体５０３は撮像装置１００に一番近い位置にあるが、励起光Ｌ１によって蛍光を発生させる蛍光物質は含んでいないことが分かる。また、被写体５０１は撮像装置１００に一番遠い位置にあるが、励起光Ｌ１によって蛍光を発生させることと、被写体５０１の遅延蛍光時間が分かる。
【００６２】
［１−３．効果等］
以上のように、本実施の形態において、撮像装置１００は、照明部１１０と、画像取得部１２０とを備える。照明部１１０は、被写体２００に少なくとも１つの励起光Ｌ１と、照明光Ｌ２とを照射する。画像取得部１２０は、励起光Ｌ１により被写体２００が発生した少なくとも１つの蛍光Ｌ３と、被写体２００が照明光Ｌ２を反射した反射光Ｌ４とを撮像する。画像取得部１２０は、さらに、蛍光Ｌ３の遅延時間と反射光Ｌ４の遅延時間とから生成した少なくとも１つの蛍光の遅延時間画像を取得する。画像取得部１２０は、反射光Ｌ４の遅延時間から生成した距離画像を取得する。
【００６３】
これにより、被写体２００に対する励起光Ｌ１の往復遅延時間ｄ２と照明光Ｌ２の往復遅延時間ｄ４を算出することができる。
【００６４】
従って、励起光Ｌ１に対する蛍光Ｌ３の往復遅延時間と、照明光Ｌ２に対する反射光Ｌ４の往復遅延時間との算出の処理を共通とすることができる。さらに、２種類の波長の光を照射することにより、高速に遅延蛍光時間τを測定することができる。また、機械的な切り替え機構を必要としないため、簡単な構成で実現できる。さらに、反射光Ｌ４の往復遅延時間から、撮像装置１００から被写体２００までの距離Ｄを得ることが出来る。遅延蛍光時間は物質固有の特性であり、離れた位置から被写体を構成する物質固有の特性を計測できるという効果がある。これにより、蛍光の遅延時間画像により、被写体２００の識別が容易となる。
【００６５】
同様にカラーカメラを用いて撮像部１２１を構成することで、遅延蛍光時間に加えて蛍光スペクトルの情報も得ることもできる。蛍光スペクトルの画像は、図３における画像Ａ１、Ａ２より生成できる。この場合、被写体を構成する物質固有の特性として遅延蛍光時間と蛍光スペクトルの双方が得られることから、物体認識や状態認識などにも有効である。
【００６６】
（実施の形態２）
以下、図８、９を用いて、実施の形態２を説明する。
【００６７】
［２−１．構成］
実施の形態２における撮像装置１００の具体的な構成は実施の形態１と同じであるが、動作が異なるので、動作のみを説明する。
【００６８】
実施の形態２の撮像装置１００において、照明部１１０は、露出期間に励起光と照明光を選択的に照射する。実施の形態２では、１種類の励起光と照明光を用いる場合を一例として説明する。実施の形態２の制御部１３０は、２つの照射タイミング信号と４つの露光タイミング信号を用いて、照明部１１０と撮像部１２１を制御する。
【００６９】
図８は、実施の形態２にかかる撮像装置１００の動作（撮像方法）を説明するフローチャートである。図９は実施の形態２にかかる撮像装置１００の動作を説明する図である。
【００７０】
図９は露出時間における照明部１１０、撮像部１２１を制御するタイミング信号の一例を示す。図９は、第１の照射タイミング信号、第２の照射タイミング信号、撮像部１２１の受光強度変化のタイミング、第１の露光タイミング信号、第２の露光タイミング信号、第３の露光タイミング信号、第４の露光タイミング信号を示す。なお、受光強度変化のタイミングは、撮像部１２１に入射する蛍光Ｌ３や反射光Ｌ４の強度が変化するタイミングを示している。撮像部１２１に実際に入射する光の強度や波形は、蛍光Ｌ３と反射光Ｌ４とで異なるが、図９においては、光の強度が変化するタイミングに着目して模式的に表している。
【００７１】
［２−２．動作］
（ステップＳ８０１）
制御部１３０は、照射タイミング信号を用いて、照明部１１０を制御する。照明部１１０は、照射タイミング信号に基づき、被写体２００に露出期間内に励起光Ｌ１と照明光Ｌ２を選択的に照射する。実施の形態２では、制御部１３０は２つの照射タイミング信号を用いて、１種類の励起光と、照明光とを制御する。照明部１１０は、２つの照射タイミング信号に基づき、露出期間に励起光Ｌ１と照明光Ｌ２を交互に照射する。図９に示すように、照明部１１０は第１の照射タイミング信号に従って、時刻ｔ０から時刻ｔ１まで被写体２００に励起光Ｌ１を照射する。次に、照明部１１０は第２のタイミング信号に従って、時刻ｔ２から時刻ｔ３まで照明光Ｌ２を被写体２００に照射する。次に、照明部１１０は第１のタイミング信号に従って、時刻ｔ４から励起光Ｌ１を被写体２００に照射する。このように、照明部１１０は２つの照射タイミング信号に従って、励起光Ｌ１と照明光Ｌ２の照射を交互に繰り返す。
【００７２】
（ステップＳ８０２）
制御部１３０は、４つの露光タイミング信号を用いて、撮像部１２１の露光動作を制御する。図９に示すように、撮像装置１００は、被写体２００からの蛍光Ｌ３と反射光Ｌ４を交互に受光する。
【００７３】
撮像部１２１は、照射タイミング信号毎に、照射タイミング信号に同期し、位相が異なる２つの露光タイミング信号に応じて４種類の露光を行う。これは、励起光Ｌ１に対する蛍光Ｌ３の遅延と、照明光Ｌ２に対する反射光Ｌ４の遅延が異なるためである。
【００７４】
第１および第２の露光タイミング信号は、第１の照射タイミング信号で照射した励起光Ｌ１に対応する蛍光Ｌ３を撮像する。この動作は、実施の形態１のステップＳ２０２と同様である。
【００７５】
第３および第４の露光タイミング信号は、第２の照射タイミング信号で照射した照明光Ｌ２を反射した反射光Ｌ４を撮像する。この動作は、実施の形態１のＳ２０６と同様である。
【００７６】
（ステップＳ８０３）
制御部１３０は、撮像部１２１が撮像開始後、露出時間だけ時間が経過したかどうかを判断する。制御部１３０は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部１３０は、撮像時間が露出時間に達していると判断した場合は、ステップＳ８０４へ進み、露出時間に達していないと判断した場合は、ステップＳ８０１に戻る。
【００７７】
（ステップＳ８０４）
制御部１３０は、蛍光Ｌ３の第２の遅延時間ｐ１を画素ごとに算出する。第２の遅延時間ｐ１は、照明変調の１周期の範囲（ここでは、時刻ｔ０〜ｔ１の時間）で考える。また、第２の遅延時間ｐ１は、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量とから推定される。例えば、第１の露光量と第２の露光量の差や比率と、第２の遅延時間ｐ１との関係を予め求めておき、露光結果から第２の遅延時間ｐ１を求めてもよい。
【００７８】
（ステップＳ８０５）
制御部１３０は、反射光Ｌ４の第１の遅延時間ｐ２を画素ごとに算出する。第１の遅延時間ｐ２は、照明変調の１周期の範囲（ここでは、時刻ｔ２〜ｔ３の時間）で考える。また、第１の遅延時間ｐ２は、第３の露光タイミングにおける露光量と第４の露光タイミングにおける露光量とから推定される。例えば、第３の露光量と第４の露光量の差や比率と、第１の遅延時間ｐ２との関係を予め求めておき、露光結果から第１の遅延時間ｐ２を求める。
【００７９】
（ステップＳ８０６）
ステップＳ２０９と同等の手続きで、制御部１３０は、蛍光検出部１２３と測距部１２４とを用いて、距離画像と蛍光の遅延時間画像を生成する。蛍光検出部１２３は、第１の遅延時間ｐ２と第２の遅延時間ｐ１を用いて、蛍光の遅延時間画像を生成する。測距部１２４は、第１の遅延時間ｐ２を用いて距離画像を生成する。生成された距離画像と蛍光の遅延時間画像とは、メモリ１２２に格納される。
【００８０】
以上が、一回の露出期間（１フレーム）に対する処理が完了するまでのステップである。必要に応じて、ステップＳ８０１〜ステップＳ８０６を繰り返すことで、距離画像や蛍光の遅延時間画像を動画像として得ることができる。
【００８１】
［２−３．効果等］
以上のように、本実施の形態２の撮像装置１００において、照明部１１０は所定の露出時間内に励起光Ｌ１と照明光Ｌ２を選択的に照射する。また、画像取得部１２０は、蛍光Ｌ３および反射光Ｌ４を各々２つの露光タイミングで撮像する。
【００８２】
これにより、一回の露出時間で、被写体２００に対する励起光Ｌ１の往復遅延時間ｄ２と照明光Ｌ２の往復遅延時間ｄ４を算出することができる。
【００８３】
従って、蛍光の遅延時間画像と距離画像を同じタイミングで取得することができる。特に、被写体２００が移動している場合など、各画素における蛍光Ｌ３や反射光Ｌ４の大きさが時間変化するため、蛍光Ｌ３と反射光Ｌ４を異なるタイミングで取得することにより、誤差が大きくなる恐れがある。これは、蛍光Ｌ３と反射光Ｌ４の遅延時間の差が影響する蛍光Ｌ３においてより顕著である。実施の形態２の撮像装置１００は、ほぼ同じタイミングに蛍光Ｌ３と反射光Ｌ４を撮像する。ほぼ同じタイミングに撮像された蛍光Ｌ３と反射光Ｌ４に基づき、蛍光の遅延時間画像と距離画像を取得することにより、被写体２００の移動等による影響を抑えることができる。
【００８４】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００８５】
そこで、以下、他の実施の形態を例示する。
【００８６】
本開示では、第１の露光タイミング信号と第２の露光タイミング信号とは、ＯＮするタイミングが異なっていればよい。第１の露光タイミング信号と第２の露光タイミング信号とは、照射タイミング信号に対して、同位相の信号または逆位相の信号でも構わない。例えば、１つの露光タイミング信号は、照射タイミング信号を逆位相とし、他の露光タイミング信号は、照射タイミング信号に対して、例えば、１／４周期だけずれていてもよい。また、照射タイミング信号に同期しつつ、周期がより短い露光タイミング信号の組み合わせでも以下同様の手順を行うことができる。例えば、周期の長さを２倍とし、４種類の露光タイミング信号で露光動作を行ってもよい。これは、実施の形態２における第３の露光タイミング信号と第４の露光タイミング信号の関係も同様である。なお、上記撮像では、必要に応じて照明による反射光の影響を低減するため、紫外線カットフィルタ（光学フィルタ）を通じて撮像することが望ましい。
【００８７】
本開示では照明部１１０の発光強度の変化を矩形として説明したが、他の変調波形でも同様の効果を得ることができる。図１０は、照射タイミング信号の他の一例を説明する図である。照射タイミング信号は、例えば、図１０に示すように発光強度の波形が三角関数のような形状でもよい。図１０は、照射タイミング信号、受光強度変化のタイミング、第１の露光タイミング信号、第２の露光タイミング信号を示している。照射タイミング信号は、照明部１１０が照明光Ｌ２を照射するタイミングを制御するための信号である。受光強度変化のタイミングは、撮像部１２１が受光する反射光Ｌ４の強度の時間変化を示したものである。なお、反射光Ｌ４は、照明部１１０が照射した照明光Ｌ２に対する被写体２００からの反射光である。図１０において、照射タイミング信号の高低は、照明光Ｌ２の強度を表す。また、図１０に示す、第１の露光タイミング信号、及び、第２の露光タイミング信号において、矩形の上辺は露光状態、下辺は非露光出状態を示す。
【００８８】
本開示では、時間位相の異なる２種類の露光タイミング信号の差や比に対応付けて、反射光について第１の遅延時間を、蛍光について第２の遅延時間を求めたが、他の方法によって遅延時間を求めても良い。
【００８９】
図１１を用いて遅延時間を求める他の方法を説明する。図１１は、照射タイミング信号、受光強度変化のタイミング、カウンタのタイミングを示す。照射タイミング信号は、照明部１１０が照明光Ｌ２や励起光Ｌ１を照射するタイミングを示す。受光強度変化のタイミングは、撮像部１２１が受光する反射光Ｌ４または蛍光Ｌ３の強度が変化するタイミングを模式的に示す。カウンタのタイミングは、遅延時間をカウントするためのカウンタ信号が変化するタイミングを示す。ここで、カウンタ信号のカウント周期は、発光周期や遅延時間に対して充分に短く設定する。撮像部１２１は、カウンタ信号が、ＯＮ状態のみ、ＯＦＦ状態のみ、または、ＯＮ状態とＯＦＦ状態の両方で露光する。遅延時間の計測においては、露光量が予め定めた量を超えるまでのカウント数を遅延時間とする。例えば、図１１の場合は、時刻ｔ０から受光量を計測し、時刻ｔ４時点で受光量が予め定めた量を越えたとする。この場合、遅延時間はカウンタの２周期分の時間ｓ１となる。各照明に対する遅延時間が求まった後は実施の形態１、２と同様の手順で蛍光画像と距離画像を得ることが出来る。なお、カウンタ式以外にも時間計測可能な回路に置き換えてもよい。
【００９０】
また、本開示では、励起光は１種類で説明したが、２種類以上の励起光（短波長照明）を切り替えて用いてもよい。この場合、励起光の種類に応じて、異なる照射タイミング信号を用いてもよい。励起光毎に、励起光が１種類の場合と同様の動作を行い、蛍光の遅延時間画像を取得する。これにより、被写体の中に異なる複数の蛍光物質が存在する場合、異なる複数の照明を用いることで、いずれかの照明により効果的に蛍光発光を得られる可能性が高まる。
【００９１】
また、実施の形態１において励起光と照明光は異なるタイミングで照射したが、同じタイミング（逆位相でも可）で照射してもよい。この場合、撮像部１２１において、被写体から得られる蛍光と反射光を光学的に分離（波長分離）して取得することで蛍光の遅延時間画像と距離画像を取得してもよい。例えば、ベイヤー配列カメラのようなカラーカメラのカラーフィルタの一部に、蛍光波長帯をカットして近赤外光を透過するフィルタを設けることで実現できる。この構成においては、ＲＧＢフィルタを通じた光が入射する画素から蛍光の遅延時間を取得する。さらに、可視光を遮断する近赤外線フィルタを通じた光が入射する画素から反射光の遅延時間を取得する。蛍光の遅延時間と反射光の遅延時間とから、蛍光の遅延時間画像、及び、距離画像を取得する。ここで、撮像部は、ベイヤー配列カラーカメラを用いる以外に、ダイクロイックミラーやダイクロイックプリズムを用いた複数撮像素子で構成にしてもよい。この構成では、１フレームの露出中に図３のような２種類の露光タイミング信号を用いるだけで蛍光の遅延時間画像と距離画像を同時に取得することができる。
【００９２】
また、本開示では、撮像部１２１の画像を２次元画像で説明したが、１次元（ライン画像）や１画素のみの場合でも適用し、同様の効果を得ることが出来る。
【００９３】
また、本実施の形態の撮像部１２１は、モノクロカメラを想定して説明したが、カラーカメラやマルチバンドカメラで撮像しても同様の効果を得ることが出来る。この場合、ステップＳ２０２では、カラーカメラの波長バンド数に応じた蛍光スペクトル撮像が可能となる。これにより、被写体２００の蛍光の遅延時間画像と蛍光スペクトル画像と距離画像の３通りの情報を取得することができる。なお、蛍光スペクトル画像とは、複数の波長帯について、被写体２００が放射する蛍光のその波長帯における強度を示したものである。蛍光スペクトル画像を取得できることにより、複数の被写体２００の蛍光の遅延時間が同等であっても、蛍光スペクトル画像により区別できる可能性がある。すなわち、蛍光スペクトル画像を取得できることにより、撮像装置１００の識別能力を向上させることができる。
【００９４】
また、本開示では複数の露光後に、露光回数分の画像を取得するとしたが、露光毎に同一メモリに加算蓄積を行い、複数の露光後に１枚の画像を取得するようにしてもよい。
【００９５】
図１２を用いて、励起光Ｌ１、照明光Ｌ２の波長と、撮像部１２１の撮像波長帯の関係について説明する。図１２の横軸は、光の波長を示している。横軸の右側が短波長側であり、左側が長波長側である。図１２の縦軸は、光の強度を示している。可視光は、目で視認可能な波長帯を示している。撮像波長帯は、撮像部１２１が撮像可能な波長帯を示している。
【００９６】
照明部１１０が励起光Ｌ１を被写体２００に照射すると、被写体２００は、蛍光Ｌ３を放射するとともに、励起光Ｌ１を反射した反射光Ｌ５を出射する。反射光Ｌ５の波長は、励起光Ｌ１の波長と同じである。被写体２００の励起光Ｌ１の波長における反射率によるが、一般的に反射光Ｌ５の強度は、蛍光Ｌ３の強度よりも強い。照明部１１０が照明光Ｌ２を被写体に照射すると、被写体２００は、照明光Ｌ２を反射した反射光Ｌ４を出射する。反射光Ｌ４の波長は、照明光Ｌ２の波長と同じである。被写体２００は、照明光Ｌ２により蛍光Ｌ６を放射するが、蛍光Ｌ６は、反射光Ｌ４よりも波長が長く、一般的には反射光Ｌ４よりも強度が弱い。
【００９７】
本開示の実施の形態１および実施の形態２においては、撮像部１２１（画像取得部）は、撮像波長帯の光を撮像する。撮像波長帯は、撮像部１２１に用いるイメージセンサやフィルタの特性によって限定された波長帯である。照明光Ｌ２の波長は、撮像波長帯に含まれるように設定される。励起光Ｌ１の波長は、撮像波長帯に含まれず、撮像波長帯より短い波長であることが望ましい。これにより、撮像部１２１は、蛍光Ｌ３と反射光Ｌ５とのうち、蛍光Ｌ３のみを撮像できる。一般に反射光Ｌ５の強度は蛍光Ｌ３の強度より強いため、蛍光Ｌ３の遅延時間を計測するときに、無視できないノイズとなる恐れがある。励起光Ｌ１の波長が撮像波長帯より短いことにより、撮像部１２１は、撮像波長帯に含まれる蛍光Ｌ３の遅延時間を、より正確に計測することができる。
【００９８】
ここで、撮像部１２１は、撮像波長帯を限定するためのフィルタを有してもよい。図１２の撮像波長帯の破線部のように、撮像波長帯が励起光Ｌ１の波長を含む場合、反射光Ｌ５がノイズとなり、蛍光Ｌ３の遅延時間を正確に計測できない恐れがある。撮像部１２１に、励起光Ｌ１の波長を遮断するフィルタを用いることにより、撮像部１２１は、撮像波長帯に含まれる蛍光Ｌ３の遅延時間を、より正確に計測することができる。
【００９９】
なお、撮像部１２１にカラーフィルタを用いて撮像する場合、撮像部１２１の撮像波長帯は、カラーフィルタにより限定される。カラーフィルタがＲＧＢフィルタである場合、撮像部１２１は、ＲＧＢフィルタのそれぞれの色に対応した複数の撮像波長帯を有する。励起光Ｌ１により励起される蛍光Ｌ３は、被写体２００を構成する物質に依存して、様々な波長をとり得る。撮像部１２１は、複数の異なる撮像波長帯を有することにより、波長の異なる複数の蛍光Ｌ３を識別できる場合がある。このように、撮像部１２１は、複数の撮像波長帯を有することにより、蛍光の遅延時間画像とともに蛍光スペクトルを取得できるように構成することができる。
【０１００】
本開示の撮像装置１００は、励起光Ｌ１として紫外線を用い、さらに、照明光Ｌ２として赤外線を用いることが望ましい。特に、照明光Ｌ２の波長は、目に視認されにくく、イメージセンサの感度は比較的高い、近赤外線であることが望ましい。照明光Ｌ２の波長は、具体的には、７８０ｎｍ以上であることが望ましい。これにより、図１２に示すように、照明光Ｌ２、反射光Ｌ４、照明光Ｌ２により励起される蛍光Ｌ６を可視光の帯域に含まれないようにできる。これにより、撮像装置１００による撮像を視認されにくくすることができる。また、励起光Ｌ１として紫外線を用いることにより、励起光Ｌ１、反射光Ｌ５を可視光の帯域に含まれないようにできる。なお、励起光Ｌ１は、撮像部１２１の撮像波長帯に含まれていないため、反射光Ｌ５を用いて遅延時間を計測することは難しい。励起光と異なる波長の照明光Ｌ２を用いることにより、撮像部１２１が単一の撮像波長帯だけを有する場合であっても、反射光の遅延時間を計測することができる。すなわち、撮像部１２１の撮像波長帯が励起光Ｌ１の波長を含まず、かつ、照明光Ｌ２の波長が可視光の波長より長いことにより、撮像時に視認されにくくすることができる。
【０１０１】
ここで、励起光Ｌ１が励起する蛍光Ｌ３の波長は、可視光の帯域に含まれる場合が多い。しかしながら、撮像部１２１が蛍光Ｌ３を高い感度で撮像することにより、蛍光Ｌ３の強度が弱くても、蛍光の遅延時間画像を取得できる。この場合、励起光Ｌ１の照射強度を抑えることにより、蛍光Ｌ３を視認されにくくすることができる。照明部１１０は、励起光Ｌ１または照明光Ｌ２を所定の照射タイミングで照射し、撮像部１２１は、照射タイミングに同期した露光タイミングに露光することを所定の露出時間の間繰り返す。これにより、ＳＮ比を高くすることができ、蛍光Ｌ３を高い感度で撮像することができる。また、撮像部１２１は、照明部１１０が励起光Ｌ１を照射しているときと、照明光Ｌ２を照射しているときとで、所定の露出時間を変更してもよい。これにより、特に蛍光Ｌ３に対する撮像部１２１の感度を高くすることができる。
【０１０２】
なお、撮像部１２１は、励起光Ｌ１を蛍光Ｌ３の遅延時間以上の長さ照射して撮像した画像と、励起光Ｌ１を照射せずに撮像したときの画像との差から、被写体２００が放射する蛍光Ｌ３の強度を推定してもよい。
【０１０３】
また、本開示の撮像装置において、各機能構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１０４】
また、上述した各種処理（例えば、図２、図８に示す手順）の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、ソフトウェアによる処理は、撮像装置に含まれるプロセッサがメモリに記憶された制御プログラムを実行することにより実現されるものである。加えて、上記実施の形態の各処理をソフトウェアで実現する場合に、処理の一部あるいは全体を別々のハードウェアで行ってもよい。
【０１０５】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１０６】
本開示は、撮像装置に適用可能である。具体的には、ロボットビジョンや監視カメラに、本開示は適用可能である。
【符号の説明】
【０１０７】
１００  撮像装置
１１０  照明部
１２０  画像取得部
１２１  撮像部
１２２  メモリ
１２３  蛍光検出部
１２４  測距部
１３０  制御部
２００  被写体
６００  蛍光の遅延時間画像
７００  距離画像
Ｌ１  励起光
Ｌ２  照明光
Ｌ３  蛍光
Ｌ４  反射光
【図１】
2017038015.tif 000003
【図２】
2017038015.tif 000004
【図３】
2017038015.tif 000005
【図４】
2017038015.tif 000006
【図５】
2017038015.tif 000007
【図６】
2017038015.tif 000008
【図７】
2017038015.tif 000009
【図８】
2017038015.tif 000010
【図９】
2017038015.tif 000011
【図１０】
2017038015.tif 000012
【図１１】
2017038015.tif 000013
【図１２】
2017038015.tif 000014
【手続補正書】
【提出日】平成29年10月11日(2017.10.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像対象に光を照射して撮像する撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、励起光照射によって対象物で発生した蛍光の画像を撮像する蛍光イメージング装置を開示する。特許文献１は、蛍光画像の各画素について蛍光強度変化の変調度および位相を求め、蛍光画像中の基準点に対する他画素の位相差を求め、蛍光画像の各画素の蛍光成分の判別と基準点からの相対的距離を求める。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−８７１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、被写体の蛍光の遅延時間画像を撮像するために有効な撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示における撮像装置は、照明部と、画像取得部とを備える。照明部は、被写体に少なくとも１つの励起光と、照明光とを照射する。画像取得部は、励起光により被写体が放射する少なくとも１つの蛍光と、被写体が照明光を反射した反射光とを撮像する。画像取得部は、さらに、励起光の入射から蛍光を放射するまでの遅延時間から生成した少なくとも１つの蛍光の遅延時間画像を取得する。
【０００６】
本開示における撮像方法は、被写体に少なくとも１つの励起光と、照明光とを照射する。さらに、被写体が照明光を反射した反射光と、励起光により被写体が発生した蛍光を撮像する。撮像した結果に基づき、少なくとも１つの蛍光の遅延時間画像を取得する。
【発明の効果】
【０００７】
本開示における撮像装置は、被写体から離れた位置から被写体の蛍光の遅延時間画像を取得することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態１にかかる撮像装置の具体的な構成を示す模式図である。
【図２】図２は、実施の形態１にかかる撮像装置の動作を説明するフローチャートである。
【図３】図３は、実施の形態１にかかる撮像装置の励起光照射時の動作を説明する図である。
【図４】図４は、実施の形態１にかかる撮像装置の照明光照射時の動作を説明する図である。
【図５】図５は、被写体の一例を説明する図である。
【図６】図６は、蛍光の遅延時間画像の一例を説明する図である。
【図７】図７は、距離画像の一例を説明する図である。
【図８】図８は、実施の形態２にかかる撮像装置の動作を説明するフローチャートである。
【図９】図９は、実施の形態２にかかる撮像装置の動作を説明する図である。
【図１０】図１０は、照射タイミング信号の他の一例を説明する図である。
【図１１】図１１は、遅延時間算出の他の一例を説明する図である。
【図１２】図１２は、励起光および照明光の波長と撮像波長帯の関係について説明する図である。
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。つまり、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示における技術を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
【００１１】
（実施の形態１）
以下、図１〜７を用いて、実施の形態１を説明する。
【００１２】
［１−１．構成］
図１は、実施の形態１にかかる撮像装置１００の具体的な構成を示す模式図である。
【００１３】
図１に示すように、本開示の撮像装置１００は、照明部１１０、画像取得部１２０、制御部１３０を備える。また、画像取得部１２０は、撮像部１２１、メモリ１２２、蛍光検出部１２３、測距部１２４を備える。
【００１４】
照明部１１０は、被写体２００に少なくとも１つの励起光と、照明光とを選択的に照射する。照明部１１０は例えば、照明光を発光する発光部と、少なくとも１つの励起光を発光する発光部とを有する。制御部１３０の制御に従って、いずれかの発光部が発光する構成としてもよい。照明部１１０は、励起光と照明光を切り替えて発光できるものであれば、どのような構成でも構わない。
【００１５】
本実施の形態の照明部１１０は、１つの励起光Ｌ１と照明光Ｌ２を発光する。制御部１３０は、所定の露出時間（１フレームの画像を撮像する期間）毎にどの光を発光するかを選択する。照明部１１０は、制御部１３０の制御に従って、選択された光を所定の照射タイミングで被写体２００に照射する。
【００１６】
ここで、照明光とは、被写体２００に照射し、被写体２００が反射した反射光を観測するための光とする。また、励起光は、被写体２００に照射することにより、被写体２００に蛍光を発生させる光とする。すなわち、励起光とは、被写体２００に照射し、被写体２００の蛍光を観測するための光である。また、本開示では、励起光を被写体２００に照射してから蛍光が生じるまでの遅延時間を示す画像を、蛍光の遅延時間画像と称する。蛍光の遅延時間画像は、蛍光が発生したために、撮像装置１００へ到達する時間に生じた遅延時間の値を画素毎に持った画像である。
【００１７】
本開示では、励起光Ｌ１として、紫外線（短波長光）を用いる。なお、励起光Ｌ１は、紫外線以外を用いてもよい。励起光Ｌ１は、撮像部１２１の撮像波長帯の上限付近の光や、撮像波長帯より短波長の光を用いてもよい。例えば、可視光を用いてもよい。なお、撮像波長帯は、撮像部１２１が撮像できる光の波長の範囲である。
【００１８】
また、本開示では、照明光Ｌ２として、近赤外線（長波長光）を用いる。なお、照明光Ｌ２は、撮像波長帯に含まれる波長の光であれば、近赤外線以外を用いてもよい。また、照明光Ｌ２には、撮像部１２１の撮像波長帯の下限付近の光を用いてもよい。
【００１９】
画像取得部１２０は、蛍光Ｌ３または反射光Ｌ４を受光する。蛍光Ｌ３は、励起光Ｌ１により被写体２００が放射した光である。反射光Ｌ４は、照明部１１０から照射された照明光Ｌ２を被写体２００が反射した光である。画像取得部１２０は、所定の露出時間内に、照射タイミングに同期した露光タイミングで露光する。画像取得部１２０は、所定の露出時間内に受光した蛍光Ｌ３と反射光Ｌ４とから、蛍光の遅延時間画像、及び、距離画像を取得する。本開示では、画像取得部１２０はモノクロカメラ（可視光、及び、近赤外線を撮像するカメラ）として説明する。画像取得部１２０は、例えば、内部に入出力ポート、プログラムなどを実行、格納などするためのメモリ、プロセッサなどを備える。
【００２０】
撮像部１２１は、イメージセンサ及びレンズなどの光学系を有する。本実施の形態では、撮像部１２１は、走査型ＣＭＯＳイメージセンサを有する。撮像部１２１は、撮像波長帯に含まれる、蛍光Ｌ３または反射光Ｌ４を撮像する。撮像部１２１は、露出時間内に、所定の露光タイミングで複数回露光動作を行い、画像を撮像する。撮像部１２１は撮像した画像をメモリ１２２に格納する。
【００２１】
メモリ１２２は、例えば、複数フレーム分の画像信号を記憶するように構成された画像信号用の記憶装置である、フレームメモリである。メモリ１２２は、例えば、ＤＲＡＭ等の高速動作が可能な半導体記憶素子で構成される。また、メモリ１２２は、制御部１３０の内部に設けるなど、画像取得部１２０の外部に設ける構成であってもよい。
【００２２】
蛍光検出部１２３は、撮像部１２１が蛍光Ｌ３と反射光Ｌ４を各々撮像した画像に基づき、励起光Ｌ１と照明光Ｌ２の往復遅延時間をそれぞれ算出する。蛍光検出部１２３は、励起光Ｌ１の往復遅延時間と、照明光Ｌ２の往復遅延時間とに基づき、遅延蛍光時間を算出する。蛍光検出部１２３は、算出された遅延蛍光時間に基づき、蛍光の遅延時間画像を生成する。
【００２３】
測距部１２４は、反射光Ｌ４を撮像した複数の画像から、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式を用いて、撮像部１２１から被写体２００までの距離を推定する。測距部１２４は、推定された撮像部１２１から被写体２００までの距離に基づき、被写体２００の距離画像を生成する。距離画像はデプスマップ（Ｄｅｐｔｈ  Ｍａｐ）とも呼ばれる。なお、反射光Ｌ４を撮像した複数の画像は、撮像部１２１が露出期間において撮像し、メモリ１２２に格納したものである。
【００２４】
制御部１３０は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部１３０は、照明部１１０が照射する光の選択や光の照射タイミング、撮像部１２１の露光タイミング、露出期間の長さである露出時間などを制御する。また、制御部１３０は、蛍光検出部１２３と測距部１２４の動作も制御する。
【００２５】
［１−２．動作］
以上のように構成された撮像装置について、図２を用いてその動作（撮像方法）を説明する。図２は、実施の形態１にかかる撮像装置１００の動作を説明するフローチャートである。
【００２６】
（ステップＳ２０１）
制御部１３０は、照射タイミング信号を用いて、照明部１１０が所定のタイミングで被写体２００に励起光Ｌ１を照射するよう制御する。照明部１１０は、照射タイミング信号に従って、被写体２００に励起光Ｌ１を照射する。本開示では、照明部１１０は励起光Ｌ１として、紫外線を用いる。
【００２７】
（ステップＳ２０２）
制御部１３０は、撮像部１２１の露光動作を、照射タイミング信号に同期させた露光タイミング信号を用いて制御する。制御部１３０は、露光タイミング信号を撮像部１２１に出力する。撮像部１２１は露光タイミング信号に従って、露光動作を行う。本開示においては、制御部１３０は、２種類の露光タイミング信号を撮像部１２１に出力する。すなわち、撮像部１２１は、照明部１１０の照射タイミング信号に同期して２種類の露光を行い、蛍光Ｌ３を撮像する。
【００２８】
励起光照射時の撮像装置１００の動作を、図３を用いて説明する。図３は、実施の形態１にかかる撮像装置１００の励起光照射時の動作を説明する図である。
【００２９】
図３は、時刻ｔ０から時刻ｔｎまでの露出期間における撮像装置１００の動作を示す。
【００３０】
図３に示す励起光の照射タイミング信号は、照明部１１０が励起光を照射するタイミングを制御するための照射タイミング信号を示す。励起光の照射タイミング信号がＯＮの場合は照射状態、ＯＦＦの場合は非照射状態を示す。図３に示す蛍光の受光強度変化は、励起光Ｌ１により被写体２００が放射する蛍光Ｌ３について、撮像部１２１に入射する蛍光Ｌ３の強度の時間変化を示す。図３は撮像部１２１の２種類の露光タイミングを制御するための、第１の露光タイミング信号、及び、第２の露光タイミング信号を示している。図３において、第１の露光タイミング信号、及び、第２の露光タイミング信号は、ＯＮが撮像部１２１の露光状態を示し、ＯＦＦが非露光状態を示す。図３に示す第１の露光タイミングの画像は、第１の露光タイミング信号に従って撮像した画像を示す模式図である。図３に示す第２の露光タイミングの画像は、第２の露光タイミング信号に従って撮像した画像を示す模式図である。
【００３１】
図３の励起光の照射タイミング信号に示すように、照明部１１０は、露出期間において、所定時間ｄ１毎に、励起光Ｌ１の照射と非照射の動作を繰り返す。このように、本開示では、蛍光の遅延時間画像、及び、距離画像を１回（１フレーム）撮像するために、励起光を複数回照射する。
【００３２】
図３に示すように、撮像部１２１は、励起光Ｌ１により被写体２００に発生した蛍光Ｌ３を受光する。撮像部１２１の蛍光Ｌ３の受光タイミングは、照明部１１０の照射タイミングに対して、被写体２００までの光の往復遅延時間（第１の遅延時間）と、励起光Ｌ１に反応して被写体２００に発生する遅延蛍光の発生時間（遅延蛍光時間）とを合わせた時間だけ遅れる。図３の例では、受光タイミングは、照射タイミングより時間ｄ２だけ遅延している。ここで、第２の遅延時間（第１の遅延時間＋遅延蛍光時間）ｄ２を検出するために、本開示の撮像部１２１は、時間変調させた２種類の露光タイミング信号に応じて被写体２００を撮像する。撮像部１２１は撮像した画像を、順次、メモリ１２２に格納する。
【００３３】
図３に示すように、第１及び第２の露光タイミング信号は、励起光の照射タイミング信号と同期している。第１の露光タイミング信号は照射タイミング信号と同位相の信号である。例えば、照明部１１０が照射している時刻ｔ０〜時刻ｔ１の期間においては、撮像部１２１は露光動作を行い、照明部１１０が励起光を照射していない時刻ｔ１〜時刻ｔ２の期間においては、撮像部１２１は露光動作を行わない。これに対して、第２の露光タイミング信号は、照射タイミング信号と逆位相の信号である。例えば、照明部１１０が励起光を照射している時刻ｔ０〜ｔ１の期間においては、露光動作を行わず、照明部１１０が照射していない時刻ｔ１〜ｔ２の期間においては、露光動作を行う。
【００３４】
図３に示すように、撮像部１２１は、第１の露光タイミング信号により露光している期間のうち蛍光Ｌ３を受光している期間は、露光を開始して時間ｄ２経過後から露光終了時間までの間である。撮像部１２１が１回の露光を完了すると、メモリ１２２に１枚の画像が格納される。
【００３５】
同様に、図３に示すように、撮像部１２１は、第２の露光タイミング信号による露光では、露光開始時から蛍光Ｌ３を受光している。撮像部１２１が、１回の露光を完了すると、メモリ１２２に一枚の画像が格納される。この場合、第２の露光タイミング信号による露光は、第１の露光タイミング信号による露光で受光できなかった蛍光Ｌ３を受光し、撮像する。すなわち、２つの露光により、１回照射された励起光Ｌ１に反応して発生した蛍光Ｌ３を漏れなく受光することが可能となる。
【００３６】
また、例えば、被写体２００が撮像装置１００の近くにある場合は、第１の遅延時間が短いので、第１の露光タイミング信号による露光で蛍光Ｌ３を撮像できる可能性が高くなる。これに対して、被写体２００が撮像装置１００より離れた位置にある場合は、第１の遅延時間が長くなるので、第２の露光タイミング信号による露光で蛍光Ｌ３を撮像できる可能性が高くなる。このように、１回の照射に対して、２回露光を行うことで、いずれか一方、または両方の露光で、蛍光Ｌ３を撮像することが可能となる。
【００３７】
撮像部１２１は、露出期間において、第１の露光タイミングに対応する画像と第２の露光タイミングに対応する画像とを、それぞれ、露光の回数だけ取得する。撮像部１２１は、第１の露光タイミングで撮像した複数の画像から画像Ａ１を取得する。また、撮像部１２１は、第２の露光タイミングで撮像した複数の画像から画像Ａ２を取得する。
【００３８】
このように、露出期間の間に、励起光を照射し、露光することを複数回繰り返す。励起光により被写体２００が放射する蛍光Ｌ３は一般的に強度が低い。蛍光Ｌ３の強度が低いため、蛍光Ｌ３を撮像した画像のノイズが問題となりうる。そこで、蛍光Ｌ３を撮像した複数の画像を足し合わせることにより、ＳＮ比を改善することができる。これにより、撮像部１２１において受光される蛍光Ｌ３の強度をより正確に推定できる。なお、第１の露光タイミングで撮像した複数の画像のすべてをメモリ１２２に記憶する必要はない。例えば、メモリ１２２に記憶された１つの画像に、新たに撮像された画像を演算により足し合わせてもよい。第２の露光タイミングで撮像した複数の画像についても同様である。
【００３９】
（ステップＳ２０３）
制御部１３０は、撮像部１２１が撮像開始後、露出時間経過したかどうかを判断する。制御部１３０は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部１３０は、撮像時間が露出時間に達していないと判断した場合は、ステップＳ２０１に戻る。制御部１３０は、撮像時間が露出時間に達していると判断した場合は、ステップＳ２０４に進む。
【００４０】
（ステップＳ２０４）
制御部１３０は、撮像部１２１が撮像した画像の画素毎に、第２の遅延時間を算出する。第２の遅延時間は、照明変調の１周期の範囲で考える。図３においては、例えば、照明変調の１周期は時刻ｔ０〜ｔ１の時間ｄ１を指す。図３の第２の遅延時間ｄ２は、ステップＳ２０２で得た位相の異なる第１の露光タイミングにおける露光量（露光中に撮像部１２１が受光した光の量）と第２の露光タイミングの露光量の違いに対応付けられる。例えば、第２の遅延時間ｄ２が、時間ｄ１／２の場合、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量の差は０になる。また、このとき第１の露光タイミング露光量と第２の露光タイミングの露光量の比は１になる。このように、時間ｄ１と第２の遅延時間ｄ２との比は、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量との比から推定できる。第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量の差または比と、第２の遅延時間ｄ２との関係を予め求めておき、露光結果から第２の遅延時間ｄ２を求めることができる。なお、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量との差に基づき第２の遅延時間ｄ２を求める場合、露光量の差は被写体との距離にも依存する。そこで、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量の和で正規化するなどしてから第２の遅延時間ｄ２と対応付ける。
【００４１】
（ステップＳ２０５）
制御部１３０は、照明光の照射タイミング信号を用いて、照明部１１０が所定のタイミングで被写体２００に照明光Ｌ２を照射するよう制御する。照明部１１０は、照明光の照射タイミング信号に従って、被写体２００に照明光Ｌ２を照射する。本開示では、照明部１１０は照明光Ｌ２として、近赤外線の照明を用いる。
【００４２】
（ステップＳ２０６）
制御部１３０は、撮像部１２１の露光動作を、照射タイミング信号に同期させた露光タイミング信号を用いて制御する。制御部１３０は、露光タイミング信号を撮像部１２１に出力する。撮像部１２１は露光タイミング信号に従って、露光動作を行う。本開示においては、制御部１３０は、２種類の露光タイミング信号を撮像部１２１に出力する。すなわち、撮像部１２１は、照明部１１０の照射タイミング信号に同期して２種類の露光を行い、反射光Ｌ４を撮像する。
【００４３】
照明光照射時の撮像装置１００の動作を、図４を用いて説明する。図４は、実施の形態１にかかる撮像装置１００の照明光照射時の動作を説明する図である。図４は、時刻ｔ０から時刻ｔｎまでの露出期間における撮像装置１００の動作を示す。
【００４４】
図４の照明光の照射タイミング信号は、照明部１１０が照明光を照射するタイミングを制御するための照射タイミング信号を示す。照明光の照射タイミング信号がＯＮの場合は照射状態、ＯＦＦの場合は非照射状態を示す。反射光の受光強度変化は、照明光Ｌ２を被写体２００が反射した反射光Ｌ４について、撮像部１２１に入射する反射光Ｌ４の強度の時間変化を示す。図４は、撮像部１２１の２種類の露光タイミングを制御するための、第１の露光タイミング信号、及び、第２の露光タイミング信号を示している。図４において、第１の露光タイミング信号、及び、第２の露光タイミング信号は、ＯＮが撮像部１２１の露光状態を示し、ＯＦＦが非露光状態を示す。図４に示す第１の露光タイミングの画像は、第１の露光タイミング信号に従って撮像した画像を示す模式図である。図４に示す第２の露光タイミングの画像は、第２の露光タイミング信号に従って撮像した画像を示す模式図である。
【００４５】
図４の照明光の照射タイミング信号に示すように、照明部１１０は、露出期間において、所定時間ｄ３毎に、照射と非照射の動作を繰り返す。このように、本開示では、距離画像を１回（１フレーム）撮像するために、照明光を複数回照射する。なお、励起光照射時の露出時間と照明光照射時の露出時間は同じである必要はない。励起光Ｌ１と照明光Ｌ２では、照明強度や撮像部１２１の感度が異なるため、露出時間は異なってもよい。また、複数の励起光を用いる場合も同様に、励起光毎に、露出時間を変更してもよい。
【００４６】
図４に示すように、撮像部１２１は、照明光Ｌ２を被写体２００が反射した反射光Ｌ４を受光する。撮像部１２１の反射光Ｌ４の受光タイミングは、照明部１１０の照射タイミングに対して、被写体２００までの光の往復遅延時間（第１の遅延時間）だけ遅れる。図４の例では、受光タイミングは、照射タイミングより時間ｄ４だけ遅延する。ここで、第１の遅延時間ｄ４を検出するために、本開示の撮像部１２１は、時間変調させた２種類の露光タイミング信号に応じて被写体２００を撮像する。撮像部１２１は撮像した画像を、順次、メモリ１２２に格納する。
【００４７】
図４に示すように、第１及び第２の露光タイミング信号は、照明光の照射タイミング信号と同期している。第１の露光タイミング信号は、照射タイミング信号と同位相の信号である。これに対して、第２の露光タイミング信号は、照射タイミング信号と逆位相の信号である。第１及び第２の露光タイミング信号は、図３の第１及び第２の露光タイミング信号と同様であるので、説明を省略する。
【００４８】
図４に示すように、撮像部１２１は、第１の露光タイミング信号により露光している期間のうち反射光Ｌ４を受光している期間は、露光を開始して時間ｄ４経過後から露光終了時間までの間である。撮像部１２１が１回の露光を完了すると、メモリ１２２に１枚の画像が格納される。
【００４９】
同様に、図４に示すように、撮像部１２１は、第２の露光タイミング信号による露光では、露光開始時から反射光Ｌ４を受光している。撮像部１２１が１回の露光を完了すると、メモリ１２２に一枚の画像が格納される。第２の露光タイミング信号による露光は、第１の露光タイミング信号による露光とは逆のタイミングで受光した反射光Ｌ４を撮像する。すなわち、２つの露光により、１回照射された照明光Ｌ２を反射した反射光Ｌ４を漏れなく受光することが可能となる。照明光Ｌ２を照射した場合も、励起光Ｌ１を照射した場合と同様に、撮像装置１００と被写体２００の位置関係により、第１の露光タイミング信号による露光か、第２の露光タイミング信号による露光のいずれか、又は両方で、反射光Ｌ４を撮像することが可能となる。
【００５０】
撮像部１２１は、露出期間において、第１の露光タイミングに対応する画像と、第２の露光タイミングに対応する画像とを、それぞれ、露光の回数だけ取得する。撮像部１２１は、第１の露光タイミングで撮像した複数の画像から画像Ｂ１を取得する。また、撮像部１２１は、第２の露光タイミングで撮像した複数の画像から画像Ｂ２を取得する。なお、通常の撮影画像は、画像Ｂ１と画像Ｂ２を用いて生成できる。
【００５１】
このように、露出期間の間に、照明光を照射し、露光することを複数回繰り返す。複数回の照明と露光を行うことで、蛍光Ｌ３を撮像するときと同様に、反射光Ｌ４の撮像におけるＳＮ比を向上させることができる。これにより、撮像部１２１において反射光Ｌ４の強度をより正確に推定できる。
【００５２】
（ステップＳ２０７）
制御部１３０は、撮像部１２１が撮像開始後、露出時間経過したかどうかを判断する。制御部１３０は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部１３０は、撮像時間が露出時間に達していないと判断した場合は、ステップＳ２０５に戻る。制御部１３０は、撮像時間が露出時間に達していると判断した場合は、ステップＳ２０８に進む。
【００５３】
（ステップＳ２０８）
ステップＳ２０４と同様の手順で、制御部１３０は、撮像部１２１が撮像した画像の画素毎に、第１の遅延時間ｄ４を算出する。ステップＳ２０４と同様に、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量の差または比と、第１の遅延時間ｄ４との関係を予め求めておき、露光結果から第１の遅延時間ｄ４を求めてもよい。
【００５４】
（ステップＳ２０９）
制御部１３０は、ステップＳ２０４で求めた第２の遅延時間ｄ２と、ステップＳ２０８で求めた第１の遅延時間ｄ４から、被写体２００の距離画像と蛍光の遅延時間画像を取得する。具体的には、制御部１３０は、測距部１２４を制御して、第１の遅延時間ｄ４に基づき、距離画像を生成する。測距部１２４は、画素毎に被写体２００までの距離Ｄ（ｍ）を算出し、距離画像を生成する。距離Ｄは、Ｄ＝（ｄ４／２）×光速で算出する。ここで、光速は、２９９，７９２，４５８（ｍ／ｓ）とする。
【００５５】
また、制御部１３０は、蛍光検出部１２３を制御して、画素毎に算出した第１の遅延時間ｄ４と、第２の遅延時間ｄ２とに基づき、蛍光の遅延時間画像を生成する。蛍光検出部１２３は、画素毎に遅延蛍光時間τを算出し、蛍光の遅延時間画像を生成する。遅延蛍光時間τは、τ＝ｄ２―ｄ４により算出する。生成された距離画像と蛍光の遅延時間画像はメモリ１２２に格納される。
【００５６】
以上が、一回の露出期間（１フレーム）に対する撮像装置１００の動作である。なお、必要に応じて、ステップＳ２０１〜ステップＳ２０９の動作を繰り返してもよい。複数回動作を繰り返すことで、距離画像や蛍光の遅延時間画像を、動画像として取得することができる。
【００５７】
以下、図５〜７を用いて、本実施の形態の具体例を説明する。図５は、被写体の一例を説明する図である。図６は、蛍光の遅延時間画像の一例を説明する図である。図７は、距離画像の一例を説明する図である。
【００５８】
図５は、撮像装置１００が撮像する被写体の一例である。３つ被写体５０１〜５０３は、各々撮像装置１００からの距離や遅延蛍光時間が異なっているとする。
【００５９】
図６は、被写体５０１〜５０３を実施の形態１の撮像方法で撮像して取得した蛍光の遅延時間画像６００を示す。矩形６０１〜６０３は各々被写体５０１〜５０３に対応する蛍光の遅延時間画像である。図６において、点線の矩形６０３は、被写体５０３には励起光Ｌ１によっては蛍光を発生しなかったことを示す。矩形６０１、矩形６０２は、被写体５０１、被写体５０２が蛍光を発生させたことを示し、被写体５０１の方が、遅延蛍光時間が長かったことを示す。
【００６０】
図７は、被写体５０１〜５０３を実施の形態１の撮像方法で撮像して取得した距離画像７００を示す。矩形７０１〜７０３は各々被写体５０１〜５０３に対応する蛍光の遅延時間画像である。図７は、被写体５０１が撮像装置１００から最も遠く、被写体５０３が撮像装置１００から最も近いことを示す。
【００６１】
図６、７より、例えば、被写体５０３は撮像装置１００に一番近い位置にあるが、励起光Ｌ１によって蛍光を発生させる蛍光物質は含んでいないことが分かる。また、被写体５０１は撮像装置１００に一番遠い位置にあるが、励起光Ｌ１によって蛍光を発生させることと、被写体５０１の遅延蛍光時間が分かる。
【００６２】
［１−３．効果等］
以上のように、本実施の形態において、撮像装置１００は、照明部１１０と、画像取得部１２０とを備える。照明部１１０は、被写体２００に少なくとも１つの励起光Ｌ１と、照明光Ｌ２とを照射する。画像取得部１２０は、励起光Ｌ１により被写体２００が発生した少なくとも１つの蛍光Ｌ３と、被写体２００が照明光Ｌ２を反射した反射光Ｌ４とを撮像する。画像取得部１２０は、さらに、蛍光Ｌ３の遅延時間と反射光Ｌ４の遅延時間とから生成した少なくとも１つの蛍光の遅延時間画像を取得する。画像取得部１２０は、反射光Ｌ４の遅延時間から生成した距離画像を取得する。
【００６３】
これにより、被写体２００に対する励起光Ｌ１の往復遅延時間ｄ２と照明光Ｌ２の往復遅延時間ｄ４を算出することができる。
【００６４】
従って、励起光Ｌ１に対する蛍光Ｌ３の往復遅延時間と、照明光Ｌ２に対する反射光Ｌ４の往復遅延時間との算出の処理を共通とすることができる。さらに、２種類の波長の光を照射することにより、高速に遅延蛍光時間τを測定することができる。また、機械的な切り替え機構を必要としないため、簡単な構成で実現できる。さらに、反射光Ｌ４の往復遅延時間から、撮像装置１００から被写体２００までの距離Ｄを得ることが出来る。遅延蛍光時間は物質固有の特性であり、離れた位置から被写体を構成する物質固有の特性を計測できるという効果がある。これにより、蛍光の遅延時間画像により、被写体２００の識別が容易となる。
【００６５】
同様にカラーカメラを用いて撮像部１２１を構成することで、遅延蛍光時間に加えて蛍光スペクトルの情報も得ることもできる。蛍光スペクトルの画像は、図３における画像Ａ１、Ａ２より生成できる。この場合、被写体を構成する物質固有の特性として遅延蛍光時間と蛍光スペクトルの双方が得られることから、物体認識や状態認識などにも有効である。
【００６６】
（実施の形態２）
以下、図８、９を用いて、実施の形態２を説明する。
【００６７】
［２−１．構成］
実施の形態２における撮像装置１００の具体的な構成は実施の形態１と同じであるが、動作が異なるので、動作のみを説明する。
【００６８】
実施の形態２の撮像装置１００において、照明部１１０は、露出期間に励起光と照明光を選択的に照射する。実施の形態２では、１種類の励起光と照明光を用いる場合を一例として説明する。実施の形態２の制御部１３０は、２つの照射タイミング信号と４つの露光タイミング信号を用いて、照明部１１０と撮像部１２１を制御する。
【００６９】
図８は、実施の形態２にかかる撮像装置１００の動作（撮像方法）を説明するフローチャートである。図９は実施の形態２にかかる撮像装置１００の動作を説明する図である。
【００７０】
図９は露出時間における照明部１１０、撮像部１２１を制御するタイミング信号の一例を示す。図９は、第１の照射タイミング信号、第２の照射タイミング信号、撮像部１２１の受光強度変化のタイミング、第１の露光タイミング信号、第２の露光タイミング信号、第３の露光タイミング信号、第４の露光タイミング信号を示す。なお、受光強度変化のタイミングは、撮像部１２１に入射する蛍光Ｌ３や反射光Ｌ４の強度が変化するタイミングを示している。撮像部１２１に実際に入射する光の強度や波形は、蛍光Ｌ３と反射光Ｌ４とで異なるが、図９においては、光の強度が変化するタイミングに着目して模式的に表している。
【００７１】
［２−２．動作］
（ステップＳ８０１）
制御部１３０は、照射タイミング信号を用いて、照明部１１０を制御する。照明部１１０は、照射タイミング信号に基づき、被写体２００に露出期間内に励起光Ｌ１と照明光Ｌ２を選択的に照射する。実施の形態２では、制御部１３０は２つの照射タイミング信号を用いて、１種類の励起光と、照明光とを制御する。照明部１１０は、２つの照射タイミング信号に基づき、露出期間に励起光Ｌ１と照明光Ｌ２を交互に照射する。図９に示すように、照明部１１０は第１の照射タイミング信号に従って、時刻ｔ０から時刻ｔ１まで被写体２００に励起光Ｌ１を照射する。次に、照明部１１０は第２の照射タイミング信号に従って、時刻ｔ２から時刻ｔ３まで照明光Ｌ２を被写体２００に照射する。次に、照明部１１０は第１の照射タイミング信号に従って、時刻ｔ４から励起光Ｌ１を被写体２００に照射する。このように、照明部１１０は２つの照射タイミング信号に従って、励起光Ｌ１と照明光Ｌ２の照射を交互に繰り返す。
【００７２】
（ステップＳ８０２）
制御部１３０は、４つの露光タイミング信号を用いて、撮像部１２１の露光動作を制御する。図９に示すように、撮像装置１００は、被写体２００からの蛍光Ｌ３と反射光Ｌ４を交互に受光する。
【００７３】
撮像部１２１は、照射タイミング信号毎に、照射タイミング信号に同期し、位相が異なる２つの露光タイミング信号に応じて４種類の露光を行う。これは、励起光Ｌ１に対する蛍光Ｌ３の遅延と、照明光Ｌ２に対する反射光Ｌ４の遅延が異なるためである。
【００７４】
第１および第２の露光タイミング信号は、第１の照射タイミング信号で照射した励起光Ｌ１に対応する蛍光Ｌ３を撮像する。この動作は、実施の形態１のステップＳ２０２と同様である。
【００７５】
第３および第４の露光タイミング信号は、第２の照射タイミング信号で照射した照明光Ｌ２を反射した反射光Ｌ４を撮像する。この動作は、実施の形態１のＳ２０６と同様である。
【００７６】
（ステップＳ８０３）
制御部１３０は、撮像部１２１が撮像開始後、露出時間だけ時間が経過したかどうかを判断する。制御部１３０は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部１３０は、撮像時間が露出時間に達していると判断した場合は、ステップＳ８０４へ進み、露出時間に達していないと判断した場合は、ステップＳ８０１に戻る。
【００７７】
（ステップＳ８０４）
制御部１３０は、蛍光Ｌ３の第２の遅延時間ｐ１を画素ごとに算出する。第２の遅延時間ｐ１は、照明変調の１周期の範囲（ここでは、時刻ｔ０〜ｔ１の時間）で考える。また、第２の遅延時間ｐ１は、第１の露光タイミングにおける露光量と第２の露光タイミングにおける露光量とから推定される。例えば、第１の露光量と第２の露光量の差や比率と、第２の遅延時間ｐ１との関係を予め求めておき、露光結果から第２の遅延時間ｐ１を求めてもよい。
【００７８】
（ステップＳ８０５）
制御部１３０は、反射光Ｌ４の第１の遅延時間ｐ２を画素ごとに算出する。第１の遅延時間ｐ２は、照明変調の１周期の範囲（ここでは、時刻ｔ２〜ｔ３の時間）で考える。また、第１の遅延時間ｐ２は、第３の露光タイミングにおける露光量と第４の露光タイミングにおける露光量とから推定される。例えば、第３の露光量と第４の露光量の差や比率と、第１の遅延時間ｐ２との関係を予め求めておき、露光結果から第１の遅延時間ｐ２を求める。
【００７９】
（ステップＳ８０６）
ステップＳ２０９と同等の手続きで、制御部１３０は、蛍光検出部１２３と測距部１２４とを用いて、距離画像と蛍光の遅延時間画像を生成する。蛍光検出部１２３は、第１の遅延時間ｐ２と第２の遅延時間ｐ１を用いて、蛍光の遅延時間画像を生成する。測距部１２４は、第１の遅延時間ｐ２を用いて距離画像を生成する。生成された距離画像と蛍光の遅延時間画像とは、メモリ１２２に格納される。
【００８０】
以上が、一回の露出期間（１フレーム）に対する処理が完了するまでのステップである。必要に応じて、ステップＳ８０１〜ステップＳ８０６を繰り返すことで、距離画像や蛍光の遅延時間画像を動画像として得ることができる。
【００８１】
［２−３．効果等］
以上のように、本実施の形態２の撮像装置１００において、照明部１１０は所定の露出時間内に励起光Ｌ１と照明光Ｌ２を選択的に照射する。また、画像取得部１２０は、蛍光Ｌ３および反射光Ｌ４を各々２つの露光タイミングで撮像する。
【００８２】
これにより、一回の露出時間で、被写体２００に対する励起光Ｌ１の往復遅延時間ｄ２と照明光Ｌ２の往復遅延時間ｄ４を算出することができる。
【００８３】
従って、蛍光の遅延時間画像と距離画像を同じタイミングで取得することができる。特に、被写体２００が移動している場合など、各画素における蛍光Ｌ３や反射光Ｌ４の大きさが時間変化するため、蛍光Ｌ３と反射光Ｌ４を異なるタイミングで取得することにより、誤差が大きくなる恐れがある。これは、蛍光Ｌ３と反射光Ｌ４の遅延時間の差が影響する蛍光Ｌ３においてより顕著である。実施の形態２の撮像装置１００は、ほぼ同じタイミングに蛍光Ｌ３と反射光Ｌ４を撮像する。ほぼ同じタイミングに撮像された蛍光Ｌ３と反射光Ｌ４に基づき、蛍光の遅延時間画像と距離画像を取得することにより、被写体２００の移動等による影響を抑えることができる。
【００８４】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００８５】
そこで、以下、他の実施の形態を例示する。
【００８６】
本開示では、第１の露光タイミング信号と第２の露光タイミング信号とは、ＯＮするタイミングが異なっていればよい。第１の露光タイミング信号と第２の露光タイミング信号とは、照射タイミング信号に対して、同位相の信号または逆位相の信号でも構わない。例えば、１つの露光タイミング信号は、照射タイミング信号を逆位相とし、他の露光タイミング信号は、照射タイミング信号に対して、例えば、１／４周期だけずれていてもよい。また、照射タイミング信号に同期しつつ、周期がより短い露光タイミング信号の組み合わせでも以下同様の手順を行うことができる。例えば、周期の長さを２倍とし、４種類の露光タイミング信号で露光動作を行ってもよい。これは、実施の形態２における第３の露光タイミング信号と第４の露光タイミング信号の関係も同様である。なお、上記撮像では、必要に応じて照明による反射光の影響を低減するため、紫外線カットフィルタ（光学フィルタ）を通じて撮像することが望ましい。
【００８７】
本開示では照明部１１０の発光強度の変化を矩形として説明したが、他の変調波形でも同様の効果を得ることができる。図１０は、照射タイミング信号の他の一例を説明する図である。照射タイミング信号は、例えば、図１０に示すように発光強度の波形が三角関数のような形状でもよい。図１０は、照射タイミング信号、受光強度変化のタイミング、第１の露光タイミング信号、第２の露光タイミング信号を示している。照射タイミング信号は、照明部１１０が照明光Ｌ２を照射するタイミングを制御するための信号である。受光強度変化のタイミングは、撮像部１２１が受光する反射光Ｌ４の強度の時間変化を示したものである。なお、反射光Ｌ４は、照明部１１０が照射した照明光Ｌ２に対する被写体２００からの反射光である。図１０において、照射タイミング信号の高低は、照明光Ｌ２の強度を表す。また、図１０に示す、第１の露光タイミング信号、及び、第２の露光タイミング信号において、矩形の上辺は露光状態、下辺は非露光状態を示す。
【００８８】
本開示では、時間位相の異なる２種類の露光タイミング信号の差や比に対応付けて、反射光について第１の遅延時間を、蛍光について第２の遅延時間を求めたが、他の方法によって遅延時間を求めても良い。
【００８９】
図１１を用いて遅延時間を求める他の方法を説明する。図１１は、照射タイミング信号、受光強度変化のタイミング、カウンタのタイミングを示す。照射タイミング信号は、照明部１１０が照明光Ｌ２や励起光Ｌ１を照射するタイミングを示す。受光強度変化のタイミングは、撮像部１２１が受光する反射光Ｌ４または蛍光Ｌ３の強度が変化するタイミングを模式的に示す。カウンタのタイミングは、遅延時間をカウントするためのカウンタ信号が変化するタイミングを示す。ここで、カウンタ信号のカウント周期は、発光周期や遅延時間に対して充分に短く設定する。撮像部１２１は、カウンタ信号が、ＯＮ状態のみ、ＯＦＦ状態のみ、または、ＯＮ状態とＯＦＦ状態の両方で露光する。遅延時間の計測においては、露光量が予め定めた量を超えるまでのカウント数を遅延時間とする。例えば、図１１の場合は、時刻ｔ０から受光量を計測し、時刻ｔ４時点で受光量が予め定めた量を越えたとする。この場合、遅延時間はカウンタの２周期分の時間ｓ１となる。各照明に対する遅延時間が求まった後は実施の形態１、２と同様の手順で蛍光画像と距離画像を得ることが出来る。なお、カウンタ式以外にも時間計測可能な回路に置き換えてもよい。
【００９０】
また、本開示では、励起光は１種類で説明したが、２種類以上の励起光（短波長照明）を切り替えて用いてもよい。この場合、励起光の種類に応じて、異なる照射タイミング信号を用いてもよい。励起光毎に、励起光が１種類の場合と同様の動作を行い、蛍光の遅延時間画像を取得する。これにより、被写体の中に異なる複数の蛍光物質が存在する場合、異なる複数の照明を用いることで、いずれかの照明により効果的に蛍光発光を得られる可能性が高まる。
【００９１】
また、実施の形態１において励起光と照明光は異なるタイミングで照射したが、同じタイミング（逆位相でも可）で照射してもよい。この場合、撮像部１２１において、被写体から得られる蛍光と反射光を光学的に分離（波長分離）して取得することで蛍光の遅延時間画像と距離画像を取得してもよい。例えば、ベイヤー配列カメラのようなカラーカメラのカラーフィルタの一部に、蛍光波長帯をカットして近赤外光を透過するフィルタを設けることで実現できる。この構成においては、ＲＧＢフィルタを通じた光が入射する画素から蛍光の遅延時間を取得する。さらに、可視光を遮断する近赤外線フィルタを通じた光が入射する画素から反射光の遅延時間を取得する。蛍光の遅延時間と反射光の遅延時間とから、蛍光の遅延時間画像、及び、距離画像を取得する。ここで、撮像部は、ベイヤー配列カラーカメラを用いる以外に、ダイクロイックミラーやダイクロイックプリズムを用いた複数撮像素子で構成にしてもよい。この構成では、１フレームの露出中に図３のような２種類の露光タイミング信号を用いるだけで蛍光の遅延時間画像と距離画像を同時に取得することができる。
【００９２】
また、本開示では、撮像部１２１の画像を２次元画像で説明したが、１次元（ライン画像）や１画素のみの場合でも適用し、同様の効果を得ることが出来る。
【００９３】
また、本実施の形態の撮像部１２１は、モノクロカメラを想定して説明したが、カラーカメラやマルチバンドカメラで撮像しても同様の効果を得ることが出来る。この場合、ステップＳ２０２では、カラーカメラの波長バンド数に応じた蛍光スペクトル撮像が可能となる。これにより、被写体２００の蛍光の遅延時間画像と蛍光スペクトル画像と距離画像の３通りの情報を取得することができる。なお、蛍光スペクトル画像とは、複数の波長帯について、被写体２００が放射する蛍光のその波長帯における強度を示したものである。蛍光スペクトル画像を取得できることにより、複数の被写体２００の蛍光の遅延時間が同等であっても、蛍光スペクトル画像により区別できる可能性がある。すなわち、蛍光スペクトル画像を取得できることにより、撮像装置１００の識別能力を向上させることができる。
【００９４】
また、本開示では複数の露光後に、露光回数分の画像を取得するとしたが、露光毎に同一メモリに加算蓄積を行い、複数の露光後に１枚の画像を取得するようにしてもよい。
【００９５】
図１２を用いて、励起光Ｌ１、照明光Ｌ２の波長と、撮像部１２１の撮像波長帯の関係について説明する。図１２の横軸は、光の波長を示している。横軸の右側が短波長側であり、左側が長波長側である。図１２の縦軸は、光の強度を示している。可視光は、目で視認可能な波長帯を示している。撮像波長帯は、撮像部１２１が撮像可能な波長帯を示している。
【００９６】
照明部１１０が励起光Ｌ１を被写体２００に照射すると、被写体２００は、蛍光Ｌ３を放射するとともに、励起光Ｌ１を反射した反射光Ｌ５を出射する。反射光Ｌ５の波長は、励起光Ｌ１の波長と同じである。被写体２００の励起光Ｌ１の波長における反射率によるが、一般的に反射光Ｌ５の強度は、蛍光Ｌ３の強度よりも強い。照明部１１０が照明光Ｌ２を被写体に照射すると、被写体２００は、照明光Ｌ２を反射した反射光Ｌ４を出射する。反射光Ｌ４の波長は、照明光Ｌ２の波長と同じである。被写体２００は、照明光Ｌ２により蛍光Ｌ６を放射するが、蛍光Ｌ６は、反射光Ｌ４よりも波長が長く、一般的には反射光Ｌ４よりも強度が弱い。
【００９７】
本開示の実施の形態１および実施の形態２においては、撮像部１２１（画像取得部）は、撮像波長帯の光を撮像する。撮像波長帯は、撮像部１２１に用いるイメージセンサやフィルタの特性によって限定された波長帯である。照明光Ｌ２の波長は、撮像波長帯に含まれるように設定される。励起光Ｌ１の波長は、撮像波長帯に含まれず、撮像波長帯より短い波長であることが望ましい。これにより、撮像部１２１は、蛍光Ｌ３と反射光Ｌ５とのうち、蛍光Ｌ３のみを撮像できる。一般に反射光Ｌ５の強度は蛍光Ｌ３の強度より強いため、蛍光Ｌ３の遅延時間を計測するときに、無視できないノイズとなる恐れがある。励起光Ｌ１の波長が撮像波長帯より短いことにより、撮像部１２１は、撮像波長帯に含まれる蛍光Ｌ３の遅延時間を、より正確に計測することができる。
【００９８】
ここで、撮像部１２１は、撮像波長帯を限定するためのフィルタを有してもよい。図１２の撮像波長帯の破線部のように、撮像波長帯が励起光Ｌ１の波長を含む場合、反射光Ｌ５がノイズとなり、蛍光Ｌ３の遅延時間を正確に計測できない恐れがある。撮像部１２１に、励起光Ｌ１の波長を遮断するフィルタを用いることにより、撮像部１２１は、撮像波長帯に含まれる蛍光Ｌ３の遅延時間を、より正確に計測することができる。
【００９９】
なお、撮像部１２１にカラーフィルタを用いて撮像する場合、撮像部１２１の撮像波長帯は、カラーフィルタにより限定される。カラーフィルタがＲＧＢフィルタである場合、撮像部１２１は、ＲＧＢフィルタのそれぞれの色に対応した複数の撮像波長帯を有する。励起光Ｌ１により励起される蛍光Ｌ３は、被写体２００を構成する物質に依存して、様々な波長をとり得る。撮像部１２１は、複数の異なる撮像波長帯を有することにより、波長の異なる複数の蛍光Ｌ３を識別できる場合がある。このように、撮像部１２１は、複数の撮像波長帯を有することにより、蛍光の遅延時間画像とともに蛍光スペクトルを取得できるように構成することができる。
【０１００】
本開示の撮像装置１００は、励起光Ｌ１として紫外線を用い、さらに、照明光Ｌ２として赤外線を用いることが望ましい。特に、照明光Ｌ２の波長は、目に視認されにくく、イメージセンサの感度は比較的高い、近赤外線であることが望ましい。照明光Ｌ２の波長は、具体的には、７８０ｎｍ以上であることが望ましい。これにより、図１２に示すように、照明光Ｌ２、反射光Ｌ４、照明光Ｌ２により励起される蛍光Ｌ６を可視光の帯域に含まれないようにできる。これにより、撮像装置１００による撮像を視認されにくくすることができる。また、励起光Ｌ１として紫外線を用いることにより、励起光Ｌ１、反射光Ｌ５を可視光の帯域に含まれないようにできる。なお、励起光Ｌ１は、撮像部１２１の撮像波長帯に含まれていないため、反射光Ｌ５を用いて遅延時間を計測することは難しい。励起光と異なる波長の照明光Ｌ２を用いることにより、撮像部１２１が単一の撮像波長帯だけを有する場合であっても、反射光の遅延時間を計測することができる。すなわち、撮像部１２１の撮像波長帯が励起光Ｌ１の波長を含まず、かつ、照明光Ｌ２の波長が可視光の波長より長いことにより、撮像時に視認されにくくすることができる。
【０１０１】
ここで、励起光Ｌ１が励起する蛍光Ｌ３の波長は、可視光の帯域に含まれる場合が多い。しかしながら、撮像部１２１が蛍光Ｌ３を高い感度で撮像することにより、蛍光Ｌ３の強度が弱くても、蛍光の遅延時間画像を取得できる。この場合、励起光Ｌ１の照射強度を抑えることにより、蛍光Ｌ３を視認されにくくすることができる。照明部１１０は、励起光Ｌ１または照明光Ｌ２を所定の照射タイミングで照射し、撮像部１２１は、照射タイミングに同期した露光タイミングに露光することを所定の露出時間の間繰り返す。これにより、ＳＮ比を高くすることができ、蛍光Ｌ３を高い感度で撮像することができる。また、撮像部１２１は、照明部１１０が励起光Ｌ１を照射しているときと、照明光Ｌ２を照射しているときとで、所定の露出時間を変更してもよい。これにより、特に蛍光Ｌ３に対する撮像部１２１の感度を高くすることができる。
【０１０２】
なお、撮像部１２１は、励起光Ｌ１を蛍光Ｌ３の遅延時間以上の長さ照射して撮像した画像と、励起光Ｌ１を照射せずに撮像したときの画像との差から、被写体２００が放射する蛍光Ｌ３の強度を推定してもよい。
【０１０３】
また、本開示の撮像装置において、各機能構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１０４】
また、上述した各種処理（例えば、図２、図８に示す手順）の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、ソフトウェアによる処理は、撮像装置に含まれるプロセッサがメモリに記憶された制御プログラムを実行することにより実現されるものである。加えて、上記実施の形態の各処理をソフトウェアで実現する場合に、処理の一部あるいは全体を別々のハードウェアで行ってもよい。
【０１０５】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１０６】
本開示は、撮像装置に適用可能である。具体的には、ロボットビジョンや監視カメラに、本開示は適用可能である。
【符号の説明】
【０１０７】
１００    撮像装置
１１０    照明部
１２０    画像取得部
１２１    撮像部
１２２    メモリ
１２３    蛍光検出部
１２４    測距部
１３０    制御部
２００    被写体
６００    蛍光の遅延時間画像
７００    距離画像
Ｌ１    励起光
Ｌ２    照明光
Ｌ３    蛍光
Ｌ４    反射光
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体に少なくとも１つの励起光と照明光を照射する照明部と、
前記励起光により前記被写体が放射する少なくとも１つの蛍光と、前記被写体が前記照明光を反射した反射光とを撮像し、前記励起光の入射から前記蛍光を放射するまでの遅延時間から生成した少なくとも１つの蛍光の遅延時間画像を取得する画像取得部とを備えた撮像装置。
【請求項２】
前記照明部は、所定の長さの時間である、それぞれの露出時間において、
前記励起光と前記照明光とのうちいずれかの光を所定の照射タイミングで照射し、
前記画像取得部は、前記照射タイミングに同期した露光タイミングで前記反射光または前記蛍光を撮像する、
請求項１記載の撮像装置。
【請求項３】
前記画像取得部は、前記照明部が照射している光に応じて、前記露出時間を変更する、
請求項２記載の撮像装置。
【請求項４】
前記照明部は、所定の長さの時間である、それぞれの露出時間において、
前記励起光と前記照明光とを所定の照射タイミングで照射し、
前記画像取得部は、前記照射タイミングに同期した露光タイミングで前記反射光または前記蛍光を撮像し、
前記励起光と、前記照明光とは、排他的に照射される、
請求項１記載の撮像装置。
【請求項５】
前記画像取得部は、前記励起光および前記反射光を各々２つの露光タイミングで撮像する、
請求項２または請求項４記載の撮像装置。
【請求項６】
前記画像取得部は、
前記反射光の撮像画像において、画素毎に算出した前記照明光の往復遅延時間と、前記蛍光の撮像画像において、前記画素毎に算出した前記励起光の往復遅延時間とに基づき、前記画素毎の前記被写体の遅延蛍光時間を算出して、前記蛍光の遅延時間画像を取得する、
請求項１記載の撮像装置。
【請求項７】
前記画像取得部は、所定の波長帯である撮像波長帯の光を撮像し、
前記照明光の波長は、前記画像取得部の前記撮像波長帯に含まれ、
前記励起光の波長は、前記画像取得部の前記撮像波長帯より短い、
請求項１〜３、５のいずれか１項に記載の撮像装置。
【請求項８】
前記照明光は近赤外線であり、前記励起光は紫外線である、
請求項７記載の撮像装置。
【請求項９】
前記画像取得部は、前記蛍光を撮像して蛍光スペクトルの画像を取得する、
請求項１記載の撮像装置。
【請求項１０】
被写体に少なくとも１つの励起光と照明光を照射し、前記被写体が前記照明光を反射した反射光と、前記励起光により前記被写体が放射する蛍光とを撮像し、前記少なくとも１つの蛍光の遅延時間画像を取得する撮像方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2017038015.tif 000015
【図２】
2017038015.tif 000016
【図３】
2017038015.tif 000017
【図４】
2017038015.tif 000018
【図５】
2017038015.tif 000019
【図６】
2017038015.tif 000020
【図７】
2017038015.tif 000021
【図８】
2017038015.tif 000022
【図９】
2017038015.tif 000023
【図１０】
2017038015.tif 000024
【図１１】
2017038015.tif 000025
【図１２】
2017038015.tif 000026
【国際調査報告】
2017038015.tif 000027
2017038015.tif 000028
2017038015.tif 000029
2017038015.tif 000030