(57)【特許請求の範囲】
【請求項１】
撮像装置であって、
第１撮像系、および、前記第１撮像系とは異なる位置に撮像光軸を持ち、前記第１撮像系とは撮像特性が異なる第２撮像系を有する撮像部と、
前記第１撮像系と被写体との間の位置関係、および、前記第２撮像系と前記被写体との間の位置関係を特定する位置関係特定部と、
前記第１撮像系が第１タイミングで撮像した前記被写体に対する前記撮像装置の変位、前記第１撮像系および前記第２撮像系の撮像光軸の位置、ならびに、前記位置関係特定部が特定した前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係に基づいて、前記位置関係特定部が特定した前記第１タイミングでの前記第２撮像系と前記被写体との間の前記位置関係と前記位置関係特定部が特定した前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いよりも、前記位置関係特定部が特定した第２タイミングでの前記第２撮像系と前記被写体との間の前記位置関係と前記位置関係特定部が特定した前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いが小さいことを判定する判定部と、
前記第１撮像系が前記第１タイミングで前記被写体を撮像した第１画像と、前記第２撮像系が前記第２タイミングで前記被写体を撮像した第２画像とを合成する画像合成部と
を備える撮像装置。
【請求項２】
前記撮像装置の移動量を示す移動情報を取得する移動情報取得部
をさらに備え、
前記判定部は、前記移動情報が示す移動量、前記第１撮像系および前記第２撮像系の撮像光軸の位置、ならびに、前記位置関係特定部が特定した位置関係に基づいて、前記第１タイミングでの前記第２撮像系と前記被写体との間の前記位置関係と前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いよりも、前記第２タイミングでの前記第２撮像系と前記被写体との間の前記位置関係と前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いが小さいことを判定する
請求項１に記載の撮像装置。
【請求項３】
前記位置関係特定部は、前記被写体に対する前記第１撮像系の相対位置および前記第１撮像系の撮像光軸の向きを、前記第１撮像系と前記被写体との間の前記位置関係として特定し、前記被写体に対する前記第２撮像系の相対位置および前記第２撮像系の撮像光軸の向きを、前記第２撮像系と前記被写体との間の前記位置関係として特定する
請求項１または２に記載の撮像装置。
【請求項４】
前記第１撮像系が前記第１タイミングで撮像した後、前記第１タイミングでの前記第２撮像系と前記被写体との間の前記位置関係と前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いよりも、前記第２タイミングでの前記第２撮像系と前記被写体との間の前記位置関係と前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いが小さいことを前記判定部が判定した場合に、前記第２タイミングで前記第２撮像系に撮像させる撮像制御部
をさらに備える請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記第２撮像系が異なるタイミングで撮像した複数の画像を記憶する画像記憶部
をさらに備え、
前記判定部は、前記画像記憶部が記憶している複数の画像のそれぞれについて、それぞれの画像が撮像されたタイミングでの前記第２撮像系と前記被写体との間の位置関係と前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いが、前記第１タイミングでの前記第２撮像系と前記被写体との間の前記位置関係と前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いよりも小さいか否かを判定し、
前記画像合成部は、前記第２撮像系と前記被写体との間の位置関係と前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いが、前記第１タイミングでの前記第２撮像系と前記被写体との間の前記位置関係と前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いよりも小さい旨が判定された画像のうち、前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係に対する前記第２撮像系と前記被写体との間の前記位置関係の一致度が予め定められた値より大きい画像を選択し、選択した画像と前記第１画像とを合成する
請求項１から３のいずれか一項に記載の撮像装置。
【請求項６】
前記第１撮像系および前記第２撮像系は、略同一の撮像タイミングで連続的に撮像し、
前記画像記憶部は、前記第１撮像系および前記第２撮像系でそれぞれ撮像された複数の画像を、前記撮像タイミングを示す情報に対応づけて記憶する
請求項５に記載の撮像装置。
【請求項７】
前記撮像部は、
前記第１撮像系および前記第２撮像系のいずれとも撮像光軸が異なり、前記第１撮像系および前記第２撮像系のいずれとも撮像特性が異なる第３撮像系
をさらに有し、
前記位置関係特定部はさらに、前記第３撮像系と前記被写体との間の位置関係を特定し、
前記判定部はさらに、前記変位、前記第１撮像系および前記第３撮像系の撮像光軸の位置、ならびに、前記位置関係特定部が特定した前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係に基づいて、前記位置関係特定部が特定した前記第１タイミングでの前記第３撮像系と前記被写体との間の前記位置関係と前記位置関係特定部が特定した前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いよりも、前記位置関係特定部が特定した第３タイミングでの前記第３撮像系と前記被写体との間の前記位置関係と前記位置関係特定部が特定した前記第１タイミングでの前記第１撮像系と前記被写体との間の前記位置関係との違いが小さいことを判定し、
前記画像合成部は、前記第１画像、前記第２画像、および、前記第３撮像系が前記第３タイミングで前記被写体を撮像した第３画像を合成する
請求項１から６のいずれか一項に記載の撮像装置。
【請求項８】
前記撮像部が有する複数の撮像系は、互いに異なる波長域の光で被写体を撮像する
請求項１から７のいずれか一項に記載の撮像装置。
【請求項９】
前記撮像部が有する複数の撮像系がそれぞれ含む光学系は、他の撮像系が含む光学系とは焦点距離、合焦距離、被写界深度およびＦ値の少なくともいずれかが異なる
請求項１から８のいずれか一項に記載の撮像装置。
【請求項１０】
前記撮像部が有する複数の撮像系は、被写体からの光を受光する複数の撮像素子をそれぞれ有し、
前記撮像部が有する複数の撮像系に含まれる複数の撮像素子は、同一基板上に形成される
請求項１から９のいずれか一項に記載の撮像装置。
【請求項１１】
前記被写体である生体を撮像する内視鏡システムであって、
請求項１から１０のいずれか一項に記載の撮像装置を備える内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および内視鏡システムに関する。
【背景技術】
【０００２】
パンニングしつつ連写して、両眼視差に最も近い位置で撮影された２枚の画像を、左目及び右目側の画像とする技術が知られている（例えば、特許文献１参照。）。また、自車の到達地点を予測して、自車で得た画像から物体距離を演算する演算対象範囲を制限する技術が知られている（例えば、特許文献２参照。）。
特許文献１  特開２００９−１０３９８０号公報
特許文献２  特開２００６−３２２７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
複数のカメラで得られた画像には、視点位置のズレによる視差ズレが含まれる。立体撮影用、測距用等のように視差ズレを積極的に利用する場合を除けば、大きな視差ズレが存在することは不都合な場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の一態様においては、撮像装置であって、第１撮像系、および、第１撮像系とは異なる位置に撮像光軸を持ち、第１撮像系とは撮像特性が異なる第２撮像系を有する撮像部と、第１撮像系が被写体を撮像した第１タイミングでの第１撮像系と被写体との間の位置関係である第１位置関係を特定する位置関係特定部と、第１撮像系が撮像した被写体に対する撮像装置の変位、第１撮像系および第２撮像系の撮像光軸の位置、ならびに、第１位置関係に基づいて、第２撮像系と被写体との間の位置関係である第２位置関係が、第１タイミングよりも第２タイミングで第１位置関係に一致しているか否かを判定する判定部と、第１撮像系が第１タイミングで被写体を撮像した第１画像と、第２撮像系が第２タイミングで被写体を撮像した第２画像とを合成する画像合成部とを備える。
【０００５】
撮像装置の移動量を示す移動情報を取得する移動情報取得部をさらに備え、判定部は、移動情報が示す移動量、第１撮像系および第２撮像系の撮像光軸の位置、ならびに、位置関係特定部が特定した位置関係に基づいて、第２位置関係が第１タイミングよりも第２タイミングで第１位置関係に一致しているか否かを判定してよい。
【０００６】
位置関係特定部は、第１タイミングでの被写体に対する第１撮像系の相対位置および第１撮像系の撮像光軸の向きを、第１位置関係として特定し、判定部は、被写体に対する第２撮像系の相対位置および第２撮像系の撮像光軸の向きが、第１タイミングよりも第２タイミングで第１位置関係に一致しているか否かを判定してよい。
【０００７】
第１撮像系が第１タイミングで撮像した後、第１タイミングよりも第２タイミングで第２位置関係が第１位置関係に一致している旨を判定部が判定した場合に、第２タイミングで第２撮像系に撮像させる撮像制御部をさらに備えてよい。
【０００８】
第２撮像系が異なるタイミングで撮像した複数の画像を記憶する画像記憶部をさらに備え、判定部は、画像記憶部が記憶している複数の画像のそれぞれについて、それぞれの画像が撮像されたタイミングでの第２位置関係が、第１タイミングよりも第１位置関係に一致しているか否かを判定し、画像合成部は、第１位置関係に一致している旨が判定された画像のうち、第１位置関係に対する第２位置関係の一致度が予め定められた値より大きい画像を選択し、選択した画像と第１画像とを合成してよい。
【０００９】
第１撮像系および第２撮像系は、略同一の撮像タイミングで連続的に撮像し、画像記憶部は、第１撮像系および第２撮像系でそれぞれ撮像された複数の画像を、撮像タイミングを示す情報に対応づけて記憶してよい。
【００１０】
撮像部は、第１撮像系および第２撮像系のいずれとも撮像光軸が異なり、第１撮像系および第２撮像系のいずれとも撮像特性が異なる第３撮像系をさらに有し、判定部はさらに、変位、第１撮像系および第３撮像系の撮像光軸の位置、ならびに、第１位置関係に基づいて、第３撮像系と被写体との間の位置関係である第３位置関係が、第１タイミングよりも第３タイミングで第１位置関係に一致しているか否かを判定し、画像合成部は、第１画像、第２画像、および、第３撮像系が第３タイミングで被写体を撮像した第３画像を合成してよい。
【００１１】
撮像部が有する複数の撮像系は、互いに異なる波長域の光で被写体を撮像してよい。
【００１２】
撮像部が有する複数の撮像系がそれぞれ含む光学系は、他の撮像系が含む光学系とは焦点距離、合焦距離、被写界深度およびＦ値の少なくともいずれかが異なる。
【００１３】
撮像部が有する複数の撮像系は、被写体からの光を受光する複数の撮像素子をそれぞれ有し、撮像部が有する複数の撮像系に含まれる複数の撮像素子は、同一基板上に形成される。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１５】
【図１】内視鏡システム５の一例を被写体としての生体９０とともに示す図である。
【図２】制御部１０のブロック構成の一例を模式的に示す図である。
【図３】撮像部２４のブロック構成の一例を模式的に示す図である。
【図４】画像処理および撮像制御の一例を模式的に示す図である。
【図５】撮像制御および画像合成の一例を模式的に示す図である。
【図６】位置関係の指標値の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
図１は、一実施形態に係る内視鏡システム５の一例を、被写体の一例としての生体９０とともに示す。内視鏡システム５は、視差ズレが比較的に小さい画像を提供する。一実施形態において、内視鏡システム５は、複数の対物レンズの位置と生体９０との位置関係をモニタリングしつつ、複数の対物レンズを通じて生体９０を撮像する。このとき、複数の対物レンズのそれぞれにつき、生体９０に対して一定の位置関係となったタイミングで撮像すべく、撮像タイミングを制御する。これにより、視差ズレが比較的に小さい画像を提供する。
【００１８】
内視鏡システム５は、挿入部２０、光源１２、制御部１０、操作情報取得部１４、記録装置５０、表示装置４０、および、処置具３０を備える。挿入部２０の先端部を、本図のＡ部に拡大して示す。生体９０としては、人間等の生物の内部の胃、腸等の臓器等を例示することができる。
【００１９】
挿入部２０は、挿通口２２、撮像部２４、および、ライトガイド２６を有する。挿入部２０の先端部には、撮像部２４の一部としての対物レンズ部２５を有する。対物レンズ部２５は、第１レンズ１１０、第２レンズ１２０および第３レンズ１３０を含む。また、同先端部は、ライトガイド２６の一部としての光照射口２８を有する。光照射口２８には、それぞれ、光照射用の対物レンズが設けられてよい。また、同先端部は、ノズル２１を有する。
【００２０】
挿入部２０は、いわゆる内視鏡スコープであり、生物の体内に挿入される。挿入部２０は、湾曲可能であり、挿入部２０が湾曲されることで挿入部２０の先端面の向きが制御される。挿通口２２には、生体９０を処置する鉗子等の処置具３０が挿入される。挿通口２２は、挿入された処置具３０を先端部へとガイドする。ノズル２１は、水あるいは空気を生体９０に向けて送出する。ライトガイド２６は、例えば光ファイバで実装され、光源１２が発光した照明光などの光を光照射口２８へと導く。光照射口２８は、ライトガイド２６により導かれた光を生体９０に向けて照射する。撮像部２４は、生体９０からの戻り光を第１レンズ１１０、第２レンズ１２０および第３レンズ１３０のそれぞれを通じて生体９０をそれぞれ撮像する。
【００２１】
撮像部２４が、生体９０を可視光で撮像する場合、光源１２は、略白色の照明光を発光する。照明光には、例えばＲ波長域、Ｇ波長域およびＢ波長域の光を含む。対物レンズ部２５には、生体９０によって照明光が反射、散乱されて、可視の波長域に属する光が、戻り光として入射する。撮像部２４は、生体９０からの可視の波長域に属する戻り光により、可視光画像を撮像する。撮像部２４が、蛍光等のルミネッセンス光で生体９０を撮像する場合、光源１２は生体９０に含まれるルミネッセンス物質を励起する励起光を発光する。対物レンズ部２５には、ルミネッセンス物質が励起光により励起されて発生したルミネッセンス光が、戻り光として入射する。
【００２２】
ルミネッセンス物質としては、８３０ｎｍの波長域を主とするスペクトルの蛍光を発するインドシアニングリーン（ＩＣＧ）など、外部から生体９０に注入される物質を例示することができる。また、ルミネッセンス物質は、生体９０の細胞などの構成成分がもともと含む自家蛍光物質であってよい。自家蛍光物質としては、４５０ｎｍの波長域を主とするスペクトルの蛍光を発する還元型ニコチンアミドアデニンジヌクレオチド（ＮＡＤＨ）などを例示することができる。自家蛍光物質として、フラビンアデニンジヌクレオチド（ＦＡＤ）、生体の結合組織等に含まれるコラーゲン等を例示することができる。
【００２３】
撮像部２４は、撮像に用いる可視光の波長域およびルミネッセンス光の波長域のうちの異なる波長域の光を、対物レンズ部２５が有する複数のレンズのうちの異なるレンズを通じて撮像してよい。特定波長域の戻り光を複数のレンズを通じて撮像してもよい。また、波長域毎に時分割で撮像することもできる。この場合、光照射口２８から照射される照射光の波長域を時分割で制御することで、戻り光の波長域を時分割で制御することができる。
【００２４】
制御部１０は、撮像部２４で得られた画像を処理して、処理された処理済み画像を外部に出力する。例えば、制御部１０は、記録装置５０および表示装置４０の少なくとも一方に処理済み画像を出力する。具体的には、制御部１０は、第１レンズ１１０、第２レンズ１２０および第３レンズ１３０を通じてそれぞれ撮像された画像を合成して、処理済画像を生成する。
【００２５】
操作情報取得部１４は、ユーザによるアングル操作等を通じて、挿入部２０の変位を指示する変位指示を取得する。操作情報取得部１４は、挿入部２０の移動量を示す移動情報を取得する移動情報取得部の一例とする。操作情報取得部１４は、変位指示に基づき変位指示情報を生成して、制御部１０に供給する。制御部１０は、変位指示情報に基づき挿入部２０を変位させる。
【００２６】
具体的には、制御部１０は、変位指示情報に基づき挿入部２０の変位量を算出して、算出した変位量に基づき挿入部２０を変位させる。変位量としては、挿入部２０の挿入量、挿入部２０の湾曲量などを例示することができる。挿入量とは、挿入部２０を挿入すべき長さ、および、時間当たりに挿入すべき長さを示す挿入速度などを例示することができる。湾曲量とは、挿入部２０を湾曲させるべき角度、および、時間当たりに湾曲させべき角度を示す湾曲角速度を例示することができる。
【００２７】
このように、制御部１０は、挿入量および湾曲量を制御することで、挿入部２０の位置および挿入部２０の先端面の向きを制御することができる。制御部１０は、これらの変位量に基づいて、対物レンズ部２５が有する各レンズと生体９０との間の位置関係を特定する。制御部１０は、各レンズにつき、生体９０に対して一定の位置関係となったタイミングで撮像すべく、撮像部２４に撮像させるタイミングを制御する。これにより、各レンズを通じて、視点位置の違いが小さいタイミングで撮像することができる。このため、視差ズレが比較的に小さい画像を撮像することができる。
【００２８】
図２は、制御部１０のブロック構成の一例を示す。説明が複雑になることを防ぐことを目的として、ここでは、制御部１０が有する機能ブロックのうち特に撮像制御に係る機能ブロックを示す。制御部１０は、位置関係特定部２１０、判定部２２０、画像合成部２３０、撮像制御部２４０、および、画像記憶部２５０を有する。
【００２９】
位置関係特定部２１０は、操作情報取得部１４から変位情報を取得する。位置関係特定部２１０は、操作情報取得部１４から供給された変位情報に基づき、撮像部２４が撮像したタイミングにおける、第１レンズ１１０、第２レンズ１２０および第３レンズ１３０のそれぞれと生体９０との間の位置関係を特定する。位置関係特定部２１０は、変位情報および位置関係を示す情報を、判定部２２０に出力する。また、位置関係特定部２１０は、位置関係を示す情報を、画像記憶部２５０に出力する。
【００３０】
判定部２２０は、挿入部２０の変位、第１レンズ１１０、第２レンズ１２０および第３レンズ１３０の光軸の位置、ならびに位置関係特定部２１０が特定した位置関係に基づき、撮像部２４に撮像させるべきタイミングを特定する。具体的には、判定部２２０は、第１レンズ１１０、第２レンズ１２０および第３レンズ１３０のそれぞれが、生体９０に対して一定の位置関係となったか否かを判定する。判定部２２０は、操作情報取得部１４から取得した変位情報に基づき、挿入部２０の変位を特定してよい。
【００３１】
判定部２２０は、一定の位置関係となったタイミングで、撮像制御部２４０に撮像指示を出力する。撮像制御部２４０は、判定部２２０から供給された撮像指示に基づき、撮像部２４により生体９０を撮像させる。
【００３２】
画像記憶部２５０は、撮像部２４が撮像した画像を撮像部２４から取得して、一時的に記憶する。画像記憶部２５０は、撮像部２４から取得した画像を、判定部２２０に供給する。また、画像記憶部２５０は、撮像部２４から取得した画像、および、記憶している画像を画像合成部２３０に出力する。画像合成部２３０は、画像記憶部２５０から出力された画像を合成して、表示装置４０および記録装置５０の少なくとも一方に出力する。具体的には、画像合成部２３０は、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０を通じて撮像された画像のうち、位置関係が略一致した画像同士を合成する。これにより、視差が比較的に少ない画像の合成画像を生成することができる。
【００３３】
なお、画像記憶部２５０は、位置関係特定部２１０から供給された位置関係に対応づけて、撮像部２４から取得した画像を一時的に記憶してよい。画像記憶部２５０は、判定部２２０からの要求に応じて、記憶している画像を位置関係とともに判定部２２０に供給してもよい。
【００３４】
なお、判定部２２０は、位置関係特定部２１０から供給された変位情報の他、画像記憶部２５０から供給された画像の画像内容に基づき、挿入部２０の変位を特定してもよい。例えば、判定部２２０は、異なる複数のタイミングでそれぞれ撮像された複数の画像から、挿入部２０の変位を特定してよい。
【００３５】
図３は、撮像部２４のブロック構成の一例を模式的に示す。ここでは、撮像部２４が有する機能ブロックのうち、第１レンズ１１０および第２レンズ１２０を通じて撮像する機能に係る光学要素を例示する。具体的には、第１レンズ１１０および第２レンズ１２０の光軸を含む平面での模式断面図を示す。
【００３６】
撮像部２４は、第１レンズ１１０および第２レンズ１２０の他、第１受光部１１９、第２レンズ１２０、および、第２受光部１２９を有する。第１レンズ１１０および第１受光部１１９は、第１撮像系１０１として機能する。また、第２レンズ１２０および第２受光部１２９は、第２撮像系１０２として機能する。
【００３７】
第１受光部１１９は、第１カラーフィルタアレイ１１６および第１撮像素子アレイ１１８を含む。第２受光部１２９は、第２カラーフィルタアレイ１２６および第２撮像素子アレイ１２８を含む。
【００３８】
第１レンズ１１０は、撮像光に対して第１の光学特性を持つ。第２レンズ１２０は、第１レンズ１１０とは異なる位置に光軸を持ち、撮像光に対して第２の光学特性をそれぞれ持つ。ここで、光学特性とは、光学応答、結像特性、明るさ特性を例示することができる。光学特性を示す指標として、焦点深度、焦点距離、光学伝達関数、Ｆ値、有効口径、ＭＴＦなどを例示することができる。ここでは、第２レンズ１２０は、第１レンズ１１０とは焦点距離が異なるとする。例えば、第２レンズ１２０は、第１レンズ１１０よりも長い焦点距離を有するとする。
【００３９】
第１撮像系１０１が持つ光学構成について説明する。第１レンズ１１０は、結像レンズであり、生体９０からの光を第１受光部１１９に結像する。第１カラーフィルタアレイ１１６は、予め定められた波長域の光を選択的に透過する複数のカラーフィルタを含む。第１カラーフィルタアレイ１１６は、当該複数のカラーフィルタが予め定められたパターンで配列されて形成される。例えば、第１カラーフィルタアレイ１１６は、当該複数のカラーフィルタがマトリクス状に配列されて形成される。各カラーフィルタが透過する波長域は、第１撮像系１０１の撮像目的に応じて設計すればよい。全カラーフィルタが特定波長域の光を選択的に透過してよく、互いに異なる波長域の光を選択的に透過する複数種類のカラーフィルタを含んでよい。
【００４０】
第１撮像素子アレイ１１８は、生体９０からの光を第１レンズ１１０を通じて受光する複数の撮像素子を含む。第１撮像素子アレイ１１８が含む複数の撮像素子は、第１カラーフィルタアレイ１１６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第１カラーフィルタアレイ１１６に入射した被写体光のうち、対応するカラーフィルタを透過した光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。
【００４１】
第２撮像系１０２が持つ光学構成について説明する。第２レンズ１２０は、結像レンズであり、生体９０からの光を第２受光部１２９に結像する。第２カラーフィルタアレイ１２６は、予め定められた波長域の光を選択的に透過する複数のカラーフィルタを含む。第２カラーフィルタアレイ１２６は、当該複数のカラーフィルタが予め定められたパターンで配列されて形成される。例えば、第２カラーフィルタアレイ１２６は、当該複数のカラーフィルタがマトリクス状に配列されて形成される。各カラーフィルタが透過する波長域は、第２撮像系１０２の撮像目的に応じて設計すればよい。全カラーフィルタが特定波長域の光を選択的に透過してよく、互いに異なる波長域の光を選択的に透過する複数種類のカラーフィルタを含んでよい。
【００４２】
第２撮像素子アレイ１２８は、生体９０からの光を第２レンズ１２０を通じて受光する複数の撮像素子を含む。第２撮像素子アレイ１２８が含む複数の撮像素子は、第２カラーフィルタアレイ１２６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第２カラーフィルタアレイ１２６に入射した被写体光のうち、対応するカラーフィルタを透過した光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。
【００４３】
第１受光部１１９および第２受光部１２９の構成について説明する。第１受光部１１９および第２受光部１２９がそれぞれ有する複数の撮像素子は、同一平面上に設けられる。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第２撮像素子アレイ１２８が有する複数の撮像素子は、同一基板上に形成される。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第２撮像素子アレイ１２８が有する複数の撮像素子は、同一プロセスで同一基板の一面に同時に形成される。また、第１カラーフィルタアレイ１１６が有する複数のカラーフィルタおよび第２カラーフィルタアレイ１２６が有する複数のカラーフィルタも、対応する撮像素子の上部に同一プロセスで同時に形成される。これにより、第１受光部１１９および第２受光部１２９を一体に含む１つの受光部１０９が製造される。第１受光部１１９の撮像面および第２受光部１２９の撮像面は、当該受光部が持つ撮像面の部分領域となる。なお、第１撮像素子アレイ１１８および第１カラーフィルタアレイ１１６を持つ第１受光部１１９と、第２撮像素子アレイ１２８および第２カラーフィルタアレイ１２６を持つ第２受光部１２９とは、互いに別個に製造して組み付けられてもよい。このように、撮像部２４が有する複数の撮像系に含まれる複数の撮像素子は、同一基板上に形成されてよい。
【００４４】
第１撮像系１０１および第２撮像系１０２が備える複数の撮像素子は実質的に同時に露光される。各撮像素子が露光されると、当該複数の撮像素子の出力は撮像信号として読み出されて、制御部１０に出力される。撮像素子の読み出し回路は、撮像素子と同一基板上に形成されてよい。当該読み出し回路は、各撮像系に対して１つ設けられ、１つの読み出し回路が、各撮像系が備える複数の撮像素子から、撮像信号を順次に読み出してよい。なお、読み出し回路は、各撮像系に対してそれぞれ別個に設けられてよい。
【００４５】
各撮像系が備える複数の撮像素子は、ＭＯＳ型撮像素子であってよい。各撮像素子が同一プロセスで同一基板の一面に形成されたＭＯＳ型撮像素子である場合、読み出し回路は、各撮像系が備える光学系毎に、部分的に読み出すことができる。各撮像系が備える複数の撮像素子は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子で実装することもできる。
【００４６】
以上説明したように、第２撮像系１０２は、第１撮像系１０１とは異なる位置に撮像光軸を持ち、第１撮像系１０１とは異なる撮像特性を持つ。本図に関しては説明を省略したが、撮像部２４は、第３レンズ１３０を通じて撮像する機能ブロックとして、図示した光学要素に対応する光学要素を有する。ここでは、第３レンズ１３０を通じて撮像する機能ブロックを第３撮像系と呼ぶ。第３撮像系は、第１撮像系１０１および第２撮像系１０２のいずれとも撮像光軸が異なり、第１撮像系１０１および第２撮像系１０２のいずれとも撮像特性が異なる。
【００４７】
各撮像系の間の撮像特性の相違は、光学系の光学特性の相違、および、受光部１０９の受光特性の少なくとも一方によってもたらされる。ここでは、第２レンズ１２０は、第１レンズ１１０よりも長い焦点距離を有する。そして、第１撮像系１０１および第２撮像系１０２は、同じ波長域の光で撮像するとする。具体的には、第１撮像系１０１および第２撮像系１０２は、可視光に属する波長域の光で撮像する。
【００４８】
また、第３撮像系は、第１撮像系１０１および第２撮像系１０２とは、撮像光の波長域が異なるとする。具体的には、第３撮像系は、赤外の波長域に属する光である赤外光で撮像する。第３撮像系が有するカラーフィルタアレイは、赤外光を選択的に透過する透過特性を持つ。そして、第３レンズ１３０は、受光部の位置に赤外光を結像する結像特性を持つ。このように、撮像特性の違いとは、撮像に用いる光の波長域の違いであってよい。
【００４９】
本実施形態では各撮像系は上述の撮像特性を持つとする。他にも、撮像部２４が有する複数の撮像系がそれぞれ含む光学系は、他の撮像系が含む光学系とは焦点距離、合焦距離、被写界深度およびＦ値の少なくともいずれかを異ならせることができる。また、撮像部２４が有する複数の撮像系は、互いに異なる波長域の光で生体９０を撮像するとしてもよい。また、第１撮像系１０１、第２撮像系１０２、第３撮像系が備える光学要素は、１つの撮像モジュールとして提供されてよい。
【００５０】
図４は、制御部１０における画像処理および撮像制御の一例を模式的に示す。本図では、挿入部２０の先端部を示すＡ部と、生体９０とを示す。
【００５１】
撮像制御部２４０は、撮像部２４に生体９０を連続的に撮像させる。ここで、撮像部２４が、第１タイミングである時刻ｔ１で生体９０を撮像したとする。時刻ｔ１では、第１レンズ１１０の光軸４０１が、生体９０の特定のオブジェクト４９０に向いているとする。撮像部２４は、受光部１０９を露光することで、第１タイミングの画像として、第１レンズ１１０を通じて撮像された第１タイミング画像４１０、および、第２レンズ１２０を通じて撮像された第１タイミング画像４２０を生成する。第１タイミング画像４１０は、画像記憶部２５０に一時的に記憶される。
【００５２】
挿入部２０の先端部をｘ方向に移動させる指示をユーザが操作情報取得部１４に入力している場合、制御部１０は、操作情報取得部１４からの変位指示に基づき、挿入部２０をｘ方向に移動させる。位置関係特定部２１０は、ｘ方向の移動速度と、時刻ｔ１とに基づき、第１レンズ１１０と生体９０との位置関係を特定する。そして、位置関係特定部２１０は、予め定められた座標系のｘ座標を、生体９０との位置関係として特定する。当該座標系の限定は、位置関係特定部２１０が任意に選択することができる。
【００５３】
判定部２２０は、ｘ方向の変位情報および第１時刻からの経過時刻に基づき、先端部Ａのｘ方向の移動量を特定することができる。判定部２２０は、当該移動量に基づき、第１レンズ１１０と第２レンズ１２０との間のｘ方向の離間距離だけ、先端部Ａが移動するタイミングを予測する。判定部２２０は、予測したタイミングで撮像部２４に撮像させるべく、撮像制御部２４０に撮像指示を出力する。撮像部２４は、撮像制御部２４０による撮像制御により、第２タイミングに該当する時刻ｔ４で受光部１０９を露光する。
【００５４】
第２タイミングにおける第２レンズ１２０の光軸４０２は、オブジェクト４９０に向いている。すなわち、第２タイミングでの第２レンズ１２０とオブジェクト４９０との間の相対位置は、第１タイミングでの第１レンズ１１０とオブジェクト４９０との間の相対位置と略等しい。したがって、第１撮像系１０１および解像力の高い第２撮像系１０２を用いて、オブジェクト４９０に対する相対位置が略一致するタイミングで撮像することができる。
【００５５】
画像合成部２３０は、第１タイミング画像４１０と第２タイミング画像４４０とを合成することにより、合成画像４５０を生成する。画像合成部２３０は、第１レンズ１１０の光学特性および第２レンズ１２０の光学特性に基づき、第１タイミング画像４１０および第２タイミング画像４４０の少なくとも一方を補正して合成する。具体的には、第１レンズ１１０と第２レンズ１２０との間の焦点距離の違いを補正して、補正後の画像の対応する画像領域同士を重ね合わせる。合成画像４５０には、解像力の高い第２レンズ１２０を通じて撮像されたオブジェクト像４４２の画像信号が含まれる。このため、オブジェクト像４１２よりも解像力の高い合成オブジェクト像４５２を提供することができる。
【００５６】
このように、位置関係特定部２１０は、第１撮像系１０１が被写体を撮像した第１タイミングでの第１撮像系１０１と生体９０との間の位置関係である第１位置関係を特定する。そして、判定部２２０は、第１撮像系１０１が撮像した生体９０に対する挿入部２０の変位、第１撮像系１０１および第２撮像系１０２の撮像光軸の位置、ならびに、第１位置関係に基づいて、第２撮像系１０２と被写体との間の位置関係である第２位置関係が、第１タイミングよりも第２タイミングで第１位置関係に一致しているか否かを判定する。具体的には、判定部２２０は、操作情報取得部１４から供給された移動情報が示す移動量、第１撮像系１０１および第２撮像系１０２の撮像光軸の位置、ならびに、位置関係特定部２１０が特定した位置関係に基づいて、第２位置関係が第１タイミングよりも第２タイミングで第１位置関係に一致しているか否かを判定する。そして、撮像制御部２４０は、第１撮像系１０１が第１タイミングで撮像した後、第１タイミングよりも第２タイミングで第２位置関係が第１位置関係に一致している旨を判定部２２０が判定した場合に、当該第２タイミングで第２撮像系１０２に撮像させる。そして、画像合成部２３０は、第１撮像系１０１が第１タイミングで被写体を撮像した画像と、第２撮像系１０２が第２タイミングで生体９０を撮像した画像とを合成する。
【００５７】
位置関係としては、上述したｘ座標の他、被写体に対向する面内の位置、各撮像系の光軸の向き、生体９０までの距離などが例示できる。位置関係は、各撮像系と生体９０との相対的な位置を特定できる情報であれば、どのような情報であってもよい。
【００５８】
図５は、撮像部２４に対する撮像制御および画像合成の一例を模式的に示す。時刻ｔ１で、第１撮像系１０１、第２撮像系１０２、および、第３撮像系が、それぞれ第１撮像系画像５１０ａ、第２撮像系画像５２０ａ、および、第３撮像系画像５３０ａが撮像したとする。第１撮像系画像５１０ａおよび第２撮像系画像５２０ａは、それぞれ図４の第１タイミング画像４１０および第１タイミング画像４２０に対応する。本図の例も、第１撮像系画像５１０ａが撮像されたときの第１レンズ１１０とオブジェクト４９０との間の第１位置関係と略一致する位置関係で、第２撮像系１０２および第３撮像系を用いて撮像させる場合について説明する。
【００５９】
判定部２２０は挿入部２０の先端部Ａの移動を継続的に判定して、第２撮像系１０２および第３撮像系のいずれか一方が、第１位置関係と略一致する位置関係となった場合に、撮像指示を撮像制御部２４０に出力する。撮像制御部２４０は、判定部２２０から撮像指示を受け取るまでの間に、予め定められた長さの時間が経過した場合（時刻ｔ２）に、撮像部２４に撮像指示を供給する。本図では、時刻ｔ２の画像として、第１撮像系画像５１０ｂ、第２撮像系画像５２０ｂ、第３撮像系画像５３０ｂが示される。第１撮像系画像５１０ｂ、第２撮像系画像５２０ｂ、第３撮像系画像５３０ｂは、動画の一フレームとして出力することができる。
【００６０】
その後、判定部２２０は、時刻ｔ３で、第３撮像系とオブジェクト４９０との間の位置関係が、時刻ｔ１における第１撮像系１０１とオブジェクト４９０との間の位置関係と略一致したと判定する。判定部２２０が、時刻ｔ３で撮像制御部２４０に撮像指示を出力することで、撮像部２４は、第１撮像系画像５１０ｃ、第２撮像系画像５２０ｃ、および、第３撮像系画像５３０ｃを撮像する。その後、判定部２２０は、時刻ｔ４で、第２撮像系１０２とオブジェクト４９０との間の位置関係が、時刻ｔ１における第１撮像系１０１とオブジェクト４９０との間の位置関係と略一致したと判定する。判定部２２０は、時刻ｔ４で撮像制御部２４０に撮像指示を出力することで、撮像部２４は、第１撮像系画像５１０ｄ、第２撮像系画像５２０ｄ、および、第３撮像系画像５３０ｄを撮像する。第１撮像系画像５１０ｄおよび第２撮像系画像５２０ｄは、それぞれ第２タイミング画像４３０および第２タイミング画像４４０に対応する。
【００６１】
画像合成部２３０は、第１撮像系画像５１０ａ、第３撮像系画像５３０ｃ、第２撮像系画像５２０ｄを合成することで、合成画像５５０を生成する。合成オブジェクト像５５２は、オブジェクト像５１２ａ、オブジェクト像５３２ｃ、および、オブジェクト像５２２ｄを重ね合わせた像である。合成オブジェクト像５５２には、第３撮像系が赤外光で撮像して得られた画像情報が含まれる。
【００６２】
このように、判定部２２０は、挿入部２０の変位、第１撮像系１０１および第３撮像系の撮像光軸の位置、ならびに、第１位置関係に基づいて、第３撮像系と被写体との間の位置関係である第３位置関係が、第１タイミングよりも第３タイミングで第１位置関係に一致しているか否かを判定する。そして、画像合成部２３０は、第１撮像系１０１が第１タイミングで被写体を撮像した画像、第２撮像系１０２が第２タイミングで被写体を撮像した第２画像、および、第３撮像系が第３タイミングで生体９０を撮像した第３画像を合成する。
【００６３】
図６は、位置関係の指標値の一例を示す。ここでは、挿入部２０の先端部が状態６１０にある場合と状態６２０にある場合とを例示する。上述した挿入部２０の挿入量、湾曲量など、挿入部２０の制御量に応じて先端部の状態が変化して、挿入部２０の先端面中心の位置が変位する。
【００６４】
先端面中心位置の指標値として、状態６１０における先端面中心位置と状態６２０における先端面中心位置との間の変位量を例示することができる。本図では、ｘ方向の変位量としてΔｘが示され、ｚ方向の変位量としてΔｚが示される。ｘ方向およびｚ方向に垂直なｙ方向の変位量も、位置の指標値として使用することができる。また、撮像方向の指標値として、状態６１０における撮像方向６４０と状態６２０における撮像方向６５０とがなす角度の変化量Δθを例示することができる。Δθは、ｘ方向およびｙ方向の双方について定義することができる。
【００６５】
生体９０が静止している場合、これらの指標値は、生体９０との間の相対的な位置関係を示す指標値として、直接に使用することができる。これらの指標値と、各レンズの光軸の相対的な位置とに基づいて、各レンズと生体９０との間の位置関係を定量することができる。生体９０自体が変位している場合は、生体９０の変位量は撮像部２４で連続的に撮像された画像から特定することができる場合がある。したがって、位置関係特定部２１０は、挿入部２０の先端部の制御量、および、撮像部２４で連続的に撮像された画像の少なくとも一方に基づき、各レンズと生体９０との間の位置関係を特定することができる。同様に、判定部２２０は、挿入部２０の先端部の制御量、および、撮像部２４で連続的に撮像された画像の少なくとも一方に基づき、各レンズと生体９０との間の位置関係を特定して、位置関係が一致しているか否かを判定することができる。
【００６６】
ｘ方向の変位量、ｙ方向の変位量、および、ｚ方向の変位量は、各撮像系の位置と生体９０との相対位置に対応する。また、角度の変化量Δθは、各撮像系の撮像光軸の向きに対応する。したがって、位置関係特定部２１０は、第１タイミングでの生体９０に対する第１撮像系１０１の相対位置および第１撮像系１０１の撮像光軸の向きを、第１位置関係として特定することができる。そして、判定部２２０は、生体９０に対する第２撮像系１０２の相対位置および第２撮像系１０２の撮像光軸の向きが、第１タイミングよりも第２タイミングで第１位置関係に一致しているか否かを判定することができる。
【００６７】
なお、生体９０が静止している場合、ｚ方向の変位量は、生体９０までの距離に対応する。したがって、ｚ方向に変位すると撮像範囲の広さは変化するが、撮像範囲の中心位置は実質的に変化しない。これに対しｘ方向の変位量、ｙ方向の変位量、および角度の変化量は、撮像範囲の中心位置に実質的な変化をもたらす。したがって、判定部２２０は、位置関係が一致しているか否かを判定する場合、ｘ方向のズレ量、ｙ方向のズレ量、および角度のズレ量を、ｚ方向のズレ量よりも大きな重みを与えて判定してよい。
【００６８】
なお、上記の説明では、判定部２２０が、第１位置関係と第２位置関係が一致するタイミングで撮像指示を出力するとした。他にも、判定部２２０は、第１位置関係に一致する第２位置関係で既に撮像された画像を、画像記憶部２５０が記憶している画像の中から選択することもできる。そして、画像合成部２３０は、選択された画像を、新たに第１位置関係で撮像された画像と合成することができる。
【００６９】
すなわち、画像記憶部２５０は、第２撮像系１０２が異なるタイミングで撮像した複数の画像を記憶する。例えば、第１撮像系１０１および第２撮像系１０２は、略同一の撮像タイミングで連続的に撮像する。そして、画像記憶部２５０は、第１撮像系１０１および第２撮像系１０２でそれぞれ撮像された複数の画像を、撮像タイミングを示す情報に対応づけて記憶する。そして、第１撮像系１０１が第１位置関係で生体９０を撮像した場合、判定部２２０は、画像記憶部２５０が記憶している複数の画像のそれぞれについて、それぞれの画像が撮像されたタイミングでの第２位置関係が、第１タイミングよりも第１位置関係に一致しているか否かを判定する。そして、画像合成部２３０は、第１位置関係に一致している旨が判定された画像のうち、第１位置関係に対する第２位置関係の一致度が予め定められた値より大きい画像を選択し、選択した画像と第１画像とを合成する。本制御によれば、撮像タイミングを動的に制御しなくとも、一致する位置関係で撮像されている画像を選択することができる。
【００７０】
以上の例では、撮像部２４が３の撮像系を有するとした。撮像部２４は、２の撮像系を有してよく、４以上の撮像系を有しても良い。また、本実施形態では、この発明に係る撮像装置の一例としての内視鏡システムを説明したが、この発明に係る撮像装置としては、内視鏡システムの他、カメラ機能付きの携帯電話、デジタルスチルカメラおよびデジタルビデオカメラなどの撮像機器を例示することができる。
【００７１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７２】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００７３】
１０  制御部
１２  光源
１４  操作情報取得部
２０  挿入部
２１  ノズル
２２  挿通口
２４  撮像部
２５  対物レンズ部
２６  ライトガイド
２８  光照射口
３０  処置具
４０  表示装置
５０  記録装置
９０  生体
１０１  第１撮像系
１０２  第２撮像系
１０９  受光部
１１０  第１レンズ
１１６  第１カラーフィルタアレイ
１１８  第１撮像素子アレイ
１１９  第１受光部
１２０  第２レンズ
１２６  第２カラーフィルタアレイ
１２８  第２撮像素子アレイ
１２９  第２受光部
１３０  第３レンズ
２１０  位置関係特定部
２２０  判定部
２３０  画像合成部
２４０  撮像制御部
２５０  画像記憶部
４０１、４０２  光軸
４１０  第１タイミング画像
４１２、４２２、４３２、４４２  オブジェクト像
４２０  第１タイミング画像
４３０  第２タイミング画像
４４０  第２タイミング画像
４５０  合成画像
４５２  合成オブジェクト像
４９０  オブジェクト
５１０  第１撮像系画像
５２０  第２撮像系画像
５３０  第３撮像系画像
５１２、５２２、５３２  オブジェクト像
５５０  合成画像
５５２  合成オブジェクト像
６１０、６２０  状態
６４０、６５０  撮像方向
【図１】
0005414637.tif 000002
【図２】
0005414637.tif 000003
【図３】
0005414637.tif 000004
【図４】
0005414637.tif 000005
【図５】
0005414637.tif 000006
【図６】
0005414637.tif 000007