(57)【特許請求の範囲】
【請求項１】
光学系と撮像素子を介して被写体を撮像する撮像部と、
前記撮像部により取得された前記被写体の観察状態を判定する観察状態判定部と、
前記観察状態判定部によって判定された前記観察状態に基づいて、前記光学系に含まれる絞りの状態を制御する絞り制御部と、
を含み、
前記絞り制御部は、
前記観察状態が第１の観察状態であると判定された場合には、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になるように絞り状態を制御し、
前記観察状態が第２の観察状態であると判定された場合には、前記第１の観察状態での絞り状態に比べて、絞りを絞ることを特徴とする内視鏡システム。
【請求項２】
請求項１において、
前記観察状態判定部は、
前記被写体と前記撮像部との相対的な動きを表す動き情報を検出する動き検出部をさらに含み、
前記観察状態判定部は、
前記動き情報の検出結果に基づいて、前記被写体の前記観察状態を判定することを特徴とする内視鏡システム。
【請求項３】
請求項２において、
前記観察状態判定部は、
検出された前記動き情報により表される動き量が所与の基準値よりも大きい場合、前記被写体の前記観察状態を前記第２の観察状態と判定することを特徴とする内視鏡システム。
【請求項４】
請求項２において、
前記動き検出部は、
前記撮像部により第１のタイミングで取得された画像信号と、第２のタイミングにより取得された画像信号とに基づいて、前記動き情報を検出することを特徴とする内視鏡システム
【請求項５】
請求項１において、
被写体に対して照射光を照射する光源と、
前記光源の射出光量を制御する光量制御部と、
をさらに含み、
前記光量制御部は、
前記観察状態が前記第２の観察状態であると判定された場合は、前記観察状態が前記第１の観察状態であると判定された場合に比べて、前記光源の照射光量を大きくすることを特徴とする内視鏡システム。
【請求項６】
請求項１において、
前記撮像部で取得された画像信号に対してノイズ低減処理を施すノイズ低減部をさらに含み、
前記ノイズ低減部は、
前記観察状態が前記第２の観察状態であると判定された場合には、前記観察状態が前記第１の観察状態であると判定された場合に比べて、前記ノイズ低減処理を強化する画像処理を行うことを特徴とする内視鏡システム。
【請求項７】
請求項１において、
前記撮像素子を制御する制御部をさらに含み、
前記制御部は、
前記観察状態が前記第２の観察状態であると判定された場合には、前記観察状態が前記第１の観察状態であると判定された場合に比べて、前記撮像素子の１フレームあたりの露光時間を長くすることを特徴とする内視鏡システム。
【請求項８】
請求項１において、
前記観察状態判定部は、
前記撮像部から見た被写体の形状を示す形状情報を検出する形状検出部をさらに含み、
前記観察状態判定部は、
前記形状情報の検出結果に基づいて、前記被写体の前記観察状態を判定することを特徴とする内視鏡システム。
【請求項９】
請求項８において、
前記観察状態判定部は、
検出された前記形状情報が示す形状を推定し、検出された前記形状情報により表される形状が平面であると推定した場合には、前記被写体の前記観察状態を前記第１の観察状態と判定することを特徴とする内視鏡システム。
【請求項１０】
請求項９において、
前記観察状態判定部は、
前記撮像部により取得された前記画像信号における画像内の中央部の領域である中央領域の特徴量と、前記画像内の周辺部の領域である周辺領域の特徴量とに基づいて、検出された前記形状情報により表される形状が平面であるか否かを推定することを特徴とする内視鏡システム。
【請求項１１】
請求項１において、
前記観察状態判定部は、
前記被写体を撮像する際に、前記撮像部が前記被写体に対して正対しているか否かを検出する正対有無検出部をさらに含み、
前記観察状態判定部は、
前記正対有無検出部による検出結果に基づいて、前記被写体の前記観察状態を判定することを特徴とする内視鏡システム。
【請求項１２】
請求項１１において、
前記観察状態判定部は、
前記正対有無検出部により、前記被写体を撮像する際に前記撮像部が前記被写体に対して正対していることが検出された場合には、前記被写体の前記観察状態を前記第１の観察状態と判定することを特徴とする内視鏡システム。
【請求項１３】
請求項１１において、
前記正対有無検出部は、
前記撮像部と前記被写体との間の距離を表す距離情報を取得する距離情報取得部を含み、
前記正対有無検出部は、
前記距離情報により表される距離が所与の閾値よりも小さい場合には、前記撮像部が前記被写体に対して正対していると判定することを特徴とする内視鏡システム。
【請求項１４】
請求項１において、
前記観察状態判定部は、
前記撮像部により取得された画像信号に基づいて、前記被写体の前記観察状態を判定することを特徴とする内視鏡システム。
【請求項１５】
光学系と撮像素子を介して被写体を撮像し、
撮像した前記被写体の観察状態を判定し、
前記観察状態が第１の観察状態であると判定された場合には、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になるように絞り状態を制御し、
前記観察状態が第２の観察状態であると判定された場合には、前記第１の観察状態での絞り状態に比べて、絞りを絞ることを特徴とする内視鏡システムの作動方法。
【請求項１６】
光学系と撮像素子を介して被写体を撮像する撮像部と、
前記撮像部により取得された前記被写体の観察状態を判定する観察状態判定部と、
前記観察状態判定部によって判定された前記観察状態に基づいて、前記光学系に含まれる絞りの状態を制御する絞り制御部と、
を含み、
前記絞り制御部は、
前記観察状態が第１の観察状態であると判定された場合には、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になるように絞り状態を制御し、
前記観察状態が第２の観察状態であると判定された場合には、前記第１の観察状態での絞り状態に比べて、絞りを絞ることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡システム、内視鏡システムの作動方法及び撮像装置等に関する。
【背景技術】
【０００２】
内視鏡のような撮像装置においては、ドクターの診断に支障をきたさないようにするために、体腔内で撮像される画像はパンフォーカスの画像が求められる。しかし、内視鏡の場合、対象となる被写体は平面とは限らず、大腸や気管支等の管腔状の被写体をなしている。このため、内視鏡では比較的絞り値（以降、Ｆナンバーとも記す）が大きい光学系を使用して被写界深度を深くすることでこのような性能を達成している。
【０００３】
一方、近年、内視鏡システムにおいても１００万画を超える高画素の撮像素子が使用される方向に進んでいる。しかし、内視鏡システムの場合、先端部に設ける撮像素子の大きさには制約があり、画素数を増やすためには、画素ピッチ（１画素の縦横の寸法）を小さくしなくてはならない。そのため、光学系の被写界深度は、許容錯乱円の大きさによって決定されるが、高画素の撮像素子では画素ピッチと共に許容錯乱円が小さくなるため、撮像装置の被写界深度は狭くなる。このような場合には光学系の絞り値を増大させることで被写界深度を維持することが考えられるが、光学系が暗くなりノイズが増加することで画質が劣化する。また、絞り値が大きくなると回折の影響も大きくなり、結像性能が劣化することで撮像素子を高画素化しても高い解像力の画像が得られないという問題が発生する。
【０００４】
上記問題を抱える可変絞りを備えた内視鏡システムに対して被写界深度と光量の両立を図る例が特許文献１に示されている。特許文献１は、フォーカス機能と絞り動作とを適切に連動させることにより、被写界深度の範囲を無駄なく観察できるものである。
【０００５】
また絞り値に基づく解像度の変化を抑える例としては、特許文献２に示されている。この例では光学系の絞り値を小さくした場合は輪郭強調を弱め、光学系の絞り値を大きくした場合は輪郭強調を強める事で、絞り値に依存せずに一定の解像度を得ようというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−３４２１２２号公報
【特許文献２】特開平８−１８１９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の手法は、フォーカス機能を持った光学系が最遠点の明るさを一定とするよう絞りを調整することで、被写界深度内の範囲を無駄なく観察することできるが、近点側にフォーカスを合わせた場合、絞りを絞るため、本来撮像素子が持つ解像度を得る事ができなくなる。さらには、そもそもフォーカス機能のない内視鏡システムにはこの手法は適用できない。
【０００８】
特許文献２の手法は、上記回折の影響が無視できないＦナンバーで撮像された撮像画像に対して適用する事である程度の解像度回復は可能であるがそもそも高周波成分に十分なエネルギーを持っていないために、高周波を極端に持ち上げる処理となりノイズが増大してしまうという課題が発生する。
【０００９】
本発明の幾つかの態様によれば、観察状態を自動的に判定することで、被写界深度と解像度のどちらを優先した絞り制御等を行うか判断する内視鏡システム、制御方法及び撮像装置等を提供できる。
【００１０】
また、本発明の幾つかの態様によれば、実用的な被写界深度を得る為にＦナンバーを大きくすることで回折の影響からその錯乱円が目標とする許容錯乱円以下に収まらない画素ピッチの撮像素子を用いた場合であっても、本来撮像素子が持つ解像度の画像を撮像できる可変絞りを有する内視鏡システム、制御方法及び撮像装置等を提供できる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、光学系と撮像素子を介して被写体を撮像する撮像部と、前記撮像部により取得された前記被写体の観察状態を判定する観察状態判定部と、前記観察状態判定部によって判定された前記観察状態に基づいて、前記光学系に含まれる絞りの状態を制御する絞り制御部と、を含み、前記絞り制御部は、前記観察状態が第１の観察状態であると判定された場合には、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になるように絞り状態を制御し、前記観察状態が第２の観察状態であると判定された場合には、前記第１の観察状態での絞り状態に比べて、絞りを絞る内視鏡システムに関係する。
【００１２】
本発明の一態様では、観察状態を例えば自動的に判定した上で、判定した観察状態に基づいて、絞りの制御を行う。従って、例えば実用的な被写界深度を得る為にＦナンバーを大きくすることで回折の影響からその錯乱円が目標とする許容錯乱円以下に収まらない画素ピッチの撮像素子などを用いた場合であっても、撮像素子が本来持つ解像度の画像を撮像できる可変絞りを実現できる。
【００１３】
本発明の他の態様は、光学系と撮像素子を介して被写体を撮像し、撮像した前記被写体の観察状態を判定し、前記観察状態が第１の観察状態であると判定された場合には、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になるように絞り状態を制御し、前記観察状態が第２の観察状態であると判定された場合には、前記第１の観察状態での絞り状態に比べて、絞りを絞る制御方法に関係する。
【００１４】
本発明の他の態様は、光学系と撮像素子を介して被写体を撮像する撮像部と、前記撮像部により取得された前記被写体の観察状態を判定する観察状態判定部と、前記観察状態判定部によって判定された前記観察状態に基づいて、前記光学系に含まれる絞りの状態を制御する絞り制御部と、を含み、前記絞り制御部は、前記観察状態が第１の観察状態であると判定された場合には、前記光学系の絞りによる回折限界により決まる解像度が、前記撮像素子により決まる解像度と同等以上になるように絞り状態を制御し、前記観察状態が第２の観察状態であると判定された場合には、前記第１の観察状態での絞り状態に比べて、絞りを絞る撮像装置に関係する。
【図面の簡単な説明】
【００１５】
【図１】図１（Ａ）は回折限界を考慮しないときの光の収束の例、図１（Ｂ）は回折限界を考慮したときの光の収束の例。
【図２】エアリーディスク径ｄとＦナンバーの値Ｆの関係図。
【図３】被写界深度の説明図。
【図４】許容錯乱円の大きさＫ・Ｐよりもエアリーディスク径ｄが小さい場合の例。
【図５】図５（Ａ）は被写界深度の遠点の説明図、図５（Ｂ）は被写界深度の近点の説明図。
【図６】許容錯乱円の大きさＫ・Ｐよりもエアリーディスク径ｄが大きい場合の例。
【図７】図７（Ａ）は被写界深度の遠点の説明図、図７（Ｂ）は被写界深度の近点の説明図。
【図８】第１の観察モード（診察状態）と第２の観察モード（探索状態）の関係図。
【図９】Ｆナンバーの値Ｆと許容錯乱円の大きさの関係図。
【図１０】被写界深度幅とＦナンバーの値Ｆの関係図。
【図１１】被写界深度幅Ｄを実現するためのＦナンバーの値Ｆの説明図。
【図１２】本実施形態のシステム構成例。
【図１３】ＬＥＤ光源を用いた光源部の構成例。
【図１４】回転フィルタの構成例。
【図１５】色フィルタの分光特性。
【図１６】画像処理部の構成例。
【図１７】観察状態判定部の構成例。
【図１８】制御部の構成例。
【図１９】図１９（Ａ）〜図１９（Ｃ）は動き情報とＦ値の関係の例を示す図。
【図２０】観察状態判定部の他の構成例。
【図２１】図２１（Ａ）は周縁部が中心部よりも明るい場合の説明図、図２１（Ｂ）は中心部が周縁部よりも明るい場合の説明図。
【図２２】図２２（Ａ）は管空状の被写体を撮像する場合の説明図、図２２（Ｂ）は被写体に正対した場合の説明図。
【図２３】観察状態判定部の他の構成例。
【発明を実施するための形態】
【００１６】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１７】
１．本実施形態の手法
【００１８】
まず、回折限界とエアリーディスクについて説明する。光は波動としての性質を持つため回折現象があり、そのため光が１点に収束したとしても（焦点が合っていたとしても）、図１（Ａ）のように無限小の点に収まるということはなく、図１（Ｂ）のようにある程度の大きさを持つことになる。この限界のことを回折限界と呼び、収束点の大きさのことをエアリーディスクと呼ぶ。図１（Ｂ）において、ｄはエアリーディスク径を表す。
エアリーディスク径ｄはＦナンバーを大きくするほど（絞りを絞るほど）大きくなり、図２に示すような関係になる。
【００１９】
続いて被写界深度について図３を用いて詳細に説明する。ここで右向きの矢印は正の値のベクトルを表し、左向きの矢印は負の値のベクトルを表している。まず光学系の後側焦点位置からＸＢ’の位置に画素ピッチ（１画素の縦横の寸法）がＰの撮像素子を配置した場合を考える。この時、撮像素子の撮像面上で光学系の結像性能が最も良くなる被写体の位置（フォーカス位置）は、光学系の前側焦点位置からＸＢの位置として表される。ＸＢは以下のニュートンの結像式からＸＢ’が決まると一義的に算出される。ここでｆは光学系の焦点距離である。
【００２０】
ＸＢ・ＸＢ’＝−ｆ２  ・・・・・（１）
【００２１】
被写体をＸＢからＸＮの位置まで移動させると、その時の像面位置ＸＮ’は撮像面から光学系と反対方向に移動する。しかし撮像面における錯乱円の直径が、撮像装置の分解能Ｋ・Ｐ（ただしＫはフィルタ配列や補間処理によって決まる係数）より小さい場合、ＸＮの物体はピントが合っていると見なすことができる。この時の分解能Ｋ・Ｐを許容錯乱円とする。
【００２２】
撮像面における錯乱円の直径がＫ・Ｐ以下になる範囲を近点側の被写界深度と定義し、錯乱円の直径がＫ・Ｐと一致する被写体の位置を近点と呼ぶことにする。今後は近点の位置を、前側焦点位置からＸＮの位置として表す。遠点側も被写界深度の定義は同様であり、遠点側で錯乱円の直径がＫ・Ｐと一致する被写体の位置を遠点と呼ぶ。今後は遠点の位置を、前側焦点位置からＸＦの位置として表す。
【００２３】
被写体が近点にある時の撮像面における錯乱円の直径は、光学系の開口数ＮＡ’＝ｓｉｎ（ｕ’）（ここでｕ’は図３に示す撮像面へ入射する光線と光軸のなす角）を用いて、錯乱円の直径＝２（ＸＮ’−ＸＢ’）・ＮＡ’と近似することができる。近点で錯乱円の直径はＫ・Ｐに一致するため、下式（２）が成り立つ。
【００２４】
２（ＸＮ’−ＸＢ’）・ＮＡ’＝Ｋ・Ｐ  ・・・・・（２）
【００２５】
Ｆナンバーと開口数の関係式である下式（３）を用いて上式（２）を変形すると、下式（４）となる。ここでＦは光学系のＦナンバーである。
【数１】
0005698476.tif 000002
【００２６】
ＸＮ’−ＸＢ’＝Ｋ・Ｐ・Ｆ・・・・・（４）
【００２７】
さらに（１）式で示したニュートンの式を用いて（４）式を変形すると、（５）式に示す近点側の被写界深度の関係式が成立する。
【数２】
0005698476.tif 000003
【００２８】
近点側と同様の方法で遠点側の被写界深度の関係式を算出すると以下の（６）式のようになる。
【数３】
0005698476.tif 000004
【００２９】
上式（５）、（６）はさらに以下のように変形でき、これらを用いて近点の位置ＸＮ及び遠点の位置ＸＦを算出できる。
【数４】
0005698476.tif 000005
【数５】
0005698476.tif 000006
【００３０】
上式（７）、（８）は光学系の焦点距離ｆ、ＦナンバーＦ、係数Ｋ、フォーカス位置ＸＢが一定の場合、撮像装置の分解能Ｋ・Ｐが小さくなるに従って近点及び遠点がフォーカス位置に近づき、被写界深度の幅が狭くなることを示している。
【００３１】
逆に撮像装置の分解能Ｋ・ＰのＫ、或いはＦナンバーＦを大きく設定すれば、被写界深度の幅は広くできる事を示している。本実施形態においては、Ｋは一定であり、Ｆを変化させることで被写界深度を変化させる手法について考える。
【００３２】
次に、許容錯乱円とエアリーディスクの関係について説明する。図４に示すように許容錯乱円の大きさＫ・Ｐよりも、エアリーディスク径ｄが小さい場合は、図５（Ａ）及び図５（Ｂ）に示すように、被写界深度は上述の考え方によって求めることができる。
【００３３】
一方、図６に示すように許容錯乱円の大きさＫ・Ｐよりも、エアリーディスク径ｄが大きい場合は、被写界深度はＫ・Ｐではなくｄによって決められる。図から明らかなように錯乱円の大きさはｄ以上になるため、焦点が合っている状態であっても、Ｋ・Ｐ以下になることがないからである。つまり、このときの許容錯乱円の大きさはＫ・Ｐではなくｄになると言ってもよい。
【００３４】
許容錯乱円が大きくなるため、分解能は低くなる（解像度が落ちる）ことになるが、図７（Ａ）、図７（Ｂ）に示すように、被写界深度は広くすることが可能になる。
【００３５】
本出願人は、ドクターが内視鏡先端を動かして病変を探索している状態（探索状態）では、Ｋ・Ｐよりもｄを大きく設定するとともに、ドクターが内視鏡先端を静止させて注目領域を診察している状態（診察状態）では、Ｋ・Ｐよりもｄを小さく設定する。それにより、撮像装置の能力を最大限生かした解像度の画像を取得しつつ、パンフォーカス（被写界深度が広い状態）を実現する手法を提案している。
【００３６】
具体的には、探索状態においては、Ｆナンバーを大きくし（絞りを絞り）、あえて回折限界による影響を大きくすることで、解像度は低下するが被写界深度を広くするモードを実現している。また、診察状態においては、Ｆナンバーを小さくし、回折限界による影響を受けない状態にすることで、被写界深度は狭いが、撮像装置により決められる高解像度の画像を取得するモードを実現している。
【００３７】
探索状態及び診察状態を表したものが図８である。例えばｄ＝Ｋ・Ｐとなる点を境に、探索状態か診察状態かが決定される。
【００３８】
パンフォーカスを実現するに当たって、探索状態を利用することの利点についてさらに説明する。
【００３９】
探索状態と診察状態の境界でのＦナンバーをＦ’としたとき、Ｆナンバーと許容錯乱円の関係は図９に示したようになる。ＦがＦ’よりも小さい場合には、許容錯乱円の大きさはＫ・Ｐで一定である。また、ＦがＦ’よりも大きい場合には、許容錯乱円の大きさはｄで決まるが、図８に示したようにｄはＦが大きくなるに従い大きくなる性質を持つため、図９のように探索状態ではＦが大きくなるに従い許容錯乱円も大きくなる。
【００４０】
上述したように被写界深度はＦナンバーが大きくなるほど広くなる性質があり、また、許容錯乱円が大きくなるほど広くなる。つまり、被写界深度とＦナンバーの関係を図示すると図１０のようになる。ＦがＦ’よりも小さい（診察状態）の場合には、Ｆが大きくなるに従い、Ｆナンバーの増大の影響で、ある傾きＳ１で被写界深度も大きくなる。そしてＦがＦ’よりも大きい（探索状態）の場合には、Ｆナンバーの増大の影響と、許容錯乱円の増大の影響の両方を受けるために、Ｓ２＞Ｓ１となる傾きＳ２で被写界深度は大きくなる。
【００４１】
よって回折限界の影響を受けないモード（診察状態）のみを用いた場合に比べ、Ｆナンバーの増大に対する被写界深度の増大率を大きくすることが可能になる。そのため、ある被写界深度が必要になったとき、診察状態のみを用いた場合に比べ、小さいＦナンバーでその被写界深度を実現することが可能になる。これを図示したものが図１１である。被写界深度Ｄが必要なとき、診察状態のみを用いた場合はＦナンバーをＦ２にする必要があるが、探索状態を用いれば、Ｆ１＜Ｆ２となるＦ１を用いて実現できる。
【００４２】
つまり、同じ被写界深度Ｄを実現する際に、小さいＦナンバーを用いることができるため、より明るい画像を得ることが可能になる。これは、内視鏡システムにおける狭帯域光観察（例えばＮＢＩ等）など、元々の光量が少なく、暗い画像になりがちなシステムにおいては特に効果を発揮することになる。
【００４３】
２．第１の実施形態
【００４４】
図１２は第１の実施形態の内視鏡システムの全体構成を示すブロック図である。本実施形態の内視鏡システムは光源部１００と撮像部２００とプロセッサ部３００と表示部４００と外部Ｉ／Ｆ部５００を含む。
【００４５】
光源部１００は白色光源１０１と、光源絞り１０２と、光源絞り１０２を駆動させる光源絞り駆動部１０３と、複数の分光透過率を持った回転色フィルタ１０４と、回転色フィルタ１０４を駆動させる回転駆動部１０５と、回転色フィルタ１０４からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０６を含む。
【００４６】
光源絞り駆動部１０３は、プロセッサ部３００の制御部３３０からの制御信号に基づき光源絞り１０２の開閉を行うことで光量の調整を行う。ここで光源部１００は、例えば図１３に示すように、白色光源１０１と、光源絞り１０２の代わりに、ＬＥＤ光源１０７と、ＬＥＤ駆動部１０８を備えた構成としてもよい。ＬＥＤ駆動部１０８は、プロセッサ部３００の制御部３３０からの制御信号に基づきＬＥＤ光源１０７の光量を調整する。
【００４７】
回転色フィルタ１０４は例えば図１４に示すように三原色の赤の色フィルタ６０１と緑の色フィルタ６０２と青の色フィルタ６０３と回転モータ８０３とから構成されている。これら３つの色フィルタの分光特性は図１５に示した通りである。
【００４８】
回転駆動部１０５はプロセッサ部３００の制御部３３０からの制御信号に基づき撮像素子２０６の撮像期間と同期して回転色フィルタ１０４を所定回転数で回転させる。例えば色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る事になり、撮像素子２０６は６０分の１秒間隔で３原色の各色光（Ｒ或いはＧ或いはＢ）での反射光の画像信号の撮像と転送を完了することになる。ここで撮像素子２０６はモノクロ用とする。つまりＲ画像信号、Ｇ画像信号、Ｂ画像信号が６０分の１秒間隔で面順次で撮像される内視鏡システムの例となる。
【００４９】
撮像部２００は例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、該ライトガイドファイバ２０１により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２０２と、観察対象から戻る反射光を集光する対物レンズ２０３と、可変絞り２０４と、制御部３３０の制御に基づき可変絞り２０４を開閉する対物絞り駆動部２０５と、集光した反射光を検出するための撮像素子２０６と、撮像素子２０６からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０７と、を備えている。ここで上記撮像素子２０６は前記した通りモノクロ単板撮像素子とし、ＣＣＤやＣＭＯＳ等が利用できる。
【００５０】
プロセッサ部３００は画像処理部３１０と、観察状態判定部３２０と、制御部３３０とから構成される。Ａ／Ｄ変換部２０７でデジタルに変換された画像信号は、画像処理部３１０に転送される。画像処理部３１０で処理された画像信号は、観察状態判定部３２０と表示部４００に転送される。観察状態判定部３２０は、画像信号から検出した観察状態情報を制御部３３０に転送する。制御部３３０は、光源絞り駆動部１０３と、回転駆動部１０５と、対物絞り駆動部２０５と、撮像素子２０６と、画像処理部３１０と、外部Ｉ／Ｆ部５００に接続されていて、これらを制御するようになっている。
【００５１】
表示部４００はＣＲＴや液晶モニタ等の動画表示可能な表示装置である。
【００５２】
外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３３０へ転送するようになっている。
【００５３】
次に、画像処理部３１０について図１６を用いて説明する。画像処理部３１０は、前処理部３１１と、ノイズ低減部３１２と、同時化部３１３と、後処理部３１４を備えている。Ａ／Ｄ変換部２０７は、前処理部３１１に接続されている。前処理部３１１は、ノイズ低減部３１２に接続されている。ノイズ低減部３１２は、同時化部３１３に接続されている。同時化部３１３は、後処理部３１４と観察状態判定部３２０に接続されている。後処理部３１４は、表示部４００に接続されている。制御部３３０は、前処理部３１１と、ノイズ低減部３１２と、同時化部３１３と、後処理部３１４とに接続されていて、これらを制御するようになっている。
【００５４】
前処理部３１１は、Ａ／Ｄ変換部２０７で変換されて入力されるデジタル画像信号に対して、制御部３３０に予め保存されているＯＢクランプ値、ゲイン補正値、ＷＢ係数値を用いて、ＯＢクランプ処理、ゲイン補正処理、ＷＢ補正処理を行う。前処理を施された画像信号はノイズ低減部３１２へ転送される。
【００５５】
ノイズ低減部３１２は、制御部３３０の制御信号に基づき、前処理部で処理された画像信号に対してローパスフィルタを作用させる。このローパスフィルタは、制御部３３０からノイズ低減処理を強化する制御信号が転送された場合、高周波のノイズをよりカットする方向に作用する。ノイズ低減処理を行われた画像信号は、同時化部３１３へ転送される。
【００５６】
同時化部３１３は、ノイズ低減部３１２でノイズ低減処理を施された画像信号に対して、制御部３３０の制御信号に基づき、面順次のＲ画像信号、Ｇ画像信号、Ｂ画像信号を同時化する。同時化処理した画像信号は、後処理部３１４と観察状態判定部３２０へ転送される。
【００５７】
後処理部３１４は、制御部３３０に予め保存されている階調変換係数、色変換係数、輪郭強調係数を用いて、階調変換処理、色処理、輪郭強調処理を行う。後処理を施された画像信号は表示部４００へ転送される。
【００５８】
次に、観察状態判定部３２０について図１７を用いて説明する。観察状態判定部３２０は、明るさ検出部３２１と、記憶部３２２と、動き検出部３２３を備えている。画像処理部３１０は、明るさ検出部３２１と、記憶部３２２と、動き検出部３２３とに接続されている。明るさ検出部３２１は、制御部３３０に接続され、画像信号の明るさ情報を転送する。記憶部３２２は、動き検出部３２３に接続され、画像処理部３１０から入力された画像信号より過去の画像信号を動き検出部３２３に転送する。動き検出部３２３は、制御部３３０に接続され、画像信号の動き情報を転送する。
【００５９】
明るさ検出部３２１は、画像処理部３１０から入力された画像信号の明るさ情報を検出する。ここでは例えば、画像信号全体の輝度平均値を明るさ情報とする。また、明るさ情報は画像全体の輝度平均値に限らず、画像中心部の輝度平均値としても良いし、時間的に連続した画像信号の輝度の平均値としても良い。検出された明るさ情報は制御部３３０に転送される。
【００６０】
記憶部３２２は、画像処理部３１０から転送された画像信号（以降、現画像信号とも記す）を記憶し、現画像信号より過去の画像信号を動き検出部に出力する。具体的には、現画像信号はＲ画像信号、Ｇ画像信号、Ｂ画像信号の色信号で構成され、各色信号は６０分の１秒間隔で順次更新される。例えば、現画像信号でＲ画像信号が更新された場合、現画像信号の直前にＲ画像信号が更新された画像信号（以降、過去画像信号とも記す）を動き検出部３２３に転送する。Ｇ画像信号とＢ画像信号も同様の処理を行う。
【００６１】
動き検出部３２３は、画像処理部３１０から転送された現画像信号と記憶部３２２に記憶された過去画像信号との間における被写体の動きを検出する。具体的には、現画像信号で更新された色信号と、同色の過去画像信号の色信号とを比較することにより、被写体の動きを算出する。また、動き検出に用いられる画像信号はＲ画像信号、Ｇ画像信号及びＢ画像信号のうちの更新されたものに限定されるわけではない。ＲＧＢから輝度信号を求め、輝度信号に基づいて動き検出を行ってもよい。
【００６２】
動き検出には、例えば、現像信号のＲ画像信号が更新された場合、現画像信号のＲ画像信号をブロックに分割し、ブロックごとに過去画像信号のＲ画像信号から、動きを検出する手法が用いられる。この手法では、現画像信号の分割されたブロックの中の注目ブロックに対して、過去画像信号の探索範囲内で、この注目ブロックとの差異が最も小さい位置を特定する。この特定された位置によって、注目ブロックに対する、ブロックを単位とした被写体の移動方向および移動量を表すベクトル（以降、動きベクトルと記す）が定まる。
【００６３】
つまり、探索範囲内の全ベクトルに対してブロック単位の差分絶対値またはその差分絶対値に相応する類似度評価値を計算し、計算された差分絶対値または類似度評価値に基づいて、注目ブロックとの差異が最も小さい位置が決定され、注目ブロックの動きベクトルが定まる。ブロックサイズには、例えば、１６×１６、１６×８、８×１６、８×８画素のサイズが規定される。各ブロックの動きベクトルは絶対値を算出し、全ブロックの総和を動き情報として制御部３３０に転送する。
【００６４】
次に、制御部３３０について図１８を用いて説明する。制御部３３０は、対物絞り制御部３３１、光源絞り制御部３３２、選択部３３３を備える。観察状態判定部３２０は、対物絞り制御部３３１と光源絞り制御部３３２に接続されている。対物絞り制御部３３１は、光源絞り制御部３３２と、対物絞り駆動部２０５に接続されている。光源絞り制御部３３２は、光源絞り駆動部１０３と選択部３３３に接続されている。外部Ｉ／Ｆ部５００は、選択部３３３に接続されている。選択部３３３は、前処理部３１１と、ノイズ低減部３１２と、撮像素子２０６とに接続されている。また、図示していないが、制御部３３０は、画像処理部３１０で行う各処理に対して制御を行う。また、回転駆動部１０５の回転タイミングに合わせて撮像素子２０６からの画像取得を行う同期信号を発生する。
【００６５】
対物絞り制御部３３１は、観察状態判定部３２０で検出された動き情報に基づき、可変対物絞り２０４の絞り量を制御する信号を対物絞り駆動部２０５に転送する。具体的には、図１９（Ａ）に示すように動き情報が閾値Ｍ’より小さい場合には絞りを開けてレンズ開口を大きくし、その許容錯乱円を撮像素子２０６の限界解像度が得られる状態Ｆ’に設定する。これにより被写界深度は狭く限定されるが焦点位置では撮像素子の性能をフル活用した高解像度の画像を得ることができる。一方、動き情報がＭ’より大きい場合には絞りを絞ってレンズ開口を小さくし、実用的な解像度と被写界深度が得られる許容錯乱円の大きさに設定する。ここで実用的な解像度とは撮像素子２０６の限界解像度は得られないが例えば１世代前の古い製造プロセスで作成された撮像素子相当の解像度という意味である。また、動き情報に対するＦナンバーの関係の例としては図１９（Ｂ）、（Ｃ）を用いてもよい。動き情報に応じて設定された絞り値はＦｘと表記する。設定された絞り値Ｆｘは光源絞り制御部３３２と、対物絞り駆動部２０５に転送される。
【００６６】
光源絞り制御部３３２は、観察状態判定部３２０で検出された明るさ情報と、対物絞りの制御信号とに基づき、光源絞り１０２の絞り量を制御する信号を光源絞り駆動部１０３に転送する。具体的には、外部から予め入力された所望の明るさをＹａ、検出された明るさ情報をＹｂ、対物絞り制御部３３１で設定された対物絞り値をＦｘ、現在の対物絞り値をＦｙ、現在の光源絞り値をＦｚ、設定する光源絞り値をＦｌと表記すると、以下の式（９）でＦｌを設定できる。
【数６】
0005698476.tif 000007
【００６７】
設定された光源絞り値Ｆｌは光源絞り駆動部１０３に転送される。また、設定された光源絞り値Ｆｌが、光源絞り１０２の開口限界を超えている場合、選択部３３３に制御信号が転送される。
【００６８】
選択部３３３は、光源絞り制御部３３２からの制御信号が転送された場合のみ、外部Ｉ／Ｆ部５００の信号に基づき、撮像素子のフレームレートを変更、またはノイズ低減処理の強化のどちらを行うかを選択する。具体的には、まず、外部Ｉ／Ｆ部５００により、モード切替ボタンによるユーザーからのモード切替要求に基づき、フレームレート変換を行うか否かが設定される。ユーザー要求によりフレームレート変換モードが設定された場合は、撮像素子にフレームレートを下げる制御信号を転送する。一方、フレームレート変換モードが設定されていない場合は、前処理部３１１に、ゲイン補正量を上げる制御信号を、ノイズ低減部３１２にノイズ低減処理を強化する制御信号を転送する。
【００６９】
フレームレートを下げることで、１フレームあたりの撮像画像の露光時間が長くなり、明るい画像を得ることが可能となる。また、ゲイン補正量を上げることでも、明るい画像が得られる。つまり、被写界深度を深くするために絞りを絞ることで、暗くなってしまった画像に対して、光源絞りをあける以外の方法で、明るさ補正を行うことができる。
【００７０】
以上のように、第１の実施形態によれば、複数の観察状態を自動で検出することにより、ドクターがわずらわしい操作をすることなく、各観察状態において高画質な画像を得ることができ、目的に応じて最適な観察が可能となる。
【００７１】
特に撮像素子の微細化に伴い画素ピッチに対して光学系の絞りに基づく回折限界の影響により撮像素子本来の解像度が得られないような場合でも、被写界深度が広く低解像度な状態（探索状態）と、被写界深度が狭く高解像度な状態（診察状態）を切り替える事で本来撮像素子が持つ最大解像度の画像で観察する事ができるようになる。
【００７２】
また、変形例としては、動き検出ではなく、血管構造や病変部を初めとする注目領域を検出することで、観察状態の判定を行ってもよい。つまり、撮像された画像内に、特定の血管構造や病変部があると判断されたか否かで、探索状態か診察状態かを判定する。注目領域が検出された場合には、ユーザー（ドクター）は検出された注目領域を診察するものと判断し、診察状態に対応する絞り等の制御を行う。また、注目領域が検出されない場合には、注目領域を探索している状態であると判断し、探索状態に対応する絞り制御等を行う。この際、注目領域を検出するために、ＮＢＩ（Narrow Band Imaging）等に代表される特殊光観察を行ってもよい。
【００７３】
以上の本実施形態では、内視鏡システムは、図１２に示したように、撮像部２００と観察状態を判定する観察状態判定部３２０と、観察状態に基づいて絞り状態を制御する絞り制御部（図１８における対物絞り制御部３３１と光源絞り制御部３３２に相当。ＬＥＤ光源の場合はＬＥＤ駆動部１０８を制御する制御部３３０に相当）を含む。撮像部２００は光学系と撮像素子２０６を介して被写体を撮像する。観察状態判定部３２０は被写体の観察状態を判定する。
【００７４】
これにより、観察状態を自動的に判定した上で、観察状態に応じた絞り状態を選択することが可能になる。そのため、ユーザーによるモード切替等の煩わしい作業を軽減することができる。具体的には、第１の観察状態（具体的には例えば診察状態）では、回折限界の影響を受けないようにすることで、被写界深度幅は狭いが、撮像素子の能力をフルに発揮する解像度の画像を取得可能な、Ｆナンバーの小さい状態を設定できる。また、第２の観察状態（例えば探索状態）では、第１の観察状態に比べて絞りを絞ることで、あえて回折限界の影響を大きくすることになり、解像度は落ちるものの被写界深度幅を広くすることが可能な、Ｆナンバーの大きい状態を設定できる。
【００７５】
また、観察状態判定部３２０は、図１７に示したように、被写体と撮像部２００との相対的な動きを表す動き情報を検出する動き検出部３２３を含み、動き情報の検出結果に基づいて被写体の観察状態を判定してもよい。
【００７６】
これにより、動き情報を用いて観察状態を判定することが可能になる。動き情報とは被写体と撮像部２００との相対的な動きを表すものであり、動きとしては撮像部２００が静止していて被写体が動いているケース、被写体が静止していて撮像部２００が動いているケース、撮像部２００と被写体の両方が動いているケースの全てが考え得る。
【００７７】
また、観察状態判定部３２０は、動き情報により表される動き量が所与の基準値よりも大きい場合に、被写体の観察状態を第２の観察状態であると判定してもよい。
【００７８】
これにより、動き量が大きい場合を第２の観察状態であると判定することが可能になる。第２の観察状態とは、具体的には例えば探索状態であり、病変部のサーチ等の目的で撮像部２００を大きく動かしているケースなどが想定される。その場合、広い範囲にピントが合っている画像を提供することが望ましいため、上述したように、絞りを絞る制御を行うことになる。
【００７９】
また、動き検出部３２３は、撮像部２００により第１のタイミングで撮像された画像信号と、第２のタイミングで撮像された画像信号とに基づいて、動き情報を検出してもよい。
【００８０】
これにより、画像情報を用いて動き情報を検出することが可能になる。具体的には、異なるタイミングである第１のタイミングと第２のタイミングで取得された、異なる２つの画像信号に基づいて動き情報を検出する。さらに具体的には、例えば、上述したように、第１のタイミングにおける画像信号と、第２のタイミングにおける画像信号との間の動きベクトルを求めて、求めた動きベクトルを動き情報とすればよい。ただし、動き情報の検出は、動きベクトルを求める手法に限定されるものではない。
【００８１】
また、内視鏡システムは、被写体を照射する光源（例えば図１２における白色光源１０１や、図１３におけるＬＥＤ光源１０７）と、光源の射出光量を制御する光量制御部（例えば、図１８における光源絞り１０２や、図１３におけるＬＥＤ駆動部１０８を制御する制御部３３０）とを含む。光量制御部は、観察状態が第２の観察状態であると判定された場合には、第１の観察状態であると判定された場合に比べて、光量を大きくしてもよい。
【００８２】
これにより、光量の制御を行うことが可能になる。第２の観察状態においては、上述したように、第１の観察状態に比べて絞りを絞る制御を行う。そのため、画像全体が暗くなり、視認性が低下する。この問題に対応するために、第２の観察状態においては、光源の光量自体を大きくし、画像が暗くなることを回避している。
【００８３】
また、内視鏡システムは、図１６に示したように、画像信号に対してノイズ低減処理を施すノイズ低減部３１２を含んでもよい。ノイズ低減部３１２は、観察状態が第２の観察状態であると判定された場合には、第１の観察状態であると判定された場合に比べて、ノイズ低減処理を強化する画像処理を行ってもよい。
【００８４】
これにより、第２の観察状態において、強いノイズ低減処理を行うことが可能になる。第２の観察状態においては、上述したように絞りを絞るため画像が暗くなる。そのため、光源絞り制御部３３２により、光源絞り１０２を開いたりすることで光量を増加させる。また、光量の増加でも不十分な場合には、ゲインアップ処理を施すことで画像を明るくすることが考えられる。しかし、ゲインアップ処理によりノイズ量も増大してしまうため、適切なノイズ低減処理を行う必要がある。以上の理由により、第２の観察状態においては、第１の観察状態に比べてノイズ低減処理を強化するとよい。第２の観察状態（探索状態）では、回折限界の影響を受けることで、解像度が低下しており、高周波成分の信号が落ちているため、高周波成分はノイズである可能性が高く、高周波成分を低減したとしても、画質の劣化は少ないと考えられる。
【００８５】
また、内視鏡システムは、図１２に示したように、制御部３３０を含み、制御部３３０は撮像素子２０６の制御も行う。そして、制御部３３０は、第２の観察状態であると判定された場合には、第１の観察状態であると判定された場合に比べて、撮像素子２０６の１フレームあたりの露光時間を長くしてもよい。
【００８６】
これにより、撮像素子２０６の１フレームあたりの露光時間を制御することが可能になる。ここで露光時間とは、撮像素子（例えばＣＣＤにより構成される）の電化蓄積時間のことである。具体的には、フレームレートを下げる制御を行うことになり、これにより、画像信号が暗くなりがちな第２の観察状態においても、明るい画像信号を提供することができる。ただし、フレームレートを下げることで、動画性能は低下することになる。よって本実施形態では上述したように、フレームレートを下げる制御を行ってもよいか否かを、ユーザーの判断にゆだねることにしている。
【００８７】
また、観察状態判定部３２０は、撮像部２００により取得された画像信号に基づいて、被写体の観察状態を判定してもよい。
【００８８】
これにより、画像信号に基づいた、観察状態の判定が可能になる。具体的には例えば、上述したように、画像信号（異なる２つのタイミングで取得された画像信号）に基づいて動き情報を検出し、検出した動き情報から観察状態を判定するケース等が想定される。
【００８９】
また、本実施形態は、被写体を撮像し、撮像した被写体の観察状態を判定し、観察状態が第１の観察状態（診察状態）であると判定された場合には、光学系の絞りによる回折限界により決まる解像度が、撮像素子２０６により決まる解像度と同等以上になるように絞り状態を制御するとともに、第２の観察状態（探索状態）であると判定された場合には、第１の観察状態に比べて絞りを絞る制御方法であってもよい。
【００９０】
これにより、内視鏡システムにとどまらず、制御方法にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【００９１】
また、本実施形態は内視鏡システムに限定されるものではなく、撮像装置に用いられてもよい。具体的には、撮像部と、被写体の観察状態を判定する観察状態判定部と、観察状態に基づいて絞りの状態を制御する絞り制御部とを含む撮像装置である。そして絞り制御部は、第１の観察状態であると判定された場合には、絞りを開き、撮像素子の能力をフルに発揮した解像度を実現する絞り状態を選択する。また、第２の観察状態であると判定された場合には、第１の観察状態であると判定された場合に比べて、絞りを絞る。
【００９２】
これにより、内視鏡システムにとどまらず、一般的な撮像装置にも本実施形態の手法を適用し、上述の効果を得ることが可能になる。
【００９３】
３．第２の実施形態
【００９４】
第２の実施の形態は、第１の実施例の構成と観察状態判定部３２０が異なる。
【００９５】
観察状態判定部３２０について図２０を用いて説明する。観察状態判定部３２０は、明るさ検出部３２１と、形状検出部３２５を備えている。画像処理部３１０は、明るさ検出部３２１と、形状検出部３２５とに接続されている。形状検出部３２５は、制御部３３０に接続され、被写体の形状情報を転送する。
【００９６】
本実施の形態における形状検出部３２５の詳細について説明する。具体的には、まず、画像処理部３１０から出力された画像に対して、図２１（Ａ）、図２１（Ｂ）のように領域１及び領域２を設定する。ここでは画像の中心からの距離ｒが０≦ｒ≦ｒ０となる領域を領域１、ｒ０＜ｒとなる領域を領域２と設定している。ｒ０は画像中心部と周辺部を区別する定数として、外部から予め入力されるものとする。さらに、領域１及び領域２の平均輝度Ｌ１とＬ２を算出する。ここで被写体の各形状における平均輝度Ｌ１とＬ２の関係を図２１（Ａ）、図２１（Ｂ）及び図２２（Ａ）、図２２（Ｂ）を用いて説明する。図２２（Ａ）、図２２（Ｂ）の太線は被写体である生体の形状を表し、破線は撮像部２００の視野角を示している。さらに図示しない撮像部近傍に設けられた照明部によってほぼ視野角と重なる範囲が照明されている。
【００９７】
図２２（Ａ）に示すように撮像部２００は管空状の被写体の中を移動している場合（探索状態）では、画像の中心付近に位置する被写体は画像の周辺部に位置する被写体に比べて撮像部から非常に遠方に位置する。この結果、図２２（Ａ）に示すように画像の周辺部である領域２が中心部である領域１に比べて明るい画像となる。また、図２２（Ｂ）に示すように撮像部２００が被写体の壁面にほぼ正対する場合（診察状態）では、注目部が画像の中心付近に位置するように調整される。この場合は、画像の中心と周辺で撮像部から被写体までの距離の変動があまり大きくないため、照明の配光や光学系のケラレの影響などにより一般的に図２２（Ｂ）に示すように画像の中心部が周辺部に比べて明るい画像となる。形状情報Ｌは以下の式（１０）で算出する。
【００９８】
Ｌ＝Ｌ２／Ｌ１・・・・・（１０）
【００９９】
形状情報Ｌは、制御部３３０に転送される。なお、本実施の形態では画像信号の輝度を特徴量として使用したが、輝度以外の特徴量を用いてもよい。例えば、入力された画像信号に対して既存の周波数分解を行い、その周波数特性から形状情報を検出してもよい。
【０１００】
制御部３３０では、第１の実施例の動き情報を、形状情報に置きかえて処理が行われる。
【０１０１】
以上のように、第２の実施形態によれば、被写体の形状を自動で検出することにより、ドクターが注目部に対して正対して観察している場合には高画質な画像を得ることができ、管腔状の被写体の中を移動している場合には、高深度な画像を得ることができるため目的に応じて最適な観察が可能となる。
【０１０２】
また、上述の処理では、図２２（Ａ）、図２２（Ｂ）に示したように、被写体に正対しているか否かを判断するために形状情報を用いていた。つまり、内視鏡システムは、図２３に示すように、正対しているか否かを判定する正対有無検出部３２６を有すれば足り、形状情報を取得する手法に限定されない。具体的には例えば、被写体との距離を測定する測距部（一例としては赤外線アクティブセンサ等）を撮像部２００に取り付けることで、距離情報取得部３２７において被写体との距離情報を取得してもよい。図２２（Ａ）のように、被写体に正対していない場合には距離情報により表される距離は大きくなり、図２２（Ｂ）のように、被写体に正対している場合には距離は小さくなる。これは、被写体との距離に関して、所与の閾値を設けて、閾値との比較を行うことで判定できる。
【０１０３】
以上の本実施形態では、観察状態判定部３２０は、図２０に示すように、撮像部２００から見た被写体の形状を示す形状情報を検出する形状検出部３２５を含む。そして、観察状態判定部３２０は、形状情報に基づいて被写体の観察状態を判定する。具体的には例えば、形状情報が示す形状が平面であると推定された場合には、観察状態を第１の観察状態であると判定してもよい。
【０１０４】
これにより、被写体の形状情報に基づいて観察状態を判定することが可能になる。形状情報とは例えば、図２２（Ａ）、図２２（Ｂ）のようなケースにおける、撮像部２００から見た注目部の形状を表す情報のことである。図２２（Ａ）では、注目部は、管空状の形状を構成する一部であるし、図２２（Ｂ）では注目部は平面状である。このうち図２２（Ｂ）のようなケースでは、注目部を注視している診察状態であると考えられるため、形状情報が示す形状が平面であると推定された場合には、第１の観察状態であると判定する。
【０１０５】
また、観察状態判定部３２０は、画像信号の中央領域と周辺領域の特徴量に基づいて、形状情報が示す形状が平面であるか否かを推定してもよい。
【０１０６】
これにより、画像情報の特徴量を用いて、形状情報が示す形状の推定を行うことが可能になる。具体的には例えば、図２１（Ａ）、図２１（Ｂ）に示したように、中央領域の輝度情報（明るさ情報）と、周辺領域の輝度情報との比から形状を推定してもよい。図２２（Ａ）に示すように管空状の対象を観察しているときは図２１（Ａ）のように中央領域が暗く、周辺領域が明るくなる。それに対して、図２２（Ｂ）のように平面状の対象を観察しているときは図２１（Ｂ）のように中央領域が明るく、周辺領域が暗くなる。よって上述した式（１０）から形状を推定することができる。
【０１０７】
また、観察状態判定部３２０は、図２３に示したように、撮像部２００が被写体に対して正対しているか否かを検出する正対有無検出部３２６を含んでもよい。正対有無検出部３２６の検出結果に基づいて、被写体の観察状態を判定する。そして、被写体に対して正対していることが検出された場合には、被写体の観察状態を第１の観察状態であると判定する。
【０１０８】
これにより、被写体に対して正対しているか否かを判定できれば、形状を判定しなくとも観察状態を判定することが可能になる。具体的には図２２（Ａ）、図２２（Ｂ）に示したような違いを検出できればよい。そして被写体に対して正対していることが検出された場合（図２２（Ｂ）のケース）には、ユーザーは被写体を注視している（診察している）状態であると考え、第１の観察状態であると判定する。
【０１０９】
また、正対有無検出部３２６は、図２３に示したように、撮像部２００と被写体との間の距離を表す距離情報を取得する距離情報取得部３２７を含んでもよい。正対有無検出部３２６は、距離情報により表される距離が所与の閾値よりも小さい場合に、撮像部２００が被写体に対して正対していると判定する。
【０１１０】
これにより、距離情報を用いて正対しているか否かを判定することが可能になる。具体的には図２２（Ａ）に示したように、正対していない場合には距離は大きくなり、図２２（Ｂ）に示したように、正対している場合には距離が小さくなる。よって、適切な閾値を設定し、閾値判断を行うことで、正対しているか否かを距離情報から判定することができる。
【０１１１】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１１２】
１００  光源部、１０１  白色光源、１０２  光源絞り、１０３  光源絞り駆動部、
１０４  回転色フィルタ、１０５  回転駆動部、１０６  集光レンズ、
１０７  ＬＥＤ光源、１０８  ＬＥＤ駆動部、２００  撮像部、
２０１  ライトガイドファイバ、２０２  照明レンズ、２０３  対物レンズ、
２０４  可変絞り、２０５  対物絞り駆動部、２０６  撮像素子、
２０７  Ａ／Ｄ変換部、３００  プロセッサ部、３１０  画像処理部、
３１１  前処理部、３１２  ノイズ低減部、３１３  同時化部、
３１４  後処理部、３２０  観察状態判定部、３２１  明るさ検出部、
３２２  記憶部、３２３  動き検出部、３２５  形状検出部、
３２６  正対有無検出部、３２７  距離情報取得部、３３０  制御部、
３３１  対物絞り制御部、３３２  光源絞り制御部、３３３  選択部、
４００  表示部、５００  外部Ｉ／Ｆ部、
６０１  色フィルタ、６０２  色フィルタ、６０３  色フィルタ、８０３  回転モータ
【図１】
0005698476.tif 000008
【図２】
0005698476.tif 000009
【図３】
0005698476.tif 000010
【図４】
0005698476.tif 000011
【図５】
0005698476.tif 000012
【図６】
0005698476.tif 000013
【図７】
0005698476.tif 000014
【図８】
0005698476.tif 000015
【図９】
0005698476.tif 000016
【図１０】
0005698476.tif 000017
【図１１】
0005698476.tif 000018
【図１２】
0005698476.tif 000019
【図１３】
0005698476.tif 000020
【図１４】
0005698476.tif 000021
【図１５】
0005698476.tif 000022
【図１６】
0005698476.tif 000023
【図１７】
0005698476.tif 000024
【図１８】
0005698476.tif 000025
【図１９】
0005698476.tif 000026
【図２０】
0005698476.tif 000027
【図２２】
0005698476.tif 000028
【図２３】
0005698476.tif 000029
【図２１】
0005698476.tif 000030