(57)【要約】【課題】  距離情報に基づいて照明光の配光パターンを決定し、当該配光パターンに従った照明光を照射するとともに、撮像画像に対して階調補正処理を施すことで、生体内画像の撮像において適正露光を実現する内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供すること。【解決手段】  内視鏡装置は、被写体を撮影する撮像部１１と、被写体を照明する照射口１２を有する照明部１４とが先端部に設けられる内視鏡スコープ１と、内視鏡スコープ１の先端部から、被写体までの距離情報の取得処理を行う距離情報取得部２１と、取得した距離情報に基づいて、照明部１４から照射する照明光の配光パターンを決定する配光パターン決定部２２と、撮像部１１が取得した撮像画像に対して、階調補正処理を施す階調補正部２３を含む。【選択図】      図１
2015008785.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープと、
前記内視鏡スコープの前記先端部から、前記被写体までの距離情報の取得処理を行う距離情報取得部と、
取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定部と、
前記撮像部が取得した撮像画像に対して、階調補正処理を施す階調補正部と、
を含むことを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記照明部は、
少なくとも二つ以上の照明口を有し、
前記配光パターン決定部は、
前記二つ以上の照明口の各照射口から照射される前記照明光の光量を調整する情報を、前記距離情報に基づいて、前記配光パターンとして決定することを特徴とする内視鏡装置。
【請求項３】
請求項２において、
前記照明部は、
前記撮像画像の第１の領域に撮像される前記被写体に対して、第１の照明光を前記照明光として照射する第１の照明口と、
前記撮像画像のうち前記第１の領域とは異なる第２の領域に撮像される前記被写体に対して、第２の照明光を前記照明光として照射する第２の照明口を有し、
前記配光パターン決定部は、
前記第１の照明口から照射される前記第１の照明光の光量と、前記第２の照明口から照射される前記第２の照明光の光量を調整する情報を、前記距離情報に基づいて、前記配光パターンとして決定することを特徴とする内視鏡装置。
【請求項４】
請求項２において、
前記照明部は、
前記内視鏡スコープの前記先端部において、前記撮像部に対して第１の方向側に設けられ、第１の照明光を前記照明光として照射する第１の照明口と、
前記内視鏡スコープの前記先端部において、前記撮像部に対して前記第１の方向側とは異なる第２の方向側に設けられ、第２の照明光を前記照明光として照射する第２の照明口を有し、
前記配光パターン決定部は、
前記第１の照明口から照射される前記第１の照明光の光量と、前記第２の照明口から照射される前記第２の照明光の光量を調整する情報を、前記距離情報に基づいて、前記配光パターンとして決定することを特徴とする内視鏡装置。
【請求項５】
請求項１において、
前記撮像画像に含まれるノイズ成分を低減するノイズ低減部をさらに含み、
前記ノイズ低減部は、
前記階調補正部が前記階調補正処理において算出したゲインマップに基づいて、ノイズ低減処理のレベル、及び前記ノイズ低減処理の処理対象領域の少なくとも一方の決定処理を行うことを特徴とする内視鏡装置。
【請求項６】
請求項５において、
前記ノイズ低減部は、
前記ゲインマップにより表されるゲイン値が大きい領域に対する前記ノイズ低減処理の前記レベルを、前記ゲイン値が小さい領域に対する前記ノイズ低減処理の前記レベルに比べて高くする処理、及び
前記ゲイン値が大きい領域と、前記ゲイン値が小さい領域のうち、前記ゲイン値が大きい領域を前記ノイズ低減処理の前記処理対象領域とする処理の少なくとも一方の処理を行うことを特徴とする内視鏡装置。
【請求項７】
請求項１において、
前記配光パターン決定部は、
前記階調補正部が前記階調補正処理において算出したゲインマップと、前記距離情報とに基づいて、前記照明光の前記配光パターンを決定することを特徴とする内視鏡装置。
【請求項８】
請求項７において、
前記配光パターン決定部は、
前記ゲインマップにより表されるゲイン値が大きい領域に対して、前記ゲイン値が小さい領域に比べて、照射される前記照明光の光量が大きくなるように前記配光パターンを決定することを特徴とする内視鏡装置。
【請求項９】
請求項１において、
前記照明光の光源の光量制御を行う光量制御部をさらに含み、
前記光量制御部は、
前記階調補正部が前記階調補正処理において算出したゲインマップに基づいて、前記光源の前記光量制御を行うことを特徴とする内視鏡装置。
【請求項１０】
請求項９において、
前記光量制御部は、
前記ゲインマップにより表されるゲイン値が所与のゲイン閾値よりも大きい領域が、所与の領域閾値に比べて大きい場合に、前記光源の光量を大きくする前記光量制御を行うことを特徴とする内視鏡装置。
【請求項１１】
請求項１において、
前記撮像部は、複数の視点を有し、前記複数の視点のそれぞれに対応する前記撮像画像を複数取得するものであり、
前記距離情報取得部は、
取得された複数の前記撮像画像から得られる視差情報に基づいて、前記距離情報を取得することを特徴とする内視鏡装置。
【請求項１２】
請求項１において、
前記距離情報取得部は、
距離を測定する計測器からの前記距離情報を取得することを特徴とする内視鏡装置。
【請求項１３】
被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置の作動方法であって、
前記内視鏡スコープの前記先端部から、前記被写体までの距離情報を取得する距離情報取得処理を行い、
取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定処理を行い、
前記撮像部が取得した撮像画像に対して、階調補正処理を施す、
ことを特徴とする内視鏡装置の作動方法。
【請求項１４】
被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置を動作させるプログラムであって、
前記内視鏡スコープの先端から、前記被写体までの距離情報を取得するステップと、
取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定するステップと、
前記撮像部が取得した撮像画像に対して、階調補正処理を施すステップと、
を内視鏡装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
【背景技術】
【０００２】
電子内視鏡の主要被写体は体内画像であるが、体内には外光が及ばない。よって、内視鏡装置を用いて撮像画像を取得する場合には、内視鏡装置が被写体に照明光をあてる必要がある。そして当該照明光の照射により取得される撮像画像の視認性を高めるためには、照射の際に観察部位が適正露光になっていることが求められる。
【０００３】
例えば、特許文献１には被写体に対して適正露光を確保する手法が開示されている。特許文献１に開示されている手法は、光電センサと対象物との距離データを検出し、この距離データに基づいて照明光の照明光量、及び照明方向を制御することで、常に一定の最適な照明条件下で対象物を観察する、というものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６２−１６１００４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１は、ロボットによる部品のパターン認識を主要な目的としている。一方、内視鏡観察の主要な目的は病変部の検出であるが、パターンマッチングのような自明の被写体を探し出すわけではない。その点では、撮影画像全体が被写体であるといえるため、画面中の一点を好適な照明条件にするのではなく、画面全体が均一に照明されるようになっている必要がある。
【０００６】
しかし、照明光の照明条件を制御した場合でも、多くの場合画像内の輝度ムラが発生する。特に複数の光源を用いて配光パターンを制御する場合には、個々の照射口における照射領域の境界付近で画像の輝度が低くなる。このようにして生じる輝度ムラを解消し、画面全体を均一に照明することを考慮しなければ、内視鏡装置における適正露光を実現することは難しい。
【０００７】
本発明の幾つかの態様によれば、距離情報に基づいて照明光の配光パターンを決定し、当該配光パターンに従った照明光を照射するとともに、撮像画像に対して階調補正処理を施すことで、生体内画像の撮像において適正露光を実現する内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供することができる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープと、前記内視鏡スコープの前記先端部から、前記被写体までの距離情報の取得処理を行う距離情報取得部と、取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定部と、前記撮像部が取得した撮像画像に対して、階調補正処理を施す階調補正部と、を含む内視鏡装置に関係する。
【０００９】
本発明の一態様では、距離情報に基づいて照明光の配光パターンを決定するとともに、撮像画像に対して階調補正処理を施す。よって、配光パターンを用いた被写体に照射される光量の制御と、撮像された画像に対する階調補正処理に両方を実行するため、生体内画像の撮像において効果的に適正露光を実現すること等が可能になる。
【００１０】
また本発明の他の態様は、被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置の作動方法であって、前記内視鏡スコープの前記先端部から、前記被写体までの距離情報を取得する距離情報取得処理を行い、取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定処理を行い、前記撮像部が取得した撮像画像に対して、階調補正処理を施す、内視鏡装置の作動方法に関係する。
【００１１】
また本発明の他の態様は、被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置を動作させるプログラムであって、前記内視鏡スコープの先端から、前記被写体までの距離情報を取得するステップと、取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定するステップと、前記撮像部が取得した撮像画像に対して、階調補正処理を施すステップと、を内視鏡装置に実行させるプログラムに関係する。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る内視鏡装置の構成例。
【図２】距離情報に対するエリア分割の例。
【図３】内視鏡スコープの先端部の構成例。
【図４】距離情報の例。
【図５】図５（Ａ）〜図５（Ｃ）は内視鏡装置の典型的な観察状態における内視鏡スコープと被写体との相対位置関係を説明する図。
【図６】距離情報の他の例。
【図７】エリア分割された距離情報の例。
【図８】各エリアの平均距離情報の例。
【図９】各エリアの平均距離情報及び全エリアでの平均距離情報に基づく変換結果の例。
【図１０】距離情報のパターン分類例。
【図１１】距離情報の他の例。
【図１２】配光パターンの例。
【図１３】本実施形態に係る内視鏡装置の他の構成例。
【図１４】本実施形態に係る内視鏡装置の他の構成例。
【図１５】本実施形態に係る内視鏡装置の他の構成例。
【図１６】本実施形態に係る内視鏡装置の他の構成例。
【図１７】図１７（Ａ）〜図１７（Ｃ）はゲインマップを用いた処理に関するタイムチャート。
【図１８】図１８（Ａ）は内視鏡スコープの先端部の他の例、図１８（Ｂ）は撮像画像における各照射口の照射範囲の例。
【発明を実施するための形態】
【００１３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１４】
１．本実施形態の手法
まず本実施形態の手法について説明する。上述したように内視鏡装置による生体内画像の撮像においては、太陽光等の環境光が被写体に到達しないため、内視鏡装置の照明部により照明光を照射する必要がある。その場合、観察すべき被写体に照射される光量が強すぎれば、当該被写体は撮像画像において明るく撮像されすぎる（例えば輝度値が高すぎて白飛びする）ため観察に適した状態と言えない。同様に、光量が弱すぎれば当該被写体は撮像画像において暗く撮像されすぎる（例えば輝度値が低すぎて黒つぶれする）ため観察に適した状態でない。つまり、照明光（照射光）の照射は観察部位が適正露光となるように行われる必要がある。
【００１５】
しかし、太陽光等の環境光ではなく照明部から照射される照射光を用いる場合には、被写体まで到達する光量が、照明部から当該被写体までの距離に大きく左右される。具体的には、照明部から近い被写体は明るく撮像され、照明部から遠い被写体は暗く撮像される。よって照明部から観察対象である被写体までの距離情報に基づいて照明部を制御することで、適正露光を実現する手法が効果的であると考えられる。
【００１６】
例えば特許文献１には、光電センサと対象物との距離データを検出し、この距離データに基づいて照明光の照明光量及び照明方向を制御する手法が開示されている。しかし特許文献１は、ロボットの部品等を撮像する場面を想定している。よって、撮像画像には所望の部品以外も撮像されることが想定されるが、部品が適正露光であればよく、撮像画像中の部品以外を撮像した領域についての露光は考慮していない。その点、内視鏡装置の撮像においては、生体内をスクリーニングして病変部を探索する用途を想定すればわかりやすいように、撮像段階において明確に注目すべき領域を決定することは難しい。よって特許文献１のように特定被写体を適正露光とする手法を内視鏡装置に適用したとしても、撮像画像における被写体の視認性向上には効果的であるとは言えない。
【００１７】
また、特許文献１の図２を参照すればわかるように、特許文献１では撮像部（ＴＶカメラ）と照明部（照明装置）が必ずしも一体として設けられる必要はない。さらに、照明部が駆動装置（照明装置用駆動装置）により照明方向を変更できる構成となっており、これにより所望の被写体についての適正露光を実現している。その点、内視鏡装置の撮像においては、撮像部及び照明部は体内に挿入される内視鏡スコープに設けられるものであるため、患者の負担を考慮すれば、当該内視鏡スコープを細くする構成とすることが求められる。そのため、撮像部と照明部の位置関係が限定されたり、照明部の照明方向を変更する駆動部を設けることができないといった可能性が高く、この点でも特許文献１の手法を適用したとしても効果的でないといえる。
【００１８】
そこで本出願人は、内視鏡スコープから被写体までの距離を表す距離情報に基づいて、配光パターンを決定し、決定した配光パターンに従った照明光を照射する手法を提案する。ここで配光パターンとは、照明部の各照射方向における照射光の強度（光量）をパターン化したデータのことである。例えば、撮像画像を取得した場合に、当該撮像画像において右部に撮像される被写体に対して照射される光量、当該撮像画像において左部に撮像される被写体に対して照射される光量、当該撮像画像において中央部に撮像される被写体に対して照射される光量、の３つを定義できる場合であれば、（左部光量，中央部光量，右部光量）により表される情報が配光パターンとなる。
【００１９】
例えば、図３を用いて後述するように、照明部がそれぞれ異なる領域を照射する複数の照射口を有する場合には、配光パターンは各照射口から照射される光量を決定するデータとなる。具体的には、５つの照射口を有する場合であれば、照射光の程度を表す情報（図１２の例であれば、基準光量に対して「同じ」、「暗く」、「明るく」という情報）を５つ組み合わせることで１つの配光パターンを表す。図１２のパターン１のように「同じ、同じ、同じ、同じ、同じ」という情報も１つの配光パターンであるし、パターン２のように「暗く、暗く、暗く、暗く、明るく」という情報も１つの配光パターンである。
【００２０】
なお、以下では照明部が複数の照射口を有する例について説明するが、各方向に対する照射光を制御する手法はこれには限定されない。例えば、レンズやフィルタ等の光学系を用いることで、各方向に対する照射光の光量を制御してもよい。その場合であっても、配光パターンが、照明部の各照射方向における照射光の光量をパターン化したデータである点は同様である。
【００２１】
また本出願人は、上記配光パターンに基づく照射光の照射に加えて、取得された撮像画像に対して階調補正処理を行う手法を提案する。上述したように内視鏡装置では内視鏡スコープを細く構成するために、照明部の構成は簡素化されやすい。そのため、配光パターンとして複雑なパターンを設定することは困難であり、例えば上述した３方向や５方向の光量を規定するシンプルなパターンを用いることになる。それに対して、生体はヒダ等の凹凸を有するように複雑な形状をしており、内視鏡スコープから各被写体までの距離を表す距離情報（狭義には距離マップ）は複雑なものとなりやすい。そのため、配光パターンを用いただけでは適正露光とすることができない領域が発生する可能性がある。
【００２２】
また、複数の照射口を用いる手法においては、所与の照射口からの照射光は当該照射口の正面方向では強いのに対して、当該正面方向から離れるに従って弱くなる。そのため、被写体によっては全ての照射口からの照射光が充分届かないことで極端に暗くなってしまったり、逆に複数の照射口からの照射光が到達することで周囲に比べて明るくなってしまう。この場合にも、配光パターンだけでは適正露光とできない可能性があると言える。例えば、内視鏡スコープの先端部が図１８（Ａ）に示したように、撮像部に対応する対物レンズ１６と、２つの照射口１２ａ，１２ｂを有する構成である場合には、図１８（Ｂ）に示したように、照射口１２ａが撮像画像の右側領域を照射し、照射口１２ｂが撮像画像の左側領域を照射する。この場合、各照射口からの照射光は、照射範囲を表す円形領域の中心部で強く、当該中心部から離れるほど弱くなる。結果として、いずれの照射範囲の中心部からも遠い斜線で示した領域等では、光量が少なく、配光パターンを用いた適正露光が難しい可能性が考えられる。
【００２３】
つまり、シンプルな照明部の構成、シンプルな配光パターンを用いることで、適正露光とすることができない領域が発生する可能性があるため、本実施形態では当該領域に対しては階調補正処理を用いて対応するものとする。
【００２４】
本実施形態は、図１に示したように、被写体を撮影する撮像部１１と、被写体を照明する照射口を有する照明部１４とが先端部に設けられる内視鏡スコープ１と、内視鏡スコープ１の先端部から、被写体までの距離情報の取得処理を行う距離情報取得部２１と、取得した距離情報に基づいて、照明部１４から照射する照明光の配光パターンを決定する配光パターン決定部２２と、撮像部１１が取得した撮像画像に対して、階調補正処理を施す階調補正部２３を含む内視鏡装置に関係する。
【００２５】
これにより、配光パターンを用いることで距離に応じた露光状態の違いを照明部の制御により調整しつつ、撮像画像に対して階調補正処理を行うことで照明部で補いきれない領域についても適正露光を実現する。よって、特許文献１の例と異なり撮像画像の広い範囲（狭義には撮像画像全体）で適正露光とすることを求められる内視鏡装置においても、所望の露光状態を実現し、被写体の視認性を高めること等が可能になる。
【００２６】
以下、第１。第２の実施形態について説明する。第１の実施形態では配光パターンによる照明部の制御及び階調補正処理を併用する基本的な手法を説明する。また、第２の実施形態では、階調補正処理において作成されるゲインマップを他の処理において利用する手法について説明する。ゲインマップは具体的には、ノイズ低減処理、配光パターンの決定処理、光源の光量制御等に用いられる。
【００２７】
２．第１の実施形態
第１の実施形態について説明する。具体的には、本実施形態に係る内視鏡装置のシステム構成例を説明した後、距離情報に基づく配光パターンの決定処理、変形例について説明する。
【００２８】
２．１  システム構成例
図１に本実施形態に係る内視鏡装置のシステム構成例を示す。本実施形態の内視鏡装置は、内視鏡スコープ１と、プロセッサ部２と、表示部３と、光源部４とを含む。ただし、内視鏡装置、及び内視鏡装置の各部は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００２９】
内視鏡スコープ１は、ＣＣＤセンサなどで構成される撮像部１１と、光源からの光を被写体に照射する照明部１４を含む。そして照明部１４は、光源からの光の射出口となる照射口１２と、照射口１２のそれぞれの光量を調整する為の偏光手段１３を有している。なお、本実施形態では、撮像部１１はＣＣＤ等のイメージセンサを２枚有しており、被写体の像をそれぞれの撮像素子を左右の画像（ステレオ画像）として出力する。
【００３０】
プロセッサ部２は、内視鏡スコープ１からの画像信号を、観察に好適なデータに変換する画像処理を行う。表示部３はＣＲＴや液晶モニタ等の動画表示可能な装置である。光源部４は、ハロゲンランプまたはＬＥＤなどの光源を有しており、光ファイバ等で構成されたライトガイドケーブル４１により内視鏡スコープ１の先端から光を照射する。
【００３１】
次にプロセッサ部２について詳細に説明する。プロセッサ部２は図１に示したように、距離情報取得部２１と、配光パターン決定部２２と、階調補正部２３と、画像処理部２４を含む。
【００３２】
距離情報取得部２１は、撮像部１１より取得したステレオ画像データから、内視鏡スコープ１の先端から被写体（図１には不図示）までの距離を表す距離情報を取得する。ここでの距離情報は、画素単位に距離値（当該画素に対応する被写体までの距離を表す信号値）を記憶した距離マップでもよいし、距離を表す他の情報であってもよい。
【００３３】
距離情報取得部２１は、取得したステレオ画像データを構成する左右の画像を比較して距離情報を算出し、配光パターン決定部２２に出力する。距離情報の取得には、例えばステレオマッチングのような技術を適用すればよい。具体的には、距離情報取得部２１は、例えば撮像されたステレオ画像を構成する左画像を基準画像とし、左画像の局所領域の中央に位置する注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。距離情報取得部２１では更に算出された視差をＺ方向の距離に変換して距離情報（狭義には距離マップ）を取得する。ただし、ステレオ画像を用いた距離情報の取得処理であるステレオマッチングについては、種々の手法が知られており、本実施形態ではそれらの任意の手法を適用可能であるため、距離情報取得処理の詳細については省略する。
【００３４】
配光パターン決定部２２は、算出した距離情報から内視鏡スコープ１の配光パターンを決定し、偏光手段制御信号を出力する。距離情報に基づく配光パターンの決定処理の詳細については後述する。
【００３５】
階調補正部２３は、撮像部１１より取得したステレオ画像データに、適応的階調補正処理、例えば、レティネックスアルゴリズムを用いた補正処理を施す。具体的には、輝度値が小さい画素に対しては大きいゲイン値（ゲイン量）を設定し、輝度値が大きい画素に対しては小さいゲイン値を設定することで、撮像画像の各画素に対応したゲインマップを作成し、当該ゲインマップにより表されるゲイン値によるゲインアップ処理を行うものであってもよい。このようにすれば、配光パターンを用いた照明部１４の制御によっても充分な明るさとならなかった被写体（輝度値が小さくなった撮像画像内の領域）の視認性を高めることが可能になる。レティネックスアルゴリズム等の階調補正処理については広く知られているため、これ以上詳細な説明については省略する。
【００３６】
画像処理部２４は、階調補正部２３で画像処理されたステレオ画像データに、観察に適した画像にするための種々の画像処理や、表示部３で表示するための画像サイズ変換等を施す。
【００３７】
２．２  配光パターンの決定処理
次に、配光パターンの決定処理について説明する。配光パターン決定部２２は、距離情報取得部２１から受信した距離情報に基づいて、距離マップを作成し、撮影画像に対して当該距離マップの値に応じて近距離、遠距離の検出を行う。配光パターン決定部２２は、求めた検出結果に基づいて配光パターンを決定する。以下、配光パターン決定部２２の具体的な動作について説明する。
【００３８】
配光パターン決定部２２は、受信した距離情報から距離マップを作成し、９個のエリアに分割する。次に各エリアの平均距離情報の算出を行う。算出方法は、各エリアにおける総距離情報を総距離情報数で割る等の一般的に用いられている手法を用いる。ここで、総距離情報とは、エリアに含まれる距離値の総和を表し、総距離情報数とはエリアに含まれる距離値の数（例えば距離マップのうちのエリア内の画素数に相当）を表す。
【００３９】
そして、全エリアの平均距離情報を同じく算出し、各エリアの平均距離情報と全エリアの平均距離情報を比較して、各エリアの遠近を０（近）と１（遠）と２（同）とした遠近値に変換する。各エリアの遠近値を、予め決めたエリア番号と桁位置を順番どおりに組み合わせ９桁の距離データとして変換する。ここで、各エリアの番号は、例えば図２に示したものである。
【００４０】
配光パターン決定部２２は、予め照明部１４の照射口の数および位置に関する情報を保有しており、保有した情報と、算出した距離データとの組み合わせにより配光パターンを選択する。
【００４１】
次に具体例を用いて配光パターンの選定方法を示す。内視鏡スコープ１の先端部の構成例を図３に示す。図３の１２ａ〜１２ｅは照明の照射口、１５ａ〜１５ｂは処置具を通すための鉗子口、１６ａ〜１６ｂは撮像用の対物レンズである。
【００４２】
内視鏡スコープ１が食道や大腸などの管腔を観察している場合、ステレオ画像データから求められる距離情報は図４のようになる。管腔の観察においては、内視鏡スコープ１と被写体である管腔壁面との位置関係は図５（Ａ）に示したようになるため、撮像部１１の光軸方向にある被写体までの距離は大きくなり、当該光軸方向とは離れた方向にある被写体までの距離は近くなる。光軸方向の被写体は撮像画像の中央部に撮像され、光軸方向から離れるほど被写体は撮像画像の周縁部に撮像されることが一般的であることから、距離マップは図４となるものである。なお、図４では距離が遠いほど暗く（黒く）、距離が近いほど明るく（白く）表すものとしている。
【００４３】
距離情報取得部２１は、受け取ったステレオ画像データとステレオマッチングなどの手法を用いて、図４に示したような距離情報を配光パターン決定部２２に出力する。配光パターン決定部２２は、受け取った距離情報から図６に示したような距離マップを作成する。図６の距離値は１０段階で表しているが、これに限定されないことはいうまでもない。図６においては、例えば１はもっとも近い距離であることを示し、１０はもっとも遠い距離であることを示す。図６は図４の距離情報に対応する例であり、中央付近に８〜１０の値（遠距離）が多く、周辺部は１〜２の値（近距離）が多くなっている。
【００４４】
なお、以上の説明では距離情報取得部２１では図４に示すような情報を取得し、配光パターン決定部２２において図４に比べて粒度の低い情報である図６を求めるものとしたがこれに限定されない。例えば、配光パターン決定部２２においても図４を用いて以下で説明する処理を行ってもよい。或いは、詳細な距離情報が不要であれば距離情報取得部２１において、図６に示したような粗い情報を取得してもよい。また、本実施形態における距離情報とは、図４と図６の両方を含む概念である。
【００４５】
次に配光パターン決定部２２は、算出した距離情報を用いて、全エリアについての平均距離情報を算出する。それとともに、距離情報を図７に示すように９分割し、各エリアの平均距離情報を算出する。算出した各平均距離情報の例を図８に示す。
【００４６】
次に、全エリアでの平均距離情報と、各エリアの平均距離情報を比較する。エリア１〜４とエリア６〜９の平均距離情報は、全エリアでの平均距離情報よりも値が小さいことから近距離と判断し、エリア１〜４とエリア６〜９の遠近判定を０（近）とする。さらに、エリア５は、全エリアの平均距離情報よりも値が大きいことから遠距離と判断し、エリア５の遠近判定を１（遠）とする。以上の比較結果を遠近の値に変換した結果を図９に示す。
【００４７】
さらに、配光パターン決定部２２は、変換した値をエリア番号順に９桁の距離値に変換する。図９の例であれば、「００００１００００」という情報になる。次に配光パターン決定部２２は、変換した９桁の値を用いて、予め撮像部の照射口の数と位置とに合わせて配光パターンのテーブルを決定する。
【００４８】
９桁に対応した距離情報の種類は、３の９乗となり約２万種が存在することになってしまうが、実際にそれだけの種類の距離情報を考慮する必要はない。なぜなら、内視鏡における観察状態は、幾つかの典型例により表すことが可能なためである。典型例を図１０のパターン１〜パターン５に示す。パターン１は、図５（Ｂ）に示したように、壁面に対して正対して観察をしている状態であり、この場合、光軸方向の被写体までの距離と、光軸方向から離れた方向の被写体までの距離の差はさほど大きくない。結果として、図５（Ｂ）の観察状態ではパターン１に示したように全体の距離がほぼ同じ状態となる。また、図５（Ａ）を用いて上述したように、管腔に沿った方向で観察している状態では、パターン２に示したように、光軸方向（中央）の被写体までの距離が遠いのに対して、光軸方向から離れる方向（周縁部）の被写体までの距離が近い。結果として図４や図１０のパターン２に示したように、エリア５の距離値が大きく、他のエリアは同じ値であり、当該値はエリア５よりも小さい。
【００４９】
そして、図５（Ａ）、図５（Ｂ）以外の観察状態としては、図５（Ａ）と図５（Ｂ）の中間状態を考えればよく、具体的には図５（Ｃ）に示したように壁面に対して斜めになっている状態となる。図５（Ａ）、図５（Ｂ）及び図５（Ｃ）を考えれば、内視鏡装置における典型的な観察状態はカバー可能である。ただし、壁面に対して斜めとなる状態としては、撮像画像において左右方向で距離が異なる場合、上下方向で距離が異なる場合、斜め方向（左上から右下、或いは右上から左下）で距離が異なる場合が考えられるため、パターン３〜５の３つに分類するものとする。パターン３であれば、図１１に示したように縦方向での距離値は同じであるのに対して、横方向での距離値が異なる。パターン４であれば、横方向での距離値は同じであるのに対して、縦方向の距離値が異なる。パターン５であれば、周縁部のエリアは近いエリア（図１０の例であればエリア１）、最も遠いエリア（エリア９）、中間のエリア（エリア３，７）があるが、その平均をとると中央のエリア（エリア５）に近い値となる。
【００５０】
配光パターン決定部２２は、パターン１〜５の各パターンの特徴に基づいて、取得した距離情報がどのパターンに該当するかを判定する。例えば中央を示す５桁目が１（遠）で、他が０（近）もしくは２（同）であればパターン２であると判定する。また、左側面を示す１桁、４桁、７桁目が同じ１（遠）で、順に右側面を示す２桁、３桁目が、２（同）もしくは０（近）であればパターン３であると判定する。
【００５１】
配光パターン決定部２２は、距離情報のパターンの判定結果に基づいて、当該距離情報のパターンに対応する配光パターンを決定する。内視鏡スコープ１の先端部が図３に示した構成である場合、すなわち照明部１４が上下左右中央の５つの照明口を有する場合の距離情報のパターンと配光パターンの関係を図１２に示す。
【００５２】
基本的な方針としては、距離が遠い被写体に対しては照射光の光量を増やし、距離が近い被写体に対しては照射光の光量を減らすような配光パターンを決定すればよい。そのため、距離情報がパターン１であれば、全ての照射口からの照射光の光量を、基準光量と同じにすればよい。
【００５３】
また、パターン２のように周辺が近く、中央部が遠い（例えば９桁の値が「００００１００００」となる）場合には、周辺部を暗くする為、照射口１２ａ〜１２ｄの光量を少なくし、中央部を明るくする為、照射口１２ｅの光量を多くする配光パターンを選択する。
【００５４】
同様に距離情報がパターン３であり、特に図１０に示したように左部が近く右部が遠い場合には、配光パターン決定部２２は、左部を暗くする為、照射口１２ｄの光量を少なくし、右部を明るくする為、照射口１２ｂの光量を多くし、その他の照射口は基準光量と同じとする配光パターンを選択する。なお、パターン３において図１０の例とは異なり、左部が遠く、右部が近い距離情報のパターンも考えられる。その場合には、照射口１２ｂの光量を少なくし、照射口１２ｄの光量を多くする配光パターンが選択される。パターン４，５についても同様であり、明るい側と暗い側が変化することがあり得るため、配光パターンもそれに合わせて変更する必要がある。
【００５５】
配光パターン決定部２２は、さらに選択した配光パターンに基づいて内視鏡スコープの偏光手段１３（照射口が１２ａ〜１２ｅの５つであれば、変更手段も１３ａ〜１３ｅの５つになる）のそれぞれに偏光手段制御信号を出力し、照射口からの光量を調整する。
【００５６】
なお、内視鏡スコープ１の天地の認識が観察時ごとに変化するが、図３に示す内視鏡スコープ１の先端部の照射口１２ａ〜１２ｅと撮像用の対物レンズ１６ａ〜１６ｂの位置関係が変わることはない為、取得したステレオ画像データにおける上下左右の認識のまま、配光パターンの決定が可能である。
【００５７】
配光パターンの決定は、１フレームの距離情報がすべて算出された段階で行えばよい。しかし、内視鏡装置においてフレーム遅延が発生すると、被験者の体内を傷つける危険性があるため、フレーム遅延は極力回避すべきである。そこで、１フレーム前の距離情報マップとの差分を算出するなど、フレーム相関を用いて現フレームの距離情報を推定してもよい。
【００５８】
配光パターン決定部２２の配光パターン決定処理に基づいて、被写体までの距離に応じて内視鏡スコープ１の照射口１２ａ〜１２ｅからの光量を調整することができ、観察視野内の被写体を一様に照明することが可能になる。
【００５９】
２．３  変形例
なお、本実施形態は種々の変更が可能である。例えば、上述の説明では内視鏡スコープ１の照射口１２ａ〜１２ｅを、図３で示す５箇所としたが、照射口の数は５箇所に限定する必要はない。照射口の数が多いほどきめ細かい制御が可能となる。一方、少ない場合には光量制御が粗くなるが、本実施形態における階調補正部２３が配光制御の粗さを補う働きをするため、大きな性能低下はない。また、照明口を少なくすることで、内視鏡スコープ１を細く構成すること等が可能になる。
【００６０】
また、図１では、プロセッサ部２の初段に階調補正部２３が配置されているが、接続順はこの限りではない。当然、何らかの画像処理を実施した後に階調補正部２３による補正処理を実施してもよい。
【００６１】
さらに、距離情報取得の手法に関しても、種々の変更が考えられる。例えば本実施形態に係る内視鏡装置の構成は、図１３に示すものであってもよい。図１３では、撮像部１１は単一イメージャであり、画像データもモノラル画像データである。この実施形態では、画像データ１０１の輝度信号そのものを距離情報の代替データとして扱う。すなわち、暗い画像は遠距離画像であると判定し、明るい画像は近距離画像であると判定するものとする。この場合、被写体の色の影響も受ける上、推定できる距離情報の精度もステレオマッチングを用いる場合に比べて低下することが想定されるが、内視鏡スコープ１自体のコストの低減等が可能である。
【００６２】
また、距離情報は測距センサを用いて取得してもよい。この場合の内視鏡装置の構成例を図１４に示す。図１４では、内視鏡スコープ１の先端部に距離センサ１０２が備え付けられており、距離センサ１０２から距離情報を直接取得している。センサの実装スペースを確保する必要は生じるが、精度の高い距離情報の取得が可能である。
【００６３】
２．４  第１の実施形態の具体例
以上の本実施形態では、内視鏡装置は図１に示したように、被写体を撮影する撮像部１１と、被写体を照明する照射口１２を有する照明部１４とが先端部に設けられる内視鏡スコープ１と、内視鏡スコープ１の先端部から、被写体までの距離情報の取得処理を行う距離情報取得部２１と、取得した距離情報に基づいて、照明部１４から照射する照明光の配光パターンを決定する配光パターン決定部２２と、撮像部１１が取得した撮像画像に対して、階調補正処理を施す階調補正部２３を含む。
【００６４】
ここで距離情報とは、内視鏡スコープ１から被写体までの距離を表す情報であり、照明部１４からの照明光の配光パターンの決定処理に用いられることを考慮すれが、狭義には内視鏡スコープ１に設けられた照射口１２から被写体までの距離を表す情報となる。具体的には、各画素に対して、当該画素に対応する被写体までの距離を表す値を持たせた距離マップ等であってもよく、さらに具体的には図４や図６、図１１等の情報であってもよい。また、配光パターンとは上述したように照明部１４の各照射方向における照射光の強度（光量）をパターン化したデータであり、例えば図１２に示した情報である。
【００６５】
これにより、距離情報に基づいて配光パターンを決定することができるため、距離に応じた明るさの差異を吸収して撮像画像の広い領域で適正露光を実現することが可能になる。内視鏡装置のように環境光を用いずに自ら照射光を照射する装置においては、距離による明るさ変動が大きいことから特に有用である。さらに配光パターンを用いることで、照明部１４の各照射方向（例えば図３の構成例であれば正面方向、上下方向、左右方向）での光量を制御できる。特許文献１のように照明部の照射方向（狭義には正面方向）自体を機械的に変更する場合では、当該照射方向以外の領域には充分な光が照射されないのに対して、本実施形態の手法を用いることで広い領域（例えば撮像画像全体に対応する領域）に対して適正露光を実現するだけの強度の光を照射することができる。さらに本実施形態では、階調補正処理を併用するものとしているため、照明部１４の構成が図１８（Ａ）に示したように、シンプルなものであることに起因する明るさムラ（例えば図１８（Ｂ）の斜線部が暗くなること）等についても対応でき、被写体の視認性向上等が可能となる。
【００６６】
また、照明部１４は図３や図１８（Ａ）に示したように、少なくとも二つ以上の照明口（１２ａ〜１２ｅ等）を有し、配光パターン決定部２２は、二つ以上の照明口の各照射口から照射される照明光の光量を調整する情報を、距離情報に基づいて、配光パターンとして決定してもよい。
【００６７】
これにより、複数の照射口を有する照明部１４を用いることで、本実施形態の手法を実現することが可能になる。本実施形態の手法では、図１０の距離情報のパターン例に示したように、被写体の明るさ分布として種々の状態があると推定されるところ、当該種々の状態に適切に対応するという汎用性が必要がある。そのため、照明部１４は各照射方向において、当該照射方向への光量を制御可能な構成とすることが好ましい。そしてそのような構成のうち容易に実現可能なものとしては、各照射方向に対応する複数の照射口を設けることが考えられる。この場合には、配光パターン決定部２２で決定される配光パターンとは、複数の照射口の各照射口から照射される照明光の光量を調整（決定）する情報となる。具体的には、決定された配光パターンに従って偏光手段１３が制御されることで、各照射口から照射される照明光の光量が調整される。
【００６８】
また、照明部１４は、撮像画像の第１の領域に撮像される被写体に対して、第１の照明光を照明光として照射する第１の照明口と、撮像画像のうち第１の領域とは異なる第２の領域に撮像される被写体に対して、第２の照明光を照明光として照射する第２の照明口を有してもよい。そして配光パターン決定部２２は、第１の照明口から照射される第１の照明光の光量と、第２の照明口から照射される第２の照明光の光量を調整する情報を、距離情報に基づいて、配光パターンとして決定する。
【００６９】
ここで第１の領域とは、図１８（Ｂ）のように撮像画像が取得されるうちの右側に描かれた円領域であり、第２の領域とは図１８（Ｂ）の左側に描かれた円領域であってもよい。ただし、第１の領域と第２の領域が異なるとは、２つの領域が一致することがないという意味であり、撮像画像中に第１の領域と第２の領域の両方に含まれるような重複領域があってもよい。
【００７０】
また、照明部１４は、内視鏡スコープ１の先端部において、撮像部１１に対して第１の方向側に設けられ、第１の照明光を照明光として照射する第１の照明口と、内視鏡スコープ１の先端部において、撮像部１１に対して第１の方向側とは異なる第２の方向側に設けられ、第２の照明光を照明光として照射する第２の照明口を有してもよい。この場合にも、配光パターン決定部２２は、第１の照明口から照射される第１の照明光の光量と、第２の照明口から照射される第２の照明光の光量を調整する情報を、距離情報に基づいて、配光パターンとして決定する。
【００７１】
ここで、第１の方向及び第２の方向とは、内視鏡スコープ１を平面視した場合に、当該平面に沿った方向のうちの異なる２つの方向を表す。例えば、図３や図１８（Ａ）は内視鏡スコープ１を平面視して図示したものであり、第１の方向とは例えば図１８（Ａ）における紙面右側であり、第２の方向とは例えば図１８（Ａ）における紙面左側である。
【００７２】
これにより、照明部１４の各照射方向に対して、それぞれ照射口を対応づけることが可能になる。このようにすれば、第１の照射方向の光を第１の光量とし、第２の照射方向の光を第２の光量としたい場合には、各照射口からの光量を制御することにより実現可能となる。
【００７３】
また、撮像部１１は図１の対物レンズ１６に示したように、複数の視点を有し、複数の視点のそれぞれに対応する撮像画像を複数取得するものであってもよい。そして、距離情報取得部２１は、取得された複数の撮像画像から得られる視差情報に基づいて、距離情報を取得する。
【００７４】
これにより、ステレオマッチング処理により距離情報を取得することが可能になる。図１に対物レンズ１６を２つ示したように、ステレオ画像を取得するための構成は必要になるものの、距離情報の取得のために撮像部１１以外の構成を設ける必要がない。例えば、３次元画像を表示する内視鏡装置等であれば、表示画像の生成においてステレオ画像を用いることになるため、配光パターン決定処理のための距離情報取得においても当該ステレオ画像を流用可能となり、効率的な構成により内視鏡装置を実現可能となる。
【００７５】
また、距離情報取得部２１は、距離を測定する計測器（例えば図１４に示した距離センサ１０２）からの距離情報を取得してもよい。
【００７６】
これにより、測距センサ等のような距離計測用の機器を用いて距離情報を取得することが可能になる。専用の機器を設ける必要は生じるものの、ステレオマッチング処理に比べて処理負荷が軽い。また、ステレオマッチング処理では画像のコントラストが低い場合等には視差情報及び当該視差情報を用いた距離情報の精度が低下するおそれがあるが、測距センサであれば画像の内容による影響を受けない。
【００７７】
また、以上の本実施形態は、被写体を撮影する撮像部と、被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置の作動方法（或いは、内視鏡装置の制御方法、画像処理方法）であって、内視鏡スコープの先端部から、被写体までの距離情報を取得する距離情報取得処理を行い、取得した距離情報に基づいて、照明部から照射する照明光の配光パターンを決定する配光パターン決定処理を行い、撮像部が取得した撮像画像に対して、階調補正処理を施す内視鏡装置の作動方法（或いは、内視鏡装置の制御方法、画像処理方法）に適用できる。
【００７８】
なお、本実施形態の内視鏡装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の内視鏡装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００７９】
３．第２の実施形態
第２の実施形態について説明する。第２の実施形態では、階調補正部２３で求められるゲインマップを他の処理において利用する手法について説明する。ゲインマップとは、上述したように輝度値が小さい画素に対しては大きいゲイン値を設定し、輝度値が大きい画素に対しては小さいゲイン値を設定することで作成される情報であり、撮像画像に対するゲインアップ処理を決定するものである。ゲインマップは具体的には、ノイズ低減処理、配光パターンの決定処理、光源の光量制御等に用いられる。
【００８０】
３．１  ゲインマップを用いたノイズ低減処理
図１５に本実施形態に係る内視鏡装置のシステム構成例を示す。第１の実施形態と同一の機能を有するものに関しては、同一の符号を付与するとともに説明を省略する。本実施形態のプロセッサ部２は、第１の実施形態の構成に加えて、ノイズ低減部２５を有している。ノイズ低減部２５は、ステレオ画像データに重畳するランダムノイズを低減する機構を有している。
【００８１】
本実施形態の階調補正部２３は、画像の領域ごとに設定するゲイン量を規定するゲインマップを算出し、階調補正を行っている。本実施形態では、階調補正部２３はこのゲインマップ情報をノイズ低減部２５に出力する。
【００８２】
ノイズ低減部２５は、受信したゲインマップ情報の各ゲイン値を、所定の閾値と比較し、各閾値の範囲内にある画素ごとにエリア分けを行う。次にエリア分けしたエリアごとにノイズ低減レベル（ノイズ低減処理の強度）を決定し、ノイズ低減処理を施す。例えば、ゲイン値が大きいエリアに関しては、ノイズ低減レベルを強くする。乗算するゲインが大きいほどノイズも増加してしまうが、ゲインが大きい領域ではノイズ低減処理のレベルが高くなるため、ノイズの増加を抑止できる。つまり、ゲインマップを用いたノイズ低減処理を行う、すなわちゲインにあわせてノイズ低減レベルを可変することで、画像全体としての画質を向上させる。
【００８３】
画像処理部２４は、第１の実施形態と同じく、受信したノイズ低減画像データに対して、所定の処理を行う。
【００８４】
なお本実施形態では、ノイズ低減処理を行うブロックをノイズ低減部２５として、独立した形式で説明したが、ノイズ低減処理を画像処理部２４で行うものとしてもよい。
【００８５】
３．２  ゲインマップを用いた光量制御
また、ゲインマップ情報を用いた処理はノイズ低減処理に限定されるものではない。図１６にゲインマップを用いて光量制御を行う場合の内視鏡装置のシステム構成例を示す。
【００８６】
図１６では、光源部４の発光量を制御する光量制御部３０１に階調補正部２３から光量制御信号３０３が入力されている。階調補正部２３は階調補正処理において求めたゲインマップのゲイン値を判定し、ゲイン値が所定の閾値を超える箇所が所定の比率を超過した場合に、光量制御部３０１に光量制御信号を出力し、次フレームの照明光を若干（５〜１０％程度）明るくするように制御する。ただし、次フレームのステレオ画像データが明るすぎて白とびを起こすようならば、光量を元に戻す。
【００８７】
画像処理によるゲイン乗算は、ノイズの増加も引き起こすため、過大なゲインをかけることは望ましくない。ゲイン値が増える要因は、ステレオ撮像データが暗すぎることであるため、撮影環境を明るくすればゲイン値の増加を回避できる。本実施形態では、ゲイン値が大きい箇所の比率が大きい場合、すなわち画像処理によるノイズ増加が予測される場合に光量アップをはかっているため、ゲイン値を少なくすることができ、不要なノイズ増加を防止できる。
【００８８】
３．３  ゲインマップを用いた配光パターン決定処理
また、ゲインマップ情報を用いた配光パターン決定処理を行ってもよい。ゲインマップを用いた光量制御において上述したように、ゲイン値が大きい領域とは光量が足りていない領域であると推測することができる。逆にゲイン値が小さい領域とは充分な光量であると推測できる。
【００８９】
第１の実施形態においては距離情報に基づいて配光パターンを決定していたが、これは距離情報に基づいて被写体の光量の状態を推測し、当該推測の結果を用いて明るさを補償する照明光の制御を行っているものである。ここで、明るさを補償するとは、光量の足りないと推測される領域で光量を増加させ、光量が充分であると推測される領域で光量を減少させる処理である。すなわち、ゲインマップからも光量の状態を推測可能であるならば、距離情報を用いた場合と同様に、明るさを補償する配光パターンの決定処理をゲインマップに基づいて行うことが可能であると言える。
【００９０】
具体的には例えば、ゲインマップを図１０に示した距離情報のパターンと同様に類型化し、どのゲインマップのパターンに該当するかを判定し、判定結果であるゲインマップのパターンに対応する配光パターンを決定すればよい。
【００９１】
なお、距離情報のパターンの判定と、ゲインマップのパターンの判定を独立に行い、２つの判定結果を複合して配光パターンを決定してもよい。或いは、距離情報とゲインマップの両方をパラメータとして用いて類型化を行ってもよく、距離情報及びゲインマップを用いた配光パターンの決定処理は、種々の変形実施が可能である。
【００９２】
３．４  ゲインマップについての補足説明
階調補正処理においては、各画素に作用されるゲイン値は、画像中の他の画素の画素値（例えば輝度値）等との関係に基づいて相対的に決定されるものである。つまり、各画素に対するゲイン値の集合であるゲインマップは、１枚の画像が作成されたタイミング以後でなければ作成することができない。
【００９３】
照射のタイミングと画像生成のタイミングを示すタイムチャートを図１７（Ａ）〜図１７（Ｃ）に示す。図１７（Ａ）に示したように、光１の照射により画像１が生成（撮像）される場合には、上述したように画像１に基づくゲインマップは画像１の生成終了タイミングであるｔ１以降でなければ作成できない。つまり、画像１に対して生成したゲインマップを用いた階調補正処理を行うためには、当該階調補正処理はｔ１以降に開始することになり、階調補正処理後の画像が表示されるのは例えばｔ２等になる。画像１は光１の照射による画像であるから、図１７（Ａ）の例であれば照射タイミングと表示タイミングとが１フレームずれることになる。
【００９４】
よって、フレーム遅延を極力抑止すべきであるという考えを用いるのであれば、例えば図１７（Ｂ）に示した手法を用いてもよい。図１７（Ｂ）ではｔ１以降に作成される画像１に基づくゲインマップを、次のフレームで作成される画像である画像２に対して作用させる。ゲインマップが事前に作成済みであれば、画像２に対する階調補正処理は画像２の生成処理と平行して行うことができるため、階調補正処理後の画像２は光２の照射終了タイミングからの遅延が非常に少ない状態で出力可能となる。ただし、画像２に対しては本来であれば画像２に基づいて作成されたゲインマップを用いるべきであるところ、１フレーム前の画像である画像１に基づくゲインマップを用いることになる。よって、図１７（Ｂ）の手法は画像１と画像２で画像間の差異が少ない場合のように、画像１に基づくゲインマップと画像２に基づくゲインマップが近い場合に用いるとよい。
【００９５】
また、画像１に基づくゲインマップを画像２に対して用いることが適切でない場合には、図１７（Ｃ）に示した手法等を用いてもよい。図１７（Ｃ）では、種々の情報を用いて画像２に基づくゲインマップを、画像２の取得前に推測する。そして推測したゲインマップによる階調補正処理を画像２に対して行う。図１７（Ｃ）の手法では、図１７（Ｂ）と同様にフレーム遅延を回避可能である。さらにゲインマップの推定処理の精度が充分であれば、図１７（Ｂ）の手法に比べて精度のよい階調補正処理を行うことが可能である。
【００９６】
ゲインマップの推定手法は種々考えられるが、例えばタイミングｔ１で取得される画像１に基づくゲインマップをベースとして、過去画像である画像１、画像２に対する照明光である光２を決定する配光パターン（光２の照射前に決定済み）等による補正処理を行うことが考えられる。或いは、配光パターン決定部２２で決定した配光パターン情報を用いて、輝度ムラが解消されない状態を予測する手法でゲインマップの推定処理を行うこともできる。例えば内視鏡スコープ１の先端部の構成が図１８（Ａ）に示したように、撮像部に対応する対物レンズ１６の左右に照射口１２ａ、１２ｂが設けられる場合を考える。この場合、撮像画像における各照射口の照射範囲（照明光が充分到達する範囲）は図１８（Ｂ）に示したようになり、斜線で示した中央付近の上下は十分に光が届かないことが明白であり、当該領域ではゲイン値が大きくなることが推測できる。
【００９７】
３．５  第２の実施形態の具体例
以上の本実施形態では、内視鏡装置は図１５に示したように、撮像画像に含まれるノイズ成分を低減するノイズ低減部２５をさらに含み、ノイズ低減部２５は、階調補正部２３が階調補正処理において算出したゲインマップに基づいて、ノイズ低減処理のレベル、及びノイズ低減処理の処理対象領域の少なくとも一方の決定処理を行う。
【００９８】
具体的には、ノイズ低減部２５は、ゲインマップにより表されるゲイン値が大きい領域に対するノイズ低減処理のレベルを、ゲイン値が小さい領域に対するノイズ低減処理のレベルに比べて高くする処理、及びゲイン値が大きい領域と、ゲイン値が小さい領域のうち、ゲイン値が大きい領域をノイズ低減処理の処理対象領域とする処理の少なくとも一方の処理を行ってもよい。
【００９９】
これにより、階調補正処理において求めたゲインマップを用いてノイズ低減処理を行うことが可能になる。ゲインマップにより表されるゲインが大きい領域とは、信号値（例えば輝度値）が小さく、当該領域の信号値をゲインにより持ち上げた場合には当該領域に含まれるノイズも大きくなってしまう。よってそのような領域に対してノイズ低減処理のレベルを高く設定する、或いはそのような領域をノイズ低減処理の処理対象領域とすることで、ゲインアップによるノイズの増大を抑止し、視認性の高い画像を提供すること等が可能になる。
【０１００】
また、配光パターン決定部２２は、階調補正部２３が階調補正処理において算出したゲインマップと、距離情報とに基づいて、照明光の配光パターンを決定してもよい。
【０１０１】
具体的には、配光パターン決定部２２は、ゲインマップにより表されるゲイン値が大きい領域に対して、ゲイン値が小さい領域に比べて、照射される照明光の光量が大きくなるように配光パターンを決定してもよい。
【０１０２】
これにより、配光パターンの決定処理を、距離情報だけでなくゲインマップも用いて行うことが可能になる。ゲイン値が大きい領域は光量が足りていない可能性が高いため、当該領域に対する光量を強くする配光パターンを決定することで、当該領域を適正露光とすることが可能になる。
【０１０３】
また、内視鏡装置は図１６に示したように、照明光の光源の光量制御を行う光量制御部３０１をさらに含み、光量制御部３０１は、階調補正部２３が階調補正処理において算出したゲインマップに基づいて、光源の光量制御を行ってもよい。
【０１０４】
具体的には、光量制御部３０１は、ゲインマップにより表されるゲイン値が所与のゲイン閾値よりも大きい領域が、所与の領域閾値に比べて大きい場合に、光源の光量を大きくする光量制御を行ってもよい。
【０１０５】
ここで、光量制御部３０１で制御される光量は、照明部１４の各照射方向への光量に対して一律に寄与することを想定している。例えば、図１５等のような構成であれば、各照射口１２からの光量は、光源部４での光源の光量と、各照射口に対応する偏光手段１３とにより決定される。この場合、光源の光量を強くした場合には、全ての照射口１２からの光量も一律に強くなる。つまり、光量制御部３０１での制御は、配光パターン決定部２２での配光パターンの決定処理とは異なる観点で行われる制御である。
【０１０６】
これにより、光量が足りていないと推定される領域がある場合に、光源の光量制御により対応することが可能になる。ただし、上述したように光源の光量制御を行うと、各照射方向への光量が一律に強くなるため、元々明るい領域があった場合には当該明るい領域が明るくなりすぎる（撮像画像の対応する領域が白飛びする）可能性もある。よって白飛びを検出した場合には光源の光量を下げる等の制御を光量制御部３０１で行うことが好ましい。なお、光源の光量を大きくする光量制御は、上述したように、ゲイン値が一定以上大きい画素の割合と所与の閾値のと比較により行ってもよいし、ゲイン値の最大値と所与の閾値との比較により行ってもよく、種々の変形実施が可能である。
【０１０７】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１０８】
１  内視鏡スコープ、２  プロセッサ部、３  表示部、４  光源部、１１  撮像部、
１２  照射口、１３  偏光手段、１４  照明部、１６  対物レンズ、
２１  距離情報取得部、２２  配光パターン決定部、２３  階調補正部、
２４  画像処理部、２５  ノイズ低減部、４１  ライトガイドケーブル、
１０２  距離センサ、３０１  光量制御部
【図１】
2015008785.tif 000003
【図２】
2015008785.tif 000004
【図３】
2015008785.tif 000005
【図５】
2015008785.tif 000006
【図８】
2015008785.tif 000007
【図９】
2015008785.tif 000008
【図１３】
2015008785.tif 000009
【図１４】
2015008785.tif 000010
【図１５】
2015008785.tif 000011
【図１６】
2015008785.tif 000012
【図１７】
2015008785.tif 000013
【図１８】
2015008785.tif 000014
【図４】
2015008785.tif 000015
【図６】
2015008785.tif 000016
【図７】
2015008785.tif 000017
【図１０】
2015008785.tif 000018
【図１１】
2015008785.tif 000019
【図１２】
2015008785.tif 000020