(57)【特許請求の範囲】
【請求項１】
所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を分割する画像分割部と、
前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を算出する補正照明算出部と、
前記補正光モードで撮像された画像を出力画像として出力する出力部とを備え、
前記画像分割部は、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する
画像処理装置。
【請求項２】
前記所定の空間分布は、照明強度が一定である空間分布である
請求項１記載の画像処理装置。
【請求項３】
前記測定光モードにおける照明光は、３次元構造解析を行うための照明光であり、所定の照明光パターンを有する
請求項１記載の画像処理装置。
【請求項４】
前記測定光モードにおける照明光は、距離測定のための測距光である
請求項１記載の画像処理装置。
【請求項５】
前記補正照明算出部は、前記距離測定の結果に基づいて配光制御を行う
請求項４記載の画像処理装置。
【請求項６】
前記補正照明算出部は、前記部分領域毎の輝度に基づいて、照明強度分布を算出する
請求項１記載の画像処理装置。
【請求項７】
前記補正照明算出部は、前記測定光モードの照明状態で撮像された画像の色分離処理を行い、色成分毎の画像に基づいて前記補正光モードでの照明強度分布を算出する
請求項１記載の画像処理装置。
【請求項８】
前記補正照明算出部は、前記色成分毎の画像における部分領域毎の画像に基づいて、各色成分毎に照明強度の分布を算出する
請求項７記載の画像処理装置。
【請求項９】
補正照明算出部で算出された光量に基づいて前記補正光モードにおける照明光の出力制御を行う出力制御部を有する
請求項１記載の画像処理装置。
【請求項１０】
撮像画像の生成を行う撮像部、および前記画像分割部と前記補正照明算出部と前記出力制御部を同期して動作させる動作制御部をさらに備える
請求項９記載の画像処理装置。
【請求項１１】
被写体からの光を前記撮像部に導く光路を、前記測定光モードおよび前記補正光モードの照明光の光路として用いる光路制御部をさらに備える
請求項１０記載の画像処理装置。
【請求項１２】
前記補正光モードで照明を行う照明部は、前記出力制御部からの制御信号に基づき光源から出力された照明光の空間光変調を行い、前記補正光モードで出力する照明光の照明強度分布を、前記補正照明算出部で算出された分布とする
請求項９記載の画像処理装置。
【請求項１３】
前記補正光モードで照明を行う照明部は、前記出力制御部からの制御信号に基づき自発光素子を駆動して、前記補正光モードで出力する照明光の照明強度分布を、前記補正照明算出部で算出された分布とする
請求項９記載の画像処理装置。
【請求項１４】
前記撮像画像の生成に用いる撮像光学系と、照明光の出射に用いる照明光学系のレンズを駆動して焦点距離を可変するズーム動作を同期して行い、撮像画角の変化に応じて照明範囲を変化させる
請求項１記載の画像処理装置。
【請求項１５】
所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を画像分割部で分割することと、
前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を補正照明算出部で算出することと、
前記補正光モードで撮像された画像を出力部から出力画像として出力することと、
前記画像分割部において、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成することと
含む画像処理装置の作動方法。
【請求項１６】
所定の空間解像度を有する照明部と、
前記照明部から出力された照明光が照射された被写体の撮像を行う撮像部と、
所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を分割する画像分割部と、
前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を算出する補正照明算出部と、
前記補正光モードで撮像された画像を出力画像として出力する出力部とを備え、
前記画像分割部は、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理装置の作動方法および撮像装置に関し、撮像時における照明光について、被写体に応じて空間分解能の高い配光制御を行う。
【背景技術】
【０００２】
従来、配管内や体腔内を観察するために撮像装置例えば内視鏡装置が広く用いられている。内視鏡装置としては、挿入部が軟性で屈曲した配管内や体腔内等に挿入することで内部を観察できる軟性内視鏡装置、挿入部が硬性で目的部位に向けて直線的に挿入することで内部を観察できる硬性内視鏡装置がある。
【０００３】
軟性内視鏡装置は、例えば先端のレンズ系でとらえた光学像を光ファイバで接眼部に伝達する光学式内視鏡装置や、先端にレンズ系と撮像素子を設けてレンズ系でとらえた画像を撮像素子で電気信号に変換して外部モニタに伝達する電子内視鏡装置がある。硬性内視鏡装置は、先端からレンズ系を繋いで構成されているリレー光学系によって光学像が接眼部に伝達される。また、硬性内視鏡装置においても軟性内視鏡装置と同様に、レンズ系でとらえた画像を撮像素子で電気信号に変換して外部モニタに伝達する電子内視鏡装置がある。
【０００４】
このような内視鏡装置において、周辺部や中心部が共に見やすい画像を得ることができるように、例えば特許文献１では、キセノンランプからの照明光が集光レンズによってライトガイドの入射端に集光されている。また、ライトガイドの入射端と集光レンズとの間に絞りを設けて照明光の入射光量が制御されている。さらに、集光レンズを光軸にそって移動させることで、体腔内等に供給される照明光の配光を制御して、同時に光量が一定となるように絞りを制御することが行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０５−１３０９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、集光レンズを光軸にそって移動させることにより照明光の配光を制御する場合、空間分解能の高い配光制御を行うことができない。例えば、特許文献１では、ライトガイドの入射端に焦点を結ぶように照明光を入射すればライトガイドの中心部に照明光が多く入射するので、配光の特性は中心部が強くなる。また、ライトガイドの入射端より奥に焦点を結ぶように照明光を入射すれば均一に照明光が入射するので、配光の特性は周辺および中心部にわたって均一になる。しかし、中心部の一部分や周辺部の一部分についてのみ照明強度を調整することができない。
【０００７】
そこで、この技術では、撮像時における照明光について、被写体に応じて空間分解能の高い配光制御を行える画像処理装置と画像処理装置の作動方法および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を分割する画像分割部と、前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を算出する補正照明算出部と、前記補正光モードで撮像された画像を出力画像として出力する出力部とを備え、前記画像分割部は、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する画像処理装置にある。
【０００９】
この技術においては、撮像部で生成された撮像画像から、照明強度分布が所定の空間分布、例えば照明強度が一定である空間分布とされた測定光モードの照明状態で撮像された画像を画像分割部によって分割する。この画像の分割は、画面単位例えば撮像画像がフレーム単位で生成されている場合、フレーム単位の撮像画像から測定光モードの照明状態で撮像されたフレーム画像を分割する。この分割された画像は、照明光の空間解像度に応じて解像度変換処理が行われて、解像度変換後の画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布が補正照明算出部で算出される。照明強度分布の算出では、分割された画像の色分離処理を行い、色成分毎の画像に基づいて補正光モードでの照明強度分布を算出してもよい。出力制御部は、算出された照明強度分布に基づいて照明光の出力制御を行う。
【００１０】
また、画像分割部は、補正光モードの照明状態で撮像された画像から、測定光モードの照明状態で撮像された画像期間に対応した補正光モードの照明状態で撮像された画像を、補間処理によって生成する。例えば、画像分割部は、補正光モードの照明状態で撮像されたフレーム画像から、測定光モードの照明状態で撮像された画像期間に対応した補正光モードの照明状態のフレーム画像を補間処理によって生成する。撮像部、画像分割部、補正照明算出部および出力制御部の動作は、動作制御部によって同期して行われる。また、被写体からの光を撮像部に導く光路を、光路制御部によって照明光の光路としても用いることができるようにする。
【００１１】
照明光を出力する照明部は、出力制御部からの制御信号に基づき光源から出力された照明光の空間光変調を行い、補正光モードで出力する照明光の照明強度分布を、補正照明算出部で算出された分布とする。また、出力制御部からの制御信号に基づき自発光素子を駆動して、補正光モードで出力する照明光の照明強度分布を、補正照明算出部で算出された分布としてもよい。
【００１２】
照明強度分布の算出は、距離測定部で測定された被写体までの距離、多視点の撮像画像を用いて推定された被写体までの距離、被写体の３次元構造解析結果を用いて行うようにしてもよい。また、撮像画像の生成に用いる撮像光学系と、照明光の出射に用いる照明光学系のズーム動作を同期して行う。
【００１３】
この技術の第２の側面は、所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を画像分割部で分割することと、前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を補正照明算出部で算出することと、前記補正光モードで撮像された画像を出力部から出力画像として出力することと、前記画像分割部において、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成することと含む画像処理装置の作動方法にある。
また、この技術の第３の側面は、所定の空間解像度を有する照明部と、前記照明部から出力された照明光が照射された被写体の撮像を行う撮像部と、所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を分割する画像分割部と、前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を算出する補正照明算出部と、前記補正光モードで撮像された画像を出力画像として出力する出力部とを備え、前記画像分割部は、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する撮像装置にある。
【発明の効果】
【００１４】
この技術によれば、撮像画像から照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像が分割される。この分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布が算出されて、算出された照明強度分布に基づいて、補正光モードにおける照明光の出力制御が行われる。このため、補正光モードでは、被写体に応じて空間分解能の高い配光制御が行われて、補正光モードの照明状態で撮像動作を行うことで、例えば白飛びや黒つぶれ等を生じていない撮像画像を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】撮像装置の外観を例示した図である。
【図２】撮像装置の構成を例示した図である。
【図３】撮像装置の動作を示すフローチャートである。
【図４】照明強度算出／出力制御を示すフローチャートである。
【図５】撮像装置の動作を示すタイミングチャートである。
【図６】従来の照明で生成された撮像画像と本技術の補正光モードの照明で生成された撮像画像を例示した図である。
【図７】変形例１の構成を示した図である。
【図８】変形例２の構成を示した図である。
【図９】変形例３の構成を示した図である。
【図１０】変形例３における撮像装置の動作を示すフローチャートである。
【図１１】変形例４の構成を示した図である。
【図１２】変形例５の構成を示した図である。
【図１３】変形例５における撮像装置の動作を示すフローチャートである。
【図１４】変形例５における撮像装置の動作を示すタイミングチャートである。
【図１５】変形例６の構成を示した図である。
【図１６】照明光の光路の変形例を示した図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の外観
２．撮像装置の構成
３．撮像装置の動作
４．変形例１
５．変形例２
６．変形例３
７．変形例４
８．変形例５
９．変形例６
１０．変形例７
【００１７】
＜１．撮像装置の外観＞
図１は、本技術の画像処理装置を設けた撮像装置例えば内視鏡装置の外観を例示している。図１の（Ａ）は硬性内視鏡装置の外観、図１の（Ｂ）は軟性内視鏡装置の外観、図１の（Ｃ）はカプセル内視鏡装置の内部構成を示している。
【００１８】
硬性内視鏡装置は、観察対象内に挿入される挿入部１１ａとユーザが把持する操作部１２および撮像部２２を備えている。挿入部１１ａはイメージガイドシャフトと照明導光用ファイバを備えている。後述する光源部から出射された光は照明導光用ファイバおよび挿入部１１ａの先端に設けられた撮像レンズを介して観察対象に照射される。また、観察対象からの光は、撮像レンズおよびイメージガイドシャフト内のリレーレンズを介して撮像部２２に入射される。
【００１９】
軟性内視鏡装置も硬性内視鏡装置と同様に、観察対象内に挿入される挿入部１１ｂとユーザが把持する操作部１２および撮像部２２を備えている。軟性内視鏡装置の挿入部１１ｂは、可撓性を有しており先端に撮像光学系２１や撮像部２２が設けられている。
【００２０】
カプセル内視鏡装置は、例えば筐体１３の内部に、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０が設けられている。また、カプセル内視鏡装置では、処理後の画像信号の送信等を行うための無線通信部８１、電源部８２等も設けられている。
【００２１】
＜２．撮像装置の構成＞
図２は、撮像装置例えば内視鏡装置の構成を例示している。撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０等を備えている。また、照明制御部３０は、画像分割部３１、補正照明算出部３８、出力制御部３９を備えている。
【００２２】
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。
【００２３】
撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明制御部３０や照明部４０と同期して撮像動作を行う。また、撮像部２２では、撮像画像を良好な画質等で表示または記録できるように、撮像部２２で生成された画像信号に対して種々の処理を行うようにしてもよい。この場合、撮像部２２は、例えばホワイトバランス調整処理や色補正処理、輪郭強調処理等を行う。撮像部２２は、撮像画像の画像信号を照明制御部３０の画像分割部３１へ出力する。
【００２４】
画像分割部３１は、後述する出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
【００２５】
補正照明算出部３８は、測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、後述するように照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分が高輝度となり、反射率の低い被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の高い被写体部分や反射率の低い被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、例えば式（１）に示す計算を行い、照明強度分布を算出する。なお、「ｋ」は定数である。
照明強度＝ｋ（１／被写体の輝度）    ・・・（１）
【００２６】
ところで、撮像画像に比べて後述する照明部４０の空間解像度が低い場合、例えば撮像画像の画素位置毎に照明強度を算出しても、算出した照明強度分布に応じて照明光を出力することができない。そこで、画像分割部３１は、測定光モードの照明状態で撮像された撮像画像に対して解像度変換処理を行い、照明部４０の空間解像度に応じた解像度で照明強度分布を算出することにより演算量を削減する。例えば、画像分割部３１は、画像分割部３１からの撮像画像の画像信号に対して解像度変換処理として低域フィルタ処理を行い、解像度が低下された画像に基づき照明強度分布を算出する。
【００２７】
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。
【００２８】
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。
【００２９】
光源４１は、キセノンランプ、白色ＬＥＤ（Light Emitting Diode）、ＧａＮ系半導体レーザを用いた高輝度白色光源等の発光素子を用いて構成されている。光源４１は、発光素子から出力された照明光を空間光変調部４２に出力する。
【００３０】
空間光変調部４２は、透過型液晶パネル、反射型液晶パネル（ＬＣＯＳ：Liquid crystal on silicon）、またはＤＭＤ（Digital Micromirror Device）等の光変調素子を用いて構成されている。空間光変調部４２は、出力制御部３９からの照明制御信号に基づき、光変調素子における照明光の透過または反射を制御して照明強度を調整する。例えば、空間光変調部４２は、照明モードが測定光モードの場合、照明光の照明強度分布を一定とする。また、空間光変調部４２は、照明モードが補正光モードの場合、照明光の照明強度分布を補正照明算出部３８で算出された分布とする。
【００３１】
空間光変調部４２で照明強度が調整された照明光は、ライトガイド４５を介して照明光学系４６に供給される。照明光学系４６は、ライトガイド４５を介して供給された照明光を被写体に照射する。
【００３２】
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。また、システム制御部５０（後述する変形例を含む）は、請求項の動作制御部に相当する。
【００３３】
＜３．撮像装置の動作＞
図３は、撮像装置の動作を示すフローチャートである。ステップＳＴ１で撮像装置１０は、撮像動作を行う。撮像装置１０は、被写体の撮像を行い、動画像を生成してステップＳＴ２に進む。
【００３４】
ステップＳＴ２で撮像装置１０は、画像分割処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像のフレームと、補正光モードの照明状態で撮像された撮像画像のフレームを分割してステップＳＴ３に進む。
【００３５】
ステップＳＴ３で撮像装置１０は、照明強度算出／出力制御を行う。図４は、照明強度算出／出力制御を示すフローチャートである。ステップＳＴ５１で撮像装置１０は低域フィルタ処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像に対して低域フィルタ処理を行い、照明部４０の空間解像度に応じた解像度で照明強度分布の算出を行えるようにしてステップＳＴ５２に進む。
【００３６】
ステップＳＴ５２で撮像装置１０は、補正照明計算を行う。撮像装置１０は、低域フィルタ処理後の画像信号に基づき、補正光モードにおける照明光の照明強度分布を算出する。撮像装置は、撮像範囲に反射率の高い被写体部分や反射率の低い被写体部分等が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように照明強度分布を算出してステップＳＴ５３に進む。
【００３７】
ステップＳＴ５３で撮像装置１０は、光源輝度制御を行う。撮像装置１０は、光源４１から出射される照明光が所定の光強度となるように光源４１の発光動作を制御してステップＳＴ５４に進む。
【００３８】
ステップＳＴ５４で撮像装置１０は、照明光出力制御を行う。撮像装置１０は、照明モードを測定光モードとする場合、照明強度分布が一定となるように照明光出力制御を行う。また、撮像装置１０は、照明モードを補正光モードとする場合、照明光がステップＳＴ５２で算出された照明強度分布となるように照明光出力制御を行い、図３のステップＳＴ３に戻る。
【００３９】
ステップＳＴ３で、照明強度算出／出力制御が行われてステップＳＴ４に進むと、撮像装置１０は、補間処理を行う。撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号から、測定光モードで照明が行われている期間に対して、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を補間処理等によって生成する。また、撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号と、測定光モードに設定されている期間は補間処理等によって生成した撮像画像の画像信号を、表示装置９１や画像記録装置９２等に出力する。
【００４０】
図５は、撮像装置の動作を示すタイミングチャートを示している。図５の（Ａ）は照明モード、図５の（Ｂ）は撮像動作のフレームを示している。図５の（Ｃ）は画像分割部３１に供給される画像信号のフレームを示している。図５の（Ｄ）は画像分割部３１から出力される画像信号のフレーム、図５の（Ｅ）は補正照明算出部３８に供給される画像信号のフレームを示している。図５の（Ｆ）は照明強度分布の算出結果を示している。また、図５の（Ｇ）は照明制御信号を示している。
【００４１】
照明部４０は、出力制御部３９からの照明制御信号に基づき、例えば１フレーム期間だけ測定光モードで照明を行ったのち次の３フレーム期間は補正光モードで照明を行う。また、補正光モードの照明が終了すると、再度１フレーム期間だけ測定光モードで照明を行う。以下同様にして照明モードの切り替えを行う。
【００４２】
撮像装置１０は、例えば最初のフレームＦＲ１において、図５の（Ａ）に示すように照明モードを測定光モード（ＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ-LM」を出力する。なお、信号「ＣＴ-LM」は、照明部４０から測定光モードで照明光を出力させる信号である。また、撮像部２２は、測定光モードで照明が行われている被写体の撮像動作Ｐ１を行う。
【００４３】
２番目のフレームＦＲ２において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ-L0」を出力する。この場合、補正光モードにおける照明光の照明強度分布の算出が完了してないことから、出力制御部３９は照明強度を初期値とする信号「ＣＴ-L0」を出力する。撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ２を行う。また、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ１で生成した画像信号「Ｄ１-LM」を画像分割部３１に供給する。ここで、撮像部２２から供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である。したがって、画像分割部３１は、図５の（Ｅ）に示すように、画像信号「Ｄ１-LM」を補正照明算出部３８に供給して、画像信号「Ｄ１-LM」に基づき照明強度分布の算出を行う。
【００４４】
３番目のフレームＦＲ３において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ１」を出力する。ここで、補正照明算出部３８は、画像信号「Ｄ１-LM」に基づいて補正光モードにおける照明強度分布の算出を行い、図５の（Ｆ）に示すように、算出結果「ＶＭ１」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ１」に基づき信号「ＣＴ１」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ３を行ったとき、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ２で生成した画像信号「Ｄ２-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ２-LC」を表示装置９１や画像記録装置９２へ出力する。
【００４５】
その後、５番目のフレームＦＲ５において、撮像装置１０は、図５の（Ａ）に示すように照明モードを測定光モード（ＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ-LM」を出力する。また、撮像部２２は、測定光モードで照明が行われている被写体の撮像動作Ｐ５を行う。
【００４６】
６番目のフレームＦＲ６において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ１」を出力する。また、フレームＦＲ６において、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ５で生成した画像信号「Ｄ５-LM」を画像分割部３１に出力する。ここで、撮像部２２から供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である。したがって、画像分割部３１は、画像信号「Ｄ５-LM」を補正照明算出部３８に供給して、図５の（Ｅ）に示すように、画像信号「Ｄ５-LM」に基づいて照明強度分布の算出を行う。また、画像分割部３１に供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である場合、表示装置９１や画像記録装置９２に出力する画像信号が欠落する。したがって、画像分割部３１は、測定光モードで照明が行われている被写体を撮像した画像信号を用いて補間処理等を行い、生成した画像信号をフレームＦＲ６の期間に表示装置９１や画像記録装置９２へ出力する。
【００４７】
補間処理としては、種々の方法を用いることができる。例えば第１の補間処理方法では直前のフレームの画像信号を繰り返し用いる。例えば画像信号「Ｄ４-LC」をフレームＦＲ６の期間でも出力する。第２の補間処理方法では、過去の複数フレームから、各ブロックの動きベクトルを算出して、算出した動きベクトルを利用して動き補償画像を生成する。例えば画像信号「Ｄ３-LC」と画像信号「Ｄ４-LC」を用いて動きベクトルを算出して、算出した動きベクトルを利用して画像信号「Ｄ４-LC」の動き補償を行い、フレームＦＲ６に相当する動き補償画像の画像信号を生成する。生成した画像信号はフレームＦＲ６の期間に出力する。第３の補間処理方法としては、過去と未来のフレームから、各ブロックの動きベクトルを算出して、算出した動きベクトルを利用して動き補償画像を生成する。例えば画像信号「Ｄ４-LC」と画像信号「Ｄ６-LC」を用いて動きベクトルを算出して、算出した動きベクトルを利用して画像信号「Ｄ４-LC」または画像信号「Ｄ６-LC」の動き補償を行い、動き補償画像の画像信号をフレームＦＲ６の期間に出力する。なお、第３の補間処理方法としては、過去と未来のフレームから動き補償画像を生成することから、精度のよい補間処理を行うことができる。しかし、未来のフレームの画像信号を用いることから、表示装置９１や画像記録装置９２に出力される画像信号は遅延が大きくなる。なお、補間処理方法は上述の方法に限らず他の方法を用いるようにしてもよい。
【００４８】
７番目のフレームＦＲ７において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ５」を出力する。ここで、補正照明算出部３８は、画像信号「Ｄ５-LM」に基づいて照明強度分布の算出を行い、図５の（Ｆ）に示すように、算出結果「ＶＭ５」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ５」に基づき信号「ＣＴ５」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ７を行ったとき、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ６で生成した画像信号「Ｄ６-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ６-LC」を表示装置９１や画像記録装置９２へ出力する。
【００４９】
撮像装置１０は、以上のような処理を行い、白飛びや黒つぶれ等の生じていない良好な撮像画像を表示装置９１や画像記録装置９２へ出力する。
【００５０】
図６は、従来の照明で生成された撮像画像と本技術の補正光モードの照明で生成された撮像画像を例示している。従来の照明で生成された撮像画像では、図６の（Ａ）に示すように、例えば反射率の高い被写体部分が白飛び、反射率の低い被写体部分が黒つぶれを生じてしまう場合がある。また、反射率の高い被写体部分では照明光によって加熱されてしまう場合がある。しかし、上述の処理を行うと補正光モードの照明では、反射率の高い被写体部分では照明強度が低くされて、反射率の低い被写体部分では照明強度が高くされる。したがって、図６の（Ｂ）に示すように、反射率の高い被写体部分でも白飛びを生じることがなく、反射率の低い被写体部分でも黒つぶれを生じることがなく、良好な画像を得ることができる。
【００５１】
以上のように、撮像装置１０は、測定光モードの照明状態で撮像された撮像画像に基づき、反射率の高い被写体部分や反射率の低い被写体部分を判別する。また、撮像装置１０は、補正光モードでは、反射率の高い被写体部分に対する照明強度は低く、反射率の低い被写体部分に対する照明強度は高くなるように照明強度を調整する。したがって、撮像装置１０は、撮像範囲に反射率の高い被写体部分や反射率の低い被写体部分等が混在しても、測定光モードの照明状態で撮像された撮像画像を、白飛びや黒つぶれ等の生じていない良好な撮像画像とすることができる。
【００５２】
また、撮像装置１０は、測定光モードにおける撮像動作を周期的に行い、測定光モードにおける撮像動作で生成された画像信号に基づき補正光モードにおける照明強度分布を算出する。したがって、撮像中に被写体が移動したり被写体の状態が変化するような場合でも、補正光モードにおける照明強度分布は、被写体の移動や状態変化に追従させて自動的に調整される。このため、撮像装置１０は、被写体の変化にかかわらず白飛びや黒つぶれ等の生じていない、良好な撮像画像を容易に得ることができる。また、撮像装置１０は、照明光による被写体の発熱等も防止できる。さらに、撮像装置１０は、撮像画像に比べて照明部４０の空間解像度が低い場合、照明部４０の空間解像度に応じた解像度で照明強度分布の算出を行う。したがって、照明強度分布の算出における演算量を削減できるので、消費電力の削減や照明制御部３０での演算処理による発熱を低減させることが可能となる。
【００５３】
＜４．変形例１＞
ところで、上述の実施の形態における照明部は、光源から出射された照明光を空間光変調部で変調して、被写体の反射率に応じて照明強度を調整する構成を例示した。しかし、自発光デバイスを用いて照明部を構成すれば、光源と空間光変調部を個々に設けることなく、照明部の構成を簡略化できる。
【００５４】
変形例１では、自発光素子を用いて照明部を構成する場合について説明する。図７は変形例１の構成を示している。変形例１の照明部４０は、自発光素子部４３とライトガイド４５および照明光学系４６を備えている。
【００５５】
自発光素子部４３は、有機発光ダイオード（ＯＬＥＤ：Organic Light-Emitting Diode）等の自発発光素子を用いて構成されている。自発光素子部４３は、出力制御部３９からの照明制御信号に基づき、出射する照明光の照明強度を調整する。例えば、自発光素子部４３は、照明モードが測定光モードの場合、照明光の照明強度分布を一定とする。また、自発光素子部４３は、照明モードが補正光モードの場合、照明光の照明強度分布を補正照明算出部３８で算出された分布とする。
【００５６】
自発光素子部４３から出射された照明光は、ライトガイド４５を介して照明光学系４６に供給される。照明光学系４６は、ライトガイド４５を介して供給された照明光を被写体に照射する。
【００５７】
このように、自発光素子を用いて照明を行うようにすれば、光源と空間光変調部を用いる照明部に比べて構成を簡単にできる。また、空間光変調部として透過率を調整して照明強度を調整する場合、非透過光の吸収により空間光変調部の発熱が生じることから、例えば体外の位置に空間光変調部を設けなければならない。しかし、光変換効率に優れた自発光素子を用いることで照明部の発熱量を少なくできるので、照明部を体内に設けることが可能となり、撮像装置１０における構成の自由度を高めることができる。
【００５８】
＜５．変形例２＞
変形例２は、補正照明算出部の他の構成を例示している。図８は変形例２の構成を示している。変形例２における補正照明算出部３８は、色分離部３８１と赤光補正照明算出部３８２Ｒ、緑光補正照明算出部３８２Ｇ、青光補正照明算出部３８２Ｂ、計算結果統合部３８３を備えている。
【００５９】
色分離部３８１は、画像分割部３１から供給された画像信号に対して色分離処理を行い、例えば赤色と緑色と青色の色成分信号を生成する。色分離部３８１は、生成した赤色成分信号を赤光補正照明算出部３８２Ｒに出力する。また、色分離部３８１は、生成した緑色成分信号を緑光補正照明算出部３８２Ｇ、青色成分信号を青光補正照明算出部３８２Ｂに出力する。
【００６０】
赤光補正照明算出部３８２Ｒは、赤色成分信号に基づき補正照明計算を行い、計算結果を計算結果統合部３８３に出力する。緑光補正照明算出部３８２Ｇは、緑色成分信号に基づき補正照明計算を行い、計算結果を計算結果統合部３８３に出力する。青光補正照明算出部３８２Ｂは、青色成分信号に基づき補正照明計算を行い、計算結果を計算結果統合部３８３に出力する。
【００６１】
計算結果統合部３８３は、赤光補正照明算出部３８２Ｒと緑光補正照明算出部３８２Ｇと青光補正照明算出部３８２Ｂにおける計算結果から、各色成分について飽和やつぶれを生じることのない照明強度分布を算出して、算出結果を出力制御部３９に出力する。
【００６２】
このように、補正照明算出部３８は、色成分毎に照明強度分布の計算を行う。したがって、変形例２の撮像装置では、例えば観察する被写体の所望の色に対して、色飽和または色つぶれを生じないように、照明光を最適な照明強度に調整できる。
【００６３】
＜６．変形例３＞
変形例３は、補正照明算出部３８において、撮像範囲内に位置する各被写体までの距離を示す距離情報を用いて照明強度分布の算出を行う場合を示している。
【００６４】
図９は、変形例３の構成を示している。変形例３の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、距離測定部３２、補正照明算出部３８、出力制御部３９を備えている。
【００６５】
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。
【００６６】
撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。
【００６７】
画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
【００６８】
距離測定部３２は、撮像範囲内の被写体部分までの距離を算出する。距離測定部３２は、撮像範囲内における複数位置で被写体までの距離を算出する。例えば、距離測定部３２は、ＴＯＦ（Time of Flight）カメラのように赤外線を被写体に照射して、反射した赤外線がカメラに入射されるまでに要した時間から距離を算出する。また、測距用画素が設けられている撮像素子を撮像部２２で用いるようにして、測距用画素の信号を用いて距離を算出してもよい。距離測定部３２は、距離測定結果を補正照明算出部３８に出力する。
【００６９】
補正照明算出部３８は、距離測定部３２からの距離測定結果と測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近接した被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の異なる被写体部分や距離が異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、例えば式（１）に示す計算を行い、照明強度分布を算出する。
【００７０】
補正照明算出部３８は、被写体の明るさは距離の２乗に反比例することが知られていることから、距離測定結果に基づき照明強度を調整する。例えば、補正照明算出部３８は、測定光モードの場合に式（２）に示す計算を行い、被写体までの距離に応じて算出した照明強度で照明強度分布を一定として照明を行う。また、補正照明算出部３８は、補正光モードの場合に式（３）に示す計算を行うことで、距離を考慮した照明強度を算出する。なお、「ｋ」は定数である。
照明強度＝ｋ（距離の２乗）                      ・・・（２）
照明強度＝ｋ（１／被写体の輝度）（距離の２乗）  ・・・（３）
【００７１】
また、補正照明算出部３８は、測定光モードを用いることなく測定された距離のみに基づいて照明強度を算出するようにしてもよい。この場合には式（４）の計算を行う。なお「ｋｃ」は補正光モードにおける定数である。
照明強度＝ｋｃ（距離の２乗）                    ・・・（４）
【００７２】
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。
【００７３】
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。
【００７４】
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。
【００７５】
図１０は、変形例３における撮像装置の動作を示すフローチャートである。ステップＳＴ１１で撮像装置１０は、撮像動作を行う。撮像装置１０は、被写体の撮像を行い、動画像を生成してステップＳＴ１２に進む。
【００７６】
ステップＳＴ１２で撮像装置１０は、画像分割処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像のフレームと、補正光モードの照明状態で撮像された撮像画像のフレームを分割してステップＳＴ１３に進む
ステップＳＴ１３で撮像装置１０は、距離測定を行う。撮像装置１０は、被写体までの距離を測定してステップＳＴ１４に進む。
【００７７】
ステップＳＴ１４で撮像装置１０は、照明強度算出／出力制御を行う。撮像装置１０は、図４に示すフローチャートの処理を行い、照明強度分布を算出して、算出した照明強度分布となるように照明光出力制御を行い、ステップＳＴ１５に進む。
【００７８】
ステップＳＴ１５で撮像装置１０は補間処理を行う。撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号を用いて補間処理を行い、測定光モードで照明が行われている期間に対して、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成する。また、撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号と、測定光モードに設定されている期間は補間処理等によって生成した撮像画像の画像信号を、表示装置９１や画像記録装置９２等に出力する。
【００７９】
このように、補正照明算出部３８は、被写体までの距離を考慮して照明強度分布を算出することで、近接した位置の被写体および離れた位置の被写体に対しても、照明光を最適な照明強度に調整できる。
【００８０】
＜７．変形例４＞
変形例４は、撮像部２２として多視点カメラを用いていわゆるパッシブ計測を行い、距離測定部３２を用いることなく被写体までの距離を推定する場合を示している。なお、以下の説明では、多視点カメラとしてステレオカメラを用いた場合について説明する。
【００８１】
図１１は、変形例４の構成を示している。変形例４の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、距離推定部３３、補正照明算出部３８、出力制御部３９を備えている。
【００８２】
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。なお、レンズユニットは、右眼用のユニットと左眼用のユニットを備えている。
【００８３】
撮像部２２は、右眼画像の画像信号を生成する撮像素子と左眼画像の画像信号を生成する撮像素子を用いて構成されている。撮像素子は例えはＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。
【００８４】
画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。出力する画像信号としては、右眼画像または左眼画像の何れか一方のみの画像信号としてもよく、右眼画像と左眼画像の画像信号の両方を出力してもよい。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を距離推定部３３へ出力する。画像分割部３１は、測定光モードの照明状態で撮像された撮像画像の画像信号として、右眼画像と左眼画像の画像信号を距離推定部３３へ出力する。また、画像分割部３１は、右眼画像と左眼画像の画像信号または何れか一方の信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
【００８５】
距離推定部３３は、例えばパッシブステレオ計測によって被写体までの距離を推定する。距離推定部３３は、右眼画像の画像信号と左眼画像の画像信号を用いて視差量を算出する。また、距離推定部３３は、右眼画像の撮像部と左眼画像の撮像部との間隔である基線長と視差量に基づき三角測量によって被写体までの距離を推定する。
【００８６】
補正照明算出部３８は、距離推定部３３からの距離推定結果と測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近接した被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の異なる被写体部分や距離が異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、変形例３と同様に、被写体までの距離を考慮して照明強度を調整する。
【００８７】
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。
【００８８】
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。
【００８９】
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。
【００９０】
このように、補正照明算出部３８は、被写体までの距離を考慮して照明強度分布を算出することで、近接した位置の被写体および離れた位置の被写体に対しても、照明光を最適な照明強度に調整できる。また、撮像部２２としてステレオカメラを用いることで、表示装置９１では被写体の立体表示が可能となる。また、ステレオカメラを用いることで距離測定部３２を設けることなく、被写体までの距離を考慮して白飛びや黒つぶれ等を生じないように照明強度を調整することができる。
【００９１】
＜８．変形例５＞
変形例５は、いわゆる光切断法を用いて被写体の３次元構造解析を行い、解析結果に基づき照明強度の調整を行う場合を示している。なお、光切断法では、スリット光を被写体に照射して３次元構造解析が行われる。
【００９２】
図１２は、変形例５の構成を示している。変形例５の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、３次元構造解析部３４、パターン生成部３５、補正照明算出部３８、出力制御部３９を備えている。
【００９３】
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。
【００９４】
撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。
【００９５】
画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分離する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。また、画像分割部３１は、照明モード信号によって照明が３次元測定光モードに設定されていることが示された場合、３次元測定光モードの照明状態で撮像された撮像画像の画像信号を、３次元構造解析部３４に出力する。３次元測定光モードでは、スリット光の照射とスリット光の走査（例えば平行移動）を照明部４０で行う。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
【００９６】
３次元構造解析部３４は、画像分割部３１から供給された画像信号に基づき、スリット光が当たっている部分の形状を判別する。さらに、スリット光の走査位置毎にスリット光が当たっている部分の形状を判別することで、被写体の３次元構造を解析する。３次元構造解析部３４は、解析結果を補正照明算出部３８に出力する。
【００９７】
パターン生成部３５は、３次元測定用パターンとして、照明部４０からスリット光の照射およびスリット光の走査（例えば平行移動）を行うパターン信号を生成して出力制御部３９に出力する。
【００９８】
補正照明算出部３８は、３次元構造解析部３４からの解析結果と測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近接した被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の異なる被写体部分や距離が異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、変形例３，４と同様に、被写体までの距離を考慮して照明強度を調整する。
【００９９】
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モード、補正光モード、または３次元測定光モードに切り替える。また、出力制御部３９は、照明モードが測定光モード、補正光モード、３次元測定光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。また、出力制御部３９は、３次元測定光モードの場合に、パターン生成部３５からのパターン信号に基づき照明制御信号を生成して照明部４０に出力する。
【０１００】
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。
【０１０１】
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像、および３次元測定光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。
【０１０２】
図１３は、変形例５における撮像装置の動作を示すフローチャートである。ステップＳＴ２１で撮像装置１０は、撮像動作を行う。撮像装置１０は、被写体の撮像を行い、動画像を生成してステップＳＴ２２に進む。
【０１０３】
ステップＳＴ２２で撮像装置１０は、画像分割処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像のフレームと、補正光モードの照明状態で撮像された撮像された撮像画像のフレームを分割する。さらに、撮像装置１０は、３次元補正光モードの照明状態で撮像された撮像画像のフレームを分割してステップＳＴ２３に進む。
【０１０４】
ステップＳＴ２３で撮像装置１０は、３次元測定用照明パターン生成を行う。撮像装置１０は、スリット光の出射および走査を行うためのパターン信号を生成してステップＳＴ２４に進む。
【０１０５】
ステップＳＴ２４で撮像装置１０は、３次元構造解析を行う。撮像装置１０は、スリット光が当たっている部分の形状を判別する。また、撮像装置１０は、スリット光の走査位置毎にスリット光が当たっている部分の形状を判別することで、被写体の３次元構造を解析してステップＳＴ２５に進む。
【０１０６】
ステップＳＴ２５で撮像装置１０は、照明強度算出／出力制御を行う。撮像装置１０は、図４に示すフローチャートの処理を行い、照明強度分布を算出して、算出した照明強度分布となるように照明光出力制御を行い、ステップＳＴ２６に進む。
【０１０７】
ステップＳＴ２６で撮像装置１０は補間処理を行う。撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号を用いて補間処理を行う。撮像装置は、補間処理によって、測定光モードおよび３次元測定光モードで照明が行われている期間に対して、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成する。また、撮像装置１０は、補正光モードで照明が行われている状態で撮像された撮像画像の画像信号と、測定光モードおよび３次元測定光モードに設定されている期間は補間処理によって生成した画像信号を表示装置９１や画像記録装置９２等に出力する。
【０１０８】
図１４は、変形例５における撮像装置の動作を示すタイミングチャートである。図１４の（Ａ）は照明モード、図１４の（Ｂ）は撮像動作のフレームを示している。図１４の（Ｃ）は画像分割部３１に供給される画像信号のフレームを示している。図１４の（Ｄ）は、画像分割部３１から出力される画像信号のフレーム、図１４の（Ｅ）は、補正照明算出部３８に供給される画像信号のフレーム、図１４の（Ｆ）は、３次元構造解析部３４に供給される画像信号のフレームを示している。図１４の（Ｇ）は３次元構造の解析結果、図１４の（Ｈ）は照明強度分布の算出結果を示している。図１４の（Ｉ）は照明制御信号を示している。
【０１０９】
照明部４０は、出力制御部３９からの照明制御信号に基づき、例えば１フレーム期間だけ測定光モードで照明を行ったのち次の３フレーム期間は補正光モードで照明を行う。また、補正光モードの照明が終了すると、１フレーム期間だけ３次元測定光モードで照明を行う。３次元補正光モードの照明が終了すると、再度１フレーム期間だけ測定光モードで照明を行う。以下同様にして照明モードの切り替えを行う。
【０１１０】
撮像装置１０は、例えば最初のフレームＦＲ１において、図１４の（Ａ）に示すように照明モードを測定光モード（ＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ-LM」を出力する。なお、信号「ＣＴ-LM」は、照明部４０から測定光モードで照明光を出力させる信号である。また、撮像部２２は、測定光モードで照明が行われている被写体の撮像動作Ｐ１を行う。
【０１１１】
２番目のフレームＦＲ２において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ-L0」を出力する。この場合、補正光モードにおける照明光の照明強度分布の算出が完了してないことから、出力制御部３９は照明強度を初期値とする信号「ＣＴ-L0」を出力する。撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ２を行う。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ１で生成した画像信号「Ｄ１-LM」を画像分割部３１に供給する。画像分割部３１は、撮像部２２から供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である。したがって、図１４の（Ｅ）に示すように、画像信号「Ｄ１-LM」を補正照明算出部３８に供給して、画像信号「Ｄ１-LM」に基づき照明強度分布の算出を行う。
【０１１２】
３番目のフレームＦＲ３において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ１」を出力する。ここで、補正照明算出部３８は、画像信号「Ｄ１-LM」に基づいて補正光モードにおける照明強度分布の算出を行い、図１４の（Ｈ）に示すように、算出結果「ＶＭ１」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ１」に基づき信号「ＣＴ１」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ３を行ったとき、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ２で生成した画像信号「Ｄ２-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ２-LC」を表示装置９１や画像記録装置９２へ出力する。
【０１１３】
その後、５番目のフレームＦＲ５において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを３次元測定光モード（３ＤＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ-3d」を出力する。また、撮像部２２は、３次元測定光モードで照明が行われている被写体の撮像動作Ｐ５を行う。なお、信号「ＣＴ-3d」は、照明部４０から３次元測定光モードで照明光を出力させる信号である。
【０１１４】
６番目のフレームＦＲ６において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ１」を出力する。また、フレームＦＲ６において、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ５で生成した画像信号「Ｄ５-3d」を画像分割部３１に供給する。画像分割部３１は、撮像部２２から供給された画像信号が３次元測定光モードで照明が行われている被写体を撮像した画像信号であるから、図１４の（Ｆ）に示すように画像信号「Ｄ５-3d」を３次元構造解析部３４に供給して３次元構造の解析を行う。また、画像分割部３１に供給された画像信号が測定光モードまたは３次元測定光モードで照明が行われている被写体を撮像した画像信号である場合、表示装置９１や画像記録装置９２に出力する画像信号が欠落する。したがって、画像分割部３１は、測定光モードで照明が行われている被写体を撮像した画像信号を用いて補間処理を行い、生成した画像信号をフレームＦＲ６の期間に表示装置９１や画像記録装置９２へ出力する。補間処理では、上述の第１〜第３の補間処理方法または他の補間処理方法を用いる。
【０１１５】
７番目のフレームＦＲ７において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ５-3d」を出力する。ここで、３次元構造解析部３４は、図１４の（Ｇ）に示すように、解析結果「ＭＥ-3d」が得られたとする。また、補正照明算出部３８は、解析結果「ＭＥ-3d」に基づいて照明強度分布の算出を行い、図１４の（Ｆ）に示すように、算出結果「ＶＭ５-3d」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ５-3d」に基づき信号「ＣＴ５-3d」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ７を行ったとき、３次元構造を考慮した照明強度分布で照明が行われることから、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ６で生成した画像信号「Ｄ６-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ６-LC」を表示装置９１や画像記録装置９２へ出力する。
【０１１６】
８番目のフレームＦＲ８において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ５-3d」を出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ８を行ったとき、３次元構造を考慮した照明強度分布で照明が行われることから、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ７で生成した画像信号「Ｄ７-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ７-LC」を表示装置９１や画像記録装置９２へ出力する。
【０１１７】
以上のように、撮像装置１０は、３次元測定光モードの照明状態で撮像された撮像画像に基づき、被写体の３次元構造を解析する。また、撮像装置１０は、補正光モードでは、近接した被写体部分に対する照明強度は低く、離れた被写体部分に対する照明強度は高くなるように照明強度を調整する。したがって、撮像装置１０は、被写体の３次元構造に対応させて測定光モードにおける照明強度分布を設定できるので、測定光モードの照明状態で撮像された撮像画像を、白飛びや黒つぶれ等の生じていない良好な撮像画像とすることができる。また、撮像装置１０は、３次元測定光モードにおける撮像動作を周期的に行い、３次元測定光モードにおける撮像動作で生成された画像信号に基づき補正光モードにおける照明強度分布を算出する。したがって、撮像中に被写体が移動したり被写体の状態が変化するような場合でも、補正光モードにおける照明強度分布は、被写体の３次元構造の変化に追従させて自動的に調整される。このため、撮像装置１０は、被写体の変化にかかわらず白飛びや黒つぶれ等の生じていない良好な撮像画像を容易に得ることができる。また、撮像装置１０は、照明光による被写体の発熱等も防止できる。
【０１１８】
＜９．変形例６＞
変形例６は、撮像光学系２１と照明光学系４６にズーム機能を設けた場合を示している。図１５は、変形例６の構成を示している。変形例６の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、補正照明算出部３８、出力制御部３９を備えている。
【０１１９】
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。変形例６における撮像光学系２１では、ズームレンズが用いられており、後述するシステム制御部５０からのズーム制御信号に基づきズームレンズを駆動して、ズーム動作を行う。
【０１２０】
撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。
【０１２１】
画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
【０１２２】
補正照明算出部３８は、測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近距離の被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率や距離の異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。
【０１２３】
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。
【０１２４】
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。また、照明光学系４６はズーム機能が設けられており、システム制御部５０からのズーム制御信号に基づき照明光のズーム動作を行う。
【０１２５】
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。さらに、システム制御部５０は、ユーザ等の操作に応じてズーム制御信号を生成して撮像光学系２１と照明光学系４６へ出力することで、撮像光学系２１と照明光学系４６の動作を連動させる。
【０１２６】
このように、撮像光学系２１と照明光学系４６のズーム動作を連動させることで、撮像光学系でズーム動作が行われた場合でも、白飛びが黒つぶれを生じないように照明部４０の動作を連動させることができる。
【０１２７】
＜１０．変形例７＞
変形例７は、図１６に示すように、照明光の光路についての変形例である。図１６の（Ａ）は硬性内視鏡装置、図１６の（Ｂ）は軟性内視鏡装置、図１６の（Ｃ）はカプセル内視鏡装置の場合を図示している。
【０１２８】
硬性内視鏡装置の場合、照明部４０から出射された照明光をミラー７１でビームスプリッタ７２に入射させる。ビームスプリッタ７２は、照明部４０から出射された照明を挿入部１１ａのイメージガイドシャフト内のリレーレンズや撮像光学系を介して被写体に出射させる。また、ビームスプリッタ７２は、撮像光学系および挿入部１１ａのイメージガイドシャフト内のリレーレンズを介して供給された観察対象からの光を撮像部２２に出射する。
【０１２９】
軟性内視鏡装置も硬性内視鏡装置と同様に、照明部４０から出射された照明光をミラー７１でビームスプリッタ７２に入射する。ビームスプリッタ７２は、照明部４０から出射された照明を、可撓性を有している挿入部１１ｂのライトガイドに入射する。また、ビームスプリッタ７２は、撮像光学系やライトガイドを介して供給された観察対象からの光を、撮像部２２に出射する。
【０１３０】
カプセル内視鏡装置は、例えば筐体１３の内部に、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０が設けられている。また、カプセル内視鏡装置では、処理後の画像信号の送信等を行うための無線通信部８１、電源部８２等も設けられている。照明部４０から出射された照明光はミラー７１でビームスプリッタ７２に入射する。ビームスプリッタ７２は、照明部４０から出射された照明を、撮像光学系２１を介して被写体に出射する。また、ビームスプリッタ７２は、撮像光学系２１を介して供給された観察対象からの光を、撮像部２２に出射する。
【０１３１】
このように、ミラー７１とビームスプリッタ７２を光路制御部として用いて、被写体からの光を撮像部２２に導く光路を照明光の光路としても用いることで、照明光の光路を別個に設けた場合に比べて挿入部やカプセル内視鏡装置の構成を簡単とすることができる。
【０１３２】
以上、実施の形態およびいくつかの変形例を用いて本技術について説明したが、本技術は、実施の形態およびいくつかの変形例に限られず、上述の実施の形態および変形例を組み合わせてもよい。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１３３】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３４】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３５】
また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１３７】
本技術の画像処理装置と画像処理方法では、撮像画像から、照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像が分割される。この分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布が算出されて、算出された照明強度分布に基づいて、補正光モードにおける照明光の出力制御が行われる。このため、補正光モードの照明状態で撮像された画像は、被写体に応じた空間分解能の高い配光制御が行われている照明状態で撮像された画像となり、例えば白飛びや黒つぶれ等を生じていない撮像画像を生成できるようになる。したがって、内視鏡装置やファイバースコープカメラ等に適している。
【符号の説明】
【０１３８】
１０・・・撮像装置、１１ａ・・・挿入部、１１ｂ・・・挿入部、１２・・・操作部、１３・・・筐体、２１・・・撮像光学系、２２・・・撮像部、３０・・・照明制御部、３１・・・画像分割部、３２・・・距離測定部、３３・・・距離推定部、３４・・・３次元構造推定部、３５・・・パターン生成部、３８・・・補正照明算出部、３９・・・出力制御部、４０・・・照明部、４１・・・光源、４２・・・空間光変調部、４３・・・自発光素子部、４５・・・ライトガイド、４６・・・照明光学系、５０・・・システム制御部、７１・・・ミラー、７２・・・ビームスプリッタ、８１・・・無線通信部、８２・・・電源部、９１・・・表示装置、９２・・・画像記録装置、３８１・・・色分離部、３８２Ｂ・・・青光補正照明算出部、３８２Ｇ・・・緑光補正照明算出部、３８２Ｒ・・・赤光補正照明算出部、３８３・・・計算結果統合部
【図１】
0006460133.tif 000002
【図２】
0006460133.tif 000003
【図３】
0006460133.tif 000004
【図４】
0006460133.tif 000005
【図５】
0006460133.tif 000006
【図６】
0006460133.tif 000007
【図７】
0006460133.tif 000008
【図８】
0006460133.tif 000009
【図９】
0006460133.tif 000010
【図１０】
0006460133.tif 000011
【図１１】
0006460133.tif 000012
【図１２】
0006460133.tif 000013
【図１３】
0006460133.tif 000014
【図１４】
0006460133.tif 000015
【図１５】
0006460133.tif 000016
【図１６】
0006460133.tif 000017