(57)【要約】  本開示は、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像することができるようにする撮像装置および撮像方法、並びにプログラムに関する。白色光が照射された対象物のマルチスペクトル画像より、対象物の解析に最適な光の波長を、有効波長として特定し、有効波長の光を対象物に照射し、この状態の対象物をマルチスペクトル画像として撮像し、有効波長のスペクトル画像に基づいて、対象物を解析する。本開示は、内視鏡装置に適用することができる。
2019151029.tif 000002
【特許請求の範囲】
【請求項１】
白色光を対象物に照射する白色光源部と、
前記対象物のマルチスペクトル画像を撮像する撮像部と、
前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
前記有効波長の光を前記対象物に照射する可変波長光源部と
を含む撮像装置。
【請求項２】
前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
請求項１に記載の撮像装置。
【請求項３】
前記対象物識別部は、CNN（Convolutional Neural Network）により、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
請求項２に記載の撮像装置。
【請求項４】
前記撮像部は、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像を撮像する
請求項１に記載の撮像装置。
【請求項５】
前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物の特性を解析する特性解析部をさらに含む
請求項４に記載の撮像装置。
【請求項６】
前記特性解析部は、CNN（Convolutional Neural Network）により、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物を識別し、識別結果に応じて、前記対象物の特性を解析する
請求項５に記載の撮像装置。
【請求項７】
前記特性解析部の解析結果を強調する前記有効波長の光に対応するスペクトル画像と、それ以外のマルチスペクトル画像とを、RGBチャネルに割り当てて、擬似カラー画像を生成する表示画像生成部をさらに含む
請求項５に記載の撮像装置。
【請求項８】
前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を第３のチャネルに割り当てて、前記擬似カラー画像を生成する
請求項７に記載の撮像装置。
【請求項９】
前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
請求項８に記載の撮像装置。
【請求項１０】
前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
請求項７に記載の撮像装置。
【請求項１１】
前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を加算した上で、ゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
請求項１０に記載の撮像装置。
【請求項１２】
前記マルチスペクトル画像に基づいて、前記マルチスペクトル画像より多くのバンドのスペクトル画像からなるハイパースペクトル画像を生成するハイパースペクトル画像生成部をさらに含み、
前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像に基づいて生成された前記ハイパースペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する
請求項１に記載の撮像装置。
【請求項１３】
前記撮像部は、前記対象物の広波長帯域のマルチスペクトル画像として撮像する
請求項１に記載の撮像装置。
【請求項１４】
前記可変波長光源部は、複数の狭波長帯域の光の少なくともいずれか、または、それらの組み合わせからなる光を、前記有効波長の光として発光し、前記対象物に照射する
請求項１に記載の撮像装置。
【請求項１５】
白色光を対象物に照射する白色光源処理と、
前記対象物のマルチスペクトル画像を撮像する撮像処理と、
前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別処理と、
前記有効波長の光を前記対象物に照射する可変波長光照射処理と
を含む撮像方法。
【請求項１６】
白色光を対象物に照射する白色光源部と、
前記対象物のマルチスペクトル画像を撮像する撮像部と、
前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
前記有効波長の光を前記対象物に照射する可変波長光源部と
してコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置および撮像方法、並びにプログラムに関し、特に、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像できるようにした撮像装置および撮像方法、並びにプログラムに関する。
【背景技術】
【０００２】
内視鏡画像からエッジ成分を抽出し、そのエッジ成分の複雑度を検出し、その複雑度に応じて被写体を近接撮影したものであるか遠景撮影したものかを判定し、RGB（Red Green Blue）画像から分光画像を生成するためのマトリクスパラメータを切り替えることによって、近接撮影と遠景撮影とで異なる波長の分光画像を生成する方法が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１５４９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法では、生成する分光画像の波長の組み合わせは、事前に用意されたものであり、撮影対象の様々な状況に応じた柔軟な対応はなされていない。【０００５】
また、RGB画像から精度よく任意の波長の分光画像を生成することは難しく、適用できるシーンが限られる。【０００６】
本開示は、このような状況に鑑みてなされたものであり、特に、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像できるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の撮像装置は、白色光を対象物に照射する白色光源部と、前記対象物のマルチスペクトル画像を撮像する撮像部と、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、前記有効波長の光を前記対象物に照射する可変波長光源部とを含む撮像装置である。【０００８】
本開示の一側面の撮像方法は、白色光を対象物に照射する白色光源処理と、前記対象物のマルチスペクトル画像を撮像する撮像処理と、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別処理と、前記有効波長の光を前記対象物に照射する可変波長光照射処理とを含む撮像方法である。【０００９】
本開示の一側面のプログラムは、白色光を対象物に照射する白色光源部と、前記対象物のマルチスペクトル画像を撮像する撮像部と、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、前記有効波長の光を前記対象物に照射する可変波長光源部としてコンピュータを機能させるプログラムである。【００１０】
本開示の一側面においては、白色光が対象物に照射され、前記対象物のマルチスペクトル画像が撮像され、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長が、有効波長として特定され、前記有効波長の光が前記対象物に照射される。
【発明の効果】
【００１１】
本開示の一側面によれば、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本開示に係る撮像装置の第１の実施の形態の構成例を示す図である。
【図２】マルチスペクトルカメラの感度特性を説明する図である。
【図３】可変波長光源部により発光される光の狭帯域分光強度特性を説明する図である。
【図４】擬似カラー画像の生成方法を説明する図である。
【図５】擬似カラー画像の生成方法を説明する図である。
【図６】図１の撮像装置による撮像処理を説明するフローチャートである。
【図７】本開示に係る撮像装置の第２の実施の形態の構成例を示す図である。
【図８】マルチスペクトル画像におけるバンド数が少ない場合の例を説明する図である。
【図９】マルチスペクトル画像におけるバンド数が少ない場合の例を説明する図である。
【図１０】図７の撮像装置による撮像処理を説明するフローチャートである。
【図１１】汎用のコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下の順序で説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．ソフトウェアにより実行させる例
【００１５】
＜＜１．第１の実施の形態＞＞
図１は、本開示に係る撮像装置の第１の実施の形態の構成例を示している。
【００１６】
図１の撮像装置１１は、内視鏡装置を用いた、主に人体の内臓組織や患部病変をマルチスペクトル画像として撮像し、撮像したマルチスペクトル画像に基づいて、内臓組織や患部病変を解析し、解析結果を表示する。
【００１７】
尚、本実施の形態においては、図１の撮像装置１１が、人体の内臓組織や患部病変をマルチスペクトル画像として撮像し、撮像したマルチスペクトル画像に基づいて、内臓組織や患部病変を解析するものとして説明を進めるものとするが、同様の構成により、それ以外の用途に適用してもよい。例えば、図１の撮像装置１１が、野菜や果物をマルチスペクトル画像として撮像して、撮像したマルチスペクトル画像から糖度や塩分、または熟し具合などを解析するようにしてもよい。
【００１８】
より具体的には、撮像装置１１は、まず、マルチスペクトルにより用いて白色光下で撮像し、撮像した画像から、CNN（Convolutional Neural Network）などのニューラルネットワークを用いて構成される識別器を用いて、撮像された被写体となる臓器の部位や病変部等を識別する。
【００１９】
また、撮像装置１１は、識別する際に得られるパラメータをもとに、識別に最適な被写体に照射すべき光の波長を特定する。
【００２０】
そして、撮像装置１１は、特定した最適な波長の光を可変波長光源部で発光させて、被写体に照射することによって、白色光下より波長分解能が高い最適な波長のスペクトル画像（分光画像）を取得する。
【００２１】
これにより、撮像装置１１は、対象物である被写体を詳細に識別し、識別した被写体の特性を高精度に解析することが可能となる。また、撮像装置１１は、白色光下で撮像したスペクトル画像と、被写体の識別や解析に最適な波長からなる狭帯域光下で撮像したスペクトル画像とから擬似カラー画像を生成し、被写体である内臓組織や病変部の特性や解析結果を強調した画像を生成することで、内臓組織や病変部の特性を分かり易く表示することが可能となる。
【００２２】
以下、図１の撮像装置１１の詳細な構成について説明する。
【００２３】
撮像装置１１は、マルチスペクトルカメラ３１、入力画像制御部３２、スイッチ（S/W）３３、対象物識別部３４、表示画像生成部３５、表示部３６、特性解析部３７、光源制御部３８、スイッチ（S/W）３９、白色光源部４０、および可変波長光源部４１を備えている。
【００２４】
マルチスペクトルカメラ３１は、複数の広帯域のスペクトル画像からなるマルチスペクトル画像（複数のバンド（波長帯域）の分光画像）を撮像して入力画像制御部３２に出力する。
【００２５】
白色光源部４０により白色光が対象物である被写体に照射されて、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像が供給される場合、入力画像制御部３２は、スイッチ３３を制御して、対象物識別部３４と接続し、マルチスペクトル画像を対象物識別部３４に出力する。
【００２６】
また、後述する有効波長情報に基づいて、光源制御部３８より供給される有効波長の光が可変波長光源部４１により対象物である被写体に照射されて、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像が供給される場合、入力画像制御部３２は、スイッチ３３を制御して、マルチスペクトル画像のうち、有効波長情報に対応するスペクトル画像を特性解析部３７に出力する。
【００２７】
スイッチ３３は、入力画像制御部３２により制御され、対象物識別部３４に接続される場合、入力画像制御部３２より出力されるマルチスペクトル画像を出力し、特性解析部３７に接続される場合、有効波長情報に対応する波長帯のスペクトル画像を出力する。
【００２８】
対象物識別部３４は、白色光源部４０により白色光が被写体に照射された状態で撮像されたマルチスペクトル画像と、対象物との関係が事前に学習された識別器５１を用いて、マルチスペクトル画像に基づいて、被写体となる対象物を識別する。
【００２９】
また、対象物識別部３４は、識別する際に得られた識別器５１内部のパラメータに基づいて、識別に有効となる被写体に照射する光の波長の情報を、有効波長情報として表示画像生成部３５、および光源制御部３８に出力する。
【００３０】
特性解析部３７は、可変波長光源部４１により被写体の撮像に有効な波長の光が可変波長光源部４１により照射された状態で、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像のうちの、有効波長のスペクトル画像に基づいて、対象物である被写体を識別する。また、特性解析部３７は、識別結果に基づいて、対象物の特性を解析して解析結果を表示画像生成部３５に出力する。
【００３１】
尚、特性解析部３７は、例えば、CNNなどのニューラルネットワークで構成された識別器（対象物識別部３４における識別器５１に対応する）などから構成されるようにしてもよく、これにより、部位および病変部の進行具合を分類してもよい。このような識別器は、予め様々な部位および病変部の進行度合い別のスペクトル画像（分光画像）を用いて学習しておくことで実現できる。また、別の例として、狭帯域光のスペクトル画像（分光画像）内の血管や組織構造の形状などを解析し、病変部か否かを判定できるようにしてもよい。
【００３２】
ここで、本実施の形態となる内視鏡装置の場合、対象物は、人体の様々な部位の生体組織である。このため、本開示において最終的に必要とされる画像は、正常な組織か病変組織かを判定するために、粘膜表層の毛細血管や、わずかな粘膜の肥厚、深部血管などの観察が可能な画像となる。
【００３３】
例えば、消化器における腫瘍の場合、毛細血管の集まりやそのパターンを観察することが重要であり、これらを観察し易くするために、例えば、波長が415nmや、540nmなどの狭波長帯域光を照射することで撮像される狭帯域光スペクトル画像（Narrow Band Imaging（NBI））が必要とされる。
【００３４】
一般に、診断に有用な狭帯域光スペクトル画像の波長帯域は、診断対象となる部位及び病変部に応じて異なる。
【００３５】
そのため、例えば、狭波長帯域の青色光を照射し、正常組織と病変組織における自家蛍光の強さを色の違いを強調表示する蛍光観察や、赤外光を用いて粘膜の深いところにある血管や血流情報を強調表示する赤外光観察なども、診断対象となる部位及び病変部に応じて用いられる。
【００３６】
対象物識別部３４は、マルチスペクトル画像に基づいて、上述した対象物となる被写体の部位や病変組織を識別した上で、識別した対象の観察に必要とされるスペクトル画像の撮像に最適な光の波長の情報である有効波長情報を生成して光源制御部３８に出力する。
【００３７】
尚、対象物識別部３４が備える識別器５１については、例えば、CNN（Convolutional Neural Network）が用いられるが、CNNを用いた識別器５１の詳細については、”Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization”（https://arxiv.org/pdf/1610.02391.pdf）を参照されたい。
【００３８】
識別器５１は、CNNを用いることによって、どの波長帯域のスペクトル画像を注目しているのかを解析することが可能であり、対象物の識別に有効な波長を決定することができる。
【００３９】
より詳細には、CNNを用いた識別器５１は、複数の畳み込み層とプーリング層からなる特徴量抽出部６１と、その特徴量に基づいて、対象物の識別結果に対応するクラスに分類する識別部６２とから成る。識別部６２の最終層は、ソフトマックス関数を用いて、各クラスの特徴量を確率スコアに変換し、各クラスのタグとして付与する。対象物識別部３４は、この確率スコアが最大となるクラスの識別結果を出力する。
【００４０】
また、出力する有効波長の数は、マルチスペクトルカメラ３１のバンド数以下の任意の数であり、CNNを用いた手法により得られる各スペクトル画像の注目度の大きさの順に決定される。
【００４１】
光源制御部３８は、スイッチ３９を制御して、白色光源部４０、または可変波長光源部４１を切り替えて、それぞれから白色光、または有効波長情報に基づいた波長の光を発光させて、被写体となる対象物を照射させる。
【００４２】
より詳細には、光源制御部３８は、最初の処理において、白色光源部４０を制御して白色光を発光させる。また、光源制御部３８は、その次の処理において、決定された有効波長の情報に基づいて、対応する波長の光を、可変波長光源部４１を制御して発光させる。
【００４３】
このような動作により、マルチスペクトルカメラ３１は、最初の処理で、白色光源部４０により白色光が被写体となる対象物に照射された状態のマルチスペクトル画像を撮像する。このマルチスペクトル画像から対象物が識別されて、識別結果となる対象物の測定に最適な有効波長が特定され、有効波長情報として出力される。
【００４４】
そして、次の処理で、マルチスペクトルカメラ３１は、可変波長光源部４１により有効波長情報に対応する狭帯域波長の光が被写体となる対象物に照射された状態のマルチスペクトル画像を撮像する。このとき撮像されるマルチスペクトル画像のうち、有効波長情報に対応するスペクトル画像が用いられて、特性解析部３７により被写体となる対象物が解析される。
【００４５】
表示画像生成部３５は、白色光が発光された状態で撮像されたマルチスペクトル画像と、被写体となる対象物の特性の解析結果とを重畳して画像を生成し、有機EL（Electro Luminescence）やLCD（Liquid Crystal Display）などからなる表示部３６に出力して表示させる。
【００４６】
より詳細には、表示画像生成部３５は、白色光が照射された状態において撮像されたマルチスペクトル画像と、有効波長情報に対応する有効波長の光が照射された状態における、対応する波長のスペクトル画像とを用いて、疑似カラー画像を生成して表示部３６に表示する。尚、擬似カラー画像の生成については、図４，図５を参照して詳細を後述する。
【００４７】
＜マルチスペクトルカメラの感度特性と可変波長光源部により発光される狭帯域分布＞
次に、図２，図３を参照して、マルチスペクトルカメラ３１の感度特性と可変波長光源部４１により発光される狭帯域分布の関係について説明する。
【００４８】
マルチスペクトルカメラ３１は、例えば、図２で示されるような、波長λ１をピークとしたバンドＣｗ１のスペクトル画像と、波長λ２をピークとしたバンドＣｗ２のスペクトル画像と、波長λ３をピークとしたバンドＣｗ３のスペクトル画像と、・・・波長λｎをピークとしたバンドＣｗｎのスペクトル画像とからなるマルチスペクトル画像を撮像する。
【００４９】
尚、ここでは、ｎ種類のバンドの広帯域のスペクトル画像からなるマルチスペクトル画像が撮像される例が示されている。図２で示されるように、各スペクトル画像のバンドは、広帯域であり、その境界の一部の波長が重なっている。
【００５０】
すなわち、図２で示されるように、初期動作において、白色光源部４０からは広波長帯域の白色光が被写体である対象物に照射されており、マルチスペクトルカメラ３１により白色光下でのスペクトル画像が得られる。これにより、対象物の全ての波長帯域での分光反射率情報を取得することが可能となり、対象物がどの部位および病変部かを識別する上で望ましいマルチスペクトル画像を取得することができる。
【００５１】
一方、可変波長光源部４１は、被写体である対象物の識別に最適な狭帯域のバンドからなる光として、例えば、図３で示されるように、波長λ１をピークとしたバンドＣｎ１の光と、波長λ５をピークとしたバンドＣｎ５とからなる分光分布の光を発光する。
【００５２】
すなわち、可変波長光源部４１は、マルチスペクトルカメラ３１における各バンドの帯域と比較して、狭帯域からなるバンドＣｎ１乃至Ｃｎｎのうちのいずれか、対象物となる被写体の撮像に最適な波長帯の分光分布を備えた光を発光する。
【００５３】
尚、図３における波長λ１、λ５をピークとしたバンドＣｎ１，Ｃｎ５の組み合わせからなる分光分布の光を発光させる例であり、これ以外の、もしくは、これ以上のバンドの組み合わせ、または、いずれかのバンドのみの分光分布の光を発光させるようにしてもよい。
【００５４】
＜疑似カラー画像の生成について＞
次に、図４，図５を参照して、表示画像生成部３５における疑似カラー画像の生成について説明する。
【００５５】
表示画像生成部３５は、白色光下および狭帯域光下で撮像された各波長帯域からなるバンドのスペクトル画像（分光画像）から疑似カラー画像を生成し、特性解析部３７の解析結果を重畳して表示画像を生成し表示部３６に表示させる。
【００５６】
例えば、対象物識別部３４で得られた有効波長がλ１，λ５であり、可変波長光源部４１により波長λ１，λ５をピークとしたバンドＣｎ１，Ｃｎ５の組み合わせからなる分光特性を備えた光を発光させる場合を考える。ここでは、波長λ１乃至λ５のそれぞれをピークとする５種類のバンドＣｎ１乃至Ｃｎ５のスペクトル画像によりマルチスペクトル画像が形成されるものとする。
【００５７】
この場合、表示画像生成部３５は、例えば、図４で示されるように、有効波長λ１，λ５をピークとしたバンドＣｎ１，Ｃｎ５のスペクトル画像Ｐ１，Ｐ５については、ゲインを調整した後、それぞれBチャネル、およびRチャネルに独立に割り当る。
【００５８】
そして、表示画像生成部３５は、波長λ１とλ５の中間波長である波長λ２乃至λ４のそれぞれをピークとしたバンドＣｗ２乃至Ｃｗ４のスペクトル画像Ｐ２乃至Ｐ４を、加算してゲインを調整した後、Gチャネルに割り当てる。
【００５９】
このようにして、表示画像生成部３５は、RGBの各チャネルに割り当てた画像を合成することにより、図４で示されるような、疑似カラー画像Ｐ２１を生成する。
【００６０】
このとき、波長λ１，λ５をピークとしたバンドＣｗ１，Ｃｗ５のスペクトル画像Ｐ１，Ｐ５は、白色光下で撮像されたスペクトル画像でも良いし、狭帯域光下で撮影されたスペクトル画像でもよい。尚、スペクトル画像Ｐ１，Ｐ５、およびスペクトル画像Ｐ２乃至Ｐ４を加算した画像を、RGBチャネルのいずれに割り当てるかについては、上述以外であってもよい。
【００６１】
また、有効波長が、例えば、波長λ１のみであるの場合、表示画像生成部３５は、図５で示されるように有効波長である波長λ１をピークとしたバンドＣｗ１のスペクトル画像Ｐ１をB、G、Rのうちの、いずれかの１チャネルに割り当る。図５では、波長λ１をピークとしたバンドＣｗ１のスペクトル画像Ｐ１は、Bチャネルに割り当てられている。
【００６２】
そして、表示画像生成部３５は、波長λ２乃至λｍをピークとしたバンドＢ２乃至Ｂｍのスペクトル画像Ｐ２乃至Ｐｍを加算してゲインを調整した後、残りの２チャネルの一方のチャネル（図５では、Gチャネル）に、割り当て、波長λｍ＋１乃至λｎをピークとしたバンドＣｗｍ＋１乃至Ｃｗｎのスペクトル画像Ｐｍ＋１乃至Ｐｎを加算して、ゲインを調整した後、残りの２チャネルの他方のチャネル（図５では、Rチャネル）に、割り当てる。
【００６３】
表示画像生成部３５は、このようにしてRGBの各チャネルに割り当てた画像を合成することにより、図５で示されるような、疑似カラー画像Ｐ３１を生成する。
【００６４】
＜図１の撮像装置による撮像処理＞
次に、図６のフローチャートを参照して、図１の撮像装置１１による撮像処理について説明する。
【００６５】
ステップＳ１１において、光源制御部３８は、スイッチ３９を制御して、白色光源部４０に接続すると共に、白色光源部４０を制御して、マルチスペクトルカメラ３１の撮像範囲内の被写体である対象物に対して白色光を照射させる。このとき、光源制御部３８は、白色光源部４０を制御して白色光を発光させていることを示す情報を入力画像制御部３２に出力する。
【００６６】
ステップＳ１２において、マルチスペクトルカメラ３１は、白色光源部４０により白色光が照射された状態で、被写体である対象物をマルチスペクトル画像として撮像し、入力画像制御部３２に出力する。
【００６７】
ステップＳ１３において、入力画像制御部３２は、スイッチ３３を制御して、対象物識別部３４に接続し、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像の全スペクトル画像を対象物識別部３４に出力する。
【００６８】
ステップＳ１４において、対象物識別部３４は、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像、すなわち、全てのスペクトル画像に基づいて、CNNなどよりなる識別器５１を用いて、対象物を識別する。
【００６９】
ステップＳ１５において、対象物識別部３４は、対象物を識別する際の、識別部５１のパラメータに基づいて、対象物の解析に有効な光の波長を有効波長として特定する。
【００７０】
ステップＳ１６において、対象物識別部３４は、特定した有効波長の情報を有効波長情報として表示画像生成部３５、および光源制御部３８に出力する。このとき、対象物識別部３４は、有効波長情報と併せて、マルチスペクトル画像を表示画像生成部３５に出力する。
【００７１】
ステップＳ１７において、光源制御部３８は、スイッチ３９を制御して、可変波長光源部４１に接続し、有効波長情報に基づいた波長の光を発光させ、被写体である対象物に照射させる。このとき、光源制御部３８は、有効波長情報を入力画像制御部３２に出力する。
【００７２】
ステップＳ１８において、マルチスペクトルカメラ３１は、可変波長光源部４１により有効波長情報に基づいた波長の光が照射された状態で、被写体である対象物をマルチスペクトル画像として撮像し、撮像したマルチスペクトル画像を入力画像制御部３２に出力する。このとき、白色光源部４０においては、白色光が発光されない状態とされる。
【００７３】
ステップＳ１９において、入力画像制御部３２は、スイッチ３３を特性解析部３７に接続すると共に、マルチスペクトルカメラ３１より供給されるマルチスペクトル画像のうち、有効波長情報に対応するスペクトル画像を特性解析部３７に出力する。
【００７４】
ステップＳ２０において、特性解析部３７は、入力画像制御部３２により供給されてきた、有効波長情報に対応する帯域のスペクトル画像に基づいて、被写体である対象物を識別し、解析する。
【００７５】
ステップＳ２１において、特性解析部３７は、被写体である対象物の識別結果に基づいた解析結果を表示画像生成部３５に出力する。このとき、特性解析部３７は、解析結果と併せて、有効波長情報に対応する帯域のスペクトル画像を表示画像生成部３５に出力する。
【００７６】
ステップＳ２２において、表示画像生成部３５は、特性解析部３７からの解析結果および有効波長情報に対応するスペクトル画像と、対象物識別部３４からの有効波長情報およびマルチスペクトル画像とに基づいて、擬似カラー画像を生成すると共に、解析結果を重畳して、表示部３６に表示させる。擬似カラー画像の生成方法は、例えば、図４または図５を参照して説明した方法により生成される。
【００７７】
以上の一連の処理により、白色光が被写体である対象物に照射された状態におけるマルチスペクトル画像が撮像されて、対象物が認識され、認識された対象物を観察して、解析するのに最適な光の波長が特定されて、有効波長情報として出力される。そして、有効波長情報に対応する波長の光が対象物に照射された状態において、再びマルチスペクトル画像が撮像されて、有効波長情報に対応するスペクトル画像が抽出されて、解析され、解析結果と、有効波長情報とに基づいて、擬似カラー画像が生成されて、解析結果が重畳されて表示される。
【００７８】
結果として、被写体となる対象物を撮像するだけで、対象物の解析に対応した適切な波長の光を照射した状態でのマルチスペクトル画像の撮像を実現することが可能となり、さらに、適切な光が照射された状態において撮像されたマルチスペクトル画像のうち、被写体である対象物の解析に有効なスペクトル画像を用いて解析することができるので、対象物の適切な解析を実現することが可能となる。
【００７９】
すなわち、マルチスペクトル画像を撮像するにあたって、予め部位や病変毎の有効波長をユーザが設定する必要がなく、有効波長となる狭波長帯域光が対象物に照射されるので、対象物の識別に有効な波長における波長分解能が高いスペクトル画像を撮像することが可能となる。
【００８０】
また、白色光を用いて撮像されたマルチスペクトル画像から求められる対象物に対して有効な光の波長のスペクトル画像に基づいて、疑似カラー画像を生成することで、対象物の特徴が強調されたカラー画像をユーザに提示することが可能となり、対象物の特徴を解り易く表示することが可能となる。
【００８１】
＜＜２．第２の実施の形態＞＞
以上においては、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像に基づいて、対象物である被写体を識別して、適切な光の波長を有効波長として特定する例について説明してきたが、マルチスペクトル画像に基づいて、チャネル数を増やしたハイパーマルチスペクトル画像を生成し、ハイパーマルチスペクトル画像から対象物を特定して、最適な光の波長帯域をより高精度に求めるようにしてもよい。
【００８２】
図７は、マルチスペクトル画像に基づいて、チャネル数を増やしたハイパーマルチスペクトル画像を生成し、ハイパーマルチスペクトル画像から対象物を特定して、最適な光の波長帯域を、より高精度に求めるようにした撮像装置１１の構成例を示している。尚、図７の撮像装置１１において、図１の撮像装置１１における構成と同一の機能を備えた構成については、同一の符号を付しており、適宜その説明は省略する。
【００８３】
図７の撮像装置１１において、図１の撮像装置１１と異なる点は、スイッチ３３および対象物識別部３４との間にハイパースペクトル画像生成部７１を設けた点である。
【００８４】
すなわち、マルチスペクトルカメラ３１の波長バンド数（チャネル数）が少ない場合であって、例えば、図８で示されるように、マルチスペクトル画像が、波長λ１１をピークとしたバンドＣｎ１０１、波長λ１２をピークとしたバンドＣｎ１０２、および波長λ１３をピークとしたバンドＣｎ１０３から構成されることを考える。このとき、本来の最適なバンドＣｎ１１１に対しては、いずれのバンドも同一ではなく、最も近いバンドＳ１０２についても有効波長とは言い難い状態となる。
【００８５】
また、やはりマルチスペクトルカメラ３１の波長バンド数（チャネル数）が少ない場合であって、例えば、図９で示されるように、マルチスペクトル画像が、波長λ２１をピークとしたバンドＣｗ２０１、波長λ２２をピークとしたバンドＣｗ２０２、および波長λ２３をピークとしたバンドＣｗ２０３から構成されるとき、図８の場合に比べて各バンドは広帯域ではあるが、本来の最適なバンドＣｎ２１１に対しては、いずれのバンドも同一ではなく、最も近いバンドＣｗ２０２についても有効波長とは、やはり言い難い状態となる。
【００８６】
そこで、ハイパースペクトル画像生成部７１は、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像に基づいて、よりバンド数が多い（チャネル数が多い）ハイパースペクトル画像を生成する。
【００８７】
より詳細には、ハイパースペクトル画像生成部７１は、例えば、特開２００３−９３３３６号公報に開示されている技術（RGB画像から任意の波長の分光画像を生成する方法、および４チャネル以上に拡張した場合の方法など）を用いることにより、マルチスペクトル画像より、さらに多くのバンド（さらに多くのチャネル）からなるハイパースペクトル画像を生成する。この場合、マルチスペクトルカメラ３１に代えて、通常のRGBカメラを用いるようにして、ハイパースペクトル画像生成部７１によりRGB画像からハイパーマルチスペクトル画像を生成するようにしてもよい。
【００８８】
結果として、マルチスペクトルカメラ３１により生成されるマルチスペクトル画像が少ないバンド数（少ないチャネル数）であっても、精度の高い有効波長情報を得ることが可能となる。また、その有効波長の狭帯域光の下で撮影したスペクトル画像は、マルチスペクトルカメラ３１の感度特性よりも狭帯域な波長分解能性能を有したスペクトル画像として取得することができる。
【００８９】
＜図７の撮像装置による撮像処理＞
次に、図１０のフローチャートを参照して、図７の撮像装置１１による撮像処理について説明する。尚、図１０のフローチャートにおけるステップＳ３１，Ｓ３２，Ｓ３７乃至Ｓ４３の処理については、図６のフローチャートにおけるステップＳ１１，Ｓ１２，Ｓ１６乃至Ｓ２２の処理と同様であるので、その説明は省略する。
【００９０】
すなわち、ステップＳ３１，Ｓ３２の処理により、白色光が照射されて、マルチスペクトル画像が撮像されると、ステップＳ３３において、入力画像制御部３２は、スイッチ３３を制御して、ハイパースペクトル画像生成部７１に接続し、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像の全スペクトル画像をハイパースペクトル画像生成部７１に出力する。
【００９１】
ステップＳ３４において、ハイパースペクトル画像生成部７１は、マルチスペクトル画像より、ハイパースペクトル画像を生成し、対象物識別部３４に出力する。
【００９２】
ステップＳ３５において、対象物識別部３４は、ハイパースペクトル画像生成部７１により生成されたハイパーマルチスペクトル画像に基づいて、CNNなどよりなる識別器５１を用いて、対象物を識別する。
【００９３】
ステップＳ３６において、対象物識別部３４は、対象物の識別結果とハイパースペクトル画像とに基づいて、対象物の解析に有効な光の波長を有効波長として特定する。
【００９４】
ステップＳ３７以降の処理により、有効波長の情報が有効波長情報として出力されて、対象物に対して適切な波長の光が照射されたスペクトル画像が撮像され、適切な波長の光が照射された状態で撮像されたスペクトル画像により対象物が解析され、擬似カラー画像を表示することが可能となる。
【００９５】
結果として、ハイパースペクトル画像を用いて対象物を識別し、識別結果に基づいて適切な波長の光を決定することができるので、より高精度に適切な有効波長を特定することができ、高精度に特定された有効波長の光が照射されたスペクトル画像に基づいて、より適切な対象物の解析を実現することが可能となる。
【００９６】
＜＜３．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
【００９７】
図１１は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【００９８】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【００９９】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１００】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１０１】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１０２】
コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１０３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１０４】
尚、図１１におけるCPU１００１が、図１，図７における入力画像制御部３２、対象物識別部３４、特性解析部３７、表示画像生成部３５、光源制御部３８、およびハイパースペクトル画像生成部７１の機能を実現させる。
【０１０５】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１０６】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０７】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１０８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１０９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１０】
尚、本開示は、以下のような構成も取ることができる。
＜１＞  白色光を対象物に照射する白色光源部と、
前記対象物のマルチスペクトル画像を撮像する撮像部と、
前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
前記有効波長の光を前記対象物に照射する可変波長光源部と
を含む撮像装置。
＜２＞  前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
＜１＞に記載の撮像装置。
＜３＞  前記対象物識別部は、CNN（Convolutional Neural Network）により、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
＜２＞に記載の撮像装置。
＜４＞  前記撮像部は、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像を撮像する
＜１＞に記載の撮像装置。
＜５＞  前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物の特性を解析する特性解析部をさらに含む
＜４＞に記載の撮像装置。
＜６＞  前記特性解析部は、CNN（Convolutional Neural Network）により、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物を識別し、識別結果に応じて、前記対象物の特性を解析する
＜５＞に記載の撮像装置。
＜７＞  前記特性解析部の解析結果を強調する前記有効波長の光に対応するスペクトル画像と、それ以外のマルチスペクトル画像とを、RGBチャネルに割り当てて、擬似カラー画像を生成する表示画像生成部をさらに含む
＜５＞に記載の撮像装置。
＜８＞  前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を第３のチャネルに割り当てて、前記擬似カラー画像を生成する
＜７＞に記載の撮像装置。
＜９＞  前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
＜８＞に記載の撮像装置。
＜１０＞  前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
＜７＞に記載の撮像装置。
＜１１＞  前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を加算した上で、ゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
＜１０＞に記載の撮像装置。
＜１２＞  前記マルチスペクトル画像に基づいて、前記マルチスペクトル画像より多くのバンドのスペクトル画像からなるハイパースペクトル画像を生成するハイパースペクトル画像生成部をさらに含み、
前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像に基づいて生成された前記ハイパースペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する
＜１＞乃至＜１１＞のいずれかに記載の撮像装置。
＜１３＞  前記撮像部は、前記対象物の広波長帯域のマルチスペクトル画像として撮像する
＜１＞乃至＜１２＞のいずれかに記載の撮像装置。
＜１４＞  前記可変波長光源部は、複数の狭波長帯域の光の少なくともいずれか、または、それらの組み合わせからなる光を、前記有効波長の光として発光し、前記対象物に照射する
＜１＞乃至＜１３＞のいずれかに記載の撮像装置。
＜１５＞  白色光を対象物に照射する白色光源処理と、
前記対象物のマルチスペクトル画像を撮像する撮像処理と、
前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別処理と、
前記有効波長の光を前記対象物に照射する可変波長光照射処理と
を含む撮像方法。
＜１６＞  白色光を対象物に照射する白色光源部と、
前記対象物のマルチスペクトル画像を撮像する撮像部と、
前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
前記有効波長の光を前記対象物に照射する可変波長光源部と
してコンピュータを機能させるプログラム。
【符号の説明】
【０１１１】
１１  撮像装置，  ３１  マルチスペクトルカメラ，  ３２  入力画像制御部，  ３３  スイッチ，  ３４  対象物識別部，  ３５  表示画像生成部，  ３６  表示部，  ３７  特性解析部，  ３８  光源制御部，  ３９  スイッチ，  ４０  白色光源部，  ４１  可変波長光源部，  ５１  識別器，  ６１  特徴量抽出部，  ６２  識別部，  ７１  ハイパースペクトル画像生成部
【図１】
2019151029.tif 000003
【図２】
2019151029.tif 000004
【図３】
2019151029.tif 000005
【図４】
2019151029.tif 000006
【図５】
2019151029.tif 000007
【図６】
2019151029.tif 000008
【図７】
2019151029.tif 000009
【図８】
2019151029.tif 000010
【図９】
2019151029.tif 000011
【図１０】
2019151029.tif 000012
【図１１】
2019151029.tif 000013
【国際調査報告】
2019151029.tif 000014
2019151029.tif 000015
2019151029.tif 000016
2019151029.tif 000017