(57)【要約】【課題】アクティブ照明方式において波長帯域が異なる複数の光源を合成し、必要となる波長の光源間における色差を小さくすることで、フリッカの発生を低減することができる撮像装置を提供する。【解決手段】異なる波長で発光する複数の光源１７と、光源１７のうち、撮像対象物２７の特性に基づいて特定された特定波長で発光する光源１７を選択光源として複数選択する光源選択部２２と、選択された複数の選択光源のうち、一の選択光源に合成されることで当該一の選択光源と他の選択光源との色差が低減する波長を有する光源１７を選択光源以外の非選択光源から抽出する光源抽出部２４と、選択された選択光源と抽出された非選択光源とを合成した光源で、選択光源ごとに順次光源を切り替えて撮像対象物２７を照射する光源１７と、照射された光源で撮像対象物２７を撮像する撮像素子１１とを備える。【選択図】図２
2017203682.tif 000002
【特許請求の範囲】
【請求項１】
異なる波長で発光する複数の光源と、
前記光源のうち、撮像対象物の特性に基づいて特定された特定波長で発光する前記光源を選択光源として複数選択する選択手段と、
選択された複数の前記選択光源のうち、一の前記選択光源に合成されることで当該一の選択光源と他の選択光源との色差が低減する波長を有する前記光源を前記選択光源以外の非選択光源から抽出する抽出手段と、
選択された前記選択光源と抽出された前記非選択光源とを合成した光源で、前記選択光源ごとに順次光源を切り替えて撮像対象物を撮像する撮像手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮像手段で撮像された画像から、前記抽出手段で抽出された非選択光源で撮像された画像を取り除く画像除去手段と、
前記画像除去手段による除去処理後に残った画像を表示する表示制御手段とを備えることを特徴とする撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置において、
前記抽出手段が、前記一の選択光源に対する他の選択光源の近傍における波長帯域を有する非選択光源を、前記一の選択光源に合成する非選択光源として抽出することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記抽出手段が、撮像環境における外光に応じて前記他の選択光源の近傍以外の波長帯域を有する非選択光源を抽出することを特徴とする撮像装置。
【請求項５】
請求項１ないし４のいずれかに記載の撮像装置において、
前記抽出手段が、前記非選択光源の波長帯域及び光強度に基づいて、前記光源を抽出することを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記抽出手段が、感光特性を考慮した前記光強度に基づいて、前記光源を抽出することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の異なる波長帯域を有する光源を切り替えて撮像する撮像装置に関する。
【背景技術】
【０００２】
人間は光源から直接又は物体に反射して眼に届いた光を三種類の錐体細胞によって知覚する。光の三原色と呼ばれるものが存在するのもこのためである。一般的なカメラも同様で、ＲＧＢの三つの成分の組み合わせで色を表現する。言い換えれば、人間や一般的なカメラは光をＲＧＢの三つの成分として計測している。しかしながら、実際の自然界の光はこのようなＲＧＢの合成ではなく、連続したスペクトルとして存在する。ＲＧＢの３チャンネルしか計測できない一般的なカメラに対し、十数から数十のスペクトル成分を計測できるカメラはハイパースペクトルカメラと呼ばれ、それを用いた画像計測はハイパースペクトルイメージングと呼ばれる。
【０００３】
ハイパースペクトルイメージングは一般的なＲＧＢカメラよりも多いスペクトル情報を利用することによって、人間には識別できないような特徴を抽出したり、可視化することができる。このような利点から、ハイパースペクトルイメージングはリモートセンシングや食品、農業、宇宙など様々な分野で応用されてきた。また、ハイパースペクトルイメージングは医療分野でも利用されている。医療分野において体組織の正常部と異常部の識別は非常に重要であり、例えば手術の際に異常な部分を識別し、その部分にのみ施術をすることで患者の負担を最小限に抑えることができる。さらに、ハイパースペクトルイメージングで得られる多くの情報を利用すれば、より細かな識別も可能であり、手術の成功率を高められる。
【０００４】
ハイパースペクトルカメラに求められる要素として、空間解像度、分光解像度及び撮影速度の３つが挙げられる。空間解像度が高いほど鮮明な画像が取得できるため、対象に関するより詳細な情報を取得できる。また分光解像度が高いほどより多くのスペクトル情報を利用できるため物体の識別精度を高められる。撮影速度が速ければリアルタイムに分光情報を利用することができ、応用先が広がる。したがって、高空間解像度且つ高分光解像度の分光画像を高速に取得することが最も望ましいが、一般的にこれらの要素は、トレードオフの関係にある。高解像度や撮影速度の向上は、ハイパースペクトルイメージングにおいて非常に重要な要素であり、特に空間解像度が高い分光画像の取得に関する技術の向上が強く望まれている。
【０００５】
ハイパースペクトルイメージングには、様々な撮影方式がこれまで提案されている。ライン分光方式（例えば、非特許文献１を参照）は、スリットを通過してライン状となった光をプリズムやグレーティングといった光学素子で分光することで、ハイパースペクトルイメージを得る技術である。この方式を用いた場合、水平方向に限っては空間情報と分光情報を同時に取得することができ分光解像度も高いが、対象の２次元画像を得ようとした場合には対象全体をスキャンする必要があり、時間がかかるうえに空間解像度も悪くなる。また、使用する光学素子が高価になってしまうという問題もある。
【０００６】
このライン分光方式は、上述したように、分光解像度は高いが対象を２次元画像として観測する場合には空間解像度が低く、長い撮影時間を要する。単純に対象の反射光を光学素子で分光してイメージセンサで取得する場合、センサ上では分光された光が干渉してしまう。ライン分光方式ではスリットを通すことでこの干渉を防いでおり、空間情報を一度に１次元しか取得できないのはこのためである。ライン分光方式を用いて２次元分光画像を高速に取得する技術として非特許文献２、３に示す技術が開示されている。非特許文献２に示す技術は、ホールアレイマスクを利用して光学素子を用いて２次元分光画像を高速に取得するものであり、非特許文献３に示す技術は、ハイパースペクトルカメラに空間解像度が高いカメラを組み合わせて、高空間解像度且つ高分光解像度の２次元分光画像を取得するものである。
【０００７】
しかしながら、非特許文献２に示す技術は、空間解像度が低いという問題がある。また、非特許文献３に示す技術は、カメラ２台に加えてビームスプリッタやホールアレイマスクなどが必要となり、装置が大型化してしまうと共に分光素子やカメラなどの位置や角度の設定も複雑になってしまうという問題がある。
【０００８】
一方、フィルタ方式（例えば、非特許文献４、５を参照）では、ＣＣＤカメラなどの前に、特定の波長域の光のみを通すフィルタを設置して撮影することで分光画像を得る。解像度が高いＣＣＤカメラを使用することで空間解像度の高い分光画像を得られるが、一般にはフィルタの特性により分光解像度は高くない。この方式は、フィルタを切り替えながら撮影を繰り返すことでハイパースペクトルイメージを取得でき、そのフィルタにはフィルタホイールや液晶チューナブルフィルタが用いられる。フィルタホイールの場合は物理的にフィルタを回転させるため、切り替え速度に問題があり、装置も大型化してしまうという問題がある。液晶チューナブルフィルタの場合は透過させる波長域を電気的に制御するため、フィルタホイールより切り替え速度が速いが、生産コストが高いという問題がある。
【０００９】
また、フィルタ方式により空間解像度が高い分光画像を取得する技術として、非特許文献６に示す技術が開示されている。非特許文献６に示す技術は、空間解像度が高いＲＧＢ画像と分光画像の行列因子分解を利用して、空間解像度が高い分光画像を取得するものである。しかしながら、この装置には機械的な可動部が必要であり、電気的な制御のみの場合と比べて撮像に時間を要する。また、行列計算にも時間が掛かってしまうという問題がある。
【００１０】
そして、安価な方式としては異なるスペクトルを持つ照明を切り替えながら撮影してハイパースペクトルイメージを得る本願で利用するアクティブ照明方式（例えば、非特許文献７を参照）がある。照明の切り替えは液晶チューナブルフィルタと同様に電気的に制御するため、対象の２次元分光画像を高速に取得できる。しかしながら、ライン分光方式やフィルタ方式と異なり他の照明や太陽光といった環境光の影響を受けてしまうため、屋外では利用できない。また、色の異なる複数の照明を切り替えるため、撮影速度によっては色フリッカが発生してしまう。一般にスペクトル情報を得るためにはスペクトルの異なる照明を切り替える必要があり、それが色の変化となってフリッカが発生する。
【００１１】
また、アクティブ照明方式に関する技術として、例えば、非特許文献８に示す技術が開示されている。非特許文献８に示す技術は、ＬＥＤを用いて安価で実用的なハイパースペクトルイメージング装置で高速な２次元分光画像の取得を実現する技術である。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Ye, X. and Sakai, K.: Application of Hyperspectral Imaging in Agriculture, The Institute of Image Information and Television Engineers, Vol. 69, No. 5, ITE, pp. 464-469 (2015).
【非特許文献２】Du, H., Tong, X., Cao, X. and Lin, S.: A prism-based system for multispectral video acquisition, IEEE 12th International Conference on Computer Vision, IEEE, pp. 175-182 (2009).
【非特許文献３】Cao, X., Tong, X., Dai, Q. and Lin, S.: High resolution multispectral video capture with a hybrid camera system, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, pp. 297-304 (2011).
【非特許文献４】Brauers, J., Schulte, N. and Aach, T.: Multispectral filterwheel cameras: Geometric distortion model and compensation algorithms, IEEE Transactions on Image Processing, Vol. 17, No. 12, pp. 2368-2380 (2008).
【非特許文献５】Slawson, R. W., Ninkov, Z. and Horch, E. P.: Hyperspectral Imaging: Wide-Area Spectrophotometry Using a Liquid-Crystal Tunable Filter, Publications of the Astronomical Society of the Pacific, Vol. 111, No. 759, pp. 621-626 (1999).
【非特許文献６】Kawakami, R., Wright, J., Tai, Y.-W., Matsushita, Y., Ben-Ezra, M. and Ikeuchi, K.: High-resolution hyperspectral imaging via matrix factorization, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, pp. 2329-2366  (2011).
【非特許文献７】Park, J.-I., Lee, M.-H., Grossberg, M. and Nayar, S. K.: Multispectral imaging using multiplexed illumination, IEEE 11th International Conference on Computer Vision (ICCV), IEEE, pp. 1-8 (2007).
【非特許文献８】Goel, M., Whitmire, E., Mariakakis, A., T Saponas, S., Joshi, N., Morris, D., Guenter, B., Gavriliu, M., Borriello, G. and Patel, S.: HyperCam: hyperspectral imaging for ubiquitous computing applications, The 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing, ACM(2015)
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述したように、医療分野においてハイパースペクトルイメージングは主に体組織の正常部と異常部との識別に利用される。対象の２次元分光画像の取得が中心となり、手術で利用する場合には高速に分光画像を取得することが重要となる。しかしながら、上述したように、アクティブ照明方式の技術であれば２次元分光画像を高速で且つ安価に取得することが可能になるものの、フリッカの発生が手術の妨げとなってしまい、医療分野においては、使い勝手が悪くなってしまうという課題を有する。
【００１４】
また、非特許文献８に示す技術は、アクティブ照明方式を利用して高速な２次元分光画像の取得を実現するものであるが、切り替える照明の色が考慮されていない。すなわち、照明の色が異なる場合には、当該照明の切り替え時にフリッカが発生してしまうという課題を有する。
【００１５】
本発明は、アクティブ照明方式において波長帯域が異なる複数の光源を合成し、必要となる波長の光源間における色差を小さくすることで、フリッカの発生を低減することができる撮像装置を提供する。
【課題を解決するための手段】
【００１６】
本発明に係る撮像装置は、異なる波長で発光する複数の光源と、前記光源のうち、撮像対象物の特性に基づいて特定された特定波長で発光する前記光源を選択光源として複数選択する選択手段と、選択された複数の前記選択光源のうち、一の前記選択光源に合成されることで当該一の選択光源と他の選択光源との色差が低減する波長を有する前記光源を前記選択光源以外の非選択光源から抽出する抽出手段と、選択された前記選択光源と抽出された前記非選択光源とを合成した光源で、前記選択光源ごとに順次光源を切り替えて撮像対象物を撮像する撮像手段とを備えるものである。
【００１７】
このように、本発明に係る撮像装置においては、異なる波長で発光する複数の光源から撮像対象物の特性に基づいて特定された特定波長で発光する光源を複数選択し、合成された際に選択された光源間の色差が低減するように非選択光源を抽出し、選択された光源と抽出された光源とを合成した光源で、選択光源ごとに順次光源を切り替えて撮像するため、異なる照明間（一の選択光源と他の選択光源との間）の色差を抑えて、人間には同じ色に見えるような照明で切り替えを行うことでフリッカの発生を低減することができるという効果を奏する。すなわち、フリッカの発生が低減されることで、例えば手術の際に異常な部分を正確に識別し、その部分にのみ施術をすることで患者の負担を最小限に抑えることができるという効果を奏する。
【００１８】
本発明に係る撮像装置は、前記撮像手段で撮像された画像から、前記抽出手段で抽出された非選択光源で撮像された画像を取り除く画像除去手段と、前記画像除去手段による除去処理後に残った画像を表示する表示制御手段とを備えるものである。
【００１９】
このように、本発明に係る撮像装置においては、撮像された画像から、抽出された非選択光源で撮像された画像を取り除き、残った画像を表示するため、撮像対象物ごとに特定される特定波長で撮像されたハイパースペクトル画像を、リアルタイムに高精度に表示することができるという効果を奏する。
【００２０】
本発明に係る撮像装置は、前記抽出手段が、前記一の選択光源に対する他の選択光源の近傍における波長帯域を有する非選択光源を、前記一の選択光源に合成する非選択光源として抽出するものである。
【００２１】
このように、本発明に係る撮像装置においては、抽出手段が、一の選択光源に対する他の選択光源の近傍における波長帯域を有する非選択光源を、前記一の選択光源に合成する非選択光源として抽出するため、一の選択光源と他の選択光源との間の色差を抑えて、人間には同じ色に見えるような照明で切り替えを行うことでフリッカの発生を低減することができるという効果を奏する。
【００２２】
本発明に係る撮像装置は、前記抽出手段が、撮像環境における外光に応じて前記他の選択光源の近傍以外の波長帯域を有する非選択光源を抽出するものである。
【００２３】
このように、本発明に係る撮像装置においては、抽出手段が、撮像環境における外光に応じて前記他の選択光源の近傍以外の波長帯域を有する非選択光源を抽出するため、撮像環境に応じて人間が視認し易い画像を表示することが可能になるという効果を奏する。
【００２４】
本発明に係る撮像装置は、前記抽出手段が、前記非選択光源の波長帯域及び光強度に基づいて、前記光源を抽出するものである。
【００２５】
このように、本発明に係る撮像装置においては、抽出手段が、非選択光源の波長帯域及び光強度に基づいて光源を抽出するため、一の選択光源と他の選択光源との間の色差をより小さくすることができ、フリッカの発生を格段に低減させることが可能になるという効果を奏する。
【００２６】
本発明に係る撮像装置は、前記抽出手段が、感光特性を考慮した前記光強度に基づいて、前記光源を抽出するものである。
【００２７】
このように、本発明に係る撮像装置においては、抽出手段が、感光特性を考慮した光強度に基づいて光源を抽出するため、一の選択光源と他の選択光源との間の色差をより小さくして、人間には同じ色に見えるような照明で切り替えを行うことができ、フリッカの発生を格段に低減させることが可能になるという効果を奏する。
【図面の簡単な説明】
【００２８】
【図１】第１の実施形態に係る撮像装置のハードウェア構成図である。
【図２】第１の実施形態に係る撮像装置の機能ブロック図である。
【図３】ＬＥＤ照明のスペクトルと色差の第１のイメージ図である（最適化前）。
【図４】ＬＥＤ照明のスペクトルと色差の第１のイメージ図である（最適化後）。
【図５】ＬＥＤ照明のスペクトルと色差の第２のイメージ図である（最適化後）。
【図６】第１の実施形態に係る撮像装置の動作を示すフローチャートである。
【図７】実施例で用いた１５種類のＬＥＤのスペクトルを示す図である。
【図８】人体の静脈を撮像した画像を示す図である。
【図９】実施例で用いた作成した照明を示す図である。
【図１０】ＬＥＤ照明の切り替え時のフリッカの比較をした結果を示す図である。
【図１１】ヘモグロビンの吸光特性を示す図である。
【図１２】６５３ｎｍ分光画像と８３４ｎｍ分光画像を示す図である。
【図１３】通常のＲＧＢカメラで撮影した画像と分光反射率の差の画像を示す図である。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態を説明する。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
【００３０】
（本発明の第１の実施形態）
本実施形態に係る撮像装置について、図１ないし図６を用いて説明する。本実施形態に係る撮像装置は、ハイパースペクトルイメージングのアクティブ照明方式における照明の切り替え時に発生するフリッカを低減するために、スペクトルが異なっていても人間の目には同じ色に見えるような照明を合成する。本実施形態においては、異なる照明間の色差を抑えるために条件等色（参考文献：Miyazaki, D., Saneshige, T., Baba, M., Furukawa, R., Aoyama, M. and Hiura, S.: Metamerism-based shading illusion, 14th IAPR International Conference on Machine Vision Applications (MVA), IEEE, pp. 255-258 (2015).）を利用する。
【００３１】
まず、本実施形態に係る撮像装置の構成及び機能について説明する。図１は、本実施形態に係る撮像装置のハードウェア構成図である。撮像装置１は、撮像素子１１、ＣＰＵ１２、ＲＡＭ１３、ＲＯＭ１４、入出力Ｉ／Ｆ１５、ディスプレイ１６及び光源１７を備える。撮像素子１１は、カメラレンズから取り込まれた撮像情報を電気信号に変換する。ＲＯＭ１４には各種プログラムやデータ等が格納されており、必要に応じて各種プログラムがＲＡＭ１３に読み込まれ、ＣＰＵ１２により実行される。入出力Ｉ／Ｆ１５は、シャッター、タッチパネル、各種スイッチ等からの入力を受け付けたり、ディスプレイや外部メモリ等にデータを出力するためのインタフェースである。ディスプレイ１６に、撮像された画像を表示するモニタであり、タッチパネルの場合は入力デバイスとしても機能するものである。光源１７は、撮像対象物に照射する照明であり、例えば、異なる波長帯域を有する複数のＬＥＤからなる。
【００３２】
なお、上記ハードウェアの構成はあくまで一例であり、必要に応じて変更可能である。例えば、撮像処理までは図１に示す撮像装置により実行され、撮像後の画像編集処理は別途接続されるコンピュータを用いるようにしてもよい。
【００３３】
図２は、本実施形態に係る撮像装置の機能ブロック図である。図２において、撮像装置１は、撮像対象物２７を撮像するまでの機能を実現する構成として、撮像対象物２７の特性に基づいて特定される特定波長等の情報を入力情報２６とし、この入力情報２６を入力する入力部２１と、予め用意されている異なる波長で発光する複数の光源に関する情報が記憶されている光源情報記憶部２３から、入力部２１に入力された情報に基づいて特定の光源に関する情報を選択光源として複数選択する光源選択部２２と、光源選択部２２で選択された選択光源以外の非選択光源に関する情報を光源情報記憶部２３から取得し、選択光源と合成した場合に当該選択光源間の色差が最小となるような非選択光源を特定して抽出する光源抽出部２４とを備え、光源１７が、光源選択部２２で選択された選択光源と光源抽出部２４で抽出された非選択光源とを合成した光源で、選択光源ごとに使用する光源を順次切り替えて撮像対象物２７を照射する。
【００３４】
さらに、撮像装置１は、撮像対象物２７を撮像後の機能を実現する構成として、撮像対象物２７の像が撮像素子１１により電気信号に変換された撮像情報を記憶する撮像情報記憶部２８と、非選択光源及び当該非選択光源に関する光源情報記憶部２３に記憶されている情報に基づいて、撮像情報から非選択光源に関する情報を除去する画像除去部２９と、残った画像をディスプレイ１６に表示する表示制御部３０とを備える。
【００３５】
以下、各処理部の詳細について説明する。アクティブ照明方式でハイパースペクトルイメージングを行うためには、スペクトルが異なる複数の光源（照明）を用意する必要がある。ここでは、ｎ種類の狭帯域ＬＥＤを組み合わせることで、ｍ種類のスペクトルが異なる照明を作成するとする。ｎ＝ｍのときには混合照明下で撮影した画像からｎ種類のＬＥＤの波長における分光画像を復元できる。
【００３６】
まず、照明の合成モデルについて説明する。スペクトルをｉ個で離散化する場合、照明のスペクトルＬは、
【００３７】
【数１】
2017203682.tif 000003
【００３８】
で表せる。ｎ種類のＬＥＤを組み合わせてｍ種類の照明を作成する場合、ＬＥＤの組み合わせパターンは以下のｍ×ｎ行列Ｐで表現できる。
【００３９】
【数２】
2017203682.tif 000004
【００４０】
したがって、照明の合成モデルは以下の式で表せる。
【００４１】
【数３】
2017203682.tif 000005
【００４２】
次に、光源選択部２２で選択された選択光源を用いて撮像された画像に対して、画像除去部２９の処理により目的とする分光画像を取得する方法について説明する。Ｌ’のスペクトルを持つ照明を用いて撮像した画像の輝度値Ｉは、
【００４３】
【数４】
2017203682.tif 000006
【００４４】
で表される。ここで、Ｑはカメラの分光感度特性のスペクトルであり、Ｒは撮影対象の分光反射率のスペクトルである。
【００４５】
【数５】
2017203682.tif 000007
【００４６】
式（３）、（４）より以下の関係が成り立つ。
【００４７】
【数６】
2017203682.tif 000008
【００４８】
ｎ＝ｍのときＬＥＤの組み合わせパターン行列は正方行列となる。Ｐに逆行列が存在するときに、以下の式（８）が成り立つため、撮像した画像から各ＬＥＤの主波長における分光画像を求めることができる。
【００４９】
【数７】
2017203682.tif 000009
【００５０】
また、環境光の影響がある場所でもアクティブ照明方式によって分光画像を取得することができる。環境光を特定のスペクトルを持つＬＥＤの一種と見なし、ｎ＋１種類のＬＥＤを組み合わせて照明を作成する。この照明を切り替えて撮影することで、環境光の影響がない場合と同様に分光画像を取得することができる。
【００５１】
このように、ＬＥＤを組み合わせて複数の照明を作成し、それらを切り替えて撮影することで分光画像を取得することができる。すなわち、光源選択部２２の処理により特定の波長である選択光源で撮像された分光画像を取得することが可能となる。
【００５２】
次に、フリッカを低減するための光源抽出部２４の処理について説明する。上記のように照明を切り替えて撮像することで、それぞれの分光画像を取得することができるが、切り替える照明間で色差が大きい場合にフリッカが発生してしまう。逆に、フリッカを低減するためには照明間で色差をできる限り小さくすればよい。色差を扱うためにはまず色や色差を定量的に表現する必要がある。ＣＩＥ（国際照明委員会）が定めたＸＹＺ表色系に基づき照明の色を数値として表現する。その数値を同じくＣＩＥが定めたＬ＊Ｕ＊Ｖ＊表色系における色座標上の数値に変換し、色差を色座標上でのユークリッド距離として扱う。色差をユークリッド距離として扱うことで、色差を最小化するＬＥＤの組み合わせ最適化が可能となる。ｎバンドの分光画像を取得するには、ｎ種類のＬＥＤで十分だが、分光画像取得には直接関係のない余分なＬＥＤを組み合わせることで照明間の色差を小さくできる。
【００５３】
図３及び図４は、ＬＥＤ照明のスペクトルと色差の第１のイメージ図である。図３は、選択光源のスペクトルを示し、図４は、色差を小さくした場合の選択光源及び非選択光源のスペクトルを示している。図３に示すように、選択された複数の選択光源の色差が大きい場合は、これらを切り替えることによりフリッカが発生する。これに対して、図４に示すように、余分な非選択光源を敢えて合成することによって、選択光源間の色差を小さくすることが可能となる。図４に示す状態であれば、選択光源を切り替えた場合であっても、フリッカを低減することが可能となる。
【００５４】
図５は、ＬＥＤ照明のスペクトルと色差の第２のイメージ図である。図５は、図３の選択光源に対して色差を小さくした場合の選択光源及び非選択光源のスペクトルを示している。ここでは、余分な非選択光源を図５に示すように、選択光源の近傍の波長帯域を中心に特定することで、選択光源間の色差を小さくする。すなわち、一の選択光源（図３における照明１の選択光源＝図５における照明１の光源Ａ）には他の選択光源（図３における照明２の選択光源＝図５における照明１の光源Ｂ）の近傍における波長帯域を有する非選択光源（図５における照明１の光源Ｂの近傍光源）を特定して合成する。逆に他の選択光源（図３における照明２の選択光源＝図５における照明２の光源Ｂ）には一の選択光源（図３における照明１の選択光源＝図５における照明２の光源Ａ）の近傍における波長帯域を有する非選択光源（図５における照明２の光源Ａ近傍光源）を特定して合成する。図５に示すような近傍光源が合成されることで、選択光源間の色差を小さくすることができ、フリッカの発生を防止することができる。
【００５５】
次に、上記に示した色座標について説明する。人間は光源から直接あるいは物体に反射して眼に届いた光を三種類の錐体細胞によって知覚する。三種類の錐体細胞はそれぞれ赤、緑、青に該当する波長に最も高い反応を示す。光の三原色が赤、緑、青となっているのはこのためである。ＣＩＥ（国際証明委員会）は人間の標準的な色覚を数値化するためにＲＧＢ表色系を定めた。ＣＩＥは、Ｒ（７００ｎｍ）、Ｇ（５４６．１ｎｍ）、Ｂ（４３５．８ｎｍ）を原色として等色実験を行い、人間の色覚を等色関数として定義した。しかしＲＧＢ表色系では正確に表現できない波長域が存在するという欠点があったため、その波長域を表現可能にするＸＹＺ表色系が定義された。ＸＹＺ表色系ではＸ，Ｙ，Ｚという実在しない原刺激の混色量で色を表現する。３９０−８３０ｎｍの波長域において、波長をλとして等色関数をｘ￣（λ），ｙ￣（λ），ｚ￣（λ）（「ｘ￣」、「ｙ￣」、「ｚ￣」はそれぞれのバーとする）とすると、Ｘ、Ｙ、Ｚはそれぞれ式（９）、（１０）、（１１）で表される。
【００５６】
【数８】
2017203682.tif 000010
【００５７】
ここで、ｓ（λ）は対象の分光分布である。式（９）、式（１０）、式（１１）をｉ個で離散化した場合を式（１２）に示す。
【００５８】
【数９】
2017203682.tif 000011
【００５９】
色の判定にはＸ，Ｙ，Ｚの混色比を利用したｘｙ色度図が用いられるが、この色度図の色空間は均等であるとはいえず、色空間での距離が人間が感じる色の差とうまく対応していない。そこでＣＩＥは均等色空間の一つとしてＬ＊ｕ＊ｖ＊表色系を定めた。三原刺激Ｘ、Ｙ、Ｚを色座標Ｌ＊，ｕ＊，ｖ＊へ変換することで色を定量的に表現する。ＸＹＺからＬ＊ｕ＊ｖ＊への変換式は式（１３）で表される。ここで、Ｘｎ，Ｙｎ，Ｚｎは、標準光源の三刺激値である。Ｌ＊は明度指数であり、ｕ＊、ｖ＊によって色度図での色が決まる。基準となる白色ではｕ＊＝０、ｖ＊＝０である。Ｌ＊ｕ＊ｖ＊表色系では色差はＬ＊ｕ＊ｖ＊座標上でのユークリッド距離として定義される。
【００６０】
【数１０】
2017203682.tif 000012
【００６１】
これらの色座標を用いて分光画像を取得するために必要な条件を満たすＬＥＤの組み合わせの中で、色差が最小となる組み合わせを求める。色差を小さくするために分光画像取得には直接関係がない非選択光源であるＬＥＤを組み合わせるが、そのＬＥＤは環境光と同様に扱うことができる。以下では、ｎ種類のＬＥＤを用意して特定の２波長における分光画像を取得する場合を考える。光源選択部２２により選択された特定の２波長を主波長に持つ狭帯域ＬＥＤのスペクトルをそれぞれＬλ１，Ｌλ２とし，分光画像取得には直接関係がない非選択光源のＬＥＤのスペクトルをＬｅｘとする。Ｌｅｘが残りのＬＥＤの組み合わせによるスペクトルであるとき、Ｌｅｘは
【００６２】
【数１１】
2017203682.tif 000013
【００６３】
で表される。このとき、上記式（３）は、式（１５）のようになり、式（４）−（８）に当てはめることで波長λ１とλ２の分光画像を取得できる。
【００６４】
【数１２】
2017203682.tif 000014
【００６５】
ＰおよびＰ’がそれぞれ一つに定まるとき、３種類の照明のスペクトルが定まる。式（１２）より照明ごとのＸ，Ｙ，Ｚが求まり、式（１３）によって照明間の色差を計算することができる。したがって、色差を最小にするＰおよびＰ’を求めることで、フリッカレスＬＥＤ照明を構成するＬＥＤの組み合わせを求めることができる。ここでは、例えば、この問題を制約付き非線形多変数関数の最適化問題として扱い、ＳＱＰ法を用いて解くことができる。また、ＰおよびＰ’のとり得る範囲を０から１とし、各ＬＥＤの混合比として扱い、分光画像のＳＮ比の低下を抑えるため、Ｌλ１とＬλ２の割合に下限を設けるようにしてもよい。例えば、照明に対象のＬλ１とＬλ２のＬＥＤが５０％以上含まれる組み合わせを求めるようにしてもよい。さらにＰの逆行列を安定して求めるためにＰ’の条件数を５以下に制限してもよい。
【００６６】
このように、光源抽出部２４は、選択光源と合成した場合に選択光源間の色差が最小となるような非選択光源を抽出することができる。このとき、上記のように光強度や人間の感光特性を考慮することで、より高性能なフリッカレスのハイパースペクトルイメージングを実現することが可能となる。以上が本実施形態に係る撮像装置の構成及び機能についての説明である。
【００６７】
次に、本実施形態に係る撮像装置の動作について説明する。図６は、本実施形態に係る撮像装置の動作を示すフローチャートである。まず、入力部２１が、撮像対象物２７に応じて特定される目的となる特定波長の情報を入力情報２６として入力する（Ｓ１）。光源選択部２２が、特定波長に最も近い波長を主波長とする光源を選択する（Ｓ２）。光源抽出部２４が、選択された選択光源間の色差が最小となるように使用する光源を最適化する（Ｓ３）。撮像対象物２７を最適化された光源１７で照射し、撮像素子１１で撮像する（Ｓ４）。画像除去部３２が、撮像して得られた画像から最適化時に追加された波長の画像を除去する（Ｓ５）。残った画像情報を表示制御部３３がディスプレイ１６に表示して（Ｓ６）、処理を終了する。
【００６８】
以上のように、本実施形態に係る撮像装置においては、異なる波長で発光する複数の光源から撮像対象物の特性に基づいて特定された特定波長で発光する光源を複数選択し、合成された際に選択された光源間の色差が低減するように非選択光源を抽出し、選択された光源と抽出された光源とを合成した光源で、選択光源ごとに順次光源を切り替えて撮像するため、異なる照明間（一の選択光源と他の選択光源との間）の色差を抑えて、人間には同じ色に見えるような照明で切り替えを行うことでフリッカの発生を低減することができる。すなわち、フリッカの発生が低減されることで、例えば手術の際に異常な部分を正確に識別し、その部分にのみ施術をすることで患者の負担を最小限に抑えることができる。
【００６９】
なお、撮像する光源ごとにシャッタースピードを制御する制御部を備えるようにしてもよい。すなわち、撮像対象物の特性や取得する画像の特性に応じて、波長、光強度、感光特性、及び／又は、シャッタースピードをそれぞれ調整して最適化することで、より高精度に目的とする画像を得ることが可能となる。
【実施例】
【００７０】
本発明に係る撮像装置について、以下に実験を行った。
【００７１】
（１）ＬＥＤスペクトル測定
以下の実験においては、光源としてＬＥＤ照明を用いた。ＬＥＤ照明は、データシートに記載されている特性と実際の特性が異なることがある。正しいスペクトル特性を知るために、照明に用いるＬＥＤのスペクトルを測定した。測定は暗室内で行い、２７種類のＬＥＤを１種類ずつ分光器で測定した。分光器にはＯｃｅａｎ  Ｏｐｔｉｃｓ社のｊａｚ分光器モジュールを使用した。測定したＬＥＤにはスペクトル特性が似ているものが存在したため、２７種類のＬＥＤの中から１５種類のＬＥＤを選択した。選択した１５種類のＬＥＤのスペクトルを図７に示す。
【００７２】
（２）分光画像の取得
ＬＥＤ照明を利用したアクティブ照明方式によって、分光画像を取得できるかどうかを確かめる必要がある。比較対象とするために、液晶チューナブルフィルタ（ＬＣＴＦ）を利用して成人男性の腕の分光画像を取得した。使用した液晶チューナブルフィルタはＣＲｉ社のＶａｒｉｓｐｅｃであり、測定波長域は４００−７２０ｎｍである。本実施例では６５３ｎｍにおける分光画像を取得した。赤色光付近の波長域では人体内部に進行した光が静脈中の還元ヘモグロビンに吸収されるため、静脈部分の反射光が弱くなり、分光画像中では静脈部分が暗く写るためである。撮影は暗室内で行い、撮影にはＡｐｏｇｅｅ社の冷却ＣＣＤカメラＡｌｔａ２６０を使用し、光源にはセリック社の人工太陽照明灯ＳＯＬＡＸ  ＸＣ−１００Ｅ形を使用した。撮影時のＣＣＤセンサの温度は−２０度、露光時間は２秒である。撮影した画像にはノイズが含まれているので、シャッターを閉じて同条件で撮影したノイズ画像を減算した。結果を図８の（Ａ）に示す。画像では静脈部分が暗く映っていることが確認できる。
【００７３】
次に、単純なアクティブ照明方式によって腕の分光画像を取得した。主波長が６５３ｎｍの赤色光ＬＥＤと主波長が８３４ｎｍの赤外光ＬＥＤを用いて照明を作成した。各ＬＥＤを８個ずつブレッドボードに配置し、ａｒｄｕｉｎｏを用いて切り替えを行った。単純なアクティブ照明方式におけるＬＥＤの組み合わせパターン行列Ｐは単位行列である。撮影は暗室内で行い、フィルタ方式と同様にＡｐｏｇｅｅ社の冷却ＣＣＤカメラＡｌｔａ２６０を使用した。センサ温度は−２０度で露光時間は０．０４秒である。単純なアクティブ照明方式で取得した６５３ｎｍ分光画像を図８の（Ｂ）に示す。フィルタ方式による画像と同様に、静脈が暗く映っていることが確認できる。
【００７４】
続いて本発明の手法を用いてフリッカレスＬＥＤ照明を作成した。主波長が６５３ｎｍのＬＥＤと主波長が８３４ｎｍのＬＥＤを対象のＬＥＤ（選択光源）とし、残りの１３種類のＬＥＤを分光画像取得には直接関係のない余分なＬＥＤ（非選択光源）として、本発明の手法によりＬＥＤの組み合わせを求めた。得られたＰとＰ’をそれぞれ式（１６）と式（１７）に示す。
【００７５】
【数１３】
2017203682.tif 000015
【００７６】
計算結果に基づいて、５種類のＬＥＤをブレッドボードに配置した照明を作成し、ａｒｄｕｉｎｏで制御した。ＬＥＤの明るさはＰＷＭにより調整した。作成した照明を図９に示す。また、ＬＥＤ照明の切り替え時のフリッカの比較をした結果を図１０に示す。図１０（Ａ）は、単純なＬＥＤ照明として作成した２種類の照明の画像を並べて切り替えの様子を再現したものであり、図１０（Ｂ）は、本発明に係るフリッカレスＬＥＤ照明として作成した３種類の照明の画像を並べて切り替えの様子を再現したものである。図５（Ａ）、（Ｂ）から明らかなように、単純なＬＥＤ照明に比べてフリッカが抑えられていることが確認できる。撮影には同様の冷却ＣＣＤカメラを使用し、暗室内で撮影を行った。センサ温度は−２０度で露光時間は０．０４秒に設定した。フリッカレスアクティブＬＥＤ照明方式で取得した６５３ｎｍ分光画像を図８（Ｃ）に示す。等色関数の値及びＬＥＤのスペクトル値は３９０ｎｍから８３０ｎｍまで１０ｎｍ刻みの値を用いた。他の画像と同様に静脈が暗く映っていることが確認できる。
【００７７】
次に、より実際の応用に近い状況を想定した実験として、ヘモグロビンのスペクトル特性を利用して鬱血の識別を行った。ヘモグロビンには酸素と結合した酸化ヘモグロビンＨｂＯ２と、酸素と結合していない還元ヘモグロビンＨｂが存在する。ヘモグロビンのうち酸化ヘモグロビンとなっている割合は、酸素飽和度と呼ばれており、血中の酸素濃度を知る指標となる。各ヘモグロビンの吸光特性を図１１に示す。図１１に示すように、赤色光付近では吸光度の差が大いが、赤外光付近では吸光度の差はほとんどない。これにより、赤外光付近の波長で分光した画像には正常時と異常時でほとんど差はないが、赤色光付近の波長で分光した画像には酸素飽和度の違いによって正常時と異常時で明度に差が生じる。二つの分光画像の差を求め、正常時と比較することで酸素飽和度の変化を知ることができる。酸素飽和度が低下した状態として身近なものに鬱血がある。輪ゴムで縛り鬱血させた指と、何もしていない指を同時に撮影し、取得した分光画像からスペクトルの差を求めて比較した。撮影には作成した単純なＬＥＤ照明とフリッカレスＬＥＤ照明を用いた。６５３ｎｍにおける分光反射率Ｒ￣（バー）６５３と８３４ｎｍにおける分光反射率Ｒ￣（バー）８３４は、それぞれ式（１８）と式（１９）で求めた。
【００７８】
【数１４】
2017203682.tif 000016
【００７９】
ここでＩ６５３とＩ８３４は、それぞれ対象の６５３ｎｍにおける分光画像と８３４ｎｍにおける分光画像を表し、ＩＲ６５３とＩＲ８３４はそれぞれ標準白色版の６５３ｎｍにおける分光画像と８３４ｎｍにおける分光画像を表す。標準白色版の分光反射率は測定波長域において一定である。式（１８）より求めた６５３ｎｍ分光画像と式（１９）より求めた８３４ｎｍ分光画像をそれぞれ図１２に示す。図１２（Ａ）が６５３ｎｍ分光画像で、図１２（Ｂ）が８３４ｎｍ分光画像である。また、通常のＲＧＢカメラで撮影した画像と式（２０）より求めた分光反射率の差の画像をそれぞれ図１３に示す。図１３（Ａ）がＲＧＢカメラで撮影した画像で、図１３（Ｂ）が分光反射率の差の画像である。
【００８０】
【数１５】
2017203682.tif 000017
【００８１】
正常部には酸化ヘモグロビンが多く含まれるため２波長間の分光反射率の差が大きく、画像では明るく映る。一方で鬱血により静脈血が溜まると還元ヘモグロビンの割合が大きくなるため、２波長間の分光反射率の差が小さくなり画像では暗く写る。このように、本発明の撮像装置より、アクティブ照明方式においてフリッカの発生を抑えることが可能であると共に、血中の酸素飽和濃度を視覚的に確認することが可能であることが明らかとなった。
【符号の説明】
【００８２】
１  撮像装置
１１  撮像素子
１２  ＣＰＵ
１３  ＲＡＭ
１４  ＲＯＭ
１５  入出力Ｉ／Ｆ
１６  ディスプレイ
１７  光源
２１  入力部
２２  光源選択部
２３  光源情報記憶部
２４  光源抽出部
２６  入力情報
２７  撮像対象部
２８  撮像情報記憶部
２９  画像除去部
３０  表示制御部
【図１】
2017203682.tif 000018
【図２】
2017203682.tif 000019
【図３】
2017203682.tif 000020
【図４】
2017203682.tif 000021
【図５】
2017203682.tif 000022
【図６】
2017203682.tif 000023
【図７】
2017203682.tif 000024
【図８】
2017203682.tif 000025
【図９】
2017203682.tif 000026
【図１０】
2017203682.tif 000027
【図１１】
2017203682.tif 000028
【図１２】
2017203682.tif 000029
【図１３】
2017203682.tif 000030