(57)【要約】  撮像装置は、可視外の波長を通過帯域とし、中心波長が隣り合う通過帯域の一部が互いに重なり合う複数の波長帯域フィルターのそれぞれを通過した被写体からの光を撮像する撮像素子と、複数の波長帯域フィルターのそれぞれの通過帯域と一部が重なり合う第１分光分布を有する第１照射光が照射された被写体からの光を撮像素子に撮像させ、複数の波長帯域フィルターのそれぞれの通過帯域と一部が重なり合う、第１分光分布とは異なる第２分光分布を有する第２照射光が照射された被写体からの光を撮像素子に撮像させる制御部とを備える。
2017061432.tif 000002
【特許請求の範囲】
【請求項１】
可視外の波長を通過帯域とする複数のバンドパスフィルターと、
前記複数のバンドパスフィルターを通過した被写体からの光を撮像する撮像素子と、
前記複数のバンドパスフィルターの前記通過帯域において第１分光特性を有する第１照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させるとともに、
前記複数のバンドパスフィルターの前記通過帯域において前記第１分光特性とは異なる第２分光特性を有する第２照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させる制御部と
を備える撮像装置。
【請求項２】
前記第１照射光により撮像された前記撮像素子からの第１出力値と、前記第２照射光により撮像された前記撮像素子からの第２出力値に基づいて、前記被写体のスペクトルに関する情報を生成する解析部とを備える請求項１に記載の撮像装置。
【請求項３】
前記解析部は、前記情報として、前記第１出力値と前記第２出力値との差分情報を生成する請求項２に記載の撮像装置。
【請求項４】
前記解析部は、前記被写体が撮像された画像において、前記スペクトルが実質的に同一である特定領域を特定する請求項２または３に記載の撮像装置。
【請求項５】
前記制御部は、前記複数のバンドパスフィルターの前記通過帯域において分光分布が周期性を有さない第３照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させ、
前記複数のバンドパスフィルターのそれぞれを通過した前記第３照射光により撮像された前記撮像素子からの第３出力値に、可視帯域での色空間を関連付けて生成された可視画像データに対して、前記特定領域を強調した強調画像データを生成する画像生成部を備える請求項４に記載の撮像装置。
【請求項６】
前記第１分光特性および前記第２分光特性は、前記複数のバンドパスフィルターの前記通過帯域の少なくとも一部において強度を有さない特性である請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１分光特性および前記第２分光特性は、前記通過帯域の少なくとも一部において周期性を有し、
前記第１分光特性と前記第２分光特性は、前記周期性における位相が互いに異なる特性である請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記第１分光特性および前記第２分光特性は、前記通過帯域の少なくとも一部において、周期性が変化する特性である請求項１から６のいずれか１項に記載の撮像装置。
【請求項９】
前記制御部は、前記第１分光特性および前記第２分光特性の少なくともいずれかに対する前記周期性における位相、周期、および強度の少なくともいずれかを調整する請求項７または８に記載の撮像装置。
【請求項１０】
前記第１照射光と前記第２照射光とを照射する照射部を備え、
前記制御部は、前記第１照射光と前記第２照射光とを切り替えて照射する請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
可視外の波長を通過帯域とする複数のバンドパスフィルターを通過した被写体からの光を撮像する撮像素子を備える撮像装置の撮像プログラムであって、
前記複数のバンドパスフィルターの前記通過帯域において第１分光特性を有する第１照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させる第１撮像処理ステップと、
前記複数のバンドパスフィルターの前記通過帯域において前記第１分光特性とは異なる第２分光特性を有する第２照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させる第２撮像処理ステップと
をコンピュータに実行させる撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像プログラムに関する。
【背景技術】
【０００２】
近赤外帯域で、複数の帯域に分光しカラー化する技術が知られている（例えば、特許文献１参照）。
［特許文献１］特許第５０３４９５３号公報【０００３】
色に関する基準が存在しない可視外帯域の照明下において被写体画像を生成し、この被写体画像を可視のカラー画像に変換するためには、可視外帯域の光の通過帯域に幅を持つ、複数の分光フィルターが必要である。しかし、通過帯域に幅を持つ分光フィルターを用いて被写体を撮影する場合に、被写体光束のスペクトルに関する情報を高い波長分解能で取得することができなかった。
【発明の概要】
【０００４】
本発明の第１の態様における撮像装置は、可視外の波長を通過帯域とし、中心波長が最も近いフィルターどうしの通過帯域の一部が互いに重なり合う複数の波長帯域フィルターのそれぞれを通過した被写体からの光を撮像する撮像素子と、複数の波長帯域フィルターのそれぞれの通過帯域と一部が重なり合う第１分光分布を有する第１照射光が照射された被写体からの光を撮像素子に撮像させ、複数の波長帯域フィルターのそれぞれの通過帯域と一部が重なり合う、第１分光分布とは異なる第２分光分布を有する第２照射光が照射された被写体からの光を撮像素子に撮像させる制御部とを備える。
【０００５】
本発明の第２の態様における撮像プログラムは、可視外の波長を通過帯域とし、中心波長が最も近いフィルターどうしの通過帯域の一部が互いに重なり合う複数の波長帯域フィルターのそれぞれを通過した被写体からの光を撮像する撮像素子を備える撮像装置の撮像プログラムであって、複数の波長帯域フィルターのそれぞれの通過帯域と一部が重なり合う第１分光分布を有する第１照射光が照射された被写体からの光を撮像素子に撮像させる第１撮像処理ステップと、複数の波長帯域フィルターのそれぞれの通過帯域と一部が重なり合う、第１分光分布とは異なる第２分光分布を有する第２照射光が照射された被写体からの光を撮像素子に撮像させる第２撮像処理ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態におけるデジタルカメラの構成を説明する図である。
【図２】本実施形態におけるバンドパスフィルターを説明する図である。
【図３】本実施形態におけるバンドパスフィルターの分光透過率特性を説明する図である。
【図４】被写体の近赤外帯域の反射スペクトル特性を説明する図である。
【図５】被写体の反射スペクトルと３種類のバンドパスフィルターの分光透過率との関係を説明する図である。
【図６】本実施形態における多波長光源の発光スペクトル特性を説明する図である。
【図７】第１および第２照射光の各照明下においてＮＩＲ１フィルターを通して砂糖を撮影したときのスペクトルを示す図である。
【図８】第１および第２照射光の各照明下においてＮＩＲ２フィルターを通して砂糖を撮影したときのスペクトルを示す図である。
【図９】第１および第２照射光の各照明下においてＮＩＲ３フィルターを通して砂糖を撮影したときのスペクトルを示す図である。
【図１０】各バンドパスフィルターの第１画像レイヤーデータおよび第２画像レイヤーデータの模式図である。
【図１１】第１画像レイヤーデータと第２画像レイヤーデータ間における特定領域の抽出処理を説明する説明図である。
【図１２】撮影画像の局所ウィンドウ内における画素値の積分値を、照射光およびバンドパスフィルターごとに棒グラフで示した図である。
【図１３】各バンドパスフィルターの画像レイヤーデータにおいて抽出された特定領域を示す図である。
【図１４】抽出した特定領域にエフェクト処理を行った出力画像の一例を示す図である。
【図１５】デジタルカメラ１０における処理手順を示すフローチャート図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本発明の一実施形態におけるデジタルカメラの構成を説明する図である。デジタルカメラ１０は、可視外帯域の被写体光束を撮像することができる。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０と、撮像素子１００とを備える。また、デジタルカメラ１０は、近赤外帯域の光を出射する多波長可変光源２３０を備える。多波長可変光源２３０は、変調部２３２、発光部２３４を含む。後述するように、変調部２３２は、発光部２３４から出射する光の分光分布を変調する。なお、以下の説明において、発光部２３４から出射される光の分光分布を発光スペクトルと称する場合がある。多波長可変光源２３０からの照射光は、発光部２３４から矢印で示した方向に出射されて、被写体に照射される。
【００１０】
撮影レンズ２０は、被写体によって反射または散乱された照射光のうち、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。また、デジタルカメラ１０は、制御部２０１、Ａ／Ｄ変換回路２０２、ワークメモリ２０３、駆動部２０４、画像処理部２０５、システムメモリ２０６、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、および通信部２１１を備える。
【００１１】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
【００１２】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、可視外帯域に受光感度を有する赤外波長帯域用のイメージセンサである。本実施形態においては、その一例として、撮像素子１００は、近赤外帯域である８００ｎｍから２５００ｎｍのうち８００ｎｍから２０００ｎｍの範囲に受光感度を有する。なお、この近赤外帯域及び受光感度の範囲は、本例に限られない。例えば、近赤外帯域を広くとらえ、下限を７００ｎｍとしてもよい。また、近赤外帯域の上限を３０００ｎｍとしてもよい。
【００１３】
撮像素子１００は、二次元的に配列された複数の画素を備える。複数の画素のそれぞれは、光電変換部と、当該光電変換部に対応して設けられた波長帯域フィルターとを備える。撮像素子１００のそれぞれの光電変換部には、可視外の波長を通過帯域とする３つの波長帯域フィルターであるＮＩＲ１フィルター、ＮＩＲ２フィルターおよびＮＩＲ３フィルターのいずれかが設けられる。なお、波長帯域フィルターは、光を通過させる波長に帯域（幅）を有するフィルターであり、バンドパスフィルターともいう。そして、波長帯域フィルターにおいて光が通過（透過）する波長の通過帯域を透過波長帯域と称する場合がある。本実施形態における波長帯域フィルターについての詳細は、図を用いて後述する。
【００１４】
多波長可変光源２３０は、近赤外帯域において発光スペクトルを変更することができる光源である。本実施形態において、多波長可変光源２３０は、例えば８００ｎｍから２０００ｎｍの近赤外帯域の光を出射する。多波長可変光源２３０は、少なくとも近赤外帯域の波長帯域で連続して強度を有する光（可視帯域の白色光に相当）を出射する発光素子と、発光素子から出射された光を波長ごとに分波する分光素子と、分波された光を波長ごとに強度変調する変調素子を含む。そして、波長ごとに強度変調された光は、再び分光素子を介することで合波されて、多波長可変光源２３０から外部へ出射される。多波長可変光源２３０は、変調素子で波長ごとの光の強度を調整することで、所望の発光スペクトルを生成することができる。
【００１５】
詳細は後述するが、多波長可変光源２３０の発光スペクトルは、波長領域において略正弦波の形状を有する。変調部２３２は、多波長可変光源２３０の発光スペクトル特性を変調する。具体的には、変調部２３２は、スペクトル強度、位相、周期のうち、少なくとも一つを変調する。多波長可変光源２３０は、互いに発光スペクトルが異なる第１照射光と第２照射光とを切り替えて出射する。制御部２０１の制御により、多波長可変光源２３０は、照射部としての機能を担う。
【００１６】
撮像素子１００は、制御部２０１のタイミング制御のもとで駆動部２０４により駆動されて、受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。撮像素子１００は、第１照射光が照射された被写体からの光を撮像して、第１出力値としての画素信号をＡ／Ｄ変換回路２０２に出力する。また、撮像素子１００は、第２照射光が照射された被写体からの光を撮像して、第２出力値としての画素信号をＡ／Ｄ変換回路２０２に出力する。本実施形態では、撮像素子１００は、第１照射光が照射されるタイミングと第２照射光が照射されるタイミングとにおいてそれぞれ撮像処理を行うように制御される。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画素信号をデジタル信号に変換する。そして、デジタル変換により得られた撮像データとしての第１画像データおよび第２画像データをワークメモリ２０３へ出力する。以降の説明において、撮像データは、第１画像データおよび第２画像データを含む。
【００１７】
上述のように、複数の光電変換部のそれぞれには３種類のバンドパスフィルターのいずれかが設けられている。上記撮像データは、３種類のバンドパスフィルターのそれぞれを通過した被写体光束に応じて得られた撮像要素を含む。撮像要素の具体的な一例は、ＮＩＲ１フィルターが配置された画素における画素値データで構成される画像レイヤーデータである。つまり、本実施形態において、撮像データは、バンドパスフィルターのそれぞれの透過波長帯域に応じた３種類の画像レイヤーデータを含む。なお、画像レイヤーデータについて、詳細は後述する。
【００１８】
画像処理部２０５は、ワークメモリ２０３をワークスペースとして、撮像データに対して輝度補正処理等の種々の処理を施す。画像処理部２０５は、３つの波長帯域フィルターのそれぞれを通過した被写体像が光電変換されて形成された撮像データから、３つの画像レイヤーデータを抽出する。そして、画像処理部２０５は、当該３つの画像レイヤーデータのそれぞれに対して、後述する補間処理を行う。補間処理が行われた画像レイヤーデータは、対応するバンドパスフィルターおよび撮影に使用された照射光と対応付けられて、ワークメモリ２０３に順次保存される。
【００１９】
また、画像処理部２０５は、制御部２０１の制御により解析部としての役割を担う。詳細は後述するが、画像処理部２０５は、第１画像データと第２画像データとを用いて、被写体のスペクトル特徴量に関する情報（スペクトル情報）を生成する。被写体のスペクトル情報の生成について、詳細は後述する。
【００２０】
画像処理部２０５は、制御部２０１の制御により画像生成部としての役割を担う。画像処理部２０５は、上記スペクトル情報から特定した特定領域を強調表示するために、エッジ強調、色彩強調など様々なエフェクト処理を行った可視画像データを生成する。また、画像処理部２０５は、生成した可視画像データをメモリカードＩＦ２０７に装着されているメモリカード２２０に記録する。
【００２１】
また、強調画像データとして生成された可視画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。なお、表示部２０９には、各種設定のためのメニュー画面も表示される。例えば、多波長可変光源２３０からの照射光の発光スペクトルの設定に関するメニュー画面が表示される。
【００２２】
システムメモリ２０６は、デジタルカメラ１０を制御するプログラム、各種パラメータ等を記録する。本実施形態において、システムメモリ２０６は、３つのバンドパスフィルターそれぞれの分光透過率データを記録する。分光透過率データには、透過率のピーク波長や波長ごとの透過率の情報が含まれる。分光透過率データは、波長を変数とした関数の形式で記録されてもよいし、波長と透過率の関係を示すデータテーブルの形式で記録されてもよい。また分光透過率データは、それぞれ対応するバンドパスフィルターの識別子と関連付けて記録される。
【００２３】
操作部２０８は、ユーザの操作を受け付ける。操作部２０８は受け付けたユーザの操作に応じた操作信号を制御部２０１に出力する。操作部２０８はレリーズスイッチ、十字キー、ＯＫキー等の操作部材を含む。レリーズスイッチは、押下げ方向に２段階に検知できる押しボタンで構成されている。制御部２０１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ、ＡＥ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子１００による被写体像の取得動作を実行する。このとき、１回の撮像操作に対して、デジタルカメラ１０は、第１照射光と第２照射光とを切り替えて、それぞれの照射のタイミングで撮像処理を行う。なお、本実施形態においてＡＦは、赤外波長帯域で被写体像が合焦するように実行される。
【００２４】
通信部２１１は、他の装置と通信する。通信部２１１は、操作部２０８を介したユーザの操作に応じて撮像データを他の装置に送信する。他の装置として、パーソナルコンピュータ、スマートフォン、タブレット端末等の表示部を備えた装置、インターネット上のサーバ装置等を挙げることができる。
【００２５】
図２は、本実施形態におけるバンドパスフィルターを説明する図である。３種類のバンドパスフィルターのそれぞれは、可視外の波長を通過帯域とする。本実施形態においては、バンドパスフィルターはそれぞれ、近赤外の波長帯域を通過帯域とする。当該通過帯域は、３種類のバンドパスフィルターで互いに異なる。図示されるように、本実施形態においては、３種類のバンドパスフィルターとしてＮＩＲ１フィルター、ＮＩＲ２フィルター、およびＮＩＲ３フィルターが設けられている。以下の説明では、３種類のバンドパスフィルターのそれぞれを単にＮＩＲ１、ＮＩＲ２、およびＮＩＲ３と称する場合がある。
【００２６】
ＮＩＲ１からＮＩＲ３は、２画素×２画素（ｘ×ｙ）からなる単位４画素１０１に対してそれぞれ割り当てられる。図２では、可視帯域カラーフィルターにおけるＢａｙｅｒ配列と同様に、ＮＩＲ２が上段左側と下段右側の画素に、ＮＩＲ３が上段右側の画素に、そしてＮＩＲ１が下段左側の画素にそれぞれ割り当てられている。なお、バンドパスフィルターの配置は、本例に限られない。
【００２７】
撮像素子１００の全体としては、２次元的に配列された複数の画素のそれぞれが離散的にＮＩＲ１からＮＩＲ３のいずれかを備えることになる。したがって、撮像素子１００は、入射する被写体光束をそれぞれの波長帯域に分離して検出する。換言すれば、撮像素子１００は、受光面に結像する被写体像を赤外波長帯域であって互いに異なる３つの波長帯域に分離して光電変換する。
【００２８】
画像処理部２０５は、撮像データからそれぞれのバンドパスフィルターに対応する画素値データから構成される画像レイヤーデータを分離する。具体的には、画像処理部２０５は、撮像データから、ＮＩＲ１が配置された画素における画素値データのみを含む画像レイヤーデータを抽出する。同様に、ＮＩＲ２およびＮＩＲ３のそれぞれについて、同様に画像レイヤーデータを抽出する。このように、画像処理部２０５は、撮像データからバンドパスフィルターのそれぞれに対応した３つの画像レイヤーデータを抽出する。
【００２９】
本実施形態においては、一つの画素上には３つのバンドパスフィルターのいずれかが配置される。したがって、例えば、ＮＩＲ１が配置されている画素の画素値データのみを抽出した画像レイヤーデータは、全画素に亘って画素値データが格納されてはおらず、画素値データが格納されていない画素が存在する。以降の説明では、画素値が格納されていない画素を欠損画素と称する場合がある。
【００３０】
画像処理部２０５は、各画像レイヤーデータの欠損画素における画素値を、周囲の画素における画素値から補間処理により算出して、全画素に亘って画素値データの欠損がない画像レイヤーデータを生成する。具体的には、例えば、補間処理対象となる欠損画素の周辺画素の画素値を用いて、バイリニア補間、バイキュービック補間により画素値を算出する。なお、補間処理方法は、これらの方法に限定されず、公知の補間処理方法を採用し得る。以降の説明において、単に画像レイヤーデータと記した場合には、特に断らない限り、上記の補間処理後の画像レイヤーデータを指す。また、以降の説明において、第１画像データより生成された画像レイヤーデータを第１画像レイヤーデータ、第２画像データより生成された画像レイヤーデータを第２画像レイヤーデータと称する場合がある。
【００３１】
図３は、バンドパスフィルターの分光透過率特性を説明する図である。特に、９００ｎｍから１７００ｎｍの波長帯域における各バンドパスフィルターの分光透過率曲線を示す。横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。図３に示すように、ＮＩＲ１からＮＩＲ３の分光透過率曲線の形状のそれぞれは、全体的に略同一である。また、本実施形態において、ＮＩＲ１からＮＩＲ３の分光透過率は、それぞれ単峰性の分布であり、透過波長帯域の中心波長と、透過率のピーク波長とが実質的に同一である。そして、これら複数の波長帯域フィルターのうち、中心波長（またはピーク波長）が最も近い波長帯域フィルターどうし（ＮＩＲ１とＮＩＲ２、ＮＩＲ２とＮＩＲ３）の透過波長帯域は、一部が互いに重なり合う。換言すれは、それぞれの波長帯域フィルターの分光透過率曲線を図３のようなグラフで示した場合に、中心波長が隣り合う波長帯域フィルターのそれぞれの透過波長帯域は、一部が互いに重なり合う。なお、分光透過率は単峰性に限らず様々な分布をとり得る。分光透過率が単峰性の分布であってもそれ以外の分布であっても、分布形状に合わせて中心波長を決定することができる。例えば、最大透過率の５０％となる透過率における分光透過率曲線の幅の中央の波長、または透過率が５０％における分光透過率曲線の幅の中央の波長を中心波長としてもよいし、単峰性の分布で対称性を有する場合は、上記のようにピーク波長を中心波長としてもよい。また、多峰性の分布である場合には、分光透過率を二次関数やガウス関数などの単峰性の関数でフィッティングして、当該フィッティングにより求まった透過率曲線のピーク波長を中心波長としてもよい。さらに、透過率を有する波長帯域の中央を中心波長としてもよい。なお、中心波長は、実質的に分光透過率の分布の中央を示していれば、上記の定義に限らない。
【００３２】
より詳細には、ＮＩＲ１は、約１１７０ｎｍから約１４５０ｎｍに透過率を有し、透過率のピーク波長は１３１０ｎｍである。ＮＩＲ２は、約１２７０ｎｍから約１５５０ｎｍに透過率を有し、透過率のピーク波長は１４１０ｎｍである。ＮＩＲ３は、約１３７０ｎｍから約１６５０ｎｍに透過率を有し、透過率のピーク波長は１５１０ｎｍである。
【００３３】
ＮＩＲ１、ＮＩＲ２およびＮＩＲ３のそれぞれは、中心波長が隣り合う他のバンドパスフィルターの透過率のピーク波長で透過率を有する。図３を用いて具体的に説明すると、ＮＩＲ１は、ＮＩＲ２のピーク波長で透過率を有する。同様に、ＮＩＲ３は、ＮＩＲ２のピーク波長で透過率を有する。また、ＮＩＲ２は、ＮＩＲ１およびＮＩＲ３のピーク波長のそれぞれで透過率を有する。なお、透過率を有するとは、光の透過率が０よりも大きいことを示す。ただし、実際にはバンドパスフィルターの製造ばらつき等の影響によって、透過率が０にはならない場合もある。よって、透過率を有するとは、透過率が微小な閾値以上、例えば、０．０５より大きいことを示してもよい。
【００３４】
図４は、被写体の近赤外帯域の反射スペクトルを説明する図である。横軸は波長［ｎｍ］を示し、縦軸は正規化されたスペクトル強度を示す。以降の説明において、正規化されたスペクトル強度を単にスペクトル強度と称する場合がある。スペクトル強度の値が大きいほど、その波長の光を反射する。一方、スペクトル強度の値が小さいほど、その波長の光を吸収する。図４では、特に、被写体として砂糖を例に挙げ、９００ｎｍから１７００ｎｍの波長帯域における反射スペクトルを示す。
【００３５】
図４に示されるように、砂糖は、９００ｎｍから１７００ｎｍの間の広範囲の波長帯域にわたって、反射率において波長分散性を有している。より詳細には、砂糖の反射スペクトルは、９００ｎｍ付近および１４００ｎｍ付近から１７００ｎｍ付近において吸収帯を有し、反射率は低くなっている。特に９００ｎｍ付近から１０００ｎｍ付近、および１３００ｎｍ付近から１４００ｎｍ付近にかけて、砂糖の反射スペクトルは、急峻な勾配を有している。この急峻な勾配を有する部分は、物質の反射スペクトルのなかで変化の大きい特徴的なスペクトル形状を示しており、この部分を示すスペクトル特徴量に関する情報が後述する演算処理により生成される。
【００３６】
砂糖のスペクトル強度は、９００ｎｍ付近から１０００ｎｍ付近にかけて、約０．０１から約０．３５まで上昇する。また、砂糖のスペクトル強度は、１３００ｎｍ付近から１４００ｎｍ付近にかけて、約１．０から約０．１５まで下降する。
【００３７】
図５は、被写体の反射スペクトルと３種類のバンドパスフィルターの分光透過率との関係を説明する図である。横軸は波長［ｎｍ］を示し、縦軸は反射率および透過率を示す。なお、図４と同様に被写体として砂糖を例に挙げ、９００ｎｍから１７００ｎｍにおける反射スペクトルを示す。
【００３８】
ＮＩＲ１の透過波長帯域に亘って、砂糖の反射スペクトルは相対的に高い反射率を示している。また、ＮＩＲ３の透過波長帯域に亘って、砂糖の反射スペクトルは相対的に低い反射率を示している。ＮＩＲ２の透過波長帯域には、砂糖の反射スペクトルが急激に変化する波長帯域が含まれている。ＮＩＲ２の透過波長帯域には、相対的に反射率が高い帯域と相対的に反射率が低い帯域とが含まれている。
【００３９】
照射光の強度が波長全域に亘って一定（＝１．０）であると仮定した場合、撮像素子１００の光電変換部に入射する光の強度値は、対応するバンドパスフィルターの分光透過率と被写体の反射率の積を当該バンドパスフィルターの透過波長帯域に亘って積分した値である。このため、図５に示したように、被写体のスペクトルが変化する波長帯域が、バンドパスフィルターの透過波長帯域内の微小帯域である場合には、その強度変化を検出することができない。したがって、最終的に生成される可視画像データには、当該スペクトルの変化が反映されず、結果として、観察者にとって弁別性の低い画像となる。
【００４０】
そこで、本実施形態においては、波長軸方向に周期性をもつ光を出射する多波長可変光源２３０を用いて、互いに位相の異なる２種類の照射光にて照明することにより、バンドパスフィルターの透過波長帯域内のスペクトル変化を検出する。また、当該検出結果を用いて、観察者にとって弁別性の良好な画像を生成する。
【００４１】
図６は、本実施形態における多波長光源の発光スペクトル特性を説明する図である。横軸は波長［ｎｍ］を示し、縦軸は正規化強度を示す。本実施形態における多波長可変光源２３０は、発光スペクトルが波長に対して周期性を有する光を出射する。換言すると、多波長可変光源２３０は、波長軸方向に強度が振動する発光スペクトルを有する光を出射する。以降の説明において、多波長可変光源２３０が出射する光の波長軸方向の強度の振動周期長を波長周期長と、また波長軸方向の周波数を波長周波数と、波長軸方向の位相を単に位相と称する場合がある。
【００４２】
多波長可変光源２３０は、波長軸方向に正弦波状に振動する光を出射する。ここで、多波長可変光源２３０から出射される光の発光スペクトル特性（スペクトル強度Ｉ（λ））は、下記の数式１で表される。
【００４３】
［数式１］
Ｉ（λ）＝Ｉ０／２×｛１＋ｓｉｎ（２πλ／Λ＋α）｝
ここで、波長をλ、最大振幅をＩ０、波長周期長をΛ、初期位相をαとする。
【００４４】
制御部２０１の制御によって、変調部２３２は出射光の最大振幅Ｉ０、波長周期長Λおよび初期位相αの少なくともいずれかを調整できる。本実施形態においては、変調部２３２は、初期位相αを変調する。図６（ａ）は、第１照射光の発光スペクトルである第１分光分布の一例を示す。また、図６（ｂ）は、第２照射光の発光スペクトルである第２分光分布の一例を示す。第１分光分布および第２分光分布は、波長帯域フィルターのそれぞれの透過波長帯域の少なくとも一部において周期性を有する。図６（ａ）および図６（ｂ）に示した第１分光分布と第２分光分布は、それぞれ波長周期長Λが１００ｎｍであり、互いに初期位相αがπ／２ずれている。また、本実施形態において、第１分光分布および第２分光分布は、波長帯域フィルターのそれぞれの透過波長帯域の少なくとも一部において強度を有さない。ここで、「強度を有さない」とは、光の強度がゼロである場合に加えて、実質的に強度を有さない場合を含む。換言すると、照射される光において、バンドパスフィルターの透過波長帯域の一部の波長の光が実質的に含まれなければよい。図６（ａ）を用いて説明すると、第１分光分布は、例えば９８０ｎｍ、１０８０ｎｍ、１１８０ｎｍ等の波長において、強度がゼロである。すなわち、第１照射光は、これらの波長の光を含まない。本実施形態におけるデジタルカメラ１０は、図６（ａ）と図６（ｂ）のように、互いに位相の異なる発光スペクトル特性を有する第１照射光および第２照射光をそれぞれ対象物に照射する。
【００４５】
図７は、第１および第２照射光のそれぞれの照明下においてＮＩＲ１を通して砂糖を撮影したときのスペクトルを示す図である。横軸は波長［ｎｍ］を示し、縦軸は照射光の最大強度を１．０とした正規化強度を示す。図７において、実線で表されたスペクトルは、図６（ａ）に示した発光スペクトル特性を有する第１照射光を照射して、ＮＩＲ１を通して砂糖を撮影したときのスペクトルを示す。また、図７において、一点鎖線で表されたスペクトルは、図６（ｂ）に示した発光スペクトル特性を有する第２照射光を照射して、ＮＩＲ１を通して砂糖を撮影したときのスペクトルを示す。以降の説明において、第１照射光の照射により得られたスペクトルを第１スペクトル、第２照射光の照射により得られたスペクトルを第２スペクトルと称する場合がある。
【００４６】
図７において、第１スペクトルは、図３に示したＮＩＲ１フィルターの分光透過率と図６（ａ）に示した発光スペクトルと図４に示した砂糖の反射スペクトルとを掛け合わせた結果である。また、第２スペクトルは、図３に示したＮＩＲ１フィルターの分光透過率と図６（ｂ）に示した発光スペクトルと図４に示した砂糖の反射スペクトルとを掛け合わせた結果である。なお、説明を簡単にするために、撮像素子１００の分光感度特性は全ての波長帯域で１．０とする。
【００４７】
図７において、第１スペクトルは、１２５０ｎｍ付近および１３３０ｎｍ付近に、それぞれ約０．２および約０．８のピークを有する。一方、第２スペクトルは、１３００ｎｍ付近および１３７０ｎｍ付近に、それぞれ約０．７５および約０．２のピークを有する。
【００４８】
図８は、第１および第２照射光の各照明下においてＮＩＲ２フィルターを通して砂糖を撮影したときのスペクトルを示す図である。横軸は波長［ｎｍ］を示し、縦軸は照射光の最大強度を１．０とした正規化強度を示す。図８においも、第１スペクトルを実線で示し、第２スペクトルを一点鎖線で示す。
【００４９】
図８において、第１スペクトルは、図３に示したＮＩＲ２フィルターの分光透過率と図６（ａ）に示した発光スペクトルと図４に示した砂糖の反射スペクトルとを掛け合わせた結果である。また、第２スペクトルは、図３に示したＮＩＲ２フィルターの分光透過率と図６（ｂ）に示した発光スペクトルと図４に示した砂糖の反射スペクトルとを掛け合わせた結果である。なお、説明を簡単にするために、撮像素子１００の分光感度特性は全ての波長帯域で１．０とする。
【００５０】
図８において、第１スペクトルは、１３５０ｎｍ付近、１４２０ｎｍ付近および１４４０ｎｍ付近に、それぞれ約０．２、約０．１３および約０．２のピークを有する。一方、第２スペクトルは、１３８０ｎｍ付近および１４７０ｎｍ付近に、それぞれ約０．４３および約０．０７のピークを有する。
【００５１】
図９は、第１および第２照射光の各照明下においてＮＩＲ３フィルターを通して砂糖を撮影したときのスペクトルを示す図である。横軸は波長［ｎｍ］を示し、縦軸は入射光の最大強度を１．０とした正規化強度を示す。図９においても、第１スペクトルを実線で示し、第２スペクトルを一点鎖線で示す。
【００５２】
図９において、第１スペクトルは、図３に示したＮＩＲ３フィルターの分光透過率と図６（ａ）に示した発光スペクトルと図４に示した砂糖の反射スペクトルとを掛け合わせた結果である。また、第２スペクトルは、図３に示したＮＩＲ３フィルターの分光透過率と図６（ｂ）に示した発光スペクトルと図４に示した砂糖の反射スペクトルとを掛け合わせた結果である。なお、説明を簡単にするために、撮像素子１００の分光感度特性は全ての波長帯域で１．０とする。
【００５３】
図９において、第１スペクトルは、１４５０ｎｍ付近および１５３０ｎｍ付近に、それぞれ約０．０６および約０．２のピークを有する。一方、第２スペクトルは、１４９０ｎｍ付近および１５７０ｎｍ付近に、それぞれ約０．１６および約０．０６のピークを有する。
【００５４】
図７から図９を用いて説明したように、ＮＩＲ１およびＮＩＲ３においては、第１スペクトルと第２スペクトルの強度の積分値の差は比較的小さい。一方、ＮＩＲ２においては、第１スペクトルと第２スペクトルの強度の積分値の差は比較的大きい。このように、バンドパスフィルターの透過波長帯域内における反射スペクトルの変化を、第１照射光を照射した場合のスペクトルと第２照射光を照射した場合のスペクトルの積分値の差から検出することができる。
【００５５】
図１０は、各バンドパスフィルターの第１画像レイヤーデータおよび第２画像レイヤーデータの模式図である。図１０（ａ）は、第１画像レイヤーデータを示し、図１０（ｂ）は、第２画像レイヤーデータをそれぞれ示す。領域８０１は、「塩」の画像領域を含むデータ領域である。領域８０２は、「合成甘味料」の画像領域を含むデータ領域である。領域８０３は、「砂糖」の画像領域を含むデータ領域である。
【００５６】
図１０（ａ）は、第１画像レイヤーデータ４０１、第１画像レイヤーデータ４０２および第１画像レイヤーデータ４０３を示す。第１画像レイヤーデータ４０１は、ＮＩＲ１に対応する第１画像レイヤーデータである。第１画像レイヤーデータ４０２は、ＮＩＲ２に対応する第１画像レイヤーデータである。第１画像レイヤーデータ４０３は、ＮＩＲ３に対応する第１画像レイヤーデータである。
【００５７】
図１０（ｂ）は、第２画像レイヤーデータ５０１、第２画像レイヤーデータ５０２および第２画像レイヤーデータ５０３を示す。第２画像レイヤーデータ５０１は、ＮＩＲ１に対応する第２画像レイヤーデータである。第２画像レイヤーデータ５０２は、ＮＩＲ２に対応する第２画像レイヤーデータである。第２画像レイヤーデータ５０３は、ＮＩＲ３に対応する第２画像レイヤーデータである。
【００５８】
図１０（ａ）および図１０（ｂ）の領域８０１および領域８０２に注目すると、第１画像レイヤーデータ４０２と第２画像レイヤーデータ５０２の間で、それぞれ同一のハッチングで表現されている。これは、第１照射光を照射した場合と第２照明光を照射した場合とで、領域８０１および領域８０２における画素値に顕著な差が表れていないことを示す。
【００５９】
一方、領域８０３に注目すると、第１画像レイヤーデータ４０２と第２画像レイヤーデータ５０２の間で、互いに異なるハッチングで表現されている。これは、第１照射光を照射した場合と第２照明光を照射した場合とで、領域８０３における画素値に差が表れたことを示す。
【００６０】
図１１は、第１画像レイヤーデータと第２画像レイヤーデータ間における特定領域の抽出処理を説明する説明図である。特に、図１１は、図１０を用いて説明した第１画像レイヤーデータ４０２と第２画像レイヤーデータ５０２において、特定領域を抽出する処理を示す。画像処理部２０５は、第１画像レイヤーデータ４０２と第２画像レイヤーデータ５０２に対して、以下の特定領域の抽出処理を実行する。
【００６１】
画像処理部２０５は、局所ウィンドウ４１２、５１２を設定する。局所ウィンドウ４１２、５１２は、中心画素４１１、５１１をそれぞれ中心とする、例えば５×５画素分の方形の領域である。
【００６２】
画像処理部２０５は、第１画像レイヤーデータ４０２上の全ての領域に対して、局所ウィンドウ４１２を第１画像レイヤーデータ４０２の左上端から矢印の方向に沿って右下端まで順に走査させながら、局所ウィンドウ４１２内の画素値の積算値を算出する。以下の説明において、局所ウィンドウ内の画素値の積算値を積算画素値と称する場合がある。画像処理部２０５は、積算画素値を算出するごとに、当該積算画素値を中心画素４１１の座標位置と対応付けてシステムメモリ２０６に格納する。以下の説明において、当該座標を検出座標と称する場合がある。
【００６３】
同様に、画像処理部２０５は、第２画像レイヤーデータ５０２上の全ての領域に対して、局所ウィンドウ５１２を第２画像レイヤーデータ５０２の左上端から矢印の方向に沿って右下端まで順に走査させながら、局所ウィンドウ５１２内の画素値の積算値を算出する。画像処理部２０５は、積算画素値を算出するごとに、当該積算画素値を中心画素５１１の座標位置と対応付けてシステムメモリ２０６に格納する。なお、画像処理部２０５は、ＮＩＲ１およびＮＩＲ３に対応する画像レイヤーデータについても、同様の処理を実行する。
【００６４】
図１２は、画像レイヤーデータの領域８０３内に含まれるある局所ウィンドウ内における画素値の積算値を、照射光およびバンドパスフィルターごとに棒グラフで示した図である。特に、図１２は、図１１を用いて説明した、ある検出座標位置における積算画素値のグラフである。横軸はバンドパスフィルターの種類を示し、縦軸は積算画素値を示す。
【００６５】
図１２において、積算画素値は、ＮＩＲ１からＮＩＲ３へ向けて減少する。光電変換部が受光する受光量は、画素値と比例関係にあるので、解析対象の部分領域において、ＮＩＲ１の透過波長帯域の受光量よりもＮＩＲ３の透過波長帯域の受光量の方が小さいことが分かる。これは、局所ウィンドウに含まれる物質の反射率が、ＮＩＲ１の透過波長帯域よりもＮＩＲ３の透過波長帯域で低いことを示している。
【００６６】
更に、第１照射光と第２照射光の照明下における積算画素値を比較する。図１２において、積算画素値グラフ３０１および積算画素値グラフ３０２は、ＮＩＲ１フィルターに対応した画像レイヤーデータにおける局所ウィンドウ内の積算画素値を示す。積算画素値グラフ３０１は、第１画像レイヤーデータの積算画素値を示す。一方、積算画素値グラフ３０２は、第２画像レイヤーデータの積算画素値を示す。
【００６７】
積算画素値グラフ３０１より、第１照射光の照明下において積算画素値は約４５である。一方、積算画素値グラフ３０２より、第２照射光の照明下において積算画素値は約４４を示す。したがって、第１照射光と第２照射光の照明下における部分領域の積算画素値の差は約１である。
【００６８】
図１２において、積算画素値グラフ３０３および積算画素値グラフ３０４は、ＮＩＲ２フィルターに対応した画像レイヤーデータにおける局所ウィンドウ内の積算画素値を示す。積算画素値グラフ３０３は、第１画像レイヤーデータの積算画素値を示す。一方、積算画素値グラフ３０４は、第２画像レイヤーデータの積算画素値を示す。
【００６９】
積算画素値グラフ３０３より、第１照射光の照明下において積算画素値は約１８である。一方、積算画素値グラフ３０４より、第２照射光の照明下において積算画素値は約２２である。したがって、第１照射光と第２照射光の照明下における部分領域の積算画素値の差は約４である。
【００７０】
図１２において、積算画素値グラフ３０５および積算画素値グラフ３０６は、ＮＩＲ３フィルターに対応した画像レイヤーデータにおける局所ウィンドウ内の積算画素値を示す。積算画素値グラフ３０５は、第１画像レイヤーデータの積算画素値を示す。一方、積算画素値グラフ３０６は、第２画像レイヤーデータの積算画素値を示す。
【００７１】
積算画素値グラフ３０５の積算画素値は、約１２を示す。積算画素値グラフ３０６の積算画素値は、約１１を示す。したがって、第１照射光と第２照射光の照明下における部分領域の積算画素値の差は約１である。
【００７２】
図１２に示した積算画素値グラフ３０１から３０６より、ＮＩＲ２に対応する画像レイヤーデータにおいて、第１照射光と第２照射光の照明下における積算画素値の差が、他のバンドパスフィルターと比較して大きいことが分かる。これは、ＮＩＲ２の透過波長帯域において、吸収量に変化があること、すなわち対象物の反射スペクトルの変化勾配が大きな領域が含まれていることを示している。図１１を用いて説明したように、本実施形態では、画像処理部２０５は、第１画像レイヤーデータおよび第２画像レイヤーデータのそれぞれの画像領域において局所ウィンドウを走査しながら積算画素値を順次演算する。そして、第１画像レイヤーデータと第２画像レイヤーデータの間で、画像上での同一の位置どうしの積算画素値の差分値を示す差分情報を被写体のスペクトル情報として生成する。
【００７３】
図１３は、各バンドパスフィルターの画像レイヤーデータにおいて抽出された特定領域を示す図である。画像処理部２０５は、以下のように特定領域を特定する。なお、図１１の説明と同様に、ＮＩＲ２に対応する画像レイヤーデータにおける処理を例に挙げて説明する。
【００７４】
画像処理部２０５は、システムメモリ２０６から格納した検出座標と積算画素値のデータを読み出して、第１画像レイヤーデータ４０２と第２画像レイヤーデータ５０２の同一の検出座標における積算画素値の差を算出する。そして、算出した差が予め定められた閾値を超えた場合に、画像処理部２０５は、検出座標を特徴点として抽出する。画像処理部２０５は、特徴点として抽出した検出座標をバンドパスフィルターの識別子と関連付けてシステムメモリ２０６に格納する。そして、画像処理部２０５は、特徴点として抽出した検出座標のうち、算出した差が実質的に同一である検出座標に対応する局所ウィンドウの領域を特定領域として特定する。なお、算出した差が実質的に同一であるとは、ノイズや計測誤差などにより若干の差異が生ずる場合を含むことを意味する。以下の説明において、算出した差が実質的に同一である検出座標を特定座標と称する場合がある。なお、画像処理部２０５は、ＮＩＲ１およびＮＩＲ３に対応する画像レイヤーデータについても、同様の処理を実行する。
【００７５】
図１３（ａ）は、差分画像データ６０１を示す。差分画像データ６０１は、第１画像レイヤーデータ４０１と第２画像レイヤーデータ５０１に対して、それぞれ対応する検出座標において、互いの積算画素値の差を算出して、検出座標位置に対応させて配列した二次元配列データである。また、図１３（ａ）には、特定領域７０１が示されている。特定領域７０１は、抽出された特定座標のそれぞれを中心として局所ウィンドウを配置した場合の、それぞれの局所ウィンドウ領域の論理和を取った領域である。
【００７６】
図１３（ｂ）は、差分画像データ６０２を示す。差分画像データ６０２は、第１画像レイヤーデータ４０２と第２画像レイヤーデータ５０２に対して、それぞれ対応する検出座標において、互いの積算画素値の差を算出して、検出座標位置に対応させて配列した二次元配列データである。また、図１３（ｂ）には、特定領域７０２が示されている。特定領域７０２は、抽出された特定座標のそれぞれを中心として局所ウィンドウを配置した場合の、それぞれの局所ウィンドウ領域の論理和を取った領域である。
【００７７】
図１３（ｃ）は、差分画像データ６０３を示す。差分画像データ６０３は、第１画像レイヤーデータ４０３と第２画像レイヤーデータ５０３に対して、それぞれ対応する検出座標において、互いの積算画素値の差を算出して、検出座標位置に対応させて配列した二次元配列データである。
【００７８】
図１３（ａ）から図１３（ｃ）を参照すると、図１２を用いて説明したように、特定領域７０１は、ＮＩＲ１の透過波長帯域（１１７０ｎｍから１４５０ｎｍ）において、スペクトルの変化が比較的大きな物質の存在領域を示している。また、特定領域７０２は、ＮＩＲ２の透過波長帯域（１２７０ｎｍから１５５０ｎｍ）において、スペクトルの変化が比較的大きな物質の存在領域を示している。
【００７９】
図１４は、抽出した特定領域にエフェクト処理を行った出力画像の一例を示す図である。特に、図１０から図１３を用いて説明した処理によって抽出された特定領域に対して、輪郭強調処理を行った出力画像９００を示している。
【００８０】
出力画像９００には、「塩」の画像領域である領域８０１、「合成甘味料」の画像領域である領域８０２および「砂糖」の画像領域である領域８０３が示されている。また、領域８０２および領域８０３上には、輪郭７１０および輪郭７２０が重畳表示されている。
【００８１】
輪郭７１０は、ＮＩＲ１に対応する画像レイヤーデータから抽出された特定領域に対応する。また、輪郭７２０は、ＮＩＲ２に対応する画像レイヤーデータから抽出された特定領域に対応する。図１４に示すように、本実施形態においては、どのバンドパスフィルターで抽出された特定領域であるのかを明示するために、輪郭７１０と輪郭７２０は異なった色相となるようにエフェクト処理が行われる。例えば、輪郭７１０を青色で表示し、輪郭７２０を赤色で表示する。
【００８２】
本実施形態においては、ＮＩＲ１フィルターからＮＩＲ３フィルターのうち、どの波長領域で被写体のスペクトルが変化するのかを把握することができる。このため、特定の物質には、特定の色を割り当てるようなエフェクト処理を行うことにより、色で物質の画像領域を判別することができる。これにより、近赤外帯域における吸収帯が既知の物質を、視覚的に特定することができる。
【００８３】
以上で説明したように、本実施形態におけるデジタルカメラ１０は、比較的広い透過波長帯域をもつ３種類のバンドパスフィルターを用いて、それぞれの位相が異なる２種類の照明を照射して撮影した撮像データから、撮影対象物の反射率の分光特性が急激に変化する波長帯域を把握することができる。換言すると、デジタルカメラ１０は、バンドパスフィルターの透過波長帯域の互いに異なる一部の波長帯域をマスクする２つの照射光を照射することにより、透過波長帯域に亘って多重化された光の強度情報を分離する。
【００８４】
また、第１画像レイヤーデータおよび第２画像レイヤーデータより抽出した特定領域に対応する画像領域に対して、色彩強調や輪郭強調などのエフェクト処理を行うことにより、最終的に生成される可視画像の弁別性を向上させることができる。
【００８５】
図１５は、デジタルカメラ１０における処理手順を示すフローチャート図である。本フローに示すプログラムは、システムメモリ２０６に格納されており、当該プログラムを制御部２０１が呼び出して実行することによって実現される。本フローは、例えば、デジタルカメラ１０の電源がオンされて、撮影可能状態になった時点で開始される。以下の本フローの説明において、デジタルカメラ１０を構成する要素は、いずれも制御部２０１による制御により動作する。
【００８６】
ユーザによるレリーズスイッチのＳＷ２を操作部２０８が検知すると、制御部２０１の制御により、デジタルカメラ１０は第１照射光を被写体に照射して、被写体像の第１画像データを生成する（ステップＳ１０１）。そして、デジタルカメラ１０は、第１画像データをワークメモリ２０３に格納する。
【００８７】
次に、制御部２０１の制御により、変調部２３２は第１照射光の位相を変調する（ステップＳ１０２）。本実施形態において、位相の変調量はπ／２である。そして、制御部２０１の制御により、デジタルカメラ１０は第２照射光を被写体に照射して、被写体像の第２画像データを生成する（ステップＳ１０３）。そして、デジタルカメラ１０は、第２画像データをワークメモリ２０３に格納する。
【００８８】
画像処理部２０５は、撮像データをワークメモリ２０３より読み込む。画像処理部２０５は、第１画像データおよび第２画像データから各バンドパスフィルターに対応する第１画像レイヤーデータおよび第２画像レイヤーデータを生成する（ステップＳ１０４）。画像処理部２０５は、生成した画像レイヤーデータをワークメモリ２０３に格納する。
【００８９】
画像処理部２０５は、ステップＳ１０４で生成した画像レイヤーデータから、図１０から図１３を用いて説明した方法で、特定領域を抽出する（ステップＳ１０５）。そして、抽出した特定領域の情報をワークメモリ２０３に格納する。
【００９０】
画像処理部２０５は、ステップＳ１０５で抽出した特定領域にエフェクト処理を行った可視画像データを生成する（ステップＳ１０６）。具体的には、画像処理部２０５は、画像レイヤーデータをワークメモリ２０３から読み込む。そして、バンドパスフィルターごとに第１画像レイヤーデータと第２画像レイヤーデータの各画素を加算平均した画像レイヤーデータを生成する。画像処理部２０５は、当該画像レイヤーデータに対して可視帯域での色空間を関連付けて可視画像データを生成する。具体的には、画像処理部２０５は、当該画像レイヤーデータにＲＧＢを割り当てて、可視画像データを生成する。例えば、ＮＩＲ１に対応する画像レイヤーデータに青色（Ｂ）を割り当て、ＮＩＲ２に対応する画像レイヤーデータに緑色（Ｇ）を割り当て、ＮＩＲ３に対応する画像レイヤーデータに赤色（Ｒ）を割り当てる。
【００９１】
このとき、可視画像データに対して、図１４を用いて説明したようなエフェクト処理を行う。これにより、観察者は、近赤外帯域のスペクトルが変化する領域を識別することが容易になる。
【００９２】
制御部２０１は、ＬＣＤ駆動回路２１０を介して、生成した可視画像データを表示部２０９に可視画像として表示する（ステップＳ１０７）。そして、制御部２０１は、ユーザから撮影終了の指示があったか否かを判断する（ステップＳ１０８）。ユーザからの撮影終了の指示がなかったと判断した場合には（ステップＳ１０８でＮＯ）、制御部２０１は、ステップＳ１０１に移行して、以降のフローを継続する。一方、ユーザからの撮影終了の指示があったと判断した場合には（ステップＳ１０８でＹＥＳ）、制御部２０１は、一連のフローを終了する。
【００９３】
本実施形態では、第１照射光が照射されるタイミングと第２照射光が照射されるタイミングとにおいてそれぞれ撮像処理を行うように撮像素子１００を制御した。しかし、第１照射光と第２照射光がそれぞれ照射されるタイミングと撮像処理のタイミングとを同期させる積極的な制御を行わなくてもよい。この場合には、予め定められたタイミングで画像データを連続的にワークメモリ２０３に取り込む。一方、第１照射光と第２照射光とを予め定められた周期で切り替えて照射する。そして、撮像操作を受け付けた場合に、直前に取り込まれた画像データのうち、第１照射光の照射時間と取り込み時間が重なる画像データを第１画像データとして特定する。同様に、第２照射光の照射時間と取り込み時間が重なる画像データを第２画像データとして特定する。なお、第１照射光と第２照射光のそれぞれの発光時間は、発光開始時間を記憶しておくことにより、切り替え周期から特定することができる。また、それぞれの画像データの取り込み時間は、画像データの取り込み開始時間を記憶しておくことにより、取り込み周期から特定することができる。このため、第１照射光が照射されたタイミングで取り込まれた画像データを特定することができる。同様に、第２照射光が照射されたタイミングで取り込まれた画像データを特定することができる。
【００９４】
本実施形態では、非可視の波長帯域として近赤外波長帯域を例に説明したが、他の波長帯域においても同様の処理を適用することができる。例えば、２００ｎｍから３８０ｎｍの波長帯域の紫外波長帯域において同様の処理を適用し得る。これにより、紫外波長帯域に吸収帯をもつ観察対象物においても、観察者にとって色弁別が良好な画像を生成することができる。
【００９５】
本実施形態では、３種類のバンドパスフィルターを有するデジタルカメラを一例として説明したが、４種類以上のバンドパスフィルターを有していてもよい。この場合には、例えば、３種類のバンドパスフィルターに対応する画像レイヤーデータを適宜選択して、ＲＧＢを割り当てることにより可視画像データを生成する。
【００９６】
本実施形態では、撮像素子１００の各画素に複数のバンドパスフィルターのいずれかが配置されたマルチバンドパスフィルターを用いる例を説明した。しかし、撮像素子とバンドパスフィルターの関係はこれに限らない。例えば、撮像素子１００の各画素にはオンチップのバンドバスフィルターを設けず、複数のバンドパスフィルターのいずれかが順番に撮像素子１００の全画素を覆うような動的な機構を備えるように構成してもよい。この場合は、バンドパスフィルターを移動させるごとに第１照射光と第２照射光を異なる発光タイミングで照射して撮像し、第１画像データおよび第２画像データを取得する。
【００９７】
また、公知のいわゆる３板式と同様の構成を採用することもできる。すなわち、バンドパスフィルターの種類と同数の撮像素子を備え、被写体光束を複数のハーフミラーあるいはダイクロイックミラーで分光する。ダイクロイックミラーを採用する場合は、撮像素子上に別個のバンドパスフィルターを設けず、ダイクロイックミラーの分光波長特性を所与のバンドパスフィルターの特性に合わせて調整する。
【００９８】
本実施形態では、多波長可変光源２３０の発光スペクトルとして連続した正弦波形状のスペクトルを一例として説明したが、発光スペクトルは他の波形でもよく、矩形波、三角波、鋸波などの波形であってもよい。
【００９９】
本実施形態では、多波長可変光源２３０の発光波長帯域がバンドパスフィルターの透過波長帯域以外の波長帯域も含む例を用いて説明したが、バンドパスフィルターの透過波長帯域にのみ発光波長帯域をもたせてもよい。
【０１００】
本実施形態では、多波長可変光源２３０の発光スペクトルとして連続した正弦波形状のスペクトル、すなわち波長に対して周期性を有するスペクトルを一例として説明した。しかし、波長に対して周期性を有していなくてもよい。例えば、多波長可変光源２３０は、比較的発光波長帯域の狭いパルス状の照射光を経時的に波長軸方向にシフト（スウィープ）させながら発光する光源であってもよい。この場合には、スウィープのタイミングと同期させて撮像データを取得するように構成する。
【０１０１】
本実施形態では、多波長可変光源２３０の発光スペクトルとして、バンドパスフィルターの透過波長帯域の少なくとも一部において、波長に対して一定の周期性を有するスペクトルを一例として説明した。しかし、当該周期は一定でなくてもよい。例えば、バンドパスフィルターの透過波長帯域の少なくとも一部において、周期性は変化してもよい。これにより、当該透過波長帯域の一部の波長帯域において、被写体の近赤外帯域の反射スペクトルの変化を検出する波長分解能を部分的に調整することができる。
【０１０２】
本実施形態では、第１照射光および第２照射光を照射して得られた第１画像データおよび第２画像データを用いて、可視画像データを生成した。しかし、可視画像データの生成は、他の発光スペクトルを有する第３照射光を別途照射して撮像することによって得られた画像データを用いて行ってもよい。この場合には、１回の撮像操作において、第１照射光、第２照射光および第３照射光をそれぞれ切り替えて撮像処理を行うように制御する。第３照射光の発光スペクトルとしては、例えば、波長帯域フィルターのそれぞれの透過波長帯域において周期性がない白色光などを採用し得る。そして、第３照射光に対応する被写体からの光を撮像して得られた第３出力値に対して、上述したように可視帯域での色空間を関連付けて可視画像データを生成すればよい。これにより、同一の被写体に対して、第１照射光と第２照射光の発光スペクトルを変化させても、エフェクト処理を施す原画像データとなる可視画像データは変化しない。このため、第１照射光および第２照射光の発光スペクトルを調整する場合にも、弁別対象である特定領域以外の領域について見え方の変化が生じない。
【０１０３】
本実施形態では、静止画像を取得するデジタルカメラを一例として説明したが、取得した撮像データからライブビュー画像データを生成して、表示部にライブビュー画像として表示するように構成してもよい。この場合、例えば、第１照射光と第２照射光を６０Ｈｚで切り替えながら撮像データを取得するように構成すれば、フレームレートが３０ｆｐｓの動画としてライブビュー画像表示することができる。これにより、ライブビュー画像を確認しながら、リアルタイムで多波長可変光源２３０の発光スペクトルを調節することができる。
【０１０４】
本実施形態では、デジタルカメラの構成の一例として多波長可変光源２３０の照射光の出射軸と撮影レンズ２０の光軸２１とが異なる構成を用いて説明した。しかしながら、本発明に係る撮像装置を、腹腔鏡手術などで使用する内視鏡に適用する場合には、ハーフミラー等を光軸２１上に配置して、一部の光軸を共有するように構成してもよい。このように構成することにより、内視鏡の径を小さくすることができる。
【０１０５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【０１０６】
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０７】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、１００  撮像素子、１０１  単位４画素、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  ワークメモリ、２０４  駆動部、２０５  画像処理部、２０６  システムメモリ、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  ＬＣＤ駆動回路、２１１  通信部、２２０  メモリカード、２３０  多波長可変光源、２３２  変調部、２３４  発光部、３０１  積算画素値グラフ、３０２  積算画素値グラフ、３０３  積算画素値グラフ、３０４  積算画素値グラフ、３０５  積算画素値グラフ、３０６  積算画素値グラフ、４０１  第１画像レイヤーデータ、４０２  第１画像レイヤーデータ、４０３  第１画像レイヤーデータ、４１１  中心画素、４１２  局所ウィンドウ、５０１  第２画像レイヤーデータ、５０３  第２画像レイヤーデータ、５０３  第２画像レイヤーデータ、５１１  中心画素、５１２  局所ウィンドウ、６０１  差分画像データ、６０２  差分画像データ、６０３  差分画像データ、７０１  特定領域、７０２  特定領域、７１０  輪郭、７２０  輪郭、８０１  領域、８０２  領域、８０３  領域、９００  出力画像
【図１】
2017061432.tif 000003
【図２】
2017061432.tif 000004
【図３】
2017061432.tif 000005
【図４】
2017061432.tif 000006
【図５】
2017061432.tif 000007
【図６】
2017061432.tif 000008
【図７】
2017061432.tif 000009
【図８】
2017061432.tif 000010
【図９】
2017061432.tif 000011
【図１０】
2017061432.tif 000012
【図１１】
2017061432.tif 000013
【図１２】
2017061432.tif 000014
【図１３】
2017061432.tif 000015
【図１４】
2017061432.tif 000016
【図１５】
2017061432.tif 000017
【手続補正書】
【提出日】平成30年2月20日(2018.2.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
可視外の波長を通過帯域とし、中心波長が最も近いフィルターどうしの前記通過帯域の一部が互いに重なり合う複数の波長帯域フィルターのそれぞれを通過した被写体からの光を撮像する撮像素子と、
前記複数の波長帯域フィルターのそれぞれの前記通過帯域と一部が重なり合う第１分光分布を有する第１照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させ、前記複数の波長帯域フィルターのそれぞれの前記通過帯域と一部が重なり合う、前記第１分光分布とは異なる第２分光分布を有する第２照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させる制御部と
を備え、
前記第１分光分布および前記第２分光分布は、前記複数の波長帯域フィルターのそれぞれの前記通過帯域の少なくとも一部において強度を有さない分布である撮像装置。
【請求項２】
前記第１照射光により撮像された前記撮像素子からの第１出力値と、前記第２照射光により撮像された前記撮像素子からの第２出力値に基づいて、前記被写体のスペクトル特徴量に関する情報を生成する解析部とを備える請求項１に記載の撮像装置。
【請求項３】
前記解析部は、前記情報として、前記第１出力値と前記第２出力値との差分情報を生成する請求項２に記載の撮像装置。
【請求項４】
前記解析部は、前記被写体が撮像された画像において、前記スペクトル特徴量が実質的に同一である特定領域を特定する請求項２または３に記載の撮像装置。
【請求項５】
前記制御部は、前記複数の波長帯域フィルターのそれぞれの前記通過帯域において分光分布が周期性を有さない第３照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させ、
前記複数の波長帯域フィルターのそれぞれを通過した前記第３照射光により撮像された前記撮像素子からの第３出力値に、可視帯域での色空間を関連付けて生成された可視画像データに対して、前記特定領域を強調した強調画像データを生成する画像生成部を備える請求項４に記載の撮像装置。
【請求項６】
前記第１分光分布および前記第２分光分布は、前記通過帯域の少なくとも一部において周期性を有し、
前記第１分光分布と前記第２分光分布は、前記周期性における位相が互いに異なる分布である請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１分光分布および前記第２分光分布は、前記通過帯域の少なくとも一部において、周期性が変化する分布である請求項１から５のいずれか１項に記載の撮像装置。
【請求項８】
前記制御部は、前記第１分光分布および前記第２分光分布の少なくともいずれかに対する前記周期性における位相、周期、および強度の少なくともいずれかを調整する請求項６または７に記載の撮像装置。
【請求項９】
前記第１照射光と前記第２照射光とを照射する照射部を備え、
前記制御部は、前記第１照射光と前記第２照射光とを切り替えて照射する請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
可視外の波長を通過帯域とし、中心波長が最も近いフィルターどうしの前記通過帯域の一部が互いに重なり合う複数の波長帯域フィルターのそれぞれを通過した被写体からの光を撮像する撮像素子を備える撮像装置の撮像プログラムであって、
前記複数の波長帯域フィルターのそれぞれの前記通過帯域と一部が重なり合う第１分光分布を有する第１照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させる第１撮像処理ステップと、
前記複数の波長帯域フィルターのそれぞれの前記通過帯域と一部が重なり合う、前記第１分光分布とは異なる第２分光分布を有する第２照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させる第２撮像処理ステップと
をコンピュータに実行させ、
前記第１分光分布および前記第２分光分布は、前記複数の波長帯域フィルターのそれぞれの前記通過帯域の少なくとも一部において強度を有さない分布である撮像プログラム。
【請求項１１】
可視外の波長を通過帯域とし、中心波長が最も近いフィルターどうしの前記通過帯域の一部が互いに重なり合う複数の波長帯域フィルターのそれぞれを通過した被写体からの光を撮像する撮像素子を備える撮像装置の撮像方法であって、
前記複数の波長帯域フィルターのそれぞれの前記通過帯域と一部が重なり合う第１分光分布を有する第１照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させることと、
前記複数の波長帯域フィルターのそれぞれの前記通過帯域と一部が重なり合う、前記第１分光分布とは異なる第２分光分布を有する第２照射光が照射された前記被写体からの前記光を前記撮像素子に撮像させることと
を含み、
前記第１分光分布および前記第２分光分布は、前記複数の波長帯域フィルターのそれぞれの前記通過帯域の少なくとも一部において強度を有さない分布である撮像方法。
【国際調査報告】
2017061432.tif 000018
2017061432.tif 000019