(57)【要約】【課題】分光カメラにおいて、画質の低下や装置規模の増大を抑えつつ、バンド数を増やす技術を提供することが一例として挙げられる。【解決手段】撮像装置１０は、撮像素子１２０、複数の光フィルタ１４０、および駆動部１６０を備える。複数の光フィルタ１４０は、互いに異なる透過スペクトルを有する。駆動部１６０は、撮像素子１２０の受光面１２１に対する複数の光フィルタ１４０の傾きをそれぞれ変化させる。複数の光フィルタ１４０を通過した光は、それぞれ受光面１２１の異なる領域に入射する。【選択図】図１
2020085703.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
互いに異なる透過スペクトルを有する複数の光フィルタと、
前記撮像素子の受光面に対する前記複数の光フィルタの傾きをそれぞれ変化させる駆動部とを備え、
前記複数の光フィルタを通過した光は、それぞれ前記受光面の異なる領域に入射する撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記複数の光フィルタはそれぞれ干渉フィルタである撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記複数の光フィルタとして４つ以上の光フィルタを備える撮像装置。
【請求項４】
請求項１から３のいずれか一項に記載の撮像装置において、
前記駆動部は、前記複数の光フィルタを揺動させることにより前記傾きをそれぞれ変化させる撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記駆動部は、前記複数の光フィルタを揺動させるＭＥＭＳアクチュエータを含む撮像装置。
【請求項６】
請求項４または５に記載の撮像装置において、
前記複数の光フィルタは、第１の波長に透過ピークを有する第１の前記光フィルタと、前記第１の波長よりも長波長の第２の波長に透過ピークを有する第２の前記光フィルタとを含み、
前記駆動部は、前記第１の光フィルタの揺動の振幅を前記第２の光フィルタの揺動の振幅よりも大きくする撮像装置。
【請求項７】
請求項４から６のいずれか一項に記載の撮像装置において、
前記複数の光フィルタのそれぞれは、揺動中心において、前記受光面に対して斜めである撮像装置。
【請求項８】
請求項４から７のいずれか一項に記載の撮像装置において、
前記駆動部は、前記複数の光フィルタの揺動の位相を互いに同期させる撮像装置。
【請求項９】
請求項１から３のいずれか一項に記載の撮像装置において、
前記駆動部は、前記複数の光フィルタを回転させることにより前記傾きをそれぞれ変化させる撮像装置。
【請求項１０】
請求項１から９のいずれか一項に記載の撮像装置と、
前記駆動部を制御する制御部とを備える撮像システム。
【請求項１１】
請求項１０に記載の撮像システムにおいて、
前記制御部は、前記複数の光フィルタの少なくとも一つにおいて、互いに前記傾きが異なる複数のタイミングで画像を取得するよう前記撮像素子を制御する撮像システム。
【請求項１２】
請求項１０または１１に記載の撮像システムにおいて、
前記撮像素子で取得された少なくともいずれかの画像を用いて画像解析を行う解析部をさらに備える撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および撮像システムに関する。
【背景技術】
【０００２】
マルチスペクトルカメラは、複数の分光画像を取得する装置である。物体はそれぞれ固有の反射スペクトルを持つため、複数の分光画像から画像に写った物体の反射スペクトルの特徴をとらえることにより、物体の素材や状態等が推定できる。
【０００３】
特許文献１には、画像の光学コピーを生成するミラー配列や、光スペクトルの異なる通過帯域を通過させるフィルタアレイを備え、センサアレイでフィルタ済みの画像コピーを検出するスペクトルカメラが記載されている。
【０００４】
非特許文献１には、分光フィルタをフィルタホイールで切り替え、異なるバンドの画像データを取得する方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１４−５３３３５５号公報
【非特許文献】
【０００６】
【非特許文献１】Masahiro Yamaguchi、外４名、「Natural Vision: Visual Telecommunication based on Multispectral Technology」、International Display Workshops '00、２０００年、ｐ  １１１５−１１１８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１の技術では、センサアレイをバンド数と同じ数の領域に分割して用いるため、バンド数を増やすほど各バンドの画像の解像度が低下する。
【０００８】
また、非特許文献１の技術では、複数のフィルタやフィルタの切り替え機構を要するために装置規模が大きくなる。
【０００９】
本発明が解決しようとする課題としては、分光カメラにおいて、画質の低下や装置規模の増大を抑えつつ、バンド数を増やす技術を提供することが一例として挙げられる。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、
撮像素子と、
互いに異なる透過スペクトルを有する複数の光フィルタと、
前記撮像素子の受光面に対する前記複数の光フィルタの傾きをそれぞれ変化させる駆動部とを備え、
前記複数の光フィルタを通過した光は、それぞれ前記受光面の異なる領域に入射する撮像装置である。
【００１１】
請求項１０に記載の発明は、
請求項１から９のいずれか一項に記載の撮像装置と、
前記駆動部を制御する制御部とを備える撮像システムである。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る撮像装置の構成を例示する図である。
【図２】複数の光フィルタの透過スペクトルを並べて例示する図である。
【図３】光フィルタを傾けたときの透過スペクトルのシフトを示す図である。
【図４】実施例１に係る撮像装置および撮像システムの構成を例示する図である。
【図５】複数の光フィルタと駆動部の構成の第１例を示す図である。
【図６】複数の光フィルタと駆動部の構成の第１例を示す図である。
【図７】複数の光フィルタと駆動部の構成の第２例を示す図である。
【図８】図７のＢ−Ｂ断面図である。
【図９】図７のＣ−Ｃ断面図の一例である。
【図１０】図７のＣ−Ｃ断面図の他の例である。
【図１１】複数の光フィルタと駆動部の構成の第３例を示す図である。
【図１２】光フィルタの揺動の様子を示す図である。
【図１３】複数の分光画像とフレームの関係について説明するための図である。
【図１４】複数の光フィルタの傾きを独立に制御した場合の透過スペクトルのシフトを例示する図である。
【図１５】撮像システムのハードウエア構成を例示する図である。
【図１６】実施例２に係る撮像装置の構成を例示する図である。
【図１７】実施例３に係る光フィルタと駆動部の構成を例示する図である。
【図１８】実施例４に係る撮像システムの構成を例示する図である。
【図１９】解析部を実現するための計算機を例示する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１４】
以下に示す説明において、制御部２２０、および解析部２４０は、特に説明する場合を除き、ハードウエア単位の構成ではなく、機能単位のブロックを示している。制御部２２０、および解析部２４０は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム、そのプログラムを格納するハードディスクなどの記憶メディア、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
【００１５】
（実施形態）
図１は、実施形態に係る撮像装置１０の構成を例示する図である。本図において、光の入射方向を白矢印で示している。撮像装置１０は、撮像素子１２０、複数の光フィルタ１４０、および駆動部１６０を備える。複数の光フィルタ１４０は、互いに異なる透過スペクトルを有する。駆動部１６０は、撮像素子１２０の受光面１２１に対する複数の光フィルタ１４０の傾きをそれぞれ変化させる。複数の光フィルタ１４０を通過した光は、それぞれ受光面１２１の異なる領域に入射する。以下に詳しく説明する。
【００１６】
本図の例において、各光フィルタ１４０には、撮像装置１０の受光部に入射した光の一部が入射する。そして、光フィルタ１４０を透過した光はレンズ支持部１８２に支持されたレンズ１８０を介して撮像素子１２０の受光面１２１に入射する。撮像素子１２０には複数の画素が含まれ、各画素は受光面１２１中の各位置に対応する。また、受光面１２１の各領域には、複数の画素が含まれ、各画素は一のフォトダイオードで構成されている。受光面１２１に入射した光は、画素毎の光強度を示す情報に変換される。そして領域毎に分光画像が得られる。
【００１７】
図２は、複数の光フィルタ１４０の透過スペクトルを並べて例示する図である。本図の例では９つの光フィルタ１４０の透過スペクトルを示している。なお、本図のスペクトルは、撮像素子１２０の受光面１２１の法線と、光フィルタ１４０に含まれる光学干渉膜の厚さ方向とが平行であり、光学干渉膜の厚さ方向に光が入射するときの透過スペクトルであるとする。複数の光フィルタ１４０は互いに異なる透過スペクトルを有するため、受光面１２１の領域毎に異なる波長帯域（バンド）の分光画像が得られる。なお、以下では得られる分光画像の波長帯域の数をバンド数とも呼ぶ。
【００１８】
撮像装置１０では、撮像素子１２０に対する光フィルタ１４０の角度が可変となっている。本図において、第１の状態の光フィルタ１４０を実線で、第２の状態の光フィルタ１４０を破線で示している。第１の状態と第２の状態とは傾きが互いに異なる。複数の光フィルタ１４０はそれぞれ干渉フィルタであり、傾けることにより光学干渉膜の膜厚が擬似的に変化し、透過スペクトルがシフトする。
【００１９】
図３は、光フィルタ１４０を傾けたときの透過スペクトルのシフトを示す図である。本図において、図２と同じ９つの光フィルタ１４０の透過スペクトルを実線で示している。また、本図において、各光フィルタ１４０を２４°傾けた場合の透過スペクトルを破線で示している。具体的にはたとえば、図３の実線は、光フィルタ１４０の第１の状態における透過スペクトルに相当し、図３の破線は、光フィルタ１４０の第２の状態における透過スペクトルに相当する。また、本例は第１の状態の光フィルタ１４０を基準とした第２の状態の光フィルタ１４０の傾き角度θが２４°の例である。
【００２０】
本図に示すように、光フィルタ１４０を傾けることにより、光フィルタ１４０を透過する光の波長帯域を変化させることができる。したがって、傾きが異なる複数の状態で分光画像を得ることにより、一つの光フィルタ１４０で複数バンドの分光画像が得られる。その結果、撮像装置１０では、光フィルタ１４０の数よりも多くのバンド数の分光画像を得ることができる。
【００２１】
以上、本実施形態によれば、駆動部１６０が、撮像素子１２０の受光面１２１に対する複数の光フィルタ１４０の傾きをそれぞれ変化させる。したがって、撮像素子１２０の各領域で複数のバンドの分光画像を得ることができる。すなわち、画像の解像度の低下を避けつつ分光画像のバンド数を増やすことができる。また、各光フィルタ１４０で複数のバンドの分光画像を得られるため、装置規模の増大を抑えることができる。
【００２２】
（実施例１）
図４は、実施例１に係る撮像装置１０および撮像システム２０の構成を例示する図である。本実施例に係る撮像装置１０は、実施形態に係る撮像装置１０の構成を有する。
【００２３】
本実施形態に係る撮像システム２０は、撮像装置１０および制御部２２０を備える。制御部２２０は、駆動部１６０を制御する。
【００２４】
撮像装置１０は、分光カメラであり、具体的にはマルチスペクトルカメラまたはハイパースペクトルカメラである。撮像装置１０では、実施形態で説明した通り、複数バンドの分光画像が得られる。撮像装置１０で得られる分光画像のバンド数は特に限定されないが、４以上であることが好ましく、８以上であることがより好ましく、１８以上であることがさらに好ましい。
【００２５】
本実施例において制御部２２０は、複数の光フィルタ１４０の少なくとも一つにおいて、互いに傾きが異なる複数のタイミングで画像を取得するよう撮像素子１２０を制御する。したがって、一つの光フィルタ１４０で複数のバンドの分光画像が得られる。具体的には制御部２２０は、複数の光フィルタ１４０の全てにおいて、互いに傾きが異なる複数のタイミングで画像を取得するよう撮像素子１２０を制御することが好ましい。そうすることにより、撮像装置１０で得られる分光画像のバンド数は、たとえば、撮像装置１０に備えられた光フィルタ１４０の数と、画像が取得される状態の数の積となる。すなわち、各光フィルタ１４０において、傾きθがθ１である第１の状態、および、傾きθがθ２である第２の状態の、二つの状態で画像が取得される場合、撮像装置１０では、光フィルタ１４０の数の二倍のバンド数の分光画像が得られる。そして、各光フィルタ１４０において、傾きθがθ１である第１の状態、傾きθがθ２である第２の状態、および傾きθがθ３である第３の状態の、三つの状態で画像が取得される場合、撮像装置１０では、光フィルタ１４０の数の三倍のバンド数の分光画像が得られる。
【００２６】
ここで、傾きθは撮像素子１２０の受光面１２１に対する複数の光フィルタ１４０の傾きである。具体的には傾きθはたとえば、受光面１２１の法線と光フィルタ１４０に含まれる光学干渉膜の厚さ方向との成す角度である。すなわち、θ＝０°の状態で、光学干渉膜の厚さ方向（すなわち光学干渉膜の法線方向）に光が入射する。光フィルタ１４０の傾きが変化することにより、光学干渉膜の厚さ方向と、光フィルタ１４０への光の入射方向との関係が変化する。その結果、透過スペクトルのシフトが生じる。
【００２７】
ただし、本図の例において、光フィルタ１４０の受光面と光学干渉膜とは平行であるため、図中では光フィルタ１４０の入射面と撮像素子１２０の受光面１２１とが平行な状態をθ＝０°とし、その状態からの変化量で傾きθを表す。また以下では、θは傾きの大きさであり、正の値であるとして説明する。
【００２８】
撮像素子１２０には撮像回路１２３が接続されている。撮像回路１２３は、撮像素子１２０の各画素に入射した光の強度を示す電気信号を生成する。そして撮像回路１２３からは撮像素子１２０で得られた画像データが出力される。
【００２９】
上記した通り、撮像装置１０は互いに異なる透過スペクトルを有する複数の光フィルタ１４０を備える。具体的には複数の光フィルタ１４０のピーク波長は互いに異なっている。ここでピーク波長とは、光フィルタ１４０の透過スペクトルの最大ピークをとる波長である。複数の光フィルタ１４０のピーク波長の関係は特に限定されないが、複数の光フィルタ１４０のピーク波長はたとえば互いに５ｎｍ以上離れていてもよい。なお、複数の光フィルタ１４０のピーク波長は必ずしも等間隔に設定されている必要は無い。
【００３０】
撮像装置１０に備えられる光フィルタ１４０の数は特に限定されない。ただし、装置規模、撮影速度、およびバンド数のバランスの観点から、撮像装置１０は複数の光フィルタ１４０として４つ以上の光フィルタ１４０を備えることが好ましく、９つ以上の光フィルタ１４０を備えることがより好ましい。また、撮像装置１０に備えられる光フィルタ１４０の数は２５以下であることが好ましい。
【００３１】
光フィルタ１４０はたとえば板状である。ただし、光フィルタ１４０の形状は特に限定されず、キューブ状や柱状等であっても良い。光フィルタ１４０が板状である場合、その一方の主面が入射面となる。また、光フィルタ１４０が板状である場合、その平面形状は特に限定されず、たとえば円形であっても良いし矩形であっても良い。光フィルタ１４０はたとえば板状ガラスに光学干渉膜を形成したものであり、光学干渉膜は光フィルタ１４０の入射面に平行となる。光フィルタ１４０が板状である場合、光フィルタ１４０の厚さはたとえば０．１ｍｍ以上７ｍｍ以下である。
【００３２】
本図の例において、撮像装置１０の複数の光フィルタ１４０は第１の光フィルタ１４０ａ、第２の光フィルタ１４０ｂ、および第３の光フィルタ１４０ｃを含む。撮像装置１０の受光部に入射した光は複数の光フィルタ１４０に分かれて入射する。第１の光フィルタ１４０ａを通過した光は受光面１２１の第１領域１２１１に入射し、第２の光フィルタ１４０ｂを通過した光は受光面１２１の第２領域１２１２に入射し、第３の光フィルタ１４０ｃを通過した光は受光面１２１の第３領域１２１３に入射する。そうすることで、撮像素子１２０の第１領域１２１１、第２領域１２１２、および第３領域１２１３の信号に基づいて第１の光フィルタ１４０ａ、第２の光フィルタ１４０ｂ、および第３の光フィルタ１４０ｃの透過スペクトルにそれぞれ応じた分光画像が得られる。
【００３３】
駆動部１６０は、撮像素子１２０の受光面１２１に対する複数の光フィルタ１４０の傾きをそれぞれ変化させる。本実施例において具体的には、駆動部１６０は、複数の光フィルタ１４０を揺動させることにより複数の光フィルタ１４０の傾きをそれぞれ変化させる。揺動の軸は光学干渉膜の厚さ方向とは非平行であり、たとえば光学干渉膜の厚さ方向に垂直である。
【００３４】
以下に、本実施例に係る複数の光フィルタ１４０と駆動部１６０との構成の第１例から第３例について説明する。これらの例において、駆動部１６０は、複数の光フィルタ１４０を揺動させるＭＥＭＳアクチュエータを含む。また、これらの例において、ＭＥＭＳアクチュエータは複数の光フィルタ１４０に力を加える一以上のカンチレバーを備える。ＭＥＭＳアクチュエータは駆動回路１６１からの駆動信号に基づき、静電気力、電磁力、圧電効果等を利用して駆動される。駆動回路１６１は制御部２２０からの制御信号に基づき、駆動信号を出力する。
【００３５】
駆動部１６０が複数の光フィルタ１４０を揺動させる周波数は、特に限定されないが、たとえば２．５Ｈｚ以上９０Ｈｚ以下とすることができる。なお、複数の光フィルタ１４０は同じ周波数で駆動されることが好ましい。
【００３６】
図５および図６は、複数の光フィルタ１４０と駆動部１６０の構成の第１例を示す図である。図６は、図５のＡ−Ａ断面図に相当する。また、図６にはレンズ１８０がさらに示されている。また、図５および図６において、実線の光フィルタ１４０に対して傾きを変化させた状態の光フィルタ１４０と、実線のカンチレバー１６２に対して変位させたカンチレバー１６２とを破線で示している。
【００３７】
本例では４つの光フィルタ１４０が示されている。各光フィルタ１４０は、光フィルタ１４０の両端の軸部１４２を介してフレーム１４３に接続されている。具体的には、複数の光フィルタ１４０およびフレーム１４３は、板状ガラスの形状を加工した上で、光フィルタ１４０とする部分に光学干渉膜を形成したものである。すなわち、光フィルタ１４０とフレーム１４３は一体である。また各光フィルタ１４０は、フレーム１４３に対し、両軸部１４２を通る直線を軸１４４として揺動可能である。ここで各光フィルタ１４０の両端の軸部１４２は同一直線上に位置する。フレーム１４３の主面は受光面１２１に平行とすることができる。ただし、フレーム１４３の主面は受光面１２１に対して傾いていても良い。
【００３８】
本例において、駆動部１６０はベース１６４およびカンチレバー１６２を含む。そして各光フィルタ１４０に対して一つのカンチレバー１６２が設けられている。カンチレバー１６２の光フィルタ１４０側とは反対側の一端はベース１６４に接続されている。たとえばカンチレバー１６２とベース１６４とは一体であり、板状のＳｉを微細加工することにより形成される。カンチレバー１６２は光フィルタ１４０の一方の主面に接し、光フィルタ１４０に力を加えることができる。カンチレバー１６２が、ベース１６４との接続端を固定端として撓み変位することにより、光フィルタ１４０の傾きθを変化させる。カンチレバー１６２の変位は駆動回路１６１からの駆動信号に基づき、たとえば静電気力、電磁力、圧電効果等により生じる。ベース１６４の主面は受光面１２１に平行とすることができる。ただし、ベース１６４の主面は受光面１２１に対して傾いていても良い。
【００３９】
図７は、複数の光フィルタ１４０と駆動部１６０の構成の第２例を示す図である。図７のＡ−Ａ断面図は、図６と同様に表される。図８は、図７のＢ−Ｂ断面図である。図９は、図７のＣ−Ｃ断面図の一例である。図１０は、図７のＣ−Ｃ断面図の他の例である。
【００４０】
本例では９つの光フィルタ１４０が示されている。本例において、各光フィルタ１４０の両端には軸部１４６が設けられており、各軸部１４６が軸保持部１４７で保持されている。軸部１４６は光フィルタ１４０に対して固定されている。たとえば軸部１４６は光フィルタ１４０と一体である。ただし、軸部１４６と光フィルタ１４０とは、互いに接続された別々の部材であっても良い。そして、光フィルタ１４０は、軸部１４６との２つの接続点を通る直線を軸として、軸保持部１４７に対し揺動可能である。本例において各光フィルタ１４０は個片化されている。
【００４１】
各軸部１４６の、光フィルタ１４０とは反対側の端部は、軸保持部１４７に保持されている。具体的には、図９および図１０の例において軸保持部１４７は複数の部材からなり、軸部１４６はそれら複数の部材の間に挟まれている。または、軸部１４６は、軸保持部１４７に設けられた孔に挿入されていても良い。たとえば図９の例では、軸保持部１４７が軸部１４６の軸受けとなり、軸保持部１４７に対して軸部１４６が回転可能である。また、図１０の例では、軸部１４６の軸保持部１４７に保持されている部分は、軸保持部１４７に対して固定されている。この例では、軸部１４６がねじれることにより、光フィルタ１４０が軸保持部１４７に対して揺動可能である。各軸保持部１４７は、たとえば撮像装置１０の筐体に固定されることにより、撮像素子１２０に対して固定されている。
【００４２】
なお、光フィルタ１４０の配置は特に限定されない。複数の光フィルタ１４０の中心位置は必ずしも直線上に並んでいなくても良い。本図の例では、複数の光フィルタ１４０の中心位置がカンチレバー１６２の短軸方向にずれている。こうすることにより、一つのベース１６４から延ばした複数のカンチレバー１６２で、複数の光フィルタ１４０にアクセスできる。なお、カンチレバー１６２の駆動量は、カンチレバー１６２の長さ等に応じてそれぞれ設定されてもよい。
【００４３】
本例においても、駆動部１６０はベース１６４およびカンチレバー１６２を含み、各光フィルタ１４０に対して一つのカンチレバー１６２が設けられている。ベース１６４およびカンチレバー１６２の構成および駆動については第１例と同様である。
【００４４】
図１１は、複数の光フィルタ１４０と駆動部１６０の構成の第３例を示す図である。図１１のＡ−Ａ断面図は、図６と同様に表される。
【００４５】
本例では９つの光フィルタ１４０が示されている。ただし、３つの光フィルタ１４０が一つのフレーム１４８に対して接続され、固定されている。具体的には、これらの光フィルタ１４０およびフレーム１４８は、板状ガラスの形状を加工した上で、光フィルタ１４０とする部分に光学干渉膜を形成したものである。すなわち、光フィルタ１４０とフレーム１４８は一体である。そして、撮像装置１０には複数のフレーム１４８が設けられている。また各フレーム１４８の両端には軸部１４６が設けられており、各軸部１４６が軸保持部１４７で保持されている。軸部１４６はフレーム１４８に対して固定されている。たとえば軸部１４６はフレーム１４８と一体である。ただし、軸部１４６とフレーム１４８とは、互いに接続された別々の部材であっても良い。そして、フレーム１４８は、軸部１４６との２つの接続点を通る直線を軸として、軸保持部１４７に対し揺動可能である。
【００４６】
各軸部１４６は、図７から図１０の例と同様に、軸保持部１４７に保持されている。そして、フレーム１４８が揺動することにより、フレーム１４８に固定された光フィルタ１４０が揺動する。また、各軸保持部１４７は、たとえば撮像装置１０の筐体に固定されることにより、撮像素子１２０に対して固定されている。
【００４７】
本例においても、駆動部１６０はベース１６４およびカンチレバー１６２を含む。ただし、各フレーム１４８に対してカンチレバー１６２が設けられている。すなわち、一つのカンチレバー１６２が２つ以上の光フィルタ１４０を駆動する。カンチレバー１６２およびベース１６４の構成は第１例および第２例と同じである。カンチレバー１６２はフレーム１４８および光フィルタ１４０の少なくとも一方の一主面に接し、直接的または間接的に光フィルタ１４０に力を加えることができる。ベース１６４およびカンチレバー１６２の駆動については第１例および第２例と同じである。
【００４８】
以上、複数の光フィルタ１４０と駆動部１６０の構成の第１例から第３例について説明した。なお、図７および図１１では、撮像装置１０が９つの光フィルタ１４０を備える例を示したが、第２例および第３例の構成において光フィルタ１４０の数をたとえば４つにしても良い。各例において光フィルタ１４０の数は特に限定されない。
【００４９】
駆動部１６０は、複数の光フィルタ１４０の揺動の位相を互いに同期させることが好ましい。具体的には駆動回路１６１は、複数のカンチレバー１６２への駆動信号を互いに同期させる。そうすることで、撮像タイミングを光フィルタ１４０毎に変更する必要が無い。
【００５０】
上記した通り制御部２２０は、複数の光フィルタ１４０の少なくとも一つにおいて、互いに傾きが異なる複数のタイミングで画像を取得するよう撮像素子１２０を制御する。すなわち、揺動の各周期において２以上のタイミングで画像が取得される。そうすることで、各タイミングにおける撮像素子１２０への光の入射状態を示す画像が得られる。
【００５１】
光フィルタ１４０が揺動中心から振幅αで揺動する場合、各周期において光フィルタ１４０が揺動中心をとるタイミングとθ＝αの状態をとるタイミングとで画像が取得されることが好ましい。揺動中心はたとえば駆動回路１６１から駆動信号が入力されていないときの定常状態である。また、本実施例において揺動中心はθ＝０°の状態である。
【００５２】
ただし、画像は０°＜θ＜αの状態をとるいずれかのタイミングで取得されても良い。また、各周期において３以上のタイミングで画像が取得されてもよい。
【００５３】
図１２は光フィルタ１４０の揺動の様子を示す図である。光フィルタ１４０の透過スペクトルのピーク波長はθ＝０°のとき最長となり、シフトの向きはθ＝０°の状態からの傾きの方向に依存せず負の方向である。すなわち、θ＝０°の状態からの傾きの方向が異なっても、傾きの大きさが同じであればシフトの大きさおよび向きは同じである。そして本図に示すように、揺動の１周期の間に、θ＝０°の状態をとるタイミングおよびθ＝αの状態をとるタイミングは２回ずつ存在する。また、０°＜θ＜αの特定のθの状態をとるタイミングは１周期の間に４回ずつ存在する。ここで、各状態をとる全てのタイミングで画像の取得が行われる必要は無い。各周期中の画像の取得は、複数の状態で互いに同一回数とすればよい。
【００５４】
後に詳しく説明する様に、互いに異なる複数のバンドの分光画像からなる組を１フレームの画像とする。たとえば、各周期において、各状態での画像の取得を１度のみとする場合、揺動の１周期あたり１フレームの画像が得られる。また、各周期において、各状態での画像の取得を２度とする場合、揺動の１周期あたり２フレームの画像が得られる。
【００５５】
図１３は、複数の分光画像とフレームの関係について説明するための図である。受光面１２１全体で得られる各画像３０は、領域（第１領域１２１１、第２領域１２１２、第３領域１２１３等）毎に分割される。そうして、各領域に入射した光に基づく分光画像３００が得られる。１フレームを構成する複数の分光画像３００は受光面１２１の複数の領域で得られる分光画像３００を含み、かつ、光フィルタ１４０の傾きが異なる複数のタイミング（本図中ｔ＝ｔ１，ｔ２）で取得された分光画像３００を含む。同様にして複数フレームの画像を得ることにより、動画を構成することができる。その場合、動画のフレームレートはたとえば５ｆｐｓ以上９０ｆｐｓ以下とすることが好ましい。
【００５６】
制御部２２０は、撮像素子１２０の出力データに基づいて複数の分光画像を生成する。そして、制御部２２０は生成した分光画像を外部の装置に対して出力する。または、制御部２２０は生成した分光画像をストレージデバイス４０８や外部の記憶装置等に記憶させても良い。分光画像は、たとえば物体認識や物体識別等に利用される。撮像装置１０はたとえば車両等の移動体に搭載されても良い。その場合、分光画像に基づき、自動運転や運転補助、安全装置等を機能させることができる。
【００５７】
複数の光フィルタ１４０の揺動の振幅は光フィルタ１４０のピーク波長に基づき定めてもよい。図４では、各光フィルタ１４０の振幅を角度α１、α２およびα３を用いて例示している。たとえば、第１の光フィルタ１４０ａが第１の波長に透過ピークを有し、第２の光フィルタ１４０ｂが第２の波長に透過ピークを有するとする。そして、第２の波長は第１の波長よりも長波長であるとする。その場合、駆動部１６０は、第１の光フィルタ１４０ａの揺動の振幅α１を第２の光フィルタ１４０ｂの揺動の振幅α２よりも大きくすることが好ましい。また、第３の光フィルタ１４０ｃが第３の波長に透過ピークを有し、第３の波長は第２の波長よりも長波長であるとする。その場合、駆動部１６０は、第２の光フィルタ１４０ｂの揺動の振幅α２を第３の光フィルタ１４０ｃの揺動の振幅α３よりも大きくすることが好ましい。なお、ここでいう第１の波長、第２の波長、および第３の波長は、θ＝０°の状態で光を透過させた場合の透過スペクトルに基づく。
【００５８】
図１４は、複数の光フィルタ１４０の傾きを独立に制御した場合の透過スペクトルのシフトを例示する図である。複数の光フィルタ１４０を同じだけ傾けた場合、図３に示す様に、ピーク波長が長波長である光フィルタ１４０ほど、スペクトルのシフトが大きくなる。なお、図３および図１４において、各スペクトルのシフト量を矢印の長さで表している。
【００５９】
一方、各光フィルタ１４０において、傾きを大きくするほどスペクトルのシフト量を大きくすることができる。したがって、ピーク波長が短波長である光フィルタ１４０ほど、大きく揺動させることにより、複数の光フィルタ１４０のスペクトルのシフト量を互いに近づけることができる。ただし、本方法に限らず、シフト前の複数の光フィルタ１４０のピーク波長の分布に応じて、各光フィルタ１４０の必要なシフト量を定め、振幅を設定すればよい。
【００６０】
図１５は撮像システム２０のハードウエア構成を例示する図である。本図において制御部２２０は、集積回路４０を用いて実装されている。集積回路４０は、例えば SoC（System On Chip）である。
【００６１】
集積回路４０は、バス４０２、プロセッサ４０４、メモリ４０６、ストレージデバイス４０８、入出力インタフェース４１０、及びネットワークインタフェース４１２を有する。バス４０２は、プロセッサ４０４、メモリ４０６、ストレージデバイス４０８、入出力インタフェース４１０、及びネットワークインタフェース４１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ４０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ４０４は、マイクロプロセッサなどを用いて実現される演算処理装置である。メモリ４０６は、RAM（Random Access Memory）などを用いて実現されるメモリである。ストレージデバイス４０８は、ROM（Read Only Memory）やフラッシュメモリなどを用いて実現されるストレージデバイスである。
【００６２】
入出力インタフェース４１０は、集積回路４０を周辺デバイスと接続するためのインタフェースである。本図において、入出力インタフェース４１０には撮像回路１２３、駆動回路１６１、入力装置４２２、および出力装置４２４が接続されている。入力装置４２２はたとえばスイッチ等であり、出力装置４２４はたとえばディスプレイである。
【００６３】
ネットワークインタフェース４１２は、集積回路４０を通信網に接続するためのインタフェースである。この通信網は、例えば CAN（Controller Area Network）通信網である。なお、ネットワークインタフェース４１２が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【００６４】
ストレージデバイス４０８は、制御部２２０の機能を実現するためのプログラムモジュールを記憶している。プロセッサ４０４は、このプログラムモジュールをメモリ４０６に読み出して実行することで、制御部２２０の機能を実現する。
【００６５】
集積回路４０のハードウエア構成は本図に示した構成に限定されない。例えば、プログラムモジュールはメモリ４０６に格納されてもよい。この場合、集積回路４０は、ストレージデバイス４０８を備えていなくてもよい。
【００６６】
以上、本実施例によれば、実施形態と同様、駆動部１６０が、撮像素子１２０の受光面１２１に対する複数の光フィルタ１４０の傾きをそれぞれ変化させる。したがって、撮像素子１２０の各領域で複数のバンドの分光画像を得ることができる。すなわち、画像の解像度の低下を避けつつ分光画像のバンド数を増やすことができる。また、各光フィルタ１４０で複数のバンドの分光画像を得られるため、装置規模の増大を抑えることができる。
【００６７】
（実施例２）
図１６は、実施例２に係る撮像装置１０の構成を例示する図である。本実施例に係る撮像装置１０および撮像システム２０は、複数の光フィルタ１４０のそれぞれが、揺動中心において、受光面１２１に対して斜めである点を除いて実施例１に係る撮像装置１０および撮像システム２０とそれぞれ同様である。以下に詳しく説明する。
【００６８】
実施例１では、揺動中心においてθ＝０°である場合について説明したが、本実施例では、揺動中心においてθ≠０°である。そうすることにより、θ＝０°を基準とした光フィルタ１４０の傾きの大きさを、揺動の振幅よりも大きくとることができる。
【００６９】
本図を参照して具体的に説明する。本図において、揺動中心の光フィルタ１４０を実線で示し、揺動において揺動中心からの傾き変化が最大となる状態の光フィルタ１４０を破線で示している。本図の例において、揺動の振幅は角度βで表される。そして、揺動中心においてθ＝βが成り立つようにする。そうすることで、光フィルタ１４０は、θ＝０°とθ＝２βとの間で揺動することとなる。すなわち、θ＝０°を基準としたθの変化量を揺動振幅βの２倍とすることができる。その上で、少なくともθ＝０°の状態をとるタイミングとθ＝２βの状態をとるタイミングとで画像を取得すれば、これらのタイミングの間で光フィルタ１４０の透過スペクトルのシフト量を大きくとることができる。
【００７０】
このような撮像装置１０は、たとえば実施例１で説明した第１例において、フレーム１４３を受光面１２１に対して傾けて設けることにより実現できる。ただし、揺動中心における光フィルタ１４０の傾きは光フィルタ１４０毎に異なっていても良い。
【００７１】
以上、本実施例によれば、実施形態と同様、駆動部１６０が、撮像素子１２０の受光面１２１に対する複数の光フィルタ１４０の傾きをそれぞれ変化させる。したがって、撮像素子１２０の各領域で複数のバンドの分光画像を得ることができる。すなわち、画像の解像度の低下を避けつつ分光画像のバンド数を増やすことができる。また、各光フィルタ１４０で複数のバンドの分光画像を得られるため、装置規模の増大を抑えることができる。
【００７２】
くわえて、本実施例によれば、複数の光フィルタ１４０のそれぞれが、揺動中心において、受光面１２１に対して斜めである。したがって、各光フィルタ１４０で得られる複数の分光画像の、波長帯域を大きくずらすことができる。
【００７３】
（実施例３）
図１７は、実施例３に係る光フィルタ１４０と駆動部１６０の構成を例示する図である。本実施例に係る撮像装置１０および撮像システム２０は、駆動部１６０が、複数の光フィルタ１４０を回転させることにより光フィルタ１４０の傾きをそれぞれ変化させる点を除いて実施例１に係る撮像装置１０および撮像システム２０とそれぞれ同じである。
【００７４】
本図の例において、駆動部１６０はモーター１６６である。光フィルタ１４０の両端は軸部１４２に接続されており、モーター１６６が軸部１４２を回転させる。そうすることにより光フィルタ１４０は両軸部１４２を通る直線を軸として回転する。回転の軸は光学干渉膜の厚さ方向とは非平行であり、たとえば光学干渉膜の厚さ方向に垂直である。
【００７５】
モーター１６６は光フィルタ１４０に対して１つずつ設けられていても良いし、１つのモーター１６６で複数の光フィルタ１４０を駆動しても良い。たとえば、実施例１の第３例に示したようなフレーム１４８と二以上の光フィルタ１４０を接続した構造をモーター１６６で回転させても良い。ここで、回転の軸は揺動の軸と同様とすることができる。
【００７６】
モーター１６６は、駆動回路１６１からの駆動信号により駆動される。また、駆動回路１６１は、制御部２２０の制御に基づき駆動信号を出力する。駆動部１６０は複数の光フィルタ１４０の回転の位相を同期させ、同じ周期で回転させることが好ましい。
【００７７】
以上、本実施例によれば、実施形態と同様、駆動部１６０が、撮像素子１２０の受光面１２１に対する複数の光フィルタ１４０の傾きをそれぞれ変化させる。したがって、撮像素子１２０の各領域で複数のバンドの分光画像を得ることができる。すなわち、画像の解像度の低下を避けつつ分光画像のバンド数を増やすことができる。また、各光フィルタ１４０で複数のバンドの分光画像を得られるため、装置規模の増大を抑えることができる。
【００７８】
くわえて、本実施例によれば、駆動部１６０が、複数の光フィルタ１４０を回転させることにより光フィルタ１４０の傾きをそれぞれ変化させる。したがって、光フィルタ１４０の傾きを大きく変化させることができ、簡便にバンド数を増やすことができる。
【００７９】
（実施例４）
図１８は、実施例４に係る撮像システム２０の構成を例示する図である。本実施例に係る撮像装置１０は、実施例１から実施例３の少なくともいずれかに係る撮像装置１０と同様の構成を有する。本実施例に係る撮像システム２０は、解析部２４０をさらに備える点を除いて実施例１から実施例３の少なくともいずれかに係る撮像システム２０と同様の構成を有する。解析部２４０は、撮像素子１２０で取得された少なくともいずれかの画像を用いて画像解析を行う。画像解析は、たとえば物体認識および物体識別の少なくとも一方である。
【００８０】
解析部２４０は、ハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、解析部２４０がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【００８１】
図１９は、解析部２４０を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、SoC（System On Chip）、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、解析部２４０を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【００８２】
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAMなどを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROMなどを用いて実現される補助記憶装置である。
【００８３】
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置４２６や、ディスプレイ装置などの出力装置４２８が接続される。
【００８４】
ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば CAN、LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【００８５】
ストレージデバイス１０８０は、解析部２４０を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、このプログラムモジュールをメモリ１０６０に読み出して実行することで、プログラムモジュールに対応する機能を実現する。
【００８６】
計算機１０００はネットワークインタフェース１１２０または入出力インタフェース１１００を介して制御部２２０から、すなわち集積回路４０から画像データを取得する。
【００８７】
なお、解析部２４０は制御部２２０と同様、図１５に示すような集積回路４０で実現されても良い。その場合、ストレージデバイス４０８は、解析部２４０の機能を実現するためのプログラムモジュールをさらに記憶している。プロセッサ４０４は、このプログラムモジュールをメモリ４０６に読み出して実行することで、解析部２４０の機能を実現する。
【００８８】
解析部２４０は、フレームを構成する複数の分光画像を取得する。同一フレームに含まれる複数の分光画像はほぼ同じ情景を撮影している。そして、解析部２４０は同一フレームの複数の分光画像から、互いに対応する位置の画素の値（輝度値）を抽出し、分光データとする。こうして、画像の各位置に対応する分光データを得る。各分光データは、複数のバンドで得られた値で構成される。そして、各分光データは、画像のうちその分光データに対応する位置に写る物体の反射スペクトルを反映している。
【００８９】
解析部２４０は、分光データに基づき、撮像装置１０で得られた分光画像に写された物体の属性を特定する。物体の属性は、たとえば、物体の種類（人、車、樹木、建物等）、素材、および状態（濡れている、乾いている等）の少なくともいずれかを含む。さらに解析部２４０は、画像中、特定結果が共通する画素からなる領域を抽出する。たとえば解析部２４０は、互いに隣接する複数の画素について、特定結果が互いに同じである場合、それらの画素が同じ物体を写した領域に属すると判定し、それらの画素を同一領域に含めるよう互いに関連づける。そして、解析部２４０は、たとえば、撮像装置１０で得られた画像を、特定結果、およびその特定結果に対応する領域が識別可能な状態で、ディスプレイに表示させるよう、出力する。なお、表示させる画像としては、ＲＧＢに対応する分光画像を合成したカラー画像を用いても良い。また、画像データ、特定結果、および領域を示す情報は、ディスプレイへの出力に代えて、または加えて、いずれかの記憶装置に互いに関連づけられた状態で保持されても良い。
【００９０】
なお、解析部２４０は、物体の属性を特定した後に領域の抽出を行う代わりに、互いに隣接し、互いに類似した分光データを有する画素（位置）からなる領域を抽出した後に、その領域について、物体の属性を特定しても良い。その場合、解析部２４０は、まず互いに類似した分光データを抽出する。この抽出において、解析部２４０はたとえば、比較する画素のバンド毎の値の差の大きさを算出し、差の大きさの平均値をさらに算出する。そして、算出した平均値が予め定められた基準値より小さい場合、比較対象の画素の分光データが互いに類似すると判定し、それらの画素を同一の領域に含める。
【００９１】
領域の抽出後に解析部２４０は、たとえば各領域中の全ての画素の分光データのそれぞれを用いて属性の特定を行い、最も多くの画素について共通する特定結果をその領域の特定結果とする。または、解析部２４０は、各領域中の全ての画素の分光データを平均化した平均分光データを算出し、算出された平均分光データを分光データの代わりに用いて特定を行っても良い。さらに、解析部２４０はたとえば分光データに加えて、抽出した領域の形状や大きさ等にさらに基づいて物体を特定しても良い。
【００９２】
解析部２４０が、分光データに基づき、物体の属性を特定する方法について以下に詳しく説明する。解析部２４０からアクセス可能な記憶部（たとえばストレージデバイス１０８０）には、予め分光データの特徴を示す参照情報が複数保持されている。この記憶部は、撮像システム２０備えられていても良いし、撮像システム２０の外部に設けられていても良い。撮像システム２０に備えられた記憶装置はたとえば計算機１０００のストレージデバイス１０８０または集積回路４０のストレージデバイス４０８で実現される。各参照情報は、物体の種類、素材、状態の少なくともいずれかを示す情報に関連づけられている。
【００９３】
解析部２４０は、記憶部から複数の参照情報を読み出す。そして、複数の参照情報と分光データとを対比することにより、分光データに最も類似する参照情報を探し出す。そして、その参照情報に関連づけられた属性を、その分光データが示す物体の属性として特定する。参照情報は、既知の物体の反射スペクトルを計測することで生成し、解析部２４０に保持させておくことができる。
【００９４】
参照情報は具体的には各バンドの値を含む。そして解析部２４０は、バンド毎に分光データと参照情報の値との差の大きさを算出し、差の大きさの平均値をさらに算出する。その上で、算出された平均値が最も小さい参照情報を、分光データに最も類似する参照情報と判定する。
【００９５】
以上、本実施例によれば、実施形態と同様、駆動部１６０が、撮像素子１２０の受光面１２１に対する複数の光フィルタ１４０の傾きをそれぞれ変化させる。したがって、撮像素子１２０の各領域で複数のバンドの分光画像を得ることができる。すなわち、画像の解像度の低下を避けつつ分光画像のバンド数を増やすことができる。また、各光フィルタ１４０で複数のバンドの分光画像を得られるため、装置規模の増大を抑えることができる。
【００９６】
くわえて、本実施例によれば、撮像装置１０が撮像素子１２０で取得された少なくともいずれかの画像を用いて画像解析を行う解析部２４０をさらに備える。したがって、撮像装置１０出得られる画像に写された物体の属性を特定できる。
【００９７】
以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。たとえば、上述の実施形態および各実施例は、内容が相反しない範囲で組み合わせることができる。
【符号の説明】
【００９８】
１０  撮像装置
２０  撮像システム
４０  集積回路
１２０  撮像素子
１２１  受光面
１２３  撮像回路
１４０  光フィルタ
１４２，１４６  軸部
１４３  フレーム
１４４  軸
１４７  軸保持部
１４８  フレーム
１６０  駆動部
１６１  駆動回路
１６２  カンチレバー
１６４  ベース
１６６  モーター
１８０  レンズ
１８２  レンズ支持部
２２０  制御部
２４０  解析部
【図１】
2020085703.tif 000003
【図２】
2020085703.tif 000004
【図３】
2020085703.tif 000005
【図４】
2020085703.tif 000006
【図５】
2020085703.tif 000007
【図６】
2020085703.tif 000008
【図７】
2020085703.tif 000009
【図８】
2020085703.tif 000010
【図９】
2020085703.tif 000011
【図１０】
2020085703.tif 000012
【図１１】
2020085703.tif 000013
【図１２】
2020085703.tif 000014
【図１３】
2020085703.tif 000015
【図１４】
2020085703.tif 000016
【図１５】
2020085703.tif 000017
【図１６】
2020085703.tif 000018
【図１７】
2020085703.tif 000019
【図１８】
2020085703.tif 000020
【図１９】
2020085703.tif 000021