(57)【要約】【課題】可視光領域と不可視光領域の波長帯域を含む複数の波長帯域で得られる撮像信号に基づいて、適切な合焦位置を決定することができる撮像装置を提供する。【解決手段】撮像装置２００が、可視光領域の波長帯域と不可視光領域の波長帯域とを含む複数の波長帯域の撮像信号を取得し、上記撮像信号に基づいて、波長帯域ごとに焦点評価値を算出する。撮像装置２００が、焦点評価値に基づいて、上記焦点評価値に対応する波長帯域で合焦できるかを判断し、可視光領域の波長帯域で合焦できないと判断された場合に、上記複数の波長帯域のスペクトル特性に基づいて、不可視光領域の波長帯域を選択する。そして、撮像装置２００が、選択された波長帯域の焦点評価値に基づいて、合焦位置を決定する。【選択図】図１
2019184724.tif 000002
【特許請求の範囲】
【請求項１】
可視光領域の波長帯域と不可視光領域の波長帯域とを含む複数の波長帯域の撮像信号を取得する取得手段と、
前記撮像信号に基づいて、前記波長帯域ごとに焦点評価値を算出する算出手段と、
前記焦点評価値に基づいて、前記焦点評価値に対応する波長帯域で合焦できるかを判断する判断手段と、
前記可視光領域の波長帯域で合焦できないと判断された場合に、前記複数の波長帯域のスペクトル特性に基づいて、前記不可視光領域の波長帯域を選択する選択手段と、
前記選択された波長帯域の焦点評価値に基づいて、合焦位置を決定する決定手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記可視光領域の波長帯域と前記不可視光領域の波長帯域のそれぞれが、複数の波長帯域を含み、
前記選択手段は、前記可視光領域の波長帯域で合焦できないが、合焦できる前記不可視光領域の波長帯域が複数ある場合に、合焦できる前記不可視領域の複数の波長帯域のそれぞれのスペクトル強度と、前記可視光領域の波長帯域のスペクトル強度との差分に基づいて、前記複数の前記不可視光領域の波長帯域のうち、前記合焦位置を決定するために用いる不可視光領域の波長帯域を選択する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択手段は、合焦できる前記不可視光領域の複数の波長帯域のうち、前記焦点評価値が最も高い前記可視光領域との間でのスペクトル強度の差分が最大である波長帯域を選択する
ことを特徴とする請求項３に記載の撮像装置。
【請求項４】
前記焦点評価値と前記スペクトル強度の優先度を設定する設定手段を備え、
前記選択手段は、前記焦点評価値よりも前記スペクトル強度のほうが前記優先度が高い場合に、前記合焦できる前記不可視光領域の複数の波長帯域のうち、前記焦点評価値が最も高い前記可視光領域との間でのスペクトル強度の差分が最大である波長帯域を選択する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記選択手段は、合焦できる前記不可視光領域の波長帯域が一つである場合に、当該一つの不可視領域の波長帯域を選択する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記取得手段は、光を前記可視光領域の波長帯域と不可視光領域の波長帯域とを含む複数の波長帯域に分光する光学フィルタと、前記分光された光を光電変換して前記撮像信号を出力する撮像素子とを有する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記光学フィルタは、Ｒ成分領域の複数の波長帯域、Ｇ成分領域の複数の波長帯域、Ｂ成分領域の複数の波長帯域および不可視光領域の複数の波長領域のそれぞれに対応するバンドパスフィルタを有する
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
可視光領域の波長帯域と不可視光領域の波長帯域とを含む複数の波長帯域の撮像信号を取得する工程と、
前記撮像信号に基づいて、前記波長帯域ごとに焦点評価値を算出する工程と、
前記焦点評価値に基づいて、前記焦点評価値に対応する波長帯域で合焦できるかを判断する工程と、
前記可視光領域の波長帯域で合焦できないと判断された場合に、前記複数の波長帯域のスペクトル特性に基づいて、前記不可視光領域の波長帯域を選択する工程と、
前記選択された波長帯域の焦点評価値に基づいて、合焦位置を決定する工程とを有する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
波長帯域が異なる複数のバンドパスフィルタを用いて被写体を撮像することにより、被写体のマルチバンド画像を取得することができる撮像装置（マルチバンドカメラ）が提案されている。マルチバンドカメラは、光をＲ（赤）、Ｇ（緑）、Ｂ（青）といった可視光領域の波長帯域だけでなく、可視光領域の波長帯域以外の特定の波長帯域に分光することができる。特許文献１は、マルチバンドカメラにおける焦点調節方法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−５０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示する焦点調節方法では、液晶チューナブルフィルタを使用して、可視光領域を１６の波長帯域に分け、波長帯域ごとに焦点調節する。一方、撮像素子の前面の光学フィルタを複数の波長帯域のそれぞれに対応するバンドパスフィルタに分けることで、１度の撮像にて複数の波長帯域を撮像するマルチバンドカメラでは、特許文献１とは異なる合焦手法が必要である。このマルチバンドカメラでは、バンドパスフィルタによって得られる複数の波長帯域ごとの撮像信号のうち、どの波長帯域により焦点調節を行うべきか選択することが必要となる。可視光領域の他、赤外（ＩＲ）成分領域など不可視光領域を含むマルチバンドパスフィルタを有する撮像装置を想定する。この撮像装置を適用する場合、可視光領域の波長帯域と不可視光領域の波長帯域とで得られた撮像信号のうちのいずれを合焦位置の決定に用いるかの選択が重要である。従来、可視光領域の波長帯域で得られた撮像信号で合焦できない場合に、所定の指標に基づいて、合焦位置の決定に用いる不可視光領域の波長帯域を選択する撮像装置は提案されていなかった。本発明は、可視光領域と不可視光領域の波長帯域を含む複数の波長帯域で得られる撮像信号に基づいて、適切な合焦位置を決定することができる撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の撮像装置は、可視光領域の波長帯域と不可視光領域の波長帯域とを含む複数の波長帯域の撮像信号を取得する取得手段と、前記撮像信号に基づいて、前記波長帯域ごとに焦点評価値を算出する算出手段と、前記焦点評価値に基づいて、前記焦点評価値に対応する波長帯域で合焦できるかを判断する判断手段と、前記可視光領域の波長帯域で合焦できないと判断された場合に、前記複数の波長帯域のスペクトル特性に基づいて、前記不可視光領域の波長帯域を選択する選択手段と、前記選択された波長帯域の焦点評価値に基づいて、合焦位置を決定する決定手段とを備える。
【発明の効果】
【０００６】
本発明の撮像装置によれば、可視光領域と不可視光領域の波長帯域を含む複数の波長帯域で得られる撮像信号に基づいて、適切な合焦位置を決定することができる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の構成例を示す図である。
【図２】光学フィルタの構成例を示す図である。
【図３】被写体の一例を示す図である。
【図４】フォーカスレンズ位置とＡＦ評価値との関係の一例を示す図である。
【図５】合焦位置の決定に用いる波長帯域の選択処理の例を説明する図である。
【図６】図５のＳ１０８における波長帯域の選択処理を説明する図である。
【図７】ＩＲ成分領域の波長領域の選択処理の一例を説明する図である。
【発明を実施するための形態】
【０００８】
図１は、本実施形態の撮像装置の構成例を示す図である。
以下に示す実施形態は本発明の一例であり、構成などを限定するものではない。本発明を適用可能な構成であれば、下記構成である必要はない。
【０００９】
図１に示す撮像装置２００は、システム制御部２０１乃至光学フィルタ選択器２１２を備える。システム制御部２０１は、ＣＰＵ（中央演算処理装置）等を有し、記憶部２０８に実装されているプログラムに基づいてシステム全体を制御する。ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。システム制御部２０１は、露光制御部および測距制御部を有し、ＡＦ（自動焦点調節）処理の他に、ＡＥ（自動露出）処理に関わる動作を行う。システム制御部２０１は、露光制御部および測距制御部により、撮像素子２０５および撮像処理部２０６から取得した画像データを用いて所定の演算処理を行う。システム制御部２０１は、得られた演算結果に基づいて、レンズ制御部２０４を通してレンズ駆動部２０３へ駆動信号を伝達させることで撮像レンズ２０２を制御する。
【００１０】
撮像レンズ２０２は、ズームレンズ、フォーカスレンズ、像振れ補正レンズなどの複数のレンズ群を有する。また、撮像レンズ２０２は、光量調整に関わる絞りやシャッタなどの機構も有する。レンズ駆動部２０３は、撮像レンズ２０２が有する各レンズ群および光量調整に関わる機構を駆動するための各種モータを有する。レンズ駆動部２０３が有するモータの一例として、ＤＣモータやステッピングモータなどが挙げられる。レンズ駆動部２０３はモータをレンズ制御部２０４からの駆動制御信号に基づいて動作させることで、撮像レンズ２０２に所望の動作をさせる。また、レンズ駆動部２０３は、撮像レンズ２０２やレンズ駆動部２０３の動作を検出するための光学検出や磁気検出、傾斜検知などの各センサを持つ。各センサの取得情報は、レンズ制御部２０４に伝達される。
【００１１】
レンズ制御部２０４は、ドライバーＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）を有し、撮像レンズ２０２を制御する。レンズ制御部２０４は、レンズ駆動部２０３が有する各センサからの検出信号などの情報から、撮像レンズ２０２の位置、レンズ駆動部２０３の各モータの速度などの状態を検出する。レンズ制御部２０４は、上記検出結果に基づいて、ドライバーＩＣから各モータへ適切な駆動信号を伝達する。例えば、レンズ制御部２０４は、光学検出センサなどのエンコーダによって検出された信号からズームレンズの位置及び速度を算出する。レンズ制御部２０４は、得られたズームレンズの速度に基づいて、ズームレンズが予め定められた目標速度になるように、レンズ制御部２０３へ適切な駆動信号を送る。
【００１２】
撮像素子２０５は、ＣＣＤやＣＭＯＳ等を有する。ＣＣＤは、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅの略称である。撮像レンズ２０２により集光された光束は、光学フィルタ２１０を通った後に、撮像素子２０５によって受光される。光学フィルタ２１０は、複数の狭バンドパスフィルタによって、光を可視光領域（ＲＧＢ成分領域）の波長帯域と不可視光領域の波長領域を含む複数の波長領域に分光する。撮像素子２０５は、光学フィルタ２１０によって分光された光を光電変換して撮像信号を出力する。本実施形態では、不可視光領域の一例として、ＩＲ（赤外）成分領域を適用する。光学フィルタ２１０の構成に関しては、図２を参照して後述する。
【００１３】
撮像処理部２０６は、ＣＤＳ回路、増幅回路、Ａ／Ｄ変換部などを有する。ＣＤＳ回路は、撮像素子２０５の出力ノイズを相関二重サンプリング方式により除去する。増幅回路は、ＣＤＳ回路によりノイズが除去された撮像信号に対して、信号増幅（ゲイン制御）を行う。Ａ／Ｄ変換部は、アナログ信号である撮像信号をデジタル信号に変換する。
【００１４】
画像処理部２０７は、撮像処理部２０６から取得した撮像信号に対して、所定の各種画像補正処理を行う。例えば、画像処理部２０７は、撮像信号のホワイトバランス処理を行う。画像処理部２０７は、必要な画像処理を行った後に、撮像信号を映像データとして所望のフォーマット変換を行う。
【００１５】
記録部２０８は、高速な内蔵メモリ（ＲＡＭなど）や大容量のハードディスクドライブ、各種メモリーカードなどの記録媒体を有する。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。記録部２０８は、画像処理部２０７からの映像データや時間情報、設定情報等の様々なデータの記録や画像処理などの一時的な記録媒体として使用される。記録部２０８は、更に、システム制御部２０１により実行される各種プログラムなどを記憶する。本実施形態で使用するプログラムも記録部２０８に保持されている。映像出力部２０９は、液晶モニタなどの映像出力系への各種出力端末、例えば、ＢＮＣコネクタと、ドライバーなどを有する。ＢＮＣは、Ｂａｙｏｎｅｔ  Ｎｅｉｌｌ  Ｃｏｎｃｅｌｍａｎの略称である。
【００１６】
ＡＦ処理部２１１は、システム制御部２０１の制御にしたがって、焦点調節処理を行う。ＡＦ処理部２１１は、合焦位置を特定するために用いる焦点評価値（以下、「ＡＦ評価値」と記述する）を算出する。ＡＦ評価値の算出方法については多数の文献および先行提案件に多くの手法が提案されているので、ここでは詳細な説明は省略して本発明に関わる説明に留める。ＡＦ処理部２１１は、撮像処理部２０６から得られた撮像信号の所定画面領域の一部を抽出し、バンドパスフィルタを通して抽出した撮像信号の画面の一部から、所要の高周波数成分を抽出する。ＡＦ処理部２１１は、抽出した高周波数成分に対して積分等の処理を行うことで、ＡＦ評価値を算出する。算出されたＡＦ評価値は、測距領域（焦点検出領域）内のコントラストの指標となる数値となる。ＡＦ評価値が高いほど、コントラストが高く、合焦状態に近いことを示す。ＡＦ評価値が低いほど、コントラストが低く、合焦状態から遠いことを示す。
【００１７】
システム制御部２０１は、例えば、ＡＦ評価値が増加する方向にフォーカスレンズを動かしながらＡＦ評価値を算出し、ＡＦ評価値が最も高くなるフォーカスレンズの位置（合焦位置）を検出する。システム制御部２０１は、ＡＦ評価値のピークポジションを取得できない場合、現在指定されている測距領域においては合焦できないと判断する。システム制御部２０１は、ＡＦ評価値のピークポジションを取得できた場合、合焦できると判断する。システム制御部２０１は、詳細な合焦位置の検出を行う場合、ＡＦ評価値のピークポジションの近傍において、フォーカスレンズを前後方向に微小に移動させながらＡＦ評価値を取得し、フォーカスレンズの位置がＡＦ評価値の最大値となる箇所を合焦位置とする。
【００１８】
光学フィルタ選択器２１２は、複数の狭バンドパスフィルタによって得られる複数の波長帯域から、合焦位置の決定に用いる波長帯域を選択する。光学フィルタ選択器２１２に関しては後述する。撮像装置２００は、さらに、システムを操作するための操作部を有する。操作部は、装置本体の各種操作スイッチやレバー、表示部材に組み込まれているタッチパネルなど、必要に応じた操作部材を有する。これらの操作部材により、ユーザは任意のカメラ動作を行う。また、撮像装置２００は、電源検出回路、ＤＣ−ＤＣコンバータ、渦電流検出回路、電池残量検出回路等を有する電源制御部を備える。電源制御部は、電源部から得た電力を各処理部に対して供給する。
【００１９】
図２は、本実施形態で適用する光学フィルタの構成例を示す図である。
光学フィルタ２０１は、図１に示す撮像素子２０５の前段に配置されるマルチバンドパスフィルタ３００を有する。Ｒ（赤）成分領域３０１は、ベイヤー配列におけるＲ成分領域に対応する。Ｇ（緑）成分領域３０２は、ベイヤー配列における２つのＧ成分領域のうちの第１のＧ成分領域に対応する。Ｂ（青）成分領域３０３は、ベイヤー配列におけるＢ成分領域に対応する。ＩＲ（赤外）成分領域３０４は、不可視光領域の一例である。ＩＲ（赤外）成分領域３０４は、ベイヤー配列における２つのＧ成分領域のうちの第２のＧ成分領域に対応する。
【００２０】
マルチバンドパスフィルタ３００においては、可視光領域（ＲＧＢ成分領域）であるＲ成分領域３０１、Ｇ成分領域３０２、Ｂ成分領域３０３のそれぞれを複数（図２の例では４つ）の波長帯域の分光特性に分割している。例えば、Ｒ成分領域３０１においては、通常の広域バンドパスフィルタの代わりに、Ｒ成分の波長帯域に対応した４つの狭バンドパスフィルタが配置されている。図２に示す例では、Ｒ成分領域３０１には、Ｒ成分の波長帯域を６４０ｎｍ、６７０ｎｍ、７００ｎｍ、７３０ｎｍの４つの波長帯域にそれぞれ分光する４つの狭バンドパスフィルタが配置されている。これにより、従来の広域バンドパスフィルタに比べて、詳細な分光特性を検出できるようになる。Ｇ成分領域３０２、Ｂ成分領域３０３についても同様に、４つの波長帯域に対応する４つの狭バンドパスフィルタが配置されている。これにより、Ｒ成分領域３０１、Ｇ成分領域３０２、Ｂ成分領域３０３のそれぞれに対応する複数の波長帯域の撮像信号を得ることができる。
【００２１】
本実施形態で適用するマルチバンドパスフィルタ３００の特徴は、ＩＲ成分領域３０４を有しており、ＩＲ成分領域の波長帯域の撮像信号を得ることができることである。また、ＩＲ成分領域３０４にも複数（図２の例では４つ）の狭バンドパスフィルタが配置されており、狭バンドパスフィルタによって、ＩＲ成分領域３０４の複数の波長帯域が得られる。通常、ベイヤー配列においては、人間の眼の感度特性を考慮して、Ｒ成分領域及びＢ成分領域を１つずつ設け、残りの２つをＧ成分領域で構成している。マルチバンドパスフィルタ３００では、２つのＧ成分領域の１つをＩＲ成分領域３０４に割り当てている。そして、ＩＲ成分領域３０４に対しても他の領域と同様に、４つの狭バンドパスフィルタを配置している。このように、マルチバンドパスフィルタ３００は、画素を４ｘ４の波長帯域に分割し、Ｒ，Ｇ，Ｂのバンドをベイヤー配列型に配置するとともに、Ｇバンドの１つをＩＲに割り当てて、ＲＧＢ成分領域からＩＲ成分領域までのマルチバンド構成を成している。したがって、撮像装置２００は、光学フィルタ２００を通して撮像することで、ＲＧＢ成分領域の波長帯域とＩＲ成分領域の波長帯域とを含む複数の波長帯域の撮像信号を取得することができ、従来は撮像困難である被写体を撮像することが可能となる。
【００２２】
図３は、被写体の一例を示す図である。
例えば、白い皿６００に水６０２と油６０１を入れたものを被写体とする。図３に示す被写体に対して、従来のカラーフィルタを用いた撮像装置で撮像した場合、水も油も透明な液体であるので、白い皿の中に水か油かの判別が困難な透明な液体が撮像される。また、撮像装置が撮像時にＡＦ動作をさせようとしても、測距領域内の画像は、ほぼ白一色であり、コントラストが低く、ＡＦ評価値のピークポジションを取得することができないので、ＡＦ動作による合焦を行うことができない。
【００２３】
しかし、本実施形態の撮像装置２００は、ＩＲ成分領域まで撮像可能なマルチバンドパスフィルタを有しているので、水６０２の反射光がＩＲ成分領域ではカットされる。そのため、ＩＲ成分領域のバンドパスフィルタを通して撮像した場合、水６０２のみ黒色として撮像され、水６０２と油６０１を分離して撮像可能となる。また、ＩＲ成分領域では、水６０２が黒色となるので、画像のコントラストが高くなり、ＡＦ評価値のピークポジションを取得することが可能となる。撮像装置２００によれば、ＲＧＢ成分領域でＡＦ評価値のピークポジションを取得することができない場合に、ＩＲ成分領域を用いてＡＦ評価値のピークポジションを取得することができるので、ＲＧＢ成分領域で合焦ができない被写体でも合焦可能となる。
【００２４】
複数の狭バンドパスフィルタにより構成されているマルチバンドパスフィルタを使用した場合、どの波長帯域で合焦するかを選択する必要がある。マルチバンドパスフィルタ３００のような、ＲＧＢ成分領域とＩＲ成分領域の両方の波長帯域を持つフィルタの場合、まず、いずれの領域を合焦位置を決定するための評価値を取得のための波長帯域として優先させるかが問題となる。また、ＲＧＢ成分領域で合焦不可であった場合でも、ＩＲ成分領域で複数の波長帯域を持つので、どのような指標に基づいて、合焦位置を決定するための波長帯域を選択するかが問題となる。
【００２５】
図４は、本実施形態の撮像装置で撮像した場合のフォーカスレンズ位置とＡＦ評価値との関係の一例を示す図である。
以下では、図３を参照して説明したような、一様な色の容器に複数の透明な液体を入れた被写体を撮像した場合を例にとって説明する。この例では、４つの波長帯域においてＡＦ評価値が取得できる。例えば、撮像装置２００のシステム制御部２０１は、ＲＧＢ成分領域である５５０ｎｍ、ＩＲ成分領域である９００ｎｍ、１０００ｎｍ、１１００ｎｍの各々の波長帯域においてＡＦ評価値を取得する。
【００２６】
図３に示す被写体を撮像すると、被写体の分光反射率と光学フィルタ２１０の分光透過率により、撮像した被写体のコントラストが異なる。システム制御部２０１が、ＲＧＢ成分領域である５５０ｎｍの狭バンドパスフィルタで撮像すると、画像がほぼ白一色となるので、コントラストが低く、ＡＦ評価値のピークポジションを取得できない。したがって、システム制御部２０１は、ＩＲ成分領域である９００ｎｍ、１０００ｎｍ、１１００ｎｍにおいて、ＡＦ評価値を取得する。被写体の分光反射率に応じて、ＩＲ成分領域に対応する狭バンドパスフィルタを用いることで、ＲＧＢ成分領域ではＡＦ評価値のピークポジションを取得できない場合であっても、ＩＲ成分領域においてＡＦ評価値のピークポジションを取得できる。
【００２７】
図３に示す被写体を撮像すると、９００ｎｍ、１０００ｎｍ、１１００ｎｍと徐々に長波長側の波長帯域の撮像信号が得られ、被写体の反射光が徐々にカットされる。これにより、ＩＲ成分領域においてコントラストが高くなり、ＡＦ評価値のピークポジションを取得できるので、合焦位置を決定することができる。しかし、図４に示すＡＦ評価値を見ると、例えば１０００ｎｍと１１００ｎｍのＡＦ評価値は、ほぼ同じ値となっている。これは被写体の反射光がある一定以上の長波長帯域で反射光をカットした場合、撮像した被写体のコントラストとしては変化がなくなるためである。この場合、１０００ｎｍと１１００ｎｍのうちのいずれの波長帯域のＡＦ評価値を用いて合焦動作を行うかを選択する必要がある。
【００２８】
本実施形態の撮像装置２００は、ＡＦ評価値として合焦可能な複数の波長帯域がある場合、波長帯域のスペクトル特性に基づいて、合焦位置の決定に用いる波長帯域を選択する。具体的には、撮像装置２００は、スペクトル強度を指標とし、スペクトル強度に基づいて、合焦点の決定に用いる波長帯域を選択する。ＩＲ成分領域を活用したＦＡカメラなどでは、被写体の差分を評価することが多い。被写体の差分を評価する手法として、スペクトル強度の値により評価する手法が一般的である。
【００２９】
スペクトル強度は、ある面積・波長・時間当たりのエネルギーに着目した指標である。例えば、生鮮食品などにおいて、時間経過から表面部分が変化した場合、特定の波長帯域において物体の光の反射率が変化することから、スペクトル強度を取得すると、注目箇所のエネルギーに差分が出る。撮像装置２００は、特定波長帯域を検出するため、波長帯域を変えながら、最も着目領域におけるスペクトル強度の差分が出る波長帯域を検出する。画像や映像におけるコントラストは、輝度の差異に着目することが一般的であるが、スペクトル強度は、物体の反射光のエネルギーに着目した指標であるので、コントラストに出にくい変化を検出することが可能となる。この特徴を生かして、撮像装置２００は、ＩＲ成分領域で複数の合焦可能な波長帯域がある場合、スペクトル強度の値に基づいて、より大きな変化が検出できる波長帯域を設定する。例えば、撮像装置２００が備える光学フィルタ選択器２１２が、ＲＧＢ成分領域の波長帯域のスペクトル強度との差分が最も大きいスペクトル強度に対応する波長帯域を、合焦位置の決定に用いる不可視領域の波長帯域として選択する。これにより、合焦時に着目する画像領域において、可視光と不可視光の両方の領域から、最も変化を捉えられる波長帯域を設定することが可能である。
【００３０】
図５は、本実施形態の撮像装置が実行する、合焦位置の決定に用いる波長帯域の選択処理の例を説明するフローチャートである。
図５では、ＲＧＢ成分領域で合焦できない場合に、ＩＲ成分領域の波長帯域を合焦位置の決定に用いる波長帯域として選択する処理を行う動作を例にとって説明する。なお、以下に説明する動作は、本発明における一例に過ぎず、本発明は、以下に説明する動作に限定されない。
【００３１】
Ｓ１０１において、システム制御部２０１が、ユーザの操作にしたがって、撮像画面内に測距領域を設定する。続いて、Ｓ１０２において、システム制御部２０１が、レンズ制御部２０４を制御して、レンズ駆動部２０３によりフォーカスレンズを至近端から無限端まで駆動させる。Ｓ１０３において、ＡＦ処理部２１１が、システム制御部２０１の制御にしたがって、以下の処理を実行する。ＡＦ処理部２１１は、撮像処理部２０６が出力する撮像信号から、Ｓ１０１において設定された測距領域の撮像信号を抽出する。光学フィルタ２１０は、マルチバンドパスフィルタ３００を有するので、ＡＦ処理部２１１は、ＲＧＢ成分領域の波長帯域とＩＲ成分領域の波長帯域とを含む複数の波長帯域の撮像信号を取得する。ＡＦ処理部２１１は、取得した撮像信号に基づいて、波長帯域ごとにＡＦ評価値を算出する。ＡＦ処理部２１１やシステム制御部２０１などの信号処理性能によりＡＦ評価値の同時取得が困難な場合は、複数回に分けて取得してもよい。また、ＡＦ処理部２１１は、Ｓ１０３ではＲＧＢ成分領域の波長帯域のみのＡＦ評価値を取得して、Ｓ１０６の処理の前にＩＲ成分領域の波長帯域のＡＦ評価値を別途取得してもよい。
【００３２】
次に、システム制御部２０１が、Ｓ１０３で算出されたＡＦ評価値に基づいて、当該ＡＦ評価値に対応する波長帯域で合焦できるかを判断する。具体的には、Ｓ１０４において、システム制御部２０１は、ＲＧＢ成分領域の波長帯域のＡＦ評価値から合焦ができるかを判断する。システム制御部２０１は、ＲＧＢ成分領域の波長帯域のＡＦ評価値のピークポジションを取得できる場合に、ＲＧＢ成分領域の波長帯域のＡＦ評価値から合焦ができると判断する。システム制御部２０１は、ＲＧＢ成分領域の波長帯域のＡＦ評価値のピークポジションを取得できない場合に、ＲＧＢ成分領域の波長帯域のＡＦ評価値から合焦ができないと判断する。システム制御部２０１が、ＲＧＢ成分領域の波長帯域のＡＦ評価値から合焦ができると判断した場合は、処理がＳ１０５に進む。そして、Ｓ１０５において、システム制御部２０１が、ＲＧＢ成分領域の波長帯域のＡＦ評価値に基づいて、合焦位置を決定する。
【００３３】
システム制御部２０１が、ＲＧＢ成分領域の波長帯域のＡＦ評価値から合焦ができないと判断した場合は、処理がＳ１０６に進む。Ｓ１０６において、システム制御部２０１が、ＩＲ成分領域の波長帯域のＡＦ評価値から合焦できるかを判断する。システム制御部２０１は、ＩＲ成分領域の波長帯域のＡＦ評価値のピークポジションを取得できる場合に、ＩＲ成分領域の波長帯域のＡＦ評価値から合焦ができると判断する。システム制御部２０１は、ＩＲ成分領域の波長帯域のＡＦ評価値のピークポジションを取得できない場合に、ＩＲ成分領域の波長帯域のＡＦ評価値から合焦ができないと判断する。システム制御部２０１が、ＩＲ成分領域の波長帯域のＡＦ評価値から合焦できないと判断した場合は、マルチバンドパスフィルタ３００の全ての狭バンドパスフィルタの波長帯域でＡＦ評価値のピークポジションを取得できないことになる。したがって、この場合は、現在の撮像画面内で設定された測距領域では合焦できないので、処理がＳ１０１に戻る。
【００３４】
システム制御部２０１が、ＩＲ成分領域の波長帯域のＡＦ評価値から合焦できると判断した場合は、処理がＳ１０７に進む。Ｓ１０７において、システム制御部２０１が、合焦できると判断されたＩＲ成分領域の波長帯域が複数であるかを判断する。合焦できると判断されたＩＲ成分領域の波長帯域が複数でなく、一つである場合は、処理がＳ１０５に進む。そして、Ｓ１０５において、システム制御部２０１は、合焦できると判断された１つのＩＲ成分領域の波長帯域のＡＦ評価値に基づいて、合焦位置を決定する。
【００３５】
合焦できると判断されたＩＲ成分領域の波長帯域が複数である場合は、処理がＳ１０８に進む。なお、以下の説明では、Ｓ１０６において合焦できると判断されたＩＲ成分領域の複数の波長帯域を、選択波長帯域候補とも記述する。Ｓ１０８において、システム制御部２０１は、合焦できると判断されたＩＲ成分領域の複数の波長帯域のうち、合焦位置の決定に用いる波長帯域を選択する。そして、処理がＳ１０５に進む。Ｓ１０５において、システム制御部２０１は、選択されたＩＲ成分領域の波長帯域のＡＦ評価値に基づいて、合焦位置を決定する。Ｓ１０９において、システム制御部２０１が、レンズ制御部２０４を制御して、Ｓ１０５において決定された合焦位置にフォーカスレンズを移動させる。
【００３６】
上記のフローチャートでは、ＲＧＢ成分領域を対象にした合焦の可否の判断（Ｓ１０４）を、ＩＲ成分領域を対象にした合焦の可否の判断（Ｓ１０６）より先に行っているが、Ｓ１０４とＳ１０６の処理の順序を逆にしてもよい。また、これらの処理の順序をユーザが任意で選べるようにしてもよい。
【００３７】
図６は、図５のＳ１０８における波長帯域の選択処理を説明するフローチャートである。
Ｓ７０１において、システム制御部２０１が、図５のＳ１０３で取得したＲＧＢ成分領域の波長帯域のうち、ＡＦ評価値が最も高い波長帯域のスペクトル強度を算出する。続いて、Ｓ７０２において、システム制御部２０１が、図５のＳ１０６で合焦できると判断されたＩＲ成分領域の複数の波長帯域（選択波長帯域候補）のそれぞれについてスペクトル強度を算出する。スペクトル強度の算出方法は多くの文献で紹介されており、既知であるので、説明を省略する。
【００３８】
次に、Ｓ７０３において、システム制御部２０１が、Ｓ７０１で算出したＲＧＢ成分領域の波長領域のスペクトル強度と、Ｓ７０２で算出した各々のＩＲ成分領域の波長領域のスペクトル強度との差分を算出する。続いて、Ｓ７０４において、光学フィルタ選択器２１２が、Ｓ７０３で算出された差分に基づいて、ＩＲ成分領域の波長領域を選択する。すなわち、光学フィルタ選択器２１２は、ＲＧＢ成分領域の波長帯域とＩＲ成分領域の波長帯域とを含む複数の波長帯域のスペクトル強度に基づいて、合焦位置の決定に用いるＩＲ成分領域の波長帯域を選択する。
【００３９】
図７は、図６のＳ７０４におけるＩＲ成分領域の波長領域の選択処理の一例を説明する図である。
図７に示すグラフは、図４を参照して説明した４つの波長帯域の各々と、スペクトル強度との関係の一例を示す。このグラフにおいて、横軸は、波長を示す。縦軸は、スペクトル強度を示す。なお、選択波長帯域候補、すなわち合焦できるＩＲ成分領域の複数の波長帯域は、９００ｎｍ、１０００ｎｍおよび１１００ｎｍの３つの波長帯域であるものとする。
【００４０】
スペクトル強度５０１は、５５０ｎｍの波長帯域すなわちＡＦ評価値が最も高いＲＧＢ成分領域の波長帯域において算出されたスペクトル強度である。スペクトル強度５０２は、９００ｎｍの波長帯域において算出されたスペクトル強度である。スペクトル強度５０３は、１０００ｎｍの波長帯域において算出されたスペクトル強度である。スペクトル強度５０４は、１１００ｎｍの波長帯域において算出されたスペクトル強度である。
【００４１】
光学フィルタ選択器２１２による波長帯域の選択方法として、例えば、以下の第１の選択方法と第２の選択方法とが挙げられる。
第１の選択方法では、光学フィルタ選択器２１２は、選択波長帯域候補に含まれる各々のＩＲ成分領域の波長帯域のスペクトル強度と、ＡＦ評価値が最も高いＲＧＢ成分領域のスペクトル強度との差分を算出する。そして、光学フィルタ選択器２１２は、上記差分が最大であるスペクトル強度に対応するＩＲ成分領域の波長帯域を選択する。すなわち、選択波長帯域候補のうち、ＡＦ評価値が最も高いＲＧＢ成分領域との間でのスペクトル強度の差分が最大である波長帯域が選択される。図７に示す例では、１１００ｎｍの波長帯域のスペクトル強度５０４と５５０ｎｍの波長帯域のスペクトル強度５０１との差分が最大である。したがって、光学フィルタ選択器２１２は、１１００ｎｍの波長帯域を選択する。スペクトル強度における評価結果として、１１００ｎｍの波長帯域を選択したほうが、５５０ｎｍの波長帯域との物質の差分（判別）を取り易いからである。
【００４２】
第２の選択方法では、光学フィルタ選択器２１２は、まず、選択波長帯域候補に含まれるＩＲ成分領域の波長帯域のうち、ＡＦ評価値が最も高い波長帯域を決定する。ＡＦ評価値が最も高い波長帯域が一つである場合は、当該一つの波長帯域を合焦位置の決定のために用いる波長帯域として選択する。ＡＦ評価値が最も高い波長帯域が複数である場合を想定する。例えば、図４に示すように、１０００ｎｍと１１００ｎｍの２つの波長帯域のＡＦ評価値の最大値は、ほぼ同じである。この場合には、光学フィルタ選択器２１２は、ＡＦ評価値が最も高い複数の波長帯域のそれぞれのスペクトル強度と、ＡＦ評価値が最も高いＲＧＢ成分領域のスペクトル強度との差分を算出する。そして、光学フィルタ選択器２１２は、上記差分が最大であるスペクトル強度に対応するＩＲ成分領域の波長帯域を選択する。その結果、１１００ｎｍの波長帯域が合焦位置の決定に用いる波長帯域として選択される。
【００４３】
システム制御部２０１が、ユーザの操作にしたがって、ＡＦ評価値とスペクトル強度の優先度を設定するようにしてもよい。そして、ＡＦ評価値のほうがスペクトル強度より優先度が高い場合に、第２の選択方法を適用し、スペクトル強度のほうがＡＦ評価値より優先度が高い場合に、第１の選択方法を適用するようにしてもよい。上述した波長帯域の選択方法は、一例であり、本発明の適用範囲を限定しない。図６の説明に戻る。Ｓ７０５において、システム制御部２０１が、光学フィルタ選択器２１２が選択した波長帯域を、合焦位置の決定に用いる波長帯域として設定する。
【００４４】
本発明の適用場面で想定されることについて述べる。通常は、可視光とＩＲ成分領域による不可視光とでは、可視光に対して赤外光の結像位置がずれる（ピントずれが発生する）。したがって、システム制御部２０１は、ＩＲ成分領域の波長帯域のＡＦ評価値を用いて焦点調節処理を行う場合、当該ＩＲ成分領域の波長に基づいて、可視光に対するピントずれを補正してもよい。
【００４５】
また、システム制御部２０１が、ＩＲ成分領域の波長帯域を用いて焦点調節処理を行い、映像表示としてはＲＧＢによるカラー表示を行ってもよい。また、システム制御部２０１が、合焦時に、どの波長帯域で合焦したかを表示するようにしてもよい。以上、本発明の好適な実施形態に基づいて詳述したが、本発明は上記特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００４６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４７】
２００  撮像装置
２０１  システム制御部
【図１】
2019184724.tif 000003
【図２】
2019184724.tif 000004
【図３】
2019184724.tif 000005
【図４】
2019184724.tif 000006
【図５】
2019184724.tif 000007
【図６】
2019184724.tif 000008
【図７】
2019184724.tif 000009