(57)【特許請求の範囲】
【請求項１】
シーンの画像深度マップを推定するための方法であって、
軸上色光学系を使用して、前記シーンの対象点の深度および波長に焦点が依存する画像を提供するステップ(E1)と、
前記軸上色光学系によって提供される前記画像から1組のスペクトル画像を決定するステップ(E2)であって、1組のスペクトル画像を決定する前記ステップが、
画像センサ上に配置された４つ以上のスペクトルフィルタを備える前記画像センサを使用して、前記軸上色光学系によって形成された前記画像を受け取り、モザイク画像を形成するステップ(E21)と、
1組のフィルタ処理された画像を提供するために、スペクトル画像のデータベースにより提供されるスペクトル画像を使用して基準のフィルタ処理された画像とモザイク画像とを構築し、前記基準のフィルタ処理された画像と、前記基準のフィルタ処理された画像に対応するモザイク画像から推定されるフィルタ処理された画像とを比較することによって最適なフィルタを決定し、前記最適なフィルタを使用して前記モザイク画像をデモザイク処理するステップ(E22)と、
スペクトル推定を実施して(E23)、前記1組のフィルタ処理された画像を受け取り、前記1組のスペクトル画像を提供するステップと
を含む、ステップと、
を含み、前記シーンの前記画像深度マップを推定するための方法は、
拡大した被写界深度を有する推定されるスペクトル画像を提供するために、前記スペクトル画像をデコンボリューションするデコンボリューションステップ(E3)と、
推定される深度マップ
【数１】
0006650397.tif 000130
を提供するために、拡大した被写界深度を有する前記推定されるスペクトル画像に依存するコスト基準を分析する分析ステップ(E4)と
を更に含むことを特徴とする、方法。
【請求項２】
コスト基準を前記分析する分析ステップ(E4)が、
前記シーンの、拡大した被写界深度を有する前記推定されるスペクトル画像から再構築されるモザイク画像を形成するステップと、
所定の深度ドメイン中の深度について、形成された前記モザイク画像と、前記シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築される前記モザイク画像との間の、点同士の差の2乗に依存するコスト基準を最小化することによって、前記画像の各点における深度を推定するステップと
を含むことを特徴とする、請求項1に記載の方法。
【請求項３】
前記分析ステップ中で提供された前記推定される深度マップについて、前記シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するステップ(E5)をさらに含むことを特徴とする、請求項1または2に記載の方法。
【請求項４】
前記シーンの、拡大した被写界深度を有する前記1組のスペクトル画像を前記推定するステップが、前記深度上で繰り返すことによって、前記当該の深度が前記分析ステップ中で提供された前記推定される深度マップに対応する、前記デコンボリューションステップ中で提供された拡大した被写界深度を有するスペクトル画像の値を選択するステップを含むことを特徴とする、請求項3に記載の方法。
【請求項５】
前記スペクトル推定ステップ(E23)とスペクトル画像の前記デコンボリューションステップ(E3)が、単一のステップへと組み合わされることを特徴とする、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記モザイク画像を前記デモザイク処理するステップ(E22)、前記スペクトル推定ステップ(E23)、およびスペクトル画像の前記デコンボリューションステップ(E3)が、単一のステップへと組み合わされ、このステップが、画像のデータベースからの画像を使用して、前記モザイク画像の空間と前記スペクトル画像の空間との間の変換のための変換行列を計算することを特徴とする、請求項1から4のいずれか一項に記載の方法。
【請求項７】
シーンの画像深度マップを推定するためのデバイスであって、
前記シーンの対象点の深度および波長に焦点が依存する画像を提供するための、軸上色光学系(1)と、
前記軸上色光学系によって提供された前記画像を受け取り、1組のスペクトル画像を提供するためのスペクトル画像センサ(2)と、
拡大した被写界深度を有する推定されるスペクトル画像を提供するために、前記スペクトル画像をデコンボリューションするためのモジュール(25)と、
推定される深度マップ
【数２】
0006650397.tif 000131
を提供するために、拡大した被写界深度を有する前記推定されるスペクトル画像に依存するコスト基準を分析するためのモジュール(26)と
を備え、
前記スペクトル画像センサ(2)が、
前記軸上色光学系によって提供された前記画像を受け取り、モザイク画像を提供するための、４つ以上のスペクトルフィルタ(22)を備える画像センサ(21)と、
前記モザイク画像を受け取り、1組のフィルタ処理された画像を提供するために、スペクトル画像のデータベースにより提供されるスペクトル画像を使用して基準のフィルタ処理された画像とモザイク画像とを構築し、前記基準のフィルタ処理された画像と、前記基準のフィルタ処理された画像に対応するモザイク画像から推定されるフィルタ処理された画像とを比較することによって最適なフィルタを決定し、前記最適なフィルタを使用して前記モザイク画像をデモザイク処理するデモザイクモジュール(23)と、
前記1組のフィルタ処理された画像を受け取り、前記1組のスペクトル画像を提供するための、スペクトル推定モジュール(24)と
を備える
ことを特徴とする、デバイス。
【請求項８】
コスト基準を分析するための前記モジュール(26)が、
前記シーンの拡大した被写界深度を有する前記推定されるスペクトル画像から再構築されるモザイク画像を形成するための手段と、
所定の深度ドメイン中の深度について、形成された前記モザイク画像と、前記シーンの、拡大した被写界深度を有する前記推定されるスペクトル画像から再構築される前記モザイク画像との間の、点同士の差の2乗に依存するコスト基準を最小化するように適合される、前記画像の各点における深度を推定するための手段と
を備えることを特徴とする、請求項7に記載のデバイス。
【請求項９】
コスト基準を分析するための前記モジュール(26)によって提供された前記推定される深度マップについて、前記シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するモジュール(27)をさらに備えることを特徴とする、請求項7または8に記載のデバイス。
【請求項１０】
前記シーンの拡大した被写界深度を有する前記1組のスペクトル画像を推定するための前記モジュール(27)が、前記深度上で繰り返すことによって、前記当該の深度がコスト基準を分析するための前記モジュール(26)によって提供された前記推定される深度マップに対応する、前記スペクトル画像をデコンボリューションするための前記モジュール(25)によって提供された拡大した被写界深度を有するスペクトル画像の値を選択するように適合されることを特徴とする、請求項9に記載のデバイス。
【請求項１１】
前記スペクトル推定モジュール(24)と前記スペクトル画像をデコンボリューションするための前記モジュール(25)が、単一のモジュールへと組み合わされることを特徴とする、請求項7から10のいずれか一項に記載のデバイス。
【請求項１２】
前記デモザイクモジュール(23)、前記スペクトル推定モジュール(24)、および前記スペクトル画像をデコンボリューションするための前記モジュール(25)が、単一のモジュールへと組み合わされ、前記単一のモジュールが、画像のデータベースからの画像を使用して、前記モザイク画像の空間と前記スペクトル画像の空間との間の変換のための変換行列を計算するように適合されることを特徴とする、請求項7から10のいずれか一項に記載のデバイス。
【請求項１３】
コンピュータによって実行されると、請求項1から6のいずれか一項に記載の方法のステップを実行するための命令を含む、コンピュータプログラム。
【請求項１４】
請求項1から6のいずれか一項に記載の方法のステップを実行するための命令を含む、コンピュータプログラムを記憶する、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主として、シーンの画像深度マップを決定することに関する。
【０００２】
画像深度マップには、シーン中の対象物の次元解析、またはシーン中の要素のセグメント化を含めて、多くの用途がある。
【０００３】
本発明は、シーンの、拡大した被写界深度を有する画像を決定することにも関する。
【０００４】
本発明によってカバーされる技術分野は数多くあり、人間-コンピュータ相互作用(HCI)、拡張現実(AR)、顕微鏡検査、娯楽産業、自動車産業、ホームオートメーション、寸法検証、セキュリティ、およびビデオ監視は、いくつかの例である。
【背景技術】
【０００５】
3D画像化デバイスには2つのカテゴリがある。すなわち、深度を決定するのにシーン上への光の投影を必要としない受動的システム、および能動的システムである。本明細書では、受動的システムにのみ関与する。
【０００６】
文献WO 2009/019362は、被写界深度を増すためのデバイスを備える光学デバイスに関する。
【０００７】
光学システムには、未補正の軸上色収差がある。得られるカラー画像は、軸上色収差によって劣化する。そのような光学デバイスは、それぞれ、「近い」、「中間の」、「遠い」対象物について、これらのカラー画像の青、緑、および赤の成分に焦点を合わせる。これらの画像上の色収差を反転させることによって、鋭い成分が使用されて、デフォーカスされた他の成分を再構築する。再構築されたカラー画像は、こうして、軸上色収差が補正された等価な光学システムでキャプチャされるものよりも深い被写界深度を有する。
【０００８】
この方法は、3つのチャネル、すなわち、赤、緑、および青から構成される画像のみを考慮しており、したがって、3つの深度、すなわち、「近接」、「中間」、および「遠隔」にある対象物のみを取り扱う。
【０００９】
シーンの深度マップおよび拡大した被写界深度を有する画像を決定するための方法が、「International Journal on Computer Vision」中の2011年に出版された、Zhou、Lin、およびNayarによる「Coded aperture pairs for depth from defocus and defocus deblurring」と題する文献に記載される。
【００１０】
この方法は、デプスフロムデフォーカス(depth from defocus: DFD)を推定するための技法の1つである。それは、異なる符号化開口を有する同じシーンの2つのショットを使用する。
【００１１】
深度マップは、2つの画像間の焦点ずれ変化量を分析すること、および画像の各点におけるコスト基準を最小化することにより得られる。シーンの、拡大した被写界深度を有する画像は、次いで、深度マップから推定される。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】WO 2009/019362
【非特許文献】
【００１３】
【非特許文献１】「International Journal on Computer Vision」中の2011年に出版された、Zhou、Lin、およびNayarによる「Coded aperture pairs for depth from defocus and defocus deblurring」
【発明の概要】
【課題を解決するための手段】
【００１４】
本発明は、シーンの画像深度マップを推定するための方法を提供することにより、従来技術の問題を解決することを目的とする。方法は、以下のステップ、すなわち、
-  軸上色光学系を使用して、シーンの当該の対象点の深度および波長に焦点が依存する画像を提供するステップと、
-  軸上色光学系によって提供される画像から1組のスペクトル画像を決定するステップと、
-  拡大した被写界深度を有する推定されるスペクトル画像を提供するために、スペクトル画像をデコンボリューションするステップと、
-  推定される深度マップを提供するために、拡大した被写界深度を有する推定されるスペクトル画像に依存するコスト基準を分析するステップと
を含むことを特徴とする。
【００１５】
本発明を用いると、受動的単一センサシステムを用いて、単一のキャプチャされた画像からのシーンの画像深度マップを構築することが可能である。
【００１６】
この実施形態は、実時間での動作を可能にする。
【００１７】
好ましい特徴では、1組のスペクトル画像を決定するステップは、以下のステップ、すなわち
-  複数のスペクトルフィルタを備える画像センサを使用して、軸上色光学系によって形成された画像を受け取り、モザイク画像を形成するステップと、
-  1組のフィルタ処理された画像を提供するために、モザイク画像をデモザイク処理するステップと、
-  スペクトル推定を実施して、1組のフィルタ処理された画像を受け取り、1組のスペクトル画像を提供するステップと
を含む。
【００１８】
好ましい特徴では、コスト基準を分析するステップは、
-  シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築されるモザイク画像を形成するステップと、
-  所定の深度ドメイン中の深度について、形成されたモザイク画像と、シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築されるモザイク画像との間の、点同士の差の2乗に依存するコスト基準を最小化することによって、画像の各点における深度を推定するステップと
を含む。
【００１９】
好ましい特徴では、方法は、分析ステップ中で提供された、推定される深度マップについて、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するステップをさらに含む。
【００２０】
好ましい特徴では、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するステップが、深度上で繰り返すことによって、当該の深度が分析ステップ中で提供された推定される深度マップに対応する、デコンボリューションステップ中で提供された拡大した被写界深度を有するスペクトル画像の値を選択するステップを含む。
【００２１】
本発明の一実施形態では、スペクトル推定ステップとスペクトル画像デコンボリューションステップが、単一のステップへと組み合わされる。
【００２２】
本発明の別の実施形態では、デモザイクステップ、スペクトル推定ステップ、およびスペクトル画像デコンボリューションステップが、単一のステップへと組み合わされ、このステップは、画像のデータベースからの画像を使用して、モザイク画像の空間とスペクトル画像の空間との間の変換のための変換行列を計算する。
【００２３】
本発明は、シーンの、画像深度マップを推定するためのデバイスにも関する。デバイスは、
-  シーンの当該の対象点の深度および波長に焦点が依存する画像を提供するための、軸上色光学系と、
-  軸上色光学系によって提供された画像を受け取り、1組のスペクトル画像を提供するためのスペクトル画像センサと、
-  拡大した被写界深度を有する推定されるスペクトル画像を提供するために、スペクトル画像をデコンボリューションするためのモジュールと、
-  推定される深度マップを提供するために、拡大した被写界深度を有する推定されるスペクトル画像に依存するコスト基準を分析するためのモジュールと
を備えることを特徴とする。
【００２４】
本発明によるデバイスは、上述のものと類似の利点を有する。
【００２５】
好ましい特徴では、スペクトル画像センサは、
-  軸上色光学系によって提供された画像を受け取り、モザイク画像を提供するための、複数のスペクトルフィルタを備える画像センサと、
-  モザイク画像を受け取り、1組のフィルタ処理された画像を提供するための、デモザイクモジュールと、
-  1組のフィルタ処理された画像を受け取り、1組のスペクトル画像を提供するための、スペクトル推定モジュールと
を備える。
【００２６】
好ましい特徴では、コスト基準を分析するためのモジュールは、
-  シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築されるモザイク画像を形成するための手段と、
-  所定の深度ドメイン中の深度について、形成されたモザイク画像と、シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築されるモザイク画像との間の、点同士の差の2乗に依存するコスト基準を最小化するように適合される、画像中の各点における深度を推定するための手段と
を備える。
【００２７】
好ましい特徴では、デバイスは、分析モジュールによって提供された推定される深度マップについて、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するためのモジュールをさらに備える。
【００２８】
好ましい特徴では、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するためのモジュールが、深度上で繰り返すことによって、当該の深度が分析モジュールによって提供された推定される深度マップに対応する、デコンボリューションモジュールによって提供された拡大した被写界深度を有するスペクトル画像の値を選択するように適合される。
【００２９】
好ましい特徴では、スペクトル推定モジュールとスペクトル画像デコンボリューションモジュールが、単一のモジュールへと組み合わされる。
【００３０】
別の好ましい特徴では、デモザイクモジュール、スペクトル推定モジュール、およびスペクトル画像デコンボリューションモジュールが、単一のモジュールへと組み合わされ、この単一のモジュールは、画像のデータベースからの画像を使用して、モザイク画像の空間とスペクトル画像の空間との間の変換のための変換行列を計算するように適合される。
【００３１】
1つの特定の実施形態では、本発明による方法のステップは、コンピュータプログラムの命令によって実装される。
【００３２】
したがって、本発明は、情報媒体上のコンピュータプログラムにも関する。プログラムは、コンピュータ中で実行するのに好適であり、プログラムは、上に記載されたような方法のステップを実装するように適合される命令を含む。
【００３３】
このプログラムは、任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、または部分的にコンパイルされた形式などのソースコードとオブジェクトコードとの間の中間コードの形式、または任意の他の望ましい形式であってよい。
【００３４】
本発明は、コンピュータにより読み取ることができ、上で記載されたような方法のステップを実装するように適合されるコンピュータプログラム命令を含む、情報媒体にも関する。
【００３５】
情報媒体は、プログラムを記憶することができる、任意のエンティティまたはデバイスであってよい。たとえば、媒体は、たとえばCD-ROMもしくはマイクロエレクトロニック回路ROMといったROMなどの記憶媒体、またはディスケットもしくはハードドライブなどの磁気記録媒体からなってよい。
【００３６】
または、情報媒体は、無線もしくは他の手段によって、電気ケーブルもしくは光ケーブルを介して伝えることができる、電気信号もしくは光信号など、伝導できる媒体であってよい。本発明のプログラムは、特に、インターネットタイプのネットワークを介してダウンロードすることができる。
【００３７】
あるいは、情報媒体は、プログラムが組み込まれる集積回路であってよく、回路は、本発明による方法を実行するように、または本発明による方法の実行中で使用されるように適合される。
【００３８】
非限定的な例として与えられ、図を参照して記載される、好ましい実施形態を読めば、他の特徴および利点が明らかとなるであろう。
【図面の簡単な説明】
【００３９】
【図１】本発明による、シーンの画像深度マップを推定するためのデバイスを表す図である。
【図２】本発明による、デバイスの働きを表すフローチャートである。
【図３】本発明による、デバイス中に備えられるスペクトル画像センサの働きを表すフローチャートである。
【図４】本発明による、デバイスのデモザイクモジュール中で使用されるフィルタの計算を示す図である。
【図５】モザイク画像の空間とスペクトル画像の空間との間の変換のための変換行列の計算を示す図である。
【発明を実施するための形態】
【００４０】
図1を参照して記載される好ましい実施形態によれば、本発明による、シーンの画像深度マップを推定するためのデバイスは、軸上色光学系1を備える。
【００４１】
そのような系は、軸上色収差を維持し、他の収差を最小化する特性を有する。
【００４２】
軸上色収差は、材料を通過する光線の真空中の波長に依存する屈折率を材料が有する光学要素が、光学系中に存在することに起因する。したがって、光学系1の焦点距離は、それを進行する波長に依存する。焦点距離は、波長とともに増加する。焦点距離は、青についてよりも、赤についての方が長い。
【００４３】
言い換えれば、所与の対象点および軸上色光学系を通したその画像を考慮すると、焦点距離および画像焦点ずれは、当該の対象点の、深度および真空中の波長に依存する。所与の対象点は、システムの不変の特性、および光学系に対する対象点の距離に固有である、画像焦点に関するスペクトル的特徴を有する。
【００４４】
軸上色光学系は、横または横方向色収差を持たず、したがって、レンズのスペクトル変化に関連する射影歪みを持たないことに留意されたい。焦点距離は、波長の関数として、長手方向にのみ変化する。したがって、所与の対象点は、波長に関わらず、同じ画像点に対応する。
【００４５】
軸上色光学系1がシーンSCの画像をキャプチャするために使用されるとき、軸上色光学系1は、考慮される画像点に対応する対象点の深度および波長にしたがって、画像のスペクトル変調を実行する。
【００４６】
軸上色光学系1は、スペクトル画像センサ2の入力に接続される出力を有し、軸上色光学系1が、スペクトル画像センサ2の入力に、画像のスペクトル変調の結果を送達する。
【００４７】
この入力から、スペクトル画像センサ2は、カラーフィルタ配列22が配置される、行列画像センサ21を備える。カラーフィルタは、着色樹脂であってよいが、当業者は、干渉フィルタまたはナノ構造フィルタなどの他の知られたフィルタを使用することができる。各カラーフィルタの空間位置およびスペクトル応答は、所望のスペクトル画像の再構築を促進するように最適化される。行列画像センサ21およびカラーフィルタ配列22によって、単一の画像キャプチャ中の、シーンのスペクトル組成を推定することが可能になる。
【００４８】
行列画像センサ21およびカラーフィルタ配列22は、モザイク画像
【００４９】
【数１】
0006650397.tif 000002
【００５０】
を出力する。
【００５１】
EDOFs(x,y,λ)として示される、シーンの実際のスペクトル画像は、対象のシーンからの光線の、センサ21の平面上の幾何学的投影である。
【００５２】
画像センサ21の座標系を考慮して、モザイク画像
【００５３】
【数２】
0006650397.tif 000003
【００５４】
を、観察されるシーンの実際のスペクトル画像、軸上色光学系の特性、カラーフィルタ配列の特性、および付加的なノイズの関数として、次式にしたがって、数学的に表すことができる。
【００５５】
【数３】
0006650397.tif 000004
【００５６】
上式で、
-  (x,y)は、画像センサに関連する基準系中の点の座標であり、
-  λは、波長であり、
-  Z*(x,y)は、座標(x,y)を有する点に対応する実際の深度であり、
-  EDOFsは、シーンの実際のスペクトル画像であり、EDOFs(x,y,λ)は、波長λについての座標(x,y)を有する点に対応するスペクトル画像の値であり、
-  PSF(Point Spread Function:点拡がり関数)は、軸上色光学系のインパルス応答であり、PSF(x,y,Z*(x,y),λ)は、実際の深度Z*(x,y)および波長λについての、座標(x,y)を有する点におけるこのインパルス応答の値であり、
-  hi(λ)は、波長λについての、i番目のカラーフィルタのスペクトル透過であり、
-  mi(x,y)は、i番目のカラーフィルタの空間位置であり、
-  η(x,y)は、座標(x,y)を有する点における付加的なノイズの値であり、
-
【００５７】
【数４】
0006650397.tif 000005
【００５８】
は、座標(x,y)を有する点において考慮されるコンボリューション演算であり、
-  Nfは、カラーフィルタの数である。
【００５９】
本説明を通して、同じ表記法が保たれる。
【００６０】
カラーフィルタ配列22の出力は、デモザイクモジュール23の入力に接続される。カラーフィルタ配列22は、モザイク画像
【００６１】
【数５】
0006650397.tif 000006
【００６２】
を前記モジュールに送達する。
【００６３】
デモザイクモジュール23は、モザイク画像
【００６４】
【数６】
0006650397.tif 000007
【００６５】
に適用されるフィルタDMによってフィルタ処理されるNf個の画像を推定し、ここで、Nfは、配列22中のカラーフィルタの数である。フィルタ処理された画像は、画像センサに関連する基準システム中のモザイク画像
【００６６】
【数７】
0006650397.tif 000008
【００６７】
の解像度におけるものである。
【００６８】
図4は、フィルタDMの計算を表す。フィルタDMを計算するためのモジュールM23は、スペクトル画像のデータベースBDにより提供されるスペクトル画像を使用して、対象のフィルタ配列の空間特性およびスペクトル特性にしたがって、基準のフィルタ処理された画像およびモザイク画像を構築する。
【００６９】
計算モジュールは、最小2乗法で最適化された線形行列フィルタDMを決定する。最適な線形行列フィルタDMは、基準のフィルタ処理された画像と、対応するモザイク画像にフィルタDMを適用することにより推定されるフィルタ処理された画像との間の差の2乗を最小化することによって決定される。
【００７０】
最適な線形行列フィルタDMは、モザイク画像の空間から対応するフィルタ処理された画像の空間への変換を可能にする。
【００７１】
こうして、デモザイクモジュール23によって、モザイク画像
【００７２】
【数８】
0006650397.tif 000009
【００７３】
からフィルタ処理された画像への変換が可能になる。軸上色光学系および実際の深度Z*(x,y)における対象についての画像センサ全体の上に置かれることになるi番目のフィルタを通して見られることになるフィルタ処理された画像
【００７４】
【数９】
0006650397.tif 000010
【００７５】
は、次式により与えられる。
【００７６】
【数１０】
0006650397.tif 000011
【００７７】
この式は、実際のフィルタ処理された画像(左の項)とノイズ項(右の項)の合計によって、これらのフィルタ処理された画像が得られると想定している。この場合では、デモザイク処理に関する推定誤差が、追加ノイズのこの項に含まれる。この項は、(表記は同じであるが)考慮されるモザイク画像の式中のノイズ項と、厳密には同一でない。しかし、使用されるデモザイクアルゴリズムは、各フィルタ処理された画像中に、統計的な特性がモザイク画像のノイズのものと同一であるノイズ項を誘起すると考えた。それが、本明細書中で活用される、統計的な特性の保存である。
【００７８】
こうして、デモザイク処理は、1組のNf個のフィルタ処理された画像
【００７９】
【数１１】
0006650397.tif 000012
【００８０】
をもたらす。
【００８１】
デモザイクモジュール23の出力は、スペクトル推定モジュール24の入力に接続される。デモザイクモジュール23はNf個のフィルタ処理された画像
【００８２】
【数１２】
0006650397.tif 000013
【００８３】
をモジュール24に送達する。
【００８４】
スペクトル推定モジュール24は、Nf個のフィルタ処理された画像に適用される線形行列逆フィルタFSによって、Nλ個のスペクトル画像を決定する。モジュール24の動作は、下に詳細に記載される。
【００８５】
各スペクトル画像は、波長サンプルに関する。スペクトル画像の数Nλは、スペクトル画像化システムの波長の範囲およびスペクトルサンプルのサイズに依存する。
【００８６】
1つの特定の実施形態では、フィルタ配列中のフィルタの数は、所望のスペクトル画像の数と等しい。この場合、スペクトル画像は、デモザイクモジュールによってフィルタ処理された画像である。言い換えれば、デモザイク処理がスペクトル画像を直接提供し、スペクトル推定は必要でない。
【００８７】
スペクトル推定モジュール24の出力は、デコンボリューションモジュール25の入力に接続される。スペクトル推定モジュール24は、Nλ個のスペクトル画像をモジュール25に送達する。
【００８８】
モジュール25は、下に記載されるモジュール26により与えられる検査深度Ztについて、モジュール24により提供されるNλ個のスペクトル画像に、線形行列逆フィルタ
【００８９】
【数１３】
0006650397.tif 000014
【００９０】
によってデコンボリューションを適用する。
【００９１】
デコンボリューションモジュール25は、Ztが観察されたシーンの実際の深度であるという仮定で、拡大した被写界深度を有する推定されるスペクトル画像
【００９２】
【数１４】
0006650397.tif 000015
【００９３】
を決定する。
【００９４】
デコンボリューションモジュール25からの出力は、考慮されるシーンの実際の深度マップを推定するため、モジュール26の入力に接続される。デコンボリューションモジュール25は、モジュール26中で決定された拡大した被写界深度を有する推定されるスペクトル画像
【００９５】
【数１５】
0006650397.tif 000016
【００９６】
を送達する。
【００９７】
カラーフィルタ配列22の出力は、モジュール26の入力にも接続される。配列22は、モジュール26にモザイク画像
【００９８】
【数１６】
0006650397.tif 000017
【００９９】
を送達する。
【０１００】
モジュール26は、配列22により提供されるモザイク画像
【０１０１】
【数１７】
0006650397.tif 000018
【０１０２】
およびモジュール25により提供されるNλ個の推定されるスペクトル画像
【０１０３】
【数１８】
0006650397.tif 000019
【０１０４】
から計算されるコスト基準の最小化に基づいて、考慮されるシーンの実際の深度マップZ(x,y)の推定
【０１０５】
【数１９】
0006650397.tif 000020
【０１０６】
を決定する。
【０１０７】
モジュール26の出力は、デコンボリューションモジュール25の入力に接続され、それに検査深度Ztを提供する。
【０１０８】
モジュール26の動作は、下に詳述される。
【０１０９】
デコンボリューションモジュール25の出力は、適応型画素選択モジュール27の入力に接続される。デコンボリューションモジュール25は、モジュール27にNλ個の推定されるスペクトル画像
【０１１０】
【数２０】
0006650397.tif 000021
【０１１１】
を供給する。
【０１１２】
シーンの実際の深度マップを推定するためのモジュール26の出力は、適応型画素選択モジュール27の入力に接続される。モジュール26は、モジュール27に、シーンの実際の深度マップの推定
【０１１３】
【数２１】
0006650397.tif 000022
【０１１４】
を供給する。
【０１１５】
適応型画素選択モジュール27は、推定される深度マップ
【０１１６】
【数２２】
0006650397.tif 000023
【０１１７】
に適合される、拡大した被写界深度を有するNλ個の推定されるスペクトル画像
【０１１８】
【数２３】
0006650397.tif 000024
【０１１９】
を決定する。モジュール27の動作は、下に詳述される。
【０１２０】
好ましい実施形態では、スペクトル推定モジュール24とスペクトル画像デコンボリューションモジュール25が、単一のモジュールへと組み合わされる。
【０１２１】
この場合、検査深度ドメインが考慮される。このドメイン内の所与の検査深度Ztについて、Nλ個の推定されるスペクトル画像
【０１２２】
【数２４】
0006650397.tif 000025
【０１２３】
が決定される。この推定は、たとえば、フィルタ処理された画像を与える数式のフーリエ変換、次いで、得られる表現の線形行列形式での転置の後の、Nf個のフィルタ処理された画像
【０１２４】
【数２５】
0006650397.tif 000026
【０１２５】
に基づいて実施される。
【０１２６】
この実施形態は、対象シーンが平面であり、使用される系の光軸に垂直であって、対象深度が座標(x,y)から独立であることを意味する仮定に基づく。
【０１２７】
こうして、以下の線形行列表現が得られる。
【０１２８】
【数２６】
0006650397.tif 000027
【０１２９】
上式で、
-
【０１３０】
【数２７】
0006650397.tif 000028
【０１３１】
は、フィルタ処理された画像
【０１３２】
【数２８】
0006650397.tif 000029
【０１３３】
のフーリエ変換の行列表現であり、
-  Sは、推定したい拡大した被写界深度を有するスペクトル画像EDOFsのフーリエ変換の行列表現であり、
-
【０１３４】
【数２９】
0006650397.tif 000030
【０１３５】
は、実際に考慮される深度Z*における対象物を仮定した、積hi.OTFの行列表現であり、OTFは、考慮される光学系のインパルス応答(PSF)のフーリエ変換であり、
-  Nは、付加的なノイズηのフーリエ変換の行列表現である。
【０１３６】
行列Sの最小2乗推定が、次式にしたがって、次いで一緒に考慮されるモジュール24および25で実施される。
【０１３７】
【数３０】
0006650397.tif 000031
【０１３８】
上式で、
-  Ztは、検査ドメイン中の所与の深度であり、
-
【０１３９】
【数３１】
0006650397.tif 000032
【０１４０】
は、当該のシーンの深度Ztを仮定する、拡大した被写界深度を有する推定されるスペクトル画像
【０１４１】
【数３２】
0006650397.tif 000033
【０１４２】
のフーリエ変換の行列表現であり、
-  iは、フィルタhiの添字、jは、フィルタhjの添字であり、
-
【０１４３】
【数３３】
0006650397.tif 000034
【０１４４】
は、
【０１４５】
【数３４】
0006650397.tif 000035
【０１４６】
の共役転置行列であり、
-  Cは、考慮されるスペクトル画像EDOFsのより良好な推定へと収束することを可能にする、行列調整パラメータである。
【０１４７】
拡大した被写界深度を有する推定されるスペクトル画像
【０１４８】
【数３５】
0006650397.tif 000036
【０１４９】
が、次いで、行列
【０１５０】
【数３６】
0006650397.tif 000037
【０１５１】
の逆フーリエ変換によって得られる。
【０１５２】
モジュール24および25の動作が同時に実行される場合、フーリエ空間で表される行列項
【０１５３】
【数３７】
0006650397.tif 000038
【０１５４】
は、フィルタ処理された画像
【０１５５】
【数３８】
0006650397.tif 000039
【０１５６】
からスペクトル画像
【０１５７】
【数３９】
0006650397.tif 000040
【０１５８】
を推定するための、フィルタ
【０１５９】
【数４０】
0006650397.tif 000041
【０１６０】
(フィルタFsと
【０１６１】
【数４１】
0006650397.tif 000042
【０１６２】
の積)に等価な、線形行列逆フィルタを表す。
【０１６３】
モザイク画像は、次式にしたがって、推定されるスペクトル画像から検査深度Ztについてモジュール26中で再構築される。
【０１６４】
【数４２】
0006650397.tif 000043
【０１６５】
モジュール22により決定されるモザイク画像
【０１６６】
【数４３】
0006650397.tif 000044
【０１６７】
と再構築されるモザイク画像
【０１６８】
【数４４】
0006650397.tif 000045
【０１６９】
との間の、画素同士の差の2乗が最小化される。言い換えれば、検査深度ドメイン中の各点(x,y)における深度Ztを見いだすために繰り返しが使われ、このことが、モジュール26中で計算されるコスト基準
【０１７０】
【数４５】
0006650397.tif 000046
【０１７１】
を最小化する。
【０１７２】
【数４６】
0006650397.tif 000047
【０１７３】
画像の全ての位置(x,y)について、1組の推定される深度値によって、推定される深度マップ
【０１７４】
【数４７】
0006650397.tif 000048
【０１７５】
が与えられる。
【０１７６】
モジュール27は、次いで、深度Zt上で繰り返して、当該の深度Ztが推定される深度マップ
【０１７７】
【数４８】
0006650397.tif 000049
【０１７８】
に対応する、拡大した被写界深度を有する推定されるスペクトル画像
【０１７９】
【数４９】
0006650397.tif 000050
【０１８０】
の値だけを選択することによって、拡大した被写界深度を有するNλ個の推定されるスペクトル画像
【０１８１】
【数５０】
0006650397.tif 000051
【０１８２】
を決定する。
【０１８３】
別の好ましい実施形態では、デモザイクモジュール23、スペクトル推定モジュール24、およびスペクトル画像デコンボリューションモジュール25が、単一のモジュールへと組み合わされる。
【０１８４】
この実施形態は、モザイク画像空間から別の空間、ここでは、拡大した被写界深度を有するスペクトル画像の空間に変換する法則を、線形行列表現の形で見いだすことが可能であるという事実に基づく。
【０１８５】
図5に表されるように、この実施形態では、計算モジュールM1が画像のデータベースBD1からの画像を使用して、検査深度Ztについて、モザイク画像の空間と拡大した被写界深度を有するスペクトル画像の空間との間で変換するための、変換行列
【０１８６】
【数５１】
0006650397.tif 000052
【０１８７】
を計算する。
【０１８８】
この実施形態は、シーンが対象空間中で平面であり、系の光軸に垂直であるという仮定に基づく。
【０１８９】
モザイク画像を、拡大した被写界深度を有するスペクトル画像の空間中の画像EDOFsのうちの1つに変換するための変換行列
【０１９０】
【数５２】
0006650397.tif 000053
【０１９１】
は、次式により与えられる。
【０１９２】
【数５３】
0006650397.tif 000054
【０１９３】
上式で、
-  Idは、行列
【０１９４】
【数５４】
0006650397.tif 000055
【０１９５】
のものと同じサイズの単位行列を表し、
-  r0は、推定される行列
【０１９６】
【数５５】
0006650397.tif 000056
【０１９７】
についての、スカラー調整要素を表し、
-  EDOFsは、使用される画像データベースからの、拡大した被写界深度を有するスペクトル画像の値を含む行列であり、
-
【０１９８】
【数５６】
0006650397.tif 000057
【０１９９】
は、所与の検査深度Ztについて、モザイク画像の数学表現から再構築されるモザイク画像
【０２００】
【数５７】
0006650397.tif 000058
【０２０１】
の値を含む行列であり、
-
【０２０２】
【数５８】
0006650397.tif 000059
【０２０３】
は、行列
【０２０４】
【数５９】
0006650397.tif 000060
【０２０５】
の変換行列である。
【０２０６】
モザイク画像の空間から拡大した被写界深度を有するスペクトル画像の空間への変換のための変換行列
【０２０７】
【数６０】
0006650397.tif 000061
【０２０８】
は、所与の検査深度Ztについて、使用される画像データベースからの画像の各々で計算される行列の平均によって与えられる。
【０２０９】
したがって、複数の変換行列
【０２１０】
【数６１】
0006650397.tif 000062
【０２１１】
は、検査深度ドメイン中の複数の深度Ztについてそれぞれ計算される。
【０２１２】
深度Ztについての拡大した被写界深度を有する推定されるスペクトル画像は、行列
【０２１３】
【数６２】
0006650397.tif 000063
【０２１４】
と、実際のモザイク画像
【０２１５】
【数６３】
0006650397.tif 000064
【０２１６】
から形成された行列
【０２１７】
【数６４】
0006650397.tif 000065
【０２１８】
との行列乗算によって得られる。行列演算は、以下のタイプである。
【０２１９】
【数６５】
0006650397.tif 000066
【０２２０】
第1の実施形態中のように、モザイク画像は、次式にしたがって、推定されるスペクトル画像から検査深度Ztについて、モジュール26中で再構築される。
【０２２１】
【数６６】
0006650397.tif 000067
【０２２２】
モジュール22により決定されるモザイク画像
【０２２３】
【数６７】
0006650397.tif 000068
【０２２４】
と再構築されるモザイク画像
【０２２５】
【数６８】
0006650397.tif 000069
【０２２６】
との間の、画素同士の差の2乗が最小化される。言い換えれば、各点(x,y)における深度Ztを見いだすために検査深度ドメイン中で繰り返しが使われ、このことが、モジュール26中で計算されるコスト基準
【０２２７】
【数６９】
0006650397.tif 000070
【０２２８】
を最小化する。
【０２２９】
【数７０】
0006650397.tif 000071
【０２３０】
画像の各位置(x,y)における1組の推定される深度値によって、推定される深度マップ
【０２３１】
【数７１】
0006650397.tif 000072
【０２３２】
が与えられる。
【０２３３】
最後にモジュール27で、深度Zt上で繰り返して、当該の深度Ztが推定される深度マップ
【０２３４】
【数７２】
0006650397.tif 000073
【０２３５】
に対応する、拡大した被写界深度を有する推定されるスペクトル画像
【０２３６】
【数７３】
0006650397.tif 000074
【０２３７】
の値だけを選択することによって、拡大した被写界深度を有するNλ個の推定されるスペクトル画像
【０２３８】
【数７４】
0006650397.tif 000075
【０２３９】
を決定する。
【０２４０】
図2は、ステップE1からE5を含む方法の形で、上に提示されたデバイスの機能性のフローチャートを表す。
【０２４１】
ステップE1は、上に記載されたデバイスを使用してシーンをキャプチャするステップである。本発明の文脈では、ただ1つの画像キャプチャが必要である。
【０２４２】
次いで、軸上色光学系1が、画像の各点についての距離および波長の関数として変調されたスペクトル流束を、スペクトル画像センサ2に送達する。
【０２４３】
次のステップE2において、軸上色光学系によって提供された画像が、スペクトル画像センサ2によって受け取られる。このことによって、1組のNλ個のスペクトル画像が提供される。ステップE2は、下に詳述される。
【０２４４】
次のステップE3において、Nλ個のスペクトル画像がデコンボリューションされて使用され、Ztが観察されたシーンの実際の深度に等しいという仮定で、拡大した被写界深度を有する推定されるスペクトル画像
【０２４５】
【数７５】
0006650397.tif 000076
【０２４６】
を推定する。
【０２４７】
次のステップE4は、配列22により提供されるモザイク画像
【０２４８】
【数７６】
0006650397.tif 000077
【０２４９】
およびモジュール25により提供されるNλ個の推定されるスペクトル画像
【０２５０】
【数７７】
0006650397.tif 000078
【０２５１】
から計算されるコスト基準の最小化に基づいて、考慮されるシーンの実際の深度マップZ(x,y)の推定
【０２５２】
【数７８】
0006650397.tif 000079
【０２５３】
を決定する。
【０２５４】
次のステップE5は、ステップE4で推定された深度マップ
【０２５５】
【数７９】
0006650397.tif 000080
【０２５６】
についての、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するための、画素の適応型選択である。
【０２５７】
図3は、サブステップE21〜E23の形での、ステップE2の詳細を表す。
【０２５８】
ステップE21において、軸上色光学系1によって提供される画像は、画像センサ21およびカラーフィルタ配列22によってモザイク画像
【０２５９】
【数８０】
0006650397.tif 000081
【０２６０】
へと変換される。
【０２６１】
次のステップE22において、モザイク画像
【０２６２】
【数８１】
0006650397.tif 000082
【０２６３】
は、Nf個のフィルタ処理された画像
【０２６４】
【数８２】
0006650397.tif 000083
【０２６５】
を生成するために、デモザイク処理を受ける。
【０２６６】
次のステップE23は、Nf個のフィルタ処理された画像
【０２６７】
【数８３】
0006650397.tif 000084
【０２６８】
からNλ個のスペクトル画像を決定するための、スペクトル推定である。
【０２６９】
好ましい実施形態では、スペクトル推定ステップE23とスペクトル画像デコンボリューションステップE3が、単一のステップへと組み合わされる。
【０２７０】
この場合、検査深度ドメインが考慮される。所与の検査深度Ztについて、Nλ個の推定されるスペクトル画像
【０２７１】
【数８４】
0006650397.tif 000085
【０２７２】
が決定される。
【０２７３】
この推定は、たとえば、フィルタ処理された画像を与える数式のフーリエ変換、次いで、得られる表現の線形行列形式での転置の後の、Nf個のフィルタ処理された画像
【０２７４】
【数８５】
0006650397.tif 000086
【０２７５】
に基づいて実施される。
【０２７６】
この実施形態は、対象深度が座標(x,y)から独立であることを意味し、使用される系の光軸に垂直である、平面の対象シーンという仮定に基づく。
【０２７７】
こうして、以下の線形行列表現が得られる。
【０２７８】
【数８６】
0006650397.tif 000087
【０２７９】
上式で、
-
【０２８０】
【数８７】
0006650397.tif 000088
【０２８１】
は、フィルタ処理された画像
【０２８２】
【数８８】
0006650397.tif 000089
【０２８３】
のフーリエ変換の行列表現であり、
-  Sは、推定したい拡大した被写界深度を有するスペクトル画像EDOFsのフーリエ変換の行列表現であり、
-
【０２８４】
【数８９】
0006650397.tif 000090
【０２８５】
は、実際に考慮される深度Z*における対象を仮定した、積hi.OTFの行列表現であり、OTFは、考慮される光学系のインパルス応答(PSF)のフーリエ変換であり、
-  Nは、付加的なノイズηのフーリエ変換の行列表現である。
【０２８６】
行列Sの最小2乗推定が、ここで、次式により与えられる。
【０２８７】
【数９０】
0006650397.tif 000091
【０２８８】
上式で、
-  Ztは、検査ドメイン中の所与の深度であり、
-
【０２８９】
【数９１】
0006650397.tif 000092
【０２９０】
は、当該のシーンの深度Ztを仮定する、拡大した被写界深度を有する推定されるスペクトル画像
【０２９１】
【数９２】
0006650397.tif 000093
【０２９２】
のフーリエ変換の行列表現であり、
-  iは、フィルタhiの添字であり、jは、フィルタhjの添字であり、
-
【０２９３】
【数９３】
0006650397.tif 000094
【０２９４】
は、行列
【０２９５】
【数９４】
0006650397.tif 000095
【０２９６】
の共役転置であり、
-  Cは、考慮されるスペクトル画像EDOFsのより良好な推定へと収束することを可能にする、行列調整パラメータである。
【０２９７】
拡大した被写界深度を有する推定されるスペクトル画像
【０２９８】
【数９５】
0006650397.tif 000096
【０２９９】
が、次いで、行列の逆フーリエ変換
【０３００】
【数９６】
0006650397.tif 000097
【０３０１】
によって得られる。
【０３０２】
ステップE4において、モザイク画像
【０３０３】
【数９７】
0006650397.tif 000098
【０３０４】
は、次式にしたがって、推定されるスペクトル画像から検査深度Ztについて、モジュール26によって再構築される。
【０３０５】
【数９８】
0006650397.tif 000099
【０３０６】
ステップE21において決定されるモザイク画像
【０３０７】
【数９９】
0006650397.tif 000100
【０３０８】
と再構築されるモザイク画像
【０３０９】
【数１００】
0006650397.tif 000101
【０３１０】
との間の、画素同士の差の2乗が最小化される。言い換えれば、各点(x,y)における深度Ztを見いだすために検査深度ドメイン中で繰り返しが使われ、このことが、モジュール26中で計算されるコスト基準
【０３１１】
【数１０１】
0006650397.tif 000102
【０３１２】
を最小化する。
【０３１３】
【数１０２】
0006650397.tif 000103
【０３１４】
画像の各位置(x,y)についての1組の推定される深度値によって、推定される深度マップ
【０３１５】
【数１０３】
0006650397.tif 000104
【０３１６】
が与えられる。
【０３１７】
ステップE5は、次いで、深度Zt上で繰り返して、当該の深度Ztが推定される深度マップ
【０３１８】
【数１０４】
0006650397.tif 000105
【０３１９】
に対応する、拡大した被写界深度を有する推定されるスペクトル画像
【０３２０】
【数１０５】
0006650397.tif 000106
【０３２１】
の値だけを選択することによって、拡大した被写界深度を有するNλ個の推定されるスペクトル画像
【０３２２】
【数１０６】
0006650397.tif 000107
【０３２３】
を決定する。
【０３２４】
別の好ましい実施形態では、デモザイクステップE22、スペクトル推定ステップE23、およびスペクトル画像デコンボリューションステップE3が、単一のステップへと組み合わされる。
【０３２５】
この実施形態は、モザイク画像の空間から別の空間、ここでは、拡大した被写界深度を有するスペクトル画像の空間に変換するための変換法則を、線形行列表現の形で見いだすことが可能であるという事実に基づく。
【０３２６】
この実施形態は、画像のデータベースからの画像を使用して、検査深度Ztについて、モザイク画像の空間と拡大した被写界深度を有するスペクトル画像の空間との間で変換するための、変換行列
【０３２７】
【数１０７】
0006650397.tif 000108
【０３２８】
を計算する(図5)。
【０３２９】
この実施形態は、シーンが対象空間中で平面であり、系の光軸に垂直であるという仮定に基づく。
【０３３０】
モザイク画像を、スペクトル画像の空間中の画像EDOFsのうちの1つに変換するための変換行列
【０３３１】
【数１０８】
0006650397.tif 000109
【０３３２】
は、次式により与えられる。
【０３３３】
【数１０９】
0006650397.tif 000110
【０３３４】
上式で、
-  Idは、行列
【０３３５】
【数１１０】
0006650397.tif 000111
【０３３６】
のものと同じサイズの単位行列を表し、
-  r0は、推定される行列
【０３３７】
【数１１１】
0006650397.tif 000112
【０３３８】
についての、スカラー調整要素を表し、
-  EDOFsは、使用される画像データベースからの、拡大した被写界深度を有するスペクトル画像の値を含む行列であり、
-
【０３３９】
【数１１２】
0006650397.tif 000113
【０３４０】
は、所与の検査深度Ztについて、モザイク画像の数学表現から再構築されるモザイク画像
【０３４１】
【数１１３】
0006650397.tif 000114
【０３４２】
の値を含む行列であり、
-
【０３４３】
【数１１４】
0006650397.tif 000115
【０３４４】
は、行列
【０３４５】
【数１１５】
0006650397.tif 000116
【０３４６】
の転置行列である。
【０３４７】
モザイク画像の空間から拡大した被写界深度を有するスペクトル画像の空間への変換のための変換行列
【０３４８】
【数１１６】
0006650397.tif 000117
【０３４９】
は、所与の検査深度について、使用される画像データベースからの画像の各々で計算される行列の平均によって与えられる。
【０３５０】
したがって、複数の変換行列
【０３５１】
【数１１７】
0006650397.tif 000118
【０３５２】
は、検査深度ドメイン中の複数の深度Ztについてそれぞれ計算される。
【０３５３】
深度Ztについての拡大した被写界深度を有する推定されるスペクトル画像は、行列
【０３５４】
【数１１８】
0006650397.tif 000119
【０３５５】
と、実際のモザイク画像
【０３５６】
【数１１９】
0006650397.tif 000120
【０３５７】
から形成された行列
【０３５８】
【数１２０】
0006650397.tif 000121
【０３５９】
との行列乗算によって得られる。行列演算は、以下のタイプである。
【０３６０】
【数１２１】
0006650397.tif 000122
【０３６１】
第1の実施形態中のように、ステップE4において、モザイク画像は、次式にしたがって、推定されるスペクトル画像から検査深度Ztについて、モジュール26中で再構築される。
【０３６２】
【数１２２】
0006650397.tif 000123
【０３６３】
検査深度ドメイン中の深度を見いだすために繰り返しが使われることを意味するが、次いで、モザイク画像
【０３６４】
【数１２３】
0006650397.tif 000124
【０３６５】
と再構築されるモザイク画像
【０３６６】
【数１２４】
0006650397.tif 000125
【０３６７】
との間の、画素同士の差の2乗が最小化され、このことが、各位置におけるコスト基準を最小化する。画像の全ての位置(x,y)について、1組の推定される深度値によって、推定される深度マップ
【０３６８】
【数１２５】
0006650397.tif 000126
【０３６９】
が与えられる。
【０３７０】
ステップE5は、次いで、深度Zt上で繰り返して、当該の深度Ztが推定される深度マップ
【０３７１】
【数１２６】
0006650397.tif 000127
【０３７２】
に対応する、拡大した被写界深度を有する推定されるスペクトル画像
【０３７３】
【数１２７】
0006650397.tif 000128
【０３７４】
の値だけを選択することによって、拡大した被写界深度を有するNλ個の推定されるスペクトル画像
【０３７５】
【数１２８】
0006650397.tif 000129
【０３７６】
を決定する(モジュール27)。
【符号の説明】
【０３７７】
1  軸上色光学系
2  スペクトル画像センサ
21  行列画像センサ
22  カラーフィルタ配列
23  デモザイクモジュール
24  スペクトル推定モジュール
25  デコンボリューションモジュール
26  シーンの実際の深度マップを推定するためのモジュール、コスト基準を分析するためのモジュール
27  適応型画素選択モジュール、スペクトル画像を推定するモジュール
【図１】
0006650397.tif 000132
【図２】
0006650397.tif 000133
【図３】
0006650397.tif 000134
【図４】
0006650397.tif 000135
【図５】
0006650397.tif 000136