(57)【要約】  物体までの距離を決定するシステムは、コーデッドアパーチャと、コーデッドアパーチャの焦点面から外れて位置付けられる画像センサとを有する画像捕捉デバイス１０１を含む。受信器１０３が、画像センサからシーンの画像を受け取り、検出器１０５が、物体の光学特性に応答してコーデッドアパーチャの様々な開口からもたらされる物体のゴースト像に対応する画像における少なくとも２つの画像物体を検出する。距離推定器１０７が、少なくとも２つの画像物体の画像における変位量に応答してシーン物体までの距離を決定する。当該距離は、人までの距離であってもよく、画像は、瞳孔が網膜による光の反射によって強調されている明るい瞳孔の画像である。この画像は、シーンの暗い瞳孔の画像によって補正される。
2015501416.tif 000002
【特許請求の範囲】
【請求項１】
シーン物体までの距離を決定する装置であって、
コーデッドアパーチャを有する画像捕捉デバイスの画像センサからシーンの第１の画像を受け取る受信器と、
前記シーン物体の光学特性に応答して前記コーデッドアパーチャの様々な開口からもたらされる前記シーン物体のゴースト像に対応する前記第１の画像における少なくとも２つの画像物体を検出する検出器と、
前記少なくとも２つの画像物体の前記第１の画像における変位量に応答して前記シーン物体までの距離を決定する距離推定器と、
を含み、
前記画像センサは、前記シーン物体の焦点面から外れて位置付けられ、
前記光学特性は、前記画像捕捉デバイスに向かう前記シーン物体の放射特性である、装置。
【請求項２】
前記第１の画像は、明るい瞳孔の画像であり、前記光学特性は、前記画像捕捉デバイスに向かって網膜によって逆反射された光の特性である、請求項１に記載の装置。
【請求項３】
前記受信器は、前記画像センサから前記シーンの第２の画像を受け取り、前記第２の画像は、暗い瞳孔の画像であり、前記検出器は更に、前記少なくとも２つの画像物体を検出する前に、前記第１の画像を前記第２の画像について補正する、請求項２に記載の装置。
【請求項４】
前記画像捕捉デバイスの光軸上に実質的に位置付けられ、前記シーンを照明する光源と、前記第１の画像のために前記光源をオンに切替え、前記第２の画像のために前記光源をオフに切り替える光源コントローラとを更に含む、請求項３に記載の装置。
【請求項５】
前記少なくとも２つの画像物体は、人間の第１の瞳孔に対応し、前記検出器は更に、前記コーデッドアパーチャの様々な開口からもたらされる前記人間の第２の瞳孔のゴースト像に対応する前記第１の画像の更なる少なくとも２つの画像物体を検出し、前記距離推定器は更に、前記更なる少なくとも２つの画像物体の前記第１の画像における変位量に応答して前記距離を決定する、請求項２又は３に記載の装置。
【請求項６】
前記少なくとも２つの画像物体は、人間の第１の瞳孔に対応し、前記検出器は更に、前記コーデッドアパーチャの様々な開口からもたらされる前記人間の第２の瞳孔のゴースト像に対応する前記第１の画像の更なる少なくとも２つの画像物体を検出し、前記距離推定器は更に、前記少なくとも２つの画像物体の前記第１の画像における前記変位量と、前記更なる少なくとも２つの画像物体の前記第１の画像における変位量との差に応答して前記人間の頭部の向きを決定する、請求項２又は３に記載の装置。
【請求項７】
前記少なくとも２つの画像物体のうち少なくとも２つの画像物体は、互いに素な画像物体である、請求項１又は２に記載の装置。
【請求項８】
前記シーンを照明する光源を更に含み、前記光源は、前記シーン物体の前記光学特性を強調する特性を有する、請求項１又は２に記載の装置。
【請求項９】
前記特性は、
前記光源の位置、
前記光源から放射される光の周波数分布、
前記光源から放射される光の空間分布、及び
前記光源から放射される光の偏光
のうちの少なくとも１つである、請求項８に記載の装置。
【請求項１０】
前記コーデッドアパーチャは、ある数の互いに素な開口によって形成され、各開口は、前記シーン物体のゴースト像をもたらす、請求項１又は２に記載の装置。
【請求項１１】
前記ある数は、５未満である、請求項１０に記載の装置。
【請求項１２】
各開口は、干渉パターンを有し、前記装置は、少なくとも２つの開口の前記干渉パターンの推論パターンに応答して前記少なくとも２つの画像物体の前記第１の画像における前記変位量を決定する、請求項１０又は１１に記載の装置。
【請求項１３】
シーン物体までの距離を決定するシステムであって、
コーデッドアパーチャと画像センサとを有する画像捕捉デバイスと、
前記画像センサからシーンの第１の画像を受け取る受信器と、
前記シーン物体の光学特性に応答して前記コーデッドアパーチャの様々な開口からもたらされる前記シーン物体のゴースト像に対応する前記第１の画像における少なくとも２つの画像物体を検出する検出器と、
前記少なくとも２つの画像物体の前記第１の画像における変位量に応答して前記シーン物体までの距離を決定する距離推定器と、
を含み、
前記画像センサは、前記シーン物体の焦点面から外れて位置付けられ、
前記光学特性は、前記画像捕捉デバイスに向かう前記シーン物体の放射特性である、システム。
【請求項１４】
前記シーン物体に取付けられる光学要素を更に含み、前記検出器は、前記光学要素の光学特性に応答して前記少なくとも２つの画像物体を検出する、請求項１３に記載のシステム。
【請求項１５】
シーン物体までの距離を決定する方法であって、
コーデッドアパーチャを有する画像捕捉デバイスの画像センサからシーンの第１の画像を受け取るステップと、
前記シーン物体の光学特性に応答して前記コーデッドアパーチャの様々な開口からもたらされる前記シーン物体のゴースト像に対応する前記第１の画像における少なくとも２つの画像物体を検出するステップと、
前記少なくとも２つの画像物体の前記第１の画像における変位量に応答して前記シーン物体までの距離を決定するステップと、
を含み、
前記画像センサは、前記シーン物体の焦点面から外れて位置付けられ、
前記光学特性は、前記画像捕捉デバイスに向かう前記シーン物体の放射特性である、方法。
【請求項１６】
請求項１乃至１２の何れか一項に記載された装置を含む、自動立体視ディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一の画像に基づいた物体までの距離の決定、より具体的には、次に限定されないが、明るい瞳孔の画像に基づいた人までの距離の決定に関する。
【背景技術】
【０００２】
静止画像又は動画像カメラといった画像捕捉デバイスによって捕捉された画像に基づいた物体までの距離の決定が、ますます重要性となってきている。
【０００３】
例えば、機能及び特徴をその環境に適応可能な自律システムの出現によって、人間の存在及び彼らの正確な位置に関する情報が、しばしば、非常に望ましい。例としては、高齢者又は病棟のモニタリングシステム、エネルギーを節約するために、又は、快適さを増やすためにビーム形状及び分光的特徴を変更するために局所的に調節可能な適合照明システムが挙げられる。人間の目の正確な位置は、例えば３Ｄ結像用に両目に最適な視野を与えるために、又は、最も近い目の対の方向に個別の視野を作成する一方で他の方向における視野は遮断するために、提供される視野が検出された目の位置に適応される表示目的に対して特に関心が寄せられている。
【０００４】
デフォーカスブラー（非焦点ぼやけ、defocus blur）を局所的に解析することによってシーン深度情報を決定することが提案されてきている。これは、デフォーカスブラーは、レンズから物体までの距離に依存するからである。しかし、従来のレンズアパーチャは、数学的に不可逆的であり、深度とあまり区別できない焦点デフォーカスブラーを発生させる。したがって、このようなアプローチは、複雑で、比較的信頼性の低い深度データをもたらす傾向がある。
【０００５】
Ａ．レビン（A. Levin）、Ｒ．ファーガス（R. Fergus）、Ｆ．デュランド（F. Durand）、Ｗ．Ｔ．フリーマン（W. T. Freeman）による論文「Image and Depth from a Conventional Camera with a Coded Aperture」（SIGGRAPH、ACM Transactions on Graphics、２００７年８月）において、画像センサのレンズ内にコーデッドアパーチャ（coded aperture）を取り入れ、これにより、結果としてもたらされるデフォーカスブラーのスペクトル特性を成形することによってこの欠点を軽減することが提案されている。このシステムは、広帯域パターンを有するコーデッドアパーチャと、画像の統計モデルとに基づいて、深度を回復し、シーンのオールフォーカス画像を再構成する。しかし、このアプローチは、計算リソースを多く必要とする、高度に複雑なシステムをもたらす。更に、このアプローチは、所望よりもあまり信頼性が高くなくまた精度も低い深度測定結果をもたらす場合もある。実際に、この方法は、同様の強度を有する物体の深度コントラストがある場合は、特に難しい。この場合、結果として得られる画像は、２つの異なってぼやけた平面の重なりを示す。
【０００６】
したがって、画像捕捉デバイスからの画像に基づいて物体までの距離を決定する改良型システムが有利であり、また、特に、柔軟性を高め、複雑さを減少させ、リソース使用量を減少させ（特に、計算リソース使用量を減少させ）、距離決定を向上させ、及び／又は、性能を向上させるシステムが有利である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、本発明は、好適には、前述の不利点のうちの１つ以上を、単独で又は任意の組み合わせで、軽減、緩和又は排除することを試みる。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、シーン物体までの距離を決定する装置が提供される。当該装置は、コーデッドアパーチャを有する画像捕捉デバイスの画像センサからシーンの第１の画像を受け取る受信器と、シーン物体の光学特性に応答してコーデッドアパーチャの様々な開口からもたらされるシーン物体のゴースト像に対応する画像における少なくとも２つの画像物体を検出する検出器と、少なくとも２つの画像物体の第１の画像における変位量に応答してシーン物体までの距離を決定する距離推定器と、を含み、画像センサは、シーン物体の焦点面から外れて位置付けられ、光学特性は、画像捕捉デバイスに向かう物体の放射特性である。
【０００９】
本発明は、画像捕捉デバイスからの画像に基づいて、物体までの距離決定を向上させる及び／又は容易にする。
【００１０】
物体のゴースト像に対応する画像物体の複雑度の低い検出が、光学特性に基づき実現可能であるため、計算リソースはとりわけ少ない。具体的に述べると、検出は、シーンに関する複雑なモデリング又は推定を必要とせず、また、重なり合うデフォーカスブラーカーネルから寄与を分離するための複雑な画像処理も必要としない。当該システムは、スパースデータ画像を使用することを目的としており、ゴースト像に対応する特定の画像物体は特定可能である。具体的に述べると、焦点外画像センサによって引き起こされる干渉／ブラー影響の詳細を考慮する複雑な画像分析を行うのではなく、同一の特定可能な物体のゴースト像に対応する特定の画像物体のみを検出することによって、データ処理量が大幅に減少される。特に、画像全体及びシーンを評価するのではなく、非常に少ない数の特定可能な画像物体を処理すればよい。当該システムは、スパースデータ画像を捕捉又は生成できるシナリオ、したがって、特に特定のターゲットが目立つシーン及び画像に特に適している。
【００１１】
このアプローチによって、モバイルデバイスといった計算リソースが少ないデバイスにおける距離決定が可能となる。又は、例えば、リアルタイム距離決定が可能となる高速距離決定が可能となる。
【００１２】
光学特性は、他像の特性が分析された時に、画像においてシーン物体を認識できるようにする物体の特性である（例えば、暗い環境における明るい物体、明るい環境における暗い物体、又は緑色の環境における赤い物体）。放射特性は、例えば、放出特性及び／又は反射特性である。したがって、光学特性は、画像捕捉デバイスに到達するシーン物体からの光の特性である。
【００１３】
コーデッドアパーチャは、例えば画像捕捉デバイスのレンズを覆う不透明要素に幾つかの開口を含む固定されたマスクによって提供される。もう１つの例として、不透明要素は、レンズの前に位置付けられた液晶（ＬＣ）要素によって形成されたマスクといった制御可能な要素によって作成されてもよい。
【００１４】
本発明は、単一画像からの距離決定を可能にし、これにより、複数の画像センサ、画像捕捉デバイス等を不要としている。
【００１５】
光学特性は、所定の又は推定される光学特性であってもよい。
【００１６】
本発明の任意選択的な特徴によれば、画像は、明るい瞳孔の画像であり、光学特性は、画像捕捉デバイスに向かって網膜によって逆反射された（retroflected）光の特性である。
【００１７】
本発明は、瞳孔までの距離、したがって、人間又は動物までの距離の決定を向上させる及び／又は容易にする。具体的に述べると、本発明は、多くのシナリオにおいて、人までの距離の決定を簡易にする。
【００１８】
明るい瞳孔の画像を使用することによって、検出が容易で及び／又はシーンの他の捕捉された要素に対する区別を容易にする瞳孔に対応する画像における光学特性が特にもたらされる。実際に、瞳孔に対応する画像物体は、複雑度の低い基準を使用して検出される。具体的には、瞳孔からの画像寄与と、シーンの他の要素からの画像寄与との間の差が増大されて、検出を容易にし、複雑度の低い検出が可能にされる。例えば輝度及び／又は例えば色に基づく単純な検出基準を使用してもよい。更に、明るい瞳孔の画像は、通常、周囲領域よりも実質的に明るい瞳孔によって特徴付けられ、これにより、瞳孔からの画像への寄与が、シーンの他の位置（部分）からの寄与よりも優位にされる。
【００１９】
明るい瞳孔の画像は、特に、画像捕捉デバイスの光軸上に実質的に位置付けられた光源によって同時照明が提供された画像であってよい。例えば明るい瞳孔の画像は、瞳孔から測定される場合に画像の光軸の５°以内に位置付けられた光源からのシーンの照明によって捕捉される。
【００２０】
本発明の任意選択的な特徴によれば、受信器は、画像センサからシーンの第２の画像を受け取り、第２の画像は、暗い瞳孔の画像であり、検出器は更に、少なくとも２つの画像物体を検出する前に、第１の画像を第２の画像について補正する。
【００２１】
本発明は、瞳孔までの距離、したがって、人間又は動物までの距離の決定を向上させる及び／又は容易にする。具体的に述べると、本発明は、多くのシナリオにおいて、人までの距離の決定を簡易にする。
【００２２】
明るい瞳孔の画像と併せて暗い瞳孔の画像を使用することによって、瞳孔に対応する画像物体を大幅に強調することができる。具体的に述べると、暗い瞳孔の画像による明るい瞳孔の画像の補正は、瞳孔以外の物体からの寄与を除去又は減少させる。補正によって、処理される画像のデータ量を減少させ、瞳孔に対応する画像物体の検証を容易にする及び／又は向上させる。一般的に、明るい瞳孔に対応する画像物体と、画像の他の領域との間の差が強調される。したがって、計算要件が減少され、より信頼できる検出が実現される。
【００２３】
したがって、このアプローチによって、瞳孔に対応する光学特性の画像における検出が容易となる。実際に、瞳孔に対応する画像物体は、多くのシナリオにおいて、複雑度の低い基準を使用して検出される。例えば輝度及び／又は例えば色に基づく単純な検出基準を使用してもよい。
【００２４】
暗い瞳孔の画像は、特に、画像捕捉デバイスの光軸上に実質的に位置付けられた光源によって同時照明が提供されない画像であってよい。例えば暗い瞳孔の画像は、瞳孔から測定される場合に画像の光軸の５°以内に位置付けられた光源からのシーンの照明なしで捕捉される。
【００２５】
本発明の任意選択的な特徴によれば、当該装置は更に、画像捕捉デバイスの光軸上に実質的に位置付けられ、シーンを照明する光源と、第１の画像のために光源をオンに切替え、第２の画像のために光源をオフに切り替える光源コントローラとを含む。
【００２６】
これは、画像物体の検出を向上させ、及び／又は容易にし、また、明るい及び暗い瞳孔の画像の制御された生成を特にもたらす。したがって、当該システム自体が、シーンにおける他の物体よりも目立つ検出可能な物体を生成するためにシーンを照明する。
【００２７】
オフ（又はオン）の切替えは、部分スイッチングであってよい。したがって、オンに切り替えられているとき、光源は、オフに切り替えられているときよりも明るい。しかし、光源がオフ状態に切り替えられているときでも一部の光が依然として放射されていてもよいし、オン状態における光出力が、光源からの最大可能出力より少なくてもよい。
【００２８】
多くの実施形態において、光源は、赤外光源であることが有利である。
【００２９】
本発明の任意選択的な特徴によれば、少なくとも２つの画像物体は、人間の第１の瞳孔に対応し、検出器は更に、コーデッドアパーチャの様々な開口からもたらされる人間の第２の瞳孔のゴースト像に対応する第１の画像の更なる少なくとも２つの画像物体を検出し、距離推定器は更に、更なる少なくとも２つの画像物体の第１の画像における変位量に応答して距離を決定する。
【００３０】
これは、多くのシナリオにおける距離決定を向上させる。例えば２つの瞳孔までの個々の距離が決定され、頭部までの距離が、これらの距離推定値の平均値として決定される。
【００３１】
本発明の任意選択的な特徴によれば、少なくとも２つの画像物体は、人間の第１の瞳孔に対応し、検出器は更に、コーデッドアパーチャの様々な開口からもたらされる人間の第２の瞳孔のゴースト像に対応する第１の画像の更なる少なくとも２つの画像物体を検出し、距離推定器は更に、少なくとも２つの画像物体の第１の画像における変位量と、更なる少なくとも２つの画像物体の第１の画像における変位量との差に応答して人間の頭部の向きを決定する。
【００３２】
本発明は、人の頭部までの距離だけでなく、人の頭部の向きの決定も向上させる、及び／又は容易にする。
【００３３】
本発明の任意選択的な特徴によれば、少なくとも２つの画像物体のうち少なくとも２つの画像物体は、互いに素な（ばらばらの、重ならない）画像物体である。
【００３４】
これは、多くのシナリオにおける距離決定を向上させる、及び／又は容易にする。具体的に述べると、コーデッドアパーチャは、当該コーデッドアパーチャの開口が、特定の距離間隔内では、物体について重ならない画像物体をもたらすように生成される。
【００３５】
本発明の任意選択的な特徴によれば、当該装置は、シーンを照明する光源を更に含み、光源は、シーン物体の光学特性を強調する特性を有する。
【００３６】
これは、多くのシナリオにおける距離決定を向上させる、及び／又は容易にする。当該システムは、シーンにおける物体と他の成分との区別を高めるように特に適応された照明装置を導入してもよい。
【００３７】
したがって、当該システムは、現実世界における物体間の光学的区別を積極的に導入し、これにより、後続の画像処理が、所望の物体についてのゴースト像の画像物体をより容易に特定できるようにする。コーデッドアパーチャによって生成されたゴースト像と組み合わせて区別を高めることによって、単一画像からの距離の決定を大幅に向上させる、及び／又は容易にする。
【００３８】
本発明の任意選択的な特徴によれば、当該特性は、光源の位置、光源から放射される光の周波数分布、光源から放射される光の空間分布、及び光源から放射される光の偏光のうちの少なくとも１つである。
【００３９】
これは、様々なシナリオにおいて、特定の光学特性を強調させることによって特に有利な性能を提供する。
【００４０】
本発明の任意選択的な特徴によれば、コーデッドアパーチャは、ある数の互いに素な開口によって形成され、各開口は、シーン物体のゴースト像をもたらす。
【００４１】
これは、距離決定を向上させる、及び／又は容易にする。容易及び／又は低価格の実施も可能にする。
【００４２】
本発明の任意選択的な特徴によれば、当該ある数は、５未満である。
【００４３】
これは、多くの実施形態において、距離決定を向上させる、及び／又は容易にする。
【００４４】
多くの実施形態において、コーデッドアパーチャにおいて２つの開口しかないことが特に有利である。これは、ゴースト像間の変位量に基づいた距離決定を可能にする最も少ない数の開口だからである。したがって、多くの実施形態において、処理及びハードウェア実施の両方の複雑さが最小限にされる。
【００４５】
多くの実施形態において、コーデッドアパーチャにおける開口が実質的に垂直に位置合わせされていることが特に有利である。これは、生物の目に対応するゴースト像を検出するときに特に有利である。なぜなら、左右の目のゴースト像が重なる可能性を減少又は排除するからである。
【００４６】
本発明の任意選択的な特徴によれば、各開口は、干渉（inferometric）パターンを有し、当該装置は、少なくとも２つの開口の干渉パターンの推論パターンに応答して少なくとも２つの画像物体の第１の画像における変位量を決定する。
【００４７】
これは、多くの実施形態において、距離決定を向上させる、及び／又は容易にする。具体的には、これは、重なりがあった場合の画像物体間の変位量の決定を容易にする。多くの実施形態において、当該装置は、画像物体が重なっているかどうかを決定し、それらが重なっている場合（にのみ）、変位量決定に基づいて干渉を適用する。
【００４８】
干渉パターンは、具体的には、ゾーンプレートパターンである。
【００４９】
本発明の一態様によれば、シーン物体までの距離を決定するシステムが提供される。当該システムは、コーデッドアパーチャと画像センサとを有する画像捕捉デバイスと、画像センサからシーンの第１の画像を受け取る受信器と、シーン物体の光学特性に応答してコーデッドアパーチャの様々な開口からもたらされるシーン物体のゴースト像に対応する第１の画像における少なくとも２つの画像物体を検出する検出器と、少なくとも２つの画像物体の第１の画像における変位量に応答してシーン物体までの距離を決定する距離推定器と、を含み、画像センサは、シーン物体の焦点面から外れて位置付けられ、光学特性は、画像捕捉デバイスに向かうシーン物体の放射特性である。
【００５０】
本発明の一態様によれば、シーン物体までの距離を決定する方法が提供される。当該方法は、コーデッドアパーチャを有する画像捕捉デバイスの画像センサからシーンの第１の画像を受け取るステップと、シーン物体の光学特性に応答してコーデッドアパーチャの様々な開口からもたらされるシーン物体のゴースト像に対応する第１の画像における少なくとも２つの画像物体を検出するステップと、少なくとも２つの画像物体の第１の画像における変位量に応答してシーン物体までの距離を決定するステップと、を含み、画像センサは、シーン物体の焦点面から外れて位置付けられ、光学特性は、画像捕捉デバイスに向かうシーン物体の放射特性である。
【００５１】
本発明のこれらの及び他の態様、特徴並びに利点は、以下に説明される実施形態を参照して明らかとなろう。
【図面の簡単な説明】
【００５２】
本発明の実施形態がほんの一例として添付図面を参照して以下に説明される。
【００５３】
【図１】図１は、本発明の幾つかの実施形態による、物体までの距離を決定する装置の構成要素の一例を示す。
【図２】図２は、従来技術による画像捕捉デバイスのアパーチャの一例を示す。
【図３】図３は、図２のアパーチャについての物体からの光線分布の一例を示す。
【図４】図４は、図２のアパーチャについての物体からの光線分布の一例を示す。
【図５】図５は、本発明の幾つかの実施形態による画像捕捉デバイスのコーデッドアパーチャの一例を示す。
【図６】図６は、図５のコーデッドアパーチャについての物体からの光線分布の一例を示す。
【図７】図７は、明るい瞳孔の画像の一例を示す。
【図８】図８は、本発明の幾つかの実施形態による、画像捕捉デバイスによって捕捉された明るい瞳孔の画像の一例を示す。
【図９】図９は、本発明の幾つかの実施形態による、画像捕捉デバイスによって捕捉された、補正された明るい瞳孔の画像の一例を示す。
【図１０】図１０は、本発明の幾つかの実施形態による、画像捕捉デバイスによって捕捉された、補正された明るい瞳孔の画像の例を示す。
【図１１】図１１は、本発明の幾つかの実施形態による、物体までの距離を決定する装置の構成要素の一例を示す。
【図１２】図１２は、従来技術によるゾーンプレート干渉（inferometric）パターンの一例を示す。
【図１３】図１３は、本発明の幾つかの実施形態による画像捕捉デバイスによって捕捉された画像の一例を示す。
【図１４】図１４は、本発明の幾つかの実施形態による画像捕捉デバイスによって捕捉された画像の例を示す。
【図１５】図１５は、図１の装置の適用例を示す。
【図１６】図１６は、自動立体視ディスプレイシステムにおける装置の使用例を示す。
【発明を実施するための形態】
【００５４】
以下の説明は、人間までの距離を決定するシステム、特に、明るい瞳孔の画像からの人間の目までの距離の決定に適用可能である本発明の実施形態に重点を置く。しかし、当然ながら、本発明はこの適用に限定されず、多くの異なる光学特性に基づいて多くの他の物体までの距離の決定にも適用される。
【００５５】
図１は、単一の捕捉画像から物体までの距離を決定するシステムの一例を示す。
【００５６】
画像捕捉デバイス１０１は、その中に物体があるシーンの画像を捕捉する。画像捕捉デバイス１０１は、画像の画像センサへの入射する光にマスクを与えるコーデッドアパーチャを含む。更に、画像センサは、コーデッドアパーチャが捕捉画像のぼかしを提供するように、焦点面から外れて位置付けられる。コーデッドアパーチャとは、複数の開口を含むアパーチャである。コーデッドアパーチャは、従来の単一開口アパーチャに光学マスクを適用する。図１のシステムでは、コーデッドアパーチャは、物体のゴースト像（複数のコピー）が生成されるようなコーデッドアパーチャである。これらのゴースト像の特徴は、それらの間の変位量が、物体までの距離に比例する点である。
【００５７】
画像捕捉デバイス１０１は、画像センサからの画像を受け取る受信器１０３に結合される。受信器１０３は、コーデッドアパーチャの様々な開口からもたらされる物体のゴースト像に対応する画像内の少なくとも２つの画像物体を検出する検出器１０５に結合される。この検出は、物体の光学特性に基づいている。したがって、検出器は、そこまでの距離が推定される特定の物体のゴースト像／コピーである２つ（又は、場合によりそれ以上の）画像物体（領域）を特定する。画像物体は、色、輝度又はパターンといった特定の光学特性の存在を検出することによって決定される。
【００５８】
検出器１０５は、２つ（以上）の画像物体間の画像における変位量を決定する推定器１０７に結合される。次に、推定器は、続けて決定した変位量から物体までの距離を推定する。
【００５９】
以下に、図１のシステムの動作が、物体が人間の片目又は両目である適用に重点を置いて説明される。更に、画像は、明るい瞳孔の画像であり、距離決定は、少なくとも１つの瞳孔のゴースト像の評価に基づいている。
【００６０】
画像センサが、焦点面から外れて位置付けられる場合、デフォーカスブラーの特性は、アパーチャの特性だけでなくシーン内の物体までの距離にも依存する。
【００６１】
実際に、従来の写真撮影術では、レンズアパーチャの形状が、ブラーカーネル（blur kernel）の特性を決定する。例えば、図２に、従来のレンズアパーチャの典型的な形状が示される。図３は、アパーチャ３０３を有するレンズ３０１と、焦点面にぴったり位置付けられた画像センサ３０５とを含む画像捕捉デバイスの断面を示す。図示されるように、所与の物体３０７から放射されるすべての光は、レンズ３０１によって、焦点面にある画像センサ３０５の同じ空間位置に一致するように合焦される。したがって、このシナリオでは、レンズは、物体から発生し、わずかに異なる方向に伝播する光線を収集し、これらの光線を、画像センサ３０５上に建設的に組み合わされるように、屈折させる。
【００６２】
図４は、同じ画像捕捉デバイスであるが、画像センサがセンサ面の外側に位置付けられている画像捕捉デバイスを示す。この場合、単一点からの光線は、ある領域に亘ってぼやかされ、実際に、結果として得られる画像は、アパーチャに対応するブラーカーネルによるシーン画像の畳み込みに対応する。デフォーカスブラーカーネルは、レンズアパーチャのスケーリングされた表現であり、したがって、単一点からの光線は、ブラーカーネルに対応する画像領域全体に分布される。画像センサの所与点における像は、ブラーカーネルによる畳み込みの後、当該点への寄与を有する様々な位置からの光の組み合わせに対応する。レンズアパーチャが円形開口である場合、ブラーカーネルは、空間領域において対応するsinc状のスペクトル挙動を有する均一なディスクに似ている。sinc関数は、ゼロを示すので、幾つかの空間周波数は、収集の間に失われ、どの画像復元手順によっても再作成できない。ブラーカーネルの範囲は、デフォーカスブラーの量、したがって、物体距離に関連する。しかし、この物体距離を、単一アパーチャのデフォーカスブラーに基づいて計算するには、物体のサイズの関する情報を有する必要がある。このような情報は、通常は、ないか、信頼できないため、結果として得られる距離推定値も、通常は、信頼できない。更に、捕捉画像における実際のデフォーカスブラー特性を抽出し決定するために必要な信号処理は、非常に難しくかつ複雑である。
【００６３】
Ａ．レビン、Ｒ．ファーガス、Ｆ．デュランド、Ｗ．Ｔ．フリーマンによる論文「Image and Depth from a Conventional Camera with a Coded Aperture」（SIGGRAPH、ACM Transactions on Graphics、２００７年８月）において、複雑な広帯域コーデッドアパーチャを使用して、距離を計算できるデフォーカスブラーを決定するために使用できる画像のスペクトルパターニングを行うことが提案されている。しかし、この処理は非常に複雑で、多くのリソースを必要とし、準最適な結果を提供する傾向がある。
【００６４】
図１のシステムでは、コーデッドアパーチャを有するレンズが使用され、当該コーデッドアパーチャは、図５に示されるように２つの開口しか含まない非常に単純なマスクである。システムでは、レンズアパーチャは、デフォーカスブラーの特性を成形するために使用される。（参考論文におけるシステムにおけるように）広帯域マスクを使用したデフォーカスブラーのスペクトル特性の成形とは対照的に、図１のシステムは、デフォーカスブラーの非常に単純で、実用的な解析を可能にするコーデッドアパーチャを使用する。
【００６５】
図６は、図１の画像捕捉デバイス１０１の断面を示す。画像捕捉デバイス１０１は、２つの開口６０５、６０７を有するコーデッドアパーチャ６０３を有するレンズ６０１と、焦点面６１１から外れて位置付けられた画像センサ６０９とを含む。
【００６６】
図６に示されるように、２つの垂直方向に変位した円形開口で構成されるコーデッドアパーチャは、物体に対し複数のコピー又はゴースト像が作成される焦点外結像をもたらす。実際に、各開口は、他方の開口のブラーカーネルに対し空間的にオフセットされた個別のブラーカーネルを提供するとみなされる。したがって、図示されるように、所与の物体は、焦点面から外れて捕捉された画像においてゴースト像／複数の表現によって表される。コーデッドアパーチャ及び画像捕捉デバイス１０１の特性は、ターゲット距離間隔内の物体については、様々なゴースト像に対応する画像物体は、重ならない画像物体であるように具体的にデザインされる。
【００６７】
様々な画像物体間の変位量は、コーデッドアパーチャにおける開口間の距離と、画像物体が対応するシーン物体までの距離とに依存する。コーデッドアパーチャにおける開口間の距離は、既知であるため、図４のシステムは、距離が決定されるべき物体に対応する画像物体間の変位量を決定し、次に、その変位量に基づいて距離を決定することができる。
【００６８】
したがって、ゴースト像間の距離は、デフォーカスの量、したがって、ゴースト像の物体までの距離を示唆するため、互いに対する画像物体間の変位量（画像におけるそれらの間の距離）は、物体の寸法に関する事前知識なく、物体距離に変換できる。このアプローチは、デフォーカスブラーの推定を、関連付けられたゴースト像の変位量を推定するという単純なタスクに変換する。アパーチャのコードは、画像処理アルゴリズムの要件を更に一層単純にするために、更に最適化される。例えば、２つの垂直方向に変位した交差パターンを使用することによって、システムの光効率を犠牲にするが、低出力デバイスへの実施が可能になる。
【００６９】
更に、距離決定は、そこまでの距離が推定されるべき物体に対応する画像物体間の複雑度の低い変位量決定に基づいているため、画像解析は、画像センサからの画像におけるこれらの特定の画像物体の複雑度の低い検出に基づく。図１のシステムでは、検出器１０５は、物体の光学特性に基づいて画像物体を検出する。光学特性は、物体をシーンの他の要素から区別できる予め知られている又は想定される光学特性であってよい。例えば光学特性は、物体の輝度、パターン又は色である。
【００７０】
検出器は、それに応じて、捕捉された焦点外画像を探査して、画像の光学特性に対応する特性を有する画像セグメント／領域を特定する。例えば検出器１０５は、その色が物体の色に十分に厳密に対応する画像領域を見つけるように画像を探査する。
【００７１】
ゴースト像に対応する画像物体のこの検出を容易にするために、シーンは、物体が、捕捉された焦点外画像における対応する画像物体の検出を明らかに可能にする光学特性を有するように、制御又は制限される。例えば幾つかの実施形態では、物体は、シーンにおける唯一の明るい物体、又は、例えばシーンにおける唯一の赤い物体である。このようなシナリオでは、検出器１０５は、（例えば画像の平均輝度に依存する）閾値よりも明るいか、又は、赤色成分を含む画像領域を単に探す。
【００７２】
ぼかしの影響によって、このような画像領域も、他の位置、したがって、シーンの他の要素からの寄与を含むが、複雑度の低いこのアプローチは、しばしば、依然として有用である。例えば物体がシーンにおける唯一の赤い物体である場合、そのゴースト像に対応する画像物体は、赤色成分を有する唯一の領域となる。これは、これらの画像領域の実際の色が、シーンにおける他の物体からの寄与に起因して、物体の赤色とは異なっても、検出することができる。実際に、例えば、赤色光によってシーンを照明することによって、検出は容易にされ、区別もより明らかにされる。
【００７３】
したがって、図１のシステムは、物体の光学特性に基づいて、物体に対応する複数の画像物体／セグメントを検出することによって、物体までの距離を決定する。当該距離は、これらの画像物体間の変位量／距離から計算される。したがって、複雑な画像ぼけ修正信号処理が不要であり、信頼できる距離推定値が、非常に低い複雑度で生成される。このアプローチは、物体が明らかに区別可能である制御されたシーンについて、また、ゴースト像をもたらす開口の数が少ないコーデッドアパーチャについて、特に適している。
【００７４】
特に有利なシナリオは、物体が人間又は動物の目（又は頭部）である場合であり、距離決定は、明るい瞳孔の画像に基づいている。当業者には知られているように、明るい瞳孔の画像とは、目の網膜からの光源の反射を含む画像である。この反射によって、瞳孔がより明るく見え、しばしば、瞳孔が、周囲の領域よりもかなり明るく見える。明るい瞳孔の結像のよく知られている例は、従来のフラッシュ写真撮影術で生じる赤目効果である。
【００７５】
明るい瞳孔の画像は、具体的には、画像捕捉デバイスの光軸に実質的に位置付けられる光源を用いて捕捉された画像である。実際に、明るい瞳孔の画像は、画像捕捉デバイスに、軸上照明を提供することによって生成される。特に、明るい瞳孔の画像は、例えば目から測定した場合に軸上方向の５°以内の位置から目を照明する光源を提供することによって生成される。照明は、具体的には、しばしば、明るい瞳孔効果を増大させる赤外線照明であってよい。
【００７６】
図７に、明るい瞳孔の画像の一例が与えられる。図から分かるように、明るい瞳孔の画像の瞳孔は、典型的に残りの画像よりも非常にはっきりと目立つ。このことは、特に明るい瞳孔を対象にすることによって図１のシステムにおいて活用できる。
【００７７】
具体的に述べると、図８は、図６に対応するコーデッドアパーチャを有する画像捕捉デバイス１０１を使用して捕捉された明るい瞳孔の画像の一例を示す。図から分かるように、明るい瞳孔の画像を使用することによって、残りの画像から実質的に区別されるターゲットを提供することによって、所望の物体に対応する画像物体の検出が大幅に容易になる。
【００７８】
この例では、検出器１０５は、明るい瞳孔の特性である光学特性を探す。この例では、特性は、単に輝度特性である。したがって、この特定の例では、検出器１０５は、図８の画像を探査して、撮像された人の瞳孔に対応する４つの画像物体を特定する。画像物体は、所与量より多く画像の平均輝度レベルを上回る輝度を有する（例えば４つの最大）連続画像領域として、単に決定される。続いて、推定器１０７が、画像物体の中心と、２対のゴースト像間の距離とを見つける。例えば推定器１０７は、中心間のすべての距離を決定し、２つの最短距離を選択してもよい。平均変位量が、２つの最短画像物体距離の平均値として計算される。
【００７９】
ゴースト像に対応する画像物体の変位量が計算された後、瞳孔、したがって、人までの推定距離は、次式から計算される。
【数１】
2015501416.tif 000003
ここで、ｖは、物体距離であり、ｂは、画像距離であり（物体が合焦状態で結像される位置。共にレンズに対する距離）、ｆは、焦点距離である。デフォーカスブラーカーネルは、アパーチャパターン自身のスケーリングされたバージョンであり、そのサイズは、像面までの画像センサの変位量に比例する（図６を参照）。ｘをレンズと像との間の距離と定義して、ブラーカーネルＫのサイズは、次のとおりに定義される。
【数２】
2015501416.tif 000004
ここで、Ａは、（ｘ＝０における）アパーチャ自身である。
【００８０】
ぼかしのサイズは、像面までの画像センサの距離に比例することは注目に値する。センサがシーンの中央において焦点が合わされている場合、焦点面の前にある物体を、焦点面の後ろにある物体から区別することが困難である。したがって、深度推定のためには、多くの場合、センサの焦点を、結果として生じるぼかしが距離に正比例するように、シーン全体の前に合せることが有利である。
【００８１】
幾つかの実施形態では、検出器１０５は、明るい瞳孔の画像と暗い瞳孔の画像との両方に応答して画像物体を決定する。暗い瞳孔の画像は、明るい瞳孔の画像ではない画像である。即ち、反射によって明るく見える瞳孔を生成するための具体的な網膜反射がない。具体的に述べると、受信器１０３は、画像捕捉デバイス１０１によってほぼ同時に（又は時間差における瞳孔の動きが無視できるほどであるように）捕捉された明るい瞳孔の画像と暗い瞳孔の画像とを受け取る。検出器１０５は、次に、暗い瞳孔の画像によって明るい瞳孔の画像を補正して、補正された明るい瞳孔の画像を生成する。当該補正された明るい瞳孔の画像は、適切な画像物体を特定するように探査される。
【００８２】
したがって、このアプローチは、同軸照明及び結像は、網膜からの強烈な逆反射信号をもたらすという事実を使用する。このことは、撮像デバイスの光軸から十分にオフセットされた照明を使用して捕捉された画像内には存在しない。暗い瞳孔の画像によって明るい瞳孔の画像を補正することによって、明るい瞳孔によってもたらされる区別を更に高めることが可能である。
【００８３】
補正は、具体的には、明るい瞳孔の画像からの暗い瞳孔の画像の減算である。具体的に述べると、減算は、例えば各クロミナンス、クロマ又はクロミナンス色チャンネルにおける個々の画素値を減算することによって、ルミナンス又はクロミナンス領域において行われる。
【００８４】
このような減算は、（例えば、照明の差等に起因して）反射からもたらされない画像寄与のすべてを除去しないかもしれないが、これらの寄与を大幅に減少させる傾向がある。図９に、このような補正によって生成された明るい瞳孔の画像の一例が示される。図から分かるように、（例えば図８の画像と比較して）明るい瞳孔に対応する画像物体以外の画像信号は、大幅に減衰されている。この信号減衰によって、明るい瞳孔のゴースト像に対応する画像物体のかなり単純でかつより信頼できる検出が可能となる。実際に、暗い瞳孔の画像によって明るい瞳孔の画像を補正することによって、処理される画像データは、結果として得られるデータは、瞳孔の場所を除き、弱い信号しか示さないという意味で、非常にスパースになると考えられる。このスパース性によって、人までの距離を決定するために使用できるゴースト像を効果的に提供するために単純なコーデッドアパーチャが使用できるようにする。
【００８５】
システムは、１つの瞳孔にしか対応しない画像物体を考慮するか、又は、別の実施形態若しくはシナリオでは、２つの瞳孔に対応する画像物体を考慮する。例えば、上述したように、２つの変位尺度が画像物体対に基づいて生成されるが、各画像物体対は、単一の瞳孔から生じる２つの画像物体に対応する。画像物体と瞳孔とのマッチングは、位置とコーデッドアパーチャとを考慮することによって容易に行われる。例えば２つの垂直方向に位置付けられた開口について、最小垂直距離を有する画像物体が、同じ瞳孔のゴースト像であると想定される。次に、２つの変位量は、平均化され、距離は、平均化された変位量に基づいて決定される（又は、同等に、２つの距離が計算され平均化されてもよい）。当然ながら、幾つかの実施形態では、例えば検出された画像物体のそれぞれに対する信頼性の推定値に依存して、重み付け平均化が行われてもよい。
【００８６】
これに代えて又はこれに加えて、２つの瞳孔に対する２つの検出された変位量を使用して、人の頭部の向きを決定してもよい。したがって、人間の顔面にある目までの距離を個別に分析することによって、目のレンジ差から、頭部の向きが導出される。頭部の向きは、推定された距離に基づいて決定されても、変位量から直接決定されてもよい。この原理は、図１０の例示画像によって説明される。両目が、全く同じゴースト像変位量を有する場合、頭部は、（図９の例におけるように）カメラに向かって完全に向けられている。しかし、どちらかのゴースト対が他方よりも近い場合、頭部は、（図１０の例におけるように）それぞれ、その右又は左に向いている。回転の度合いは、変位量における差から決定され、また、回転の方向は、どちらの変位量が最大であるかによって与えられる。
【００８７】
幾つかの実施形態では、システムは、明るい瞳孔の画像を生成するためのアクティブ光源だけでなく、明るい及び暗い瞳孔の画像の両方が生成できるように光源を制御するコントローラを含む。図１１に、このようなシステムの一例が示される。このシステムは、光源１１０１（この特定の例では、懐中電灯の形である）が含まれること以外は、図１のシステムに相当する。光源１１０１は、画像捕捉デバイス１０１の光軸上に実質的に位置付けられる。システムは更に、光源１１０１、画像捕捉デバイス１０１及び受信器１０３に結合されたコントローラ１１０３を含む。
【００８８】
コントローラ１１０３は、まず、光源がオンに切り替えられていない状態で、画像を捕捉するように、受信器１０３と画像捕捉デバイス１０１とを制御する。この画像は、暗い瞳孔の画像となる。コントローラ１１０３は、次に、第２の画像を捕捉するように、受信器１０３と画像捕捉デバイス１０１とを制御するが、今回は、コントローラ１１０３は、捕捉される画像と同時に（又は直前に）フラッシュが生成されるように光源１１０１を制御する。光源１１０１は、画像捕捉デバイス１０１の光軸上に位置付けられているため、この光線は、網膜から反射され、明るい瞳孔の画像がもたらされる。
【００８９】
図１（及び図１１）のシステムは、コーデッドアパーチャを使用する画像捕捉デバイス１０１に基づいている。際立った特徴（例えば瞳孔）のゴースト像を生成するために、複雑度の低いコーデッドアパーチャが使用されることによって、距離決定も、複雑度の低いゴースト像変位量（オフセット）に基づかせることが可能になる。多くの実施形態では、コーデッドアパーチャは、幾つかの分離されている開口によって形成され、各開口が、物体の１つのゴースト像をもたらす。通常は、ほんの幾つかの、具体的には、５個未満の開口が使用され、これにより、ゴースト像の数は減少され、したがって、対応する画像物体の検出及び処理に必要な複雑度も減少される。これは更に、異なる開口の像間の干渉も減少させ、より正確、ロバストかつ信頼できる距離決定がもたらされる。多くの実施形態では、コーデッドアパーチャは、２つの開口しか有さない。これは、２つのゴースト像を提供し、したがって、距離の決定を可能にし、その一方で、処理の複雑度と、様々な開口からのゴースト像間のゴースト像クロストークを最小限にする、又は少なくとも減少させるのに十分である。
【００９０】
具体的に述べると、ほんの幾つかの開口、特に、２つの開口だけを使用することは、処理される画像のデータのスパース性を高める。これが（捕捉時又は処理後も）スパースの画像をもたらすシーンと組み合わされると、特に効率的で、信頼でき、低複雑度で、多くのリソースを必要としない動作が実現される。
【００９１】
このような開口数が少ないコーデッドアパーチャは、通常は、従来の画像には適していない。これは、互いに重ね合わさってしまう、可変距離におけるシーン全体のゴースト像をもたらすからである。このような寄与は、多くの従来の画像では、解決し分離するのが非常に困難かつ複雑であり、非常に複雑なアルゴリズム及びアプローチが必要となる。しかし、発明者は、多くのシーンについて、このようなぼかしの後であっても、特定の物体のゴースト像に対応する特定の画像物体の複雑度の低い特定が可能であり、また、このような画像物体の検出を、物体までの距離の決定に使用できることに気が付いた。このアプローチは、特定の画像物体が目立つスパース画像が生成された場合に特にうまくいく。このようなスパース画像は、例えば、特定の照明（例えば明るい目を生成するための同軸照明）によって若しくは（例えば暗い瞳孔の画像による）捕捉画像の補正によって、又は、当然ながらこれらのアプローチの組み合わせによって、唯一の明るい要素が関連の物体（例えば暗闇における自動車のヘッドライト）である適切なシーンであるシーンによって生成される。実際に、幾つかの実施形態では、このアプローチは、シーンはスパース画像しかもたらさないことが前提となる適用において使用される。シーンがこの前提を満たす場合、アルゴリズムは、信頼できる結果を（例えば暗闇においてヘッドライトを検出する場合に）提供する。（例えば日中の同じシーンで、ヘッドライトがオフにされている）シーンがこの前提を満たさない場合、アルゴリズムは、正確な推定値を提供することができない。しかし、多くの適用では、このことは許容可能である。即ち、時に（必ずしも常にではなく）信頼できる推定値を提供する複雑度の低いアルゴリズムは、十分に許容可能である。
【００９２】
多くのシナリオ及び実施形態では、システムは、特定の物体（例えば瞳孔）に対応する画像物体が、（例えば所与の距離レンジについて）互いに素な／非オーバーラップ画像物体であるようにデザインされる。これは、検出だけでなく、画像物体間の変位量の決定も大幅に容易にする。
【００９３】
しかし、幾つかの実施形態では、画像物体は、（例えば装置が機能することが求められる動作距離レンジ内であっても）オーバーラップしてもよい。このような実施形態では、変位量は、物体形状だけでなく開口形状の前提に基づく。例えば、瞳孔及び円形開口では、ゴースト像は、実質的に円形であることが知られている。したがって、検出器は、円形画像物体を探すが、これらの円形画像物体がオーバーラップすることが許容される。例えば、明るい楕円画像領域は、２つの円形画像物体として分解される。
【００９４】
しかし、幾つかの実施形態では、各開口は、干渉（inferometric）パターンを形成する。例えば各開口は、図１２に示されるように、ゾーンプレート干渉（inferometric）パターンとして形成される。十分に大きい変位については、ゾーンプレートパターンによって変調された対応するゴースト像は、図１３に示されるように、依然として、互いに素な画像物体となる。この場合、変位量は、単に、物体の中心間の距離として決定される。しかし、（図１４の２つの例に示されるように）画像物体がオーバーラップするほど変位量が減少される場合、当該変位量は、結果としてもたらされる干渉パターンを解析することによって決定される。例えば、図１４の例では、変位量は、干渉パターンに出現するグレーの線の間の距離から決定される。当該距離は、信号を水平方向に投影／合計することによって容易に検出される。グレーの線は、建設的に合計されると、結果として得られる一次元信号にピークを形成し、そこから、距離は、相互相関又は他の周知の方法を使用して容易に見つけられる。
【００９５】
当然ながら、先の実施形態は、明るい瞳孔の画像（と、任意選択的に、暗い瞳孔の画像と）に基づいた瞳孔までの距離の決定に重点を置いたが、このアプローチは、多くの異なる用途及び環境において、多くの異なる物体までの距離の検出に使用することができる。
【００９６】
一例として、このアプローチは、自動車までの距離を決定するために使用される。例えば、説明された原理は、例えば、夜間に田舎道において動作するようにデザインされた速度違反取締り用カメラに使用される。この場合、自動車が接近すると、接近している自動車のヘッドライト以外はほとんど暗いシーンが、カメラに提示される。これらのヘッドライトは、コーデッドアパーチャによって、捕捉画像内にゴースト像を生成できる。ゴースト像は、単に、明るい画像物体を探すことによって特定され、特定された物体から決定される変位量を使用して、自動車までの距離を計算することができる。２つ（以上）の画像が既知の時間差で捕捉される場合、対応する距離が計算され、そこから自動車の速度が計算できる。
【００９７】
当該装置は、シーンが、所望の画像のゴースト像がシーンの他の成分から実質的に区別する光学特性を有するようなシーンである用途における使用に特に適している。
【００９８】
具体的に述べると、シーンは、例えば速度違反取締りカメラの動作を夜間に限定するといったように、パッシブ制御される。しかし、他の実施形態では、システムは、放射光が物体の光学特性を強調するように、特に、物体の光学特性とシーンにおける他の要素（例えば背景）の光学特性との差が増大されるようにシーンを照射する光源を含んでもよい。
【００９９】
上記は、例えば、光源を位置付けることによって実現される。例えば、上述したように、光源は、明るい瞳孔を生成するために網膜の反射が実現されるように、カメラの光軸上に位置付けられる。別の例は、所望の物体と同様の光学特性（例えば同じ色）を有する物体が影の中に位置付けられるように光源を位置付けることである。このようなアプローチは、環境が十分に静止していて、設定段階からよく知られている用途に適している。
【０１００】
幾つかの実施形態では、光源から放射された光の周波数分布が、画像捕捉デバイス１０１によって捕捉された場合に物体の光学特性を強調するように設定される。例えば、より目立つ明るい瞳孔効果を作り出すために、赤外光が使用される。別の例として、実質的に白い物体について、捕捉画像における物体のゴースト像をより強調するために、紫外光が使用される。他の実施形態では、物体の特定のクロマを他の物体に対して特に強調するために、より繊細な周波数分布が使用される。
【０１０１】
幾つかの実施形態では、物体を目立たせるために、空間分布が使用される。例えば、物体のおおよその位置が知られている又は推測される場合、光源は、当該位置の方向に向けられ、他の方向にはあまり光が放射されないようにする。
【０１０２】
幾つかの実施形態では、捕捉画像における物体の、区別するための光学特性を強調するために、光源から放射された光の偏光が使用される。例えば、物体が偏光フィルタを含む場合、正しく偏光された光の反射の方が、他の物体の反射よりも大幅に高い。この状況は、例えば、反射器を照明する偏光光源を使用する場合に起きる。完全鏡は、光の偏光を変化させない一方で、他のすべての拡散反射面は変化させる。
【０１０３】
幾つかの実施形態では、そこまでの距離が検出されるべき１つ以上の物体に、捕捉画像において検出可能な特定の光学特性を提供する特徴が設けられる。これにより、コーデッドアパーチャによって生成されたゴースト像に対応する画像物体の検出が可能になる。例えば、特定の光放射又は光反射要素が、物体上に位置付けられ、システムは、捕捉画像における対応する画像物体を検出する。
【０１０４】
１つの具体例として、当該システムは、産業ロボットが倉庫内で使用される用途において使用される。産業ロボットは、倉庫内を（自由に又はトラック上を）移動して、特定の商品を選択して持上げる。これらの商品は、次に、別の特定の位置に移動される。特に、注文品は、倉庫内の個々の保管位置から注文書に対応する商品を持上げる産業ロボットを使用して自動的に包装される。このような用途では、ロボットの位置の経過を追うことが重要であり、これは、図１のデバイスに対応する１つ以上のデバイスを使用することによって実現される。
【０１０５】
具体例として、図１５は、３つの産業ロボット１５０１、１５０３、１５０５が、図１のシステムによる画像捕捉デバイス１０１によって監視されるシーン内に位置付けられるシナリオを示す。この具体例では、３つの産業ロボット１５０１、１５０３、１５０５のそれぞれには、反射要素１５０７、１５０９、１５１１が設けられており、この具体例では、これらは、個々のロボットに取付けられた逆反射性（retroflective）ステッカーである。倉庫は、反射要素１５０７、１５０９、１５１１によって反射され、反射要素１５０７、１５０９、１５１１を捕捉画像内で非常に明らかに目立たせる光によって照らされる。結果として、反射要素１５０７、１５０９、１５１１に対応する画像物体が、捕捉画像内で容易に検出され、対応するゴースト像間の変位量が測定され、反射要素１５０７、１５０９、１５１１、したがって、産業ロボット１５０１、１５０３、１５０５までの距離が決定される。
【０１０６】
したがって、逆反射性ステッカーは、対応する画像物体の検出をかなり容易にかつより信頼できるようにする光学特性を提供する。このアプローチは、明るい瞳孔の特性（即ち、網膜の逆反射性性質）を利用したアプローチに、多くの点において類似している。このアプローチは更に、動作を向上させる他の尺度も含んでよい。例えば、照明及び／又は逆反射性ステッカーは、明確に検出可能な画像物体を提供するように具体的に適応される。例えば、照明は、逆反射性ステッカーの周波数応答に合った周波数分布を有するように選択され、これにより、反射を強調させる一方で、他のシーン物体（即ち、背景）からの寄与を減衰させる。実際に、幾つかの実施形態では、倉庫は、例えば可視光として逆反射性ステッカーから反射されるＵＶ光以外は、暗闇の中であってよい。このようなシナリオでは、検出器１０５は、単に、捕捉画像における明るい画像領域を検出する。
【０１０７】
図１５の例では、シーンは、同一の逆反射性ステッカーが付けられた３つの異なる産業ロボットを含む。このシナリオでは、システムは、ロボット１５０１、１５０３、１５０５の動作を連続的に追跡し、また、具体的に、画像における対応する画像物体の動作を追跡する。したがって、このシステムは、この情報を使用して、様々なロボット１５０１、１５０３、１５０５に対応する画像物体を区別する。
【０１０８】
他の実施形態では、シーン物体に、様々な光学特性を有する要素が設けられる。したがって、光学特性の区別によって提供される区別を用いて、複数のシーン物体が、距離決定のために検出される。例えば、逆反射性ステッカーには、コーデッドアパーチャ及び非焦点面結像によって引き起こされるぼかしの後でも依然として区別できる様々なパターンが設けられる。別の例として、反射性ステッカーは、ゴースト像の結果としてもたらされる画像物体において検出できる様々な形状を有する。このようなアプローチによって、システムは、シーン物体までの距離を検出できるだけでなく、測定された複数のシーン物体から１つのシーン物体を特定することもできる。
【０１０９】
幾つかの実施形態では、シーン物体に区別し易い特性を与える光学要素は、パッシブ又は反射性光源ではなくアクティブ光源である。例えば、産業ロボット１５０１、１５０３、１５０５は、単一の発光ダイオード（ＬＥＤ）又はＬＥＤのアレイといった固定又は点滅光源が設けられる。更に、光源は、検出を向上させる又は容易にする特性を与えるように具体的に構成される。例えば、検出をより容易にするために、例えば赤外又は紫外光源が設けられても、又は、例えば特定の色を有する光源が使用されてもよい。例えば、図５の産業ロボット１５０１、１５０３、１５０５のそれぞれには、様々な色のＬＥＤアレイが設けられる。例えば第１のロボット１５０１には赤色ＬＥＤアレイが、第２のロボット１５０３には緑色ＬＥＤアレイが、第３のロボット１５０５には黄色ＬＥＤアレイが設けられる。（特に、それ以外は暗い環境における）このようなアプローチは、ゴースト像に対応する画像物体の非常に単純であるが、依然として信頼できる検出を可能にし、更に、産業ロボットの区別を更に可能にする。
【０１１０】
当然ながら、容易に検出できる画像物体を提供するようにシーンの照明について説明した様々な特性は、反射性又はアクティブ光源にも同等に使用される。例えば、偏光光源又は偏光反射器が、コーデッドアパーチャの前の偏光フィルタと共に使用される。これは、他の要素からの光を減少する一方で、所望の光学要素からの光を、実質的に減衰させないで通過させることを可能にする。別の例として、ゴースト像に対応する画像物体の検出可能かつ区別可能な特性を提供するために、様々な色又はパターンが使用される。
【０１１１】
当然ながら、複数の距離決定デバイスが使用される。例えば、デバイスは、倉庫の垂直壁上に位置付けられ、これにより、垂直軸に沿って距離が決定できる。これは、倉庫における産業ロボットの特定の位置の決定を可能にする。
【０１１２】
更に別の例として、検出可能な光学特性は、アクティブ又はパッシブな光放射ではなく、光の減衰又は遮光である。例えばコンベアベルトが光放射壁の前に配置される。したがって、光放射壁は、コンベアベルト上に置かれた商品によって遮断されるバックライトを提供する。前述の距離決定デバイスは、コンベアベルトの前に位置付けられ、バックライトに向けられる。コンベアベルト上の商品は、バックライトを遮断し、結果として、捕捉シーンにおける暗い物体のゴースト像に対応する暗い画像物体がもたらされる。
【０１１３】
別の例として、このアプローチは、１つの物体の複数の点の位置を決定するために使用される。例えば、ゲーム又は仮想映画のために役者の動作を捕捉する場合、役者に、捕捉画像において追跡される多数の要素が設けられる。例えば、役者の腕、脚、胴体等の関連位置にステッカーが貼られる。動作を行う役者のビデオ捕捉によって、役者の動作に緊密に一致する仮想モデルが生成される。更に、これらの要素を、例えば反射性要素として設けることによって、前述の距離決定デバイスは、反射性要素までの距離を検出し、これにより、ビデオ捕捉が、距離決定デバイスからもたらされる深度情報によって高められる。したがって、向上された動き捕捉が実現される。
【０１１４】
当然ながら、このアプローチは、複雑度を大幅に減少させ、また、距離を決定するための高度に有利なアプローチを提供する。実際に、このアプローチは、多くの異なるマシンビジョンシステム及び用途に特に適している。
【０１１５】
当然ながら、前述の原理は、多くの異なる用途及びシナリオにおいて使用できる。例えば、このアプローチは、例えば捕捉画像における画像物体の位置が、像面に平行な平面における位置を決定するために使用される一方で、それに直交する方向における位置が、前述の深度推定に基づくことで、人間の位置を推定するために使用される。このようなアプローチは、例えば高齢者又は病棟のモニタリングシステム、エネルギーを節約するために、又は、快適さを増やすためにビーム形状及び分光的特徴を変更するために局所的に調節可能な適合照明システムといった用途に有用である。人間の目の正確な位置は、特に、例えば３Ｄ結像用に両目に最適な視野を与えるために、又は、最も近い目の対の方向に個別の視野を作成する一方で他の方向における視野は遮断するために、提供される視野が検出された目の位置に適応される表示目的に対して特に関心が寄せられている。
【０１１６】
図１６は、自動立体視ディスプレイ１６０１を使用した３Ｄレンダリングシステムにおける例示的な使用シナリオを示す。このようなシステムでの正確な３Ｄレンダリングのために、姿勢及び視聴者の頭部の距離に関する情報があることが、新しい３Ｄレンダリングを潜在的に作成するためだけでなく、レンチキュラスクリーンを介して新しい画像視野投影１６２０、１６２１を作成するためにも有用である。特に、頭部の動きは、視野投影が、常に、すぐに補正されるように、また、視聴者（例えば、静止した視聴者１６０５だけでなく、ビデオ会議システム又は動作挙動相互作用を伴うゲームにおいて、歩き回っている視聴者１６１０）が実際にシステムを認識せず、自然な３Ｄを見るように、非常に迅速に追跡されるべきである。ここでも、視聴者の目の距離に依存して情報を容易に分割するために賢く選択されたアパーチャパターンを有するカメラ１６０２を使用し、目のパターンの位置を使用して、例えば向きを決定することができる。具体的には、距離に関する形状決定に加えて、より正確な姿勢決定を可能にする、（例えばＬＣＤ又は素早く変化するシャッタ等を有する可変アパーチャを介した）像面におけるアパーチャパターン又は関数への他のマッピングが想到できよう。典型的には、赤外線照明源１６０３がカメラに接続される。当然ながら、本システムは、ユーザインターフェースシステムにおいて使用されてもよい。例えばポータブルデバイス１６３０は、逆反射性パターンといった赤外線反射構造体を含んでよく、それと共に、当該デバイスの３Ｄ位置付けが決定され、それに依存して、コントロール又はゲームソフトウェア等といったソフトウェアにおいて使用される。当然ながら、このポータブルデバイスは、同様のカメラシステムを含んでもよい。例えば通常は、本発明の１つ以上のそのようなカメラに基づいた装置の実施形態は、例えばその上部の中心において、例えば別個の装置に接続する電気的接続を介して、ディスプレイ及び機械的固定システムに接続される。
【０１１７】
当然ながら、明確にするための前述の説明は、本発明の実施形態を、様々な機能回路、ユニット及びプロセッサを参照して説明した。しかし、本発明を損なうことなく、様々な機能回路、ユニット又はプロセッサ間での機能の任意の適切な分配を使用してもよいことは明らかである。例えば別個のプロセッサ又はコントローラによって行われるべきものと説明された機能は、同じプロセッサ又はコントローラによって行われてもよい。したがって、特定の機能ユニット又は回路への参照は、厳密な論理的又は物理的構造体又は組織の示唆ではなく、上述された機能を提供するのに適した手段への参照に過ぎないと見なされるべきである。
【０１１８】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形で実施することができる。本発明は、任意選択的に、少なくとも部分的に、１つ以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして実施される。本発明の実施形態の要素及び構成要素は、任意の適切な方法で、物理的に、機能的に及び論理的に実施される。実際に、機能は、単一のユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として実施されてもよい。したがって、本発明は、単一のユニットにおいて実施されても、様々なユニット、回路及びプロセッサ間で物理的及び機能的に分配されてもよい。
【０１１９】
本発明は、幾つかの実施形態に関連して説明されたが、本明細書に記載される特定の形に限定されることを意図してはいない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。また、ある特徴は、特定の実施形態に関連して説明されているものと見えるかもしれないが、当業者であれば、上述された実施形態の様々な特徴は、本発明にしたがって組み合わされてもよいことを認識するであろう。特許請求の範囲において、「含む」との用語は、他の要素又はステップの存在を排除するものではない。
【０１２０】
更に、複数の手段、要素、回路又は方法ステップが、個別に列挙されているが、これらは、例えば単一の回路、ユニット又はプロセッサによって実施されてもよい。また、個々の特徴が、異なる請求項に含まれていることもあるが、これらは、場合によっては、有意に組み合わされてもよく、異なる請求項に含まれているからと言って、特徴の組み合わせが実現できない及び／又は有利ではないことを示唆するものではない。更に、ある特徴が請求項の１つのカテゴリに含まれていることも、このカテゴリへの限定を示唆するものではなく、むしろ、当該特徴は、適宜、他の請求項のカテゴリにも同等に適用可能であることを示す。また、請求項における特徴の順序も、当該特徴を実施しなければならない任意の特定の順序を示唆するものではない。特に、方法の請求項における個々のステップの順序は、それらのステップがその順序で行われなければならないことを示唆するものではない。むしろ、これらのステップは、任意の適切な順序で行われてよい。更に、単数形での参照は、複数の存在を排除するものではない。したがって、「１つの（ａ）」、「１つの（ａｎ）」、「第１の」、「第２の」等への参照は、複数の存在を排除するものではない。請求項における参照符号は、明確にするための例示として提供されているに過ぎず、請求項の範囲を限定するものとしていかようにも解釈されるべきではない。
【図１】
2015501416.tif 000005
【図２】
2015501416.tif 000006
【図３】
2015501416.tif 000007
【図４】
2015501416.tif 000008
【図５】
2015501416.tif 000009
【図６】
2015501416.tif 000010
【図７】
2015501416.tif 000011
【図８】
2015501416.tif 000012
【図９】
2015501416.tif 000013
【図１０】
2015501416.tif 000014
【図１１】
2015501416.tif 000015
【図１２】
2015501416.tif 000016
【図１３】
2015501416.tif 000017
【図１４】
2015501416.tif 000018
【図１５】
2015501416.tif 000019
【図１６】
2015501416.tif 000020
【手続補正書】
【提出日】平成25年3月27日(2013.3.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シーン物体までの距離を決定する装置であって、
コーデッドアパーチャ及び画像センサを有する画像捕捉デバイスと、
前記画像捕捉デバイスの前記画像センサからシーンの第１の画像を受け取る受信器と、
前記シーン物体の光学特性に応答して前記コーデッドアパーチャの様々な開口からもたらされる前記シーン物体のゴースト像に対応する前記第１の画像における少なくとも２つの画像物体を検出する検出器と、
前記少なくとも２つの画像物体の前記第１の画像における変位量に応答して前記シーン物体までの距離を決定する距離推定器と、
を含み、
前記画像センサは、前記シーン物体の焦点面から外れて位置付けられ、
前記光学特性は、前記画像捕捉デバイスに向かう前記シーン物体の放射特性である、装置において、
前記シーンを照明する光源であって、前記シーン物体の光学特性と前記シーンの他の要素の光学特性との差が増大されるように前記シーン物体の光学特性を強調するような特性を持つ前記光源を更に有することを特徴とする、装置。
【請求項２】
前記第１の画像は、明るい瞳孔の画像であり、前記光学特性は、前記画像捕捉デバイスに向かって網膜によって逆反射された光の特性である、請求項１に記載の装置。
【請求項３】
前記受信器は、前記画像センサから前記シーンの第２の画像を受け取り、前記第２の画像は、暗い瞳孔の画像であり、前記検出器は更に、前記少なくとも２つの画像物体を検出する前に、前記第１の画像を前記第２の画像について補正する、請求項２に記載の装置。
【請求項４】
前記画像捕捉デバイスの光軸上に実質的に位置付けられ、前記シーンを照明する光源と、前記第１の画像のために前記光源をオンに切替え、前記第２の画像のために前記光源をオフに切り替える光源コントローラとを更に含む、請求項３に記載の装置。
【請求項５】
前記少なくとも２つの画像物体は、人間の第１の瞳孔に対応し、前記検出器は更に、前記コーデッドアパーチャの様々な開口からもたらされる前記人間の第２の瞳孔のゴースト像に対応する前記第１の画像の更なる少なくとも２つの画像物体を検出し、前記距離推定器は更に、前記更なる少なくとも２つの画像物体の前記第１の画像における変位量に応答して前記距離を決定する、請求項２又は３に記載の装置。
【請求項６】
前記少なくとも２つの画像物体は、人間の第１の瞳孔に対応し、前記検出器は更に、前記コーデッドアパーチャの様々な開口からもたらされる前記人間の第２の瞳孔のゴースト像に対応する前記第１の画像の更なる少なくとも２つの画像物体を検出し、前記距離推定器は更に、前記少なくとも２つの画像物体の前記第１の画像における前記変位量と、前記更なる少なくとも２つの画像物体の前記第１の画像における変位量との差に応答して前記人間の頭部の向きを決定する、請求項２又は３に記載の装置。
【請求項７】
前記少なくとも２つの画像物体のうち少なくとも２つの画像物体は、互いに素な画像物体である、請求項１又は２に記載の装置。
【請求項８】
前記特性は、
前記光源の位置、
前記光源から放射される光の周波数分布、
前記光源から放射される光の空間分布、及び
前記光源から放射される光の偏光
のうちの少なくとも１つである、請求項１に記載の装置。
【請求項９】
前記コーデッドアパーチャは、ある数の互いに素な開口によって形成され、各開口は、前記シーン物体のゴースト像をもたらす、請求項１又は２に記載の装置。
【請求項１０】
前記ある数は、５未満である、請求項９に記載の装置。
【請求項１１】
各開口は、干渉パターンを有し、前記装置は、少なくとも２つの開口の前記干渉パターンの推論パターンに応答して前記少なくとも２つの画像物体の前記第１の画像における前記変位量を決定する、請求項９又は１０に記載の装置。
【請求項１２】
請求項１に記載の装置を有する、シーン物体までの距離を決定するシステム。
【請求項１３】
前記シーン物体に取付けられる光学要素を更に含み、前記検出器は、前記光学要素の光学特性に応答して前記少なくとも２つの画像物体を検出する、請求項１２に記載のシステム。
【請求項１４】
シーン物体までの距離を決定する方法であって、
コーデッドアパーチャを有する画像捕捉デバイスの画像センサからシーンの第１の画像を受け取るステップと、
前記シーン物体の光学特性に応答して前記コーデッドアパーチャの様々な開口からもたらされる前記シーン物体のゴースト像に対応する前記第１の画像における少なくとも２つの画像物体を検出するステップと、
前記少なくとも２つの画像物体の前記第１の画像における変位量に応答して前記シーン物体までの距離を決定するステップと、
を含み、
前記画像センサは、前記シーン物体の焦点面から外れて位置付けられ、
前記光学特性は、前記画像捕捉デバイスに向かう前記シーン物体の放射特性である、方法において、
前記シーン物体の光学特性と前記シーンの他の要素の光学特性との差が増大されるように前記シーン物体の光学特性を強調するような特性を持つ前記光源により、前記シーンを照明するステップを更に有することを特徴とする、方法。
【請求項１５】
請求項１乃至１１の何れか一項に記載された装置を含む、自動立体視ディスプレイシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一態様によれば、請求項１に記載のシーン物体までの距離を決定する装置が提供される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
本発明の一態様によれば、請求項１２に記載のシーン物体までの距離を決定するシステムが提供される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
本発明の一態様によれば、請求項１４に記載のシーン物体までの距離を決定する方法が提供される。
【国際調査報告】
2015501416.tif 000021
2015501416.tif 000022
2015501416.tif 000023