(57)【特許請求の範囲】
【請求項１】
方法であって、
ストライプを含むパターンの構造化光の解析に基づいて生成された物体の深さマップを、カメラ、光プロジェクタ、及びセンサを有するシステムによって取得すること、ここで前記センサは、前記カメラと、前記光プロジェクタと、前記物体から反射して戻ってきた光との間で三角測量効果を生じさせるように位置決めされている、
前記物体のエッジが与えられたとき、第１のｚ軸値が不正確または不完全である前記深さマップの部分を判定すること、
前記深さマップの判定した部分に関連付けられた前記物体の幾何学的特徴を、前記深さマップの判定した部分に近接した隣接部分のエッジに基づいて検出すること、ここで前記幾何学的特徴は、前記物体の表面の構造に関連している、
検出した前記物体の幾何学的特徴、前記深さマップの隣接部分、及びパターン外の領域とパターン外の領域ではない領域との間の光強度の不一致に基づいて、前記深さマップにより示される前記物体のエッジに沿った第２のｚ軸データを推定すること、及び
前記第１のｚ軸値を、第２のｚ軸値に置き換えること
を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して構造化光に関し、詳しくは、構造化光投影を介して得られる深さマップデータを改善することに関する。
【背景技術】
【０００２】
本発明の背景技術の説明に先立って、以下で用いる用語の定義を記載する。
本明細書で用いる用語「構造化光」は、既知の画素パターンをシーンに投影するプロセスとして定義される。これらが面に当たるときにどのように変形するかにより、シーン内における物体の深さおよび表面情報を映像システムにより計算することが可能となる。目に見えない構造化光は、投影パターンが複雑化する他のコンピュータ映像タスクを妨げることなく構造化光を使用する。
【０００３】
本明細書で用いる用語「深さマップ」は、視点からシーンの物体表面までの距離に関する情報を含む画像として定義される。深さマップは、全ての点をｚ軸データと結ぶメッシュの形式を取り得る。
【０００４】
本明細書で用いる用語「画像セグメント化」または「セグメント化」は、デジタル画像を複数のセグメント（画素群）に分割するプロセスとして定義される。このセグメント化の目的は、画像表現を簡素化すること、および／または画像表現をより有意義で解析し易い表現に変更することにある。画像セグメント化は、通常、画像内における物体の位置、および「エッジ」とも呼ばれる境界（線、曲線など）の位置を特定するために使用される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
構造化光の解析を介して物体の深さマップを生成する際の課題の１つは、物体のセグメント化プロセスに関連して決定される、物体のエッジに沿った完全なＺ軸データを導出することにある。ストライプまたはラインパターンに基づく構造化光の解析において、この課題はストライプ間のギャップに起因して顕著となり、物体のエッジがこれらのギャップの一部に合致している場合には特に顕著となる。
【課題を解決するための手段】
【０００６】
本発明のいくつかの実施形態に従って、構造化光の解析を介して得られる深さマップのエッジに沿った、欠落したｚ軸データを推定する方法が提供される。方法は、欠落したｚ軸データを推定するために、物体および下位物体の幾何学的特徴に関連付けられたデータを使用することに基づく。例えば、物体が手（物体）である場合、欠落データは、指先のエッジに沿った点のｚ軸データであり、指（下位物体）が円柱状であるという事実が有用となり得る。いくつかの実施形態では、このように幾何学的特徴が認識されると、対応するテンプレートが使用されて、欠落しているｚ軸データが再構築される。
【０００７】
いくつかの実施形態では、深さマップは、元のパターン光に基づいて取得されてセグメント化される（正確な順序は重要でない）。物体のエッジが検出されると、通常は２Ｄ画像とパターン光の強度の減少とに基づいて、エッジ付近の深さマップ部分の解析が行われる。この解析では、エッジ近傍に相当する物体の部分の幾何学的特徴が判定される。判定された幾何学的特徴は、エッジに沿って位置する所望の点のｚ軸値を推定するために、近傍の点の現存するｚ軸値を受け取る曲線近似関数（curve fitting function）に制約を適用する複数の所定のテンプレートのうちの１つにマッピングされる。
【０００８】
いくつかの実施形態では、エッジに沿った追加のｚ軸値を用いて深さマップのメッシュが完成される。
本発明のこれらの、付加的な、および／または他の態様および／または実施形態の利点は以下の詳細な説明で説明され、それらは、以下の詳細な説明から推測可能であり、および／または本発明の実施形態の実施よって理解可能である。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態による水平ストライプ光パターンにより照明される物体を示す図。
【図２】本発明の実施形態によるいくつかの態様を示すメッシュ図。
【図３】本発明のいくつかの実施形態による態様を示す断面図。
【図４】本発明のいくつかの実施形態によるシステムを示すブロック図。
【図５】本発明のいくつかの実施形態による態様を示す断面図。
【図６】本発明の実施形態によるシステムのいくつかの態様を示すブロック図。
【図７】本発明の実施形態による態様を示すメッシュ図。
【図８】本発明の実施形態による態様を示すグラフ図。
【図９】本発明の実施形態による別の態様を示すグラフ図。
【図１０】本発明の実施形態による非限定的な例示的方法のステップを示す高位のフローチャート。
【図１１】図１１Ａ〜１１Ｃは、本発明の実施形態による態様を示す例示的なカラー深さマップを示す図。
【発明を実施するための形態】
【００１０】
本発明の実施形態をより良く理解し、どのように実施することができるかを示すために一例として添付図面を参照する。なお、図面において、同様の符号は対応する要素または部分を示す。
【００１１】
以下、図面を参照して詳細に説明するが、図示する詳細は単なる例示であり、本技術の好ましい実施形態の説明のみを目的としたものであり、本技術の原理および概念的側面の最も有用で容易に理解される説明として提供される。この点において、本技術の基本的な理解に必要なもの以外について本技術の構造的な詳細を示すことはしていない。図面とともに以下の説明を参照することにより、本発明の種々の形態を実際にどのように実施することができるかについて当業者に明らかとなる。
【００１２】
本技術の少なくとも１つの実施形態を詳細に説明するが、本発明はその適用において、以下に説明または図示する構成要素による詳細な構成および配置に限定されない。本技術は、他の実施形態に適用可能であるかまたは様々な方法で実施または実行される。また、本明細書で使用する表現および用語は、説明を目的としたものであり、限定とみなされるべきではない。
【００１３】
図１は、本発明の実施形態による、水平ストライプ（またはライン）光パターンにより照明される物体を示す図である。手１０は、１１，１２，１３，１４などのストライプで覆われており、その反射が測定されて解析されることにより深さマップが生成される。図から分かるように、１５，１６などの指先のいくつかは、ストライプ間のギャップのために、少なくとも指先のエッジ付近ではどの場所も光パターンで覆われていない。
【００１４】
例示的な実施形態によれば、センサ（図示せず）は、あるＹ軸距離に配置することができ、例えば、手および背景（例えば、手が置かれているテーブルの面や、壁など）にストライプパターンを投影する送信機の付近に配置することができる。センサの位置は、カメラと、光プロジェクタと、ユーザの手および背景で反射した光との間で、三角測量効果を生じさせるように選択される。
【００１５】
三角測量効果は、光パターンで投影された物体からの顕著な深さずれがあるストライプに沿った点でパターンに不連続部分を生じさせる。この不連続部分は、ストライプを２つ以上のストライプセグメント、例えば、手の上に位置するセグメントと、手の左側に位置するセグメントと、手の右側に位置するセグメントとにセグメント化（すなわち、分割）する。
【００１６】
このような深さずれによって生じたストライプセグメントは、カメラとユーザの身体との間に位置するユーザの手のひらまたは指の輪郭上に位置し得る。すなわち、ユーザの指または手のひらがストライプを２つ以上のストライプセグメントに分割する。このようなストライプセグメントが検出されると、ストライプセグメントの端部までそのストライプセグメントを追跡することは容易である。
【００１７】
従って、二次元ビデオデータを装置により解析することでストライプセグメントの集合を生成することができる。例えば、装置は、手の指によるストライプのセグメント化により生じた１つ以上のストライプセグメントの集合、例えば、手の中央の指で反射された４つのセグメントの集合を、光パターンにおいて特定することができる。これにより、装置は、指によるストライプのセグメント化により生じたストライプセグメントの集合を追跡することによって、またはその集合のセグメントのうちの少なくとも１つを追跡することによって、指の動きを追跡する。
【００１８】
指によるストライプのセグメント化（すなわち、分割）により生じたストライプセグメントの集合は、Ｘ軸に重なりを有するストリップセグメントを含む。任意で、集合内におけるストライプセグメントはさらに、（指の厚さに由来する）類似の長さ、またはＹ軸座標における相対的な近接性を有する。
【００１９】
Ｘ軸上において、セグメントは、直線的に配置された指との完全な重なり、またはＸ−Ｙ平面内で斜めに配置された指との部分的な重なりを有していてもよい。任意で、装置はさらに、例えば、追跡された集合内のセグメント数の変化を検出することによって、指の深さ移動を識別する。例えば、ユーザが中央の指を伸ばすと、指と光プロジェクタとカメラの平面（Ｘ−Ｙ平面）との間の角度が変化する。これにより、集合内のセグメントの数は４から３に減少する。
【００２０】
任意で、装置はさらに、手のひらによるストライプのセグメント化によって生じた１つ以上のストライプセグメントの１つ以上の集合を光パターンにおいて識別する。
手のひらによるストライプのセグメント化によって生じたストライプセグメントの集合は、Ｘ軸においてユーザの手の指のストライプセグメントの集合との重なりを有する上部ストリップセグメントを含む。上部ストリップセグメントはＸ軸において４つの指の集合に重なるが、４つの指の集合の下部セグメントの最小Ｘ値や最大Ｘ値を超えていない。
【００２１】
手のひらによるストライプのセグメント化によって生じたストライプセグメントの集合はさらに、セグメントの直下に、ストリップセグメントと大幅に重複するいくつかのストリップセグメントをさらに含む。手のひらによるストライプのセグメント化によって生じたストライプセグメントの集合はさらに、ユーザの親指のストライプセグメントの集合のベースまで延びるより長いストライプセグメントをさらに含む。なお、指および手のひらの集合の向きは、特定の手の位置および回転によって異なる。
【００２２】
図２は、図１に示される手の構造化光の解析によって得られたメッシュ２０の形による深さマップを示す。図から分かるように、親指や中指などのいくつかの指における指先のエッジ付近の光パターンがないため、これらの部分ではｚ軸データが不正確または不完全である。従って、不完全なｚ軸データを有する点によって生成されたメッシュは、物体の対応する部分を正しく表現しないものとなる。例えば、拡大図２１に示される１つの望ましくない効果は、物体のエッジに関する不十分なデータによって指先が円錐状となることである。拡大図２２に示される別の望ましくない効果は、指先のエッジ付近のｚ軸データの欠落によって指先が「切り取られた」形状となることである。拡大図２３に示されたさらに別の望ましくない効果は、不正確なｚ軸データが得られ、それに基づいてメッシュが形成される場所で指先が変形すること（通常は親指で生じる）である。
【００２３】
図３は、図２に示されたメッシュの中指に沿った深さデータ、具体的にはＡ−Ａ´断面に沿った深さデータの断面を示す。図示のように、光パターンで覆われた部分について深さデータ３０が導出されている。しかしながら、ポイント３３を越えてＡ´に向かう部分については、その周囲に光パターンがないため、データは直接得られない。範囲３６は、エッジ点３５Ａ〜３５Ｃのｚ値を関連付けることができる自由度を示す。いくつかの例では、各エッジ点３５Ａ〜３５Ｃは、それぞれの推定メッシュ３７Ａ〜３７Ｄを有するが、エッジ点３５Ａ〜３５Ｃのうちのいくつかは明らかに不正確である。
【００２４】
図４は、本発明による、垂直ストライプのパターンの場合の構造化光解析により得られる深さマップを示す図である。ここでは、異なる望ましくない効果が示されており、パターン光としての垂直線によって手が覆われている。線４１Ａ，４１Ｂ等の隣接する線が、対応する隣接する指の境界と合致していないために、データの深さ解析が、４２Ａで示されるように少なくとも一部において指の間のギャップを無視して行われ、指の間のエッジが誤って互いに連結されて「アヒル」形状の手が形成され得る。指の間に過剰な皮膚４２Ａ，４２Ｂ，４２Ｃのように見えるこのような望ましくない効果は、図５のＢ−Ｂ´断面に示されており、断面５０に示された３本の指の全ては同じｚ軸値を持つ共通面を有しているが、実際の指の線５０Ａは実際には分離されている。
【００２５】
図６は、本発明の実施形態によるシステムのいくつかの態様を示すブロック図である。システム６００は、物体１０を、例えばラインパターンで照明するように構成されたパターン照明器６２０を含み得る。キャプチャ装置６３０は、深さマップを生成するべくコンピュータプロセッサ６１０によって解析される反射光を受け取るように構成されている。
【００２６】
生成された深さマップは、そのパターン外のエッジおよび他のパターン外の部分の一部に沿った不正確または不完全なｚ軸データを示す。これを解決するために、コンピュータプロセッサ２１０は、物体のエッジの近傍に起因してｚ軸値が欠落しているまたは不完全である深さマップの部分を決定するように構成されている。そして、コンピュータプロセッサは、深さマップの欠落しているまたは不完全なｚデータの点を有する部分に近接したメッシュの部分である隣接部分に基づいて、決定された深さマップの部分に関連する物体の幾何学的特徴を検出する。幾何学的特徴は、物体の表面の構造に関連する。
【００２７】
いくつかの実施形態では、コンピュータプロセッサ６１０は、検出された幾何学的特徴に基づいてテンプレート関数６４０を選択し、対応する深さマップ部分の局所的な幾何学的特徴に基づいて、選択されたテンプレートに制約を適用するように構成されている。これにより、幾何学的特徴の種類（例えば、指の円柱状）と、有効なｚ軸データを有する深さマップ部分から局所的に得られた特定データとに基づいて、近似関数が調整される。
【００２８】
図７は、本発明の実施形態による態様を示すメッシュ図７００である。ベクトルｖ（ｘ，ｙ）に沿って移動すると、図８に示されるようにエッジ点７３０〜７３５が所定の閾値よりも低下した光強度として検出される。図８は、パターン外の物体の部分により反射された光の強度をベクトルｖ（ｘ，ｙ）に沿った移動に応じて示している。
【００２９】
コンピュータプロセッサ６１０は、ｘ−ｙ平面のエッジ７３０〜７３５を検出すると、対応する制約と、検出されたエッジとを用いて、選択されたテンプレートに基づいて曲線近似関数を適用する。これにより、図９に示すグラフが得られ、このグラフ上において、点７２４〜７２７は深さマップから得られており、点７２８〜７３０の値は現存するデータと曲線近似関数とに基づいて外挿されている。
【００３０】
最後に、全てのｚ軸データがエッジ点７３１〜７３５について推定された後に、それらエッジについて得られたｚ軸データに基づいて深さマップを完成させることができる。
図１０は、本発明の実施形態による、非限定的な例示的な方法１０００のステップを示すフローチャートである。方法１０００は、例えば、ストライプ（他のパターンも使用することができる）を含む構造化光の解析に基づいて生成された物体の深さマップを取得すること（１０１０）、物体のエッジが与えられたとき、ｚ軸値が不正確であるまたはｚ軸値が完全である深さマップの部分を判定すること（１０２０）、判定した深さマップの部分に関連付けられた物体の幾何学的特徴を、深さマップのラインのエッジに基づいて検出すること（１０３０）、検出した幾何学的特徴に基づいてテンプレート関数を選択すること（１０４０）、対応する深さマップの部分の局所的な幾何学的特徴に基づいて、選択したテンプレートに制約を適用すること（１０５０）、物体のパターン外の領域により反射された強度に基づいて、対応する深さマップの部分のｘｙ平面のエッジ点を検出すること（１０６０）、対応する制約と、検出されたエッジ点とを用いて、選択したテンプレートに基づいて曲線近似を行うことによりエッジ点のｘ軸値を生成すること（１０７０）、深さマップ部分の点を外挿することによりエッジ点のｚ軸値を近似曲線に適用して、エッジ点と元の深さマップとの間のさらなる点のｚ軸値を推定すること（１０８０）、導出されたエッジ点のｚ軸値と、エッジと元の深さマップとの間のさらなる点とに基づいて、元の深さマップを完成させること（１０９０）を含む。
【００３１】
図１１Ａ〜図１１Ｃは、本発明の実施形態による態様を示す例示的なカラー深さマップである。ここでは、指が切り取られたり親指が隠れたりするなどの上述した望ましくない効果のいくつかを示している。
【００３２】
以上の説明において、一つの実施形態は本発明の一例または実現例であり、「一実施形態」や「実施形態」や「いくつかの実施形態」などの記載は、必ずしもすべてが同じ実施形態を指すとは限らない。
【００３３】
本発明の種々の特徴が単一の実施形態の文脈で説明されている場合でも、それらの特徴を別々にまたは任意の適切な組み合わせで提供することもできる。あるいは、明瞭化のために別々の実施形態の文脈で本発明が説明されている場合でも、本発明を単一の実施形態で実施することもできる。
【００３４】
本明細書において、「いくつかの実施形態」や「一実施形態」や「他の実施形態」などは、それらの実施形態に関連して説明されている特定の特徴、構造、または特性が少なくともいくつかの実施形態において含まれていることを意味し、必ずしも本発明のすべての実施形態に含まれていることを意味しない。
【００３５】
本明細書で使用する表現および用語は、限定として解釈されるべきでなく、説明のみを目的とする。
本発明の教示の原理および使用は、実施例や添付の図面を参照することによって、より良く理解され得る。
【００３６】
本明細書で説明する詳細は、本発明の適用に対する限定を意図しない。
また、本発明は種々の方法で実行または実施することができ、上述した説明以外の実施形態でも実施することができる。
【００３７】
用語「含む」、「備える」、「からなる」やその変形表現は、１つまたは複数の構成要素、特徴、ステップ、あるいは整数またはグループの追加を排除するものではなく、構成要素、特徴、ステップまたは整数を特定するものと解釈されるべきである。
【００３８】
明細書または特許請求の範囲が「追加」の要素を指す場合、その追加の要素が２つ以上存在することを排除しない。
明細書または特許請求の範囲が「一つ」の要素を参照する場合、そのような参照は、その要素が１つのみ存在すると解釈されるべきではない。
【００３９】
本明細書において、構成要素、特徴、構造、または特性が含まれ「得る」と述べる場合、その特定の構成要素、特徴、構造、または特性が含まれることが必須とされるわけではない。
【００４０】
適用可能な場合には、実施形態を説明するために状態図、フローチャート、またはその両方を使用する場合があるが、本発明はこれらの図または対応する説明に限定されるものではない。例えば、処理の流れは、それぞれ図示したボックスや状態を通じて行う必要はなく、また、図示し説明したものと全く同じ順序で行う必要はない。
【００４１】
本発明の方法は、手動で、自動で、またはそれらの組み合わせで、選択されたステップまたは処理を実行または完了することによって実施することができる。
特許請求の範囲および明細書に記載した説明、実施例、方法および材料は、限定として解釈されるべきでなく、単に例示として解釈されるべきである。
【００４２】
本明細書で使用する技術用語および科学用語の意味は、他に定義されない限り、本発明が属する技術分野の当業者によって一般的に理解される意味である。
本発明は、本明細書で説明するものと同等または類似の方法および材料を用いて試験または実施において実施することができる。
【００４３】
本発明を限定された数の実施形態に関して説明したが、これらは本発明の範囲を限定するものではなく、むしろ、好ましい実施形態のいくつかの例示として解釈されるべきである。他の可能な変形、変更、および適用もまた本発明の範囲内に含まれる。したがって、本発明の範囲は、上記説明したものによって限定されるべきではなく、添付の特許請求の範囲およびそれらの同等物によって限定されるべきである。
【図１】
0006782239.tif 000002
【図２】
0006782239.tif 000003
【図３】
0006782239.tif 000004
【図４】
0006782239.tif 000005
【図５】
0006782239.tif 000006
【図６】
0006782239.tif 000007
【図７】
0006782239.tif 000008
【図８】
0006782239.tif 000009
【図９】
0006782239.tif 000010
【図１０】
0006782239.tif 000011
【図１１Ａ】
0006782239.tif 000012
【図１１Ｂ】
0006782239.tif 000013
【図１１Ｃ】
0006782239.tif 000014