(57)【要約】【課題】デバイスのサイズを著しく大きくすることなく、立体画像を獲得するための単一センサ立体画像獲得デバイスを提供する。【解決手段】本願発明のデバイスは、ホイートストンの原理に基づく。ミラー（Ｍ１、Ｍ２、Ｍ３、Ｍ４）は、シーンの右立体画像および左立体画像が、これら２つの画像間に領域（ＩＲ）を空ける方式でセンサ上に形成されるように角度調整される。内部ミラー間にスロットが形成されて、一方では、構造化光またはパルス光を通過させ、他方では、シーンの物体上で一度反射されたこの構造化光またはパルス光を通過させる。デバイスは、前記領域（ＩＲ）上に前記反射された構造化光またはパルス光から画像を形成するようにスロット（Ｓｌ）およびレンズ系（ＬＳ）に関連付けられた光学部品（ＡＬ）をさらに備える。【選択図】図４ａ
2013138434.tif 000002
【特許請求の範囲】
【請求項１】
センサと、
レンズ系を介して前記センサの感度表面の第１の領域および第２の領域上にシーンの右立体画像及び左立体画像をそれぞれ形成するように角度調整された外部ミラー及び内部ミラーと、
空間構造化光を前記シーン上に投影するのに適した、または光パルスを前記シーン上に投影するのに適した、プロジェクタと、
前記投影された光から来る前記シーンの画像の形成を、前記センサの前記感度表面の第３の領域上に行うための前記レンズ系と関連付けられた光学部品であって、前記第３の領域が前記第１の領域及び前記第２の領域の間に挿入される、光学部品と、  光パルスを投影するのに適したプロジェクタの場合に、前記投影された光から来るこのキャプチャされた画像のピクセル毎に、前記プロジェクタからの光パルスの出発と前記センサへのこのパルスの帰還の間の時間シフトを測定する測定手段と、
光パルスが投影された場合に、このキャプチャされた画像のピクセル毎の時間シフトの前記測定を介して、このキャプチャされた画像から奥行きマップを計算するための手段と
を備える立体画像を獲得するためのデバイスにおいて、
一方では、前記プロジェクタによって前記シーン上に投影される前記光を通過させ、他方では、前記第３の領域上に投影される前記光から来る前記シーンの前記画像を形成するために必要となる前記光を通過させるためのスロットが、前記内部ミラー間に形成される
ことを特徴とするデバイス。
【請求項２】
前記第１の領域、前記第２の領域、及び前記第３の領域は、重なり合わないことを特徴とする請求項１に記載のデバイス。
【請求項３】
前記レンズ系に関連付けられた前記光学部品、及び前記レンズ系は、前記スロットの中心と前記第３の領域との中心を通る共通の光軸を有することを特徴とする請求項１または２に記載のデバイス。
【請求項４】
前記プロジェクタが、前記センサに対して、前記第３の領域の中心と前記プロジェクタの投影軸が前記センサの前記感度表面の平面と交わる交点とを結ぶ直線が水平成分を有さない方式で位置付けられることを特徴とする請求項１から３のいずれか一項に記載のデバイス。
【請求項５】
前記投影される光は、赤外線タイプであり、前記デバイスが、投影された前記光によってもたらされる前記シーンの前記画像を前記第３の領域上に形成するのに必要な前記光の経路上に位置付けられる可視光のブロッキングフィルタも備えることを特徴とする請求項１から４のいずれか一項に記載のデバイス。
【請求項６】
前記右立体画像および前記左立体画像を前記第１の領域および前記第２の領域上にそれぞれ形成するのに必要な光の経路上に位置付けられる、赤外線ブロッキングフィルタをさらに備えることを特徴とする請求項５に記載のデバイス。
【請求項７】
前記フィルタは、２色性タイプであることを特徴とする請求項６に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像（ｓｔｅｒｅｏｓｃｏｐｉｃ  ｉｍａｇｅ）を獲得するためのデバイスに関する。
【０００２】
本発明は、立体画像獲得の分野、より詳細には、単一の画像センサからのシーンの右画像および左画像の同時獲得の分野に位置付けられる。
【背景技術】
【０００３】
このタイプの獲得デバイスの利点の１つは、単一のセンサを使用するため、２つの画像の測色が同じであることである。さらに、これらのデバイスは、現在の３Ｄカメラなど、いくつかのセンサを使用する獲得デバイスと比べて、実装の複雑さがはるかに小さい。
【０００４】
現在、図１ａ、図１ｂ、および図１ｃに示す、ホイートストン立体鏡（Ｗｈｅａｔｓｔｏｎｅ  ｓｔｅｒｅｏｓｃｏｐｙ）の原理に基づいた（単一の画像センサを備える）画像獲得デバイスが知られている。
【０００５】
図１ａは、画像センサＳと、外部ミラーＭ１、Ｍ２および内部ミラーＭ３、Ｍ４とを備える獲得デバイスを示す。外部ミラーＭ１、Ｍ２および内部ミラーＭ３、Ｍ４は、角度調整がされて、かつレンズ系ＬＳと関連付けられており、シーンの右立体画像Ｉｒおよび左立体画像ＩｌをセンサＳ上に形成する。したがって、シーンのポイントＰから放射された光線は、ミラーＭ１、Ｍ２、その後、ミラーＭ３、Ｍ４に投影され、光線がそこで焦点を結ぶレンズ系ＬＳを横断して、２つの画像ＩｒおよびＩｌをセンサＳ上に形成する。ミラーＭ１からＭ４は、４５°の異なる角度に従って角度調整されて、右画像Ｉｒおよび左画像Ｉｌが、センサＳの２つの別個の連結した領域上に形成されることを可能にする（図１ｂ）。
【０００６】
図１ｃは、図１ａのデバイスの変形を示す。この変形も、画像ＩｒおよびＩｌをセンサＳの２つの別個の連結した領域上に形成することを可能にするが、これら２つの領域間の分離は、図１ａのデバイスのものほどはっきりしておらず、これらの画像の被覆領域はより大きい。
【０００７】
これらの立体獲得デバイスにおけるミラーの使用は、画像ＩｒおよびＩｌを幾何学的に歪ませる（キーストーニング（ｋｅｙｓｔｏｎｉｎｇ））。通常、これらの歪みは、これらの右画像および左画像を使用する前に補正される。
【０００８】
これらの使用の１つは、上述のように幾何学的に補正された画像ＩｒおよびＩｌから、奥行きマップ（ｄｅｐｔｈ  ｍａｐ）とも呼ばれる、視差マップ（ｄｉｓｐａｒｉｔｙ  ｍａｐ）を計算することである。
【０００９】
しかし、発明者は、わずかに凹凸がある画像領域では、この奥行きマップ計算の信頼性は高くないことを観察した。
【００１０】
これらの領域におけるこの計算を信頼性の高いものにするための解決策の１つは、奥行きマップ計算デバイスを立体画像の獲得デバイス内に含むことである。
【００１１】
構造化された光（以下、構造化光）の放射および受光に基づいた、知られている奥行きマップ計算デバイスの第１の例は、キャプチャするシーン上に構造化光を投影するのに適したプロジェクタと、シーン上へのこの投影から得られた反射画像をキャプチャするのに適した画像センサと、上述のようにキャプチャされた画像から奥行きマップを計算するための手段とを備える。
【００１２】
知られている奥行きマップ計算デバイスの第２の例は、飛行時間（ｔｉｍｅ  ｏｆ  ｆｌｉｇｈｔ）に基づく。その原理は、持続時間が非常に短い光パルスをシーンに照射し、これらの光パルスが放射されてから、シーンの物体によって一度反射された後で獲得されるまでの移動に要した時間を測定するというものである。その後、各ピクセルの奥行きが、光線のこの帰還移動時間に従って計算される。このデバイスは、光パルスをシーンに照射するのに適したプロジェクタと、シーンのこの照射から得られる画像をキャプチャし、この画像のピクセル毎に、照射パルスがプロジェクタを出発してから、このパルスの光線がセンサに帰還するまでの間の時間シフトを測定するのに適した画像センサと、これらの時間シフトの測定値から奥行きマップを計算するための手段とを備える。
【００１３】
奥行きマップを計算するためのこれらのデバイスの、構造化光またはパルス光のプロジェクタと画像センサは、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）分だけ互いに離れている。この補間は、センサの像平面の水平軸Ｘ上に表される水平成分だけを有するか、またはＸ軸に沿った水平成分とこの像平面のＹ軸上に表される垂直成分とを有する。
【００１４】
構造化光の放射および受光に基づいた奥行きマップ計算デバイスの場合、ピクセルの奥行きは、物体への構造化赤外光の投影によって形成された単一の画像から推定される（例えば、特許文献１を参照）。実際、像平面に直交するＺ軸の方向にシーンの１地点から遠ざかると、Ｘ軸に沿った水平シフトを生じるので、画像においてＸ軸に沿ったこのシフトを測定すれば、所定の奥行きに配置されたパターンから獲得された赤外線画像と比較することによって、画像の各ピクセルの奥行きを決定することができる。
【００１５】
したがって、立体画像獲得デバイスにおける奥行きマップ計算デバイスの導入は、従来技術によれば、立体画像獲得デバイスにおいて、とりわけプロジェクタと新しい画像センサの追加をもたらし、これらのデバイスのサイズを大きくする。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】国際公開第２００７１０５２０５号パンフレット
【特許文献２】米国特許出願公開第２０１１／１７５９８３号明細書
【発明の概要】
【００１７】
したがって、本発明によって解決される問題は、デバイスのサイズを著しく大きくすることなく、単一センサ立体画像獲得デバイスの奥行きマップの計算をより信頼性の高いものにすることである。
【００１８】
この目的のもと、本発明は、センサと、図１ａ−ｃに関して説明されたように、シーンの右立体画像および左立体画像をセンサ上に形成するようにレンズ系と関連付けられた、外部ミラーおよび内部ミラーとを備える、立体画像獲得デバイスに関する。
【００１９】
デバイスは、右立体画像および左立体画像が、これら２つの画像間に領域を空けて、センサ上に形成されるように、ミラーが角度調整され、一方では、構造化光またはパルス光を通過させ、他方では、シーンの物体上で一度反射された構造化光またはパルス光を通過させるように、スロットが内部ミラー間に形成され、前記領域上に前記反射された構造化光またはパルス光から画像を形成するようにスロットおよびレンズ系と関連付けられた光学部品をデバイスがさらに備えることを特徴とする。
【図面の簡単な説明】
【００２０】
上述の発明の特徴および他の特徴は、一実施形態についての以下の説明を読むことでより明白になり、前記説明は、添付の図面を参照して行われる。
【図１ａ】従来技術による立体画像獲得デバイスの一例を示す図である。
【図１ｂ】従来技術によるセンサ上に形成される立体画像の一例を示す図である。
【図１ｃ】従来技術による立体画像獲得デバイスの一例を示す図である。
【図２】被写界深度を定義できない画像領域についての説明を示す図である。
【図３】被写界深度を定義できない画像領域についての説明を示す図である。
【図４ａ】本発明による立体画像獲得デバイスの一実施形態を示す図である。
【図４ｂ】センサ上に形成される立体画像の一例を示す図である。
【発明を実施するための形態】
【００２１】
本発明は、センサと、シーンの左立体画像および右立体画像を、レンズ系を通して、センサの感度表面の第１の領域および第２の領域上にそれぞれ形成するように角度調整された、外部ミラーおよび内部ミラーと、空間構造化光を前記シーン上に投影するのに適した、または光パルスを前記シーン上に投影するのに適した、プロジェクタと、投影された光によってもたらされるシーンの画像を、第１の領域と前記第２の領域の間に挿入された、センサの感度表面の第３の領域上に形成するようにレンズ系と関連付けられた光学部品と、光パルスを投影するのに適したプロジェクタの場合に、投影された光によってもたらされたこのキャプチャされた画像のピクセル毎に、プロジェクタからの光パルスの出発と前記センサへのこのパルスの帰還の間の時間シフトを測定する測定手段と、光パルスが投影された場合に、このキャプチャされた画像のピクセル毎の時間シフトの測定を介して、投影された光によってもたらされたこのキャプチャされた画像から奥行きマップを計算するための手段とを備える立体画像を獲得するためのデバイスであって、スロットが、一方では、プロジェクタによってシーン上に投影される光を通過させ、他方では、投影された光によってもたらされるシーンの画像を第３の領域上に形成するために必要な光を通過させるように、内部ミラー間に形成される、立体画像を獲得するためのデバイスにさらに関する。
【００２２】
好ましくは、第１の領域、第２の領域、および第３の領域は、重なり合わない。例えば、投影される光がＩＲ光である場合、これは、センサのどのＩＲ感知ピクセルも、文献（例えば、特許文献２を参照）に開示されているように（図３Ｄを参照）、可視光感知ピクセルＲ、Ｇ、Ｂと同じ領域に配置されないことを意味する。重なり合わない場合であっても、これらのゾーンは、センサの感度表面上で隣接することができる。
【００２３】
好ましくは、レンズ系と関連付けられた光学部品は、スロットとも関連付けられる。
【００２４】
ホイートストンの原理に基づいた従来のデバイスに施されるこの変更によって、別の光センサの追加を必要としない、空間構造化光またはパルス光の放射に基づいた、奥行きマップを計算するための方法を実施することができる。したがって、このデバイスのサイズの増加が大幅に抑制されることが分かる。
【００２５】
さらに、デバイスは、奥行きマップの計算の信頼性を高めながらも、実装の平易性は維持するので、特に有利である。
【００２６】
実際、従来技術の奥行きマップ計算デバイスは、国際出願（例えば、特許文献１を参照）のデバイスの場合、シーンの物体のエッジにおける光信号の検出の不安定性に起因する未定義領域、または図２および図３に示されるような投影に起因する影さえも有する奥行きマップを提供するという不都合を有する。
【００２７】
図２および図３では、背景Ｂとこの背景の前方に配置された物体ＯＢによるシーンが示されている。奥行きマップ計算デバイスは、赤外線センサＩＲＳと、プロジェクタＩＲＰから形成される。
【００２８】
センサＩＲＳとプロジェクタＩＲＰは、センサＩＲＳの像平面と平行な軸上に位置付けられ、Ｘ軸に沿って互いにずれている。その場合、未定義領域ＮＤは、センサＩＲＳから見えている。この未定義領域ＮＤは、赤外光プロジェクタによって照射されないので、空間構造化光またはパルス光に基づいた方法によってはピクセルの奥行きを決定できない領域に対応するが、センサＩＲＳから見えている。
【００２９】
図３は、奥行きマップ計算デバイスが、とりわけ画像センサＳを備える立体画像獲得デバイス内に含まれる場合を示している。このセンサＳは、センサＩＲＳとプロジェクタＩＲＰの間のセンサＩＲＳの像平面上に位置付けられる。したがって、図３から分かるように、未定義領域ＮＤは、センサＳから見えている。この未定義領域ＮＤは、赤外光プロジェクタによって照射されないので、空間構造化光またはパルス光に基づいた方法によってはピクセルの奥行きを決定できない領域に対応するが、センサＳから見えている。別の未定義領域ＮＤ１も、やはりセンサＳから見えている。この未定義領域ＮＤ１は、赤外光プロジェクタによって照射されないので、構造化光に基づいた方法によってはピクセルの奥行きを決定できない領域に対応し、センサＩＲＳから見えていない。
【００３０】
したがって、Ｘ軸沿いの互いからある距離をおいたセンサＳとプロジェクタＩＲＰの位置は、センサＳから見えるが、被写界深度（ｄｅｐｔｈ  ｏｆ  ｆｉｅｌｄ）を定義できない画像の領域を最小化するための適切な解決策ではない。
【００３１】
好ましくは、レンズ系に関連付けられた光学部品とレンズ系は、スロットの中心とセンサの感度表面の第３の領域の中心を通る共通の光軸を有する。したがって、第３の領域の中心をデバイスの光軸が通り、投影された光によるシーンの照射によってもたらされる反射された構造化光は、スロットを通過して、デバイスのレンズ系に関連付けられた光学部品とレンズ系に共通する光軸に沿って獲得され、この光軸に関して（Ｘ軸に沿って）水平にずれた別のセンサによっては獲得されない。有利なことには、スロットおよび第３の領域の中心をこのように好ましく定めることによって、一方では、被写界深度を定義できない画像の領域を制限することができ、他方では、シーンの物体のエッジにおける光信号の検出の不安定性を制限することができる。したがって、奥行きマップの信頼性が、これによってしかるべく改善される。
【００３２】
好ましい一実施形態によれば、デバイスは、したがって、プロジェクタとセンサとを隔てる補間が水平成分を有さないようにセンサに対して位置付けられた、構造化光またはパルス光のプロジェクタを備える。より正確には、プロジェクタは、センサの感度表面の第３の領域の中心とこのプロジェクタの投影軸がこの感度表面の平面と交わる交点とを結ぶ直線が水平成分を有さない方式で構成される。言い換えると、プロジェクタは、好ましくは、センサの中心の上または下に配置される。
【００３３】
この実施形態は、センサに対するプロジェクタのこの特定の位置が、被写界深度を定義できない画像の領域をまたさらに制限するので有利である。
【００３４】
構造化光またはパルス光が赤外線タイプである場合に関連する変形形態によれば、デバイスは、反射された構造化光またはパルス光をフィルタリングするための可視光のブロッキングフィルタをさらに備える。言い換えると、可視光のこのブロッキングフィルタは、投影された光によってもたらされるシーンの画像をセンサの感度表面の第３の領域上に形成するのに必要な光の経路上に位置付けられる。
【００３５】
変形形態によれば、デバイスは、右画像および左画像を形成するように意図された光をフィルタリングするための赤外線ブロッキングフィルタも備える。言い換えると、この赤外線ブロッキングフィルタは、右立体画像および左立体画像をセンサの感度表面の第１の領域および第２の領域上にそれぞれ形成するのに必要な光の経路上に位置付けられる。
【００３６】
これらの変形形態は、右画像、左画像、および赤外線画像が、特にそれらのエッジにおいて互いに妨害しないようにすることができ、そのことが、これらの画像の使用を、特にセンサ上に形成された赤外線画像から奥行きマップを計算するための方法の実施を容易にするので有利である。
【００３７】
本発明による立体画像獲得デバイスは、図１ａ、図１ｂ、および図１ｃにおいて説明されたホイートストン立体鏡の原理を使用するデバイスの変更バージョンである。
【００３８】
実際、本発明によるデバイスは、画像センサＳと、シーンの右立体画像Ｉｒおよび左立体画像ＩｌをセンサＳ上に形成するように角度調整され、レンズ系ＬＳと関連付けられた、外部画像Ｍ１、Ｍ２および内部画像Ｍ３、Ｍ４とを備える。
【００３９】
このデバイスは、右立体画像Ｉｒおよび左立体画像Ｉｌが、通常の場合のように隣り合わせ（図１ｂ）ではなく、これら２つの画像間に領域ＩＲを空ける方式（図４ｂ）でセンサ上に形成されるように、ミラーＭ１、Ｍ２、Ｍ３、Ｍ４が角度調整されるところが独特である。
【００４０】
さらに、デバイスの別の特徴によれば、スロットＳが、一方では、プロジェクタＩＲＰによって放射された構造化光を通過させ、他方では、シーンの物体上で一度反射された構造化光を通過させるように、内部ミラーＭ３とＭ４との間に形成される。
【００４１】
別の特徴によれば、デバイスは、したがって、前記領域ＩＲ上に前記反射された構造化光から画像を形成するようにスロットＳｌおよびレンズ系ＬＳと関連付けられた光学部品ＡＬを備える。
【００４２】
したがって、デバイスによって立体画像を獲得しなければならない場合、プロジェクタＩＲＰは、例えば赤外線タイプの構造化光を放射する。典型的には、右画像Ｉｒおよび左画像Ｉｌは、外部ミラーおよび内部ミラーを介して、センサＳ上に形成される。シーンの物体上で反射された構造化光は、スロットＳｌを横断し、赤外線画像が、領域ＩＲ内に形成される。
【００４３】
一実施形態によれば、プロジェクタＩＲＰは、センサＳに対して、それらを隔てる補間が水平成分を有さないように位置付けられる。したがって、プロジェクタＩＲＰの光心とセンサＳの光心は、（像平面のマーカのＸ軸に沿った）水平成分を有さない直線線分上に含まれる。
【００４４】
構造化光が赤外線タイプである場合に関連する変形形態によれば、デバイスは、反射された構造化光をフィルタリングするための可視光のブロッキングフィルタをさらに備える。
【００４５】
変形形態によれば、デバイスは、右画像および左画像を形成するように意図された光をフィルタリングするための赤外線ブロッキングフィルタも備える。
【００４６】
この最後の変形形態の一実施形態によれば、これらのフィルタは、２色性タイプである。
【図１ａ】
2013138434.tif 000003
【図１ｂ】
2013138434.tif 000004
【図１ｃ】
2013138434.tif 000005
【図２】
2013138434.tif 000006
【図３】
2013138434.tif 000007
【図４ａ】
2013138434.tif 000008
【図４ｂ】
2013138434.tif 000009
【外国語明細書】
2013138434000001.pdf