(57)【要約】【課題】３Ｄ再構築により適した奥行きカメラの校正方法を提供する。【解決手段】奥行きカメラを校正する方法であって、Ｓ１）校正される奥行きカメラ（ＤＣ）を使用して物理的な３次元の参照物体（ＰＯ）の複数の奥行きマップ（ＤＭＳ）を取得し、奥行きマップは参照物体に対する奥行きカメラの異なる位置に対応し、Ｓ２）奥行きカメラの校正パラメータ（ＳＣＰi）のセットに割り当てられた値に応じて、前記奥行きマップから参照物体の３次元の再構築（３ＤＲi）を算出し、Ｓ３）ステップＳ２）で算出された３次元の再構築と参照物体の予め定められたデジタルモデル（ＲＭ）との間の誤差（ＥＲＲi）を算出し、前記ステップＳ２）およびＳ３）は奥行きカメラの前記校正パラメータのセットに異なる値を割り当てることにより反復され、Ｓ４）ステップＳ３）で算出された誤差を最小にする前記校正パラメータのセットの値（ＳＣＰ）を選択することを含む方法。【選択図】図３
2016128810.tif 000002
【特許請求の範囲】
【請求項１】
奥行きカメラを校正する方法であって、
Ｓ１）校正される奥行きカメラ（ＤＣ）を使用して、物理的な３次元の参照物体（ＰＯ）の複数の奥行きマップ（ＤＭＳ）を取得するステップであって、前記奥行きマップは、前記参照物体に対する前記奥行きカメラの異なる位置に対応する、ステップと、
Ｓ２）前記奥行きカメラの内在的な校正パラメータ（ＳＣＰi）のセットに割り当てられた値に応じて、前記奥行きマップから前記参照物体の外側表面の３次元の再構築（３ＤＲi）を算出するステップと、
Ｓ３）ステップＳ２）で算出された前記３次元の再構築と、前記参照物体の前記外側表面の予め定められたデジタルモデル（ＲＭ）と、の間の誤差（ＥＲＲi）を算出するステップと、を含み、
前記ステップＳ２）およびＳ３）は、前記奥行きカメラの前記内在的な校正パラメータのセットに異なる値を割り当てることにより反復され、さらに、
Ｓ４）ステップＳ３）で算出された前記誤差を最小にする前記内在的な校正パラメータのセットの値（ＳＣＰ）を選択するステップと
を含み、
前記ステップＳ２）〜Ｓ４）はコンピュータによって行われる、方法。
【請求項２】
前記ステップＳ２）およびＳ３）は、前記奥行きカメラの前記内在的な校正パラメータのセットにそれぞれ予め定められた値を割り当てることにより、予め定められた回数反復され、前記予め定められた値はパラメータ空間をサンプリングする、請求項１に記載の方法。
【請求項３】
前記ステップＳ２）およびＳ３）は、ステップＳ３）で算出される前記誤差が予め定められた閾値（ＴＨ）より低くなるまで、または予め定められた閾値以下になるまで反復される、請求項１に記載の方法。
【請求項４】
前記内在的な校正パラメータのセットは、少なくとも、前記奥行きカメラの焦点距離および主点の２つの座標を含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記内在的な校正パラメータのセットは、少なくとも１つの歪みパラメータをも含む、請求項４に記載の方法。
【請求項６】
前記ステップＳ２）は、前記奥行きマップの各々に対応する、参照位置に対する前記奥行きカメラの前記位置を総合的に決定するステップと、前記奥行きマップを融合して、単一の３次元の符号付き切り捨て距離場とするステップと、前記距離場の等値面を抽出して、前記参照物体の前記再構築を構成する３次元メッシュに入れるステップと、を含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記ステップＳ３）は、前記誤差を算出する前に、ステップＳ２）で算出された前記３次元の再構築と、前記参照物体の前記予め定められたデジタルモデルと、をレジストレーションするステップを含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記ステップＳ３）は、ステップＳ２）で算出された前記３次元の再構築と、前記参照物体の前記予め定められたデジタルモデルと、の間の正確な、もしくは、おおよそのハウスドルフ距離、または対称ハウスドルフ距離を算出するステップを含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
コンピュータ読取り可能データ記憶媒体（Ｍ１、Ｍ２、Ｍ３、Ｍ４）に記憶され、請求項１から８のいずれかに記載の方法のステップＳ２）〜Ｓ４）をコンピュータシステムに実行させるコンピュータ実行可能命令を含む、コンピュータプログラム製品。
【請求項１０】
請求項１から８のいずれかに記載の方法のステップＳ２）〜Ｓ４）をコンピュータシステムに実行させるコンピュータ実行可能命令を保持するコンピュータ読取り可能データ記憶媒体（Ｍ１、Ｍ２、Ｍ３、Ｍ４）。
【請求項１１】
メモリ（Ｍ１、Ｍ２、Ｍ３、Ｍ４）に結合されたプロセッサ（Ｐ）と、グラフィカルユーザインターフェース（ＩＦ、ＫＢ、ＰＤ、ＤＣ、ＤＹ）と、を含むコンピュータシステムであって、前記メモリは、請求項１から８のいずれかに記載の方法のステップＳ２）〜Ｓ４）を前記コンピュータシステムに実行させるコンピュータ実行可能命令を記憶している、コンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータによって実装される、奥行きカメラを校正する方法に関する。
【背景技術】
【０００２】
本発明は、３次元（３Ｄ）の再構築の技術分野に属し、これは、従来のカメラおよび／または奥行きカメラ（depth camera）などのセンサによって取得されたデータから物理的な３次元物体のデジタルモデルを構築するものである。３Ｄ再構築は、コンピュータビジョン、コンピュータグラフィクス、および拡張現実などの用途に役立つ。
【０００３】
より正確には、本発明は、奥行きカメラの校正、より詳細には奥行きカメラの「内在的な（intrinsic）」校正に関する。奥行きカメラ（「距離カメラ」としても知られる）は、奥行きカメラの特定の点からシーン内の点までの距離を示す、「奥行きマップ」（depth map）として知られる２次元（２Ｄ）画像を生成する装置である。奥行きカメラの実装にはいくつかの異なる技術が使用されることができ、最も広く使用される技術の中でも、レーダと同様の原理に基づく飛行時間カメラ、および、赤外線パターンをシーンに投影し、その画像を取得し、画像処理を使用して奥行き情報を推論する構造光カメラを挙げることができる。奥行きカメラは従来のカラー（ＲＧＢ：赤、緑、および青）カメラと組み合わせられて、色情報と奥行き情報の両方を含む２次元画像を生成することができ、それは「ＲＧＢ−Ｄｅｐｔｈ」画像、または単に「ＲＧＢＤ」画像と呼ばれることがある。それに比べると実用性は下がるが、奥行きカメラを白黒カメラと組み合わせることも可能である。
【０００４】
図１に示されるように、奥行きカメラＤＣが使用されて、異なる位置から、「物理的な」３次元物体ＰＯの複数の奥行きマップＤＭ１、ＤＭ２、ＤＭ３（「純粋な（pure）」奥行きマップまたはＲＧＢＤ画像）を取得することができる。コンピュータによって実行される再構築アルゴリズムＲＡで、奥行きマップを入力として、物理的な物体の３次元の再構築３ＤＲを生成する。いくつかの適切な再構築アルゴリズムが当技術分野で知られており、例えば非特許文献１を参照されたい。
【０００５】
再構築アルゴリズムは、種々の奥行きマップを取得するために奥行きカメラによって取られた位置および向き（「姿勢（pose）」）を入力で受け取る必要は必ずしもない。それは、この情報（「外在的な（extrinsic）」校正とも呼ばれる）は、奥行きマップ自体を使用して推論されることができるためである。それに対し、カメラの焦点距離、主点、および場合によっては歪みパラメータなど、奥行きカメラの「内在的な」校正パラメータは再構築アルゴリズムに提供されなければならない。内在的な校正パラメータの重要性が図２で強調され、同図は、上段のうさぎを表す小立像と下段の立方体の２つの３次元物体の種々の再構築を示し、これらは、入力として使用される奥行きマップを取得するために使用された奥行きカメラの焦点距離の種々の値を再構築アルゴリズムに提供することによって得られる。両方の段で、中央の画像（枠内）は正しい焦点距離の値に相当し、その左右にある画像はこのパラメータの不正確な値に相当し、左右にいくにつれて不正確さが増していく。奥行きカメラの校正が不正確であると、全く意味のない再構築になり得ることが見て取れよう。
【０００６】
場合によっては、奥行きカメラの製造者から提供される校正パラメータが３Ｄ再構築に使用されることがあるが（上記で参照した非特許文献１がこれに該当する）、より正確な結果が要求される場合は、専用の校正ステップが行われなければならない。この奥行き（またはＲＧＢ−Ｄｅｐｔｈ）カメラを校正するという問題は例えば非特許文献２〜４で扱われている。
【０００７】
これら文献のうち最初の文献は、特にＲＧＢ−Ｄｅｐｔｈカメラの場合に関するものであるが、シーンの輝度画像をも提供する他の種類の奥行きカメラにも適用可能であり、他の２つの文献は、奥行きの測定が可能でない従来のカメラの校正に関するが、これらの文献の教示は、ＲＧＢ−Ｄｅｐｔｈカメラ、および赤外線パターンが投影されたシーンのグレースケール画像を取得する奥行きカメラにも適用される。
【０００８】
これらの手法は、隅と隅の間の距離が既知であるチェス盤などの既知の２Ｄ形状の平面パターンを使用し、校正されるＲＧＢカメラまたはＲＧＢ−Ｄｅｐｔｈカメラを使用して、２Ｄ形状の画像がいくつか取得される。これらの画像によりカメラの投影行列を推定することが可能になり、その行列から校正パラメータが抽出される。
【０００９】
これらの手法は、コンストラクタデータシートの使用に比べてロバストであるが、３Ｄ再構築を行うのに十分に正確な校正パラメータを提供する保証はない。例えば、焦点距離の誤差は、外在的パラメータ、すなわちカメラの位置と向きを表すパラメータのずれで補償されることができる。さらに、得られるパラメータは、画像の取得に使用される手順に極度に依存する。
【００１０】
非特許文献５は、位置が既知である複数個の制御点からなる制御フィールドを撮像することによって奥行きカメラを校正する方法を開示する。この方法は特定種類の奥行きカメラにしか適用することができず、また制御点はマーカーで実現されなければないため、実用的でない場合がある。
【００１１】
本発明は、上述の従来技術の欠点を克服することを狙いとし、より詳細には、３Ｄ再構築により適した奥行きカメラの校正方法を提供することを狙いとする。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Ｒ．  Ａ．  Ｎｅｗｃｏｍｂｅ  ｅｔ  ａｌ．  “ＫｉｎｅｃｔＦｕｓｉｏｎ：  Ｒｅａｌ−Ｔｉｍｅ  Ｄｅｎｓｅ  Ｓｕｒｆａｃｅ  Ｍａｐｐｉｎｇ  ａｎｄ  Ｔｒａｃｋｉｎｇ”，  Ｓｙｍｐｏｓｉｕｍ  ＩＳＭＡＲ  ２０１１
【非特許文献２】Ｈｅｒｒｅｒａ  Ｃ．，  Ｄ．，  Ｋａｎｎａｌａ，  Ｊ．，  Ｈｅｉｋｋｉｌａ，  Ｊ．，  “Ｊｏｉｎｔ  ｄｅｐｔｈ  ａｎｄ  ｃｏｌｏｒ  ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ  ｗｉｔｈ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ”，  ＴＰＡＭＩ，  ２０１２
【非特許文献３】Ｒ．Ｙ．Ｔｓａｉ，  “Ａｎ  Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  Ａｃｃｕｒａｔｅ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ３Ｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  Ｍｉａｍｉ  Ｂｅａｃｈ，  ＦＬ，  ｐｐ．３６４−３７４，  １９８６
【非特許文献４】Ｚｈａｎｇ，  Ｚｈｅｎｇｙｏｕ  “Ｆｌｅｘｉｂｌｅ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  Ｂｙ  Ｖｉｅｗｉｎｇ  ａ  Ｐｌａｎｅ  Ｆｒｏｍ  Ｕｎｋｎｏｗｎ  Ｏｒｉｅｎｔａｔｉｏｎｓ”，  ＩＣＣＶ，  １９９９
【非特許文献５】Ｐｏｐｏ  Ｇｕｉ  ｅｔ  ａｌ．  “Ａｃｃｕｒａｔｅｌｙ  Ｃａｌｉｂｒａｔｅ  Ｋｉｎｅｃｔ  Ｓｅｎｓｏｒ  Ｕｓｉｎｇ  Ｉｎｄｏｏｒ  Ｃｏｎｔｒｏｌ  Ｆｉｅｌｄ”
【非特許文献６】Ｒｉｃｈａｒｄ  Ｓｚｅｌｉｓｋｉ  “Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ：  Ａｌｇｏｒｉｔｈｍｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ”，  Ｓｐｒｉｎｇｅｒ，  Ｎｅｗ  Ｙｏｒｋ，  ２０１０
【非特許文献７】Ｍ．  Ａ．  Ｆｉｓｃｈｌｅｒ  ｅｔ  ａｌ．  “Ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ：  ａ  ｐａｒａｄｉｇｍ  ｆｏｒ  ｍｏｄｅｌ  ｆｉｔｔｉｎｇ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ａｎｄ  ａｕｔｏｍａｔｅｄ  ｃａｒｔｏｇｒａｐｈｙ”  Ｃｏｍｍｕｎ．  ＡＣＭ  ２４（１９８１）  ３８１  ３９５
【非特許文献８】Ｂ．  Ｄｒｏｓｔ  ｅｔ  ａｌ．  “Ｍｏｄｅｌ  Ｇｌｏｂａｌｌｙ，  Ｍａｔｃｈ  Ｌｏｃａｌｌｙ：  Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  Ｒｏｂｕｓｔ  ３Ｄ  Ｏｂｊｅｃｔ  Ｒｅｃｏｇｎｉｔｉｏｎ”，  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），  Ｓａｎ  Ｆｒａｎｃｉｓｃｏ，  Ｃａｌｉｆｏｒｎｉａ  （ＵＳＡ），  Ｊｕｎｅ  ２０１０
【非特許文献９】Ｎ．  Ａｓｐｅｒｔ  ｅｔ  ａｌ．  “Ｍｅａｓｕｒｅｍｅｎｔ  ｅｒｒｏｒｓ  ｂｅｔｗｅｅｎ  ｓｕｒｆａｃｅｓ  ｕｓｉｎｇ  ｔｈｅ  Ｈａｕｓｓｄｏｒｆｆ  ｄｉｓｔａｎｃｅ”，  ＩＣＭＥ  ２００２
【発明の概要】
【００１３】
本発明の目的は、以下のステップを含む、奥行きカメラを校正する方法である。
【００１４】
Ｓ１）校正される奥行きカメラを使用して、物理的な３次元の参照物体の複数の奥行きマップを取得するステップであって、奥行きマップは、参照物体に対する奥行きカメラの異なる位置に対応する、ステップと、
Ｓ２）奥行きカメラの校正パラメータのセットに割り当てられた値に応じて、前記奥行きマップから参照物体の３次元の再構築を算出するステップと、
Ｓ３）ステップＳ２）で算出された３次元の再構築と、参照物体の所定のデジタルモデルとの間の誤差を算出するステップと、
前記ステップＳ２）およびＳ３）が、奥行きカメラの前記校正パラメータのセットに異なる値を割り当てることにより反復されるステップと、
Ｓ４）ステップＳ３）で算出された誤差を最小にする前記校正パラメータのセットの値を選択するステップと
を含み、
前記ステップＳ２）〜Ｓ４）はコンピュータによって行われる。
【００１５】
この方法の異なる実施形態によれば、
前記ステップＳ２）およびＳ３）は、奥行きカメラの前記校正パラメータのセットにそれぞれ所定の値を割り当てることにより、所定回数反復されることができ、前記所定の値はパラメータ空間をサンプリングしたものである。
【００１６】
あるいは、前記ステップＳ２）およびＳ３）は、ステップＳ３）で算出される前記誤差が所定の閾値より低くなるまで、または所定の閾値以下になるまで反復されてよい。
【００１７】
前記校正パラメータのセットは、少なくとも、奥行きカメラの焦点距離および主点の２つの座標を含むことができる。前記校正パラメータのセットは、少なくとも１つの歪みパラメータも含むことができる。
【００１８】
前記ステップＳ２）は、前記奥行きマップの各々に対応する、参照位置に対する奥行きカメラの位置を総合的に求め、前記奥行きマップを融合して、単一の３次元の符号付き切り捨て（truncated）距離場とし、前記距離場の等値面を抽出して、参照物体の前記再構築を構成する３次元メッシュに入れるステップを含むことができる。
【００１９】
前記ステップＳ３）は、前記誤差を算出する前に、ステップＳ２）で算出された３次元の再構築と、参照物体の前記所定のデジタルモデルとをレジストレーションするステップを含むことができる。
【００２０】
前記ステップＳ３）は、ステップＳ２）で算出された３次元の再構築と参照物体の前記所定のデジタルモデルとの間の正確な、またはおおよそのハウスドルフ距離または対称ハウスドルフ距離を算出するステップを含むことができる。
【００２１】
本発明の別の目的は、上記方法のステップＳ２）〜Ｓ４）をコンピュータシステムに実行させるコンピュータ実行可能命令を含んでいる、コンピュータ読取り可能データ記憶媒体に記憶されたコンピュータプログラム製品である。
【００２２】
本発明の別の目的は、上記方法のステップＳ２）〜Ｓ４）をコンピュータシステムに実行させるコンピュータ実行可能命令を保持しているコンピュータ読取り可能データ記憶媒体である。
【００２３】
本発明の別の目的は、メモリに結合されたプロセッサと、グラフィカルユーザインターフェースとを含むコンピュータシステムであり、メモリは、上記方法のステップＳ２）〜Ｓ４）をコンピュータシステムに実行させるコンピュータ実行可能命令を記憶している。
【００２４】
「奥行きカメラ」とは、奥行き画像を含んでいる画像を生成する任意の装置を言う。
【００２５】
「奥行きマップ」とは、「純粋」な奥行きマップ（奥行き情報のみを含む）またはＲＧＢＤマップなど、奥行き情報を含んでいる任意の画像を言う。
【００２６】
奥行きカメラの「校正パラメータ」は、具体的には、「内在的な」パラメータ、すなわちシーンが奥行き情報を含む画像に変換される方式に影響を与える、奥行きカメラのすべての光学的、機械的、電子的なパラメータを指す意味で使用される。校正パラメータは通例以下を含む。
−  光学では、「物理的な」焦点距離Ｆは、最初平行化されていた光線がレンズによって合焦される距離である。ただし、カメラをモデル化する際、焦点距離「ｆ」は、大半の場合、レンズの物理的な焦点距離Ｆ（測定単位：ｍｍ）と、撮像センサのピクセル密度（ピクセル／ｍｍ）との積として定義され、したがってピクセル単位で測定される。ピクセルが長方形である場合には、ｘ方向とｙ方向に沿ってピクセル密度の２つの異なる値、ｓｘおよびｓｙがある。その結果、２つの焦点距離がｆｘ＝ｓｘ・Ｆおよびｆｙ＝ｓｙ・Ｆとして定義される。カメラを実際に解体してその構成要素を直接測定することなく導出されることができるのはｆｘおよびｆｙだけである。
−  像面の主点の座標。主点は、カメラの光軸とその像面との交差点によって定義される。
−  歪みパラメータは、カメラレンズの半径方向の歪みおよび／または接線方向の歪みを表す。通常、歪みパラメータは、歪みのない画像点と歪みのある画像点とを関係付ける多項関数のパラメータである。
【００２７】
奥行きカメラは、適切な「パラメータ空間」のベクトルまたは点を形成する校正パラメータのセットと、姿勢、すなわちカメラの位置および向きとによって特徴付けられることができる。姿勢を表すパラメータは「外在的パラメータ」とも呼ばれる。
【００２８】
物理的な物体（すなわち物理的な世界に存在する物体）は、その最も小さい寸法がその最も大きい寸法の１００分の１以上、好ましくは１０分の１以上である場合に「３次元」とみなされることができる。
【００２９】
物理的な物体の「デジタルモデル」は、ファイル、複数のファイル、またはデータ構造の形態でコンピュータメモリにある、そのような物体（または単にその外側表面）の表現である。例えば、デジタルモデルは、物体を、その外側表面に対応するグリッド、すなわち点クラウドとして表すことができる。「３Ｄデジタルモデル」は、物体の３次元の空間的構造を保持したデジタルモデルである。
【００３０】
「再構築」とは、物体の奥行きマップから物体のデジタルモデルを構築する処理、またその処理で得られるデジタルモデルを言う。
【００３１】
「距離場」は、物理的な物体を含んでいる物理空間の一部を表す、コンピュータメモリ中の特定のデータ構造である。物理空間のこの部分は、ボクセルとして離散化された（「ボクセル化された」）有限の「再構築空間」で表される。数値が各ボクセルに割り当てられ、前記値は、そのボクセルと物理的な物体の表面との間の距離（通例は符号付きの切り捨て距離）を表す。再構築空間の「等値面」は、同じ値のボクセルで定義される表面である。
【００３２】
「レジストレーション」は、物理的な物体の２つのデジタルモデル同士を正確に、または少なくともおおよそ結びつける剛体変換（回転−並進）を求める動作である。
【図面の簡単な説明】
【００３３】
本発明のその他の特徴および効果は、添付図面と併せて以下の説明を読むことから明らかになろう。
【図１】奥行きカメラを使用して物理的な物体の３次元の再構築を行う処理の概略図である。
【図２】３次元の再構築を行うために奥行きカメラの校正が重要であることを説明する図である。
【図３】本発明の実施形態による校正方法のフローチャートである。
【図４】本発明の実施形態による方法を実行するのに適したコンピュータシステムのブロック図である。
【発明を実施するための形態】
【００３４】
図３のフローチャートに示されるように、校正される奥行きカメラＤＣが使用されて、参照となる３次元の物理的な物体ＰＯの奥行きマップのセットＤＭＳを得、その（参照モデルの）正確な３次元のデジタルモデルＲＭを利用することができる。
【００３５】
次いで、適切な再構築アルゴリズムＲＡを奥行きマップに適用することにより参照物体の３次元の再構築が行われる。再構築アルゴリズムは、奥行きカメラの校正パラメータのセット、すなわち、焦点距離、主点、および場合によっては歪みパラメータを必要とし、歪みパラメータは未知であり、それを求めることが本発明の方法の狙いである。そのために、パラメータ空間のサンプリングが行われ、それによりパラメータの有限数の集合またはベクトルＳＣＰiが得られ、各ベクトルは各校正パラメータの特定の値によって特徴付けられる。例えば、非点収差と歪みが無視される場合、奥行きカメラは、３つの内在的な校正パラメータ、すなわちその焦点距離ｆと、その主点の座標ｕ0、ｖ0とによって特徴付けられる。３次元のパラメータ空間のサンプリングによってＮ個のパラメータベクトル、ＳＣＰi＝［ｆi，ｕ0,i，ｖ0,i］が得られ、ｆi∈［ｆmin，ｆmax］，ｕ0,i∈［ｕ0,min，ｕ0,max］，ｖ0,1∈［ｖ0,min，ｖ0,max］，ｉ∈［１，Ｎ］である。
【００３６】
参照物体の最初の再構築を行うために、パラメータ空間の第１のサンプルＳＣＰ1が選択される。本発明の方法が連続的に反復される際には他のサンプルが使用される。
【００３７】
上記で参照した非特許文献１（参照により組み込まれる）に記載されるものなど、いくつかの再構築アルゴリズムが従来技術から知られており、それらが使用されて本発明の方法を実装することができる。非特許文献６も参照されたい。
【００３８】
この方法では、符号付きの切り捨て距離場を使用して、複数の奥行きマップを反復的に融合して、参照物体を含むシーンの統一された表現にする。上記のように、距離場は、有限の再構築体積を定義し、それをボクセル化し、再構築体積の座標となる参照物体の３Ｄ表面ｘ、ｙ、ｚからの符号付きの切り捨て距離ｄ（ｘ，ｙ，ｚ）を各ボクセルに割り当てることによって得られ、ｘ、ｙ、ｚは再構築体積の座標である。距離が符号付きであることにより、参照物体の外側から内側を判別することが可能になる。各ボクセルは、セットＤＭＳにある他のすべての奥行きマップと比較された、そのボクセルについて現在の奥行きマップで与えられる情報の相対的な重要度を平衡化する重みｗによっても特徴付けられる。ｄ（ｘ，ｙ，ｚ）は陰関数も定義し、すなわち、距離場で表される表面はｄ（ｘ，ｙ，ｚ）＝０によって与えられ、したがって、（ｘ，ｙ，ｚ）における表面に対する法線は、（ｘ，ｙ，ｚ）におけるｄの傾きによって与えられることに注目すべきである。
【００３９】
再構築アルゴリズムは反復的に行われる。最初の奥行きマップは、距離場に対して任意の位置に置かれ、次いで下記でさらに説明される処理に従って距離場に融合される。
【００４０】
ｎ番目の反復を行うには、（ｎ−１）番目の奥行きマップを取得した時の奥行きカメラの位置および向き（すなわち姿勢）が分かっていなければならない。ｎ番目の奥行きマップを奥行き場に融合し得る前に、この画像に対応するカメラの姿勢、すなわち、参照フレームに対するカメラの位置および向きを定義する回転および並進を推定することが必要となる。これは、いわゆる点面間の反復的な最近傍点アルゴリズムを使用して行われる。
【００４１】
このアルゴリズムによれば、光線投影が使用されて、奥行きカメラの（ｎ−１）番目の位置から見られた、距離場に記憶されている現在の表面、すなわちｄ（ｘ，ｙ，ｚ）＝０で定義される表面の推定値（または「仮想ビュー」）を算出する。仮想ビューは、（ｎ−１）番目の姿勢からの現実のビューよりもノイズが少なく、さらに、現実ビューに代えて仮想ビューを使用することによって姿勢のずれを回避する。
【００４２】
時間ｎ−１における奥行きカメラの位置から再構築体積に向けて光線が描画され、光線はその仮想ビューの各ピクセルを通過し、表面と交差した時（すなわち、正の距離を持つボクセルから、負の距離を持つ次のボクセルに移る時）に、関連付けられた点が表面ｄ（ｘ，ｙ，ｚ）＝０に作成される。その点における距離場の傾きを算出することにより、その点における表面に対する法線が求められる。このようにして、ｒｅｆＰＣと呼ばれる点クラウドが得られる。
【００４３】
次いで、現在の（ｎ番目の）奥行きマップの各ピクセルが逆投影されて別の点クラウドを作成し、そのクラウドの各点に対応する表面に対する法線も、隣接するピクセルに対応する点間のクロス積を算出することによって求められる。この点クラウドはｃｕｒｒＰＣと呼ばれる。
【００４４】
次いで、ｒｅｆＰＣとｃｕｒｒＰＣの間のレジストレーションが行われる。まず、ｎ番目の奥行きマップに対応する奥行きカメラの姿勢が、（ｎ−１）番目の姿勢に一致するように初期化される。そして、それが、収束に達するまで反復的に最適化される。反復的な最適化は以下のステップからなる。
・  ｃｕｒｒＰＣ点クラウドの点ごとに、ｒｅｆＰＣ点クラウドの中で最も近い点が見つけられる。そのために、ｒｅｆＰＣの点にｃｕｒｒＰＣの各点を関連付けるために、現在のｎ番目の推定姿勢を使用して、ｃｕｒｒＰＣの各点が仮想ビューに投影される。２つの法線（すなわちｒｅｆＰＣの点に対する法線とｃｕｒｒＰＣの点に対する法線）間の角度が閾値よりも大きくなる対応関係、または２つの対応する点間の距離が閾値よりも大きくなる対応関係を取り除くことによって外れ値が排除される。
・  各起点側の点を、１つ前のステップで見つけられたそれに対応する点に最も良好に位置合わせする回転と並進の組み合わせが推定される。Ｇａｕｓｓ−Ｎｅｗｔｏｎアルゴリズムが使用されて、ｃｕｒｒＰＣにある各点から、ｒｅｆＰＣ中のそれに対応する点とその点における法線とによって定義される面までの距離で定義される点面間距離に基づいて、二乗平均距離費用関数を最小にする。ロバストなＭ推定器が使用されて収束を向上させることもできる。この点面間の距離は、点間の距離に比べてロバストで不正確な対応関係でもある。
・  得られた変換を使用して、起点側の点（すなわちｒｅｆＰＣの点）が並進される。
・  上記のステップは、費用関数が定義された閾値よりも低くなるまで、もしくは閾値以下になるまで反復されるか、または反復の最大回数が行われるまで反復される。
【００４５】
参照となるフレームに対する現在の奥行きマップの並進と向きが分かると、現在の奥行きマップが距離場に融合される。それを行うために、現在の奥行きマップによって与えられる新しい情報が、距離場の各ボクセルに記憶されている１つ前の情報と単に平均化される。距離場の各ボクセルが奥行きマップに投影され、そのボクセルからセンサまでの距離が、そのボクセルの投影箇所で奥行きマップによって与えられる奥行きと比較される。それにより、現在の奥行きマップに従ってそのボクセルを有するべき距離ｄ’が得られる。次いで平均化が行われる（異なる方式が可能である）。
ｄn＝（ｗ’nｄ’n＋ｗn-1ｄn-1）／（ｗn-1＋ｗ’n）
ｗn＝ｍａｘ（ｗn-1＋ｗ’n，Ｍ）
【００４６】
式中、指数「ｎ」または「ｎ−１」は、反復の回数、したがって姿勢を指す。重みｗが１に初期化されることができ、その後、事前に設定された最大値Ｍに制限されながら、２番目の式に従って増加する。重みｗ’は、一定値（例えば１）を取ることも、または、ｄ’に応じた値（精度はしばしば距離と共に低下することに対処するため）、もしくはカメラの中心とそのボクセルをつなぐ光線の入射角に応じた値を取ることもできる。
【００４７】
最後に、距離場の等値面ｄ（ｘ，ｙ，ｚ）＝０が抽出されて、その表面の三角形の離散メッシュ表現に入れられる。これは、よく知られるＭａｒｃｈｉｎｇ  Ｃｕｂｅｓアルゴリズムを使用して行われることができ、このアルゴリズムは、距離場を通じて進行し、一度に８つの隣接ボクセルを取り込み、次いでその８つのボクセルを通る等値面の部分を表すために必要な多角形を求める。
【００４８】
そして、内在的パラメータの推定が正しいかどうかを検証するために、そのようにして得られた参照物体の３次元の再構築３ＤＲiが、それと比較される参照モデルＲＭと位置合わせ（レジストレーション）される。レジストレーションと比較自体は図３では「ＣＭＰ」のブロックでまとめて表される。
【００４９】
３Ｄモデルをレジストレーションするための伝統的な方法は、点の縮小されたサブセットの強い記述に基づき、それにより、異なる点クラウドに属する点同士の対応関係がロバストになる。この種の手法のパイプラインは３つの段階に分けられる。
【００５０】
最初の段階は、記述される点のサブセットを求めることからなる。それらの点は、隅や縁部など、点クラウドの最も顕著な形状を表さなければならない。したがって、そのような点は「主要点（Key Points）」または「関心点（Points of Interest）」と呼ばれる。
【００５１】
第２の段階は、それらの点を記述することからなる。この記述はしばしばそれらの近傍に基づく。同じ形状を表す点同士を対応付け、異なる形状の点を判別するために、記述は十分に詳細でなければならない。
【００５２】
最後に（第３の段階）、類似する記述を持つ点が共に対応付けられる。それらの対応関係は正しいとは限らず、適合値（よい対応関係）から外れ値（不良の対応関係）を区別するために、ＲＡＮＳＡＣ（RANdom Sample Consensus）などの統計的方法がしばしば使用される。点クラウド間の最終的な剛体変換は適合値から計算される。この手法は非特許文献７から知られ、同文献は参照により組み込まれる。
【００５３】
レジストレーションの問題を解決する代替の手法も本発明に適用されることができる。実時間の計算を可能にする手法が非特許文献８に記載され、この文献も参照により組み込まれる。この手法は、点の対の特徴記述子を算出するための単純で高速な方法に基づく。その結果、多くの点の対は似た記述を持つことになり、結果として対応関係の数が非常に多くなる。したがって、それらの対応関係の多くは誤りであることになる。次いで、投票方式が行われて、外れ値から適合値を見分ける。
【００５４】
再構築されたモデル３ＤＲiが参照モデルＲＭとレジストレーションされると、モデル間の３Ｄ−３Ｄ間距離が算出されて、モデル間の誤差ＥＲＲiを推定する。この誤差は、例えば二乗平均距離または（場合によっては対称の）ハウスドルフ距離である。第１の表面Ｓ１と第２の表面Ｓ２間のハウスドルフ距離ｄH（Ｓ１，Ｓ２）は以下の式によって与えられ、
【００５５】
【数１】
2016128810.tif 000003
【００５６】
ｐはＳ１の点であり、
【００５７】
【数２】
2016128810.tif 000004
【００５８】
ｐ’はＳ２の点であり、｜｜  ｜｜2はユークリッドノルムである。
【００５９】
一般に、ｄH（Ｓ１，Ｓ２）≠ｄH（Ｓ１，Ｓ２）であり、対称ハウスドルフ距離は次のように定義される。
【００６０】
【数３】
2016128810.tif 000005
【００６１】
非特許文献９（参照により組み込まれる）は、２つの表面間のおよそのハウスドルフ距離を推定する効率的なアルゴリズムを記載する。
【００６２】
次いで、誤差ＥＲＲiが固定の閾値ＴＨと比較される。誤差がその閾値より低い、または閾値以下である場合は、反復が停止し、ＳＣＰiが奥行きカメラの最適な校正パラメータを与える。そうでない場合は、「ｉ」が増加され（すなわち校正パラメータの別の試験値が選択され）、新たな反復が行われる。パラメータ空間のサンプルすべてが使用された場合（すなわち「ｉ」がその最大値に達した場合）は、最も低い誤差に対応するパラメータのセットが選択される。あるいは、閾値との比較は省略されてもよく、どのような場合でもパラメータ空間の完全な探索が行われる。
【００６３】
そのようにして発見される校正パラメータは３Ｄの再構築に最適であることが容易に理解できる。
【００６４】
本発明の方法（またはより正確には、奥行きマップの取得後のそのデータ処理部分）は、適切にプログラムされた汎用コンピュータまたはコンピュータシステムによって行われることができ、コンピュータまたはコンピュータシステムは、場合によってはコンピュータネットワークを含み、ハードディスク、ソリッドステートディスク、ＣＤ−ＲＯＭなどのコンピュータ読取り可能媒体に不揮発性の形態で適切なプログラムを記憶し、そのマイクロプロセッサおよびメモリを使用してプログラムを実行する。
【００６５】
本発明の例示的実施形態に係る方法を実行するのに適したコンピュータが、図４を参照して説明される。図４で、コンピュータは、上記の処理を行う中央演算処理装置（ＣＰＵ）Ｐを含む。処理は、実行可能プログラムとして、すなわち、コンピュータ読取り可能命令のセットとして、ＲＡＭ  Ｍ１、またはＲＯＭ  Ｍ２、またはハードディスクドライブ（ＨＤＤ）Ｍ３、ＤＶＤ／ＣＤドライブＭ４などのメモリに記憶されるか、または遠隔に記憶されることができる。参照物体の少なくとも１つのデジタルモデルも、メモリ装置Ｍ１〜Ｍ４の１つもしくは複数に記憶されるか、または遠隔に記憶される。
【００６６】
請求される本発明は、コンピュータ読取り可能命令および／または本発明の処理のデジタルモデルが記憶されるコンピュータ読取り可能媒体の形態によって制限されない。例えば、命令、校正パラメータの試験セット、およびデジタルモデルは、ＣＤ、ＤＶＤ、ＦＬＡＳＨメモリ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスク、またはサーバやコンピュータなど、コンピュータ支援設計ステーションが通信する他の情報処理装置に記憶されることができる。プログラム、校正パラメータの試験セット、およびデジタルモデルは、同じメモリ装置に記憶されても、異なるメモリ装置に記憶されてもよい。
【００６７】
さらに、本発明の方法を実行するのに適したコンピュータプログラムは、ユーティリティアプリケーション、バックグラウンドデーモン、もしくはオペレーティングシステムの構成要素、またはそれらの組み合わせとして提供されることができ、ＣＰＵ８００、ならびにＭｉｃｒｏｓｏｆｔ  ＶＩＳＴＡ、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ  ７、ＵＮＩＸ、Ｓｏｌａｒｉｓ、ＬＩＮＵＸ、Ａｐｐｌｅ  ＭＡＣ−ＯＳ、および当業者に知られる他のシステムなどのオペレーティングシステムとの連携で実行される。
【００６８】
ＣＰＵ  Ｐは、米国のＩｎｔｅｌ社のＸｅｎｏｎプロセッサ、もしくは米国のＡＭＤ社のＯｐｔｅｒｏｎ  プロセッサ、または、Ｆｒｅｅｓｃａｌｅ  ＣｏｌｄＦｉｒｅ、ＩＭＸ、もしくは米国のＦｒｅｅｓｃａｌｅ  ＣｏｒｐｏｒａｔｉｏｎのＡＲＭプロセッサなどの他のプロセッサ種類とすることができる。あるいは、ＣＰＵは、米国のＩｎｔｅｌ  ＣｏｒｐｏｒａｔｉｏｎのＣｏｒｅ２  Ｄｕｏなどのプロセッサであってもよく、当業者が認識するように、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤで、またはディスクリート論理回路を使用して実装されることができる。さらに、ＣＰＵは、協働的に機能して上記の本発明の処理のコンピュータ読取り可能命令を行う複数のプロセッサとして実装されることができる。
【００６９】
図４のコンピュータ支援設計ステーションは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどのネットワークとのインターフェースを取るために、米国のＩｎｔｅｌ  ＣｏｒｐｏｒａｔｉｏｎのＩｎｔｅｌ  Ｅｔｈｅｒｎｅｔ  ＰＲＯネットワークインターフェースカードなどのネットワークインターフェースＮＩも含む。コンピュータ支援設計ステーションはさらに、Ｈｅｗｌｅｔｔ  Ｐａｃｋａｒｄ  ＨＰＬ２４４５ｗ  ＬＣＤモニタなどのディスプレイＤＹとのインターフェースを取るために、米国のＮＶＩＤＩＡ  ＣｏｒｐｏｒａｔｉｏｎのＮＶＩＤＩＡ  ＧｅＦｏｒｃｅ  ＧＴＸグラフィックアダプタなどのディスプレイコントローラＤＣを含む。汎用Ｉ／ＯインターフェースＩＦは、キーボードＫＢ、および、ローラーボール、マウス、タッチパッドなどのポインティングデバイスＰＤとのインターフェースを取る。ディスプレイ、キーボード、およびポインティングデバイスは、ディスプレイコントローラおよびＩ／Ｏインターフェースと共にグラフィカルユーザインターフェースを形成する。
【００７０】
ディスクコントローラＤＫＣが、ＨＤＤ  Ｍ３およびＤＶＤ／ＣＤ  Ｍ４を通信バスＣＢＳに接続し、通信バスは、コンピュータ支援設計ステーションのすべての構成要素を相互に接続する、ＩＳＡ、ＥＩＳＡ、ＶＥＳＡ、ＰＣＩ等であってよい。
【００７１】
ディスプレイ、キーボード、ポインティングデバイス、ならびにディスプレイコントローラ、ディスクコントローラ、ネットワークインターフェース、およびＩ／Ｏインターフェースの一般的な特徴および機能については、これらの特徴は知られているため、簡潔のために本明細書では説明が省略される。
【図１】
2016128810.tif 000006
【図２】
2016128810.tif 000007
【図３】
2016128810.tif 000008
【図４】
2016128810.tif 000009
【外国語明細書】
2016128810000001.pdf