(57)【要約】【課題】デプスセンサと撮影カメラとの間の関係に基づいてデプス映像を補正する方法を提供する。【解決手段】カメラ映像の３次元上の点とカメラ映像と同時に撮影されたデプス映像の３次元上の点を決定する３次元点決定部と、カメラ映像の３次元上の点とデプス映像の３次元上の点を用いてデプス映像を撮影したデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する補正情報決定部と、補正情報とデプス映像の３次元上の点に基づいてデプス映像を補正するデプス映像補正部とを備える。【選択図】図４
2014085351.tif 000002
【特許請求の範囲】
【請求項１】
カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を決定する３次元点決定部と、
前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスセンサの誤差と前記デプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する補正情報決定部と、
前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するデプス映像補正部と、
を備えることを特徴とするデプス映像補正装置。
【請求項２】
前記３次元点決定部は、前記デプス映像で前記カメラ映像を自体補正するために用いたカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点を前記デプス映像の３次元点に決定することを特徴とする請求項１に記載のデプス映像補正装置。
【請求項３】
前記補正情報決定部は、前記カメラ映像の３次元点と前記デプス映像の３次元点を用いて数式（１）、数式（２）、及び数式（３）を生成することを特徴とする請求項１に記載のデプス映像補正装置。
Ｘ＝（Ｘ’×Ｈ１１＋Ｙ’×Ｈ１２＋Ｚ’×Ｈ１３＋Ｈ１４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４）      ・・・・（１）
Ｙ＝（Ｘ’×Ｈ２１＋Ｙ’×Ｈ２２＋Ｚ’×Ｈ２３＋Ｈ２４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４）      ・・・・（２）
Ｚ＝（Ｘ’×Ｈ３１＋Ｙ’×Ｈ３２＋Ｚ’×Ｈ３３＋Ｈ３４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４）      ・・・・（３）
（ここで、Ｘ、Ｙ、Ｚは前記カメラ映像の３次元上の点の座標であり、Ｘ’、Ｙ’、Ｚ’は前記デプス映像の３次元上の点の座標であり、Ｈ１１  Ｈ１２  Ｈ１３  Ｈ１４  Ｈ２１  Ｈ２２  Ｈ２３  Ｈ２４  Ｈ３１  Ｈ３２  Ｈ３３  Ｈ３４  Ｈ４１  Ｈ４２  Ｈ４３  Ｈ４４は補正情報である）
【請求項４】
前記補正情報決定部は、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて数式（４）を生成し、数式（４）を用いて補正情報を決定することを特徴とする請求項１に記載のデプス映像補正装置。
Ａｈ＝０ ・・・・（４）
（ここで、Ａは前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点の座標から構成された３ｍ×１６行列であり、ｈは補正情報であり、ｍはカメラ映像またはデプス映像に含まれた３次元上の点の個数である）
【請求項５】
前記デプス映像補正部は、前記補正情報を初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を行ってデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正することを特徴とする請求項１に記載のデプス映像補正装置。
【請求項６】
撮影カメラが復元したパターン面の方程式と、デプスセンサが復元したパターン面の方程式を用いて前記デプス映像を撮影したデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する補正情報決定部と、
前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するデプス映像補正部と、
を備えることを特徴とするデプス映像補正装置。
【請求項７】
前記補正情報決定部は、撮影カメラが復元したパターン面の方程式が数式（５）であり、デプスセンサが復元したパターン面の方程式が数式（６）である場合、数式（５）と数式（６）に基づいて数式（７）、数式（８）、及び数式（９）を生成することを特徴とする請求項６に記載のデプス映像補正装置。
ａＸ＋ｂＹ＋ｃＺ＋１＝０ ・・・・（５）
ａ’Ｘ＋ｂ’Ｙ＋ｃ’Ｚ＋１＝０ ・・・・（６）
ａ＝（ａ’×Ｈ１１＋ｂ’×Ｈ１２＋ｃ’×Ｈ１３＋Ｈ１４）／（ａ’×Ｈ４１＋ｂ’×Ｈ４２＋ｃ’×Ｈ４３＋Ｈ４４）      ・・・・（７）
ｂ＝（ａ’×Ｈ２１＋ｂ’×Ｈ２２＋ｃ’×Ｈ２３＋Ｈ２４）／（ａ’×Ｈ４１＋ｂ’×Ｈ４２＋ｃ’×Ｈ４３＋Ｈ４４）      ・・・・（８）
ｃ＝（ａ’×Ｈ３１＋ｂ’×Ｈ３２＋ｃ’×Ｈ３３＋Ｈ３４）／（ａ’×Ｈ４１＋ｂ’×Ｈ４２＋ｃ’×Ｈ４３＋Ｈ４４）      ・・・・（９）
（ここで、Ｈ１１  Ｈ１２  Ｈ１３  Ｈ１４  Ｈ２１  Ｈ２２  Ｈ２３  Ｈ２４  Ｈ３１  Ｈ３２  Ｈ３３  Ｈ３４  Ｈ４１  Ｈ４２  Ｈ４３  Ｈ４４は補正情報である）
【請求項８】
前記補正情報決定部は、前記補正情報が含まれた行列Ｈの逆転置行列である行列Ｌに含まれた因子を前記数式（１）、数式（２）、数式（３）に含まれた補正情報と交換して前記デプス映像の座標と前記カメラ座標との間の関係情報を決定することを特徴とする請求項７に記載のデプス映像補正装置。
【請求項９】
前記デプス映像補正部は、前記補正情報に基づいて前記デプス映像の３次元上の点をカメラ座標系に移すことを特徴とする請求項６に記載のデプス映像補正装置。
【請求項１０】
カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を決定するステップと、
前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定するステップと、
前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するステップと、
を含むことを特徴とするデプス映像補正方法。
【請求項１１】
前記３次元上の点を決定するステップは、前記デプス映像で前記カメラ映像を自体補正するために用いたカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点を前記デプス映像の３次元点に決定することを特徴とする請求項１０に記載のデプス映像補正方法。
【請求項１２】
前記補正情報を決定するステップは、前記カメラ映像の３次元点と前記デプス映像の３次元点を用いて数式（１）、数式（２）、及び数式（３）を生成することを特徴とする請求項１０に記載のデプス映像補正方法。
Ｘ＝（Ｘ’×Ｈ１１＋Ｙ’×Ｈ１２＋Ｚ’×Ｈ１３＋Ｈ１４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４）      ・・・・（１）
Ｙ＝（Ｘ’×Ｈ２１＋Ｙ’×Ｈ２２＋Ｚ’×Ｈ２３＋Ｈ２４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４）      ・・・・（２）
Ｚ＝（Ｘ’×Ｈ３１＋Ｙ’×Ｈ３２＋Ｚ’×Ｈ３３＋Ｈ３４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４）      ・・・・（３）
（ここで、Ｘ、Ｙ、Ｚは前記カメラ映像の３次元上の点の座標であり、Ｘ’、Ｙ’、Ｚ’は前記デプス映像の３次元上の点の座標であり、Ｈ１１  Ｈ１２  Ｈ１３  Ｈ１４  Ｈ２１  Ｈ２２  Ｈ２３  Ｈ２４  Ｈ３１  Ｈ３２  Ｈ３３  Ｈ３４  Ｈ４１  Ｈ４２  Ｈ４３  Ｈ４４は補正情報である）
【請求項１３】
前記補正情報を決定するステップは、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて数式（４）を生成し、数式（４）を用いて補正情報を決定することを特徴とする請求項１０に記載のデプス映像補正方法。
Ａｈ＝０ ・・・・（４）
（ここで、Ａは前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点の座標から構成された３ｍ×１６行列であり、ｈは補正情報であり、ｍはカメラ映像、またはデプス映像に含まれた３次元上の点の個数である）
【請求項１４】
前記デプス映像を補正するステップは、前記補正情報を初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を行ってデプス映像を補正することを特徴とする請求項１０に記載のデプス映像補正方法。
【請求項１５】
前記デプス映像を補正するステップは、前記補正情報に基づいて前記デプス映像の３次元上の点をカメラ座標系に移すことを特徴とする請求項１０に記載のデプス映像補正方法。
【請求項１６】
撮影カメラが復元したパターン面の方程式と、デプスセンサが復元したパターン面の方程式を用いて前記カメラ映像を撮影した撮影カメラと、前記デプス映像を撮影したデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定するステップと、
前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するステップと、
を含むことを特徴とするデプス映像補正方法。
【請求項１７】
前記補正情報を決定するステップは、撮影カメラが復元したパターン面の方程式が数式（５）であり、デプスセンサが復元したパターン面の方程式が数式（６）である場合、数式（５）と数式（６）に基づいて数式（７）、数式（８）、及び数式（９）を生成することを特徴とする請求項１６に記載のデプス映像補正方法。
ａＸ＋ｂＹ＋ｃＺ＋１＝０ ・・・・（５）
ａ’Ｘ＋ｂ’Ｙ＋ｃ’Ｚ＋１＝０ ・・・・（６）
ａ＝（ａ’×Ｈ１１＋ｂ’×Ｈ１２＋ｃ’×Ｈ１３＋Ｈ１４）／（ａ’×Ｈ４１＋ｂ’×Ｈ４２＋ｃ’×Ｈ４３＋Ｈ４４）      ・・・・（７）
ｂ＝（ａ’×Ｈ２１＋ｂ’×Ｈ２２＋ｃ’×Ｈ２３＋Ｈ２４）／（ａ’×Ｈ４１＋ｂ’×Ｈ４２＋ｃ’×Ｈ４３＋Ｈ４４）      ・・・・（８）
ｃ＝（ａ’×Ｈ３１＋ｂ’×Ｈ３２＋ｃ’×Ｈ３３＋Ｈ３４）／（ａ’×Ｈ４１＋ｂ’×Ｈ４２＋ｃ’×Ｈ４３＋Ｈ４４）      ・・・・（９）
（ここで、Ｈ１１  Ｈ１２  Ｈ１３  Ｈ１４  Ｈ２１  Ｈ２２  Ｈ２３  Ｈ２４  Ｈ３１  Ｈ３２  Ｈ３３  Ｈ３４  Ｈ４１  Ｈ４２  Ｈ４３  Ｈ４４は補正情報である）
【請求項１８】
前記補正情報を決定するステップは、前記補正情報が含まれた行列Ｈの逆転置行列である行列Ｌに含まれた因子を前記数式（１）、数式（２）、数式（３）に含まれた補正情報と交換して前記デプス映像の座標と前記カメラ座標との間の関係情報を決定することを特徴とする請求項１７に記載のデプス映像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デプス映像を補正する装置及び方法に関し、より詳しくは、デプスセンサと撮影カメラとの間の関係に基づいてデプス映像を補正する装置及び方法に関する。
【背景技術】
【０００２】
マイクロソフトのキネクト（マイクロソフト）のように構造光を用いて三角測量するデプスセンサは生産時の組立公差及び光学部分の誤差によって最終ユーザが使用されるときに誤差を内包した結果を取得することができる。
【０００３】
また、デプスセンサと撮影カメラを共に用いて対象のテクスチャを同時に抽出するときにはデプスセンサとカメラとの間の幾何学的な幾何関係を求めなければならない。この幾何関係を精密に求めない場合、３次元復元される対象に対するテクスチャ情報にエラーが発生することがある。
【０００４】
従来におけるデプス映像補正装置は、デプスセンサが測定したデプス映像に基づいて撮影カメラとの幾何関係を求めるため、従来のデプス映像補正装置が補正したデプス映像はデプスセンサに含まれた誤差による誤差を含んでもよい。
【０００５】
したがって、デプスセンサの誤差を補正し、デプスセンサと撮影カメラとの間の幾何学的な幾何関係を求めてデプス映像を補正する方法が要求されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、対象との距離を測定するデプスセンサと対象を撮影する撮影カメラを同時に用いてデプス映像を補正する場合、デプスセンサの不正確度を改善し、デプスセンサと撮影カメラとの間の幾何関係を補正する装置及び方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係るデプス映像補正装置は、カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を決定する３次元点決定部と、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスセンサの誤差と前記デプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する補正情報決定部と、前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するデプス映像補正部とを備える。
【０００８】
本発明の一実施形態に係るデプス映像補正装置の３次元点決定部は、前記デプス映像で前記カメラ映像を自体補正するために用いたカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点を前記デプス映像の３次元点に決定してもよい。
【０００９】
本発明の一実施形態に係るデプス映像補正装置の前記補正情報決定部は、前記カメラ映像の３次元点と前記デプス映像の３次元点を用いて数式（１）、数式（２）、及び数式（３）を生成してもよい。
【００１０】
本発明の一実施形態に係るデプス映像補正装置のデプス映像補正部は、前記補正情報を初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を行ってデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正してもよい。
【００１１】
本発明の一実施形態に係るデプス映像補正装置は、撮影カメラが復元したパターン面の方程式と、デプスセンサが復元したパターン面の方程式を用いて前記デプス映像を撮影したデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する補正情報決定部と、前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するデプス映像補正部とを備える。
【００１２】
本発明の一実施形態に係るデプス映像補正装置の補正情報決定部は、撮影カメラが復元したパターン面の方程式が数式（５）であり、デプスセンサが復元したパターン面の方程式が数式（６）である場合、数式（５）と数式（６）に基づいて数式（７）、数式（８）、及び数式（９）を生成してもよい。
【００１３】
本発明の一実施形態に係るデプス映像補正装置のデプス映像補正部は、前記補正情報に基づいて前記デプス映像の３次元上の点をカメラ座標系に移してもよい。
【００１４】
本発明の一実施形態に係るデプス映像補正方法は、カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を決定するステップと、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定するステップと、前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するステップとを含む。
【００１５】
本発明の一実施形態に係るデプス映像補正方法は、撮影カメラが復元したパターン面の方程式と、デプスセンサが復元したパターン面の方程式を用いて前記カメラ映像を撮影した撮影カメラと、前記デプス映像を撮影したデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定するステップと、前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するステップとを含む。
【発明の効果】
【００１６】
本発明の一実施形態によると、カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を用いて、前記デプス映像を撮影したデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正することによって精密なデプス映像を取得することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係るデプス映像補正装置と異なる装置間の関係を示す図である。
【図２】本発明の一実施形態に係る補正用パターンの一例である。
【図３】本発明の一実施形態に係るデプス映像及びカメラ映像の一例である。
【図４】本発明の一実施形態に係るデプス映像補正装置を示す図である。
【図５】本発明の一実施形態に係るデプス映像補正装置がデプス映像の特徴点とカメラ映像の特徴点をマッチングする過程の一例である。
【図６】本発明の一実施形態に係る映像補正方法を示すフローチャートである。
【図７】本発明の一実施形態に係る映像補正方法の他の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について添付の図面を参照しながら詳細に説明する。本発明の一実施形態に係る映像補正方法はデプス映像補正装置によって行うことができる。
【００１９】
図１は、本発明の一実施形態に係るデプス映像補正装置と異なる装置間の関係を示す図である。
【００２０】
撮影カメラ１２０は、補正用パターン１１０を撮影して補正用パターンの含まれたカメラ映像を生成する。ここで、補正用パターン１１０は、撮影カメラ１２０とデプスセンサ１３０との間の幾何学的な関係を容易に識別するよう、表面に複数の表示が形成された３次元オブジェクトであってもよい。
【００２１】
補正用パターン１１０の形態は、以下の図２を参照して詳細に説明する。
【００２２】
また、デプスセンサ１３０は、撮影カメラ１２０と同時に補正用パターン１１０を撮影してデプス映像を生成する。ここで、デプスセンサ１３０は、構造光を用いて補正用パターン１１０とデプスセンサ１３０との間の距離を三角測量し、測量した距離に基づいてデプス映像を生成する。
【００２３】
そして、撮影カメラ１２０とデプスセンサ１３０は、映像補正方法によりそれぞれ複数のカメラ映像とデプス映像を生成してデプス映像補正装置１００に送信する。
【００２４】
デプス映像補正装置１００は、デプスセンサ１３０から受信したデプス映像及び撮影カメラ１２０から受信したカメラ映像を用いて撮影カメラ１２０とデプスセンサ１３０との間の幾何学的な関係を識別し、識別した関係に基づいてデプス映像を補正する。
【００２５】
図２は、本発明の一実施形態に係る補正用パターンの一例である。
【００２６】
本発明の一実施形態において、撮影カメラ１２０とデプスセンサ１３０が撮影する補正用パターン１１０は、図２に示すように各面が正方形の多面体２００であり、各面に複数の円２１０が図示されている。
【００２７】
ここで、デプス映像補正装置１００は、補正用パターン１１０の各面で円２１０の位置に基づいてデプス映像に含まれた補正用パターン１１０とカメラ映像に含まれた補正用パターン１１０をマッチングし、マッチング結果に基づいて撮影カメラ１２０とデプスセンサ１３０との間の幾何学的な関係を識別する。
【００２８】
図３は、本発明の一実施形態に係るデプス映像及びカメラ映像の一例である。
【００２９】
デプスセンサ１３０と撮影カメラ１２０は、映像補正方法によりそれぞれ少なくとも１つのデプス映像３１０とカメラ映像３２０を生成してデプス映像補正装置１００に送信する。
【００３０】
ここで、デプス映像３１０とカメラ映像３２０は、それぞれデプスセンサ１３０と撮影カメラ１２０が同一の補正用パターン１１０を撮影して生成した映像である。しかし、撮影カメラ１２０とデプスセンサ１３０との間の幾何学的な関係により、図３に示すようにデプス映像３１０に含まれた補正用パターン１１０とカメラ映像３２０に含まれた補正用パターン１１０は大きさ及び角度に差がある。
【００３１】
図４は、本発明の一実施形態に係るデプス映像補正装置を示す図である。
【００３２】
図４を参考すると、本発明の一実施形態に係るデプス映像補正装置１００は、３次元点決定部４１０、補正情報決定部４２０、及びデプス映像補正部４３０を備える。
【００３３】
３次元点決定部４１０は、カメラ映像の３次元上の点とカメラ映像と同時に撮影されたデプス映像の３次元上の点を決定する。
【００３４】
ここで、３次元点決定部４１０はカメラ映像を自体補正し、カメラ映像を自体補正するために用いたカメラ映像特徴点の３次元上の点をカメラ映像の３次元点に決定する。ここで、３次元点決定部４１０は、カメラ補正分野で用いる方法のうちの１つを選択してカメラ映像を自体補正する。そして、３次元点決定部４１０はカメラ映像特徴点の３次元上の点をＸ、Ｙ、Ｚと定義する。
【００３５】
また、３次元点決定部４１０は、デプス映像でカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点をデプス映像の３次元点に決定する。ここで、３次元点決定部４１０は、デプス映像特徴点の３次元上の点をＸ’、Ｙ’、Ｚ’と定義する。
【００３６】
補正情報決定部４２０は、カメラ映像の３次元上の点とデプス映像の３次元上の点を用いてデプスセンサ１３０の誤差とデプスセンサ１３０と撮影カメラ１２０との間の幾何学的な幾何関係を補正するための補正情報を決定する。
【００３７】
例えば、補正情報決定部４２０は、３次元点決定部４１０が決定したカメラ映像の３次元点とデプス映像の３次元点を用いて数式（１）、数式（２）、数式（３）を同時に生成する。
【数１】
2014085351.tif 000003
【数２】
2014085351.tif 000004
【数３】
2014085351.tif 000005
【００３８】
そして、補正情報決定部４２０は、カメラ映像とデプス映像で互いに対応する全ての対応点に対して数式（１）、数式（２）、数式（３）を同時に生成し、生成した数式（１）、数式（２）、数式（３）を行列の形態で表現すると、数式（４）のような同次方程式を生成する。
【数４】
2014085351.tif 000006
【００３９】
ここで、ｈは、変数Ｈ１１  Ｈ１２  Ｈ１３  Ｈ１４  Ｈ２１  Ｈ２２  Ｈ２３  Ｈ２４  Ｈ３１  Ｈ３２  Ｈ３３  Ｈ３４  Ｈ４１  Ｈ４２  Ｈ４３  Ｈ４４から構成された列ベクトルであってもよい。
【００４０】
また、Ａは、カメラ映像特徴点の３次元上の点Ｘ、Ｙ、Ｚとデプス映像特徴点の３次元上の点Ｘ’、Ｙ’、Ｚ’から構成された３ｍ×１６行列であってもよい。
【００４１】
ここで、ｍは、カメラ映像、またはデプス映像に含まれた３次元上の点の個数である。具体的に、デプス映像特徴点の３次元上の点は、前記カメラ映像特徴点に対応するデプス映像特徴点により決定されるため、カメラ映像に含まれたカメラ映像特徴点の３次元上の点の個数とデプス映像に含まれたデプス映像特徴点の３次元上の点の個数は同一であってもよい。したがって、補正情報決定部４２０は、カメラ映像に含まれた３次元上の点の個数、または、デプス映像に含まれた３次元上の点の個数のうちの１つを選択してｍに設定する。
【００４２】
補正情報決定部４２０は、数式（４）でｈに含まれた変数の値を算出し、算出した変数の値を補正情報に決定する。
【００４３】
また、補正情報決定部４２０は、撮影カメラ１２０が復元したパターン面の方程式とデプスセンサ１３０が復元したパターン面の方程式を用いて、デプス映像を撮影したデプスセンサ１３０の誤差とデプスセンサ１３０と撮影カメラ１２０との間の幾何学的な幾何関係を補正するための補正情報を決定する。
【００４４】
例えば、撮影カメラ１２０がカメラ映像で復元した補正用パターン１１０のパターン面の方程式が数式（５）であり、デプスセンサ１３０が復元した補正用パターン１１０のパターン面の方程式が数式（６）であってもよい。
【数５】
2014085351.tif 000007
【数６】
2014085351.tif 000008
【００４５】
ここで、補正情報決定部４２０は数式（１）、数式（２）、数式（３）に基づいて数式（７）、数式（８）、数式（９）を生成する。具体的に、補正情報決定部４２０は数式（１）、数式（２）、数式（３）のＸ、Ｙ、Ｚをａ、ｂ、ｃに変更し、Ｘ’Ｙ’、Ｚ’をａ’、ｂ’、ｃ’に変更して数式（７）、数式（８）、数式（９）を生成する。
【数７】
2014085351.tif 000009
【数８】
2014085351.tif 000010
【数９】
2014085351.tif 000011
【００４６】
そして、補正情報決定部４２０は数式（７）、数式（８）、数式（９）を行列の形態に表現して数式（１０）のような同次方程式を生成する。
【数１０】
2014085351.tif 000012
【００４７】
ここで、ｈは、変数Ｈ１１  Ｈ１２  Ｈ１３  Ｈ１４  Ｈ２１  Ｈ２２  Ｈ２３  Ｈ２４  Ｈ３１  Ｈ３２  Ｈ３３  Ｈ３４  Ｈ４１  Ｈ４２  Ｈ４３  Ｈ４４から構成された列ベクトルであってもよい。
【００４８】
また、Ｂは数式（５）のａ、ｂ、ｃと数式（６）のａ’、ｂ’、ｃ’から構成された３ｍ×１６行列であってもよい。
【００４９】
ここで、ｍはカメラ映像、または、デプス映像で復元されたパターン面の個数である。具体的に、デプス映像で復元されたパターン面は、前記カメラ映像で復元されたパターン面に対応するデプス映像で復元されたパターン面により決定されるため、カメラ映像に含まれた復元されたパターン面の個数とデプス映像に含まれた復元されたパターン面の個数は同一であってもよい。したがって、補正情報決定部４２０は、カメラ映像に含まれた復元されたパターン面の個数、またはデプス映像に含まれた復元されたパターン面議の個数のうちの１つを選択してｍに設定する。
【００５０】
また、補正情報決定部４２０は、数式（１０）のｈを用いて数式（１１）の行列Ｈを求めることができる。
【数１１】
2014085351.tif 000013
【００５１】
最後に、補正情報決定部４２０は、数式（１０）で行列Ｈに含まれた変数の値を算出し、算出した変数の値を補正情報に決定する。ここで、行列Ｈに含まれた変数Ｈ１１  Ｈ１２  Ｈ１３  Ｈ１４  Ｈ２１  Ｈ２２  Ｈ２３  Ｈ２４  Ｈ３１  Ｈ３２  Ｈ３３  Ｈ３４  Ｈ４１  Ｈ４２  Ｈ４３  Ｈ４４は数式（１０）のｈに含まれた変数であってもよい。すなわち、補正情報決定部４２０は、列ベクトルのｈを行列Ｈの形態に変換し、変換されたＨを補正情報に決定する。
【００５２】
ここで、補正情報決定部４２０は、行列Ｈの逆転置行列である行列Ｌに含まれた因子を数式（１）、数式（２）、数式（３）に含まれた補正情報と交換してデプス映像座標とカメラ座標との間の関係情報を決定する。例えば、補正情報決定部４２０は数式（１２）を用いて行列Ｌを決定する。
【数１２】
2014085351.tif 000014
【００５３】
具体的に、補正情報決定部４２０は、行列Ｌの因子Ｌｉｊをカメラ映像とＨｉｊの代わりに用いて点Ｘ’、Ｙ’、Ｚ’と点Ｘ、Ｙ、Ｚに対する変換系を示す関係情報を決定する。
【００５４】
デプス映像補正部４３０は、デプス映像に含まれた３次元上の点と補正情報決定部４２０が決定した補正情報に基づいてデプス映像を補正する。
【００５５】
例えば、デプス映像に含まれた３次元上の漸移Ｘ’、Ｙ’、Ｚ’である場合、デプス映像補正部４３０は数式（１）、数式（２）、数式（３）にＸ’、Ｙ’、Ｚ’と補正情報Ｈ１１  Ｈ１２  Ｈ１３  Ｈ１４  Ｈ２１  Ｈ２２  Ｈ２３  Ｈ２４  Ｈ３１  Ｈ３２  Ｈ３３  Ｈ３４  Ｈ４１  Ｈ４２  Ｈ４３  Ｈ４４を代入して３次元上の点Ｘ、Ｙ、Ｚを決定する。
【００５６】
ここで、デプス映像補正部４３０が決定した３次元上の点Ｘ、Ｙ、Ｚは、撮影カメラ１２０とデプスセンサ１３０との間の幾何関係による誤差を補正しながら、デプス映像に含まれた３次元上の点をカメラ座標系に移動した値である。
【００５７】
すなわち、デプス映像補正部４３０は３次元上の点Ｘ、Ｙ、Ｚを決定し、撮影カメラ１２０とデプスセンサ１３０との間の幾何関係により補正する。
【００５８】
また、デプス映像補正部４３０は、補正情報であるｈを初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を行ってデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係をより精密に補正することができる。
【００５９】
例えば、デプス映像補正部４３０は、数式（１３）のような費用関数を定義する。
【数１３】
2014085351.tif 000015
【００６０】
ここで、Ｐ＝Ｘ、Ｙ、Ｚであり、Ｐ''＝Ｘ''、Ｙ''、Ｚ''であってもよい。また、Ｘ''、Ｙ''、Ｚ''はＸ’、Ｙ’、Ｚ’を数式（１）、数式（２）、数式（３）に代入した結果である。
【００６１】
図５は、本発明の一実施形態に係るデプス映像補正装置がデプス映像の特徴点とカメラ映像の特徴点をマッチングする過程の一例である。
【００６２】
３次元点決定部４１０はカメラ映像５２０を自体補正し、カメラ映像を自体補正するために用いたカメラ映像特徴点５２１の３次元上の点をカメラ映像の３次元点に決定する。
【００６３】
そして、３次元点決定部４１０は、デプス映像５１０でカメラ映像特徴点５２１に対応するデプス映像特徴点５１１を抽出し、抽出したデプス映像特徴点５１１に対応する３次元上の点をデプス映像の３次元点に決定する。
【００６４】
図６は、本発明の一実施形態に係る映像補正方法を示すフローチャートである。
【００６５】
図６は、３次元上の点を用いた映像補正方法である。
【００６６】
ステップＳ６１０において、３次元点決定部４１０は、撮影カメラ１２０とデプスセンサ１３０が同時に撮影したカメラ映像とデプス映像を受信する。
【００６７】
ステップＳ６２０において、３次元点決定部４１０は、ステップＳ６１０で受信したカメラ映像の３次元上の点とステップＳ６１０で受信したデプス映像の３次元上の点を決定する。
【００６８】
具体的に、３次元点決定部４１０はカメラ映像を自体補正し、カメラ映像を自体補正するために用いたカメラ映像特徴点の３次元上の点をカメラ映像の３次元点に決定する。次に、３次元点決定部４１０は、デプス映像でカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点をデプス映像の３次元点に決定する。
【００６９】
ステップＳ６３０において、補正情報決定部４２０は、ステップＳ６２０で決定したカメラ映像の３次元上の点とデプス映像の３次元上の点を用いてデプスセンサ１３０の誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する。
【００７０】
例えば、補正情報決定部４２０は、３次元点決定部４１０が決定したカメラ映像の３次元点とデプス映像の３次元点を用いて数式（１）、数式（２）、数式（３）を生成する。そして、補正情報決定部４２０は、カメラ映像と、デプス映像で互いに対応する全ての対応点に対して数式（１）、数式（２）、数式（３）を生成し、生成した数式（１）、数式（２）、数式（３）を行列の形態に表現すると、数式（４）のような同次方程式を生成する。最後に、補正情報決定部４２０は、数式（４）でｈに含まれた変数の値を算出し、算出した変数の値を補正情報に決定する。
【００７１】
また、補正情報決定部４２０は、補正情報を含む行列Ｈの逆転置行列である行列Ｌに含まれた因子を数式（１）、数式（２）、数式（３）に含まれた補正情報と交換してデプス映像の座標とカメラ座標との間の関係情報を決定する。
【００７２】
ステップＳ６４０において、デプス映像補正部４３０は、補正情報のｈを初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を実行する。ステップＳ６５０は、カメラ映像を精密に補正しようとするとき実行され、カメラ映像の補正程度に応じてステップＳ６５０の実行が省略されてもよい。
【００７３】
ステップＳ６５０において、デプス映像補正部４３０は、デプス映像に含まれた３次元上の点とステップＳ６３０で補正情報決定部４２０が決定した補正情報に基づいてデプス映像を補正する。
【００７４】
例えば、デプス映像に含まれた３次元上の漸移Ｘ’、Ｙ’、Ｚ’である場合、デプス映像補正部４３０は数式（１）ないし数式（３）にＸ’、Ｙ’、Ｚ’と補正情報Ｈ１１  Ｈ１２  Ｈ１３  Ｈ１４  Ｈ２１  Ｈ２２  Ｈ２３  Ｈ２４  Ｈ３１  Ｈ３２  Ｈ３３  Ｈ３４  Ｈ４１  Ｈ４２  Ｈ４３  Ｈ４４を代入して３次元上の点Ｘ、Ｙ、Ｚを決定する。
【００７５】
また、デプス映像補正部４３０は、デプス映像に含まれた３次元上の点とステップＳ６５０で最小化した費用関数に基づいてデプス映像を補正する。
【００７６】
図７は、本発明の一実施形態に係る映像補正方法の他の一例を示すフローチャートである。
【００７７】
図７は、パターン面の方程式を用いた映像補正方法である。
【００７８】
ステップＳ７１０において、３次元点決定部４１０は、撮影カメラ１２０とデプスセンサ１３０が同時に撮影したカメラ映像とデプス映像を受信する。
【００７９】
ステップＳ７２０において、３次元点決定部４１０は、ステップＳ７１０で受信したカメラ映像で補正用パターン１１０のパターン面の方程式を復元する。また、３次元点決定部４１０は、ステップＳ７１０で受信したデプス映像で補正用パターン１１０のパターン面の方程式を復元する。
【００８０】
ステップＳ７３０において、補正情報決定部４２０は、ステップＳ７２０で復元したカメラ映像のパターン面の方程式と、デプス映像のパターン面の方程式を用いてデプス映像を撮影したデプスセンサ１３０の誤差とデプスセンサ１３０と撮影カメラ１２０との間の幾何学的な幾何関係を補正するための補正情報を決定する。
【００８１】
ここで、補正情報決定部４２０は、数式（１）、数式（２）、数式（３）に基づいて数式（７）、数式（８）、数式（９）を生成する。具体的に、補正情報決定部４２０は、数式（１）、数式（２）、数式（３）のＸ、Ｙ、Ｚをａ、ｂ、ｃに変更し、Ｘ’、Ｙ’、Ｚ’をａ’、ｂ’、ｃ’に変更し、数式（７）、数式（８）、数式（９）を生成する。
【００８２】
そして、補正情報決定部４２０は、数式（７）、数式（８）、数式（９）を行列の形態に表現して数式（１０）のような同次方程式を生成する。
【００８３】
次に、補正情報決定部４２０は、数式（１０）でｈに含まれた変数の値を算出し、算出した変数の値を補正情報に決定する。
【００８４】
また、補正情報決定部４２０は、補正情報を含む行列Ｈの逆転置行列である行列Ｌに含まれた因子を数式（１）、数式（２）、数式（３）に含まれた補正情報と交換してデプス映像の座標とカメラ座標との間の関係情報を決定する。
【００８５】
ステップＳ７４０において、デプス映像補正部４３０は、補正情報のｈを初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を実行する。ステップＳ７５０は、カメラ映像を精密に補正しようとするとき実行され、カメラ映像の補正程度に応じてステップＳ７５０の実行が省略されてもよい。
【００８６】
ステップＳ７５０において、デプス映像補正部４３０は、デプス映像に含まれた３次元上の点とステップＳ７３０で補正情報決定部４２０が決定した補正情報に基づいてデプス映像を補正する。
【００８７】
また、デプス映像補正部４３０は、デプス映像に含まれた３次元上の点とステップＳ７５０で最小化した費用関数に基づいてデプス映像を補正する。
【００８８】
実施形態に係る方法は、多様なコンピュータ手段によって行うことができるプログラム命令の形態で実現されても良く、かかるプログラム命令は、コンピュータ読み出し可能媒体に記録されてもよい。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。
【００８９】
以上のように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。
【００９０】
したがって、本発明の範囲は、説明された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【００９１】
１００：デプス映像補正装置
４１０：３次元点決定部
４２０：補正情報決定部
４３０：デプス映像補正部
【図１】
2014085351.tif 000016
【図２】
2014085351.tif 000017
【図４】
2014085351.tif 000018
【図５】
2014085351.tif 000019
【図６】
2014085351.tif 000020
【図７】
2014085351.tif 000021
【図３】
2014085351.tif 000022