(57)【要約】  各々が対応するカメラ装置によって担持された少なくとも１つのカメラと、平面の鏡とを用いた、ステレオ画像システムの較正方法が提供され、本方法は、  −  少なくとも１つのカメラを用いて少なくとも２つの画像を取得するステップであって（Ｓ２００）、画像の各々は異なるカメラ位置からキャプチャされ、画像をキャプチャするために使われたカメラの鏡映されたビューと、物体の鏡映されたビューとのピクチャを含んでおり、それにより物体の複数のビューを取得する、ステップ、  −  各画像内で、画像キャプチャ用のカメラの鏡映されたビューのピクチャの中央を見つけるステップ（Ｓ２０２）、  −  少なくとも１つのカメラの、画素を単位とした焦点距離を取得するステップ（Ｓ２０４）、  −  画像キャプチャ用のカメラの鏡映されたビューの中央から鏡の法線ベクトルの方向を決定するステップ（Ｓ２０６）、  −  （ｉ）カメラ装置上の基準点であって、カメラの座標系において既知の座標を有する基準点と、（ｉｉ）カメラ装置の鏡映されたビューの対応する点の座標とを用いて、各画像に対してカメラと鏡との間の距離を決定するステップ（Ｓ２０８）、  −  鏡の平面の法線の方向および距離、ならびにカメラの画素を単位とした焦点距離を用いて、少なくとも１つのカメラの座標系における鏡の平面の方程式を決定するステップ（Ｓ２１０）、  −  鏡の平面内でアップベクトルを定義するステップ（Ｓ２１２）、  −  鏡の平面内で基準点を選択するステップ（Ｓ２１４）、  −  上記基準点を原点として、上記アップベクトルを垂直軸ｙとして有する基準座標系を定義するステップ（Ｓ２１６）、  −  画像の各々に対して別々に、画像キャプチャ用のカメラの座標系から鏡座標系への座標変換を決定するステップ（Ｓ２１８）、  −  各画像に対して、対応する鏡座標系から基準座標系への変換を決定するステップ（Ｓ２１９）、および  −  任意の画像対に対して、第１の画像キャプチャ位置のカメラの座標系から第２の画像キャプチャ位置のカメラの座標系への座標変換を決定するステップ（Ｓ２２０）、を含む。【選択図】図２
2019510311.tif 000002
【特許請求の範囲】
【請求項１】
各々が対応するカメラ装置によって担持された少なくとも１つのカメラと、平面の鏡とを用いて、ステレオ画像システムを較正する方法であって、前記方法は、
−  少なくとも１つの前記カメラを用いて少なくとも２つの画像を取得するステップであって（Ｓ２００）、前記画像の各々は異なるカメラ位置からキャプチャされ、前記画像をキャプチャするために使われた前記カメラの鏡映されたビューと、物体の鏡映されたビューとのピクチャを含んでおり、それにより前記物体の複数のビューを取得する、ステップ、
−  前記画像の各々の中で、画像キャプチャ用の前記カメラの前記鏡映されたビューの前記ピクチャの中央を見つけるステップ（Ｓ２０２）、
−  少なくとも１つの前記カメラの、画素を単位とした焦点距離を取得するステップ（Ｓ２０４）、
−  画像キャプチャ用の前記カメラの前記鏡映されたビューの中央から前記鏡の法線ベクトルの方向を決定するステップ（Ｓ２０６）、
−  （ｉ）前記カメラ装置上の基準点であって、前記カメラの座標系において既知の座標を有する基準点と、（ｉｉ）前記カメラ装置の鏡映されたビューの対応する点の座標とを用いて、前記画像の各々に対して前記カメラと前記鏡との間の距離を決定するステップ（Ｓ２０８）、
−  前記鏡の平面の法線の方向および距離、ならびに前記カメラの画素を単位とした前記焦点距離を用いて、少なくとも１つの前記カメラの前記座標系における前記鏡の平面の方程式を決定するステップ（Ｓ２１０）、
−  前記鏡の平面内でアップベクトルを定義するステップ（Ｓ２１２）、
−  前記鏡の平面内で基準点を選択するステップ（Ｓ２１４）、
−  前記基準点を原点として、前記アップベクトルを垂直軸ｙとして有する基準座標系を定義するステップ（Ｓ２１６）、
−  前記画像の各々に対して別々に、画像キャプチャ用の前記カメラの前記座標系から鏡座標系への座標変換を決定するステップ（Ｓ２１８）、
−  前記画像の各々に対して、対応する前記鏡座標系から前記基準座標系への変換を決定するステップ（Ｓ２１９）、および
−  任意の画像対に対して、第１の画像キャプチャ位置の前記カメラの前記座標系から第２の画像キャプチャ位置の前記カメラの前記座標系への座標変換を決定するステップ（Ｓ２２０）、を含む方法。
【請求項２】
前記アップベクトルは、重力ベクトルを前記鏡の平面上に投影することにより得られる、請求項１に記載の方法。
【請求項３】
前記アップベクトルは、少なくとも１つの前記画像の中の対応する点の対を選択することにより得られる、請求項１に記載の方法。
【請求項４】
前記カメラ装置は、携帯電話、スマートフォン、ファブレット、タブレットコンピュータ、ノートブック型パソコン、デジタルカメラ等のうちの任意の１つである、請求項１から３のいずれか一項に記載の方法。
【請求項５】
カメラ装置によって担持された１つのカメラと、平面の鏡とを用いて、ステレオ画像システムを較正する方法であって、前記方法は、
−  前記カメラによってキャプチャされた１つの画像を取得するステップ（Ｓ３００）であって、前記画像は物体と、前記物体の鏡映されたビューと、前記画像をキャプチャするために使われた前記カメラの鏡映されたビューとのピクチャを含んでおり、それにより前記物体の複数のビューを取得する、ステップ、
−  前記画像内で、前記カメラの前記鏡映されたビューの前記ピクチャの中央を見つけるステップ（Ｓ３０６）、
−  前記カメラの画素を単位とした焦点距離を取得するステップ（Ｓ３０８）、
−  前記カメラの前記鏡映されたビューの中央から前記鏡の法線ベクトルの方向を決定するステップ（Ｓ３０９）、
−  （ｉ）前記カメラ装置上の基準点であって、前記カメラの座標系において既知の座標を有する基準点と、（ｉｉ）同一の画像キャプチャ用の前記カメラに属する前記カメラ装置の対応する点の座標とを用いて、前記画像の各々に対して前記カメラと前記鏡との間の距離を決定するステップ（Ｓ３１０）、
−  前記鏡の平面の法線ベクトルの方向および距離、ならびに前記カメラの画素を単位とした前記焦点距離を用いて、前記カメラの前記座標系における前記鏡の平面の方程式を決定するステップ（Ｓ３１２）、
−  前記カメラの前記座標系から、前記鏡の平面内に原点、および前記鏡の平面の法線ベクトルに平行なｚ軸を有する鏡座標系への任意の座標変換を決定するステップ（Ｓ３１６）、を含む方法。
【請求項６】
前記カメラ装置は、携帯電話、スマートフォン、ファブレット、タブレットコンピュータ、ノートブック型パソコン、デジタルカメラ等のうちの任意の１つである、請求項５に記載の方法。
【請求項７】
コンピュータ上で動いているときに、方法１の前記ステップを実行するコンピュータ可読命令を含む、コンピュータプログラム製品。
【請求項８】
コンピュータ上で動いているときに、方法５の前記ステップを実行するコンピュータ可読命令を含む、コンピュータプログラム製品。
【請求項９】
物体の２つの点の間の較正距離を測定する方法であって、前記方法は、
−  平面の鏡および前記鏡に面した少なくとも１つのカメラを含むカメラ−鏡設定を用いて、少なくとも１つの画像をキャプチャするステップであって、前記キャプチャされた画像の各々は物体の複数のビューを表示している、ステップ、
−  前記カメラ−鏡設定を、請求項１から４のいずれか一項に記載の前記方法の前記ステップを通して較正するステップ、
−  前記少なくとも１つのキャプチャされた画像のうちの１つの中で、前記物体の対応する一対の点を選択するステップ、および
−  対応する前記画像の画素の対から、エピポーラの幾何学的配置を使用して、前記物体の選択された前記一対の点の２点間の実距離を計算するステップ、を含む、方法。
【請求項１０】
物体の較正された奥行きの推定方法であって、前記方法は、
−  平面の鏡および前記鏡に面した少なくとも１つのカメラを含むカメラ−鏡設定を用いて、前記物体の複数のビューを有する少なくとも１つの画像をキャプチャするステップ、
−  前記カメラ−鏡設定を、請求項１から４のいずれか一項に記載の前記方法の前記ステップを通して較正するステップ、および
−  前記少なくとも１つのキャプチャされた画像から前記物体の奥行き画像を生成するステップ、を含む、方法。
【請求項１１】
物体の較正された奥行きの推定方法であって、前記方法は、
−  平面の鏡および前記鏡に面したカメラを含むカメラ−鏡設定を用いて、前記物体の複数のビューを有する１つの画像をキャプチャするステップ、
−  前記カメラ−鏡設定を、請求項５に記載の前記方法の前記ステップを通して較正するステップ、および
−  前記キャプチャされた画像から前記物体の奥行き画像を生成するステップ、を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、較正されたステレオ画像の生成に関する。より詳細には、本発明は、平面の鏡を用いて、較正されたステレオ画像を生成する方法と、その方法を実行するコンピュータプログラム製品とに関する。
【背景技術】
【０００２】
カメラと、シーン中の空間点との間の距離は、同一点を示す２つ以上の関連する画像内の点の位置から決定する、または見積もることができ、シーンは静止しているか、または関連する画像は同時にキャプチャされるかのいずれかである。シーン内に１つ以上の平面の鏡が配置されており、画像のいくつかが鏡でキャプチャされる場合、距離の計算は依然として可能である。画像記録装置の空間的位置と、反射面（例えば、鏡）の空間的位置および特定のパラメータとの間の関係が既知であれば、点の３次元（３Ｄ）位置は基本的な幾何学的関係から計算することができる。反射面を使用した複数の画像から未知の距離を計算するという課題は反射屈折ステレオ視と呼ばれる。Ｊ．  ＧｌｕｃｋｍａｎおよびＳ．  Ｋ．  ＮａｙａｒによるＣａｔａｄｉｏｐｔｒｉｃ  Ｓｔｅｒｅｏ  Ｕｓｉｎｇ  Ｐｌａｎａｒ  Ｍｉｒｒｏｒｓ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，４４（１），ｐｐ．６５−７９，Ａｕｇ  ２００１）（非特許文献１）に、反射屈折ステレオイメージ生成の基本理論が詳細に記述されている。この論文には、１つのカメラと１つの平面の鏡を含む画像キャプチャ設定が、カメラと鏡の既知の相対的位置と共に紹介されており、従って較正は不要である。この方法により、結果として、実カメラ視野における物体のボルメトリック３Ｄ表現が得られる。
【０００３】
Ｈｕ  ｅｔ  ａｌ．の論文、「Ｍｕｌｔｉｐｌｅ−ｖｉｅｗ  ３−Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｍｉｒｒｏｒ」  （ｆｔｐ：／／ｆｔｐ．ｃｓ．ｒｏｃｈｅｓｔｅｒ．ｅｄｕ／ｐｕｂ／ｐａｐｅｒｓ／ｒｏｂｏｔｉｃｓ／０５．ｔｒ８６３．Ｍｕｌｔｉｐｌｅ−ｖｉｅｗ＿３−ｄ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｕｓｉｎｇ＿ａ＿ｍｉｒｒｏｒ．ｐｄｆ）（非特許文献２）には、複数ビュー３次元物体の再構成のために静止カメラと平面の鏡が使われている。鏡とカメラとの間の距離は、単一の物体の点、および物体の鏡映されたビューの一対の点によって得られる。カメラの鏡像はキャプチャされた画像内で検索され、次いで仮想カメラのエピポールを用いて仮想カメラと実カメラとの間の空間的関係が決定される。しかし、この方法は、キャプチャされた画像内に実物体が見えない場合は３Ｄ物体再構成には使用できない。
【０００４】
Ｋｕｍａｒ  ｅｔ  ａｌ．の論文「Ｓｉｍｐｌｅ  ｃａｌｉｂｒａｔｉｏｎ  ｏｆ  ｎｏｎ−ｏｖｅｒｌａｐｐｉｎｇ  ｃａｍｅｒａｓ  ｗｉｔｈ  ａ  ｍｉｒｒｏｒ」（ｈｔｔｐ：／／ｆｒａｈｍ．ｗｅｂ．ｕｎｃ．ｅｄｕ／ｆｉｌｅｓ／２０１４／０１／Ｓｉｍｐｌｅ−Ｃａｌｉｂｒａｔｉｏｎ−ｏｆ−Ｎｏｎ−ｏｖｅｒｌａｐｐｉｎｇ−Ｃａｍｅｒａｓ−ｗｉｔｈ−ａ−Ｍｉｒｒｏｒ．ｐｄｆ）（非特許文献３）は、カメラセットのための較正方法を紹介している。この方法もカメラの鏡像を使用するが、実物体の画像を使用しないので、実カメラの位置と方向を復元するためには、少なくとも５つの画像が必要である。
【０００５】
ステレオ（または多重ビュー）カメラシステムを較正することは複雑な課題である。一般には、キャプチャされた画像内にいくつかの対応する点を見つけ、次いで（カメラの焦点距離が既知であるかどうかに依存して）６個から８個のパラメータを有する非線形最適化問題を解く必要がある。提案する方法においては、上述の最適化問題を、各々が（カメラの焦点距離が既知であるかどうかに依存して）３個から４個のパラメータを有する、２つの独立した、より単純な最適化問題に還元することにより、較正を達成することができる。１つの複雑な計算を、２つのより単純な計算に分解することにより、本発明の方法は既知の較正方法よりもより速く、より信頼性が高く、およびより堅牢である。
【０００６】
欧州特許第２８６６４６６号（特許文献１）が、最も近い先行技術と見なされる。この文書は較正されたステレオ画像を生成するための鏡を含むマルチカメラ設定について開示している。この解決策では、異なるカメラの座標系間の変換は既知であり、かつカメラのうちの１つだけが鏡に面していることを想定している。鏡に面する主カメラが、カメラ自体も表示する画像をキャプチャする。次いで、この主カメラのキャプチャされた画像内の位置を使用して主カメラの実際の位置を決定する。主カメラの実際の位置がいったん決定されると、主カメラと他のカメラとの間の既知の座標変換が実行され得る。このステップでは、画像は静止したカメラでキャプチャされる。この解決策は、とりわけ以下の欠点を有する。
−  ステレオ画像生成およびシステムの較正プロセスのためには、少なくとも２つのカメラが必要であり、そのうちの１つは鏡に面し、物体の鏡映されたビューおよびカメラ自体の鏡映されたビューを観察し、
−  カメラの各ペアの間の座標変換が事前に既知でなければならない。
【０００７】
本発明の目的は、既知の較正プロセスの欠点を少なくとも部分的に排除する、ステレオ画像システムを較正する、改善された方法を提供することである。
【０００８】
本発明の較正方法の核となる概念は、１つ以上のキャプチャされた画像内の物体の、複数の（異なる）鏡映されたビューと共に、少なくとも１つのカメラの、鏡映されたビューを用いることにより、鏡の座標系が事前に既知でなくても、鏡の座標系に対する、実空間内の点の３Ｄ座標が容易に決定できることである。加えて、１つ以上のキャプチャされた画像内に見えている２つの空間点を選択することにより、２つの選択された点の間の実際の距離を、それらの対応する像点に基づいて決定することができる。
【０００９】
これらおよび他の目的は本発明による方法を提供することにより達成される。
【００１０】
本発明による較正方法の重要な特徴は、キャプチャされた画像を用いて基準座標系を求め、次いで基準座標系とカメラの座標系との間の変換を決定するステップを含む。基準座標系は、その原点および２つの軸が鏡の平面内に存在し、２つの軸のうちの１つが垂直であるように選択される。カメラがそれ自体でキャプチャした画像内に表示された、カメラの鏡映されたビューによって、カメラを表示している単一の画像から鏡の平面を容易に決定することができる。カメラの重力センサを使用して、鏡の平面内で垂直方向を定義することができ、従って鏡座標系の垂直軸ｙを得る。従って、各画像に対して適切に方向付けられた鏡座標系を得ることができる。それゆえ、基準座標系と（異なる画像から決定された）鏡座標系との間の変換は、任意の画像対から容易に計算することができる。本発明の第１の較正方法では、基準座標系の原点は鏡の平面内で任意に選択される（原点は、任意の鏡座標系の原点または鏡自体の上の任意のユーザが選択した点であってもよい）。単一のカメラが使用される、本発明の第２の較正方法では、基準点はステレオ画像のエピポールである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】欧州特許第２８６６４６６号
【非特許文献】
【００１２】
【非特許文献１】Ｊ．  ＧｌｕｃｋｍａｎおよびＳ．  Ｋ．  ＮａｙａｒによるＣａｔａｄｉｏｐｔｒｉｃ  Ｓｔｅｒｅｏ  Ｕｓｉｎｇ  Ｐｌａｎａｒ  Ｍｉｒｒｏｒｓ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，４４（１），ｐｐ．６５−７９，Ａｕｇ  ２００１）
【非特許文献２】Ｈｕ  ｅｔ  ａｌ．、「Ｍｕｌｔｉｐｌｅ−ｖｉｅｗ  ３−Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｍｉｒｒｏｒ」  （ｆｔｐ：／／ｆｔｐ．ｃｓ．ｒｏｃｈｅｓｔｅｒ．ｅｄｕ／ｐｕｂ／ｐａｐｅｒｓ／ｒｏｂｏｔｉｃｓ／０５．ｔｒ８６３．Ｍｕｌｔｉｐｌｅ−ｖｉｅｗ＿３−ｄ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｕｓｉｎｇ＿ａ＿ｍｉｒｒｏｒ．ｐｄｆ）
【非特許文献３】Ｋｕｍａｒｅｔ  ａｌ．、「Ｓｉｍｐｌｅ  ｃａｌｉｂｒａｔｉｏｎ  ｏｆ  ｎｏｎ−ｏｖｅｒｌａｐｐｉｎｇ  ｃａｍｅｒａｓ  ｗｉｔｈ  ａ  ｍｉｒｒｏｒ」（ｈｔｔｐ：／／ｆｒａｈｍ．ｗｅｂ．ｕｎｃ．ｅｄｕ／ｆｉｌｅｓ／２０１４／０１／Ｓｉｍｐｌｅ−Ｃａｌｉｂｒａｔｉｏｎ−ｏｆ−Ｎｏｎ−ｏｖｅｒｌａｐｐｉｎｇ−Ｃａｍｅｒａｓ−ｗｉｔｈ−ａ−Ｍｉｒｒｏｒ．ｐｄｆ）
【発明の概要】
【発明が解決しようとする課題】
【００１３】
平面の鏡を用いたステレオ画像システムを較正するための方法を提供することである。
【課題を解決するための手段】
【００１４】
本発明の第１の態様では、各々が対応するカメラ装置によって担持された少なくとも１つのカメラと、平面の鏡とを用いた、ステレオ画像システムの較正方法が提供され、本方法は、
−  少なくとも１つのカメラを用いて少なくとも２つの画像を取得するステップであって、各画像は異なるカメラ位置からキャプチャされ、画像をキャプチャするために使われたカメラの鏡映されたビューと、物体の鏡映されたビューとのピクチャを含んでおり、それにより物体の複数のビューを取得する、ステップ、
−  各画像内で、画像キャプチャ用のカメラの鏡映されたビューのピクチャの中央を見つけるステップ、
−  少なくとも１つのカメラの、画素を単位とした焦点距離を取得するステップ、
−  画像キャプチャ用のカメラの鏡映されたビューの中央から鏡の法線ベクトルの方向を決定するステップ、
−  （ｉ）カメラ装置上の基準点であって、カメラ座標系において既知の座標を有する基準点と、（ｉｉ）カメラ装置の鏡映されたビューの対応する点の座標とを用いて、各画像に対してカメラと鏡との間の距離を決定するステップ、
−  鏡の平面の法線の方向および距離、ならびにカメラの画素を単位とした焦点距離を用いて、少なくとも１つのカメラの座標系における鏡の平面の方程式を決定するステップ、
−  鏡の平面内でアップベクトルを定義するステップ、
−  鏡の平面内で基準点を選択するステップ、
−  上記基準点を原点として、上記アップベクトルを垂直軸ｙとして有する基準座標系を定義するステップ、
−  画像の各々に対して別々に、画像キャプチャ用のカメラの座標系から鏡座標系への座標変換を決定するステップ、
−  各画像に対して、対応する鏡座標系から基準座標系への変換を決定するステップ、および
−  任意の画像対に対して、第１の画像キャプチャ位置のカメラ座標系から第２の画像キャプチャ位置のカメラ座標系への座標変換を決定するステップ、を含む。
【００１５】
本発明の第２の態様では、カメラ装置によって担持されたカメラと、平面の鏡とを用いた、ステレオ画像システムの較正方法が提供され、本方法は、
−  カメラによってキャプチャされた１つの画像を取得するステップであって、画像は物体と、物体の鏡映されたビューと、画像をキャプチャするために使われたカメラの鏡映されたビューとのピクチャを含んでおり、それにより物体の複数のビューを取得する、ステップ、
−  画像内で、カメラの鏡映されたビューのピクチャの中央を見つけるステップ、
−  カメラの画素を単位とした焦点距離を取得するステップ、
−  カメラの鏡映されたビューの中央から鏡の法線ベクトルの方向を決定するステップ、
−  （ｉ）カメラ装置上の基準点であって、カメラ座標系において既知の座標を有する基準点と、（ｉｉ）同一の画像キャプチャ用のカメラに属するカメラ装置の対応する点の座標とを用いて、各画像に対してカメラと鏡との間の距離を決定するステップ、
−  鏡の平面の法線ベクトルの方向および距離、ならびにカメラの画素を単位とした焦点距離を用いて、カメラの座標系における鏡の平面の方程式を決定するステップ、
−  カメラの座標系から、鏡の平面内に原点、および鏡の平面の法線ベクトルに平行なｚ軸を有する任意の鏡座標系への座標変換を決定するステップ、を含む。
【００１６】
本発明の第３の態様では、物体の２つの点の間の較正距離を測定する方法が提供され、方法は、
−  平面の鏡および鏡に面した１つのカメラを含むカメラ−鏡設定を用いて、少なくとも１つの画像をキャプチャするステップであって、各キャプチャされた画像は物体の複数のビューを表示している、ステップ、
−  このカメラ−鏡設定を、本発明の第１および第２の態様による方法のステップを通して較正するステップ、
−  少なくとも１つのキャプチャされた画像のうちの１つの中で、物体の対応する一対の点を選択するステップ、および
−  対応する画像の画素の対から、エピポーラの幾何学的配置を使用して、物体の選択された一対の点の２点間の実距離を計算するステップ、を含む。
【００１７】
本発明の第４の態様では、物体の較正された奥行きの推定方法が提供され、方法は、
−  平面の鏡および鏡に面した少なくとも１つのカメラを含むカメラ−鏡設定を用いて、物体の複数のビューを有する少なくとも１つの画像をキャプチャするステップ、
−  このカメラ−鏡設定を、本発明の第１および第２の態様による方法のステップを通して較正するステップ、および
−  少なくとも１つのキャプチャされた画像から物体の奥行き画像を生成するステップ、を含む。
【００１８】
本発明の第５の態様では、コンピュータ可読命令を含むコンピュータプログラム製品が提供され、コンピュータ可読命令は、コンピュータ上で動いているときに、本発明の第１の態様に従う方法のステップを実行する。
【００１９】
本発明の第６の態様では、コンピュータ可読命令を含むコンピュータプログラム製品が提供され、コンピュータ可読命令は、コンピュータ上で動いているときに、本発明の第２の態様に従う方法のステップを実行する。
【００２０】
本発明の方法は以下の利点を有する。
−  異なる位置における画像をキャプチャするために、鏡に面したカメラが１つだけで十分であり得る。この単一カメラ設定では画像を引き続いてキャプチャすることができるが、異なるカメラ位置におけるカメラ座標系間の座標変換を事前に知っている必要はない。その理由はこれらの変換は較正プロセス中に計算されるからである。（この設定を使用するには物体が静止している必要があることに留意されたい。）
−  較正は２つの（または更に多くの）カメラを同時に使用して実行することもできる。（複数カメラ設定では、物体は動いていてもよいことに留意されたい。）
−  物体はカメラと鏡との間に存在してもよい。
【００２１】
ここで本発明を、添付図面を参照して、好ましい実施形態を通して詳細に説明する。
【図面の簡単な説明】
【００２２】
【図１】本発明の方法の、座標系および幾何学的配置を概略的に示す。
【図２】本発明の第１の態様による、カメラ−鏡設定を概略的に示す。
【図３】図２のカメラ−鏡設定で、異なる位置においてカメラでキャプチャされた２つの画像を示す。
【図４】本発明の第１の態様による較正方法の主なステップのフロー図である。
【図５】図３の画像をエピポーラ線と共に示す。
【図６】本発明の第２の態様による、カメラ−鏡設定を概略的に示す。
【図７】図６のカメラ−鏡設定で、カメラによりキャプチャされた画像を示す。
【図８】本発明の第２の態様による較正方法の主なステップのフロー図である。
【図９】本発明の第１の態様によるカメラ−鏡設定において、２つのカメラにより異なる位置で同時にキャプチャされた例示的な画像の更なる対を示す。
【発明を実施するための形態】
【００２３】
本発明の記載の文脈において、「画像」という用語は、画像センサまたはカメラなどの画像記録装置によって実行された画像キャプチャの生成物を意味し、以下では一般的に「カメラ」と称し、「ピクチャ」という用語はキャプチャされた画像内の物体（または人物）の可視表現を意味する。画像は静止画像であってもよく、またはビデオシーケンス（ビデオ画像とも称される）のフレームであってもよい。画像内の物体のピクチャは、物体の通常ビュー、または鏡の中に表示された、物体の鏡映されたビューのいずれかを表してもよい。
【００２４】
図１は本発明の較正方法において一般的に使用される座標系を示す。実カメラ装置１００は、互いに直交する軸ｘC、ｙCおよびｚCを有するデカルト座標系ＫCを有する。実カメラ装置１００は実カメラ１１０を備える。実カメラ装置１００はカメラまたは任意の種類の画像センサを装備した、任意の種類のプロセッサベースの装置であってもよい。カメラ装置１００は、例えば携帯電話、スマートフォン、ファブレット、タブレットＰＣ、ノートブック型パソコン、デジタルカメラ等、または画像をキャプチャできる任意の他のカメラ装置を含んでもよい。
【００２５】
平面の鏡１４０も互いに直交する軸ｘM、ｙMおよびｚMを有するデカルト座標系ＫMを有し、軸ｘMおよびｙM、従って鏡座標系ＫMの原点ｇは全て鏡１４０の平面内にある。実カメラ装置１００は鏡映されたビュー、いわゆる鏡の背後に見える仮想カメラ装置１０１を有する。仮想カメラ装置１０１も、実カメラ１１０の鏡映されたビューである、仮想カメラ１１１を有する。
【００２６】
ベクトルｍが鏡１４０に直角であって、鏡１４０と実カメラ１１０との間の距離に等しい長さを有するように定義される。ベクトルｍは、後述するように、カメラの鏡映されたビューを含む画像内で、仮想カメラ１１１が見える鏡１４０の点を用いて計算することができる。
【００２７】
本発明の第１の態様によると、較正は、図２に示すカメラ−鏡設定に基づいている。このステップにおいて、実カメラ１１０は複数の（少なくとも２つの）画像をキャプチャし、各キャプチャされた画像には鏡映された物体１２１および鏡映されたカメラ１１１のみが表示されている。実物体１２０は、実カメラ１１０の視野内にあり得るが、第１の態様による本発明の方法では鏡映された物体の画像点のみが処理されるので、較正処理に関しては重要ではない。これは、実物体が、実カメラ１００と鏡１４０との間の空間容積内、またはカメラ１００からよりも、鏡１４０から更に遠い位置、のいずれかに置かれてもよいことを意味する。後者の場合、キャプチャされた画像は実物体１２０の鏡映されたビューを全く含まない。
【００２８】
図１および図２において、実カメラ装置１００は、鏡１４０に面した側にそのカメラ１１０を有しており、従って実カメラ１１０はそれら図において破線で図示していることに留意されたい。
【００２９】
図３において、例えば２つの画像Ｉ１およびＩ２が表示され、各々は異なるカメラ位置でキャプチャされている。画像Ｉ１およびＩ２において、鏡映されたカメラ装置は２つのピクチャＤ１、Ｄ２をそれぞれ異なる位置に有し（すなわち、これらはカメラ装置１００の鏡映されたビューである）、鏡映されたカメラは２つのピクチャＣ１、Ｃ２をそれぞれ異なる位置に有し（すなわち、これらはカメラ１１０の鏡映されたビューである）、鏡映された物体（すなわち実物体１２０の鏡映されたビュー）も２つのピクチャＯ１、Ｏ２をそれぞれ、やはり異なる位置に有する。３つ以上の画像がキャプチャされる場合、全ての画像は好ましくは異なるカメラ位置でキャプチャされ、一方で物体と鏡との間の相対位置は一定と想定している。画像Ｉ１およびＩ２が２つのカメラで同時にキャプチャされる場合、画像が同時にキャプチャされる限りは物体は静止している必要はない。
【００３０】
第１の態様による本発明の較正方法の主なステップが図４のフロー図に示されている。
【００３１】
ステップＳ２００において、図２に示す上述のカメラ−鏡設定を用いて、少なくとも２つの画像が取得される。画像の各々は、画像キャプチャ用のカメラ１１０の鏡映されたビュー、および物体１２０の鏡映されたビューを含んでいる。
【００３２】
方法の画像処理部分は以下の４つのフェーズを有する。
Ａ）第１の画像を用いて、第１のカメラ座標系ＫC1から任意の鏡座標系Ｋ*M1への座標変換Ｍ*1を決定し、第２の画像を用いて、第２のカメラ座標系ＫC2から別の任意の鏡座標系Ｋ*M2への座標変換Ｍ*2を決定する。鏡座標系Ｋ*M1およびＫ*M2は、原点が鏡の平面内に存在し、ｚ軸が鏡の平面の法線ベクトルに平行となるように選択される。
Ｂ）自由に選択されたグローバルベクトル、すなわち全ての初期画像に関して検出され得る、いわゆるアップベクトル、を使用して、これら鏡座標系Ｋ*M1およびＫ*M2の共通ｙ軸を、従って第１および第２のカメラ座標系ＫC1、ＫC2から鏡座標系Ｋ**M1およびＫ**M2への変換Ｍ**1およびＭ**2を、定義することができる。
Ｃ）鏡座標系Ｋ**M1およびＫ**M2内に、グローバル原点ｇを決定し、この原点ｇの座標を見出し、それにより特定の鏡座標系ＫMを取得し、次いで第１および第２のカメラ座標系ＫC1、ＫC2から、基準座標系として使用される共通の鏡座標系ＫMへの座標変換Ｍ1およびＭ2を決定する。
Ｄ）更なる画像Ｉkに対する座標変換Ｍkを決定することにより、任意のカメラ座標系ＫCkから第１のカメラ座標系ＫC1への座標変換Ｆを決定し、ここで、
【００３３】
【数１】
2019510311.tif 000003
である。
【００３４】
ここで、本発明の較正方法の上記のフェーズを、図４に示すフロー図、および一例として２つのキャプチャされた画像を示す図３に示す設定を参照して詳細に説明する。図３に示す画像Ｉ１およびＩ２は、同一のカメラによって引き続き、または異なるカメラによって同時に記録されてもよいことに留意されたい。後者の場合、ピクチャＤ１およびＤ２は異なるカメラ装置に属する。
【００３５】
変換Ｍ*の決定
カメラ座標系から任意の鏡座標系への座標変換を決定するために、ステップＳ２０２において最初に、鏡映されたカメラのピクチャＣ１、Ｃ２の中央を各画像内で見つける。
【００３６】
計算において、座標変換は以下の一般形を有すると仮定する。
【００３７】
【数２】
2019510311.tif 000004
【００３８】
ここで、Ｍは完全同次変換行列、Ｒは３×３の回転行列、およびｔは３×１の並進ベクトルである。
【００３９】
回転行列Ｒを計算するためには、最初にカメラのｚ軸が鏡の平面の法線ベクトルｎに変換される。法線ベクトルは以下のようになる。
【００４０】
【数３】
2019510311.tif 000005
【００４１】
ここでｍは鏡からカメラに向いているベクトルであり、鏡の平面と直交している。従って、||m||は鏡とカメラの間の距離を規定する。
【００４２】
回転行列Ｒは、カメラのｙ軸を、同一のグローバルベクトルの鏡の平面に対する投影に変換する。従って、全てのキャプチャされた画像に共通なベクトルｕを定義する必要がある。ベクトルｕに基づいて、回転行列を、
【００４３】
R=(u×n u n)
と定義してもよく、ここで、
【００４４】
u×n
【００４５】
はベクトルｕおよびｎのクロス積を表す。
【００４６】
グローバルベクトルｕ*の鏡の平面上への投影により、鏡座標系ＫMのアップベクトルｕが得られる。
【００４７】
カメラ座標系において、鏡の平面は、
【００４８】
【数４】
2019510311.tif 000006
と定式化することができ、ここでｘは鏡の平面の任意の点である。
【００４９】
この段階では鏡座標系は完全には特定されないので、特定のカメラ座標系から任意の鏡座標系Ｋ*Mへの数多くの可能な変換Ｍ*が存在することに留意されたい。鏡座標系に対する唯一の制約は、座標変換Ｍ*における回転行列Ｒの第３列が、
【００５０】
【数５】
2019510311.tif 000007
【００５１】
でなければならず、かつ変換Ｍ*の並進ベクトルｔがカメラの焦点から鏡の平面の任意の点に向かうベクトルでなければならないことであり、すなわち次のようになる。
【００５２】
mTt+||m||=0
【００５３】
ステップＳ２１０において、鏡の平面の方程式が決定される。この目的のために、ベクトルｍの値が計算される。これは３つのステップで行われ得る。最初に、ステップＳ２０４において、ベクトルｍの方向が、いわゆる「画素を単位とした焦点距離」の値を用いて決定され、次いでベクトルｍの長さがカメラ装置の選択された点であって、カメラ座標系において既知の座標を有している点を用いて決定される。
【００５４】
カメラの焦点距離ｆは定数であって、従ってカメラの製造業者によって指定されるか、または画像をキャプチャするときにユーザによって設定されるかの、いずれかであってもよい。従って、どちらの場合もカメラの焦点距離ｆは既知と想定される。次に、画素を単位とした焦点距離の値Ｈが得られる。これは以下のステップで得ることができる。
【００５５】
Ｑを（実または仮想のいずれかの）空間内での点とし、ｐがキャプチャされた画像内の対応する画素を表すとする。画像内の点ｐの画素の座標、Px,Pyを、カメラ座標系において方程式
【００５６】
【数６】
2019510311.tif 000008
によって定義することができる。ここでｆはキャプチャカメラの焦点距離であり、ｓはカメラの画素サイズである。一般的に、画素サイズｓはカメラ製造業者によって与えられるカメラ固有のパラメータである。この値は典型的には約１マイクロメートルである。
【００５７】
以下の計算を簡単にするために、パラメータ「画素を単位とした焦点距離」Ｈが、カメラの焦点距離ｆと画素サイズｓとの比として定義される。
【００５８】
【数７】
2019510311.tif 000009
【００５９】
次のステップＳ２０６において、鏡の法線ベクトルｍの方向ｎが決定されることになる。これは、実カメラの中央と、カメラの鏡映されたビューの中央との間のラインが鏡の平面に直角であるという事実を用いて計算することができる。従って鏡の法線ベクトルｍの方向ｎは、
【００６０】
【数８】
2019510311.tif 000010
【００６１】
と計算することができる。ここで、(cx,cy)は、キャプチャされた画像内の鏡映されたカメラのピクチャＣ１、Ｃ２の中央の座標であり、αは、ｎに対して長さ１のベクトルを与えるスカラ値であり、以下になる。
【００６２】
【数９】
2019510311.tif 000011
【００６３】
鏡ベクトルｍを決定するために、その長さ（すなわち鏡とカメラとの間の距離）を求める必要が依然としてあり、すなわちベクトルのスカラ値、||m||である。
【００６４】
この値は画像において、カメラの「アスペクト比」と呼ばれる。
【００６５】
カメラの平面が鏡の平面に平行な場合は（すなわち、カメラのｚ軸が鏡の平面に直角である場合）、このアスペクト比を計算することは容易である。この場合、２つの実点の間の距離と、画像内に表示された対応する点の距離を画素を単位として測定した距離、との比を用いて計算することができる。
【００６６】
カメラが鏡に平行でない場合は、カメラと鏡の平面との間の距離を計算することは、より複雑となる。これらの計算をするためには、カメラ装置には点Ｕが存在し、この点がカメラ座標系Ｋcにおいて既知の座標を有し、この点がキャプチャされた画像上で検出できることを想定している。
【００６７】
ベクトルｍの長さを次式で定義する。
【００６８】
m=μn
【００６９】
点Ｕの鏡映されたビューＶの座標を、μの関数として計算することができ、次式となる。
【００７０】
V=U-2μ(nTU+1)n
【００７１】
Ｖの画像上への投影は検出済みであると仮定する。この投影点をｖと表す。ｖの座標は次式で表される。
【００７２】
【数１０】
2019510311.tif 000012
【００７３】
これらの式は、この単一の変数に対して線形であるため、いずれかを解くことができ、μを得る。
【００７４】
前述のように、この結果、次式が得られる。
【００７５】
m=μn
選択された点Ｕがベクトルｍの方向に存在しないことが保証されなければならないことに留意されたい。その場合には、画像上への投影がカメラの中央の投影と常に一致して計算が実行できないからである。
【００７６】
その結果、ステップＳ２１２において鏡の平面の方程式を、上述の式
【００７７】
mTt+||m||=0
【００７８】
に従って得ることができる。
【００７９】
変換Ｍ**の決定
【００８０】
次に、ステップＳ２１２において、鏡座標系ＫMに対して特定のアップベクトルｕが定義される。
【００８１】
ｕ*を空間内の任意のベクトルとする。ｕ*の予想される選択としては、例えば、カメラ装置の重力センサから得ることができる重力ベクトルであってもよい。別の選択肢は、鏡の平面からの距離が既知である、空間内の２点を選択することであってもよい。この後者の場合、キャプチャされた画像内の対応する画素を見つけることができなければならない。実は、このベクトルｕ*を実際に知っている必要はなく、鏡の平面上への投影を知っている（または計算する）必要があるのみであり、そのベクトルはｕと表される。この投影されたベクトルｕは、鏡座標系のいわゆるアップベクトルと見なされる。このアップベクトルにより、回転行列Ｒの第２列をｕに設定することを通して、カメラ座標系から鏡座標系への座標変換Ｍ**をより確定的に定義することが可能になる。この時点で、回転行列Ｒは、第３列は鏡の正規化された法線ベクトルであり、第１列は正規直交性の原理から得ることができるので、完全に定義されていることに留意されたい。
【００８２】
変換Ｍの決定
ステップＳ２１６において、鏡座標系Ｋ**Mの原点が決定される。これは、いくつかの方法で行うことができるが、以下に最も好ましい方法を導入する。これらの手法において鏡座標系は、以降の座標変換に対する基準座標系を提供する。
【００８３】
第１の好ましい方法において、鏡座標系の原点はステップＳ２１４において、空間内の点を自由に選択することにより得られる。この目的のために、鏡から既知の距離ｄにおいて点ｐが存在し、この点が少なくとも１つのキャプチャされた画像の各々の中に見ることができることを想定している。例えば、この点は鏡自体の上の目に見えるマークとして選択されてもよい。鏡座標系の原点は、この点ｐの鏡の平面上への投影と考えられる。ｋ番目の画像内の選択された点ｐの画像画素座標を、
【００８４】
【数１１】
2019510311.tif 000013
とし、鏡からの距離を、ｄとする。
【００８５】
ｇkを画像光線の基本ベクトルとする。このことは、
【００８６】
【数１２】
2019510311.tif 000014
を参照する点ｐをｇkの倍数として書くことができることを意味し、ｇkは画素座標と、カメラの画素を単位とした焦点距離とを用いて書くことができ、以下になる。
【００８７】
【数１３】
2019510311.tif 000015
【００８８】
３Ｄの実座標
【００８９】
p=μgk
【００９０】
は、これが複数の光線ベクトルの交点であり、ｄによる鏡の平面の並進であることに留意すると、カメラ座標系において容易に計算することができ、すなわち次式となる。
【００９１】
mTtx+||m||+d=0
【００９２】
結果として、gkは、
【００９３】
【数１４】
2019510311.tif 000016
【００９４】
となるような、倍率μを求めることで計算することができる。
上式から、カメラ座標系内の点ｐの３Ｄ座標は次式となる。
【００９５】
【数１５】
2019510311.tif 000017
【００９６】
鏡座標系の原点は、長さが、ｄで、鏡の平面の法線方向のベクトルを、ｐに加えることにより得ることができ、次式となる。
【００９７】
【数１６】
2019510311.tif 000018
【００９８】
鏡座標系の原点を決定する第２の好ましい方法は、ステップＳ２１４において、鏡の平面内で任意の点（例えばカメラの焦点の投影）を選択し、キャプチャされた画像のうちの１つの中に関連する画像点を見つけ、次いで少なくとも１つの他のキャプチャされた画像内でいくつかの更なる対応点を見つけることである。その時、鏡座標系の原点は最適化手法（例えば最小平均二乗または一般化ヒュー変換）を用いて計算することができる。この手法では、計算には２つ以上の関連する点の対が必要であることに留意されたい。最適化問題は上式から直接的に導かれる。画像内にいくつかの対応する画素、
【００９９】
【数１７】
2019510311.tif 000019
が存在すると想定する。
【０１００】
ここで、インデックスｉは異なる点を表し、インデックスｋは異なる画像を表す。
【０１０１】
その時、画像ｋ内の画素点ｉの画像光線ｇkの基本ベクトルの３Ｄは以下になる。
【０１０２】
【数１８】
2019510311.tif 000020
【０１０３】
これら点の鏡の平面からの距離は未知であることに留意されたい。これら距離を、dkで表す。
【０１０４】
これから、以下の方程式のセットが得られる。
【０１０５】
【数１９】
2019510311.tif 000021
【０１０６】
ここで、tkおよび、dkの座標は、全ての点に対して未知である。新しい未知の、dkに対して、対応する一対の点が付随し、各画像対に対して上述の２次元の制約を課すことが明らかである。
【０１０７】
その結果、対応する二対の点により、鏡座標系の共通原点への不足している並進、
(tk)が決定される。
【０１０８】
鏡座標系の原点を決定する第３の好ましい方法は、図４および図９の例に示すように、２つのカメラ装置を同時に使用することにより画像Ｉ４、Ｉ５をキャプチャし、それにより、図９に示すように、画像のうちの少なくとも１つが、両方のカメラ装置の鏡映されたビューのピクチャＤ１、Ｄ２’を含み、一方、他の画像（例えば画像Ｉ５）が第２のカメラの鏡映されたビューのピクチャＤ２のみを含むようにすることである。画像Ｉ４、Ｉ５は物体の鏡映されたビューのピクチャＯ１、Ｏ２をも表示している。両方のカメラ座標系において鏡の平面の方程式が、いったん既知になれば、カメラ装置と鏡との間の距離も既知となることに留意されたい。更に、画像内のカメラの焦点位置の投影点も既知となる。上述の手法では、第２の、鏡映されたカメラの、ピクチャＤ２の投影された焦点が共通の原点であってもよい。画像Ｉ４内で、Ｄ２の鏡からの距離、およびこの画素の位置は既知であるため、共通の原点（Ｄ２の鏡の平面への投影）への並進は、第１の画像に対して容易に計算できる。
【０１０９】
上記の計算および考察に基づいて、画像キャプチャ用のカメラの座標系から鏡座標系への座標変換が各画像に対して決定され（ステップＳ２１８）、次いで特定の鏡座標系から基準座標系への座標変換が各画像に対して決定される（ステップＳ２１９）。
【０１１０】
従って、ステップＳ２２０において、各々が特定の空間的画像キャプチャ位置に属している、任意の２つのカメラ座標系の間の座標変換が、上述の基本行列、
【０１１１】
【数２０】
2019510311.tif 000022
を用いて実行することができる。
【０１１２】
ここでＭkおよびＭnはそれぞれ、カメラ座標系ＫCkおよびＫCnから鏡座標系ＫMへの座標変換である。上述の較正方法の利点は、座標変換行列Ｍが各キャプチャされた画像に対して別々に決定することができ、従って基本行列Ｆの計算は、他の既知の方法よりも計算力を必要としないことである。
【０１１３】
基本行列Ｆは図５に示すようにエピポーラ線によって視覚化することができ、同じ文字で示す画像Ｉ１およびＩ２の破線が相互に対応するエピポーラ線である。それに応じて、画像Ｉ１および画像Ｉ２の対応するエピポーラ線の対は、それぞれラインａ１およびａ２、それぞれラインｂ１およびｂ２、それぞれラインｃ１およびｃ２である。画像Ｉ１、Ｉ２の一方の画像内の任意の点が実３Ｄ点に属し、その点は、画像Ｉ１、Ｉ２の他方の画像上のピクチャ上で、対応するエピポーラ線に沿っているはずであることを意味する（前述の点が他の画像内で覆い隠されていないと仮定して）。
【０１１４】
本発明の第２の態様では、１つの画像内に物体の複数のビューが表示され、物体の１つのビューは通常ビューであり、物体の他のビューは、その物体の鏡映されたビューである。画像は画像キャプチャ用のカメラ自体の鏡映されたビューも含むであろう。
【０１１５】
本発明の第２の態様によると、較正は図６に示すカメラ−鏡設定に基づいている。この設定では、カメラ１１０は、物体１２０の通常ビューおよび物体１２０の鏡映されたビュー１２１の両方をキャプチャする。カメラ１１０を有するカメラ装置１００の鏡映されたビュー（すなわち鏡映されたカメラ１１１を有する鏡映されたカメラ装置１０１）も鏡１４０内に見える。この場合、物体１２０は少なくとも部分的にはカメラ１１０の視野内になければならない。
【０１１６】
図６では、カメラ装置１００は鏡１４０に面した側にカメラ１１０を有し、従ってカメラ１１０は破線で示されていることに留意されたい。
【０１１７】
図７では、例えば、図６のカメラ−鏡設定でキャプチャされた画像Ｉ３が示される。画像Ｉ３において、鏡映されたカメラ装置はピクチャＤ１を有し、鏡映されたカメラはピクチャＣ１を有し、物体の通常ビューおよび物体の鏡映されたビューはそれぞれ、２つのピクチャＯ１、Ｏ１’を画像Ｉ３内の異なる位置に有する。
【０１１８】
第２の態様による、本発明の較正方法の主なステップを図８のフロー図に示す。
【０１１９】
ステップＳ３００において、上述の図６に示すようなカメラ−鏡設定を用いて１つの画像がキャプチャされている。キャプチャされた画像は、カメラの鏡映されたビューのピクチャ、ならびに物体の通常ビューおよび鏡映されたビューのピクチャを含んでいる。
【０１２０】
本発明の第２の態様による方法の画像処理部分は、以下の画像処理フェーズのみを必要とする。
Ａ）画像を用いて、カメラ座標系ＫCから任意の鏡座標系Ｋ*Mへの座標変換Ｍ*を決定すること。鏡座標系Ｋ*Mはその原点が鏡の平面内に存在し、そのｚ軸が鏡の平面の法線ベクトルに平行となるように選択される。
【０１２１】
本発明の本態様においては、図６に示すカメラ−鏡設定の較正のためには任意の鏡座標系で十分であることに留意されたい。その理由は、１つの画像のみ（例えば画像Ｉ３）がキャプチャされ、その結果、基準として特定の鏡座標系を決定する必要がないからであり、本発明の第１の態様においては、基準を用いて、各々が特定の空間的画像キャプチャ位置に属する、異なるカメラ座標系の間の座標変換が決定された。
【０１２２】
画像処理の上記フェーズＡ）は、第１の態様におけるのと同様に実行され、カメラ座標系と鏡座標系（その原点は鏡の平面内のどこにあってもよく、そのアップベクトルは鏡の平面内のどの方向に延びていてもよい。）との間の座標変換が１つだけ決定される点が異なっている。それに応じて、ステップＳ３０２からＳ３１０は、それぞれ第１の方法のステップＳ２０２からＳ２１０に対応する。特に、ステップＳ３０２において、鏡映されたカメラのピクチャＣ１の中央が画像内で見つけられ、次いでステップＳ３０４において、カメラの画素の単位でのキャプチャ焦点距離ｆ／ｓが得られ、それに続いて、ステップＳ３０６において、鏡の法線ベクトルの方向が決定され、鏡とカメラとの間の距離、すなわち、||m||の値が、ステップＳ３０８において決定される。
【０１２３】
その結果、キャプチャされた画像に基づいて、ステップＳ３１０において鏡の平面の方程式が得られる。
【０１２４】
この場合、鏡映されたカメラのピクチャＣ１の中央は、物体の実ビューおよび鏡映されたビューによって定義された、ステレオ画像システムのエピポールＥである。本明細書では、「エピポール」という用語は、エピポーラ線が交わる点を定義するために使用される。投影幾何学においてエピポールは、鏡の法線ベクトルに平行なラインが交わる点である。このことは、エピポールＥを、画像Ｉ３内の物体の通常ビューのピクチャＯ１の任意の点Ｖ１に接続するラインｖも、鏡映された物体のピクチャＯ２の対応する点Ｖ２を含むことを意味する。画像Ｉ３内でこれらの点Ｖ１、Ｖ２を見つけることにより、実３次元空間内の点の位置を決定することができる。この関連で、点、およびその点の鏡映されたビューの両方の画素座標が既知であり、一方でその点と鏡との間の距離のみが未知であると想定している。この場合、２つの特定の制約がある。すなわち、
１．その点と鏡の平面との間の距離は鏡映された点と鏡との間の距離に等しい。
２．実点と鏡映された点とを接続するベクトルは鏡の平面に直角である（従って鏡の平面の法線ベクトルに平行でもある）。
【０１２５】
上記２つの条件から、実点と鏡との間の距離は、以下に説明するように簡単に計算することができる。
(ux,uy)
をキャプチャされた画像内の実点、pのピクチャｕの座標とし、
(vx,vy)
を、同一画像内の点ｐの鏡映されたビューｑのピクチャｖの座標とする。点、pと鏡との間の距離ｃがいったん決定されると、カメラ座標系内の実点ｐの３Ｄ座標が、上述のような式を用いて容易に計算することができる。
μ1およびμ2を、
【０１２６】
【数２１】
2019510311.tif 000023
および、
【０１２７】
【数２２】
2019510311.tif 000024
となるように選択する。
【０１２８】
明らかに、
【０１２９】
mTp+d=c
および、
【０１３０】
mTq+d=-c
となる。
【０１３１】
従って、
【０１３２】
【数２３】
2019510311.tif 000025
および、
【０１３３】
【数２４】
2019510311.tif 000026
となる。
【０１３４】
更に、ベクトル差、p-qは、ベクトルmに平行であることが知られており、従って、
p-q=τm
である。
【０１３５】
μ1およびμ2を代入すると、c及びτに対する単純な線形方程式系になる。
方程式系を解くことで点、pの３Ｄ座標を計算することができる。
【０１３６】
上記の計算と考察に基づいて、画像キャプチャ用のカメラの座標系から、鏡の平面内に原点、および鏡の平面の法線ベクトルに平行なｚ軸を有する任意の鏡座標系への座標変換を、ステップＳ３１６において決定することができる。
【０１３７】
画像内の更なる関連する点の対の位置を計算する時点で、実３Ｄ空間内のこれらの点の間の距離を計算することができる。
【０１３８】
本発明の方法により、少なくとも１つのキャプチャされた画像の任意の１つの中に見える点の実３Ｄ座標を決定することが可能になる。従って、本発明の方法は更に、例えば、少なくとも１つのキャプチャされた画像内の少なくとも２つの異なるビュー内に見える、物体の異なる２点間の距離を計算するために使用することができる。物体の異なるビューは、例えば、２つのキャプチャされた画像内の２つの異なる鏡映ビュー、または１つの画像内の物体の通常ビューと鏡映されたビュー、を含んでも良い。
【０１３９】
それに応じて、本発明の第３の態様では、物体の２つの点の間の較正距離を測定する方法が提供され、方法は、
−  少なくとも１つのカメラおよび平面の鏡を含む、カメラ−鏡設定を用いて、物体の複数のビューを有する少なくとも１つの画像をキャプチャするステップ、
−  このカメラ−鏡設定を、本発明の第１および第２の態様による方法のステップを通して較正するステップ、
−  少なくとも１つのキャプチャされた画像のうちの１つの中で、物体の対応する一対の点を選択するステップ、および
−  対応する画像の画素の対から、エピポーラの幾何学的配置を使用して、物体の選択された一対の点の２点間の実距離を計算するステップ、を含む。
【０１４０】
上述のステレオ画像システムが、上述のステップを用いていったん較正されると、キャプチャされた物体の奥行き推定を実行して物体の奥行き画像を生成してもよい。更に、本発明のステレオ画像システムが上述のステップを通していったん較正されると、２点間の任意の種類の距離の測定が、少なくとも１つのキャプチャされた画像内の関連する点の対見つけることにより可能になる。
【０１４１】
それに応じて、本発明の第４の態様では、物体の較正された奥行きの推定方法が提供され、方法は、
−  少なくとも１つのカメラおよび平面の鏡を含む、カメラ−鏡設定を用いて、物体の複数のビューを有する少なくとも１つの画像をキャプチャするステップ、
−  このカメラ−鏡設定を、本発明の第１および第２の態様の任意の１つによる方法のステップを通して較正するステップ、および
−  少なくとも１つのキャプチャされた画像から物体の奥行き画像を生成するステップ、を含む。
【０１４２】
第５の態様では、本発明はまた、コンピュータ可読命令を含むコンピュータプログラム製品に関し、コンピュータ可読命令は、コンピュータ上で動いているときに、本発明の第１の態様に従う方法の上記のステップを実行する。
【０１４３】
第６の態様では、本発明はまた、コンピュータ可読命令を含むコンピュータプログラム製品に関し、コンピュータ可読命令は、コンピュータ上で動いているときに、本発明の第２の態様に従う方法の上記のステップを実行する。
【図１】
2019510311.tif 000027
【図２】
2019510311.tif 000028
【図３】
2019510311.tif 000029
【図４】
2019510311.tif 000030
【図５】
2019510311.tif 000031
【図６】
2019510311.tif 000032
【図７】
2019510311.tif 000033
【図８】
2019510311.tif 000034
【図９】
2019510311.tif 000035
【国際調査報告】
2019510311.tif 000036
2019510311.tif 000037
2019510311.tif 000038