(57)【要約】  測位および追跡のために、オンザフライで、未知の環境の基準パッチが生成される。この基準パッチは、垂直な2組の平行線を有する平面物体の取込画像を使用して生成される。平面物体は、画像中で検出され、2組の平行線の消失点を使用して世界座標系の軸が定義される。定義された軸に基づいてカメラの回転を回復し、回復したカメラの回転を使用して、平面物体の画像の少なくとも一部の基準パッチを生成する。次いで、視覚に基づく検出および追跡のために、基準パッチを使用することができる。平面物体は、画像において数組の平行線として、または矩形として検出することができる。
2014522007.tif 000002
【特許請求の範囲】
【請求項１】
モバイルプラットフォームで、第2の組の平行線に垂直である第1の組の平行線を含む平面物体の1つの画像を取り込むステップと、
前記1つの画像中の前記平面物体を検出するステップと、
前記第1の組の平行線の第1の消失点を使用して世界座標系の第1の軸を定義し、前記第2の組の平行線の第2の消失点を使用して前記世界座標系の第2の軸を定義するステップと、
前記第1の軸および前記第2の軸を使用してカメラの回転を回復するステップと、
回復された前記カメラの回転を使用して前記平面物体の前記1つの画像の少なくとも一部の基準パッチを生成するステップと、
前記基準パッチを前記平面物体のさらなる取込画像と比較して、前記平面物体に対する前記モバイルプラットフォームの姿勢を推定するステップと
を含む、方法。
【請求項２】
前記平面物体に対する前記モバイルプラットフォームの前記姿勢を使用して、前記モバイルプラットフォーム上で拡張現実アプリケーションを実行するステップ
をさらに含む、請求項1に記載の方法。
【請求項３】
前記1つの画像中の前記平面物体を検出するステップが、
前記1つの画像中の前記第1の組の平行線および前記第2の組の平行線を検出するステップと、
前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するステップと、
前記第1の消失点および前記第2の消失点を使用して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するステップと
を含む、請求項1に記載の方法。
【請求項４】
前記1つの画像中の前記第1の組の平行線および前記第2の組の平行線を検出し、前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するステップが、
同じ消失点を通って延びる数組の直線を識別することによって、3次元空間で同じ方向を有する前記1つの画像中の複数の組の直線を検出するステップ
を含む、請求項3に記載の方法。
【請求項５】
前記平面物体が矩形であり、前記1つの画像中の前記平面物体を検出するステップが、矩形の検出を含む、請求項1に記載の方法。
【請求項６】
前記矩形の検出が、
前記1つの画像から輪郭を抽出するステップと、
前記輪郭中の矩形候補を識別するステップと、
前記矩形候補の前記第1の組の平行線の前記第1の消失点および前記矩形候補中の前記第2の組の平行線の前記第2の消失点を決定し、前記第1の消失点および前記第2の消失点を使用して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断することによって、前記輪郭が矩形であることを確認するステップと
を含む、請求項5に記載の方法。
【請求項７】
前記輪郭中の前記矩形候補を識別するステップが、多角形近似により直線を有する前記輪郭をセグメント化するステップを含み、4本の直線を有するセグメント化された輪郭が、前記矩形候補とみなされる、請求項6に記載の方法。
【請求項８】
前記矩形の検出が、検出された矩形の隣接する辺同士の間の角が閾値よりも小さい場合、前記検出された矩形を削除するステップを含む、請求項5に記載の方法。
【請求項９】
前記矩形の検出が、複数の矩形を検出するステップと、前記複数の矩形の方位を、前記複数の矩形のそれぞれを含む平面の表面法線として判断するステップと、前記複数の矩形の前記方位に基づいて矩形を選択するステップとを含む、請求項5に記載の方法。
【請求項１０】
前記平面物体の前記1つの画像の少なくとも前記一部の前記基準パッチが、前記第1の組の平行線および前記第2の組の平行線によって定められるキーポイント特徴を含む、請求項1に記載の方法。
【請求項１１】
前記平面物体の前記1つの画像の少なくとも前記一部の前記基準パッチが、前記第1の組の平行線および前記第2の組の平行線によって定められる線特徴を含む、請求項1に記載の方法。
【請求項１２】
前記第1の組の平行線および前記第2の組の平行線の定められる前記線特徴が、前記第1の組の平行線と前記第2の組の平行線との間の交点を含む、前記第1の組の平行線および前記第2の組の平行線上の複数の点を含む、請求項11に記載の方法。
【請求項１３】
前記平面物体の前記1つの画像の少なくとも前記一部の前記基準パッチが、前記第1の組の平行線および前記第2の組の平行線によって定められない特徴を含む、請求項1に記載の方法。
【請求項１４】
前記基準パッチを第2のモバイルプラットフォームに送信することをさらに含む、請求項1に記載の方法。
【請求項１５】
第2の組の平行線に垂直である第1の組の平行線を含む平面物体の画像を取り込むためのカメラと、
前記平面物体の前記画像を受信するために前記カメラに結合されたプロセッサであって、前記画像中の前記平面物体を検出し、前記第1の組の平行線の第1の消失点を使用して世界座標系の第1の軸を定義し、前記第2の組の平行線の第2の消失点を使用して前記世界座標系の第2の軸を定義し、前記第1の軸および前記第2の軸を使用してカメラの回転を回復し、回復した前記カメラの回転を使用して前記平面物体の前記1つの画像の少なくとも一部の基準パッチを生成し、前記基準パッチを前記平面物体のさらなる取込画像と比較して、前記平面物体に対する姿勢を推定するようになされたプロセッサと
を備える、装置。
【請求項１６】
前記プロセッサがさらに、前記平面物体に対する前記姿勢を使用して拡張現実アプリケーションを実行するようになされた、請求項15に記載の装置。
【請求項１７】
前記プロセッサが、前記画像中の前記第1の組の平行線および前記第2の組の平行線を検出するようになされることによって、前記画像中の前記平面物体を検出し、前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定し、前記第1の消失点および前記第2の消失点を使用して前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するようになされた、請求項15に記載の装置。
【請求項１８】
前記プロセッサが、前記画像中の前記第1の組の平行線および前記第2の組の平行線を検出し、同じ消失点を通って延びる数組の直線を識別して3次元空間において同じ方向を有する、前記画像中の複数の組の直線を検出するようになされることによって、前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するようになされた、請求項17に記載の装置。
【請求項１９】
前記平面物体が矩形であり、前記プロセッサが、矩形を検出するようになされることによって前記画像中の前記平面物体を検出するようになされた、請求項15に記載の装置。
【請求項２０】
前記プロセッサが、前記画像から輪郭を抽出し、前記輪郭中の矩形候補を識別し、前記矩形候補の前記第1の組の平行線の前記第1の消失点および前記矩形候補中の前記第2の組の平行線の前記第2の消失点を決定すること、ならびに前記第1の消失点および前記第2の消失点を使用して前記第1の組の平行線が前記第2の組の平行線に垂直であると判断することによって前記輪郭が矩形であることを確認するようになされることによって、矩形を検出するようになされた、請求項19に記載の装置。
【請求項２１】
前記プロセッサが、多角形近似により直線を有する前記輪郭をセグメント化するようになされることによって前記輪郭中の前記矩形候補を識別するようになされ、4本の直線を有するセグメント化された輪郭が、前記矩形候補とみなされる、請求項20に記載の装置。
【請求項２２】
前記プロセッサが、検出された矩形の隣接する辺同士の間の角が閾値よりも小さい場合、前記検出された矩形を削除するようになされることによって、矩形を検出するようになされた、請求項19に記載の装置。
【請求項２３】
前記プロセッサが、複数の矩形を検出し、前記複数の矩形の方位を、前記複数の矩形のそれぞれを含む平面の表面法線として判断し、前記複数の矩形の前記方位に基づいて矩形を選択するようになされることによって、矩形を検出するようになされた、請求項19に記載の装置。
【請求項２４】
前記プロセッサが、前記第1の組の平行線および前記第2の組の平行線によって定められるキーポイント特徴を有する前記基準パッチを生成するようになされることによって、前記画像の少なくとも前記一部の前記基準パッチを生成するようになされた、請求項15に記載の装置。
【請求項２５】
前記プロセッサが、前記第1の組の平行線および前記第2の組の平行線によって定められる線特徴を有する前記基準パッチを生成するようになされることによって、前記画像の少なくとも前記一部の前記基準パッチを生成するようになされた、請求項15に記載の装置。
【請求項２６】
前記プロセッサが、前記第1の組の平行線と前記第2の組の平行線との間の交点を含む、前記第1の組の平行線および前記第2の組の平行線上の複数の点を有する前記線特徴を生成するようになされることによって、前記線特徴を有する前記基準パッチを生成するようになされた、請求項25に記載の装置。
【請求項２７】
前記プロセッサが、前記第1の組の平行線および前記第2の組の平行線によって定められない特徴を有する前記基準パッチを生成するようになされることによって、前記画像の少なくとも前記一部の前記基準パッチを生成するようになされた、請求項15に記載の装置。
【請求項２８】
前記プロセッサに結合された無線トランシーバをさらに備え、前記プロセッサが、前記無線トランシーバを使用して異なる装置へ前記基準パッチを送信するようにさらになされた、請求項15に記載の装置。
【請求項２９】
第2の組の平行線に垂直である第1の組の平行線を含む平面物体の1つの画像を取り込むための手段と、
前記1つの画像中の前記平面物体を検出するための手段と、
前記第1の組の平行線の第1の消失点を使用して世界座標系の第1の軸を定義し、前記第2の組の平行線の第2の消失点を使用して前記世界座標系の第2の軸を定義するための手段と、
前記第1の軸および前記第2の軸を使用してカメラの回転を回復するための手段と、
回復された前記カメラの回転を使用して前記平面物体の前記1つの画像の少なくとも一部の基準パッチを生成するための手段と、
前記基準パッチを前記平面物体のさらなる取込画像と比較して、前記平面物体に対する姿勢を推定するための手段と
を備える、装置。
【請求項３０】
前記平面物体に対する前記姿勢を使用して拡張現実アプリケーションを実行するための手段
をさらに備える、請求項29に記載の装置。
【請求項３１】
前記1つの画像中の前記平面物体を検出するための前記手段が、
前記1つの画像中の前記第1の組の平行線および前記第2の組の平行線を検出するための手段と、
前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するための手段と、
前記第1の消失点および前記第2の消失点を使用して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するための手段と
を含む、請求項29に記載の装置。
【請求項３２】
前記平面物体が矩形であり、前記1つの画像中の前記平面物体を検出するための前記手段が、矩形の検出のための手段を含む、請求項29に記載の装置。
【請求項３３】
矩形の検出のための前記手段が、誤判定の矩形を削除するための手段を含む、請求項32に記載の装置。
【請求項３４】
前記基準パッチを送信するための手段をさらに含む、請求項29に記載の装置。
【請求項３５】
格納されたプログラムコードを含む非一時的コンピュータ可読記録媒体であって、
第2の組の平行線に垂直である第1の組の平行線を有する、画像中の平面物体を検出するためのプログラムコードと、
前記第1の組の平行線の第1の消失点を使用して世界座標系の第1の軸を定義し、前記第2の組の平行線の第2の消失点を使用して前記世界座標系の第2の軸を定義するためのプログラムコードと、
前記第1の軸および前記第2の軸を使用してカメラの回転を回復するためのプログラムコードと、
回復された前記カメラの回転を使用して前記平面物体の前記画像の少なくとも一部の基準パッチを生成するためのプログラムコードと、
前記基準パッチを前記平面物体のさらなる取込画像と比較して、前記平面物体に対する姿勢を推定するためのプログラムコードと
を含む、非一時的コンピュータ可読記録媒体。
【請求項３６】
前記画像中の前記平面物体を検出するための前記プログラムコードが、
前記画像中の前記第1の組の平行線および前記第2の組の平行線を検出するためのプログラムコードと、
前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するためのプログラムコードと、
前記第1の消失点および前記第2の消失点を使用して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するためのプログラムコードと
を含む、請求項35に記載の非一時的コンピュータ可読記録媒体。
【請求項３７】
前記平面物体が矩形であり、前記画像中の前記平面物体を検出するための前記プログラムコードが、矩形の検出を行うためのプログラムコードを含む、請求項35に記載の非一時的コンピュータ可読記録媒体。
【請求項３８】
誤判定の矩形を削除するためのプログラムコードをさらに含む、請求項37に記載の非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
係属中の仮出願の相互参照
本願は、2011年4月20日に出願された、「Online Reference Map Generation and Pose Estimation for Augmented Reality」という名称の米国特許仮出願第61/477,524号の優先権を米国特許法119条の下に主張する、2011年7月26日に出願された、「Online Reference Patch Generation and Pose Estimation for Augmented Reality」という名称の米国特許出願第13/191,340号の優先権を主張するものであり、これらは共に本願の譲受人に譲渡され、参照により本明細書に組み込まれている。
【背景技術】
【０００２】
拡張現実システムは、現実世界のユーザの視野に仮想物体を挿入することができる。成功した拡張現実システムの1つの主要な要件は、例えば3Dモデルなど、基準に対してユーザの姿勢を正確に推定できる追跡システムである。これにより、仮想拡張を現実世界の環境に緻密に登録することができる。
【０００３】
拡張現実のための追跡システムは、基準を取得する必要があり、基準は、環境の3Dモデル、環境に配置された人工マーカ、または環境における平面の正面図画像とすることができる。しかしながら、拡張現実を実行する前に基準を取得することが、必ずしも好都合であるとは限らず、または可能であるとも限らない。環境の予備知識への依存は、拡張現実技術の利用を著しく制限している。したがって、オンザフライで(on the fly)環境の基準を生成することが望ましい。
【０００４】
既知の追跡技術の一例は、George KleinおよびDavid Murray、「Parallel Tracking and Mapping on a Camera Phone」、第8回IEEE International Symposium on Mixed and Augmented Reality (ISMAR)、83〜86、19〜22頁、2009年10月(「PTAM」)によって説明されており、この例は、環境の予備知識を必要としない。PTAM法は、環境において平面を検出することにより、基準パッチを初期設定する。この方法は、2つの画像で平面が検出されることを必要とし、この2つの画像間のホモグラフィを計算し、これを用いて平面上に検出された点の3D位置を推定する。したがって、PTAM法は、基準パッチを生成するために2つの画像を必要とするが、本発明は1つしか必要としない。追跡技術の別の例は、ポイントアンドシュート法とも呼ばれることがあるが、これについて、W. Lee、Y. Park、V. Lepeti、W. Woo、「Point-and-Shoot for Ubiquitous Tagging on Mobile Phones」、2010第9回IEEE International Symposium on Mixed and Augmented Reality (ISMAR)、57〜64、13〜16頁、2010年10月に記載されており、この中でカメラの方位は、加速度計によって推定される。画像を正面像にワープし(warp)、一組の「平均パッチ」を生成する。各平均パッチは、限定された視点範囲にわたるパッチの平均として計算され、すべての平均パッチにわたる範囲は、すべての可能な視界を含む。ポイントアンドシュート法はしたがってセンサに依存して、基準パッチを生成する。さらに、ポイントアンドシュート法は、垂直または水平位置の平面物体を必要とする。ARTookKitにより使用されるような別の方法は、追跡する環境の表面にプリントした、事前に生成されたハイコントラストの正方形を追跡する。したがって、改善が望ましい。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】George KleinおよびDavid Murray、「Parallel Tracking and Mapping on a Camera Phone」、第8回IEEE International Symposium on Mixed and Augmented Reality (ISMAR)、83〜86、19〜22頁、2009年10月
【非特許文献２】W. Lee、Y. Park、V. Lepeti、W. Woo、「Point-and-Shoot for Ubiquitous Tagging on Mobile Phones」、2010第9回IEEE International Symposium on Mixed and Augmented Reality (ISMAR)、57〜64、13〜16頁、2010年10月
【非特許文献３】S. SuzkuiおよびK. Abe、「Topological Structural Analysis of Digital Binary Images by Border Following」、In Proc. Computer Vision、Graphics and Image、30(1985):32-46
【発明の概要】
【課題を解決するための手段】
【０００６】
測位および追跡のために、オンザフライで、未知の環境の基準パッチを生成する。基準パッチは、垂直な2組の平行線と共に平面物体の取込画像を使用して生成される。画像中の平面物体を検出し、2組の平行線の消失点を使用して世界座標系の軸を定義する。定義された軸に基づいてカメラの回転を回復し、回復したカメラの回転を使用して、平面物体の画像の少なくとも一部の基準パッチを生成する。次いで、視覚に基づく検出および追跡のために、基準パッチを使用することができる。平面物体は、画像中で数組の平行線として、または矩形として検出することができる。
【０００７】
1つの態様では、方法が、第2の組の平行線に垂直である第1の組の平行線を含む平面物体の1つの画像をモバイルプラットフォームで取り込むステップと、1つの画像中の平面物体を検出するステップと、第1の組の平行線の第1の消失点を使用して世界座標系の第1の軸を定義し、第2の組の平行線の第2の消失点を使用して世界座標系の第2の軸を定義するステップと、第1の軸および第2の軸を使用してカメラの回転を回復するステップと、回復したカメラの回転を使用して平面物体の1つの画像の少なくとも一部の基準パッチを生成するステップと、基準パッチを平面物体のさらなる取込画像と比較して、平面物体に対するモバイルプラットフォームの姿勢を推定するステップとを含む。
【０００８】
別の態様では、装置が、第2の組の平行線に垂直である第1の組の平行線を含む平面物体の画像を取り込むためのカメラを組み込む。装置はさらに、平面物体の画像を受信するためにカメラに結合されたプロセッサを組み込み、プロセッサは、画像中の平面物体を検出し、第1の組の平行線の消失点を使用して世界座標系の第1の軸を定義し、第2の組の平行線の消失点を使用して世界座標系の第2の軸を定義し、第1の軸および第2の軸を使用してカメラの回転を回復し、回復したカメラの回転を使用して平面物体の1つの画像の少なくとも一部の基準パッチを生成し、基準パッチを平面物体のさらなる取込画像と比較して、平面物体に対する姿勢を推定するように構成される。
【０００９】
別の態様では、装置が、第2の組の平行線に垂直である第1の組の平行線を含む平面物体の1つの画像を取り込むための手段と、1つの画像中の平面物体を検出するための手段と、第1の組の平行線の第1の消失点を使用して世界座標系の第1の軸を定義し、第2の組の平行線の第2の消失点を使用して世界座標系の第2の軸を定義するための手段と、第1の軸および第2の軸を使用してカメラの回転を回復するための手段と、回復したカメラの回転を使用して平面物体の1つの画像の少なくとも一部の基準パッチを生成するための手段と、基準パッチを平面物体のさらなる取込画像と比較して、平面物体に対する姿勢を推定するための手段とを組み込む。
【００１０】
さらに別の態様では、プログラムコードを格納された非一時的コンピュータ可読媒体が、第2の組の平行線に垂直である第1の組の平行線を有する、画像中の平面物体を検出するためのプログラムコードと、第1の組の平行線の第1の消失点を使用して世界座標系の第1の軸を定義し、第2の組の平行線の第2の消失点を使用して世界座標系の第2の軸を定義するためのプログラムコードと、第1の軸および第2の軸を使用してカメラの回転を回復するためのプログラムコードと、回復したカメラの回転を使用して平面物体の画像の少なくとも一部の基準パッチを生成するためのプログラムコードと、基準パッチを平面物体のさらなる取込画像と比較して、平面物体に対する姿勢を推定するためのプログラムコードとを組み込む。
【図面の簡単な説明】
【００１１】
【図１】測位および追跡に使用することができる、未知の環境の基準パッチを生成することができるモバイルプラットフォームを示す図である。
【図２】未知の環境の基準パッチを生成する方法を説明するフローチャートである。
【図３】現実の世界座標系の軸を定義するために使用される、平面矩形物体の消失点を示す図である。
【図４】基準パッチを生成するために正面像にワープした平面物体の画像を示す図である。
【図５】第2のモバイルプラットフォームに基準パッチを送信している第1のモバイルプラットフォームを示す図である。
【図６】垂直な数組の平行線を検出することに基づいて画像中の平面物体を検出する方法を示すフローチャートである。
【図７】平行線および消失点を識別する方法を示すフローチャートである。
【図８】消失点の決定を示す図である。
【図９】消失点の決定を示す図である。
【図１０】垂直な数組の平行線に基づいて識別される平面物体を示す図である。
【図１１】画像中の矩形を識別することによって平面物体を検出する方法を示すフローチャートである。
【図１２】矩形として識別される平面物体を示す図である。
【図１３】誤判定(false positive)矩形を生成する可能性がある平面物体を示す図である。
【図１４】誤判定矩形を削除する方法を示すフローチャートである。
【図１５】オンザフライで、未知の環境の基準パッチを生成することができるモバイルプラットフォームのブロック図である。
【発明を実施するための形態】
【００１２】
図1は、例えば拡張現実(AR)型アプリケーションにおいて測位および追跡に使用することができる未知の環境の基準パッチを、オンザフライで生成することができるモバイルプラットフォーム100を示す。モバイルプラットフォーム100は、カメラ114で環境104内の矩形平面物体102の画像を取り込むことによって初期設定プロセスを実行する。物体102の画像102Aは、モバイルプラットフォーム100のディスプレイ112に表示されて示されている。取り込まれた画像から、物体102は認識され、基準パッチ106が生成され、この基準パッチ106からモバイルプラットフォーム100の方位および位置(姿勢)を測定することができる。必要であれば、基準パッチ106は、他のモバイルプラットフォーム(図示せず)に送信して、物体102を見ているいくつかのモバイルプラットフォームがすべて同じ基準画像を有するようにすることができ、例えばARゲーム型アプリケーションにおいて、複数のモバイルプラットフォームの互いに対する、ならびに物体102に対する姿勢が要求されるとき、この同じ基準画像が役立つ可能性がある。
【００１３】
モバイルプラットフォームは、セルラ方式または他の無線通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップコンピュータ、カメラ、または画像を取り込み、測位し、追跡することができる他の好適なモバイルデバイスなどのいかなる携帯用電子機器とすることもできることを理解すべきである。
【００１４】
図2は、未知の環境の基準パッチを生成する方法を説明するフローチャートである。モバイルプラットフォーム100は、カメラ114で画像を取り込む(202)。本明細書で使用する取込画像とは、単一の画像、例えば、カメラ114によって取り込まれた写真、またはビデオのフレームとすることができることを理解すべきである。取込画像は、第2の組の平行線に垂直である第1の組の平行線を含む平面物体の画像である。例えば、平面物体は、紙片、クレジットカード、または図1に示すように、机などの表面に置かれている他の矩形物体とすることができる。平面物体は、あるいは、少なくとも2組の平行線が垂直であって、同一平面上にある複数の組の平行線を有する建造物または他の構造体とすることもできる。
【００１５】
平面物体は、取込画像204で検出される。第1の組の平行線および第2の組の平行線の消失点を使用して、直交する現実世界の軸が定義される(206)。例えば、図3に示すように、平面物体102の第1の消失点v1を、現実の世界座標系のx軸Xに対応するとして定義することができ、第2の消失点v2を、y軸Yに対応するとして定義することができる。当然ながら、消失点v1およびv2は、適切な変換を使用していかなる直交軸に対応するとして定義することもできる。平面物体102は垂直な数組の平行線を含むので、消失点v1およびv2を使用して定義されるx軸Xおよびy軸Yは直交する。平面物体102に対する垂線方向、すなわちz軸Zは、XおよびYのクロス積として定義することができる。平面物体の方位は、したがって、3×3行列R[X|Y|Z]によって求められる。
【００１６】
平面物体の定義された方位に基づいて、次にカメラの回転が回復される(208)。回復されたカメラの回転を使用して、次に平面物体の画像の少なくとも一部の基準パッチが生成される(210)。例えば、平面物体102の画像は、図4の変換105で示すように、正面図、すなわち平面物体に垂直な面がカメラの視線方向と平行である図にワープすることができる。しかしながら必要であれば、平面物体の画像全体に満たない部分をワープして基準パッチ106を形成することができる。例えば矩形内部の2組の平行線によって境界を定められる範囲から抽出される点特徴またはキーポイント特徴を、例えば正面図にワープすることができる。あるいは、例えば矩形内の2組の平行線で境界を定められ、平行線自体も含む、線特徴またはその一部を、正面図にワープすることができる。例えば、線特徴は、第1の組の平行線上、および第2の組の平行線上の、これらの組の平行線の間の交点を含む、複数の点とすることができる。必要であれば、平面物体の平面上の、ただし2組の平行線で境界を定められない点特徴をワープして、基準パッチ106を形成することができる。
【００１７】
2人以上のユーザがいる場合、正面像の基準パッチ106を他のユーザに送信することができる。図5は、一例として、物体102の画像を取り込み、上述のような基準パッチ106を生成する第1のモバイルプラットフォーム100Aを示している。モバイルプラットフォーム100Aは次に、点線矢印117で示すように直接に、または無線ネットワーク120を介して、基準パッチ106を第2のモバイルプラットフォーム100Bに送信することができる。基準パッチが標準的な画像である場合、既存のネットワークプロトコルおよび画像標準を使用して、基準パッチを圧縮し、送信し、解凍することができる。
【００１８】
基準パッチを使用して、基準パッチを平面物体102のさらなる取込画像と比較することによって、平面物体102に対してモバイルプラットフォームの姿勢を推定し(212)、必要であれば、測定された姿勢に基づいてARアプリケーションを実行することができる(214)。基準パッチをさらなる取込画像と比較することは、例えば、特徴を局所化し、特徴の記述を生成する、Scale Invariant Feature Transform(SIFT：スケール不変特徴量変換)など、知られている特徴抽出技術を使用して抽出された特徴など、基準パッチからの点特徴または線特徴を使用することができる。必要であれば、Speed Up Robust Features(SURF)、Gradient Location-Orientation Histogram(GLOH)、Compressed Histogram of Gradients(CHoG)など、他の技術または他の同等の技術を使用することができる。任意の検出された2D点(x、y)については、その3D座標は、(sx、sy、0)であり、ここでsは非ゼロの任意定数である。複数のユーザがいる場合、sはすべてのユーザに同じ値を有するべきであり、これを規定値とすることができる。3D点の2D投影は、それぞれの新しい取込画像、例えば入ってくるビデオフレームで探索され、マッチした3D-2D点ペアを使用して、姿勢が推定される。
【００１９】
必要であれば、線特徴もまた、姿勢推定に使用することができる。第1に、2D線は、基準パッチ上で検出される。2つの端点(xl、yl)および(x2、y2)で表される任意の検出された2D線については、その対応する3D線は、2つの3D点(sxl、syl、0)および(sx2、sy2、0)で表すことができる。第2に、それぞれの入ってくるビデオ画像上で3D線の2D投影を検出する。最後に、マッチした3D-2D線ペアを使用して、姿勢を推定する。
【００２０】
モバイルプラットフォーム100がパンして物体102から離れ、したがって物体102がもはやカメラ114の視野にない場合、物体102に対するモバイルプラットフォーム100の姿勢の追跡は、加速度計、ジャイロスコープ、磁気計などの、オンボードのモーションセンサを使用して行い続けることができる。モバイルプラットフォーム100が移動して、再び物体102を映す場合、画像内からの抽出された特徴、例えば抽出された特徴点もしくは数組の平行線によって境界を定められる線特徴、または矩形内のテクスチャを使用して、矩形を再検出および認識することができる。
【００２１】
矩形平面物体102があらかじめ決められた数のフレーム、例えば5フレーム内で検出されない場合、モバイルプラットフォーム100は、特徴付けに基づく追跡(featured based tracking)を使用することができ、姿勢はその後のフレームでの特徴の登録に基づいて初期設定される。
【００２２】
図6は、画像中の平面物体を検出する方法(図2のステップ204)を示すフローチャートである。平面物体は、画像内の数組の平行線を検出することによって認識される(250)。数組の平行線の消失点が決定される(252)。
【００２３】
図7は、平行線および消失点を識別する方法を示すフローチャートである。図に示すように、画像中の線を識別し(272)、これは例えば、エッジ画素を検出するCanny、Sobel、またはRoberts Crossのような畳み込みカーネルなど、任意の望ましいエッジまたは線検出オペレータを使用して行うことができ、エッジ画素がその後結ばれて、線セグメントに収められる。ハフ(Hough)変換などの直線当てはめ(line fitting)アルゴリズムのような代替方法も使用することができる。直線は次に、水平群および垂直群にグループ分けされる(274)。例えば、直線と画像上の垂直軸との間の角が、20度などの、あらかじめ決められた角よりも小さい場合、直線は垂直線として分類され、そうでない場合、直線は水平線として分類される。遠近法による短縮のために、画像は、3次元において平行であっても、2次元画像において平行ではない直線を含む可能性がある。3次元において互いに平行である垂直線の組が、次に測定される(276)。平行であって、3D空間で同じ平面上にある直線は、延長されると、2D画像上の同じ点を通過することになり、この点が、こうした直線の消失点として識別される。消失点は、必ずしもそうではないが、2D空間の無限遠の点である可能性がある。延長されると、2本の潜在的に平行な直線の延長の交点を識別することができ、次いで他の直線が同じ点を通過するかどうかを判断することができる。一般に、少なくとも5本の直線など、3本以上の直線が、2D空間の同じ点を通過するとき、こうした直線は、3D空間で平行であるとみなすことができる。3次元的平行線の垂直方向の消失点の位置が計算される(278)。
【００２４】
図8および図9は、消失点の決定を示す。図8は、カメラの中心位置306、画像300中の2次元の直線302、および3次元空間中の対応する直線304によって形成される平面308を示す。カメラの中心位置306を中心としてガウス(単位)球310が示され、平面308は、大円312でガウス球310に交差する。図9は、3次元空間中の直線304と、カメラの位置306とによって形成される平面308を、ガウス球310、および対応する大円312と共に示す。図9はまた、3次元空間中の直線304に平行な2本のさらなる直線320および330を、それぞれの直線320および330と、カメラの位置306と、対応する大円324および334とによって形成される平面322および332と共に示す。大円312、324、および334は、ガウス球310上の共通の消失点340で交差し、これを用いて平行線304、320、および330の方向を識別する。3次元空間において互いに平行である直線の組であるので、消失点Vは次の式を解くことによって求められる:
【００２５】
【数１】
2014522007.tif 000003
【００２６】
ここで、li=(ai、bi、ci)は、i番目の直線を表す。RANSAC (RANdom SAmple Consensus)などの方法を使用して、垂直方向の消失点を推定することができる。記載した消失点の推定方法は、画像がほぼ直立したカメラで作成されるとき、使用可能であることを理解すべきである。必要であれば、他の知られている消失点の推定方法を使用することができる。
【００２７】
垂直線については、決定すべき消失点は1つしかなく、したがって式1を1度だけ解けばよい。しかしながら水平線については、複数の消失点が考えられる。水平方向の消失点を決定するには、iを0に設定し(279)、RANSAC法を使用して、消失点vi、インライア(inlier)
【００２８】
【数２】
2014522007.tif 000004
【００２９】
およびアウトライア(outlier)
【００３０】
【数３】
2014522007.tif 000005
【００３１】
を計算する(280)。アウトライア
【００３２】
【数４】
2014522007.tif 000006
【００３３】
は、水平線群から取り除かれる(282)。i<M、かつ7以上の水平線が残っている場合(284)、iは1だけ増加され、方法は繰り返される。iがM以上である場合、または残っている水平線が6以下の場合(284)、方法は終了し、垂直方向の消失点および水平方向の消失点がメモリに格納される(288)。例として、値Mは5に、または使用される水平方向の消失点の数に対して任意の他の所望の値に設定することができる。
【００３４】
図6に戻ると、数組の平行線およびその消失点が決定されると、消失点を使用して、数組の平行線が互いに垂直であることを確認する(254)。例えば、図10は、図3に示すように、2D画像空間において同じ点を通過するので、3D空間において平行であるとして識別することができる第1の組の直線102xおよび第2の組の直線102yを有する物体102を示す。図3は、平行線102xからの消失点v1、および平行線102yからの消失点v2を示す。上述のように、3D空間における平行線を識別するには、物体の画像空間中の2より多い直線、例えば5以上の直線が、2D画像空間中の同じ点を通過しなければならない。直線が通過する点は、平行線の消失点とみなされる。例えば5以上の平行線の組から、例えば破線102Aおよび点線102Bで示す、2本の代表直線を選択することができる。代表直線は、連続性、長さ、または直線間の最大距離などの因子に基づいて選択することができる。数組の平行線の垂直関係は、|v1*v2|=0によって求められ、ここで*はドット積を表し、v1およびv2が3D同次座標で表される。画像中の考えられるノイズにより、v1*v2の絶対値は0よりわずかに大きくなる可能性があり、したがって、あらかじめ定められた閾値よりも小さい、ゼロに近い値を使用して、垂直関係を確認することができる。
【００３５】
図11のフローチャートに示す別の例では、平面物体を検出する方法(図2のステップ204)は、画像中の矩形を識別することによって行うことができる。画像中の矩形を検出するには、取込画像から輪郭を抽出する(350)。輪郭検出は、当技術分野でよく知られている。例えば、Square-Tracingアルゴリズム、Moore-Neighbor Tracing、Radial Sweepアルゴリズム、Theo Pavlidisのアルゴリズム、またはS. SuzkuiおよびK. Abeが「Topological Structural Analysis of Digital Binary Images by Border Following」、In Proc. Computer Vision、Graphics and Image、30(1985):32-46に記載する方法のような技術を使用することができる。次に輪郭内で矩形候補を識別することができる。例えば、抽出された輪郭は、Douglas-Peuckerアルゴリズムなど、多角形近似によってセグメント化することができる(352)。セグメント化された輪郭が4本の直線を有する場合、輪郭は矩形候補とみなされる(354)。必要であれば、矩形検出の他の技術を使用することができる。例えば、まず取込画像中の直線を検出し、続いて検出した直線を矩形に当てはめることによって、矩形を識別することができる。
【００３６】
矩形候補の数組の直線の消失点が決定され(356)、消失点を使用して、候補を矩形として確認する(358)。矩形候補を使用するとき、2本の直線のみを使用して消失点を識別することができるが、矩形候補なしに、すなわち上記の図7で述べたように消失点を見つけるとき、3本以上の直線を使用する。図12は、一例として、矩形候補として識別される物体102を示しており、図12では物体102の周囲を点で描いて示す。矩形候補102は、矩形候補上の向かい合う直線の消失点を使用して、例えば、直線対103aおよび103cならびに直線対103bおよび103dを使用して、矩形として確認される。矩形候補の直線対の消失点は、例えば、直線103aおよび103cをカメラ座標系における3Dベクトル1aおよび1cとして表すことによって計算することができ、消失点v1=1ax1c、および同様に消失点v2=1bx1d、ここで1aは直線103aを描くベクトルであり、1bは直線103bを描くベクトルである。直線対103a、103c、および103b、103dが互いに垂直である場合、矩形候補は、矩形として確認される。上述のように、数組の平行線の垂直関係は、|v1*v2|=0によって確認され、ここで*はドット積を表す。画像中に2つ以上の矩形が検出される場合、例えば、最大面積、ユーザの選択などに基づいて、1つの矩形を選択することができる。
【００３７】
しかしながら、矩形確認に|v1*v2|=0の直交条件を使用する(図11のステップ358)と、誤判定(false-positive)につながる可能性がある、すなわち矩形ではない形状が、矩形として分類される恐れがある。例えば、図13に示すように、上にある物体102として台形102falseを示す。この台形102falseは、誤判定の矩形を生成する可能性がある。したがって、図11に示すように、誤判定の矩形を削除する(360)。
【００３８】
図14は、誤判定の矩形を削除する(図11のステップ360)方法を示す。図14に示すように、画像平面において隣接する辺同士の間に形成される角が閾値を超える矩形を削除する(400)。一般に、矩形を真正面の位置から見る、すなわち垂線に対して0°で見るとき、矩形の辺は直角となる。矩形を斜角で、例えば垂線から45°から60°で見ると、画像空間における矩形の隣接する辺同士の間の角は、直角から外れる。垂線から45°から60°の視野角によって引き起こされる直角からのずれ、すなわち図13における角αは、およそ15°から20°である。したがって、矩形の隣接する辺同士の間の偏差角αの閾値、例えば15°から20°を使用して、誤判定の矩形を削除することができる。言い換えれば、90°-αから90°+αの範囲外である、隣接する辺同士の間の角を有するいかなる矩形も、誤判定の矩形とみなされる。必要であれば、他の閾値を使用することができ、必要であれば、閾値は変動することが可能である。例えば、閾値は、矩形の大きさに基づくことができる。矩形の隣接する辺同士の間の角度に制限を課すことにより、かなりの数の誤判定の矩形が破棄される。
【００３９】
さらに、複数の矩形が検出される場合、検出された矩形の方位、すなわち各矩形の平面法線に基づいて、1つの矩形が選択される(402)。したがって、検出された矩形の集合から最も安定した方位を有する矩形が選択され、残りは削除される。例えば、検出された各矩形を、個々の方位の間隔に基づいて、いくつかのビン(bin)の1つに割り当てることができる。最大数の矩形を有するビンからの矩形および/またはビンの平均配向に最も近い矩形を選択することができる。
【００４０】
図15は、例えばAR型アプリケーションなど、測位および追跡のために、オンザフライで、未知の環境の基準パッチを生成することができるモバイルプラットフォーム100のブロック図を示す。モバイルプラットフォーム100は、写真またはビデオのフレームとすることができる、環境の画像を取り込むためのカメラ114を含むとして示す。モバイルプラットフォーム100はまた、例えばモバイルプラットフォーム100が検出された物体から離れてパンする場合、モバイルプラットフォーム100がその位置および方位を判断することができるデータを提供するために使用することができる方位センサ116を含むことができる。モバイルプラットフォーム100と共に使用することができる方位センサの例には、加速度計、水晶センサ、ジャイロスコープ、または、直線加速度計ならびに磁気計として使用される磁気微小電気機械システム(MEMS)のセンサが含まれる。モバイルプラットフォーム100はさらに、無線トランシーバ118を含むことができ、これを使用して、直接に、または無線ワイドエリアネットワーク(WWAN)、無線ローカルエリアネットワーク(WLAN)、無線パーソナルエリアネットワーク(WPAN)などである、無線ネットワーク120(図5)を介して、あるいはセルラ式電話のアクセスポイントを介して、生成された基準パッチを他のモバイルプラットフォームに提供することができる。
【００４１】
またモバイルプラットフォーム100は、例えば環境ならびに必要であればレンダリングされたARデータの画像を表示することができるディスプレイ112を組み込んだユーザインタフェース150を含むことができる。またユーザインタフェース150は、キーパッド154または他の入力デバイスを含むことができ、これによりユーザは、情報をモバイルプラットフォーム100に入力することができる。必要であれば、タッチセンサを備えたディスプレイ152に仮想キーパッドを組み込むことによって、キーパッド154を不要にすることができる。またユーザインタフェース150は、例えばモバイルプラットフォームが携帯電話である場合、マイク156およびスピーカ158を含むことができる。当然ながら、モバイルプラットフォーム100は、本開示とは無関係の他の要素を含むことができる。
【００４２】
またモバイルプラットフォーム100は、任意の他の所望の機能と共に、カメラ114、方位センサ116、および無線トランシーバ118、ならびにユーザインタフェース150に接続され、これらと通信する制御ユニット170を含むことができる。制御ユニット170は、プロセッサ172、およびソフトウェア176を含むことができる関連するメモリ/ストレージ174、ならびにハードウェア178、およびファームウェア180によって提供することができる。制御ユニット170は、画像中の矩形平面物体を検出する、ならびに画像をワープして基準パッチを生成するための画像処理エンジン182を含む。制御ユニット170はさらに、視覚に基づく検出および追跡ユニット184を含むことができ、これは、基準パッチ中の矩形平面物体を使用して、矩形平面物体のその後に生成される画像と比較して、モバイルプラットフォーム100の姿勢を判断するために使用される。制御ユニット170はさらに、判断された姿勢に応じてARデータをレンダリングするためのグラフィック処理ユニット(GPU)186を含むことができ、その後ARデータをディスプレイ112に表示することができる。GPU186はまた、汎用プログラミング技術に使用して、コンピュータの画像計算処理を加速することができる。画像処理エンジン、検出および追跡ユニット184、およびGPU186は、明確にするために、別個に、プロセッサ172から切り離して示しているが、プロセッサ172で実行されるソフトウェア176の命令に基づいて、結合する、および/またはプロセッサ172に実装することができる。
【００４３】
本明細書で使用するプロセッサ172、ならびに画像処理エンジン182、検出および追跡ユニット184、およびGPU186のうちの1つまたは複数は、1つまたは複数のマイクロプロセッサ、埋め込みプロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含むことができるが、必ずしも含む必要がないことを理解されるであろう。プロセッサという用語は、特定のハードウェアではなくシステムによって実行される機能を示すよう意図されている。さらに、本明細書で使用する「メモリ」および「ストレージ」という用語は、モバイルプラットフォームと関連する長期メモリ、短期メモリ、または他のメモリを含む、いかなるタイプのコンピュータ記憶媒体も指し、メモリまたはいくかのメモリのいかなる特定のタイプ、あるいはメモリが格納される媒体のタイプにも限定されないものとする。
【００４４】
本明細書に記載する方法は、用途に応じて様々な手段によって実行することができる。例えばこうした方法は、ハードウェア178、ファームウェア180、ソフトウェア176、またはその任意の組合せで実行することができる。ハードウェアによる実行については、画像処理エンジン、検出および追跡ユニット184、ならびにGPU186を、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載する機能を実行するように設計された他の電子ユニット、またはその組合せの中に実装することができる。
【００４５】
ファームウェアおよび/またはソフトウェアによる実行については、本明細書に記載する機能を実行するモジュール(例えばプロシージャ、関数など)を用いて、方法を実装することができる。本明細書に記載する方法を実行する際に、命令を実体的に組み入れるいかなる機械可読媒体も使用することができる。例えば、ソフトウェアコードをメモリ174に格納し、プロセッサ172によって実行することができる。メモリは、プロセッサ172の内部にまたは外部に実装することができる。
【００４６】
ファームウェアおよび/またはソフトウェアで実行される場合、機能は、コンピュータ可読媒体上に1つまたは複数の命令またはコードとして格納することができる。例には、データ構造でコード化された非一時的コンピュータ可読媒体、およびコンピュータプログラムでコード化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータがアクセスすることができるいかなる入手可能な媒体であってもよい。例として、限定ではないが、このようなコンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶装置、または、所望のプログラムコードを命令もしくはデータ構造の形式で格納するために使用することができ、コンピュータによりアクセス可能である他のいかなる媒体も含むことができ、本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(CD：compact disc)、レーザディスク(laser disc)、光ディスク(optical disc)、デジタル多用途ディスク(DVD: digital versatile disc)、フロッピー(登録商標)ディスク(floppy disk)、およびブルーレイディスク(blu-ray disc)を含み、ディスク(disk)は通常磁気的にデータを再生し、ディスク(disc)はレーザを使用して光学的にデータを再生する。上記のものの組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【００４７】
本発明を説明の目的で特定の実施形態に関連して示したが、本発明はこれに限定されない。本発明の範囲を逸脱することなく、様々な改造および変更を行うことができる。したがって、添付の特許請求の範囲の趣旨および範囲は、前述の説明に限定されるべきではない。
【符号の説明】
【００４８】
100  モバイルプラットフォーム
102  物体
104  環境
106  基準パッチ
112  ディスプレイ
114  カメラ
116  方位センサ
118  無線トランシーバ
120  無線ネットワーク
150  ユーザインタフェース
152  ディスプレイ
154  キーパッド
156  マイク
158  スピーカ
170  制御ユニット
172  プロセッサ
174  メモリ
176  ソフトウェア
178  ハードウェア
180  ファームウェア
182  画像処理エンジン
184  検出および追跡ユニット
186  グラフィック処理ユニット
【図１】
2014522007.tif 000007
【図２】
2014522007.tif 000008
【図３】
2014522007.tif 000009
【図４】
2014522007.tif 000010
【図５】
2014522007.tif 000011
【図６】
2014522007.tif 000012
【図７】
2014522007.tif 000013
【図８】
2014522007.tif 000014
【図９】
2014522007.tif 000015
【図１０】
2014522007.tif 000016
【図１１】
2014522007.tif 000017
【図１２】
2014522007.tif 000018
【図１３】
2014522007.tif 000019
【図１４】
2014522007.tif 000020
【図１５】
2014522007.tif 000021
【手続補正書】
【提出日】平成25年11月29日(2013.11.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モバイルプラットフォームで、第2の組の平行線に垂直である第1の組の平行線を含む平面物体の1つの画像を取り込むステップと、
前記第1の組の平行線の第1の消失点、および前記第2の組の平行線の第2の消失点を使用して、前記1つの画像中の前記平面物体を検出して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するステップと、
前記第1の組の平行線の前記第1の消失点を使用して世界座標系の第1の軸を定義し、前記第2の組の平行線の前記第2の消失点を使用して前記世界座標系の第2の軸を定義するステップと、
前記第1の軸および前記第2の軸を使用してカメラの回転を回復するステップと、
回復された前記カメラの回転を使用して前記平面物体の前記1つの画像の少なくとも一部の基準パッチを生成するステップと、
前記基準パッチを前記平面物体のさらなる取込画像と比較して、前記平面物体に対する前記モバイルプラットフォームの姿勢を推定するステップと
を含む、方法。
【請求項２】
前記平面物体に対する前記モバイルプラットフォームの前記姿勢を使用して、前記モバイルプラットフォーム上で拡張現実アプリケーションを実行するステップ
をさらに含む、請求項1に記載の方法。
【請求項３】
前記1つの画像中の前記平面物体を検出するステップが、
前記1つの画像中の前記第1の組の平行線および前記第2の組の平行線を検出するステップと、
前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するステップと、
前記第1の消失点および前記第2の消失点を使用して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するステップと
を含む、請求項1に記載の方法。
【請求項４】
前記1つの画像中の前記第1の組の平行線および前記第2の組の平行線を検出し、前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するステップが、
同じ消失点を通って延びる数組の直線を識別することによって、3次元空間で同じ方向を有する前記1つの画像中の複数の組の直線を検出するステップ
を含む、請求項3に記載の方法。
【請求項５】
前記平面物体が矩形であり、前記1つの画像中の前記平面物体を検出するステップが、矩形の検出を含む、請求項1に記載の方法。
【請求項６】
前記矩形の検出が、
前記1つの画像から輪郭を抽出するステップと、
前記輪郭中の矩形候補を識別するステップと、
前記矩形候補の前記第1の組の平行線の前記第1の消失点および前記矩形候補中の前記第2の組の平行線の前記第2の消失点を決定し、前記第1の消失点および前記第2の消失点を使用して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断することによって、前記輪郭が矩形であることを確認するステップと
を含む、請求項5に記載の方法。
【請求項７】
前記輪郭中の前記矩形候補を識別するステップが、多角形近似により直線を有する前記輪郭をセグメント化するステップを含み、4本の直線を有するセグメント化された輪郭が、前記矩形候補とみなされる、請求項6に記載の方法。
【請求項８】
前記矩形の検出が、検出された矩形の隣接する辺同士の間の角が閾値よりも小さい場合、前記検出された矩形を削除するステップを含む、請求項5に記載の方法。
【請求項９】
前記矩形の検出が、複数の矩形を検出するステップと、前記複数の矩形の方位を、前記複数の矩形のそれぞれを含む平面の表面法線として判断するステップと、前記複数の矩形の前記方位に基づいて矩形を選択するステップとを含む、請求項5に記載の方法。
【請求項１０】
前記平面物体の前記1つの画像の少なくとも前記一部の前記基準パッチが、前記第1の組の平行線および前記第2の組の平行線によって定められるキーポイント特徴を含む、請求項1に記載の方法。
【請求項１１】
前記平面物体の前記1つの画像の少なくとも前記一部の前記基準パッチが、前記第1の組の平行線および前記第2の組の平行線によって定められる線特徴を含む、請求項1に記載の方法。
【請求項１２】
前記第1の組の平行線および前記第2の組の平行線の定められる前記線特徴が、前記第1の組の平行線と前記第2の組の平行線との間の交点を含む、前記第1の組の平行線および前記第2の組の平行線上の複数の点を含む、請求項11に記載の方法。
【請求項１３】
前記平面物体の前記1つの画像の少なくとも前記一部の前記基準パッチが、前記第1の組の平行線および前記第2の組の平行線によって定められない特徴を含む、請求項1に記載の方法。
【請求項１４】
前記基準パッチを第2のモバイルプラットフォームに送信することをさらに含む、請求項1に記載の方法。
【請求項１５】
第2の組の平行線に垂直である第1の組の平行線を含む平面物体の画像を取り込むためのカメラと、
前記平面物体の前記画像を受信するために前記カメラに結合されたプロセッサであって、前記第1の組の平行線の第1の消失点、および前記第2の組の平行線の第2の消失点を使用して、前記画像中の前記平面物体を検出して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断し、前記第1の組の平行線の前記第1の消失点を使用して世界座標系の第1の軸を定義し、前記第2の組の平行線の前記第2の消失点を使用して前記世界座標系の第2の軸を定義し、前記第1の軸および前記第2の軸を使用してカメラの回転を回復し、回復した前記カメラの回転を使用して前記平面物体の前記1つの画像の少なくとも一部の基準パッチを生成し、前記基準パッチを前記平面物体のさらなる取込画像と比較して、前記平面物体に対する姿勢を推定するようになされたプロセッサと
を備える、装置。
【請求項１６】
前記プロセッサがさらに、前記平面物体に対する前記姿勢を使用して拡張現実アプリケーションを実行するようになされた、請求項15に記載の装置。
【請求項１７】
前記プロセッサが、前記画像中の前記第1の組の平行線および前記第2の組の平行線を検出するようになされることによって、前記画像中の前記平面物体を検出し、前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定し、前記第1の消失点および前記第2の消失点を使用して前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するようになされた、請求項15に記載の装置。
【請求項１８】
前記プロセッサが、前記画像中の前記第1の組の平行線および前記第2の組の平行線を検出し、同じ消失点を通って延びる数組の直線を識別して3次元空間において同じ方向を有する、前記画像中の複数の組の直線を検出するようになされることによって、前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するようになされた、請求項17に記載の装置。
【請求項１９】
前記平面物体が矩形であり、前記プロセッサが、矩形を検出するようになされることによって前記画像中の前記平面物体を検出するようになされた、請求項15に記載の装置。
【請求項２０】
前記プロセッサが、前記画像から輪郭を抽出し、前記輪郭中の矩形候補を識別し、前記矩形候補の前記第1の組の平行線の前記第1の消失点および前記矩形候補中の前記第2の組の平行線の前記第2の消失点を決定すること、ならびに前記第1の消失点および前記第2の消失点を使用して前記第1の組の平行線が前記第2の組の平行線に垂直であると判断することによって前記輪郭が矩形であることを確認するようになされることによって、矩形を検出するようになされた、請求項19に記載の装置。
【請求項２１】
前記プロセッサが、多角形近似により直線を有する前記輪郭をセグメント化するようになされることによって前記輪郭中の前記矩形候補を識別するようになされ、4本の直線を有するセグメント化された輪郭が、前記矩形候補とみなされる、請求項20に記載の装置。
【請求項２２】
前記プロセッサが、検出された矩形の隣接する辺同士の間の角が閾値よりも小さい場合、前記検出された矩形を削除するようになされることによって、矩形を検出するようになされた、請求項19に記載の装置。
【請求項２３】
前記プロセッサが、複数の矩形を検出し、前記複数の矩形の方位を、前記複数の矩形のそれぞれを含む平面の表面法線として判断し、前記複数の矩形の前記方位に基づいて矩形を選択するようになされることによって、矩形を検出するようになされた、請求項19に記載の装置。
【請求項２４】
前記プロセッサが、前記第1の組の平行線および前記第2の組の平行線によって定められるキーポイント特徴を有する前記基準パッチを生成するようになされることによって、前記画像の少なくとも前記一部の前記基準パッチを生成するようになされた、請求項15に記載の装置。
【請求項２５】
前記プロセッサが、前記第1の組の平行線および前記第2の組の平行線によって定められる線特徴を有する前記基準パッチを生成するようになされることによって、前記画像の少なくとも前記一部の前記基準パッチを生成するようになされた、請求項15に記載の装置。
【請求項２６】
前記プロセッサが、前記第1の組の平行線と前記第2の組の平行線との間の交点を含む、前記第1の組の平行線および前記第2の組の平行線上の複数の点を有する前記線特徴を生成するようになされることによって、前記線特徴を有する前記基準パッチを生成するようになされた、請求項25に記載の装置。
【請求項２７】
前記プロセッサが、前記第1の組の平行線および前記第2の組の平行線によって定められない特徴を有する前記基準パッチを生成するようになされることによって、前記画像の少なくとも前記一部の前記基準パッチを生成するようになされた、請求項15に記載の装置。
【請求項２８】
前記プロセッサに結合された無線トランシーバをさらに備え、前記プロセッサが、前記無線トランシーバを使用して異なる装置へ前記基準パッチを送信するようにさらになされた、請求項15に記載の装置。
【請求項２９】
第2の組の平行線に垂直である第1の組の平行線を含む平面物体の1つの画像を取り込むための手段と、
前記第1の組の平行線の第1の消失点、および前記第2の組の平行線の第2の消失点を使用して、前記1つの画像中の前記平面物体を検出して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するための手段と、
前記第1の組の平行線の前記第1の消失点を使用して世界座標系の第1の軸を定義し、前記第2の組の平行線の前記第2の消失点を使用して前記世界座標系の第2の軸を定義するための手段と、
前記第1の軸および前記第2の軸を使用してカメラの回転を回復するための手段と、
回復された前記カメラの回転を使用して前記平面物体の前記1つの画像の少なくとも一部の基準パッチを生成するための手段と、
前記基準パッチを前記平面物体のさらなる取込画像と比較して、前記平面物体に対する姿勢を推定するための手段と
を備える、装置。
【請求項３０】
前記平面物体に対する前記姿勢を使用して拡張現実アプリケーションを実行するための手段
をさらに備える、請求項29に記載の装置。
【請求項３１】
前記1つの画像中の前記平面物体を検出するための前記手段が、
前記1つの画像中の前記第1の組の平行線および前記第2の組の平行線を検出するための手段と、
前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するための手段と、
前記第1の消失点および前記第2の消失点を使用して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するための手段と
を含む、請求項29に記載の装置。
【請求項３２】
前記平面物体が矩形であり、前記1つの画像中の前記平面物体を検出するための前記手段が、矩形の検出のための手段を含む、請求項29に記載の装置。
【請求項３３】
矩形の検出のための前記手段が、誤判定の矩形を削除するための手段を含む、請求項32に記載の装置。
【請求項３４】
前記基準パッチを送信するための手段をさらに含む、請求項29に記載の装置。
【請求項３５】
格納されたプログラムコードを含む非一時的コンピュータ可読記録媒体であって、
第1の組の平行線の第1の消失点、および第2の組の平行線の第2の消失点を使用して、前記第2の組の平行線に垂直である前記第1の組の平行線を有する、画像中の平面物体を検出して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するためのプログラムコードと、
前記第1の組の平行線の前記第1の消失点を使用して世界座標系の第1の軸を定義し、前記第2の組の平行線の前記第2の消失点を使用して前記世界座標系の第2の軸を定義するためのプログラムコードと、
前記第1の軸および前記第2の軸を使用してカメラの回転を回復するためのプログラムコードと、
回復された前記カメラの回転を使用して前記平面物体の前記画像の少なくとも一部の基準パッチを生成するためのプログラムコードと、
前記基準パッチを前記平面物体のさらなる取込画像と比較して、前記平面物体に対する姿勢を推定するためのプログラムコードと
を含む、非一時的コンピュータ可読記録媒体。
【請求項３６】
前記画像中の前記平面物体を検出するための前記プログラムコードが、
前記画像中の前記第1の組の平行線および前記第2の組の平行線を検出するためのプログラムコードと、
前記第1の組の平行線の前記第1の消失点および前記第2の組の平行線の前記第2の消失点を決定するためのプログラムコードと、
前記第1の消失点および前記第2の消失点を使用して、前記第1の組の平行線が前記第2の組の平行線に垂直であると判断するためのプログラムコードと
を含む、請求項35に記載の非一時的コンピュータ可読記録媒体。
【請求項３７】
前記平面物体が矩形であり、前記画像中の前記平面物体を検出するための前記プログラムコードが、矩形の検出を行うためのプログラムコードを含む、請求項35に記載の非一時的コンピュータ可読記録媒体。
【請求項３８】
誤判定の矩形を削除するためのプログラムコードをさらに含む、請求項37に記載の非一時的コンピュータ可読記録媒体。
【国際調査報告】
2014522007.tif 000022
2014522007.tif 000023
2014522007.tif 000024