(57)【特許請求の範囲】
【請求項１】
3次元(3D)物体を追跡する方法であって、
モバイルデバイスにおいて前記3D物体の追跡画像を受信するステップと、
前記3D物体の前記追跡画像の特徴点を抽出するステップと、
少なくとも1つの既知のパターンを含む追跡背景を背景として配置された前記3D物体の1組の2次元(2D)画像の特徴点を含むデータベースと前記3D物体の前記追跡画像の前記特徴点を比較するステップと、
前記追跡画像の前記特徴点が、前記データベース内の前記1組の2D画像のうちの１又は複数の画像の特徴点と一致するかどうかを判定するステップと、
前記追跡画像の前記特徴点が前記データベース内の前記1組の2D画像のうちの前記1又は複数の画像の前記特徴点に一致するとの判定に応答して、前記モバイルデバイスのディスプレイに前記追跡画像に関する情報を供給するステップとを含む方法。
【請求項２】
前記データベースは、
前記追跡背景によって、前記3D物体の複数の視野角を含む、前記3D物体の前記1組の2D画像を取り込み、
前記3D物体の特徴点の第1のサブセットと前記追跡背景の特徴点の第2のサブセットとを含む1組の特徴点を各2D画像から抽出し、
前記1組の特徴点を前記データベースに格納することによって構成される、請求項1に記載の方法。
【請求項３】
共通の座標系に対する前記1組の2D画像の対応する姿勢情報を記録するステップと、
前記1組の特徴点を前記データベースに格納するステップとをさらに含む、請求項2に記載の方法。
【請求項４】
前記データベースと前記3D物体の前記追跡画像の前記特徴点を比較するステップは、
前記追跡画像と前記データベース内の前記1組の2D画像との間で一致した特徴点の数に対して累積投票を実行するステップと、
一致した特徴点の数に対する前記累積投票に従って前記1組の2D画像から少なくとも1つの代表的な画像を特定するステップとを含む、請求項1に記載の方法。
【請求項５】
前記データベースと前記3D物体の前記追跡画像の前記特徴点を比較するステップは、
最大数の一致した特徴点を有する前記少なくとも1つの代表的な画像から前記追跡画像の代表的な姿勢を推定するステップをさらに含む、請求項4に記載の方法。
【請求項６】
前記データベースと前記3D物体の前記追跡画像の前記特徴点を比較するステップは、
前記代表的な画像のうちの2つ以上の画像から得た特徴点をマージすることによって1組のマージされた特徴点を作成するステップと、
前記1組のマージされた特徴点に従って前記追跡画像の代表的な姿勢を推定するステップとをさらに含む、請求項4に記載の方法。
【請求項７】
前記追跡画像に関する情報を供給するステップは、
前記受信した追跡画像の姿勢情報を供給するステップを含む、請求項1に記載の方法。
【請求項８】
前記追跡画像に関する情報を供給するステップは、
前記追跡画像の前記姿勢情報に従ってモバイルデバイス上でアニメーションアプリケーションをサポートするための情報を供給するステップをさらに含む、請求項7に記載の方法。
【請求項９】
前記追跡画像に関する情報を供給するステップは、
前記追跡画像の前記姿勢情報に従ってモバイルデバイス上で拡張現実アプリケーションをサポートするための情報を供給するステップをさらに含む、請求項7に記載の方法。
【請求項１０】
1つまたは複数のコンピュータシステムにより実行され、非一時的記憶媒体に記憶される、3次元(3D)物体を追跡するためのコンピュータプログラムであって、
モバイルデバイスにおいて前記3D物体の追跡画像を受信するためのコードと、
前記3D物体の前記追跡画像の特徴点を抽出するためのコードと、
少なくとも1つの既知のパターンを含む追跡背景を背景として配置された前記3D物体の1組の2次元(2D)画像の特徴点を含むデータベースと前記3D物体の前記追跡画像の前記特徴点を比較するためのコードと、
前記追跡画像の前記特徴点が前記データベース内の前記1組の前記2D画像のうちの1又は複数の画像の特徴点と一致するかどうかを判定するためのコードと、
前記追跡画像の前記特徴点が前記データベース内の前記1組の2D画像のうちの前記1又は複数の画像の前記特徴点に一致するとの判定に応答して、前記モバイルデバイスのディスプレイに前記追跡画像に関する情報を供給するためのコードとを含むコンピュータプログラム。
【請求項１１】
前記データベースは、
前記追跡背景によって、前記3D物体の複数の視野角を含む、前記3D物体の前記1組の2D画像を取り込むためのコードと、
前記3D物体の特徴点の第1のサブセットと前記追跡背景の特徴点の第2のサブセットとを含む1組の特徴点を各2D画像から抽出するためのコードと、
前記1組の特徴点を前記データベースに格納するためのコードとによって構成される、請求項10に記載のコンピュータプログラム。
【請求項１２】
共通の座標系に対する前記1組の2D画像の対応する姿勢情報を記録するためのコードと、
前記1組の特徴点を前記データベースに格納するためのコードとをさらに含む、請求項11に記載のコンピュータプログラム。
【請求項１３】
前記3D物体の前記追跡画像の前記特徴点を前記データベースと比較するためのコードは、
前記追跡画像と前記データベース内の前記1組の2D画像との間で一致した特徴点の数に対して累積投票を実行するためのコードと、
一致した特徴点の数に対する前記累積投票に従って前記1組の2D画像から少なくとも1つの代表的な画像を特定するためのコードとを含む、請求項10に記載のコンピュータプログラム。
【請求項１４】
前記3D物体の前記追跡画像の前記特徴点を前記データベースと比較するためのコードは、
最大数の一致した特徴点を有する前記少なくとも1つの代表的な画像から前記追跡画像の代表的な姿勢を推定するためのコードをさらに含む、請求項13に記載のコンピュータプログラム。
【請求項１５】
前記3D物体の前記追跡画像の前記特徴点を前記データベースと比較するためのコードは、
前記代表的な画像のうちの2つ以上の画像から得た特徴点をマージすることによって1組のマージされた特徴点を作成するためのコードと、
前記1組のマージされた特徴点に従って前記追跡画像の代表的な姿勢を推定するためのコードとをさらに含む、請求項13に記載のコンピュータプログラム。
【請求項１６】
前記追跡画像に関する情報を供給するためのコードは、
前記受信した追跡画像の姿勢情報を供給するためのコードを含む、請求項10に記載のコンピュータプログラム。
【請求項１７】
前記追跡画像に関する情報を供給するためのコードは、
前記追跡画像の前記姿勢情報に従ってモバイルデバイス上でアニメーションアプリケーションをサポートするための情報を供給するためのコードをさらに含む、請求項16に記載のコンピュータプログラム。
【請求項１８】
前記追跡画像に関する情報を供給するためのコードは、
前記追跡画像の前記姿勢情報に従ってモバイルデバイス上で拡張現実アプリケーションをサポートするための情報を供給するためのコードをさらに含む、請求項16に記載のコンピュータプログラム。
【請求項１９】
モバイルデバイスであって、
前記モバイルデバイスの動作を制御するように構成された少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと協働するように構成された3D物体追跡モジュールとを含み、前記3D物体追跡モジュールは、
前記モバイルデバイスにおいて前記3D物体の追跡画像を受信するように構成された論理部と、
前記3D物体の前記追跡画像の特徴点を抽出するように構成された論理部と、
少なくとも1つの既知のパターンを含む追跡背景を背景として配置された3D物体の1組の2次元(2D)画像の特徴点を含むデータベースと前記3D物体の前記追跡画像の前記特徴点を比較するように構成された論理部と、
前記追跡画像の前記特徴点が、前記データベース内の前記1組の2D画像のうちの１又は複数の画像の特徴点と一致するかどうかを判定するように構成された論理部と、
前記追跡画像の前記特徴点が前記データベース内の前記1組の2D画像のうちの前記１又は複数の画像の前記特徴点と一致するとの判定に応答して、前記モバイルデバイスのディ
スプレイに前記追跡画像に関する情報を供給するように構成された論理部とを含む、モバイルデバイス。
【請求項２０】
前記データベースは、
前記追跡背景によって、前記3D物体の複数の視野角を含む、前記3D物体の前記1組の2D画像を取り込むように構成された論理部と、
前記3D物体の特徴点の第1のサブセットと前記追跡背景の特徴点の第2のサブセットとを含む1組の特徴点を各2D画像から抽出するように構成された論理部と、
前記1組の特徴点を前記データベースに格納するように構成された論理部とによって構成される、請求項19に記載のモバイルデバイス。
【請求項２１】
共通の座標系に対する前記1組の2D画像の対応する姿勢情報を記録するように構成された論理部と、
前記1組の特徴点を前記データベースに格納するように構成された論理部とをさらに含む、請求項20に記載のモバイルデバイス。
【請求項２２】
前記3D物体の前記追跡画像の前記特徴点を前記データベースと比較するように構成された論理部は、
前記追跡画像と前記データベース内の前記1組の2D画像との間で一致した特徴点の数に対して累積投票を実行するように構成された論理部と、
一致した特徴点の数に対する前記累積投票に従って前記1組の2D画像から少なくとも1つの代表的な画像を特定するように構成された論理部とを含む、請求項19に記載のモバイルデバイス。
【請求項２３】
前記3D物体の前記追跡画像の前記特徴点を前記データベースと比較するように構成された論理部は、
最大数の一致した特徴点を有する前記少なくとも1つの代表的な画像から前記追跡画像の代表的な姿勢を推定するように構成された論理部をさらに含む、請求項22に記載のモバイルデバイス。
【請求項２４】
前記3D物体の前記追跡画像の前記特徴点を前記データベースと比較するように構成された論理部は、
前記代表的な画像のうちの2つ以上の画像から得た特徴点をマージすることによって1組のマージされた特徴点を作成するように構成された論理部と、
前記1組のマージされた特徴点に従って前記追跡画像の代表的な姿勢を推定するように構成された論理部とをさらに含む、請求項22に記載のモバイルデバイス。
【請求項２５】
前記追跡画像に関する情報を供給するように構成された論理部は、
前記受信した追跡画像の姿勢情報を供給するように構成された論理部を含む、請求項19に記載のモバイルデバイス。
【請求項２６】
前記追跡画像に関する情報を供給するように構成された論理部は、
前記追跡画像の前記姿勢情報に従って前記モバイルデバイス上でアニメーションアプリケーションをサポートするための情報を供給するように構成された論理部をさらに含む、
請求項25に記載のモバイルデバイス。
【請求項２７】
前記追跡画像に関する情報を供給するように構成された論理部は、
前記追跡画像の前記姿勢情報に従って前記モバイルデバイス上で拡張現実アプリケーションをサポートするための情報を供給するように構成された論理部をさらに含む、請求項25に記載のモバイルデバイス。
【請求項２８】
装置であって、
前記装置の動作を制御するように構成された少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと協働するように構成された3D物体追跡モジュールとを含み、前記3D物体追跡モジュールは、
前記装置において前記3D物体の追跡画像を受信するための手段と、
前記3Dの前記追跡画像の特徴点を抽出するための手段と、
少なくとも1つの既知のパターンを含む追跡背景を背景として配置された3D物体の1組の2次元(2D)画像の特徴点を含むデータベースと前記3Dの前記追跡画像の前記特徴点を比較するための手段と、
前記追跡画像の前記特徴点が前記データベース内の前記1組の2D画像のうちの1又は複数の画像の特徴点と一致するかどうかを判定するための手段と、
前記追跡画像の前記特徴点が前記データベース内の前記1組の2D画像のうちの1又は複数の画像の特徴点と一致するとの判定に応答して、前記装置のディスプレイに前記追跡画像に関する情報を供給するための手段を含む、装置。
【請求項２９】
前記データベースは、
前記追跡背景によって、前記3D物体の複数の視野角を含む、前記3D物体の前記1組の2D画像を取り込むための手段と、
前記3D物体の特徴点の第1のサブセットと前記追跡背景の特徴点の第2のサブセットとを含む1組の特徴点を各2D画像から抽出するための手段と、
前記1組の特徴点を前記データベースに格納するための手段とによって構成される、請求項28に記載の装置。
【請求項３０】
共通の座標系に対する前記1組の2D画像の対応する姿勢情報を記録するための手段と、
前記1組の特徴点を前記データベースに格納するための手段とをさらに備える、請求項29に記載の装置。
【請求項３１】
前記3D物体の前記追跡画像の前記特徴点を前記データベースと比較するための手段は、
前記追跡画像と前記データベース内の前記1組の2D画像との間で一致した特徴点の数に対して累積投票を実行するための手段と、
一致した特徴点の数に対する前記累積投票に従って前記1組の2D画像から少なくとも1つの代表的な画像を特定するための手段とを備える、請求項28に記載の装置。
【請求項３２】
前記3D物体の前記追跡画像の前記特徴点を前記データベースと比較するための手段は、
最大数の一致した特徴点を有する前記少なくとも1つの代表的な画像から前記追跡画像の代表的な姿勢を推定するための手段をさらに備える、請求項31に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、2011年11月29日に出願され「Tracking Three-Dimensional Objects」という名称を有する米国仮出願第61/564722号の利益を主張する、2012年4月18日に出願され「Tracking Three-Dimensional Objects」という名称を有する米国特許出願第13/450241号の利益を主張する。前述の米国出願は、その全体が参照により本明細書に組み込まれている。
【０００２】
本開示は、デジタル画像データ処理の分野に関する。特に、本開示は3次元物体の追跡に関する。
【背景技術】
【０００３】
従来のモデルベースの物体追跡は、物体の幾何学的特性に関する正確な知識を仮定する方法に限定される。しばしばこの制限によって、モデルベースの追跡は、物体の幾何学的特性が自明である平面物体に限定される。この限定によって、ポスターおよび製品パッケージなど、通常単純な物体よりも複雑な自然な3次元(3D)物体を追跡する際に問題が生じる。多くの場合、仮想のモデルは存在せず、そのような自然な3D物体についての代表的な従来のモデル取得プロセスは、極めて複雑であることがある。たとえば、従来の手法の1つでは3次元スキャナを使用して自然な物体をスキャンする。しかし、この手法は面倒でコストがかかることがあり、かつ3Dモデリングの特殊な技能が必要になることがある。その結果、この従来の手法は、非常に高価で複雑であるので大衆市場には展開できない。
【０００４】
したがって、従来の解決策の上記の問題点に対処することができる3D物体を追跡する装置および方法が必要である。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示は3次元物体の追跡に関する。本開示の実施形態によれば、3次元(3D)物体を追跡する方法は、少なくとも1つの既知のパターンを含む追跡背景を使用して3D物体の1組の2次元(2D)画像を格納するようにデータベースを構成することと、追跡画像を受け取ることと、追跡画像の特徴点に従って、追跡画像がデータベース内の少なくとも1つの画像と一致するかどうかを判定することと、追跡画像がデータベース内の少なくとも1つの画像と一致したことに応答して追跡画像に関する情報を供給することとを含む。
【０００６】
データベースを構成する方法は、追跡背景によって、3D物体の複数の視野角を含む、3D物体の1組の2D画像を取り込むことと、3D物体の特徴点の第1のサブセットおよび追跡背景の特徴点の第2のサブセットを含む1組の特徴点を各2D画像から抽出することと、特徴点の第1のサブセットをデータベースに格納することとも含む。データベースを構成する方法は、背景対象のパターンによって定義される共通の座標系に対する1組の2D画像の対応する姿勢情報を記録することと、1組の特徴点をデータベースに格納することとをさらに含む。
【０００７】
追跡画像がデータベース内の少なくとも1つの画像と一致するかどうかを判定する方法は、追跡画像から特徴点を抽出することと、追跡画像の特徴点をデータベース内の1組の2D画像の対応する特徴点と比較することとを含む。追跡画像の特徴点をデータベース内の1組の2D画像の対応する特徴点と比較する方法は、追跡画像とデータベース内の1組の2D画像との間で一致した特徴点の数に対して累積投票を実行することと、一致した特徴点の数に対する累積投票に従って1組の2D画像から少なくとも1つの代表的な画像を特定することとを含む。追跡画像の特徴点をデータベース内の1組の2D画像の対応する特徴点と比較する方法は、最大数の一致した特徴点を有する少なくとも1つの代表的な画像から追跡画像の代表的な姿勢を推定することをさらに含む。追跡画像の特徴点をデータベース内の1組の2D画像の対応する特徴点と比較する方法は、代表的な画像のうちの2つ以上の画像から特徴点をマージすることによって1組のマージされた特徴点を作成することと、1組のマージされた特徴点に従って追跡画像の代表的な姿勢を推定することとをさらに含む。
【０００８】
追跡画像に関する情報を供給する方法は、受け取られた追跡画像の姿勢情報を供給すること、追跡画像の姿勢情報に従ってモバイルデバイス上でアニメーションアプリケーションをサポートするための情報を供給すること、および追跡画像の姿勢情報に従ってモバイルデバイス上で拡張現実アプリケーションをサポートするための情報を供給することのうちの少なくとも1つを含む。
【０００９】
別の実施形態では、3次元物体を追跡するためのコンピュータプログラムは、1つまたは複数のコンピュータシステムによって実行できるコンピュータプログラムを記憶する非一時的媒体を含む。コンピュータプログラムは、少なくとも1つの既知のパターンを含む追跡背景を使用して3D物体の1組の2次元(2D)画像を格納するようにデータベースを構成するための符号と、追跡画像を受け取るための符号と、追跡画像の特徴点に従って、追跡画像がデータベース内の少なくとも1つの画像と一致するかどうかを判定するための符号と、追跡画像がデータベース内の少なくとも1つの画像と一致したことに応答して追跡画像に関する情報を供給するための符号とをさらに含む。
【００１０】
さらに別の実施形態では、モバイルデバイスは、モバイルデバイスの動作を制御するように構成された少なくとも1つのプロセッサと、少なくとも1つのプロセッサと協働するように構成された3D物体追跡モジュールとを備える。3D物体追跡モジュールは、少なくとも1つの既知のパターンを含む追跡背景を使用して3D物体の1組の2次元(2D)画像を格納するようにデータベースを構成するように構成された論理部と、追跡画像を受け取るように構成された論理部と、追跡画像の特徴点に従って、追跡画像がデータベース内の少なくとも1つの画像と一致するかどうかを判定するように構成された論理部と、追跡画像がデータベース内の少なくとも1つの画像と一致したことに応答して追跡画像に関する情報を供給するように構成された論理部とを含む。
【００１１】
さらに別の実施形態では、装置は、装置の動作を制御するように構成された少なくとも1つのプロセッサと、少なくとも1つのプロセッサと協働するように構成された3D物体追跡モジュールとを備える。3D物体追跡モジュールは、少なくとも1つの既知のパターンを含む追跡背景を使用して3D物体の1組の2次元(2D)画像を格納するようにデータベースを構成するための手段と、追跡画像を受け取るための手段と、追跡画像の特徴点に従って、追跡画像がデータベース内の少なくとも1つの画像と一致するかどうかを判定するための手段と、追跡画像がデータベース内の少なくとも1つの画像と一致したことに応答して追跡画像に関する情報を供給するための手段とを含む。
【００１２】
本開示の上述の特徴および利点、ならびに本開示の追加の特徴および利点は、以下の図面とともに本開示の実施形態の詳細な説明を読めば、より明確に理解できよう。
【図面の簡単な説明】
【００１３】
【図１】本開示のいくつかの態様による、物体の画像モデルを取得する方法を示す図である。
【図２ａ】本開示のいくつかの態様による、画像物体追跡を実行するように構成された装置のブロック図を示す図である。
【図２ｂ】本開示のいくつかの態様による、図2aの3D物体追跡モジュールによって実現される例示的なフローチャートを示す図である。
【図３】本開示のいくつかの態様による、3D物体を追跡する別の方法を示す図である。
【発明を実施するための形態】
【００１４】
3D物体を追跡する実施形態を開示する。以下の説明は、いかなる当業者でも本開示を作成し使用することができるように提示される。特定の実施形態および適用の説明は、例としてのみ提供される。本明細書で説明する例の様々な修正および組合せが当業者には容易に明らかであり、本明細書で定義した一般原理は、本開示の趣旨および範囲から逸脱することなく他の例およびアプリケーションに適用できる。したがって、本開示は、説明され示される例に限定されるものではなく、本明細書で開示される原理および特徴に一致する最大の範囲を与えられるものである。
【００１５】
図1は、本開示のいくつかの態様による、物体の画像モデルを取得する方法を示す。この例では、銅像102が追跡すべき3次元(3D)物体である。銅像102は、少なくとも1つの既知のパターンを含んでよい追跡背景104を背景として配置されている。銅像102を追跡するには、様々な観察方向から撮られた写真画像を106a〜106dによって表されるモバイルデバイスによって取り込むことができる。卵形108は、複数の写真画像を取り込んで銅像102の1組の2次元(2D)画像を形成することができることを示す。一手法では、視野角の10度おきに写真を撮ってよい。他の手法では、特徴検出に使用される特徴記述子および検出方法に基づいて視野角の5度、15度、20度、または60度おきに写真を撮ってよい。他の実施形態では、モデル取得プロセスは、追跡に使用されるデバイスおよびソフトウェアとは無関係にオフラインで実行されてよい。限定はしないが、フォトカメラ、カメラフォン、ウェブカメラ、およびその他の画像キャプチャデバイスを含む、多数の異なるデバイスを、写真画像を取り込むのに使用してよい。
【００１６】
図1に示すように、追跡背景104は、少なくとも1つの既知のパターンを含むマーカーボードまたは画像であってよい。そのような所定の既知のパターンを使用して背景に対するカメラ位置を判定してよい。この手法では、銅像およびマーカーボードの相対位置が固定されているので、銅像の一連の位置合わせされた画像を取得することができる。既知の追跡背景は、この例では背景(すなわち、マーカーボード)から前景(すなわち、銅像)を区分するのをさらに可能にする。この例では、追跡背景は20(4×5)個の固有のマーカーを含むことに留意されたい。他の実装形態では、絵画または20×20マーカーボードなどの異なる追跡背景を使用して、多数のマーカーが隠蔽されることがある状況においてロバストで正確な姿勢推定を可能にすることができる。他の手法では、写真画像を静的デバイスおよび追跡背景104から得てよく、ターンテーブルを使用して銅像102を制御してよい。別の手法では、絵画内の重なり合った領域を使用して前景物体の3D幾何学的モデルを作成してよい。さらに別の手法では、特徴点ならびに前景区分に関する追加の幾何学的情報を供給する合成色深度カメラまたはRGBD(赤緑青および深度)取得デバイスを使用してよい。
【００１７】
本開示の実施形態によれば、モデル取得は、3Dモデリングまたはコンピュータビジョンに慣れていない可能性があるユーザによって実行することができる。モバイルデバイス106aは、カメラを有するモバイル電話であってよく、カメラはモバイル電話製造業者または任意の他の較正方法もしくは写真を撮ることのできる任意の他のデバイスによって供給されるデータで較正されてよい。銅像102の1組の2D画像(基準画像とも呼ぶ)がモバイルデバイス106aによって取り込まれた後、これらの画像を使用して、銅像102の以後の追跡をサポートし、銅像に関する他の有用な情報およびアプリケーションを供給するためのデータベース(図示せず)を作成してよい。さらに、データベースに格納された1組の2D画像に埋め込まれた追跡背景104を使用して、物体に対するこれらの画像の各々の位置および向きを含む姿勢を判定してよい。さらに、既知の追跡背景の区分(物体を背景と区別すること)に使用してよい。
【００１８】
上記の例に示すように、開示される手法では、従来の方法のように対象物体の詳細なテクスチャ化された3Dモデルと協働する代わりに、様々な視点から見た対象物体を表す複数の平面モデルを使用する。各視点において、特徴点は、その視点から見た3D物体を表す3D平面内に配置される。一手法では、この視点のために、この平面が3D物体の中央に配置され、カメラの観察方向に垂直に向けられる。別の手法では、この視点のために、平面が背景対象の中央に配置され、直立させられカメラに面するように向けられる。追跡中の3D物体は、追跡画像の観察距離に対して比較的小さいことがあるので、平面近似が成り立つ。
【００１９】
追跡画像からカメラ姿勢を推定するには、追跡画像中の2D特徴とデータベース内の3D特徴との整合ステップにおいて見つけられる対応関係を使用する。追跡画像の現在のカメラ位置に最も近いデータベース視野が3D物体を最もよく表すにもかかわらず、近傍の視野から得られる特徴対応関係も検討することによって推定される姿勢の質をさらに向上させることができる。
【００２０】
上述のように、データベースは、関係する多数の様々な観察方向から見た物体を示す複数の平面画像を格納する。したがって、データセットサイズは、観察方向の数に応じて線形に増大することがある。基準画像の数を制限するには、それにもかかわらず検出および追跡を首尾よく実現できるように物体の形状に基づいて2つの近傍の基準視点間の角度、たとえば15°〜30°の角度を選択してよい。さらに、物体の実際の画像を格納する代わりに、各画像を表す特徴点を格納してよい。
【００２１】
本開示の実施形態によれば、この方法は、(カメラを備える)モバイルデバイスによって取り込まれた追跡画像からの特徴点をデータベース内の1組の基準画像の特徴点と比較する。投票プロセスを使用して、追跡画像の対応する特徴点と一致する最大絶対数または最大相対数の特徴点を有し得る代表的な基準視野を得てよい(最大絶対数または最大相対数は、この視野に関するデータベース内の特徴点の数によって正規化された数である)。次いで、代表的な視野を姿勢推定に使用してよい。
【００２２】
図2aは、本開示のいくつかの態様による、画像物体追跡を実行するように構成された装置のブロック図を示す。図2aに示すように、アンテナ202は、基地局から変調信号を受信し、受信信号をモデム204の復調器(DEMOD)部分に提供する。復調器は、受信信号の処理(たとえば、調整およびデジタル化)を行い、入力サンプルを取得する。それはさらに、入力サンプルに対して直交周波数分割多重(OFDM)復調を実行し、すべてのサブキャリア用の周波数領域受信シンボルを提供する。RXデータプロセッサ206は、周波数領域受信シンボルの処理(たとえば、シンボルデマップ、デインターリーブ、および復号)を行い、モバイルデバイスのコントローラ/プロセッサ208に復号データを提供する。
【００２３】
コントローラ/プロセッサ208は、ワイヤレスネットワークを介してサーバと通信するためにモバイルデバイスを制御するように構成することができる。TXデータプロセッサ210はシグナリングシンボル、データシンボル、およびパイロットシンボルを生成し、これらはモデム204の変調器(MOD)によって処理され、アンテナ202を介して基地局に送信され得る。加えて、コントローラ/プロセッサ208は、モバイルデバイスにおける様々な処理ユニットの動作を指示する。メモリ212は、モバイルデバイス用のプログラムコードおよびデータを記憶するように構成することができる。3D物体追跡モジュール214は、物体のモデルを取り込んでデータベースに格納し、データベースを使用して物体の追跡画像を検出するように構成されてよい。
【００２４】
図2bは、本開示のいくつかの態様による、図2aの3D物体追跡モジュールによって実現される例示的なフローチャートを示す。物体追跡モジュール214は、ブロック220において、追跡背景に対する物体の1組の2次元(2D)画像を格納するようにデータベースを構成するように構成されてよい。物体追跡モジュール214は、ブロック222において、モバイルデバイスから追跡画像を受け取るように構成されてよい。物体追跡モジュール214は、ブロック224において、追跡画像の特徴点に従って追跡画像がデータベース内の少なくとも1つの画像と一致するかどうかを判定するように構成されてよい。物体追跡モジュール214は、ブロック226において、追跡画像がデータベース内の少なくとも1つの画像と一致したことに応答して追跡画像に関する情報を供給するように構成されてよい。物体が3次元物体であってよく、かつ追跡背景が少なくとも1つの既知のパターンを含んでよいことに留意されたい。ブロック220においてデータベースが作成された後、ブロック222〜226において説明した方法を繰り返し使用し、データベースを使用して物体を追跡してよいことに留意されたい。いくつかの実装形態では、図2bの各ブロックにおいて説明した方法を他のブロックに対して独立にかつ繰り返して実行してよい。たとえば、ブロック220において説明した方法を独立に実行して、1組の画像およびデータベースに格納された画像に対応する特徴点を更新してよい。ブロック222において説明した方法を繰り返し実行してより画質のよい追跡画像を取り込んでよい。ブロック226において説明した方法を複数回実行して追跡画像に関する情報を供給してよい。
【００２５】
本開示の実施形態によれば、ブロック220において実行される方法は、ブロック228〜232において実行される方法をさらに含んでよい。たとえば、物体追跡モジュール214は、ブロック228において、追跡背景によって、物体の複数の視野角を含む、物体の1組の2D画像を取り込むように構成されてよい。物体追跡モジュール214は、ブロック230において、物体の特徴点の第1のサブセットと追跡背景の特徴点の第2のサブセットとを含む1組の特徴点を各2D画像から抽出するように構成されてよい。物体追跡モジュール214は、ブロック230において、特徴点の第1のサブセットをデータベースに格納するように構成されてよい。
【００２６】
本開示の実施形態によれば、ブロック224において実行される方法は、ブロック236〜238において実行される方法をさらに含んでよい。図2bに示す例では、物体追跡モジュール214は、ブロック236において、追跡画像から特徴点を抽出するように構成されてよい。物体追跡モジュール214は、ブロック238において、追跡画像の特徴点をデータベース内の1組の2D画像の対応する特徴点と比較するように構成されてよい。
【００２７】
本開示の実施形態によれば、ブロック238において実行される方法は、ブロック240〜ブロック248において実行される方法をさらに含んでよい。この例では、物体追跡モジュール214は、ブロック240およびブロック242においてそれぞれ、追跡画像とデータベース内の1組の2D画像との間で一致した特徴点の数に対して累積投票を実行し、一致した特徴点の数に対する累積投票に従って1組の2D画像から少なくとも1つの代表的な画像を特定するように構成されてよい。物体追跡モジュール214は、ブロック244において、最大数の一致した特徴点を有する少なくとも1つの代表的な画像から追跡画像の代表的な姿勢を推定するように構成されてよい。物体追跡モジュール214は、ブロック246およびブロック248においてそれぞれ、代表的な画像のうちの2つ以上の画像から得た特徴点をマージすることによって1組のマージされた特徴点を作成し、1組のマージされた特徴点に従って追跡画像の代表的な姿勢を推定するように構成されてよい。
【００２８】
本開示の実施形態によれば、物体追跡モジュール214は、ブロック226において、限定はしないが、受け取られた追跡画像の姿勢情報、追跡背景に対するモバイルデバイスの相対位置、モバイルデバイス上でアニメーションアプリケーションをサポートするための情報、および/またはモバイルデバイス上で拡張現実アプリケーションをサポートするための情報を含む情報のうちの少なくとも1つを供給するように構成されてよい。
【００２９】
図3は、本開示の態様による上述の追跡方法の例示的な使用法を示す。図3に示すように、おもちゃの飛行機302またはおもちゃの自動車(310、312)をゲームボード(304)上のゲームピースとして使用してよい。3Dゲームピースは、前述のように(306a〜306e)、各ゲームピースから得られた1組の画像によって表される。ゲームボードの開示された追跡/検出方法によって、ゲーム開発者は、ゲームボードがどこに配置され得るかおよび各ゲームピースがゲームボードに対してどこに配置され得るかを知ることができる。
【００３０】
本開示の実施形態によれば、データベースを生成した後、飛行機302をゲームボード上の任意の位置に移動させ、そこから追跡してよい。言い換えれば、この方法では、飛行機302がゲームボード上のどこに位置しているかおよびどの方向に向かっているかを判定することができる。オーサリングの間、ゲームボードとは無関係に飛行機のデータセットを生成してよいことに留意されたい。ゲームボードを使用して飛行機の画像同士を互いに位置合わせさせてよいが、必ずしもゲームボードの固定位置に対して位置合わせさせなくてもよい。後でゲーム時に、プレーヤーが、ゲームボードに対して飛行機がどこに位置しているか(プレーヤーが飛行機をどのフィールドに配置したか)を知りたい場合、(画像物体としての)ゲームボードを追跡するとともに(3D物体としての)飛行機をカメラに対して追跡してよく、このようにして、ゲームボードに対する飛行機の位置を判定してよい。
【００３１】
本開示の実施形態によれば、開示された方法によって追跡できる物体の範囲は、構造化された表面および/または不規則な表面を有する物体のクラスを含むように拡張されている。さらに、追跡中の物体の表現は、様々な物体の追跡に同様の方法を適用できるので、物体の複雑さとは無関係であってよい。これは、自然な木、茂み、毛皮、髪の毛、および構造化された表面など、表現するのが困難な物体に特に有用である。メモリ使用量は、様々な視点から見た一定数の画像に関係するので推定することができる。さらに、モデル構成プロセスは、ユーザによって特殊な機器またはコンピュータグラフィクスに対する慣れなしに実行することができる。開示される方法では、ユーザは、1組の写真画像を様々な視点から撮ることによって物体を「スキャン」し、画像物体の追跡を必要とする拡張現実アプリケーションなどのアプリケーションにおいて写真画像を使用してよい。
段落[0036]〜[0038]、図1、図2a〜図2b、およびそれらに対応する説明では、追跡背景を使用して3D物体の1組の2次元(2D)画像を格納するようにデータベースを構成するための手段と、追跡画像を受け取るための手段と、追跡画像の特徴点に従って、追跡画像がデータベース内の少なくとも1つの画像と一致するかどうかを判定するための手段と、追跡画像がデータベース内の少なくとも1つの画像と一致したことに応答して追跡画像に関する情報を供給するための手段とを示すことに留意されたい。段落[0036]〜[0038]、図1、図2b、図3、およびそれらに対応する説明では、追跡背景によって3D物体の1組の2D画像を取り込むための手段と、各2D画像から1組の特徴点を抽出するための手段と、1組の特徴点をデータベースに格納するための手段と、共通の座標系に対する1組の2D画像の対応する姿勢情報を記録するための手段と、1組の特徴点をデータベースに格納するための手段とをさらに示す。段落[0036]〜[0038]、図1、図2b、図3、およびそれらに対応する説明では、追跡画像から特徴点を抽出するための手段と、追跡画像の特徴点をデータベース内の1組の2D画像の対応する特徴点と比較するための手段と、追跡画像とデータベース内の1組の2D画像との間で一致した特徴点の数に対して累積投票を実行するための手段と、一致した特徴点の数に対する累積投票に従って1組の2D画像から少なくとも1つの代表的な画像を特定するための手段と、最大数の一致した特徴点を有する少なくとも1つの代表的な画像から追跡画像の代表的な姿勢を推定するための手段とをさらに示す。
【００３２】
本明細書で説明される方法およびモバイルデバイスは、用途に応じて様々な手段によって実施することができる。たとえば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実施され得る。ハードウェア実装形態の場合、処理ユニットは、本明細書で説明される機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナルプロセシングデバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実装され得る。本明細書では、「制御論理回路」という用語は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せによって実装された論理回路を包含する。
【００３３】
ファームウェアおよび/またはソフトウェア実装形態の場合、これらの方法は、本明細書で説明される機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実施され得る。命令を有形に具現化するいずれの機械可読記憶媒体も、本明細書で説明される方法の実施において使用され得る。たとえば、ソフトウェアコードは、メモリに記憶され、処理ユニットによって実行され得る。メモリは、処理ユニット内に実装されてもよく、または処理ユニットの外部に実装されてもよい。本明細書で用いられる「メモリ」という用語は、長期、短期、揮発性、不揮発性、または他の記憶デバイスのいずれかの種類を指し、特定のメモリの種類またはメモリの数には限定されず、あるいはメモリが格納される媒体の種類に関して限定されない。
【００３４】
機能は、ファームウェアおよび/またはソフトウェアに実装される場合、コンピュータ可読記憶媒体に1つまたは複数の命令またはコードとして記憶され得る。これらの例には、データ構造によって符号化されたコンピュータ可読記憶媒体およびコンピュータプログラムによって符号化されたコンピュータ可読記憶媒体が含まれる。コンピュータ可読記憶媒体は製造物品の形態をとり得る。コンピュータ可読記憶媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体であってもよい。限定ではなく、例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するのに使用することができ、かつコンピュータからアクセスすることのできる任意の他の媒体を含んでよく、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)（登録商標）、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生し、一方、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読記憶媒体の範囲内に含めるべきである。
【００３５】
命令および/またはデータは、コンピュータ可読記憶媒体に記憶されるのに加えて、通信装置に含まれる伝送媒体上の信号として提供され得る。たとえば、通信装置は、命令およびデータを示す信号を有する送受信機を含み得る。命令およびデータは、少なくとも1つのプロセッサに特許請求の範囲において概説する機能を実施させるように構成される。すなわち、通信装置は、開示する機能を実行するための情報を示す信号を有する伝送媒体を含む。第1の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第1の部分を含んでよく、一方、第2の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第2の部分を含んでよい。
【００３６】
本開示は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などのような、様々なワイヤレス通信ネットワークとともに実装され得る。「ネットワーク」および「システム」という用語は、しばしば互換的に使用される。「位置」および「ロケーション」という用語は、しばしば互換的に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、Long Term Evolution(LTE)ネットワーク、WiMAX(IEEE802.16)ネットワークなどであり得る。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95標準、IS-2000標準、およびIS-856標準を含む。TDMAネットワークは、Global System for Mobile Communications(GSM（登録商標）)、Digital Advanced Mobile Phone System(D-AMPS)、または何らかの他のRATを実装することができる。GSMおよびW-CDMAは、「3rd Generation Partnership Project」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「3rd Generation Partnership Project 2」(3GPP2)という名称の組織からの文書に記載されている。3GPPおよび3GPP2の文書は、公に利用可能である。WLANは、IEEE 802.11xネットワークでもよく、WPANはBluetooth（登録商標）ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークである可能性がある。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実装され得る。
【００３７】
移動局は、セルラー通信デバイスまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、あるいはワイヤレス通信および/またはナビゲーション信号を受信することができる他の適切なモバイルデバイスなどのデバイスを指す。「移動局」という用語はまた、短距離ワイヤレス接続、赤外線接続、ワイヤライン接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、またはPNDにおいて行われるかにかかわらず含むものである。また、「移動局」は、インターネット、Wi-Fi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず含むものである。上記の任意の動作可能な組合せも「移動局」と見なされる。
【００３８】
何かが「最適化される」、「必要とされる」という表現または他の表現は、最適化されるシステム、または「必要とされる」要素が存在するシステムのみに本開示が適用されること(または他の表現に起因する他の制限)を示すものではない。これらの表現は、特定の説明された実装形態のみを指す。もちろん、多くの実装形態が可能である。開発中であるか今後開発されるプロトコルを含む、本明細書で論じるプロトコル以外のプロトコルで技法を使用できる。
【００３９】
当業者は、開示した実施形態の多くの可能な修正および組合せを、依然として同じ基本的な下位の機構および方法を用いながら使用してよいことを認識されよう。上記の説明は、説明の目的で、特定の実施形態に関して書かれている。しかしながら、上で示した論述は網羅的なものでも、あるいは本開示を開示された厳密な形態に限定するものでもない。多くの修正および変形が、上記の教示に鑑みて可能である。本開示の原理および実際の適用について説明するために、また、企図される特定の用途に合わせて様々な修正を加えて本開示および様々な実施形態を他の当業者が最善の形で利用できるように、実施形態が選択され、説明されている。
【符号の説明】
【００４０】
102  銅像
104  追跡背景
106a〜106d  モバイルデバイス
202  アンテナ
204  モデム
206  RXデータプロセッサ
208  コントローラ/プロセッサ
210  TXデータプロセッサ
212  メモリ
214  3D物体追跡モジュール
302  おもちゃの飛行機
304  ゲームボード
310、312  おもちゃの自動車
【図１】
0005823634.tif 000002
【図２ａ】
0005823634.tif 000003
【図２ｂ】
0005823634.tif 000004
【図３】
0005823634.tif 000005