【手続補正書】
【提出日】令和1年9月2日(2019.9.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラ姿勢情報の決定方法であって、
カメラを有するモバイル端末に適用され、当該カメラ姿勢情報の決定方法は、
第１画像、第２画像及びテンプレート画像を取得することであって、前記第１画像が前記第２画像の前のフレームの画像であり、前記第１画像及び前記第２画像が前記カメラにより収集された画像であり、前記テンプレート画像がマッチング用の基準画像であることと、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得することと、
前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第１目標ホモグラフィ行列に基づき、且つ前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定することであって、前記第２目標ホモグラフィ行列が前記テンプレート画像から前記第１画像へのホモグラフィ行列であることと、
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得することと、を含むことを特徴とする、
カメラ姿勢情報の決定方法。
【請求項２】
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得することは、
前記第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、前記第２ホモグラフィ行列に基づいて第２回転並進行列を決定することであって、前記第１ホモグラフィ行列と前記第２ホモグラフィ行列が二次元情報であり、前記第１回転並進行列と前記第２回転並進行列が三次元情報であることと、
前記カメラ姿勢情報を取得するように、前記第１回転並進行列及び前記第２回転並進行列に対して相補フィルタリング処理を行うことと、を含むことを特徴とする
請求項１に記載のカメラ姿勢情報の決定方法。
【請求項３】
前記カメラ姿勢情報を取得するように、前記第１回転並進行列及び前記第２回転並進行列に対して相補フィルタリング処理を行うことは、
前記第１回転並進行列をローパスフィルタに入力して、第１フィルタリング結果を取得することと、
前記第２回転並進行列をハイパスフィルタに入力して、第２フィルタリング結果を取得することと、
前記第１フィルタリング結果及び前記第２フィルタリング結果に基づいて前記カメラ姿勢情報を決定することと、を含むことを特徴とする
請求項２に記載のカメラ姿勢情報の決定方法。
【請求項４】
前記第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、前記第２ホモグラフィ行列に基づいて第２回転並進行列を決定することは、
前記第１ホモグラフィ行列、前記第２画像の透視投影行列及び前記テンプレート画像の透視投影行列に基づいて前記第１回転並進行列を計算することと、
前記第２ホモグラフィ行列、前記第２画像の透視投影行列及び前記テンプレート画像の透視投影行列に基づいて前記第２回転並進行列を計算することと、を含むことを特徴とする
請求項２に記載のカメラ姿勢情報の決定方法。
【請求項５】
前記テンプレート画像にはアレイ状に配列される複数の格子があり、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得することは、
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングし、前記複数の格子のうちの各目標格子から１組の特徴点対を決定することであって、前記特徴点対が前記目標格子に位置する第１特徴点及び前記第２特徴点のうちの前記第１特徴点とのマッチング度の最も高い特徴点を含むことと、
前記目標格子における前記特徴点対に基づき、前記テンプレート画像と前記第２画像との第１ホモグラフィ行列を計算することと、を含むことを特徴とする
請求項１〜４のいずれか１項に記載のカメラ姿勢情報の決定方法。
【請求項６】
当該カメラ姿勢情報の決定方法は、更に、
前記テンプレート画像の各画像層からそれぞれ前記第１特徴点を抽出して、原画像層において前記第１特徴点を決定することを含み、
前記原画像層が前記テンプレート画像における１つの画像層であり、前記原画像層に前記複数の格子が含まれることを特徴とする
請求項５に記載のカメラ姿勢情報の決定方法。
【請求項７】
前記テンプレート画像の各画像層からそれぞれ第１特徴点を抽出して、原画像層において前記第１特徴点を決定することは、
前記テンプレート画像の第１画像層から前記第１特徴点を抽出することと、
前記テンプレート画像の第２画像層から前記第１特徴点を抽出することであって、前記第１画像層及び前記第２画像層の寸法が異なることと、
前記第１画像層における前記第１特徴点及び前記第２画像層における前記第１特徴点に対して拡大縮小処理を行って、前記原画像層に投影することと、を含むことを特徴とする
請求項６に記載のカメラ姿勢情報の決定方法。
【請求項８】
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングする前に、当該カメラ姿勢情報の決定方法は、更に、
前記第２画像から第２特徴点を抽出することを含み、
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングし、前記複数の格子のうちの各目標格子から１組の特徴点対を決定することは、
原画像層の各前記目標格子における第１特徴点に対して、前記第１特徴点を第２特徴点にマッチングして、少なくとも１対の相互にマッチングされる選択対象の特徴点対を取得することであって、各組の前記選択対象の特徴点対が１つのマッチング値に対応することと、
前記少なくとも１対の選択対象の特徴点対からマッチング値の最も大きい特徴点対を前記目標格子における決定された特徴点対として選択することと、を含むことを特徴とする
請求項５に記載のカメラ姿勢情報の決定方法。
【請求項９】
前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第１目標ホモグラフィ行列に基づき、且つ前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定することは、
前記第１画像の所定領域において第１オプティカルフロー特徴点を取得することであって、前記所定領域が前記テンプレート画像に対応する領域であることと、
前記第１オプティカルフロー特徴点に基づいて第２オプティカルフロー特徴点を取得することと、
前記第１オプティカルフロー特徴点及び前記第２オプティカルフロー特徴点に基づき、前記第１画像から前記第２画像への前記第１目標ホモグラフィ行列を計算することと、を含むことを特徴とする
請求項１〜４のいずれか１項に記載のカメラ姿勢情報の決定方法。
【請求項１０】
当該カメラ姿勢情報の決定方法は、更に、
前記第２オプティカルフロー特徴点の数が所定閾値より小さい場合、前記第２オプティカルフロー特徴点の数が前記所定閾値に達するように、前記第２オプティカルフロー特徴点としてｑ個のオプティカルフロー特徴点を取得することであって、前記ｑが正の整数であることを含むことを特徴とする
請求項９に記載のカメラ姿勢情報の決定方法。
【請求項１１】
カメラ姿勢情報の決定装置であって、
カメラを有し、当該カメラ姿勢情報の決定装置は、
第１画像、第２画像及びテンプレート画像を取得するように構成される第１取得モジュールであって、前記第１画像が前記第２画像の前のフレームの画像であり、前記第１画像及び前記第２画像が前記カメラにより収集された画像であり、前記テンプレート画像がマッチング用の基準画像である第１取得モジュールと、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得するように構成される検出モジュールと、
前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第２オプティカルフロー特徴点に基づいて第１目標ホモグラフィ行列を決定して、且つ前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定するように構成される追跡モジュールであって、前記第２目標ホモグラフィ行列が前記テンプレート画像から前記第１画像へのホモグラフィ行列である追跡モジュールと、
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得するように構成される相補フィルタリングモジュールと、を備えることを特徴とする、
カメラ姿勢情報の決定装置。
【請求項１２】
前記相補フィルタリングモジュールは、
前記第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、前記第２ホモグラフィ行列に基づいて第２回転並進行列を決定するように構成される決定ユニットであって、前記第１ホモグラフィ行列と前記第２ホモグラフィ行列が二次元情報であり、前記第１回転並進行列と前記第２回転並進行列が三次元情報である決定ユニットと、
前記カメラ姿勢情報を取得するように、前記第１回転並進行列及び前記第２回転並進行列に対して相補フィルタリング処理を行うように構成される処理ユニットと、を備えることを特徴とする
請求項１１に記載のカメラ姿勢情報の決定装置。
【請求項１３】
前記処理ユニットは、
前記第１回転並進行列をローパスフィルタに入力して、第１フィルタリング結果を取得するように構成される第１入力サブユニットと、
前記第２回転並進行列をハイパスフィルタに入力して、第２フィルタリング結果を取得するように構成される第２入力サブユニットと、
前記第１フィルタリング結果及び前記第２フィルタリング結果に基づいて前記カメラ姿勢情報を決定するように構成される決定サブユニットと、を備えることを特徴とする
請求項１２に記載のカメラ姿勢情報の決定装置。
【請求項１４】
モバイル端末であって、
カメラ、プロセッサ及びメモリを備え、
前記メモリがプログラムを記憶するように構成され、当該モバイル端末が請求項１〜１０のいずれか１項に記載のカメラ姿勢情報の決定方法を実現するように、前記プロセッサが前記メモリにおけるプログラムを実行するように構成されることを特徴とする、モバイル端末。
【請求項１５】
コンピュータ可読記憶媒体であって、
命令を含み、前記命令がコンピュータによって実行されると、前記コンピュータが請求項１〜１０のいずれか１項に記載のカメラ姿勢情報の決定方法を実行することを特徴とする、コンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
以下、本願のカメラ姿勢情報決定装置を詳しく説明する。図１１は本願の実施例によるカメラ姿勢情報の決定装置の一実施例の模式図であり、カメラ姿勢情報の決定装置３０は、
第１画像、第２画像及びテンプレート画像を取得するように構成され、前記第１画像が前記第２画像の前のフレームの画像であり、前記第１画像及び前記第２画像が前記カメラにより収集された画像であり、前記テンプレート画像がマッチング用の基準画像である第１取得モジュール３０１と、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得するように構成される検出モジュール３０２と、
前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第１目標ホモグラフィ行列に基づき、且つ前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定するように構成され、前記第２目標ホモグラフィ行列が前記テンプレート画像から前記第１画像へのホモグラフィ行列である追跡モジュール３０３と、
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得するように構成される相補フィルタリングモジュール３０４と、を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１３３
【補正方法】変更
【補正の内容】
【０１３３】
図１１に基づく好適な実施例において、図１６に示すように、前記追跡モジュール３０３は、
前記第１画像の所定領域において第１オプティカルフロー特徴点を取得するように構成され、前記所定領域が前記テンプレート画像に対応する領域である第１取得ユニット３０３１と、
前記第１オプティカルフロー特徴点に基づいて第２オプティカルフロー特徴点を取得するように構成される第２取得ユニット３０３２と、
前記第１オプティカルフロー特徴点及び前記第２オプティカルフロー特徴点に基づき、前記第１画像から前記第２画像への前記第１目標ホモグラフィ行列を計算するように構成される第１計算ユニット３０３３と、を備える。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2020509506.tif 000001