【手続補正書】
【提出日】平成31年2月13日(2019.2.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像された画像と、該画像を撮像したときの撮像装置の位置及び姿勢と、該画像に対応する空間中の特徴の三次元情報とを対応付けた、複数の参照データを保持する保持手段と、
撮像装置により撮像された画像を入力する入力手段と、
前記複数の参照データと、前記入力された画像とに基づいて、該画像を前記撮像装置が撮像した位置及び姿勢を導出する導出手段と、
導出された前記位置及び姿勢と前記複数の参照データとに基づいて、新たな参照データを追加するかを判定する判定手段と、
前記判定手段により新たな参照データを追加すると判定された場合に、前記入力された画像と、導出された前記位置及び姿勢と、前記複数の参照データの１つにおける特徴の三次元データとに基づいて新たな参照データを生成する生成手段と、
生成された前記参照データを追加して前記複数の参照データを更新する更新手段と、を備える情報処理装置。
【請求項２】
前記導出手段は、
前記撮像装置の現在の位置及び姿勢の予測値を求める予測手段と、
前記複数の参照データから前記予測値に基づいて少なくとも１つの参照データを選択する選択手段と、
選択された前記参照データにおける特徴点を用いて前記予測値を修正することで、前記導出される位置及び姿勢を求める修正手段と、を備える請求項１に記載の情報処理装置。
【請求項３】
前記予測手段は、前フレームにおける前記撮像装置の位置及び姿勢が得られていれば、当該前フレームにおける位置及び姿勢を前記予測値とする請求項２に記載の情報処理装置。
【請求項４】
前記予測手段は、前フレームにおける前記撮像装置の位置及び姿勢が得られていなければ、リローカライゼーションを行って前記予測値を求める請求項２に記載の情報処理装置。
【請求項５】
前記修正手段は、選択された前記参照データから所定の個数以内の特徴点を選択し、該選択された特徴点を用いて前記予測値を修正する請求項２に記載の情報処理装置。
【請求項６】
導出された前記撮像装置の位置と、選択された前記参照データにおける前記撮像装置の位置との距離を算出する距離算出手段を備え、
前記判定手段は、前記距離に基づいて、前記新たな参照データを追加するか否かを判定する請求項２に記載の情報処理装置。
【請求項７】
選択された前記参照データにおける特徴点を前記入力された画像に投影した場合に、画像内部に投影される割合を算出する割合算出手段を備え、
前記判定手段は、前記割合に基づいて、前記生成手段によりキーフレームを生成するか否かを判定する請求項２に記載の情報処理装置。
【請求項８】
前記生成手段は、
選択された前記参照データにおいて特徴点を順に指定する指定手段と、
指定された特徴点の前記撮像装置を基準とした座標系における現フレームの三次元座標及び画像座標を算出する座標算出手段と、
前記三次元座標及び画像座標に基づいて前記指定された特徴点を追加するか否かを判定する特徴点判定手段と、
追加すると判定された前記特徴点を前記参照データに追加する追加手段とを備える請求項２に記載の情報処理装置。
【請求項９】
前記選択手段は、前記複数の参照データから２以上の参照データを順次選択し、
前記修正手段は、順次選択された参照データにおける特徴点を用いて前記予測値を順次修正することで、前記導出される位置及び姿勢を求める請求項２に記載の情報処理装置。
【請求項１０】
前記参照データは前記特徴の属性を更に含み、
導出された前記位置及び姿勢と、選択された前記参照データにおける特徴の三次元情報とに基づいて、該特徴の前記入力された画像上での位置を算出する位置算出手段と、
前記特徴の属性と前記入力された画像上での位置の属性とを比較して、生成される前記参照データの寄与度を決定する決定手段とを更に備え、
前記導出手段は、前記更新手段により更新された複数のキーフレームのデータと、決定された前記寄与度とを用いて、前記撮像装置の位置及び姿勢を導出する請求項１に記載の情報処理装置。
【請求項１１】
前記特徴の属性は輝度または色を含む請求項１０に記載の情報処理装置。
【請求項１２】
前記幾何特徴の属性は前記撮像装置を基準とした距離を含む請求項１０に記載の情報処理装置。
【請求項１３】
撮像された画像と、該画像を撮像したときの撮像装置の位置及び姿勢と、該画像に対応する空間中の特徴の三次元情報とを対応付けた、複数の参照データを保持する保持手段を備えた情報処理装置における情報処理方法であって、
撮像装置により撮像された画像を入力する入力工程と、
前記複数の参照データと、前記入力された画像とに基づいて、該画像を前記撮像装置が撮像した位置及び姿勢を導出する導出工程と、
導出された前記位置及び姿勢と前記複数の参照データとに基づいて、新たな参照データを追加するかを判定する判定工程と、
新たな参照データを追加すると判定された場合に、前記入力された画像と、導出された前記位置及び姿勢と、前記複数の参照データの１つにおける特徴の三次元データとに基づいて新たな参照データを生成する生成工程と、
生成された前記参照データを追加して前記複数の参照データを更新する更新工程と、を備える情報処理方法。
【請求項１４】
コンピュータを、
撮像された画像と、該画像を撮像したときの撮像装置の位置及び姿勢と、該画像に対応する空間中の特徴の三次元情報とを対応付けた、複数の参照データを保持する保持手段と、
撮像装置により撮像された画像を入力する入力手段と、
前記複数の参照データと、前記入力された画像とに基づいて、該画像を前記撮像装置が撮像した位置及び姿勢を導出する導出手段と、
導出された前記位置及び姿勢と前記複数の参照データとに基づいて、新たな参照データを追加するかを判定する判定手段と、
前記判定手段により新たな参照データを追加すると判定された場合に、前記入力された画像と、導出された前記位置及び姿勢と、前記複数の参照データの１つにおける特徴の三次元データとに基づいて新たな参照データを生成する生成手段と、
生成された前記参照データを追加して前記複数の参照データを更新する更新手段として機能させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の１態様によれば、情報処理装置に、撮像された画像と、該画像を撮像したときの撮像装置の位置及び姿勢と、該画像に対応する空間中の特徴の三次元情報とを対応付けた、複数の参照データを保持する保持手段と、撮像装置により撮像された画像を入力する入力手段と、前記複数の参照データと、前記入力された画像とに基づいて、該画像を前記撮像装置が撮像した位置及び姿勢を導出する導出手段と、導出された前記位置及び姿勢と前記複数の参照データとに基づいて、新たな参照データを追加するかを判定する判定手段と、前記判定手段により新たな参照データを追加すると判定された場合に、前記入力された画像と、導出された前記位置及び姿勢と、前記複数の参照データの１つにおける特徴の三次元データとに基づいて新たな参照データを生成する生成手段と、生成された前記参照データを追加して前記複数の参照データを更新する更新手段とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
ステップＳ１０５０では、システムを終了するか否かの判定を行う。マウスやキーボードなどを介してユーザからシステムを終了するコマンドが入力されている場合にはシステムを終了し、さもなければステップＳ１０１０に戻り位置及び姿勢の計測処理を継続する。
（位置及び姿勢の導出処理の詳細）
次に、ステップＳ１０２０における位置及び姿勢の導出処理について詳細に説明する。図４は、ステップＳ１０２０における処理手順を示すフローチャートである。