(57)【要約】【課題】対象物に画像を投影することによる対象物の位置姿勢の推定精度の低下を防ぐ。【解決手段】画像処理装置は、第１の抽出部と、サイズ決定部と、第２の抽出部と、ペア決定部とを含む。第１の抽出部は、登録画像の特徴点毎に、予め定めた画素数が異なる複数通りのパッチサイズのそれぞれを適用して複数通りの特徴情報を抽出する。サイズ決定部は、撮像画像の特徴点毎に、複数通りのパッチサイズのそれぞれにより定まるパッチ領域と、投影画像の投影領域との関係に基づいて、複数通りのパッチサイズのなかから特徴情報の抽出に用いるパッチサイズを決定する。第２の抽出部は、決定したパッチサイズを適用して撮像画像の特徴点についての特徴情報を抽出する。ペア決定部は、抽出した特徴情報に基づいて、撮像画像の特徴点と、登録画像の特徴点とを対応付けた特徴点ペアを決定する。【選択図】図５
2018200629.tif 000002
【特許請求の範囲】
【請求項１】
位置姿勢の推定対象である対象物が写っている撮像画像、及び前記対象物が所定の位置姿勢で写っている登録画像のそれぞれから特徴点を検出する検出部と、
前記撮像画像から検出した前記特徴点についての特徴情報、及び前記登録画像から検出した前記特徴点についての特徴情報を抽出する抽出部と、
抽出した前記特徴情報に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付けた特徴点ペアを決定するペア決定部と、
決定した特徴点ペアに基づいて、前記撮像画像に写っている前記対象物の位置姿勢を算出する算出部と、を備え、
前記抽出部は、
撮像画像が対象物に投影画像を投影している状態で撮像した画像である場合に、前記登録画像の特徴点毎に、予め定めた画素数が異なる複数通りのパッチサイズのそれぞれを適用して複数通りの特徴情報を抽出する第１の抽出部と、
前記撮像画像が前記対象物に投影画像を投影している状態で撮像した画像である場合に、前記撮像画像の特徴点毎に、前記複数通りのパッチサイズのそれぞれにより定まるパッチ領域と、前記投影画像の投影領域との関係に基づいて、前記複数通りのパッチサイズのなかから前記特徴情報の抽出に用いるパッチサイズを決定するサイズ決定部と、
決定した前記パッチサイズを適用して前記撮像画像の特徴点についての特徴情報を抽出する第２の抽出部と、を含み、
前記ペア決定部は、前記撮像画像の前記特徴点についての特徴情報と、前記登録画像の前記特徴情報のうちの前記撮像画像の前記特徴点についての特徴情報を抽出する際に適用した前記パッチサイズと同一のパッチサイズで抽出した特徴情報と、に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点との対応付けを行う、
ことを特徴とする画像処理装置。
【請求項２】
前記サイズ決定部は、前記複数通りのパッチサイズのうちの、前記投影画像の投影領域の輪郭が前記パッチ領域内を通らず、かつ前記パッチ領域内に含まれる画素数が最大となるパッチサイズを、前記特徴情報の抽出に用いるパッチサイズを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記サイズ決定部は、前記複数通りのパッチサイズのうちの、前記パッチ領域内を通る前記投影画像の投影領域の輪郭により分割される前記パッチ領域内の複数の部分領域において面積が最大となる部分領域の前記パッチ領域の面積に対する割合が所定の閾値以上であり、かつ前記パッチ領域内に含まれる画素数が最大となるパッチサイズを、前記特徴情報の抽出に用いるパッチサイズを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記サイズ決定部は、前記パッチ領域内の複数の画素のなかから２個の画素を選出するときの組み合わせ数と、前記パッチ領域内を通る前記投影画像の投影領域の輪郭により分割される前記パッチ領域内の複数の部分領域において面積が最大となる部分領域の前記パッチ領域の面積に対する割合とに基づいて、前記特徴情報の抽出に用いるパッチサイズを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ペア決定部は、前記撮像画像から検出した複数の特徴点のうちの、前記特徴情報を抽出する際に適用したパッチサイズの大きい特徴点から順に、前記登録画像の特徴点との対応付けを行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、前記算出部で算出した前記対象物の位置姿勢に基づいて、前記撮像画像に写っている前記対象物に投影する投影画像の投影領域を算出する領域算出部、を更に備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
コンピュータが、
位置姿勢の推定対象である対象物が写っている撮像画像、及び前記対象物が所定の位置姿勢で写っている登録画像のそれぞれから特徴点を検出し、
前記撮像画像から検出した前記特徴点についての特徴情報、及び前記登録画像から検出した前記特徴点についての特徴情報を抽出し、
抽出した前記特徴情報に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付けた特徴点ペアを決定し、
決定した特徴点ペアに基づいて、前記撮像画像に写っている前記対象物の位置姿勢を算出する処理を実行する画像処理方法であって、
前記特徴情報を抽出する処理において、前記コンピュータは、
前記撮像画像が前記対象物に投影画像を投影している状態で撮像した画像である場合に、前記撮像画像の特徴点毎に、前記複数通りのパッチサイズのそれぞれにより定まるパッチ領域と、前記投影画像の投影領域との関係に基づいて、前記複数通りのパッチサイズのなかから前記特徴情報の抽出に用いるパッチサイズを決定し、決定した前記パッチサイズを適用して前記撮像画像の特徴点についての特徴情報を抽出するとともに、前記登録画像の特徴点毎に、予め定めた画素数が異なる複数通りのパッチサイズのそれぞれを適用して複数通りの特徴情報を抽出し、
前記特徴点ペアを決定する処理において、前記コンピュータは、前記撮像画像の前記特徴点についての特徴情報と、前記登録画像の前記特徴情報のうちの前記撮像画像の前記特徴点についての特徴情報を抽出する際に適用した前記パッチサイズと同一のパッチサイズで抽出した特徴情報と、に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付ける、
ことを特徴とする画像処理方法。
【請求項８】
位置姿勢の推定対象である対象物が写っている撮像画像、及び前記対象物が所定の位置姿勢で写っている登録画像のそれぞれから特徴点を検出し、
前記撮像画像から検出した前記特徴点についての特徴情報、及び前記登録画像から検出した前記特徴点についての特徴情報を抽出し、
抽出した前記特徴情報に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付けた特徴点ペアを決定し、
決定した特徴点ペアに基づいて、前記撮像画像に写っている前記対象物の位置姿勢を算出する処理をコンピュータに実行させる画像処理プログラムであって、
前記特徴情報を抽出する処理において、前記コンピュータは、
前記撮像画像が前記対象物に投影画像を投影している状態で撮像した画像である場合に、前記撮像画像の特徴点毎に、前記複数通りのパッチサイズのそれぞれにより定まるパッチ領域と、前記投影画像の投影領域との関係に基づいて、前記複数通りのパッチサイズのなかから前記特徴情報の抽出に用いるパッチサイズを決定し、決定した前記パッチサイズを適用して前記撮像画像の特徴点についての特徴情報を抽出するとともに、前記登録画像の特徴点毎に、予め定めた画素数が異なる複数通りのパッチサイズのそれぞれを適用して複数通りの特徴情報を抽出し、
前記特徴点ペアを決定する処理において、前記コンピュータは、前記撮像画像の前記特徴点についての特徴情報と、前記登録画像の前記特徴情報のうちの前記撮像画像の前記特徴点についての特徴情報を抽出する際に適用した前記パッチサイズと同一のパッチサイズで抽出した特徴情報と、に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付ける、
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、各種製品の組み立て作業を行う工場等では、拡張現実感（Augmented Reality；ＡＲ）等により作業員に作業内容を指示し、作業員による作業の効率化を支援することが増えてきている。この種の支援技術の１つとして、対象物を撮像した画像に基づいて、当該対象物の位置及び向き（以下「位置姿勢」という）を推定する技術が知られている。
【０００３】
対象物を撮像した画像に基づいて対象物の位置姿勢を推定する技術は、例えば、ベルトコンベア等の搬送路により搬送される対象物を仕分ける作業ラインに適用されている（例えば、特許文献１を参照。）。上記の作業ラインでは、搬送される対象物の位置姿勢を推定した後、位置姿勢に基づいて画像の投影位置を決定し、仕分け先を示す画像を対象物に直接投影することで、作業員に対し対象物の正しい仕分け先を提示することが可能になる。また、この種の技術は、例えば、ベルトコンベアで搬送される対象物にラベルを貼付する作業ラインにおいて、対象物の位置姿勢に応じた正しいラベルの貼付位置を作業員に提示することにも適用可能である。
【０００４】
画像に基づいて対象物の位置姿勢を推定する際には、位置姿勢を推定する対象物を撮像した対象画像と、対象物が所定の位置姿勢で写っている登録画像とを用い、両画像における特徴点の対応関係に基づいて対象画像における対象物の位置及び向きを推定する。対象画像の特徴点と登録画像の特徴点との対応関係は、特徴点の周囲（局所領域）における画像情報の類似度に基づいて特定する。また、カメラと距離センサとを用い、画像から検出された特徴点の周辺における画像情報に凹凸情報（奥行の微分値）を追加した特徴情報に基づいて、特徴点の対応関係を特定する方法が知られている（例えば、特許文献２を参照）。更に、画像内の対象物から抽出される特徴点の集合を幾何学的な図形として登録することで、幾何学的変換に強い特徴情報を付与する方法が知られている（例えば、非特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１５／１４５９８２号
【特許文献２】特開２０１１−１７４８７９号公報
【非特許文献】
【０００６】
【非特許文献１】Lamdan, Y. and Wolfson, H.J.:"Geometric Hashing: A General And Efficient Model-based Recognition Scheme", Computer Vision. Second International Conference on, pp.238-249, 1988
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、搬送路を移動する対象物に対し所定期間継続的に画像を投影する場合、画像が投影された対象物を撮像した対象画像と、画像が投影されていない登録画像とによる位置姿勢の推定を行うこととなる。このため、対象画像の特徴点のうちの画像が投影された領域内に存在する特徴点についての特徴情報を抽出する際に、特徴情報を抽出する局所領域内に、画像が投影されている領域と、画像が投影されていない領域とが含まれることがある。この場合、局所領域内の画素のうちの画像が投影されている領域の画素についての画像情報は画像が投影されていない場合の画像情報とは異なるため、該局所領域から抽出した特徴情報は、画像が投影されていない場合の特徴情報とは異なった情報となる。よって、対象画像における特徴点のうちの局所領域内に画像が投影されている領域と投影されていない領域とが含まれる特徴点を、登録画像の特徴点のうちの正しい特徴点と対応付けることができず、対象物の位置姿勢の推定精度が低下する。
【０００８】
１つの側面において、本発明は、対象物に画像を投影することによる対象物の位置姿勢の推定精度の低下を防ぐことを目的とする。
【課題を解決するための手段】
【０００９】
１つの態様の画像処理装置は、検出部と、抽出部と、ペア決定部と、算出部とを備える。検出部は、位置姿勢の推定対象である対象物が写っている撮像画像、及び対象物が所定の位置姿勢で写っている登録画像のそれぞれから特徴点を検出する。抽出部は、撮像画像から検出した特徴点についての特徴情報、及び登録画像から検出した特徴点についての特徴情報を抽出する。ペア決定部は、抽出した特徴情報に基づいて、撮像画像の特徴点と、登録画像の特徴点とを対応付けた特徴点ペアを決定する。算出部は、決定した特徴点ペアに基づいて、撮像画像に写っている対象物の位置姿勢を算出する。該画像処理装置における抽出部は、第１の抽出部と、サイズ決定部と、第２の抽出部とを含む。第１の抽出部は、撮像画像が対象物に投影画像を投影している状態で撮像した画像である場合に、登録画像の特徴点毎に、予め定めた画素数が異なる複数通りのパッチサイズのそれぞれを適用して複数通りの特徴情報を抽出する。サイズ決定部は、撮像画像が対象物に投影画像を投影している状態で撮像した画像である場合に、撮像画像の特徴点毎に、複数通りのパッチサイズのそれぞれにより定まるパッチ領域と、投影画像の投影領域との関係に基づいて、複数通りのパッチサイズのなかから特徴情報の抽出に用いるパッチサイズを決定する。第２の抽出部は、決定したパッチサイズを適用して撮像画像の特徴点についての特徴情報を抽出する。また、ペア決定部は、撮像画像の特徴点についての特徴情報と、登録画像の特徴情報のうちの、撮像画像の特徴点についての特徴情報を抽出する際に適用したパッチサイズと同一のパッチサイズで抽出した特徴情報とに基づいて、撮像画像の特徴点と、登録画像の特徴点との対応付けを行う。
【発明の効果】
【００１０】
上述の態様によれば、対象物に画像を投影することによる対象物の位置姿勢の推定精度の低下を防ぐことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置の適用例を示す図である。
【図２】ラベル貼付位置の提示方法を説明する図である。
【図３】特徴点に基づく位置姿勢の推定方法を説明する図である。
【図４】特徴情報を抽出するパッチ領域と投影領域との関係を示す図である。
【図５】一実施形態に係る画像処理装置の機能的構成を示す図である。
【図６】パッチサイズリストの例を示す図である。
【図７】一実施形態に係る画像処理装置が行う処理を説明するフローチャートである。
【図８】特徴情報抽出処理の内容を説明するフローチャートである。
【図９】第１の抽出処理の内容を説明するフローチャートである。
【図１０Ａ】パッチサイズ決定処理の内容を説明するフローチャート（その１）である。
【図１０Ｂ】パッチサイズ決定処理の内容を説明するフローチャート（その２）である。
【図１１】最適なパッチサイズの決定方法の例を説明する図である。
【図１２Ａ】特徴点の対応付けの順序を説明する図（その１）である。
【図１２Ｂ】特徴点の対応付けの順序を説明する図（その２）である。
【図１３】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１２】
ここで説明する画像処理装置は、位置姿勢を推定する対象物が写っている第１の画像（撮像画像）と、該対象物が所定の姿勢で写っている第２の画像（登録画像）とに基づいて、第１の画像に写っている対象物の位置姿勢を推定するものである。ここで、対象物の位置姿勢は、対象物の位置と向きとを含む情報を意味する。
【００１３】
この種の画像処理装置は、例えば、工場等の作業ラインにおいてベルトコンベア等のラインを流れる対象物の位置姿勢の推定に適用される。工場等の作業ラインでは、例えば、対象物の位置姿勢に基づいて仕分け先を示す画像等の投影位置を決定し、画像を対象物に直接投影することで、作業員に適切な情報を提示する。また、上記の画像処理装置は、例えば、対象物にラベルを貼付する作業ラインにおいてラベルの貼付位置を作業員に提示する場合の対象物の位置姿勢の推定にも適用可能である。
【００１４】
図１は、画像処理装置の適用例を示す図である。
図１に示すように、本実施形態に係る画像処理装置１は、撮像装置２と、プロジェクタ３とに接続される。
【００１５】
撮像装置２は、作業ライン１０のベルトコンベア４により搬送される対象物５の画像を撮像する。図１のベルトコンベア４は、搬送ベルト４０１上に載置した対象物５が上方（＋ｘ方向）に移動するよう搬送ベルト４０１を周回させる。撮像装置２は、搬送ベルト４０１が周回する搬送路における所定の撮像領域４１０を定点撮像し、撮像した画像を画像処理装置１に順次送信する。
【００１６】
画像処理装置１は、撮像装置２から取得した画像から対象物５が検出された場合に、当該画像と、予め所定の位置姿勢で撮像しておいた対象物の画像（登録画像）とに基づいて、撮像領域４１０内を移動する対象物５の位置姿勢を推定する。また、本実施形態に係る画像処理装置１は、対象物５の検出結果及び位置姿勢の推定結果に基づいて、対象物５にラベル６を貼付する作業を行う作業員７に対する支援情報を含む表示データを生成し、プロジェクタ３に出力する。表示データに含まれる支援情報は、例えば、対象物５の位置姿勢に基づいて算出した、該対象物５におけるラベルの貼付位置を提示する投影画像８である。
【００１７】
プロジェクタ３は、画像処理装置１から受信した表示データに基づいて、搬送ベルト４０１が周回する搬送路における所定の領域（作業領域）４２０に支援情報を含む映像を投影する。映像を投影する作業領域４２０は、例えば、撮像領域４１０内に設定する。
【００１８】
本実施形態の画像処理装置１は、搬送ベルト４０１上に置かれた対象物５が撮像領域４１０を通過する間、撮像装置２で撮像した画像における対象物５の位置姿勢を推定し、支援情報を含む映像を作業領域４１１に表示する処理を繰り返す。これにより、対象物５が作業領域４２０内を移動する間、該対象物５にラベル貼付位置を示す投影画像８が継続して投影される。よって、作業員７は、作業領域４２０内を移動する対象物５に投影された投影画像８を確認しながら、対象物５の位置姿勢に応じた正しいラベル貼付位置にラベル６を貼付することが可能となる。
【００１９】
図２は、ラベル貼付位置の提示方法を説明する図である。
図２において、搬送ベルト４０１上に置かれた対象物５は、右方に搬送される（移動する）。図２における二点鎖線の領域５９０は、時刻ｔ−１における搬送路上での対象物５の位置姿勢を示している。
【００２０】
撮像装置２により撮像した撮像領域４１０の画像はＵ×Ｖ画素のデジタル画像であり、画像上の位置は、画像内における画素の位置により示される。例えば、画像内の領域５９０における１個の角部の位置（Ｘt-1，Ｙt-1）は、当該角部を表示する画素の位置により示される。画素の位置は、例えば、左上角部の画素を原点（０，０）とし、原点からのｘ方向の画素数と、ｙ方向の画素数とにより示される。
【００２１】
時刻ｔ−１に撮像装置２で撮像した画像に基づいて対象物５の位置姿勢を推定した場合、位置姿勢の推定結果に基づいて投影画像８を表示する時刻ｔにおける対象物５の位置は、下流側（＋ｘ方向）に距離Ｄだけ移動している。したがって、時刻ｔ−１に撮像した画像における対象物５の位置姿勢に基づいて決定したラベル貼付位置５１０に投影画像８を投影した場合、投影した時刻ｔにおける対象物５の正しいラベル貼付位置５３０と、投影画像８の投影領域とにずれが生じる。更に、搬送ベルト４０１により対象物５を搬送する際には、搬送中に対象物５の姿勢（向き）が変化することもある。例えば、図２では、時刻ｔ−１における対象物５（領域５９０）の姿勢と、時刻ｔにおける対象物５の姿勢は、同一であり、搬送方向（ｘ方向）に対して角度θだけ傾いた姿勢となっている。しかしながら、例えば、時刻ｔ-１から時刻ｔまでの期間内に作業員７の手が対象物５に触れた場合、時刻ｔにおける対象物５の姿勢が変わってしまう。このように対象物５の姿勢が変化した場合も、時刻ｔにおける対象物５の正しいラベル貼付位置５３０と、投影画像８の投影領域とにずれが生じる。
【００２２】
ラベルの貼付位置を提示する投影画像８の投影位置と、対象物５の正しいラベル貼付位置５３０とのずれが大きくなると、作業員７は、投影画像８に基づいて誤った位置にラベルを貼付することとなる。このため、画像処理装置１は、例えば、対象物５の移動距離Ｄが閾値以下となる時間間隔で、対象物５の位置姿勢を推定し表示データを生成する処理を繰り返す。これにより、対象物５の移動と同期して対象物５のラベル貼付位置を提示する投影画像８の投影位置が移動するため、作業員７に対し正しいラベル貼付位置を継続して提示することが可能となり、作業員の負担を軽減することが可能となる。
【００２３】
本実施形態に係る画像処理装置１は、撮像装置２で撮像した画像における特徴点と、予め所定の位置姿勢で撮像しておいた対象物の画像（登録画像）における特徴点との対応関係に基づいて、画像内における対象物５の位置姿勢を推定する。
【００２４】
本実施形態の画像処理装置１は、上記のように、位置姿勢を推定する対象物５が写っている第１の画像（撮像画像）と、該対象物５が所定の姿勢で写っている第２の画像（登録画像）とに基づいて、第１の画像に写っている対象物５の位置姿勢を推定する。より具体的には、画像処理装置１は、第１の画像から抽出した特徴点と、第２の画像から抽出した特徴点との対応関係、並びに第２の画像における対象物の姿勢に基づいて、第２の画像に写っている対象物５の位置姿勢を推定する。
【００２５】
図３は、特徴点に基づく位置姿勢の推定方法を説明する図である。
図３には登録画像１１と、撮像画像１２とを示している。登録画像１１及び撮像画像１２におけるｕ方向及びｖ方向は、それぞれ、撮像装置２で撮像した画像における水平方向及び垂直方向と対応している。また、登録画像１１及び撮像画像１２におけるｘ方向及びｙ方向は、それぞれ、図２のｘ方向及びｙ方向と対応している。
【００２６】
登録画像１１における対象物５の姿勢（向き）は、例えば、搬送ベルト４０１により対象物５を搬送する際の最も好ましい姿勢とする。なお、登録画像１１は、図３のように対象物５の周囲に他の物体（搬送ベルト４０１）が写っている画像に限らず、対象物５のみが写っている画像であってもよい。一方、撮像画像１２は、作業中に搬送ベルト４０１により搬送される対象物５を含む画像である。このため、図３の撮像画像１２における対象物５の姿勢は、搬送時の最も好ましい姿勢とは異なっている。
【００２７】
登録画像１１及び撮像画像１２から撮像画像１２における対象物５の位置姿勢を推定する際には、まず、それぞれの画像１１，１２から特徴点を抽出する。登録画像１１の特徴点及び撮像画像１２の特徴点は、画像処理の分野における既知の特徴点の抽出方法により抽出可能である。例えば、各画像１１，１２の特徴点は、Speeded Up Robust Features（ＳＵＲＦ）、及びScale Invariant Feature Transform（ＳＩＦＴ）等により抽出可能である。同一の抽出方法により登録画像１１及び撮像画像１２から特徴点を抽出すると、例えば、図３のように、登録画像１１からは３個の特徴点ＰＡ１，ＰＡ２，ＰＡ３が検出され、撮像画像１２からは５個の特徴点ＰＢ１〜ＰＢ５が検出される。
【００２８】
登録画像１１及び撮像画像１２から特徴点を抽出した後、画像処理装置１では、特徴点を含む局所領域における特徴情報に基づいて、登録画像１１の特徴点と、撮像画像１２の特徴点との対応付けを行う。例えば、撮像画像１２の特徴点ＰＢ１と、登録画像１１の特徴点との対応付けを行う際には、特徴点ＰＢ１についての特徴情報と、登録画像１１の３個の特徴点ＰＡ１〜ＰＡ３のそれぞれについての特徴情報とを比較する。そして、登録画像１１の３個の特徴点ＰＡ１〜ＰＡ３のうちの特徴情報の類似度が最も高い特徴点を、撮像画像１２の特徴点ＰＢ１と対応付ける。
【００２９】
登録画像１１の第１の特徴点ＰＡ１は、対象物５の表面に存在する×形の模様５８１における中央付近の輪郭角部に存在する。また、登録画像１１の第２の特徴点ＰＡ２は、対象物５の表面に存在する円形の模様５８２の輪郭部分に存在する。更に、登録画像１１の第３の特徴点ＰＡ３は、対象物５の表面に存在する三角形の模様５８３における輪郭部分に存在する。これに対し、撮像画像１２の特徴点ＰＢ１は、対象物５の表面に存在する×型の模様５８１における中央付近の角部に存在する。このため、登録画像１１の特徴点ＰＡ１〜ＰＡ３のそれぞれについての特徴情報のうちの、撮像画像１２の特徴点ＰＢ１についての特徴情報との類似度が最も高い特徴情報は、特徴点ＰＡ１についての特徴情報となる。
【００３０】
また、登録画像１１の特徴点ＰＡ１〜ＰＡ３のそれぞれについての特徴情報のうちの、撮像画像１２の特徴点ＰＢ２についての特徴情報との類似度が最も高い特徴情報は、特徴点ＰＡ２についての特徴情報となる。更に、登録画像１１の特徴点ＰＡ１〜ＰＡ３のそれぞれについての特徴情報のうちの、撮像画像１２の特徴点ＰＢ３についての特徴情報との類似度が最も高い特徴情報は、特徴点ＰＡ３についての特徴情報となる。なお、撮像画像１２における残りの特徴点ＰＢ４，ＰＢ５についての特徴情報は、登録画像１１の特徴点ＰＡ１〜ＰＡ３のそれぞれについての特徴情報との類似度が低い。このため、撮像画像１２の特徴点ＰＢ４，ＰＢ５が、登録画像１１の特徴点ＰＡ１〜ＰＡ３のいずれかと対応付けられることはない。
【００３１】
登録画像１１の特徴点ＰＡ１〜ＰＡ３と、撮像画像１２の特徴点ＰＢ１〜ＰＢ３との対応付けを行った後、画像処理装置１は、登録画像１１内での特徴点の位置と、撮像画像１２内での特徴点の位置とに基づいて、対象物５の位置姿勢を推定する。例えば、画像処理装置１は、登録画像１１の各特徴点の位置を撮像画像１２の対応する特徴点の位置に変換する変換行列を算出し、該変換行列の係数を対象物５の位置姿勢の推定結果とする。
【００３２】
対象物５の位置姿勢を推定した後、本実施形態に係る画像処理装置１は、位置姿勢の推定結果に基づいて、撮像画像１２の対象物５におけるラベル貼付位置５３０を決定する。画像処理装置１は、例えば、登録画像１１の対象物５におけるラベル貼付位置５２０の四隅の位置を、それぞれ、位置姿勢の推定結果（変換行列）に従って撮像画像１２での位置に変換し、ラベル貼付位置５３０を決定する。この後、画像処理装置１は、ラベル貼付位置５３０に基づいて投影画像８を含む映像データを生成し、投影装置３に出力する。
【００３３】
対象物５の位置姿勢を推定するために行う登録画像１１の特徴点と、撮像画像１２の特徴点との対応付けは、上記のように、各特徴点についての特徴情報に基づいて行う。特徴点についての特徴情報は、特徴点を含む局所的なパッチ領域（特徴情報抽出領域領域）内に含まれる画素が持つ表示画像に関する情報（例えば輝度値）に基づいて抽出する。特徴情報を抽出するパッチ領域は、画像内における水平方向及び垂直方向の画素数により指定される。例えば、パッチ領域が７×７画素である場合、特徴点を含む７×７画素の画素領域内に含まれる４９個の画素の輝度値に基づいて、特徴情報を抽出する。特徴情報は、例えば、パッチ領域内の画素のなかから２個の画素を選出する際の全ての画素の組み合わせのそれぞれにおける２個の画素の輝度値の大小関係を示す情報とする。
【００３４】
ところが、投影画像８が投影された対象物５を含む撮像画像１２から特徴情報を抽出する場合、パッチ領域の大きさが一定であると、適切な特徴情報を抽出できないことがある。
【００３５】
図４は、特徴情報を抽出するパッチ領域と投影領域との関係を示す図である。図４には、撮像画像１２と、撮像画像１２における注目領域１２１０の拡大図を示している。
【００３６】
撮像画像１２内の対象物５には、対象物５におけるラベル貼付位置を示す投影画像８が投影されている。また、対象物５における投影画像８の投影領域内には、１個の特徴点ＰＢ６が含まれる。該特徴点ＰＢ６についての特徴情報を抽出する際には、例えば、図４に示したようなパッチ領域１３を設定し、パッチ領域１３内の画素の輝度値に基づいて特徴情報を抽出する。特徴情報は、パッチ領域１３内の画素のなかから２個の画素を選出する際の全ての画素の組み合わせのそれぞれにおける２個の画素の輝度値の大小関係を示す情報とする。この場合、画像処理装置１は、例えば、パッチ領域１３の左上角部の画素１３０１と右下角部の画素１３０２との輝度値の大小関係、パッチ領域１３の左上角部の画素１３０１と左下角部の画素１３０５との輝度値の大小関係を含む特徴情報を抽出する。
【００３７】
ここで、パッチ領域１３内の画素１３０１及び１３０２の位置は、それぞれ、対象物５の表面のうちの模様５８１の輪郭で囲まれる領域の外側となる位置であり、画素１３０５の位置は、模様５８１の輪郭で囲まれる領域内となる位置である。また、パッチ領域１３内の画素１３０１，１３０２，及び１３０５の位置は、それぞれ、投影画像８の投影領域の外側となる位置である。このため、投影画像８が投影されている場合と、投影されていない場合とで、各画素１３０１，１３０２，及び１３０５の輝度値に有意な変化が生じる可能性は非常に低い。よって、投影画像８が投影されている場合と、投影されていない場合とで、画素１３０１と画素１３０２との輝度値の大小関係に変化が生じる可能性は非常に低い。同様に、投影画像８が投影されている場合と、投影されていない場合とで、画素１３０１と画素１３０５との輝度値の大小関係に変化が生じる可能性は非常に低い。
【００３８】
一方、パッチ領域１３内の画素１３０３，１３０６，及び１３０７のように投影画像８を投影した場合に投影領域内に含まれる画素は、投影画像８が投影されている場合と、投影されていない場合とで、輝度値に有意な変化が生じる。例えば、投影領域内に含まれ、かつ模様５８１の輪郭で囲まれる領域の外側となる位置の画素１３０３の輝度値は、投影画像８を投影していない場合には、画素１３０１，１３０２等の輝度値と略同一である。ところが、投影画像８を投影しているときの画素１３０３の輝度値は、投影画像８（投影光）の輝度の影響を受け、投影画像８を投影していないときの輝度値とは異なる値となる。したがって、投影画像８が投影されている場合と、投影されていない場合とで、画素１３０１と画素１３０３との輝度値の大小関係に変化が生じる可能性が高い。また、同様の理由により、投影画像８が投影されている場合と、投影されていない場合とで、画素１３０１と画素１３０６との輝度値の大小関係、並びに画素１３０５と画素１３０７との輝度値の大小関係等に変化が生じる可能性が高い。
【００３９】
このように、パッチ領域１３内に、投影画像８が投影された領域と投影されていない領域とが含まれ、２つの画素のうちの一方の画素が投影領域内であり他方の画素が投影領域外である場合、該２つの画素の輝度値の大小関係に変化が生じる可能性が高い。投影画像８を投影している場合と投影していない場合とで２つの画素の輝度値の大小関係が変化すると、特徴情報が変化する。投影画像８が投影されることにより撮像画像１２の特徴点についての特徴情報が変化した場合、該特徴情報と、登録画像１１において対応する特徴点の特徴情報との差異が大きくなる。よって、パッチ領域１３内に、投影画像８が投影された領域と投影されていない領域とが含まれる場合、特徴情報の類似度に基づいた特徴点同士の正しい対応付けをすることが難しくなり、対象物５の正しい位置姿勢を推定することが難しくなる。例えば、投影画像８が投影されていない場合では撮像画像１２の特徴点ＰＢ６と対応付けられる登録画像１１の特徴点が、撮像画像１２における模様５８１の輪郭部分から検出された別の特徴点ＰＢ７と対応付けられてしまうことがある。この場合、特徴点ペアに誤りがあるため、対象物５の正しい位置姿勢を推定することができない。
【００４０】
また、例えば、図３の撮像画像１２において特徴点ＰＢ１を含み、特徴点ＰＢ４を含まない投影画像が投影されている場合、特徴点ＰＢ１についての特徴情報と、登録画像１１の特徴点ＰＡ１についての特徴情報との差異が大きくなることがある。撮像画像１２の特徴点ＰＢ１についての特徴情報と登録画像１１の特徴点ＰＡ１についての特徴情報との差異が大きくなると、撮像画像１２の特徴点ＰＢ４と登録画像１１の特徴点ＰＡ１とが対応付けられてしまうことがある。撮像画像１２の特徴点ＰＢ４と登録画像１１の特徴点ＰＡ１とが対応付けられた場合、撮像画像１２に写っている対象物５の位置姿勢として、誤った位置姿勢を推定してしまう。
【００４１】
撮像領域４１０内を移動する対象物５に投影画像８を投影することにより生じる特徴情報の変化を抑制し、対象物５の正しい位置姿勢を推定することを可能にする、画像処理装置１及び位置姿勢の推定方法について、以下に説明する。
【００４２】
図５は、一実施形態に係る画像処理装置の機能的構成を示す図である。
図５に示すように、本実施形態の画像処理装置１は、画像取得部１１０と、特徴点検出部１２０と、特徴情報抽出部１３０と、位置姿勢決定部１４０と、投影画像生成部１５０と、記憶部１９０とを備える。
【００４３】
画像取得部１１０は、撮像装置２で撮像した画像（撮像画像１２）を取得する。
特徴点検出部１２０は、撮像画像１２と、記憶部１９０に記憶させた登録画像１１とから特徴点を検出する。特徴点検出部１２０は、位置姿勢の推定対象である対象物が写っている撮像画像１２、及び対象物が所定の位置姿勢で写っている登録画像１１のそれぞれから特徴点を検出する検出部の一例である。特徴点検出部１２０は、画像処理の分野における既知の特徴点検出方法（例えばＳＵＲＦ、ＳＩＦＴ等）に従って、各画像１１，１２から特徴点を検出する。
【００４４】
特徴情報抽出部１３０は、撮像画像１２から検出した特徴点についての特徴情報と、登録画像１１から検出した特徴点についての特徴情報とを抽出する。特徴情報抽出部１３０は、撮像画像１２から検出した特徴点についての特徴情報と、登録画像１１から検出した特徴点についての特徴情報とを抽出する抽出部の一例である。特徴情報抽出部１３０は、画像内における特徴点の位置と、パッチ領域１３とに基づいて、各特徴点についての特徴情報を抽出する。
【００４５】
なお、本実施形態の画像処理装置１における特徴情報抽出部１３０は、パッチサイズ（画素数）の異なる複数通りのパッチ領域のなかから、投影画像８が特徴情報に与える影響の最も小さいパッチサイズのパッチ領域を選択して特徴情報を抽出する。特徴情報抽出部１３０は、第１の情報抽出部１３１と、パッチサイズ決定部１３２と、第２の情報抽出部１３３とを含む。第１の情報抽出部１３１は、記憶部１９０に記憶させたパッチサイズリスト１９１に登録された複数通りのパッチサイズのそれぞれに基づいて、登録画像１１の特徴点についての特徴情報を抽出する。パッチサイズ決定部１３２は、記憶部１９０に記憶させた投影情報１９３に基づいて撮像画像１２における投影画像８の投影領域を特定し、撮像画像１２の特徴点についての特徴情報の抽出に用いるパッチサイズを決定するサイズ決定部の一例である。第２の情報抽出部１３３は、パッチサイズ決定部１３２で決定したパッチサイズに基づいて、撮像画像１２の特徴点についての特徴情報を抽出する。第１の情報抽出部１３１は、撮像画像１２が対象物に投影画像を投影している状態で撮像した画像である場合に、登録画像１１の特徴点毎に、予め定めた画素数が異なる複数通りのパッチサイズのそれぞれを適用して複数通りの特徴情報を抽出する第１の抽出部の一例である。パッチサイズ決定部１３２は、撮像画像が対象物に投影画像を投影している状態で撮像した画像である場合に、撮像画像の特徴点毎に、複数通りのパッチサイズのそれぞれにより定まるパッチ領域と、投影画像の投影領域との関係に基づいて、複数通りのパッチサイズのなかから特徴情報の抽出に用いるパッチサイズを決定するサイズ決定部の一例である。第２の情報抽出部１３３は、決定したパッチサイズを適用して撮像画像の特徴点についての特徴情報を抽出する第２の抽出部の一例である。
【００４６】
位置姿勢決定部１４０は、特徴情報抽出部１３０で抽出した特徴情報に基づいて撮像画像１２の特徴点と登録画像１１の特徴点とを対応付け、特徴点の対応関係に基づいて対象物５の位置姿勢を決定する。位置姿勢決定部１４０は、特徴点ペア決定部１４１と、位置姿勢算出部１４２とを含む。特徴点ペア決定部１４１は、各特徴点についての特徴情報に基づいて、撮像画像１２の特徴点と対応する登録画像１１の特徴点を特定し、撮像画像１２の特徴点と登録画像１１の特徴点とのペア（特徴点ペア）を決定する。位置姿勢算出部１４２は、登録画像１１における対象物５の姿勢と、特徴点ペアとに基づいて、撮像画像１２における対象物５の位置姿勢を算出する。本実施形態に係る位置姿勢算出部１４２は、対象物５の位置姿勢として、登録画像１１における特徴点の位置を撮像画像１２における特徴点の位置に変換する変換行列を算出する。特徴点ペア決定部１４１は、特徴情報抽出部１３０で抽出した特徴情報に基づいて、撮像画像１２の特徴点と、登録画像１１の特徴点とを対応付けた特徴点ペアを決定するペア決定部の一例である。位置姿勢算出部１４２は、決定した特徴点ペアに基づいて、撮像画像１２に写っている対象物の位置姿勢を算出する算出部の一例である。
【００４７】
投影画像生成部１５０は、撮像画像１２における対象物５の位置姿勢を示す変換行列と、登録画像１１の対象物５における投影画像８の投影領域（ラベル貼付位置）とに基づいて、投影画像８の投影位置を算出し、投影画像８を含む表示データを生成する。投影画像生成部１５０は、生成した投影画像８の表示データを投影装置３に出力する。投影画像生成部１５０は、位置姿勢算出部１４２で算出した対象物の位置姿勢に基づいて、撮像画像に写っている対象物に投影する投影画像の投影領域を算出する領域算出部の一例である。
【００４８】
記憶部１９０は、登録画像１１と、パッチサイズリスト１９１と、撮像画像１２と、特徴情報１９２と、投影情報１９３とを含む各種情報を記憶する。
【００４９】
登録画像１１は、位置姿勢を推定する対象物５が所定の姿勢である場合の対象物５の像を示す画像である。登録画像１１は、対象物５を撮像装置２の撮像領域４１０内に置いて撮像装置２で撮像した画像に限らず、撮像装置２で位置姿勢を推定する対象物５を撮像する際と同一の条件下で他の撮像装置により撮像した画像でもよい。また、登録画像１１は、例えば、コンピュータで作成した画像であってもよい。
【００５０】
撮像画像１２は、所定の撮像領域４１０を撮像装置２で撮像した画像であり、位置姿勢を推定する対象物が写っている画像を含む。
【００５１】
パッチサイズリスト１９１は、特徴情報を抽出する際のパッチ領域（抽出領域）を示すパッチサイズが複数登録されたリストである。
【００５２】
特徴情報１９２は、特徴情報抽出部１３０で抽出した特徴情報である。
投影情報１９３は、投影画像生成部１５０において生成した投影画像８の投影位置（投影領域）を示す情報である。
【００５３】
図６は、パッチサイズリストの例を示す図である。
図６に示したように、パッチサイズリスト１９１には、複数通りのパッチサイズが登録されている。パッチサイズリスト１９１に登録するパッチサイズは、特徴点同士の対応付けにおいて有効な特徴情報を抽出可能なサイズであればよい。図６のパッチサイズリスト１９１には、ｒ×ｒ画素（ｒは３から３１までの奇数）の１５通りのパッチサイズが登録されている。
【００５４】
本実施形態の画像処理装置１は、対象物５の位置姿勢を推定する処理を開始すると、例えば、図７のフローチャートに沿った処理を所定の時間間隔で繰り返す。
【００５５】
図７は、一実施形態に係る画像処理装置が行う処理を説明するフローチャートである。
画像処理装置１は、まず、撮像装置２から撮像画像１２を取得する（ステップＳ１）。ステップＳ１の処理は、画像処理装置１の画像取得部１１０が行う。
【００５６】
次に、画像処理装置１は、撮像画像１２及び登録画像１１から特徴点を検出する（ステップＳ２）。ステップＳ２の処理は、画像処理装置１の特徴点検出部１２０が行う。特徴点検出部１２０は、画像処理の分野における既知の特徴点の検出方法（例えば、ＳＵＲＦ、ＳＩＦＴ等）により撮像画像１２及び登録画像１１のそれぞれから特徴点を検出する。なお、登録画像１１が１個である場合、特徴点検出部１２０は、１回目のステップＳ２の処理で検出した登録画像１１の特徴点を記憶部１９０に記憶させ、２回目以降のステップＳ２の処理では登録画像１１の特徴点を検出する処理を省略してもよい。
【００５７】
ステップＳ２の処理の後、画像処理装置１は、撮像画像１２から特徴点が検出されたか否かを判定する（ステップＳ３）。ステップＳ３の判定は、例えば、特徴点検出部１２０が行う。撮像画像１２から特徴点が検出されなかった場合、ステップＳ１で取得した撮像画像１２には対象物５が写っていない。このため、撮像画像から特徴点が検出されなかった場合（ステップＳ３；ＮＯ）、特徴点検出部１２０（画像処理装置１）は、ステップＳ１で取得した撮像画像１２に対する処理を終了させる。
【００５８】
撮像画像１２から特徴点が検出された場合（ステップＳ３；ＹＥＳ）、画像処理装置１は、次に、特徴情報抽出処理（ステップＳ４）を行う。ステップＳ４の処理は、特徴情報抽出部１３０が行う。特徴情報抽出処理は、第１の抽出処理と、パッチサイズ決定処理と、第２の抽出処理とを含む。第１の抽出処理は、登録画像１１の特徴点についての特徴情報を抽出する処理である。パッチサイズ決定処理は、撮像画像１２の特徴点についての特徴情報の抽出に用いるパッチサイズを決定する処理である。第２の抽出処理は、パッチサイズ決定処理で決定したパッチサイズに基づいて撮像画像１２の特徴点についての特徴情報を抽出する処理である。なお、本実施形態に係る特徴情報抽出処理における第１の抽出処理では、特徴点毎に、１つの特徴点についての特徴情報として、パッチサイズリスト１９１に登録された複数のパッチサイズのそれぞれで特徴情報を抽出する。
【００５９】
特徴情報抽出処理を終えると、画像処理装置１は、次に、抽出した特徴情報に基づいて撮像画像１２の特徴点と登録画像１１の特徴点との特徴点ペアを決定する（ステップＳ５）。ステップＳ５の処理は、位置姿勢決定部１４０の特徴点ペア決定部１４１が行う。特徴点ペア決定部１４１は、まず、登録画像１１の特徴点についての特徴情報のなかから、パッチサイズ決定部１３２で決定したパッチサイズで抽出した特徴情報を選出する。次に、特徴点ペア決定部１４１は、撮像画像１２の特徴点についての特徴情報と選出した登録画像１１の特徴点についての特徴情報との類似度に基づいて、撮像画像１２の特徴点と対応する登録画像１１の特徴点を特定し、特徴点ペアを決定する。
【００６０】
ステップＳ５の処理を終えると、画像処理装置１は、次に、特徴点ペアに基づいて、撮像画像１２内の対象物５の位置姿勢を算出する（ステップＳ６）。ステップＳ６の処理は、位置姿勢決定部１４０の位置姿勢算出部１４２が行う。位置姿勢算出部１４２は、対象物５の位置姿勢として、例えば、特徴点ペア（登録画像１１の特徴点と撮像画像１２の特徴点との対応関係）に基づいて、登録画像１１内の特徴点の位置を撮像画像１２内における特徴点の位置に変換する変換行列を算出する。
【００６１】
ステップＳ６の処理を終えると、画像処理装置１は、次に、算出した位置姿勢に基づいて対象物５に投影する投影画像８の表示データを生成し、投影装置３に出力する（ステップＳ７）。ステップＳ７の処理は、投影画像生成部１５０が行う。投影画像生成部１５０は、まず、対象物５の位置姿勢を示す変換行列に基づいて、登録画像１１における投影画像８の投影位置を、撮像画像１２内における投影位置に変換する。次に、投影画像生成部１５０は、撮像装置２の撮像領域４１０と作業領域４２０との関係等に基づいて、対象物５に投影する投影画像８を含む表示データを生成し、投影装置３に出力する。
【００６２】
このように、画像処理装置１は、撮像画像１２の特徴点についての特徴情報と登録画像１１の特徴点についての特徴情報とに基づいて、撮像画像１２の特徴点と登録画像１１の特徴点との対応付けを行い、撮像画像１２内の対象物５の位置姿勢を推定する。なお、本実施形態の画像処理装置１は、特徴情報を抽出する特徴情報抽出処理（ステップＳ４）において、上記のように、第１の抽出処理と、パッチサイズ決定処理と、第２の抽出処理を行う。本実施形態の画像処理装置１が行う特徴情報抽出処理の内容について、以下に説明する。
【００６３】
図８は、特徴情報抽出処理の内容を説明するフローチャートである。
特徴情報抽出処理（ステップＳ４）は、特徴情報抽出部１３０が行う。特徴情報抽出部１３０は、図８に示すように、まず、登録画像１１の特徴点についての特徴情報を抽出する第１の抽出処理（ステップＳ４１）を行う。第１の抽出処理は、特徴情報抽出部１３０の第１の情報抽出部１３１が行う。第１の情報抽出部１３１は、登録画像１１の特徴点毎に、１個の特徴点についての特徴情報として、パッチサイズリスト１９１に登録された複数のパッチサイズのそれぞれを適用して特徴情報を抽出する。すなわち、パッチサイズリスト１９１に登録されたパッチサイズがＫ個である場合、第１の情報抽出部１３１は、登録画像１１における１個の特徴点ＰＡｎについての特徴情報Ψｎとして、Ｋ個の特徴情報ψn,1，ψn,2，・・・，ψn,kを抽出する。ここで、添え字ｎは、登録画像１１から検出したＮ個の特徴点を識別する識別子（例えば１からＮまでの整数）である。また、ψn,k（ｋは１からＫまでの整数）は、ｎ番目の特徴点ＰＡｎに対してパッチサイズリスト１９１に登録されたｋ番目のパッチサイズを適用したときの特徴情報である。
【００６４】
次に、特徴情報抽出部１３０は、撮像画像１２の特徴点についての特徴情報を抽出する際に適用するパッチサイズを決定するパッチサイズ決定処理（ステップＳ４２）を行う。パッチサイズ決定処理は、特徴情報抽出部１３０のパッチサイズ決定部１３２が行う。パッチサイズ決定部１３２は、撮像画像１２の特徴点毎に、各パッチサイズにより定まるパッチ領域と、投影画像８の投影領域との関係に基づいて、投影画像８が特徴情報に与える影響の小さい最適なパッチサイズを決定する。
【００６５】
次に、特徴情報抽出部１３０は、パッチサイズ決定処理で決定した最適なパッチサイズを適用して撮像画像１２の特徴点についての特徴情報を抽出する、第２の抽出処理（ステップＳ４３）を行う。ステップＳ４３の処理は、特徴情報抽出部１３０の第２の情報抽出部１３３が行う。第２の情報抽出部１３３は、撮像画像１２の特徴点毎に、パッチサイズ決定処理で決定した最適なパッチサイズを適用して撮像画像１２の特徴点についての特徴情報を抽出する。第２の情報抽出部１３３が第２の抽出処理を終えると、１組の撮像画像１２及び登録画像１１の組に対する特徴情報抽出処理が終了する。
【００６６】
特徴情報抽出処理における第１の抽出処理（ステップＳ４１）では、上記のように、登録画像１１の特徴点毎に、１個の特徴点についての特徴情報として、パッチサイズリスト１９１に登録された複数のパッチサイズのそれぞれを適用して特徴情報を抽出する。第１の抽出処理は、第１の情報抽出部１３１が行う。第１の情報抽出部１３１は、第１の抽出処理として、例えば、図９のフローチャートに沿った処理を行う。
【００６７】
図９は、第１の抽出処理の内容を説明するフローチャートである。
第１の情報抽出部１３１は、図９に示すように、まず、登録画像１１の特徴点のなかから特徴情報を抽出する特徴点を選択する（ステップＳ４１０１）。ステップＳ４１０１において、第１の情報抽出部１３１は、所定の選択規則に従って、登録画像１１から検出したＮ個の特徴点ＰＡ１，ＰＡ２，・・・，ＰＡＮのうちの１個の特徴点ＰＡｎを選択する。
【００６８】
次に、第１の特徴部１３１は、パッチサイズリスト１９１に登録された複数のパッチサイズのなかから１個のパッチサイズを選択する（ステップＳ４１０２）。ステップＳ４１０２において、第１の情報抽出部１３１は、所定の選択規則に従って、Ｋ個のパッチサイズＰＳ１，ＰＳ２，・・・，ＰＳＫのうちの１個のパッチサイズＰＳｋを選択する。
【００６９】
次に、第１の情報抽出部１３１は、選択したパッチサイズＰＳｋを適用し、選択した特徴点ＰＡｎについての特徴情報ψn,kを抽出する（ステップＳ４１０３）。ステップＳ４１０３において、第１の情報抽出部１３１は、既知の抽出方法に従って、特徴情報を抽出する。例えば、第１の情報抽出部１３１は、選択したパッチサイズＰＳｋにより定まるパッチ領域内の複数個の画素のなかから２個の画素を選出するときに取り得る画素の組み合わせのそれぞれにおける輝度値の大小関係を特徴情報として抽出する。選択したパッチサイズＰＳｋがｒ×ｒ画素である場合、パッチ領域内のＲ（＝ｒ×ｒ）個の画素のなかから２個の画素を選出するときの組み合わせ数は、ＲＣ２通りとなる。よって、選択したパッチサイズＰＳｋがＲ（＝ｒ×ｒ）画素である場合の特徴点ＰＡｎについての特徴情報ψn,kは、ＲＣ２個の情報を含む。
【００７０】
ステップＳ４１０３の処理を終えると、第１の情報抽出部１３１は、パッチサイズリスト１９１に登録された全てのパッチサイズを選択したか否かを判定する（ステップＳ４１０４）。言い換えると、ステップＳ４１０４において、第１の情報抽出部１３１は、選択した１個の特徴点ＰＡｎについての特徴情報Ψｎ＝｛ψn,1，ψn,2，・・・，ψn,K｝の抽出を完了したか否かを判定する。選択していないパッチサイズがある場合（ステップＳ４１０４；ＮＯ）、第１の情報抽出部１３１は、ステップＳ４１０２及びＳ４１０３の処理を繰り返す。そして、全てのパッチサイズを選択してステップＳ４１０３の処理を行った場合（ステップＳ４１０４；ＹＥＳ）、第１の情報抽出部１３１は、次に、全ての特徴点を選択したか否かを判定する（ステップＳ４１０５）。言い換えると、ステップＳ４１０５において、第１の情報抽出部１３１は、登録画像１１から検出した全ての特徴点についての特徴情報の抽出を完了したか否かを判定する。
【００７１】
選択していない特徴点がある場合（ステップＳ４１０５；ＮＯ）、第１の情報抽出部１３１は、ステップＳ４１０１以降の処理を繰り返す。そして、全ての特徴点についての特徴情報の抽出を完了した場合（ステップＳ４１０５；ＹＥＳ）、第１の情報抽出部１３１は、抽出した複数個の特徴点のそれぞれについての特徴情報を記憶部１９０に格納し（ステップＳ４１０６）、第１の抽出処理を終了する。登録画像１１から検出した特徴点がＮ個である場合、ステップＳ４１０６において、第１の情報抽出部１３１は、Ｎ個の特徴点ＰＡ１，ＰＡ２，・・・，ＰＡＮのそれぞれについての特徴情報Ψ１，Ψ２，・・・ΨＮを記憶部１９０に格納する。この際、１個の特徴点ＰＡｎについての特徴情報Ψｎは、上記のように、Ｋ個の異なるパッチサイズのそれぞれを適用して抽出したＫ個の特徴情報ψn,1，ψn,2，・・・，ψn,Kを要素とする集合（Ψｎ＝｛ψn,1，ψn,2，・・・，ψn,K｝）となっている。
【００７２】
第１の抽出処理を終えると、特徴情報抽出部１３０は、次に、パッチサイズ決定処理（ステップＳ４２）を行う。パッチサイズ決定処理では、上記のように、撮像画像１２の特徴点毎に、各パッチサイズにより定まるパッチ領域と、投影画像８の投影領域との関係に基づいて、投影画像８が特徴情報に与える影響の小さい最適なパッチサイズを決定する。パッチサイズ決定処理は、パッチサイズ決定部１３２が行う。パッチサイズ決定部１３２は、パッチサイズ決定処理として、例えば、図１０Ａ及び図１０Ｂのフローチャートに沿った処理を行う。
【００７３】
図１０Ａは、パッチサイズ決定処理の内容を説明するフローチャート（その１）である。図１０Ｂは、パッチサイズ決定処理の内容を説明するフローチャート（その２）である。
【００７４】
パッチサイズ決定部１３２は、図１０Ａに示すように、まず、記憶部１９０の投影情報１９３を参照し（ステップＳ４２０１）、対応する投影情報があるか否かを判定する（ステップＳ４２０２）。対応する投影情報は、例えば、現在処理対象となっている撮像画像１２を撮像したときに作業領域に投影されている投影画像８の投影領域（投影位置）を示す情報である。対応する投影情報がない場合（ステップＳ４２０２；ＮＯ）、パッチサイズ決定部１３２は、第２の抽出処理で適用するパッチサイズを、パッチサイズリスト１９１に登録されたパッチサイズのうちの所定のパッチサイズに決定する（図１０ＢのステップＳ４２１１）。ステップＳ４２１１において、パッチサイズ決定部１３２は、例えば、第２の抽出処理で適用するパッチサイズＰＳを、パッチサイズリスト１９１に登録されたＫ個のパッチサイズＰＳ１，ＰＳ２，・・・，ＰＳＫのうちの画素数の最も多いパッチサイズに決定する。ステップＳ４２１１においてパッチサイズを決定すると、パッチサイズ決定部１３２は、決定したパッチサイズを第２の情報抽出部１３３に通知してパッチサイズ決定処理を終了する。すなわち、現在処理対象である撮像画像１２を撮像したときに撮像領域４１０内に投影画像８を投影していない場合、第２の抽出処理では、所定の同一のパッチサイズを適用して、撮像画像１２から検出した複数の特徴点のそれぞれについての特徴情報を抽出する。
【００７５】
一方、対応する投影情報がある場合（ステップＳ４２０２；ＹＥＳ）、パッチサイズ決定部１３２は、次に、投影情報に基づいて等輝度領域を検出する（ステップＳ４２０３）。ステップＳ４２０３において、パッチサイズ決定部１３２は、例えば、１個の投影画像８の投影領域全体を１個の等輝度領域として、当該１個の等輝度領域の位置や輪郭を示す情報を検出する。したがって、撮像領域４１０内に投影している投影画像が１個である場合、ステップＳ４２０３において検出される等輝度領域は、投影画像８の投影領域と対応する第１の等輝度領域と、該投影領域の外側となる第２の等輝度領域との２つとなる。
【００７６】
次に、パッチサイズ決定部１３２は、ステップＳ４２０３で検出した等輝度領域と対応する撮像画像１２内の等輝度領域を特定する（ステップＳ４２０４）。すなわち、ステップＳ４２０３及びＳ４２０４の処理により、撮像画像１２における投影画像８の投影領域が特定される。
【００７７】
次に、パッチサイズ決定部１３２は、撮像画像１２の特徴点のなかから特徴情報を抽出する特徴点を選択する（ステップＳ４２０５）。ステップＳ４２０５において、パッチサイズ決定部１３２は、所定の選択規則に従って、撮像画像１２から検出したＭ個の特徴点ＰＢ１，ＰＢ２，・・・，ＰＢＭのうちの１個の特徴点ＰＢｍを選択する。
【００７８】
次に、パッチサイズ決定部１３２は、パッチサイズリスト１９１に登録された複数のパッチサイズのなかから１個のパッチサイズを選択する（ステップＳ４２０６）。ステップＳ４２０６において、パッチサイズ決定部１３２は、所定の選択規則に従って、Ｋ個のパッチサイズＰＳ１，ＰＳ２，・・・，ＰＳＫのうちの１個のパッチサイズＰＳｋを選択する。
【００７９】
次に、パッチサイズ決定部１３２は、撮像画像１２内における、選択した特徴点及びパッチサイズにより定まるパッチ領域（特徴情報抽出領域）と、等輝度領域との関係を把握する（ステップＳ４２０７）。ステップＳ４２０７において、パッチサイズ決定部１３２は、例えば、パッチ領域内の複数の画素のうちの投影領域と対応する等輝度領域に含まれる画素の個数を計数し、パッチ領域内における投影領域と対応する等輝度領域の割合を把握する。
【００８０】
ステップＳ４２０７の処理を終えると、パッチサイズ決定部１３２は、パッチサイズリスト１９１に登録された全てのパッチサイズを選択したか否かを判定する（ステップＳ４２０８）。言い換えると、ステップＳ４２０８において、パッチサイズ決定部１３２は、選択した１個の特徴点ＰＢｍについてのＫ通りのパッチ領域と等輝度領域との関係を全て把握したか否かを判定する。選択していないパッチサイズがある場合（ステップＳ４２０８；ＮＯ）、パッチサイズ決定部１３２は、ステップＳ４２０６及びＳ４２０７の処理を繰り返す。そして、全てのパッチサイズを選択してステップＳ４２０７の処理を行った場合（ステップＳ４２０８；ＹＥＳ）、パッチサイズ決定部１３２は、次に、全ての特徴点を選択したか否かを判定する（ステップＳ４２０９）。言い換えると、ステップＳ４２０９において、パッチサイズ決定部１３２は、撮像画像１２から検出した全ての特徴点におけるパッチサイズと等輝度領域との関係を把握したか否かを判定する。
【００８１】
選択していない特徴点がある場合（ステップＳ４２０９；ＮＯ）、パッチサイズ決定部１３２は、ステップＳ４２０５以降の処理を繰り返す。そして、全ての特徴点におけるパッチ領域と等輝度領域との関係を把握した場合（ステップＳ４２０９；ＹＥＳ）、パッチサイズ決定部１３２は、把握した関係に基づいて第２の抽出処理で適用するパッチサイズを決定する（図１０ＢのステップＳ４２１０）。ステップＳ４２１０において、パッチサイズ決定部１３２は、特徴点毎に、Ｋ個のパッチサイズＰＳ１，ＰＳ２，・・・，ＰＳＫのなかから、投影画像８が特徴情報に与える影響が最も小さくなる最適なパッチサイズを決定する。ステップＳ４２１０において各特徴点の特徴情報の抽出に適用するパッチサイズを決定すると、パッチサイズ決定部１３２は、決定したパッチサイズを第２の情報抽出部１３３に通知してパッチサイズ決定処理を終了する。
【００８２】
図１１は、最適なパッチサイズの決定方法の例を説明する図である。
図１１には、撮像画像１２における１個の特徴点ＰＢ８と、投影画像８の投影領域と、特徴点ＰＢ８についての３通りのパッチ領域１３Ａ，１３Ｂ，及び１３Ｃと、を模式的に示している。図１１の撮像画像１２における投影画像８の投影領域は、撮像画像１２内の網掛けを付した領域であり、特徴点ＰＢ８は、投影画像８の撮像領域内に含まれる。
【００８３】
図１１の撮像画像１２から特徴点ＰＢ８についての特徴情報を抽出する際には、まず、パッチサイズ決定部１３２においてパッチサイズ決定処理（ステップＳ４２）を行い、適用するパッチサイズＰＳを決定する。パッチサイズ決定部１３２は、まず、撮像画像１２における等輝度領域を検出し（ステップＳ４２０３）、等輝度領域と対応する撮像画像１２内の領域を特定する（ステップＳ４２０４）。ステップＳ４２０３において、パッチサイズ決定部１３２は、撮像画像１２を撮像したときに投影している投影画像８についての投影情報に基づいて、投影画像８の投影領域の位置や輪郭を示す情報を検出する。その後、ステップＳ４２０４において、パッチサイズ決定部１３２は、ステップＳ４２０３で検出した等輝度領域の情報に基づいて、撮像画像１２内の等輝度領域を特定する。パッチサイズ決定部１３２が図１１の撮像画像１２に対してステップＳ４２０３及びＳ４２０４の処理を行うと、投影画像８の投影領域（網掛けを付した領域）が第１の等輝度領域となり、第１の等輝度領域の外側が第２の等輝度領域となる。
【００８４】
撮像画像１２内の等輝度領域を特定した後、パッチサイズ決定部１３２は、選択した特徴点ＰＢ８についての各パッチサイズにより定まるパッチ領域と、等輝度領域との関係を把握する（ステップＳ２４０６，Ｓ２４０７）。パッチ領域は、例えば、特徴点がパッチサイズで表される画素領域における中心となるように設定する。図１１の撮像画像１２では、７×７画素のパッチサイズを選択した場合のパッチ領域１３Ａは、パッチ領域全体が第１の等輝度領域（投影画像８の投影領域）内に含まれる。パッチ領域１３Ａのように領域全体が１個の等輝度領域に含まれる場合、パッチ領域１３Ａ内の全ての画素の輝度値が投影画像８の影響を受けて略均一に変化する。このため、パッチ領域１３Ａ内に含まれる画素の輝度値に基づいて抽出した特徴情報は、投影画像８が投影されている場合と投影されていない場合とで、略同一の情報となる。例えば、投影画像８が投影されている場合と投影されていない場合とで、パッチ領域１３Ａ内に含まれる２個の画素における輝度値はそれぞれ異なる値となるが、輝度値の大小関係は変わらない。
【００８５】
これに対し、ステップＳ２４０６で９×９画素のパッチサイズを選択した場合のパッチ領域１３Ｂ、及び１１×１１画素のパッチサイズを選択した場合のパッチ領域１３Ｃは、パッチ領域内に第１の等輝度領域と第２の等輝度領域とが含まれる。１つのパッチ領域内に２つの等輝度領域が含まれる場合、該パッチ領域内には、投影画像８の影響を受ける画素と、投影画像８の影響を受けない画素とが存在する。このため、パッチ領域１３Ｂ及び１３Ｃ内の画素の輝度値に基づいて抽出した特徴情報は、それぞれ、投影画像８が投影されている場合と投影されていない場合とで、異なった情報となる。したがって、パッチ領域１３Ｂ内或いはパッチ領域１３Ｃ内の画素の輝度値に基づいて特徴点ＰＢ８についての特徴情報を抽出した場合、投影画像８が投影されていない登録画像１１において対応する特徴点についての特徴情報との差異が大きくなる。すなわち、パッチ領域１３Ｂ内或いはパッチ領域１３Ｃ内の画素の輝度値に基づいて特徴点ＰＢ８についての特徴情報を抽出した場合、撮像画像１２の特徴点ＰＢ８と登録画像１１の特徴点とを正しく対応付けることが困難となる。
【００８６】
よって、パッチサイズ決定部１３２は、例えば、パッチ領域内の全ての画素が１個の等輝度領域内に含まれるパッチサイズのうちの画素数が最大であるパッチサイズを最適なパッチサイズとする。この場合、図１１の撮像画像１２における特徴点ＰＢ８についての最適なパッチサイズは、７×７画素のパッチサイズとなる。
【００８７】
なお、最適なパッチサイズは、例えば、パッチ領域内の画素のうちの１個の等輝度領域内に含まれる画素の割合が閾値以上であるパッチサイズのうちの画素数が最大であるパッチサイズとしてもよい。図１１の例では、９×９画素のパッチサイズを適用したときのパッチ領域１３Ｂ内の画素のうち、第２の等輝度領域（投影画像８の投影領域の外側となる領域）に含まれる画素は、パッチ領域１３Ｂにおける右端の９個の画素のみである。すなわち、パッチ領域１３Ｂ内の８１個の画素のうちの７２個の画素は第１の等輝度領域に含まれる。このように、パッチ領域１３Ｂ内の画素のうちの第１の等輝度領域に含まれる画素の数が、第２の等輝度領域に含まれる画素の数に比べて十分に多い場合、投影画像８が特徴情報に与える影響は小さいと考えられる。例えば、パッチ領域１３Ｂに基づいて特徴情報を抽出した場合に登録画像８が特徴情報に与える影響は、パッチ領域１３Ｃ（１１×１１画素）に基づいて特徴情報を抽出した場合に投影画像８が特徴情報に与える影響よりも小さいと考えられる。また、パッチ領域１３Ａ内の画素数が４９（＝７×７）個であるのに対し、パッチ領域１３Ｂ内の画素数は８１（９×９）個である。このため、パッチ領域１３Ｂ内の画素に基づいて抽出した特徴情報は、パッチ領域１３Ａ内の画素に基づいて抽出した特徴情報と比べて、情報量が多くなる。よって、図１１の撮像画像１２における特徴点ＰＢ８についての最適なパッチサイズは、９×９画素のパッチサイズとしてもよい。このようにすることで、パッチ領域内の画素数を多くすることが可能となり、より詳細な特徴情報を抽出することが可能となる。これにより、複数の特徴点についての特徴情報が同一の情報となり特徴点同士の対応付けの精度が低下することによる、位置姿勢の推定精度の低下を抑制することが可能となる。
【００８８】
また、パッチ領域内における投影画像８の投影領域の割合が低い場合、パッチ領域内の画素のうちの投影画像８を投影することにより輝度値が変化する画素の数が、輝度値が変化しない画素の数と比べて少なくなる。したがって、パッチ領域内の画素のうちの１個の等輝度領域内に含まれる画素の割合が閾値以上となる場合の該等輝度領域は、投影画像８の投影領域と対応する第１の等輝度領域、及び第１の等輝度領域の外側の第２の等輝度領域のどちらであってもよい。
【００８９】
更に、撮像画像１２の特徴点ＰＢｍに適用する最適なパッチサイズＰＳm,kは、例えば、下記式（１）により算出されるパッチサイズスコアＳm,kが最大値となるパッチサイズＰＳｋとしてもよい。
【００９０】
Ｓm,k＝α・ｆ（ＰＳk）＋β・ｇ（ＰＳk）      ・・・（１）
【００９１】
式（１）において、ｍは撮像画像１２から検出したＭ個の特徴点を識別する識別子（例えば１〜Ｍの整数）であり、ｋはパッチサイズリスト１９１に登録されたＫ個のパッチサイズを識別する識別子（例えば１〜Ｋの整数）である。
【００９２】
また、式（１）におけるｆ（ＰＳｋ）は、パッチサイズＰＳｋと位置姿勢の推定精度との第１の関係に基づいて設定される関数である。パッチサイズＰＳｋと位置姿勢の推定精度との第１の関係は、パッチサイズＰＳｋが大きいほど特徴情報の抽出範囲が広くなり、複数の特徴点についての特徴情報が同一の特徴情報となる可能性が低くなるため位置姿勢の推定精度が向上するという関係である。すなわち、関数ｆ（ＰＳｋ）は、パッチサイズＰＳｋが大きくなると関数ｆ（ＰＳｋ）の値が大きくなる傾向を示す関数とする。例えば、関数ｆ（ＰＳｋ）は、パッチサイズＰＳｋにより定まるパッチ領域内の画素数Ｒｋとする。また、例えば、第１の関数ｆ（ＰＳｋ）は、パッチ領域内の全ての画素（Ｒｋ個の画素）のなかから２個の画素を選出するときの組み合わせ数ＲｋＣ２としてもよい。
【００９３】
一方、式（１）におけるｇ（ＰＳｋ）は、パッチサイズＰＳｋと位置姿勢の推定精度との第２の関係に基づいて設定される関数である。パッチサイズＰＳｋと位置姿勢の推定精度との第２の関係は、パッチサイズＰＳｋが大きいほど投影画像８による特徴情報の変化が生じやすくなり、位置姿勢の推定精度が低下するという関係である。このため、関数ｇ（ＰＳｋ）は、パッチ領域内の全ての画素が１個の等輝度領域に含まれる場合には一定の値であり、パッチ領域内に複数の等輝度領域が存在する場合には各等輝度領域の面積の割合に応じて値が小さくなる関数とする。より具体的には、複数の等輝度領域が存在する場合の各等輝度領域の面積の割合の偏りが小さくなると値が小さくなる傾向を示す関数とする。例えば、関数ｇ（ＰＳｋ）は、パッチサイズＰＳｋにより定まるパッチ領域内において最も大きい（画素数の多い）等輝度領域における画素数Ｒ’を、パッチ領域内の総画素Ｒで除した値Ｒ’／Ｒとする。
【００９４】
上記のパッチサイズ決定処理を終えると、特徴情報抽出部１３０は、次に、第２の抽出処理（ステップＳ４３）を行う。第２の抽出処理では、撮像画像１２の特徴点ＰＢｍ毎に、パッチサイズ決定処理で決定したパッチサイズＰＳm,kを適用して特徴情報φm,kを検出する。第２の抽出処理は、第２の情報抽出部１３３が行う。第２の情報抽出部１３３は、第１の情報抽出部１３１が行うステップＳ４１０３の処理と同一の抽出方法に従って、特徴情報を抽出する。例えば、第２の情報抽出部１３３は、パッチサイズＰＳm,kにより定まるパッチ領域内の複数個の画素のなかから２個の画素を選出するときに取り得る画素の組み合わせのそれぞれにおける輝度値の大小関係を特徴情報として抽出する。パッチサイズＰＳm,kがｒ×ｒ画素である場合、パッチ領域内のＲ（＝ｒ×ｒ）個の画素のなかから２個の画素を選出するときの組み合わせ数は、ＲＣ２通りとなる。よって、パッチサイズＰＳm,kがＲ（＝ｒ×ｒ）画素である場合の特徴点ＰＢｍについての特徴情報φm,kは、ＲＣ２個の情報を含む。第２の情報抽出部１３３は、撮像画像１２から検出したＭ個の特徴点ＰＢｍ（ｍは１〜Ｍまでの整数）のそれぞれについての特徴情報φm,kを抽出する。
【００９５】
特徴情報抽出部１３０がステップＳ４１〜Ｓ４３の各処理を含む特徴情報抽出処理（ステップＳ４）を終えると、次に、特徴点ペア決定部１４１が、撮像画像１２の特徴点と登録画像１１の特徴点との対応付けを行い、特徴点ペアを決定する（ステップＳ５）。特徴点ペア決定部１４１は、例えば、撮像画像１２から検出したＭ個の特徴点のうちの特徴情報を抽出した際に適用したパッチサイズが大きい特徴点から順に、登録画像１１の特徴点との対応付けを行う。特徴点ペア決定部１４１は、例えば、登録画像１１の複数の特徴点のうちの撮像画像１２の特徴点と対応付けられていない特徴点のそれぞれについての特徴情報と、撮像画像１２の特徴点についての特徴情報とを比較する。そして、特徴情報を比較した登録画像１１の特徴点のうちの、撮像画像１２の特徴点についての特徴情報との類似度が最も高い特徴点を、撮像画像１２の特徴点と対応付ける。この際、特徴点ペア決定部１４１は、撮像画像１２の特徴点ＰＢｍについての特徴情報φm,kmと、登録画像１１の特徴点についての特徴情報のうちの撮像画像１２の特徴情報φm,kmを抽出した際のパッチサイズと同一のパッチサイズで抽出した特徴情報ψn,k=kmとを比較する。
【００９６】
図１２Ａは、特徴点の対応付けの順序を説明する図（その１）である。図１２Ｂは、特徴点の対応付けの順序を説明する図（その２）である。
【００９７】
図１２Ａには、登録画像１１のＮ個の特徴点ＰＡｎについての特徴情報ψn,kを含むテーブル１４と、撮像画像１２の５個の特徴点ＰＢ１〜ＰＢ５についての特徴情報φ1,k1〜φ5,k5を含むテーブル１５とを示している。特徴情報を抽出するパッチサイズは、図６のパッチサイズリスト１９１に登録された１５個のパッチサイズのなかから決定されるものとする。
【００９８】
登録画像１１から検出したＮ個の特徴点ＰＡｎのそれぞれについての特徴情報Ψｎは、上記のように、適用したパッチサイズが異なるＫ個の特徴情報ψn,1，ψn,2，・・・，ψn,Kを含む。パッチサイズリスト１９１に登録されたパッチサイズが１５通りである場合、Ｎ個の特徴点ＰＡｎのそれぞれについての特徴情報Ψｎは、テーブル１４のように、１５個の特徴情報ψn,1，ψn,2，・・・，ψn,15を含む。
【００９９】
一方、撮像画像１２から検出した５個の特徴点ＰＢ１〜ＰＢ５のそれぞれについての特徴情報φ1,k〜φ5,kは、上記のように、特徴点毎に決定した最適なパッチサイズＰＳm,kを適用して抽出した特徴情報である。
【０１００】
特徴点ペア決定部１４１において撮像画像１２の特徴点と、登録画像１１の特徴点との特徴点ペアを決定する際には、上記のように、撮像画像１２の特徴点のうちの特徴情報を抽出した際のパッチサイズが大きい特徴点から順に特徴点ペアを決定する。このため、特徴点ペア決定部１４１は、まず、図１２のテーブル１５を参照し、適用したパッチサイズが最も大きい特徴点ＰＢ２を選出する。
【０１０１】
次に、特徴点ペア決定部１４１は、登録画像１１の各特徴点についての特徴情報のなかから、撮像画像１２の特徴点ＰＢ２についての特徴情報φ2,15と同一のパッチサイズを適用して抽出した特徴情報ψn,15を選出し、特徴情報φ2,15と比較する。特徴点ＰＢ２についての特徴情報は、３１×３１画素のパッチサイズを適用して抽出している。このため、特徴点ペア決定部１４１は、登録画像１１のＮ個の特徴点ＰＡｎのそれぞれについての特徴情報として、３１×３１画素のパッチサイズを適用して抽出した特徴情報ψn,15を選出し、これらを特徴情報φ2,15と比較する。そして、特徴点ペア決定部１４１は、登録画像１１のＮ個の特徴点ＰＡｎのうちの特徴情報ψn,15と特徴情報φ2,15と類似度が最も高い特徴点と、撮像画像１２の特徴点ＰＢ２とを特徴点ペアに決定する。
【０１０２】
続けて、特徴点ペア決定部１４１は、撮像画像１２における特徴点ＰＢ２を除く他の特徴点のうちのパッチサイズが最も大きい特徴点ＰＢ４を選出し、特徴点ＰＢ４と、登録画像１１の特徴点との対応付けを行う。例えば、図１２Ａにおいて、撮像画像１２の特徴点ＰＢ２と、登録画像１１の特徴点ＰＡ１〜ＰＡＮのうちの特徴点ＰＡ２とが対応付けられたとする。この場合、特徴点ペア決定部１４１は、次に、図１２Ｂのように、撮像画像１２の特徴点ＰＢ４と、登録画像１１の特徴点ＰＡ１〜ＰＡＮのうちの特徴点ＰＡ２を除く特徴点ＰＡ１，ＰＡ３〜ＰＡＮのいずれかとの対応付けを行う。この際、特徴点ペア決定部１４１は、登録画像１１の特徴点ＰＡ１，ＰＡ３〜ＰＡＮのそれぞれについての１７×１７画素のパッチサイズを適用して抽出した特徴情報ψn,8のそれぞれと、撮像画像１２の特徴点ＰＢ４についての特徴情報φ4,8とを比較する。そして、特徴点ペア決定部１４１は、登録画像１１のＰＡ１，ＰＡ３〜ＰＡＮのうちの特徴情報ψn,8と特徴情報φ4,8と類似度が最も高い特徴点と、撮像画像１２の特徴点ＰＢ４とを特徴点ペアに決定する。
【０１０３】
以降、特徴点ペア決定部１４１は、撮像画像１２の特徴点ＰＢ３，ＰＢ５，ＰＢ１の順に、登録画像１１の特徴点のうちの特徴点ペアになっていない特徴点との対応付けを行い、特徴点ペアを決定する。
【０１０４】
こうして撮像画像１２の５個の特徴点ＰＢ１〜ＰＢ５のそれぞれと登録画像１１の特徴点との特徴点ペアを決定した後、画像処理装置１では、位置姿勢算出部１４２において、特徴点ペアに基づいて撮像画像１２に写っている対象物５の位置姿勢を算出する。位置姿勢算出部１４２は、例えば、特徴点ペアにおける登録画像１１側の特徴点についての登録画像１１内での位置を、撮像画像１２側の特徴点についての撮像画像１２内での位置に変換する変換行列を算出する。算出した変換行列は、登録画像１１における対象物５の各点を、撮像画像１２における対象物５の対応する各点に変換する行列である。すなわち、算出した変換行列の係数は、撮像画像１２における対象物５の位置姿勢を示す情報を含む。よって、位置姿勢算出部１４２で算出した変換行列により、図３のように、登録画像１１の対象物５における投影画像８の投影領域（ラベル貼付領域５２０）から、撮像画像１２の対象物５における投影領域（ラベル貼付領域５３０）を特定することが可能となる。
【０１０５】
このように、本実施形態に係る特徴点ペア決定処理では、撮像画像の複数の特徴点のうちの特徴情報を抽出したパッチ領域の大きさ（パッチサイズ）が大きい特徴点から順に登録画像の特徴点との対応付けを行う。このため、詳細な特徴情報による特徴点の対応付けを優先して行うことが可能となり、詳細な特徴情報を持つ撮像画像の特徴点を登録画像の特徴点と正しく対応付けることが可能となる。よって、残りの特徴点の対応付けを行う際に、誤った特徴点と対応付けられる可能性が低減する。これにより、対象物に画像が投影されている状態であっても正しい特徴点ペアに基づいて対象物の正しい位置姿勢を推定することが可能となり、対象物における適切な位置に画像を投影することが可能となる。
【０１０６】
以上説明したように、本実施形態に係る画像処理装置１では、撮像画像１２の特徴点についての特徴情報を抽出する際に、特徴情報を抽出するパッチ領域と、投影画像８の投影領域との関係に基づいて、パッチ領域のサイズ（パッチサイズ）を変更する。投影画像８が投影されている場合、画像処理装置１は、複数通りのパッチサイズのなかから、投影画像８を投影することによる特徴情報の変化が小さいパッチサイズを選択する。これにより、撮像画像１２における投影画像８の投影領域に含まれる特徴点についての特徴情報と、投影画像８が投影されていない場合の特徴情報との差異を小さくすることが可能となる。このため、本実施形態によれば、投影画像８が投影されている場合でも、撮像画像１２の特徴点と、登録画像１１の特徴点とを特徴情報に基づいて正しく対応付けることが可能となる。よって、例えば、図１の作業ライン１０のように撮像領域４１０内を移動する対象物５に対して投影装置３で投影画像（支援情報）３を投影する場合にも、撮像領域４１０内を移動する対象物５の位置姿勢を継続的に正しく推定することが可能となる。すなわち、本実施形態の画像処理装置１を適用した作業ライン１０では、推定した位置姿勢に基づいて、搬送ベルト４０１により搬送され作業者７の前を移動する対象物５における所定の投影位置に継続的に投影画像８を投影することが可能となる。したがって、対象物５にラベル６を貼付する作業者７は、対象物５の表面に継続的に投影される投影画像８に基づいて、ラベル６を正しい貼付位置に貼付することが可能となる。
【０１０７】
また、撮像画像１２のＭ個の特徴点のうちの特徴情報を抽出する際に適用したパッチサイズが大きい特徴点から順に、登録画像１１の特徴点との対応付けを行うことで、特徴情報に含まれる情報量が多い特徴点の対応付けを優先して行うことが可能となる。特徴情報に含まれる情報量が多いほど、複数の特徴点のそれぞれについての特徴情報が同一となる可能性が低くなるため、撮像画像１２の特徴点と、登録画像１１の特徴点とを正しく対応付けることが可能となる。また、情報量が多い特徴点の対応付けを優先した場合、対応付けを進めるに従い、登録画像１１において対応付けの候補となる特徴点の数が少なくなる。しかも、登録画像１１の特徴点のうちの既に撮像画像１２の特徴点と対応付けられた特徴点は、撮像画像１２の特徴点と正しく対応付けられている可能性が非常に高い。このため、対応付けを進めて登録画像１１において対応付けの候補となる特徴点の数が少なくなったとしても、当該特徴点のなかに撮像画像１２の特徴点との対応付けが正しい対応付けとなる特徴点が存在する可能性は非常に高い。よって、撮像画像１２の特徴点のうちの適用したパッチサイズ（情報量）の少ない特徴点についても、登録画像１１の特徴点と正しく対応付けすることが可能となる。
【０１０８】
なお、本実施形態に係る画像処理装置１及び位置姿勢の推定方法は、図１のような対象物５にラベルを貼付する作業ライン１０に限らず、投影画像８を投影する対象物５の位置姿勢が時間とともに変化する様々なシチュエーションにおける対象物５の位置姿勢の推定に適用可能である。また、本実施形態では投影領域が矩形となる投影画像８を投影した場合を例示しているが、投影画像８の投影領域は、矩形に限らず、他の形状であってもよい。例えば、本実施形態に係る画像処理装置１及び位置姿勢の推定方法は、ベルトコンベア等の搬送路により搬送される対象物５の仕分けを行う作業ラインにも適用可能である。対象物５の仕分けを行う作業ラインでは、例えば、仕分け先を示す画像を対象物に直接投影することで、作業者に対し各対象物の仕分け先を提示する。対象物に投影する仕分け先を示す画像は、例えば、仕分け先を識別する文字列や記号を含む。
【０１０９】
また、本実施形態に係る画像処理装置１の機能的構成は、図５の構成に限らず、適宜変更可能である。例えば、画像処理装置１は、投影画像生成部１５０は、対象物５の位置姿勢の推定結果に基づいて投影画像の投影領域を算出する領域算出部と、算出した投影領域に投影する投影画像を生成する画像生成部とに分かれていてもよい。また、例えば、画像処理装置１は、撮像画像２の撮像領域４１０内を移動する対象物５に投影する投影画像８を生成する外部装置から、投影画像８の投影領域を示す情報を取得してもよい。また、例えば、画像処理装置１は、複数の対象物のそれぞれについての登録画像を記憶部１９０に記憶させておき、位置姿勢を推定する対象物に応じて使用する登録画像を変更する構成であってもよい。また、パッチサイズリスト１９１に登録するパッチサイズは、図６のようなｒ×ｒ画素のパッチ領域（画素領域）を指定するパッチサイズに限らず、適宜変更可能である。例えば、パッチサイズリスト１９１に登録するパッチサイズは、特徴点を中心とした円形状のパッチ領域を指定するパッチサイズであってもよい。
【０１１０】
更に、本実施形態に係る画像処理装置１が行う処理は、図７及び図８のフローチャートに沿った処理に限らず、適宜変更可能である。例えば、撮像画像１２に常に１個又は２個以上の対象物５が写る状態で撮像画像１２を撮像して取得する場合、撮像画像１２から特徴点を検出したか否かを判定する処理（ステップＳ３）は省略可能である。また、図８のフローチャートにおける第１の抽出処理（ステップＳ４１）は、パッチサイズ決定処理（ステップＳ４２）及び第２の抽出処理（ステップＳ４３）の後で行ってもよい。ステップＳ４２及びＳ４３の処理を先に行うと、撮像画像１２に投影画像８の投影されていない場合（ステップＳ４２０２；ＮＯ）に、ステップＳ４１において、ステップＳ４２１１で決定したパッチサイズのみで各特徴点についての特徴情報を抽出すればよくなる。よって、投影画像８が投影されているか否かによらず、都度全てのパッチサイズを適用して特徴情報を抽出する場合に比べ、処理負荷を軽減することが可能となる。
【０１１１】
また、位置姿勢の推定に用いる登録画像が１個に特定されている場合、例えば、予め登録画像１１の特徴点の検出処理及び特徴情報の抽出処理を行い、これらの情報を記憶部１９０に記憶させておいてもよい。この場合、図７のフローチャートにおけるステップＳ２の処理は撮像画像１２から特徴点を検出する処理となり、図８のフローチャートにおけるステップＳ４１の処理は省略可能となる。
【０１１２】
上記の実施形態で説明した、画像処理装置１は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとにより実現可能である。以下、図１３を参照して、コンピュータとプログラムとにより実現される画像処理装置１について説明する。
【０１１３】
図１３は、コンピュータのハードウェア構成を示す図である。
図１３に示すように、コンピュータ２０は、プロセッサ２００１と、主記憶装置２００２と、補助記憶装置２００３と、入力装置２００４と、出力装置２００５と、入出力インタフェース２００６と、媒体駆動装置２００７と、通信制御装置２００７とを備える。コンピュータ２０におけるこれらの要素２００１〜２００８は、バス２０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０１１４】
プロセッサ２００１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ２００１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ２０の全体の動作を制御する。また、プロセッサ２００１は、例えば、図７のフローチャートにおけるステップＳ１〜Ｓ６の処理を含む位置姿勢プログラムを実行することにより、撮像画像１２に写っている対象物５の位置姿勢を推定する。
【０１１５】
主記憶装置２００２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置２００２のＲＯＭには、例えば、コンピュータ２０の起動時にプロセッサ２００１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置２００２のＲＡＭは、プロセッサ２００１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置２００２のＲＡＭは、例えば、登録画像１１、撮像画像１２、パッチサイズリスト１９１、特徴情報１９２、及び投影情報１９３等を記憶する記憶部１９０として利用可能である。
【０１１６】
補助記憶装置２００３は、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等であり、主記憶装置２００２のＲＡＭと比べて容量の大きい記憶装置である。補助記憶装置２００３は、プロセッサ２００１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置２００３は、例えば、図７のフローチャートにおけるステップＳ１〜Ｓ６の処理を含む画像処理プログラム等の記憶に利用可能である。また、補助記憶装置２００３は、例えば、登録画像１１、撮像画像１２、パッチサイズリスト１９１、特徴情報１９２、及び投影情報１９３等を記憶する記憶部１９０として利用可能である。
【０１１７】
入力装置２００４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ２０のオペレータ（利用者）が入力装置２００４に対して所定の操作を行うと、入力装置２００４は、その操作内容に対応付けられている入力情報をプロセッサ２００１に送信する。入力装置２００４は、例えば、対象物の位置姿勢を推定する処理を開始させる命令、コンピュータ２０が実行可能な他の処理に関する命令等の入力や、パッチサイズリスト１９１の入力及び編集等に利用可能である。
【０１１８】
出力装置２００５は、例えば、液晶表示装置等の表示装置、プリンタ等の印刷装置、及びスピーカ等の音声再生装置等である。
【０１１９】
入出力インタフェース２００６は、コンピュータ２０と、他の電子機器とを接続する。入出力インタフェース２００６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース２００６は、例えば、コンピュータ２０と撮像装置２との接続や、コンピュータ２０と投影装置３との接続に利用可能である。
【０１２０】
媒体駆動装置２００７は、可搬型記憶媒体２１に記録されているプログラムやデータの読み出し、補助記憶装置２００３に記憶されたデータ等の可搬型記憶媒体２１への書き込みを行う。媒体駆動装置２００７には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置２００７としてメモリカード用リーダ／ライタを用いる場合、可搬型記憶媒体２１としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure  Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体２１としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ２０が媒体駆動装置２００８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体２１として利用可能である。可搬型記録媒体２１として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（登録商標）等がある。可搬型記録媒体２１は、例えば、図７のフローチャートにおけるステップＳ１〜Ｓ６の処理を含む画像処理プログラム等の記憶に利用可能である。また、可搬型記録媒体２１は、例えば、例えば、登録画像１１、撮像画像１２、パッチサイズリスト１９１、特徴情報１９２、及び投影情報１９３等を記憶する記憶部１９０として利用可能である。
【０１２１】
通信制御装置２００８は、コンピュータ２０をインターネット等のネットワークに接続し、ネットワークを介したコンピュータ２０と他の電子機器との各種通信を制御する装置である。通信制御装置２００８は、例えば、コンピュータ２０と、遠隔地で作業ライン１０における作業状況を監視する監視システムとの通信に利用可能である。また、コンピュータ２０が作業ライン１０の設置箇所とは異なる管理施設等に設置されている場合には、通信制御装置２００８は、作業ライン１０の設置箇所に設置された撮像装置２及び統制装置３のそれぞれと、コンピュータ２０との通信に利用可能である。
【０１２２】
オペレータが入力装置２００４等を利用して対象物の位置姿勢の推定処理を開始する命令をコンピュータ２０に入力すると、プロセッサ２００１が、補助記憶装置２００３等の非一時的な記録媒体に記憶させた画像処理プログラムを読み出して実行する。画像処理プログラムを実行している間、プロセッサ２００１は、画像処理装置１における特徴点抽出部１２０、特徴情報抽出部１３０、及び位置姿勢決定部１４０として機能する（動作する）。また、画像処理プログラムを実行している間、プロセッサ２００１は、入出力インタフェース２００６と協働し画像取得部１１０として機能する。更に、位置姿勢プログラムが図7のフローチャートにおけるステップＳ７の処理を含む場合、プロセッサ２００１は、投影画像生成部１５０としても機能する。また、画像処理プログラムを実行している間、主記憶装置２００２のＲＡＭや補助記憶装置２００３等は、画像処理装置１における記憶部１９０として機能する。
【０１２３】
なお、画像処理装置１として動作させるコンピュータ２０は、図１３に示した全ての要素２００１〜２００８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ２０は、媒体駆動装置２００７や通信制御装置２００８やが省略されたものであってもよい。
【０１２４】
以上記載した各実施形態に関し、更に以下の付記を開示する。
（付記１）
位置姿勢の推定対象である対象物が写っている撮像画像、及び前記対象物が所定の位置姿勢で写っている登録画像のそれぞれから特徴点を検出する検出部と、
前記撮像画像から検出した前記特徴点についての特徴情報、及び前記登録画像から検出した前記特徴点についての特徴情報を抽出する抽出部と、
抽出した前記特徴情報に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付けた特徴点ペアを決定するペア決定部と、
決定した特徴点ペアに基づいて、前記撮像画像に写っている前記対象物の位置姿勢を算出する算出部と、を備え、
前記抽出部は、
前記撮像画像が前記対象物に投影画像を投影している状態で撮像した画像である場合に、前記登録画像の特徴点毎に、予め定めた画素数が異なる複数通りのパッチサイズのそれぞれを適用して複数通りの特徴情報を抽出する第１の抽出部と、
前記撮像画像が前記対象物に投影画像を投影している状態で撮像した画像である場合に、前記撮像画像の特徴点毎に、前記複数通りのパッチサイズのそれぞれにより定まるパッチ領域と、前記投影画像の投影領域との関係に基づいて、前記複数通りのパッチサイズのなかから前記特徴情報の抽出に用いるパッチサイズを決定するサイズ決定部と、
決定した前記パッチサイズを適用して前記撮像画像の特徴点についての特徴情報を抽出する第２の抽出部と、を含み、
前記ペア決定部は、前記撮像画像の前記特徴点についての特徴情報と、前記登録画像の前記特徴情報のうちの前記撮像画像の前記特徴点についての特徴情報を抽出する際に適用した前記パッチサイズと同一のパッチサイズで抽出した特徴情報と、に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点との対応付けを行う、
ことを特徴とする画像処理装置。
（付記２）
前記サイズ決定部は、前記複数通りのパッチサイズのうちの、前記投影画像の投影領域の輪郭が前記パッチ領域内を通らず、かつ前記パッチ領域内に含まれる画素数が最大となるパッチサイズを、前記特徴情報の抽出に用いるパッチサイズを決定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記サイズ決定部は、前記複数通りのパッチサイズのうちの、前記パッチ領域内を通る前記投影画像の投影領域の輪郭により分割される前記パッチ領域内の複数の部分領域において面積が最大となる部分領域の前記パッチ領域の面積に対する割合が所定の閾値以上であり、かつ前記パッチ領域内に含まれる画素数が最大となるパッチサイズを、前記特徴情報の抽出に用いるパッチサイズを決定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記４）
前記サイズ決定部は、前記パッチ領域内の複数の画素のなかから２個の画素を選出するときの組み合わせ数と、前記パッチ領域内を通る前記投影画像の投影領域の輪郭により分割される前記パッチ領域内の複数の部分領域において面積が最大となる部分領域の前記パッチ領域の面積に対する割合とに基づいて、前記特徴情報の抽出に用いるパッチサイズを決定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記５）
前記ペア決定部は、前記撮像画像から検出した複数の特徴点のうちの、前記特徴情報を抽出する際に適用したパッチサイズの大きい特徴点から順に、前記登録画像の特徴点との対応付けを行う、
ことを特徴とする付記１に記載の画像処理装置。
（付記６）
前記サイズ決定部は、前記撮像画像が前記対象物に投影画像を投影していない状態で撮像した画像である場合には、前記撮像画像の特徴点についての特徴情報の検出に用いるパッチサイズを、前記複数通りのパッチサイズのうちの所定のパッチサイズに決定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記７）
前記第１の抽出部は、前記サイズ決定部において前記撮像画像の特徴点についての特徴情報の検出に用いるパッチサイズを、前記複数通りのパッチサイズのうちの所定のパッチサイズに決定した場合には、決定した前記パッチサイズを適用したときの前記特徴情報のみを抽出する、
ことを特徴とする付記６に記載の画像処理装置。
（付記８）
前記画像処理装置は、前記算出部で算出した前記対象物の位置姿勢に基づいて、前記撮像画像に写っている前記対象物に投影する投影画像の投影領域を算出する領域算出部、を更に備える、
ことを特徴とする付記１に記載の画像処理装置。
（付記９）
前記サイズ決定部は、前記領域算出部で算出した前記投影画像の投影領域を参照して、前記撮像画像における前記投影画像の投影領域を特定する、
ことを特徴とする付記８に記載の画像処理装置。
（付記１０）
前記サイズ決定部は、前記撮像画像に写っている前記対象物に投影する前記投影画像を生成した外部装置から取得した前記投影画像の投影領域に基づいて、前記撮像画像における前記投影画像の投影領域を特定する、
ことを特徴とする付記８に記載の画像処理装置。
（付記１１）
コンピュータが、
位置姿勢の推定対象である対象物が写っている撮像画像、及び前記対象物が所定の位置姿勢で写っている登録画像のそれぞれから特徴点を検出し、
前記撮像画像から検出した前記特徴点についての特徴情報、及び前記登録画像から検出した前記特徴点についての特徴情報を抽出し、
抽出した前記特徴情報に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付けた特徴点ペアを決定し、
決定した特徴点ペアに基づいて、前記撮像画像に写っている前記対象物の位置姿勢を算出すると、を実行する画像処理方法であって、
前記特徴情報を抽出する処理において、前記コンピュータは、
前記撮像画像が前記対象物に投影画像を投影している状態で撮像した画像である場合に、前記撮像画像の特徴点毎に、前記複数通りのパッチサイズのそれぞれにより定まるパッチ領域と、前記投影画像の投影領域との関係に基づいて、前記複数通りのパッチサイズのなかから前記特徴情報の抽出に用いるパッチサイズを決定し、決定した前記パッチサイズを適用して前記撮像画像の特徴点についての特徴情報を抽出するとともに、前記登録画像の特徴点毎に、予め定めた画素数が異なる複数通りのパッチサイズのそれぞれを適用して複数通りの特徴情報を抽出し、
前記特徴点ペアを決定する処理において、前記コンピュータは、前記撮像画像の前記特徴点についての特徴情報と、前記登録画像の前記特徴情報のうちの前記撮像画像の前記特徴点についての特徴情報を抽出する際に適用した前記パッチサイズと同一のパッチサイズで抽出した特徴情報と、に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付ける、
ことを特徴とする画像処理方法。
（付記１２）
前記パッチサイズを決定する処理において、前記コンピュータは、前記複数通りのパッチサイズのうちの、前記投影画像の投影領域の輪郭が前記パッチ領域内を通らず、かつ前記パッチ領域内に含まれる画素数が最大となるパッチサイズを、前記特徴情報の抽出に用いるパッチサイズを決定する、
ことを特徴とする付記１１に記載の画像処理方法。
（付記１３）
前記パッチサイズを決定する処理において、前記コンピュータは、前記複数通りのパッチサイズのうちの、前記パッチ領域内を通る前記投影画像の投影領域の輪郭により分割される前記パッチ領域内の複数の部分領域において面積が最大となる部分領域の前記パッチ領域の面積に対する割合が所定の閾値以上であり、かつ前記パッチ領域内に含まれる画素数が最大となるパッチサイズを、前記特徴情報の抽出に用いるパッチサイズを決定する、
ことを特徴とする付記１１に記載の画像処理方法。
（付記１４）
前記パッチサイズを決定する処理において、前記コンピュータは、前記パッチ領域内の複数の画素のなかから２個の画素を選出するときの組み合わせ数と、前記パッチ領域内を通る前記投影画像の投影領域の輪郭により分割される前記パッチ領域内の複数の部分領域において面積が最大となる部分領域の前記パッチ領域の面積に対する割合とに基づいて、前記特徴情報の抽出に用いるパッチサイズを決定する、
ことを特徴とする付記１１に記載の画像処理方法。
（付記１５）
前記特徴点ペアを決定する処理において、前記コンピュータは、前記撮像画像から検出した複数の特徴点のうちの、前記特徴情報を抽出する際に適用したパッチサイズの大きい特徴点から順に、前記登録画像の特徴点との対応付けを行う、
ことを特徴とする付記１１に記載の画像処理方法。
（付記１６）
前記パッチサイズを決定する処理において、前記コンピュータは、前記撮像画像が前記対象物に投影画像を投影していない状態で撮像した画像である場合には、前記撮像画像の特徴点についての特徴情報の検出に用いるパッチサイズを、前記複数通りのパッチサイズのうちの所定のパッチサイズに決定する、
ことを特徴とする付記１１に記載の画像処理方法。
（付記１７）
前記パッチサイズを決定する処理において、前記撮像画像の特徴点についての特徴情報の検出に用いるパッチサイズを、前記複数通りのパッチサイズのうちの所定のパッチサイズに決定した場合には、前記コンピュータは、前記登録画像の前記特徴点毎に、決定した前記パッチサイズを適用した前記特徴情報のみを抽出する、
ことを特徴とする付記１６に記載の画像処理方法。
（付記１８）
前記コンピュータが、更に、算出した前記対象物の位置姿勢に基づいて、前記撮像装置に写っている前記対象物に投影する投影画像の投影領域を算出する、
ことを特徴とする付記１１に記載の画像処理方法。
（付記１９）
位置姿勢の推定対象である対象物が写っている撮像画像、及び前記対象物が所定の位置姿勢で写っている登録画像のそれぞれから特徴点を検出し、
前記撮像画像から検出した前記特徴点についての特徴情報、及び前記登録画像から検出した前記特徴点についての特徴情報を抽出し、
抽出した前記特徴情報に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付けた特徴点ペアを決定し、
決定した特徴点ペアに基づいて、前記撮像画像に写っている前記対象物の位置姿勢を算出すると、をコンピュータに実行させる画像処理プログラムであって、
前記特徴情報を抽出する処理において、前記コンピュータは、
前記撮像画像が前記対象物に投影画像を投影している状態で撮像した画像である場合に、前記撮像画像の特徴点毎に、前記複数通りのパッチサイズのそれぞれにより定まるパッチ領域と、前記投影画像の投影領域との関係に基づいて、前記複数通りのパッチサイズのなかから前記特徴情報の抽出に用いるパッチサイズを決定し、決定した前記パッチサイズを適用して前記撮像画像の特徴点についての特徴情報を抽出するとともに、前記登録画像の特徴点毎に、予め定めた画素数が異なる複数通りのパッチサイズのそれぞれを適用して複数通りの特徴情報を抽出し、
前記特徴点ペアを決定する処理において、前記コンピュータは、前記撮像画像の前記特徴点についての特徴情報と、前記登録画像の前記特徴情報のうちの前記撮像画像の前記特徴点についての特徴情報を抽出する際に適用した前記パッチサイズと同一のパッチサイズで抽出した特徴情報と、に基づいて、前記撮像画像の前記特徴点と、前記登録画像の前記特徴点とを対応付ける、
ことを特徴とする画像処理プログラム。
【符号の説明】
【０１２５】
１  画像処理装置
１１０  画像取得部
１２０  特徴点検出部
１３０  特徴情報抽出部
１３１  第１の情報抽出部
１３２  パッチサイズ決定部
１３３  第２の情報抽出部
１４０  位置姿勢決定部
１４１  特徴点ペア決定部
１４２  位置姿勢算出部
１５０  投影画像生成部
２  撮像装置
３  投影装置
４  ベルトコンベア
４０１  搬送ベルト
４１０  撮像領域
４２０  作業領域
５  対象物
５１０，５２０，５３０  ラベル貼付位置
５８１，５８２，５８３  模様
６  ラベル
７  作業者
８  投影画像
１０  作業ライン
１１  登録画像
１２  撮像画像
１３，１３Ａ，１３Ｂ，１３Ｃ  パッチ領域
１４  登録画像の特徴点についての特徴情報を含むテーブル
１５  撮像画像の特徴点についての特徴情報を含むテーブル
２０  コンピュータ
２００１  プロセッサ
２００２  主記憶装置
２００３  補助記憶装置
２００４  入力装置
２００５  出力装置
２００６  入出力インタフェース
２００７  媒体駆動装置
２００８  通信制御装置
２０１０  バス
２１  可搬型記録媒体
【図１】
2018200629.tif 000003
【図２】
2018200629.tif 000004
【図３】
2018200629.tif 000005
【図４】
2018200629.tif 000006
【図５】
2018200629.tif 000007
【図６】
2018200629.tif 000008
【図７】
2018200629.tif 000009
【図８】
2018200629.tif 000010
【図９】
2018200629.tif 000011
【図１０Ａ】
2018200629.tif 000012
【図１０Ｂ】
2018200629.tif 000013
【図１１】
2018200629.tif 000014
【図１２Ａ】
2018200629.tif 000015
【図１２Ｂ】
2018200629.tif 000016
【図１３】
2018200629.tif 000017