(57)【要約】【課題】画像に基づいた対象物の位置姿勢の推定精度を向上させる。【解決手段】位置姿勢推定装置は、第１の抽出部と、大域領域決定部と、第２の抽出部と、特定部とを備える。第１の抽出部は、位置姿勢の推定対象である対象物を撮像した対象画像の特徴点の周囲の局所特徴情報と、対象物が所定の位置姿勢で写っている登録画像の特徴点の周囲の局所特徴情報とを抽出する。大域領域設定部は、対象画像及び登録画像のそれぞれに、複数の特徴点を含む大域領域を決定する。第２の抽出部は、対象画像の特徴点と大域領域とに基づく大域特徴情報と、登録画像の特徴点と大域領域とに基づく大域特徴情報とを抽出する。特定部は、対象画像の特徴点と登録画像の特徴点とによる特徴点対における、局所特徴情報の類似度と、大域特徴情報の類似度とに基づいて、対象画像の特徴点と登録画像の特徴点との対応関係を示す特徴点対群を特定する。【選択図】図２
2018036770.tif 000002
【特許請求の範囲】
【請求項１】
位置姿勢の推定対象である対象物が写っている対象画像と、前記対象物が所定の位置姿勢で写っている登録画像とから特徴点を検出する検出部と、
前記対象画像から検出した複数の前記特徴点のなかから前記対象物の特徴を示す特徴点を選出するとともに、前記対象画像における選出した前記特徴点の周囲の特徴を示す局所特徴情報と、前記登録画像における複数の前記特徴点の周囲の特徴を示す局所特徴情報とを抽出する第１の抽出部と、
前記対象画像及び前記登録画像のそれぞれに、複数の前記特徴点を含む大域領域を設定する大域領域設定部、
前記対象画像の前記特徴点と前記大域領域とに基づいて前記対象画像における大域特徴情報を抽出するとともに、前記登録画像の前記特徴点と前記大域領域とに基づいて前記登録画像における大域特徴情報を抽出する第２の抽出部と、
前記対象画像の前記特徴点と前記登録画像の前記特徴点とによる特徴点対における、前記局所特徴情報の類似度と、前記大域特徴情報の類似度とに基づいて、前記対象画像の前記特徴点と前記登録画像の前記特徴点との対応関係を示す特徴点対群を特定する特定部と、
特定した前記特徴点対群に基づいて、前記対象画像に写っている前記対象物の位置姿勢を算出する算出部と、
を備えることを特徴とする位置姿勢推定装置。
【請求項２】
前記大域領域設定部は、前記対象画像における複数の前記特徴点を含む最小外接多角形を前記対象画像の前記大域領域に決定し、前記登録画像における複数の前記特徴点を含む最小外接多角形を前記登録画像の前記大域領域に決定する、
ことを特徴とする請求項１に記載の位置姿勢推定装置。
【請求項３】
前記第２の抽出部は、前記大域領域の形状に基づいて基点を設定し、前記対象画像における前記特徴点から前記基点までの距離と、前記登録画像における前記特徴点から前記基点までの距離とを前記大域特徴情報として抽出する、
ことを特徴とする請求項２に記載の位置姿勢推定装置。
【請求項４】
前記第２の抽出部は、前記大域領域の重心を前記基点に設定する、
ことを特徴とする請求項３に記載の位置姿勢推定装置。
【請求項５】
前記大域領域設定部は、前記対象画像における前記対象物の輪郭で囲まれた領域を前記対象画像の前記大域領域に決定し、前記登録画像における前記対象物の輪郭で囲まれた領域を前記登録画像の大域領域に決定する、
ことを特徴とする請求項１に記載の位置姿勢推定装置。
【請求項６】
前記大域領域設定部は、前記対象画像及び前記登録画像に、多角形の前記大域領域を設定し、
前記第２の抽出部は、前記対象画像における前記特徴点から前記大域領域の頂点までの距離と、前記登録画像における前記特徴点から前記大域領域の頂点までの距離とを前記第２の特徴情報として抽出する、
ことを特徴とする請求項１に記載の位置姿勢推定装置。
【請求項７】
前記大域領域設定部は、前記対象画像及び前記登録画像のそれぞれに、多角形の前記大域領域を設定し、
前記第２の抽出部は、前記対象画像における前記特徴点から前記大域領域の辺に下ろした垂線の長さと、前記登録画像における前記特徴点から前記大域領域の辺に下ろした垂線の長さとを前記第２の特徴情報として抽出する、
ことを特徴とする請求項１に記載の位置姿勢推定装置。
【請求項８】
前記特定部は、前記対象画像の複数の前記特徴点のそれぞれに、前記登録画像の前記特徴点を１対１で対応付けた前記特徴点対の集合を複数通り生成し、当該複数通りの前記特徴点対の集合のそれぞれで、前記特徴点対の集合に含まれる前記特徴点対における前記局所特徴情報の類似度と、前記大域特徴情報の類似度とに基づいて特徴点類似度を算出し、算出した前記特徴点類似度が最大となる前記特徴点対の集合を前記特徴点対群に特定する、
ことを特徴とする請求項１に記載の位置姿勢推定装置。
【請求項９】
前記特定部は、前記対象画像の前記特徴点と前記登録画像の特徴点とによる特徴点対における前記局所特徴情報の類似度に基づいて、前記特徴点対群を特定した後、特定した前記特徴点対群に含まれる特徴点対のうちの、前記大域特徴情報の類似度が閾値よりも低い特徴点対を前記特徴点対群から除外し、
前記算出部は、前記大域特徴情報の類似度が閾値よりも低い特徴点を除外した前記特徴点対群に基づいて、前記対象画像に写っている前記対象物の位置姿勢を算出する、
ことを特徴とする請求項１に記載の位置姿勢推定装置。
【請求項１０】
前記第１の抽出部は、前記対象画像から検出した全ての特徴点の前記局所特徴情報を抽出し、抽出した前記局所特徴情報と、前記登録画像の前記特徴点の前記局所特徴情報との類似度が閾値よりも高い前記特徴点を、前記対象物の特徴点として選出する、
ことを特徴とする請求項１に記載の位置姿勢推定装置。
【請求項１１】
前記対象画像を蓄積する記憶部と、
前記対象画像から前記対象物及び背景物に指定された物体とは異なる物体を検出し、前記対象画像における検出した前記物体を含む部分領域を、前記記憶部に蓄積された前記対象画像における前記部分領域と対応する部分領域と置換する画像編集部と、
を更に備えることを特徴とする請求項１に記載の位置姿勢推定装置。
【請求項１２】
コンピュータが、
位置姿勢の推定対象である対象物が写っている対象画像と、前記対象物が所定の位置姿勢で写っている登録画像とから特徴点を検出し、
前記対象画像から検出した複数の前記特徴点のなかから前記対象物の特徴を示す特徴点を選出するとともに、前記対象画像における選出した前記特徴点の周囲の特徴を示す局所特徴情報と、前記登録画像における複数の前記特徴点の周囲の特徴を示す局所特徴情報とを抽出し、
前記対象画像及び前記登録画像のそれぞれに、複数の前記特徴点を含む大域領域を設定し、
前記対象画像の前記特徴点と前記大域領域とに基づいて前記対象画像における大域特徴情報を抽出するとともに、前記登録画像の前記特徴点と前記大域領域とに基づいて前記登録画像における大域特徴情報を抽出し、
前記対象画像の前記特徴点と前記登録画像の前記特徴点とによる特徴点対における、前記局所特徴情報の類似度と、前記大域特徴情報の類似度とに基づいて、前記対象画像の前記特徴点と前記登録画像の前記特徴点との対応関係を示す特徴点対群を特定し、
特定した前記特徴点対群に基づいて、前記対象画像に写っている前記対象物の位置姿勢を算出する、
処理を実行することを特徴とする位置姿勢推定方法。
【請求項１３】
位置姿勢の推定対象である対象物が写っている対象画像と、前記対象物が所定の位置姿勢で写っている登録画像とから特徴点を検出し、
前記対象画像から検出した複数の前記特徴点のなかから前記対象物の特徴を示す特徴点を選出するとともに、前記対象画像における選出した前記特徴点の周囲の特徴を示す局所特徴情報と、前記登録画像における複数の前記特徴点の周囲の特徴を示す局所特徴情報とを抽出し、
前記対象画像及び前記登録画像のそれぞれに、複数の前記特徴点を含む大域領域を設定し、
前記対象画像の前記特徴点と前記大域領域とに基づいて前記対象画像における大域特徴情報を抽出するとともに、前記登録画像の前記特徴点と前記大域領域とに基づいて前記登録画像における大域特徴情報を抽出し、
前記対象画像の前記特徴点と前記登録画像の前記特徴点とによる特徴点対における、前記局所特徴情報の類似度と、前記大域特徴情報の類似度とに基づいて、前記対象画像の前記特徴点と前記登録画像の前記特徴点との対応関係を示す特徴点対群を特定し、
特定した前記特徴点対群に基づいて、前記対象画像に写っている前記対象物の位置姿勢を算出する、
処理をコンピュータに実行させる位置姿勢推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラムに関する。
【背景技術】
【０００２】
各種製品の組み立て作業を行う工場等では、拡張現実感（Augmented Reality；ＡＲ）等により作業員に作業内容を指示することで、作業員による作業の効率化を支援している。この種の支援技術の１つとして、対象物を撮像した画像に基づいて、当該対象物の位置及び向き（以下「位置姿勢」という）を推定する技術が知られている。
【０００３】
画像に基づいて対象物の位置姿勢を推定する技術は、例えば、ベルトコンベア等の搬送路により搬送される対象物の指定位置にラベルを貼付する作業ラインに適用されている。搬送される対象物の位置姿勢を推定し、位置姿勢に基づいて算出したラベルの貼付位置を示す画像を対象物に直接投影することで、作業員に対し対象物の位置姿勢に応じた正しい貼付位置（指定位置）を提示することが可能となる。
【０００４】
画像に基づいて対象物の位置姿勢を推定する際には、位置姿勢を推定する対象物を撮像した対象画像と、対象物が所定の位置姿勢で写っている登録画像とを用い、両画像における特徴点の対応関係に基づいて対象画像における対象物の位置及び向きを推定する。対象画像の特徴点と登録画像の特徴点との対応関係は、特徴点の周囲（局所領域）における画像情報の類似度に基づいて特定する。また、カメラと距離センサとを用い、画像から検出された特徴点の周辺における画像情報に凹凸情報（奥行の微分値）を追加した特徴情報に基づいて、特徴点の対応関係を特定する方法が知られている（例えば、特許文献１を参照）。更に、画像内の対象物から抽出される特徴点の集合を幾何学的な図形として登録することで、幾何学的変換に強い特徴情報を付与する方法が知られている（例えば、非特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１７４８７９号公報
【非特許文献】
【０００６】
【非特許文献１】Lamdan, Y. and Wolfson, H.J.:"Geometric Hashing: A General And Efficient Model-based Recognition Scheme", Computer Vision. Second International Conference on, pp.238-249, 1988
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像から検出した特徴点の周囲の局所領域における画像情報や凹凸情報に基づいて特徴点の対応関係を特定する方法では、局所領域内の画像情報の差異が小さい特徴点同士を区別することが困難である。そのため、画像内における対象物の表面に繰り返しパターン等が存在する場合には、複数の特徴点における局所的な画像情報の類似度が高くなり、特徴点の対応関係を特定することが困難となる。すなわち、１枚の画像から検出した複数の特徴点における局所的な特徴情報の類似度が高い場合、対象画像の特徴点と登録画像の特徴点との対応関係を特定することが困難となるため、対象物の位置姿勢の推定精度が低下する。
【０００８】
１つの側面において、本発明は、画像に基づいた対象物の位置姿勢の推定精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
１つの態様では、位置姿勢推定装置は、検出部と、第１の抽出部と、大域領域決定部と、第２の抽出部と、特定部と、算出部とを備える。検出部は、位置姿勢の推定対象である対象物が写っている対象画像と、対象物が所定の位置姿勢で写っている登録画像とから特徴点を検出する。第１の抽出部は、対象画像から検出した複数の特徴点のなかから対象物の特徴を示す特徴点を選出するとともに、対象画像における選出した特徴点の周囲の特徴を示す局所特徴情報と、登録画像における複数の特徴点の周囲の特徴を示す局所特徴情報とを抽出する。大域領域設定部は、対象画像及び登録画像のそれぞれに、複数の前記特徴点を含む大域領域を設定する。第２の抽出部は、対象画像の特徴点と大域領域とに基づいて対象画像における大域特徴情報を抽出するとともに、登録画像の特徴点と大域領域とに基づいて登録画像における大域特徴情報を抽出する。特定部は、対象画像の特徴点と登録画像の特徴点とによる特徴点対における、局所特徴情報の類似度と、大域特徴情報の類似度とに基づいて、対象画像の特徴点と登録画像の特徴点との対応関係を示す特徴点対群を特定する。算出部は、特定した特徴点対群に基づいて、対象画像に写っている対象物の位置姿勢を算出する。
【発明の効果】
【００１０】
上述の態様によれば、画像に基づいた対象物の位置姿勢の推定精度が向上する。
【図面の簡単な説明】
【００１１】
【図１】位置姿勢推定装置の適用例を示す図である。
【図２】第１の実施形態に係る位置姿勢推定装置の機能的構成を示す図である。
【図３】第１の実施形態に係る特徴点対群抽出部の構成を示す図である。
【図４】第１の実施形態に係る位置姿勢推定装置が行う処理を説明するフローチャートである。
【図５】特徴点検出処理の内容を説明するフローチャートである。
【図６】第１の実施形態に係る大域領域決定処理の内容を説明するフローチャートである。
【図７】第１の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャートである。
【図８】第１の実施形態に係る大域特徴情報抽出処理の内容を説明するフローチャートである。
【図９】登録画像と対象画像との例を示す図である。
【図１０】局所特徴情報の抽出方法を説明する図である。
【図１１】第１の実施形態に係る大域領域の決定方法を説明する図である。
【図１２】対象画像の大域特徴情報を説明する図である。
【図１３】登録画像の大域特徴情報を説明する図である。
【図１４】大域特徴情報を抽出した後の対象画像特徴情報及び登録画像特徴情報の例を示す図である。
【図１５】位置姿勢の算出方法とラベル貼付位置の変換方法とを説明する図である。
【図１６】大域特徴情報の抽出方法の変形例を説明する図である。
【図１７】第２の実施形態に係る大域領域決定処理の内容を説明するフローチャートである。
【図１８Ａ】第２の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その１）である。
【図１８Ｂ】第２の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その２）である。
【図１８Ｃ】第２の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その３）である。
【図１９】第２の実施形態に係る大域領域の決定方法を説明する図である。
【図２０】対象画像における大域特徴情報の抽出方法を説明する図である。
【図２１】登録画像における大域特徴情報の抽出方法を説明する図である。
【図２２】大域特徴情報を抽出した後の対象画像特徴情報及び登録画像特徴情報の例を示す図である。
【図２３】頂点対の集合の生成方法を説明する図である。
【図２４】大域領域の回転対称性と生成し得る頂点対の集合との関係を説明する図である。
【図２５】頂点対と比較する大域特徴情報との関係を説明する図である。
【図２６Ａ】第３の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その１）である。
【図２６Ｂ】第３の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その２）である。
【図２７】第４の実施形態に係る位置姿勢推定装置の機能的構成を示す図である。
【図２８】第４の実施形態に係る位置姿勢推定装置が行う処理を説明するフローチャートである。
【図２９】対象画像から遮蔽物を除去する方法を説明する図である。
【図３０】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１２】
［第１の実施形態］
本実施形態に係る位置姿勢推定装置は、例えば、工場等の作業ラインにおいてベルトコンベア等のラインを流れる対象物の位置姿勢の推定に適用される。ここで、対象物の位置姿勢は、対象物の位置と向きとを含む情報を意味する。この種の作業ラインの１つとして、例えば、対象物にラベルを貼付する作業ラインがある。
【００１３】
図１は、位置姿勢推定装置の適用例を示す図である。
図１に示すように、位置姿勢推定装置１は、撮像装置２と、プロジェクタ３とに接続される。
【００１４】
撮像装置２は、ベルトコンベア４により搬送される対象物５の画像を撮像する。図１に示したベルトコンベア４は、右方端部が上流端部である。ベルトコンベア４の上流端部で搬送ベルト４０１に載置した対象物５は、左に移動する。撮像装置２は、搬送ベルト４０１の上方に、搬送ベルト４０１を撮像する向きに設置される。撮像装置２は、搬送ベルト４０１が周回移動する搬送路における所定の撮像領域４１０を定点撮像し、撮像した画像を位置姿勢推定装置１に順次送信する。
【００１５】
位置姿勢推定装置１は、撮像領域４１０を通過する対象物５を撮像した画像と、予め所定の位置姿勢で撮像しておいた対象物の画像とに基づいて、撮像領域４１０を通過した対象物５の位置姿勢を推定する。また、本実施形態に係る位置姿勢推定装置１は、推定した対象物５の位置姿勢に基づいて、対象物５におけるラベルの貼付位置を示す画像６の表示データを生成し、プロジェクタ３に出力する。
【００１６】
プロジェクタ３は、位置姿勢推定装置１から受信した表示データに基づいて、画像６を対象物５に投影する。プロジェクタ３は、搬送ベルト４０１により搬送される対象物５がラベル７を貼付する作業員８の前を通過するタイミングで、対象物５にラベルの貼付位置を示す画像６を投影する。これにより、作業員８は紙の指示書等で確認することなく対象物５におけるラベルの貼付位置を知ることができ、作業が効率化されるようになる。
【００１７】
図１に示した作業ライン１０では、対象物５Ａが撮像領域４１０を通過してから作業者８の前に到達するまでの期間内に、位置姿勢推定装置１が、対象物５Ａの位置姿勢を推定し、画像６の表示データを生成してプロジェクタ３に出力する。このため、プロジェクタ３は、対象物５Ａが作業者８の前に到達するタイミングで、対象物５Ａにおけるラベルの貼付位置を示す画像６を対象物５Ａに投影する。
【００１８】
また、図１において撮像領域４１０の上流側に位置する対象物５Ｂが撮像領域４１０を通過して作業員８の前に到達したときには、プロジェクタ３は、対象物５Ｂの位置姿勢に応じた画像６を対象物５Ｂに投影する。
【００１９】
搬送ベルト４０１に載置された対象物５の位置姿勢は常に一定であるとは限らない。例えば、図１に示した対象物５Ａと対象物５Ｂとでは、ラベル貼付面における辺の方向が異なる。そのため、対象物５Ａのラベルの貼付位置と、対象物５Ｂのラベルの貼付位置とは異なる。よって、対象物５毎に位置姿勢を推定してラベルの貼付位置を投影することで、作業員８は、投影された貼付位置の画像６に従って、各対象物５の所定位置にラベル７を正しく貼付することが可能となる。
【００２０】
図２は、第１の実施形態に係る位置姿勢推定装置の機能的構成を示す図である。
図２に示すように、本実施形態に係る位置姿勢推定装置１は、位置姿勢推定部１１０と、記憶部１２０と、投影画像生成部１３０と、を備える。
【００２１】
位置姿勢推定部１１０は、撮像装置２から取得した画像に写っている対象物の位置姿勢を推定する。位置姿勢推定部１１０は、画像取得部１１１と、特徴点検出部１１２と、局所特徴情報抽出部１１３と、大域領域決定部１１４と、特徴点対群抽出部１１５と、位置姿勢算出部１１６と、を含む。
【００２２】
記憶部１２０は、位置姿勢推定部１１０が参照するデータ、算出したデータ及び抽出したデータ、並びに投影画像生成部１３０が参照するデータを記憶する。記憶部１２０には、登録画像１２１と、対象画像１２２と、登録画像特徴情報１２３と、対象画像特徴情報１２４と、類似度情報１２５と、ラベル貼付位置１２９と、を含む各種のデータを記憶させる。ここで、登録画像１２１は予め所定の位置姿勢で撮像した対象物の画像であり、対象画像１２２は位置姿勢を推定する対象物が写っている画像（言い換えると、撮像装置２で撮像した、ベルトコンベア４で搬送される対象物の画像）である。記憶部１２０には、１種類の対象物についての登録画像１２１に限らず、複数種類の対象物のそれぞれを個別に撮像した複数枚の登録画像を記憶させてもよい。
【００２３】
投影画像生成部１３０は、位置姿勢推定部１１０における対象物の位置姿勢の推定結果と、記憶部１２０に記憶させたラベル貼付位置１２９とに基づいて、対象物に投影する画像を生成する。
【００２４】
上記のように、本実施形態に係る位置姿勢推定装置１の位置姿勢推定部１１０は、画像取得部１１１と、特徴点検出部１１２と、局所特徴情報抽出部１１３と、大域領域決定部１１４と、特徴点対群抽出部１１５と、位置姿勢算出部１１６と、を含む。
【００２５】
画像取得部１１１は、撮像装置２で撮像した撮像範囲４０１の画像（対象画像１２２）を取得する。
【００２６】
特徴点検出部１１２は、位置姿勢の推定対象である対象物５が写っている対象画像１２１と、前記対象物５が所定の位置姿勢で写っている登録画像１２１とから特徴点を検出する検出部である。登録画像１２１の特徴点の位置は登録画像特徴情報１２３の１つとして記憶部１２０に格納され、対象画像１２２の特徴点の位置は対象画像特徴情報１２４の１つとして記憶部１２０に格納される。
【００２７】
局所特徴情報抽出部１１３は、登録画像１２１及び対象画像１２２のそれぞれから、対象物の位置姿勢の推定に用いる局所特徴情報を抽出する第１の抽出部である。局所特徴情報は、画像から検出した特徴点の周囲（局所領域）における画像上での特徴（例えば、色の分布やエッジ等）を表す情報である。局所特徴情報抽出部１３０は、登録画像１２１から検出された全ての特徴点についての局所特徴情報と、対象画像１２２から検出された全ての特徴点についての局所特徴情報とを抽出する。また、局所特徴情報抽出部１３０は、抽出した各特徴点の局所特徴情報に基づいて、対象画像１２２における背景領域の特徴点等の、対象物の位置姿勢の推定に不要な特徴点を除外する。登録画像１２１の各特徴点の局所特徴情報は、特徴点の位置と対応付け、登録画像特徴情報１２３の1つとして記憶部１２０に格納される。また、対象画像１２２における不要な特徴点を除外した後の各特徴点の局所特徴情報は、特徴点の位置と対応付け、登録画面特徴情報１２４の１つとして記憶部１２０に格納される。
【００２８】
大域領域決定部１１４は、所定の条件に従って、登録画像及び対象画像のそれぞれに設定する大域領域を決定する。大域領域決定部１１４は、登録画像及び対象画像のそれぞれに、複数の特徴点を含む大域領域を設定する大域領域設定部（図示せず）を含む。本実施形態に係る大域領域決定部１１４は、画像内の全ての特徴点を含む最小外接図形（最小外接多角形）の輪郭で囲まれた領域を大域領域とする。登録画像１２１の大域領域は登録画像特徴情報１２３の１つとして記憶部１２０に格納され、対象画面１２２の大域領域は登録画面特徴情報１２４の１つとして記憶部１２０に格納される。
【００２９】
特徴点対群抽出部１１５は、対象画像１２２の特徴点と、登録画像１２１の特徴点との対応関係を表す特徴点対の集合（特徴点対群）を抽出する。特徴点対群抽出部１１５は、対象画像１２２の特徴点と登録画像１２１の特徴点とによる特徴点対毎に算出した局所特徴情報の類似度及び大域特徴情報の類似度に基づいて、生成し得る複数通りの特徴点対の集合のなかから特徴点対群を抽出する。ここで、大域特徴情報は、大域情報に基づいて算出した画像内の各特徴点についての特徴量を表す情報、すなわち各特徴点についての局所特徴情報とは異なる特徴情報である。本実施形態に係る特徴点対群抽出部１１５は、画像内の特徴点毎に算出した、特徴点から大域領域の重心までの距離を大域特徴情報とする。特徴点対群抽出部１１５は、特徴点対の集合毎に、局所特徴情報の類似度及び大域特徴情報の類似度に基づいて特徴点類似度を算出し、算出した特徴点類似度を特徴点対の集合と対応付けて記憶部１２０の類似度情報１２５に格納する。そして、生成し得る複数通りの特徴点対の集合の全てで特徴点類似度を算出した後、特徴点対群抽出部１１５は、特徴点類似度が最大値となる特徴点対の集合を特徴点対群に決定する。
【００３０】
位置姿勢算出部１１６は、特徴点対群抽出部１１５が抽出した特徴点対群に含まれる各特徴点対における対象画像１２２の特徴点と、登録画像１２１の特徴点との位置関係に基づいて、対象画像１２２に写っている対象物の位置姿勢を算出する算出部である。本実施形態では、位置姿勢算出部１１６は、対象物の位置姿勢を示す情報として、登録画像１２１の特徴点の位置を対象画像１２２の特徴点の位置に変換する変換式（変換行列）を算出する。すなわち、投影画像生成部１３０は、位置姿勢算出部１１６で算出した変換行列により、登録画像１２１におけるラベル貼付位置１２９を対象画像１２２におけるラベル貼付位置に変換し、対象物のラベル貼付位置を示す画像を生成する。
【００３１】
次に、図３を参照し、特徴点対群抽出部１１５の機能的構成について詳細に説明する。
図３は、第１の実施形態に係る特徴点対群抽出部の構成を示す図である。
【００３２】
図３に示すように、本実施形態に係る特徴点対群抽出部１１５は、大域特徴情報抽出部１１５Ａと、集合作成部１１５Ｂと、局所特徴情報比較部１１５Ｃと、大域特徴情報比較部１１５Ｄと、類似度算出部１１５Ｅと、を含む。また、特徴点対群抽出部１１５は、算出処理制御部１１５Ｆと、特徴点対群決定部１１５Ｇと、を含む。
【００３３】
大域特徴情報抽出部１１５Ａは、対象画像１２２及び登録画像１２１のそれぞれから、特徴点と、大域領域に基づいて決定した基点とにより特徴付けられる大域特徴情報を抽出する第２の抽出部である。本実施形態に係る大域特徴情報抽出部１１５Ａは、大域領域の重心を基点とし、特徴点から基点までの距離を大域特徴情報として抽出する（算出する）。
【００３４】
集合生成部１１５Ｂは、対象画像１２２の特徴点と、登録画像１２１の特徴点とによる特徴点対の集合ψを生成する。
【００３５】
局所特徴情報比較部１１５Ｃは、特徴点対の集合ψに含まれる特徴点対毎に、対象画像１２２の特徴点の局所特徴情報と、登録画像１２１の特徴点の局所特徴情報とを比較して局所特徴情報の類似度を算出する。
【００３６】
大域特徴情報比較部１１５Ｄは、特徴点対の集合ψに含まれる特徴点対毎に、対象画像１２２の特徴点の大域特徴情報と、登録画像１２１の特徴点の大域特徴情報とを比較して大域特徴情報の類似度を算出する。
【００３７】
類似度算出部１１５Ｅは、特徴点対の集合ψに含まれる特徴点対毎に算出した局所特徴情報の類似度と大域特徴情報の類似度とに基づいて、特徴点対の集合ψにおける特徴点の対応関係についての評価値（特徴点類似度）を算出する。
【００３８】
算出処理制御部１１５Ｆは、集合作成部１１５Ｂ、局所特徴情報比較部１１５Ｃ、大域特徴情報比較部１１５Ｄ、及び類似度算出部１１５Ｅによる特徴点類似度の算出処理を制御する。算出処理制御部１１５Ｆは、生成し得る特徴点対の集合の全てで特徴点類似度を算出するまで、集合作成部１１５Ｂ、局所特徴情報比較部１１５Ｃ、大域特徴情報比較部１１５Ｄ、及び類似度算出部１１５Ｅに、特徴点類似度の算出処理を繰り返し行わせる。
【００３９】
特徴点対群決定部１１５Ｇは、特徴点類似度を算出した複数通りの特徴点対の集合のうちの特徴点類似度が最も高い特徴点対の集合を、対象画像１２２の特徴点と登録画像１２１の特徴点との対応関係を表す特徴点対の集合（特徴点対群）に決定する。
【００４０】
すなわち、特徴点対群抽出部１１５は、大域特徴情報を抽出する第２の抽出部（大域特徴情報抽出部１１５Ａ）と、特定部とに大別される。ここで、特定部は、対象画像１２２の特徴点と登録画像１２１の特徴点とによる特徴点対における、局所特徴情報の類似度と、大域特徴情報の類似度とに基づいて、対象画像の特徴点と登録画像の特徴点との対応関係を示す特徴点対群を特定する。特定部は、集合生成部１１５Ｂ、局所特徴情報比較部１１５Ｃ、大域特徴情報比較部１１５Ｄ、算出処理制御部１１５Ｄ、及び特徴点対群決定部１１５Ｇを含む。
【００４１】
本実施形態に係る位置姿勢推定装置１は、例えば、図４に示すステップＳ１〜Ｓ９の処理を所定の時間間隔で繰り返し行う。なお、位置姿勢推定装置１は、ステップＳ１〜Ｓ９の一連の処理を１回の処理単位として繰り返し行ってもよいし、ステップＳ１〜Ｓ９の処理をパイプライン化して行ってもよい。
【００４２】
図４は、第１の実施形態に係る位置姿勢推定装置が行う処理を説明するフローチャートである。
【００４３】
図４に示すように、本実施形態に係る位置姿勢推定装置１は、まず、撮像装置２から対象物を撮像した対象画像を取得する（ステップＳ１）。ステップＳ１の処理は、画像取得部１１１が行う。
【００４４】
次に、位置姿勢推定装置１は、対象画像及び登録画像から特徴点を検出する特徴点検出処理（ステップＳ２）を行う。ステップＳ２の処理は、特徴点検出部１１２が行う。特徴点検出部１１２は、画像処理の分野における既知の特徴点の検出方法に従って、撮像画像及び登録画像のそれぞれから特徴点を検出する。例えば、特徴点検出部１１２は、Speeded Up Robust Features（ＳＵＲＦ）、或いはScale Invariant Feature Transform（ＳＩＦＴ）により、特徴点を算出する。
【００４５】
特徴点検出部１１２は、登録画像から検出した特徴点の位置を登録画像特徴情報１２３の１つとして記憶部１２０に格納し、対象画像から検出した特徴点の位置を対象画像特徴情報１２４の１つとして記憶部１２０に格納する。
【００４６】
なお、特徴点検出部１１２は、例えば、ある１種類の対象物に対する位置姿勢の推定を開始した直後の検出処理で検出した登録画像の特徴点を、対象物の種類が変更されるまで、登録画像の特徴点としてもよい。すなわち、特徴点検出部１１２が位置姿勢を推定する対象物についての登録画像から特徴点を検出するのは、ある１種類の対象物に対する位置姿勢の推定を開始した直後の１度だけでもよい。この場合、ある１種類の対象物に対する位置姿勢の推定処理における２回目以降のステップＳ２の処理では、特徴点検出部１１２は、対象画像から特徴点を検出する処理のみを行う。また、現時点において処理対象となっている対象画像の特徴点の位置を対象画像特徴情報１２４の１つとして記憶部１２０に格納する際、特徴点検出部１１２は、過去の情報を消去してもよいし、対象画像毎に識別可能な状態で蓄積してもよい。
【００４７】
次に、位置姿勢推定装置１は、対象画像に対象物が写っているか否かを判定する（ステップＳ３）。ステップＳ３の判定は、例えば、特徴点検出部１１２が行う。特徴点検出部１１２は、ステップＳ２における対象画像に対する特徴点の検出結果に基づいて、対象画像に対象物が写っているか否かを判定する。例えば、対象画像の特徴点の総数Ｎから登録画像の特徴点の総数Ｍを減じた値（Ｎ−Ｍ）が閾値ＴＨ１よりも小さい場合、特徴点検出部１１２は、対象画像に対象物が写っていないと判定する。閾値ＴＨ１は、例えば、登録画像の特徴点の総数Ｍに基づいて設定される負の値（ＴＨ１＜０）とする。対象画像に対象物が写っていないと判定した場合（ステップＳ３；ＮＯ）、位置姿勢推定装置１は、現時点において処理対象となっている対象画像に対する処理を終了する。
【００４８】
一方、対象画像の特徴点の総数Ｎから登録画像の特徴点の総数Ｍを減じた値（Ｎ−Ｍ）が閾値ＴＨ１以上である場合、特徴点抽出部１１２は、対象画像に対象物が写っていると判定する。対象画像に対象物が写っていると判定した場合（ステップＳ３；ＹＥＳ）、位置姿勢推定装置１は、次に、対象画像及び登録画像のそれぞれから、検出した特徴点の局所特徴情報を抽出する（ステップＳ４）。ステップＳ４の処理は、局所特徴情報抽出部１１３が行う。局所特徴情報抽出部１１３は、画像処理の分野における既知の局所特徴情報の抽出方法に従って、対象画像及び登録画像のそれぞれから、特徴点の周囲（局所領域）における画像の特徴を表す局所特徴情報を抽出する。例えば、局所特徴情報抽出部１１３は、ＳＵＲＦ、或いはＳＩＦＴにより、各特徴点の局所特徴情報を抽出する。局所特徴情報抽出部１１３は、対象画像の特徴点についての局所特徴情報を対象画像特徴情報１２４の１つとして記憶部１２０に格納し、登録画像の特徴点についての局所特徴情報を登録画像特徴情報１２３の１つとして記憶部１２０に格納する。
【００４９】
なお、局所特徴情報抽出部１１３は、例えば、ある１種類の対象物に対する位置姿勢の推定を開始した直後の抽出処理で抽出した登録画像の特徴点についての局所特徴情報を、対象物の種類が変更されるまで、登録画像の特徴点の局所特徴情報としてもよい。すなわち、局所特徴情報抽出部１１３が位置姿勢を推定する対象物についての登録画像から局所特徴情報を抽出するのは、ある１種類の対象物に対する位置姿勢の推定を開始した直後の１度だけでもよい。この場合、ある１種類の対象物に対する位置姿勢の推定処理における２回目以降のステップＳ４の処理では、局所特徴情報抽出部１１３は、対象画像から局所特徴情報を抽出する処理のみを行う。
【００５０】
次に、位置姿勢推定装置１は、局所特徴情報に基づいて、位置姿勢の推定に不要な特徴点を除外する（ステップＳ５）。ステップＳ５の処理は、例えば、局所特徴情報抽出部１１３が行う。局所特徴情報抽出部１１３は、抽出した局所特徴情報に基づいて、対象画像から検出された複数の特徴点のうちの背景領域（例えば、対象物５を搬送する搬送ベルト４０１等）から検出された特徴点を、位置姿勢の推定に不要な特徴点として除外する。局所特徴情報抽出部１１３は、例えば、対象画像の複数の特徴点のそれぞれで、登録画像における１個以上の特徴点との局所特徴情報の類似度を算出し、当該類似度が閾値以下である特徴点を除外する。除外する特徴点がある場合、局所特徴情報抽出部１１３は、該当する特徴点の位置及び局所特徴情報を対象画像特徴情報１２４から削除する。
【００５１】
次に、位置姿勢推定装置１は、対象画像及び登録画像の大域領域を決定する大域領域決定処理（ステップＳ６）を行う。ステップＳ６の大域領域決定処理は、大域領域決定部１１４が行う。本実施形態に係る大域領域決定部１１４は、不要な特徴点を除外した後の対象画像の特徴点の位置に基づいて対象画像の大域領域を決定するとともに、登録画像の特徴点の位置に基づいて登録画像の大域領域を決定する。本実施形態に係る大域領域決定部１１４は、対象画像及び登録画像のそれぞれで、全ての特徴点を含む最小外接多角形を算出し、当該最小外接多角形の輪郭で囲まれる領域を大域領域に決定する。大域領域決定部１１４は、対象画像の大域領域を表す情報を対象画像特徴情報１２４の１つとして記憶部１２０に格納し、登録画像の大域領域を表す情報を登録画像特徴情報１２３の１つとして記憶部１２０に格納する。
【００５２】
次に、位置姿勢推定装置１は、対象画像の特徴点と登録画像の特徴点との対応関係を表す特徴点対群を抽出する特徴点群抽出処理（ステップＳ７）を行う。ステップＳ７の処理は、特徴点対群抽出部１１５が行う。特徴点対群抽出部１１５は、対象画像の特徴点と登録画像の特徴点とによる特徴点対の集合を複数通り生成し、当該複数通りの特徴点対の集合のなかから特徴点対群を抽出する。特徴点対群抽出部１１５は、特徴点対の集合毎に局所特徴情報の類似度と大域特徴情報の類似度とに基づいて集合単位での特徴点対の類似度を算出し、類似度が最も高い特徴点対の集合を特徴点対群に決定する。大域特徴情報は、対象画像及び登録画像のそれぞれにおける、特徴点と大域領域との関係を表す情報であり、特徴点対群抽出部１１５の大域特徴情報抽出部１１５Ａが抽出する（算出する）。本実施形態に係る大域特徴情報抽出部１１５Ａは、対象画像及び登録画像のそれぞれに対して、大域領域の重心を算出し、特徴点毎に特徴点から大域領域の重心までの距離を算出する処理を行う。すなわち、本実施形態に係る特徴点対群抽出処理では、特徴点毎に算出した特徴点から大域領域の重心までの距離を大域特徴情報とする。特徴点対群抽出部１１５は、特徴点毎に抽出した局所特徴情報と、大域特徴情報とに基づいて特徴点対の類似度を算出する毎に、算出した類似度を特徴点対の集合と対応付けて類似度情報１２５に蓄積する。そして、生成し得る特徴点対の集合の全てで類似度を算出した後、特徴点対群抽出部１１５は、類似度情報１２５に蓄積した特徴点対の集合のなかから類似度が最大値である特徴点対の集合を特定し、当該特徴点対の集合を特徴点対群に決定する。なお、特徴点対群抽出部１１５において類似度が最大値である特徴点対の集合を特徴点対群とするのは、類似度が高いほど算出される値が大きくなる類似度算出方法に従って類似度を算出する場合である。すなわち、類似度が正の値であり、かつ類似度が高いほど算出される値が小さくなる類似度算出方法に従って類似度を算出した場合、特徴点対群抽出部１１５は、類似度が最小値（０に最も近い）である特徴点対の集合を特徴点対群に決定する。
【００５３】
次に、位置姿勢推定装置１は、決定した特徴点対群に基づいて、対象画像内の対象物の位置姿勢を算出する（ステップＳ８）。ステップＳ８の処理は、位置姿勢算出部１１６が行う。なお、本実施形態に係る位置姿勢算出部１１６は、対象物の位置姿勢として、登録画像の特徴点の位置を対象画像の特徴点の位置に変換する変換行列を算出する。位置姿勢算出部１１６は、既知の座標変換方法に従い、特徴点対群に含まれる複数の特徴点対のそれぞれにおける対象画像の特徴点と登録画像の特徴点との位置関係に基づいて、変換行列を算出する。
【００５４】
次に、位置姿勢推定装置１は、記憶部１２０のラベル貼付位置１２９と、算出した対象物の位置姿勢（変換行列）とに基づいて対象物に投影する画像を生成して出力する（ステップＳ９）。ステップＳ９の処理は、投影画像生成部１３０が行う。ラベル貼付位置１２９は、登録画像内の対象物におけるラベルの貼付位置を示す情報を含む。投影画像生成部１３０は、記憶部１２０のラベル貼付位置１２９を読み出し、位置姿勢算出部１１６で算出した変換行列により、登録画像におけるラベルの貼付位置を表す座標を、対象画像におけるラベルの貼付位置を表す座標に変換する。その後、投影画像生成部１３０は、対象画像におけるラベルの貼付位置を表す座標に、ラベルの貼付位置が表示される画像を生成してプロジェクタ３に出力する。投影画像生成部１３０が生成した画像を出力すると、位置姿勢推定装置１は、現時点において処理対象となっている対象画像に対する処理を終了する。
【００５５】
このように、本実施形態に係る対象物の位置姿勢を推定する処理では、対象物の特徴点の周囲から抽出した局所特徴情報の類似度と、画像内に設定した大域領域の重心と特徴点との関係を表す大域特徴情報の類似度とに基づいて、対象物の位置姿勢を推定する。
【００５６】
以下、図５〜図８を参照し、図４のフローチャートにおけるステップＳ２，Ｓ６，Ｓ７の各処理について詳細に説明する。
【００５７】
図４のフローチャートにおけるステップＳ２の処理（特徴点検出処理）は、特徴点検出部１１２が行う。特徴点検出部１１２は、特徴点検出処理として、図５に示す処理を行う。
【００５８】
図５は、特徴点検出処理の内容を説明するフローチャートである。
特徴点検出部１１２は、まず、対象画像から特徴点を検出し記憶部１２０に保持させる（ステップＳ２０１）。ステップＳ２０１において、特徴点検出部１１２は、既知の検出方法に従って対象画像から特徴点Ｐｎ（ｎ＝１，２，・・・，Ｎ’）を検出し、検出した特徴点の位置を対象画像特徴情報１２４の１つとして記憶部１２０に記憶させる（保持させる）。
【００５９】
次に、特徴点検出部１１２は、登録画像特徴情報１２３を参照し、登録画像の特徴点を検出済みであるか否かを判定する。登録画像の特徴点を検出済みである場合（ステップＳ２０２；ＹＥＳ）、特徴点検出部１１２は、特徴点検出処理を終了する。
【００６０】
一方、登録画像の特徴点をまだ検出していない場合（ステップＳ２０２；ＮＯ）、特徴点検出部１１２は、次に、登録画像から特徴点を検出し記憶部１２０に保持させる（ステップＳ２０３）。ステップＳ２０３において、特徴点検出部１１２は、既知の検出方法に従って登録画像から特徴点ＰＵｍ（ｍ＝１，２，・・・，Ｍ）を検出し、検出した特徴点の位置を対象画像特徴情報１２４の１つとして記憶部１２０に記憶させる（保持させる）。
【００６１】
特徴点検出部１１２は、対象画像の特徴点を検出する処理と、登録画像の特徴点を検出する処理とを、同一の特徴点検出方法（アルゴリズム）に従って行う。そのため、対象物の位置姿勢が定まっている登録画像から特徴点を検出する処理を複数回行った場合の処理結果（検出された特徴点の数及び位置）は、ほぼ同じ結果となる。よって、ある１種類の対象物についての位置姿勢を検出する処理において登録画像の特徴点が検出済みである場合には特徴点を検出する処理（ステップＳ２０２）を省略することで、特徴点検出部１１２の処理負荷を軽減することが可能となる。
【００６２】
また、フローチャートを参照した説明は省略するが、各特徴点の局所特徴情報を抽出する処理（ステップＳ４）において、局所特徴情報抽出部１１３は、図５のフローチャートと同様の手順で局所特徴情報を抽出する。すなわち、特徴画像の特徴点についての局所特徴情報を抽出済みである場合、局所特徴情報抽出部１１３は、特徴画像の特徴点についての局所特徴情報を抽出する処理を省略し、対象画像の特徴点についての局所特徴情報を抽出する処理のみを行う。
【００６３】
局所特徴情報を抽出する処理（ステップＳ４）、及び対象物の位置姿勢の推定に不要な特徴点を除外する処理（ステップＳ５）を行った後、位置姿勢推定装置１は、ステップＳ６の大域領域決定処理を行う。大域領域決定処理は、大域領域決定部１１４が行う。本実施形態に係る大域領域決定部１１４は、大域領域決定処理として、図６に示す処理を行う。
【００６４】
図６は、第１の実施形態に係る大域領域決定処理の内容を説明するフローチャートである。
【００６５】
大域領域決定部１１４は、まず、対象画像における各特徴点Ｐｎを含む最小外接多角形を算出し、当該最小外接多角形を対象画像の大域領域Ｄとして記憶部１２０に保持させる（ステップＳ６０１）。ステップＳ６０１において、大域領域決定部１１４は、対象画像特徴情報１２４に格納された対象画像の特徴点Ｐｎ（ｎ＝１，２，・・・，Ｎ）の位置情報に基づいて、全ての特徴点を含む最小外接多角形を算出する。ここで、最小外接多角形の算出に用いる特徴点は、ステップＳ５により位置姿勢の推定に不要な特徴点を除去した後の対象画像の特徴点である。すなわち、ステップＳ６０１で用いる特徴点Ｐｎの総数Ｎは、ステップＳ５において１個以上の特徴点を除外した場合にはＮ＜Ｎ’であり、ステップＳ５において除外された特徴点がない場合にはＮ＝Ｎ’である。大域領域決定部１１４は、既知の算出方法に従って、対象画像の全特徴点を含む最小外接多角形を算出する。大域領域決定部１１４は、算出した最小外接多角形の輪郭で囲まれた領域を対象画像の大域領域Ｄに決定し、大域領域Ｄを表す情報を対象画像特徴情報１２４の１つとして記憶部１２０に格納する。
【００６６】
次に、大域領域決定部１１４は、登録画像特徴情報１２３を参照し、登録画像の大域領域ＤＵを決定済みであるか否かを判定する（ステップＳ６０２）。登録画像の大域領域ＤＵを決定済みである場合（ステップＳ６０２；ＹＥＳ）、大域領域決定部１１４は、大域領域決定処理を終了する。
【００６７】
一方、登録画像の大域領域ＤＵがまだ決定していない場合（ステップＳ６０２；ＮＯ）、大域領域決定部１１４は、次に、登録画像における各特徴点ＰＵｍを含む最小外接多角形を算出し、当該最小外接多角形を登録画像の大域領域ＤＵとして記憶部１２０に保持させる（ステップＳ６０３）。ステップＳ６０３において、大域領域決定部１１４は、登録画像特徴情報１２３に格納された登録画像の特徴点ＰＵｍ（ｍ＝１，２，・・・，Ｍ）の位置情報に基づいて、全特徴点を含む最小外接多角形を算出する。大域領域決定部１１４は、ステップＳ６０１で用いる算出方法と同一の算出方法に従って、登録画像の全特徴点を含む最小外接多角形を算出する。この場合、大域領域決定部１１４は、算出した最小外接多角形の輪郭で囲まれた領域を登録画像の大域領域ＤＵに決定し、大域領域ＤＵを表す情報を登録画像特徴情報１２３の１つとして記憶部１２０に格納して大域領域決定処理を終了する。
【００６８】
なお、図５のフローチャートは、本実施形態に係る大域領域決定処理の一例に過ぎない。本実施形態に係る大域領域決定処理は、例えば、まずステップＳ６０２の判定を行ってもよい。この場合、登録画像の大域領域ＤＵを決定済みであれば（ステップＳ６０２；ＹＥＳ）、大域領域決定部１１４は、ステップＳ６０１の処理のみを行う。一方、登録画像の大域領域ＤＵをまだ決定していない場合（ステップＳ６０２；ＹＥＳ）、大域領域決定部１１４は、ステップＳ６０１の処理及びステップＳ６０３の処理を行う。
【００６９】
大域領域決定処理を行った後、位置姿勢推定装置１は、ステップＳ７の特徴点対群抽出処理を行う。特徴点対群抽出処理は、特徴点対群抽出部１１５が行う。本実施形態に係る特徴点対群抽出部１１５は、特徴点対群抽出処理として、図７及び図８に示す処理を行う。
【００７０】
図７は、第１の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャートである。図８は、第１の実施形態に係る大域特徴情報抽出処理の内容を説明するフローチャートである。
【００７１】
図７に示すように、特徴点対群抽出部１１５は、まず、対象画像及び特徴画像のそれぞれから大域特徴情報を抽出する大域特徴情報抽出処理（ステップＳ７０１）を行う。ステップＳ７０１の処理は、特徴点対群抽出部１１５の大域特徴情報抽出部１１５Ａが行う。本実施形態に係る大域特徴情報抽出部１１５は、対象画像の特徴点毎に特徴点から大域領域Ｄの重心までの距離を算出する処理と、登録画像の特徴点毎に特徴点から大域領域ＤＵの重心までの距離を算出する処理とを行う（図８を参照）。大域特徴情報抽出部１１５は、対象画像の特徴点毎に算出した特徴点から大域領域Ｄの重心までの距離を対象画像の各特徴点についての大域特徴情報とし、当該大域特徴情報を対象画像特徴情報１２４の１つとして記憶部１２０に格納する。同様に、大域特徴情報抽出部１１５は、登録画像の特徴点毎に算出した特徴点から大域領域ＤＵの重心までの距離を登録画像の各特徴点についての大域特徴情報とし、当該大域特徴情報を登録画像特徴情報１２３の１つとして記憶部１２０に格納する。
【００７２】
次に、特徴点対群抽出部１１５は、特徴点対の集合を識別する変数ｋを０にする（ステップＳ７０２）。ステップＳ７０２の処理は、算出処理制御部１１５Ｆが行う。
【００７３】
ステップＳ７０２の後、特徴点対群抽出部１１５は、局所特徴情報と大域特徴情報とに基づいて、複数通りの特徴点対の集合のそれぞれにおける特徴点類似度を算出する処理（ステップＳ７０３〜Ｓ７０７）を行う。ステップＳ７０３〜Ｓ７０７の処理は、算出処理制御部１１５Ｆによる制御のもと、集合生成部１１５Ｂと、局所特徴情報比較部１１５Ｃと、大域特徴情報比較部１１５Ｄと、類似度算出部１１５Ｅとが行う。
【００７４】
ステップＳ７０２の処理を終えると、特徴点対群抽出部１１５は、次に、対象画像の特徴点と登録画像の特徴点とによる特徴点の集合ψｋを生成する（ステップＳ７０３）。ステップＳ７０３の処理は、集合生成部１１５Ｂが行う。集合生成部１１５Ｂは、第１の集合に含まれる要素と第２の集合に含まれる要素とによる要素対の集合を生成する既知の生成方法に従って、対象画像の特徴点と登録画像の特徴点とによる特徴点対の集合ψｋを生成する。なお、集合生成部１１５Ｂは、所定の生成規則（生成アルゴリズム）に従い、１回のステップＳ７０３の処理において、対象画像の特徴点の総数Ｎと登録画像の特徴点の総数Ｍとに基づいて生成可能な特徴点対の集合のうちの１組の集合を生成する。
【００７５】
次に、特徴点対群抽出部１１５は、特徴点対の集合ψｋに含まれる各特徴点対における局所特徴情報の類似度ＳＬｎ，ｍと、大域特徴情報の類似度ＳＣｎ，ｍとを算出する（ステップＳ７０４）。ステップＳ７０４の処理は、局所特徴情報比較部１１５Ｃと、大域特徴情報比較部１１５Ｄとが行う。局所特徴情報比較部１１５Ｃは、特徴点対毎に、対象画像特徴情報１２４に格納された対象画像の特徴点の局所特徴情報と、登録画像特徴情報１２３に格納された登録画像１２１の特徴点の局所特徴情報とを比較して、局所特徴情報の類似度ＳＬｎ，ｍを算出する。局所特徴情報比較部１１５Ｃは、既知の類似度算出方法に従って、対象画像１２２の特徴点の局所特徴情報と、登録画像１２１の特徴点の局所特徴情報との類似度ＳＬｎ，ｍを算出する。大域特徴情報比較部１１５Ｄは、特徴点対毎に、対象画像特徴情報１２４に格納された対象画像の特徴点の大域特徴情報と、登録画像特徴情報１２３に格納された登録画像の特徴点の大域特徴情報とを比較して、大域特徴情報の類似度ＳＣｎ，ｍを算出する。大域特徴情報比較部１１５Ｄは、比較した大域特徴情報同士の類似性と、算出される類似度ＳＣｎ，ｍとの関係が、比較した局所特徴情報同士の類似性と、算出される類似度ＳＬｎ，ｍとの関係と同じ関係になる算出方法で、類似度ＳＣｎ，ｍを算出する。例えば、比較した局所特徴情報同士が類似しているほど類似度ＳＬｎ，ｍの値が大きくなる場合、大域特徴情報比較部１１５Ｄは、比較した大域特徴情報同士が類似しいているほど類似度ＳＣｎ，ｍの値が大きくなる算出方法で、類似度ＳＣｎ，ｍを算出する。
【００７６】
次に、特徴点対群抽出部１１５は、局所特徴情報の類似度ＳＬｎ，ｍと、大域特徴情報の類似度ＳＣｎ，ｍとに基づいて、特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する（ステップＳ７０５）。ステップＳ７０５の処理は、類似度算出部１１５Ｅが行う。類似度算出部１１５Ｅは、例えば、下記式（１）により特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する。
【００７７】
【数１】
2018036770.tif 000003
【００７８】
式（１）におけるＳＬｎ，ｍ及びＳＣｎ，ｍは、それぞれ、特徴点対の集合ψｋに含まれる各特徴点対（Ｐｎ，ＰＵｍ）における局所特徴情報の類似度、及び大域特徴情報の類似度である。また、式（１）におけるα及びβは、それぞれ、任意の定数である。
【００７９】
類似度算出部１１５Ｅは、算出した特徴点類似度Ｓｋを特徴点の集合ψｋと対応付けて類似度情報１２９の１つとして記憶部１２０に格納するとともに、特徴点類似度Ｓｋを算出したことを算出処理制御部１１５Ｆに通知する。
【００８０】
特徴点対の集合ψｋについての特徴点類似度Ｓｋが算出されると、算出処理制御部１１５Ｆは、生成し得る特徴点対の集合を全て生成したか否かを判定する（ステップＳ７０６）。ステップＳ７０６において、算出処理制御部１１５Ｆは、対象画像の特徴点の総数Ｎと登録画像の特徴点の総数Ｍとに基づいて算出した生成し得る集合の総数と、生成した集合を識別する変数ｋの値とを比較して、全ての集合を生成したか否かを判定する。例えば、生成し得る特徴点対の集合がＫ通りである場合、算出処理制御部１１５Ｆは、ｋ≧Ｋ−１であるか否かを判定する（変数ｋが０から始まるため）。ｋ＜Ｋ−１である場合、算出処理制御部１１５Ｆは、生成していない特徴点対の集合があると判定する。
【００８１】
生成していない特徴点対の集合がある場合（ステップＳ７０６；ＮＯ）、算出処理制御部１１５Ｆは、特徴点対の集合を識別する変数ｋをｋ＋１に更新する（ステップＳ７０７）。その後、算出処理制御部１１５Ｆは、集合生成部１１５Ｂ、局所特徴情報比較部１１５Ｃ、大域特徴情報比較部１１５Ｄ、及び類似度算出部１１５Ｅに、ステップＳ７０３〜Ｓ７０５の処理を行わせる。
【００８２】
一方、特徴点対の集合を全て生成した場合（ステップＳ７０６；ＹＥＳ）、算出処理制御部１１５Ｆは、次に、特徴点対群決定部１１５Ｇに特徴点対群を決定させる。特徴点対群決定部１１５Ｇは、記憶部１２０の類似度情報１２５を参照し、特徴点類似度が最大値である特徴点対の集合を特徴点対群に決定する（ステップＳ７０８）。特徴点対群決定部１１５Ｇが特徴点対群を決定すると、特徴点対群抽出処理が終了する。
【００８３】
なお、ステップＳ７０８において特徴点類似度が最大値である特徴点対の集合を特徴点対群に決定するのは、類似度が高いほど算出される値が大きくなる算出方法で特徴点類似度Ｓｋを算出した場合である。すなわち、類似度が正の値であり、かつ類似度が高いほど算出される値が小さくなる算出方法で特徴点類似度Ｓｋを算出した場合、特徴点対群決定部１１５Ｇは、ステップＳ７０８において、特徴点類似度が最小値である特徴点対の集合を特徴点対群に決定する。
【００８４】
このように、本実施形態に係る特徴点対群抽出処理では、特徴点対の集合に含まれる特徴点対毎に局所特徴情報の類似度と大域特徴情報の類似度とを算出し、これらの類似度に基づいて集合全体での特徴点対の類似度を評価する特徴点類似度を算出する。
【００８５】
ここで、図８を参照し、本実施形態に係る大域特徴情報抽出処理（ステップＳ７０１）について改めて説明する。図８は、第１の実施形態に係る大域特徴情報抽出処理の内容を説明するフローチャートである。
【００８６】
図８に示すように、大域特徴情報抽出処理において、大域特徴情報抽出部１１５Ａは、まず、対象画像の大域領域Ｄの重心Ｇを算出する（ステップＳ７０１０１）。ステップＳ７０１０１において、大域特徴情報抽出部１１５Ａは、既知の算出方法に従って、対象画像の大域領域Ｄの重心Ｇを算出する。
【００８７】
次に、大域特徴情報抽出部１１５Ａは、対象画像の特徴点Ｐｎ毎に、特徴点Ｐｎと重心Ｇとの距離Ｃｎを算出し、算出した距離Ｃｎを大域特徴情報として記憶部１２０に保持させる（ステップＳ７０１０２）。ステップＳ７０１０２において、大域特徴情報抽出部１１５Ａは、対象画像内における特徴点Ｐｎの位置（画素）から重心Ｇの位置（画素）までの距離Ｃｎを算出する。大域特徴情報抽出部１１５Ａは、算出した距離Ｃｎを、各特徴点の大域特徴情報として記憶部１２０の対象画像登録情報１２４に格納する。
【００８８】
次に、大域特徴情報抽出部１１５Ａは、登録画像の各特徴点についての大域特徴情報を抽出済みであるか否かを判定する（ステップＳ７０１０３）。登録画像の各特徴点についての大域特徴情報を抽出済みである場合（ステップＳ７０１０３；ＹＥＳ）、大域特徴情報抽出部１１５Ａは、大域特徴情報抽出処理を終了する。
【００８９】
一方、大域特徴情報をまだ抽出していない場合（ステップＳ７０１０３；ＮＯ）、大域特徴情報抽出部１１５Ａは、次に、登録画像の大域領域ＤＵの重心ＧＵを算出する（ステップＳ７０１０４）。ステップＳ７０１０４において、大域特徴情報抽出部１１５Ａは、既知の算出方法に従って、登録画像の大域領域ＤＵの重心ＧＵを算出する。ステップＳ７０１０４の後、大域特徴情報抽出部１１５Ａは、登録画像の特徴点ＰＵｍ毎に、特徴点ＰＵｍと重心ＧＵとの距離ＣＵｍを算出し、算出した距離ＣＵｍを大域特徴情報として記憶部１２０に保持させる（ステップＳ７０１０５）。ステップＳ７０１０５において、大域特徴情報抽出部１１５Ａは、登録画像内における特徴点ＰＵｍの位置（画素）と、重心ＧＵの位置（画素）との距離ＣＵｍを算出する。大域特徴情報抽出部１１５Ａは、算出した距離ＣＵｍを各特徴点の大域特徴情報として記憶部１２０の登録画像特徴情報１２３に格納し、大域特徴情報抽出処理を終了する。
【００９０】
以下、図９〜図１５を参照して、本実施形態に係る対象物の位置姿勢の推定処理について具体的に説明する。なお、以下の説明では、図１に示した、対象物５の所定位置にラベル７を貼付する作業ライン１０における対象物５の位置姿勢の推定処理を例に挙げる。
【００９１】
図９は、登録画像と対象画像との例を示す図である。
図９の（ａ）には、対象物５の登録画像１２１の例を示している。登録画像１２１は対象物５における略正方形のラベル貼付面を正面方向から撮像した画像であり、登録画像１２１の外周は対象物５のラベル貼付面の輪郭と略一致している。登録画像１０に写っている対象物５のラベル貼付面には、３個の三角形の凹部５０１，５０２，５０３が形成されている。
【００９２】
また、登録画像１２１は、画像の水平方向（ｘ方向）を作業ライン１０における対象物５の搬送方向と平行な方向としており、登録画像１２１に写っている対象物５は、搬送時の規定の位置姿勢になっている。すなわち、作業ライン１０では、第１の凹部５０１、第２の凹部５０２、及び第３の凹部５０３が、それぞれラベル貼付面の左下方、右上方、及び右下方となり、かつラベル貼付面の一方の対辺がｘ方向と平行となる位置姿勢で対象物５を搬送するよう規定されている。
【００９３】
このように、対象物５の所定位置にラベルを貼付する作業ライン１０では、搬送時の対象物５の位置姿勢が規定されており、当該規定に従った位置姿勢となるようライン（搬送ベルト４０１）上に対象物５を載置する。ところが、実際の作業ライン１０では、例えば、図９の（ｂ）に示すように、対象物５の位置姿勢が、ラベル貼付面における搬送方向（ｘ方向）と平行にさせる対辺が搬送方向に対し角度θ１だけ傾いた位置姿勢になってしまうことがある。
【００９４】
図９の（ｂ）には、搬送ベルト４０１により搬送される対象物５を撮像した対象画像１２２の例を示している。図９の（ｂ）の対象画像１２２における対象物５の位置姿勢は、登録画像１２１における位置姿勢（すなわち規定の位置姿勢）とは異なる。
【００９５】
ラベルを貼付する対象物５の位置姿勢が規定の位置姿勢とは異なる場合、対象物５に投影するラベルの貼付位置が変わる。そのため、ラベルを貼付する作業ライン１０では、搬送される対象物５の位置姿勢に応じて対象物５に投影するラベルの貼付位置を変更する。本実施形態では、登録画像１２１における対象物５の特徴点と、撮像装置２で撮像した対象画像１２２における対象物５の特徴点との対応関係に基づいて、搬送ベルト４０１で搬送される対象物５の位置姿勢を推定する（算出する）。本実施形態に係る対象物５の位置姿勢を推定する処理では、まず、登録画像１２１及び対象画像１２２から特徴点を検出し（ステップＳ２）、検出した特徴点についての局所特徴情報を抽出する（ステップＳ４）。
【００９６】
図１０は、局所特徴情報の抽出方法を説明する図である。
本実施形態に係る位置姿勢推定装置１では、特徴点検出部１１２が、登録画像１２１及び対象画像１２２から特徴点を検出する（ステップＳ２）。特徴点検出部１１２は、既知の検出方法に従って、登録画像１２１から特徴点ＰＵｍを検出する処理（ステップＳ２０３）と、対象画像１２２から特徴点Ｐｎを検出する処理（ステップＳ２０１）とを行う。
【００９７】
図１０の（ａ）には、登録画像１２１から検出された３個の特徴点ＰＵｍ（ｍ＝１，２，３）を示している。登録画像１２１から検出された３個の特徴点ＰＵｍの位置は、それぞれ、例えば、登録画像１２１における左上角部の画素を原点（０．０）としたときの、原点から特徴点ＰＵｍの位置（画素）までのｘ方向の画素数と、ｙ方向の画素数とで表される。
【００９８】
一方、図１０の（ｂ）には、対象画像１２２から検出された５個の特徴点Ｐｎ（ｎ＝１〜５）を示している。対象画像１２２から検出された５個の特徴点Ｐｎの位置は、それぞれ、例えば、対象画像１２２における左上角部の画素を原点（０．０）としたときの、原点から特徴点Ｐｎの位置（画素）までのｘ方向の画素数と、ｙ方向の画素数とで表される。
【００９９】
登録画像１２１及び対象画像１２２から特徴点を検出した後、位置姿勢推定装置１では、対象画像１２２に対象物５が写っているか否かを判定する（ステップＳ３）。登録画像１２１から特徴点を検出する処理（ステップＳ２０３）と、対象画像１２２から特徴点を検出する処理（ステップＳ２０１）とは、同一の検出方法（検出アルゴリズム）で行う。そのため、対象画像１２２に対象物が写っている場合、対象画像１２２から検出された特徴点の数は、登録画像１２１から検出された特徴点の数とほぼ等しくなる。よって、ステップＳ３では、上記のように、対象画像１２２から検出された特徴点の数Ｎと、登録画像１２１から検出された特徴点の数Ｍとの差（Ｎ−Ｍ）が閾値ＴＨ１以上である場合に対象画像１２２に対象物５が写っていると判定する。
【０１００】
対象画像１２２に対象物５が写っている場合、次に、局所特徴情報抽出部１１３が、登録画像１２１の各特徴点ＰＵｍについての局所特徴情報と、対象画像１２２の各特徴点Ｐｎについての局所特徴情報とを抽出する（ステップＳ４）。局所特徴情報抽出部１１３は、既知の抽出方法に従って、登録画像１２１の各特徴点についての局所特徴情報を抽出する処理と、対象画像１２２の各特徴点についての局所特徴情報を抽出する処理とを行う。
【０１０１】
登録画像１２１の各特徴点についての局所特徴情報を抽出する処理では、局所特徴情報抽出部１１３は、例えば、図１０の（ａ）に示すように、登録画像１２１に特徴点ＰＵ１，ＰＵ２，ＰＵ３のそれぞれを中心とする局所領域Ｅ１，Ｅ２，Ｅ３を設定する。そして、局所特徴情報抽出部１１３は、登録画像１２１における各局所領域Ｅ１，Ｅ２，Ｅ３内の画素の画素値等の情報に基づいて、各特徴点ＰＵ１，ＰＵ２，ＰＵ３の局所特徴情報を抽出する。また、対象画像１２２の各特徴点についての局所特徴情報を抽出する処理では、局所特徴情報抽出部１１３は、例えば、図１０の（ｂ）に示すように、対象画像１２２に特徴点Ｐ１〜Ｐ５のそれぞれを中心とする局所領域Ｅ１〜Ｅ５を設定する。そして、局所特徴情報抽出部１３３は、対象画像１２２における各局所領域Ｅ１〜Ｅ５内の画素の画素値等の情報に基づいて、各特徴点Ｐ１〜Ｐ５の局所特徴情報を抽出する。なお、局所領域Ｅ１〜Ｅ５は、図１０の（ａ）及び（ｂ）に示した円形に限らず、四角形、或いは他の多角形であってもよい。局所領域の形状及び大きさは、対象物５の表面における凹凸や穴の形成パターン、塗装パターン（印刷パターン）等に基づいて、適宜設定すればよい。
【０１０２】
ところで、対象画像１２２は、図１０の（ｂ）等に示したように、搬送ベルト４０１により搬送される対象物５の周囲に、搬送ベルト４０１等の対象物５とは別の物体が写っている。そのため、対象画像１２２から特徴点を検出する処理では、図１０の（ｂ）に示したように、対象物５の表面における特徴点Ｐ１，Ｐ２，Ｐ３とともに、対象物５とは別の物体（搬送ベルト４０１）の表面における特徴点Ｐ４，Ｐ５を検出してしまうことがある。このように、対象画像１２２から検出された特徴点は、対象物５が写っている領域の外側（言い換えると対象画像１２２における背景領域）から検出された特徴点を含むことがある。対象画像１２２における背景領域から検出された特徴点は、登録画像から検出された対象物５の特徴点と対応しないため、対象物５の位置姿勢の推定には不要である。また、図１０の（ｂ）に示したように、対象画像１２２の背景領域から検出された特徴点に対して設定した局所領域Ｅ４，Ｅ５内の画像情報と、対象物５から検出された特徴点に対して設定した局所領域Ｅ１〜Ｅ３内の画像情報とは、類似性が低い。よって、本実施形態では、局所特徴情報に基づいて、対象画像１２２の特徴点から、対象物５の位置姿勢の推定には不要な特徴点を除外する処理（ステップＳ５）を行う。なお、上記のように、登録画像１２１の外周は対象物５の輪郭と略一致している。そのため、登録画像１２１に写っているのは対象物５のみであるとみなすことができる。よって、登録画像１２１から検出した複数の特徴点ＰＵｍは、全て、対象物５から検出された特徴点であるとみなすことができる。
【０１０３】
ステップＳ５の処理において、局所特徴情報抽出部１１３は、対象画像１２２の特徴点Ｐｎ毎に、登録画像１２１の１個以上の特徴点ＰＵｍとの局所特徴情報の類似度を算出する。対象画像１２２の特徴点Ｐ１〜Ｐ５のうちの対象物５の特徴点Ｐ１〜Ｐ３のそれぞれに対する局所領域Ｅ１〜Ｅ３は、図１０の（ｂ）に示したように、それぞれ、対象物５における三角形状の凹部５０１〜５０３の頂点を含んでいる。同様に、登録画像１２１における局所領域Ｅ１〜Ｅ３は、図１０の（ａ）に示したように、それぞれ、対象物５における三角形状の凹部５０１〜５０３の頂点を含んでいる。そのため、対象画像１２２における対象物の特徴点Ｐ１，Ｐ２，及びＰ３の局所特徴情報は、それぞれ、登録画像１２１における特徴点ＰＵ１，ＰＵ２，及びＰＵ３の局所特徴情報との類似度が高くなる。一方、対象画像１２２の背景領域の特徴点Ｐ４及びＰ５の局所特徴情報は、それぞれ、登録画像１２１における特徴点ＰＵ１，ＰＵ２，ＰＵ３の局所特徴情報との類似度が低くなる。よって、本実施形態では、対象画像１２２の特徴点のうちの、登録画像１２１の特徴点との局所特徴情報の類似度が閾値よりも低い特徴点を、背景領域の特徴点、すなわち対象物とは別の物体の特徴点とみなして対象画像１２２の特徴点から除外する。すなわち、ステップＳ５の処理では、図１０の（ｂ）に示した対象画像１２２から検出した特徴点Ｐ４及びＰ５を、対象画像１２２の特徴点から除外する。これにより、ステップＳ６及びステップＳ７の処理において、対象画像１２２の特徴点は、登録画像１２１の特徴点との局所特徴情報の類似度が高い特徴点Ｐ１，Ｐ２，及びＰ３の３点となる。
【０１０４】
ところが、図１０の（ａ）及び（ｂ）からわかるように、対象物５の３個の凹部５０１，５０２，及び５０３は、外形（輪郭）が略同一であり、各特徴点を中心とする局所領域Ｅ１，Ｅ２，及びＥ３内の特徴が類似している。このため、局所特徴情報の類似度のみでは、対象画像１２２の各特徴点Ｐ１，Ｐ２，及びＰ３が、それぞれ登録画像１２１のどの特徴点と対応するかを判定することは困難である。そこで、本実施形態に係る位置姿勢の推定処理では、特徴点と画像内に設定した大域領域との関係を表す大域特徴情報を利用し、対象画像１２２の各特徴点Ｐ１，Ｐ２，及びＰ３が、それぞれ登録画像１２１のどの特徴点と対応するかを判定する。このため、本実施形態に係る位置姿勢の推定処理では、対象物５の位置姿勢の推定には不要な特徴点を除外した後、対象画像１２２及び登録画像１２１の大域領域を決定する大域領域決定処理（ステップＳ６）を行う。
【０１０５】
図１１は、第１の実施形態に係る大域領域の決定方法を説明する図である。
本実施形態に係る大域領域決定処理では、対象画像１２２の大域領域Ｄ及び登録画像１２１の大域領域ＤＵとして、それぞれの画像における全ての特徴点を含む最小外接多角形を設定する。
【０１０６】
図１１の（ａ）には、登録画像１２１に設定される大域領域ＤＵの例を示している。登録画像１２１から検出された特徴点が３個である場合、当該３個の特徴点ＰＵ１，ＰＵ２，及びＰＵ３を含む最小外接多角形は、３個の特徴点ＰＵ１，ＰＵ２，及びＰＵ３を頂点とする三角形となる。よって、大域領域決定部１１４は、３個の特徴点ＰＵ１，ＰＵ２，及びＰＵ３を頂点とする三角形で囲まれた領域を登録画像１２１の大域領域ＤＵに決定する。
【０１０７】
図１１の（ｂ）には、対象画像１２２に設定される大域領域Ｄの例を示している。図１１の（ｂ）の対象画像１２２は、図１０の（ｂ）に示した対象画像１２２と同じであるが、ステップＳ５の処理により背景領域の特徴点Ｐ４及びＰ５が除外されている。すなわち、対象画像１２２において対象物５の位置姿勢の推定に用いる特徴点は、対象物５の特徴点Ｐ１，Ｐ２，及びＰ３の３個である。このため、対象画像１２２における３個の特徴点Ｐ１，Ｐ２，及びＰ３を含む最小外接多角形は、当該３個の特徴点Ｐ１，Ｐ２，及びＰ３を頂点とする三角形となる。よって、大域領域決定部１１４は、３個の特徴点Ｐ１，Ｐ２，及びＰ３を頂点とする三角形で囲まれた領域を対象画像１２２の大域領域Ｄに決定する。
【０１０８】
対象画像１２２の大域領域Ｄと、登録画像１２１の大域領域ＤＵとを決定した後、位置姿勢推定装置１では、特徴点対群抽出部１１５が特徴点対群抽出処理（ステップＳ７）を行う。特徴点対群抽出処理では、まず、特徴点と大域領域との関係に基づいて、局所特徴情報とは別の特徴量（大域特徴情報）を抽出する大域特徴情報抽出処理（ステップＳ７０１）を行う。本実施形態における特徴点群抽出処理では、上記のように、特徴点と、大域領域の重心との距離を、大域特徴情報として抽出する。
【０１０９】
図１２は、対象画像の大域特徴情報を説明する図である。図１３は、登録画像の大域特徴情報を説明する図である。図１４は、大域特徴情報を抽出した後の対象画像特徴情報及び登録画像特徴情報の例を示す図である。
【０１１０】
図１２には、図１１の（ｂ）の対象画像１２２に設定した大域領域Ｄとその周囲を含む部分矩形領域１２２Ａを拡大して示している。
【０１１１】
本実施形態に係る大域特徴情報抽出処理では、対象画像１２２の特徴点についての大域特徴情報を抽出する処理と、登録画像１２１の特徴点についての大域特徴情報を抽出する処理とを行う。対象画像１２２の特徴点についての大域特徴情報を抽出する処理では、対象画像１２２の大域領域Ｄの重心Ｇを算出し（ステップＳ７０１０１）、特徴点毎に、特徴点から重心Ｇまでの距離を算出する（ステップＳ７０１０２）。図１２に示すように、対象画像１２２（部分矩形領域１２２Ａ）における大域領域Ｄが三角形である場合、大域領域Ｄの重心Ｇは、各辺の中点と対頂点とを結ぶ３本の線が交わる点となる。そして、対象画像１２２の各特徴点Ｐ１，Ｐ２，及びＰ３についての大域特徴情報は、それぞれ、特徴点Ｐ１から重心Ｇまでの距離Ｃ１、特徴点Ｐ２から重心Ｇまでの距離Ｃ２、及び特徴点Ｐ３から重心Ｇまでの距離Ｃ３となる。
【０１１２】
また、登録画像１２１の特徴点についての大域特徴情報を抽出する処理では、登録画像１２１の大域領域ＤＵの重心ＧＵを算出し（ステップＳ７０１０４）、特徴点毎に、特徴点から重心Ｇまでの距離を算出する（ステップＳ７０１０４）。図１３に示すように、登録画像１２１の大域領域ＤＵが三角形である場合、大域領域ＤＵの重心ＧＵは、各辺の中点と対頂点とを結ぶ３本の線が交わる点となる。そして、登録画像１２１の各特徴点ＰＵ１，ＰＵ２，及びＰＵ３についての大域特徴情報は、それぞれ、特徴点ＰＵ１から重心ＧＵまでの距離ＣＵ１、特徴点ＰＵ２から重心ＧＵまでの距離ＣＵ２、及び特徴点ＰＵ３から重心ＧＵまでの距離ＣＵ３となる。
【０１１３】
したがって、大域特徴情報抽出処理（ステップＳ７０１）を終えると、対象画像特徴情報１２４には、図１４の（ａ）に示すテーブル１１０１のように、特徴点Ｐｎと、局所特徴情報Ｌｎと、大域特徴情報Ｃｎとが対応付けられて格納されている。同様に、大域特徴情報抽出処理（ステップＳ７０１）を終えると、登録画像特徴情報１２３には、図１４の（ｂ）に示すテーブル１１０２のように、特徴点ＰＵｍと、局所特徴情報ＬＵｍと、大域特徴情報ＣＵｍとが対応付けられて格納されている。
【０１１４】
なお、対象画像１２１から検出した特徴点がＮ個（Ｎ＞２）である場合には、Ｎ個の特徴点Ｐ１，Ｐ２，・・・，ＰＮのそれぞれに、局所特徴情報Ｌ１，Ｌ２，・・・，ＬＮと、大域特徴情報Ｃ１，Ｃ２，・・・，ＣＮとが対応付けられる。同様に、登録画像１２１から検出した特徴点がＭ個（Ｍ＞０）である場合には、Ｍ個の特徴点ＰＵ１，ＰＵ２，・・・，ＰＵＭのそれぞれに、局所特徴情報ＬＵ１，ＬＵ２，・・・，ＬＵＭと、大域特徴情報ＣＵ１，ＣＵ２，・・・，ＣＵＭとが対応付けられる。
【０１１５】
対象画像１２２及び登録画像１２１のそれぞれにおける各特徴点の大域特徴情報を抽出した後、特徴点対群抽出部１１５は、ステップＳ７０２以降の処理を行い、対象画像の特徴点と登録画像の特徴点との対応関係を表す特徴点対群を抽出する（決定する）。
【０１１６】
特徴点対群を抽出するため、特徴点対群抽出部１１５は、集合生成部１１５Ｂにおいて対象画像１２２の特徴点と登録画像１２１の特徴点とによる特徴点対の集合ψｋを生成する（ステップＳ７０４）。集合生成部１１５Ｂは、所定の生成規則に従って、対象画像から検出したＮ個の特徴点Ｐｎ（ｎ＝１，２，・・・，Ｎ）のそれぞれに、登録画像から検出したＭ個の特徴点ＰＵｍ（ｍ＝１，２，・・・，Ｍ）のいずれかを対応付けた特徴点対の集合ψｋを生成する。ｋ＝０，Ｍ≧Ｎの場合、集合生成部１１５Ｂは、例えば、Ｎ個の特徴点対を含む集合ψｋ＝｛（Ｐ１，ＰＵ１），（Ｐ２，ＰＵ２），・・・,（ＰＮ，ＰＵＭ）｝を生成する。また、ｋ＝０，Ｍ＜Ｎの場合、集合生成部１１５Ｂは、例えば、Ｍ個の特徴点対を含む集合ψｋ＝｛（Ｐ１，ＰＵ１），（Ｐ２，ＰＵ２），・・・,（ＰＮ＝Ｍ，ＰＵＭ）｝を生成する。
【０１１７】
ｋ≠０の場合、集合生成部１１５Ｂは、例えば、Ｎ個の特徴点Ｐｎ（ｎ＝１，２，・・・，Ｎ）のそれぞれに、Ｍ個の特徴点ＰＵｍ（ｍ＝１，２，・・・，Ｍ）を１対１で対応付ける場合の順列の生成方法に従って、まだ生成していない集合ψｋを生成する。
【０１１８】
特徴点対の集合ψｋを生成した後、特徴点対群抽出部１１５は、局所特徴情報比較部１１５Ｃにおいて各特徴点対の局所特徴情報の類似度ＳＬｎ，ｍを算出するとともに、大域特徴情報比較部１１５Ｄにおいて各特徴点対の大域特徴情報の類似度ＳＣｎ，ｍを算出する。
【０１１９】
局所特徴情報は、それぞれ、特徴点を含む局所領域内の画素の画素値等に基づいて算出した、局所領域内における画像の特徴を表す情報である。よって、局所特徴情報比較部１１５Ｃは、画像処理の分野における既知の類似度算出方法に従って、特徴点対毎に、対象画像１２２の特徴点Ｐｎの局所特徴情報Ｌｎと、登録画像１２１の特徴点ＰＵｍの局所特徴情報ＬＵｍとの類似度ＳＬｎ，ｍを算出する。
【０１２０】
一方、大域特徴情報は、それぞれ、画像内における特徴点の位置から大域領域の重心の位置までの距離を表す情報である。よって、大域特徴情報比較部１１５Ｄは、例えば、特徴点対毎に、対象画像１２２の特徴点Ｐｎの大域特徴情報Ｃｎと、登録画像１２１の特徴点ＰＵｍの大域特徴情報ＣＵｍとの差に基づいて、大域特徴情報の類似度ＳＣｎ，ｍを算出する。
【０１２１】
局所特徴情報の類似度ＳＬｎ，ｍ及び大域特徴情報の類似度ＳＣｎ，ｍを算出した後、特徴点対群抽出部１１５は、類似度算出部１１５Ｅにおいて特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する。特徴点類似度Ｓｋは、上記のように、特徴点対の集合ψｋにおける特徴点の対応関係を評価する値であり、局所特徴情報の類似度ＳＬｎ，ｍと、大域特徴情報の類似度ＳＣｎ，ｍとに基づいて算出されればよい。このため、本実施形態では、例えば、上記式（１）により、特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する。すなわち、本実施形態では、特徴点対の集合ψｋに含まれる各特徴点対の局所特徴情報の類似度ＳＬｎ，ｍの総和に係数αを乗じた値と、各特徴点対の大域特徴情報の類似度ＳＣｎ，ｍの総和に係数βを乗じた値との和を、特徴点対の集合ψｋの特徴点類似度Ｓｋとする。
【０１２２】
本実施形態に係る特徴点対群抽出部１１５は、算出処理制御部１１５Ｆによる制御のもと、生成し得る複数通り（Ｋ通り）の特徴点対の集合ψｋ（ｋ＝０，１，・・・，Ｋ−１）のそれぞれについての特徴点類似度Ｓｋを算出する。その後、特徴点対群抽出部１１５は、特徴点対群決定部１１５Ｆにおいて特徴点類似度が最大値である特徴点対の集合を抽出し、当該特徴点対の集合を対象画像１２２の特徴点と登録画像１２１の特徴点との対応関係を表す特徴点対群に決定する。
【０１２３】
特徴点対群抽出部１１５で特徴点対群を決定した（抽出した）後、位置姿勢推定装置１は、位置姿勢算出部１１６において、決定した特徴点対群に基づいて、対象画像１２２に写っている対象物５の位置姿勢を算出する（ステップＳ８）。本実施形態に係る位置姿勢算出部１１６は、上記のように、特徴点対群において特徴点対となっている対象画像１２２の特徴点の位置と登録画像１２１の特徴点の位置とに基づいて、登録画像１２１の各点（各画素）の位置を対象画像１２２の各点の位置に変換する変換行列を算出する。位置姿勢算出部１１６は、特徴点対群において特徴点対となっている対象画像１２２の特徴点の位置と登録画像１２１の特徴点の位置とに基づいて、例えば、下記式（２）における６個の係数ａ，ｂ，ｃ，ｄ，ｔｘ，ｔｙを決定する。
【０１２４】
【数２】
2018036770.tif 000004
【０１２５】
式（２）における係数ａ，ｂ，ｃ，ｄ，ｔｘ，ｔｙを決定する際には、登録画像１２１の特徴点の位置を表す座標を（ｘ，ｙ）に代入する。また、特徴点対群において登録画像１２１の特徴点と特徴点対となっている対象画像１２２の特徴点の位置を表す座標を（ｘ’，ｙ’）に代入する。位置姿勢算出部１１６は、このように複数の特徴点対のそれぞれにおける特徴点の位置を表す座標を式（２）の（ｘ，ｙ）及び（ｘ’，ｙ’）に代入した複数通りの行列式を生成し、生成した行列式に基づいて係数ａ，ｂ，ｃ，ｄ，ｔｘ，ｔｙを決定する。
【０１２６】
対象物５の位置姿勢（変換行列の係数）を算出した後、位置姿勢推定装置１は、投影画像生成部１３０において対象物５に投影する画像を生成しプロジェクタ３に出力する（ステップＳ９）。投影画像生成部１３０は、記憶部１２０のラベル貼付位置１２９から登録画像１２１におけるラベルの貼付位置を読み出し、読み出した貼付位置を、変換行列により、対象画像１２２におけるラベルの貼付位置に変換する。
【０１２７】
図１５は、位置姿勢の算出方法とラベル貼付位置の変換方法とを説明する図である。
図１５に示した対象画像１２２の特徴点Ｐ１，Ｐ２，及びＰ３と、登録画像１２１の特徴点ＰＵ１，ＰＵ２，及びＰＵ３との対応関係を表す特徴点対群（特徴点の集合ψ）は、ψ＝｛（Ｐ１，ＰＵ１），（Ｐ２，ＰＵ２），（Ｐ３，ＰＵ３）｝となっている。このため、位置姿勢算出部１１６は、登録画像１２１における３個の特徴点ＰＵ１，ＰＵ２，及びＰＵ３の位置をそれぞれ、対象画像１２２における３個の特徴点Ｐ１，Ｐ２，及びＰ３の位置に変換する変換行列を算出する。なお、図１５には３個の特徴点のみを示しているが、実際にはより多数の特徴点が検出される。位置姿勢算出部１１６が算出する式（２）の変換行列において、右辺第１項の２行２列の行列は線形変換成分であり、右辺第２項は平行移動成分である。したがって、登録画像１２１における各点（画素）の位置は、変換行列により、対象画像１２２における対象物５が写っている領域内の１点の位置に変換される。
【０１２８】
すなわち、登録画像１２１においてラベル貼付領域５０４の左上角部となる点（ＸＵ１，ＹＵ１）は、変換行列により、対象画像１２２における対象物５が写っている領域内の点（Ｘ１，Ｙ１）に変換される。同様に、登録画像１２１においてラベル貼付領域５０４の右下角部となる点（ＸＵ４，ＹＵ４）は、変換行列により、対象画像１２２における対象物５が写っている領域内の点（Ｘ４，Ｙ４）に変換される。更に、図示は省略するが、登録画像１２１においてラベル貼付領域５０４の右上角部となる点の位置及び左下角部となる点は、それぞれ、対象画像１２２における対象物５が写っている領域内の１点に変換される。
【０１２９】
このように、登録画像１２１におけるラベル貼付領域５０４の位置を表す座標を変換行列により変換することで、登録画像生成部１３０は、対象画像１２２に写っている対象物５におけるラベル貼付領域５０４を算出することが可能となる。したがって、登録画像生成部１３０は、対象画像１２２に写っている対象物５の位置姿勢に応じた、適正なラベル貼付位置を示す画像を生成することが可能となる。よって、プロジェクタ３により、登録画像生成部１３０で生成した画像を対象画像１２２に写っている対象物５に投影することで、作業員８に対し、適正なラベル貼付位置を提示することが可能となる。
【０１３０】
以上のように、本実施形態に係る位置姿勢推定装置１は、対象画像１２２及び登録画像１２１のそれぞれから検出した特徴点についての局所的な特徴の類似度と、複数の特徴点を含む大域領域に対する特徴の類似度とに基づいて、対象物５の位置姿勢を推定する。このとき、１枚の画像から検出された複数の特徴点を含む最小外接多角形を大域領域とし、特徴点から大域領域の重心までの距離を特徴点についての大域領域に対する特徴（大域特徴情報）とすることで、特徴点毎の大域特徴情報に差が生じる。そのため、１枚の画像から検出された複数の特徴点についての局所的な特徴（局所特徴情報）の類似度が高い場合でも、大域特徴情報の差に基づいて、対象画像の特徴点と登録画像の特徴点との対応関係を特定することが可能となる。すなわち、本実施形態によれば、１枚の対象画像から検出された複数の特徴点についての局所的な特徴（局所特徴情報）の類似度が高い場合でも、当該対象画像に写っている対象物の正しい位置姿勢を推定することが可能となる。したがって、本実施形態によれば、対象物を撮像した対象画像と登録画像とに基づいて対象画像に写っている対象物の位置姿勢を推定する際の推定精度が向上する。よって、例えば、デザインの画一性や吸気口を設置すること等により、検出された特徴点の局所的な特徴情報の類似度が高くなる製品を対象物とする作業ライン等において、作業者に製品の位置姿勢を正しく提示することが可能となる。
【０１３１】
なお、図７のフローチャートは、本実施形態に係る位置姿勢の推定処理における特徴点群抽出処理の一例に過ぎない。本実施形態に係る特徴点対群抽出処理は、図７に示した手順に限らず、適宜変更可能である。例えば、特徴点対群抽出処理は、特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する毎に特徴点類似度の最大値と比較し、特徴点類似度が最大値となる特徴点対の集合のみを保持する処理であってもよい。このように、特徴点対群抽出処理において特徴点類似度が最大値となる特徴点の集合のみを保持することで、記憶部１２０の類似度情報１２５に格納する情報の量を低減し、記憶部１２０の容量の増大を抑制することが可能となる。
【０１３２】
更に、特徴点対群抽出処理は、例えば、生成し得る特徴点の集合を全て生成した後で、各特徴点の集合についての特徴点類似度を算出する処理であってもよい。
【０１３３】
加えて、特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する処理では、上記の式（１）に限らず、他の数式により特徴点類似度を算出してもよい。例えば、特徴点類似度Ｓｋは、下記式（３）又は式（４）により算出してもよい。
【０１３４】
【数３】
2018036770.tif 000005
【０１３５】
式（２）は、局所特徴情報の類似度ＳＬｎ，ｍの総和と、大域特徴情報の類似度の逆数（１／ＳＣｎ，ｍ）の総和とに基づいて特徴点類似度Ｓｋを算出する場合の算出式の一例である。式（２）により特徴点類似度Ｓｋを算出することにより、大域特徴情報の類似度ＳＣｎ，ｍの悪化が特徴点類似度Ｓｋに与える影響を大きくすること、言い換えると特徴点類似度Ｓｋにおける大域特徴情報の類似度ＳＣｎ，ｍの寄与度を大きくすることが可能となる。一方、式（３）は、局所特徴情報の類似度の逆数（１／ＳＬｎ，ｍ）の総和と、大域特徴情報の類似度ＳＣｎ，ｍの総和とに基づいて特徴点類似度Ｓｋを算出する場合の算出式の一例である。式（３）により特徴点類似度Ｓｋを算出することにより、局所特徴情報の類似度ＳＬｎ，ｍの悪化が特徴点類似度Ｓｋに与える影響、言い換えると特徴点類似度Ｓｋにおける局所特徴情報の類似度ＳＬｎ，ｍの寄与度を大きくすることが可能となる。
【０１３６】
また、図８のフローチャート、図１２、及び図１３は、本実施形態に係る大域特徴情報の抽出方法の一例に過ぎない。本実施形態に係る大域特徴情報は、特徴点と、複数の特徴点を含む大域領域の重心との距離に限らず、例えば、図１６に示すように、特徴点から大域領域の対辺に下ろした垂線の長さとしてもよい。
【０１３７】
図１６は、大域特徴情報の抽出方法の変形例を説明する図である。
図１６には、大域特徴情報の抽出方法の変形例として、図１２の対象画像１２２（部分拡大領域１２２Ａ）における特徴点Ｐ１，Ｐ２，及びＰ３と大域領域Ｄとに基づいて大域特徴情報を抽出する方法の変形例を示している。図１６に示したように、対象画像における位置姿勢の推定に用いる特徴点が３個である場合、大域領域Ｄは３個の特徴点Ｐ１，Ｐ２，及びＰ３を頂点とする三角形の領域となる。ここで例示する変形例では、上記のように、特徴点Ｐｎから大域領域Ｄの辺に下ろした垂線の長さＣｎとする。よって、大域特徴情報抽出部１１５Ａは、特徴点毎に、特徴点Ｐｎの対辺に垂線を下ろし特徴点Ｐｎの位置から対辺と垂線との交点の位置までの距離Ｃｎを算出する。このように、特徴点Ｐｎから大域領域Ｄの辺に下ろした垂線の長さＣｎを大域特徴情報とした場合も、１枚の画像における各特徴点Ｐｎの大域特徴情報には差異が生じる。このため、特徴点Ｐｎから大域領域Ｄの辺に下ろした垂線の長さＣｎを大域特徴情報とすることで、１枚の画像における複数の特徴点Ｐｎの局所特徴情報が類似している場合にも特徴点対群を特定することが可能となる。
【０１３８】
また、本実施形態で例示したように大域領域Ｄ，ＤＵが三角形の場合、大域特徴情報は、上記の値に限らず、例えば、特徴点から垂心、内心、外心、及び傍心のいずれかまでの距離としてもよい。
【０１３９】
更に加えて、図１の作業ライン１０は、本実施形態に係る位置姿勢推定装置１の一適用例に過ぎない。本実施形態に係る位置姿勢推定装置１は、位置姿勢を推定する対象物５を撮像した対象画像１２２と、所定の位置姿勢で撮像した対象物５の登録画像１２１とに基づいて対象画像１２２内の対象物５の位置姿勢を推定する種々の装置及びシステムに適用可能である。
【０１４０】
［第２の実施形態］
本実施形態では、位置姿勢の推定に用いる大域特徴情報の、第１の実施形態とは別の抽出方法について説明する。
【０１４１】
本実施形態に係る位置姿勢推定装置の機能的構成は、第１の実施形態に係る位置姿勢推定装置１の機能的構成と同じでよい。すなわち、本実施形態に係る位置姿勢推定装置１は、図２に示したように、位置姿勢推定部１１０と、記憶部１２０と、投影画像生成部１３０と、を備える。位置姿勢推定部１１０は、画像取得部１１１と、特徴点検出部１１２と、局所特徴情報抽出部１１３と、大域領域決定部１１４と、特徴点対群抽出部１１５と、位置姿勢算出部１１６と、を含む（図２を参照）。特徴点対群抽出部１１５は、大域特徴情報抽出部１１５Ａと、集合作成部１１５Ｂと、局所特徴情報比較部１１５Ｃと、大域特徴情報比較部１１５Ｄと、類似度算出部１１５Ｅと、算出処理制御部１１５Ｆと、特徴点対群決定部１１５Ｇと、を含む（図３を参照）。
【０１４２】
また、記憶部１２０は、図２に示したように、登録画像１２１と、対象画像１２２と、登録画像特徴情報１２３と、対象画像特徴情報１２４と、類似度情報１２５と、ラベル貼付位置１２９と、を含む各種のデータを記憶する。
【０１４３】
なお、本実施形態に係る位置姿勢推定装置１の大域領域決定部１１４は、画像に写っている対象物５の輪郭を大域領域とする。また、本実施形態に係る位置姿勢推定装置１の大域特徴情報抽出部１１５Ａは、大域領域の複数の頂点を基点とし、特徴点毎に、特徴点から各基点までの距離を大域特徴情報として抽出する（算出する）。更に、本実施形態に係る位置姿勢推定装置１の特徴点対群抽出部１１５は、対象画像の基点と登録画像の基点とによる基点対の集合を複数通り生成し、基点対の集合毎に抽出した特徴点対群の候補のなかから、特徴点類似度が最大となる特徴点対群を決定する。
【０１４４】
本実施形態に係る位置姿勢推定装置１は、例えば、図４に示したステップＳ１〜Ｓ９の処理を所定の時間間隔で繰り返し行う。位置姿勢推定装置１は、ステップＳ１〜Ｓ９の一連の処理を１回の処理単位として繰り返し行ってもよいし、ステップＳ１〜Ｓ９の処理をパイプライン化して行ってもよい。
【０１４５】
なお、本実施形態に係る位置姿勢推定装置１は、ステップＳ１〜Ｓ９の処理のうちのステップＳ６の大域領域決定処理として、図１７に示す処理を行う。
【０１４６】
図１７は、第２の実施形態に係る大域領域決定処理の内容を説明するフローチャートである。
【０１４７】
本実施形態においても、ステップＳ６の大域領域決定処理は、位置姿勢推定装置１の大域領域決定部１１４が行う。大域領域決定部１１４は、図１７に示すように、まず、対象画像１２２における対象物５の輪郭を抽出し、対象物５の輪郭で囲まれた領域を対象画像の大域領域Ｄとして記憶部１２０に保持させる（ステップＳ６２１）。ステップＳ６２１において、大域領域決定部１１４は、画像処理の分野における既知の輪郭抽出方法に従って、対象画像１２２における対象物５の輪郭を抽出する。例えば、大域領域決定部１１４は、対象画像１２２に対しエッジ検出処理を行い、対象物５の輪郭を検出する（抽出する）。大域領域決定部１１４は、対象画像１２２から抽出した大域領域Ｄを表す情報を対象画像特徴情報１２４の１つとして記憶部１２０に格納する。
【０１４８】
次に、大域領域決定部１１４は、登録画像特徴情報１２３を参照し、登録画像１２１の大域領域ＤＵを決定済みであるか否かを判定する（ステップＳ６２２）。登録画像１２１の大域領域ＤＵを決定済みである場合（ステップＳ６２２；ＹＥＳ）、大域領域決定部１１４は、大域領域決定処理を終了する。
【０１４９】
一方、登録画像１２１の大域領域ＤＵがまだ決定していない場合（ステップＳ６２２；ＮＯ）、大域領域決定部１１４は、次に、登録画像１２１における対象物５の輪郭を抽出し、対象物５の輪郭で囲まれた領域を登録画像の大域領域ＤＵとして記憶部１２０に保持させる（ステップＳ６２３）。図９の（ａ）に示したように登録画像１２１の外周が対象物５の輪郭と一致している場合、ステップＳ６１３において、大域領域決定部１１４は、登録画像１２１の外周を大域領域ＤＵに決定する。これに対し、登録画像１２１の外周と対象物５の輪郭とが一致していない場合、ステップＳ６１３において、大域領域決定部１１４は、ステップＳ６１１と同様の処理を行って対象物５の輪郭を抽出する。ステップＳ６１３の処理を行った場合、大域領域決定部１１４は、抽出した対象物５の輪郭を登録画像１２１の大域領域ＤＵに決定し、大域領域ＤＵを表す情報を登録画像特徴情報１２３の１つとして記憶部１２０に格納して大域領域決定処理を終了する。
【０１５０】
大域領域決定処理を行った後、位置姿勢推定装置１は、図４のフローチャートにおけるステップＳ７の特徴点対群抽出処理を行う。特徴点対群抽出処理は、特徴点対群抽出部１１５が行う。本実施形態に係る特徴点対群抽出部１１５は、特徴点対群抽出処理として、図１８Ａ〜図１８Ｃに示す処理を行う。
【０１５１】
図１８Ａは、第２の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その１）である。図１８Ｂは、第２の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その２）である。図１８Ｃは、第２の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その３）である。
【０１５２】
本実施形態に係る特徴点対群抽出部１１５は、図１８Ａに示すように、まず、対象画像の大域領域Ｄの頂点Ｇｉを検出する（ステップＳ７２１）。ステップＳ７２１の処理は、大域特徴情報抽出部１１５Ａが行う。大域特徴情報抽出部１１５Ａは、既知の頂点検出方法に従い、対象画像１２２の大域領域Ｄの頂点Ｇｉを検出する。このとき、大域特徴情報抽出部１１５Ａは、例えば、対象画像１２２から検出した複数の頂点のうちの１個をＧｉ＝１とし、残りの頂点には当該頂点Ｇｉ＝１から大域領域Ｄの輪郭を時計回りで１周したときの頂点の出現順を表す識別子ｉを付与する。
【０１５３】
ステップＳ７２１の処理を終えると、大域特徴情報抽出部１１５Ａは、続けて、対象画像の特徴点Ｐｎ毎に、特徴点Ｐｎから各頂点Ｇｉまでの距離Ｃｎ，ｉを算出し、当該距離Ｃｎ，ｉを対象画像の大域特徴情報として記憶部１２０に保持させる（ステップＳ７２２）。ステップＳ７２２において、大域特徴情報抽出部１１５Ａは、画像内における特徴点Ｐｎの位置（画素）から頂点Ｇｉの位置（画素）までの距離Ｃｎ，ｉを算出する。大域特徴情報抽出部１１５Ａは、算出した距離Ｃｎ，ｉを各特徴点Ｐｎの大域特徴情報として対象画像登録情報１２４に格納する。
【０１５４】
ステップＳ７２２の処理を終えると、大域特徴情報抽出部１１５Ａは、次に、登録画像特徴情報１２３を参照し、登録画像の大域領域ＤＵの頂点及び大域特徴情報を抽出済みであるか否かを判定する（ステップＳ７２３）。登録画像の大域領域ＤＵの頂点及び大域特徴情報をまだ抽出していない場合（ステップＳ７２３；ＮＯ）、大域特徴情報抽出部１１５Ａは、次に、登録画像の大域領域ＤＵの頂点ＧＵｊを検出する（ステップＳ７２４）。ステップＳ７２４において、大域特徴情報抽出部１１５Ａは、ステップＳ７１１と同様の処理により登録画像１２１の大域領域ＤＵの頂点ＧＵｊを検出する。このとき、大域特徴情報抽出部１１５Ａは、例えば、登録画像から検出した複数の頂点のうちの１個をＧＵｊ＝１とし、残りの頂点には当該頂点ＧＵｊ＝１から大域領域ＤＵの輪郭を時計回りで１周したときの頂点の出現順を表す識別子ｊを付与する。
【０１５５】
ステップＳ７２４の処理を終えると、大域特徴情報抽出部１１５Ａは、続けて、登録画像の特徴点ＰＵｍ毎に、特徴点ＰＵｍから各頂点ＧＵｊまでの距離ＣＵｍ，ｊを算出し、当該距離ＣＵｍ，ｊを登録画像の大域特徴情報として記憶部１２０に保持させる（ステップＳ７２５）。ステップＳ７２５において、大域特徴情報抽出部１１５Ａは、登録画像内における特徴点ＰＵｍの位置（画素）から頂点ＧＵｊの位置（画素）までの距離ＣＵｍ，ｊを算出する。大域特徴情報抽出部１１５Ａは、算出した距離ＣＵｍ，ｊを各特徴点の大域特徴情報として登録画像登録情報１２３に格納する。
【０１５６】
ステップＳ７２４及びＳ７２５の処理を終えると、特徴点対群抽出部１１５は、次に、大域領域の頂点対の集合を識別する変数ｐを０にする（ステップＳ７２６）。また、登録画像の大域領域ＤＵの頂点ＧＵｊ及び大域特徴情報（距離ＣＵｍ，ｊ）が決定済みであった場合（ステップＳ７２３；ＹＥＳ）、特徴点対群抽出部１１５は、ステップＳ７２４及びＳ７２５の処理をスキップして、ステップＳ７２６の処理を行う。ステップＳ７２６の処理は、算出処理制御部１１５Ｆが行う。
【０１５７】
ステップＳ７２６の処理の後、特徴点対群抽出部１１５は、局所特徴情報と大域特徴情報とに基づいて、対象画像の特徴点と登録画像の特徴点との対応関係を表す特徴点対群を抽出する（特定する）処理（ステップＳ７２７〜Ｓ７３７）を行う。ステップＳ７２７〜Ｓ７３７の処理は、算出処理制御部１１５Ｆによる制御のもと、集合生成部１１５Ｂと、局所特徴情報比較部１１５Ｃと、大域特徴情報比較部１１５Ｄと、類似度算出部１１５Ｅと、特徴点対群決定部１１５Ｇとが行う。
【０１５８】
ステップＳ７２６の処理の後、特徴点対群抽出部１１５は、図１８Ｂに示すように、次に、対象画像１２２の大域領域Ｄの頂点Ｇｉと登録画像１２１の大域領域ＤＵの頂点ＧＵｊとによる頂点対の集合ωｐを生成する（ステップＳ７２７）。ステップＳ７２７の処理は、集合生成部１１５Ｂが行う。集合生成部１１５Ｂは、第１の集合に含まれる要素と第２の集合に含まれる要素との要素対の集合を生成する既知の生成方法に従って、対象画像の大域領域の頂点Ｇｉと登録画像の大域領域の頂点ＧＵｉとによる頂点対の集合ωｐを生成する。なお、１回のステップＳ７２７の処理において、集合生成部１１５Ｂは、所定の生成規則（生成アルゴリズム）に従い、生成可能な頂点対の集合のうちの１組の集合を生成する。
【０１５９】
次に、特徴点対群抽出部１１５は、特徴点対の集合を識別する変数ｋをｋ＝０にする（ステップＳ７２８）。ステップＳ７２８の処理は、算出処理制御部１１５Ｆが行う。
【０１６０】
次に、特徴点対群抽出部１１５は、対象画像の特徴点Ｐｎと、登録画像の特徴点ＰＵｍによる特徴点対の集合ψｋを生成する（ステップＳ７２９）。ステップＳ７２９の処理は、集合生成部１１５Ｂが行う。集合生成部１１５Ｂは、第１の実施形態と同様、既知の生成方法に従って、対象画像の特徴点Ｐｎと登録画像の特徴点ＰＵｍとによる特徴点対の集合ψｋを生成する。なお、１回のステップＳ７２９の処理において、集合生成部１１５Ｂは、所定の生成規則（生成アルゴリズム）に従い、対象画像の特徴点の総数Ｎと登録画像の特徴点の総数Ｍとに基づいて生成可能な特徴点対の集合のうちの１組の集合を生成する。
【０１６１】
次に、特徴点対群抽出部１１５は、特徴点対の集合ψｋに含まれる各特徴点対における局所特徴情報の類似度ＳＬｎ，ｍと、大域特徴情報の類似度ＳＣｎ，ｍとを算出する（ステップＳ７３０）。ステップＳ７３０の処理は、局所特徴情報比較部１１５Ｃと、大域特徴情報比較部１１５Ｄとが行う。局所特徴情報比較部１１５Ｃは、特徴点対毎に、対象画像特徴情報１２４に格納された対象画像の特徴点Ｐｎの局所特徴情報Ｌｎと、登録画像特徴情報１２３に格納された登録画像の特徴点ＰＵｍの局所特徴情報ＬＵｍとを比較して、局所特徴情報の類似度ＳＬｎ，ｍを算出する。大域特徴情報比較部１１５Ｄは、特徴点対毎に、対象画像特徴情報１２４に格納された対象画像の特徴点Ｐｎの大域特徴情報Ｃｎと、登録画像特徴情報１２３に格納された登録画像の特徴点ＰＵｍの大域特徴情報ＣＵｍとを比較して、大域特徴情報の類似度ＳＣｎ，ｍを算出する。
【０１６２】
なお、ステップＳ７３０の処理のうちの大域特徴情報の類似度を算出する処理では、頂点対の集合ωｐにおける対象画像の頂点Ｇｉと、登録画像の頂点ＧＵｊとの対応関係に基づいて、大域特徴情報を比較する。例えば、頂点対の集合ωｐが（Ｇ１，ＧＵ１）の頂点対を含む場合、特徴点対（Ｐ１，ＰＵ１）についての大域特徴情報の類似度ＳＣ１，１を算出する処理では、特徴点Ｐ１から頂点Ｇ１までの距離と、特徴点ＰＵ１から頂点ＧＵ１までの距離とを比較する。また、例えば、頂点対の集合ωｐが（Ｇ１，ＧＵ３）の頂点対を含む場合、特徴点対（Ｐ１，ＰＵ１）についての大域特徴情報の類似度ＳＣ１，１を算出する処理では、特徴点Ｐ１から頂点Ｇ１までの距離Ｃ１，１と、特徴点ＰＵ１から頂点ＧＵ３までの距離ＣＵ１，３とを比較する。
【０１６３】
次に、特徴点対群抽出部１１５は、局所特徴情報の類似度ＳＬｎ，ｍと、大域特徴情報の類似度ＳＣｎ，ｍとに基づいて、特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する（ステップＳ７３１）。ステップＳ７３１の処理は、類似度算出部１１５Ｅが行う。類似度算出部１１５Ｅは、例えば、上記式（１）により集合ψｋについての特徴点類似度Ｓｋを算出する。類似度算出部１１５Ｅは、算出した集合ψｋについての特徴点類似度Ｓｋを集合ψｋと対応付けて記憶部１２０の類似度情報１２５に格納するとともに、特徴点類似度Ｓｋを算出したことを算出処理制御部１１５Ｆに通知する。
【０１６４】
特徴点対の集合ψｋについての特徴点類似度Ｓｋが算出されると、算出処理制御部１１５Ｆは、生成し得る特徴点対の集合を全て生成したか否かを判定する（ステップＳ７３２）。ステップＳ７３２において、算出処理制御部１１５Ｆは、対象画像の特徴点の総数Ｎと登録画像の特徴点の総数Ｍとに基づいて算出した生成し得る集合の総数と、生成した集合を識別する変数ｋの値とを比較して、全ての集合を生成したか否かを判定する。例えば、生成し得る特徴点対の集合がＫ通りである場合、算出処理制御部１１５Ｆは、ｋ≧Ｋ−１であるか否かを判定する（変数ｋが０から始まるため）。ｋ＜Ｋ−１である場合、算出処理制御部１１５Ｆは、生成していない特徴点対の集合があると判定する。
【０１６５】
生成していない特徴点対の集合がある場合（ステップＳ７３２；ＮＯ）、算出処理制御部１１５Ｆは、特徴点対の集合を識別する変数ｋをｋ＋１に更新する（ステップＳ７３３）。その後、算出処理制御部１１５Ｆは、集合生成部１１５Ｂ、局所特徴情報比較部１１５Ｃ、大域特徴情報比較部１１５Ｄ、及び類似度算出部１１５Ｅに、ステップＳ７２９〜Ｓ７３２の処理を行わせる。
【０１６６】
一方、生成し得る特徴点対の集合を全て生成した場合（ステップＳ７３２；ＹＥＳ）、算出処理制御部１１５Ｆは、次に、特徴点対群決定部１１５Ｇに特徴点対群の候補を決定させる。特徴点対群決定部１１５Ｇは、類似度情報１２５を参照し、頂点対の集合ωｐの状態で特徴点類似度を算出した複数の特徴点対の集合のうちの、特徴点類似度が最大値である特徴点対の集合を、特徴点対群の候補に決定して記憶部１２０に保持させる（ステップＳ７３３）。特徴点対群決定部１１５Ｇは、頂点対の集合ωｐについての特徴点対群の候補ψｐと特徴点類似度Ｓｐとを類似度情報１２５に格納するとともに、特徴点対群の候補を決定したことを算出処理制御部１１５Ｆに通知する。
【０１６７】
頂点対の集合ωｐについての特徴点対群の候補ψｐが決定すると、算出処理制御部１１５Ｆは、図１８Ｃに示すように、生成し得る頂点対の集合を全て生成したか否かを判定する（ステップＳ７３５）。ステップＳ７３５において、算出処理制御部１１５Ｆは、大域領域Ｄ，ＤＵの形状に基づいて算出した生成し得る集合の総数と、生成した集合を識別する変数ｐの値とを比較して、全ての集合を生成したか否かを判定する。例えば、生成し得る頂点対の集合がＰ通りである場合、算出処理制御部１１５Ｆは、ｐ≧Ｐ−１であるか否かを判定する（変数ｐが０から始まるため）。ｐ＜Ｐ−１である場合、算出処理制御部１１５Ｆは、生成していない頂点対の集合があると判定する。
【０１６８】
生成していない頂点対の集合がある場合（ステップＳ７３５；ＮＯ）、算出処理制御部１１５Ｆは、頂点対の集合を識別する変数ｐをｐ＋１に更新する（ステップＳ７３６）。その後、算出処理制御部１１５Ｆは、集合生成部１１５Ｂ、局所特徴情報比較部１１５Ｃ、大域特徴情報比較部１１５Ｄ、類似度算出部１１５Ｅ、及び特徴点対群決定部１１５Ｇに、ステップＳ７２７〜Ｓ７３４の処理を行わせる。
【０１６９】
一方、生成し得る頂点対の集合を全て生成した場合（ステップＳ７３５；ＹＥＳ）、算出処理制御部１１５Ｆは、次に、特徴点対群決定部１１５Ｇに特徴点対群を決定させる。特徴点対群決定部１１５Ｇは、類似度情報１２５を参照し、特徴点対群の候補のうちの特徴点類似度が最大値である特徴点対群の候補を、特徴点対群に決定する（ステップＳ７３７）。特徴点対群決定部１１５Ｇが特徴点対群を決定すると、特徴点対群抽出処理が終了する。
【０１７０】
このように、本実施形態に係る特徴点対群抽出処理では、生成した特徴点対の集合に含まれる特徴点対毎に局所特徴情報の類似度と大域特徴情報の類似度とを算出し、これらの類似度に基づいて各集合における特徴点対の類似度を表す値を算出する。この際、本実施形態に係る特徴点対群抽出処理では、画像内の対象物の輪郭を大域領域とし、特徴点毎に算出した、特徴点から大域領域の頂点までの距離を大域特徴情報とする。
【０１７１】
以下、図１９〜図２３を参照し、本実施形態に係る対象物の位置姿勢の推定処理について具体的に説明する。なお、以下の説明では、図９に示した登録画像１２１及び対象画像１２２に基づいて対象物５の位置姿勢を推定する場合を例に挙げる。また、以下の説明では、本実施形態に係る対象物５の位置姿勢の推定処理のうちの第１の実施形態で説明した処理と同じ処理でよい箇所についての詳細な説明を省略する。
【０１７２】
図１９は、第２の実施形態に係る大域領域の決定方法を説明する図である。
本実施形態に係る大域領域決定処理では、対象画像１２２及び登録画像１２１のそれぞれにおける対象物５の輪郭で囲まれた領域を、対象画像１２２の大域領域Ｄ及び登録画像１２１の大域領域ＤＵに決定する。
【０１７３】
図１９の（ａ）には、登録画像１２１の大域領域ＤＵの例を示している。登録画像１２１の外周が対象物５の輪郭と一致している場合、登録画像１２１の全体が大域領域ＤＵとなる。この場合、大域領域決定部１１４は、例えば、登録画像１２１の外周となる画素の位置を、登録画像１２１の大域領域ＤＵを表す情報として登録画像特徴情報１２３に格納する。登録画像１２１の全体を大域領域ＤＵとした場合、当該大域領域ＤＵは、登録画像１２１から検出した特徴点ＰＵ１，ＰＵ２，及びＰＵ３を含む領域となる。
【０１７４】
図１９の（ｂ）には、対象画像１２２に設定される大域領域Ｄの例を示している。対象画像１２２には、対象物５の他に搬送ベルト４０１等が写っている。このため、大域領域決定部１１４は、例えば、既知のエッジ検出方法に従い、対象物５のエッジ、すなわち対象物５と背景（搬送ベルト４０１等）との境界を検出する。大域領域決定部１１４は、検出したエッジ（境界）を表す画素の位置を、対象画像１２２の大域領域Ｄを表す情報として、対象画像特徴情報１２４に格納する。対象画像１２２における対象物５の輪郭で囲まれた領域を大域領域Ｄとした場合、当該大域領域Ｄは、対象画像１２２における対象物５から検出した特徴点Ｐ１，Ｐ２，及びＰ３を含む領域となる。
【０１７５】
対象画像１２２の大域領域Ｄと、登録画像１２１の大域領域ＤＵとを決定した後、位置姿勢推定装置１では、特徴点対群抽出部１１５が特徴点対群抽出処理（ステップＳ７）を行う。特徴点対群抽出処理では、まず、特徴点と大域領域との関係に基づいて、局所特徴情報とは別の特徴量（大域特徴情報）を抽出する。本実施形態における特徴点群抽出処理では、上記のように、特徴点と、大域領域の頂点との距離を、大域特徴情報として抽出する。
【０１７６】
図２０は、対象画像における大域特徴情報の抽出方法を説明する図である。図２１は、登録画像における大域特徴情報の抽出方法を説明する図である。図２２は、大域特徴情報を抽出した後の対象画像特徴情報及び登録画像特徴情報の例を示す図である。
【０１７７】
図２０には、図１９の（ｂ）の対象画像１２２から検出した特徴点Ｐ２についての大域特長情報の抽出方法を示している。
【０１７８】
対象画像１２２における対象物５の外形が略正方形である場合、大域領域Ｄは略正方形となる。そのため、大域特徴情報抽出部１１５Ａは、ステップＳ７２１の処理において対象画像１２２の大域領域Ｄから４個の頂点Ｇ１〜Ｇ４を検出する。この際、大域特徴情報抽出部１１５Ａは、４個の頂点のうちの１個、例えばｙ座標の値が最小値である頂点を第１の頂点Ｇ１とする。また、大域特徴情報抽出部１１５Ａは、残りの３個の頂点を、第１の頂点Ｇ１から大域領域Ｄの輪郭を時計回りに１周したときの頂点の出現順に従って、第２の頂点Ｇ２、第３の頂点Ｇ３、及び第４の頂点Ｇ４とする。
【０１７９】
次に、大域特徴情報抽出部１１４は、対象画像１２２から検出した特徴点Ｐｎ毎に、特徴点Ｐｎから各頂点Ｇ１〜Ｇ４までの距離Ｃｎ，１〜Ｃｎ，４を算出し、算出した距離Ｃｎ，１〜Ｃｎ，４を特徴点Ｐｎについての大域特徴情報とする（ステップＳ７２２）。図２０には、対象画像１２２から検出した特徴点の１つである特徴点Ｐ２についての大域特徴情報（距離Ｃ２，１〜Ｃ２，４）を示している。
【０１８０】
次に、大域特徴情報抽出部１１５Ａは、登録画像１２１の大域特徴情報を抽出する。大域特徴情報抽出部１１５Ａは、ステップＳ７２４の処理において登録画像１２１の大域領域ＤＵから４個の頂点ＧＵ１〜ＧＵ４を抽出する。この際、大域特徴情報抽出部１１５Ａは、例えば、図２１に示すように、４個の頂点のうちの左上角部の頂点を第１の頂点ＧＵ１とする。また、大域特徴情報抽出部１１５Ａは、残りの３個の頂点を、第１の頂点ＧＵ１から大域領域ＤＵの輪郭を時計回りに１周したときの頂点の出現順に従って、第２の頂点ＧＵ２、第３の頂点ＧＵ３、及び第４の頂点ＧＵ４とする。
【０１８１】
次に、大域特徴情報抽出部１１４は、登録画像から検出した特徴点ＰＵｍ毎に、特徴点ＰＵｍから各頂点ＧＵ１〜ＧＵ４までの距離ＣＵｍ，１〜ＣＵｍ，４を算出し、算出した距離ＣＵｍ，１〜ＣＵｍ，４を特徴点ＰＵｍについての大域特徴情報とする（ステップＳ７２５）。図２１には、登録画像１２１から検出した特徴点の１つである特徴点ＰＵ２についての大域特徴情報（距離ＣＵ２，１〜ＣＵ２，４）を示している。
【０１８２】
したがって、ステップＳ７２１及びＳ７２２の処理を行うと、対象画像特徴情報１２４には、図２２の（ａ）に示すテーブル１１０３のように、特徴点Ｐｎと、局所特徴情報Ｌｎと、大域特徴情報Ｃｎ，１〜Ｃｎ，４とを対応付けた情報が格納される。同様に、ステップＳ７２４及びＳ７２５の処理を行うと、登録画像特徴情報１２３には、図２２の（ｂ）に示すテーブル１１０４のように、特徴点ＰＵｍと、局所特徴情報ＬＵｍと、大域特徴情報ＣＵｍ，１〜ＣＵｍ，４とを対応付けた情報が格納される。
【０１８３】
なお、対象画像１２２から検出した特徴点ＰｎがＮ個である場合には、Ｎ個の特徴点Ｐ１，Ｐ２，・・・，ＰＮのそれぞれに、局所特徴情報Ｌ１，Ｌ２，・・・，ＬＮと、大域特徴情報Ｃ１，ｉ，Ｃ２，ｉ，・・・，ＣＮ，ｉ（ｉ＝１〜Ｉ）とが対応付けられる。また、登録画像１２１から検出した特徴点ＰＵｍがＭ個である場合には、Ｍ個の特徴点ＰＵ１，ＰＵ２，・・・，ＰＵＭのそれぞれに、局所特徴情報ＬＵ１，ＬＵ２，・・・，ＬＵＭと、大域特徴情報ＣＵ１，ｊ，ＣＵ２，ｊ，・・・，ＣＵＭ，ｊ（ｊ＝１〜Ｊ）とが対応付けられる。
【０１８４】
対象画像１２２及び登録画像１２１のそれぞれにおける各特徴点の大域特徴情報を抽出した後、特徴点対群抽出部１１５は、集合生成部１１５Ａにおいて頂点対の集合ωｐを生成する（ステップＳ７２７）。集合生成部１１５Ｂは、所定の生成規則に従って、対象画像の大域領域ＤにおけるＩ個の頂点Ｇｉのそれぞれに、登録画像の大域領域ＤＵにおけるＪ個の特徴点ＧＵｊのいずれかを１対１で対応付けた頂点対の集合ωｐを生成する。登録画像１２１及び対象画像１２２には同一形状の対象物が写っているため、対象画像１２２の大域領域Ｄにおける頂点の数Ｉと、登録画像１２１の大域領域ＤＵにおける頂点の数Ｊとは同じ数（Ｉ＝Ｊ）となるはずである。しかしながら、対象画像１２２に写っている対象物５の位置姿勢によっては、Ｉ≠Ｊとなる可能性がある。そのため、ｐ＝０，Ｊ≧Ｉの場合、集合生成部１１５Ｂは、例えば、Ｉ個の頂点対を含む集合ωｐ＝｛（Ｇ１，ＧＵ１），（Ｇ２，ＧＵ２），・・・,（ＧＩ，ＧＵＪ＝Ｉ）｝を生成する。一方、ｋ＝０，Ｊ＜Ｉの場合、集合生成部１１５Ｂは、例えば、Ｊ個の頂点対を含む集合ωｐ＝｛（Ｇ１，ＧＵ１），（Ｇ２，ＧＵ２），・・・,（ＧＩ＝Ｊ，ＧＵＪ）｝を生成する。
【０１８５】
また、ｐ≠０の場合、集合生成部１１５Ｂは、対象画像１２２の大域領域Ｄの各頂点Ｇｉと対応付ける登録画像１２１の大域領域ＤのＧＵｊを、時計回りで頂点ｐ個分だけずらした頂点とする。
【０１８６】
図２３は、頂点対の集合の生成方法を説明する図である。図２４は、大域領域の回転対称性と生成し得る頂点対の集合との関係を説明する図である。
【０１８７】
図２３の（ａ）には、対象画像１２２の大域領域Ｄの頂点Ｇ１〜Ｇ４と、登録画像１２１の大域領域ＤＵの頂点ＧＵ１〜ＧＵ４との対応関係とを説明するテーブル１１０５を示している。対象画像１２２の大域領域Ｄの頂点Ｇ１〜Ｇ４は、上記のように、第１の頂点Ｇ１から大域領域Ｄの輪郭を時計回りで１周したときの頂点の出現順に識別子ｉを付与している（図２０を参照）。同様に、登録画像１２１の大域領域ＤＵの頂点ＧＵ１〜ＧＵ４は、第１の頂点ＧＵ１から大域領域ＤＵの輪郭を時計回りで１周したときの頂点の出現順に識別子ｊを付与している（図２１を参照）。また、大域領域Ｄ，ＤＵが略正方形であるとすると、大域領域Ｄ，ＤＵを表す情報のみでは、対象画像１２２の大域領域Ｄの頂点Ｇ１が、登録画像１２１の大域領域ＤＵの４個の頂点ＧＵ１〜ＧＵ４のうちのどの頂点と対応するかの判定が困難である。このため、本実施形態では、図１８Ｂ及び図１８Ｃに示したように、対象画像１２２の頂点Ｇｉと、登録画像１２１の頂点ＧＵｊとによる頂点対の集合ωｐを複数通り生成し、それぞれの場合における特徴点対群の候補を抽出する。
【０１８８】
各画像の大域領域Ｄ，ＤＵが略正方形であり、上記の規則に従って識別子ｉ，ｊを付与している場合、対象画像１２２の頂点Ｇｉと、登録画像１２１の頂点ＧＵｊとの対応関係は、図２３の（ａ）のテーブル１１０５に示した４通りのパターンに限定される。パターン１は対象画像１２２の頂点Ｇ１と、登録画像１２１の頂点ＧＵ１とが対応するパターンであり、パターン２は対象画像１２２の頂点Ｇ１と、登録画像１２１の頂点ＧＵ２とが対応するパターンである。パターン３は対象画像１２２の頂点Ｇ１と、登録画像１２１の頂点ＧＵ３とが対応するパターンであり、パターン４は対象画像１２２の頂点Ｇ１と、登録画像１２１の頂点ＧＵ４とが対応するパターンである。
【０１８９】
よって、頂点対の集合ωｐを生成する場合、集合生成部１１５Ｂは、パターン１からパターン４までの４通りのパターンを順次生成する。例えば、ｐ＝０の場合、集合生成部１１５Ｂは、各頂点Ｇｉ，ＧＵｊがパターン１で対応付けられる頂点対の集合ωｐ＝０を生成する。また、ｐ＝１の場合、集合生成部１１５Ｂは、例えば、各頂点Ｇｉ，ＧＵｊがパターン２で対応付けられる頂点対の集合ωｐ＝１を生成する。すなわち、集合生成部１１５Ｂは、例えば、図２３の（ｂ）のテーブル１１０６に示した４通りの頂点対の集合ω０〜ω３を順次生成する。
【０１９０】
対象物５の輪郭を表す大域領域Ｄ，ＤＵが正方形（４回対称）である場合、対象画像１２２における第１の頂点Ｇ１は、登録画像１２１における４個の頂点ＧＵ１〜ＧＵ４のいずれとも頂点対になり得る。したがって、大域領域Ｄ，ＤＵが正方形である場合、頂点対の集合ωｐは、図２３の（ｂ）に示したように４通り存在する。これに対し、対象物５の輪郭を表す大域領域Ｄ，ＤＵが長方形（２回対称）である場合、図２４に示すように、対象画像の大域領域Ｄにおける第１の頂点Ｇ１は、登録画像の大域領域ＤＵにおける２個の頂点ＧＵ１，ＧＵ３とだけ頂点対になり得る。すなわち、対象物５の輪郭（例えばラベル貼付面）が長方形である場合、頂点に接続する短辺と長辺との位置関係が反対である頂点同士（例えば、頂点Ｇ１と頂点ＧＵ２）が対応することはない。よって、算出処理制御部１１５Ｆ及び集合生成部１１５Ｂは、大域領域Ｄ，ＤＵの形状に応じて、生成し得る頂点対の集合の組み合わせ数を変更することが好ましい。大域領域Ｄの頂点Ｇ１〜Ｇ４と、大域領域ＤＵの頂点ＧＵ１〜ＧＵ４とが図２４の（ａ）に示した関係である場合、生成し得る頂点対の集合ωｐは、図２４の（ｂ）のテーブル１１０７に示した２通りの集合ω０，ω１となる。このように、大域領域Ｄ，ＤＵの回転対称性が低い場合には、生成する頂点対の集合ωｐの組み合わせ（言い換えるとステップＳ７２７〜Ｓ７３４の繰り返し回数）を低減することができ、特徴点対群抽出処理の処理負荷を軽減することが可能となる。
【０１９１】
頂点対の集合ωｐを生成した後、特徴点対群抽出部１１５は、第１の実施形態で説明したように、特徴点対の集合ψｋを生成し、特徴点対毎に、局所特徴情報の類似度と、大域特徴情報の類似度とを算出する。特徴点対の局所特徴情報の類似度は、第１の実施形態で説明したように、既知の類似度算出方法に従って算出すればよい。
【０１９２】
一方、本実施形態における大域特徴情報は、上記のように、特徴点から大域領域の複数の頂点のそれぞれまでの距離である。すなわち、図２２の（ａ）及び（ｂ）に示したように、１個の特徴点に対する大域特徴情報は複数個存在する。また、図２０及び図２１に示したように、１個の特徴点に対する複数個の大域特徴情報は、特徴点の位置によって異なる値の組み合わせとなる。そのため、特徴点対における大域特徴情報の類似度は、対象画像の特徴点における複数個の大域特徴情報と、登録画像の特徴点における複数個の大域特徴情報との対応関係によって異なる値となる。よって、本実施形態において特徴点対の大域特徴情報の類似度を算出する際には、頂点対の集合ωｐに基づいて、対象画像の特徴点における複数個の大域特徴情報と、登録画像の特徴点における複数個の大域特徴情報との対応関係を決定する。
【０１９３】
図２５は、頂点対と比較する大域特徴情報との関係を説明する図である。
例えば、集合生成部１１５Ｂが、図２０の対象画像１２２における頂点Ｇ１〜Ｇ４と、図２１の登録画像１２１における頂点ＧＵ１〜ＧＵ４とによる頂点対の集合ωｐ＝｛（Ｇ１，ＧＵ１），（Ｇ２，ＧＵ２），（Ｇ３，ＧＵ３），（Ｇ４，ＧＵ４）｝を生成した場合を考える。この場合、図２０の対象画像１２２における特徴点Ｐ２と、図２１の登録画像１２１における特徴点ＰＵ２との特徴点対（Ｐ２、ＰＵ２）に対する大域特徴情報の類似度ＳＣ２，２は、例えば、以下のように算出する。
【０１９４】
大域特徴情報比較部１１５Ｄは、図２５の（ａ）のテーブル１１０７に示すように、まず、頂点対（Ｇ１，ＧＵ１）に従い、対象画像における特徴点Ｐ２から頂点Ｇ１までの距離Ｃ２，１と、登録画像における特徴点ＰＵ２から頂点ＧＵ１までの距離ＣＵ２，１とを比較する。次に、大域特徴情報比較部１１５Ｄは、頂点対（Ｇ２，ＧＵ２）に従い、対象画像における特徴点Ｐ２から頂点Ｇ２までの距離Ｃ２，２と、登録画像における特徴点ＰＵ２から頂点ＧＵ２までの距離ＣＵ２，２とを比較する。次に、大域特徴情報比較部１１５Ｄは、頂点対（Ｇ３，ＧＵ３）に従い、対象画像における特徴点Ｐ２から頂点Ｇ３までの距離Ｃ２，３と、登録画像における特徴点ＰＵ２から頂点ＧＵ３までの距離ＣＵ２，３とを比較する。次に、大域特徴情報比較部１１５Ｄは、頂点対（Ｇ４，ＧＵ４）に従い、対象画像における特徴点Ｐ２から頂点Ｇ４までの距離Ｃ２，４と、登録画像における特徴点ＰＵ２から頂点ＧＵ２までの距離ＣＵ２，４とを比較する。そして最後に、大域特徴情報比較部１１５Ｄは、上記の４組の頂点対のそれぞれにおける距離の比較結果に基づいて、特徴点Ｐ２と、特徴点ＰＵ２との特徴点対に対する大域特徴情報の類似度ＳＣ２，２を算出する。
【０１９５】
また、例えば、集合生成部１１５Ｂが頂点対の集合ωｐ＝｛（Ｇ１，ＧＵ３），（Ｇ２，ＧＵ４），（Ｇ３，ＧＵ１），（Ｇ４，ＧＵ２）｝を生成した場合、特徴点Ｐ２と、特徴点ＰＵ２との特徴点対に対する大域特徴情報の類似度ＳＣ２，２は、以下のように算出する。
【０１９６】
大域特徴情報比較部１１５Ｄは、図２５の（ｂ）のテーブル１１０８に示すように、まず、頂点対（Ｇ１，ＧＵ３）に従い、対象画像における特徴点Ｐ２から頂点Ｇ１までの距離Ｃ２，１と、登録画像における特徴点ＰＵ２から頂点ＧＵ３までの距離ＣＵ２，３とを比較する。次に、大域特徴情報比較部１１５Ｄは、頂点対（Ｇ２，ＧＵ４）に従い、対象画像における特徴点Ｐ２から頂点Ｇ２までの距離Ｃ２，２と、登録画像における特徴点ＰＵ２から頂点ＧＵ４までの距離ＣＵ２，４とを比較する。次に、大域領域特徴比較部１１５Ｄは、頂点対（Ｇ３，ＧＵ１）に従い、対象画像における特徴点Ｐ２から頂点Ｇ３までの距離Ｃ２，３と、登録画像における特徴点ＰＵ２から頂点ＧＵ１までの距離ＣＵ２，１とを比較する。次に、大域特徴情報比較部１１５Ｄは、頂点対（Ｇ４，ＧＵ２）に従い、対象画像における特徴点Ｐ２から頂点Ｇ４までの距離Ｃ２，４と、登録画像における特徴点ＰＵ２から頂点ＧＵ２までの距離ＣＵ２，２とを比較する。そして最後に、大域特徴情報比較部１１５Ｄは、上記の４組の頂点対のそれぞれにおける距離の比較結果に基づいて、特徴点Ｐ２と、特徴点ＰＵ２との特徴点対に対する大域特徴情報の類似度ＳＣ２，２を算出する。
【０１９７】
特徴点対の集合ψｋに含まれる各特徴点対の局所特徴情報の類似度及び大域特徴情報の類似度を算出した後、特徴点対群抽出部１１５は、類似度算出部１１５Ｅにおいて特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する。類似度算出部１１５Ｅは、例えば、式（１）により特徴点類似度Ｓｋを算出する。そして、ある１組の頂点対の集合ωｐを生成した状態で、生成し得る特徴点対の集合ψｋの全てについての特徴点類似度Ｓｋを算出すると、特徴点対群抽出部１１５は、特徴点対群決定部１１５Ｇにおいて、特徴点類似度が最大値である特徴点対の集合を抽出する。特徴点対群決定部１１５Ｇは、抽出した特徴点対の集合を、特徴点対群の候補として、頂点対の集合ωｐと、特徴点類似度と対応付けて類似度情報１２５に格納する（ステップＳ７３４）。なお、特徴点対群決定部１１５Ｇにおいて特徴点類似度が最大値である特徴点対の集合を特徴点対群の候補とするのは、類似度が高いほど算出される値が大きくなる算出方法で特徴点類似度Ｓｋを算出した場合である。すなわち、類似度が正の値であり、かつ類似度が高いほど算出される値が小さくなる算出方法で特徴点類似度Ｓｋを算出した場合、特徴点対群決定部１１５Ｇは、特徴点類似度が最小値である特徴点対の集合を特徴点対群の候補とする。
【０１９８】
その後、特徴点対群抽出部１１５は、生成し得る頂点対の集合ωｐの全てで特徴点対群の候補を抽出するまで、ステップＳ７２７〜Ｓ７３４の処理を繰り返す。そして、特徴点対群抽出部１１５は、抽出した特徴点対群の候補のうちの特徴点類似度が最大値である候補を、対象画像の特徴点と登録画像の特徴点との対応関係を表す特徴点対群に特定する（ステップＳ７３７）。なお、特徴点対群抽出部１１５において特徴点類似度が最大値である特徴点対対郡の候補を特徴点対群に特定するは、類似度が高いほど算出される値が大きくなる算出方法で特徴点類似度Ｓｋを算出した場合である。すなわち、類似度が正の値であり、かつ類似度が高いほど算出される値が小さくなる算出方法で特徴点類似度Ｓｋを算出した場合、特徴点対群抽出部１１５は、特徴点類似度が最小値である特徴点対群の候補を特徴点対群とする。
【０１９９】
特徴点対群を特定した後、位置姿勢推定装置１は、位置姿勢算出部１１６において対象画像に写っている対象物の位置姿勢を算出する（ステップＳ８）。位置姿勢算出部１１６は、第１の実施形態で説明したように、特徴点対群における特徴点の対応関係に基づいて、登録画像１２１における各特徴点ＰＵｍの位置を、対象画像１２２における特徴点Ｐｎの位置に変換する行列式を算出する。
【０２００】
行列式を算出した後、位置姿勢推定装置１は、投影画像生成部１３０において、算出した行列式と、記憶部１２０のラベル貼付位置１２９とに基づいて、対象画像１２２に写っている対象物５におけるラベルの貼付位置を算出する（ステップＳ９）。更に、投影画像生成部１３０は、算出した貼付位置に基づいて、対象画像１２２に写っている対象物５に投影する画像６を生成しプロジェクタ３に出力する（ステップＳ９）。
【０２０１】
以上のように、本実施形態に係る位置姿勢推定装置１は、対象画像及び登録画像のそれぞれから検出した特徴点についての局所的な特徴の類似度と、複数の特徴点を含む大域領域に対する特徴の類似度とに基づいて、対象物の位置姿勢を推定する。また、本実施形態では、画像に写っている対象物の輪郭を大域領域とし、特徴点から大域領域の頂点までの距離を大域特徴情報とすることで、特徴点毎の大域特徴情報に差異を生じさせる。そのため、１枚の画像から検出された複数の特徴点についての局所的な特徴（局所特徴情報）の類似度が高い場合でも、大域特徴情報の差に基づいて、対象画像の特徴点と登録画像の特徴点との対応関係を特定することが可能となる。すなわち、本実施形態によれば、１枚の対象画像から検出された複数の特徴点についての局所的な特徴（局所特徴情報）の類似度が高い場合でも、当該対象画像に写っている対象物の正しい位置姿勢を算出することが可能となる。したがって、本実施形態によれば、対象物を撮像した対象画像と登録画像とに基づいて対象画像に写っている対象物の位置姿勢を推定する際の推定精度が向上する。よって、例えば、デザインの画一性や吸気口を設置すること等により、検出された特徴点の局所的な特徴情報の類似度が高くなる製品を対象物とする作業ライン等において、作業者に製品の位置姿勢を正しく提示することが可能となる。
【０２０２】
また、本実施形態では、上記のように、画像に写っている対象物の輪郭を大域領域とし、特徴点から大域領域の頂点（基点）までの距離を大域特徴情報としている。そのため、本実施形態によれば、１枚の画像から多数の特徴点が検出される場合にも、検出される特徴点の数が少ない場合と同じ処理負荷で大域領域と、大域特徴情報を抽出する際の基点と決定することが可能となる。したがって、本実施形態によれば、大域領域及び基点を決定する処理における処理負荷の増大を抑制することが可能となる。
【０２０３】
なお、図１８Ａ〜図１８Ｃのフローチャートは、本実施形態に係る特徴点対群抽出処理の一例に過ぎない。本実施形態に係る特徴点対群抽出処理の内容は、図１８Ａ〜図１８Ｃに示した手順に限らず、適宜変更可能である。例えば、図１８ＢのステップＳ７２９〜Ｓ７３４の処理は、特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する毎に特徴点類似度の最大値と比較し、特徴点類似度が最大値となる特徴点対の集合のみを保持する処理であってもよい。このように、特徴点対群抽出処理において特徴点類似度が最大値となる特徴点の集合のみを保持することで、記憶部１２０の類似度情報１２５に格納する情報の量を低減し、記憶部１２０の容量の増大を抑制することが可能となる。
【０２０４】
更に、図１８のステップＳ７２９〜Ｓ７３４の処理は、例えば、生成し得る特徴点対の集合ψを全て生成した後で、各特徴点の集合ψｋについての特徴点類似度Ｓｋを算出する処理であってもよい。
【０２０５】
加えて、特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する処理では、上記の式（１）に限らず、例えば、上記の式（３）又は式（４）により特徴点類似度Ｓｋを算出してもよい。
【０２０６】
また、本実施形態に係る大域特徴情報は、特徴点と、大域領域（対象物の輪郭）の頂点との距離に限らず、例えば、特徴点から大域領域の各辺に下ろした垂線の長さとしてもよい。
【０２０７】
［第３の実施形態］
本実施形態では、特徴点対の局所特徴情報の類似度と、大域特徴情報の類似度とに基づいて特徴点対群を抽出する方法の別の例について説明する。
【０２０８】
本実施形態に係る位置姿勢推定装置の機能的構成は、第１の実施形態に係る位置姿勢推定装置１の機能的構成と同じでよい。すなわち、本実施形態に係る位置姿勢推定装置１は、図２に示したように、位置姿勢推定部１１０と、記憶部１２０と、投影画像生成部１３０と、を備える。位置姿勢推定部１１０は、画像取得部１１１と、特徴点検出部１１２と、局所特徴情報抽出部１１３と、大域領域決定部１１４と、特徴点対群抽出部１１５と、位置姿勢算出部１１６と、を含む（図２を参照）。特徴点対群抽出部１１５は、大域特徴情報抽出部１１５Ａと、集合作成部１１５Ｂと、局所特徴情報比較部１１５Ｃと、大域特徴情報比較部１１５Ｄと、類似度算出部１１５Ｅと、算出処理制御部１１５Ｆと、特徴点対群決定部１１５Ｇと、を含む（図３を参照）。
【０２０９】
また、記憶部１２０は、図２に示したように、登録画像１２１と、対象画像１２２と、登録画像特徴情報１２３と、対象画像特徴情報１２４と、類似度情報１２５と、ラベル貼付位置１２９と、を含む各種のデータを記憶する。
【０２１０】
なお、本実施形態に係る位置姿勢推定装置１の大域領域決定部１１４は、第１の実施形態と同様、画像から検出された複数の特徴点を含む最小外接多角形を算出し、当該最小外接多角形を大域領域Ｄ，ＤＵに検定する。また、本実施形態に係る位置姿勢推定装置１の大域特徴情報抽出部１１５Ａは、大域領域の重心を基点とし、特徴点毎に、特徴点から各基点までの距離を大域特徴情報として抽出する（算出する）。
【０２１１】
本実施形態に係る位置姿勢推定装置１は、例えば、図４に示したステップＳ１〜Ｓ９の処理を所定の時間間隔で繰り返し行う。位置姿勢推定装置１は、ステップＳ１〜Ｓ９の一連の処理を１回の処理単位として繰り返し行ってもよいし、ステップＳ１〜Ｓ９の処理をパイプライン化して行ってもよい。
【０２１２】
なお、本実施形態に係る位置姿勢推定装置１は、ステップＳ１〜Ｓ９の処理のうちのステップＳ６の特徴点対群抽出処理として、図２６Ａ及び図２６Ｂに示す処理を行う。本実施形態においても、特徴点対群抽出処理は、特徴点対群抽出部１１５が行う。
【０２１３】
図２６Ａは、第３の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その１）である。図２６Ｂは、第３の実施形態に係る特徴点対群抽出処理の内容を説明するフローチャート（その２）である。
【０２１４】
本実施形態に係る特徴点対群抽出部１１５は、図２６Ａに示すように、まず、対象画像及び特徴画像のそれぞれから大域特徴情報を抽出する大域特徴情報抽出処理（ステップＳ７４１）を行う。ステップＳ７４１の処理は、特徴点対群抽出部１１５の大域特徴情報抽出部１１５Ａが行う。本実施形態に係る大域特徴情報抽出部１１５は、対象画像の特徴点毎に特徴点から大域領域Ｄの重心までの距離を算出する処理と、登録画像の特徴点毎に特徴点から大域領域ＤＵの重心までの距離を算出する処理とを行う（図８を参照）。大域特徴情報抽出部１１５は、対象画像の特徴点毎に算出した特徴点から大域領域Ｄの重心までの距離を対象画像の各特徴点についての大域特徴情報とし、当該大域特徴情報を対象画像特徴情報１２４の１つとして記憶部１２０に格納する。同様に、大域特徴情報抽出部１１５は、登録画像の特徴点毎に算出した特徴点から大域領域ＤＵの重心までの距離を登録画像の各特徴点についての大域特徴情報とし、当該大域特徴情報を登録画像特徴情報１２３の１つとして記憶部１２０に格納する。
【０２１５】
次に、特徴点対群抽出部１１５は、特徴点対の集合を識別する変数ｋを０にする（ステップＳ７４２）。ステップＳ７４２の処理は、算出処理制御部１１５Ｆが行う。
【０２１６】
ステップＳ７４２の後、特徴点対群抽出部１１５は、局所特徴情報に基づいて、複数通りの特徴点対の集合のそれぞれにおける特徴点類似度を算出する処理（ステップＳ７４３〜Ｓ７４５）を行う。ステップＳ７４３〜Ｓ７４５の処理は、算出処理制御部１１５Ｆによる制御のもと、集合生成部１１５Ｂと、局所特徴情報比較部１１５Ｃと、類似度算出部１１５Ｅとが行う。
【０２１７】
ステップＳ７４２の処理を終えると、特徴点対群抽出部１１５は、次に、対象画像の特徴点と登録画像の特徴点とによる特徴点の集合ψｋを生成する（ステップＳ７４３）。ステップＳ７４３の処理は、集合生成部１１５Ｂが行う。集合生成部１１５Ｂは、第１の実施形態で説明したように、既知の生成方法に従って、対象画像の特徴点と登録画像の特徴点とによる特徴点対の集合ψｋを生成する。なお、集合生成部１１５Ｂは、所定の生成規則（生成アルゴリズム）に従い、１回のステップＳ７４３の処理において、対象画像の特徴点の総数Ｎと登録画像の特徴点の総数Ｍとに基づいて生成可能な特徴点対の集合のうちの１組の集合を生成する。
【０２１８】
次に、特徴点対群抽出部１１５は、特徴点対の集合ψｋに含まれる各特徴点対における局所特徴情報の類似度ＳＬｎ，ｍを算出する（ステップＳ７４４）。ステップＳ７４４の処理は、局所特徴情報比較部１１５Ｃが行う。局所特徴情報比較部１１５Ｃは、特徴点対毎に、対象画像特徴情報１２４に格納された対象画像の特徴点の局所特徴情報と、登録画像特徴情報１２３に格納された登録画像１２１の特徴点の局所特徴情報とを比較して、局所特徴情報の類似度ＳＬｎ，ｍを算出する。局所特徴情報比較部１１５Ｃは、既知の類似度算出方法に従って、対象画像１２２の特徴点の局所特徴情報と、登録画像１２１の特徴点の局所特徴情報との類似度ＳＬｎ，ｍを算出する。
【０２１９】
次に、特徴点対群抽出部１１５は、局所特徴情報の類似度ＳＬｎ，ｍに基づいて、特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する（ステップＳ７４５）。ステップＳ７４５の処理は、類似度算出部１１５Ｅが行う。類似度算出部１１５Ｅは、例えば、下記式（５）により特徴点対の集合ψｋについての特徴点類似度Ｓｋを算出する。
【０２２０】
【数４】
2018036770.tif 000006
【０２２１】
類似度算出部１１５Ｅは、算出した特徴点類似度Ｓｋを特徴点の集合ψｋと対応付けて類似度情報１２５の１つとして記憶部１２０に格納するとともに、特徴点類似度Ｓｋを算出したことを算出処理制御部１１５Ｆに通知する。
【０２２２】
特徴点対の集合ψｋについての特徴点類似度Ｓｋが算出されると、算出処理制御部１１５Ｆは、生成し得る特徴点対の集合を全て生成したか否かを判定する（ステップＳ７４６）。ステップＳ７４６において、算出処理制御部１１５Ｆは、対象画像の特徴点の総数Ｎと登録画像の特徴点の総数Ｍとに基づいて算出した生成し得る集合の総数と、生成した集合を識別する変数ｋの値とを比較して、全ての集合を生成したか否かを判定する。例えば、生成し得る特徴点対の集合がＫ通りである場合、算出処理制御部１１５Ｆは、ｋ≧Ｋ−１であるか否かを判定する（変数ｋが０から始まるため）。ｋ＜Ｋ−１である場合、算出処理制御部１１５Ｆは、生成していない特徴点対の集合があると判定する。
【０２２３】
生成していない特徴点対の集合がある場合（ステップＳ７４６；ＮＯ）、算出処理制御部１１５Ｆは、特徴点対の集合を識別する変数ｋをｋ＋１に更新する（ステップＳ７４７）。その後、算出処理制御部１１５Ｆは、集合生成部１１５Ｂ、局所特徴情報比較部１１５Ｃ、及び類似度算出部１１５Ｅに、ステップＳ７４３〜Ｓ７４５の処理を行わせる。
【０２２４】
一方、特徴点対の集合を全て生成した場合（ステップＳ７４６；ＹＥＳ）、算出処理制御部１１５Ｆは、次に、特徴点対群決定部１１５Ｇに特徴点対群を決定させる。特徴点対群決定部１１５Ｇは、記憶部１２０の類似度情報１２５を参照し、特徴点類似度が最大値である特徴点対の集合を特徴点対群に決定する（ステップＳ７４８）。なお、特徴点対群決定部１１５Ｇにおいて特徴点類似度が最大値である特徴点対の集合を特徴点対群に決定するのは、類似度が高いほど算出される値が大きくなる算出方法で特徴点類似度Ｓｋを算出した場合である。すなわち、類似度が正の値であり、かつ類似度が高いほど算出される値が小さくなる算出方法で特徴点類似度Ｓｋを算出した場合、特徴点対群決定部１１５Ｇは、特徴点類似度が最小値である特徴点対の集合を特徴点対群に決定する。
【０２２５】
特徴点対群を決定した後、特徴点対群抽出部１１５は、図２６Ｂに示すように、特徴点対群に含まれる特徴点対のうちの、大域特徴情報の類似度が低い特徴点対を除外する処理（ステップＳ７４９〜Ｓ７５２）を行う。ステップＳ７４９〜Ｓ７５２の処理は、算出処理制御部１１５Ｆによる制御のもと、大域特徴情報比較部１１５Ｄと、特徴点対群決定部１１５Ｇとが行う。
【０２２６】
特徴点対群を決定すると、特徴点対群抽出部１１５は、図２６Ｂに示したように、次に、特徴点対群の候補から１組の特徴点対を選択する（ステップＳ７４９）。ステップＳ７４９の処理は、算出処理制御部１１５Ｆが行う。算出処理制御部１１５Ｆは、所定の選択規則に従い、特徴点対群に含まれる複数組の特徴点対のなかから１組の特徴点対を選択する。選択規則は、例えば、未選択の特徴点対のうちの、特徴点対群における登録順が最も早い特徴点対を選択する、という規則とする。
【０２２７】
次に、特徴点対群抽出部１１５は、選択した特徴点対における大域特徴情報の類似度ＳＣｎ，ｍを算出する（ステップＳ７５０）。ステップＳ７５０の処理は、大域特徴情報比較部１１５Ｄが行う。大域特徴情報比較部１１５Ｄは、第１の実施形態で説明したように、特徴点対における対象画像の特徴点Ｐｎについての大域特徴情報Ｃｎと、登録画像の特徴点ＰＵｍについての大域特徴情報ＰＵｍとの差に基づいて、大域特徴情報の類似度ＳＣｎ，ｍとする。この際、大域特徴情報比較部１１５Ｄは、大域特徴情報の差が小さいほど、大域特徴情報の類似度ＳＣｎ，ｍの値が大きくなる所定の関数に従い、類似度ＳＣｎ，ｍを算出する。
【０２２８】
次に、特徴点対群抽出部１１５は、算出した大域特徴情報の類似度ＳＣｎ，ｍが閾値以上であるか否かを判定する（ステップＳ７５１）。ステップＳ７５１の判定は、例えば、特徴点対群決定部１１５Ｇが行う。選択した特徴点対における対象画像の特徴点Ｐｎと、登録画像の特徴点ＰＵｍとが正しい組み合わせである場合、当該特徴点対についての大域特徴情報の類似度ＳＣｎ，ｍは高くなる。すなわち、選択した特徴点対についての大域特徴情報の類似度ＳＣｎ，ｍが低い場合、当該特徴点対における対象画像の特徴点Ｐｎと、登録画像の特徴点ＰＵｍとの組み合わせは、特徴点対群に含める組み合わせとして不適当であると判断できる。よって、算出した大域特徴情報の類似度ＳＣｎ，ｍが閾値よりも小さい場合（ステップＳ７５１；ＮＯ）、特徴点対群決定部１１５Ｇは、選択した特徴点対を特徴点対群から除外する（ステップＳ７５２）。特徴点対を除外した後、特徴点対群決定部１１５Ｇは、ステップＳ７５２の処理が終了したことを算出処理制御部１１５Ｆに通知する。一方、選択した特徴点対の大域特徴情報の類似度ＳＣｎ，ｍが閾値以上である場合（ステップＳ７５１；ＹＥＳ）、特徴点対群決定部１１５Ｇは、ステップＳ７５２の処理をスキップすることを算出処理制御部１１５Ｆに通知する。
【０２２９】
特徴点対群決定部１１５Ｇからの通知を受けると、算出処理制御部１１５Ｆは、特徴点対群に含まれる全ての特徴点対を選択したか否かを判定する（ステップＳ７５３）。選択していない特徴点対が存在する場合（ステップＳ７５３；ＮＯ）、算出処理制御部１１５Ｆは、未選択の特徴点対を選択し（ステップＳ７４９）、当該特徴点対を除外するか否かを判定する処理（ステップＳ７５０〜Ｓ７５２）を行う。
【０２３０】
一方、特徴点対群に含まれる全ての特徴点を選択した場合（ステップＳ７５３；）、算出処理制御部１１５Ｆは、次に、特徴点対群決定部１１５Ｇに特徴点対群を決定させる。特徴点対群決定部１１５Ｇは、大域特徴情報の類似度ＳＣｎ，ｍが低い特徴点対を除外した後の特徴点対群を、対象画像の特徴点と登録画像の特徴点との正しい対応関係を表す特徴点対群して出力する（ステップＳ７５４）。特徴点対群決定部１１５Ｇが特徴点対群を決定すると、本実施形態に係る特徴点対群抽出処理が終了する。
【０２３１】
このように、本実施形態に係る特徴点対群抽出処理では、特徴点対の集合に含まれる各特徴点対における局所特徴情報の類似度に基づいて特徴点対群を決定した後、当該特徴点対群から大域特徴情報の類似度の低い特徴点対を除外する。局所特徴情報は、特徴点を含む特徴点近傍の局所領域における画像上の特徴を表す情報である。このため、対象画像の特徴点と登録画像の特徴点との正しい対応関係を表していない特徴点対であっても、局所的な画像上の特徴の類似度が高いと、対象画像の特徴点と登録画像の特徴点との正しい対応関係を表す特徴点対群に含まれる可能性がある。
【０２３２】
これに対し、複数の特徴点を含む大域領域に基づいて設定した基点（例えば大域領域の重心）は、対象画像の対象物が写っている領域における位置と、登録画像内における位置とが略一致する。そのため、特徴点から基点までの距離を大域特徴情報とした場合、対象画像の特徴点と登録画像の特徴点との対応関係が正しくないと、大域特徴情報の類似度が低くなる。したがって、局所特徴情報に基づいて特定した特徴点対群に含まれる大域対象画像の類似度の低い特徴点対を除外することで、特徴点対群から対象画像の特徴点と登録画像の特徴点との対応関係が正しくない特徴点対群を除外することが可能となる。大域特徴情報の類似度に基づいて特徴点の対応関係が正しくない特徴点対を位置姿勢の推定に用いる特徴点対群（特徴点対の集合）から除外することが可能となる。よって、本実施形態によれば、対象物の位置姿勢の推定精度が向上する。
【０２３３】
［第４の実施形態］
図２７は、第４の実施形態に係る位置姿勢推定装置の機能的構成を示す図である。
【０２３４】
図２７に示すように、本実施形態に係る位置姿勢推定装置１は、位置姿勢推定部１１０と、記憶部１２０と、投影画像生成部１３０と、を備える。
【０２３５】
位置姿勢推定部１１０は、画像取得部１１１と、特徴点検出部１１２と、局所特徴情報抽出部１１３と、大域領域決定部１１４と、特徴点対群抽出部１１５と、位置姿勢算出部１１６と、を含む。特徴点対群抽出部１１５は、大域特徴情報抽出部１１５Ａと、集合作成部１１５Ｂと、局所特徴情報比較部１１５Ｃと、大域特徴情報比較部１１５Ｄと、類似度算出部１１５Ｅと、算出処理制御部１１５Ｆと、特徴点対群決定部１１５Ｇと、を含む（図３を参照）。本実施形態に係る位置姿勢推定装置１の位置姿勢推定部１１０における上記の各部は、それぞれ、第１の実施形態から第３の実施形態までで説明した機能を有する。
【０２３６】
本実施形態に係る位置姿勢推定装置１の位置姿勢推定部１１０は、上記の各部に加え、画像編集部１１７を、更に備える。画像編集部１１７は、撮像装置２から取得した対象画像に写っている、作業者８の腕等の、対象物５を遮蔽する物体を検出し、対象画像を当該遮蔽物体が除去された画像に編集する。
【０２３７】
記憶部１２０は、図２７に示したように、登録画像１２１と、対象画像１２２と、登録画像特徴情報１２３と、対象画像特徴情報１２４と、類似度情報１２５と、ラベル貼付位置１２９と、を含む各種のデータを記憶する。記憶部１２０に記憶させる（格納する）。これらの情報は、それぞれ、第１の実施形態から第３の実施形態までで説明したような情報である。
【０２３８】
投影画像生成部１３０は、位置姿勢推定部１１０で算出した対象物５の位置姿勢と、記憶部１２０のラベル貼付位置１２９とに基づいて、対象画像に写っている対象物５に投影する画像を生成し、プロジェクタ３に出力する。
【０２３９】
本実施形態に係る位置姿勢推定装置１は、例えば、図２８に示したステップＳ１，Ｓ１１，及びＳ２〜Ｓ９の処理を所定の時間間隔で繰り返し行う。位置姿勢推定装置１は、ステップＳ１，Ｓ１１，及びＳ２〜Ｓ９の一連の処理を１回の処理単位として繰り返し行ってもよいし、ステップＳ１，Ｓ１１，及びＳ２〜Ｓ９の処理をパイプライン化して行ってもよい。
【０２４０】
図２８は、第４の実施形態に係る位置姿勢推定装置が行う処理を説明するフローチャートである。
【０２４１】
図２８に示すように、本実施形態に係る位置姿勢推定装置１は、まず、撮像装置２から対象物を撮像した対象画像を取得する（ステップＳ１）。ステップＳ１の処理は、画像取得部１１１が行う。
【０２４２】
次に、位置姿勢推定装置１は、対象画像から遮蔽物を除去する（ステップＳ１１）。ステップＳ１１の処理は、画像編集部１１７が行う。画像編集部１１７は、例えば、対象画像からHistograms of Oriented Gradients（ＨＯＧ）特徴量を抽出し、対象画像内で所定の方向に移動する対象物及び背景物とは異なる物体の有無を検出する。対象画像内に対象物及び背景物とは異なる物体（遮蔽物）が存在する場合、画像編集部１１７は、対象画像における遮蔽物が写っている部分領域を、過去の、遮蔽物が写っていない対象画像における対応部分領域に置換する。対象画像に遮蔽物が存在した場合、画像編集部１１７は、遮蔽物を除去した対象画像を記憶部１２０に記憶させる
次に、位置姿勢推定装置１は、対象画像及び登録画像から特徴点を検出する特徴点検出処理（ステップＳ２）を行う。ステップＳ２の処理は、特徴点検出部１１２が行う。特徴点検出部１１２は、第１の実施形態で説明したように、例えば、ＳＵＲＦ、或いはＳＩＦＴにより、特徴点を算出する。
【０２４３】
本実施形態に係る位置姿勢推定装置１が行う処理のうちの、ステップＳ２〜Ｓ９の処理は、それぞれ、第１の実施形態から第３の実施形態で説明した処理のいずれかでよい。よって、本実施形態では、図２８のステップＳ２〜Ｓ９の処理の内容についての説明を省略する。
【０２４４】
このように、本実施形態に係る対象物の位置姿勢を推定する処理では、対象画像に対象物及び背景物（例えば、搬送ベルト４０１）とは異なる別の物体（遮蔽物）が存在する場合に、対象画像に対する編集処理を行って当該遮蔽物を除去する。このため、例えば、作業ライン１０の作業員８の腕部が対象画像に写ってしまい、位置姿勢の推定に不要な特徴点の増大や、対象物５の一部又は全部が腕部に隠れてしまうことによる位置姿勢の推定精度の劣化を抑制することが可能となる。
【０２４５】
また、本実施形態に係る対象物の位置姿勢を推定する処理では、対象物の特徴点の周囲から抽出した局所特徴情報の類似度と、画像内に設定した大域領域の重心と特徴点との関係を表す大域特徴情報の類似度とに基づいて、対象物の位置姿勢を推定する。よって、第１の実施形態から第３の実施形態で説明した位置姿勢の推定処理と同様に、位置姿勢の推定精度を向上させることが可能となる。
【０２４６】
図２９は、対象画像から遮蔽物を除去する方法を説明する図である。
図２９の下方には、時刻ｔ−１に撮像した対象画像１２２ｔ−１と、時刻ｔに撮像した対象画像１２２ｔと、時刻ｔ＋１に撮像した対象画像１２２ｔ＋１との３枚の対象画像を示している。また、３枚の対象画像１２２ｔ−１，１２２ｔ，１２２ｔ＋１の上方には、それぞれ、対象画像を撮像した時点での撮像領域４１０の状態を示している。
【０２４７】
時刻ｔ−１の時点で撮像領域４１０に存在する物体は、所定の背景物である搬送ベルト４０１を除けば、対象物５のみである。したがって、背景物を除けば、時刻ｔ−１に撮像した対象画像１２２ｔ−１には、対象物５のみが写っている。
【０２４８】
これに対し、時刻ｔの時点では、撮像領域４１０内に、対象物５及び所定の背景物（搬送ベルト４０１）とは異なる作業員の腕部８０１が存在する。このため、時刻ｔに撮像した対象画像１２２ｔは、撮像装置２から取得した時点では、画像１１２ｔ内に点線で示した位置に作業員の腕部８０１が写っている。このように、対象物５及び背景物とは異なる物体（作業員の腕部８０１）が写っている場合、特徴点検出処理（ステップＳ２）において、腕部８０１の部分から複数の特徴点が検出される可能性がある。このため、本実施形態に係る位置姿勢推定装置１では、画像１１２ｔから腕部８０１等の、対象物５及び所定の背景物とは異なる物体（遮蔽物）を検出した場合、当該遮蔽物を除去する。具体的には、画像１１２ｔにおける腕部８０１が写っている矩形の部分領域ＢＬ１を指定し、当該部分領域ＢＬ１を過去の対象画像（例えば時刻ｔ−１に撮像した対象画像１２２ｔ−１）における対応部分領域ＢＬ０の像に置換する。これにより、時刻ｔに撮像した対象画像１２２ｔから作業者の腕部８０１が除去され、背景領域から多数の特徴点が検出される事態を防ぐことが可能となる。
【０２４９】
また、時刻ｔ＋１の時点では、撮像領域４１０内に、対象物５及び所定の背景物（搬送ベルト４０１）とは異なる作業員の腕部８０２が存在する。しかも、時刻ｔ＋１においては、作業員の腕部８０２の一部分が対象物５の一部分を遮蔽している。このため、時刻ｔに撮像した対象画像１２２ｔ＋１は、撮像装置２から取得した時点では、画像１１２ｔ＋１内に点線で示した位置に作業員の腕部８０２が写っており、対象物５の一部が欠けた像になっている。このように、対象物５及び背景物とは異なる物体（作業員の腕部８０２）が写っている場合、特徴点検出処理（ステップＳ２）において、腕部８０１の部分から複数の特徴点が検出される可能性がある。更に、対象物５の一部が欠けている場合、特徴点検出処理において対象物５の特徴点の検出に失敗し、対象物５の位置姿勢の推定に失敗する可能性がある。このような場合も、本実施形態に係る位置姿勢推定装置１では、画像１１２ｔ−１から検出した腕部８０２等の、対象物５及び所定の背景物とは異なる物体（遮蔽物）を除去する。具体的には、画像１１２ｔ＋１における腕部８０２及び対象物５の一部が写っている矩形の部分領域ＢＬ３を指定し、当該部分領域ＢＬ３を過去の対象画像（例えば時刻ｔに撮像した対象画像１２２ｔ）における対応部分領域ＢＬ２の像に置換する。この際、画像編集部１１７は、例えば、過去の複数の対象画像における対応部分領域のなかから、対象物５が写っている領域の位置や寸法が部分領域ＢＬ３に最も近い対応部分領域ＢＬ２を切り出して、部分領域ＢＬ３と置換する。これにより、時刻ｔ＋１に撮像した対象画像１２２ｔ＋１から作業者の腕部８０２が除去され、背景領域から多数の特徴点が検出される事態を防ぐことが可能となる。また、撮像装置２から取得した対象画像１２２ｔ＋１において腕部８０２により欠損していた対象物５の一部分が他の対象画像から補完されるため、対象物５の位置姿勢の推定精度の低下を防ぐことが可能となる。
【０２５０】
上記の各実施形態で説明した、位置姿勢推定装置１は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとにより実現可能である。以下、図３０を参照して、コンピュータとプログラムとにより実現される位置姿勢推定装置１について説明する。
【０２５１】
図３０は、コンピュータのハードウェア構成を示す図である。
図３０に示すように、コンピュータ１５は、プロセッサ１５０１と、主記憶装置１５０２と、補助記憶装置１５０３と、入力装置１５０４と、出力装置１５０５と、入出力インタフェース１５０６と、通信制御装置１５０７と、媒体駆動装置１５０８と、を備える。コンピュータ１５におけるこれらの要素１５０１〜１５０８は、バス１５１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０２５２】
プロセッサ１５０１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ１５０１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ１５の全体の動作を制御する。また、プロセッサ１５０１は、例えば、図４〜図８に示した各処理等を行う。
【０２５３】
主記憶装置１５０２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置１５０２のＲＯＭには、例えば、コンピュータ１５の起動時にプロセッサ１５０１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置１５０２のＲＡＭは、プロセッサ１５０１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置１５０２のＲＡＭは、例えば、位置姿勢推定装置１における登録画像特徴情報１２３、対象画像特徴情報１２４、類似度情報１２５等を記憶する記憶部として利用可能である。
【０２５４】
補助記憶装置１５０３は、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等、主記憶装置１５０２のＲＡＭと比べて容量の大きい記憶装置である。補助記憶装置１５０３は、プロセッサ１５０１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置１５０３は、例えば、図４〜図８に示した各処理を含む位置姿勢推定プログラム等の記憶に利用可能である。また、補助記憶装置１５０３は、例えば、登録画像１２１、撮像画像１２２、登録画像特徴情報１２３、対象画像特徴情報１２４、類似度情報１２５、及びラベル貼付位置１２９等を記憶する記憶部１２０として利用可能である。
【０２５５】
入力装置１５０４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ１５のオペレータ（利用者）が入力装置１５０４に対して所定の操作を行うと、入力装置１５０４は、その操作内容に対応付けられている入力情報をプロセッサ１５０１に送信する。入力装置１５０４は、例えば、対象物の位置姿勢を推定する処理を開始させる命令、コンピュータ１５が実行可能な他の処理に関する命令等の入力や、各種設定値の入力等に利用可能である。
【０２５６】
出力装置１５０５は、例えば、液晶表示装置等の装置、スピーカ等の音声再生装置、及び対象物５に画像を投影するプロジェクタ３を含む。
【０２５７】
入出力インタフェース１５０６は、コンピュータ１５と、他の電子機器とを接続する。入出力インタフェース１５０６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース１５０６は、例えば、コンピュータ１５と、対象物５を撮像する撮像装置２との接続に利用可能である。
【０２５８】
通信制御装置１５０７は、コンピュータ１５をインターネット等のネットワークに接続し、ネットワークを介したコンピュータ１５と他の電子機器との各種通信を制御する装置である。通信制御装置１５０７は、例えば、コンピュータ１５と、遠隔地から作業ライン１０における作業状況を監視する監視システムとの通信に利用可能である。また、コンピュータ１５が作業ライン１０の設置箇所とは異なる管理施設等に設置されている場合には、通信制御装置１５０７は、作業ライン１０の設置箇所に設置された撮像装置２及びプロジェクタ３と、コンピュータ１５との通信に利用可能である。
【０２５９】
媒体駆動装置１５０８は、可搬型記憶媒体１６に記録されているプログラムやデータの読み出し、補助記憶装置１５０３に記憶されたデータ等の可搬型記憶媒体１６への書き込みを行う。媒体駆動装置１５０８には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置１５０８としてメモリカード用リーダ／ライタを用いる場合、可搬型記憶媒体１６としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure  Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体１６としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ１５が媒体駆動装置１５０８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体１６として利用可能である。可搬型記録媒体１６として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等がある。可搬型記録媒体１６は、例えば、図４〜図８に示した処理を含む位置姿勢推定プログラム等の記憶に利用可能である。また、可搬型記録媒体１６は、例えば、登録画像１２１、撮像画像１２２、登録画像特徴情報１２３、対象画像特徴情報１２４、類似度情報１２５、及びラベル貼付位置１２９等を記憶する記憶部１２０として利用可能である。
【０２６０】
オペレータが入力装置１５０４等を利用して対象物の位置姿勢の推定処理を開始する命令をコンピュータ１５に入力すると、プロセッサ１５０１が、補助記憶装置１５０３等の非一時的な記録媒体に記憶させた位置姿勢推定プログラムを読み出して実行する。この処理において、プロセッサ１５０１は、図２や図２７の位置姿勢推定装置１における位置姿勢推定部１１０、及び投影画像生成部１３０として機能する（動作する）。また、主記憶装置１５０２のＲＡＭや補助記憶装置１５０３等は、図２や図２７の位置姿勢推定装置１における記憶部１２０として機能する。
【０２６１】
なお、位置姿勢推定装置１として動作させるコンピュータ１５は、図３０に示した全ての要素１５０１〜１５０８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ１５は、通信制御装置１５０７や媒体駆動装置１５０８が省略されたものであってもよい。
【０２６２】
以上記載した各実施形態に関し、更に以下の付記を開示する。
（付記１）
位置姿勢の推定対象である対象物が写っている対象画像と、前記対象物が所定の位置姿勢で写っている登録画像とから特徴点を検出する検出部と、
前記対象画像から検出した複数の前記特徴点のなかから前記対象物の特徴を示す特徴点を選出するとともに、前記対象画像における選出した前記特徴点の周囲の特徴を示す局所特徴情報と、前記登録画像における複数の前記特徴点の周囲の特徴を示す局所特徴情報とを抽出する第１の抽出部と、
前記対象画像及び前記登録画像のそれぞれに、複数の前記特徴点を含む大域領域を設定する大域領域設定部と、
前記対象画像の前記特徴点と前記大域領域とに基づいて前記対象画像における大域特徴情報を抽出するとともに、前記登録画像の前記特徴点と前記大域領域とに基づいて前記登録画像における大域特徴情報を抽出する第２の抽出部と、
前記対象画像の前記特徴点と前記登録画像の前記特徴点とによる特徴点対における、前記局所特徴情報の類似度と、前記大域特徴情報の類似度とに基づいて、前記対象画像の前記特徴点と前記登録画像の前記特徴点との対応関係を示す特徴点対群を特定する特定部と、
特定した前記特徴点対群に基づいて、前記対象画像に写っている前記対象物の位置姿勢を算出する算出部と、
を備えることを特徴とする位置姿勢推定装置。
（付記２）
前記大域領域設定部は、前記対象画像における複数の前記特徴点を含む最小外接多角形を前記対象画像の前記大域領域に決定し、前記登録画像における複数の前記特徴点を含む最小外接多角形を前記登録画像の前記大域領域に決定する、
ことを特徴とする付記１に記載の位置姿勢推定装置。
（付記３）
前記第２の抽出部は、前記大域領域の形状に基づいて基点を設定し、前記対象画像における前記特徴点から前記基点までの距離と、前記登録画像における前記特徴点から前記基点までの距離とを前記大域特徴情報として抽出する、
ことを特徴とする付記２に記載の位置姿勢推定装置。
（付記４）
前記第２の抽出部は、前記大域領域の重心を前記基点に設定する、
ことを特徴とする付記３に記載の位置姿勢推定装置。
（付記５）
前記大域領域設定部は、前記対象画像における複数の前記特徴点を含む三角形領域を前記対象画像の前記大域領域に決定し、前記登録画像における複数の前記特徴点を含む三角形領域を前記登録画像の前記大域領域に決定し、
前記第２の抽出部は、前記大域領域の重心、内心、外心、垂心、及び傍心のいずれかを基点とし、前記対象画像における前記特徴点から前記基点までの距離と、前記登録画像における前記特徴点から前記基点までの距離とを前記大域特徴情報として抽出する、
ことを特徴とする付記１に記載の位置姿勢推定装置。
（付記６）
前記大域領域設定部は、前記対象画像における前記対象物の輪郭で囲まれた領域を前記対象画像の前記大域領域に決定し、前記登録画像における前記対象物の輪郭で囲まれた領域を前記登録画像の大域領域に決定する、
ことを特徴とする付記１に記載の位置姿勢推定装置。
（付記７）
前記大域領域設定部は、前記対象画像及び前記登録画像に、多角形の前記大域領域を設定し、
前記第２の抽出部は、前記対象画像における前記特徴点から前記大域領域の頂点までの距離と、前記登録画像における前記特徴点から前記大域領域の頂点までの距離とを前記第２の特徴情報として抽出する、
ことを特徴とする付記１に記載の位置姿勢推定装置。
（付記８）
前記大域領域設定部は、前記対象画像及び前記登録画像のそれぞれに、多角形の前記大域領域を設定し、
前記第２の抽出部は、前記対象画像における前記特徴点から前記大域領域の辺に下ろした垂線の長さと、前記登録画像における前記特徴点から前記大域領域の辺に下ろした垂線の長さとを前記第２の特徴情報として抽出する、
ことを特徴とする付記１に記載の位置姿勢推定装置。
（付記９）
前記特定部は、前記対象画像の複数の前記特徴点のそれぞれに、前記登録画像の前記特徴点を１対１で対応付けた前記特徴点対の集合を複数通り生成し、当該複数通りの前記特徴点対の集合のそれぞれで、前記特徴点対の集合に含まれる前記特徴点対における前記局所特徴情報の類似度と、前記大域特徴情報の類似度とに基づいて特徴点類似度を算出し、算出した前記特徴点類似度が最大となる前記特徴点対の集合を前記特徴点対群に特定する、
ことを特徴とする付記１に記載の位置姿勢推定装置。
（付記１０）
前記特定部は、前記対象画像の前記特徴点と前記登録画像の特徴点とによる特徴点対における前記局所特徴情報の類似度に基づいて、前記特徴点対群を特定した後、特定した前記特徴点対群に含まれる特徴点対のうちの、前記大域特徴情報の類似度が閾値よりも低い特徴点対を前記特徴点対群から除外し、
前記算出部は、前記大域特徴情報の類似度が閾値よりも低い特徴点を除外した前記特徴点対群に基づいて、前記対象画像に写っている前記対象物の位置姿勢を算出する、
ことを特徴とする付記１に記載の位置姿勢推定装置。
（付記１１）
前記第１の抽出部は、前記対象画像から検出した全ての特徴点の前記局所特徴情報を抽出し、抽出した前記局所特徴情報と、前記登録画像の前記特徴点の前記局所特徴情報との類似度が閾値よりも高い前記特徴点を、前記対象物の特徴点として選出する、
ことを特徴とする付記１に記載の位置姿勢推定装置。
（付記１２）
前記対象画像を蓄積する記憶部と、
前記対象画像から前記対象物及び背景物に指定された物体とは異なる物体を検出し、前記対象画像における検出した前記物体を含む部分領域を、前記記憶部に蓄積された前記対象画像における前記部分領域と対応する部分領域と置換する画像編集部と、
を更に備えることを特徴とする付記１に記載の位置姿勢推定装置。
（付記１３）
コンピュータが、
位置姿勢の推定対象である対象物が写っている対象画像と、前記対象物が所定の位置姿勢で写っている登録画像とから特徴点を検出し、
前記対象画像から検出した複数の前記特徴点のなかから前記対象物の特徴を示す特徴点を選出するとともに、前記対象画像における選出した前記特徴点の周囲の特徴を示す局所特徴情報と、前記登録画像における複数の前記特徴点の周囲の特徴を示す局所特徴情報とを抽出し、
前記対象画像及び前記登録画像のそれぞれに、複数の前記特徴点を含む大域領域を設定し、
前記対象画像の前記特徴点と前記大域領域とに基づいて前記対象画像における大域特徴情報を抽出するとともに、前記登録画像の前記特徴点と前記大域領域とに基づいて前記登録画像における大域特徴情報を抽出し、
前記対象画像の前記特徴点と前記登録画像の前記特徴点とによる特徴点対における、前記局所特徴情報の類似度と、前記大域特徴情報の類似度とに基づいて、前記対象画像の前記特徴点と前記登録画像の前記特徴点との対応関係を示す特徴点対群を特定し、
特定した前記特徴点対群に基づいて、前記対象画像に写っている前記対象物の位置姿勢を算出する、
処理を実行することを特徴とする位置姿勢推定方法。
（付記１４）
位置姿勢の推定対象である対象物が写っている対象画像と、前記対象物が所定の位置姿勢で写っている登録画像とから特徴点を検出し、
前記対象画像から検出した複数の前記特徴点のなかから前記対象物の特徴を示す特徴点を選出するとともに、前記対象画像における選出した前記特徴点の周囲の特徴を示す局所特徴情報と、前記登録画像における複数の前記特徴点の周囲の特徴を示す局所特徴情報とを抽出し、
前記対象画像及び前記登録画像のそれぞれに、複数の前記特徴点を含む大域領域を設定し、
前記対象画像の前記特徴点と前記大域領域とに基づいて前記対象画像における大域特徴情報を抽出するとともに、前記登録画像の前記特徴点と前記大域領域とに基づいて前記登録画像における大域特徴情報を抽出し、
前記対象画像の前記特徴点と前記登録画像の前記特徴点とによる特徴点対における、前記局所特徴情報の類似度と、前記大域特徴情報の類似度とに基づいて、前記対象画像の前記特徴点と前記登録画像の前記特徴点との対応関係を示す特徴点対群を特定し、
特定した前記特徴点対群に基づいて、前記対象画像に写っている前記対象物の位置姿勢を算出する、
処理をコンピュータに実行させる位置姿勢推定プログラム。
【符号の説明】
【０２６３】
１  位置姿勢推定装置
１１０  位置姿勢推定部
１１１  画像取得部
１１２  特徴点検出部
１１３  局所特徴情報抽出部
１１４  大域領域決定部
１１５  特徴点対群抽出部
１１５Ａ  大域特徴情報抽出部
１１５Ｂ  集合生成部
１１５Ｃ  局所特徴情報比較部
１１５Ｄ  大域特徴情報比較部
１１５Ｆ  類似度算出部
１１５Ｇ  算出処理制御部
１１５Ｆ  特徴点対群決定部
１１６  位置姿勢算出部
１１７  画像編集部
１２０  記憶部
１２１  登録画像
１２２  対象画像
１２３  登録画像特徴情報
１２４  対象画像特徴情報
１２５  類似度情報
１２９  ラベル貼付位置
１３０  投影画像生成部
２  撮像装置
３  プロジェクタ
４  ベルトコンベア
４０１  搬送ベルト
４１０  撮像領域
５，５Ａ，５Ｂ，５Ｕ  対象物
６  投影画像
７  ラベル
８  作業員
８０１，８０２  腕部
１０  作業ライン
１５  コンピュータ
１５０１  プロセッサ
１５０２  主記憶装置
１５０３  補助記憶装置
１５０４  入力装置
１５０５  出力装置
１５０６  入出力インタフェース
１５０７  通信制御装置
１５０８  媒体駆動装置
１６  可搬型記録媒体
【図１】
2018036770.tif 000007
【図２】
2018036770.tif 000008
【図３】
2018036770.tif 000009
【図４】
2018036770.tif 000010
【図５】
2018036770.tif 000011
【図６】
2018036770.tif 000012
【図７】
2018036770.tif 000013
【図８】
2018036770.tif 000014
【図９】
2018036770.tif 000015
【図１０】
2018036770.tif 000016
【図１１】
2018036770.tif 000017
【図１２】
2018036770.tif 000018
【図１３】
2018036770.tif 000019
【図１４】
2018036770.tif 000020
【図１５】
2018036770.tif 000021
【図１６】
2018036770.tif 000022
【図１７】
2018036770.tif 000023
【図１８Ａ】
2018036770.tif 000024
【図１８Ｂ】
2018036770.tif 000025
【図１８Ｃ】
2018036770.tif 000026
【図１９】
2018036770.tif 000027
【図２０】
2018036770.tif 000028
【図２１】
2018036770.tif 000029
【図２２】
2018036770.tif 000030
【図２３】
2018036770.tif 000031
【図２４】
2018036770.tif 000032
【図２５】
2018036770.tif 000033
【図２６Ａ】
2018036770.tif 000034
【図２６Ｂ】
2018036770.tif 000035
【図２７】
2018036770.tif 000036
【図２８】
2018036770.tif 000037
【図２９】
2018036770.tif 000038
【図３０】
2018036770.tif 000039