(57)【特許請求の範囲】
【請求項１】
製品および該製品に取り付けられた部品の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記製品または前記部品に対応付けて記憶する第１局所特徴量記憶手段と、
部品が取り付けられた製品全体を撮像する撮像手段と、
前記撮像手段が撮像した映像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識手段と、
を備え、
前記第１局所特徴量および前記第２局所特徴量は、画像または映像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成され、
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする情報処理システム。
【請求項２】
前記認識手段は、前記第１局所特徴量の特定部分が前記第２局所特徴量と対応しない場合に、前記製品または前記部品に欠陥があると認識することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記認識手段は、さらに、認識した前記製品の前記画像内における位置情報と認識した前記部品の前記画像内における位置情報とに基づいて、認識した前記製品中における認識した前記部品の配置を認識することを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記認識手段は、前記製品中の前記部品の正常配置を記憶する配置記憶手段を有し、認識した前記製品中における前記部品の配置が前記配置記憶手段に記憶された正常配置と異なる場合に、前記製品中の前記部品の配置ミスあるいは前記部品の選択ミスと認識することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項５】
前記情報処理システムは、通信端末と、前記通信端末と通信回線で接続された情報処理装置とを有し、
前記通信端末が、前記撮像手段と前記第２局所特徴量生成手段と報知手段とを含んで、前記ｎ個の第２局所特徴量を前記通信端末から前記情報処理装置へ送信し、
前記情報処理装置が、前記第１局所特徴量記憶手段と前記認識手段とを含んで、前記認識手段の認識結果を前記情報処理装置から前記通信端末へ送信することを特徴とする請求項４に記載の情報処理システム。
【請求項６】
前記認識手段による前記部品の認識に基づいて、前記部品の在庫管理を支援する管理支援手段を備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
【請求項７】
前記第１局所特徴量および前記第２局所特徴量は、画像中から抽出した前記複数の特徴点から、特徴情報のより少ないと判断された特徴点を削除することにより生成されることを特徴とする請求項１に記載の情報処理システム。
【請求項８】
前記特徴ベクトルの複数次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定次元数ごとに前記局所領域内を一巡するよう配列することを特徴とする請求項７に記載の情報処理システム。
【請求項９】
前記第２局所特徴量生成手段は、前記製品または前記部品間の相関性の高低に対応して、他の製品または部品に対してより高い前記相関性を有する製品または部品については、次元数のより多い前記第２局所特徴量を生成することを特徴とする請求項８に記載の情報処理システム。
【請求項１０】
前記第１局所特徴量記憶手段は、前記製品または前記部品間の相関性の高低に対応して、他の製品または部品に対してより高い前記相関性を有する商品については、次元数のより多い前記第１局所特徴量を記憶することを特徴とする請求項８または９に記載の情報処理システム。
【請求項１１】
前記部品に付加された識別子を読み取ることにより前記部品を識別する識別手段を、さらに備え、
前記認識手段は、認識した前記部品の方向を判定して、前記方向に基づいて前記部品に付加した前記識別子の位置を認識することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。
【請求項１２】
部品が取り付けられた製品全体を撮像する撮像ステップと、
前記撮像ステップで撮像された映像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについてあらかじめ生成され第１局所特徴量記憶手段に記憶された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記第１局所特徴量記憶手段から読出す読出ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識ステップと、
を含み、
前記第１局所特徴量および前記第２局所特徴量は、画像または映像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成され、
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする情報処理方法。
【請求項１３】
部品が取り付けられた製品全体を撮像する撮像ステップと、
前記撮像ステップで撮像された映像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについてあらかじめ生成され第１局所特徴量記憶手段に記憶された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記第１局所特徴量記憶手段から読出す読出ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識ステップと、
をコンピュータに実行させ、
前記第１局所特徴量および前記第２局所特徴量は、画像または映像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成され、
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した映像内の製品および部品を認識するための技術に関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、画像認識によって基板上の部品が間違いなく取付けられているか否かを確認する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２４５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、その確認の精度およびスピードの面で十分な品質を達成することができていなかった。【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係るシステムは、
製品および該製品に取り付けられた部品の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記製品または前記部品に対応付けて記憶する第１局所特徴量記憶手段と、
部品が取り付けられた製品全体を撮像する撮像手段と、
前記撮像手段が撮像した映像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識手段と、
を備えたことを特徴とする。【０００７】
上記目的を達成するため、本発明に係る方法は、
部品が取り付けられた製品全体を撮像する撮像ステップと、
前記撮像ステップで撮像された映像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについてあらかじめ生成され第１局所特徴量記憶手段に記憶された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記第１局所特徴量記憶手段から読出す読出ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識ステップと、
を含むことを特徴とする。【０００８】
上記目的を達成するため、本発明に係るプログラムは、
部品が取り付けられた製品全体を撮像する撮像ステップと、
前記撮像ステップで撮像された映像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについてあらかじめ生成され第１局所特徴量記憶手段に記憶された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記第１局所特徴量記憶手段から読出す読出ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識ステップと、
をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、生産段階での製品のチェックを正確かつ即時に行なうことができ、ひいては製品品質を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。
【図２】本発明の第２実施形態に係る情報処理システムの構成を示す図である。
【図３Ａ】本発明の第２実施形態に係る情報処理システム全体の処理の流れを説明するためのシーケンス図である。
【図３Ｂ】本発明の第２実施形態に係る通信端末の構成を示すブロック図である。
【図３Ｃ】本発明の第２実施形態に係る工場コンピュータの構成を示すブロック図である。
【図４Ａ】本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。
【図４Ｂ】本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。
【図４Ｃ】本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。
【図４Ｄ】本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。
【図４Ｅ】本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。
【図４Ｆ】本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。
【図４Ｇ】本発明の第２実施形態に係る照合処理について説明するための図である。
【図４Ｈ】本発明の第２実施形態に係る照合処理について説明するための図である。
【図５】本発明の第２実施形態に係る局所特徴量データベース３１０の内容について説明するための図である。
【図６】本発明の第２実施形態に係る製品／部品データベース３４０の内容について説明するための図である。
【図７】本発明の第２実施形態に係る在庫管理データベース３３０の内容について説明するための図である。
【図８】本発明の第２実施形態に係る通信端末のハードウェア構成を説明するための図である。
【図９】本発明の第２実施形態に係る通信端末における局所特徴量生成テーブルを示す図である。
【図１０】本発明の第２実施形態に係る通信端末における処理の流れについて説明するためのフローチャートである。
【図１１Ａ】本発明の第２実施形態に係る通信端末における処理の流れについて説明するためのフローチャートである。
【図１１Ｂ】本発明の第２実施形態に係る通信端末における処理の流れについて説明するためのフローチャートである。
【図１１Ｃ】本発明の第２実施形態に係る通信端末における処理の流れについて説明するためのフローチャートである。
【図１２】本発明の第２実施形態に係る工場コンピュータにおける処理の流れについて説明するためのフローチャートである。
【図１３】本発明の第２実施形態に係る工場コンピュータにおける処理の流れについて説明するためのフローチャートである。
【図１４】本発明の第２実施形態に係る工場コンピュータにおける処理の流れについて説明するためのフローチャートである。
【図１５】本発明の第２実施形態に係る工場コンピュータにおける処理の流れについて説明するためのフローチャートである。
【図１６】本発明の第２実施形態に係る工場コンピュータにおける処理の流れについて説明するためのフローチャートである。
【図１７】本発明の第３実施形態に係る情報処理システムの処理について説明するための図である。
【図１８】本発明の第４実施形態に係る情報処理システムの処理について説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１２】
［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。図１は、情報処理システム１００の構成を示すブロック図である。図１に示すように、情報処理システム１００は、第１局所特徴量記憶部１１０と、撮像部１２０と、第２局所特徴量生成部１３０と、認識部１４０とを含む。
【００１３】
第１局所特徴量記憶部１１０は、製品および該製品に取り付けられた部品１１１の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量１１２を、製品または部品１１１に対応付けて記憶する。
【００１４】
撮像部１２０は、部品が取り付けられた製品全体を撮像する。第２局所特徴量生成部１３０は、撮像部１２０が撮像した映像内からｎ個の特徴点１３１を抽出し、ｎ個の特徴点１３１のそれぞれを含むｎ個の局所領域１３２について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量１３３を生成する。
【００１５】
認識部１４０は、第２局所特徴量生成部１３０が生成したｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量１３３に、第１局所特徴量記憶部１１０に記憶されたｊ次元までの特徴ベクトルからなるｍ個の第１局所特徴量１１２の所定割合以上が対応すると判定した場合に、映像内に製品または部品１１１が存在すると認識する。
【００１６】
以上の実施形態によれば、生産段階での製品のチェックを正確かつ即時に行なうことができ、ひいては製品品質を向上させることができる。
【００１７】
［第２実施形態］
次に、本発明の第２実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムは、撮像した映像から通信端末が局所特徴量を生成して工場コンピュータに送信し、工場コンピュータでは組み立て製品や部品に対応付けて記憶した局所特徴量と照合して組み立て製品や部品を同定して、組み立て製品や部品の管理処理を行なう。
【００１８】
本実施形態によれば、リアルタイムに個々の部品の向きや角度を精度良く認識できるので、精密な組み立て製品や部品の迅速なチェックが可能である。
【００１９】
《情報処理システムの構成》
図２は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。図２の情報処理システム２００は、部品を組み立てて製品を作成する生産システムである。
【００２０】
工場２０１における製品組み立てエリア２０２には、部品入庫ゲート２１０と、部品チェックライン２２０と、組み立てチェックライン２３０−１および２３０−１と、組み立てた製品チェックライン２４０と、製品出荷ゲート２５０とを含むものとする。さらに、製品修理エリア２０３には、修理前チェックライン２６０と、修理後チェックライン２７０とが存在するものとする。なお、本実施形態は、上記処理に限定されず、複数部品の組み立てのリアルタイムチェックにおいて有用である。
【００２１】
（部品入庫）
まず、部品入庫ゲート２１０においては、通信端末２９１が、輸送車から降ろされて工場２０１に入庫される入庫部品２１２を撮像して、その映像から局所特徴量を生成する。生成した局所特徴量を工場コンピュー２８０に送る。工場コンピュータ２８０において、局所特徴量から入庫品２１２を同定し、入庫処理を行なう。なお、部品入庫ゲート２１０において、撮像される入庫部品２１２はダンボール箱などの梱包ケースである。
【００２２】
（部品チェック）
次に、部品チェックライン２２０においては、通信端末２９２は、ベルトコンベアで運び入れられる組み立て用部品２２２あるいは２２３を撮影して局所特徴量を生成し、工場コンピュータ２８０は、間違った部品が混入していないかをチェックする。本実施形態によれば、個々の部品２２２や２２３がどの方向を向いていても、どんな角度であっても、さらに一部が他の部品で隠れていても認識が可能である。
【００２３】
（組立チェック）
次に、組立チェックライン２３０−１においては、通信端末２９３が、部品２２２や２２３が組み立てられた組立部品２３２や２３３を撮影して局所特徴量を生成し、部品２２２や２２３を間違わずにかつ正確な位置関係で組み立てられているかを、リアルタイムにチェックする。次に、組立チェックライン２３０−２においては、通信端末２９４が、組み立て中の製品および組立部品を撮影して局所特徴量を生成し、組立部品２３２や２３３から製品の組立が間違わずに行なわれているかを、組立部品の方向および配置などからチェックする。
【００２４】
（製品チェック）
製品チェックライン２４０において、通信端末２９５が製品とその部品を撮影して局所特徴量を生成し、工場コンピュータ２８０は、組立部品２３２や２３３から組立られた製品をチェックする。工場コンピュータ２８０は、各部品の構成は正しいか、組立部品は正しいか、製品およびその部品配置は正しいかを、リアルタイムにチェックする。
【００２５】
（製品出荷）
製品出荷ゲート２５０においては、通信端末２９６が、製品チェック２４０でＯＫとなった製品２５２を撮影して局所特徴量を生成し、製品出荷を管理する。ここでも、部品入庫と同様に、出荷する製品２５２はダンボール箱などの梱包ケースである。
【００２６】
（修理前チェック）
一方、製品および組立部品の修理エリア２０３においては、まず、修理前チェック２６０において、通信端末２９７が、故障あるいは定期検査などで持ち込まれた製品や組立部品２６２を撮影して局所特徴量を生成し、外見的な形状あるいは歪み、あるいは部品に位置移動などから故障があるか、あるいは故障はどこにあるかをチェックする。このように、撮影による正常製品や正常組立部品との工員では分かりにくい故障部位なども判定できる。また、故障部位をリアルタイムに認識できるので、修理に必要な部品は何か、その部品の在庫はあるか、在庫がなければどれぐらいの期間で部品入庫が可能かなどを、自動的に処理できる。
【００２７】
（修理後チェック）
修理後チェック２７０においては、製品チェック２４０と同様に、通信端末２９８が、製品とその部品２７２を撮影して局所特徴量を生成し、修理された製品と組立部品や部品をチェックして、修理が成功したことを判定する。
【００２８】
このように、部品入庫ゲート２１０と、部品チェックライン２２０と、組立チェックライン２３０−１および２３０−２と、製品チェックライン２４０と、製品出荷ゲート２５０と、修理前チェックライン２６０と、修理後チェックライン２７０とを、それぞれ通信端末２９１〜２９８による撮像のみによって、リアルタイムに統一的に実現できる。
【００２９】
《情報処理システムの動作手順》
図３Ａは、本実施形態に係る情報処理シテム２００の動作手順を示すシーケンス図である。
【００３０】
まず、ステップＳ３００において、必要であれば、工場コンピュータ２８０から、各エリアにある通信端末２９１〜２９８に対して，本実施形態を実行するためのアプリケーションおよび／またはデータがダウンロードされる。そして、本実施形態の動作に際しては、ステップＳ３０１において、アプリケーションが起動されて初期化される。
【００３１】
（部品チェック）
部品チェック２２０を行なう通信端末２９２は、ステップＳ３０３において、部品２２２や２２３を撮影する。そして、ステップＳ３０５において、局所特徴量を生成する。次に、ステップＳ３０７において、生成された局所特徴量と特徴点座標とを符号化する。ステップＳ３０９においては、符号化された局所特徴量と特徴点座標とが、通信端末２９２から工場コンピュータ２８０に送信される。
【００３２】
工場コンピュータ２８０では、ステップＳ３１１において、通信端末２９２から受信した局所特徴量に、部品や組立部品、製品にそれぞれ対応付けて局所特徴量データベース３１０に格納された局所特徴量が有るか否かが照合される。かかる照合の結果から部品を認識して、正しい部品であるかをチェックする。ステップＳ３１３において、工場コンピュータ２８０から通信端末２９２に、認識結果とエラーが検出されればエラー情報が返信される。
【００３３】
通信端末２９２は、ステップＳ３１５において、工場コンピュータ２８０から受信した認識結果とエラーが有ればエラー情報を表示して提供される部品中に間違った、あるいはキズなどがある正常部品でないことと、それがどの部品であるかも通知される。
【００３４】
一方、工場コンピュータ２８０では、ステップＳ３１７において、在庫管理データベース３３０を参照して、部品の在庫管理処理が行なわれる。この在庫管理データベース３３０は、工場コンピュータ２８０に付随して工場内に設置してもよいし、ネットワークを介して、複数の工場を管理する管理サーバ（不図示）に付随させて設定してもよい。
【００３５】
（組立チェック）
次に、組立チェック２３０−１および２３０−２を行なう通信端末２９３や２９４は、ステップＳ３２１において、組立部品２３２や２３３、あるいは組立製品２３５を撮影する。そして、ステップＳ３２３において、局所特徴量を生成する。次に、ステップＳ３２５において、生成された局所特徴量と特徴点座標とを符号化する。ステップＳ３２７においては、符号化された局所特徴量および特徴点座標が、通信端末２９３や２９４から工場コンピュータ２８０に送信される。
【００３６】
工場コンピュータ２８０では、ステップＳ３２９において、通信端末２９３や２９４から受信した局所特徴量に、部品や組立部品、製品にそれぞれ対応付けて局所特徴量データベース３１０に格納された局所特徴量が有るか否かが照合される。また、製品と部品との相性や位置関係などが格納された製品／部品データベース３４０を参照して、製品／部品関係がチェックされる。かかる照合の結果から部品を認識して、正しい部品であるかと共に、その部品の配置が正しいか、方向が正しいか、ソフト的に部品の組み合わせが正しいかもチェックする。ステップＳ３３１において、工場コンピュータ２８０から通信端末２９３や２９４に、認識結果とエラーが検出されればエラー情報が返信される。
【００３７】
通信端末２９３や２９４は、ステップＳ３３３において、工場コンピュータ２８０から受信した認識結果とエラーが有ればエラー情報を表示して、提供される部品中に間違った、あるいはキズなどがある正常部品でないことと、それがどの部品であるかも通知されると共に、製品中の部品配置の間違いについても通知される。
【００３８】
（製品チェック）
次に、製品チェック２４０を行なう通信端末２９５は、ステップＳ３４１において、製品２４２を撮影する。そして、ステップＳ３４３において、局所特徴量を生成する。次に、ステップＳ３４５において、生成された局所特徴量と特徴点座標とを符号化する。ステップＳ３４７においては、符号化された局所特徴量と特徴点座標が、通信端末２９５から工場コンピュータ２８０に送信される。
【００３９】
工場コンピュータ２８０では、ステップＳ３４９において、通信端末２９５から受信した局所特徴量に、部品や組立部品、製品にそれぞれ対応付けて局所特徴量データベース３１０に格納された局所特徴量が有るか否かが照合される。かかる照合の結果から製品全体の映像の特徴を認識して、正しい製品であるかと共に、その部品の配置が正しいか、方向が正しいか、ソフト的に部品の組み合わせ正しいかもチェックされる。ステップＳ３５１において、工場コンピュータ２８０から通信端末２９５に、認識結果とエラーが検出されればエラー情報が返信される。
【００４０】
通信端末２９５は、ステップＳ３５３において、工場コンピュータ２８０から受信した認識結果とエラーが有ればエラー情報を表示して、製品に正常部品との微妙な相違があるなどが通知される。
【００４１】
《機能構成》
図３Ｂは、通信端末２９１〜２９８の内部機能構成を示すブロック図である。通信端末２９１〜２９８は、デジタルビデオカメラなどの撮像部３１１を有する。撮像部３１１に取得された映像は、画像展開部３１３に送られる。画像展開部３１３は、取得した映像を画像展開した後、展開された画像を、局所特徴量生成部３２０に出力する。局所特徴量生成部３２０は、展開された画像からｎ個の特徴点を抽出し、ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の局所特徴量を生成し、符号化部３２１に送る。符号化部３２１は、局所特徴量を符号化して、通信制御部３２３に渡す。通信制御部３２３は、符号化された局所特徴量を、工場コンピュータ２８０に送る。通信制御部３２３は、また、工場コンピュータ２８０から製品および部品の認識結果を受信し、認識結果報知部３２５に渡す。認識結果報知部３２５は、受信した認識結果を報知する。具体的には、製品として不具合や部品の取付ミスなどを検知すると、アラームを行ない、作業員に対してどの製品のどの部品にどんな問題があるのかを報知する。
【００４２】
図３Ｃは、工場コンピュータ２８０の内部機能構成を示すブロック図である。工場コンピュータ２８０は、局所特徴量データベース３１０、および製品／部品データベース３４０を備えている。また、その他、工場コンピュータ２８０は、通信制御部３３１、局所特徴量復号部３３２、製品／部品認識部３３３、認識結果生成部３３４、部品配置判定部３３５を備えている。
【００４３】
通信制御部３３１１は、通信端末２９１〜２９８から符号化された局所特徴量を受信し、局所特徴量復号部３３２に渡す。局所特徴量復号部３３２は、符号化された局所特徴量を復号して、製品／部品認識部３３３に渡す。製品／部品認識部３３３は、ネットワークを介して受信した局所特徴量と、あらかじめ局所特徴量データベース３１０に記憶された局所特徴量とを比較し、照合を行なう。ここに記憶されている局所特徴量は、対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の局所特徴量である。
【００４４】
製品／部品認識部３３３は、局所特徴量復号部３３２および局所特徴量データベース３１０から取得した２つの局所特徴量の特徴ベクトルの次元数ｉ、ｊのうち、より少ない次元数を選択する。そして、製品／部品認識部３３３は、局所特徴量復号部３３５から取得した局所特徴量であって、選択された次元数までの特徴ベクトルからなるｎ個の局所特徴量と、局所特徴量データベース３１０から取得した選択された次元数までの特徴ベクトルからなるｍ個の局所特徴量とを比較する。
【００４５】
製品／部品認識部３３３は、これらの局所特徴量が所定割合以上においてマッチングすると判定した場合に、撮像画像中に製品および部品が適正に存在すると認識し、その認識結果を認識結果生成部３３４に渡す。一方、部品配置判定部３３５は、やはり特徴量のマッチングに基づいて、部品の配置が正しいかを判定する。認識結果生成部３３４は、部品配置判定部３３５の判定結果に応じて、認識結果を生成し、通信制御部３３１を介して通信端末２９１〜２９８に送信する。
【００４６】
例えば、適正な部品が入庫したか、適正に部品を組み合わせた製品を出荷できているか、製品の組み立て工程で、逐次、適正な位置に適正な部品が配置され、取付られているかを判定できる。あるいは、修理の依頼のあった製品について、修理前と修理後で、それぞれ部品の種類、数、配置などが正しいか否かを判定することができる。
【００４７】
《局所特徴量生成部と符号化部の構成》
図４Ａは、局所特徴量生成部３２０および符号化部３２１の構成を示すブロック図である。局所特徴量生成部３２０は、特徴点検出部４０１、局所領域取得部４０２、サブ領域分割部４０３、サブ領域特徴ベクトル生成部４０４、および次元選定部４０５を含む。特徴点検出部４０１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。局所領域取得部４０２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。
【００４８】
サブ領域分割部４０３は、局所領域をサブ領域に分割する。例えば、サブ領域分割部４０３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。
【００４９】
サブ領域特徴ベクトル生成部４０４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。
【００５０】
次元選定部４０５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（例えば、間引きする）。また、次元選定部４０５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部４０５は、例えば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部４０５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部４０５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。
【００５１】
符号化部３２１は、局所特徴量生成部３２０の特徴点検出部４０１から特徴点の座標を入力して、座標値を走査する座標値走査部４０７を有する。座標値走査部４０７は、画像をある特定の走査方法に従って走査し、特徴点の２次元座標値（Ｘ座標値とＹ座標値）を１次元のインデックス値に変換する。このインデックス値は、走査に従った原点からの走査距離である。なお、走査方向については、制限はない。
【００５２】
また、符号化部３２１は、特徴点のインデックス値をソートし、ソート後の順列の情報を出力するソート部４０８を有する。ここでソート部４０８は、例えば昇順にソートする。また降順にソートしてもよい。
【００５３】
また、符号化部３２１は、ソートされたインデックス値における、隣接する２つのインデックス値の差分値を算出し、差分値の系列を出力する差分算出部４０９を有する。
【００５４】
符号化部３２１は、さらに、差分値の系列を系列順に符号化する差分符号化部４１０を有する。差分値の系列の符号化は、例えば固定ビット長の符号化でもよい。固定ビット長で符号化する場合、そのビット長はあらかじめ規定されていてもよいが、これでは考えられうる差分値の最大値を表現するのに必要なビット数を要するため、符号化サイズは小さくならない。そこで、差分符号化部４１０は、固定ビット長で符号化する場合、入力された差分値の系列に基づいてビット長を決定することができる。具体的には、例えば、差分符号化部４１０は、入力された差分値の系列から差分値の最大値を求め、その最大値を表現するのに必要なビット数（表現ビット数）を求め、求められた表現ビット数で差分値の系列を符号化することができる。
【００５５】
一方、ソートされた特徴点のインデックス値と同じ順列で、対応する特徴点の局所特徴量を符号化する局所特徴量符号化部４０６を有する。ソートされたインデックス値と同じ順列で符号化することで、差分符号化部４１０で符号化された座標値と、それに対応する局所特徴量とを１対１で対応付けることが可能となる。局所特徴量符号化部４０６は、１つの特徴点に対する１５０次元の局所特徴量から次元選定された局所特徴量を、例えば１次元を１バイトで符号化し、次元数のバイトで符号化することができる。
【００５６】
《局所特徴量生成処理》
次に、図４Ｂ〜図４Ｆを用いて、本実施形態に係る局所特徴量生成部３２０の処理について詳しく説明する。
【００５７】
まず、図４Ｂは、局所特徴量生成部３２０における、特徴点検出／局所領域取得／サブ領域分割／サブ領域特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。
【００５８】
（特徴点検出）
特徴点検出部４０１はまず、図４Ｂの左上に示すように、映像中の画像から特徴点４２１を検出する。以下、１つの特徴点４２１を代表させて局所特徴量の生成を説明する。それぞれの特徴点４２１には、周辺画素の、輝度や彩度、色相などの値の変化の方向と大きさを要素として持つ矢印が付随している。また、図４Ｂの例では、６０度間隔の６方向のいずれかに量子化する例を説明するが、これに限定されない。
【００５９】
（局所領域取得）
次に、局所領域取得部４０２は、図４Ｂの右上に示すように、例えば、特徴点４２１を中心にガウス窓４２２ａを生成し、このガウス窓４２２ａをほぼ含む局所領域４２２を生成した状態である。図４Ｂの例では、局所領域取得部４０２は正方形の局所領域４２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。
【００６０】
（サブ領域分割）
状態サブ領域分割部４０３は、図４Ｂの左下に示すように、特徴点４２１の局所領域４２２に含まれる各画素のスケールおよび角度をサブ領域４２３に分割する。なお、図４Ｂでは４×４＝１６画素を１つのサブ領域としており、局所領域４２２は、合計５×５＝２５個のサブ領域に分割されている。しかし、サブ領域への分割の仕方およびその個数はこれに限定されるものではない。
【００６１】
（サブ領域特徴ベクトル生成）
サブ領域特徴ベクトル生成部４０４は、図４Ｂの右下に示すように、サブ領域内の各画素のスケールを６方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル４２４とする。すなわち、特徴点検出部４０１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部４０４は、サブ領域ごとに量子化された６方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部４０４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を６方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，...，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。
【００６２】
Ｑq＝floor(Ｇ×Ｄ／２π）       ...（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ  ...（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部４０４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部４０４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部４０４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。
【００６３】
（次元選定）
次に、図４Ｃ〜図４Ｆに従って、次元選定部４０５が行なう次元選定処理について説明する。
【００６４】
次元選定部４０５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部４０５は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部４０５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。
【００６５】
図４Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向４３１ａに量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル４３１から次元を選定する場合の一例を示す図である。図４Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行われている。
【００６６】
図４Ｃに示すように、次元選定部４０５は、１５０次元の勾配ヒストグラムの特徴ベクトル４３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル４３２を選定する。この場合、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。
【００６７】
この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図４Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。
【００６８】
また、次元選定部４０５は、７５次元の勾配ヒストグラムの特徴ベクトル４３２から５０次元の勾配ヒストグラムの特徴ベクトル４３３を選定する。この場合、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。
【００６９】
また、次元選定部４０５は、５０次元の勾配ヒストグラムの特徴ベクトル４３３から２５次元の勾配ヒストグラムの特徴ベクトル４３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定することができる。図４Ｃに示す例では、次元選定部４０５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。
【００７０】
このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図４Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図４Ｃに示した次元選定方法は一例であり、この選定方法に限らない。
【００７１】
（局所領域の優先順位）
図４Ｄは、局所特徴量生成部３２０における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。
【００７２】
次元選定部４０５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部４０５は、例えば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部４０５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部４０５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。
【００７３】
すなわち、次元選定部４０５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図４Ｄのマトリクス４４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図４Ｄのマトリクス４４１に示す優先順位を用いる場合、次元選定部４０５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。
【００７４】
図４Ｅのマトリクス４５１は、図４Ｄの選定順位に従って、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，...，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。
【００７５】
図４Ｆのマトリクス４６１は、図４Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図４Ｆのマトリクス４６１は、図４Ｄのマトリクス４４１に示した優先順位に従って図４Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部４０５は、図４Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部４０５は、例えば１５０次元の局所特徴量を出力する場合、図４Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部４０５は、例えば２５次元の局所特徴量を出力する場合、図４Ｆに示す１行目（７６番目、４５番目、８３番目、...、１２０番目）の要素４７１を図４Ｆに示す順（左から右）に出力することができる。また、次元選定部４０５は、例えば５０次元の局所特徴量を出力する場合、図４Ｆに示す１行目に加えて、図４Ｆに示す２行目の要素４７２を図４Ｆに示す順（左から右）に出力することができる。
【００７６】
ところで、図４Ｆに示す例では、局所特徴量は階層的な構造となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素４７１〜４７６の並びは同一となっている。このように、次元選定部４０５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部４０５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。
【００７７】
なお、図４Ｄのマトリクス４４１から図４Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図４Ｄのマトリクス４４１の例の他に、図４Ｄのマトリクス４４２や図４Ｄのマトリクス４４３に示すような順番でもよい。また、例えば、すべてのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。
【００７８】
また、次元選定部４０５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行ってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。
【００７９】
また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。例えば、局所領域取得部４０２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部４０３は、円状の局所領域を例えば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部４０５は、各サブ領域において、次元を選定することができる。
【００８０】
以上、図４Ｂ〜図４Ｆに示したように、本実施形態の局所特徴量生成部３２０によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる。なお、局所特徴量生成部３２０の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる他の処理が当然に適用できる。
（製品／部品認識部）
図４Ｇおよび図４Ｈは、本実施形態に係る製品／部品認識部３３３の処理を示す図である。
【００８１】
図４Ｇは、図２における部品チェック２２０時の製品／部品認識部３３３の処理を示す図である。図４Ｇに示す、あらかじめ１つの部品２２２や２２３の映像４７８から本実施形態に従い生成された局所特徴量は、局所特徴量データベース３１０に格納されている。一方、図４Ｇの左図の通信端末２９２で撮像された映像画面４７１からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量データベース３１０に格納された局所特徴量が、映像画面４７１から生成された局所特徴量中にあるか否かが照合される。
【００８２】
図４Ｇに示すように、製品／部品認識部３３３は、局所特徴量データベース３１０に格納されている局所特徴量と局所特徴量とが合致する各特徴点を細線のように関連付ける。なお、製品／部品認識部３３３は、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、製品／部品認識部３３３は、関連付けられた特徴点の集合間の位置関係が線形関係であれば、同じ製品あるいは同じ部品であると認識する。このような認識を行なえば、サイズの大小や向きの違い（視点の違い）、あるいは反転などによっても認識が可能である。また、所定数以上の関連付けられた特徴点があれば認識精度が得られるので、一部が視界から隠れていても商品の認識が可能である。
【００８３】
図４Ｇにおいては、映像４７８から生成されて局所特徴量データベース３１０に格納された１つの局所特徴量から、部品トレイ４７２の複数の部品に対して合致する特徴点を結ぶことになる。図４Ｇでは２つの部品に対して細線を引いているが、部品トレイ４７２に同じ部品が提供されていれば、すべての部品で対して細線のような関連付けがなされる。図４Ｇにおいては、部品トレイ４７２で提供された複数の符品の内、部品４７５が間違った部品であると判断できる。
【００８４】
図４Ｈは、図２における組立チェック２３０−２や製品チェック２４０時の製品／部品認識部３３３の処理を示す図である。図４Ｈに示す、あらかじめ１つの部品４８６〜４８８の映像４８３〜４８５から本実施形態に従い生成された局所特徴量は、局所特徴量データベース３１０に格納されている。一方、図４Ｈの左図の通信端末２９４や２９５で撮像された製品４８２の映像画面４８１からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量データベース３１０に格納された局所特徴量が、映像画面４８１から生成された局所特徴量中にあるか否かを照合する。
【００８５】
図４Ｈに示すように、製品／部品認識部３３３は、局所特徴量データベース３１０に格納されている局所特徴量と局所特徴量とが合致する各特徴点を細線のように関連付ける。なお、製品／部品認識部３３３の特徴点の合致条件は、図４Ｇの場合と同様であるが、その精密さや用途などを考慮して調整してもよい。図４Ｇと同様に、本実施形態のような認識を行なえば、サイズの大小や向きの違い（視点の違い）、あるいは反転などによっても認識が可能である。また、所定数以上の関連付けられた特徴点があれば認識精度が得られるので、一部が視界から隠れていても商品の認識が可能である。
【００８６】
図４Ｈにおいては、各部品４８６〜４８８の映像４８３〜４８５から生成されて局所特徴量データベース３１０に格納された１つの局所特徴量から、製品４８２に搭載された複数の部品に対して合致する特徴点を結ぶ。図４Ｈでは３つの部品から製品４８２の部品に対して細線を引いているが、製品４８２上の全部品、あるいは重要な部品に対して細線で示すような関連付けを行なう。図４Ｈにおいては、３つの部品は正しく、正しい位置に搭載され、その方向なども正しい場合には、正常な製品と判定する。
【００８７】
図５は、局所特徴量データベース３１０の内容を示す図である。局所特徴量データベース３１０は、製品／部品ＩＤと、製品名、部品名と、第１〜第ｎ局所特徴量とを対応付けて記憶している。
【００８８】
図６は、製品／部品データベース３４０の内容を示す図である。製品／部品データベース３４０は、製品ＩＤに対応付けて、製品名、その製品に使用されている各種の部品およびその位置を登録している。
【００８９】
図７は、在庫管理データベース３３０の内容を示す図である。在庫管理データベース３３０は、部品ＩＤに対応付けて部品名、入庫履歴、使用履歴、在庫数、使用予測および入庫要否とその数を管理している。
【００９０】
《ハードウェア構成とそれぞれの処理》
図８は、通信端末２９１〜２９８のハードウェア構成を示す図である。ＣＰＵ８１０は演算制御用のプロセッサであり、プログラムを実行することで通信端末の各機能構成部を実現する。ＲＯＭ８２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部４４０は、ネットワークを介して他の装置と通信する。なお、ＣＰＵ８１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。
【００９１】
ＲＡＭ８４０は、ＣＰＵ８１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ８４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。展開画像データ８４１は、撮像部３１１が撮像して入力されたデータである。特徴点データ８４２は、展開された画像データから検出した特徴点座標、スケール、角度を含むデータである。局所特徴量生成テーブル８４３は、局所特徴量の生成に関するデータを記憶するテーブルである。
【００９２】
ストレージ８５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。通信端末制御プログラム８５１は、通信端末全体を制御するプログラムである。局所特徴量生成モジュール８５２は、入力映像から図４Ｂ〜図４Ｆに従って局所特徴量を生成する。符号化モジュール８５３は、局所特徴量を符号化するモジュールであり、ＣＰＵ８１０に実行されることにより符号化部３２１として機能する。結果報知モジュール８５４は、製品／部品の認識結果を報知するためのモジュールであり、ＣＰＵ８１０に実行されることにより認識結果報知部３２５として機能する。
【００９３】
入出力インタフェース８６０は、入出力機器との入出力データを中継する。入出力インタフェース８６０には、表示部８６１、タッチパネル８６２、スピーカ８６４、マイク８６５、撮像部３１１が接続される。入出力機器は上記例に限定されない。また、ＧＰＳ(Global Positioning System)位置生成部８６６は、ＧＰＳ衛星からの信号に基づいて現在位置を取得する。
【００９４】
（局所特徴量生成データ）
図９は、本実施形態に係る局所特徴量生成テーブル８４３を示す図である。局所特徴量生成テーブル８４３は、入力画像ＩＤに対応付けて、複数の検出された検出特徴点、特徴点座標および特徴点に対応する局所領域情報を記憶する。そして、各検出特徴点、特徴点座標および局所領域情報に対応付けて、複数のサブ領域ＩＤ、サブ領域情報、各サブ領域に対応する特徴ベクトルおよび優先順位を含む選定次元を記憶する。そしてさらに、入力画像に対して導かれた局所特徴量を記憶する。
【００９５】
（通信端末における処理の流れ）
図１０は、通信端末２１１における処理の流れを説明するためのフローチャートである。まずステップＳ１０１１において、画像を入力すると、ステップＳ１０１３で局所特徴量生成処理を行ない、さらに、ステップＳ１０１４において、局所特徴量を符号化する。さらに、ステップＳ１０１５において、符号化された局所特徴量を工場コンピュータ２８０に送信する。また、画像の入力ではなく、認証結果データの受信があった場合には、ステップＳ１０１１からステップＳ１０２１を経てステップＳ１０２５に進み、製品および部品の認識結果を作業員に報知する処理を行なう。
【００９６】
図１１Ａは、図１０のステップＳ１０１３で行なわれる局所特徴量生成処理の流れについて説明するためのフローチャートである。ステップＳ１１０１においては、まず、特徴点検出部４０１が特徴点を検出する。次に、ステップＳ１１０３において、局所領域取得部４０２が、一つの特徴点の局所領域を取得する。さらにステップＳ１１０５において、サブ領域分割部４０３が、局所領域をサブ領域に分割する。ステップＳ１１０７においては、サブ領域特徴ベクトル生成部４０４が、サブ領域の特徴ベクトルを生成する。さらに、次元選定部４０５が、ステップＳ１１０９において、次元を選定する。ステップＳ１１１１では、すべての特徴点に対して次元選定処理が完了したか判断し、完了していなければ、ステップＳ１１０３に戻る。
【００９７】
図１１Ｂは、本実施形態に係る符号化処理Ｓ１０１４の処理手順を示すフローチャートである。まず、ステップＳ１１３１において、特徴点の座標値を所望の順序で走査する。次に、ステップＳ１１３３において、走査した座標値をソートする。ステップＳ１１３５において、ソートした順に座標値の差分値を算出する。ステップＳ１１３７においては、差分値を符号化する。そして、ステップＳ１１３９において、座標値のソート順に局所特徴量を符号化する。なお、差分値の符号化と局所特徴量の符号化とは並列に行なってもよい。
【００９８】
（差分値の符号化処理）
図１１Ｃは、差分値の符号化処理Ｓ１１３７の詳しい処理手順を示すフローチャートである。まず、ステップＳ１１４１において、差分値が符号化可能な値域内であるか否かを判定する。符号化可能な値域内であればステップＳ１１４７に進んで、差分値を符号化し、ステップＳ１１４９へ移行する。符号化可能な値域内でない場合（値域外）はステップＳ１１４３に進んで、エスケープコードを符号化した後、ステップＳ１１４５において、ステップＳ１１４７の符号化とは異なる符号化方法で差分値を符号化する。そして、ステップＳ１１４９へ移行する。ステップＳ１１４９では、処理された差分値が差分値の系列の最後の要素であるかを判定する。最後である場合は、処理が終了する。最後でない場合は、再度ステップＳ１１４１に戻って、差分値の系列の次の差分値に対する処理を実行する。
【００９９】
（工場コンピュータ２８０における処理）
図１２は、工場コンピュータ２８０における処理の流れを説明するためのフローチャートである。まず、新製品の入荷時など、局所特徴量データベースを新たに生成（更新）する必要がある場合、ステップＳ１２１１から、ステップＳ１２１３において局所特徴量データベース生成処理を行なう。また、局所特徴量を、工場内の通信端末２９１〜２９８から受信した場合には、ステップＳ１２２１ｌからステップＳ１２２３に進み、製品／部品認識処理を行ない、さらにステップＳ１２２５において、部品配置認識処理を行なう。また、ステップＳ１２２７では認識結果を通信端末２９１〜２９８に返す。
【０１００】
（局所特徴量データベース生成処理）
図１３は、本実施形態に係る局所特徴量データベース生成処理Ｓ１２１３の処理手順を示すフローチャートである。
【０１０１】
まず、ステップＳ１３０１において、製品および部品の画像を取得する。ステップＳ１３０３においては、特徴点の位置座標、スケール、角度を検出する。ステップＳ１３０５において、ステップＳ１３０３で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ１３０５において、一つの特徴点の局所領域を取得すると、ステップＳ１３０７において、その局所領域をサブ領域に分割する。ステップＳ１３０９においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。
【０１０２】
次に、ステップＳ１３１１において、ステップＳ１３０９において生成された局所領域の特徴ベクトルに対して次元選定を実行する。なお、局所特徴量データベース３１０の生成においては、次元選定における階層化を実行するが、生成されたすべての特徴ベクトルを格納するのが望ましい。
【０１０３】
ステップＳ１３１３においては、ステップＳ１３０３で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ１３０５に戻って、次の１つの特徴点について処理を繰り返す。全特徴点について終了した場合はステップＳ１３１５に進んで、認識商品に対応付けて局所特徴量と特徴点座標とを局所特徴量データベース３１０に登録する。
【０１０４】
ステップＳ１３１７においては、他の商品があるか否かを判定する。他の商品があればステップＳ１３０１に戻って、認識対象物の画像を取得して処理を繰り返す。
【０１０５】
（製品／部品認識処理）
図１４は、本実施形態に係る製品／部品認識処理Ｓ１２２３の処理手順を示すフローチャートである。
【０１０６】
まず、ステップＳ１４０１において、局所特徴量データベース３１０から１つの製品または部品の局所特徴量を取得する。そして、ステップＳ１４０３において、製品または部品の局所特徴量と通信端末から受信した局所特徴量との照合を行なう（図１５参照）。
【０１０７】
ステップＳ１４０５において、合致したか否かを判定する。合致していればステップＳ１４１１に進んで、合致した商製品または部品を記憶して通信端末に送信する。
【０１０８】
合致しなければステップＳ１４０７においては、全製品および部品を照合したかを判定し、残りがあればステップＳ１４０１に戻って次の製品または部品の照合を繰り返す。なお、かかる照合においても、あらかじめ分野の限定を行なってもよい。
【０１０９】
（照合処理）
図１５は、本実施形態に係る照合処理Ｓ１４０３の処理手順を示すフローチャートである。
【０１１０】
まず、ステップＳ１５３１において、初期化として、パラメータｐ＝１，ｑ＝０を設定する。次に、ステップＳ１５３３において、ステップＳ１５３１において生成した局所特徴量の次元数ｊを取得する。
【０１１１】
ステップＳ１５３５〜Ｓ１５４５のループにおいて、ｐ＞ｍ（ｍ＝商品の特徴点数）となるまで各局所特徴量の照合を繰り返す。まず、ステップＳ１５３５において、局所特徴量データベース３１０に格納された商品の第ｐ番局所特徴量の次元数ｊのデータを取得する。すなわち、最初の１次元からｊ次元を取得する。次に、ステップＳ１５３７において、ステップＳ１５３５において取得した第ｐ番局所特徴量と入力映像から生成した全特徴点の局所特徴量を順に照合して、類似か否かを判定する。ステップＳ１５３９においては、局所特徴量間の照合の結果から類似度が閾値αを超えるか否かを判断し、超える場合はステップＳ１５４１において、局所特徴量と、入力映像と商品とにおける合致した特徴点の位置関係との組みを記憶する。そして、合致した特徴点数のパラメータであるｑを１つカウントアップする。ステップＳ１５４３においては、商品の特徴点を次の特徴点に進め（ｐ←ｐ＋１）、商品の全特徴点の照合が終わってない場合には（ｐ≦ｍ）、ステップＳ１５３５に戻って合致する局所特徴量の照合を繰り返す。なお、閾値αは、商品によって求められる認識精度に対応して変更可能である。ここで、他の商品との相関が低い認識対象物であれば認識精度を低くしても、正確な認識が可能である。
【０１１２】
商品の全特徴点との照合が終了すると、ステップＳ１５４５からＳ１５４７に進んで、ステップＳ１５４７〜Ｓ１５５３において、商品が入力映像に存在するか否かが判定される。まず、ステップＳ１５４７において、商品の特徴点数ｐの内で入力映像の特徴点の局所特徴量と合致した特徴点数ｑの割合が、閾値βを超えたか否かを判定する。超えていればステップＳ１５４９に進んで、商品候補として、さらに、入力映像の特徴点と商品の特徴点との位置関係が、線形変換が可能な関係を有しているかを判定する。すなわち、ステップＳ１５４１において局所特徴量が合致したとして記憶した、入力映像の特徴点と商品の特徴点との位置関係が、回転や反転、視点の位置変更などの変化によっても可能な位置関係なのか、不可能な位置関係なのかを判定する。かかる判定方法は幾何学的に既知であるので、詳細な説明は省略する。ステップＳ１５５１において、線形変換可能か否かの判定結果により、線形変換可能であればステップＳ１５５３に進んで、照合した商品が入力映像に存在すると判定する。なお、閾値βは、商品によって求められる認識精度に対応して変更可能である。ここで、他の商品との相関が低い、あるいは一部分からでも特徴が判断可能な商品であれば合致した特徴点が少なくても、正確な認識が可能である。すなわち、一部分が隠れて見えなくても、あるいは特徴的な一部分が見えてさえいれば、商品の認識が可能である。
【０１１３】
ステップＳ１５５５においては、局所特徴量データベース３１０に未照合の商品が残っているか否かを判定する。まだ商品が残っていれば、ステップＳ１５５７において次の商品を設定して、パラメータｐ＝１，ｑ＝０に初期化し、ステップＳ１５３５に戻って照合を繰り返す。
【０１１４】
なお、かかる照合処理の説明からも明らかなように、あらゆる分野の商品を局所特徴量データベース３１０に記憶して、全商品を照合する処理は、負荷が非常に大きくなる。したがって、たとえば、入力映像からの商品認識の前にユーザが商品の分野をメニューから選択して、その分野を局所特徴量データベース３１０から検索して照合することが考えられる。また、局所特徴量データベース３１０にユーザが使用する分野の局所特徴量のみを記憶することによっても、負荷を軽減できる。
【０１１５】
（部品配置認識処理）
図１６は、本実施形態に係る部品配置認識処理Ｓ１２２５の処理手順を示すフローチャートである。
【０１１６】
まず、ステップＳ１６０１において、製品／部品ＤＢ３２０から製品中の部品の配置情報を取得して、局所特徴量から認識した製品と部品との位置関係と照合する。ステップＳ１６０３において、合致したか否かを判定する。合致していればステップＳ１６０５に進んで、製品中の部品配置がＯＫであると設定する。
【０１１７】
合致しなければステップＳ１６０７においては、製品／部品ＤＢ３２０から正しい部品配置を検索する。
【０１１８】
以上の実施形態によれば、リアルタイムに個々の部品の向きや角度を精度良く認識できるので、精密な組み立て製品や部品の迅速なチェックが可能である。
【０１１９】
［第３実施形態］
図１７は、本発明の第３実施形態に係る情報処理シテムの動作を説明するための図である。本実施形態では、状況に応じて照合精度を制御する点で第２実施形態と異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については説明を省略する。
【０１２０】
図１７において、通信端末１７０１の表示画面１７１０には、撮像された製品である電子基板１７１１が表示されている。
【０１２１】
図１７の中央の表示画面１７２０は、低い精度（特徴点数が少なく、次元数が少ない制限）で電子基板１７１１の局所特徴量を生成した場合の図である。特徴点とそれを含む局所領域１７２１が黒丸で示されている。なお、特徴点とそれを含む局所領域１７２１は、画面に表示されてもされなくてもよい。なお、中央の表示画面１７２０に示した精度の局所特徴量によって、電子基板１７１１の種類や型などが認識されたものとする。
【０１２２】
表示画面１７３０は、電子基板１７１１の種類や型などが認識された結果、電子基板１７１１に搭載されるＩＣチップなどの部品の範囲が絞られるので、電子基板１７１１内の領域について、高精度（特徴点数が多く、次元数が多い条件）で、局所特徴量を生成して、電子基板１７１１に搭載されるＩＣチップなどの部品の認識を行なう。なお、前述の製品／部品ＤＢのように、製品上の部品配置位置も分かるので、配置位置の領域のみをさらに高精度で認識してもよい。
【０１２３】
このように制御すれば、局所特徴量の生成時間や照合時間を大幅に削減することができる。
【０１２４】
［第４実施形態］
次に、本発明の第４実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第３実施形態と比べると、何らかの異常がある部品について、あるいはチェックが必要な部品について、限定して高精度の局所特徴量を生成して、チェックする点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については説明を省略する。
【０１２５】
《情報処理システムの処理》
図１８は、本発明の第４実施形態に係る情報処理シテムの動作を示す図である。
【０１２６】
図１８において、左図の通信端末１８０１の表示画面１８１０から３番目のひょい時画面１８３０までの処理は、第３実施形態と同様であるので、説明は省略する。
【０１２７】
左から３番目の表示画面１８３０に示した電子基板１８１１内の高精度の局所特徴量によって、電子基板１８１１の中で、右上のＩＣチップに問題が発見されたものとする。
【０１２８】
図１８の４番目の表示画面１８４０では、電子基板１８１１の右上のＩＣチップに対して、最大の精度（最大特徴点数と最大次元数）で局所特徴量を生成した場合の特徴点とそれを含む局所領域１８４１が黒丸で示されている。このように、ＩＣチップを特定して最大の精度によるチェックが可能となる。
【０１２９】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【０１３０】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【０１３１】
この出願は、２０１１年１２月１６日に出願された日本出願特願２０１１−２７６５２３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０１３２】
本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
製品および該製品に取り付けられた部品の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記製品または前記部品に対応付けて記憶する第１局所特徴量記憶手段と、
部品が取り付けられた製品全体を撮像する撮像手段と、
前記撮像手段が撮像した映像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識手段と、
を備えたことを特徴とする情報処理システム。
（付記２）
前記認識手段は、前記第１局所特徴量の特定部分が前記第２局所特徴量と対応しない場合に、前記製品または前記部品に欠陥があると認識することを特徴とする付記１に記載の情報処理システム。
（付記３）
前記認識手段は、さらに、認識した前記製品の前記画像内における位置情報と認識した前記部品の前記画像内における位置情報とに基づいて、認識した前記製品中における認識した前記部品の配置を認識することを特徴とする付記１または２に記載の情報処理システム。
（付記４）
前記認識手段は、前記製品中の前記部品の正常配置を記憶する配置記憶手段を有し、認識した前記製品中における前記部品の配置が前記配置記憶手段に記憶された正常配置と異なる場合に、前記製品中の前記部品の配置ミスあるいは前記部品の選択ミスと認識することを特徴とする付記１乃至３のいずれか１つに記載の情報処理システム。
（付記５）
前記情報処理システムは、通信端末と、前記通信端末と通信回線で接続された情報処理装置とを有し、
前記通信端末が、前記撮像手段と前記第２局所特徴量生成手段と前記報知手段とを含んで、前記ｎ個の第２局所特徴量を前記通信端末から前記情報処理装置へ送信し、
前記情報処理装置が、前記第１局所特徴量記憶手段と前記認識手段とを含んで、前記認識手段の認識結果を前記情報処理装置から前記通信端末へ送信することを特徴とする付記４に記載の情報処理システム。
（付記６）
前記認識手段による前記部品の認識に基づいて、前記部品の在庫管理を支援する管理支援手段を備えることを特徴とする付記１乃至５のいずれか１つに記載の情報処理システム。
（付記７）
前記第１局所特徴量および前記第２局所特徴量は、画像または映像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成されることを特徴とする付記１乃至６のいずれか１つに記載の情報処理システム。
（付記８）
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする付記７に記載の情報処理システム。
（付記９）
前記第１局所特徴量および前記第２局所特徴量は、画像中から抽出した前記複数の特徴点から、特徴情報のより少ないと判断された特徴点を削除することにより生成されることを特徴とする付記７または８に記載の情報処理システム。
（付記１０）
前記特徴ベクトルの複数次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定次元数ごとに前記局所領域内を一巡するよう配列することを特徴とする付記８および９のいずれか１つに記載の情報処理システム。
（付記１１）
前記第２局所特徴量生成手段は、前記製品または前記部品間の相関性の高低に対応して、他の製品または部品に対してより高い前記相関性を有する製品または部品については、次元数のより多い前記第２局所特徴量を生成することを特徴とする付記１１に記載の情報処理システム。
（付記１２）
前記第１局所特徴量記憶手段は、前記製品または前記部品間の相関性の高低に対応して、他の製品または部品に対してより高い前記相関性を有する商品については、次元数のより多い前記第１局所特徴量を記憶することを特徴とする付記１０または１１に記載の情報処理システム。
（付記１３）
前記部品に付加された識別子を読み取ることにより前記部品を識別する識別手段を、さらに備え、
前記認識手段は、認識した前記部品の方向を判定して、前記方向に基づいて前記部品に付加した前記識別子の位置を認識することを特徴とする付記１乃至１２のいずれか１つに記載の情報処理システム。
（付記１４）
部品が取り付けられた製品全体を撮像する撮像ステップと、
前記撮像ステップで撮像された映像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについてあらかじめ生成され第１局所特徴量記憶手段に記憶された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記第１局所特徴量記憶手段から読出す読出ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識ステップと、
を含むことを特徴とする情報処理方法。
（付記１５）
部品が取り付けられた製品全体を撮像する撮像ステップと、
前記撮像ステップで撮像された映像内からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
対象物の画像内のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについてあらかじめ生成され第１局所特徴量記憶手段に記憶された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記第１局所特徴量記憶手段から読出す読出ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識ステップと、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【図１】
0006041156.tif 000002
【図２】
0006041156.tif 000003
【図３Ａ】
0006041156.tif 000004
【図３Ｂ】
0006041156.tif 000005
【図３Ｃ】
0006041156.tif 000006
【図４Ａ】
0006041156.tif 000007
【図４Ｂ】
0006041156.tif 000008
【図４Ｃ】
0006041156.tif 000009
【図４Ｄ】
0006041156.tif 000010
【図４Ｅ】
0006041156.tif 000011
【図４Ｆ】
0006041156.tif 000012
【図４Ｇ】
0006041156.tif 000013
【図４Ｈ】
0006041156.tif 000014
【図５】
0006041156.tif 000015
【図６】
0006041156.tif 000016
【図７】
0006041156.tif 000017
【図８】
0006041156.tif 000018
【図９】
0006041156.tif 000019
【図１０】
0006041156.tif 000020
【図１１Ａ】
0006041156.tif 000021
【図１１Ｂ】
0006041156.tif 000022
【図１１Ｃ】
0006041156.tif 000023
【図１２】
0006041156.tif 000024
【図１３】
0006041156.tif 000025
【図１４】
0006041156.tif 000026
【図１５】
0006041156.tif 000027
【図１６】
0006041156.tif 000028
【図１７】
0006041156.tif 000029
【図１８】
0006041156.tif 000030