(57)【要約】      （修正有）【課題】対象物のクエリ画像に対応する特徴データを検索する画像検索システムにおいて、データベースの肥大化を抑えつつ局所特徴量の位置を利用できる画像検索システムを提供する。【解決手段】画像検索システム１００において、画像検索装置は、画像を複数の同心円で切り分けた複数の部分領域の各々について、部分領域に含まれる局所特徴量を用いて領域特徴量を生成する領域特徴量生成部と、複数の領域特徴量を結合することで、画像の全体特徴量を生成する全体特徴量生成部と、特徴データとして、複数の物品の各々の画像の全体特徴量を記憶するデータベースと、局所特徴量抽出部、領域特徴量生成部及び全体特徴量生成部を用いて生成されたクエリ画像の全体特徴量と、データベースに記憶された複数の物品の各々の画像の全体特徴量とのそれぞれの距離を比較することで、クエリ画像に対応する検索対象物品の特徴データを特定する特定部と、を備えている。【選択図】図１
2020190794.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影してクエリ画像を生成するクエリ画像生成手段と、
前記対象物及び前記対象物と同種の物を含む複数の物の特徴データから、前記クエリ画像に対応する前記対象物の特徴データを検索する画像検索装置と、を備え、
前記画像検索装置は、
画像から複数の局所特徴量を抽出する局所特徴量抽出手段と、
前記画像を複数の同心円で切り分けた複数の部分領域の各々について、前記部分領域に含まれる前記局所特徴量を用いて領域特徴量を生成する領域特徴量生成手段と、
複数の前記領域特徴量を結合することで、前記画像の全体特徴量を生成する全体特徴量生成手段と、
前記特徴データとして、前記複数の物の各々の画像の前記全体特徴量を記憶する記憶手段と、
前記局所特徴量抽出手段、前記領域特徴量生成手段、及び前記全体特徴量生成手段を用いて生成された前記クエリ画像の前記全体特徴量と、前記記憶手段に記憶された前記複数の物の各々の画像の前記全体特徴量とのそれぞれの距離を比較することで、前記クエリ画像に対応する前記対象物の特徴データを特定する特定手段と、
を備えた、画像検索システム。
【請求項２】
前記領域特徴量生成手段は、前記局所特徴量に対して前記部分領域ごとに設定された重みを付与して前記領域特徴量を生成し、
前記全体特徴量生成手段は、重み付けされた前記複数の領域特徴量を結合して前記全体特徴量を生成する、請求項１に記載の画像検索システム。
【請求項３】
前記クエリ画像生成手段は、
撮像をして前記クエリ画像を生成する撮像手段と、
前記撮像手段の画角の中心と前記対象物の被撮像面の中心とが一致するように、前記撮像手段及び前記対象物を位置決めする位置決め手段と、
を備え、前記位置決め手段で位置決めされた状態で前記撮像手段により撮像を行うことで前記クエリ画像を生成し、
前記記憶手段に記憶された前記複数の物の各々の画像の前記全体特徴量は、撮像手段の画角の中心と前記物の被撮像面の中心とが一致するようにして撮影された画像から得られたものである、請求項１又は２に記載の画像検索システム。
【請求項４】
前記位置決め手段は、前記画角と前記被撮像面との回転角が所定の値となるように、前記撮像手段及び／又は前記対象物を位置決めする、請求項３に記載の画像検索システム。
【請求項５】
対象物及び前記対象物と同種の物を含む複数の物の特徴データから、前記対象物を撮影して生成されたクエリ画像に対応する前記対象物の特徴データを検索する画像検索装置であって、
画像から複数の局所特徴量を抽出する局所特徴量抽出手段と、
前記画像を複数の同心円で切り分けた複数の部分領域の各々について、前記部分領域に含まれる前記局所特徴量を用いて領域特徴量を生成する領域特徴量生成手段と、
複数の前記領域特徴量を結合することで、前記画像の全体特徴量を生成する全体特徴量生成手段と、
前記特徴データとして、前記複数の物の各々の画像の前記全体特徴量を記憶する記憶手段と、
前記局所特徴量抽出手段、前記領域特徴量生成手段、及び前記全体特徴量生成手段を用いて生成された前記クエリ画像の前記全体特徴量と、前記記憶手段に記憶された前記複数の物の各々の画像の前記全体特徴量とのそれぞれの距離を比較することで、前記クエリ画像に対応する前記対象物の特徴データを特定する特定手段と、
を備えた、画像検索装置。
【請求項６】
コンピュータを、
対象物及び前記対象物と同種の物を含む複数の物の特徴データから、前記対象物を撮影して生成されたクエリ画像に対応する前記対象物の特徴データを検索する画像検索装置であって、
画像から複数の局所特徴量を抽出する局所特徴量抽出手段と、
前記画像を複数の同心円で切り分けた複数の部分領域の各々について、前記部分領域に含まれる前記局所特徴量を用いて領域特徴量を生成する領域特徴量生成手段と、
複数の前記領域特徴量を結合することで、前記画像の全体特徴量を生成する全体特徴量生成手段と、
前記特徴データとして、前記複数の物の各々の画像の前記全体特徴量を記憶する記憶手段と、
前記局所特徴量抽出手段、前記領域特徴量生成手段、及び前記全体特徴量生成手段を用いて生成された前記クエリ画像の前記全体特徴量と、前記記憶手段に記憶された前記複数の物の各々の画像の前記全体特徴量とのそれぞれの距離を比較することで、前記クエリ画像に対応する前記対象物の特徴データを特定する特定手段と、
を備えた画像検索装置として機能させる画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物のクエリ画像に対応する特徴データを検索する画像検索システム、画像検索装置、及び画像検索プログラムに関する。
【背景技術】
【０００２】
従来より、大量の画像の中から特定の物体が含まれる画像を検索する技術として、特定物体認識技術がある。この技術を用いることで、例えば、ユーザがスマートフォンなどでポスターを撮影すると、そのポスターの画像をデータベース中から探索し、関連する情報をユーザに提示するというサービスを実現できる。また、この技術は、大量生産される複数の同種の部品の個体を識別する物体指紋認証（例えば、特許文献１及び特許文献２を参照）にも応用される。
【０００３】
特定物体認識の手法としては、Bag-of-visual word（以下、「ＢｏＶＷ」と記す。）やＶＬＡＤ（Vector of Locally Aggregated Descriptors：局所加算平均ベクトル）と呼ばれる、画像から抽出した複数の局所特徴量から画像全体の特徴を表す全体特徴量を計算する手法が知られている。
【０００４】
これらの手法は、大量の画像からあらかじめ計算した膨大な数の局所特徴量をクラスタリングして得られた複数のセントロイドを用いる。ＢｏＶＷでは、探索時には、クエリ画像から抽出された複数の局所特徴量を１つずつ、上記処理で得た複数のセントロイドのいずれに近いかを計算し、セントロイドごとに近いとされた局所特徴量の数を計算し、そのヒストグラムを画像の全体特徴量として用いる。ＶＬＡＤは、フィッシャベクトルと呼ばれる表現方法を簡素化したものであり、セントロイドごとに近いとされた局所特徴量と、そのセントロイドと局所特徴量との差分をすべて積算したベクトルを画像の全体特徴量として用いる。これらのＢｏＶＷ及びＶＬＡＤでは、１枚の画像を１つの特徴量に効率的に変換できることから、有用である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第６４０６５１２号公報
【特許文献２】特許第６４０６５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数の局所特徴量を組み合わせて全体特徴量とするＢｏＶＷ及びＶＬＡＤのような手法では、局所特徴量の位置の情報が失われてしまうという短所がある。この短所を改善するため、画像を複数の区画に区切り、場所ごとにＢｏＶＷやＶＬＡＤを計算し、それらを結合することで位置情報を全体特徴量に付加する手法も提案されている。
【０００７】
しかしながら、画像を複数の区画に区切る手法では、撮影対象の画角内の位置、姿勢、その他の被写体との位置関係が固定されていない場合には精度が悪化してしまう。その対策として、様々な区切り方を試したり、種々の条件で被写体を撮影したりすることで、精度を維持する方法が提案されている。この場合には、登録する部品の各個体について、複数の画像を登録する必要があり、データベースが肥大化する等の問題が生じる。
【０００８】
そこで、本発明は、対象物のクエリ画像に対応する特徴データを検索する画像検索システムにおいて、データベースの肥大化を抑えつつ局所特徴量の位置を利用できる画像検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様の画像検索システムは、対象物を撮影してクエリ画像を生成するクエリ画像生成手段と、前記対象物及び前記対象物と同種の物を含む複数の物の特徴データから、前記クエリ画像に対応する前記対象物の特徴データを検索する画像検索装置とを備えている。前記画像検索装置は、画像から複数の局所特徴量を抽出する局所特徴量抽出手段と、前記画像を複数の同心円で切り分けた複数の部分領域の各々について、前記部分領域に含まれる前記局所特徴量を用いて領域特徴量を生成する領域特徴量生成手段と、複数の前記領域特徴量を結合することで、前記画像の全体特徴量を生成する全体特徴量生成手段と、前記特徴データとして、前記複数の物の各々の画像の前記全体特徴量を記憶する記憶手段と、前記局所特徴量抽出手段、前記領域特徴量生成手段、及び前記全体特徴量生成手段を用いて生成された前記クエリ画像の前記全体特徴量と、前記記憶手段に記憶された前記複数の物の各々の画像の前記全体特徴量とのそれぞれの距離を比較することで、前記クエリ画像に対応する前記対象物の特徴データを特定する特定手段とを備えている。
【００１０】
この構成により、領域特徴量を生成するための複数の部分領域を、画像を複数の同心円で切り分けた領域としているので、物品の被撮像面が回転対称であったとしても、回転角ごとに特徴データを用意する必要がなく、対象物のクエリ画像に対応する特徴データを検索する画像検索システムにおいて、データベースの肥大化を抑えつつ局所特徴量の位置を利用することができる。
【００１１】
上記の画像検索システムにおいて、前記領域特徴量生成手段は、前記局所特徴量に対して前記部分領域ごとに設定された重みを付与して前記領域特徴量を生成してよく、前記全体特徴量生成手段は、重み付けされた前記複数の領域特徴量を結合して前記全体特徴量を生成してよい。
【００１２】
この構成により、特徴データが得られやすい領域の局所特徴量を重視して、検索を行うことができる。また、物体の特定に寄与しない部分領域については、重みを０とすることで無視することも可能である。
【００１３】
上記の画像検索システムにおいて、前記クエリ画像生成手段は、撮像をして前記クエリ画像を生成する撮像手段と、前記撮像手段の画角の中心と前記対象物の被撮像面の中心とが一致するように、前記撮像手段及び前記対象物を位置決めする位置決め手段とを備えていてよく、前記位置決め手段で位置決めされた状態で前記撮像手段により撮像を行うことで前記クエリ画像を生成してよく、前記記憶手段に記憶された前記複数の物の各々の画像の前記全体特徴量は、撮像手段の画角の中心と前記物の被撮像面の中心とが一致するようにして撮影された画像から得られたものであってよい。
【００１４】
この構成により、画像検索装置で検索可能なクエリ画像を容易に得ることができる。
【００１５】
上記の画像検索システムにおいて、前記位置決め手段は、前記画角と前記被撮像面との回転角が所定の値となるように、前記撮像手段及び／又は前記対象物を位置決めしてよい。
【００１６】
この構成により、被撮像面が回転対称でない場合にも、画像検索装置で検索可能なクエリ画像を容易に得ることができる。
【００１７】
本発明の一態様の画像検索装置は、対象物及び前記対象物と同種の物を含む複数の物の特徴データから、前記対象物を撮影して生成されたクエリ画像に対応する前記対象物の特徴データを検索する画像検索装置であって、画像から複数の局所特徴量を抽出する局所特徴量抽出手段と、前記画像を複数の同心円で切り分けた複数の部分領域の各々について、前記部分領域に含まれる前記局所特徴量を用いて領域特徴量を生成する領域特徴量生成手段と、複数の前記領域特徴量を結合することで、前記画像の全体特徴量を生成する全体特徴量生成手段と、前記特徴データとして、前記複数の物の各々の画像の前記全体特徴量を記憶する記憶手段と、前記局所特徴量抽出手段、前記領域特徴量生成手段、及び前記全体特徴量生成手段を用いて生成された前記クエリ画像の前記全体特徴量と、前記記憶手段に記憶された前記複数の物の各々の画像の前記全体特徴量とのそれぞれの距離を比較することで、前記クエリ画像に対応する前記対象物の特徴データを特定する特定手段とを備えている。
【００１８】
この構成によっても、領域特徴量を生成するための複数の部分領域を、画像を複数の同心円で切り分けた領域としているので、物品の被撮像面が回転対称であったとしても、回転角ごとに特徴データを用意する必要がなく、対象物のクエリ画像に対応する特徴データを検索する画像検索システムにおいて、データベースの肥大化を抑えつつ局所特徴量の位置を利用することができる。
【００１９】
本発明の一態様の画像検索プログラムは、コンピュータを、対象物及び前記対象物と同種の物を含む複数の物の特徴データから、前記対象物を撮影して生成されたクエリ画像に対応する前記対象物の特徴データを検索する画像検索装置であって、画像から複数の局所特徴量を抽出する局所特徴量抽出手段と、前記画像を複数の同心円で切り分けた複数の部分領域の各々について、前記部分領域に含まれる前記局所特徴量を用いて領域特徴量を生成する領域特徴量生成手段と、複数の前記領域特徴量を結合することで、前記画像の全体特徴量を生成する全体特徴量生成手段と、前記特徴データとして、前記複数の物の各々の画像の前記全体特徴量を記憶する記憶手段と、前記局所特徴量抽出手段、前記領域特徴量生成手段、及び前記全体特徴量生成手段を用いて生成された前記クエリ画像の前記全体特徴量と、前記記憶手段に記憶された前記複数の物の各々の画像の前記全体特徴量とのそれぞれの距離を比較することで、前記クエリ画像に対応する前記対象物の特徴データを特定する特定手段とを備えた画像検索装置として機能させる。
【００２０】
この構成によっても、領域特徴量を生成するための複数の部分領域を、画像を複数の同心円で切り分けた領域としているので、物品の被撮像面が回転対称であったとしても、回転角ごとに特徴データを用意する必要がなく、対象物のクエリ画像に対応する特徴データを検索する画像検索システムにおいて、データベースの肥大化を抑えつつ局所特徴量の位置を利用することができる。
【発明の効果】
【００２１】
本発明によれば、領域特徴量を生成するための複数の部分領域を、画像を複数の同心円で切り分けた領域としているので、物品の被撮像面が回転対称であったとしても、回転角ごとに特徴データを用意する必要がなく、対象物のクエリ画像に対応する特徴データを検索する画像検索システムにおいて、データベースの肥大化を抑えつつ局所特徴量の位置を利用することができる。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明の実施の形態の画像検索システムの構成を示す図である。
【図２】図２は、本発明の実施の形態の画像記録システムの構成を示す図である。
【図３】図３は、本発明の実施の形態の記録及び検索の対象となる物品の斜視図である。
【図４】図４は、本発明の実施の形態の記録及び検索の対象となる物品の平面図である。
【図５】図５は、本発明の実施の形態の位置決めされた撮像装置によって位置決めされた物品を撮影して得られる画像の例を示す図である。
【図６】図６は、本発明の実施の形態の複数の部分領域の例を示す図である。
【図７】図７は、本発明の実施の形態の画像記録システムによる画像記録方法のフロー図である。
【図８】図８は、本発明の実施の形態の画像検索システムによる画像検索方法のフロー図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
【００２４】
図１は、本発明の実施の形態の画像検索システムの構成を示す図である。画像検索システム１００は、画像検索装置１０と撮像システム２０とを備えている。本実施の形態の画像検索システム１００は、データベースに複数の同種の物品の画像の特徴データを記憶しておき、そのうちのいずれかの物品の画像を用いて、当該物品に対応する特徴データを特定する。図２は、本発明の実施の形態の画像記録システムの構成を示す図である。画像記録システム２００は、記録装置３０と撮像システム２０とを備えている。画像記録システム２００は、複数の物品の画像を撮影して、画像の特徴データを生成してデータベースに記録する。
【００２５】
本発明の実施の形態の画像記録システム２００と画像検索システム１００とを用いて、以下のような物品の追跡システムが構成される。すなわち、物品がある工業製品の部品である場合には、当該部品を製造した際に、画像記録システム２００を用いて、一つ一つの部品を撮影し、その画像の特徴データをデータベース１３に記録する。このとき、データベース１３には、各部品について、当該部品の画像の特徴データと当該部品の情報とを関連付けて記録する。
【００２６】
本実施の形態では、部品の情報として、部品の製造工場、製造ライン、製造日、加工情報等を含む製造に関する情報を記録する。すなわち、データベース１３には、複数の部品について、画像の特徴データと当該部品の製造情報とが関連付けて記録される。
【００２７】
ある部品に不具合が発見された場合には、当該部品を撮影して、その画像の特徴データを取得する。そして、その特徴データを用いて、データベース１３に記録された当該部品の特徴データを特定する。これにより、特定された特徴データに関連付けられている製造情報から、不具合が生じている部品の製造工場、製造ライン、製造日等を得ることができ、同条件で製造された部品に対する対応、製造条件の改善等の対応をすることが可能となる。
【００２８】
図３は、本実施の形態で記録及び検索の対象となる物品の斜視図である。また、図４は、本実施の形態で記録及び検索の対象となる物品の平面図である。この物品は一例にすぎず、本発明は、他の形状の物品にも適用できる。図３に示すように、この物品Ｐは、円盤形状、即ち円盤の中心軸Ａ１周りに回転対称の形状である。図３及び図４に示されるように、部品Ｐの表面を拡大すると、個々に表面の凹凸が微妙に違い、異なる紋様パターンが観察される。なお、図３及び図４では紋様パターンを強調して描かれているが、紋様パターンは実際には目視では確認できない程度に小さく細かいものである。
【００２９】
以下、画像検索システム１００及び画像記録システム２００のそれぞれについて、その構成及び動作を説明する。まず、画像記録システム２００は、撮像システム２０と、画像記録装置３０とを備えている。撮像システム２０は、撮像装置２１と、位置決め機構２２とを備えている。位置決め機構２２は、物品Ｐを位置決めして固定する固定部２２１と、撮像装置２１を位置決めして固定する固定部２２２とを備えている。撮像装置２１で物品Ｐを撮影する際には、撮像装置２１を固定部２２２に固定して、物品Ｐを固定部２２１に固定する。
【００３０】
撮像システム２０では、撮像装置２１の画角内の所定の点と、物品Ｐの所定の点とが一致するように、撮像装置２１と物品Ｐとを位置決めする。これにより、画像における所定の点に物品Ｐの所定の点が位置することが保証される。本実施の形態では、撮像システム２０では、撮像装置２１の光軸Ａ２が、物品Ｐの回転対称軸Ａ１と一致するように撮像装置２１及び物品Ｐが位置決めされる。製造された部品Ｐは順に位置決め機構２２にセットされ、撮像装置２１はセットされた部品Ｐを順に撮影し、撮影により生成した画像が順に画像記録装置３０に出力される。
【００３１】
図５は、位置決めされた撮像装置によって位置決めされた物品を撮影して得られる画像の例を示す図である。図５に示すように、撮影された画像において、画像の中心と物体Ｐの中心とが一致している。なお、物体Ｐの被撮像面が回転対称でない場合には、撮像時には、固定部２２１の設計及び固定部２２１への物品Ｐの設置の仕方によって、光軸Ａ２周りの物体Ｐの回転角を一定にできる。
【００３２】
しかしながら、物品Ｐの回転対称の形状を有する場合には、その回転対称の軸Ａ１と撮像装置２１の光軸Ａ２とを一致させたとしても、その回転角を一定にすることができない。よって、本実施の形態によらない場合には、データベースに、各物品について回転角ごとに特徴データを記録しなければならない。あるいは、検索対象の物品について回転角ごとに得られた複数の画像を用いて複数回の検索を行わなければならない。これに対して、本実施の形態によれば、以下に説明する構成を有するので、物体Ｐの被撮像面が回転対称であったとしても、データベースを肥大化することなく、また、回転角ごとの複数回の検索を行わなくても、検索対象の検索を行うことができる。
【００３３】
撮像装置２１は、光学系、撮像素子、画像処理装置を備えたデジタルカメラであり、撮影によって画像を生成する。光学系及び撮像素子は、物品Ｐの紋様パターンを明確に認識できる程度の解像度の画像を生成できるよう設計されたものである。
【００３４】
図２に示すように、画像記録装置３０は、特徴抽出部１１とデータベース１３とを備えており、撮像装置２１から順に入力される画像について、特徴抽出部１１で特徴データを抽出して、その製造情報と関連付けて記録していく。
【００３５】
特徴量抽出部１１は、局所特徴量抽出部１１１と、領域特徴量生成部１１２と、全体特徴量生成部１１３とを備えている。局所特徴量抽出部１１１には、撮像装置２１で生成された画像が入力される。局所特徴量抽出部１１１は、入力された画像から複数の局所特徴量を抽出する。局所特徴量として、ＨＯＧ、ＳＩＦＴ、ＳＵＲＦ等の既知の局所特徴量を採用してよい。
【００３６】
領域特徴生成部１１２は、画像を、画像の中心を中心とする複数の同心円で切り分けた複数の部分領域に分割して、各局所特徴量がどの部分領域に属するかを判断する。上記のように、位置決め機構２２によって、画像における所定の点に物品Ｐの所定の点が位置することが保証されるが、領域特徴生成部１１２は、この画像における所定の点を複数の同心円の中心とする。本実施の形態では、画像の中心がこの所定の点とされているので、画像の中心が複数の同心円の中心とされる。領域特徴生成部１２は、複数の部分領域の各々について、部分領域に含まれる局所特徴量を用いて領域特徴量を生成する。この領域特徴量として、ＢｏＶＷやＶＬＡＤを採用してよい。
【００３７】
図６は、複数の部分領域の例を示す図である。この例では、画像の中心Ｃ０を中心とする３つの同心円Ｃ１、Ｃ２、Ｃ３によって、部分領域として、円領域（４）、ドーナツ状領域（３）、ドーナツ状領域（２）、及びその外側の領域（１）が設定されている（図６では、領域（１）〜（４）がそれぞれ丸囲みの数字で表されている）。領域特徴生成部１１２は、これらの部分領域（１）〜（４）の各々について、ＢｏＶＷやＶＬＡＤのような領域特徴量を生成する。
【００３８】
領域特徴生成部１１２は、最初にデータベース１３を構築する場合には、複数の画像について、部分領域ごとに局所特徴量をクラスタリングすることでセントロイドを求めた上で、各画像について、ＢｏＶＷやＶＬＡＤのような領域特徴量を計算する。その後は、画像から得られた複数の局所特徴量について、すでに求められているセントロイドに従って、領域特徴量を生成する。このとき、部分領域ごとにではなく、複数の画像の各々の画像全体から作った複数の局所特徴量をクラスタリングしてセントロイドを求めてもよい。
【００３９】
全体特徴量生成部１１３は、領域特徴生成部１１２で部分領域ごとに生成された領域特徴量を結合して、画像全体の特徴を１つのベクトルで表す全体特徴量を生成する。このように、特徴量抽出部１１では、局所特徴量抽出部１１１で製造された部品の画像を順次入力して、全体特徴量生成部１１３から、順次当該画像の全体特徴量を特徴データとして出力する。
【００４０】
データベース１３は、画像の特徴データとしての全体特徴量をその部品の製造情報と関連付けて記録する。製造情報は、部品の製造を管理するコンピュータから取得される。
【００４１】
図１に示すように、画像検索システム１００は、画像検索装置１０と、撮像システム２０とを備えている。画像検索装置１０は、特徴抽出部１１と、特定部１２と、データベース１３とを備えている。データベース１３は、画像記録装置３０によって構築ないし更新されたデータベースである。
【００４２】
特徴抽出部１１は、画像記録装置３０の特徴抽出部１１と同じ構成を有し、同じ動作をする。この画像検索装置１０の特徴抽出部１１として画像記録装置３０の特徴抽出部１１自体を用いてもよいし、同じ構成の別装置を用いてもよい。また、撮像システム２０も、画像記録システム２００の撮像システム２０と同じ構成を有し、同じ動作をする。この画像検索システム１００の撮像システム２０として、画像記録システム２００の撮像システム２０自体を用いてもよいし、同じ構成の別装置を用いてもよい。
【００４３】
画像検索システム１００の撮像システム２０では、データベースに特徴データが記録された物品Ｐであって、不具合が見つかった等の理由により製造情報を得たい物品Ｐを撮影して画像を得る。この画像をクエリ画像という。画像検索装置１０の特徴抽出部１１は、クエリ画像から特徴データ（全体特徴量）を抽出する。
【００４４】
特定部１２は、特徴量抽出部１１で抽出されたクエリ画像の特徴データ（即ち、全体特徴量）と、データベース１３に記憶された複数の物品の各々の全体特徴量とのそれぞれの距離を比較することで、クエリ画像に対応する特徴データを特定する。この特徴データの特定には、例えば、ヒストグラムインタセクション等の既知の技術を採用できる。そして、特定部１２は、特定された特徴データに関連付けられている当該物品の情報（本実施の形態では、製造情報）を出力する。
【００４５】
なお、上記の特徴抽出部１１及び特定部１２は、コンピュータプログラムによって実現されてよい。すなわち、プロセッサ、メモリ等を備えた汎用のコンピュータが、特徴抽出プログラム、特定プログラム、ないしはそれらを合わせた画像検索プログラムを実行することで、特徴抽出部１１や特定部１２が構成されてもよい。
【００４６】
図７は、画像記録システム２００による画像記録方法のフロー図である。画像記録方法では、順次製造される物品Ｐの各々について、製造順に図７に示すフローを実行する。まず、物品Ｐを撮像位置にセットする（ステップＳ１１）。このとき、製造工程において、ロボットアーム、その他の搬送装置等を利用することで、物品Ｐを撮像位置にセットするようにしてよい。次に、撮像装置２１を用いて、セットされた物品Ｐを撮影し、得られた画像を画像記録装置３０に出力する（ステップＳ１３）。
【００４７】
次に、局所特徴量抽出部１１１は、画像から複数の局所特徴量を抽出する（ステップＳ１３）。そして、領域特徴量生成部１１２は、複数の同心円によって区切られた複数の部分領域について、複数の局所特徴量を用いてＢｏＶＷ、ＶＬＡＤ等の領域特徴量を生成する（ステップＳ１４）。そして、全体特徴量生成部１１３は、複数の領域特徴量を結合して全体特徴量を生成し（ステップＳ１５）、この全体特徴量を当該物品Ｐの特徴データとして、当該物品Ｐの製造情報とともにデータベース１３に記録する（ステップＳ１６）。
【００４８】
そして、終了するか否かを判断し（ステップＳ１７）、次の物品Ｐがない場合には終了し、次の物品Ｐがある場合には、最初から処理を繰り返す。このようにして、順次製造される物品Ｐについて、その特徴データと製造情報とを関連付けたデータベース１３が更新される。なお、図７の例では、各物品Ｐについて、撮影からデータベースまでの記録を連続して行っているが、これに代えて、複数の物品Ｐについて、順に撮影のみを行って、画像を用意し、その後に複数の画像について特徴データを抽出してデータベース１３を構築又は更新してよい。
【００４９】
図８は、画像検索システム１００による画像検索方法のフロー図である。不良部品が発見されてその製造情報を知りたい場合、無作為に抜き取った部品の製造情報を知りたい場合、又はすべての部品の製造情報を知りたい場合には、まず、当該部品を撮影位置にセットする（ステップＳ２１）。そして、撮像装置２１で、セットされた部品を撮影してクエリ画像を取得する（ステップＳ２２）。局所特徴量抽出部１１１は、クエリ画像から複数の局所特徴量を抽出する（ステップＳ２３）。領域特徴量生成部１１２は、複数の同心円によって区切られた複数の部分領域について、複数の局所特徴量を用いてＢｏＶＷ、ＶＬＡＤ等の領域特徴量を生成する（ステップＳ２４）。なお、このときの部分領域の区切り方は、画像記録装置３０の領域特徴量生成部１１２における部分領域の区切り方と同じである。
【００５０】
次に、全体特徴量生成部１１３は、複数の領域特徴量を結合して全体特徴量を生成し、これを特徴データとして特定部１２に出力する（ステップＳ２５）。特定部１２は、特徴抽出部１１から得たクエリ画像の特徴データと、データベース１３に記憶されている複数の特徴データとの各々の距離を計算し、最も距離が近い特徴データを特定し（ステップＳ２６）、その特徴データに関連付けられている製造情報を出力する。
【００５１】
以上のように、本実施の形態の画像検索システムによれば、物品Ｐの被撮像面の回転対称軸Ａ１と撮像装置２１の光軸（画角の中心）Ａ２とが一致するように物品Ｐと撮像装置２１とを位置決めして撮影を行うとともに、得られた画像を、画像の中心を中心とする複数の同心円で切り分けた複数の部分領域に分割して、そのような部分領域ごとに領域特徴量を生成するので、物品Ｐの被撮像面が回転対称（典型的には円形状）であったとしても、回転角ごとに特徴データを用意する必要がなくなり、データベースの肥大化を避けることができる。
【００５２】
上記の実施の形態は、一例にすぎず、種々の変形が可能である。一つの変形例として、領域特徴量生成部１１２が扱う複数の部分領域の各々に重みが設定されてもよい。この場合には、領域特徴量生成部１１２は、局所特徴量に対して部分領域ごとに設定された重みを付与して、各部分領域の領域特徴量を生成し、全体特徴量生成部１１３は、重み付けされた複数の領域特徴量を結合して全体特徴量を生成する。これによって、特徴抽出部１１では、検索に貢献しやすい部分領域を重点的に評価するような特徴データを生成することができる。
【００５３】
重みは、１以下であってもよく、物体の特定に寄与しない部分領域については、重みを０とすることで無視することも可能である。例えば、図６の例において、領域（１）は、重みを０として無視してもよい。
【産業上の利用可能性】
【００５４】
本発明は、対象物のクエリ画像に対応する特徴データを検索する画像検索システムにおいて、データベースの肥大化を抑えつつ局所特徴量の位置を利用することができるという効果を有し、対象物のクエリ画像に対応する特徴データを検索する画像検索システム等として有用である。
【符号の説明】
【００５５】
１０  画像検索装置
１１  特徴抽出部
１２  特定部
１３  データベース
２０  撮像システム
２１  撮像装置
２２  位置決め機構
３０  画像記録装置
１００  画像検索システム
１１１  局所特徴量抽出部
１１２  領域特徴量生成部
１１３  全体特徴量生成部
２２１  固定部
２２２  固定部
【図１】
2020190794.tif 000003
【図２】
2020190794.tif 000004
【図３】
2020190794.tif 000005
【図４】
2020190794.tif 000006
【図５】
2020190794.tif 000007
【図６】
2020190794.tif 000008
【図７】
2020190794.tif 000009
【図８】
2020190794.tif 000010