(57)【要約】【課題】画像認識を行う際のリソースの消費を低減すること【解決手段】基準画像の特徴を解析し、基準画像の複数の特徴量を算出する基準画像側算出部と、基準画像側算出部により算出された基準画像の複数の特徴量に基づき、値が下位の基準画像の特徴量を、基準画像の特徴量のデータ量よりもデータ量の小さい代替データで置換した特徴量データ群を生成する特徴量データ群生成部と、対象画像の特徴を解析して対象画像の特徴量を算出する対象画像側算出部と、対象画像算出部により算出された対象画像の特徴量と、特徴量データ群とを比較することにより、基準画像における点と対象画像における点とを対応付けるマッチング部とを備える。【選択図】図２
2014142797.tif 000002
【特許請求の範囲】
【請求項１】
対象画像中に含まれる基準画像の位置を認識する画像認識装置であって、
前記基準画像の特徴を解析し、基準画像の複数の特徴量を算出する基準画像側算出部と、
前記基準画像側算出部により算出された基準画像の複数の特徴量に基づき、値が下位の基準画像の特徴量を、基準画像の特徴量のデータ量よりもデータ量の小さい代替データで置換した特徴量データ群を生成する特徴量データ群生成部と、
前記対象画像の特徴を解析して対象画像の特徴量を算出する対象画像側算出部と、
前記対象画像算出部により算出された対象画像の特徴量と、前記特徴量データ群とを比較することにより、前記基準画像における点と前記対象画像における点とを対応付けるマッチング部と、
を備える画像認識装置。
【請求項２】
請求項１記載の画像認識装置であって、
前記基準画像側算出部は、前記基準画像に含まれる所定の性質を有する点を抽出し、該抽出した点毎に所定のラベルデータをラベルとする基準画像の複数の特徴量を算出し、
前記対象画像側算出部は、前記対象画像に含まれる所定の性質を有する点を抽出し、該抽出した点毎に前記所定のラベルデータに対応する値を前記対象画像の特徴量として算出し、
前記マッチング部は、前記対象画像算出部により抽出された対象画像上の点および算出された対象画像の特徴量を用いて前記特徴量データ群を検索し、前記所定のラベルデータ同士が合致する前記基準画像の特徴量のうち最大値に対応する前記基準画像上の点と、前記対象画像上の点とを対応付ける、
画像認識装置。
【請求項３】
対象画像中に含まれる基準画像の位置を認識するためのデータを提供する画像認識用データ提供装置であって、
前記基準画像の特徴を解析し、基準画像の複数の特徴量を算出する基準画像側算出部と、
前記基準画像側算出部により算出された基準画像の複数の特徴量に基づき、値が下位の基準画像の特徴量を、基準画像の特徴量のデータ量よりもデータ量の小さい代替データで置換した特徴量データ群を生成する特徴量データ群生成部と、
前記特徴量データ群生成部により生成された特徴量データ群を他装置に送信する送信部と、を備える画像認識用データ提供装置。
【請求項４】
対象画像中に含まれる基準画像の位置を認識する画像認識装置が、
前記基準画像の特徴を解析して基準画像の複数の特徴量を算出し、
前記算出された基準画像の複数の特徴量に基づき、値が下位の基準画像の特徴量を、基準画像の特徴量のデータ量よりもデータ量の小さい代替データで置換した特徴量データ群を生成し、
前記対象画像の特徴を解析して対象画像の特徴量を算出し、
前記算出された対象画像の特徴量と、前記特徴量データ群とを比較することにより、前記基準画像における点と前記対象画像における点とを対応付ける、
画像認識方法。
【請求項５】
対象画像中に含まれる基準画像の位置を認識する画像認識装置に、
前記基準画像の特徴を解析して基準画像の複数の特徴量を算出させ、
前記算出された基準画像の複数の特徴量に基づき、値が下位の基準画像の特徴量を、基準画像の特徴量のデータ量よりもデータ量の小さい代替データで置換した特徴量データ群を生成させ、
前記対象画像の特徴を解析して対象画像の特徴量を算出させ、
前記算出された対象画像の特徴量と、前記特徴量データ群とを比較することにより、前記基準画像における点と前記対象画像における点とを対応付けさせる、
画像認識プログラム。
【請求項６】
対象画像中に含まれる基準画像の位置を認識するためのデータを提供する画像認識用データ提供装置が、
前記基準画像の特徴を解析して基準画像の複数の特徴量を算出し、
前記算出された基準画像の複数の特徴量に基づき、値が下位の基準画像の特徴量を、基準画像の特徴量のデータ量よりもデータ量の小さい代替データで置換した特徴量データ群を生成し、
前記生成された特徴量データ群を他装置に送信する、
画像認識用データ提供方法。
【請求項７】
対象画像中に含まれる基準画像の位置を認識するためのデータを提供する画像認識用データ提供装置に、
前記基準画像の特徴を解析して基準画像の複数の特徴量を算出させ、
前記算出された基準画像の複数の特徴量に基づき、値が下位の基準画像の特徴量を、基準画像の特徴量のデータ量よりもデータ量の小さい代替データで置換した特徴量データ群を生成させ、
前記生成された特徴量データ群を他装置に送信させる、
画像認識用データ提供プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識用データ提供装置、画像認識方法、画像認識プログラム、画像認識用データ提供方法、および画像認識用データ提供プログラムに関する。
【背景技術】
【０００２】
ある画像の中に、予め登録された画像が写っていないかを探索する技術が知られている。非特許文献１の技術によれば、予め登録した画像からキーポイントとキーポイント毎の特徴量を学習しておくことによって、複雑な演算を使うことなく画像認識／探索を行うことができる。複雑な演算をせずに画像の認識／探索ができるので、高速に処理を行うことが可能になる。
【０００３】
また、非特許文献２の技術によれば、登録する画像が斜めの角度になって写りこんでいても頑健に画像を検出することが可能になる。
【０００４】
こうした技術を用いて、映像の中から特定の画像の写りこみを探すことなどが可能となり、交通標識の自動認識などに応用されることもある。また複雑な演算を用いずに画像の認識／探索ができるので、据え置き型のパソコンなどの演算機はもちろんであるが、スマートフォンなどのモバイル機器のような演算処理能力が限られた機器でも画像認識が可能となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】V.Lepetit  and  P.Fua:“Keypoint  recognition  using  randomized  trees”,  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,28,9,pp.1465―1479  (2006).
【非特許文献２】西村孝,清水彰一,藤吉弘亘:“2段階のRandomized  Treesを用いたキーポイントの分類”,MIRU2010
【非特許文献３】E.Rosten  and  T.Drummond:  “Machine  learning  for  high-speed  corner  detection”,  In  European  Conference  on  Computer  Vision,pp.430―443  (2006).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の技術を実施するには、画像認識を行う機器のメモリに、あらかじめ学習した結果を記憶しておく必要がある。スマートフォンなどのモバイル機器を用いて画像認識を行うためには、学習結果を記憶したファイルをモバイル機器に予めダウンロードする必要がある。モバイル機器の回線などを用いてダウンロードすることはできるが、ファイルサイズが大きいとダウンロードに時間がかかり、利便性が低い。
【０００７】
また認識したい画像の枚数が増えると、機器に必要なメモリの量も増えてしまう。特にモバイル機器のような、メモリの量が限られている機器で画像の認識を行おうとすると、認識可能な枚数が少なくなってしまう。
【０００８】
本発明は、このような事情を考慮してなされたものであり、画像認識を行う際のリソースの消費を低減することが可能な画像認識装置を提供することを目的の一つとする。
【課題を解決するための手段】
【０００９】
本発明の一態様は、対象画像中に含まれる基準画像の位置を認識する画像認識装置であって、前記基準画像の特徴を解析し、基準画像の複数の特徴量を算出する基準画像側算出部と、前記基準画像側算出部により算出された基準画像の複数の特徴量に基づき、値が下位の基準画像の特徴量を、基準画像の特徴量のデータ量よりもデータ量の小さい代替データで置換した特徴量データ群を生成する特徴量データ群生成部と、前記対象画像の特徴を解析して対象画像の特徴量を算出する対象画像側算出部と、前記対象画像算出部により算出された対象画像の特徴量と、前記特徴量データ群とを比較することにより、前記基準画像における点と前記対象画像における点とを対応付けるマッチング部と、を備える画像認識装置。
【発明の効果】
【００１０】
本発明の一態様によれば、画像認識を行う際のリソースの消費を低減することができる。この結果、メモリの容量が限られている機器においても、複数の画像の学習結果を保持しておくことが可能になり、複数の画像を高速に画像認識することが可能になる。また、画像認識に必要なデータをダウンロードする場合、ダウンロードに要する時間を短縮することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の画像認識装置１の構成の一例を示す構成図である。
【図２】第１実施形態の画像認識装置１による処理の概要を示す模式図である。
【図３】マーカー画像処理段階におけるキーポイントの抽出処理（図２のステップＳ１０３の処理）の流れを示すフローチャートの一例である。
【図４】マーカー画像処理段階における特徴量の算出処理（図２のステップＳ１０４の処理）の流れを示すフローチャートの一例である。
【図５】特徴量ビット列を生成する手法を模式的に示す図である。
【図６】特徴量データ群（置換前）*が生成される過程を示す図である。
【図７】特徴量データ群（置換前）*にアフィン逆変換が行われ、特徴量データ群（置換前）に反映される様子を模式的に示す図である。
【図８】特徴量データ群（置換前）を例示した図である。
【図９】特徴量データ群（置換後）の生成処理（図２のステップＳ１０５の処理）の流れを示すフローチャートの一例である。
【図１０】要素が書き換えられた特徴量データ群（置換前）から、値が下位のデータが代替データεで置換されて、特徴量データ群（置換後）が生成される様子を模式的に示す図である。
【図１１】クエリ画像処理段階におけるビット列生成処理（図２におけるステップＳ１０８の処理）の流れを示すフローチャートの一例である。
【図１２】特徴量マッチング処理（図２におけるステップＳ１０９の処理）の流れを示すフローチャートの一例である。
【図１３】ステップＳ６０２〜Ｓ６０４の処理が行われる様子を模式的に示す図である。
【図１４】マーカー画像処理段階において、ランダム比較子が複数セット生成され、これに基づいて特徴量データ群が生成される様子を模式的に示す図である。
【図１５】ランダム比較子のセットＳ１およびＳ２のそれぞれについて生成された特徴量データ群を例示した図である。
【図１６】第２実施形態に係る画像認識用データ提供装置２および画像認識装置３（画像認識システム）の構成の一例を示す構成図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照し、本発明の画像認識装置、画像認識用データ提供装置、画像認識方法、および画像認識プログラムの実施形態について説明する。本発明の画像認識装置は、処理の対象画像であるクエリ画像の中に、予め登録されたマーカー画像（基準画像）が含まれているかどうかを探索し、含まれている場合はその位置を特定する処理を行う。
【００１３】
＜第１実施形態＞
〔概略〕
図１は、第１実施形態の画像認識装置１の構成の一例を示す構成図である。画像認識装置１は、マーカー画像処理部１０と、クエリ画像処理部２０と、表示部３０と、記憶部７０とを備える。マーカー画像処理部１０は、マーカー画像入力部１１と、キーポイント抽出部１２と、特徴量算出部１３と、特徴量データ群生成部１４とを備える。また、クエリ画像処理部２０は、クエリ画像入力部２１と、キーポイント抽出部２２と、ビット列生成部２３と、特徴量マッチング部２４とを備える。
【００１４】
マーカー画像入力部１１は、マーカー画像の入力を受け付け、記憶部７０のマーカー画像記憶部７１に格納する。マーカー画像入力部１１は、例えば、マウスやキーボードなどの入力デバイス、ＣＤ（Compact  Disc）やＤＶＤ（Digital  Versatile  Disc）、ＵＳＢ（Universal  Serial  Bus）メモリなどの可搬型記憶装置が装着されるドライブ装置、他装置から画像データを受信する通信装置などを含む。キーポイント抽出部１２は、マーカー画像に含まれる所定の性質を有する点（キーポイント）を抽出する。特徴量算出部１３は、キーポイント毎の特徴量を算出する。特徴量データ群生成部１４は、キーポイント毎の特徴量に基づき、特徴量データ群を生成して記憶部７０の特徴量データ群記憶部７２に格納する。
【００１５】
クエリ画像入力部２１は、クエリ画像の入力を受け付け、記憶部７０のクエリ画像記憶部７３に格納する。クエリ画像入力部２１は、マーカー画像入力部１１と同様、マウスやキーボードなどの入力デバイス、ＣＤやＤＶＤ、ＵＳＢメモリなどの可搬型記憶装置が装着されるドライブ装置、他装置から画像データを受信する通信装置などを含む。マーカー画像入力部１１とクエリ画像入力部２１は同じハードウェアであってもよいし、後述する第２実施形態のように、別のハードウェアであってもよい。キーポイント抽出部２２は、クエリ画像に含まれる所定の性質を有する点（キーポイント）を抽出する。ビット列生成部２３は、キーポイント毎に対応するビット列を生成し、クエリ画像ビット列対応表記憶部７４に記憶させる。特徴量マッチング部２４は、クエリ画像ビット列対応表と特徴量データ群を比較することにより、マーカー画像のキーポイントとクエリ画像のキーポイントを対応付け、更に透視投射変換などをおこなって変換結果を表示部３０に表示させる。
表示部３０は、例えばＬＣＤ（Liquid  Crystal  Display）や有機ＥＬ（Electroluminescence）表示装置などの表示装置である。記憶部７０は、上記のように、マーカー画像記憶部７１、特徴量データ群記憶部７２、クエリ画像記憶部７３、クエリ画像ビット列対応表記憶部７４などを備える。
【００１６】
図２は、第１実施形態の画像認識装置１による処理の概要を示す図である。画像認識装置１による処理は、マーカー画像処理段階と、クエリ画像処理段階に分けられる。マーカー画像処理段階と、クエリ画像処理段階は１対１の関係にある必要は無く、一度マーカー画像処理段階が行われて特徴量データ群（置換後）が作成されると、これを用いて複数回クエリ画像処理段階が行われるといった利用態様があり得る。
【００１７】
マーカー画像処理段階において、マーカー画像入力部１１がマーカー画像の入力を受け付け（ステップＳ１０１）、入力されたマーカー画像の登録を行う（ステップＳ１０２）。次に、キーポイント抽出部１２が、登録されたマーカー画像のキーポイントの抽出を行い（ステップＳ１０３）、特徴量算出部１３が、抽出したキーポイント毎の複数の特徴量を算出する（ステップＳ１０４）。そして、特徴量データ群生成部１４が、キーポイント毎の複数の特徴量から値が下位のものを代替データに置換した特徴量データ群（置換後）を生成する（ステップＳ１０５）。
【００１８】
クエリ画像処理段階において、クエリ画像入力部２１がクエリ画像の入力を受け付ける（ステップＳ１０６）。次に、キーポイント抽出部２２が、入力されたクエリ画像のキーポイントの抽出を行い（ステップＳ１０７）、ビット列生成部２３が、抽出したキーポイント毎にビット列を生成する（ステップＳ１０８）。そして、特徴量マッチング部２４が、クエリ画像から得た特徴量データ群と、マーカー画像から得たビット列とをマッチングして、キーポイント同士の組み合わせとして最も可能性の高いものを選び出す（ステップＳ１０９）。また、特徴量マッチング部２４は、マッチングしたキーポイント同士の情報からクエリ画像内に写るマーカー画像の透視投影変換を推定する（ステップＳ１１０）。そして、特徴量マッチング部２４が、推定された変換情報を表示部３０に表示させる（ステップＳ１１１）。特徴量マッチング部２４は、クエリ画像内に含まれるマーカー画像に枠を表示してもよいし、マーカー画像の領域に別の画像を重畳表示してもよいし、映像を重畳表示しても良い。
【００１９】
〔マーカー画像処理段階〕
以下、図２に示す各ステップの処理のうち、マーカー画像処理段階の処理について説明する。マーカー画像処理段階の処理は、例えば、マーカー画像処理部１０によって、マーカー画像入力部１１、キーポイント抽出部１２、特徴量算出部１３、特徴量データ群生成部１４が呼び出されることにより進行する。
【００２０】
［キーポイントの抽出（マーカー画像処理段階）］
図３は、マーカー画像処理段階におけるキーポイントの抽出処理（図２のステップＳ１０３の処理）の流れを示すフローチャートの一例である。図３のフローチャートの処理は、キーポイント抽出部１２により実行される。
【００２１】
まず、キーポイント抽出部１２は、キーポイントの抽出を行う対象となるマーカー画像を、マーカー画像記憶部７１から取得し（ステップＳ２０１）、ステップＳ２０３〜Ｓ２０６の繰り返し処理を開始する（ステップＳ２０２）。
【００２２】
キーポイント抽出部１２は、取得したマーカー画像に対し、ランダムに決定される行列を用いてアフィン変換を行う（ステップＳ２０３）。次に、キーポイント抽出部１２は、アフィン変換を行ったマーカー画像からキーポイントを検出する（ステップＳ２０４）。ステップＳ２０４の処理は、例えば、上記＜非特許文献３＞に記載されたコーナー検出手法に基づいて行うことができる。この場合、キーポイント抽出部１２は、画像上の一点αと、その一点を囲む複数点を選び、複数点のうち、αよりも強度が閾値以上高いものが所定数以上連続している場合、或いはαよりも強度が閾値以上低いものが所定数以上連続している場合に、αをキーポイントとして検出する。キーポイント抽出部１２は、係る処理を、画像上の全ての点について行う。キーポイント抽出部１２は、無制限にキーポイントを検出するのではなく、例えば、所定数を限界としてキーポイントを検出してもよいし、強度が上位のキーポイントを選抜してもよい。キーポイント抽出部１２は、キーポイントを検出すると、ステップＳ２０３におけるアフィン変換の逆変換を行い（ステップＳ２０５）、キーポイントをマーカー画像上に投票する（ステップＳ２０６）。ステップＳ２０３、Ｓ２０５でアフィン変換および逆変換を行うことにより、画像が回転、拡大縮小されて撮影された場合にも同じキーポイントが抽出されるようにし、マーカー画像の方向（マーカー画像が撮影画像であれば、撮影方向）に対するロバスト性を持たせることができる。
【００２３】
キーポイント抽出部１２は、所定の終了条件が満たされると、ステップＳ２０３〜Ｓ２０６の繰り返し処理を終了する（ステップＳ２０７）。所定の終了条件は、例えば、単に繰り返し回数が所定回数（例えば５０００回など）と設定されてもよいし、所定個数（例えば２００個）のキーポイントが所定数（例えば１００）以上の投票を受けたことなどと設定されてもよい。
【００２４】
繰り返し処理が終了すると、キーポイント抽出部１２は、投票された全てのキーポイントに基づいて、抽出されるキーポイントを決定する（ステップＳ２０８）。キーポイント抽出部１２は、例えば、投票された全てのキーポイントのから、投票数が上位のキーポイントを所定個数（例えば２００個）選び出す。
【００２５】
［特徴量の算出（マーカー画像処理段階）］
図４は、マーカー画像処理段階における特徴量の算出処理（図２のステップＳ１０４の処理）の流れを示すフローチャートの一例である。図４のフローチャートの処理は、特徴量算出部１３により実行される。
【００２６】
まず、特徴量算出部１３は、ランダム比較子を複数個生成する（ステップＳ３０１）。ランダム比較子は、所定のサイズおよび形状（例えば３２×３２画素程度の正方形）内の位置を２つ１組で選択したものである。選択された位置には、いずれかが１番目、他方が２番目という識別情報が付されている。ランダム比較子は、任意の個数および任意のセット分、生成してよいが、以下の説明では第１のランダム比較子〜第３のランダム比較子の３個生成するものとする。
【００２７】
次に、特徴量算出部１３は、ステップＳ３０３〜Ｓ３０９の繰り返し処理を開始する（ステップＳ３０２）。特徴量算出部１３は、キーポイントが決定されたマーカー画像に対し、ランダムに決定される行列を用いてアフィン変換を行う（ステップＳ３０３）。この結果、各キーポイントの座標がアフィン変換によって別の座標に変換される。以下、「*」が付されている文字や記号は、アフィン変換されたものであることを示す。
【００２８】
次に、特徴量算出部１３は、マーカー画像上のキーポイント*毎の繰り返し処理を開始する（ステップＳ３０４）。特徴量算出部１３は、アフィン変換後の画像から、選択されたキーポイント*を中心として所定のサイズおよび形状（ランダム比較子と同じサイズが好ましく、例えば３２×３２画素程度の正方形）のパッチ画像を切り出す（ステップＳ３０５）。
【００２９】
次に、特徴量算出部１３は、パッチ画像とランダム比較子を用いて特徴量ビット列を生成する（ステップＳ３０６）。図５は、特徴量ビット列を生成する手法を模式的に示す図である。図５に示す各パッチ画像Ｐは同じものであるが、説明のために３つに分けて示した。特徴量算出部１３は、パッチ画像Ｐにおける第１のランダム比較子の１番目の位置の輝度Ｌ１（１）が２番目の位置の輝度Ｌ１（２）よりも高い値であれば１を、逆であれば０を、最上位ビットにセットする。特徴量算出部１３は、パッチ画像Ｐにおける第２のランダム比較子の１番目の位置の輝度Ｌ２（１）が２番目の位置の輝度Ｌ２（２）よりも高い値であれば１を、逆であれば０を、２番目のビットにセットする。特徴量算出部１３は、パッチ画像Ｐにおける第３のランダム比較子の１番目の位置の輝度Ｌ３（１）が２番目の位置の輝度Ｌ３（２）よりも高い値であれば１を、逆であれば０を、３番目のビット（最下位ビット）にセットする。このように生成される特徴量ビット列は、「０００」〜「１１１」の値をとり得るものとなる。
【００３０】
特徴量算出部１３は、生成した特徴量ビット列を、特徴量データ群記憶部７２に記憶される特徴量データ群（置換前）*に反映させる（ステップＳ３０７）。図６は、特徴量データ群（置換前）*が生成される過程を示す図である。図６は、キーポイント*毎の繰り返し処理の１回目が終了し、１番目のキーポイント*に対して生成された特徴量ビット列が「１０１」であった状態を示している。なお、この時点における各キーポイントは、ステップＳ３０３においてアフィン変換が行われたものであるため、図４のフローチャート全体において集計される特徴量データ群（置換前）の全体データとは別に集計される。特徴量算出部１３は、全てのキーポイントに対してステップＳ３０５〜Ｓ３０７の処理を行うと、キーポイント毎の繰り返し処理を終了する（ステップＳ３０８）。
【００３１】
特徴量算出部１３は、キーポイント*毎の繰り返し処理を終了すると、特徴量データ群（置換前）*における各キーポイント*に対してアフィン逆変換を行い、特徴量データ群（置換前）の全体データに反映させる（ステップＳ３０９）。なお、係る処理の流れに代えて、特徴列ビット列を生成した後にキーポイント*に対してアフィン逆変換を行い、そのまま特徴量データ群（置換前）の全体データに反映させてもよい。図７は、特徴量データ群（置換前）*にアフィン逆変換が行われ、特徴量データ群（置換前）に反映される様子を模式的に示す図である。
【００３２】
特徴量算出部１３は、所定の終了条件が成立すると、ステップＳ３０３〜Ｓ３０９の繰り返し処理を終了する（ステップＳ３１０）。所定の終了条件は、繰り返し処理を所定回数（５０００回など）行ったこと、などと設定される。
【００３３】
なお、前述したように、ランダム比較子の生成は、任意の個数および任意のセット分生成してよい。例えば、ランダム比較子を２０個生成してもよいし、１０個のランダム比較子を１０セット（この場合、合計１００パターンのランダム比較子）を生成してもよい。図８（Ａ）は、ランダム比較子を２０個生成する場合に生成される特徴量データ群（置換前）の一例を示す図である。また、図８（Ｂ）は、ランダム比較子を１０個×１０セット生成する場合に生成される特徴量データ群（置換前）の一例を示す図である。
【００３４】
［特徴量データ群（置換後）の生成］
図９は、特徴量データ群（置換後）の生成処理（図２のステップＳ１０５の処理）の流れを示すフローチャートの一例である。図９のフローチャートの処理は、特徴量データ群生成部１４により実行される。
【００３５】
まず、特徴量データ群生成部１４は、各キーポイントの重要度を算出する（ステップＳ）。特徴量データ群生成部１４は、例えば、キーポイント抽出部１２が非特許文献３に記載の手法によりキーポイントの抽出を行った場合、その抽出過程で得られるキーポイントの強度を重要度としてよい。
【００３６】
次に、特徴量データ群生成部１４は、ビット列毎の繰り返し処理を開始し（ステップＳ４０２）、キーポイント毎の繰り返し処理を開始する（ステップＳ４０３）。ビット列毎の繰り返し処理は、例えば、「０００」→「００１」→「０１０」→‥の順に進行する。特徴量データ群生成部１４は、図７、８などに示す特徴量データ群（置換前）における、選択されたビット列とキーポイントに対応する要素に、当該キーポイントの重要度を乗算したもので、当該要素を書き換える（最終特徴量の算出；ステップＳ４０４）。特徴量データ群生成部１４は、例えば、選択されたビット列とキーポイントに対応する要素が１０であり、キーポイントの重要度が３であれば、当該要素を３０に書き換える。特徴量データ群生成部１４は、係る処理を、全てのビット列、全てのキーポイントについて実行する（ステップＳ４０５、Ｓ４０６）。
【００３７】
そして、特徴量データ群生成部１４は、特徴量データ群（置換前）の全ての要素について、値が下位の特徴量を、特徴量のデータ量よりもデータ量の小さい代替データで置換した特徴量データ群（置換後）を生成する（ステップＳ４０８）。代替データは、各要素の最終特徴量のフォームよりもデータ量の小さいものであれば、如何なるデータを用いてもよい。例えば、ダミーデータ、ブランクデータなどが用いられる。以下の説明では、代替データを符号εにより表現して説明する。値が下位とは、例えば、最終特徴量に書き換えられた特徴量データ群（置換前）の全ての要素のうち上位２０％に該当しないこと、と定義される。図１０は、要素が書き換えられた特徴量データ群（置換前）から、値が下位のデータが代替データεで置換されて、特徴量データ群（置換後）が生成される様子を模式的に示す図である。特徴量データ群生成部１４は、特徴量データ群記憶部７２において、特徴量データ群（置換後）で特徴量データ群（置換前）を上書き保存する。
【００３８】
なお、特徴量データ群生成部１４は、キーポイントの重要度を算出せず、特徴量データ群（置換前）における各要素を、そのまま最終特徴量としてよい。この場合、特徴量データ群生成部１４は、図９におけるステップＳ４０７の処理のみを実行する。
【００３９】
〔クエリ画像処理段階〕
以下、図２に示す各ステップの処理のうち、クエリ画像処理段階の処理について説明する。クエリ画像処理段階の処理は、クエリ画像処理部２０によって、クエリ画像入力部２１、キーポイント抽出部２２、ビット列生成部２３、特徴量マッチング部２４が呼び出されることにより進行する。
【００４０】
［キーポイントの抽出（クエリ画像処理段階）］
キーポイント抽出部２２は、入力されたクエリ画像に対してキーポイント抽出処理を行う。キーポイント抽出処理については、図３と同様の処理が行われるため、説明を省略する。
【００４１】
［ビット列の生成］
図１１は、クエリ画像処理段階におけるビット列生成処理（図２におけるステップＳ１０８の処理）の流れを示すフローチャートの一例である。図１１のフローチャートの処理は、ビット列生成部２３により実行される。
【００４２】
まず、ビット列生成部２３は、比較子を複数個生成する（ステップＳ５０１）。ビット列生成部２３は、マーカー画像処理段階において生成されたランダム比較子と同じものを、比較子として生成する。
【００４３】
次に、ビット列生成部２３は、クエリ画像上のキーポイント毎の繰り返し処理を開始する（ステップＳ５０２）。ビット列生成部２３は、選択されたキーポイントを中心として所定のサイズおよび形状（例えば、マーカー画像処理段階と同じ３２×３２画素程度の正方形）のパッチ画像を切り出す（ステップＳ５０３）。
【００４４】
次に、ビット列生成部２３は、パッチ画像と比較子を用いて特徴量ビット列を生成する（ステップＳ５０４）。係る処理は、マーカー画像処理段階における処理と同様である。ビット列生成部２３は、生成した特徴量ビット列を、クエリ画像ビット列対応表記憶部７４に記憶されるクエリ画像ビット列対応表（後述する図１３参照）に反映させる（ステップＳ５０５）。全てのキーポイントに対してステップＳ５０３〜Ｓ５０５の処理を行うと、キーポイント毎の繰り返し処理を終了する（ステップＳ５０６）。
これらの処理によって、クエリ画像における全てのキーポイントに対していずれか１つのビット列が選択されたクエリ画像ビット列対応表が生成される。
【００４５】
［特徴量マッチング］
図１２は、特徴量マッチング処理（図２におけるステップＳ１０９の処理）の流れを示すフローチャートの一例である。図１２のフローチャートの処理は、特徴量マッチング部２４により実行される。
【００４６】
まず、特徴量マッチング部２４は、キーポイント毎の繰り返し処理を開始する（ステップＳ６０１）。次に、特徴量マッチング部２４は、クエリ画像ビット列対応表から、現在選択されているクエリ画像のキーポイントに対応するビット列を取得する（ステップＳ６０２）。次に、特徴量マッチング部２４は、特徴量データ群（置換後）のステップＳ６０２において取得したに対応する列から、最も値の大きい要素（最終特徴量）を選択し、選択された要素に対応するキーポイントを抽出する（ステップＳ６０３）。なお、最も値の大きい要素が複数存在する場合は、識別情報の小さいキーポイントを抽出するなど、任意に規則を設定してよい。そして、特徴量マッチング部２４は、現在選択されているクエリ画像のキーポイントと、ステップＳ６０４で抽出されたマーカー画像とを対応付け（ステップＳ６０４）、記憶部７０に格納する。特徴量マッチング部２４は、このような処理を、クエリ画像の全てのキーポイントについて行う（ステップＳ６０５）。図１３は、ステップＳ６０２〜Ｓ６０４の処理が行われる様子を模式的に示す図である。図１３において、クエリ画像におけるキーポイント２が選択されると、クエリ画像ビット列対応表からキーポイント２に対応するビット列「０１１」が取得される（図中、（１））。次に、特徴量データ群（置換後）から、ビット列「０１１」の列の中で最大値「１０２」に対応するキーポイント１が抽出される（図中、（２））。これらの結果、マーカー画像のキーポイント１と、クエリ画像のキーポイント２が対応付けられる（図中、（３））。
【００４７】
ここで、図８（Ｂ）に示すように、特徴量データ群が複数セット生成される場合もあり得るが、この場合、各特徴量データ群の同一の要素同士が乗算されて、特徴量データ群（置換後）が生成される。このとき、乗算結果が例えば３ε、２εなど代替データを含むものとなる可能性があるが、上記「最も値の大きい要素を選択する」際には、３ε＞２εとして扱う。
【００４８】
特徴量マッチング部２４は、更に、ＲＡＮＳＡＣ（Random  Sample  Consensus）法や最小メジアン法などを用いて透視投影変換を求め（ステップＳ６０６）、変換結果を表示部３０に表示させる（ステップＳ６０７）。
【００４９】
〔まとめ〕
以上説明した本実施形態の画像認識装置１によれば、特徴量データ群（置換前）に対して、値が下位の特徴量を、特徴量のデータ量よりもデータ量の小さい代替データで置換する処理を行った特徴量データ群（置換後）を記憶部７０に記憶させるため、画像認識を行う際の記憶部７０などのリソースの消費を低減することができる。
【００５０】
［補足］
ここで、図８（Ｂ）に示すように、特徴量データ群が複数セット生成される場合について補足する。なお、ここでは、説明を簡略化するために、代替データへの置換に関する記述を省略する。
【００５１】
図１４は、マーカー画像処理段階において、ランダム比較子が複数セット（Ｓ１〜Ｓ４）生成され、これに基づいて特徴量データ群が生成される様子を模式的に示す図である。図１４に示すように、ランダム比較子のセットが複数生成されると、それぞれについてキーポイント毎のビット列の出現頻度がカウントされ、セット毎の特徴量データ群が生成される。
【００５２】
また、クエリ画像に対しては、マーカー画像処理段階において生成されたランダム比較子と同じセットが比較子として生成され、クエリ画像における全てのキーポイントに対していずれか１つのビット列が選択されたクエリ画像ビット列対応表が、ランダム比較子のセット毎に生成される。
【００５３】
図１５は、ランダム比較子のセットＳ１およびＳ２のそれぞれについて生成された特徴量データ群を例示した図である（更に説明を簡略化するために、ランダム比較子のセットが２つであるものとする）。図１５において、ｃ１〜ｃ４は、マーカー画像のキーポイントを示し、ｃ＾５はクエリ画像のキーポイントを示している。ランダム比較子のセットＳ１およびＳ２に対応する観測事実（クエリ画像のキーポイントｃ＾５に対応するビット列、段落００４６参照）が「０１０」と「０００」であったとすると、クエリ画像のキーポイントがマーカー画像のキーポイントｃ１〜ｃ４のそれぞれに対応する確率は、下記のようにあらわされる。
【００５４】
【数１】
2014142797.tif 000003
図１５の例では、Ｐ（ｃ＾５＝ｃ４（以下省略））の値が最も大きくなるため、ｃ＾５＝ｃ４と推定される。なお、上記各式において、分母はキーポイントに関わらず一定であるため、分子のみで算出しても大小関係は変わらない。従って、分子のみで算出しても構わない。また、特徴量データ群において乗算される各項の対数を求めておけば、特徴量マッチング処理において乗算を行わず加算によって大小関係の比較を行うことができるため、特徴量マッチング処理の負担を軽減することができる。係る効果は、後述する第２実施形態のように、特徴量マッチング処理がユーザ端末で行われる場合に顕著である。
【００５５】
＜第２実施形態＞
図１６は、第２実施形態に係る画像認識用データ提供装置２および画像認識装置３（画像認識システム）の構成の一例を示す構成図である。画像認識用データ提供装置２は、マーカー画像処理部１０と、通信部４０と、記憶部８０とを備える。また、画像認識装置３は、クエリ画像処理部２０と、表示部３０と、通信部５０と、記憶部９０とを備える。画像認識用データ提供装置２は、例えば情報サーバであり、画像認識装置３は、例えば携帯電話やタブレット端末、パーソナルコンピュータなどのユーザ端末である。
【００５６】
マーカー画像処理部１０は、マーカー画像入力部１１と、キーポイント抽出部１２と、特徴量算出部１３と、特徴量データ群生成部１４とを備える。これらの機能部の機能は、記憶部７０に代えて記憶部８０の対応する記憶部に各種情報を記憶する他、第１実施形態において同一の符号を付したものと同様である。
【００５７】
また、クエリ画像処理部２０は、クエリ画像入力部２１と、キーポイント抽出部２２と、ビット列生成部２３と、特徴量マッチング部２４とを備える。これらの機能部の機能は、記憶部７０に代えて記憶部９０の対応する記憶部に各種情報を記憶する他、第１実施形態において同一の符号を付したものと同様である。
【００５８】
そして、マーカー画像処理部１０が生成した特徴量データ群（置換後）は、通信部４０と通信部５０との通信によって、画像認識用データ提供装置２から画像認識装置３に送信され、記憶部９０の特徴量データ群記憶部９２に格納される（ダウンロードされる）。通信部４０と通信部５０との通信は、例えば、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）、ＶＰＮ（Virtual  Private  Network）網、専用通信回線網、ＰＳＴＮ（Public  Switched  Telephone  Network；公衆交換電話網）、携帯電話網、ＰＨＳ（Personal  Handy-phone  System）網など、またはこれらの組み合わせによって構成される情報通信ネットワークを介して行われる。
【００５９】
このような態様において、画像認識装置３のユーザは、例えば、画像認識装置３を用いて、特定のマーカー画像に関する特徴量データ群（置換後）の送信を、画像認識用データ提供装置２に依頼する。そして、画像認識装置３のユーザは、例えば自分が撮影した画像に特定のマーカー画像が含まれているか否かを、画像認識用データ提供装置２から受信した特徴量データ群（置換後）を用いて画像認識装置３に判定させる。送受信される特徴量データ群（置換後）は、値が下位の特徴量を、特徴量のデータ量よりもデータ量の小さい代替データで置換する処理を行ったものであるため、置換前のデータよりもデータ量が小さくなっている。このため、画像認識装置３が画像認識用データ提供装置２からデータをダウンロードするのに要する時間を短縮することができる。また、画像認識装置３の記憶部９０の容量が限られている場合でも、既にダウンロードした複数のマーカー画像についての特徴量データ群（置換後）を記憶部９０に保持しておくことが可能になり、以降は同じマーカー画像に関してはダウンロードせずに画像認識を行うことができる。この結果、複数の画像を高速に画像認識することが可能になる。
【００６０】
〔まとめ〕
以上説明した本実施形態の画像認識用データ提供装置２によれば、特徴量データ群（置換前）に対して、値が下位の特徴量を、特徴量のデータ量よりもデータ量の小さい代替データで置換する処理を行った特徴量データ群（置換後）を記憶部８０に記憶させるため、画像認識を行う際の記憶部８０などのリソースの消費を低減することができる。
【００６１】
また、本実施形態の画像認識用データ提供装置２によれば、画像認識装置３が画像認識用データ提供装置２からデータをダウンロードするのに要する時間を短縮することができる。また、本実施形態の画像認識用データ提供装置２によれば、画像認識装置３に画像認識を高速に行わせることができる。
【００６２】
＜ハードウェア構成等＞
前述した各実施形態における画像認識装置１、３、画像認識用データ提供装置２は、内部にコンピュータシステムを有している。「コンピュータシステム」は、ＣＰＵ（Central  Processing  Unit）、ＲＡＭ等のメモリ装置、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶装置、記憶媒体を装着可能なドライブ装置、周辺機器等のハードウェアを含むものである。
【００６３】
そして、前述したマーカー画像処理部１０やクエリ画像処理部２０に含まれる各機能部等の動作の過程は、例えば、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、上記各機能部の処理が、全てプログラムを実行することによって行われる必要は無く、一部の機能部は、ＩＣ（Integrated  Circuit）やＬＳＩ（Large  Scale  Integration）、ネットワークカードなどのハードウェアによって実現されてもよい。
【００６４】
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光ディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるＨＤＤ等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
【００６５】
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に、前述した機能を、コンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６６】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【００６７】
１、３  画像認識装置
２      画像認識用データ提供装置
１０    マーカー画像処理部
１１    マーカー画像入力部
１２    キーポイント抽出部
１３    特徴量算出部
１４    特徴量データ群生成部
２０    クエリ画像処理部
２１    クエリ画像入力部
２２    キーポイント抽出部
２３    ビット列生成部
２４    特徴量マッチング部
３０    表示部
７０、８０、９０    記憶部
７１、８１    マーカー画像記憶部
７２、８２    特徴量データ群記憶部
７３、９３    クエリ画像記憶部
７４、９４    クエリ画像ビット列対応表記憶部
【図１】
2014142797.tif 000004
【図２】
2014142797.tif 000005
【図３】
2014142797.tif 000006
【図４】
2014142797.tif 000007
【図５】
2014142797.tif 000008
【図６】
2014142797.tif 000009
【図７】
2014142797.tif 000010
【図８】
2014142797.tif 000011
【図９】
2014142797.tif 000012
【図１０】
2014142797.tif 000013
【図１１】
2014142797.tif 000014
【図１２】
2014142797.tif 000015
【図１３】
2014142797.tif 000016
【図１５】
2014142797.tif 000017
【図１６】
2014142797.tif 000018
【図１４】
2014142797.tif 000019