(57)【特許請求の範囲】
【請求項１】
特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成装置であって、
複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成する対応情報生成手段と、
前記複数のスケールσに対応する複数のDoG画像D（σ）を生成するDoG画像生成手段であって、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の特定の注目画素がキーポイントとなり、前記複数のDoG画像D（σ）中の前記特定の注目画素における前記DoG出力値DoG（σ）が前記対応情報と整合し、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の前記特定の注目画素に対応するSIFT特徴量が前記特定のSIFT特徴量となるように、前記複数のDoG画像D（σ）を生成する前記DoG画像生成手段と、
前記複数のDoG画像D（σ）に基づいて前記パターンを生成するパターン生成手段と、
を備えた、パターン生成装置。
【請求項２】
請求項１に記載のパターン生成装置であって、
前記対応情報生成手段は、可及的に小さな前記スケールσにおいて前記DoG出力値DoG（σ）が最大となるように、前記対応情報を生成する、
パターン生成装置。
【請求項３】
請求項１又は２に記載のパターン生成装置であって、
前記パターンに、M系列で作成した符号パターンを重畳させる符号パターン重畳手段を更に備えた、
パターン生成装置。
【請求項４】
請求項１〜３の何れかに記載のパターン生成装置によって生成された前記パターンが印刷された印刷物。
【請求項５】
請求項４に記載の印刷物であって、
前記印刷物は光透過性材料より構成され、
前記パターンは、赤外光に反応する材料によって印刷された、
印刷物。
【請求項６】
特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成方法であって、
複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成するステップと、
前記複数のスケールσに対応する複数のDoG画像D（σ）を生成するステップであって、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の特定の注目画素がキーポイントとなり、前記複数のDoG画像D（σ）中の前記特定の注目画素における前記DoG出力値DoG（σ）が前記対応情報と整合し、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の前記特定の注目画素に対応するSIFT特徴量が前記特定のSIFT特徴量となるように、前記複数のDoG画像D（σ）を生成するステップと、
前記複数のDoG画像D（σ）に基づいて前記パターンを生成するステップと、
を含む、パターン生成方法。
【請求項７】
請求項６に記載のパターン生成方法であって、
前記対応情報は、可及的に小さな前記スケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成する、
パターン生成方法。
【請求項８】
請求項６又は７に記載のパターン生成方法であって、
前記パターンに、M系列で作成した符号パターンを重畳させるステップを更に含む、
パターン生成方法。
【請求項９】
請求項６〜８の何れかに記載のパターン生成方法によって生成された前記パターンが印刷された印刷物。
【請求項１０】
請求項９に記載の印刷物であって、
前記印刷物は光透過性材料より構成され、
前記パターンは、赤外光に反応する材料によって印刷された、
印刷物。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン生成装置、パターン生成方法、印刷物に関する。
【背景技術】
【０００２】
この種の技術として、特許文献１は、回転やスケール変化、照明変化に対してロバストな特徴量であるSIFT（Scale-Invariant Feature Transform）特徴量を利用して、入力画像中の特定の物体を検出する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２３０７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、本願発明者らは、認識したい物体を環境中から検出するために、その物体に予め特定のSIFT特徴量を有するパターンを配置することを検討している。
【０００５】
そこで、本願発明の目的は、特定のSIFT特徴量を有するパターンの生成技術を提供することにある。
【課題を解決するための手段】
【０００６】
本願発明の第1の観点によれば、特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成装置であって、複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成する対応情報生成手段と、前記複数のスケールσに対応する複数のDoG画像D（σ）を生成するDoG画像生成手段であって、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の特定の注目画素がキーポイントとなり、前記複数のDoG画像D（σ）中の前記特定の注目画素における前記DoG出力値DoG（σ）が前記対応情報と整合し、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の前記特定の注目画素に対応するSIFT特徴量が前記特定のSIFT特徴量となるように、前記複数のDoG画像D（σ）を生成する前記DoG画像生成手段と、前記複数のDoG画像D（σ）に基づいて前記パターンを生成するパターン生成手段と、を備えた、パターン生成装置が提供される。以上の構成によれば、前記パターン中のキーポイントとなる画素が一意に決定し、その画素のSIFT特徴量が前記特定のSIFT特徴量となるので、特定のSIFT特徴量を有するパターンを人工的に生成することができる。
好ましくは、前記対応情報生成手段は、可及的に小さな前記スケールσにおいて前記DoG出力値DoG（σ）が最大となるように、前記対応情報を生成する。以上の構成によれば、前記複数のDoG画像D（σ）に基づいて前記パターンを生成する際の計算コストを低く抑えることができる。
好ましくは、前記パターン生成装置は、前記パターンに、M系列で作成した符号パターンを重畳させる符号パターン重畳手段を更に備えている。以上の構成によれば、前記符号パターンを頼りに前記パターンを迅速に検出することが可能となる。
上記のパターン生成装置によって生成された前記パターンが印刷された印刷物が提供される。以上の構成によれば、前記印刷物を貼り付けた前記物体に、前記特定のSIFT特徴量を持たせることが可能となる。従って、環境中で特定の物体を認識したい場合、その物体に前記印刷物を貼り付ければよい。また、SIFT特徴量は、回転やスケール変化、照明変化に対してロバストであるから、その特定の物体が置かれた環境の良し悪しに影響され難い。
好ましくは、前記印刷物は光透過性材料より構成され、前記パターンは、赤外光に反応する材料によって印刷されている。以上の構成によれば、前記印刷物自体が目立たなくなるので、前記印刷物を貼り付けた物体の外観を損ねることがない。
本願発明の第2の観点によれば、特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成方法であって、複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成するステップと、前記複数のスケールσに対応する複数のDoG画像D（σ）を生成するステップであって、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の特定の注目画素がキーポイントとなり、前記複数のDoG画像D（σ）中の前記特定の注目画素における前記DoG出力値DoG（σ）が前記対応情報と整合し、前記DoG出力値DoG（σ）が最大となるスケールσに対応する前記DoG画像D（σ）中の前記特定の注目画素に対応するSIFT特徴量が前記特定のSIFT特徴量となるように、前記複数のDoG画像D（σ）を生成するステップと、前記複数のDoG画像D（σ）に基づいて前記パターンを生成するステップと、を含む、パターン生成方法が提供される。
好ましくは、前記対応情報は、可及的に小さな前記スケールσにおいて前記DoG出力値DoG（σ）が最大となるように生成する。
好ましくは、前記パターン生成方法は、前記パターンに、M系列で作成した符号パターンを重畳させるステップを更に含む。
好ましくは、上記のパターン生成方法によって生成された前記パターンが印刷された印刷物が提供される。
好ましくは、前記印刷物は光透過性材料より構成され、前記パターンは、赤外光に反応する材料によって印刷されている。
【発明の効果】
【０００７】
本願発明によれば、特定のSIFT特徴量を有するパターンを人工的に生成することができる。
【図面の簡単な説明】
【０００８】
【図１】図1は、パターン生成装置のブロック図である。
【図２】図2は、パターン生成フローである。
【図３】図3は、スケールσとDoG出力値DoG（σ）との対応情報を示すグラフである。
【図４】図4（ａ）は、DoG画像D（ｋ２σ０）に相当するDoG画像IMGBである。図4（ｂ）は、DoG画像D（ｋ1σ０）に相当するDoG画像IMGAである。図4（c）は、DoG画像D（σ０）に相当するDoG画像IMGZである。
【図５】図5は、平滑化画像IMG1〜IMG4と、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZとの関係を示す図である。
【図６】図6は、パターンが印刷されたシートである。
【図７】図7は、物体認識システムである。
【図８】図8は、物体認識フローである。
【発明を実施するための形態】
【０００９】
以下、図１〜８を参照して、本願発明の実施形態を説明する。
【００１０】
先ず、SIFT特徴量に関する代表的な数式である下記式（１）について説明する。下記式（１）において、I(x,y)は、入力画像である。G(x,y,σ)はガウス関数である。L(x,y,σ)は、平滑化画像である。D(x,y,σ)はDoG画像である。ｋは増加率である。σは、ガウシアンフィルタのスケールを意味する。
【００１１】
【数１】
0005724938.tif 000002
【００１２】
次に、図１を参照して、特定のSIFT（Scale-Invariant Feature Transform）特徴量を有するパターンの生成装置としてのパターン生成装置１について説明する。
【００１３】
パターン生成装置１は、CPU（Central Processing Unit）やROM（Read Only Memory）、RAM（Random Access Memory）を備えて構成されている。ROMには、パターン生成プログラムが記憶されている。このパターン生成プログラムは、CPUによって読み出され、CPU上で実行されることで、CPUなどのハードウェアを、対応情報生成部２（対応情報生成手段）、DoG画像生成部３（DoG画像生成手段）、パターン生成部４（パターン生成手段）、符号パターン重畳部５（符号パターン重畳手段）として機能させる。
【００１４】
対応情報生成部２は、複数のスケールσと、各スケールσにおけるDoG（Difference-of-Gaussian）出力値DoG（σ）と、の対応情報を生成する。詳しくは、対応情報生成部２は、前記複数のスケールσのうち何れかのスケールσにおいて前記DoG出力値DoG（σ）が最大となるように、対応情報を生成する。
【００１５】
DoG画像生成部３は、複数のスケールσに対応する複数のDoG画像D（σ）を生成する。詳しくは、DoG画像生成部３は、(1)DoG出力値DoG（σ）が最大となるスケールσに対応するDoG画像D（σ）中の特定の注目画素がキーポイントとなり、(2)複数のDoG画像D（σ）中の特定の注目画素におけるDoG出力値DoG（σ）が対応情報と整合し、(3)DoG出力値DoG（σ）が最大となるスケールσに対応するDoG画像D（σ）中の特定の注目画素に対応するSIFT特徴量が特定のSIFT特徴量となるように、複数のDoG画像D（σ）を生成する。
【００１６】
パターン生成部４は、複数のDoG画像D（σ）に基づいてパターンを生成する。
【００１７】
符号パターン重畳部５は、パターン生成部４が生成したパターンに、M系列で作成した符号パターンを重畳させる。
【００１８】
次に、図２を参照して、パターンの生成フローを説明する。
【００１９】
先ず、１２８次元のベクトル情報から構成される特定のSIFT特徴量を定義した上で（S100）、対応情報生成部２は、複数のスケールσと、各スケールσにおけるDoG出力値DoG（σ）と、の対応情報を、複数のスケールσのうち何れかのスケールσにおいてDoG出力値DoG（σ）が最大となるように生成する（S110）。即ち、対応情報生成部２は、図３に示すようなスケールσとDoG出力値DoG（σ）との対応関係（折れ線グラフ状）を例えばテーブル形式で生成する。このとき、図３におけるDoG出力値DoG（σ）は、スケールσが可及的に小さい領域で最大となることが好ましい。図３においてDoG出力値DoG（σ）が最大となるスケールσをスケールCと称する。
【００２０】
なお、図３においてスケールσの取り得る範囲の上限は、ダウンサンプリングを考慮すると、パターンを撮影することで生成された画像上でのパターンのサイズに左右される。また、画像上でのパターンのサイズは、パターンが印刷されたシート上におけるパターンそのもののサイズと、そのパターンを撮影する撮像装置とパターンとの間の距離によって決まる。なお、パターンが印刷されたシート上におけるパターンそのもののサイズと、そのパターンを撮影する撮像装置とパターンとの間の距離と、は要求仕様値となる。
【００２１】
次に、DoG画像生成部３は、図４(a)〜図4(c)に示すように、複数のスケールσに対応する複数のDoG画像D（σ）を生成する（S120）。図4(a)に示すDoG画像D（σ）は、図３のスケールσ１に対応しており、以降、DoG画像IMGBと称する。図４（ｂ）に示すDoG画像D（σ）は、図３のスケールσ２に対応しており、以降、DoG画像IMGAと称する。図４（ｃ）に示すDoG画像D（σ）は、図３のスケールσ３に対応しており、以降、DoG画像IMGZと称する。DoG画像IMGB、DoG画像IMGA、DoG画像IMGZは、例えば３×３ピクセルのサイズを有する画像である。DoG画像生成部３は、図３においてDoG出力値DoG（σ）が最大となるスケールσ２に対応するDoG画像IMGA中の中央（特定）の注目画素ａがキーポイントとなるように、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZを生成する。また、DoG画像生成部３は、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZ中の中央の注目画素ａにおけるDoG出力値DoG（σ）が図３に示す対応情報と整合するように、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZを生成する。また、DoG画像生成部３は、DoG出力値DoG（σ）が最大となるスケールσ２に対応するDoG画像IMGA中の中央の注目画素ａに対応するSIFT特徴量がS100で定義した特定のSIFT特徴量となるようにDoG画像IMGAを生成する。即ち、DoG画像生成部３は、DoG画像IMGAが特定のSIFT特徴量（１２８次元のベクトル情報）に相当する輝度勾配を有するように、DoG画像IMGAを生成する。DoG画像IMGAは、特定のSIFT特徴量を持てるよう、３×３の画像の外周域に描画可能領域ｂを有し、この結果、DoG画像IMGAのサイズは、（σ２）×（σ２）の大きさとなる。
【００２２】
次に、パターン生成部４は、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZに基づいて、パターンを生成する（S130）。求めたいパターンは、図５において平滑化画像IMG１に相当している。図５には、平滑化画像IMG１〜４と、DoG画像IMGB及びDoG画像IMGA、DoG画像IMGZと、の関係を示している。即ち、図５には、下記式（２）及び（３）の関係を示している。下記式（２）においてGは、ガウシアン関数である。
【００２３】
【数２】
0005724938.tif 000003
【００２４】
【数３】
0005724938.tif 000004
【００２５】
上記式（２）では、平滑化画像IMG1とガウシアン関数Gを用いることで他の平滑化画像IMG2〜4が作成されることを示している。上記式（３）では、DoG画像D（σ）が平滑化画像IMGの差分であることを示している。これらの式（２）及び（３）は何れもSIFT特徴量に関する基本的な数式である。
【００２６】
上記式（２）及び（３）から、下記式（４）が導かれる。
【００２７】
【数４】
0005724938.tif 000005
【００２８】
上記式（４）においてDoG画像IMGB及びDoG画像IMGA、DoG画像IMGZは既知である。上記式（４）の連立方程式を解くことで、特定のSIFT特徴量を有するパターンである平滑化画像IMG１（スケールσ＝１）が得られる。
【００２９】
次に、符号パターン重畳部５は、パターン生成部４が生成した平滑化画像IMG1に、M系列で作成した符号パターンを重畳させる(S140)。具体的には、平滑化画像IMG1は例えばグレースケールなどの濃淡で表現された画像であり、符号パターン重畳部５は、この平滑化画像IMG1に、M系列で作成した符号パターンに従った濃淡画像を重畳させる。このとき、M系列で作成した符号パターンは、自己相関はあるが、相互相関はないものとする。
【００３０】
以上のプロセスで、特定のSIFT特徴量を有するパターンが完成する（S150）。図６には、上記のパターンが印刷された印刷物としてのシート７を示している。図６に示すように、パターンｐは、光透過性材料を有するシート７に印刷されている。シート７は、縦横に９分割されており、各区画にパターンｐが印刷されている。シート７上に複数のパターンｐを印刷することによって、ノイズやオクルージョンにロバストといった効果が得られる。また、パターンｐは、赤外光に反応する材料によってシート７に印刷されている。詳しくは、パターンｐは、赤外光を吸収又は反射する材料によってシート７に印刷されている。
【００３１】
次に、図７及び図８を参照して、物体認識システム１００について説明する。
【００３２】
図７に示すように、物体認識システム１００は、情報処理機としてのパーソナルコンピュータ１０１と、パーソナルコンピュータ１０１に接続されたディスプレイ１０２と、赤外光照射器としての赤外光レーザ１０３と、認識したい物体Xに貼り付けられたシート７と、パーソナルコンピュータ１０１に接続された赤外光受光器１０８と、によって構成されている。
【００３３】
パーソナルコンピュータ１０１は、CPU（Central Processing Unit）やROM（Read Only Memory）、RAM（Random Access Memory）を備えて構成されている。ROMには、物体認識プログラムが記憶されている。この物体認識プログラムは、CPUによって読み出され、CPU上で実行されることで、CPUなどのハードウェアを、SIFT特徴量DB１０４、SIFT特徴量検出部１０５、SIFT特徴量照合部１０６、物体認識結果出力部１０７として機能させる。パーソナルコンピュータ１０１には、赤外光受光器１０８が接続されている。
【００３４】
シート７は、物体Xの例えば前面などに貼り付けられる。
【００３５】
赤外光レーザ１０３は、物体Xに対して赤外光を照射する。赤外光照射器としては、赤外光レーザ１０３に代えて赤外光LEDでもよい。
【００３６】
赤外光受光器１０８は、赤外光レーザ１０３によって照射され、物体Xで反射された赤外光を受光し、受光した赤外光に基づいて入力画像Iを生成する。
【００３７】
SIFT特徴量DB１０４は、SIFT特徴量と物体の種別との対応関係情報をテーブル形式で記憶している。SIFT特徴量DB１０４では、例えば「マグカップ」と「所定の１２８次元のベクトル情報」が一対一で関連付けられている。
【００３８】
SIFT特徴量検出部１０５は、赤外光受光器１０８が生成した入力画像IからSIFT特徴量を検出する。
【００３９】
SIFT特徴量照合部１０６は、SIFT特徴量検出部１０５が検出したSIFT特徴量をSIFT特徴量DB１０４内で検索し、SIFT特徴量検出部１０５が検出したSIFT特徴量に対応する物体の種別を取得する。
【００４０】
物体認識結果出力部１０７は、SIFT特徴量照合部１０６が取得した物体の種別をディスプレイ１０２上に表示させる。
【００４１】
次に、図８を参照して、物体認識システム１００を用いた物体認識方法を説明する。
【００４２】
先ず、SIFT特徴量を設計し（S210）、設計したSIFT特徴量を有するパターンをシート７に印刷する（S220）。次に、シート７を物体Xに貼り付ける（S230）。そして、赤外光レーザ１０３によって物体Xに向けて赤外光を照射させる（S240）。物体Xに向けて照射された赤外光のうち一部はパターンをシート７に印刷する際に使用したインク材料によって吸収されるが、それ以外の赤外光は物体Xで反射して赤外光受光器１０８に到達し、赤外光受光器１０８は、到達した赤外光に基づいて入力画像Iを生成する（S250）。SIFT特徴量検出部１０５は、入力画像I内で所定のM系列符号を探索して検出し（S260）、検出したM系列符号に基づいて入力画像I内でパターンが描かれている部分を大局的に絞り込む（S270）。そして、SIFT特徴量検出部１０５は、入力画像Iの絞られた画像エリア内でSIFT特徴量を検出する（S280）。そして、SIFT特徴量照合部１０６は、SIFT特徴量検出部１０５が検出したSIFT特徴量をSIFT特徴量DB１０４内で照合し（S290）、この結果、物体Xの種別を認識する（S300）。最後に、物体認識結果出力部１０７が認識結果をディスプレイ１０２に表示し（S310）、処理を終える（S320）。
【００４３】
以上に本願発明の実施形態を説明した。
【００４４】
ところで、認識したい物体を環境中から発見したい場合、一般には、その物体にQRコード（登録商標）などのマーカーを取り付け、そのQRコード（登録商標）を撮像装置等によって検出している。しかし、この方法では、QRコード（登録商標）を撮像装置で精確に認識するために、(1)大きなサイズのQRコード（登録商標）を使用するか、(2)撮像装置の解像度自体を高くする、必要がある。そして、(1)の対策では、その物体の見た目が悪くなったり、メガネ等の小さな物体が認識可能な対象から除外されてしまう。また、(2)の対策では、高価な撮像装置を用意する必要があるし、高解像度化に伴って画像処理の計算コストも高くなる。
【００４５】
これに対し、本実施形態では、SIFT特徴量を有するパターンを採用しているので、回転や照明変化、スケール変化にロバストであり、且つ、サイズが小さなパターン（マーカ）が実現されている。
【符号の説明】
【００４６】
１  パターン生成装置
２  対応情報生成部
３  DoG画像生成部
４  パターン生成部
５  符号パターン重畳部
７  シート
１００  物体認識システム
１０１  パーソナルコンピュータ
１０２  ディスプレイ
１０３  赤外光レーザ
１０４  SIFT特徴量DB
１０５  SIFT特徴量検出部
１０６  SIFT特徴量照合部
１０７  物体認識結果出力部
【図１】
0005724938.tif 000006
【図２】
0005724938.tif 000007
【図３】
0005724938.tif 000008
【図４】
0005724938.tif 000009
【図５】
0005724938.tif 000010
【図６】
0005724938.tif 000011
【図７】
0005724938.tif 000012
【図８】
0005724938.tif 000013