(57)【要約】本発明は、画像から抽出された特徴点が所定の空間に配置され、この所定の空間における前記特徴点が所定数以下の部分が特異特徴とされ、この特異特徴、及び、既存のマークから抽出された特徴点を記憶する特徴記憶手段と、前記既存のマークから抽出された特徴点を前記所定の空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段とを有するマーカ判定装置である。
2011010707.tif 000002
【特許請求の範囲】
【請求項１】
画像から抽出された特徴点が所定の空間に配置され、この所定の空間における前記特徴点が所定数以下の部分が特異特徴とされ、この特異特徴、及び、既存のマークから抽出された特徴点を記憶する特徴記憶手段と、
前記既存のマークから抽出された特徴点を前記所定の空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段と
を有するマーカ判定装置。
【請求項２】
前記画像を撮影する映像入力手段と、
前記画像から特徴点を抽出する特徴抽出手段と、
前記特徴点を特徴空間に配置し、この特徴空間における前記特徴点が所定数以下の部分を前記特異特徴として選択する特異特徴選択手段とを有し、
前記特徴比較手段が、前記既存のマークから抽出された特徴点を前記所定の空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する
請求項１に記載のマーカ判定装置。
【請求項３】
前記画像を撮影する映像入力手段と、
前記画像から特徴点を抽出する特徴抽出手段と、
前記画像から抽出された特徴点を不変量特徴空間に写像し、この不変量特徴空間における前記特徴点が所定数以下の部分を前記特異特徴として選択する不変特徴変換手段とを有し、
前記特徴比較手段が、前記既存のマークから抽出された特徴点を前記不変量特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する
請求項１に記載のマーカ判定装置。
【請求項４】
前記特徴比較手段での判断の結果を外部に報知する報知手段を有する
請求項１から請求項３のいずれかに記載のマーカ判定装置。
【請求項５】
マーカ判定装置とマーカ検出装置とを有し、
前記マーカ判定装置が、
画像を入力する第一映像入力手段と、
この第一映像入力手段で入力された前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す第一配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段と、
前記マークの特徴点を記憶するマーカ記憶手段とを有し、
前記マーカ検出装置が、
画像を入力する第二映像入力手段と、
この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、
前記所定の空間に表された特徴点群の配置の中に、前記マーカにもとづく特徴点の配置があるか否かを判断する照合手段とを有する
マーカ判定検出システム。
【請求項６】
前記第一配置手段が、前記抽出した特徴点を特徴空間に配置し、
前記特異特徴選択手段が、前記特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択する
請求項５に記載のマーカ判定検出システム。
【請求項７】
前記第一配置手段が、前記抽出した特徴点を不変量特徴空間に写像し、
前記特異特徴選択手段が、前記不変量特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択する
請求項５に記載のマーカ判定検出システム。
【請求項８】
画像を入力する第一映像入力手段と、
この第一映像入力手段で入力された前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す第一配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段と、
前記マーカを記憶するマーカ記憶手段と、
画像を入力する第二映像入力手段と、
この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、
前記所定の空間に表された特徴点群の配置の中に、前記マーカに対応する特徴点の配置があるか否かを判断する照合手段と
を有するマーカ判定検出装置。
【請求項９】
前記第一配置手段が、前記抽出した特徴点を特徴空間に配置し、
前記特異特徴選択手段が、前記特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択する
請求項８に記載のマーカ判定検出装置。
【請求項１０】
前記第一配置手段が、前記抽出した特徴点を不変量特徴空間に写像し、
前記特異特徴選択手段が、前記不変量特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択する
請求項８に記載のマーカ判定検出装置。
【請求項１１】
画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表し、前記所定の空間において前記特徴点が所定数以下の部分を特異特徴として選択し、既存のマークから特徴点を抽出し、この特徴点を前記所定の空間に配置し、前記特異特徴と一致する特徴点を選択し、この選択した特徴点の数が所定数以上のときに、前記画像から検出可能なマーカとして使用できるものとして判断された
マーカ。
【請求項１２】
前記抽出した特徴点を特徴空間に配置し、この特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択した
請求項１１に記載のマーカ。
【請求項１３】
前記抽出した特徴点を不変量特徴空間に写像し、前記不変量特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択した
請求項１１に記載のマーカ。
【請求項１４】
画像を入力する工程と、
前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す工程と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する工程と、
既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する工程と
を有するマーカ判定方法。
【請求項１５】
前記既存のマークから抽出された特徴点を前記特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する工程を有する
請求項１４に記載のマーカ判定方法。
【請求項１６】
前記既存のマークから抽出された特徴点を前記不変量特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する工程を有した
ことを特徴とする請求項１４記載のマーカ判定方法。
【請求項１７】
画像を入力する処理と、
前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す処理と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する処理と、
既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する処理と
を情報処理装置に実行させるマーカ判定プログラム。
【請求項１８】
前記既存のマークから抽出された特徴点を前記特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する処理を情報処理装置に実行させる
請求項１７に記載のマーカ判定プログラム。
【請求項１９】
前記既存のマークから抽出された特徴点を前記不変量特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する処理を情報処理装置に実行させる
請求項１７に記載のマーカ判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、既存のマークを検出用マーカとして使用できるか否かを判定するマーカ判定装置、このマーカ判定装置を備えたマーカ判定検出システム、マーカ判定機能を有したマーカ判定検出装置、マーカ判定機能により検出用マーカとして使用できると判定されたマーカ、その検出用マーカの判定を行うマーカ判定方法、及び、このマーカ判定を実行するためのマーカ判定プログラムに関する。
【背景技術】
【０００２】
ある空間内に所望の物体が存在するか否かを判別する手法には、次のようなものがある。【０００３】
例えば、マーカ生成段階で、マーカが存在しない空間の画像を背景映像として映像入力手段により撮影し、その背景映像から特徴点を抽出し、この特徴点を不変量特徴空間に写像して不変特徴とし、この不変特徴が表れなかった部分を特異特徴とし、この特異特徴にもとづいてマーカパターンを生成し、マーカ検出段階で、マーカが付された物体を含む空間の画像を検出対象映像として撮影し、この検出対象映像から特徴点を抽出し、この特徴点の配置の中にマーカパターンから抽出された特徴点の配置と一致するものがあるか否かを判断し、一致するものがあるときは、これをマーカとして検出する技術がある（例えば、特許文献１参照。）。【０００４】
この技術によれば、マーカ生成段階において、背景映像に表れていないパターンをマーカパターンとして生成することができる。このため、マーカ検出段階においては、検出対象映像のうちマーカが存在しないところからマーカが誤って検出されることがなくなり、物体に付されたマーカを確実に検出することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００８／０９０９０８号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１に記載の技術においては、次のような状況があった。【０００７】
同技術では、マーカが、特異特徴にもとづいて生成されていた。【０００８】
そして、マーカ検出段階では、そのマーカが付された物体を検出していた。【０００９】
ところが、我々の生活環境においては、様々なマークが使用されている。デザインが単純なものから複雑なものまで多彩である。【００１０】
こうした既に存在するマークの中から、いくつかのマークを任意に選び出し、これらを物体検出用のマーカとして使用できれば、デザインを自由に選択でき、好みのデザインのマークをマーカとして使用することができる。【００１１】
また、いつも使っているマークを検出用マーカとして使うことができれば、効率的であり、しかも、そのマークの機能性を高めることができる。【００１２】
その一例として、会社のロゴマークが挙げられる。ロゴマークは、ある商品に付されることで、その商品がロゴマークの示す会社の商品であることを表すものである。これは、ロゴマークが、その会社の商品であって、他社の商品ではないことを消費者に認識させる機能（自他商品識別力）を有しているからである。【００１３】
この自他商品識別力を持たせるため、ロゴマークは、通常、他社のロゴマークと相違したデザインで作成される。【００１４】
このロゴマークの有する機能、すなわち他のマークとデザインが異なることで、付された物が他の物と相違していることを示す機能は、検出用マーカとも共通する。【００１５】
つまり、ロゴマークがもともと備える自他商品識別力を活かして、物体検出を行うことも考えられる。【００１６】
そこで、ロゴマークが検出用マーカとして機能し得るか否かを判定する方法の提供が求められていた。【００１７】
さらに、近年、工業製品の設計においては、部品の選択や機能の改良を行う前に、その製品の外観形状やデザインを設計し、その後、それら形状等に合うように、部品を選定したり、機能を改良したりすることが行われてきている。【００１８】
これに対し、前述した特許文献１に記載の技術は、所定の空間で特異特徴を選択し、この特異特徴で特徴点が抽出されるようにマーカのデザインを決めていた。つまり、マーカのデザインは、特異特徴にもとづいてつくられていた。【００１９】
ところが、マーカは、物体に付されるため、人目に付くことが多い。特に、物体が商品の場合、ラベルの一部にマーカを付すことも考えられる。そうすると、そのマーカのデザインが重要になってくる。【００２０】
そこで、マーカについても、デザインを重視しつつ特異特徴にもとづくデザインを決めることのできる技術の提案が求められていた。【００２１】
本発明は、上記の状況にかんがみなされたものであり、ロゴマークのような既存のマークや、デザインが先に決められたマークなどが、物体検出用のマーカとして使用できるか否かを判定可能とするマーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びマーカ判定プログラムの提供を目的とする。
【課題を解決するための手段】
【００２２】
本発明は、画像から抽出された特徴点が所定の空間に配置され、この所定の空間における前記特徴点が所定数以下の部分が特異特徴とされ、この特異特徴、及び、既存のマークから抽出された特徴点を記憶する特徴記憶手段と、前記既存のマークから抽出された特徴点を前記所定の空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段とを有するマーカ判定装置である。【００２３】
本発明は、マーカ判定装置とマーカ検出装置とを有し、前記マーカ判定装置が、画像を入力する第一映像入力手段と、この第一映像入力手段で入力された前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す第一配置手段と、前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段と、前記マークの特徴点を記憶するマーカ記憶手段とを有し、前記マーカ検出装置が、画像を入力する第二映像入力手段と、この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、前記所定の空間に表された特徴点群の配置の中に、前記マーカにもとづく特徴点の配置があるか否かを判断する照合手段とを有するマーカ判定検出システムである。【００２４】
本発明は、画像を入力する第一映像入力手段と、この第一映像入力手段で入力された前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す第一配置手段と、前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段と、前記マーカを記憶するマーカ記憶手段と、画像を入力する第二映像入力手段と、この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、前記所定の空間に表された特徴点群の配置の中に、前記マーカに対応する特徴点の配置があるか否かを判断する照合手段とを有するマーカ判定検出装置である。【００２５】
本発明は、画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表し、前記所定の空間において前記特徴点が所定数以下の部分を特異特徴として選択し、既存のマークから特徴点を抽出し、この特徴点を前記所定の空間に配置し、前記特異特徴と一致する特徴点を選択し、この選択した特徴点の数が所定数以上のときに、前記画像から検出可能なマーカとして使用できるものとして判断されたマーカである。【００２６】
本発明は、画像を入力する工程と、前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す工程と、前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する工程と、既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する工程とを有するマーカ判定方法である。【００２７】
本発明は、画像を入力する処理と、前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す処理と、前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する処理と、既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する処理とを情報処理装置に実行させるマーカ判定プログラムである。
【発明の効果】
【００２８】
本発明のマーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びマーカ判定プログラムによれば、判定対象であるマークから特徴点を抽出し、この特徴点を所定の空間に配置し、それら特徴点が特異特徴と一致するかを判断することとしたので、既存のマークやデザインが決められたマークがマーカ検出装置の検出対象となり得るか否かを判定できる。
【図面の簡単な説明】
【００２９】
【図１】図1は本発明の第一実施形態におけるマーカ判定装置の構成を示すブロック図である。
【図２】図２は本発明の第一実施形態におけるマーカ判定装置の詳細な構成を示すブロック図である。
【図３】図３は特異特徴情報テーブルの構成を示す図表である。
【図４】図４はマーク特徴情報テーブルの構成を示す図表である。
【図５】図５はマークの不変特徴が配置された不変量特徴空間を示す図である。
【図６】図６は特異特徴が配置された不変量特徴空間を示す図である。
【図７】図７はマークの不変特徴と特異特徴が配置された不変量特徴空間を示す図である。
【図８】図８は本発明の第一実施形態におけるマーカ判定装置の動作を示すフローチャートである。
【図９】図９は本発明の第二実施形態におけるマーカ判定装置の構成を示すブロック図である。
【図１０】図１０は本発明の第二実施形態におけるマーカ判定装置の詳細な構成を示すブロック図である。
【図１１】図１１は背景映像の例を示す図である。
【図１２】図１２は特徴点が配置された特徴空間を示す図である。
【図１３】図１３は番号が付された特徴点が配置された特徴空間を示す図である。
【図１４】図１４は特徴点情報テーブルの構成を示す図表である。
【図１５】図１５は区画線が引かれた特徴空間を示す図である。
【図１６】図１６は区画の名称を示す図である。
【図１７】図１７は区画の座標を示す図である。
【図１８】図１８は特徴点数分布図（頻度分布）の構成を示す図表である。
【図１９】図１９は判定対象のマークのデザインを示す図である。
【図２０】図２０は図１９に示すマークから抽出された特徴点を示す図である。
【図２１】図２１は特徴点が配置された特徴空間を示す図である。
【図２２】図２２はマークの特徴点が配置された特徴空間を示す図である。
【図２３】図２３はマークの特徴点と特異特徴が配置された特徴点数分布図を示す図である。
【図２４】図２４は本発明の第二実施形態におけるマーカ判定装置の動作を示すフローチャートである。
【図２５】図２５は本発明の第三実施形態におけるマーカ判定装置の構成を示すブロック図である。
【図２６】図２６は本発明の第三実施形態におけるマーカ判定装置の詳細な構成を示すブロック図である。
【図２７】図２７は特徴点５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。
【図２８】図２８は特徴点１５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。
【図２９】図２９は特徴点８９番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。
【図３０】図３０は特徴点９１番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。
【図３１】図３１は図１２に示す特徴点のすべてを不変量特徴空間に写像した様子を示す図である。
【図３２】図３２は不変量特徴空間に区画線を付したところを示す図である。
【図３３】図３３は１以上の特徴点が配置された区画にグレーの網掛けが付された不変量特徴空間を示す図である。
【図３４】図３４はマークの特徴点を不変量特徴空間に写像したところを示す図である。
【図３５】図３５は不変量特徴空間におけるマーカパターン生成範囲を示す図である。
【図３６】図３６は１以上の特徴点が配置された区画にグレーの網掛けが付されたマーカパターン生成範囲を示す図である。
【図３７】図３７は本発明の第三実施形態におけるマーカ判定装置の動作を示すフローチャートである。
【図３８】図３８はマーカ検出装置の構成を示すブロック図である。
【図３９】図３９はマーカ検出装置の詳細な構成を示すブロック図である。
【図４０】図４０は検出対象映像の例を示す図である。
【図４１】図４１は検出対象映像から抽出された特徴点の例を示す図である。
【図４２】図４２はマーカ検出方法の手順を示すフローチャートである。
【図４３】図４３はマーカ判定検出装置の構成を示すブロック図である。
【図４４】図４４はマーカ判定検出装置の詳細な構成を示すブロック図である。
【図４５】図４５はマーカ判定検出システムの構成を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、本発明に係るマーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びマーカ判定プログラムの好ましい実施形態について、図面を参照して説明する。
【００３１】
［マーカ判定装置及びマーカ判定方法の第一実施形態］
まず、本発明のマーカ判定装置及びマーカ判定方法の第一実施形態について、図１を参照して説明する。
【００３２】
同図は、本実施形態のマーカ判定装置の構成を示すブロック図である。
【００３３】
（Ｉ）マーカ判定装置
図１に示すように、マーカ判定装置１ａは、特徴記憶手段１０と、特徴比較手段２０とを備えている。
【００３４】
特徴記憶手段１０は、図２に示すように、特異特徴記憶部１１と、マーク特徴記憶部１２とを有している。
【００３５】
特異特徴記憶部１１は、所定のメモリ領域を保持している。この特異特徴記憶部１１は、「特異特徴情報テーブル」を記憶する。
【００３６】
「特異特徴情報テーブル」は、所定の空間に配置された特異特徴に関するデータをまとめたテーブルである。
【００３７】
この「特異特徴情報テーブル」は、図３に示すように、「テーブルのシリアル番号」（ア）と、「特異特徴のシリアル番号」（イ）と、「特異特徴のｘ座標」（ウ）と、「特異特徴のｙ座標」（エ）とを項目として構成することができる。
【００３８】
「テーブルのシリアル番号」は、特異特徴情報テーブルが一又は二以上ある場合に、それら特異特徴情報テーブルのそれぞれに付された番号を示す。映像入力手段３０（後述）で入力される映像が複数のフレーム画像で構成される場合は、各フレーム画像ごとに付された番号に相当する。
【００３９】
「特異特徴のシリアル番号」は、複数の特異特徴の一つ一つに付された番号を示す。
【００４０】
「特異特徴のｘ座標」は、所定の空間における、その特異特徴のｘ座標を示す。
【００４１】
「特異特徴のｙ座標」は、所定の空間における、その特異特徴のｙ座標を示す。
【００４２】
なお、所定の空間には、例えば、特徴空間、不変量特徴空間、特異特徴空間などが含まれる。
【００４３】
また、特徴空間、不変量特徴空間、特異特徴空間については、第二実施形態で詳細に説明する。さらに、特異特徴の抽出方法などについても、第二実施形態で詳細に説明する。
【００４４】
マーク特徴記憶部１２は、所定のメモリ領域を保持している。このマーク特徴記憶部１２は、「マーク特徴情報テーブル」を記憶する。
【００４５】
「マーク特徴情報テーブル」は、図４に示すように、「マークのシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）とを項目として構成することができる。
【００４６】
「マークのシリアル番号」は、一又は二以上のマークのそれぞれに付された番号を示す。
【００４７】
「特徴点のシリアル番号」は、マークにもとづく一又は二以上の特徴点の一つ一つに付された番号を示す。
【００４８】
「特徴点のｘ座標」は、所定の空間における、その特徴点のｘ座標を示す。
【００４９】
「特徴点のｙ座標」は、所定の空間における、その特徴点のｙ座標を示す。
【００５０】
なお、「所定の空間」には、例えば、特徴空間、不変量特徴空間などが含まれる。
【００５１】
また、「特徴点」には、マークから抽出された特徴点、特徴空間に配置された特徴点、
不変量特徴空間に配置された不変特徴などが含まれる。
【００５２】
それら特徴空間、不変量特徴空間については、第二実施形態で詳細に説明する。さらに、不変特徴の抽出方法などについても、第二実施形態で詳細に説明する。
【００５３】
特徴比較手段２０は、図２に示すように、特徴比較部２１と、比較結果記憶部２２とを有している。
【００５４】
特徴比較部２１は、特徴記憶手段１０の特異特徴記憶部１１から「特異特徴情報テーブル」を取り出す。また、特徴比較部２１は、特徴記憶手段１０のマーク特徴記憶部１２から「マーク特徴情報テーブル」を取り出す。
【００５５】
次いで、特徴比較部２１は、「マーク特徴情報テーブル」を参照し、マークの特徴点を所定の空間（例えば、不変量特徴空間）に配置する。この特徴点が配置された所定の空間を、図５に示す。同図は、特徴点が配置された区画を黒色で塗り潰した様子を示す。
【００５６】
続いて、特徴比較部２１は、「特異特徴情報テーブル」から特異特徴の座標を取り出す。そして、特徴比較部２１は、その座標にしたがって、特異特徴を所定の空間（例えば、不変量特徴空間）に配置する。この特異特徴を配置した所定の空間を、図６に示す。同図において、白色の区画が特異特徴である。
【００５７】
そして、特徴比較部２１は、マークの特徴点の全部又は一部が、特異特徴と一致するか否かを判断する。
【００５８】
この判断は、図６に示す特異特徴の配置と、図５に示す特徴点の配置とを重ね合わせて一致するか否かを判断することで行うことができる。また、その判断は、マークの特徴点の座標と特異特徴の座標とを比較照合して一致しているか否かを判断することで行うことができる。
【００５９】
すなわち、特徴比較部２１は、特異特徴が配置された所定の空間にマークの特徴点を配置し、特異特徴と同じ区画に配置されたマークの特徴点を選択する。
【００６０】
この重ね合わせた結果を、図７に示す。同図に示す場合では、マークの特徴点９個のうち３個が特異特徴と一致している。
【００６１】
そして、特徴比較部２１は、そのマークが検出用マーカとして使用できるか否かを判断する。
【００６２】
この判断には、例えば、次の方法がある。
【００６３】
(１)マークの特徴点（マークの不変特徴を含む）が１個でも特異特徴と一致すれば、検出用マーカとして使用できるものとする。
【００６４】
特異特徴は、背景映像（背景パターン）から抽出された特徴点が表れない部分である。検出段階で、その部分に特徴点が表れることは、すなわち、背景映像に表れていなかった物（物の一部、複数の物の重なり、デザインなど、特徴点の抽出対象となり得るものを含む）が検出段階で表れたことを意味する。ここで、背景映像に表れておらず、かつ検出段階で表れる物が、マーカに限定されるような場合、特異特徴に特徴点が表れると、これをマーカとして特定できる。よって、マークの特徴点が１個でも特異特徴と一致したときは、このマークを検出用マーカとして使用することができる。
【００６５】
(２)マークの特徴点が所定数以上特異特徴と一致すれば、検出用マーカとして使用できるものとする。
【００６６】
背景映像に表れていなかったものの検出段階で表れ得る物が、マーカに限定されない場合、特異特徴に表れた特徴点は、マーカ以外のものにもとづく可能性がある。ただし、マーカ以外のものであっても、複数の特異特徴のすべてに完全に一致する特徴点が得られる物が検出対象映像に表れる可能性は、非常に低い。一方、既存のマークについても、特異特徴の数が比較的少ない場合は、複数の特異特徴のすべてに完全に一致する不変特徴が得られるものは、なかなか存在しない。そこで、判定対象であるマーク以外のものを排除しつつ、そのマークを検出用マーカとして使用できるか否か判断するにあたっては、マークの特徴点が所定数以上特異特徴と一致したときに、このマークを検出用マーカとして使用できるものとする。
【００６７】
なお、「所定数」は、任意に決めることができる。例えば、「所定数」を３とした場合、図７に示した結果においては、このマークを検出用マーカとして使用できることになる。これに対し、「所定数」を４以上とした場合、図７に示した結果においては、このマークは、検出用マーカとして使用できないことになる。
【００６８】
(３)マークの特徴点の数に対する特異特徴と一致したマークの特徴点の数の割合が所定値以上であるときに、そのマークを検出用マーカとして使用できるものとする。
【００６９】
例えば、図７に示すように、マークの不変特徴数が９であり、一致した不変特徴数が３であるとき、これらの割合は、「１／３」である。この商である「３」が所定値以上であるときに、そのマークを検出用マーカとして使用できるものとする。
【００７０】
この方法は、(２)の考え方、すなわち、背景映像に表れていなかったものの検出段階で表れ得る物について、この物にもとづく複数の特徴点のすべてが特異特徴に一致することが想定しにくい場合に用いることができる。
【００７１】
(４)マークにもとづく複数の特徴点のすべてが特異特徴と一致した場合に、そのマークを検出用マーカとして使用できるものとする。
【００７２】
特異特徴の数が比較的少ない場合、マークの特徴点のすべてが特異特徴と一致する可能性は低い。これに対し、特異特徴の数が多い場合には、マークの特徴点が特異特徴と一致する可能性は高くなる。
【００７３】
また、特異特徴と一致する特徴点の数が多い方が、そのマーカの頑健性は高くなる。
【００７４】
そこで、マークにもとづく複数の不変特徴のすべてが特異特徴と一致した場合に、そのマークをマーカとして使用できるようにすることもできる。
【００７５】
これら(１)〜(４)のいずれかの方法を用いることで、そのマークが検出用マーカとして使用できるか否かを判定することができる。
【００７６】
なお、(１)〜(４)の各方法は、特異特徴とマークの特徴点とを図形的に重ね合わせた場合だけでなく、マークの特徴点の座標と特異特徴の座標とを数値的に比較した場合にも用いることができる。
【００７７】
（II）マーカ判定方法
次に、本実施形態のマーカ判定装置の動作（マーカ判定方法）について、図８を参照して説明する。
【００７８】
同図は、本実施形態のマーカ判定方法の所定手順を示すフローチャートである。
【００７９】
特徴記憶手段１０の特異特徴記憶部１１は、「特異特徴情報テーブル」を予め記憶している（ステップ１０）。また、特徴記憶手段１０のマーク特徴記憶部１２は、「マーク特徴情報テーブル」を予め記憶している（ステップ１１）。
【００８０】
特徴比較部２１は、特異特徴記憶部１１から「特異特徴情報テーブル」を取り出す。また、特徴比較部２１は、マーク特徴記憶部１２から「マーク特徴情報テーブル」を取り出す（ステップ１２）。
【００８１】
さらに、特徴比較部２１は、「マーク特徴情報テーブル」の「特徴点のシリアル番号」に示された特徴点のそれぞれを、「特徴点のｘ座標」に示されたｘ座標と、「特徴点のｙ座標」に示されたｙ座標にしたがって所定の空間に配置する。
【００８２】
また、特徴比較部２１は、「特異特徴情報テーブル」から特異特徴の座標を取り出す。
そして、特徴比較部２１は、その座標にしたがって、特異特徴を所定の空間に配置する（ステップ１３）。
【００８３】
次いで、特徴比較部２１は、マークにもとづく複数の不変特徴の全部又は一部が特異特徴と一致しているか否かを判断する。
【００８４】
すなわち、特徴比較部２１は、所定の空間に特異特徴を配置するとともにマークの特徴点を配置し、特異特徴と一致したマークの特徴点を選択する（ステップ１４）。
【００８５】
そして、特徴比較部２１は、特異特徴と一致するマークの特徴点の数が所定数以上であるか否かを判断する（ステップ１５）。
【００８６】
判断の結果、所定数以上であるときは、そのマークは、検出用マーカとして使用できると判定する（ステップ１６）。
【００８７】
一方、所定数以上でないときは、そのマークは、検出用マーカとして使用できないと判定する（ステップ１７）。
【００８８】
このような方法により、そのマークが検出用マーカとして使用できるか否かを判断することができる。
【００８９】
以上説明したように、本実施形態のマーカ判定装置及びマーカ判定方法によれば、判定対象であるマークから特徴点を抽出し、この特徴点を所定の空間に配置し、それら特徴点が特異特徴と一致するかを判断することとした。これにより、既存のマークやデザインが決められたマークがマーカ検出装置の検出対象となり得るか否かを判定することができる。
【００９０】
なお、図４に示すマーク特徴情報テーブルと、図５に示す不変量特徴空間は、マーク単体にもとづく特徴点について表したが、マーク単体に限るものではなく、例えば、マークを含む背景から特徴点を抽出し、この特徴点についてマーク特徴情報テーブルを作成し、不変量特徴空間に配置し、特異特徴と比較することもできる。
【００９１】
［第二実施形態］
次に、本発明のマーカ判定装置及びマーカ判定方法の第二の実施形態について、図９を参照して説明する。
【００９２】
同図は、本実施形態のマーカ判定装置の構成を示すブロック図である。
【００９３】
本実施形態は、第一実施形態と比較して、映像入力手段、特徴抽出手段を新たに備えた点が相違する。他の構成要素は第一実施形態と同様である。
【００９４】
したがって、図９において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
【００９５】
（Ｉ）マーカ判定装置
図９に示すように、マーカ判定装置１ｂは、特徴記憶手段１０と、特徴比較手段２０と、映像入力手段３０と、特徴抽出手段４０とを備えている。
【００９６】
ここで、映像入力手段３０は、図１０に示すように、映像入力部３１と、映像記憶部３２とを有している。
【００９７】
映像入力部３１は、背景映像を撮影又は入力する。
【００９８】
背景映像は、判定対象であるマークが存在しない環境を撮影したものである。例えば、物体を搬送するベルトコンベアがある場合に、その判定対象であるマークが付されていない物体を搬送している状態のベルトコンベア及びその周辺を撮影した映像などが該当する。
【００９９】
この背景映像は、動画像（映像）であってもよく、また、所定時間間隔で撮影した複数枚の静止画像であってもよい。
【０１００】
さらに、背景映像には、ライブ映像、録画映像、配信映像などを含むことができる。
【０１０１】
また、映像入力部３１は、判定対象であるマーク（検出用マーカとして使用できるか否かを判定しようとする既存のマーク）を単体で（ブルーバックなどにより）撮影することができる。この撮影された映像は、マーク単体映像とする。
【０１０２】
さらに、映像入力部３１は、判定対象であるマークが存在する環境を撮影することもできる。この撮影された映像は、マーク環境映像とする。
【０１０３】
また、映像入力部３１は、自身が撮像デバイスを有することができる。この場合、映像入力部３１は、当該マーカ判定装置１ｂが設置された場所の周囲の様子を背景映像として撮影することができる。
【０１０４】
さらに、映像入力部３１は、当該マーカ判定装置１ｂ以外の装置で取り込まれた背景映像を、通信ネットワークや通信ケーブルなどを介して入力することもできる。
【０１０５】
この映像入力部３１が入力した背景映像の例を、図１１に示す。
【０１０６】
映像記憶部３２は、背景映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。背景映像を構成する静止画フレームとは、例えば、図１１に示すような画像が複数枚ある場合に、それら画像の一枚一枚をいう。
【０１０７】
また、映像記憶部３２は、複数のフレーム画像のそれぞれに付された番号（例えば、シリアル番号）を記憶する。
【０１０８】
さらに、映像記憶部３２は、フレーム画像が撮影された時刻、フレーム画像を撮影した装置を特定する情報（フレーム画像が外部入力されたものである場合）などを記憶することもできる。
【０１０９】
特徴抽出手段４０は、図１０に示すように、背景特徴抽出部４１と、マーク特徴抽出部４２と、特徴記憶部４３とを有している。
【０１１０】
背景特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出す。そして、背景特徴抽出部４１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
【０１１１】
画像特徴は、例えば、図形的に特徴的な特性を数値化したものを用いることができる。
【０１１２】
これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されているTommasiniらによる「Making  good  features  track  better」に記載されている方法を使用することができる。この方法は、画像中の物体形状に頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。例えば、図１１のフレーム画像に対して、この方法で特徴点を抽出すると、図１２に示すように、特徴点が複数配置される。特徴点の一つ一つは、座標により管理することができる。
【０１１３】
なお、特徴点が配置された空間を特徴空間という。この特徴空間は、二次元空間であってもよく、また、三次元空間であってもよい。本実施形態の特徴空間は、二次元空間とする。
【０１１４】
また、他の方法としては、例えば、Montanariによる１９７１年Communications  of  ACM、１４巻に掲載されている「On  the  option  detection  of  curves  in  noisy  pictures」に記載の方法がある。これは、基準点からの距離、相対角度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
【０１１５】
さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。
【０１１６】
次いで、背景特徴抽出部４１は、図１３に示すように、特徴点のそれぞれにシリアル番号を付与する。このシリアル番号は、例えば、最も上に位置するものから順番にｔ１、ｔ２、ｔ３、ｔ４、・・・のように付与することができる。
【０１１７】
続いて、背景特徴抽出部４１は、特徴点のそれぞれの座標を求める。座標は、図１３に示すように、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。
【０１１８】
そして、背景特徴抽出部４１は、それら特徴点のシリアル番号や座標を特徴記憶部４３に記憶させる。特徴記憶部４３は、それらシリアル番号等を、図１４に示すように、「特徴点情報テーブル」として記憶することができる。
【０１１９】
「特徴点情報テーブル」は、同図に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）とを項目として構成することができる。
【０１２０】
「フレーム画像のシリアル番号」は、特徴点を抽出したフレーム画像に付された番号を示す。
【０１２１】
「特徴点のシリアル番号」は、複数の特徴点のそれぞれに付された番号を示す。具体的には、図１３の「ｔ１」や「ｔ１５」などが該当する。
【０１２２】
「特徴点のｘ座標」は、特徴空間における、その特徴点のｘ座標を示す。
【０１２３】
「特徴点のｙ座標」は、特徴空間における、その特徴点のｙ座標を示す。
【０１２４】
次いで、背景特徴抽出部４１は、図１５に示すように、特徴空間に格子状のメッシュを付して、複数の区画に分ける。
【０１２５】
このとき、背景特徴抽出部４１は、各区画の座標を算出する。この各区画の座標は、各区画を仕切る線（区画線）の座標で表すことができる。
【０１２６】
例えば、図１６に示すように、仕切り線の座標を、ｘ１，ｘ２，ｘ３，・・・、ｙ１，ｙ２，ｙ３，・・・とする。
【０１２７】
また、各区画の名称を、区画（1,1）、区画（1,2）、区画（1,3）、・・・、区画（2,1）、区画（2,2）、区画（2,3）、・・・とする。このうち、区画（1,1）は、座標（0,0）-（x1,0）-（x1,y1）-（0,y1）-（0,0）で囲まれた範囲となる。
【０１２８】
ここで、x1は、Ｘ方向の第一本目の区画線のｘ座標である。また、y1は、Ｙ方向の第一本目の区画線のｙ座標である。これにより、区画（1,1）の座標は、図１７に示すように、（x1,y1）として表すことができる。
【０１２９】
同様に、区画（2,1）の座標は、（x2,y1）、区画（3,1）の座標は、（x3,y1）、区画（1,2）の座標は、（x1,y2）、区画（2,2）の座標は、（x2,y2）として表すことができる。
【０１３０】
これら各区画の名称と座標との関係を、図１７に示す。それら各区画の名称と座標は、区画座標テーブルとして、特徴記憶部４３に記憶させることができる。
【０１３１】
また、一つの区画の大きさは、任意に設定できる。ただし、一つの区画の大きさは、特徴点が存在しない区画が特徴空間の中で少なくとも２〜３個以上存在するように定めるのが望ましい。
【０１３２】
続いて、背景特徴抽出部４１は、各区画ごとに特徴点の数を求める。
【０１３３】
この各区画ごとの特徴点の数の算出は、各区画の座標と、各特徴点の座標とを用いて行うことができる。
【０１３４】
算出された各区画ごとの特徴点の数は、図１８に示すように、特徴点数分布図（頻度分布）として表すことができる。この特徴点数分布図は、特徴記憶部４３に記憶される。
【０１３５】
なお、図１８においては、わかりやすいように、特徴点が１つ以上存在した区画にグレーの網掛けを付して表示してある。
【０１３６】
また、背景特徴抽出部４１は、特徴点の数が０又は所定数以下の区画を、特異特徴として選択する。例えば、図１８に示す特徴点数分布図においては、（x1,y1）、（x2,y1）、（x3,y1）等が特異特徴として選択される。
【０１３７】
そして、特徴抽出部２１は、選択した特異特徴の座標を示す「特異特徴情報テーブル」を作成する（図３参照）。この特異特徴情報テーブルは、特徴記憶手段１０の特異特徴記憶部１１に記憶させる。
【０１３８】
マーク特徴抽出部４２は、映像入力部３１で入力されたマークの映像にもとづいて特徴点を抽出する。
【０１３９】
例えば、その入力されたマークが図１９に示すようなデザイン（形状）であったとする。マーク特徴抽出部４２は、そのマークから特徴点を抽出する。この抽出の方法は、背景特徴抽出部４１が実行する抽出方法と同じである。
【０１４０】
マーク特徴抽出部４２が図１９に示すマークから抽出した特徴点は、図２０に示すように表わされる。
【０１４１】
また、マーク特徴抽出部４２は、抽出した特徴点を特徴空間に配置する。この特徴点が配置された特徴空間を、図２１に示す。
【０１４２】
そして、マーク特徴抽出部４２は、特徴空間における各特徴点の座標を算出する。マーク特徴抽出部４２は、この算出した特徴点の座標を「マーク特徴情報テーブル」としてまとめる（図４参照）。この「マーク特徴情報テーブル」は、特徴記憶手段１０のマーク特徴記憶部１２に記憶される。
【０１４３】
特徴記憶部４３は、「特徴点情報テーブル」、「区画座標テーブル」、「特徴点数分布図」を記憶する。
【０１４４】
特徴記憶手段１０は、図１０に示すように、特異特徴記憶部１１と、マーク特徴記憶部１２とを有している。
【０１４５】
特異特徴記憶部１１は、「特異特徴情報テーブル」を記憶する。
【０１４６】
マーク特徴記憶部１２は、「マーク特徴情報テーブル」を記憶する。
【０１４７】
特徴比較手段２０は、特徴比較部２１と、比較結果記憶部２２とを有している。
【０１４８】
特徴比較部２１は、「マーク特徴情報テーブル」に示された特徴点を特徴空間に配置する。また、特徴比較部２１は、マークの特徴点が配置された特徴空間に区画線を付して複数の区画に分ける。さらに、特徴比較部２１は、特徴点が所定数（本実施形態においては、「１」）以上ある区画を特定する。この特定された区画を、図２２に示す。同図においては、黒く塗り潰された区画が、特徴点が所定数以上ある区画である。
【０１４９】
また、特徴比較部２１は、「特異特徴情報テーブル」に示された特異特徴を特徴空間に配置する。さらに、特徴比較部２１は、その特徴空間に、マークの特徴点を配置する。これら配置した様子を図２３に示す。
【０１５０】
同図においては、白色の区画が特異特徴の配置された区画、グレーが特異特徴の配置されなかった区画、黒色がマークの特徴点の配置された区画を示す。
【０１５１】
なお、同図においては、特異特徴が配置されなかった区画（グレーの区画）よりも、特異特徴が配置された区画（白色の区画）の方が多くなっている。これは、もとの画像が図１１に示すような画像であり、抽出された特徴点の数が比較的少なかったからである。仮に、画像の全体から特徴点がさらに数多く抽出された場合は、グレーの区画が多くなり、特異特徴が少なくなる。
【０１５２】
さらに、特徴比較部２１は、特異特徴と一致したマークの特徴点を選択する。
【０１５３】
同図においては、マークの特徴点のすべてが特異特徴と一致している。この場合は、特異特徴と一致する特徴点の数が所定数以上であることから、特徴比較部２１は、そのマークを検出用マーカとして使用できるものと判断する。
【０１５４】
比較結果記憶部２２は、特徴比較部２１における判断の結果を記憶する。
【０１５５】
（II）マーカ判定方法
次に、マーカ判定装置の動作手順（マーカ判定方法）について、図２４を参照して説明する。
【０１５６】
図２３は、マーカ判定方法の処理手順を示すフローチャートである。
【０１５７】
マーカ判定装置１ｂにおいて、映像入力手段３０の映像入力部３１は、背景映像を撮影（又は入力）する（ステップ２０）。この背景映像は、複数枚のフレーム画像で構成することができる。映像入力手段３０の映像記憶部３２は、映像入力部３１で入力された背景映像をフレーム画像として記憶する。
【０１５８】
また、映像入力部３１は、判定対象であるマークの映像を撮影（又は入力）する（ステップ２１）。映像記憶部３２は、映像入力部３１で入力されたマークの映像を記憶する。
【０１５９】
特徴抽出手段４０の背景特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ２２）。
【０１６０】
また、背景特徴抽出部４１は、それら特徴点を特徴空間に配置する。そして、背景特徴抽出部４１は、特徴空間における特徴点の座標を算出する。この算出した座標は、「特徴点情報テーブル」としてまとめられ、特徴記憶部４３に記憶される。
【０１６１】
次いで、背景特徴抽出部４１は、特徴空間に格子状のメッシュを付して、複数の区画に分ける。続いて、背景特徴抽出部４１は、各区画ごとに特徴点の数を求め、特徴点が０又は所定数以下の区画を特異特徴として選択する（ステップ２３）。
【０１６２】
そして、背景特徴抽出部４１は、選択した特異特徴の座標を示す「特異特徴情報テーブル」を作成する。特徴記憶手段１０の特異特徴記憶部１１は、「特異特徴情報テーブル」を記憶する。
【０１６３】
特徴抽出手段４０のマーク特徴抽出部４２は、映像記憶部３２からマークの画像を取り出し、このマークの画像から特徴点を抽出する（ステップ２４）。
【０１６４】
また、マーク特徴抽出部４２は、それら特徴点を特徴空間に配置する。そして、マーク特徴抽出部４２は、特徴空間における特徴点の座標を算出する。この算出した座標は、「マーク特徴情報テーブル」としてまとめられ、特徴記憶手段１０のマーク特徴記憶部１２に記憶される。
【０１６５】
特徴比較手段２０の特徴比較部２１は、特異特徴記憶部１１から、「特異特徴情報テーブル」を取り出す。また、特徴比較部２１は、マーク特徴記憶部１２から、「マーク特徴情報テーブル」を取り出す。
【０１６６】
次いで、特徴比較部２１は、「特異特徴情報テーブル」を参照して、特異特徴を特徴空間に配置する。また、特徴比較部２１は、「マーク特徴情報テーブル」を参照して、マークの特徴点をその特徴空間に配置する（ステップ２５）。そして、特徴比較部２１は、特異特徴と一致するマークの特徴点を選択する（ステップ２６）。
【０１６７】
続いて、特徴比較部２１は、選択したマークの特徴点の数が所定数以上か否かを判断する（ステップ２７）。
【０１６８】
判断の結果、選択したマークの特徴点の数が所定数以上であるときは、そのマークは、検出用マーカとして使用できるものとする（ステップ２８）。
【０１６９】
一方、選択したマークの特徴点の数が所定数未満であるときは、そのマークは、検出用マーカとして使用できないものとする（ステップ２９）。
【０１７０】
以上、説明したように、本実施形態のマーカ判定装置及びマーカ判定方法によれば、判定対象であるマークから特徴点を抽出し、この特徴点を特徴空間に配置し、それら特徴点が特異特徴と一致するかを判断することとした。これにより、既存のマークやデザインが決められたマークがマーカ検出装置の検出対象となり得るか否かを判定できる。
【０１７１】
なお、図２２に示す特徴空間に配置されたマークの特徴点と、図２３に示す特徴空間に配置されたマークの特徴点は、マーク単体にもとづく特徴点について表したが、マーク単体に限るものではなく、例えば、マークを含む背景から特徴点を抽出し、これら特徴点を特徴空間に配置し、特異特徴と比較することもできる。この場合も、マークの特徴点を含む区画が特異特徴と一致すれば、そのマークは、検出用マーカとして使用できるものと判断することができる。
【０１７２】
［第三実施形態］
次に、本発明のマーカ判定装置及びマーカ判定方法の第三の実施形態について、図２５を参照して説明する。
【０１７３】
同図は、本実施形態のマーカ判定装置の構成を示すブロック図である。
【０１７４】
本実施形態は、第一実施形態と比較して、映像入力手段、特徴抽出手段、不変特徴変換手段を新たに設けた点が相違する。他の構成要素は第一実施形態と同様である。
【０１７５】
したがって、図２５において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
【０１７６】
（Ｉ）マーカ判定装置
図２５に示すように、マーカ判定装置１ｃは、特徴記憶手段１０と、特徴比較手段２０と、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段５０とを備えている。
【０１７７】
ここで、特徴抽出手段４０は、図２６に示すように、背景特徴抽出部４１と、マーク特徴抽出部４２と、特徴記憶部４３とを有している。
【０１７８】
背景特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出し、このフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
【０１７９】
次いで、背景特徴抽出部４１は、図１３に示すように、特徴点のそれぞれにシリアル番号を付与する。続いて、背景特徴抽出部４１は、特徴点のそれぞれの座標を求める。
【０１８０】
そして、背景特徴抽出部４１は、それら特徴点のシリアル番号や座標を、「特徴点情報テーブル」にまとめて特徴記憶部４３に記憶させる。
【０１８１】
マーク特徴抽出部４２は、映像入力部３１で入力されたマークの映像にもとづいて特徴点を抽出する。また、マーク特徴抽出部４２は、抽出した特徴点を特徴空間に配置する。この特徴点が配置された特徴空間は、図２１に示したものと同様である。
【０１８２】
さらに、マーク特徴抽出部４２は、特徴空間における各特徴点の座標を算出する。マーク特徴抽出部４２は、この算出した特徴点の座標を「マーク特徴情報テーブル」としてまとめる（図４参照）。この「マーク特徴情報テーブル」は、特徴記憶手段１０のマーク特徴記憶部１２に記憶される。
【０１８３】
特徴記憶部４３は、「特徴点情報テーブル」を記憶する。
【０１８４】
不変特徴変換手段５０は、図２６に示すように、第一不変特徴変換部５１と、第二不変特徴変換部５２と、不変特徴記憶部５３と、特異特徴選択部５４とを有している。
【０１８５】
第一不変特徴変換部５１は、特徴点を不変特徴に変換する。この第一不変特徴変換部５１は、特徴抽出手段４０の特徴記憶部４３から「特徴点情報テーブル」を取り出し、その特徴点を不変特徴に変換し、不変特徴記憶部５３に記憶させる。
【０１８６】
画像の特徴的な部位を抽出しその画像上での位置座標情報の系列を図形的特徴とする場合（例えば、図１１に示す背景映像から図１２に示す特徴点を抽出する処理の場合）、それらの不変特徴への変換は、例えば、次のように行なうことができる。便宜的に、ここでは、位置座標情報の系列を特徴点群と呼ぶこととする。ここで、簡単のため、背景が遠方にある場合の幾何学的な不変特徴について説明する。ただし、光学歪みの影響で、画像が剪断変形歪みを被る場合も特徴量が不変となるように配慮する。なお、背景が遠方にない場合などより自由度の高い不変特徴に拡張することは容易である。幾何学的不変特徴すなわちカメラと撮影対象のシーンが相対的に回転、平行移動し、剪断変形歪みを被る場合に、その相対的な位置関係変化によらず、不変な特徴量を、特徴点群の位置関係から、生成する方法の一例を説明する。
【０１８７】
特徴点群から任意の３点の特徴点を選択する。他方で不変量特徴空間を直交する２軸の張る２次元平面として定義する。特徴点群から選択した特徴点のうちの一点を不変量特徴空間での原点に対応付ける。その他の２点を不変量特徴空間での、位置座標（１，０）及び（０，１）にそれぞれ対応付ける。これら３点を基底と呼ぶことにする。このとき、原画像空間から、不変量特徴空間への１対１線形写像がアフィン変換として定義できる。基底を除くすべての特徴点群を、基底により特徴付けられた同一のアフィン変換を用いて不変特徴空間へ写像すると、これら特徴点群はカメラとシーンの相対的位置関係によらず不変となる。ただし、実際には、シーンから常に同じ基底を選択できるとは限らないため、特徴点群のすべての３点の順列組み合わせから基底選択を行い、各基底に対する非基底特徴点を不変量特徴空間に写像する必要がある。
【０１８８】
こうして作られた全基底と、不変量特徴空間への全特徴点の写像は、不変特徴として、不変特徴記憶部５３に記憶される。これら特徴点群が幾何変形に対して不変である理由は、他の物体を含む映像中で、マーカから選択される基底により、得られる不変特徴は、常に一致するためである。
【０１８９】
ここまで説明した手法は、基底を３点とした場合であるが、基底は３点に限るものではなく、１点、２点あるいは４点以上とすることができる。次に、基底を１点にした場合について説明する。
【０１９０】
あるフレーム画像から抽出した特徴点は、図１２に示すように、特徴空間に配置されているものとする。また、各特徴点には、図１３に示すように、シリアル番号が付されているものとする。
【０１９１】
第一不変特徴変換部５１は、一つの特徴点を基底として定め、この基底が不変量特徴空間の座標（０，０）のところにくるように移動し、この移動量を求め、他のすべての特徴点についても、その移動量で不変量特徴空間に移動する。
【０１９２】
例えば、図２７に示すように、シリアル番号５番の特徴点を基底とし、この５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動する。これにより、不変量特徴空間には、同図右に示すように特徴点が配置される。なお、不変量特徴空間に配置された特徴点を不変特徴という。
【０１９３】
また、図２８に示すように、シリアル番号１５番の特徴点を基底とし、この１５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
【０１９４】
さらに、図２９に示すように、シリアル番号８９番の特徴点を基底とし、この８９番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
【０１９５】
そして、図３０に示すように、シリアル番号９１番の特徴点を基底とし、この９１番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
【０１９６】
このように、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点に移動するのに伴って、その移動量と同じ移動量ですべての特徴点を移動させる処理を、各特徴点を順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
【０１９７】
図１２に示す特徴点を不変量特徴空間に写像した結果は、図３１に示すようになる。これが、不変量特徴空間における不変特徴の配置された状態である。
【０１９８】
なお、本実施形態において、特徴点を不変量特徴空間へ写像する方法は、図２７〜図３１に示す方法とするが、写像方法は、この方法に限るものではなく、種々の方法を用いることができる。
【０１９９】
例えば、複数の特徴点のうちの一つを第一基底、他の一つを第二基底として定め、第一基底を不変量特徴空間の座標（0,0）に移動し、第二基底を（0,1）に移動することにともない、この移動規則と同一の変換規則にしたがって、すべての特徴点を移動させ、不変量特徴空間における移動後の各特徴点（不変特徴）の座標を記憶する。続いて、他の二つの特徴点を第一基底及び第二基底として定め、これら第一及び第二基底の移動にともない同一変換規則にしたがってすべての特徴点を移動させ、不変量特徴空間における不変特徴の座標を記憶する。そして、すべての特徴点が第一及び第二基底として定められ、不変量特徴空間における不変特徴の座標の蓄積が完了すると、不変量特徴空間への写像が終了する。
【０２００】
また、上述の説明は、幾何学的不変量に関するものであるが、幾何学的不変量のほかに種々の不変量を使用してもよい。
【０２０１】
例えば、物体色を不変量として用いることができる。
【０２０２】
物体の色は、同一物体であっても撮影環境に存在する光源色に依存して、異なった色で撮影されてしまう。画像上から光源色変動の影響を分離して取り除くことができれば、実際の物体色を得ることができる。得られる実際の物体色を物体色不変量として使用してもよい。鏡面反射している箇所は光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和箇所に対応する色成分を不変特徴として選択しないようにしてもよい。
【０２０３】
他にも、画像から物体色を推定する方法には、Robby  T.  Tan  and  Katsushi  Ikeuchiによる、IEEE  TRANSACTIONS  ON  PATTERN  ANALYSIS  AND  MACHINE  INTELLIGENCE、VOL.  27、NO.  2、FEBRUARY  2005、pp.178-193に記載の「Separating  Reflection  Components  of  Textured  Surfaces  Using  a  Single  Image」や、Graham  D.  Finlayson、Steven  D.  Hordley、Cheng  Lu、and  Mark  S.  Drewによる、IEEE  TRANSACTIONS  ON  PATTERN  ANALYSIS  AND  MACHINE  INTELLIGENT、  VOL.28、NO.1、JANUARY  ２００６、pp.59-68、に記載の「On  the  Removal  of  Shadows  from  Images」などを使用してもよい。
【０２０４】
さらに、テクスチャを不変量として用いることができる。
【０２０５】
画像の部分領域の輝度分布に対して数値演算を施し得られた数値またはベクトルを特徴量とする。図形的不変量と同様にテクスチャ不変量はカメラと撮影対象との相対位置関係に影響を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。例えば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、動径方向にパワースペクトルをとることで実装可能である。さらに、上記パワースペクトルに対して方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。その他、Chi-Man  Pun  and  Moon-Chuen  LeeによるIEEE  TRANSACTIONS  ON  PATTERN  ANALYSIS  AND  MACHINE  INTELLIGENCE、VOL.  25、NO.  5、MAY  2003記載の「Log-Polar  Wavelet  Energy  Signatures  for  Rotation  and  Scale  Invariant  Texture  Classification」などの方法を用いてもよい。
【０２０６】
また、幾何学的不変量についても、Richard  Hartley  and  Andrew  Zissermanによる「Multiple  View  Geometry  in  Computer  Vision」などに記載されているような他の幾何学的不変量を使用してもよい。同一シーンを複数のカメラで観測する場合には、同文献に記載の方法により、距離もしくは深さ方向の相対位置関係の情報を得ることが可能となるが、この場合、同一平面にない４点を基底に選択し、不変量特徴空間を３次元とすると、３次元の幾何学的不変量を作ることができる。この際には、特徴点群から選択した基底４点のうち１点を不変量空間の原点、その他の基底の特徴点を不変量空間における位置座標（１，０，０）および（０，１，０）、（０，０，１）に対応付ける変換写像を求め、その他特徴をこの変換写像を使用して不変量空間に写像するようにする。
【０２０７】
特徴点を不変量特徴空間に写像した第一不変特徴変換部５１は、図３２に示すように、不変量特徴空間に格子状のメッシュを付して、複数の区画に分ける。
【０２０８】
続いて、第一不変特徴変換部５１は、各区画ごとに不変特徴の数を求める。この算出結果を、図３３に示す。図３３は、不変量特徴空間において、不変特徴の数が１以上の区画にグレーを付した図である。
【０２０９】
第二不変特徴変換部５２は、マークの特徴点を不変量特徴空間に写像する。
【０２１０】
この写像の方法は、第一不変特徴変換部５１が背景映像の特徴点を不変量特徴空間に写像する方法と同じである。
【０２１１】
例えば、図２０に示す特徴点を不変量特徴空間に写像した場合は、不変特徴が図３４に示す配置となる。
【０２１２】
また、第二不変特徴変換部５２は、不変量特徴空間における不変特徴について、「マーク特徴情報テーブル」（図４参照）を作成する。この作成された「マーク特徴情報テーブル」は、特徴比較手段２０のマーク特徴記憶部１２に記憶される。
【０２１３】
不変特徴記憶部５３は、所定のメモリ領域を保持している。この不変特徴記憶部５３は、第一不変特徴変換部５１で求められた各種データを記憶する。各種データには、例えば、不変量特徴空間に配置された各不変特徴の座標、各区画の座標（範囲）、各区画ごとの不変特徴数などが含まれる。
【０２１４】
特異特徴選択部５４は、図３５に示すように、不変量特徴空間の中で、マーカパターンの生成を行う範囲（判定対象のマークが検出用マーカとして使用できるか否かを判定する範囲）を、マーカパターン生成範囲として決定する。このマーカパターン生成範囲は、静止画フレームの大きさと同じ大きさとすることができる。
【０２１５】
次いで、特異特徴選択部５４は、そのマーカパターン生成範囲における各区画ごとの不変特徴数を、不変特徴記憶部５３から取り出す。この取り出した各区画ごとの不変特徴数を図３６に示す。
【０２１６】
なお、図３６は、マーカパターン生成範囲において、不変特徴の数が１以上の区画にグレーを付した図である。
【０２１７】
続いて、特異特徴選択部５４は、マーカパターン生成範囲における各区画ごとの不変特徴数のうち、０又は所定値以下のものを特異特徴として選択する。
【０２１８】
そして、特異特徴選択部５４は、選択しれた特異特徴について、「特異特徴情報テーブル」（図３参照）を作成し、特異特徴記憶部１１に記憶させる。
【０２１９】
（II）マーカ判定方法
次に、本実施形態のマーカ判定装置の動作（マーカ判定方法）について、図３７を参照して説明する。
【０２２０】
同図は、本実施形態のマーカ判定方法の処理手順を示すフローチャートである。
【０２２１】
マーカ判定装置１ｃにおいて、映像入力手段３０の映像入力部３１は、背景映像を撮影（又は入力）する（ステップ３０）。この背景映像は、複数枚のフレーム画像で構成することができる。映像入力手段３０の映像記憶部３２は、映像入力部３１で入力された背景映像をフレーム画像として記憶する。
【０２２２】
また、映像入力部３１は、判定対象であるマークの映像を撮影（又は入力）する（ステップ３１）。映像記憶部３２は、映像入力部３１で入力されたマークの映像を記憶する。
【０２２３】
特徴抽出手段４０の背景特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ３２）。
【０２２４】
また、背景特徴抽出部４１は、それら特徴点を特徴空間に配置する。そして、背景特徴抽出部４１は、特徴空間における特徴点の座標を算出する。この算出した座標は、「特徴点情報テーブル」としてまとめられ、特徴記憶部４３に記憶される。
【０２２５】
次いで、不変特徴変換手段５０の第一不変特徴変換部５１は、背景映像の特徴点を不変量特徴空間へ写像する（ステップ３３）。
【０２２６】
続いて、第一不変特徴変換部５１は、不変量特徴空間に格子状のメッシュを付して、複数の区画に分ける。さらに、第一不変特徴変換部５１は、各区画ごとに不変特徴の数を求め、不変特徴が０又は所定数以下の区画を特異特徴として選択する（ステップ３４）。
【０２２７】
そして、第一不変特徴変換部５１は、選択した特異特徴の座標を示す「特異特徴情報テーブル」を作成する。特徴記憶手段１０の特異特徴記憶部１１は、「特異特徴情報テーブル」を記憶する。
【０２２８】
特徴抽出手段４０のマーク特徴抽出部４２は、映像記憶部３２からマークの画像を取り出し、このマークの画像から特徴点を抽出する（ステップ３５）。
【０２２９】
また、マーク特徴抽出部４２は、それら特徴点を特徴空間に配置する。そして、マーク特徴抽出部４２は、特徴空間における特徴点の座標を算出する。この算出した座標は、「マーク特徴情報テーブル」としてまとめられ、特徴記憶手段１０のマーク特徴記憶部１２に記憶される。
【０２３０】
特徴比較手段２０の特徴比較部２１は、特異特徴記憶部１１から、「特異特徴情報テーブル」を取り出す。また、特徴比較部２１は、マーク特徴記憶部１２から、「マーク特徴情報テーブル」を取り出す。
【０２３１】
次いで、特徴比較部２１は、「特異特徴情報テーブル」を参照して、特異特徴を特徴空間に配置する。また、特徴比較部２１は、「マーク特徴情報テーブル」を参照して、マークの特徴点をその特徴空間に配置する（ステップ３６）。そして、特徴比較部２１は、特異特徴と一致するマークの特徴点を選択する（ステップ３７）。
【０２３２】
続いて、特徴比較部２１は、選択したマークの特徴点の数が所定数以上か否かを判断する（ステップ３８）。
【０２３３】
判断の結果、選択したマークの特徴点の数が所定数以上であるときは、そのマークは、検出用マーカとして使用できるものとする（ステップ３９）。
【０２３４】
一方、選択したマークの特徴点の数が所定数未満であるときは、そのマークは、検出用マーカとして使用できないものとする（ステップ４０）。
【０２３５】
以上、説明したように、本願発明のマーカ判定装置及びマーカ判定方法によれば、判定対象であるマークから特徴点を抽出し、この特徴点を不変量特徴空間に配置し、それら特徴点が特異特徴と一致するかを判断することとした。これにより、既存のマークやデザインが決められたマークがマーカ検出装置の検出対象となり得るか否かを判定できる。
【０２３６】
なお、図３４に示す不変量特徴空間においては、マーク単体にもとづく不変特徴を配置してあるが、マーク単体に限るものではなく、例えば、マークを含む背景から特徴点を抽出し、これら特徴点を不変量特徴空間に写像し、特異特徴と比較することもできる。この場合も、マークの不変特徴を含む区画が特異特徴と一致すれば、そのマークは、検出用マーカとして使用できるものと判断することができる。
【０２３７】
［マーカ検出装置及びマーカ検出方法］
（マーカ検出装置）
次に、マーカ検出装置について、図３８、図３９を参照して説明する。
【０２３８】
図３８は、マーカ検出装置の構成を示すブロック図である。図３９は、マーカ検出装置の詳細構成を示すブロック図である。
【０２３９】
図３８に示すように、マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、マーカ記憶手段１３０と、照合手段１４０と、報知手段１５０とを備えている。
【０２４０】
ここで、映像入力手段１１０は、図３９に示すように、映像入力部１１１と、映像記憶部１１２とを有している。
【０２４１】
映像入力部１１１は、マーカが存在する可能性のある環境を検出対象映像として撮影（入力）する。例えば、映像入力部１１１は、図４０に示すように、マーカを含む検出対象映像を入力することができる。
【０２４２】
映像記憶部１１２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。
【０２４３】
特徴抽出手段１２０は、図３９に示すように、特徴抽出部１２１と、特徴記憶部１２２とを有している。
【０２４４】
特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
【０２４５】
例えば、検出対象映像が図４０に示すような画像の場合、特徴抽出部１２１は、その検出対象映像から図４１に示すような特徴点を抽出する。
【０２４６】
特徴記憶部１２２は、特徴抽出部１２１で抽出された特徴点の各座標を記憶する。
【０２４７】
マーカ記憶手段１３０は、マーカ判定装置１で判定されたマーカパターンに関するデータを記憶する。このマーカ記憶手段１３０は、例えば、マーカパターンにもとづく特徴点を記憶することもできる。
【０２４８】
照合手段１４０は、図３９に示すように、照合部１４１と、照合結果記憶部１４２とを有している。
【０２４９】
照合部１４１は、検出対象映像にもとづく特徴点の各座標を特徴記憶部１２２から取り出すとともに、マーカパターンにもとづく特徴点の各座標をマーカ記憶手段１３０から取り出し、それらを照合する。そして、照合部１４１は、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるか否かを判断する。
【０２５０】
例えば、マーカパターンの特徴の一つと検出対象映像から生成された特徴の一つとを比較して、特徴空間でのユークリッド距離が既定値以下である場合には、それら特徴が一致したとして、一致した特徴の数をスコアとして累積し、スコアが閾値に達すると、マーカの検出を受諾するようにしても良い。また、前述のユークリッド距離の累積値が既定値以下である条件を付加しても良い。
【０２５１】
また、例えば、マーカ判定装置１ａの特徴抽出部２１が、特異特徴の決定を量子化した特徴空間で実行した場合、マーカ記憶手段１３０は、その特異特徴の座標を記憶しておく。そして、照合部１４１は、マーカ設計時に頻度が０であったメッシュに、検出対象映像からの特徴が１回でも投影されたときには、マーカパターンからの寄与であるとして検出を確定することができる。これによれば、マーカ検出は、高速に行える。
【０２５２】
ノイズや特徴抽出計算の誤差による誤対応を避けるために、受諾する投影の頻度を１回以上の既定値に設定してもよい。または、量子化した特徴空間をマーカパターンから生成可能である場合には、これを利用しても良い。この場合、検出対象映像から得た特異特徴が、マーカパターンの投影される特徴空間メッシュに１回、又は既定回数一致した場合に、マーカパターン検出を受諾するようにしても良い。
【０２５３】
これら照合の結果、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるときは、照合部１４１は、検出対象映像における当該特徴点の座標を検出し、これを照合結果記憶部１４２に記憶させる。また、照合部１４１は、報知手段１５０へ報知信号を送る。
【０２５４】
一方、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にないときは、照合部１４１は、特徴点の座標の検出及び報知信号の送出を行わない。
【０２５５】
具体的には、照合部１４１は、図４１に示す特徴点群の中から、マーカ記憶手段１３０から取り出したマーカパターンにもとづく特徴点と一致する特徴点を探し出す。このとき、照合部１４１は、マーカパターンにもとづく特徴点群を拡大又は縮小して、特徴空間における特徴点群と照合する。
【０２５６】
その結果、図４１に示す特徴点群の中から、マーカ記憶手段１３０から取り出したマーカパターンにもとづく特徴点と一致する特徴点が見つかると、照合部１４１は、図４１に示す特徴空間における当該特徴点の座標を検出し、これを照合結果記憶部１４２に記憶させる。
【０２５７】
照合結果記憶部１４２は、照合部１４１で行われた照合に関するデータを記憶する。
【０２５８】
例えば、照合結果記憶部１４２は、検出対象映像にもとづく特徴点のうち、マーカパターンにもとづく特徴点と一致する特徴点（図４１においては、左方の楕円で囲まれた特徴点）の各座標を記憶する。
【０２５９】
報知手段１５０は、照合部１４１から報知信号を受けると、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあったことを外部に報知する。この報知の方法には、例えば、音声出力や、画面表示などがある。
【０２６０】
（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図４２を参照して説明する。
【０２６１】
マーカ記憶手段１３０は、マーカ判定装置１で判定対象とされたマーカに関するデータを予め記憶している（ステップ５０）。このマーカ記憶手段１３０は、例えば、マーカパターンにもとづく特徴点を記憶することもできる。
【０２６２】
映像入力手段１１０の映像入力部１１１は、マーカが存在する可能性のある環境を検出対象映像として入力する（ステップ５１）。
【０２６３】
映像記憶部１１２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。
【０２６４】
特徴抽出手段１２０の特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する（ステップ５２）。
【０２６５】
また、特徴抽出部１２１は、抽出した特徴点の座標を算出する（ステップ５３）。
【０２６６】
特徴記憶部１２２は、特徴抽出部１２１で算出された特徴点の各座標を記憶する。
【０２６７】
照合手段１４０の照合部１４１は、検出対象映像にもとづく特徴点の各座標を特徴記憶部１２２から取り出すとともに、マーカパターンにもとづく特徴点の各座標をマーカ記憶手段１３０から取り出し、それらを照合する（ステップ５４）。そして、照合部１４１は、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるか否かを判断する。
【０２６８】
判断の結果、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるときは、照合部１４１は、検出対象映像における当該特徴点の座標を検出し、これを照合結果記憶部１４２に記憶させる。また、照合部１４１は、報知手段１５０へ報知信号を送る。
【０２６９】
一方、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にないときは、照合部１４１は、特徴点の座標の検出及び報知信号の送出を行わない。
【０２７０】
報知手段１５０は、照合部１４１から報知信号を受けると、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあったことを外部に報知する（ステップ５５）。
【０２７１】
その後は、終了するか否かが判断され（ステップ５６）、終了しないときは、ステップ５１〜ステップ５６の処理が繰り返される。
【０２７２】
以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、マーカ判定装置で検出用マーカとして使用できると判定されたマークを用いて、検出対象映像に映し出されたマーカを確実に検出することができる。
【０２７３】
また、本実施形態においては、マーカの検出を特徴空間において行なうこととしたが、マーカの検出は、特徴空間に限るものではなく、例えば、不変量特徴空間において行なうこともできる。この場合、マーカ判定段階で、特異特徴を選択した特異特徴配置図を記憶しておき、マーカ検出段階で、検出対象映像から特徴点を抽出し、この特徴点を不変量特徴空間に写像して不変特徴し、この不変量特徴空間と前述の特異特徴配置図とを重ね合わせ、特異特徴配置図に示された特異特徴に不変量特徴空間に示された不変特徴が現れたときは、この不変特徴をマーカにもとづく不変特徴として検出することができる。
【０２７４】
さらに、検出用マーカの判定において、物体色不変量やテクスチャ不変量を用いた場合には、マーカ検出において、それら物体色不変量やテクスチャ不変量を用いてマーカ検出を行なう。この場合、マーカ判定段階で、背景映像から物体色不変量やテクスチャ不変量を抽出し、これらにもとづく特異特徴を選択して記憶しておき、マーカ検出段階において、検出対象映像から物体色不変量やテクスチャ不変量を抽出し、これら物体色不変量やテクスチャ不変量が特異特徴と一致したときは、それら物体色不変量やテクスチャ不変量をマーカとして検出することができる。
【０２７５】
［マーカ判定検出装置及びマーカ判定検出システム］
（マーカ判定検出装置）
次に、マーカ判定検出装置について、図４３を参照して説明する。
【０２７６】
図４３は、マーカ判定検出装置の構成を示すブロック図である。
【０２７７】
図４３に示すように、マーカ判定検出装置１０００は、マーカ判定装置１と、マーカ検出装置１００とを備えている。
【０２７８】
ここで、マーカ判定装置１は、前述した第一実施形態〜第六実施形態のいずれかにおけるマーカ判定装置１を用いることができる。
【０２７９】
マーカ検出装置１００は、前述した図４３に示すマーカ検出装置１００を用いることができる。
【０２８０】
このように、マーカ判定検出装置１０００は、マーカ判定装置１とマーカ検出装置１００とを一体化した構成とすることができる。
【０２８１】
また、マーカ判定装置１とマーカ検出装置１００とは、共有化できる機能があるため、図４４に示すような構成とすることもできる。
【０２８２】
例えば、マーカ判定検出装置１０００は、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段５０と、特徴記憶手段１０と、特徴比較手段２０と、マーカ記憶部６０と、照合手段１４０と、報知手段１５０とを有している。
【０２８３】
これらのうち、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段５０と、特徴記憶手段１０と、特徴比較手段２０と、マーカ記憶部６０が、マーカ判定装置としての機能を有している。
【０２８４】
一方、映像入力手段３０と、特徴抽出手段４０と、マーカ記憶部６０と、照合手段１４０と、報知手段１５０が、マーカ検出装置としての機能を有している。
【０２８５】
そして、映像入力手段３０と、特徴抽出手段４０と、マーカ記憶部６０が、マーカ判定装置とマーカ検出装置に共通している部分である。
【０２８６】
マーカ判定装置におけるマーカ判定方法は、前述した第一〜第六実施形態におけるマーカ判定方法と同様である。
【０２８７】
また、マーカ検出装置におけるマーカ検出方法は、前述した実施形態におけるマーカ検出方法と同様である。
【０２８８】
（マーカ判定検出システム）
次に、本実施形態のマーカ判定検出システムについて、図４５を参照して説明する。
【０２８９】
同図に示すように、マーカ判定検出システム２０００は、マーカ判定装置１と、マーカ検出装置１００とを備えている。これらマーカ判定装置１とマーカ検出装置１００は、通信ネットワーク又は通信ケーブル３００などで接続することができる。
【０２９０】
マーカ判定装置１は、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段５０と、特徴記憶手段１０と、特徴比較手段２０と、マーカ記憶部６０と、通信手段７０とを有している。
【０２９１】
通信手段７０は、マーカ記憶部６０に記憶されているマーカに関するデータを取り出し、これをマーカ検出装置１００へ送信する。
【０２９２】
マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、マーカ記憶部１３０と、照合手段１４０と、報知手段１５０と、通信手段１６０とを有している。
【０２９３】
通信手段１６０は、マーカ判定装置１から送信されてきたマーカに関するデータを受信する。また、通信手段１６０は、その受信したマーカに関するデータをマーカ記憶部１３０に記憶させる。
【０２９４】
以上説明したように、マーカ判定検出装置及びマーカ判定検出システムによれば、既存のマークやデザインが決められたマークがマーカ検出装置の検出対象として耐え得るか否かを判定することができる。
【０２９５】
［マーカ判定プログラム及びマーカ検出プログラム］
次に、マーカ判定プログラム及びマーカ検出プログラムについて説明する。
【０２９６】
上記の各実施形態におけるコンピュータ（マーカ判定装置、マーカ検出装置、マーカ判定検出装置、マーカ判定検出システム）のマーカ判定機能（マーカ判定方法を実行するための機能）やマーカ検出機能（マーカ検出方法を実行するための機能）は、記憶手段（例えば、ＲＯＭ（Read  only  memory）やハードディスクなど）に記憶されたマーカ判定プログラム又はマーカ検出プログラムにより実現される。
【０２９７】
マーカ判定プログラム及びマーカ検出プログラムは、コンピュータの制御手段（ＣＰＵ（Central  Processing  Unit）など）に読み込まれることにより、コンピュータの構成各部に指令を送り、所定の処理、たとえば、マーカ判定装置の映像入力処理、特徴抽出処理、特異特徴選択処理、マーカ判定処理、不変特徴変換処理、マーカ検出装置の映像入力処理、特徴抽出処理、照合処理、報知処理などを行わせる。
【０２９８】
これによって、マーカ判定機能又はマーカ検出機能は、ソフトウエアであるマーカ判定プログラムとハードウエア資源であるコンピュータ（マーカ判定装置、マーカ検出装置、マーカ判定検出装置、マーカ判定検出システム）の各構成手段とが協働することにより実現される。
【０２９９】
なお、マーカ判定機能又はマーカ検出機能を実現するためのマーカ判定プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータ読み取り可能な記録媒体、たとえば、外部記憶装置及び可搬記録媒体等に格納することができる。
【０３００】
外部記憶装置とは、ＣＤ−ＲＯＭ（Compact  disk−Read  only  memory）等の記憶媒体を内蔵し、マーカ判定装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、たとえば、フレキシブルディスク，メモリカード，光磁気ディスク等をいう。
【０３０１】
そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭ（Random  access  memory）等にロードされて、ＣＰＵ（制御手段）により実行される。この実行により、上述した各実施形態のマーカ判定装置の機能が実現される。
【０３０２】
さらに、コンピュータでマーカ判定プログラムをロードする場合、他のコンピュータで保有されたマーカ判定プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされたマーカ判定プログラムも、ＣＰＵにより実行され、上記各実施形態のマーカ判定装置のマーカ判定機能を実現する。
【０３０３】
以上説明したように、本実施形態のマーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びマーカ判定プログラムによれば、既存のマークやデザインが決められたマークがマーカ検出装置の検出対象として使用できるか否かを判定できる。
【０３０４】
以上、本発明のマーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びマーカ判定プログラムの好ましい実施形態について説明したが、本発明に係るマーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びマーカ判定プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。  例えば、上述した実施形態では、一つのマークを判定対象のマークとして判定する手法について説明したが、一つのマークに限るものではなく、複数のマークを一度に判定することもできる。
【０３０５】
また、マーカ判定装置には、報知手段を備えることができる。報知手段は、特徴比較部から報知信号を受けると、判定対象のマークが検出用マーカとして使用できるか否かの判定結果を外部に報知する。この報知の方法には、例えば、音声出力や、画面表示などがある。
【０３０６】
さらに、背景映像が時間的に変化する場合、特徴比較部は、特徴空間又は不変量特徴空間において、マークの特徴点と特異特徴とが時間的に重ならないときに、そのマークを検出用マーカとして使用できるものと判断することができる。
【０３０７】
また、上記の実施の形態の内容は、以下のようにも表現されうる。
【０３０８】
（付記１）  画像から抽出された特徴点が所定の空間に配置され、この所定の空間における前記特徴点が所定数以下の部分が特異特徴とされ、この特異特徴、及び、既存のマークから抽出された特徴点を記憶する特徴記憶手段と、
前記既存のマークから抽出された特徴点を前記所定の空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段と
を有するマーカ判定装置。
【０３０９】
（付記２）  前記画像を撮影する映像入力手段と、
前記画像から特徴点を抽出する特徴抽出手段と、
前記特徴点を特徴空間に配置し、この特徴空間における前記特徴点が所定数以下の部分を前記特異特徴として選択する特異特徴選択手段とを有し、
前記特徴比較手段が、前記既存のマークから抽出された特徴点を前記所定の空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する
付記１に記載のマーカ判定装置。
【０３１０】
（付記３）  前記画像を撮影する映像入力手段と、
前記画像から特徴点を抽出する特徴抽出手段と、
前記画像から抽出された特徴点を不変量特徴空間に写像し、この不変量特徴空間における前記特徴点が所定数以下の部分を前記特異特徴として選択する不変特徴変換手段とを有し、
前記特徴比較手段が、前記既存のマークから抽出された特徴点を前記不変量特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する
付記１に記載のマーカ判定装置。
【０３１１】
（付記４）  前記特徴比較手段での判断の結果を外部に報知する報知手段を有する
付記１から付記３のいずれかに記載のマーカ判定装置。
【０３１２】
（付記５）  マーカ判定装置とマーカ検出装置とを有し、
前記マーカ判定装置が、
画像を入力する第一映像入力手段と、
この第一映像入力手段で入力された前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す第一配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段と、
前記マークの特徴点を記憶するマーカ記憶手段とを有し、
前記マーカ検出装置が、
画像を入力する第二映像入力手段と、
この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、
前記所定の空間に表された特徴点群の配置の中に、前記マーカにもとづく特徴点の配置があるか否かを判断する照合手段とを有する
マーカ判定検出システム。
【０３１３】
（付記６）  前記第一配置手段が、前記抽出した特徴点を特徴空間に配置し、
前記特異特徴選択手段が、前記特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択する
付記５に記載のマーカ判定検出システム。
【０３１４】
（付記７）  前記第一配置手段が、前記抽出した特徴点を不変量特徴空間に写像し、
前記特異特徴選択手段が、前記不変量特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択する
付記５に記載のマーカ判定検出システム。
【０３１５】
（付記８）  画像を入力する第一映像入力手段と、
この第一映像入力手段で入力された前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す第一配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する特徴比較手段と、
前記マーカを記憶するマーカ記憶手段と、
画像を入力する第二映像入力手段と、
この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、
前記所定の空間に表された特徴点群の配置の中に、前記マーカに対応する特徴点の配置があるか否かを判断する照合手段と
を有するマーカ判定検出装置。
【０３１６】
（付記９）  前記第一配置手段が、前記抽出した特徴点を特徴空間に配置し、
前記特異特徴選択手段が、前記特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択する
付記８に記載のマーカ判定検出装置。
【０３１７】
（付記１０）  前記第一配置手段が、前記抽出した特徴点を不変量特徴空間に写像し、
前記特異特徴選択手段が、前記不変量特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択する
付記８に記載のマーカ判定検出装置。
【０３１８】
（付記１１）  画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表し、前記所定の空間において前記特徴点が所定数以下の部分を特異特徴として選択し、既存のマークから特徴点を抽出し、この特徴点を前記所定の空間に配置し、前記特異特徴と一致する特徴点を選択し、この選択した特徴点の数が所定数以上のときに、前記画像から検出可能なマーカとして使用できるものとして判断された
マーカ。
【０３１９】
（付記１２）  前記抽出した特徴点を特徴空間に配置し、この特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択した
付記１１に記載のマーカ。
【０３２０】
（付記１３）  前記抽出した特徴点を不変量特徴空間に写像し、前記不変量特徴空間における前記特徴点が所定数以下の部分を特異特徴として選択した
付記１１に記載のマーカ。
【０３２１】
（付記１４）  画像を入力する工程と、
前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す工程と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する工程と、
既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する工程と
を有するマーカ判定方法。
【０３２２】
（付記１５）  前記既存のマークから抽出された特徴点を前記特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する工程を有する
付記１４に記載のマーカ判定方法。
【０３２３】
（付記１６）  前記既存のマークから抽出された特徴点を前記不変量特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する工程を有した
ことを特徴とする付記１４記載のマーカ判定方法。
【０３２４】
（付記１７）  画像を入力する処理と、
前記画像から特徴点を抽出し、この抽出した特徴点を所定の空間に表す処理と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する処理と、
既存のマークにもとづく特徴点を前記所定の空間に配置し、前記特異特徴に一致する特徴点を選択し、この選択した特徴点の数が所定数以上であるときに、前記マークを、前記画像から検出可能なマーカとして使用できるものと判断する処理と
を情報処理装置に実行させるマーカ判定プログラム。
【０３２５】
（付記１８）  前記既存のマークから抽出された特徴点を前記特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する処理を情報処理装置に実行させる
付記１７に記載のマーカ判定プログラム。
【０３２６】
（付記１９）  前記既存のマークから抽出された特徴点を前記不変量特徴空間に配置し、前記特異特徴と一致した特徴点の数が所定数以上であるときに、前記既存のマークを、前記画像から検出可能なマーカとして使用できるものと判断する処理を情報処理装置に実行させる
付記１７に記載のマーカ判定プログラム。
【０３２７】
なお、本発明のマーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、及びマーカ判定方法は、第一実施形態，第二実施形態及び第三実施形態のそれぞれにおけるマーカ判定装置又はマーカ判定方法を任意に組み合わせたものであってもよい。
【０３２８】
本出願は、２００９年７月２３日に出願された日本出願特願２００９−１７１８４２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０３２９】
本発明は、マーカの生成に関する発明であるため、マーカの生成を行なう装置や機器、さらには、物品管理、フィジカルセキュリティをはじめとする映像モニタリング、ロボットビジョン、複合現実感ＵＩ、コンテンツ生成応用といった用途に利用可能である。
【符号の説明】
【０３３０】
１  マーカ判定装置
１０  特徴記憶手段
２０  特徴比較手段
３０  映像入力手段
４０  特徴抽出手段
５０  不変特徴変換手段
６０  マーカ記憶部
１００  マーカ検出装置
１１０  映像入力手段
１２０  特徴抽出手段
１３０  記憶手段
１４０  照合手段
１０００  マーカ判定検出装置
２０００  マーカ判定検出システム
【図１】
2011010707.tif 000003
【図２】
2011010707.tif 000004
【図３】
2011010707.tif 000005
【図４】
2011010707.tif 000006
【図５】
2011010707.tif 000007
【図６】
2011010707.tif 000008
【図７】
2011010707.tif 000009
【図８】
2011010707.tif 000010
【図９】
2011010707.tif 000011
【図１０】
2011010707.tif 000012
【図１１】
2011010707.tif 000013
【図１２】
2011010707.tif 000014
【図１３】
2011010707.tif 000015
【図１４】
2011010707.tif 000016
【図１５】
2011010707.tif 000017
【図１６】
2011010707.tif 000018
【図１７】
2011010707.tif 000019
【図１８】
2011010707.tif 000020
【図１９】
2011010707.tif 000021
【図２０】
2011010707.tif 000022
【図２１】
2011010707.tif 000023
【図２２】
2011010707.tif 000024
【図２３】
2011010707.tif 000025
【図２４】
2011010707.tif 000026
【図２５】
2011010707.tif 000027
【図２６】
2011010707.tif 000028
【図２７】
2011010707.tif 000029
【図２８】
2011010707.tif 000030
【図２９】
2011010707.tif 000031
【図３０】
2011010707.tif 000032
【図３１】
2011010707.tif 000033
【図３２】
2011010707.tif 000034
【図３３】
2011010707.tif 000035
【図３４】
2011010707.tif 000036
【図３５】
2011010707.tif 000037
【図３６】
2011010707.tif 000038
【図３７】
2011010707.tif 000039
【図３８】
2011010707.tif 000040
【図３９】
2011010707.tif 000041
【図４０】
2011010707.tif 000042
【図４１】
2011010707.tif 000043
【図４２】
2011010707.tif 000044
【図４３】
2011010707.tif 000045
【図４４】
2011010707.tif 000046
【図４５】
2011010707.tif 000047
【国際調査報告】
2011010707.tif 000048
2011010707.tif 000049
2011010707.tif 000050
2011010707.tif 000051