(57)【特許請求の範囲】
【請求項１】
長距離、高密度の視覚マーカであって、
白の背景上の黒いフレームと、
前記黒いフレームに含まれる四角形のグリッドと、を有し、
前記グリッドは、複数のセルを構成する行及び列に分割され、各セルは異なるデータ片に対応し、
前記グリッドは、互いに区別可能な異なる４つのカラートーンを有するエレメントから構成される色パレットを形成し、
前記視覚マーカは、さらに、
前記グリッドのコーナーを形成し、カラートーンが含まれる４つのセルの各々において、各コーナーのセルの各々に少なくとも１つのカラートーンを有し、最も暗い前記エレメントが前記色パレットを形成する最後の値とみなされ、
前記グリッドの中心セルが前記グリッドの大きさを決定し、
前記中心セルを除く中央の行および列に対応する前記セルは巡回冗長検査符号を規定し、
前記グリッドを形成する残りのセルは、前記視覚マーカによって伝達され得るメッセージに割り当てられるエレメントである、
ことを特徴とする視覚マーカ。
【請求項２】
前記４つのカラートーンは、シアン、マゼンタ、黄及び黒の組合せに対応する請求項１に記載の視覚マーカ。
【請求項３】
請求項１又は２に記載の視覚マーカを検出する検出方法であって、
前記白の背景上の前記黒いフレームを検出し、前記コーナーの座標の位置決めをし、
バイリニア補間によって、検出された前記黒いフレームから前記グリッドを取得し、
前記セルの各々の色を取得し、
前記検出された前記黒いフレームの色及び検出された前記白の背景の色の算術平均を計算し、黒基準及び白基準を取得し、  
先行するステップにおいて得られた前記黒基準及び前記白基準から前記セルの各々の色をノーマライズしてホワイトバランスを確立し、
最も暗いコーナーのセルが前記色パレットの最後の位置でなければならないことを考慮に入れて前記視覚マーカの向きを訂正し、
前記コーナーから前記色パレットを取得し、前記色パレットのどの値が各々のセルと一致するかについて示すラベルを前記視覚マーカに付し、
中心ラベルが期待されたものであるかどうかを分析することによって、前記視覚マーカが所望のファミリに属することを検証し、
前記所望のファミリに属する前記視覚マーカから前記メッセージおよび巡回冗長検査符号を読み込み、
巡回冗長検査符号を前記メッセージから再計算し、再計算された巡回冗長検査符号と読み込まれた巡回冗長検査符号とを比較し、前記メッセージの完全性を検証する、検出方法。
【請求項４】
前記セルの各々の中心座標が、前記検出された前記黒いフレームを考慮して前記バイリニア補間によって取得される、請求項３に記載の検出方法。
【請求項５】
前記セルの各々の色を得るために、前記セルの各々の中心が実座標で、イメージが離散座標であるとして、４−近傍点バイリニア補間が実行され、前記値が得られる、請求項３ないし４のいずれかに記載の検出方法。
【発明の詳細な説明】
【発明の目的】
【０００１】
本発明の目的は、長距離、高密度の視覚マーカの効率的なシステムである。本発明は、視力障害者のためのガイドとして使用される、モバイル装置のカメラによって検出し、認識する新型の視覚マーカを提供する。
【背景技術】
【０００２】
人工的なマーカは、ある場面に意図的に導入され、ラベルを付けたり合図を送る（signal）ために、ある種の情報を含む要素である。マーカは、携帯型電子装置（例えばスマートフォンやタブレット）のデジタル・カメラによって、その情報がキャプチャされ解釈されるように構成されているとき、視覚マーカ（visual marker）と呼ばれる。他の一次元のマーカ、例えばバーコードと異なり、視覚マーカは、通常二次元の形式で情報を提供する。
【０００３】
視覚マーカが大量の情報を保持すると理解されるときは高密度マーカ（dense marker）と呼ばれる。当該情報を保持するために、高密度マーカは、通常多数の視覚要素によって構成される。これは、正しい読取りを得るためには、イメージは、鮮明で、十分に照明されていなければならなく、十分に対物レンズ（objective）に近い（概して２０−５０ｃｍ）ことを意味する。換言すれば、これらのマーカは、長距離からキャプチャする、又は、特に、例えば当該領域が十分に照明されていない場合や突然のカメラの動きのためにぼけるなど、好ましくない光学的な状況において適切ではない。この種のマーカは、例えばＱＲコード（登録商標）（http://www.qrcode.com）またはDatamatrixシステム（ [ R.スティーヴンソン、「ＰＣＢ上のレーザー・マーキング・マトリクス」、プリント回路設計及び製造（2007）] （R. Stevenson, “Laser Marking Matrix Codes on PCBs”, Printed Circuit Design and Manufacture, 2007））など多くの日常的な例を含む。これらのコードは通常二色性であり、すなわち白及び黒の要素で構成されるが、いわゆるＨＣＣＢ（大容量カラー・バーコード（High Capacity Colour Barcodes））、マイクロソフト社により開発された二次元カラー・マーカ（Ｄ.パリック、Ｇ.ジャンケ、「２Ｄ大容量色彩バーコードのローカライゼーションおよびセグメンテーション」、ＩＥＥＥ  コンピュータ・ビジョンの応用、2008（D. Parikh, G. Jancke, “Localization and segmentation of a 2D high capacity colour barcode”））のような例外がある。この最後のケースにおいては、色彩はより高密度な情報を提供するが、マーカをアルゴリズムが正しくキャプチャすることができるように、ユーザはマーカをイメージの領域の中心に正しくおかなければならないので、コードを読み取る際において、より大きな問題点の原因となる。
【０００４】
さらに、従来技術においても、すばやく、かつ長距離（例えば５〜７ｍ）から、及び異なる照明状態においてキャプチャされると考えられる「長距離マーカ」が見られる。これらの長距離マーカは、ランドマークによって、他の状況（例えば、移動ロボット工学）においても使われているが、拡張現実（augmented reality）のアプリケーションにおいて非常に広範囲にわたっている。このタイプのマーカは、情報が付加された場合、マーカの幾何形状はより複雑になり、離れた所からの検出に重大な影響を及ぼすので、通常、高密度マーカよりも非常に少ない情報を保持する。
【０００５】
従来技術において、主に３種類の長距離マーカが公知である。H. カトー, M. ビリングハーストの「ビデオベースの拡張現実会議システムのためのマーカ追跡およびhmd較正（IEEE及びACM拡張現実についての国際ワークショップ（IWAR）、1999年10月）」（H. Kato, M. Billinghurst, “Marker tracking and hmd calibration for a video-based augmented reality conferencing system”, IEEE and ACM International Workshop on Augmented Reality (IWAR), October 1999）及びH. カトーの 「ARToolKit：画像ベースの拡張現実のライブラリ（電子情報通信学会  テクニカルレポート、2002年）」（H. Kato, “ARToolKit: library for Vision-Based augmented reality”, Institute of Electronics, Information and Communication Engineers Technical Report, 2002）に説明されているように、ARToolkitが、最も広範囲にわたるものであって、拡張現実のアプリケーションで使われている。これらのマーカは、２つのマーカを区別するために用いられる、白黒の図面を含む白い背景上の黒色フレームから構成されている。このマーカ区別の形式は、あまり効果的でなく、また基本的に、多くのマーカをその他のマーカから区別するためではなく、マーカとそのシーンの他の黒色フレームを区別するために適用される。したがって、それは基本的に１つのマーカを有するアプリケーションに限られている。Ｅ．オールソンの「AprilTag：ロバストでフレキシブルな視覚基準のシステム」（ＩＥＥＥ  ロボット工学およびオートメーションの国際会議（ICRA）、2011）（[E. Olson, “AprilTag: A robust and flexible visual fiducial system”, IEEE International Conference on Robotics and Automation (ICRA), 2011]）、及び、Ｓ．ガーリド、Ｒ．ムノス、Ｆ．Ｊ．マドリッド及びＭ．Ｊ．マリンの「オクルージョン下の極めて信頼度の高い基準マーカの自動生成および検出」（パターン認識、2014）（[S. Garrido, R. Munoz, F.J. Madrid, M.J. Marin, “Automatic generation and detection of highly reliable fiducial markers under occlusion” Pattern Recognition, 2014]）にあるように、このタイプのマーカの開発は、情報を取り入れるシステムにつながった。
【０００６】
これらの場合のマーカのロケーションシステムは同じ、すなわち白い背景上の黒いフレームであり、基本的に情報を保持するのに用いられるコーディングによって異なる。第１のシステムは、６×６の二色性（dichromatic）のエレメント・グリッドを使用する。これらの３６のエレメントは、対称性および曖昧さを除外することができ、５００の異なるコードを生成するメッセージおよびエラー検出／訂正符号を含む二進コードをホストする。第２のシステムは、より小さなグリッド（５×５）を使用し、残りがエラー検出／訂正符号によって占められる１０ビットの情報（１０２４の組合せ）が得られるハミング・コードのバリエーションを適用する。
【０００７】
本発明によって解決される技術的課題は、全ての異なるタイプのマーカの中で、同時に、長距離からマーカを検出することができ、十分な情報量を保持する中間的なシステムがないという事実にある。
【０００８】
現在の視覚マーカは、モバイル装置のカメラによってキャプチャされ得る周囲の領域に関する情報を提供するので、非常に有用である。しかしながら、それらは全体的に見て必ずしも視覚障害者に役立たない。すなわち、情報伝達マーカはカメラ・フレーミングを必要とし、視覚障害者にとって重要な難題を課し、長距離マーカは、例えばスーパーマーケットの値札または空港の表示などの情報量の点において非常に制限される。
【０００９】
これは、視覚障害者用のアプリケーションのフレームワークにおけるモバイル装置のための人工マーカのシステムを創造する最初の試みではない。J. コフラン, R. マンドゥチ, M. マツザキ, H. シェンの「色目標を検出するための速くてロバストなアルゴリズム（国際色彩協会、スペイン、2005年5月）」（J. Coughlan, R. Manduchi, M. Mutsuzaki, H. Shen, “Rapid and Robust Algorithms for Detecting Colour Targets”, Congress of the International Colour Association, Spain, May 2005）には、このグループへのモバイル応用に限定して提案されたマーカ・モデルが記載されている。この場合、それは、情報を保持せず、大きく応用を制限する１つのマーカ・モデルである。
【発明の概要】
【００１０】
本発明の目的は、視覚障害者をガイドする状況におけるモバイル装置のためのハイブリッド（長距離、高密度）視覚マーカである。本発明は、各ファミリの最善をもたらす方法、すなわち、十分な量の情報を収容し、異なる照明状況及び合理的な距離において効率的に検出され得る方法を提案する。
【００１１】
本発明マーカの目的は、E. オールソン, “AprilTag: ロバストでフレキシブルな視覚基準のシステム」（ＩＥＥＥ  ロボット工学およびオートメーションの国際会議（ICRA）、2011）（[E. Olson, “AprilTag: A robust and flexible visual fiducial system”, IEEE International Conference on Robotics and Automation (ICRA), 2011]）、及び、Ｓ．ガーリド、Ｒ．ムノス、Ｆ．Ｊ．マドリッド及びＭ．Ｊ．マリンの「オクルージョン下の極めて信頼度の高い基準マーカの自動生成および検出」（パターン認識、2014）（[S. Garrido, R. Munoz, F.J. Madrid, M.J. Marin, “Automatic generation and detection of highly reliable fiducial markers under occlusion” Pattern Recognition, 2014]）に記載されているように、いくつかの長距離マーカと構造上の類似性を共有することにある。
【００１２】
この意味において、長距離マーカのファミリにおいて、広く使用される同一のロケーションシステム（白い背景上の黒いフレーム）を有する。データを含むグリッドは、前記フレームに収容される。
【００１３】
それにもかかわらず、本発明において提案されるマーカと、従来技術において公知のマーカとの基本的な相違点は、当該グリッドが４つの状態（４つのトーン）を有するエレメントから成り立っているのに対し、前述の方法は２つの状態（黒及び白）を有するグリッドを使用することにある。本発明のこの特徴の結果、与えられた同一のグリッド・サイズに対し、本発明のマーカ・モデルの対象は、２倍の符号密度で機能する。
【００１４】
したがって、符号（コード）がｎエレメントを有する場合、２つの状態を有するマーカの２ｎの組合せと比較して、本発明のマーカは４ｎの組合せを取り扱う。この違いは、マーカのエレメントの解像度を変えないので、長距離マーカとしての特徴を維持するが、非常に高い符号密度を有する。
【００１５】
本発明は、マーカデザインが各々のマーカによって使用されるカラー・パレットを含むので、それらが４つの特定の色である必要性無しに、４つの色のいかなる組合せについて規定される。しかし、当該パレットのために選ばれる４つのトーンがいかなる４つのトーンでもあってもよいが、曖昧さを避けるために互いに区別でき、それによってマーカの読取りが向上されなければならない。したがって、本発明の好適な実施例は、ＲＧＢ（赤、緑、青）色空間によって規定される、立方体の４つの最も外の角（コーナー）に対応するＣＭＹＫ（シアン、マゼンタ、黄、黒）組合せである。
【００１６】
下記エレメントは、グリッドにおいて見られる。
【００１７】
（ａ）パレットはグリッドの四隅に含まれる、すなわち、グリッドの各々の角に色パレットの基本色がある。そして、例えば、ＣＭＹＫ組合せの場合には、各々の角に一つの色（第１コーナーにシアン、第２コーナーにマゼンタ、第３コーナーに黄色、第４コーナーに黒）がある。回転に関してマーカが不変になるために、最も暗いエレメントが常にパレットの最後の値であると考えられる。このパレットの導入によって、一旦抽出されると、各々の色の基準が得られ、カラー近接基準によって、他のデータ・グリッドにラベルをつけるのに用いることができるので、色の低下効果が防がれ、マーカの色を識別する課題が解決される。
【００１８】
（ｂ）中心エレメントは、４つの可能なサイズ（5x5、7x7、9x9、11x11）の中から、グリッド・サイズを決定する。サイズの選択は、各アプリケーションの必要性に依存する。
【００１９】
（ｃ）中心のセルを除く、中央の行および列は、巡回冗長検査（ＣＲＣ：cyclic redundancy check）を規定する。ＣＲＣは、メッセージから算出され、マーカに含まれる。マーカを検出するステップにおいて、メッセージが抽出され、ＣＲＣが再計算され、マーカに伴っているものと比較されてメッセージの完全性を検証する。
【００２０】
（ｄ）他のエレメントは、メッセージに割り当てられる。一旦マーカデザインが本発明によって決定されると、デジタル画像中のマーカデザインを検出して、認識する方法は次のステップを含む：
【００２１】
（i）白黒のフレームを検出し、それらのコーナーの座標位置を決めるステップ。この第１ステップのために、フレーム検出アルゴリズムが当該イメージに適用され、第１の候補セットを検出する。従来技術には、この課題に取り組む複数のアルゴリズムを記載されている。しかし、この目的のため、他の方法を用いることができるが、Ｓ．ガーリド、Ｒ．ムノス、Ｆ．Ｊ．マドリッド及びＭ．Ｊ．マリンの「オクルージョン下の極めて信頼度の高い基準マーカの自動生成および検出」（パターン認識、2014）（S. Garrido, R. Munoz, F.J. Madrid, M.J. Marin, “Automatic generation and detection of highly reliable fiducial markers under occlusion”, Pattern Recognition, 2014）の特定の実施例に記載されたアルゴリズムが提案されている。
【００２２】
（ii）バイリニア補間によって検出されたフレームの各々からグリッドと各々のセルの中心座標を取得し、また、白黒のフレームの箱を考慮する。
【００２３】
（iii）各々のセルの色を取得するステップ。前記センターが実座標（real   coordinates）であり、当該イメージが離散的な座標である場合、４−近傍点（4-neighbour point）バイリニア補間が実行され、前記値を取得する。
【００２４】
（iv）白の基準及び黒の基準を得るために、当該白黒フレームの色の算術平均を算出するステップ。
【００２５】
（v）白バランスを確立することによって、先行ステップにおいて取得された当該白基準及び黒基準から各セルの色を標準化するステップ。
【００２６】
（vi）最も暗いコ−ナーがパレットの最後の位置でなければならないことを考慮して、マーカの方向を訂正するステップ。
【００２７】
（vii）コ−ナーらパレットを取得し、パレットのどの値が各々のセルと一致するかについて示すラベルをマーカに付すステップ。
【００２８】
（viii）中心ラベルが期待されたものであるかどうかを分析することによって、マーカが所望のファミリに属することを検証するステップ（当該方法は、アプリケーションにより規定される特定のサイズのマーカをサーチするよう構成され、したがって、このステップはシーンに含まれ得る他のいかなるサイズマーカを除外するために必要である）。アルゴリズムに記載されているように、特定のサイズについて行われることが考慮に入れられなければならない。例えば、横断歩道の信号アプリケーションは、組合せが少ない５×５サイズを使用するが、スーパーマーケットの製品ラベリングアプリケーションは７×７サイズを使用する。各々のアプリケーションは、１種類のマーカだけを検出することができる。
【００２９】
（ix）メッセージおよびＣＲＣを構成するステップ。
【００３０】
（x）メッセージからＣＲＣを再計算し、それを符号から読んだＣＲＣと比較して、メッセージの完全性を検証するステップ。
【００３１】
本発明の第１の目的は、高密度と長距離とを結合し、それにより、これらの２つの機能が同時に提供されない既存のシステムの問題点を克服することにある。
【００３２】
本発明の第２の目的は、低い計算容量のデバイス（例えば、スマートフォン）で非常に効率的な方法でマーカを検出することができる、計算の複雑性の低い方法を確立することにある。
【００３３】
本発明の第３の目的は、パレットおよびホワイトバランスを含めることによって、ロバストな色処理を実行し、視覚マーカの検出における本発明のロバスト性を改良することである。
【００３４】
前述のことは、本願明細書中の独立請求項に従う。本発明の特定の実施例は、独立請求項の従属請求項に示され、その全てを本明細書の一部として援用する。
【００３５】
発明の詳細な説明および請求項の全体にわたって、「からなる」（comprises）及びその変化形の語は、他の技術的特徴、付加、要素またはステップを除外することを意図していない。当業者にとって、本発明の他の目的、効果および特徴は、部分的に詳細な説明及び本発明の実施から推定される。下記の実施例および図面は、説明のために設けられ、本発明を制限することを意図していない。さらに、本発明は、本願明細書において示される特定の、及び好ましい実施例の全ての可能な組合せをカバーする。
【図面の簡単な説明】
【００３６】
本発明をより良く理解するのを助け、本発明の非限定的な実施例に関して示される一連の図面が以下に簡潔に述べられる。
【００３７】
図１は、提案されたマーカのダイアグラムを示している。ここで、ロケーションフレーム（１）、及び、データを保持するＮ×Ｎエレメントのグリッド（２）（この実際的な実施例においては５×５、各々のセルの色を表す文字Ｃ．Ｍ，Ｙ，Ｋ（すなわちシアン、マゼンタ、黄および黒のラベルが付されている）が示されている。グリッドのエレメントおよびロケーションフレームの両者は、同一のサイズおよび正方形の形状を有し、グリッド（３）のセルの辺の大きさがｌのとき、マーカ（４）の総面積は（ｌ（Ｎ＋４））２である。
【００３８】
図２は、p３を決める最小の輝度（ＣＭＹＫの場合、黒）のエレメントを基準とし、時計回りにデータ・グリッドのコーナーに位置する、実際のマーカにおけるパレットＰ＝［p０,p１,p２,p３］の包含（インクルージョン）を示している。マーカＳのタイプは、そのサイズＮを決定し、グリッドの中心セルに置かれる。
【００３９】
図３は、規定される４つのサイズのマーカの実施例を示す。図の下から上に、５×５、７×７、９×９、１１×１１である。ＣＭＹＫパレットが使われたので、グリッドの中心エレメントは、５×５サイズにおいてシアン値、７×７サイズにおいてマゼンタ値、９×９サイズにおいて黄値、１１×１１サイズにおいて黒値を取る。
【００４０】
図４は、オリジナル画像（図４の左）を示す。フレーム検出アルゴリズムを適用することによって、ロケーションフレームを規定する４つのコーナー（図４の中央）が得られる。当該フレームの座標から、情報セルおよびフレーム（図４の右）をカバーする（Ｎ＋４）×（Ｎ＋４）座標を有するグリッドが得られる。
【００４１】
図５は、視覚障害者のための視覚マーカのいくつかのアプリケーション、すなわち、製品ラベリング（左側）及び都市の状況におけるサイネージ（右側）を示している。
【発明を実施するための形態】
【００４２】
提案されたマーカ設計は、図１を参照すると最もよく分かるように、白いフレーム内部にある黒いフレーム内で４つまでの色をとることができるＮ×Ｎエレメントのグリッドに基づく。見られるように、データ・グリッドのセルの辺のサイズｌがロケーションフレームの幅、したがって、マーカの全体のサイズを決定する。
【００４３】
色パレットは、マーカにおいて使われることになる４つの色からなる：Ｐ＝［p０,p１,p２,p３］。
【００４４】
図２から分かるように、このパレットは実際のマーカに、具体的にはデータ・グリッドの４つのコーナーに導入される。当該パレットは時計回りに導入され、その基準（最後のエレメントp３）は最も暗いエレメント（最も低い輝度を有するもの）によってマークされる。
【００４５】
アプリケーションの必要性に応じたサイズ
【数１】
0006856956.tif 000002
のグリッドを有することが可能である。現在のマーカのグリッドの大きさを決定するために、グリッドの中心位置のセルが考慮される。グリッドが有することができる４つのサイズ（すなわち、Ｎ ＝｛5,7,9,11｝）は奇数なので、常に明確に中心位置がある。この中心セルは、グリッドの他のセルと同様に、それぞれグリッドの可能なサイズ｛5,7,9,11｝（図３を参照）対応するパレット
【数２】
0006856956.tif 000003
のいずれの値も取ることができる。
【００４６】
セルの各々が２ビット（すなわち、４つの組合せ）を保持することを考慮すると、Ｎ×Ｎエレメントのマーカは２Ｎ２−４Ｎ−６ビットのデータ及び４Ｎ−４ビットのＣＲＣを含む。従って、ＣＲＣ長は、メッセージ長に応じて増大する。表１は、マーカ・サイズの各々に対する、メッセージ長、ＣＲＣ長及び計算に使われる生成器多項式を示す。この意味において、標準の生成器多項式は、各長さに応じて用いられてきた（それは、有効性を証明した）。
【００４７】
【表１】
0006856956.tif 000004
【００４８】
メッセージ密度への色の包含（インクルージョン）の効果を観察するため、そして、比較データとして、Ｓ．ガーリド、Ｒ．ムノス、Ｆ．Ｊ．マドリッド及びＭ．Ｊ．マリンの「オクルージョン下の極めて信頼度の高い基準マーカの自動生成および検出」（パターン認識、2014）（S. Garrido, R. Munoz, F.J. Madrid, M.J. Marin, “Automatic generation and detection of highly reliable fiducial markers under occlusion”, Pattern Recognition, 2014）に記載された５×５システムは1024の組合せを与え、E. オールソン, “AprilTag: ロバストでフレキシブルな視覚基準のシステム」（ＩＥＥＥ  ロボット工学およびオートメーションの国際会議（ICRA）、2011）（[E. Olson, “AprilTag: A robust and flexible visual fiducial system”, IEEE International Conference on Robotics and Automation (ICRA), 2011]）に記載された６×６システムはたった500の組合せを与えるが、本発明は、その最小密度版（５×５）において２４ビットのメッセージ、すなわち16,777,216の組合せを取り扱うことができる。
【００４９】
マーカを検出する方法のステップは、以下に要約される。イメージＩ(x,y)およびマーカサイズ
【数３】
0006856956.tif 000005
の場合、Ｉ(x,y)のフレームＭ＝{ｍ0, ｍ1,…, ｍ(k-1)}及び
【００５０】
【数４】
0006856956.tif 000006
の各々について：
１）ｍｉから（Ｎ＋４）×（Ｎ＋４）の座標Ｇｉ(x,y)を得る。
２）データＣｉ(x,y)から色、Ｇｉから白基準Ｒｉｂ及び黒基準Ｒｉｎを得る。
３）ノーマライズする：
【００５１】
【数５】
0006856956.tif 000007
４）Ｃｉ’をその基準コーナーに方向を合わせてＣｉ” を得る。
５）Ｃｉ” のコーナーからパレット
【００５２】
【数６】
0006856956.tif 000008
を得る。
６）Ｃｉ” の最近傍のものによってＰｉにラベルＥｉ(x,y)をつける。
７）もし、
【００５３】
【数７】
0006856956.tif 000009
が成り立つなら：
ＥｉからメッセージＩｉｍ及びＣＲＣ  Ｉｉｃを抽出する。
ＩｉｍのＣＲＣを計算する。もし、それがＩｉｃと整合するとき、ＴにＩｉｍを加える。
【００５４】
従って、当該デバイスのカメラによってキャプチャされたデジタル・カラー・イメージＩｉ(x,y)及びマーカ
【００５５】
【数８】
0006856956.tif 000010
の所望のサイズが、このイメージに含まれる１セットのマーカＴを検出する場合に与えられたとき、第一に、フレーム検出アルゴリズムが適用される。イメージＩｉ(x,y)へのフレーム検出アルゴリズムの適用の結果、このイメージに含まれる当該１セットのフレーム
【００５６】
【数９】
0006856956.tif 000011
が得られる。各フレームは、フレームの外側の時計回りのコーナーに対応する当該イメージ空間の４つの座標ｍｉ＝（c0,c1,c２,c３）によって規定される（図４の中央を参照）。
【００５７】
検出されたフレームの各々は、可能なマーカを表している。フレームの４つの座標ｍｉ＝（c0,c1,c２,c３）を基準としてバイリニア補間が実行され、（Ｎ＋４）×（Ｎ＋４）等距離座標のグリッドＧｉ(x,y)を得る。このグリッドは、マーカの情報のＮ×Ｎセルの中心座標、黒いフレーム上の４Ｎ＋４座標、及び白いフレーム上の４Ｎ＋１２座標を含む（図4の右側を参照のこと）。
【００５８】
Ｇｉの各々の座標について、イメージＩ（Ｇｉ(x,y)）の対応する色が得られる（Ｇｉが実座標で、イメージが離散座標であり、この色が４−近傍点バイリニア補間で得られる、ことを考慮して）。（Ｎ＋４）×（Ｎ＋４）の色が得られると、Ｃｉがマーカデータに属する色のＮ×Ｎグリッドとして、Ｒｉｂ及びＲｉｎが白黒のフレームに属する色の算術平均として、採られる。
【００５９】
値Ｒｉｂ及びＲｉｎはマーカの白黒の基準を表すので、本発明において、これらは本質的な役割を演ずる。したがって、ロケーションフレームは、マーカの位置決めのみならず、ホワイトバランスの実行にも用いられ、ロバストな方法で色を扱う。この目的のため、次のように、セルの各々をノーマライズするＣｉからＣｉ'が形成される。
【００６０】
【数１０】
0006856956.tif 000012
Ｃｉ'は、マーカのＮ×Ｎセルの色の正規化された基準を含むが、フレーム検出アルゴリズムは向きの情報を提供しない（フレームは方向情報を含まない）ので、方向はまだ未知である。これを解決するために、マーカのコーナーが考慮される：
【００６１】
【数１１】
0006856956.tif 000013
それらは、その最後の位置の最も暗いエレメントを基準として、時計回りの順のパレットを含む。従って、Ｃｉ'の４つの可能なオリエンテーションから、Ｃｉ'(0,N-1) の４つのコーナーのうち最も暗い（最も低い輝度の）エレメントを除く１つが選択され、Ｃｉ''が得られる。
【００６２】
順序づけられたカラー・サンプルを用いることによって、４つのコーナーの色パレットが得られる。
【００６３】
【数１２】
0006856956.tif 000014
マーカのラベリングＥｉ(x,y)は、当該パレットから得られる。それは各々のセルについて、対応するパレットのインデックス値を示すマトリクスである。そのために、最も近い分類がなされる（セルの色に最も近い色値を有するパレットのインデックスを割り当てる）：
【００６４】
【数１３】
0006856956.tif 000015
２つの色の間のユークリッド距離
【００６５】
【数１４】
0006856956.tif 000016
を算出するには、等方性であり（ＲＧＢなどの他の空間と異なる）、距離関数の使用を正当化する、ＣＩＥ 1976 L*a*b 色空間が推奨される。
【００６６】
一旦セルのラベリングが得られると、解析されているマーカがマーカの所望のファミリからのものであるかを検証することが必要である。そのために、中心セルにおいて特定されるサイズが所望のマーカ・サイズと一致することを確かめることが必要である。すなわち：
【００６７】
【数１５】
0006856956.tif 000017
そうでなければ、現在のフレームは、可能なマーカから除外される。
【００６８】
この時点で、マーカから情報、すなわち、メッセージＩｉｍ及び巡回冗長検査Ｉｉｃを抽出する。Ｉｉｃを得るために、セルが中央の列および行（マーカのタイプを決定する中心セルを除く）からとられ、４Ｎ−４ビットの１つの数が、マトリクスの読取り順序（左から右に、そして、上から下に）に従うバイナリのセルのラベル（バイナリ・コード［00,01,10,11］に対応するラベル［0,1,2,3］）を付されて形成される。
【００６９】
同様に、メッセージのセル（パレット、ＣＲＣまたはマーカ・タイプと一致しないもの）を構成することによって、Ｉｉｍが得られ、２Ｎ２−４Ｎ−６ビットのバイナリ数が形成される。
【００７０】
検出を終えるために、適切な多項式（表１を参照のこと）で巡回冗長検査を計算し、それを読み込まれたＣＲＣ  Ｉｉｃと比較することにより、メッセージの完全性が検査される。両方の符号が一致する場合、メッセージは有効であるとみなされ、Ｉｉｍが現在のイメージＩ(x,y)において検出されたマーカ・セットＴに付加される。
実施例１：当該方法の結果
本発明の、マーカの正しい動作及び提案された検出方法を保証するために、２つのアプリケーションから成る機能プロトタイプ、すなわちマーカ生成器及び検出器が開発された。両方のアプリケーションは、高性能なクロスプラットフォーム・プログラミング環境Ｑｔ ＳＤＫ（http：/www.qt-project.org）のＣ＋＋で開発された。
【００７１】
生成器は、各々のマーカの情報（マーカ符号、マーカと関連するテキスト、実際のプリントサイズ、その他）を有するマーカ・データベースを管理し、これらのマーカを生成し、除去し、サーチし、選択された物理的なサイズで印刷することを可能にする。
【００７２】
さらに、検出器は、装置のカメラから得られるイメージ上のマーカを検出する。この場合、それはアンドロイドおよびｉＯＳ装置の両者用に開発された。マーカが検出されたとき、システムは、データベースにその符号を問い合わせて、その内容を音声に出す（テキストを音声に）。さらに、また、マーカの各々のプリントサイズはデータベースに蓄積され、この情報はカメラ情報（焦点距離および絞り）とともに実際のスケールを回復するのに用いられるので、このマーカが位置する実際の距離が音声として出される。
【００７３】
性能に関しては、当該システムは平均１８．６ｆｐｓで処理することができる。このデータは、装置およびカメラの解像度により異なる。この場合、Cortex A57 オクタコア・プロセッサ、2.1 GHz、3GbのＲＡＭメモリを備え、カメラ解像度が1280x720の三星ギャラクシＳ６（Samsung Galaxy S6）（SM-G920F）が用いられ、フレーム検出は、Ｓ．ガーリド、Ｒ．ムノス、Ｆ．Ｊ．マドリッド及びＭ．Ｊ．マリンの「オクルージョン下の極めて信頼度の高い基準マーカの自動生成および検出」（パターン認識、2014）（[S. Garrido, R. Munoz, F.J. Madrid, M.J. Marin, “Automatic generation and detection of highly reliable fiducial markers under occlusion” Pattern Recognition, 2014]）（リンク http://www.uco.es/investiga/grupos/ava/node/26 で得られる）中に記載されているライブラリのバージョン2.0により実行された。
【００７４】
装置のカメラが、カメラ・アクセス・タイムを除き、３０ｆｐｓのイメージを提供することを考慮すると、上述の装置の場合、当該システムは２０．４３ミリ秒の平均時間で各フレームを処理することができる。
【００７５】
検出距離に関しては、カメラの解像度、照明状況、マーカのサイズ及びタイプに依存する。好ましい照明状況（日光）下で、かつ上述した解像度（1280x720）では、２０ｃｍ×２０ｃｍのサイズ（標準のＡ４プリント・サイズ）に印刷された５×５マーカは、最大距離８．１２ｍで検出される。
【００７６】
このタイプのマーカは、距離および符号密度が重要な役割を演ずる状況（視覚障害者用の視覚マーカ・アプリケーションを示す図６を参照）、例えば、製品ラベリング（左側）及び都市の状況（右側）におけるサイネージなどに適用することができる。
【図１】
0006856956.tif 000018
【図２】
0006856956.tif 000019
【図３】
0006856956.tif 000020
【図４】
0006856956.tif 000021
【図５】
0006856956.tif 000022