(57)【特許請求の範囲】
【請求項１】
各画像が多数の画素を含み各画素は色および強度を有する、カメラにより取得された場面の連続画像中でバッジを動的に識別するための方法であって、
バッジの境界を検出し、
楕円を前記境界に適合させ、
前記楕円内部の画素を円形に歪ませ、
前記歪まされた画素からバッジの中心から放射状に広がって延びる複数の着色セグメントを、前記着色セグメントの境界を規定する複数のクラスターを有するスポークを所定角度間隔で回転させながら歪まされた画素に適合させ、前記スポークの各クラスターでそれぞれの中心とクラスター内の全画素のＲＧＢ空間における総距離が最小となる前記スポークの位置のクラスターに従い識別し、
前記着色セグメントに従って、一意な同一性を各バッジに関連付ける、
ことからなるバッジ識別方法。
【請求項２】
境界画素は境界色および第１のしきい値より大きい強度を有しており、かつ隣接画素は境界色および第２のしきい値より大きい強度を有しており、前記第１のしきい値は前記第２のしきい値よりも大きい請求項１に記載の方法。
【請求項３】
各画像の画素を左から右および上から下への順でスキャンすることをさらに含む請求項１に記載の方法。
【請求項４】
内側境界を検出するために前方向および左方向に連結領域中の画素をたどることをさらに含む請求項１に記載の方法。
【請求項５】
各画像の各画素が色値Ｃｐ＝（Ｒｐ，Ｇｐ，Ｂｐ）を有し、かつ境界色がＣｔ＝（Ｒｔ，Ｇｔ，Ｂｔ）であって、
単位３ベクトルｃｐ＝Ｃｐ／ｍａｇ（Ｃｐ）を求め（式中、ｍａｇ（Ｃｐ）はＣｐの大きさ）、
境界色の単位３ベクトルｃｔ＝Ｃｔ／ｍａｇ（Ｃｔ）を求め、さらに
特定の画素が境界色を有するかどうかを判定するため、ドット積Ｄ＝ｃｐ・ｃｔがしきい値τより大きいかどうかを測定する、
ことをさらに含む請求項２に記載の方法。
【請求項６】
複数のカメラが同時に複数の場面の複数の連続画像を取得し、
複数の場面の中でバッジを追跡することをさらに含む請求項１に記載の方法。
【請求項７】
場面中のバッジの位置に応じて、出力を介してフィードバックを提供することをさらに含む請求項６に記載の方法。
【請求項８】
バッジが個人に取り付けられる請求項１に記載の方法。
【請求項９】
場面中で、複数のバッジが同時かつ動的に識別される請求項１に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
発明の分野
本発明は、一般に識別バッジの読み取り、より詳細にはカメラおよびビジョンシステムを用いる着色バッジの読み取りに関する。
【０００２】
【従来の技術】
発明の背景
ほとんどの従来技術の機械で読み取り可能なバッジ、例えばバーコードおよび磁気ストライプは、バッジとバッジ読取装置との間をある程度接近させる必要があり、その際に１つのバッジしか読み取れない。
【０００３】
１９９９年７月１３日出願のＰＣＴ特許出願第ＷＯ  ００／０４７１１号「画像識別および配信システム」には、個人識別のためのセグメント化タグが記載されている。そこでは、カラー写真がグレースケール(無彩色)画像に変換され、その上でエッジ検出が実行される。このシステムはＲＧＢからＨＳＶ色への変換とセグメンテーション(分割)も行なう。エッジ検出および色検出の結果が論理積演算され、識別タグの表示を提供する。このシステムはタグ外周および中心領域の外径もチェックする。
【０００４】
【発明が解決しようとする課題】
このシステムには多くの欠点がある。第１に、このシステムは単独の画像でしか作動しない。第２に、このシステムはバッジを着用している個人が識別されることを必要とする。第３に、カメラをバッジに向ける必要がある。第４に、カメラは、カメラマン、システムオペレータ、または無線信号によって作動する必要がある。第５に、バッジは正面から撮影されねばならない。第６に、このシステムはリアルタイムで画像を処理しない。
【０００５】
従って、離れた場所から読み取り得る機械読み取り可能なバッジ、および複数のバッジを同時に読み取ることができ、かつバッジを様々な角度から読み取ることができるシステムを提供することが望まれている。さらに、人間の介入なしでシステムがリアルタイムで受動的に作動することが望まれている。
【０００６】
【課題を解決するための手段】
発明の概要
本方法は、カメラにより取得された場面の連続画像の中でバッジを動的に識別する。連続画像中の各画像は多数の画素を含み、各画素は色と強度を有している。各画像はスキャンされ、境界画素が検出される。境界画素に隣接する画素は連結され、画素の連結領域が決定される。連結領域の内側境界が求められ、楕円が内側境界に適合される。楕円内の内部画素は円形状に歪ませられ、複数のスポークが、歪ませられた内部画素に適合され、着色セグメントを識別する。その時、一意な同一性が着色セグメントに従って各バッジに関連付けられる。
【０００７】
境界画素は境界色および第１のしきい値より大きい強度を有し、かつ隣接画素は境界色および第２のしきい値より大きい強度を有し、第１のしきい値は第２のしきい値よりも大きい。各画像の画素は、左から右および上から下の順でスキャンされる。内側境界を検出するため、連結領域内の画素は前方および左方向にたどられる。
【０００８】
【発明の実施の形態】
図１は、本発明によるバッジ識別システム３００を示す。システム３００は、会議会場の展示ブース１０１に設置し得る。システムは１つ以上のカメラ１０２に接続されている。好ましくは、カメラはデジタル式である。カメラは様々な位置に設置し得る。各カメラは場面の連続画像を同時に取得する。展示ブースは、拡声器などの出力機器１０５を含み得る。
【０００９】
システムは、カメラの前の場面１０４中にある、または入ってくる個人または物品に取り付けられたバッジ２００を動的にリアルタイムで検出する。バッジ２００は、個人または物品を一意的に識別するために用いられる。バッジの識別は、マーケティングまたは追跡の目的で用いられ得る。利点として、システムはリアルタイムで作動し、一度に複数のバッジを識別し、オペレータを必要とせずに悪い照明条件下でも正しく作動し得る。バッジは、自動車、列車、または製品などの他の移動物体にも取り付けられることに注目すべきである。さらなる利点として、バッジはカメラに対して正確に垂直に向けられる必要はない。
【００１０】
カメラ１０２は、三菱電機株式会社製「ａｒｔｉｆｉｃｉａｌ  ｒｅｔｉｎａ」（ＡＲ）、部品番号Ｍ６４２８９Ｕとし得る。ＡＲは、３５２×２８８個の感色性画素を有するＣＭＯＳ画像センサーである。ＡＲチップは、低電力消費で高性能を達成し得る。ビジョンシステムは、三菱電機株式会社製シングルチップＣＭＯＳマイクロコンピュータ、部品番号Ｍ３２０００Ｄ４ＡＦＰをベースとし得る。チップは、３２ビットプロセッサおよび２ＭＢのＤＲＡＭと４ＫＢのバイパスキャッシュを含んでいる。カメラとコントローラは数十ドルで入手でき、妥当なコストで大衆市場訴求力を有する比較的簡単な構成要素に対するニーズを満たす。システム３００は、以下でより詳細に説明されるバッジ識別方法を実行する。
【００１１】
識別バッジ
図２に示されるように、識別バッジ２００には以下の特性がある。識別バッジの境界(縁)領域２０１は、既知の背景色、例えば白である。境界２０１は、正面から見た時、形状はほぼ円形である。角度を付けて見た時、バッジ形状は楕円形に見えるであろう。境界領域２０１の内部境界２０２は、種々の色にセグメント化された内部領域を囲んでいる。
【００１２】
セグメント(区分)数は２〜１２とすることができ、バッジサイズによってはより大きくし得る。実施の形態のバッジには６つのセグメントがある。「キー」セグメント２０３の色は黒であり、他のセグメントの色は、どのような任意の選択された色、例えば赤、青、緑、黄、およびオレンジにもし得る。キーセグメントは、バッジの他の着色セグメント解読の開始点の決定に用いられる。複数のセグメントを同色にし得る。従って、５つの着色されたセグメントおよび５つの使用可能な色があるとすると、一意的カラーコーディングの数は５5、すなわち３１２５通りである。システム３００は、セグメント数が異なるバッジを正しく識別でき、従って例えば４、５、および６セグメントのバッジを同時に用いて一意な識別数の全体数を増大させることができる。
【００１３】
以下で説明される識別方法は、シャツまたはその他の衣類の表面に印刷された識別バッジに適用できる。バッジは、製品もしくは乗り物、手荷物、あるいは一意な識別による恩恵を受け得るどのようなものにも取り付けまたは印刷し得る。
【００１４】
検出方法
図３は、バッジ識別システム３００により実行されるステップを示す。
【００１５】
潜在的なバッジ境界の識別
この方法は、１台以上のカメラにより取得された連続画像の各画像３０１を処理する。連続画像中の各画像は、最初にバッジがその場面内にあるかどうかを検出し、第２にその着色パターンに従ってバッジを識別するために、以下のように処理される。
【００１６】
最初に、この方法は各画像３０１中の境界画素（Ｂ）３１１を検出３１０しようとする。境界画素は、バッジの「境界」色、例えば白に実質的に類似する色およびＴ1より大きい強度を有している。様々な照明条件に適応させるため、カメラおよびビジョンシステムは、特定の照明条件について境界色を検出するように校正され得る。
【００１７】
潜在的境界画素は、各画素列について画像の左上隅の画素から始め右下隅の画素で終わるように、上から下の順に左から右へスキャンすることにより位置が突き止められる。以下で説明される色類似性試験は、境界画素の検出に用いられる。
【００１８】
境界画素が検出されるとすぐに、以下で説明されるように連結構成要素解析３２０が実行される。連結構成要素解析は、さらなる境界画素が色類似性試験をパスし、かつしきい値Ｔ2（Ｔ2＜Ｔ1）より大きい強度を有している限り、境界画素に連結したさらなる境界画素を受け入れる。このステップは、ピクセル・バイ・ピクセル(画素毎)領域成長と呼ばれ得る。
【００１９】
境界画素の検出および連結すなわち領域成長が繰り返し続き、各画像のすべての画素について、１つ以上の連結領域（ＣＲ）３２１を生成する。各連結領域は、他の領域から分離されている。各連結領域は、潜在的なバッジ境界である。
【００２０】
各画像中の画素のスキャン、検出、および連結の繰り返しの間、すでに境界画素と認識された画素すなわち連結領域内の画素はスキップされる。
【００２１】
連結構成要素解析の欠くことのできない部分は、連結した境界画素のすぐ外側および内側の画素の「マーキング」である。これらの画素は、色類似性試験または強度値試験に落ちたか、あるいは画像の最端部にある。これらの画素は、ドーナツの内側および外側の境界のように、内側および外側の境界を決定する。境界および連結画素は以下の方法でさらに処理される。
【００２２】
その外側境界に違いない単一の境界を有する境界画素の連結領域にはもはや関心はなく無視される。なぜなら、「穴」が全くないからである。複数の境界を有する連結領域は、内部の非領域「穴」を囲んでいるにちがいなく、次段落で説明されるようにさらに処理を受ける。
【００２３】
境界画素をその全長に渡ってたどるために任意のルールが定義され、例えば、内側および外側の境界は、関連する連結境界領域が前方方向の左側にあるように、常にたどられる。境界は、任意の開始点から始めてたどられ、開始点からの前方方向の変化を表す積分値は保持される。処理が境界チェーンの開始点へ戻るころまでには、積分値は、境界が連結画素の領域の内側の境界か外側の境界かによって、２πラジアンまたは−２πラジアンになるであろう。従って、内側境界に対応する境界は区別でき、これらは以下の楕円適合段階に渡される。
【００２４】
色類似性試験
上記で用いられた色類似性試験により、ＲＧＢ値Ｃｐ＝（Ｒｐ，Ｇｐ，Ｂｐ）を有する画像中の画素が、ＲＧＢ値Ｃｔ＝（Ｒｔ，Ｇｔ，Ｂｔ）を有する目標色に類似するかどうかが測定される。境界のための目標境界色は白が選択される。この試験は照明の変化に対してある程度不変である。単位３ベクトルｃｐ＝Ｃｐ／ｍａｇ（Ｃｐ）が画素色について計算される。式中、ｍａｇ（Ｃｐ）はＣｐの大きさである。同様に、単位３ベクトルｃｔ＝Ｃｔ／ｍａｇ（Ｃｔ）が目標色について計算される。ドット積Ｄ＝ｃｐ・ｃｔが計算される。もしドット積Ｄがしきい値τを超えるときは、色Ｃｐは目標境界色Ｃｔに類似するものとして受け入れられる。
【００２５】
領域境界への楕円の適合
受け入れられた各内側境界について、例えば、Fitzgibbonの楕円適合法およびＲＡＮＳＡＣアルゴリズム（Fitzgibbon et al. in "Ellipse Fitting: Direct Least Square Fitting Of Ellipses," IEEE Trans. PAMI, Vol.21, No 5, May 1999,  Fischler et al. "RANSAC: Random Sample Consensus: a paradigm for model fitting with application to image analysis and automated cartography," Commun. Assoc. Comp. Mach., Vol 24, 1981を参照）を用いて楕円ε３３１がチェーンに適合３３０される。
【００２６】
各内側境界について、ＲＡＮＳＡＣアルゴリズムは複数の起こりうる楕円解を生成し、その各々がどれほどうまく適合するかに従ってスコアが記録される。最も高スコアの楕円が、特定の結合チェーンに最も適合するものとして保持される。
【００２７】
連続画像中のいかなる画像３０１中のいかなるバッジ２００も、遠近法的歪みを受けている可能性がある。例えば、円形バッジは、これがカメラに関して正面位置から傾いている場合には、透視投影下では楕円に見えるであろう。従って、アフィン変換が楕円中の画素に適用される。言い換えると、アフィン変換は、画像の内側画素を歪ませ、それによってそれらが再び円形を有するようになる。従って本発明では、バッジとカメラとの間での垂直方向の位置付けを必要としない。
【００２８】
バッジの内側セグメントへの「スポーク」の適合
ステップ３４０では、以下のようにスポーク３４１を適合させることにより、各バッジの境界内の色セグメントが識別される。最初に、アフィン変換を用いて、バッジの標準形、言い換えるとセグメントを有する円形バッジ、を各楕円３３１にマッピングする。この変換は、対応する楕円内の各バッジセグメントの位置を定義する。しかしながら、この変換はバッジの未知の回転までについてのみ既知である。すなわち、画像データを楕円中に適合させるための、バッジ「スポーク」つまりセグメント境界の正確な回転は、当初わかっていないということである。
【００２９】
次に、測度(measure)Ｍが定義される。測度Ｍはバッジの個々のセグメントについて決定される。測度Ｍは、セグメント中の多くの画素が類似した色である場合には値が比較的低く、セグメント中の画素が異なる色の場合には、値が比較的高い。
【００３０】
次に、各セグメントについてＭが測定され、全セグメントのＭの合計は、Ｍｓｕｍとして保存される。測度は以下で定義される。
【００３１】
未知の回転量を説明するため、新たなアフィン変換が定義され、これもバッジの標準形を楕円にマッピングするが、スポークの回転が異なる。再度、Ｍｓｕｍが決定される。
【００３２】
これはスポークのすべての可能な回転について繰り返される。例えば、この工程は、完全な１回転について１０度間隔で３６回繰り返し得る。Ｍｓｕｍの最小値を与える回転は、各セグメントの内側部分が類似色の画素から成っていることを保証する観点から、バッジの標準形と楕円との間の最良のマッピングを決定する。このように、バッジのスポークは、観察された画像データに適合される。
【００３３】
測度Ｍの定義
特定の楕円を有するバッジセグメントの整列を仮定すれば、楕円内の画素は、最初に、バッジの各セグメントごとに１グループとしてグループ化される。これらのグループ、すなわちクラスターは次に、これらのクラスターの中心と共に、ＲＧＢ空間において近い画素のクラスターを識別するためにＫ−Ｍｅｄｏｉｄクラスタリング(K-Medoid clustering)を受ける。
【００３４】
次に、バッジのセグメントｊについてすべての画素Ｐｊを取る。計算された各クラスター中心について、その中心からの全画素Ｐｊの総距離を求める。すべてのクラスター中心について、ＰＭＩＮｊと呼ばれる、この距離の最小値を見出す。すべてのバッジセグメントについてＰＭＩＮｊの合計を取る。これが測度Ｍである。
【００３５】
カラーコーディングの識別
ステップ３４０のスポーク適合は、バッジ中の着色セグメントの相対的位置からカラーコーディング（ＩＤ）３０９を識別３５０するために用いられる。各セグメントについて、そのセグメント中の画素のＲＧＢ値を取り、メドイド(medoid)(ｎ次元測定値の中央値であって、この場合は３次元ＲＧＢ値）を求める。強度が最も低いメドイドは、黒い「キー」セグメント２０３を決定する。他のすべてのセグメントのメドイドは、あり得るすべてのバッジの色について事前に保存されている色値と比較され、最もよく一致したものが各セグメントの色を決定する。種々のセグメントの色が決定された後に、バッジに関連付けられた一意な識別が着色セグメントの配置により決定される。
【００３６】
システム３００は、種々のカメラの使用、および種々の照明条件下におけるバッジ色の外観変化に対して強い。このシステムは、画像中のバッジ直径が約１５画素に減少するまで作動し続ける。このことは、２４０×２４０画素の画像を捕らえる平均的なカメラを仮定すると、直径約１２ｃｍのバッジをカメラから約３メートルの距離までで検出できることを意味する。その範囲は、より大きいバッジまたはより高解像度のカメラにより増大する。
【００３７】
適用
ここで説明されたカラーコーディングされたバッジの識別には、多様な用途がある。
【００３８】
バッジは、屋内または屋外での人々の追跡に用い得る。例えば、人が建物へ入る際、その人に一意なカラーコーディングを有するバッジを割り当て得る。種々の入口または種々の部屋に設置されたカメラは、人が入口を通る際、または部屋へ入る際にこれを検出し、この情報をデータベースに記録し得る。本発明は、いかなるカメラもバッジに向ける必要がないことに留意すべきである。バッジが場面に入るとすぐ、システムはバッジを自動的に検出する。
【００３９】
多くの団体には、会議および展示会における多くの個人との定期的な集まりがあり、そこでは会員企業によって製品が販売または展示される。そのような会議は、多くの会社にとり重要なマーケティング手段である。これらおよびその他の集まりへの出席者は合計数千人にもなることがあり、会議のスポンサーおよび参加企業は、出席者に関する詳細な情報を入手することを望む。従って、出席者の氏名、社名および住所、ならびに目視で容易に読み取れる情報および／またはコンピュータ操作される機器で容易にスキャンまたは読み取りできる情報を識別バッジが含むことが、しばしば必要とされる。例えば、本発明のシステムは、どの個人が会議のどのエリアを訪れているかを追跡することができ、さらにはバッジが現れた連続画像の数をカウントすることにより、その個人が特定の場所にどのくらいの時間とどまっているのかさえも追跡できる。このシステムは、個人が種々の場所を訪れた順序も知ることができる。
【００４０】
バッジは、着用者の欲求または好みに関する情報を表すことができ、それにより自動的なリアルタイム対話システムがバッジ着用者を支援し得る。例えば、スポーツスタジアムまたは劇場に到着する人に、カラーコーディングでその人の座席を示すバッジが渡される。様々な入口および公共の通過エリアでのカメラを利用するこのシステムは着用者を観察し、対話的に、例えばディスプレイまたはスピーカー１０５を介した音声案内により、着用者を割り当てられた座席エリアへ案内する。同様に、旅行者は正しいバスライン、列車のプラットホーム、または上陸ゲートへ案内され得る。
【００４１】
バッジは、物品の位置の記録にも用い得る。例えば、自動車が多層階式駐車場に入る際に、カラーコーディングしたバッジを車の屋根に取り付け得る。天井の高架式カメラが自動車の最終的な駐車位置を記録する。ドライバーは、車を離れる際にそのバッジを屋根から取る。ドライバーが駐車場へ戻り、対話システムにバッジを提示すると、ドライバーは本来の駐車スペースにある自動車まで自動的に案内される。
【００４２】
物品の位置の追跡を容易にするためにバッジを物品に取り付けることもできる。バッジは、不規則に動き、追跡しづらい物品の追跡に用い得る。見る人には、物品の不規則な動きが自動的にキャンセルされた安定した光景が与えられる。
【００４３】
バッジが人または物品の同一性(識別)を記号化する適用分野の支援において、現在活動中のバッジのカラーコーディングのデータベースを維持することが望まれる。例えば、ある人物が建物に入り、一意的なバッジを割り当てられると、そのバッジはデータベース中に活動中として登録される。その人物が建物を出て、バッジを返却すると、そのバッジはデータベースから自動的に除去される。これにより、無効または偽造バッジの自動チェックが可能になる。
【００４４】
バッジを付けた人々／物品の画像を観察者がリアルタイムで見ているような適用分野への支援においては、より意味のある形でバッジのカラーコーディングについての情報を提供するため、画像を合成的にオーバーレイすることがより望ましい。例えば、建物内の人々を観察しているシステムでは、バッジの元の見え方を、それが観察者に対して表示される際に、「スタッフ」または「ビジター」という単語の上張りで取り替えるようにできる。
【００４５】
これまで本発明のいくつかの実施の形態およびいくつかの変更態様ならびにそれらの変化について説明してきたが、上記は単に例示のためのものであって限定するものではなく、例としてのみ提示されたものであることは、当業者にとり明白なことは当然である。多くの変更態様およびその他の実施の形態は、当分野の通常技術の１つの範疇にあるものであり、添付の特許請求の範囲およびその同等物に定義される範囲に入るものと予測される。
【図面の簡単な説明】
【図１】  本発明によるバッジ識別システムのブロック図である。
【図２】  図１のシステムで用いられるバッジである。
【図３】  図２のバッジを識別するために図１のシステムで用いられる方法のフローチャートである。
【図１】
0004712231.tif 000002
【図２】
0004712231.tif 000003
【図３】
0004712231.tif 000004