(57)【要約】      （修正有）【課題】ワイルドカード文字を有するまたは有しないテキスト画像と文字列とを比較するためのシステムおよび方法を提供する。【解決手段】方法は、文字列から特徴セットを抽出し、抽出された特徴に基づいて、空間ピラミッド文字バッグ（ＳＰＢＯＣ）表現のような文字列表現を生成することによって、文字列をベクトル空間に埋め込むステップを含む。テキスト画像から特徴セットを抽出し、テキスト画像の抽出された特徴に基づいてテキスト画像表現を生成することによって、テキスト画像はベクトル空間に埋め込まれる。テキスト画像表現と、文字列表現との間の類似度が計算され、これは、テキスト画像表現および文字列表現の関数を計算することを含む。【選択図】図４
2016134175.tif 000002
【特許請求の範囲】
【請求項１】
テキスト画像と文字列とを比較するための方法であって、前記文字列はワイルドカード文字を含み、前記方法は、
前記文字列から特徴セットを抽出し、前記抽出された文字列特徴に基づいて文字列表現を生成することによって、前記ワイルドカード文字を有しない前記文字列をベクトル空間に埋め込むステップと、
前記テキスト画像から特徴セットを抽出し、前記抽出されたテキスト画像特徴に基づいてテキスト画像表現を生成することによって、前記テキスト画像を前記ベクトル空間に埋め込むステップと、
前記テキスト画像表現、および、前記ワイルドカード文字を有しない前記文字列表現の類似度関数を計算することによって、前記テキスト画像表現と、前記ワイルドカード文字を有しない前記文字列表現との間の類似度を計算するステップとを含み、
前記埋め込むステップおよび前記適合性を計算するステップの少なくとも１つはプロセッサを用いて実施される、方法。
【請求項２】
前記テキスト画像表現および前記ワイルドカード文字を有しない前記文字列表現の前記類似度関数は、双一次形式である、請求項１に記載の方法。
【請求項３】
前記類似度関数は以下の形式であり、
【数３８】
2016134175.tif 000042
式中、ｓは、重みの行列Ｗを所与とした、テキスト画像表現と文字列表現との間の前記類似度を表し、
Θ（ｘ）は前記テキスト画像表現を表し、φＡ（ｙ）は、前記ワイルドカード文字を無視するアルファベットＡに対応する前記文字列表現を表し、Ｔは転置演算子を表す、請求項２に記載の方法。
【請求項４】
前記類似度関数は以下の形式であり、
【数３９】
2016134175.tif 000043
式中、ｓは、テキスト画像表現と文字列表現との間の前記類似度を表し、
【数４０】
2016134175.tif 000044
は、語彙Ａのもとでの
【数４１】
2016134175.tif 000045
に対する一致である前記ワイルドカード文字を有しないすべての可能性のある文字列の集合であり、
【数４２】
2016134175.tif 000046
は集合
【数４３】
2016134175.tif 000047
の要素の数を示す、請求項２に記載の方法。
【請求項５】
前記類似度関数は以下の形式であり、
【数４４】
2016134175.tif 000048
式中、ｓは、テキスト画像表現と文字列表現との間の前記類似度を表し、
【数４５】
2016134175.tif 000049
は、語彙Ａのもとでの
【数４６】
2016134175.tif 000050
に対する一致である前記ワイルドカード文字を有しないすべての可能性のある文字列の集合である、請求項２に記載の方法。
【請求項６】
前記類似度を計算するステップは、前記計算される関数が所定の閾値を満たすか否かを判定するステップを含む、請求項１に記載の方法。
【請求項７】
テキスト画像とワイルドカード文字を含む文字列とを比較するためのシステムであって、
ワイルドカード文字を含む文字列から抽出される特徴に基づいて文字列表現を生成するためのテキスト文字列表現生成器であって、前記文字列は、一連の文字から構成され、前記テキスト文字列表現は、文字表現の空間ピラミッドバッグを含む、テキスト文字列表現生成器と、
テキスト画像から抽出される特徴に基づいてテキスト画像表現を生成するためのテキスト画像表現生成器と、
前記テキスト画像表現と前記文字列表現との間の類似度を計算するための比較器と、
少なくとも１つの文字列表現と少なくとも１つのテキスト画像表現との間の前記計算された類似度に基づいて情報を出力するための出力構成要素と、
前記テキスト文字列表現生成器、前記テキスト画像表現生成器、前記比較器、および前記出力構成要素を実装するプロセッサとを備える、システム。
【請求項８】
テキスト画像と文字列とを比較するための方法であって、前記方法は、
一連の文字を含む少なくとも１つの文字列について、前記文字列から特徴セットを抽出するステップであって、複数の領域から成る空間ピラミッドを形成するために前記文字列を区分化するサブステップと、各領域について、前記領域内の有限文字列セットの各々の出現のカウントを含む、前記領域の表現を生成するサブステップとを含む、抽出するステップと、
前記領域表現に基づいて文字列表現を生成するステップと、
前記テキスト画像から特徴セットを抽出し、それに基づいてテキスト画像表現を生成するステップと、
前記テキスト画像表現と前記文字列表現との間の類似度を計算するステップであって、学習されたパラメータの行列を用いて前記文字列表現および前記テキスト画像表現の少なくとも１つを埋め込むステップを含み、前記類似度は、前記少なくとも１つの埋め込まれた表現の関数である、計算するステップとを含み、
前記類似度関数の前記学習されるパラメータは、各々、前記画像内に存在するテキストに対応するワイルドカード文字を含むそれぞれの文字列を用いてラベルを付されているテキスト画像の訓練セットを使用して学習され、
前記埋め込むステップおよび前記適合性を計算するステップの少なくとも１つはプロセッサを用いて実施される、方法。
【請求項９】
テキスト画像と文字列とを比較するための方法であって、前記文字列はワイルドカード文字を含み、前記方法は、
前記文字列から特徴セットを抽出し、前記抽出された文字列特徴に基づいて文字列表現を生成することによって、前記ワイルドカード文字を含む前記文字列をベクトル空間に埋め込むステップと、
前記テキスト画像から特徴セットを抽出し、前記抽出されたテキスト画像特徴に基づいてテキスト画像表現を生成することによって、前記テキスト画像を前記ベクトル空間に埋め込むステップと、
前記テキスト画像表現、および、前記ワイルドカード文字を含む前記文字列表現の類似度関数を計算することによって、前記テキスト画像表現と、前記ワイルドカード文字を含む前記文字列表現との間の類似度を計算するステップとを含み、
前記埋め込むステップおよび前記適合性を計算するステップの少なくとも１つはプロセッサを用いて実施される、方法。
【請求項１０】
各々、前記画像内に存在するテキストに対応するワイルドカード文字を含むそれぞれの文字列を用いてラベルを付されているテキスト画像の訓練セットを使用して前記類似度関数のパラメータを学習するステップをさらに含む、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
例示的な実施形態は、画像内のテキスト認識に関する。例示的な実施形態は、ナンバープレートの認識に関連して特に適用され、特にそれを参照して説明される。しかしながら、例示的な実施形態は広範な認識問題に適用可能であることは諒解されたい。
【背景技術】
【０００２】
画像内のテキスト認識は、画像の一部分がテキストを含むことを認識すること、およびまた、テキストを構成する文字列を認識することの両方を含む。たとえば、車両の画像内のナンバープレート番号の認識、街路の場面の画像上の街路名の認識など、画像内のテキストを認識することが望ましい多くの事例がある。種々のタイプのテキスト（たとえば、活字テキスト対手書きテキスト）を認識すること、および、種々のタイプの画像（たとえば、自然画像対文書画像）を認識することが望ましい場合もある。
【０００３】
一般的に、ナンバープレートはそれが取り付けられている車両に固有の識別子であるため、ナンバープレート情報の認識は車両認識を補助する。過去において、この問題は従来、ナンバープレート画像に光学式文字認識（ＯＣＲ）を適用することによって対処されてきた。たとえば、Ａｎａｇｎｏｓｔｏｐｏｕｌｏｓ他「Ｌｉｃｅｎｓｅ  ｐｌａｔｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｒｏｍ  ｓｔｉｌｌ  ｉｍａｇｅｓ  ａｎｄ  ｖｉｄｅｏ  ｓｅｑｕｅｎｃｅｓ：  Ａ  ｓｕｒｖｅｙ」（ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｔｒａｎｓｐｏｒｔａｔｉｏｎ  Ｓｙｓｔｅｍｓ，  ｖｏｌ．  ９，  Ｎｏ．  ３，  ｐｐ．  ３７７−３９１，  ２００８）（以下「Ａｎａｇｎｏｓｔｏｐｏｕｌｏｓ」）を参照されたい。しかしながら、ＯＣＲ認識は計算コストが高くなる場合があり、画像をキャプチャしたときの可視性が低いときに、精度が落ちる。
【０００４】
最近のソリューションは、たとえば、「ＭＥＴＨＯＤＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＩＭＰＲＯＶＥＤ  ＬＩＣＥＮＳＥ  ＰＬＡＴＥ  ＳＩＧＮＡＴＵＲＥ  ＭＡＴＣＨＩＮＧ  ＢＹ  ＳＩＭＩＬＡＲＩＴＹ  ＬＥＡＲＮＩＮＧ  ＯＮ  ＳＹＮＴＨＥＴＩＣ  ＩＭＡＧＥＳ」と題する、Ｊｏｓｅ  Ａｎｔｏｎｉｏ  Ｒｏｄｒｉｇｕｅｚ−Ｓｅｒｒａｎｏ他によって２０１１年１１月１８日付で提出された同時係属の米国特許出願第１３／３００，１２４号明細書に開示されているように、画像マッチング問題として認識に対処するようになってきている。ナンバープレートの画像（クエリ）が与えられると、大規模なデータベース内の最も近くマッチするナンバープレート番号が取り出される。比較されるべき画像は各々、画像から抽出される低レベル特徴から導出される画像の統計的表現である画像署名によって表される。画像署名として、フィッシャーベクトルが使用され得る。たとえば、Ｐｅｒｒｏｎｎｉｎ他「Ｉｍｐｒｏｖｉｎｇ  ｔｈｅ  Ｆｉｓｈｅｒ  ｋｅｒｎｅｌ  ｆｏｒ  ｌａｒｇｅ−ｓｃａｌｅ  ｉｍａｇｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（ＥＣＣＶ，  ２０１０）を参照されたい。
【０００５】
この署名比較方法は、クエリの少なくとも１つの例がデータベースにすでに存在すると仮定する。これはいくつかの用途においては問題にならないことが多いが（たとえば、出口において撮影された画像が入口において撮影された画像とマッチングされている駐車場用途のコンテキストにおいて）、そのようなデータベースが利用可能でないか、または不完全である多くの事例がある。これが対処され得る１つの方法は、人工的なナンバープレートを生成することによるものである。たとえば、「ＴＥＸＴ−ＢＡＳＥＤ  ＳＥＡＲＣＨＩＮＧ  ＯＦ  ＩＭＡＧＥ  ＤＡＴＡ」と題する、Ｊｏｓｅ  Ａｎｔｏｎｉｏ  Ｒｏｄｒｉｇｕｅｚ  Ｓｅｒｒａｎｏ他によって２０１１年９月２日付で提出された米国特許出願第１３／２２４，３７３号明細書は、類似しているナンバープレートを組み合わせることによって仮想ナンバープレートを作成するための方法を開示している。「ＭＥＴＨＯＤＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＩＭＰＲＯＶＥＤ  ＬＩＣＥＮＳＥ  ＰＬＡＴＥ  ＳＩＧＮＡＴＵＲＥ  ＭＡＴＣＨＩＮＧ  ＢＹ  ＳＩＭＩＬＡＲＩＴＹ  ＬＥＡＲＮＩＮＧ  ＯＮ  ＳＹＮＴＨＥＴＩＣ  ＩＭＡＧＥＳ」と題する、Ｊｏｓｅ  Ａｎｔｏｎｉｏ  Ｒｏｄｒｉｇｕｅｚ−Ｓｅｒｒａｎｏ他によって２０１１年１１月１８日付で提出された米国特許出願第１３／３００，１２４号明細書、および、「ＭＥＴＨＯＤＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＩＭＰＲＯＶＩＮＧ  ＹＩＥＬＤ  ＩＮ  ＷＡＮＴＥＤ  ＶＥＨＩＣＬＥ  ＳＥＡＲＣＨＥＳ」と題する、Ｊｏｓｅ  Ａｎｔｏｎｉｏ  Ｒｏｄｒｉｇｕｅｚ−Ｓｅｒｒａｎｏ他によって２０１２年４月２７日に提出された米国特許出願第１３／４５８，４６４号明細書は、ナンバープレート画像を合成するための方法を開示している。
【０００６】
これらの方法のうちの第１の方法は、ナンバープレートが最も類似する取り出された画像の中にある（たとえば、トップ２０の中にある）可能性が高くなることを保証することが目標であるときに精度に関して良好な結果を取り出し、もたらすことに焦点を当てている。これは一般的に、手作業によって補助される検索の用途には十分であるが、通常、高いトップ１の精度が所望される、すなわち、一致が実際に存在する場合に、高い精度で単一の一致を識別することが所望される場合の認識には課題を呈し得る。第２の方法は、所与の文字列からナンバープレートのフォトリアリスティック画像を生成することができる。しかしながら、この方法は、適用領域の特定の予備知識（たとえば、ナンバープレートの背景、フォントなど）に依拠する。加えて、典型的なプレートの歪みのセットを考慮に入れるために複数の異なる変換によって複数の画像が一般的に生成され、これは計算コストが高い場合がある。
【０００７】
テキスト−画像クエリを実施する、開示されている方法およびシステムは、駐車場への車両の出入りを自動的に管理するためのシステムのような、車両再識別システムのコンテキストにおいて適用される。特に、車両再識別システムは、車両と関連付けられるナンバープレート画像をキャプチャおよび解析する。車両を識別するための従来の手法は、ナンバープレート自動認識（ＡＬＰＲ）システムを使用し、入力される車両のすべてのプレート番号を含む正確なナンバープレート番号検索データベースを生成して、ナンバープレート番号を抽出することである。
【０００８】
この再識別手法には２つの主要な制約がある。
【０００９】
第１に、ＡＬＰＲシステムの精度は制限されている。いくらかのＡＬＰＲ提供者のクレームにもかかわらず、ＡＬＰＲ＋完全文字列マッチングの実施の再識別精度は、既存の画像キャプチャおよびＡＬＰＲ設備を使用して、管理されている駐車場から画像がキャプチャされる実際の生産環境においては８５％〜９０％の範囲内であるように測定されている。さらに、ＡＬＰＲおよび完全文字列マッチングの実施の再識別精度は、非正面カメラを有する屋外駐車場のような厳しい条件においては７０％程度の低さであるように測定されている。
【００１０】
第２に、任意のナンバープレート番号の認識および記憶は、名目的な情報片を明示的に曝露する、すなわち、ナンバープレート番号はフランスを含む多くの国々において個人情報であると考えられているため、プライバシーの侵害を引き起こす可能性がある。
【００１１】
「ＤＥＬＡＹＥＤ  ＶＥＨＩＣＬＥ  ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ  ＦＯＲ  ＰＲＩＶＡＣＹ  ＥＮＦＯＲＣＥＭＥＮＴ」と題する、ＲＯＤＲＩＧＵＥＺ−ＳＥＲＲＡＮＯ他によって２０１３年１０月１６日付で提出された米国特許出願第１４／０５４，９９８号明細書において、市販のＡＬＰＲシステムよりも高い精度の結果を得ることができ、プライバシーの侵害を引き起こさない、画像署名マッチングに基づいて再識別を実施するためのシステムが開示されている。「ＭＵＬＴＩ−ＱＵＥＲＹ  ＰＲＩＶＡＣＹ−ＰＲＥＳＥＲＶＩＮＧ  ＰＡＲＫＩＮＧ  ＭＡＮＡＧＥＭＥＮＴ  ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ」と題する、Ｒｏｄｒｉｇｕｅｚ  −Ｓｅｒｒａｎｏ他によって２０１４年９月２６日付で提出された米国特許出願第１４／４９７，４１７号明細書は、「ＤＥＬＡＹＥＤ  ＶＥＨＩＣＬＥ  ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ  ＦＯＲ  ＰＲＩＶＡＣＹ  ＥＮＦＯＲＣＥＭＥＮＴ」と題する、ＲＯＤＲＩＧＵＥＺ−ＳＥＲＲＡＮＯ他によって２０１３年１０月１６日付で提出された米国特許出願１４／０５４，９９８号明細書において開示されているシステムを拡張して、クエリ文字列からナンバープレート画像の取り出しを可能にしている、すなわち、ナンバープレート番号内のユーザタイプおよび対応するナンバープレートの画像は返される。これによって、他の動作の中でも、チケットを失くしたユーザが入った時間を回復すること、セキュリティチェックを実施すること、または、「車がどこにあるか」の探索を可能にすることが可能になる。
【００１２】
特定の用途向けに十分に正確であるとともに、計算効率的でもある、画像内のテキストを認識するためのシステムおよび方法に加えて、ワイルドカード記号を有するテキストクエリ、たとえば、？ＢＣ１２？の形式のクエリを可能にする方法およびシステムが必要とされており、ここで記号？は「任意の文字」を表し、したがって、たとえば、ＡＢＣ１２３およびＺＢＣ１２７がこのクエリに一致する。ワイルドカード記号を有するテキストクエリを処理する機能は、多くの実際の状況において、クエリの発行者が対象のナンバープレートの全体を知らないために必要である。ワイルドカードを有するそのようなクエリは、可能性のあるナンバープレート番号のデータベースが保持されているＡＬＰＲベースのシステムにおいては可能であるが、テキスト−画像マッチングは現在、ワイルドカード記号を有するテキストクエリを効率的に処理する機能を提供していない。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本明細書において、ワイルドカードを用いるかまたは用いないテキスト−画像マッチング、たとえば、ワイルドカードを有する文字列クエリからのナンバープレート画像の取り出しを実施するための方法およびシステムが提供される。
【課題を解決するための手段】
【００１４】
本開示の一実施形態において、テキスト画像と文字列とを比較するための方法が説明され、文字列はワイルドカード文字を含み、方法は、文字列から特徴セットを抽出し、抽出された文字列特徴に基づいて文字列表現を生成することによって、ワイルドカード文字を有しない文字列をベクトル空間に埋め込むステップと、テキスト画像から特徴セットを抽出し、抽出されたテキスト画像特徴に基づいてテキスト画像表現を生成することによって、テキスト画像をベクトル空間に埋め込むステップと、テキスト画像表現、および、ワイルドカード文字を有しない文字列表現の関数を計算することによって、テキスト画像表現と、ワイルドカード文字を有しない文字列表現との間の類似度を計算するステップとを含み、埋め込むステップおよび適合性を計算するステップの少なくとも１つはプロセッサを用いて実施される。
【００１５】
本開示の別の実施形態において、テキスト画像と、ワイルドカード文字を含む文字列とを比較するためのシステムが説明され、システムは、ワイルドカード文字を含む文字列から抽出される特徴に基づいて文字列表現を生成するためのテキスト文字列表現生成器であって、文字列は、一連の文字から構成され、テキスト文字列表現は、文字表現の空間ピラミッドバッグを含む、テキスト文字列表現生成器と、テキスト画像から抽出される特徴に基づいてテキスト画像表現を生成するためのテキスト画像表現生成器と、テキスト画像表現と文字列表現との間の類似度を計算するための比較器と、少なくとも１つの文字列表現と少なくとも１つのテキスト画像表現との間の計算された類似度に基づいて情報を出力するための出力構成要素と、テキスト文字列表現生成器、テキスト画像表現生成器、比較器、および出力構成要素を実装するプロセッサとを備える。
【００１６】
本開示のまた別の実施形態において、テキスト画像と文字列とを比較するための方法が説明され、方法は、ワイルドカード文字を含む一連の文字を含む少なくとも１つの文字列について、文字列から特徴セットを抽出するステップであって、複数の領域から成る空間ピラミッドを形成するために文字列を区分化するサブステップと、各領域について、領域内の有限文字セットの各々の出現のカウントを含む、領域の表現を生成するサブステップとを含む、抽出するステップと、領域表現に基づいて文字列表現を生成するステップと、テキスト画像から特徴セットを抽出し、それに基づいてテキスト画像表現を生成するステップと、テキスト画像表現と文字列表現との間の類似度を計算するステップであって、学習されたパラメータの行列を用いて文字列表現およびテキスト画像表現の少なくとも１つを埋め込むステップを含み、適合性は、少なくとも１つの埋め込まれた表現の関数である、計算するステップとを含み、埋め込むステップおよび適合性を計算するステップの少なくとも１つはプロセッサを用いて実施される。
【図面の簡単な説明】
【００１７】
【図１】図１は、入力が単語のセグメント化画像であり、出力が通常は有効な単語の用語集によって制約される単語に含まれる一連の文字である、単語認識を示す図である。
【図２】図２は、本開示の例示的な実施形態による、ラベル埋め込みベースの認識および関連する注記を示す図であり、画像ｘのテキストラベルｙに対する関連が、学習された投影Ｗによって与えられる共通空間内の埋め込みθ（ｘ）とφ（ｙ）との間の直接距離によって測定される、図である。
【図３】図３は、画像内のテキストを認識するためのシステムの機能ブロック図である。
【図４】図４は、画像内のテキストを認識するための方法の流れ図である。
【図５】図５は、図１のシステムに使用するための画像とテキスト表現とを比較するための関数のパラメータの計算を示す流れ図である。
【図６】図２および図３の方法における文字列の領域の生成を示す図である。
【図７】空間ピラミッド文字バッグ（ＳＰＢＯＣ）埋込みの一例を示す図である。
【図８】実施例において使用されるナンバープレート画像の例を示す図である。
【発明を実施するための形態】
【００１８】
例示的な実施形態の態様は、ナンバープレート番号のような一連の文字の表現に依拠する、画像内のテキストを認識するためのシステムおよび方法に関する。この表現は、本明細書においては、文字が所定の語彙（ナンバープレート番号の場合はアルファベットの字および数字）から引き出される、空間ピラミッド文字バッグ（ＳＰＢＯＣ）として参照される。表現は、文字列を、ピラミッドのように漸進的により小さいセグメントにセグメント化することから導出され、各セグメントは、それぞれのセグメント内の文字の関数であるそれぞれの部分表現と関連付けられる。部分表現は集約されて、全体として一連の文字の表現を形成する。
【００１９】
加えて、本開示は、テキスト−画像クエリを実施するための方法およびシステムを提供し、テキストクエリ内にワイルドカードが現れてもよいし、または現れなくてもよい。ワイルドカードは、試験時間のみにおいて処理されてもよく、または、訓練時間および試験時間の両方において処理されてもよい。試験時間のみにおいては、ワイルドカードは無視され得るか、すべての可能性のあるナンバープレート番号にわたって周縁化され得るか、または、すべての可能性のあるナンバープレート番号にわたって最大化され得る。訓練時間において、ワイルドカードを有するクエリは合成され得る。訓練に使用するために、それらは無視することもでき、周縁化することもでき、またはワイルドカード記号と交換することもできる。
【００２０】
対象となる問題は、画像、特にテキストを含む自然画像内のテキストの認識である。成熟した光学式文字認識（ＯＣＲ）の分野の基礎にもかかわらず、自然場面内のテキストを理解することには、クリーンな文書内のテキストとは対照的に、依然として相当の課題がある。いくつかの問題は、複数のフォント、色、もしくは芸術的な意匠が使用されていること、テクスチャ背景または不規則な文字配置である。
【００２１】
ワイルドカード文字を用いる、およびワイルドカード文字を用いない、テキスト−画像クエリを実施するための開示されている方法およびシステムの焦点は、基本的に、図１に示す単語認識として知られている。問題は、一般的にテキスト検出器から出力される、単語のクロップ画像内に存在する一連の文字を復号することにある。通常、一連の文字は、ＯＣＲ用語では用語集と称される、有効な単語のリストからの要素であるように制約される。
【００２２】
テキスト認識における研究は、局所画像領域を可能性のある文字のうちの１つに分類し、その後、大域的な合意を課す高レベルモデルを使用する方法に収束している。
【００２３】
このボトムアップ分解は、以下の理由のために有益である。
【００２４】
（ｉ）数千に及ぶ可能性のある単語クラスを認識する問題が、数ダースの文字モデル＋高レベルモデルの学習に低減する。また、（ｉｉ）訓練中は見えない単語を認識することを可能にする。この第２の状況は、ゼロショット学習と称される。欠点は、本方法が文字検出および分類ステップに敏感であること、ならびに、これが通常、前処理（たとえば、文字分類を改善するための画像の２値化）および後処理、たとえば、最も近い用語集単語に対する出力の文字列編集補正の適用を暗示することである。
【００２５】
本開示および本明細書において提供されている例示的な実施形態は、従来のボトムアップ認識方法とは反対の方向をとり、「質素な」手法を使用して、明示的に文字を検出または分類することなく、驚くべき高精度でテキスト認識を実施することを可能にすることを主張する。本手法は、大域的単語−画像記述子と、単語−ラベル記述子との間の学習される類似度を利用する。したがって、認識プロセスは、大域的記述子間の単純な最近傍探索として位置付けられる。依然としてこのプロセスは、産業用ＯＣＲのような既存のシステムおよび条件付き確率場に基づく最近の手法と同等の精度を達成する。Ｍｉｓｈｒａ，  Ａ．、Ａｌａｈａｒｉ，  Ｋ．、Ｊａｗａｈａｒ，  Ｃ．Ｖ．「Ｓｃｅｎｅ  ｔｅｘｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ｈｉｇｈｅｒ  ｏｒｄｅｒ  ｌａｎｇｕａｇｅ  ｐｒｉｏｒｓ」（ＢＭＶＣ  （２０１２））を参照されたい。
【００２６】
より具体的には、本明細書において提供されている手法において、用語集からすべてのラベルがユークリッドベクトル空間に埋め込まれる。このステップは、ラベル埋め込みと称される。その後、画像特徴のすべてのベクトルがこの空間に投影される。その目的のために、問題は、構造化サポートベクタマシン（ＳＳＶＭ）フレームワークにおいて定式化され（Ｎｏｗｏｚｉｎ，  Ｓ．、Ｌａｍｐｅｒｔ，  Ｃ．「Ｓｔｒｕｃｔｕｒｅｄ  ｌｅａｒｎｉｎｇ  ａｎｄ  ｐｒｅｄｉｃｔｉｏｎ  ｉｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ」（Ｆｏｕｎｄａｔｉｏｎｓ  ａｎｄ  Ｔｒｅｎｄｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ｖｉｓｉｏｎ  （２０１１））を参照されたい）、単語画像とそれらの対応するラベルとの間の近接度基準を最適化する線形投影が学習される。この共通空間において、単語画像とラベルとの間の「適合性」が、それらの表現の間のドット積として測定される。したがって、新たな単語画像が与えられると、認識は、図２に示すように、共通空間内で最も近いラベルを発見するということになる。
【００２７】
この手法には、いくつかの利点がある。第１に、本手法は、画像２値化または文字列編集補正のような特別なまたはコストの掛かる前／後処理動作を必要としない。第２に、本手法は、任意の原稿の技術水準の画像識別子をベースに構築することができる。記載されている例示的な実施形態にはフィッシャーベクトル、Ｐｅｒｒｏｎｎｉｎ、Ｆ．，  Ｄａｎｃｅ，  Ｃ．「Ｆｉｓｈｅｒ  ｋｅｒｎｅｌｓ  ｏｎ  ｖｉｓｕａｌ  ｖｏｃａｂｕｌａｒｉｅｓ  ｆｏｒ  ｉｍａｇｅ  ｃａｔｅｇｏｒｉｚａｔｉｏｎ」（ＣＶＰＲ  （２００７））およびＰｅｒｒｏｎｎｉｎ，  Ｆ．、Ｓａｎｃｈｅｚ，  Ｊ．、Ｍｅｎｓｉｎｋ，  Ｔ．「Ｉｍｐｒｏｖｉｎｇ  ｔｈｅ  Ｆｉｓｈｅｒ  ｋｅｒｎｅｌ  ｆｏｒ  ｌａｒｇｅ−ｓｃａｌｅ  ｉｍａｇｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（ＥＣＣＶ  （２０１０））参照、が使用されるが、他の画像記述子が使用されてもよい。第３に、本手法は、その問題が一般的にコンピュータビジョンおよび機械学習の文献においてゼロショット認識と称される単語を考慮に入れる。第４に、認識プロセスは、前述したように、最近傍探索を含むだけであるため、非常に単純で効率的である。
【００２８】
本明細書において説明されている手法は２つの疑問を提示する。第１に、適切なラベル埋め込みを行うものは何か？画像の良好な表現を探すことはコンピュータビジョンにおいて基本的な問題であるが、良好なクラス表現を探すことはよく研究されていないままである。第２に、画像およびラベル埋め込みが同等である空間への変換をどのように探すか？本開示は両方の疑問に答え、以下の寄与を成すものである。第１の疑問に答えるために、単語ラベルが、空間ピラミッド文字バッグ（ＳＰＯＣ）としてユークリッド空間内に埋め込まれる。第２の疑問に答えるために、単語−画像および単語−ラベル表現間のマッピングが、構造化ＳＶＭ（ＳＳＶＭ）フレームワークを使用して学習される。
【００２９】
本発明の目的は、画像およびラベルを同じベクトル空間内で表現すること、すなわち、単純な類似度関数（ドット積など）を使用してそれらを同等にすることである。以下のパラグラフは、一般的なモデル定式化、画像およびラベル表現の特定の選択、目的関数、ならびに最適化アルゴリズムを詳述する。最後に、提案されている手法を画像対画像の比較のためにどのように利用するか、および、取り出し設定においてワイルドカード文字に対処する方法も説明する。
【００３０】
図３を参照すると、コンピュータ実装テキスト認識システム１０が示されている。コンピュータシステム１０は、ＯＣＲまたはテキスト画像の他の文字認識処理を必要とすることなく有意義な類似度の測度が計算されることを可能にする、空間内のそれぞれのオブジェクトの表現を生成することによって、ナンバープレート番号のような文字列１２とナンバープレートの画像のようなテキスト画像１４との間の類似度の測度を計算し、それに基づいて情報１６を出力するように構成されている。ナンバープレート番号（または登録識別子）は、発行地域のデータベース内で、それが取り付けられている車両を一意に識別する数字または英数字コードである。諒解されるように、ナンバープレート番号およびナンバープレートの画像は例示に過ぎず、テキスト画像が、所定の有限の語彙から引き出される文字から成る文字列と比較される例示的な実施形態を示すために使用されている。
【００３１】
計算される類似度測度に基づいて様々な形態の情報１６が出力されてもよく、これはシステム１０の使途に応じて決まり得る。一実施形態において、類似度測度が閾値を満たすときに、テキスト画像に対応すると予測される文字列１２がシステムによって出力され得る。別の実施形態においては、最も類似する文字列１２が出力されてもよい。また別の実施形態において、たとえば、類似度測度が語彙１８内の文字列のいずれについても閾値を満たさない場合、情報出力は、テキスト画像が文字列１２の有限語彙１８のものに対応しないという通知を含んでもよい。
【００３２】
例示的なシステム１０は、示されている実施形態においてはカメラのような画像キャプチャデバイス２２によって取得される車両の画像である１つまたは複数の画像２０を入力として受信するように構成することができる。他の実施形態において、システム１０は、画像２０でテキスト内容を位置特定し、画像から無関係な内容を切り取ることによって形成される、前処理済みテキスト画像１４を入力として受信することができる。システム１０は、ローカルエリアネットワークまたはインターネットのような広域ネットワークのような有線または無線接続２４を介して画像キャプチャデバイス２２または１つまたは複数の中間コンピュータ実装画像処理システム（図示せず）と通信可能に接続することができる。いくつかの実施形態において、少なくとも２つまたは少なくとも５つまたは少なくとも１０個または１００個のテキスト画像１４のような、いくつかのテキスト含有画像１４を含むコレクション２６を取得して、システムのメモリ内またはシステムにとってアクセス可能である遠隔メモリ内に記憶することができる。
【００３３】
例示的な実施形態において、システムは、各々が本明細書においてラベルとして参照される場合がある、文字列１２の語彙１８を受信する（または内部生成する）ように構成されている。文字列１２は各々、有限の文字集合から引き出される一連の文字を含む。各文字は、有限文字集合の各文字を、有限セット内の文字の数に応じて７ビット以上の２進コードのような、固有のビットシーケンスとして表す２進コードの形態で表すことができる。ＡＳＣＩＩコードが使用されてもよいが、代替的に、本システム向けに特に設計されたコードが利用されてもよい。ナンバープレートの例において、所定の文字列の語彙１８は、すべての可能な世界中のまたはＵＳナンバープレート番号、現在使用されているＵＳライセンス番号、または、指定領域に駐車することを認可された車両のナンバープレート番号もしくは盗難にあった車両のナンバープレート番号のみのような、より限定されたセットを含んでもよい。
【００３４】
示されているコンピュータシステム１０は、図４に概説されている方法を実施するために、メインメモリ３４に記憶されている命令３２を実行するプロセッサ３０を含む。プロセッサ３０はまた、メモリ３４に記憶されている処理命令を実行することによって、コンピュータシステム１０の動作全体を制御することもできる。データは、メモリ３４と一体であるかまたは分離しており、図示のように、同じコンピューティングデバイス３８または遠隔コンピューティングデバイスに常駐することができるデータメモリ３６に記憶することができる。
【００３５】
コンピュータシステム１０はまた、ネットワークインターフェース４０と、ユーザ入出力インターフェース４２とをも含む。入出力（Ｉ／Ｏ）インターフェース４２は、ユーザに情報を表示するための、コンピュータモニタまたは他のスクリーンのような表示デバイス４４、ならびに、テキストを入力し、ユーザ入力情報およびコマンド選択をプロセッサ３０に通信するための、キーボードもしくはタッチスクリーンもしくは書き込み可能スクリーン、および／または、マウス、トラックボールなどのようなカーソル制御デバイスのような、ユーザ入力デバイス４６の１つまたは複数と通信することができる。表示デバイス４４およびユーザ入力デバイス４６は、コンピュータ３８に直に連結されてもよく、または、リンク２４と同様の有線もしくは無線接続によってシステムにリンクされているクライアントコンピューティングデバイス４８の部分を形成してもよい。コンピュータ３８の様々な構成要素はすべて、バス５０によって通信可能に接続することができる。コンピュータは、デスクトップ、ラップトップ、パームトップコンピュータのようなＰＣ、携帯情報端末（ＰＤＡ）、サーバコンピュータ、携帯電話、タブレットコンピュータ、ポケットベル、それらの組合せ、または、例示的な方法を実施するための命令を実行することが可能な他のコンピューティングデバイスであってもよい。
【００３６】
メモリ３４、３６は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスクもしくはテープ、光ディスク、フラッシュメモリ、またはホログラムメモリのような任意のタイプの持続性コンピュータ可読媒体を表してもよい。一実施形態において、メモリ３４、３６は、ランダムアクセスメモリと読み出し専用メモリとの組み合わせを含む。いくつかの実施形態において、プロセッサ３０ならびにメモリ３４および／または３６は、単一のチップ内に組み合わされてもよい。ネットワークインターフェース４０、４２は、ローカルエリアネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）、またはインターネットのようなコンピュータネットワークを介して他のデバイスとコンピュータが通信することを可能にし、変調復調器（ＭＯＤＥＭ）、ルータ、ケーブル、および／またはＥｔｈｅｒｎｅｔ（登録商標）ポートを含んでもよい。
【００３７】
デジタルプロセッサ３０は、シングルコアプロセッサ、デュアルコアプロセッサ（またはより一般的にマルチコアプロセッサ）、デジタルプロセッサおよび協働する数値演算コプロセッサ、デジタルコントローラなどによって様々に具現化されてもよい。デジタルプロセッサ３０は、コンピュータ３８の動作の制御に加えて、図４に概説されている方法を実施するために、メモリ３４に記憶されている命令を実行する。
【００３８】
「ソフトウェア」という用語は、本明細書において使用される場合、コンピュータまたは他のデジタルシステムを、ソフトウェアの意図であるタスクを実施するように構成するように、コンピュータまたは他のデジタルシステムによって実行可能な命令の任意の集合またはセットを包含するように意図されている。「ソフトウェア」という用語は、本明細書において使用される場合、ＲＡＭ、ハードディスク、光ディスクなどのような記憶媒体に記憶されているそのような命令を包含するように意図されており、また、ＲＯＭなどに記憶されているソフトウェアである、いわゆる「ファームウェア」を包含するようにも意図されている。そのようなソフトウェアは、様々な方法で編成することができ、ライブラリ、遠隔サーバなどに記憶されているインターネットベースのプログラム、ソースコード、解釈コード、オブジェクトコード、直接実行可能コードなどとして編成されるソフトウェア構成要素を含んでもよい。ソフトウェアがシステムレベルコードを起動し、または、サーバまたは他の箇所に存在する他のソフトウェアを呼び出して特定の機能を実施することができることが企図されている。
【００３９】
諒解されるように、図３は、コンピュータシステム１０内に組み込まれている構成要素の一部分のみの高レベル機能ブロック図である。プログラム可能コンピュータの構成および動作は周知であるため、それらはさらには説明しない。
【００４０】
画像１４、２０が、ＪＰＥＧ、ＧＩＦ、ＪＢＩＧ、ＢＭＰ、ＴＩＦＦなどのような任意の好都合なファイルフォーマット、または、画像に使用され、任意選択的に、処理の前に別の適切なフォーマットに変換されてもよい他の一般的なファイルフォーマットにおいて、テキスト認識システム１０によって受信され得る。入力画像は処理中、データメモリ３６に記憶することができる。画像１４、２０は、ワークステーション、データベース、ディスクのようなメモリ記憶デバイス、画像キャプチャデバイスなどのような任意の適切な画像ソースから入力することができる。一般的に、各入力デジタル画像は、画像を形成するピクセルアレイの画像データを含む。画像は、写真、ビデオ画像、または結合された画像などのような、個々の画像であってもよい。一般的に、各画像１４、２０は、テキスト文字列の文字が、画像のピクセルセットとして見えるテキスト領域を含むと予測されるデジタル写真であってもよい。画像の画像データは、Ｌ＊ａ＊ｂ＊またはＲＧＢのような、色分解のセットの各々の、グレースケール値のような着色剤値を含んでもよく、または、種々の色を表すことができる他の色空間で表現されてもよい。一般的に、「グレースケール」とは、（Ｌ＊ａ＊ｂ＊，  ＲＧＢ，  ＹＣｂＣｒなど）で表現されるが、任意の単一の色チャネルの光密度値を指す。例示的な実施形態は、白黒（モノクロ）画像、または、処理の便宜上モノクロに変換されている画像に使用されてもよい。
【００４１】
命令３８は、テキスト文字列表現生成器５２と、領域識別構成要素５４と、テキスト画像表現生成器５６と、比較器５８と、情報出力構成要素６０とを含むことができる。これらの構成要素は、図４を参照して説明されている方法を参照することによって最良に理解される。簡潔には、テキスト文字列表現生成器５２は、下記にさらに詳細に説明するようにＳＰＢＯＣ技法を使用して、語彙１８内の文字列１２に対して、ユークリッド空間内の各々の、または少なくともその選択されるサブセットの表現６２を生成するように動作する。領域識別構成要素５４は、テキスト文字列を含む画像セグメントを含むと予測される入力画像２０を受信し、メモリに記憶される、テキスト文字列を含む可能性が高い画像セグメント１４を識別する。領域識別構成要素５４は、画像セグメント１４が他の箇所で生成されている場合は、任意選択である。テキスト画像表現生成器５６は、ここでもＳＰＢＯＣ技法を使用して、画像１４のベクトル表現６４を生成する。比較器５８は、２つの表現を、任意選択的にそれらの一方または両方を共通の部分空間内に埋め込んだ後に比較して、類似度スコアのような、適合性の測度を生成する。情報出力構成要素６０はそれに基づいて、画像セグメント１４および語彙テキスト文字列１２が一致であるか否か、語彙１８からの最も可能性の高い一致のような情報を出力し、または、単一の語彙テキスト文字列１２を所与とした逆マッチング問題においては、画像セグメントのコレクションを含むデータベース内の最も可能性の高い一致、もしくはそれに基づく情報を出力する。システム１０は、比較器５８によって使用される埋め込み関数のパラメータを学習するための訓練構成要素６６を含むことができる。代替的に、埋め込み関数は、別個のシステムによって学習されてもよい。
【００４２】
図４は、図３のシステムによって実施することができるテキスト認識のための方法を示す。方法は、Ｓ１００において開始する。
【００４３】
Ｓ１０２において、表現が生成されるべきである少なくとも１つの文字列１２（または「ラベル」）が受信され、メモリ３６に記憶される。
【００４４】
Ｓ１０２において、各文字列１２について、テキスト文字列表現生成器５２によって表現が生成され、メモリに記憶される。特定の用途に応じて、語彙１８内に単一のテキスト文字列または複数のテキスト文字列があってもよい。語彙１８内にある文字列１２は、いくつかの実施形態においては経時的に変化し得る。
【００４５】
Ｓ１０４において、語彙１８内の各文字列１２について、ＳＰＢＯＣを使用して特徴が抽出される。特に、文字列は、複数の領域に再帰的に区分化され、各領域について、全体的にまたは部分的にその領域内に存在する文字に基づいて特徴が抽出される。
【００４６】
Ｓ１０６において、Ｓ１０６において抽出された特徴に基づいて、文字列１２の表現６２が生成され、メモリ３６に記憶される。
【００４７】
Ｓ１０８において、テキスト文字列を含む画像セグメントを含むと予測される少なくとも１つの入力画像２０が受信され、メモリ３６に記憶される。方法は、単一の画像２０、または、処理されることになる画像のコレクション２６を入力として利用してもよい。コレクション２６内の画像１４は、いくつかの実施形態においては経時的に変化し得る。
【００４８】
任意選択的に、Ｓ１１０において、各画像２０について、テキスト文字列を含む可能性が高い画像セグメント１４（関心領域）が、領域識別構成要素５４によって入力画像２０内で識別され、メモリに記憶される。
【００４９】
Ｓ１１２において、画像セグメント１４から特徴が抽出される。
【００５０】
Ｓ１１４において、テキスト画像表現生成器５６によって、Ｓ１１４において抽出された特徴に基づいて画像セグメント１４のベクトル表現６４が生成される。
【００５１】
Ｓ１１６において、２つの多次元表現６２、６４が比較器５８によって比較されて、類似度スコアのような比較測度が生成される。比較は、２つの表現の一方または両方を部分空間内に埋め込むことによって、共通の部分空間内で行われ得る。一実施形態において、図５を参照して説明されるように、行列の要素のような埋め込み関数のパラメータが、ラベルおよび画像のより正確な類似度の測度をもたらす可能性がより高い比較測度を提供するために、ラベルを付された試験画像の実際のラベルを使用して学習されている場合がある。埋め込み表現の埋め込みおよび比較は、下記に説明するように、２つの表現６２、６４を入力として利用する単一の埋め込み／比較関数を用いて単一のステップにおいて実施されてもよい。他の実施形態において、埋め込み表現の埋め込みおよび比較は、別個のステップとして実施されてもよい。比較は、２つの表現が、それらが一致または可能性のある一致であるとそこから判定される、類似度に関する閾値を超えるか否かを判定することを含むことができる。
【００５２】
Ｓ１１８において、比較に基づく情報が、出力構成要素６０によって出力される。たとえば、ナンバープレート番号のようなテキスト文字列１２のデータベース１８内のナンバープレート画像のような所与のテキスト画像について一致を発見するために、方法が認識に使用される事例において、情報出力は、比較スコアが所定閾値を上回る場合は、データベースからのナンバープレート番号の最も近く一致する番号（複数可）、または、その車両の所有者に関する情報のような、その番号に基づく情報であり得る。たとえば、ナンバープレート画像のようなテキスト画像のデータベース内のナンバープレート番号のような所与の入力テキスト文字列について一致を発見するために、方法が取り出しに使用される事例において、情報出力は、比較スコアが所定閾値を上回る場合は、データベースからのナンバープレート画像の最も近く一致する画像（複数可）、または、所与の時点におけるその車両の位置、たとえば、ナンバープレート画像をキャプチャしたカメラの位置に関する情報、または、テキスト文字列に一致するナンバープレートを有する駐車場のような位置に車両があることのような、その画像に基づく情報であり得る。
【００５３】
方法は、Ｓ１２０において終了する。新たな画像または新たな文字列が受信されると、方法は先行する段階の１つに戻ることができる。
【００５４】
図４の方法は、２つの表現を比較するための比較関数が学習されていると仮定する。図５は、下記により十分に説明する、比較関数を学習するための例示的な方法を示す。方法は、前述した他の構成要素を呼び出す、システム１０の訓練構成要素６６によって実施されてもよく、または、別個のコンピューティングデバイス上で実施されてもよい。
【００５５】
方法は、Ｓ２００において開始する。
【００５６】
Ｓ２０２において、画像１４と同様の訓練画像セット６８が受信される。各訓練画像は、ナンバープレート番号を形成する一連の字および数字のような、人間の観察者が画像内で認識した文字列である、手動で割り当てられたラベルを有する。文字列（ラベル）は、有限の文字集合から選択される一連の文字から構成される。
【００５７】
Ｓ２０４において、Ｓ１０４、Ｓ１０６について説明したように、たとえば、フィッシャーベクトルを使用して、試験画像１４と同じように、画像表現生成器５６によって各訓練画像の画像表現が生成される。
【００５８】
Ｓ２０６において、Ｓ１１２、Ｓ１１４について説明したように、テキスト文字列表現生成器５２によって、各ラベルの表現が生成される。
【００５９】
Ｓ２０８において、画像表現が、他のラベル表現よりも、その対応するラベル表現に最も類似している可能性が高いか、または逆である空間内に画像およびテキスト文字列表現の一方または両方を埋め込むための、行列の重みのような埋め込みパラメータが学習される。これによって、一致する画像／ラベル対のランクが一致しない対よりも高くなることが保証される。行列の重みｗは、確率勾配降下または他の学習方法を使用して学習することができる。Ｓ２１０において、学習されたパラメータが、メモリ３６のようなメモリに記憶される。方法はＳ２１２において終了し、かつ／または、図４のＳ１１６に進んでもよい。
【００６０】
図４および／または図５に示す方法は、コンピュータ上で実行され得るコンピュータプログラム製品において実施され得る。コンピュータプログラム製品は、ディスク、ハードドライブなどのような、制御プログラムが記録（記憶）されている持続性コンピュータ可読記録媒体を含んでもよい。一般的な形態の持続性コンピュータ可読媒体は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ、もしくは任意の他の光学媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ‐ＥＰＲＯＭ、または他のメモリチップもしくはカートリッジ、または、コンピュータがそこから読み出し使用することができる任意の他の持続性媒体を含む。
【００６１】
代替的に、方法は、無線波および赤外線データ通信中に生成されるもののような、音響波または光波などのような伝送媒体を使用して、制御プログラムがデータ信号として具現化される伝送可能搬送波のような、一時的媒体において実施されてもよい。
【００６２】
例示的な方法は、１つまたは複数の汎用コンピュータ、専用コンピュータ（複数可）、プログラムされたマイクロプロセッサもしくはマイクロコントローラおよび周辺集積回路要素、ＡＳＩＣまたは他の集積回路、デジタル信号プロセッサ、個別素子回路のような配線接続電子回路または論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡのようなプログラム可能論理デバイス、グラフィカルカードＣＰＵ（ＧＰＵ）、またはＰＡＬなどの上で実施されてもよい。一般的に、図４および／または図５に示す流れ図を実施することが可能である有限状態機械を実装することが可能な任意のデバイスを、本方法を実施するのに使用することができる。
【００６３】
諒解されるように、方法（複数可）のステップは、すべてが示されている順序において進行する必要はなく、より少ない、より多い、または異なるステップが実施されてもよい。
【００６４】
ここで、システムおよび方法のさらなる詳細を説明する。
【００６５】
例示的な方法は、構造化出力学習に基づく画像内のテキスト認識の問題に対する原則に基づいたソリューションを使用することができる。この手法の説明については、たとえば、Ｉ．  Ｔｓｏｃｈａｎｔａｒｉｄｉｓ他「Ｌａｒｇｅ  ｍａｒｇｉｎ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｓｔｒｕｃｔｕｒｅｄ  ａｎｄ  ｉｎｔｅｒｄｅｐｅｎｄｅｎｔ  ｏｕｔｐｕｔ  ｖａｒｉａｂｌｅｓ」（ＪＭＬＲ，  ２００５）を参照されたい。
【００６６】
簡潔には、ラベルの明示的な表現、すなわち、空間ピラミッド文字バッグ（ＳＰＢＯＣ）を計算することによって、候補テキストラベル１２がユークリッド空間内に埋め込まれる（Ｓ１０４、Ｓ１０６）。比較段階（Ｓ１１６）において、一致する特徴／ラベル対のランクが一致しない対よりも高いことを保証する、ランク付け目的関数が最適化される。試験画像１４を与えられると、候補ラベルのセットの中から最良にランク付けされるラベルを探索することによって、テキスト認識を実施することができる。一実施形態において、目的関数は、画像表現の、ラベル表現の空間内への埋め込みを実施する。これによって、画像とラベルとの類似度を、画像表現とラベル表現との間のドット積として表現することが可能になる。
【００６７】
文字列の画像表現との比較
認識目的について、問題は、所与の語彙Υ内の単語を認識することである。この語彙は、英語のような自然言語の自然語彙であってもよい。ナンバープレート認識のコンテキストにおいて、これは、認識されるべき有効なナンバープレート番号のセットであり得る。認識されるべき単語の画像１４に対するアクセスが可能にされることも仮定される。例示的な実施形態において、各画像１４は、たとえば、セグメント化プロセス（Ｓ１１０）の後に得られるような、単一の単語のような一連の文字を含む。ナンバープレートの事例において、たとえば、画像２０を、このように以前にセグメント化されている画像と比較することによってナンバープレートが発見されることになる画像２０の最も可能性の高い領域を識別するセグメント化プロセスが開発されている。たとえば、上述の米国特許出願第１３／３５１，０３８号明細書を参照されたい。ナンバープレート画像に適した他のセグメント化アルゴリズムは、上述したＡｎａｇｎｏｓｔｏｐｏｕｌｏｓに記載されている。他の実施形態においては、人間の審査者が、ナンバープレートが位置する画像の領域を識別する手動のセグメント化が実施されてもよい。
【００６８】
Ｘが単語画像の空間であるものとする。このとき、画像１４を所与として、目的は、その画像が含む、可能性の高い文字列を予測することである。例示的な実施形態において、本明細書においては適合性関数と称する、比較器５８によって適用される構造化予測モデルが学習される。この関数は、以下のように予備段階において、画像１４が入力される前に学習され得る。
【００６９】
構造化予測
図５を参照して簡潔に説明したように、予測の目標は、以下の一般的な形態の関数、
ｆ：Ｘ→Ｙ        （１）
すなわち、単語画像の空間Χを語彙Ｙに変換する関数を学習することである。構造化予測において、これは以下のように実施することができる。関数
【００７０】
【数１】
2016134175.tif 000003
【００７１】
が導入され、式中、
【００７２】
【数２】
2016134175.tif 000004
【００７３】
は実数の集合である。その後、関数は、画像ｘについて以下のように定義することができる。
【００７４】
【数３】
2016134175.tif 000005
【００７５】
式中ｗは関数Ｆのパラメータベクトルを示し、ｙは、語彙Ｙ中のラベルの１つを表す、すなわち、画像ｘを所与として、目的は、すべての可能性のあるラベルの集合Ｙにわたって関数Ｆを最大化するラベルｙを発見することである。
【００７６】
Ｆ（ｘ，ｙ；ｗ）は、パラメータｗを所与として、対（ｘ，ｙ）がどれだけ適合するかを測定する適合性関数として理解することができる。
【００７７】
Ｆは、画像サンプルおよびラベルの何らかの結合特徴埋め込みψ（ｘ，ｙ）において線形である、すなわち以下のようになると仮定することができる。
Ｆ（ｘ，ｙ；ｗ）＝〈ｗ，ψ（ｘ，ｙ）〉        （３）
【００７８】
式中、〈  ，  〉はドット積演算子を示す。結合埋め込みψは、画像の埋め込み
【００７９】
【数４】
2016134175.tif 000006
【００８０】
とラベルの埋め込み
【００８１】
【数５】
2016134175.tif 000007
【００８２】
との間のテンソル積として書くことができ、ここでＤおよびＥは各表現の次元数を表し、θは画像の特徴を表し、すなわち、以下のようになる。
【００８３】
【数６】
2016134175.tif 000008
【００８４】
式中、
【００８５】
【数７】
2016134175.tif 000009
【００８６】
はテンソル積を表し、θ（ｘ）は所与の画像ｘの特徴ベクトル（表現）を表し、φ（ｙ）は所与のラベル（文字列）ｙを表す特徴ベクトルを表し、ψ（ｘ，ｙ）：ＲＤ×ＲＥ→ＲＤＥである。そのような事例において、埋め込みパラメータｗは、Ｄ×Ｅ行列Ｗに形成し直すことができるＤＥ次元ベクトルである。したがって、適合性Ｆ（ｘ，ｙ；Ｗ）は、以下のように双一次形式の適合性関数として書き直すことができる。
Ｆ（ｘ，ｙ；Ｗ）＝θ（ｘ）ＴＷφ（ｙ）        （５）
【００８７】
式中、Ｔは転置積演算子を表す。したがって、画像の表現および文字列の表現を与えられると、画像とラベルとの間の適合性Ｆが、射影行列Ｗを使用して新たな空間に埋め込まれるときに画像およびラベル特徴を表す特徴ベクトルを乗算することによって計算される。Ｗは基本的に、特徴、すなわち、画像表現からの１つと文字列表現からの１つとの各対の重みを与える。諒解されるように、式５において、２つの表現θ（ｘ）およびφ（ｙ）の位置は交換され得る。
【００８８】
２つのベクトル内の要素ＤおよびＥの数が大きい場合、行列Ｗは大きくなり得、その事例において、Ｗの低ランク分解は、２つの行列の積として考えることが有利であり得ることが留意され得る。この事例において、近似Ｗ≒ＵＴＶが使用され、
【００８９】
【数８】
2016134175.tif 000010
【００９０】
であり、Ｒ＜ＤかつＲ＜Ｅである。そのような事例において、以下のようになる。
Ｆ（ｘ，ｙ；Ｗ）＝（Ｕθ（ｘ））Ｔ（Ｖφ（ｙ））        （６）
【００９１】
したがって、Ｆ（ｘ，ｙ；Ｗ）はＲ次元空間におけるドット積である。以下において、式６におけるような分解がすでに実施されているという理解のもと、フルランクの事例（式５）のみが考慮される。次の２つのセクションにおいて、それぞれ各画像および各ラベルを埋め込むための関数θおよびΦの選択を説明する。
【００９２】
画像埋め込み（Ｓ１１２、Ｓ１１４）
画像表現または「署名」６４は、色または勾配特徴のような、画像から抽出される低レベル特徴に基づいて、訓練画像と同様に、切り取られた各画像１４から生成される。関数
【００９３】
【数９】
2016134175.tif 000011
【００９４】
は、空間Χ（ピクセル値アレイ）内の画像１４を入力として利用し、Ｄ次元ベクトル画像署名を出力する特徴抽出関数である。任意の特徴抽出方法が使用されてもよいが、下記に説明するように、例示的な実施形態においては、バッグオブパッチフレームワークが使用される。この方法において、複数のスケールにおけるローカルパッチから低レベル特徴が抽出され、各パッチ記述子について統計が計算される。その後、これらのパッチ統計が画像レベルにおいて集約される。たとえば、フィッシャーベクトル（ＦＶ）の原理を使用してパッチ統計を計算することができ、パッチの発生モデルが存在し（ガウス混合モデル（ＧＭＭ）など）、記述子の対数尤度の勾配が、モデルのパラメータに関して測定される。単語画像に関する空間情報を署名に含めるために、画像は、複数の領域に区分化され得、パッチ前統計が領域レベルにおいて集約され、その後、領域レベルの署名が連結されて、画像署名が形成される。たとえば、Ｓ．  Ｌａｚｅｂｎｉｋ他「Ｂｅｙｏｎｄ  ｂａｇｓ  ｏｆ  ｆｅａｔｕｒｅｓ：  Ｓｐａｔｉａｌ  ｐｙｒａｍｉｄ  ｍａｔｃｈｉｎｇ  ｆｏｒ  ｒｅｃｏｇｎｉｚｉｎｇ  ｎａｔｕｒａｌ  ｓｃｅｎｅ  ｃａｔｅｇｏｒｉｅｓ」（ＣＶＰＲ  ’０６  Ｐｒｏｃ．  ２００６  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆ．  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  −  Ｖｏｌｕｍｅ  ２，  Ｐａｇｅｓ  ２１６９  −  ２１７８）を参照されたい。
【００９５】
フィッシャーベクトルが特に参照されているが、画像署名を計算するための他の方法も企図されている。各画像１４について表現生成器５６によって生成される署名６４は、画像から抽出される特徴に基づいて生成される多次元ベクトルのような、それぞれの画像の任意の適切な高レベル統計表現であり得る。フィッシャーカーネル表現およびバッグオブビジュアルワーズ表現が、本明細書において画像署名として使用することができる適切な高レベル統計表現の例示である。例示的な画像署名は固定次元数のものである、すなわち、各画像署名が同じ数の要素を有する。一般的に、各画像署名６４は、少なくとも３０、または少なくとも６０、または少なくとも１００、または少なくとも５００の次元、および、最大で１０００またはそれ以上の次元を有し、各次元がそれぞれの特徴値を有し、これはより少ない次元に低減することができる。
【００９６】
一実施形態において、表現生成器５６は、形状、テクスチャ、または色特徴などのような、画像１４のパッチの低レベル視覚特徴を抽出および解析するパッチ抽出器を含む。パッチは、画像セグメント化によって、特定の関心点検出器を適用することによって、規則的な格子を考慮することによって、または単純に画像パッチのランダムサンプリングによって得ることができる。例示的な実施形態において、パッチは、画像全体、または画像の少なくとも一部分もしくは大部分にわたって、任意選択的に複数のスケールにおいて規則的な格子状で抽出される。たとえば、少なくとも１０個または少なくとも２０個または少なくとも５０個のパッチが各画像から抽出される。各パッチは、少なくとも４０または少なくとも１００ピクセル、および、最大１，０００，０００ピクセルまたはそれ以上を含み得る。
【００９７】
各パッチから抽出された低レベル特徴（たとえば、ベクトルまたはヒストグラムのような、ローカル記述子の形態）は、連結し、任意選択的に次元数を低減して、大域的な画像署名としての役割を果たす特徴ベクトルを形成することができる。他の手法において、画像のパッチのローカル記述子は、クラスタに割り当てられる。たとえば、例としてＫ平均クラスタ解析を使用して、訓練画像から抽出されるローカル記述子をクラスタ化することによって、視覚的語彙が以前に得られている。各パッチベクトルがその後、最も近いクラスタに割り当てれ、割り当てのヒストグラムが生成され得る。他の手法において、上述したフィッシャーベクトルの事例のように、確率論的フレームワークが利用される。たとえば、ガウス混合モデル（ＧＭＭ）のような、そこからすべてのローカル記述子が放出される、基礎となる発生モデルが存在すると仮定される。したがって、各パッチは、重みのベクトルによって特性化され得、混合モデルを形成するガウス関数の各々に１つの重みがある。この事例において、期待値最大化（ＥＭ）アルゴリズムを使用して視覚的語彙が推定され得る。いずれにせよ、語彙内の各視覚的単語が、一般的な低レベル特徴のグループ分けに対応する。視覚的単語は各々、（おおよそ）あるタイプの視覚的（デジタルではなく）オブジェクト（たとえば、ボールもしくは球、棒もしくはシャフト、花、紅葉、または直線、曲線のような文字の特徴など）、特徴的な背景（たとえば、星空、青空、草地、雪、海辺、白色表面など）などのような中間レベル画像特徴に対応し得る。署名を割り当てられるべき画像１４が与えられると、抽出された各ローカル記述子は、以前に訓練されている語彙内のその最も近い視覚的単語に、または、確率論的モデルの事例においては確率的に、すべての視覚的単語に割り当てられる。各視覚的単語の出現を累積することによって、ヒストグラムが計算される。ヒストグラムは、画像署名、または、それに基づいて画像署名を出力する発生モデルへの入力として役割を果たすことができる。
【００９８】
たとえば、パッチから抽出されるローカル記述子として、ＳＩＦＴ記述子、または、他の勾配ベースの特徴記述子を使用することができる。たとえば、Ｌｏｗｅ「Ｄｉｓｔｉｎｃｔｉｖｅ  ｉｍａｇｅ  ｆｅａｔｕｒｅｓ  ｆｒｏｍ  ｓｃａｌｅ  ｉｎｖａｒｉａｎｔ  ｋｅｙｐｏｉｎｔｓ」（ＩＪＣＶ  ｖｏｌ．  ６０  （２００４））を参照されたい。ＳＩＦＴ特徴を利用する例示的な一実施例において、特徴は、１２８次元ＳＩＦＴ記述子を使用して（１６ピクセル毎の）規則的な格子状の３２×３２ピクセルパッチから抽出される。抽出され得る他の適切なローカル記述子は、単純な９６次元色特徴を含み、パッチは４×４部分領域に細分化され、各部分領域において、３つのチャネル（Ｒ、ＧおよびＢ）について平均および標準偏差が計算される。これらは例示的な実施例に過ぎず、追加のおよび／または他の特徴が使用されてもよい。任意選択的に、各ローカル記述子内の特徴の数が、主成分分析（ＰＣＡ）を使用して、たとえば、６４次元に低減される。画像の２つ以上の領域について署名が計算され、集約、たとえば、連結され得る。
【００９９】
プロセスを加速するために、署名は、従来の技法（局所性鋭敏型ハッシュ（ＬＳＨ）、直積量子化、主成分分析（ＰＣＡ）など）を使用してインデックス付けまたは圧縮されてもよい。
【０１００】
フィッシャーベクトルの事例において、これは、画像の抽出されたローカル記述子を表す混合モデルの混合モデル成分のパラメータを示すベクトル要素を有する対応する画像ベクトルを生成するために、混合モデルを使用して画像の抽出されたローカル記述子をモデル化することによって、画像について計算することができる。例示的な混合モデルは、パラメータ訓練において重みが割り当てられるガウス関数（ガウシアン）のセットを含むガウス混合モデル（ＧＭＭ）である。各ガウシアンは、その平均ベクトルおよび共分散行列によって表される。共分散行列は対角であると仮定することができる。たとえば、Ｐｅｒｒｏｎｎｉｎ他「Ｆｉｓｈｅｒ  ｋｅｒｎｅｌｓ  ｏｎ  ｖｉｓｕａｌ  ｖｏｃａｂｕｌａｒｉｅｓ  ｆｏｒ  ｉｍａｇｅ  ｃａｔｅｇｏｒｉｚａｔｉｏｎ」（ＣＶＰＲ  （２００７））を参照されたい。フィッシャーベクトルを計算するための方法は、２０１２年３月２９日付けで発行された、「ＩＭＡＧＥ  ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ  ＥＭＰＬＯＹＩＮＧ  ＩＭＡＧＥ  ＶＥＣＴＯＲＳ  ＣＯＭＰＲＥＳＳＥＤ  ＵＳＩＮＧ  ＶＥＣＴＯＲ  ＱＵＡＮＴＩＺＡＴＩＯＮ」と題する、Ｊｏｒｇｅ  Ｓａｎｃｈｅｚ他による米国特許出願公開第２０１２００７６４０１号明細書、２０１２年２月２３日付けで発行された、「ＬＡＲＧＥ  ＳＣＡＬＥ  ＩＭＡＧＥ  ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ」と題する、Ｆｌｏｒｅｎｔ  Ｐｅｒｒｏｎｎｉｎ他による米国特許出願公開第２０１２００４５１３４号明細書、Ｆ．  Ｐｅｒｒｏｎｎｉｎ他「Ｉｍｐｒｏｖｉｎｇ  ｔｈｅ  Ｆｉｓｈｅｒ  ｋｅｒｎｅｌ  ｆｏｒ  ｌａｒｇｅ−ｓｃａｌｅ  ｉｍａｇｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（ＥＣＣＶ，  Ｐａｒｔ  ＩＶ，  ｐａｇｅｓ  １４３−１５６  （２０１０））、ならびに、Ｊｏｒｇｅ  ＳａｎｃｈｅｚおよびＦｌｏｒｅｎｔ  Ｐｅｒｒｏｎｎｉｎ「Ｈｉｇｈ−ｄｉｍｅｎｓｉｏｎａｌ  ｓｉｇｎａｔｕｒｅ  ｃｏｍｐｒｅｓｓｉｏｎ  ｆｏｒ  ｌａｒｇｅ−ｓｃａｌｅ  ｉｍａｇｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（ＣＶＰＲ  ２０１１）により十分に記載されており、それらの開示全体が、参照により本明細書に組み込まれる。訓練されたＧＭＭは、対象の範囲内の任意の画像（たとえば、対象の範囲がナンバープレートである場合には任意のナンバープレート画像）の内容を記述するように意図されている。
【０１０１】
画像署名を計算するための他の例示的な方法は、たとえば、米国特許出願公開第２００３００２１４８１号明細書、米国特許出願公開第２００７００５３５６号明細書、米国特許出願公開第２００７０２５８６４８号明細書、米国特許出願公開第２００８００６９４５６号明細書、米国特許出願公開第２００８０２４０５７２号明細書、米国特許出願公開第２００８０３１７３５８号明細書、米国特許出願公開第２００９０１４４０３３号明細書、米国特許出願公開第２００９０２０８１１８号明細書、米国特許出願公開第２０１０００４０２８５号明細書、米国特許出願公開第２０１０００８２６１５号明細書、米国特許出願公開第２０１０００９２０８４号明細書、米国特許出願公開第２０１０００９８３４３号明細書、米国特許出願公開第２０１００１８９３５４号明細書、米国特許出願公開第２０１００１９１７４３号明細書、米国特許出願公開第２０１００２２６５６４号明細書、米国特許出願公開第２０１００３１８４７７号明細書、米国特許出願公開第２０１１００２６８３１号明細書、米国特許出願公開第２０１１００４０７１１号明細書、米国特許出願公開第２０１１００５２０６３号明細書、米国特許出願公開第２０１１００７２０１２号明細書、米国特許出願公開第２０１１００９１１０５号明細書、米国特許出願公開第２０１１０１３７８９８号明細書、米国特許出願公開第２０１１０１８４９５０号明細書、米国特許出願公開第２０１２００４５１３４号明細書、米国特許出願公開第２０１２００７６４０１号明細書、米国特許出願公開第２０１２０１４３８５３号明細書、および米国特許出願公開第２０１２０１５８７３９号明細書に開示されている。
【０１０２】
例示的な方法は、ナンバープレート、または、一連の文字が単一行を形成する他の画像を考慮しているが、文字列が２行以上にわたって分割され得る事例もある。一実施形態において、そのような画像は複数行にセグメントされ、それらの行が連結されて、単一行画像を形成する。他の実施形態において、画像は複数の単語にセグメントされ、各単語が別個の文字列として考慮される。
【０１０３】
テキスト埋め込み（Ｓ１０４〜Ｓ１０６）
２進コードの単語、たとえば、ＡＳＣＩＩ単語（またはＵＴＦ−８）のような文字列をユークリッド空間内に埋め込むために、関数Φが使用される。この埋め込みは、単語間の何らかの類似度に配慮するように意図されており、それによって、２つの類似した単語が、埋め込み後にユークリッド空間において互いに近くなる。２つの単語間の類似度（意味的に対して語彙的）を測定するためのいくつかの方法があり、それらのいくつかは、テキスト認識の事例にはあまりよく適してはいない。本発明の事例において、語彙的類似性を保持することが適切であり、これは、同じ字を同じ順序で含む単語が、埋め込み後に互いにより近くなるべきであることを意味する。たとえば、「ｍｏｍｍｙ」と「ｍｕｍｍｙ」のような単語対が、「ｍｕｍｍｙ」と「ｍｏｔｈｅｒ」のような単語対よりも互いに近くなるべきである。語彙的類似性を保持する１つの適切な埋め込み技法を、これより説明する。
【０１０４】
画像１４内の単語は、有限の文字集合内の文字から構成されると仮定される。たとえば、ナンバープレート認識方法について、可能性のある文字の集合Ｌは、アルファベットにおける可能性のある字および数字の集合Ａ＝｛Ａ，Ｂ，Ｃ，Ｄ，…Ｚ｝∪｛０，１，２，３，４，５，６，７，８，９，０｝である。この実施形態において、Ａ＝２６＋１０＝３６文字である。諒解されるように、用途または対象言語に応じて、他の文字が考慮されてもよい。２つの文字の間の少なくとも所定の間隙に対するスペースのような特殊文字も考慮され得る。
【０１０５】
単語は単純に、各文字の出現回数をカウントすることによって、｜Ａ｜次元空間内に埋め込まれ得る（｜Ａ｜は集合の濃度を示す）。そのような表現は、文字バッグ（ＢＯＣ）に対応する。そのようなヒストグラム表現はその後、たとえば、ｌ１ノルムまたは１２ノルム（または任意のｌｐ正規化技法）を使用して正規化され得る。ドット積またはユークリッド距離のような測度がその後使用されるときにヒストグラム表現に対して有益である平方根法のような他の正規化も適用されてもよい（たとえば、Ｆ．  Ｐｅｒｒｏｎｎｉｎ、Ｊ．  Ｓａｎｃｈｅｚ、およびＹ．  Ｌｉｕ「Ｌａｒｇｅ−ｓｃａｌｅ  ｉｍａｇｅ  ｃａｔｅｇｏｒｉｚａｔｉｏｎ  ｗｉｔｈ  ｅｘｐｌｉｃｉｔ  ｄａｔａ  ｅｍｂｅｄｄｉｎｇ」（ＣＶＰＲ，  ２０１０）を参照されたい）。簡略化された例として文字の集合が５文字のみを含むこと、たとえば、Ａ＝｛Ａ，Ｂ，Ｃ，Ｄ，Ｅ｝を仮定する。また、５文字単語ＡＢＣＤＥが考慮されていると仮定する。そのような事例において、５つの可能性のある字の各々が１回だけ出現し、そのため正規化は行われず、可能性のある文字の各々のカウントのヒストグラムは、［１，１，１，１，１］となる。ヒストグラムのｌ１正規化が実施される（すなわち、すべての要素の和が１になる）と仮定すると、文字の順序を無視したＢＯＣ表現は、［１／５，１／５，１／５，１／５，１／５］である。
【０１０６】
上述したＢＯＣ表現の欠点は、字の順序を考慮に入れないことである。それゆえ、文字列ＥＤＣＢＡは、字は逆順になっているが、ＡＢＣＤＥと同じＢＯＣ表現を有することになる。
【０１０７】
文字の順序に関する情報を含めるために、例示的な実施形態において、単純なＢＯＣではなく、空間ピラミッド表現（ＳＰＢＯＣ）が利用され得る。この方法において、単語（図６における字ＡＢＣＤＥなど）は、複数の領域７０、７２、７４に区分化される（文字列全体は、１つの領域７２と考えられ得る）。一実施形態において、この結果として、一連の空間レベル７６、７８などがもたらされ、各レベル（第１のレベルは別として）は、先行する（より高い）レベル内の領域（複数可）を区分化することによって形成される。区分化は、テキストの方向に対して垂直に実施される。したがって、少なくとも第２のレベル７８において、各領域７２、７４は少なくとも１つの完全な文字を含む。文字列内の各文字８０、８２、８４などは、単語画像内の文字についてほぼ真であると予測される場合、各文字について同じであり得る文字幅を有すると仮定され得る。この実施形態において、この結果、５文字の列は、第２のレベルにおいて２つの２＋１／２文字の列に分割されることになり、第３のレベルにおいては４つの１＋１／４文字の列に分割されることになる。他の実施形態において、異なる文字は異なる幅を割り当てられてもよい。
【０１０８】
その後、各領域７０、７２、７４内の文字の数がカウントされる。文字が複数の領域内に入る場合、この領域へのこの字の割り当ては、その文字がその領域内に入っている割合に比例する。たとえば、字Ｃは領域７２と７４との間で均等に分割され、したがって、領域７２および７４の各々は、１／２のＣを割り当てられる。単語１２（または他の文字列）は、再帰的に２つに分割され得、ここで、異なる区分は異なるレベルに対応する。各レベルにおいて、各領域に対して１つのＢＯＣが計算される。ＢＯＣは、文字集合内の各文字に対する要素を有するベクトルであり得、各要素は、それぞれの領域内のその文字の出現回数に基づく値を有する。たとえば、カウントは、ベクトルの要素の和が１になるように正規化される。
【０１０９】
その後、各領域および各レベルに対応するＢＯＣ表現が連結される。この表現は、本明細書においては空間ピラミッドＢＯＣ（ＳＰＢＯＣ）と称される。
【０１１０】
図７は、単語ＡＢＣＤＥについてこれがどのように進行し得るかを図解で示す。第１のレベル（区分化はない）において、その区分の正規化ＢＯＣは、上記のＢＯＣ実施例と同様である、すなわち、文字バッグは、文字ＡＢＣＤＥの各々に対して等しい重みを含む。ＢＯＣ実施例に関して、説明を容易にするために、アルファベットが字Ａ、Ｂ、Ｃ、Ｄ、およびＥのみから構成されると仮定される。実際には、ナンバープレート実施例において、たとえば、３６文字から成るより大きい文字集合が考慮され、そのため、各レベルの表現は、その文字が文字列１２にない場合には０／３６に対応する要素を含むことになる。２つの領域が考慮される第２のレベルにおいて、第１の領域７２は字ＡおよびＢならびに字Ｃの半分を包含し、これは［１／５，１／５，０．５／５，０／５，０／５］に対応し、そのため、この領域のｌ１正規化ＢＯＣは［２／５，２／５，１／５，０／５，０／５］である、すなわち、ｌ１正規化は、領域表現内のすべての値の和が１になるようなものである。次のレベルに下って、４つの領域のうちの第１の領域は、字Ａおよび字Ｂの１／４に対応し、そのため、この領域のｌ１正規化ＢＯＣは、［４／５，１／５，０／５，０／５，０／５］である。その後、これらのレベルの各々の正規化領域ＢＯＣのすべてを連結することによってＳＰＢＯＣが生成され、この事例においては３５次元ベクトル表現が与えられる。この実施形態において、各レベルは同じ重みを与えられる。他の実施形態において、ＢＯＣは、重み付けされるか、または別様に集約されてＳＰＢＯＣを生成してもよい。
【０１１１】
レベルの数は例示されている３には限定されず、単語内の予測される文字数に応じて変化してもよく、たとえば、一実施形態においては少なくとも２つのレベルがあってもよく、別の実施形態においては少なくとも３つまたは少なくとも４つのレベルがあってもよい（文字列全体が第１のレベルである）。一実施形態において、最下レベル内の領域の数は、文字列内の文字（スペースを含む）の平均（または最大）数程度である。一実施形態において、５つのレベルが利用されてもよく、これによって最大３２×（１＋２＋４＋８＋１６）＝１，１１６次元ＳＰＢＯＣ表現が生成され得、３２文字が考慮される。ヒストグラム表現は、ｌ１正規化される。この表現の利点は、この表現が一般的に疎であり、それゆえ、効率的に記憶することができることである。
【０１１２】
例示的な実施形態では、各レベルにおいて、先行する領域が各々２つのより小さい領域に区分化されるが、１つの領域を、次のレベルにおいて３つ、４つまたはそれ以上の領域に区分化することによって形成されるＳＰＢＯＣのような、他の区分化方法が利用されてもよい。加えて、区分化は、異なるレベルについて異なってもよく、たとえば、レベル３を形成するために、レベル１が３つの領域に区分化されてもよい。しかしながら、いずれにせよ、区分化の結果として、より高いレベル（より少ない領域）が区分化されて、より多数の領域が形成される。
【０１１３】
諒解されるように、ＡＳＣＩＩ単語をユークリッド空間内に埋め込むための他の技法が利用されてもよい。一例として、教師なし学習方法が利用されてもよい。語彙Ｙを所与として、２つの文字列の間の類似度が文字列カーネルを使用して測定され得、カーネルＰＣＡが実際の埋め込みに利用され得る。カーネルＰＣＡに関するさらなる詳細については、たとえば、Ｂ．  Ｓｃｈｏｌｋｏｐｆ、Ａ．  Ｓｍｏｌａ、およびＫ．−Ｒ．  Ｍｕｌｌｅｒ「Ｎｏｎ−ｌｉｎｅａｒ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ  ａｓ  ａ  ｋｅｒｎｅｌ  ｅｉｇｅｎｖａｌｕｅ  ｐｒｏｂｌｅｍ」（Ｎｅｕｒａｌ  Ｃｏｍｐｕｔａｔｉｏｎ，  Ｊｕｌｙ  １，  １９９８，  Ｖｏｌ．  １０，  Ｎｏ．  ５，  ｐｐ．  １２９９−１３１９）を参照されたい。この手法の可能性のある欠点は、新たなまだ見られていない単語（語彙Ｙが補強されるべきである事例）にコストが掛かる可能性があることである。たとえば、Ｎｙｓｔｒｏｍ近似を使用するには、新たな単語とＹ内の各要素との間の文字列カーネルを計算することが必要になる（たとえば、Ｃ．  ＷｉｌｌｉａｍｓおよびＭ．  Ｓｅｅｇｅｒ「Ｕｓｉｎｇ  ｔｈｅ  Ｎｙｓｔｒｏｍ  ｍｅｔｈｏｄ  ｔｏ  ｓｐｅｅｄ  ｕｐ  ｋｅｒｎｅｌ  ｍａｃｈｉｎｅｓ」（ＮＩＰＳ，  ２００１）を参照されたい）。対照的に、例示的なＳＰＢＯＣ表現は、新たな単語が容易に追加され、オンザフライで埋め込まれることを可能にする。
【０１１４】
目的関数の学習
埋め込み関数のパラメータｗを学習するために、図５において説明したように、ラベル付けされた訓練セットＳ＝｛ｘｎ，ｙｎ），ｎ＝１，．．．，Ｎ｝が利用される。ｗは、画像およびテキスト表現の各要素対の値を含むベクトルであり得、これは代替的に、行列Ｗとして表現することができる。たとえば、ナンバープレート画像のような、Ｎ個のラベル付けされた訓練画像のセット６８が提供され、Ｎはたとえば、少なくとも２０または少なくとも１００であってもよい。各画像は、訓練画像に見られる文字列に対応するラベルを用いて手動で注釈を付されている場合がある。これらの画像の画像表現が生成される（Ｓ２０４）。構造化学習において、目標は、ベクトルｗに関して、以下の形式の目的関数を最小化することである。
【０１１５】
【数１０】
2016134175.tif 000012
【０１１６】
式（７）は、真のラベルとアルゴリズムによって予測されるラベルとの間に歪みがあるという事実を表している。第１の項は経験的損失であり、各項Δ（ｙｎ，ｆ（ｘｎ））は、真のラベルがｙｎであったときにラベルｆ（ｘｎ）を選択することの損失を定量化している。第２の項は、より大きい値のｗにペナルティを課す調整項である。相互検証を通じて決定され得るパラメータλは、これら２つの項の間の平衡を設定する。
【０１１７】
異なる損失関数Δが使用されてもよい。最も単純なものが０／１損失であり、ラベルが正確なものである場合、その項の値は０であり、不正確である場合、項の値は０よりも大きく、たとえば、１であり、すなわち、
【０１１８】
【数１１】
2016134175.tif 000013
【０１１９】
である場合、
【０１２０】
【数１２】
2016134175.tif 000014
【０１２１】
であり、それ以外の場合は１である。別の実施形態において、ＳＰＢＯＣがｌ１正規化される場合、ラベル埋め込み（テキスト表現）は多項分布と考えることができ、その場合、損失Δとして、確率分布間の距離を使用することは理に適っている。分布間の一般的な距離は、ヘリンガー距離、χ２距離、およびマンハッタン距離を含む。Ｅ次元多項式である２つのテキスト表現ａおよびｂについて、損失項は以下のいずれか１つ、またはそれらの組み合わせであり得る。
【０１２２】
【数１３】
2016134175.tif 000015
【０１２３】
【数１４】
2016134175.tif 000016
【０１２４】
【数１５】
2016134175.tif 000017
【０１２５】
ヘリンガー距離は平方根をとられた多項式では単純にユークリッド距離であることが留意され得る。下記の例示的な実験においては、損失項を計算するために単純な０／１損失が使用された。
【０１２６】
目的関数Ｒ（式７）は直に最適化することが困難であるため、１つの選択肢は、代わりに凸関数を最適化することである。構造化サポートベクタマシン（ＳＳＶＭ）において、これは、ヒンジ損失を複数の出力に一般化する以下の損失をΔ（ｙｎ，ｆ（ｘｎ））に対する凸上限として選択することによって達成される。
【０１２７】
【数１６】
2016134175.tif 000018
【０１２８】
この拡張は一般的に、マージン再スケーリングヒンジ損失と称される。代替的な上限が、スラック再スケーリングヒンジ損失である。
【０１２９】
【数１７】
2016134175.tif 000019
【０１３０】
０／１損失の事例において、式１１および式１２の両方は等価であることに留意されたい。Ｓ．  ＮｏｗｏｚｉｎおよびＣ．  Ｌａｍｐｅｒｔ「Ｓｔｒｕｃｔｕｒｅｄ  ｌｅａｒｎｉｎｇ  ａｎｄ  ｐｒｅｄｉｃｔｉｏｎ  ｉｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ」（Ｆｏｕｎｄａｔｉｏｎｓ  ａｎｄ  Ｔｒｅｎｄｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ｖｉｓｉｏｎ，  ２０１１．  Ｖｏｌ．  ６，  Ｎｏｓ．  ３−４，  ａｔ  ｐ．  １２０）を参照されたい。
【０１３１】
式１１における上限の欠点は、ｍａｘｙ演算を含むことである。これには、以下の２つの悪影響がある。ｉ）目的が一般的に円滑でない。ｉｉ）Ｙの濃度が大きいとき、たとえ確率勾配降下（ＳＧＤ）のような技法を用いても、訓練が遅くなり得る。Ｙ．  ＬｅＣｕｎ、Ｌ．  Ｂｏｔｔｏｕ、Ｇ．  Ｏｒｒ、およびＫ．  Ｍｕｌｌｅｒ「Ｅｆｆｉｃｉｅｎｔ  ｂａｃｋｐｒｏｐ」（Ｇ．  Ｏｒｒ  ａｎｄ  Ｍ．  Ｋ．，  Ｅｄｓ．，  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ：  Ｔｒｉｃｋｓ  ｏｆ  ｔｈｅ  ｔｒａｄｅ．  Ｓｐｒｉｎｇｅｒ，  １９９８）を参照されたい。それゆえ、代替形態として、本方法は、それほど密でなく、より円滑である凸上限の使用を採用することができる。たとえば、以下の上限が使用される。
【０１３２】
【数１８】
2016134175.tif 000020
【０１３３】
これは、式１１に対するさらなる束縛である。第１の項は、可能性のある文字列の集合Ｙからの各文字列ｙｎのラベルと真のラベルとの間の誤差Δであり、０，１損失（同じ場合は０、異なる場合は１）または他の計算される損失である。ｎはすべての訓練例にわたる。第２の項は、ｎ番目の項の画像と真のラベルｙｎとの間の類似度を測定し、第３の項は、画像とランダムにサンプリングされるラベルｙと間で計算される類似度である。目的は、画像およびその一致する文字列が、画像および一致しない文字列よりも高い類似度を与える（現在のパラメータｗのセットの下で）事例を与えることである。
【０１３４】
これは、Ｊｏａｃｈｉｍｓによって提案されているランキングＳＶＭと同様である（Ｔ．  Ｊｏａｃｈｉｍｓ「Ｏｐｔｉｍｉｚｉｎｇ  ｓｅａｒｃｈ  ｅｎｇｉｎｅｓ  ｕｓｉｎｇ  ｃｌｉｃｋｔｈｒｏｕｇｈ  ｄａｔａ」（Ｐｒｏｃ．  ８ｔｈ  ＡＣＭ  ＳＩＧＫＤＤ  ｉｎｔｅｒｎａｔｉｏｎａｌ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｋｎｏｗｌｅｄｇｅ  ｄｉｓｃｏｖｅｒｙ  ａｎｄ  ｄａｔａ  ｍｉｎｉｎｇ，  ｐｐ．  １３３−１４２，  ２００２）を参照されたい）。事実、０／１損失の事例において、Ｂ２は、正確なラベルｙｎのランクに対する上限であるように示され得る。この定式化は、本明細書においては、ランキング構造化サポートベクタマシン（ＲＳＳＶＭ）と称される。
【０１３５】
最適化
一実施形態において、埋め込み関数のパラメータを最適化するために確率勾配降下（ＳＧＤ）が利用される。Ｂ１における最適化の定式化の事例において、目的は、以下になるようなｗ＊を探すことである。
【０１３６】
【数１９】
2016134175.tif 000021
【０１３７】
学習手順は以下のように実施することができる。
【０１３８】
時刻ｔにおいて、
【０１３９】
１．訓練セットから画像およびそのラベルを含む対（ｘｎ，ｙｎ）をランダムにサンプリングする。
【０１４０】
２．ラベルの集合から、ラベルの集合にわたって関数
【０１４１】
【数２０】
2016134175.tif 000022
【０１４２】
を最大化するラベルを発見する。
【０１４３】
３．刻み幅に基づいて重みを更新し、
【０１４４】
【数２１】
2016134175.tif 000023
【０１４５】
式中、ηｔは時刻ｔにおける刻み幅（学習率）である。以下において、ηｔ＝η、すなわち、刻み幅は固定される。別の実施形態において、刻み幅は、時間（サンプル数）とともに低減して、重みが徐々に学習されるときの補正の量が低減する。このアルゴリズムの欠点は、ステップ２においてｍａｘを必要とすることである。前述したように、これは、ψの濃度が高いときに非常にコストが高くなる可能性がある。
【０１４６】
Ｂ２の事例において、目的は、以下になるようなｗ＊を探すことである。
【０１４７】
【数２２】
2016134175.tif 000024
【０１４８】
学習手順は以下の通りとすることができる。時刻ｔにおいて、
【０１４９】
１．訓練画像およびそのラベル（ｘｎ，ｙｎ）をランダムにサンプリングする。
【０１５０】
２．ラベルの集合から正確なラベルでないラベルｙ∈Ｙ−ｙｎをランダムにサンプリングする。
【０１５１】
３．更新：ｗ←（１−ηｔλ）ｗ＋ηｔ［ψ（ｘｎ，ｙｎ）−ψ（ｘｎ，ｙ）］
【０１５２】
この目的関数の最適化ははるかにより多数の反復を必要とするが、各反復のコストはより低く、全体的な収束は一般的にはるかにより速い。例示的な実施形態において、それゆえ、式（１５）の定式化は、この学習アルゴリズムによって最適化される。調整パラメータλはいずれにせよ、０以上、一般的に最大１０−５または１０−７のような小さな値であり得る。以下の実施例において、λ＝０が良好に機能することが分かった。
【０１５３】
重みｗの初期化のために、行列のパラメータが、たとえば、画像特徴ベクトルの次元数によって除算された正規分布からランダムにサンプリングされ得る。
【０１５４】
ここで、ＲＯＤＲＩＧＵＥＺ他「ＬＡＢＥＬ−ＥＭＢＥＤＤＩＮＧ  ＦＯＲ  ＴＥＸＴ  ＲＥＣＯＧＮＩＴＩＯＮ」（ＢＭＶＣ，  ２０１３，  ｐａｇｅｓ  １−１１）に記載されており、さらに上記で記載されているようなラベル埋め込みのフレームワーク内で、ワイルドカードを用いたテキスト−画像クエリを実施するための方法およびシステムを説明する。このフレームワークは、たとえば、ナンバープレートの画像と、文字列、たとえば、ナンバープレート番号との間の一致スコアが、前述したように共通空間内の単純な距離として計算され得るように、画像およびテキスト記述子の学習および共通空間内への埋め込みを可能にする。
【０１５５】
これより説明される例示的な実施形態は、ラベル埋め込みフレームワークを、試験時間および訓練時間の両方において、ワイルドカードに対応するように拡張する。ここで、試験とは、学習された埋め込みを用いてクエリを実施することを指し、訓練とは、埋め込みを学習することを指す。ＲＯＤＲＩＧＵＥＺ他「ＬＡＢＥＬ−ＥＭＢＥＤＤＩＮＧ  ＦＯＲ  ＴＥＸＴ  ＲＥＣＯＧＮＩＴＩＯＮ」（ＢＭＶＣ，  ２０１３，  ｐａｇｅｓ  １−１１）を参照されたい。
【０１５６】
試験時間におけるワイルドカード
前述したクエリ文字列と画像との間の類似度関数が、以下のいくつかの手法の１つに従って、試験時間においてのみワイルドカードを含むように適合される。
【０１５７】
・ワイルドカードを無視する。テキスト文字列と画像との間の類似度を計算するときに、ワイルドカード記号は単純に考慮に入れられない。
【０１５８】
・すべての可能性のある記号よりも周縁化する。クエリ文字列がワイルドカードを含むとき、ワイルドカードの類似度への寄与が、すべての可能性のある記号にわたって分割される。
【０１５９】
・すべての可能性のある記号にわたって最大化する、画像と、ワイルドカード表現に一致するすべての文字列との間の類似度を計算し、最も高い類似度を利用する。
【０１６０】
これらの手法は、１つだけのワイルドカードには限定されない。しかしながら、スコアを最大化する場合、２つまたはそれ以上のワイルドカードは、指数関数的な数の比較につながり、これによって非実際的になる。
【０１６１】
訓練時間におけるワイルドカード
ワイルドカードの使用は、試験時間のみに制限されない。事実、目標がワイルドカードを用いて試験することである場合、ワイルドカードを用いた訓練は有益である。ワイルドカードを学習フレームワークに組み込むための３つの異なる手法が提供される。
【０１６２】
・訓練時間においてワイルドカードを無視する。
【０１６３】
・訓練時間においてワイルドカードを周縁化する。
【０１６４】
・文字列の符号化においてワイルドカード記号を明示的に使用する。
【０１６５】
興味深いことに、訓練時間において使用される手法は必ずしも、試験時間において使用される手法と同じである必要はなく、たとえば、明示的なワイルドカード記号を使用して学習し、周縁化手法を使用して試験することが可能である。
【０１６６】
ワイルドカードを用いてテキスト−画像クエリを実施する方法およびシステムを下記に与える。
【０１６７】
ＲＯＤＲＩＧＵＥＺ他「ＬＡＢＥＬ−ＥＭＢＥＤＤＩＮＧ  ＦＯＲ  ＴＥＸＴ  ＲＥＣＯＧＮＩＴＩＯＮ」（ＢＭＶＣ，  ２０１３，  ｐａｇｅｓ  １−１１）に従って、ｙ∈Ｙによって語彙Ｙからのラベルを示し、ｘ∈Ｘによって、集合Ｘからの画像を示す。φＡ：Ｙ→Ｒｄ１によって、アルファベットＡを使用して次元数ｄの実空間内にラベルを埋め込む埋め込み関数を示し、Θ：Ｘ→ＲＤによって、次元数Ｄの実空間内に画像を埋め込む埋め込み関数を示す。このとき、ラベルｙと画像ｘとの間の類似度は、双一次関数ｓ（ｙ，ｘ）＝φＡ（ｙ）ＴＷΘ（ｘ）として定義され、ここで、Ｗが、構造化ＳＶＭフレームワークを使用して、ラベル付けされた訓練セットに対して訓練される。このプロセスは図２に示されている。
【０１６８】
実際には、ＦＶ表現が埋め込み関数Θとして使用され、文字空間ピラミッド（ＳＰＯＣ）が、埋め込み関数ΦＡとして使用される。ＳＰＯＣは、アルファベットＡの文字がラベルｙの種々の空間領域に出現する回数をカウントするヒストグラムである。ラベルｙがＡに含まれていない文字を含む場合、これらは無視される。一方、それらが利用する空間は、他の文字の位置を計算するときに考慮に入れられる。記号｛０〜９，Ａ〜Ｚ｝から構成されるアルファベットが使用され、ラベルｙは常に大文字であると仮定される。
【０１６９】
これより、この手法を、ワイルドカードを用いたクエリに対処するように修正する方法を説明する。最初に、ワイルドカードが試験時間においてのみ見られるシナリオに焦点を当てる。次に、訓練時間においてワイルドカードを人為的に導入することによって、改善された行列Ｗを学習する問題が考察される。
【０１７０】
試験時間のみにおけるワイルドカード
【０１７１】
【数２３】
2016134175.tif 000025
【０１７２】
によって、その文字の少なくとも１つがワイルドカードであるクエリを示す。また、ＧＡを用いて、
【０１７３】
【数２４】
2016134175.tif 000026
【０１７４】
を所与として、語彙Ａの下での
【０１７５】
【数２５】
2016134175.tif 000027
【０１７６】
に対する一致であるすべての可能性のあるラベルの集合を生成するジェネレータ関数をも示す。ワイルドカードは、以下のように処理することができる。
【０１７７】
・ワイルドカードを無視する。クエリ
【０１７８】
【数２６】
2016134175.tif 000028
【０１７９】
と画像ｘとの間の類似度
【０１８０】
【数２７】
2016134175.tif 000029
【０１８１】
は以下の通りである。
【０１８２】
【数２８】
2016134175.tif 000030
【０１８３】
ワイルドカード記号は語彙にないため、ＳＰＯＣヒストグラムを計算するとき、
【０１８４】
【数２９】
2016134175.tif 000031
【０１８５】
はワイルドカードを考慮しない。しかしながら、他の文字の位置を計算するときにワイルドカードの位置は考慮に入れられるため、何らかの黙示的な情報が符号化される。
【０１８６】
・アルファベットＡのすべての可能性のある値にわたって周縁化する。周縁化は、その位置にあるすべての可能性のある記号を含む文字列表現（記号のアルファベットのサイズによって重み付けされる）を構築することによって「早く」、または、ワイルドカードを有するクエリに一致する新たなクエリセットを明示的に生成し、それらのクエリの画像との類似度を平均することによって「遅く」行うことができる。これは、新たなクエリセットを生成し、それらを平均し、その後、その平均クエリと画像との間の類似度を計算することと等価である。「早い」周縁化と「遅い」周縁化との間のわずかな差は、文字列表現が正規化される方法のみに起因する。早い周縁化よりもわずかに良好な結果を得たため、遅い周縁化をさらに説明する。クエリ
【０１８７】
【数３０】
2016134175.tif 000032
【０１８８】
と画像ｘとの間の類似度
【０１８９】
【数３１】
2016134175.tif 000033
【０１９０】
は以下の通りである。
【０１９１】
【数３２】
2016134175.tif 000034
【０１９２】
式中、
【０１９３】
【数３３】
2016134175.tif 000035
【０１９４】
は集合
【０１９５】
【数３４】
2016134175.tif 000036
【０１９６】
の要素の数を示す。この手法は、ワイルドカードに対してアルファベット中のすべての可能性のある値を考慮し、それにわたって周縁化する。類似度φ（ｙ）ＴＷφ（ｘ）の計算は、集合
【０１９７】
【数３５】
2016134175.tif 000037
【０１９８】
の計算よりもコストが高く、ラベルの平均埋め込みを構築することによって、この類似度を効率的に計算することが可能であることに留意されたい。すなわち、
【０１９９】
【数３６】
2016134175.tif 000038
【０２００】
・アルファベットＡのすべての可能性のある値にわたって最大化する。そのような事例における類似度は以下の通りである。
【０２０１】
【数３７】
2016134175.tif 000039
【０２０２】
これは、周縁化の事例に類似しているが、ｓｕｍの代わりにｍａｘ演算子を使用することに留意されたい。この事例において、類似度を効率的に計算することは可能ではない。
【０２０３】
訓練および試験時間におけるワイルドカード
これより、訓練手順にどのようにワイルドカードを含めるかを説明する。ワイルドカードが試験時間に現れる場合、同じく訓練時間においてこの情報を利用するシステムは、そうしないシステムよりも良好に機能することになる。ワイルドカードを含まない訓練セットを所与とすると、訓練を複製し、ランダムなワイルドカードをテキスト文字列に加えることによってこれを増強することは容易である。訓練時間においてワイルドカードに対処するために、以下の選択肢を与える。
【０２０４】
・訓練時間においてワイルドカードを無視する。このとき、試験時間において、ワイルドカードを無視するか、または、それらにわたって周縁化する。
【０２０５】
・ラベルの「平均」埋め込みを構築することによって、訓練時間においてワイルドカードを周縁化する。このとき、試験時間において、ワイルドカードを無視するか、または、それらにわたって周縁化する。
【０２０６】
・ワイルドカード記号をアルファベットに明示的に加える、すなわり、Ａ？＝Ａ＋｛？｝。その事例において、ワイルドカードは、φＡ？関数によって明示的に符号化される。試験時間において、同じ手法を使用してワイルドカードを符号化するとともに、前のようにそれらにわたって周縁化することも可能である。符号化されたワイルドカード記号は、何らかの情報が失われていることを明示的に合図し、それによって、学習は、この情報を考慮に入れることができる。実際、これは、学習される射影Ｗが（ｋ（ｋ＋１））／２だけ成長することを暗示し、ｋはＳＰＯＣ表現のレベルの数である。これらの新たな自由度は、Ｗの「通常の」項によっては明示的に考慮に入れられないワイルドカードの任意の効果を捕捉する「フィラー」モデルとして機能すると考えられる。
【０２０７】
実験
実験設定
実験的検証のためにナンバープレート画像のデータセットに対して実験が行われた。データセットは、約８，４３０個のナンバープレート画像を含む（４，２１５個が訓練に使用され、４，２１５個が試験に使用されている）。
【０２０８】
画像署名を抽出するために、６４個のガウシアンを有し、３２個のＰＣＡ成分に射影される１２８次元ＳＩＦＴ特徴を射影し、平均のみに関して導関数を計算し、４×２レベルの１つの単一の空間ピラミッドを有し、合計１６，３８４次元となるフィッシャーベクトルフレームワークが採用されている（ＰＥＲＲＯＮＮＩＮ他「ＩＭＰＲＯＶＩＮＧ  ＴＨＥ  ＦＩＳＨＥＲ  ＫＥＲＮＥＬ  ＦＯＲ  ＬＡＲＧＥ−ＳＣＡＬＥ  ＩＭＡＧＥ  ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ」（ＥＣＣＶ，  ２０１０，  ｐａｇｅｓ  １−１４）を参照されたい）。
【０２０９】
ラベルを埋め込むために、４つのレベルおよびアルファベットＡ＝｛０−９，Ａ−Ｚ｝を含み合計５４０次元（？記号を含むときは５５５次元）となるＳＰＯＣヒストグラムが使用された。ＳＰＯＣヒストグラムの各独立領域が、独立してＬ２正規化されている。
【０２１０】
データセットはワイルドカードを有するラベルを含むように増強された。最初に、データセットが３回、合計１２，６４５個の訓練サンプルおよび１２，６４５個の試験サンプルについて複製された。その後、これらの増強されたデータセットの２つの特色が作成された。第１の特色において、各ラベルの１つの文字が、ワイルドカード記号？とランダムに置き換えられている。第２の特色において、２つの文字がランダムに置き換えられている。ランダムな選択に起因して、同じ文字を２回選択することが可能であり、それゆえ、この集合内のラベルは、１つまたは２つのワイルドカードを含み得る。
【０２１１】
ＲＯＤＲＩＧＵＥＺ他「ＬＡＢＥＬ−ＥＭＢＥＤＤＩＮＧ  ＦＯＲ  ＴＥＸＴ  ＲＥＣＯＧＮＩＴＩＯＮ」（ＢＭＶＣ，  ２０１３，  ｐａｇｅｓ  １−１１）に従って、構造化ＳＶＭ定式化を用いて類似度行列Ｗの学習が実施された。最適化を実施するために最後のエポックにわたる平均化を用いた確率勾配降下（ＳＧＤ）が使用された。ワイルドカードなしで学習するとき、４，２１５個の訓練サンプルを通じて３，０００エポックが実施された。その時点において、結果は収束していた。ワイルドカードを用いて訓練するとき、ここで、訓練セットはワイルドカードを用いて増強され、３倍の数の訓練サンプルを含み、公平な比較のために、エポックあたり４，２１５個のサンプルのみが考慮された（そうでなければ、後者の方法は、３倍多いデータに露出されるという不公平な利点を有することになる）。
【０２１２】
結果を評価するために、試験セットの各テキストラベルがクエリとして使用され、複数の異なる類似度測度を使用して訓練セットのすべての画像を取り出すのに使用された。精度は１において報告されている、すなわち、最初に取り出された画像であり、自由度が、Ｗの「通常の」項によっては明示的に考慮に入れられないワイルドカードの任意の効果を捕捉する「フィラー」モデルとして機能する。
【０２１３】
ワイルドカードを用いずに訓練および試験するときのベースライン精度は９５．０％である。
【０２１４】
【表１】
2016134175.tif 000040
【０２１５】
ワイルドカードを用いない訓練、ワイルドカードクエリを用いた試験
訓練手順がワイルドカードを含まない最も単純な事例で実験を開始した。上記の表１は、試験クエリに１つまたは最大２つのワイルドカードのいずれかを使用した３つの説明されている類似度選択肢（ワイルドカードを無視する、ワイルドカードを周縁化する、または、すべての可能性のある記号にわたって最大化する）の結果を示す。１つのみのワイルドカードを用いた距離の計算が、他の手法よりもすでに大幅にコストが高かったため、「最大化」方法は２つのワイルドカードを用いては評価しなかった。特に、ワイルドカードを用いずに訓練したとき、すべての方法が同様に機能したが、最大化方法はわずかに悪い結果を得ると考えられる。高いスコアを有する単一の誤った一致が残りの一致よりも優勢になるため、これは驚くべきことではない。予測の通り、訓練中にワイルドカードを使用しなかったとき、最大２つのワイルドカードを有するクエリは１つのみのワイルドカードを有するクエリよりも大幅に悪く機能している。
【０２１６】
ワイルドカードを用いた訓練、ワイルドカードクエリを用いた試験
第２の実験設定において、ワイルドカードを有するラベルを用いて訓練が実施されている。１つのワイルドカードを用いて試験するときに、１つのワイルドカードを用いて訓練が実施され、最大２つのワイルドカードを用いて試験するときに、最大２つのワイルドカードを用いて訓練が実施されている。結果を下記表２に示す。ここでも、訓練および試験における無視または周縁化のすべての組み合わせが如何に非常に類似した結果を得るかが観測可能である。訓練時間および試験時間の両方において？記号を明示的に符号化することで、わずかにより悪い結果が得られると考えられる。しかしながら、ワイルドカード記号を用いた訓練および周縁化を用いた試験が最良の結果を得ている。失われた文字および単語内のその位置に関する情報がＳＰＯＣヒストグラム内で明示的に符号化され、学習方法によって利用されるため、ワイルドカード記号を用いた訓練が、より高い自由度を与えると考えられる。これによって、より情報の多いＷ行列がもたらされる。とはいえ、試験時間において、すべての可能性のある事例を明示的に試験するために、ワイルドカード記号を符号化する代わりに、アルファベット中のすべての文字にわたって明示的に周縁化することがより良好である。この手法は、ワイルドカードを無視する単純な手法よりも大幅に良好な結果を得、１つのワイルドカードを使用したときは１．５％の増大、最大２つのワイルドカードを使用したときは３．５％の増大が得られている。表１と比較して結果に大きな差があることも強調され、１つのワイルドカードでは約＋４％で、２つのワイルドカードでは＋１０％となっている。ワイルドカードを用いて試験したときは、ワイルドカードを用いた訓練も、高い精度に達するために非常に重要であることが明らかである。
【０２１７】
【表２】
2016134175.tif 000041
【０２１８】
ワイルドカードを用いた訓練、ワイルドカードクエリを用いない試験
最後に、ワイルドカードを用いて試験することが意図されていない場合であっても、訓練中にワイルドカードを使用する選択肢が評価される。これらの実験において、「ワイルドカード記号を明示的に加える」選択肢が使用される。前述したように、ワイルドカードを用いずに訓練および試験するとき、９５．０％のベースライン精度が達成される。１つまたは２つのワイルドカード記号を用いて訓練し、ワイルドカードを用いずに試験するとき、それぞれ、９６．５％および９６．４％の精度が達成される。これは、試験時間におけるワイルドカード機能が所望されない場合であっても、取り出し精度が増大するため、ワイルドカードを用いて訓練することが有益であることを意味している。このいくらか驚くべき結果に対する１つの可能な説明は、訓練中にワイルドカードを加えることが、ノイズ注入と解釈され得ることである。訓練時間におけるノイズ（特にガウシアンノイズ）注入は、より良好な分類器をもたらす正規化技法であると長らく認められている。たとえば、Ｃ．  ＢＩＳＨＯＰ「ＴＲＡＩＮＩＮＧ  ＷＩＴＨ  ＮＯＩＳＥ  ＩＳ  ＥＱＵＩＶＡＬＥＮＴ  ＴＯ  ＴＩＫＨＯＮＯＶ  ＲＥＧＵＬＡＲＩＺＡＴＩＯＮ」（Ｎｅｕｒａｌ  Ｃｏｍｐｕｔａｔｉｏｎ，  １９９５，  ８  ｐａｇｅｓ）を参照されたい。言い換えれば、テキストベースのナンバープレート画像探索のコンテキストにおいて、いくつかの文字を落とし、ワイルドカード記号を明示的に使用することによって、訓練時間においてワイルドカードを加えることは、ノイズを加える効率的な方法である。
【０２１９】
本明細書における詳細な説明のいくつかの部分は、中央処理装置（ＣＰＵ）、ＣＰＵのためのメモリ記憶デバイス、および接続されている表示デバイスを含む従来のコンピュータ構成要素によって実施される、データビットに対する動作のアルゴリズムおよび記号表現に関して提示されている。これらのアルゴリズムの記述および表現は、データ処理技術分野における当業者によって、他の当業者に自身の研究の要旨を最も効率的に伝達するために使用される手段である。アルゴリズムは一般的に、所望の結果をもたらす首尾一貫したステップシーケンスとして知覚される。ステップは、物理量の物理的操作を必要とするものである。通常、必須ではないが、これらの量は、記憶、転送、結合、比較、および他の様態で操作されることが可能な電気信号または磁気信号の形態をとる。主に一般的な使用状況の理由から、これらの信号を、ビット、値、要素、記号、文字、用語、数などとして参照することが好都合であることがあることが分かっている。
【０２２０】
しかしながら、これらのおよび同様の用語のすべては、適切な物理量と関連付けられるべきであり、これらの量に適用される好都合なラベルに過ぎないことが理解されるべきである。具体的に別途記載しないかぎり、本明細書における説明から諒解されるように、本明細書全体を通じて、「処理」または「計算」または「決定」または「表示」などのような用語を利用した説明は、コンピュータシステムのレジスタまたはメモリ内の物理（電子）量として表されるデータを操作して、同様に、コンピュータシステムメモリもしくはレジスタ、または、他のそのような情報記憶、送信または表示デバイス内の物理量として表される他のデータに変換するコンピュータシステム、または同様の電子コンピューティングデバイスの動作およびプロセスを指すことが諒解される。
【０２２１】
例示的な実施形態はまた、本明細書において説明されている動作を実施するための装置にも関する。この装置は、特に、必要とされる目的のために構築することができ、または、コンピュータ内に記憶されているコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、限定ではないが、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、および磁気光ディスクを含む任意のタイプのディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気もしくは光学式カード、または、電子命令を記憶するのに適しており、各々がコンピュータシステムバスに結合されている任意のタイプの媒体のような、コンピュータ可読記憶媒体内に記憶することができる。
【０２２２】
本明細書において提示されているアルゴリズムおよび表示は本質的に、任意の特定のコンピュータまたは他の装置に関係するものではない。様々な汎用システムが、本明細書における教示によるプログラムによって使用されてもよく、または、本明細書に記載されている方法を実施するのにより特化した装置を構築することが好都合と分かる場合もある。様々なこれらのシステムのための構造が、上記の記載から諒解される。加えて、例示的な実施形態は、如何なる特定のプログラミング言語を参照しても説明されていない。本明細書に記載されているような例示的な実施形態の教示を実装するために様々なプログラミング言語が使用されてもよいことは諒解されよう。
【０２２３】
機械可読媒体は、機械（たとえば、コンピュータ）によって読み出し可能な形態の情報を記憶または送信するための任意の機構を含む。たとえば、機械可読媒体は、ほんの数例を挙げると、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光学式記憶媒体、フラッシュメモリデバイス、および、電気、光、音響または他の形態の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号など）を含む。
【０２２４】
本明細書全体を通じて示されている方法は、コンピュータ上で実行され得るコンピュータプログラム製品において実施され得る。コンピュータプログラム製品は、ディスク、ハードドライブなどのような、制御プログラムが記録されている持続性コンピュータ可読記録媒体を含んでもよい。一般的な形態の持続性コンピュータ可読媒体は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ、もしくは任意の他の光学媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ‐ＥＰＲＯＭ、または他のメモリチップもしくはカートリッジ、または、コンピュータがそこから読み出し使用することができる任意の他の有形媒体を含む。
【０２２５】
代替的に、方法は、無線波および赤外線データ通信中に生成されるもののような、音響波または光波などのような伝送媒体を使用して、制御プログラムがデータ信号として具現化される伝送可能搬送波のような、一時的媒体において実施されてもよい。
【図１】
2016134175.tif 000051
【図２】
2016134175.tif 000052
【図３】
2016134175.tif 000053
【図４】
2016134175.tif 000054
【図５】
2016134175.tif 000055
【図６】
2016134175.tif 000056
【図７】
2016134175.tif 000057
【図８】
2016134175.tif 000058