(57)【要約】      （修正有）【課題】スペーシャル・トランスフォーマー・ネットワーク（Ｓｐａｔｉａｌ  Ｔｒａｎｓｆｏｒｍｅｒ  Ｎｅｔｗｏｒｋｓ（ＳＴＮ））及び連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ（ＣＣ））を介してコンテナコード認識のための方法及びシステムを提供する。【解決手段】領域抽出モジュールを用いて、再グループ化された領域案を生成するために、前処理された画像から領域案を抽出及びフィルタする。続いて、分類モジュールを用いて、訓練されたスペーシャル・トランスフォーマー・ネットワークを実装することによって、再グループ化された領域案を文字に分類する。最後に、コンテナ識別コードを決定するために、領域案の有効なグループのために生成された配列が、予め定義された標準コンテナ識別コードへマップされる。予め定義された標準コンテナ識別コードは、予め定義されたパターンの文字のチャンクを含む。【選択図】図２
2018136926.tif 000002
【特許請求の範囲】
【請求項１】
スペーシャル・トランスフォーマー・ネットワーク（Ｓｐａｔｉａｌ  Ｔｒａｎｓｆｏｒｍｅｒ  Ｎｅｔｗｏｒｋｓ（ＳＴＮ））及び連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ（ＣＣ））を介してコンテナ識別コードを決定する方法であって、前記方法は、
画像取り込み装置（２００）を用いてコンテナの画像を取り込み、前記画像は、前記コンテナ識別コードを含むことと、
画像前処理モジュール（２１０）を用いて、取り込まれた前記画像を前処理することと、
領域抽出モジュール（２１２）を用いて、再グループ化された領域案を生成するために、前処理された前記画像から領域案を抽出及びフィルタし、前記抽出及びフィルタは、連結成分（ＣＣ）を実装することによって行われることと、
分類モジュール（２１４）を用いてコンテナ識別コードの１より多いチャンクを有する領域案の有効なグループを生成するために、訓練されたスペーシャル・トランスフォーマー・ネットワーク（ＳＴＮ）を実装することによって、前記再グループ化された領域案を文字に分類することと、
コード識別モジュール（２１６）を用いてコンテナ識別コードを決定するために、前記領域案の有効なグループのための配列を生成し、生成された配列を予め定義された標準コンテナ識別コードへマップし、前記予め定義された標準コンテナ識別コードは、予め定義されたパターンの文字のチャンクを含むことと、
を備えるプロセッサ実装ステップを含む方法。
【請求項２】
前記領域案の有効なグループを生成及びマップした後に、前記コード識別モジュール（２１６）によって、コンテナ識別コードが決定されないときに、アラートをトリガすることを更に備える請求項１に記載の方法。
【請求項３】
前記コンテナ識別コードは、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  Ｏｒｇａｎｉｚａｔｉｏｎ）６３４６コードであり、ＩＳＯ６３４６コード用のチェックサムディジットを用いて、決定された前記コンテナ識別コードを有効化することを更に備える請求項１に記載の方法。
【請求項４】
前記画像を前処理することは、
前記画像の元のサイズを倍にするために前記画像をリサイズするステップと、
前記画像においてコンテナコードの１以上の文字を分離するために、リサイズされた前記画像をバイナリ化するステップと、を備える請求項１に記載の方法。
【請求項５】
前記再グループ化された領域案を生成することは、
連結成分を用いて領域案を抽出するステップであって、抽出された前記領域案は、前記予め定義された標準コードの構造に基づく、ステップと、
抽出された前記領域案から誤検出をフィルタするステップと、
空間位置の類似性及び類似高さの領域案の配列に基づいて、誤検出の排除後に、前記領域案を再グループ化するステップと、を備える請求項１に記載の方法。
【請求項６】
前記領域案の有効なグループを生成することは、
アルファベット用のＳＴＮ（ＳＴＮａｌｐ）及びディジット用のＳＴＮ（ＳＴＮｄ）を含む訓練されたＳＴＮを用いることによって、グループ化された領域案を文字に分類するステップと、
前記有効な領域案を生成するために、予め定義された標準コードディレクトリから、前記グループ化された領域案を文字にマッチングするステップであって、前記予め定義された標準コードディレクトリは、前記予め定義された標準識別コードの文字の少なくとも１つのチャンクを含む、ステップと、を備える請求項１に記載の方法。
【請求項７】
前記配列を生成することは、
前記予め定義された標準識別コードの文字の全てのチャンクが、前記有効な領域案の少なくとも１つの配列に含まれるとき、有効な領域案の配列を前記予め定義された標準コンテナコードへマッチングすることによって前記コンテナ識別コードを決定するステップと、
前記予め定義された標準識別コードの文字の全てのチャンクが、前記有効な領域案の少なくとも１つの配列に含まれないとき、ヒューリスティクスを用いて、有効な領域案の配列において文字の残りのチャンクを識別し、前記有効な領域案の配列及び生成された残りのチャンクを、前記予め定義された標準識別コードにマッチングすることによって、前記コンテナ識別コードを決定するステップと、を備える請求項１に記載の方法。
【請求項８】
スペーシャル・トランスフォーマー・ネットワーク（Ｓｐａｔｉａｌ  Ｔｒａｎｓｆｏｒｍｅｒ  Ｎｅｔｗｏｒｋｓ（ＳＴＮ））及び連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ（ＣＣ））を介してコンテナ識別コードを決定するシステムであって、プロセッサ（２０２）、メモリ（２０４）及び前記プロセッサと動作可能に結合された画像取り込み装置（２００）を備え、前記システムは、
コンテナの画像を取り込むように構成される前記画像取り込み装置（２００）であって、前記画像は、前記コンテナ識別コードを含む、前記画像取り込み装置（２００）と、
取り込まれた前記画像を前処理するように構成される画像前処理モジュール（２１０）と、
再グループ化された領域案を生成するために、前処理された前記画像から領域案を抽出及びフィルタするように構成される領域抽出モジュール（２１２）であって、前記抽出及びフィルタは、連結成分（ＣＣ）を実装することによって行われる、前記領域抽出モジュール（２１２）と、
コンテナ識別コードの１より多いチャンクを有する領域案の有効なグループを生成するために、訓練されたスペーシャル・トランスフォーマー・ネットワーク（ＳＴＮ）を実装することによって、前記再グループ化された領域案を文字に分類するように構成される分類モジュール（２１４）と、
コンテナ識別コードを決定するために、前記領域案の有効なグループのための配列を生成し、生成された配列を予め定義された標準コンテナ識別コードへマップするように構成されるコード識別モジュール（２１６）であって、前記予め定義された標準コンテナ識別コードは、予め定義されたパターンの文字のチャンクを含む、前記コード識別モジュール（２１６）と、
を備えるシステム。
【請求項９】
前記コード識別モジュール（２１６）は、前記領域案の有効なグループを生成及びマップした後に、前記コード識別モジュール（２１６）によって、コンテナ識別コードが決定されないときに、アラートをトリガするように構成される、請求項８に記載のシステム。
【請求項１０】
前記画像前処理モジュール（２１０）は、前記画像の元のサイズを倍にするために前記画像をリサイズし、前記画像においてコンテナコードの１以上の文字を分離するために、リサイズされた前記画像をバイナリ化するように構成される、請求項８に記載のシステム。
【請求項１１】
前記領域抽出モジュール（２１２）は、
連結成分を用いて領域案を抽出し、抽出された前記領域案は、前記予め定義された標準コードの構造に基づき、
抽出された前記領域案から誤検出をフィルタし、
空間位置の類似性及び類似高さの領域案の配列に基づいて、誤検出の排除後に、前記領域案を再グループ化する
ように構成される、請求項８に記載のシステム。
【請求項１２】
前記分類モジュール（２１４）は、
アルファベット用のＳＴＮ（ＳＴＮａｌｐ）及びディジット用のＳＴＮ（ＳＴＮｄ）を含む訓練されたＳＴＮを用いることによって、グループ化された領域案を文字に分類し、
前記有効な領域案を生成するために、予め定義された標準コードディレクトリから、前記グループ化された領域案を文字にマッチングし、前記予め定義された標準コードディレクトリは、前記予め定義された標準識別コードの文字の少なくとも１つのチャンクを含む
ように構成される、請求項８に記載のシステム。
【請求項１３】
前記コード識別モジュール（２１６）は、
前記予め定義された標準識別コードの文字の全てのチャンクが、前記有効な領域案の少なくとも１つの配列に含まれるとき、有効な領域案の配列を前記予め定義された標準コンテナコードへマッチングすることによって前記コンテナ識別コードを決定し、
前記予め定義された標準識別コードの文字の全てのチャンクが、前記有効な領域案の少なくとも１つの配列に含まれないとき、ヒューリスティクスを用いて、有効な領域案の配列において文字の残りのチャンクを識別し、前記有効な領域案の配列及び生成された残りのチャンクを、前記予め定義された標準識別コードにマッチングすることによって、前記コンテナ識別コードを決定する
ように構成される、請求項８に記載のシステム。
【請求項１４】
１以上のハードウェアプロセッサにによって実行されたときに、前記１以上のハードウェアプロセッサにスペーシャル・トランスフォーマー・ネットワーク（Ｓｐａｔｉａｌ  Ｔｒａｎｓｆｏｒｍｅｒ  Ｎｅｔｗｏｒｋｓ（ＳＴＮ））及び連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ（ＣＣ））を介してコンテナ識別コードを決定する方法を行わせる１以上の命令を含む１以上の非一時的機械可読情報記憶媒体であって、前記方法は、
画像取り込み装置（２００）を用いてコンテナの画像を取り込み、前記画像は、前記コンテナ識別コードを含むことと、
画像前処理モジュール（２１０）を用いて、取り込まれた前記画像を前処理することと、
領域抽出モジュール（２１２）を用いて、再グループ化された領域案を生成するために、前処理された前記画像から領域案を抽出及びフィルタし、前記抽出及びフィルタは、連結成分（ＣＣ）を実装することによって行われることと、
分類モジュール（２１４）を用いてコンテナ識別コードの１より多いチャンクを有する領域案の有効なグループを生成するために、訓練されたスペーシャル・トランスフォーマー・ネットワーク（ＳＴＮ）を実装することによって、前記再グループ化された領域案を文字に分類することと、
コード識別モジュール（２１６）を用いてコンテナ識別コードを決定するために、前記領域案の有効なグループのための配列を生成し、生成された配列を予め定義された標準コンテナ識別コードへマップし、前記予め定義された標準コンテナ識別コードは、予め定義されたパターンの文字のチャンクを含むことと、
を備える１以上の非一時的機械可読情報記憶媒体。
【請求項１５】
前記領域案の有効なグループを生成及びマップした後に、前記コード識別モジュール（２１６）によって、コンテナ識別コードが決定されないときに、アラートをトリガすることを更に備える請求項１４に記載の１以上の非一時的機械可読情報記憶媒体。
【請求項１６】
前記コンテナ識別コードは、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  Ｏｒｇａｎｉｚａｔｉｏｎ）６３４６コードであり、ＩＳＯ６３４６コード用のチェックサムディジットを用いて、決定された前記コンテナ識別コードを有効化することを更に備える請求項１４に記載の１以上の非一時的機械可読情報記憶媒体。
【請求項１７】
前記画像を前処理することは、
前記画像の元のサイズを倍にするために前記画像をリサイズするステップと、
前記画像においてコンテナコードの１以上の文字を分離するために、リサイズされた前記画像をバイナリ化するステップと、を備える請求項１４に記載の１以上の非一時的機械可読情報記憶媒体。
【請求項１８】
前記再グループ化された領域案を生成することは、
連結成分を用いて領域案を抽出するステップであって、抽出された前記領域案は、前記予め定義された標準コードの構造に基づく、ステップと、
抽出された前記領域案から誤検出をフィルタするステップと、
空間位置の類似性及び類似高さの領域案の配列に基づいて、誤検出の排除後に、前記領域案を再グループ化するステップと、を備える請求項１４に記載の１以上の非一時的機械可読情報記憶媒体。
【請求項１９】
前記領域案の有効なグループを生成することは、
アルファベット用のＳＴＮ（ＳＴＮａｌｐ）及びディジット用のＳＴＮ（ＳＴＮｄ）を含む訓練されたＳＴＮを用いることによって、グループ化された領域案を文字に分類するステップと、
前記有効な領域案を生成するために、予め定義された標準コードディレクトリから、前記グループ化された領域案を文字にマッチングするステップであって、前記予め定義された標準コードディレクトリは、前記予め定義された標準識別コードの文字の少なくとも１つのチャンクを含む、ステップと、を備える請求項１４に記載の１以上の非一時的機械可読情報記憶媒体。
【請求項２０】
前記配列を生成することは、
前記予め定義された標準識別コードの文字の全てのチャンクが、前記有効な領域案の少なくとも１つの配列に含まれるとき、有効な領域案の配列を前記予め定義された標準コンテナコードへマッチングすることによって前記コンテナ識別コードを決定するステップと、
前記予め定義された標準識別コードの文字の全てのチャンクが、前記有効な領域案の少なくとも１つの配列に含まれないとき、ヒューリスティクスを用いて、有効な領域案の配列において文字の残りのチャンクを識別し、前記有効な領域案の配列及び生成された残りのチャンクを、前記予め定義された標準識別コードにマッチングすることによって、前記コンテナ識別コードを決定するステップと、を備える請求項１４に記載の１以上の非一時的機械可読情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権主張
本特許出願は、２０１６年１２月１６日に出願されたインド国特許出願第２０１６２１０４２９８６号の優先権を主張する。上述された出願の内容全体は、参照によって本明細書に援用される。
【０００２】
本願は、概して、文字検出及び認識に関する。特に、本願は、スペーシャル・トランスフォーマー・ネットワークス（Ｓｐａｔｉａｌ  Ｔｒａｎｓｆｏｒｍｅｒ  Ｎｅｔｗｏｒｋｓ）及び連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ）を介したコンテナコード認識のための方法及びシステムを提供する。
【背景技術】
【０００３】
数百万の船舶コンテナが毎日世界の積出航へ又は世界の積出航から輸送されている。これらのコンテナの正確な簿記は、タイムリーな到着を保証し、貿易用の商品の発送のために不可欠である。各コンテナは、ユニークな識別シリアルコードで認可され、これは、コンテナが港に到着又は離れるときに、手動で記録される。
【０００４】
カメラからコンテナコードを読み取るための自動化システムは、より速く、より安く、より信頼性が高い。しかし、人間の能力レベルでのコンテナ番号の自動読み取り及び記録は、波形のコンテナ表面、異なる背景レイアウト、並びに色、フォントタイプ、サイズ、照明、ぼやけ、方向及び他の光度歪みにより困難である。波形の表面は、特に、文字及びフォントが、３Ｄ物体からの２Ｄ投影のために歪められ、標準的なＯＣＲ技術を満足に行えない。他の困難は、コンテナ上のさび、泥、塗装の剥がれ、及び把持車両又はコンテナ画像のコントラストに影響を与える光の条件の変化、雨、霧、雪等のような外部要因を含む。
【０００５】
ＳＶＭ分類器を用いて認識されるコンテナコード領域を位置決めするための従来の画像処理ベースの方法の性能は、コンテナ画像を取り込むカメラの位置決めに大きく依存する。また、従来技術の大部分は、搭載コストの掛かる識別用の視覚及びＲＦＩＤのような複数の様式を用いる方法及びシステムを教示する。テキストが波形の表面上に印刷されたコンテナコード認識のための既存の方法の効率は、未だ問題を残したままである。更に、これらの方法は、スペーシャル・トランスフォーメーション・ネットワークのような歪に動的に適合することが可能ではない。
【発明の概要】
【０００６】
本開示に明示的に示されない本発明の可能な実施形態は複数あり得るので、本発明は記載される特定のシステム及び手順に限定されないということを、本方法、システム、及びハードウェアの実施可能性の説明の前に理解されたい。さらに、本記載で使用される用語は、特定のバージョン又は実施形態を記載することのみを目的としており、添付の特許請求の範囲によってのみ限定される本発明の範囲を限定する意図はないということも理解されたい。
【０００７】
本願は、スペーシャル・トランスフォーマー・ネットワーク（Ｓｐａｔｉａｌ  Ｔｒａｎｓｆｏｒｍｅｒ  Ｎｅｔｗｏｒｋｓ）及び連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ）を介したコンテナコード認識のための方法及びシステムを提供する。
【０００８】
本願は、スペーシャル・トランスフォーマー・ネットワーク（Ｓｐａｔｉａｌ  Ｔｒａｎｓｆｏｒｍｅｒ  Ｎｅｔｗｏｒｋｓ（ＳＴＮ））及び連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ（ＣＣ））を介したコンテナコード認識のためのコンピュータ実施方法を提供し、前記方法は、画像取り込み装置（２００）を用いてコンテナの画像を取り込み、前記画像は、前記コンテナ識別コードを含むことを含む。この取り込まれた前記画像は、画像前処理モジュール（２１０）を用いて、を前処理される。前記方法は、更に、再グループ化された領域案を生成するために、領域抽出モジュール（２１２）を用いて、前処理された前記画像から領域案を抽出及びフィルタし、前記抽出及びフィルタは、連結成分（ＣＣ）を実装することによって行われることを備える。次に、前記方法は、分類モジュール（２１４）を用いてコンテナ識別コードの１より多いチャンクを有する領域案の有効なグループを生成するために、訓練されたスペーシャル・トランスフォーマー・ネットワーク（ＳＴＮ）を実装することによって、前記再グループ化された領域案を文字に分類するステップを提供する。最後に、本明細書に開示される方法によれば、コード識別モジュール（２１６）を用いてコンテナ識別コードを決定するために、前記領域案の有効なグループのための配列が生成され、生成された配列が、予め定義された標準コンテナ識別コードへマップされ、前記予め定義された標準コンテナ識別コードは、予め定義されたパターンの文字のチャンクを含む。
【０００９】
別の態様では、本願は、スペーシャル・トランスフォーマー・ネットワーク（Ｓｐａｔｉａｌ  Ｔｒａｎｓｆｏｒｍｅｒ  Ｎｅｔｗｏｒｋｓ（ＳＴＮ））及び連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ（ＣＣ））を介したコンテナコード認識のためのシステム（１０２）を提供し、システム（１０２）は、プロセッサ（２０２）、メモリ（２０４）及び前記プロセッサと動作可能に結合された画像取り込み装置（２００）を備える。前記画像取り込み装置（２００）は、コンテナの画像を取り込むように構成され、前記画像は、前記コンテナ識別コードを含み、画像前処理モジュール（２１０）を用いて前処理される。前記システム（１０２）は、再グループ化された領域案を生成するために、前処理された前記画像から領域案を抽出及びフィルタするように構成される領域抽出モジュール（２１２）を更に備え、前記抽出及びフィルタは、連結成分（ＣＣ）を実装することによって行われる。前記システム（１０２）は、コンテナ識別コードの１より多いチャンクを有する領域案の有効なグループを生成するために、訓練されたスペーシャル・トランスフォーマー・ネットワーク（ＳＴＮ）を実装することによって、前記再グループ化された領域案を文字に分類するように構成される分類モジュール（２１４）を更に備える。前記システム（１０２）は、コンテナ識別コードを決定するために、前記領域案の有効なグループのための配列を生成し、生成された配列を予め定義された標準コンテナ識別コードへマップするように構成されるコード識別モジュール（２１６）であって、前記予め定義された標準コンテナ識別コードは、予め定義されたパターンの文字のチャンクを含む、前記コード識別モジュール（２１６）を更に備える。
【００１０】
更に別の態様では、１以上の命令を含む１以上の非一時的機械可読情報記憶媒体が提供される。前記命令は、１以上のハードウェアプロセッサにによって実行されたときに、画像取り込み装置（２００）を用いてコンテナの画像を取り込み、前記画像は、前記コンテナ識別コードを含むことと、画像前処理モジュール（２１０）を用いて、取り込まれた前記画像を前処理することと、再グループ化された領域案を生成するために、領域抽出モジュール（２１２）を用いて、前処理された前記画像から領域案を抽出及びフィルタし、前記抽出及びフィルタは、連結成分（ＣＣ）を実装することによって行われることと、分類モジュール（２１４）を用いてコンテナ識別コードの１より多いチャンクを有する領域案の有効なグループを生成するために、訓練されたスペーシャル・トランスフォーマー・ネットワーク（ＳＴＮ）を実装することによって、前記再グループ化された領域案を文字に分類することと、コード識別モジュール（２１６）を用いてコンテナ識別コードを決定するために、前記領域案の有効なグループのための配列を生成し、生成された配列を予め定義された標準コンテナ識別コードへマップし、前記予め定義された標準コンテナ識別コードは、予め定義されたパターンの文字のチャンクを含むことと、ＩＳＯ６３４６コード用のチェックサムディジットを用いて、決定された前記コンテナ識別コードを有効化することと、前記画像の元のサイズを倍にするために前記画像をリサイズし、前記画像において前記コンテナコードの１以上の文字を分離するために、リサイズされた前記画像をバイナリ化することによって画像を前処理することと、連結成分を用いて領域案を抽出し、抽出された前記領域案は、前記予め定義された標準コードの構造に基づき、抽出された前記領域案から誤検出をフィルタし、空間位置の類似性及び類似高さの領域案の配列に基づいて、誤検出の排除後に、前記領域案を再グループ化することによって再グループ化された領域案を生成することと、アルファベット用のＳＴＮ（ＳＴＮａｌｐ）及びディジット用のＳＴＮ（ＳＴＮｄ）を含む訓練されたＳＴＮを用いることによって、グループ化された領域案を文字に分類し、前記有効な領域案を生成するために、予め定義された標準コードディレクトリから、前記グループ化された領域案を文字にマッチングし、前記予め定義された標準コードディレクトリは、前記予め定義された標準識別コードの文字の少なくとも１つのチャンクを含むことによって前記領域案の有効なグループを生成することと、前記予め定義された標準識別コードの文字の全てのチャンクが、前記有効な領域案の少なくとも１つの配列に含まれるとき、有効な領域案の配列を前記予め定義された標準コンテナへマッチングすることによって前記コンテナ識別コードを決定するステップと、前記予め定義された標準識別コードの文字の全てのチャンクが、前記有効な領域案の少なくとも１つの配列に含まれないとき、ヒューリスティクスを用いて、有効な領域案の配列において文字の残りのチャンクを識別し、前記有効な領域案の配列及び生成された残りのチャンクを、前記予め定義された標準識別コードにマッチングすることによって、前記コンテナ識別コードを決定することによって前記配列を生成することと、を行わせる。
【００１１】
前述した概念的な説明及び以下の詳細な説明の両方は、例示的かつ説明的のみのものであり、本発明を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【００１２】
前述の発明の概要及び好ましい実施形態の以下の詳細な説明は、添付の図面と併せて読むことで、より良く理解される。本発明の説明の目的のために、本発明の例示的構築が図面に示されるが、本発明は、開示された特定の方法及びシステムに限定されない。
【００１３】
【図１】図１は、本主題の実施形態に係る、システムのネットワーク実装を示す。
【図２】図２は、本主題の実施形態に係る、コンテナコード認識のためのシステムを示すブロック図を示す。
【図３】図３は、本主題の実施形態に係る、コンテナコード認識のための方法を示すフローチャートを示す。
【図４】図４は、異なるチャンクを有するＩＳＯ６３４６コンテナコード部分を示す。
【図５】図５は、ＩＳＯコードにおいて様々な文字の位置及びタイプを有するＩＳＯ６３４６コンテナコード部分を示す。
【発明を実施するための形態】
【００１４】
本発明のあらゆる特徴を示す、本発明のいくつかの実施形態を、以下に詳細に説明する。
【００１５】
「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、及び「含む（ｉｎｃｌｕｄｉｎｇ）」という語、並びにこれらの他の形態は、意味において等価であるものとし、これらの語の任意のものに続く１つ又は複数の項目がそのような１つ又は複数の項目の網羅的な列挙としては意図されておらず、列挙された１つ又は複数の項目のみに限定されることも意図されていないという点で、オープンエンド型であるものとする。
【００１６】
さらに、本願明細書及び添付の特許請求の範囲で使用される単数形の「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈により別段明確に規定されない限り、複数の指示を含むことに留意されたい。本願明細書に記載されるものに類似する、又はそれらと等価な任意のシステム及び方法が、本発明の実施形態の実施又はテストにおいて使用され得るが、以下、好適なシステム及び方法を記載する。
【００１７】
開示された実施形態は、単に本発明の例示に過ぎず、様々な形態で具現化され得る。
【００１８】
図面に示された要素は、さらに詳しく後述されるとおり、相互に作用する。なお、詳細な説明を記載する前に指摘しておくが、記載される特定の実装形態にかかわらず、下記の検討はすべて本質的に限定ではなく例示である。例えば、各実装の選択された側面、特徴、又はコンポーネントがメモリに記憶されるものとして示されるが、消耗警告システム及び方法に適合するシステム及び方法の全部又は一部が、他の機械可読媒体に記憶、分散され、又はそれらから読み取られてもよい。
【００１９】
上述の手法は、プロセッサ、プロセッサにより読み取り可能及び／又は書き込み可能な記憶媒体（例えば揮発性及び不揮発性のメモリ及び／又は記憶要素を含む）、複数の入力ユニット、並びに複数の出力デバイスのうちの任意数のものの任意の組み合わせを含むプログラマブルコンピュータ上で実行される（又はそれにより実行可能な）、１つ以上のコンピュータプログラムに実装されてもよい。プログラムコードは、記載される機能を実行するため、及び複数の出力デバイスのいずれかに表示される出力を生成するために、複数の入力ユニットのいずれかを使用して入力される入力に適用されてもよい。
【００２０】
添付の特許請求の範囲に記載の範囲内の各コンピュータプログラムは、アセンブリ言語、機械語、高水準手続型プログラミング言語、又はオブジェクト指向プログラミング言語などの任意のプログラミング言語で実装されてもよい。プログラミング言語は、例えば、コンパイル型又は解釈型のプログラミング言語であってもよい。そのようなコンピュータプログラムはそれぞれ、コンピュータプロセッサによる実行のために機械可読記憶デバイスに有形に具現化されたコンピュータプログラム製品に実装されてもよい。
【００２１】
本発明の方法ステップは、入力に作用して出力を生成することにより本発明の機能を実行するためにコンピュータ可読媒体上に有形に具現化されたプログラムを実行する１つ以上のコンピュータプロセッサにより実行されてもよい。適切なプロセッサは、例として、汎用及び専用両方のマイクロプロセッサを含む。一般に、プロセッサは、メモリ（読み取り専用メモリ及び／又はランダムアクセスメモリなど）から命令及びデータを受信（読み取り）し、メモリに命令及びデータを書き込み（記憶）する。コンピュータプログラム命令及びデータを有形に具現化するのに適した記憶デバイスは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスを含む半導体メモリデバイス、内蔵ハードディスク及び取り外し可能ディスクなどの磁気ディスク、光磁気ディスク、並びにＣＤ−ＲＯＭなど、あらゆる形式の不揮発性メモリを含む。前述のもののうち任意のものは、特別に設計されたＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ：特定用途向け集積回路）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：フィールドプログラマブルゲートアレイ）により補完されること、又はそれに組み込まれることが可能である。コンピュータは、一般に、内蔵ディスク（図示せず）又は取り外し可能ディスクなどの非一時的コンピュータ可読記憶媒体からプログラム及びデータを受信（読み取り）し、それにプログラム及びデータを書き込み（記憶）することもできる。
【００２２】
本願明細書で開示される任意のデータは、例えば、非一時的コンピュータ可読媒体上に有形に記憶された１つ以上のデータ構造に実装されてもよい。本発明の実施形態は、当該データを当該データ構造（単数又は複数）に記憶し、当該データを当該データ構造（単数又は複数）から読み取ってもよい。
【００２３】
本願は、スペーシャル・トランスフォーマー・ネットワークス（Ｓｐａｔｉａｌ  Ｔｒａｎｓｆｏｒｍｅｒ  Ｎｅｔｗｏｒｋｓ）及び連結成分（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ）を介してコンテナコード認識のためのコンピュータ実施方法及びシステムを提供する。
【００２４】
ここで図１を参照すると、本主題の実施形態に係る、スペーシャル・トランスフォーマー・ネットワークス及び連結成分を介してコンテナコード認識のためのシステム１０２のネットワーク実装１００が示される。本主題は、システム１０２がサーバ上に実装されると考えて説明されるが、システム１０２は、また、ラップトップコンピュータ、デスクトップコンピュータ、ノートブック、ワークステーション、メインフレームコンピュータ、サーバ、ネットワークサーバ及び同様のもの等のような様々なコンピューティングシステムで実装されてもよいことが理解される。１つの実装では、システム１０２は、クラウドベース環境で実装されてもよい。別の実施形態では、開示された発明を効率的に実行するように設計されたカスタムビルドハードウェアとして実装されてもよい。システム１０２は、１以上のユーザデバイス１０４−１，１０４−２…１０４−Ｎ（以下まとめてユーザデバイス１０４と呼ばれる）を介して複数のユーザ又はユーザデバイス１０４上にあるアプリケーションによって、アクセスされてもよいことが理解されるであろう。ユーザデバイス１０４の例は、ポータブルコンピュータ、パーソナルデジタルアシスタント、ハンドヘルドデバイス及びワークステーションを含んでもよいが、これに限定されない。ユーザデバイス１０４は、ネットワーク１０６を通じてシステム１０２と通信接続される。
【００２５】
一つの実装では、ネットワーク１０６は、ワイヤレスネットワーク、有線ネットワーク又はその組み合わせであってもよい。ネットワーク１０６は、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット及び同様のもの等のような異なる種類のネットワークのうちの１つとして実装されうる。ネットワーク１０６は、専用ネットワーク又は共有ネットワークのいずれかであってもよい。共有ネットワークは、例えば、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、トランスミッションコントロールプロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ワイヤレスアプリケーションプロトコル（ＷＡＰ）及び同様のもの等のような様々なプロトコルを使用する異なる種類のネットワークの組織を表す。更に、ネットワーク１０６は、ルータ、ブリッジ、サーバ、コンピューティングデバイス、ストレージデバイス及び同様のものを含む、様々なネットワークデバイスを含んでもよい。
【００２６】
一実施形態では、本発明は、図２を参照すると、システム（１０２）の各種構成要素の詳細な動作を記述する。システム（１０２）は、プロセッサ（２０２）、メモリ（２０４）及び前記プロセッサと動作可能に結合された画像取り込み装置（２００）を備える。画像取り込み装置（２００）は、取り込まれた画像がコンテナ識別コードを含むように、コンテナの画像を取り込むように構成される。
【００２７】
システム（１０２）は、更に、取り込まれた画像を前処理するように構成される画像前処理モジュール（２１０）を備える。実施形態では、画像前処理は、それらの元のサイズを倍にするために画像をリサイズし、文字を分離するために、例えば、領域案を生成するために連結成分（ＣＣ）を介して容易に分離することを可能にするために、それらをバイナリ化する。
【００２８】
システムは、再グループ化された領域案を生成するために、前処理された画像から領域案を抽出及びフィルタするように構成される領域抽出モジュール（２１２）を更に備える。実施形態では、領域案を抽出することは、領域案が、コンテナコードにおいて全ての文字の抽出するように、予め定義されたコンテナ識別コードに適合するように、ＣＣを用いて領域案を抽出することを含む。
【００２９】
更に、領域抽出モジュール（２１２）は、抽出された領域案をフィルタして、フィルタされた領域案を生成するように構成され、フィルタされた領域案が、類似高さの文字を含むクラスタを得るための高さ類似性に基づく誤検出排除によって少ない誤検出を有する。コンテナコードがＩＳＯ６３４６コードである実施形態では、（図４に示されるように）１５文字を含み、かつそれらの境界ボックスがほぼ同じ高さであるＩＳＯコードの予め定義された構造を用いて、誤検出は、類似高さの文字を含むクラスタを得るために高さ類似性に基づいて領域案をクラスタリングすることによって、領域案から除去されてもよい。その後、１５未満の領域案を含むクラスタは、ＩＳＯコード用に破棄されてもよい。その後、このノイズ（非テキスト領域案）は、除去され、１５又はそれ以上の領域案を含むクラスタは、更に処理される。
【００３０】
更に、領域抽出モジュールは、類似高さの領域案の空間高さ及び配列を保つために、グループを再グループ化する。コンテナ識別コードの文字が、互いに空間的に近くに書かれた実施形態では、固定水平又は垂直パターンにおいて、サーチは、それらのパターンを有するグループのための行われ、可能性のあるコード文字の周囲のウィンドウを識別する。
【００３１】
本明細書に開示されるシステム（１０２）は、コンテナ識別コードの１以上のチャンクを有する領域案の有効グループを生成するために、訓練されたスペーシャル・トランスフォーマー・ネットワーク（ＳＴＮ）を実装することによって、再グループ化された領域案を文字に分類するように構成される分類モジュール（２１４）を更に備える。実施形態では、分類することは、ＳＴＮｓが、それぞれアルファベット及びディジットを識別するためのＳＴＮａｌｐ及びＳＴＮｄｉｇを含むように訓練されたＳＴＮｓを介して、グループ化された領域案を文字に分類することを含む。コンテナ識別コードが、予め定義された構造を有する予め定義されたコードであるので、関連するＳＴＮは、ランタイムに適切な分類器から適切な出力を得るために、関連するＳＴＮで実装されうる。
【００３２】
更に、一態様では、分類モジュールは、両方のＳＴＮの出力を、複数の予め定義された標準コンテナ識別コードを含むコンテナ識別コードディレクトリにマッチングするように構成されてもよい。コンテナ識別コードがＩＳＯコードである実施形態では、初めの４つの文字がＩＳＯコードディレクトリの任意のエントリとマッチングするセットは、選択され、残りは破棄されてもよい。
【００３３】
システム（１０２）によって用いられるＳＴＮは、アルファベット及びディジット用に別々に予め訓練されることを留意する。
【００３４】
本明細書に開示されるシステムは、領域案の有効なグループのための配列を生成し、生成された配列を、予め定義された標準コンテナ識別コードにマッピングすることによって、コンテナコードを決定するように構成されるコード識別モジュール（２１６）を更に備え、ここで、予め定義された標準コンテナ識別コードは、予め定義されたパターンにおいて文字のチャンクを含む。
【００３５】
実施形態では、コード識別モジュール（２１６）は、有効なグループのための配列を生成するために、グループの空間的な位置における文字カウント及びヒューリスティクスを使用する。更に、各マッチンググループの内側の領域案の数がチェックされ、より多くのグループの要件についての決定がなされてもよい。更に、予め定義されたコンテナ識別コードに関する既存の情報は、コードを抽出するために用いられてもよい。コンテナ識別コードがＩＳＯコードである実施形態では、ＩＳＯコード情報は、コンテナ識別コードを決定するために用いられてもよく、ａ）第１のグループが１５の領域案を有する場合、それは、このグループが、ＩＳＯコードの３つのチャンク全て、つまりＩＳＯコードの１５文字全てを含み、一列（水平／垂直）で書かれていることを意味する。したがって、このグループは、最終的な出力グループとして選択されてもよい。ｂ）第１のグループにおいて１１の領域案がある場合、これは、このグループが、ＩＳＯコードの初めの２つのチャンクを含むことを意味している。そして、第３のチャンクは、同一（水平又は垂直）パターンにおいて正確な４つの領域案を有する最も近いグループを探し、最終的なグループとして識別することによってサーチされてもよい。ｃ）マッチングするグループが、４つの文字領域案を有する場合、これは、このグループがＩＳＯコードの第１のチャンクであることを意味し、その後、残りの２つのチャンクは、（第２のチャンクに対応する）少なくとも７文字を含むグループに対してサーチすることによってサーチされる。この処理は、同様の特徴に基づいて各種異なるコンテナ識別コードに対して同様に実装されてもよい。
【００３６】
その結果、上述された分析が、コード識別モジュールを用いて行われた後、最終的なグループが識別される。ＩＳＯコードの場合、ここで得た最終的なグループの数は、１、２又は３のいずれかであってもよい。１である場合、これは、ＩＳＯコードの１５文字全てを有することを意味する。２である場合、これは、２つのグループのうちの一方が１つのチャンクを有し、他方がＩＳＯコードの２つのチャンクを有することを意味する。３である場合、これは、各グループがＩＳＯコードの１つのチャンクを有することを意味する。同様の分析は、コードに対する特徴に基づいて様々な他のコンテナ識別コードに対してなされる。
【００３７】
上記の最終的な出力は、その後、コンテナのコンテナ識別コードとして決定されるコードの配列を生成するために、ＳＴＮ出力にマッピングされる。コンテナ識別コードがＩＳＯコードである実施形態では、図５に示されるＩＳＯコードパターンは、１５の領域案の各１つの認識に対して適用するために、ＳＴＮのタイプを決定するために用いられる。初めの４文字は、ＳＴＮａｌｐを用いて認識され、次の７文字は、ＳＴＮｄｉｇを用いて認識され、次の２文字は再びＳＴＮａｌｐを用い、最後の２文字は、それぞれＳＴＮａｌｐ及びＳＴＮｄｉｇを用いて認識される。この組み合わせは、最終的な出力、つまり、コンテナボディに書かれた１５文字のＩＳＯコード、を導く。
【００３８】
本明細書で記述された処理の後、システム（１０２）が、コンテナコードを識別することができない実施形態では、システムは、コンテナコードが、システムによって決定されなかったことを表すアラートをトリガしてもよい。コード識別モジュール（２１６）は、このようなアラートをトリガするように構成されてもよい。
【００３９】
ここで図３を参照すると、スペーシャル・トランスフォーマー・ネットワークス及び連結成分を介したコンテナコード認識のための方法を説明するフローチャートが示される。ステップ３０２において処理は開始し、コンテナの画像は、画像取り込み装置を用いて取り込まれ、当該画像は、コンテナ識別コードを含む。
【００４０】
ステップ３０４において、取り込まれた画像は、画像前処理モジュールを用いて前処理される。一態様では、前処理は、画像の元のサイズを倍にするために画像をリサイズし、文字を分離するために、例えば、領域案を生成するために連結成分（ＣＣ）を介して容易に分離することを可能にするために、それらをバイナリ化してもよい。
【００４１】
ステップ３０６において、前記方法は、再グループ化された領域案を生成することを用いて、前処理された画像から領域案を抽出及びフィルタすることを備える。更に、ステップ３０８において、前記方法は、コンテナ識別コードの１より多いチャンクを有する領域案の有効なグループを生成するために、訓練されたスペーシャル・トランスフォーマー・ネットワーク（ＳＴＮ）を実装することによって、再グループ化された領域案を分類することを備える。
【００４２】
最後に、ステップ３１０において、領域案の有効なグループのための配列を生成し、生成された配列を、予め定義された標準コンテナ識別コードにマッピングすることによって、コンテナ識別コードは、決定される。
【００４３】
コンテナ識別コードが決定されない実施形態では、前記方法は、当該方法を実施した後に、コンテナコードが決定されないことを表すアラートをトリガするステップを更に備えてもよい。
【００４４】
コンテナ識別コードがＩＳＯコードである別の実施形態では、本明細書に開示される方法は、ＩＳＯ６３４６コード用のチェックサムディジットを用いて、決定されたＩＳＯ（コンテナ識別コード）コードを有効化することを更に備える。
【００４５】
以下の段落は、提案されるシステム及び方法の動作並びにその効率性及び正確性を示すように意図された実験結果を含む。以下の段落に開示されるシステム及び方法の実施は、多くのうちの１つであり、それらは、本発明の範囲を限定するものと取られず、本発明の範囲は、以下の特許請求の範囲によってのみ限定される。
【００４６】
結果は、Ｉｎｔｅｌ  Ｘｅｏｎ（Ｒ）プロセッサ及び４０ＧＢのＲＡＭを有するＮＶＩＤＩＡ  Ｑｕａｄｒｏ  ４０００  ＧＰＵを装備したサーバ上で行われた。提案された方法は、上述されたハードウェア仕様を用いて完全なコンテナコードの認識のために、コンテナ画像あたり約２．４７秒かかる。ここで、全ての実験は、異なるデータセット上で行われ、したがって、直接的に比較することができないことが留意されるべきである。
【００４７】
直接的には比較できないが、データセットのサイズは、従来例で記述されたサイズと非常に類似して保持され、カメラアングル、サイズ、オクルージョン及び色について、難しくかつ変更されたテストセットを選択する。以下の表Ｉは、提案される発明による文字検出、認識及び全てのコード抽出の正確さの結果を示す。
【表１】
2018136926.tif 000003
【００４８】
ＩＳＯ６３４６コードの２８０文字ウィンドウを含む１９個のコンテナのテスト画像が用いられた。開示される発明方法は、１９個のコンテナのテスト画像から２８０文字ウィンドウ全てを検出することができる、つまり、テキスト検出のための１００％範囲が実現された。更に、全てではないが、１つの文字は、正確に決定された、つまり、９９．６４％の正確さであった。故に、完全なコンテナコードを検出する際の正確さは、１９個の画像のうち１８個の完全に正確なコードを識別することができる本方法により９５％であった。
【００４９】
ベンチマークのために、Ｔｅｓｓｅｒａｃｔ３認識エンジンがテスト画像セットで採用され、３８．５７％の正確さを実現した、つまり、２８０文字のうち１０８のみが正確に認識された。また、テスト画像で評価されたとき、Ｆａｓｔｅｒ  ＲＣＮＮ検出器は、４８％の平均認識精度を実現し、アルファベット及び文字についてそれぞれ４３％及び５１．５０％であり、本発明の効率及びロバスト性を示している。
【図１】
2018136926.tif 000004
【図２】
2018136926.tif 000005
【図３】
2018136926.tif 000006
【図４】
2018136926.tif 000007
【図５】
2018136926.tif 000008
【外国語明細書】
2018136926000001.pdf