(57)【要約】  データ処理手段を備える製品ラベル印刷およびチェックシステムであって、データ処理手段は、製品ラベルの印刷を制御し、光学式スキャナなどの画像取得デバイスによる、印刷されたラベルの画像の取得および受信を制御し、欠陥に関して印刷されたラベルをチェックするように構成されており、印刷されたラベルのそれぞれは、ラベルのラベルフォーマット仕様に準拠し、それにより、ラベルは、共通のレイアウトを有し、ラベル上の１つ以上の領域に配置された印刷された製品関連情報を含み、データ処理手段は、ラベルの基準画像が提供されるラベルチェックモジュールを含み、チェックモジュールは、ラベル領域の予期される情報内容および位置に関連する所定の品質管理指標に従って取得された画像が基準画像と順次比較されるように構成されており、ラベルが非準拠である場合、ラベルには、再検査または不合格のフラグが立てられる、製品ラベル印刷およびチェックシステム。ラベルフォーマット仕様は、印刷動作前に、アクセス可能なファイルの形態で決定および／または記憶され得る。これは、その後、そのラベルフォーマットを使用して印刷動作前にラベル印刷およびチェックシステムによって検索され得る。本発明の態様では、ラベルフォーマット仕様は、各ラベルを印刷するためにプリンタに送信される命令を提供するために使用され得る。したがって、基準画像とそれに関連付けられた検査マスクは、ラベル領域の位置、領域情報、および検査ツールならびに任意選択で検査ツールパラメータに関して仕様を組み立てることによってリアルタイムで構成され得る。
2021515951.tif 000002
【特許請求の範囲】
【請求項１】
データ処理手段を備える製品ラベル印刷およびチェックシステムであって、前記データ処理手段は、
製品ラベルの印刷を制御し、
光学式スキャナなどの画像取得デバイスによる、印刷されたラベルの画像の取得および受信を制御し、
欠陥に関して前記印刷されたラベルをチェックする
ように構成されており、
前記印刷されたラベルのそれぞれは、前記ラベルのラベルフォーマット仕様に準拠することにより、共通のレイアウトを有するとともに前記ラベル上の１つ以上の領域に配置された印刷された製品関連情報を含み、
前記データ処理手段は、前記ラベルの基準画像が提供されるラベルチェックモジュールを含み、前記チェックモジュールは、前記ラベル領域の予期される情報内容および位置に関連する所定の品質管理指標に従って前記取得された画像が前記基準画像と順次比較されるように構成されており、前記ラベルが非準拠である場合、前記ラベルには、再検査または不合格のフラグが立てられる、製品ラベル印刷およびチェックシステム。
【請求項２】
前記システムは、プリンタの動作を制御するための制御信号を出力するように構成されている、請求項１に記載のシステム。
【請求項３】
前記システムは、前記スキャナの動作を制御するための制御信号を出力し、前記画像取得デバイスから取得される入力信号を受信および処理するように構成されている、請求項１または２に記載のシステム。
【請求項４】
前記ラベルフォーマット仕様は、アクセス可能なファイルの形態で印刷動作前に決定および／または記憶される、請求項１から３のいずれか一項に記載のシステム。
【請求項５】
前記ラベルフォーマット仕様は、各ラベルの印刷のためにプリンタに送信される命令を与えるために使用される、請求項１から４のいずれか一項に記載のシステム。
【請求項６】
前記基準画像は、ラベルフォーマット仕様から構築された電子画像である、請求項５に記載のシステム。
【請求項７】
前記プリンタに送信される前記命令は、前記基準電子画像を構築するために使用される、請求項５または６に記載のシステム。
【請求項８】
前記基準画像に、前記基準画像の領域と前記システムに記憶されている検査ツールとを関連付ける検査マスクが提供され、前記ツールは、前記取得された画像上の対応する領域において検査される情報のタイプに対して適切に割り当てられる、請求項１から７のいずれか一項に記載のシステム。
【請求項９】
前記検査ツールのうちの１つ以上は、前記ラベルフォーマット仕様を使用して、前記関連付けられる領域に割り当てられる、請求項８に記載のシステム。
【請求項１０】
前記検査ツールのうちの少なくとも１つは、パラメータ設定を有し、前記検査マスクを形成する際に、前記パラメータは、前記ツールのパフォーマンスを最適化する値に設定される、請求項８または９に記載のシステム。
【請求項１１】
前記データ処理手段は、ラベルのロットを印刷するプロセスの開始時に、前記基準画像とそれに関連付けられた前記検査マスクが、前記ラベルフォーマット仕様を使用して確立され、任意選択で検査ツールパラメータが割り当てられるように構成されている、請求項８から１０のいずれか一項に記載のシステム。
【請求項１２】
最初の前記ラベルの印刷と並行して、前記基準画像およびトレーニングされた前記検査ツールが確立される、請求項１１に記載のシステム。
【請求項１３】
前記チェックモジュールは、前記ラベルの準拠を全体として評価するために各検査領域が前記基準画像の対応する領域と比較されるように構成されている、請求項８から１２のいずれか一項に記載のシステム。
【請求項１４】
ゴールデンテンプレート比較が、前記基準画像および前記取得された画像上の前記領域のうちの１つ以上を比較するために使用され、好ましくは、前記ゴールデンテンプレート比較は、テキストまたはピクチャ検査ツールに関連付けられた１つ以上の領域に対して使用される、請求項１３に記載のシステム。
【請求項１５】
前記ゴールデンテンプレート比較は、テキストまたはピクチャ検査ツールに関連付けられたすべての領域に対して使用される、請求項１４に記載のシステム。
【請求項１６】
前記基準画像は、最初の前記ラベル画像を印刷する用意をするときに印刷命令をプリンタに送信する際に使用される情報を使用して構築される電子画像である、請求項１から１５のいずれか一項に記載のシステム。
【請求項１７】
前記プリンタに印刷命令を送信し、印刷される前記ラベル画像をレンダリングするのと並行して、前記電子画像とそれに関連付けられた検査マスクは構築される、請求項１６に記載のシステム。
【請求項１８】
前記印刷されたラベルの領域は、ラベルごとに変化するシリアル化またはランダム化された情報を含み、前記電子画像の対応する領域は、各ラベルの印刷後に修正され、その場合、情報が変化する前記領域には、ラベル印刷命令に対応する変化に応じて、変更された情報が入力される、請求項１６または１７に記載のシステム。
【請求項１９】
情報が変化する前記電子画像領域は、光学式文字認識ツールまたは光学式文字視覚化ツールに関連付けられる、請求項１６から１８のいずれか一項に記載のシステム。
【請求項２０】
前記基準画像が、前記スキャナの解像度に近似する、または好ましくは一致する解像度を有するように調整されるように構成された、請求項１から１９のいずれか一項に記載のシステム。
【請求項２１】
前記比較の前に、前記基準画像が、スキャン画像の外観により近づくように前記基準画像をぼかすぼかしフィルタにかけられるように構成された、請求項１から２０のいずれか一項に記載のシステム。
【請求項２２】
前記スキャン画像が、前記スキャン画像に存在する歪みを軽減または補正するために幾何学的変換を受け、前記変換が、前記基準画像と前記スキャン画像が比較される前に前記スキャン画像に適用されるように構成された、請求項１から２１のいずれか一項に記載のシステム。
【請求項２３】
前記変換は、前記基準画像に対する前記スキャン画像の予備的な比較分析を実行することによって導出される、請求項２２に記載のシステム。
【請求項２４】
前記基準画像から抽出されたキーポイントと前記スキャン画像の対応するキーポイントとを一致させることに依拠するテキストまたはピクチャ検査ツールであって、ｘ軸とｙ軸の両方でキーポイントの変位をロギングすることによって前記スキャン画像の平行移動が計算される、テキストまたはピクチャ検査ツールを有するように構成された、請求項４から２３のいずれか一項に記載のシステム。
【請求項２５】
ヒストグラムが、相対変位の関数としてキーポイントペアの度数を表すログデータから導出され、前記ヒストグラムのピークは、正しいキーポイントの変位の最良の推定を表すと見なされる、請求項２４に記載のシステム。
【請求項２６】
重複するまたはスプリアスのキーポイントペアが、前記ヒストグラムのピークの所定の距離内、例えば１０ピクセル以内の平行変位がないキーポイントペアをビニングすることによってデータセットからビニングされ、これにより、削減されたデータセットが作成される、請求項２５に記載のシステム。
【請求項２７】
前記ヒストグラムピークは、前記削減されたデータセットを使用して再計算される、請求項２６に記載のシステム。
【請求項２８】
前記データ処理手段は、単一のコンピュータまたはコンピュータのネットワークを備える、請求項１から２７のいずれか一項に記載のシステム。
【請求項２９】
少なくとも取得またはスキャン制御およびラベルチェックモジュール機能が、一般的なコンピュータによって実行される、請求項１から２８のいずれか一項に記載のシステム。
【請求項３０】
前記一般的なコンピュータが、前記スキャナに隣接して配置されている、請求項２９に記載のシステム。
【請求項３１】
スキャナである前記画像取得デバイスを備え、前記スキャナが、プリンタと統合されているか、またはプリンタへの取り外し可能な追加物であるか、またはプリンタから離して配置された独立型デバイスである、請求項１から３０のいずれか一項に記載のシステム。
【請求項３２】
前記スキャナは、印刷された製品ラベルの形態で前記プリンタから出力された印刷された媒体を受け取り、前記印刷された媒体を順番にスキャンするように適合されている、請求項３１に記載のシステム。
【請求項３３】
請求項１から３２のいずれか一項に記載のシステムを動作させることを含む、製品ラベルを印刷およびチェックする方法。
【請求項３４】
請求項１から３２のいずれか一項に記載の製品ラベル印刷およびチェックシステムとして機能するように適合されたコンピュータハードウェアであって、ソフトウェアが格納され、および／またはファームウェアが用意されているコンピュータハードウェア。
【請求項３５】
プリンタ、およびスキャナなどの画像取得デバイスに接続された、請求項３４に記載のハードウェア。
【請求項３６】
コンピュータ上で実行されたときに、請求項１から３２のいずれか一項に記載の製品ラベル印刷およびチェックシステムとして機能するように適合されたソフトウェアが格納された物理的な機械可読データキャリア製品。
【請求項３７】
前記基準画像で実行される予備検査ツールトレーニングプロセスを実行するように構成されており、検査ツールが或る領域からの予期された特徴の抽出に失敗した場合に、ツールパラメータが調整される反復プロセスが開始され、前記検査が成功するまで前記検査が繰り返されるように動作する、請求項８から３２のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、製品のラベル付けの分野に関し、特に、ラベルが正確で十分に欠陥がないことを確認するために、ラベルが作成された後にラベルをチェックまたは検査するためのシステムに関する。ラベルは、規制の遵守または出所情報の提供に不可欠であり得る製品の識別子、製造日、ロット番号、および品目番号などの情報を示し得る。これは、薬物（または治験で使用される候補薬物）、航空部品、および医療機器などの高価値製品で特に重要であり、それは、製造から、配送中、最終製品の使用または設置の時点までの「監査証跡」を確立および検証するために必要である。
【背景技術】
【０００２】
ラベルは、典型的には、プリンタ、および巻き取られた裏紙上の粘着紙ラベルなどの適切な印刷媒体を使用してロットでまたは連続で印刷される。使用される典型的なプリンタは、インクジェットプリンタ、レーザプリンタ、昇華型プリンタ、ドットマトリックスプリンタ、およびワックス型熱転写（ｗａｘ  ｔｈｅｒｍａｌ  ｔｒａｎｓｆｅｒ）プリンタである。印刷のコストおよび速度の理由から、ラベル用途にはワックス感熱式プリンタ（ｗａｘ  ｔｈｅｒｍａｌ  ｐｒｉｎｔｅｒ）が好まれる傾向がある。
【０００３】
印刷されたラベルの欠陥としては、スクラッチ、しみ、特徴またはドットもしくはドットクラスタの欠落、エッジのにじみ、バンディング、ストリーク、位置ずれ、軸からの回転、および歪みなどの多くの可能性が挙げられ得る。これらは、プリンタローラの調整不良、プリンタヘッドの調整不良、インクの問題、紙表面の汚れ、または空白もしくは傾斜の原因となるラスターの不一致により発生し得る。
【０００４】
歴史的に、ラベル検査は、通常は定期的に採取されるラベルサンプルの、トレーニングされたオペレータによる目視検査によって「手作業で」行われてきた。この作業は反復的で単調であるため、オペレータのパフォーマンスが低下したり、他の人的ミスが発生したりする。ある研究（Ｂｉｌｌ  Ｓｍｉｔｈの「Ｍａｋｉｎｇ  ｗａｒ  ｏｎ  ｄｅｆｅｃｔｓ」（ＩＥＥＥ  Ｓｐｅｃｔｒｕｍ，ｖｏｌ．３０，ｎｏ．９，ｐｐ．４３−４７，１９９３））は、正解率がわずか８０％であることを明らかにした。人間の介入により、プロセスにコストが追加されるだけでなく、印刷されたラベルを検査できる速度が制限される。個々のラベルをすべて検査する必要があるプロセス（医薬品のラベル付けなど）では、小ロットのラベルのみが印刷されるのでない限り、人間による検査は非現実的である。
【０００５】
機械ベースの目視検査は、様々な基本的な技術を使用することによって使用され得るが、これは、一般に、欠陥のある画像を識別するために実際の印刷画像と比較され得る基準画像の作成を含む。印刷されたラベルのどの部分が重要であるか、「理想」からの逸脱の許容量、およびこれを測定する方法について決定を行わなければならない。
【０００６】
米国特許第４，５８９，１４１号（１９８４年）は、ＴＶカメラがラベルの画像を撮像し、次にラベルの画像が、記憶された基準ラベルピクチャとの比較による検証のためにパターンおよび画像認識回路に送られる自動ラベル検査装置を開示している。オペレータは、ジョイスティックコントローラを使用してラベルの関連部分を識別しハイライトする教示プロセスを実行する必要がある。
【０００７】
米国特許第５，７５５，３３５号（１９９５年）は、ラベルを容器に貼り付けた後に医薬品包装のラベルを検査するための機械ベースの方法を開示している。容器は、回転可能なターンテーブル上に配置され、ラベルは、回転中にラベルのエッジを検出することによって識別される。次に、ラベルは、ラベルの所定の基準または仕様への準拠に関して評価され、非準拠である場合、ラベルは不合格にされる。
【０００８】
より最近では、米国特許出願公開第２００２／００８７５７４号は、ラベルが印刷された後にスキャンデバイスがラベルを読み取る、臨床試験で使用するためのハードコピーラベルの自動検査のための方法を開示している。別個の検査機が、マスターデータファイルとしてロードされるマスターラベル画像と比較されるラベルをスキャンするために使用される。ラベルの異なる領域には、関連する情報の感度に応じて、異なる印刷品質の許容範囲が割り当てられる。ラベルが必要な品質に達していない場合、自動停止が作動する。
【０００９】
国際公開第２０１１／０９０４７５号は、印刷された画像の欠陥を検出するための自動検査システムを開示している。ラスター画像が、プリンタに送信され、印刷媒体（紙など）に印刷される。媒体上の印刷された画像の目的の画像が、印刷された画像よりも低い解像度でスキャナによってキャプチャされる。ラスター画像は、基準画像に変換され、基準画像が、目的の画像の欠陥を検出するために目的の画像と比較される。システムは、カラー画像に合わせて調整されており、基準画像は、シアン、マゼンタ、イエロー、およびブラックの成分で構成される。構造類似度測定方法が、目的の画像の各カラーチャネルに使用される。
【００１０】
国際公開第２０１４／１０８４６０号（その内容は参照により本明細書に組み込まれる）は、ラベルがプリントヘッドから巻き取られるときにインラインラベル検査を可能にするようにスキャナがプリンタハウジングに組み込まれたラベル検査システムを開示している。各ラベル印刷動作の前に、重要なデータを含むラベルの領域を規定し、その領域のスキャン画像で見つかると予期される画像データの性質および品質に応じて、適切な検査ツールを一連の層の各領域に割り当てることによって、スキャンされたラベル画像に対して実行される検査プロセスを構成する検査マスクを含む関連する「トレーニング画像」が作成される。スキャン画像を複数の領域に分割し、領域の内容に最適な検査ツールを選択することによって、必要な画像処理の負担および時間が軽減される。これなどの従来技術のラベル検査システムでは、各ラベルの基準画像またはトレーニング画像の形成は、典型的には印刷されるラベルのまとまりごとに熟練の作業員によって本質的に手動で行われる煩わしい作業である。トレーニング画像の重要な特徴は、所定のラベルフォーマットの正確な検査をもたらすためにトレーニング画像が、印刷されたラベルでテストされ、適切なツールおよびツールパラメータを適用するように手動で最適化（つまり、トレーニング）されていることである。トレーニング画像および数学モデルは、そのラベルの後続の印刷動作で使用するために記憶される。このようにして、トレーニングされた画像のライブラリが作成され記憶され得、これらは、特定の地理的な位置でラベル印刷動作が実行されるときに遠隔からアクセスされてダウンロードされ得る。
【００１１】
これは、ラベルフォーマットの設計およびラベル内容の仕様決めを可能にするＧＵＩベースのラベル作成ソフトウェアを用意することによって、ある程度自動化され得る。別個のステップで、最終的なラベルの画像（スキャンされたまたは撮影された）が取得され、これが評価され、検査ツールおよびデフォルトのパラメータが、ラベルの領域に割り当てられる。オペレータは、検査されるラベルの部分と、静的であるか、またはロットごともしくはラベルごとに変化すると予期されるテキストまたはピクチャなどの情報の性質とを確認する。フレームまたは境界などの、変化しないはずの領域がある。ブランド名、規制マーク、バーコード、色付けまたは陰影付け、ドット、パターンなどのテキストがあり得る。使用方法または保管方法などの情報もあり得る。様々な領域で、線の細さ、フォントサイズ、書体、色、色調、またはコントラストが異なり得る。領域が規定され、その領域に検査ツールが指定されたら、ツールは、ツールが適切な検査を実行できることを確証するためにテストされなければならない。これは、実際のラベルのロットが印刷されるのに先立って、事前に印刷されたダミーラベルに対して実行され得る。検査プロセスを最適化するために、感度、寸法公差、およびパディングなどの検査パラメータを変更し、アルゴリズムを調整し、テストを再実行し得る。したがって、トレーニング画像のセットアップ（およびシステムによる数学モデルの作成）は、何時間もの、さらには何日もの熟練の作業ならびに反復的なテストおよび調整を必要とし得る。
【００１２】
これは、製品ラベルがフォーマット、レイアウト、または内容の何らかの一組の基準に適合するのではない業界では特に問題であり、したがって、「既製」のトレーニングされた画像はめったに利用可能ではない。従来技術の１つの手法は、確立された領域ならびに検査ツールおよびアルゴリズムを伴う所定のトレーニング画像に関して特定のラベル基準を採用することをユーザに要求することであった。これらは、リモートサーブで一元的に保持され得るし、ラベル印刷動作に先立ってウェブサイトからダウンロードするためにアクセス可能であり得る。しかしながら、これは、ユーザを特定のサプライヤに縛り付け、ラベルデザインの柔軟性を阻害する。
【００１３】
確認されている別の問題は、ラベル検査のデータ処理要求が厳しく、複雑で時間のかかる画像分析ルーチンおよび方法が必要なことである。コンピュータビジョンソフトウェアは、市販とオープンソースの両方で入手可能である。１つの市販のサプライヤは、ＶｉｓｉｏｎＰｒｏおよびＶｉｓｉｏｎ  Ｌｉｂｒａｒｙマシンビジョンソフトウェアを擁するＣｏｇｎｅｘである。オープンソースのサプライヤは、Ｏｐｅｎ  ＣＶ（Ｏｐｅｎ  Ｓｏｕｒｃｅ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｌｉｂｒａｒｙ）である。これらはどちらも画像検査ツールのライブラリを提供する。不可避的に、これらのツールは、一般的なビジョンユーティリティを提供するように構成されており、必ずしも、印刷されたラベルの検査などの特定の内容の要求に合わせて調整されていない。
【００１４】
ラベルを３００または６００ｄｐｉの典型的な解像度でスキャンした画像は、解釈を可能にするために画像処理技術およびアルゴリズムによってデコードする必要がある大量の情報を含む。一般的に、市販の実装では、データ処理は、プリンタ／スキャナの組み合わせから離れた専用の処理システムで実行される。したがって、スキャンされる各ラベルに関して、次のラベルがスキャンされるか、またはその画像が評価される前に、スキャンしてデータパケットをプロセッサに送信し、これをデコードし、ラベルを合格または不合格にするために、かなりの時間が必要になり得る。このため、ラベル検査プロセスは、ラベル印刷プロセスの速度を低下させ、最終的に、全体の生産速度およびコストに影響を及ぼし得る。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】米国特許第４，５８９，１４１号
【特許文献２】米国特許第５，７５５，３３５号
【特許文献３】米国特許出願公開第２００２／００８７５７４号
【特許文献４】国際公開第２０１１／０９０４７５号
【特許文献５】国際公開第２０１４／１０８４６０号
【非特許文献】
【００１６】
【非特許文献１】Ｂｉｌｌ  Ｓｍｉｔｈ，“Ｍａｋｉｎｇ  ｗａｒ  ｏｎ  ｄｅｆｅｃｔｓ”，ＩＥＥＥ  Ｓｐｅｃｔｒｕｍ，ｖｏｌ．３０，ｎｏ．９，ｐｐ．４３−４７，１９９３
【発明の概要】
【発明が解決しようとする課題】
【００１７】
【課題を解決するための手段】
【００１８】
本発明の一態様によれば、データ処理手段を備える製品ラベル印刷およびチェックシステムであって、データ処理手段は、製品ラベルの印刷を制御し、光学式スキャナなどの画像取得デバイスによる、印刷されたラベルの画像の取得および受信を制御し、欠陥に関して印刷されたラベルをチェックするように構成されており、印刷されたラベルのそれぞれは、ラベルのラベルフォーマット仕様に準拠し、それにより、ラベルは、共通のレイアウトを有し、ラベル上の１つ以上の領域に配置された印刷された製品関連情報を含み、データ処理手段は、ラベルの基準画像が提供されるラベルチェックモジュールを含み、チェックモジュールは、ラベル領域の予期される情報内容および位置に関連する所定の品質管理指標に従って取得された画像が基準画像と順次比較されるように構成されており、ラベルが非準拠である場合、ラベルには、再検査または不合格のフラグが立てられる、製品ラベル印刷およびチェックシステムが提供される。
【００１９】
ラベルフォーマット仕様は、印刷動作前に、アクセス可能なファイルの形態で決定および／または記憶され得る。これは、その後、そのラベルフォーマットを使用して印刷動作前にデータ処理システムによって検索され得る。
【００２０】
システムは、典型的には、プリンタの動作を制御するための制御信号を出力するように構成される。システムは、典型的には、スキャナの動作を制御するための制御信号を出力するように構成される。システムは、画像取得デバイスから取得された入力信号を受信および処理するように構成され得る。
【００２１】
本発明の態様では、ラベルフォーマット仕様は、各ラベルを印刷するためにプリンタに送信される命令を提供するために使用され得る。好ましくは、基準画像は、ラベルフォーマット仕様から構築された電子画像（ｅ−ｉｍａｇｅ）である。好ましい態様では、プリンタに送信される命令は、基準電子画像を構築するために使用される。動作中、基準電子画像は、関連するラベルの印刷と並行して用意される。
【００２２】
基準画像には、典型的には、基準画像の領域とシステムに記憶されている検査ツールとを関連付ける検査マスクが提供され、ツールは、取得された画像上の対応する領域で検査される情報のタイプに対して適切に割り当てられる。好ましい構成では、最良の検査ツールおよびパラメータ設定を選択するために、検査ツールのうちの１つ以上は、ラベルフォーマット仕様および一組のルール（またはウィザード）を使用して、関連付けられる領域に割り当てられる。
【００２３】
好ましい態様では、基準画像は、ラベルを印刷するときにプリンタに命令するために使用される情報から構築された電子画像である。基準電子画像を構築するために（または、基準電子画像を構築するのと同じプロセスで）プリンタに送信される画像を使用することによって、予期された印刷画像と取得されたスキャン画像との間の変動が変化し得る度合いが大幅に制限される。しかしながら、代わりに、基準画像は、模範的な準拠ラベルのインポートされた画像として取得されてもよい。
【００２４】
基準画像には、典型的には、基準画像の領域とシステムに記憶されている検査ツールとを関連付ける検査マスクが提供され、ツールは、取得された画像上の対応する領域で検査される情報のタイプに適する。検査ツールのうちの少なくとも１つは、パラメータ設定を有し得、検査マスクを形成する際に、パラメータは、ツールのパフォーマンスを最適化する値に設定される。典型的には、ほとんどまたはすべてのツールが、１つ以上のパラメータ設定を有する。
【００２５】
本発明の特定の態様では、データ処理手段は、ラベルのロットを印刷するプロセスの開始時に、基準画像とそれに関連付けられた検査マスクが、ラベルフォーマット仕様を使用して確立され、任意選択で検査ツールパラメータが割り当てられるように構成される。したがって、基準画像とそれに関連付けられた検査マスクは、ラベル領域の位置、領域情報、および検査ツールならびに任意選択で検査ツールパラメータに関して仕様を組み立てることによってリアルタイムで構成され得る。これは、以下で説明されるように、検査マスクウィザードによって実行され得る。仕様は、少なくとも部分的に、印刷プロセスに先立ってラベルを生成するときに所定のラベルフォーマット仕様をインポートすることによって組み立てられ得る。
【００２６】
検査マスクを構築する際、検査ツールが（タスクに適したツールを使用して）ある領域から予期された特徴を抽出することに失敗した場合に、ツールパラメータが調整される反復プロセスが開始され、検査が成功するまで検査が繰り返されることが一般的である。このテスト検査および反復最適化は、トレーニングプロセスと呼ばれ得る。
【００２７】
従来技術のプロセスでは、これらの検査マスク作成、電子画像および数学モデルの記憶、テストおよび最適化のステップは、ラベル印刷ステップのプロセスに十分に先立って別個のプロセスとして実行されていた。マスク作成および最適化プロセスならびに適切な検査ツールの選択を自動化することによって、本発明者らは、事前に用意され、遠隔に記憶された電子画像および数学モデルに依拠するのではなく、印刷動作の開始時にオンザフライで基準画像および数学モデルを生成することができた。
【００２８】
検査マスクが作成され、テスト／最適化されたら、本番の印刷動作でラベルをチェックするプロセスが開始され得る。したがって、チェックモジュールは、好ましくは、全体としてラベルの準拠を評価するために各検査領域が基準画像の対応する領域と比較されるように構成される。
【００２９】
好ましくは、ゴールデンテンプレート比較（ＧＴＣ：ｇｏｌｄｅｎ  ｔｅｍｐｌａｔｅ  ｃｏｍｐａｒｉｓｏｎ）が、基準画像および取得された画像上の領域のうちの１つ以上を比較するために使用される。ゴールデンテンプレート比較は、テキストまたはピクチャ検査ツールに関連付けられた１つ以上の領域に適し、好ましくは、テキストまたはピクチャ検査ツールに関連付けられたすべての領域に対して使用される。
【００３０】
本発明のさらに別の態様では、基準画像は、最初のラベル画像を印刷する用意をするときに印刷命令をプリンタに送信するときに使用される情報を使用して構築される電子画像である。これは、ラベル画像に組み込まれた印刷内容の理想的なバージョンを表す。電子画像を更新することにより、ラベルごとに変化するシリアル化されたデータが許可され得る。
【００３１】
効率的な処理を確保するために、プリンタに印刷命令を送信し、印刷されるラベル画像をレンダリングするのと並行して、電子画像とそれに関連付けられた検査マスクが構築されるべきである。したがって、プリンタが画像をレンダリングしているときにマスクが構築され得る。
【００３２】
ロットに対して一定であるデータを有するラベルが、ロットで印刷され得る。この場合、各ラベルは、印刷内容に関して同一でなければならない。多くの場合、シリアル化されたデータ（例えば、製品シリアル番号の）またはランダム化されたデータ（薬物治験で必要とされ得る）が必要になる。これらの場合、印刷されたラベルの１つ以上の領域は、ラベルごとに変化するシリアル化またはランダム化された情報を含む。この場合、電子画像の対応する領域は、各ラベルの印刷後に修正され得、その場合、情報が変化する領域には、ラベル印刷命令に対応する変化に応じて、変更された情報が入力される。
【００３３】
画像比較ステップを容易にするために、より近い一致をもたらすために基準画像を調整して、意図しない欠陥またはエラーのみがハイライトされるように、様々な手段がとられ得る。したがって、基準画像は、スキャナ（したがって、その画像）の解像度に近似する、または好ましくは一致する解像度（通常は１インチあたりのドット数（ＤＰＩ：ｄｏｔｓ  ｐｅｒ  ｉｎｃｈ）で測定される）に調整され得る。
【００３４】
基準画像は、スキャン画像の外観により近づくように基準画像をぼかすぼかしフィルタにかけられてもよい。スキャンプロセスでは、スキャンシステムの光学系および画像センサの特性により、不可避的にぼけが生じる。電子画像である基準画像は、シャープなエッジを有する理想的な画像を表す。一方、スキャンされたラベル画像とのより良い比較では、似たものを比較するために、不可避的なぼけが考慮される（そして、この比較は一致した解像度で最良に行われる）。
【００３５】
システムは、スキャン画像が、スキャン画像に存在する歪みを軽減または補正するために幾何学的変換を受け、変換が、基準画像とスキャン画像が比較される前にスキャン画像に適用されるように構成され得る。変換は、好ましくは、基準画像に対するスキャン画像の予備的な比較分析を実行することによって導出される。また、これにより、ラベルチェックの比較ステップで似たものを比較することが保証される。スキャン画像は、当該の機械に存在する適度に厳しい機械公差を考慮すると、いかなる場合でも、許容できないほど極端な歪みを示す可能性は低い。これは、境界制限を歪みの量に設定することによって変換の問い合わせプロセスを簡略化する機会を提供する。変換は、基準画像に対するスキャン画像の一致する複数のキーポイントの分析から導出され得る。
【００３６】
本発明のさらなる態様によれば、システムは、基準画像から抽出されたキーポイントとスキャン画像の対応するキーポイントを一致させることに依拠するテキストまたはピクチャ検査ツールであって、その場合に、ｘ軸とｙ軸の両方でキーポイントの変位をロギングすることによってスキャン画像の平行移動が計算される、テキストまたはピクチャ検査ツールを含み得る。ヒストグラムが、相対変位の関数としてキーポイントペアの度数を表すログデータから導出され得、ヒストグラムのピークは、正しいキーポイントの変位の最良の推定を表すと見なされる。
【００３７】
手法を最適化し簡略化するために、重複するまたはスプリアス（ｓｐｕｒｉｏｕｓ）のキーポイントペア（不可避的に発生する）が、ヒストグラムのピークの所定の距離内、例えば１０ピクセル以内の平行変位がないキーポイントペアをビニングすることによってデータセットからビニングされ、これにより、削減されたデータセットが作成される。ヒストグラムピークは、削減されたデータセットを使用して再計算され得る。
【００３８】
データ処理手段は、単一のコンピュータまたはコンピュータのネットワークを備える。少なくとも取得またはスキャン制御およびラベルチェックモジュール機能は、一般的なコンピュータによって実行され得る。一般的なコンピュータは、好ましくは、スキャナとの直接ケーブル接続を可能にするように近くに配置される。
【００３９】
システムは、好ましくは、画像取得デバイスを含む。これはデジタルカメラあってもよいが、典型的には、これはスキャナである。スキャナは、プリンタと統合されてもよいし、またはプリンタへの取り外し可能な追加物であってもよいし、またはプリンタから離して配置される独立型デバイスであってもよい。スキャナは、印刷された製品ラベルの形態でプリンタから出力された印刷された媒体を受け取り、これらを順番にスキャンするように適合され得る。
【００４０】
本発明のさらに別の態様では、プリンタ、およびスキャナなどの画像取得デバイスに接続されたときに前述のようなデータ処理システムとして機能するように適合されたコンピュータハードウェアには、ソフトウェアが格納され、および／またはファームウェアが用意される。
【００４１】
本発明のさらなる態様では、コンピュータハードウェアで実行されたときに前述のようなデータ処理システムとして機能するように適合されたソフトウェアが格納された物理的な機械可読データキャリア製品またはデジタル媒体ストレージデバイスが提供される。動作中、システムは、プリンタ、およびスキャナなどの画像取得デバイスに接続される。
【００４２】
本発明とともにまたは本発明で使用するのに適したプリンタは、プリントヘッド、液体またはワックスベースであり得るインク供給部、紙給送および／または搬送機構、サーバコンピュータまたはネットワークコンピュータ用の物理または無線コネクタを含む。
【００４３】
画像取得デバイスは、カメラであってもよいが、より典型的には、当技術分野で知られているような、スキャンヘッドおよびセンサを有するスキャナである。スキャナは、内部メモリを有し得、および／または前述のようなデータ処理ユニットにスキャンデータを直接送信するように構成される。
【００４４】
コンピュータは、典型的には、処理アーキテクチャおよびメモリ（コンピュータの内部にある場合もあるし、または外部および／もしくは遠隔に配置される場合もある）を有する。視覚表示ユニットと、キーボード、マウス、または他のこのようなデバイスなどのデータ入力デバイスとがあり得る。動作を最適化し、長距離でのデータの送信を最小限に抑えるために、システムを動作させ、プリンタおよびスキャナ（または他の取得デバイス）を制御するための単一のコンピュータがあり得る。
【００４５】
以下は、本発明をその様々な態様で実施するためのモードのほんの一例としての説明である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態によるラベル印刷およびチェックシステムのコンポーネントを表す概略フローチャートである。
【図２】本発明によるシステムによって実行される動作を表す概略フローチャートである。
【図３】基準電子画像を生成するためのフローチャートである。
【図４】架空のシンプルなラベルデザインの例のスクリーンショット画像である。
【図５】情報ブロックが適用された同じ画像である。
【発明を実施するための形態】
【００４７】
図１は、本発明で使用するための関連周辺装置を含むラベル印刷およびチェックシステムを概略的に示している。データ処理ユニットは、この例では、以下の説明および特許請求の範囲に記載されている、本発明を実行することができるようにソフトウェアによって構成されたコンピュータである。データ処理には、印刷された各ラベルが最低基準に準拠しているかをチェックされる印刷動作を実行するための、ラベルデザインウィザードを実行するためのソフトウェアがロードされる。図に示されているように、データ処理ユニットは、順番に印刷するための巻き取られたラベルが装填されるプリンタ（典型的にはワックス感熱式プリンタ）に接続される。各ラベルが印刷されると、各ラベルは、各ラベルをスキャンするためのスキャナヘッドを有するスキャナに給送される。スキャナは、各ラベルのスキャン画像を作成し、これは、分析、および印刷されることを意図されたラベルの基準画像との比較のためにデータ処理ユニットに送信される。本発明は、以下でより詳細に述べられるデータ処理ユニットの構成にある。したがって、本発明は、当技術分野で知られているそのような適切なデバイスであり得るプリンタおよびスキャナとは潜在的に無関係であるが、これらの周辺装置を含む場合もある。
【００４８】
図２では、データ処理ユニットによって実行されるプロセスが概略的に表されている。ラベルフォーマット仕様が用意されていることが仮定される。ラベルの印刷動作が設定され、最初のステップで検査マスクが用意され、このステップは事前に行われてもよい。オペレータは、既存のラベルデザインを使用することを選択し得る（関連するラベルフォーマット仕様が検索される）。
【００４９】
メモリからラベルフォーマット仕様が検索されたら、検査マスクの用意が開始され得る。これは、ロット印刷動作に先立ってまたはこれの開始時に行われ得る。最初のステップとして、検査マスクが作成される。検査マスクウィザードは、ラベルの内容（情報およびレイアウト）を分析し、存在する情報のタイプ、例えばテキスト、画像、ロゴ、線などに適した画像分析ツールを選択する。
【００５０】
ロット印刷動作の開始時に、プリンタに送信される、ラベル印刷のコマンドが生成される。同じ印刷命令は、印刷される最初のラベルの電子画像を生成するために使用される。電子画像は、ぼかしマスクを適用し、スキャナの解像度に一致するようにサイズ変更することによって調整され、これにより、電子画像は可能な限り近づけられる。
【００５１】
次に、検査マスクで指定された検査ツールが、電子画像、ラベル仕様からの情報、およびツールパラメータ設定を使用してトレーニングされる。
【００５２】
したがって、システムは、基準画像（または電子画像）で実行される予備検査ツールトレーニングプロセスを実行するように構成され得、検査ツールがある領域からの予期された特徴の抽出に失敗した場合に、ツールパラメータが調整される反復プロセスが開始され、検査が成功するまで検査が繰り返されるように動作し得る。トレーニングが完了したら、システムは、ラベルチェックを実行する準備が整う。
【００５３】
本発明の新規な態様によれば、トレーニングが行われている間に、ラベルが印刷される。スキャナが起動され、印刷されたラベルのスキャン画像を取得する。次に、このラベルスキャン画像は、検査マスクで規定された検査ツールを使用して電子画像と比較される。シリアル化されたデータ（ラベルごとに変化する）の場合、電子画像は、プリンタに送信されるラベル情報の変化を反映するように再構成され得る。スキャンおよび比較のプロセスは、ロットが印刷されてすべてのラベルがチェックされるまで続く。非準拠ラベルにフラグが立てられた場合、印刷の中断またはアラーム音など、様々な応答が起こり得る。内容がラベルごとに変化しない場合、残りのラベルに関して電子画像およびトレーニングされた検査ツールは再生成されない。
【００５４】
以下のページでは、特定の実施形態で本発明を実施することにかかわる様々なプロセスステップを詳細に説明する。
【００５５】
ラベル作成−ラベルウィザード
ラベル生成ソフトウェアは、同じ製品またはデータセットに関する特定の印刷動作または複数の印刷動作のラベルを作成するためにオペレータによって使用される。
【００５６】
ラベルフォーマットは、領域のリスト、この場合はブロックのリストで構成される。ラベルフォーマットは、ラベルを作成するために必要なすべてのデータを正確に指定するスキーマにリンクされ得る。あるスキーマは、序列／階層を形成するために別のスキーマを参照し得る。ラベルに利用可能なすべてのデータは、ラベルエディタの横にドッキングされた変数ペインとしてユーザに提示されるツリー構造を形成する。
【００５７】
ユーザは、変数ペインからの内容をラベルに入力するためにドラッグ／ドロップを使用し得る。
【００５８】
新しいテキストブロックを作成するために、文字列変数がペインからドラッグされ、ラベルにドロップされ得る。
【００５９】
関連変数のグループの上にコンテナとして表示される参照変数が、サブラベルを挿入するためにラベルにドラッグされ得る。
【００６０】
多言語文字列変数は、変数ペインにそれ自体の特定の表現を有する。
【００６１】
ラベルに変数画像を追加するために、画像変数がラベルにドラッグされ得る。
【００６２】
変数は、デフォルトの内容をテーブルのセルに追加するためにテーブル内のそのセルにドラッグされ得る。
【００６３】
ブロックの配置
ラベル上のブロックは、長方形のバウンディングボックスを有する。利用可能なブロックは以下を含む。
【００６４】
テキスト−リッチテキストの書式設定、ワードラップ、および複数の変数の挿入。ブロック内のテキストの幅は拡大または縮小され得る。アプリケーションは、テキストがレンダリングされているブロックにテキストが自動適合することを可能にする。これは、テキストブロックの、スペースへの適合のパラメータによって制御される。次に、これは、テキストの最大および最小ポイントサイズの入力を可能にする。幅の拡大は、任意選択で有効にされ得、これにより、最良のポイントサイズが適合する場合はフォントの幅が増やされ、最小のポイントサイズがはみ出す場合はフォントの幅が減らされることが可能になる。幅の拡大には、最大および最小のパーセンテージ設定がある。
【００６５】
バーコード−当技術分野における標準的な慣行に従って、様々なバーコード記号体系がサポートされている。画面上でバーコードブロックを正しくプレビューするために、インターフェースは、ラベルが印刷されるプリンタの解像度をユーザが設定することを可能にするコントロールを備える。これは、印刷されるバーコードがラベル上に占めるスペースを計算する。アプリケーションは、ユニットサイズおよび行の高さの最良の適合を計算することによってユーザがバーコードを特定のブロックサイズに自動適合させることも可能にする。
【００６６】
ピクチャ−ラベルデザインシステム内に存在する画像エンティティのみが、ラベルフォーマットに追加されるようにサポートされる。
【００６７】
線−２点間の水平線または垂直線が指定され得、線の引き方の標準オプションがある。
【００６８】
形状−長方形（角の丸い長方形を含む）または楕円形、任意選択で線が引かれた／塗りつぶされた形状。
【００６９】
テーブル−特定の数の行および列が指定され得る。テーブルには他のブロックが配置され得、その場合、他のブロックの位置およびサイズを手動で調整して整列させる必要はなく、他のブロックは、テーブルの配置から自動的にその位置を得る。
【００７０】
サブラベル−別のラベルフォーマットへの参照、これにより、参照先のラベルは親ラベルにレンダリングされる（以下を参照）。
【００７１】
リッチテキストコンテンツ−テキストブロックをラベルに追加するとき、ユーザは、個別文字レベルコントロールまたは書式設定のブロックレベルコントロールのいずれかを使用してリッチテキストコンテンツを追加し得る。文字レベルフォーマットコントロールは、テキストブロックが編集のために開かれているときに利用可能である。
【００７２】
以下の機能が、ユーザに利用可能である。
１．選択されたテキストに使用するフォントの選択
２．選択されたテキストのフォントサイズの選択
３．選択されたテキストの太字の切り替え
４．選択されたテキストの斜体の切り替え
５．選択されたテキストの下線の切り替え
６．選択されたテキストの取り消し線の切り替え
７．選択されたテキストの左揃え
８．選択されたテキストの中央揃え
９．選択されたテキストの右揃え
１０．選択されたテキストの両端揃え
１１．選択されたテキストの上付き
１２．選択されたテキストの下付き
１３．選択されたテキストのフォントの色および背景色
【００７３】
リッチテキスト変数タイプがスキーマ内で指定されている場合、これにより、ユーザは、テキストコンテンツおよびテキストに関連付けられた書式設定を指定できる。これは、下付きまたは上付きテキストを使用して化学式を指定したり、ラベルフォーマット内ではなくデータ内の特定のテキストの色を選択したりするために使用され得る。
【００７４】
サブラベル
ラベルフォーマットはそれ自体、別のラベルフォーマット内のブロックとして使用され得る。別のラベルのレイアウト内に配置されたラベルは、サブラベルとして機能する。テキストブロックが、テキストデータをテキストブロックに提供するために変数を使用するように構成され得るのと同様に、サブラベルブロックは、サブラベルブロックが必要とするデータをサブラベルブロックに提供するために変数を使用するように構成されなければならない。サブラベルの使用は、必要な深さにまで拡張され得る。したがって、特定のロットは、一般的な製品ラベルによってほとんど対処されるカスタムラベルを、スペース全体をカバーするサブラベルとしてそれを使い尽くすことによって使用し得る。次に、それらは、中央の空白スペースに追加の変数を挿入し得る。
【００７５】
ラベル変数
ラベル変数は、ラベル固有のデータ（つまり、ラベルごとに変化する情報）が規定され、レイアウトに配置されることを可能にする。このデータは、シーケンス番号、日時、またはリストのいずれかであり得る。いったん規定されたら、これらのラベル変数は、これらが規定されているラベルフォーマットに固有となる。シーケンス番号には、開始値、インクリメント、およびシーケンスが繰り返された回数を示す値がある。番号の最大長が指定され、それは先行ゼロを有するようにも構成され得る。これらの値は、定数であってもよいし、計算されてもよいし、利用可能なスキーマ内のフィールドであってもよいし、または促された変数（プロンプト変数：ｐｒｏｍｐｔｅｄ  ｖａｒｉａｂｌｅｓ）であってもよい。
【００７６】
検査マスクおよびトレーニング
従来技術の独立型ビジョン検査システムでは、オペレータは、実際のラベルのスキャンを行ってから、そのスキャンしたラベルの各領域を手動でマークアップし、その領域を検査する方法を規定するという面倒な作業を行う必要がある。本発明によれば、ウィザードは、ラベルシステムがラベルのデザイン／内容に関して保持している知識と組み合わせて、このプロセスを自動化することを可能にし、これにより、これを手動で行うのに必要な時間が大幅に短縮され、また、ウィザードは、ビジョンエンジニアが関与する必要がなくなるように設計されている。
【００７７】
ラベルおよび印刷
ラベルチェックのための典型的なシステムは、一方では、プリンタにサービスを提供するコンピュータにロードされたラベル印刷ソフトウェアからラベル印刷命令を受信するプリンタを含む。好ましい態様のプリンタは、印刷あたりのコストが低く、印刷が高速なワックス感熱式プリンタである。しかしながら、インクジェットプリンタ、昇華型プリンタ、ドットマトリックスプリンタ、またはレーザプリンタを含む他のプリンタが使用されてもよい。薬または臨床試験のラベル付けなどの用途では、通常、各ロットのすべての印刷されたラベルの欠陥テストを行う必要がある。
【００７８】
ラベルは、典型的には、裏の巻取紙に付着した粘着紙ラベルにロットで印刷され、ラベルは、容器またはパッケージに貼り付けるためにそこから剥がされ得る。もちろん、本発明は、このようなラベルに限定されず、媒体がその上への印刷を可能にするようにプリントヘッドを通過して搬送され得るならば、普通紙、ポリマーフィルム、パッケージの切り抜き（ｐａｃｋａｇｅ  ｃｕｔ−ｏｕｔｓ）（容器を形成するため）、厚紙などの任意の適切な印刷媒体が使用され得る。
【００７９】
印刷されたラベルは、その最も簡単な意味では、英数字テキストで表現された製品コードであり得る。より一般的には、ブランディング、使用方法、ロット番号、製品番号、認証マーク、製造日、使用期限、重量値などのテキストが混在する。テキストは、同じまたは異なる書体、フォントサイズ、および異なる向き（例えば、水平または垂直）で存在してもよい。テキストは、異なる言語であってもよいし、または中国語および日本語の記号もしくはアラビア文字などの非ラテン語のテキストであってもよい。製品画像、商標、ロゴ、説明図（ｓｃｈｅｍａｔｉｃ  ｉｎｓｔｒｕｃｔｉｏｎｓ）などのピクチャもあり得る。ピクチャは、モノトーンであってもよいし、グレースケール調のものであってもよいし、またはディザリングされたものであってもよい。ラベルには、境界線、枠、または他の画像およびテキストが事前に印刷されていてもよい。
【００８０】
印刷される情報は、製品固有、ロット固有、またはシリアル（各ラベルが品目番号または特有の製品シリアル番号などの異なる情報を有するという意味で）のものであり得る。データは、非連続的である場合もあり、臨床試験では無作為であり得る。ラベルは、様々な形状、正方形、長方形、丸形、長円形、または設計者が指定した他の形状であってもよい。ラベルは、任意のフォーマット、レイアウト、内容で提供され、静的な、ロット固有の、または製品／品目固有の情報を有し得る。実際には、多くのラベルは、一般に、角は丸いが直線で囲まれたものである。丸い角は、画像においてラベルの位置および向きを識別するのに有用な視覚的特徴である。
【００８１】
印刷されたラベルは、一部の実施形態では、ロットで印刷され得、ラベルスタックは、ラベルのスキャニングのために別個のスキャナに移送される。この場合、スキャナは、典型的には、（関連する裏層（ｂａｃｋｉｎｇ  ｌａｙｅｒ）上の）印刷された媒体のロールまたは蛇腹折りされたもの（ｃｏｎｃｅｒｔｉｎａ）をスキャナを通過するように引き込むためのトラクターフィード（または類似物）を含む。スキャナでラベル画像をキャプチャする代わりに、写真センサで各ラベルをキャプチャしたデジタル画像を使用することが可能である。しかしながら、本発明の好ましい配置は、印刷されたラベルの一連のスキャン画像をキャプチャするために、ラベルが印刷されるとすぐに、ラベルがスキャンされるように、プリンタのプリントヘッドのすぐ下流にスキャナを取り付けるものである。プリンタとスキャナは、単一の機械に統合されてもよいし、または互いに組み合わされる２つの別個の物品であってもよい。通常、ラベルの精度が重要であり、チェックされなければならない印刷動作を実行するようにラベル印刷システムが修正されている場合は、後者である。
【００８２】
発生する印刷の問題に対処するために、ほとんどの実施形態では、ラベルチェックを「オンザフライ」で実行し、ラベル印刷プロセスと同期させることが重要であり、これにより、欠陥が検出された場合に、印刷動作を一時停止もしくは遅くするか、または欠陥の原因となっている問題に対処するために印刷パラメータを調整し得る。
【００８３】
欠陥検出がロット印刷とは別であるロット動作プロセスでは、欠陥のあるラベルはそれでも検出されるが、欠陥がラベルの一部にわたって系統的であることが判明した場合、かなりの時間および材料の無駄が生じる。
【００８４】
発生し得る欠陥としては、目標の位置からの情報のずれ、スクラッチ、しみまたは「斑点」、一部またはドットの欠落、ストリーク、バンディング、および濃度変動が挙げられる。欠陥は、孤立している場合もあれば、時間とともに悪化し得る傾向を示す場合もある。ラベルを不合格にすることを必要とし得る欠陥もあれば、それほど致命的ではなく、許容され得る欠陥またはプリンタの保守が必要かもしれないことを示すために使用され得る欠陥もある。しかしながら、医療、医薬品、または薬物治験の用途などの重要な用途では、不合格にしなければならないラベルを検出し、これに対応することに主に関心がある。印刷中だけでなくスキャンプロセス中にもエラーが発生し得ることも認識されるべきであり、したがって、誤った結果および不必要な不合格を回避するために、搬送される印刷媒体（例えば、ラベルアレイ）に対するスキャナの位置合わせ、安定性、および許容誤差が極めて重要である。しかしながら、プリンタのエラーは、光学的相互作用を伴うスキャナよりも本質的に（様々なモードで）欠陥を発生させやすいため、多数を占めがちである。
【００８５】
その後、スキャン画像はそれぞれ、通常は１つずつ、目標のまたは目的のラベル内容を表す基準画像と比較される。本発明では、基準画像は、標本ラベルの実際の画像から導出される、または好ましい実施形態では、ラベルプリンタに送信される印刷命令から導出されるデジタルのまたは電子的な「電子画像」である。
【００８６】
検査マスクの用意
発明者らは、検査マスクをセットアップし、それを確実に機能させるためにそれをトラブルシューティングすることにかかわるステップの多くが単純なルールによって規定され得ることを確認した。これらのルールは、表示される情報の性質およびフォーマットに関して基本的な類似点を有する異なるラベルに何度も使用される必要があり得る。したがって、これらのルールの確立を自動化するウィザードが作成された。ウィザードは、ラベルに印刷された異なる製品データセットを含む、ラベルの各ブロックに適した検査ツールおよび感度を特定することによってラベルの良好な検査をもたらそうとする。
【００８７】
好ましい態様では、本発明のシステムは、検査マスクウィザードおよびスクリプトを使用することによって検査のためにラベルを自動的にマークアップし得る。ウィザードは、仮マスクを取得するために、以前に取得されたラベル画像に関連して実行され得る。その後、仮マスクは、検査プロセスで使用され得る。基準以下の初期パフォーマンスのために仮マスクの微調整が必要となる可能性が高い場合、ウィザードは、画像処理を自動的に変更するように設定されてもよいし、またはその後オペレータによって呼び出され得る、マスク変更の推奨事項をオペレータに知らせてもよい。仮マスクは、正しい画像処理検査ツール（例えば、テキストまたはピクチャ用の）および各ツールの感度オプションを選択するために、検査ウィザードを使用してラベルのフォーマットおよび内容を事前に分析するウィザードによって作成される。ウィザードは、ラベル上の内容が重複する領域をチェックし、これらの領域を正しく処理するためのマスキングプロトコルを提供するようにも適合され得る。仮の検査マスクが形成されたら、トレーニングのエラーまたは警告が発生するかどうかを確認するためにテストラベル検査が実行される。ただし、好ましくは、トレーニング画像または変換されたトレーニング画像は、データ処理手段（または任意の関連するデータ記憶設備）に記憶されない。
【００８８】
ラベルフォーマットの印刷可能なブロックごとに、ウィザードは、適切な検査ツール、検査感度、および探索領域を選択し、ビジョン検査ランタイムコンポーネントがブロックの理想的な表現を提示されたときに各ブロックを正常に識別し得ることのテストに進む。ブロックが最初の試行に失敗した場合、ウィザードは、識別の成功に繰り返し到達するために検査のパラメータを調整する方法に関する所定のプロトコルに従う。
【００８９】
例えば、ラベルのブロックは、ウィザードによって処理され、これは最初に、高感度かつタイト（ｔｉｇｈｔ）な探索領域に「高品質」検査ツールを設定することから開始される。その後実行される検査が、理想的な環境でビジョンランタイムコンポーネントによって正常に識別され得ない場合、ウィザードは、識別合格を達成するために中程度の感度（高感度ではなく）かつタイトな探索領域で「高品質」検査ツールを使用することを選択するようにプログラムされ得る。すべてのラベル領域の合格が得られたら、検査マスクは、ラベルの印刷および検査プロセスで使用され得る。
【００９０】
トレーニング／テスト時間中に、ウィザードは、検査マスクの手動修正を可能にするために、スキャンした結果を使用するように命令され得る。ウィザードは、検査マスクに加えられる変更に関して推奨事項を提供し、これは、ユーザによって承認または拒否され得る。代わりに、ユーザは、検査要求を満たすために必要に応じて調整を行うためにマスク設定を手動で修正し得る。推奨事項は、典型的には、変更の適用または詳細の確認を行うオプションとともにテキスト形式でユーザに提示される。この場合、好ましくは、ユーザには、行われている推奨に関連するエラーまたは問題のグラフィック例が示される。
【００９１】
検査マスクを作成するプロセスを簡略化するために、検査マスクウィザードを使用して、候補検査マスクを自動的に作成し、次に目的のラベルフォーマットに合わせて検査マスクをトレーニングし得る。検査マスクウィザードスクリプトは、検査マスク構成内に組み込まれた、画像分析プロセスが設計および印刷された各タイプのラベルブロックと様々な検査ツールのそれぞれとを関連付ける方法、それらの感度、および規定済みの探索領域を規定する。スクリプトは、特定のブロックの「トレーニング」または認識に失敗した場合にウィザードがどのように動作すべきかも規定する。
【００９２】
本発明のもう１つの詳細な例において、ウィザードがトレーニング時にとるいくつかのステップは以下である。
１．ラベルが角の丸いラベルストックを有する場合、４つの角のフィクスチャレイヤ（ｆｉｘｔｕｒｅ  ｌａｙｅｒ）を作成する。
２．ブロックごとに、検査ウィザードプロファイルの所定の設定に基づくデフォルトの検査ツール、感度、および探索領域が使用される。特定のタイプのブロックでは、追加の決定が行われ得る。
ａ．ブロックがテキストである場合、テキストサイズに基づいて検査の精度（および中国語などの複雑な文字を使用するかどうか）を選択する。
ｂ．ブロックがピクチャである場合、画像がディザリングされているかどうかを判定し、適切な設定を使用する。
ｃ．ブロックがバーコードであり、個々のバーコードラインのサイズが小さい場合、バーコードを読み取るだけで、グレーディングしないように設定する。
３．ブロックがラベルのエッジにどれだけ近いかを考慮に入れて、ブロックにデフォルトのパディングを追加する。
４．ブロックの重複があるかどうかを調べる。ある場合、パディングを使用してブロックサイズを小さくしようとする。パディングを使用できない場合、印刷された内容がない、ブロック上のいくつかの除外部分を切り取る。最終的な内容が不明となり得るブロックがあり得る。その場合、ウィザードは、除外部分の切り取りを決定するようにとのユーザへの推奨事項を生成し得る。
【００９３】
スキャン画像をテストするとき、ウィザードは、一般的な検査エラーを別の設定で解決しようとする。例えば、角が見つからない場合、それは、暗い角を検出するための設定を試す（つまり、ラベルストックが背景よりも暗い場合）。
【００９４】
印刷プロセス
ラベルロットの印刷に使用されるラベルに対してマスクが用意されたら、印刷プロセスが実行され得る。図［フローチャート］のフローチャートは、印刷プロセスを概略的に示している。以前に形成された検査マスク（上記を参照）が検索される。ラベル生成ソフトウェアは、プリンタに送信される印刷命令の形態で最初のラベルに画像情報を提供する。同じ画像情報は、印刷されるラベルの電子的画像またはデジタル画像（電子画像）を生成するために使用される。これは、印刷されるピクチャ、テキスト、境界線を含む。電子画像全体は、検査プロセスで使用されるラベルスキャナの解像度と一致するように解像度を再スケーリングし（解像度の違いがある場合、これは典型的に、スキャナの解像度が通常はプリンタ画像の解像度よりも高いために当てはまる）、スキャナのパフォーマンスの限界により発生する不可避の画像のぼけを模倣するぼかしレイヤを適用することによって修正される。
【００９５】
検査ツールトレーニング
検査ツールは、テスト画像として電子画像を使用してテスト／トレーニングされる。プロセスは、ラベルの各領域／ブロックに対して行われ、以下を行う。
１．その領域／ブロックに指定された検査ツールのインスタンスを作成する。
２．感度（およびユーザによって以前に指定されたオーバーライド）に基づいて検査ツールのパラメータを設定する。
３．ツールでトレーニングフェーズを実行する。これには、電子画像、領域の位置、および領域の内容が与えられる。これにより、ツールで必要な場合、領域の数学モデルが生成される。ツールは、必要に応じて、抽出ぼかしなどにより、領域の異なる画像も作成し得る。
【００９６】
この段階では、異なるツールは異なる作業を行う。画像データに電子画像を使用するものもあれば、電子画像を必要とせず、内容の性質を示すために領域の記述のみを使用するものもある。
【００９７】
１つの重要なツールは、テキストおよびピクチャツールである。これは、電子画像のキーポイントを抽出し、スキャンされたラベルの実際の検査を行うときに使用される画像減算／比較段階で使用するための様々なぼかし画像を生成する。
【００９８】
一方、ラベル画像は、剥離可能な裏層に設けられたラベルに印刷される。印刷された画像は、プリンタの印刷ヘッドのすぐ下流に配置されたスキャナによってスキャンされる。スキャン画像は、スキャナの特性または設定によって決定される解像度を有し、スキャンプロセスから発生するスキャンアーティファクトおよび印刷された画像に存在する印刷の不備から発生するアーティファクトの影響を受け得る。
【００９９】
ラベル検査プロセス
スキャンされたラベル画像は次に、ラベル検査と呼ばれる検査プロセスを受ける。これは、スキャンされたラベルを電子画像に対して検査するために異なる検査ツールを実行する。一組のツールが、ラベル内容の大まかな位置を見つけるために最初に実行される（ほとんどの場合、ラベルの角から開始される）。これらが実行されたら、残りのツールが実行される。
【０１００】
各領域の検査ステップ：
１．「検査ツールのトレーニング」の段階で作成されたツールのインスタンスを使用する。
２．モジュールに、スキャンされたラベル画像が与えられる。
３．モジュールに、スキャン画像からトレーニングされたもの（電子画像）の位置への変換が与えられる。これは、内容が見つかると予期され得る大まかな位置である。
【０１０１】
各ツールは、検査を行うために、提供される情報およびそれが構築するモデルを使用するか、またはトレーニング段階中に用意されている。
【０１０２】
テキストおよびピクチャツールは、スキャンしたラベル画像から関心領域を抽出する。それは次に、キーポイントを抽出する。それは、以下で説明されるように、電子画像上の対応するキーポイントとそれらを照合しようとする。
【０１０３】
特徴抽出
基準電子画像とスキャン画像との間のラベル比較処理の重要な部分は、他のラベルの内容または領域の位置に関してベンチマーク（またはキーポイント）として機能する独特の特徴が規定され得る特徴照合ステップである。この文脈において、このような特徴は、エッジもしくは好ましくは角、または両方の（ｘおよびｙ）方向の偏微分などの数学関数の結果であってもよい。フィルタは、画像内のすべての潜在的な特徴を発見する。多くの類似した特徴が存在し得るため、「記述子」は、捜されている独特の特徴を照合するのに役立つように規定される。記述子は、特徴の周りの画像の領域を記述する抽象的な方法である。
【０１０４】
角のような対象を探すことは一般的な慣行である。このプロセスは、かなりの複雑な計算を伴う。既製の計算方法は、画像の平行移動、回転、傾斜、またはスケーリングに関係なく、広範囲の画像を照合できるように調整されている。電子画像からの記述子は、スキャン画像からの最も類似する記述子と比較される。多くの可能な候補の特徴の中で、電子画像とスキャン画像との間で最も一致した記述子が選択される。回転または平行移動またはスケーリングによる不一致の定量化はまだ行われていないため、位置情報は信頼できない。スケーリングの不一致に対処するために、ソース画像が、いくつかのレベルにスケーリングされ、これらのレベルごとに特徴／記述子が抽出される。このようにして、照合プロセスはスケール不変になる。回転を処理するために、回転不変記述子の形式が選択される。マルチスカラーの特徴およびその記述子を使用すると、処理時間の量が大幅に増え得る。同様に、回転不変記述子の使用により、追加の処理時間が使用される。実際には、１つのラベルの角およびその記述子などの特徴の抽出には数秒かかり得る。これは、ラベルの検査マスクのトレーニングにかなりの量の時間がかかり得ることを意味するが、これにより、従来技術のロット印刷プロセスが実行されるのに先立ってこのステップを実行することが十分に軽減される。
【０１０５】
本発明者らは、印刷され、次いでスキャンされたラベルの分析のために、特徴抽出および記述子プロセスにおいてスケールおよび回転不変の特徴を使用する能力は必要ないことに気付いた。実際には、スキャン画像は、既知の解像度を有し、通常、基準電子画像と比較して非常にわずかな回転およびスケーリングの変動しか示さない。ラベルの一部にわずかな局所的なスケーリングおよび回転の変動が見られることは予期され得る。しかしながら、マルチスカラーの特徴も、マルチスカラーのセットや記述子の抽出も必要ない。同様に、回転不変記述子は必要ない。したがって、計算プロセスが簡略化され得、処理時間が大幅に短縮される。
【０１０６】
さらに、本発明者らは、抽出された特徴（キーポイント）の照合が、画像比較処理における限定ステップを表すことを確認した。先に言及した「最良の照合」ステップは、誤検出（誤一致）が見られるために、特に、類似しているが目的のものではないキーポイントなどの「外れ値」が存在するために、時間がかかり得る。スキャン画像に適用される変換を形成するためにスキャン画像からのキーポイントと電子画像のキーポイントを一致させて、比較ステップ中にスキャン画像と電子画像の整合的な登録が潜在的に可能になるようにすることが重要である。このような変換をもたらすための式は、連立方程式を解くまたは近似することを伴うが、これは、時間がかかり、誤検出に対して無駄であり、さらにはラベル比較プロセス全体を損なう誤った変換を潜在的にもたらし得るものである。
【０１０７】
外れ値を除外する従来技術の方法は、ランダムサンプリングおよびセンサス（ＲＡＮＳＡＣ）として知られている。これは「試行錯誤」のプロセスであり、３つまたは４つのキーポイントペアが画像から選択される。これらは直線上にないようにチェックされる。これらのポイントの変換が計算される（つまり、これらは正しい目的の特徴と仮定される）。変換は他のすべてのポイントに適用される。ポイントが互いに妥当な端間距離（ｅｎｄ  ｄｉｓｔａｎｃｅ）内にあるかどうかを確認するために、ポイントのセンサスが行われる。そうでない場合（つまり、特定のしきい値を超えている場合）、試行は中止され、別のランダムポイントが選択され、プロセスが再び開始される。最も近い端間距離の許容誤差を提供するポイントが、変換を形成するために使用される。外れ値のキーポイントが多数ある場合、プロセスは、長時間を要し得、不適切な変換を生成し得る。
【０１０８】
ラベルを検査する場合、テキストの存在により、所定の領域で文字が繰り返されるたびに、複数の不均一なキーポイントがもたらされ得る。また、画像の大きな回転およびスケーリングは、これらを極めて小さい局所的な効果に限定する、印刷およびスキャンプロセスの制約により、行われない。前者は問題であり、照合をより困難にし得る。後者は、画像処理の計算を簡素化する可能性を提供する。電子画像およびスキャン画像の画像サイズは既知であり、一致され得るため、キーポイントを互いに一致させるときに位置情報を使用することが可能である。抽出される位置情報は、絶対的ではなく相対的である。
【０１０９】
したがって、本発明の別の態様によれば、電子画像から抽出されたキーポイントとスキャン画像のキーポイントを一致させる方法であって、ｘ変位軸およびｙ変位軸の両方で画像の平行移動が計算される、方法が提供される。次に、相対変位の関数としてキーポイントの度数を表すヒストグラムが作成される。
【０１１０】
実際のキーポイントペアのリストは、ヒストグラムピークの所定の小さな距離内（一例では１０ピクセル以内）の平行変位がないペアをビニングすることによって形成される。したがって、大多数の外れ値のキーポイントと同様に、重複するキーポイントペアが削除される。その結果、ＲＡＮＳＡＣ段階で必要な計算処理が大幅に削減されるため、動作が高速になり、変換の信頼性が高まる。
【０１１１】
したがって、検査マスクで規定された検査ツールは、ツールに関連付けられている、マスクに現れる以前に識別された特徴、ブロック、および領域に適用される。検査プロセスの一部として、スキャン画像でラベルが識別される。これは、特定の固定の特徴（フィクスチャ（ｆｉｘｔｕｒｅ））を識別することによって行われ得る。ほとんどのラベルには湾曲した角の特徴があるため、角は、この目的のために、また「フィクスチャレイヤ」を規定するために使用され得る。印刷中の画像のずれまたは画像の回転もしくは歪みは、予期された角の位置の不一致または歪みにおいて反映される。より良い一致をもたらし、スキャン画像と電子画像のラベル内容の効果的な比較を可能にするために、それから、変換が計算され、スキャン画像に適用される。
【０１１２】
次に、スキャン画像は、以前に選択された検査ツールによって、感度、パディングなどの関連パラメータに従ってブロックごとまたは特徴ごとに分析される。適切なツールが選択され、局所領域に適用されるため、画像処理は、画像全体が全体として分析された場合に比べてより効率的で、より時間のかからないものとなる。
【０１１３】
スキャン画像からのテキストブロックおよびピクチャブロックは、電子画像から分離された対応するテキストブロックおよびピクチャブロックと比較される。最良の適合をもたらすために画像を重ね合わせ、変換し（必要に応じてスケーリングし）、次に、差分画像を与えるために画像を互いに減算するゴールデンテンプレート比較（ＧＴＣ）が実行される。ＧＴＣプロセスの例は、米国特許第５，６４０，２００号により詳細に記載されている。
【０１１４】
差（または不一致）が特定のしきい値を超えるかどうかに基づいて、ラベルは合格または不合格にされる。例えば、特定のサイズを超える、テキストまたは画像の一部の欠落は、欠陥と見なされ得る。
【０１１５】
シリアル化されたデータ
シリアル化されたデータ（つまり、シリアル番号または患者番号などの、ラベルごとに変化する情報）がラベルに存在する場合、プリンタ命令から導出される電子画像は、インクリメンタルな変化を反映するように更新され、これにより、電子画像情報は、順次印刷されるラベルの印刷およびスキャンされた画像と一致する。
【０１１６】
特定の実施形態
架空の印刷される医療機器ラベル１０の簡単な例が、図３のスクリーンショットに示されている。ラベルは、丸い角１２を有する概ね長方形の平面を有する紙シート１１を含む。ラベルは、裏層１４に付着した粘着性の裏面（見えない）を有する。ラベルの上端領域には、製品ロットデータの英数字表現を示すテキスト１３の領域がある。テキストは、特定のフォントデザイン、フォントサイズ、および文字間隔を有する。ロットデータの下には、製品説明の情報を示すさらなるテキスト１５がある。この場合のフォントデザイン、フォントサイズ、および文字間隔は、ロットデータのテキストと一致する。ラベルの中央領域には、欧州認証（ＣＥ）マークを示す単純なピクチャ１６がある。これは、２つのフォントの混合で構成されている。ＣＥの１つの大きなフォントおよび右側の番号０４７３のもう１つの小さなフォントである。ラベルの下部領域には、ラベル付けされる医療機器の単色のディザリングされたグレースケールピクチャ１７がある。
【０１１７】
このラベルから検査マスクを生成するために、長方形の検査ブロック１８、１９、２０、２１が、４つのテキストのそれぞれに適用され、角ブロック２２、２３が、ラベルの角に適用される（図４）。各ブロックに対して、検査ウィザードスクリプトが実行される。したがって、図５では、ラベルに適用される前のウィザードを確認し得る。ウィザードが実行された後に表示または修正され得る一連のダイアログボックスがある。ウィザードの使用を呼び出すスイッチがある。ウィザードは、各ブロックの情報の性質（つまり、テキスト、またはピクチャ、ディザリングされたピクチャ、存在する場合はバーコード、非ラテン文字（例えば、アラビア語または中国語））を確認するためにラベルフォーマット仕様を使用する。次に、適切な検査ツールが、各ブロック（または領域）に適用される。次に、ウィザードは、いくつかの事前に決定されたデフォルトのパラメータ値を様々なブロックに適用する。
【０１１８】
ウィザードは、ラベルの様々なブロックを経て、実際のラベル検査の実行中に使用される設定に適切な「最初の試行」を割り当てる。これは、画像認識ツールキット（ラベル角ツール、テキストツール、グラフィックツール、ディザリンググラフィックツールなど）から適切な検査ツールを選択することを含む。各ツールには、低、中、および高の様々な感度レベルが利用可能である。ブロックに関連付けられた探索領域は、典型的には、ブロックに対して「タイト」なものとして開始され、ブロックの外周よりわずかに大きい長方形として拡張される。パディングは典型的には、すべてのブロックの辺に対して０．５ｍｍに設定される。
【０１１９】
したがって、最初にウィザードは、ラベルフォーマットの既存の知識に基づいて他のラベル特徴の予期位置を導出し得る基準ポイントとして機能する、ラベルの丸い角２２、２３を識別する。次に、ラベルブロックが評価され、試行されるツールおよび感度が各ブロックに入力される。したがって、この例では、図５のマスクウィザードに対して以下の設定が指定される。
・角−左上、右上、左下、右下
ｏフィクスチャ：ラベルストック
ｏフィクスチャポイント
ｏ検査ツール：ラベル角
ｏ感度：中
ｏ探索領域：細くて長い
ｏ長方形：４ｍｍ×４ｍｍ
【０１２０】
次に、ロットデータテキストが識別され、適切な検査ツール「テキスト」が指定される。感度は、デフォルトの「中」に設定される。「探索領域」はタイトであり、ブロックのすべての辺に対して０．５ｍｍのパディングが適用される。
・テキスト−ロットデータ
ｏフィクスチャ：ラベルストック
ｏ検査ツール：テキスト
ｏ感度：中
ｏ探索領域：タイト
ｏパディング：すべての辺に０．５ｍｍ
【０１２１】
同様の一組の設定が製品説明に入力される。
・テキスト−製品の説明
ｏフィクスチャ：ラベルストック
ｏ検査ツール：テキスト
ｏ感度：中
ｏ探索領域：タイト
ｏパディング：すべての辺に０．５ｍｍ
【０１２２】
認証マークのピクチャは特定のものを呼び出す。
・ピクチャ−ＣＥマーク
ｏフィクスチャ：ラベルストック
ｏ検査ツール：グラフィック
ｏ感度：高
ｏ探索領域：タイト
ｏパディング：すべての辺に０．５ｍｍ
・ピクチャ−製品画像
ｏフィクスチャ：ラベルストック
ｏ検査ツール：ディザリンググラフィック
ｏ感度：高
ｏ探索領域：タイト
ｏパディング：すべての辺に０．５ｍｍ
【０１２３】
要約すると、本発明は、一態様において、データ処理手段を備える製品ラベル印刷およびチェックシステムであって、データ処理手段は、製品ラベルの印刷を制御し、光学式スキャナなどの画像取得デバイスによる、印刷されたラベルの画像の取得および受信を制御し、欠陥に関して印刷されたラベルをチェックするように構成されており、印刷されたラベルのそれぞれは、ラベルのラベルフォーマット仕様に準拠し、それにより、ラベルは、共通のレイアウトを有し、ラベル上の１つ以上の領域に配置された印刷された製品関連情報を含み、データ処理手段は、ラベルの基準画像が提供されるラベルチェックモジュールを含み、チェックモジュールは、ラベル領域の予期される情報内容および位置に関連する所定の品質管理指標に従って取得された画像が基準画像と順次比較されるように構成されており、ラベルが非準拠である場合、ラベルには、再検査または不合格のフラグが立てられる、製品ラベル印刷およびチェックシステムを提供する。ラベルフォーマット仕様は、印刷動作前に、アクセス可能なファイルの形態で決定および／または記憶され得る。これは、その後、そのラベルフォーマットを使用して印刷動作前にシステムによって検索され得る。本発明の態様では、ラベルフォーマット仕様は、各ラベルを印刷するためにプリンタに送信される命令を提供するために使用され得る。したがって、基準画像とそれに関連付けられた検査マスクは、ラベル領域の位置、領域情報、および検査ツールならびに任意選択で検査ツールパラメータに関して仕様を組み立てることによってリアルタイムで構成され得る。
【符号の説明】
【０１２４】
１０    医療機器ラベル
１１    紙シート
１２    丸い角
１３    テキスト
１４    裏層
１５    テキスト
１６    ピクチャ
１７    グレースケールピクチャ
１８    検査ブロック
１９    検査ブロック
２０    検査ブロック
２１    検査ブロック
２２    角ブロック
２３    角ブロック
【図１】
2021515951.tif 000003
【図２】
2021515951.tif 000004
【図３】
2021515951.tif 000005
【図４】
2021515951.tif 000006
【図５】
2021515951.tif 000007
【国際調査報告】
2021515951.tif 000008
2021515951.tif 000009
2021515951.tif 000010
2021515951.tif 000011