(57)【要約】【課題】  LCMの自動光学検査に適した高速画像処理システム。【解決手段】  高速画像処理システムは、FPGA処理プラットフォーム(1)と演算PC(2)を含む。FPGA処理プラットフォーム(1)は、第1光ファイバインタフェース、第2光ファイバインタフェース、第3光ファイバインタフェース、第4光ファイバインタフェース、および第5光ファイバインタフェースを有する。FPGA処理プラットフォーム(1)は、第1光ファイバインタフェースを介して構成パラメータとテストコマンドを受信し、テスト結果を出力する。FPGA処理プラットフォーム(1)は、第2光ファイバインタフェースを介して演算PC(2)とのデータインタラクションを実行する。FPGA処理プラットフォーム(1)は、第3光ファイバインタフェースを介して画像データを受信し、構成パラメータとテストコマンドを出力する。FPGA処理プラットフォーム(1)は、第4光ファイバインタフェースを介して画面照明信号の生成を制御する。FPGA処理プラットフォーム(1)は、第5光ファイバインタフェースを介してIO光源を制御する。【選択図】図１
2021501323.tif 000002
【特許請求の範囲】
【請求項１】
LCMの自動光学検査に適した高速画像処理システムであって、FPGA処理プラットフォームと演算PCを含み、前記FPGA処理プラットフォームは、第１光ファイバインタフェースと、第２光ファイバインタフェースと、第３光ファイバインタフェースと、第４光ファイバインタフェースと、第５光ファイバインタフェースとを含み、前記FPGＡ処理プラットフォームは前記第１光ファイバを介して構成パラメータとテストコマンドを受信し、テスト結果を出力し、前記FPGA処理プラットフォームは、前記第２光ファイバインタフェースを介して前記演算PCとデータインタラクションを行い、前記FPGA処理プラットフォームは前記第３光ファイバインタフェースを介して画像データを受信し、前記構成パラメータとテストコマンドを出力し、前記FPGA処理プラットフォームは、前記第４光ファイバインタフェースを介して画面照明信号の生成を制御し、前記FPGA処理プラットフォームは、前記第５光ファイバインタフェースを介してIO光源を制御することを特徴とする、LCMの自動光学検査に適した高速画像処理システム。
【請求項２】
前記FPGA処理プラットフォームは、制御ユニットおよびDDRメモリをさらに含み、
前記演算PCは、受信した前記画像データを演算および処理し、データ処理結果を前記制御ユニットに送信するように構成され、
前記制御ユニットは、前記構成パラメータとテストコマンドを受信し、前記受信した構成パラメータおよびテストコマンドに従い前記画面照明信号の生成を制御し、前記IO光源を制御し、収集ユニットの画像データを受信し、受信した前記画像データを前処理して前記演算PCに送信し、前記演算PCのデータ処理結果を受信して収集し、最終テスト結果を送信するように構成され、
前記DDRメモリは、前記画像データと前記最終テスト結果を記憶するように構成される
請求項１に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項３】
前記制御ユニットは、
前記収集ユニットの画像データを受信して書き込みDDRデータ形式変換モジュールに送信するように構成される画像データ受信モジュールと、
受信した前記画像データをフォーマットし、フォーマットされた画像データを前記DDRメモリに記憶するように構成される前記書き込みDDRデータ形式変換モジュールと、
設定された指示に従い、制御コマンドを画像処理アクセラレータおよび前記演算PCに送信するように構成されるフロー制御モジュールと、
前記フロー制御モジュールのコマンドに従い、前記画像データを前処理し、前記処理された画像データをDDRメモリに記憶するように構成される前記画像処理アクセラレータと、
前記フロー制御モジュールのコマンドに従い、前記画像データをデータ分散送信モジュールに分散させるように構成されるデータ分散制御モジュールと、
前記画像データを受信して前記演算PCに送信し、前記演算PCのデータ処理結果を受信して分析処理結果モジュールに送信するように構成される前記データ分散送信モジュールと、
前記データ処理結果を収集分析して前記最終テスト結果を生成するように構成される前記分析処理結果モジュールとを含む
請求項２に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項４】
前記制御ユニットは、インタラクティブ制御モジュールと、IO制御モジュールと、画面照明信号生成モジュールとをさらに含み、
前記インタラクティブ制御モジュールは、前記テストコマンドを受信してテスト結果を報告するように構成され、
前記フロー制御モジュールは、受信した前記テストコマンドを前記IO制御モジュールおよび信号拡張モジュールに割り当てるように構成され、
前記IO制御モジュールは、前記テストコマンドに従い前記IO光源を制御するように構成され、
前記画面照明信号生成モジュールは、前記テストコマンドに従い画面照明信号の生成を制御するように構成される
請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項５】
前記画像データ受信モジュールは、
画像データ受信モジュールの物理的リンク状態を第１データパケットに一定時間毎に送信するように構成される第１リンク状態報告モジュールと、
前記物理的リンク状態、構成パラメータ、およびテストコマンドをパケット化して第１高速コントローラIPに送信するように構成される第１データパケットと、
前記収集ユニットの画像データを受信し、前記構成パラメータおよびテストコマンドを収集ユニットに送信するように構成される前記第１高速コントローラIPと、
第１データアンパケットから前記物理的リンク状態を一定時間毎に受信するように構成される第１リンク状態検査モジュールと、
前記第１高速コントローラIPによって送信された画像データを解析して書き込みDDRデータ形式変換モジュールに出力するように構成される前記第１データアンパケットと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項６】
前記書き込みDDRデータ形式変換モジュールは、
前記画像データを受信してローカルFIFOに送信するように構成される受信画像データモジュールと、
前記画像データを記憶するように構成されるローカルFIFOと、
制御ロジックに従い前記ローカルFIFOの画像データを読み出してフォーマットし、フォーマットされた画像データを前記DDRメモリに送信するように構成される読み出しFIFOデータインタフェース変換モジュールと、
前記制御ロジックを出力するように構成される書き込みDDEアドレス制御ロジックモジュールと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項７】
前記画像処理アクセラレータは、
前記制御コマンドに従い画像をブロックに分割するように構成される画像ブロック処理モジュールと、
前記分割されたブロックの数に応じて、前記DDRメモリに記憶された画像データを読み出し、画像処理モジュールに送信するように構成される読み出しDDR制御モジュールと、
前記受信した画像データを前処理するように構成される画像処理モジュールと、
前記前処理された画像データを前記DDRメモリに記憶するように構成される書き込みDDR制御モジュールと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項８】
前記データ分散送信モジュールは、
前記データ分散送信モジュールの物理的リンク状態を第２データパケットに一定時間毎に送信するように構成される第２リンク状態報告モジュールと、
前記受信した画像データをパケット化して第２高速コントローラIPに送信するように構成される第２データパケットと、
前記受信した画像データを前記演算PCに送信し、データ処理結果を前記演算PCから受信するように構成される前記第２高速コントローラIPと、
第２データアンパケットから前記物理的リンク状態を一定時間毎に受信するように構成される第２リンク状態検査モジュールと
前記第２高速コントローラIPによって送信されたデータ処理結果と前記物理的リンク状態を解析するように構成される前記第２データアンパケットと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項９】
前記インタラクティブ制御モジュールは、
前記インタラクティブ制御モジュールの物理的リンク状態をデータパケットに一定時間毎に送信するように構成される第３リンク状態報告モジュールと、
受信したテスト結果をパケット化して第３高速コントローラIPに送信するように構成される第３データパケットと、
前記テスト結果を受信して報告し、前記構成パラメータを受信するように構成される前記第３高速コントローラIPと。
第３データアンパケットによって報告された前記物理的リンク状態を一定時間毎に受信するように構成される第３リンク状態検査モジュールと、
前記第３高速コントローラIPによって送信された前記構成パラメータとリンク状態を解析するように構成される前記第３データアンパケットと
を含む、請求項４に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項１０】
前記制御ユニットは、フロー制御モジュールの制御下で、前記FPGA処理プラットフォームのカスケード拡張を実現するように構成されるカスケード制御モジュールをさらに含む、請求項２に記載のLCMの自動光学検査に適した高速画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動光学検査の技術分野に属し、より詳細には、LCMの自動光学検査に適した高速画像処理システムに属する。
【背景技術】
【０００２】
現在のところ、TFT-LCDの製造検査は、主に手動で行われている。不良品が市場に出ないようにし、且つ材料の無駄とコストの増加につながる厳しすぎる検査を回避するには、きわめて多くの労力を必要とする。LCDパネルの解像度とサイズの増加により、肉眼で小さな欠陥を特定することが困難になっている。これらの小さな欠陥は、高品質の製品には流れ込むべきではない。さらに、大量生産の需要下で、生産ラインの労働者は複数の写真やモジュールの外観をすばやく繰り返し検出する必要があるため、視覚的な疲労が発生しやすく、検査の見落としや過剰検査につながってしまう。一方、人件費を節約するために、パネル製造業者はインテリジェントな製造のために、手作業の代わりに自動光学検査（AOI）機器を採用し始めた。
【０００３】
しかしながら、大型かつ高解像度のパネルの進歩に伴い、AOI機器の要件および複雑さは指数関数的に増加しており、これは以下に詳述される。
【０００４】
１）収集のために使用される産業用カメラの数は劇的に増加している。例えば、正面写真を撮影する場合で高さが十分にある一例として、1920×1080の場合は１個のCCD、4K×2Kの場合は少なくとも3個のCCD、8K×4Kの場合は少なくとも12個のCCDが必要となる。さらに、側面視で目に見える欠陥をキャプチャするには、複数のカメラが必要となる。作業スペースの高さが十分でない場合は、追加のCCDが必要となる。
【０００５】
２）撮影カメラの台数の増加に伴い、画像演算データの量が飛躍的に増加する。CCDで撮影した写真のデータサイズは通常30MB程度であり、パネル検査には15〜20枚の写真が必要である。したがって、各検査で処理される画像データの量は数Ｔにも及ぶ。
【０００６】
３）画像はリアルタイムで処理される必要があり、処理時間は生産ラインの能力を決定する。
【０００７】
４）従来の１台または複数台のPCでは、このような大量のデータを演算処理することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、上述の従来技術の課題を解決し、単純な構造、良好な演算および処理性能を有し、画面照明信号の生成、光源制御、演算処理を包括的に行うLCM自動光学検査に適した高速画像処理システムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の技術的解決策は、FPGA処理プラットフォームおよび演算PCを含む、LCMの自動光学検査に適した高速画像処理システムを提供する。FPGA処理プラットフォームは、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、第４光ファイバインタフェースおよび第５光ファイバインタフェースを含む。FPGA処理プラットフォームは、第１光ファイバインタフェースを介して構成パラメータおよびテストコマンドを受信し、テスト結果を出力する。FPGA処理プラットフォームは、第２光ファイバインタフェースを介して演算PCとデータインタラクションを行う。FPGA処理プラットフォームは第３光ファイバインタフェースを介して、画像データを受信し、構成パラメータおよびテストコマンドを出力する。FPGA処理プラットフォームは、第４光ファイバインタフェースを介して、画面照明信号の生成を制御する。FPGA処理プラットフォームは、第５光ファイバインタフェースを介して、IO光源を制御する。
【００１０】
また、FPGA処理プラットフォームは、制御ユニットおよびDDRメモリをさらに含む。
【００１１】
演算PCは、CPUおよびGPUを含み、受信した画像データを演算および処理し、データ処理結果を制御ユニットに送信するように構成される。
【００１２】
制御ユニットは、構成パラメータおよびテストコマンドを受信し、受信した構成パラメータおよびテストコマンドに従い、画面照明信号の生成を制御し、IO光源を制御し、収集ユニットの画像データを受信し、受信した画像データを前処理して演算PCに送信し、演算PCのデータ処理結果を受信して収集し、最終テスト結果を報告するように構成される。
【００１３】
DDRメモリは、画像データおよび最終テスト結果を記憶するように構成される。
【００１４】
さらに、制御ユニットは以下を含む。
【００１５】
収集ユニットの画像データを受信して、書き込みDDRデータ形式変換モジュールに送信するように構成される画像データ受信モジュール。
【００１６】
受信した画像データをフォーマットし、フォーマットされた画像データをDDRメモリに記憶するように構成される書き込みDDRデータ形式変換モジュール。
【００１７】
設定された指示に従い、画像処理アクセラレータおよび演算PCに制御コマンドを送信するように構成されるフロー制御モジュール。
【００１８】
フロー制御モジュールの制御コマンドに従い、画像データを前処理し、処理された画像データをDDRメモリに記憶するように構成される画像処理アクセラレータ。
【００１９】
フロー制御モジュールの制御コマンドに従い、画像データをデータ分散送信モジュールに分散させるように構成されるデータ分散制御モジュール。
【００２０】
画像データを受信して演算PCに送信し、演算PCのデータ処理結果を受信して分析処理結果モジュールに送信するように構成されるデータ分散送信モジュール。
【００２１】
受信したデータ処理結果を分析して最終テスト結果を生成するように構成される分析処理結果モジュール。
【００２２】
また制御ユニットは、インタラクティブ制御モジュール、IO制御モジュール、および画面照明信号生成モジュールをさらに備える。
【００２３】
インタラクティブ制御モジュールは、テストコマンドを受信し、テスト結果を報告するように構成される。
【００２４】
フロー制御モジュールはさらに、受信したテストコマンドをIO制御モジュールおよび信号拡張モジュールに割り当てるように構成される。
【００２５】
IO制御モジュールは、テストコマンドに従い、IO光源を制御するように構成される。
【００２６】
画面照明信号生成モジュールは、テストコマンドに従い、画面照明信号の生成を制御するように構成される。
【００２７】
さらに、画像データ受信モジュールは、以下を含む。
【００２８】
画像データ受信モジュールの物理的リンク状態を第１データパケットに一定時間毎に送信するように構成される第１リンク状態報告モジュール。
【００２９】
物理的リンク状態、構成パラメータ、およびテストコマンドをパケット化して第１高速コントローラIPに送信するように構成される第１データパケット。
【００３０】
収集ユニットの画像データを受信し、構成パラメータおよびテストコマンドを収集ユニットに送信するように構成される第１高速コントローラIP。
【００３１】
第１データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第１リンク状態検査モジュール。
【００３２】
第１高速コントローラIPによって送信された画像データを解析し、書き込みDDRデータ形式変換モジュールに出力するように構成される第１データアンパケット。
【００３３】
さらに、書き込みDDRデータ形式変換モジュールは、以下を含む。
【００３４】
画像データを受信してローカルFIFOに送信するように構成される受信画像データモジュール。
【００３５】
画像データを記憶するように構成されるローカルFIFO。
【００３６】
制御ロジックに従いローカルFIFO内の画像データを読み出してフォーマットし、フォーマットされた画像データをDDRメモリに送信するように構成される読み出しFIFOデータインタフェース変換モジュール。
【００３７】
制御ロジックを出力するように構成される書き込みDDRアドレス制御ロジックモジュール。
【００３８】
さらに、画像処理アクセラレータは、以下を含む。
【００３９】
制御コマンドに従い、画像をブロックに分割するように構成される画像ブロック処理モジュール。
【００４０】
分割されたブロックの数に応じて、DDRメモリに記憶された画像データを読み出して画像処理モジュールに送信するように構成される読み出しDDR制御モジュール。
【００４１】
受信した画像データを前処理するように構成される画像処理モジュール。
【００４２】
前処理された画像データをDDRメモリに記憶するように構成される書き込みDDR制御モジュール。
【００４３】
さらに、データ分散送信モジュールは以下を含む。
【００４４】
データ分散送信モジュールの物理的リンク状態を第２データパケットに一定時間毎に送信するように構成される第２リンク状態報告モジュール。
【００４５】
受信した画像データをパケット化して第２高速コントローラIPに送信するように構成される第２データパケット。
【００４６】
受信した画像データを演算PCに送信し、演算PCからのデータ処理結果を受信するように構成される第２高速コントローラIP。
【００４７】
第２データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第２リンク状態検査モジュール。
【００４８】
第２高速コントローラIPによって送信されたデータ処理結果および物理的リンク状態を解析するように構成される第２データアンパケット。
【００４９】
さらに、インタラクティブ制御モジュールは、以下を含む。
【００５０】
インタラクティブ制御モジュールの物理的リンク状態をデータパケットに一定時間毎に送信するように構成される第３リンク状態報告モジュール。
【００５１】
受信したテスト結果をパケット化して第３高速コントローラIPに送信するように構成される第３データパケット。
【００５２】
テスト結果を受信して報告し、構成パラメータを受信するように構成される第３高速コントローラIP。
【００５３】
第３データアンパケットによって報告された物理的リンク状態を一定時間毎に受信するように構成される第３リンク状態検査モジュール。
【００５４】
第３高速コントローラIPによって送信された構成パラメータおよび物理的リンク状態を解析するように構成される第３データアンパケット。
【００５５】
また、制御ユニットは、フロー制御モジュールの制御下で、FPGA処理プラットフォームのカスケード拡張を実現するように構成されるカスケード制御モジュールをさらに含む。
【００５６】
本発明の利点は、以下のように要約される。FPGA処理プラットフォームは、データ通信および光ファイバを介したさまざまなデバイスとのインタラクションに適合した複数の光ファイバインタフェースを含み、高速データ伝送速度により、画面照明信号の生成、信号拡張、光源およびデータの処理を、短いタクトタイムで統合制御する。FPGA処理プラットフォームはカスケード制御をサポートしており、カスケード後により多くの演算PCをサポートできる。PCは、CPUおよびGPUをFPGAとともに採用し、CPU+GPU+FPGAアーキテクチャを形成し、CPU+GPUユニットを完全に拡張し、GPUの処理能力を強化する。FPGAは中央コントローラとして動作し、処理されるデータは異なるGPU処理ユニットに割り当てられ、分散処理アーキテクチャを形成する。一方、FPGA自体は画像アクセラレーションプロセッサとして動作し、FPGAの並列処理能力を十分に利用して、画像ブロックの処理とFPGAおよびGPUの操作を調整する。これにより、画像処理および演算能力が効果的に向上する。システム全体には、シンプルな構造、低コスト、優れた安定性、優れた調整能力、強力な演算および処理能力という利点がある。
【図面の簡単な説明】
【００５７】
【図１】本発明の概略図である。
【図２】本発明のFPGA処理プラットフォームの概略図である。
【図３】本発明のデータ処理のフローチャートである。
【図４】本発明の画像データ受信モジュールの概略図である。
【図５】本発明の書き込みDDRデータ形式変換モジュールの概略図である。
【図６】本発明の画像処理アクセラレータの概略図である。
【図７】本発明のデータ分散送信モジュールの概略図である。
【図８】本発明のインタラクティブ制御モジュールの概略図である。
【発明を実施するための形態】
【００５８】
本発明の実施形態を、図面と合わせて以下に詳細に説明する。以下の実施形態は、本発明を説明することを意図しており、本発明を限定することを意図していないことに留意されたい。
【００５９】
図１に示すように、本発明の高速画像処理装置は、FPGA処理プラットフォーム1および複数の演算PC2を含む。FPGA処理プラットフォーム1は、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、第４光ファイバインタフェースおよび第５光ファイバインタフェースを含む。FPGA処理プラットフォーム1は、第１光ファイバインタフェースを介して構成パラメータおよびテストコマンドを受信し、テスト結果を出力する。FPGA処理プラットフォームは、第２光ファイバインタフェースを介して、演算PC2とデータインタラクションを行う。FPGA処理プラットフォーム1は、第３光ファイバインタフェースを介して画像データを受信し、構成パラメータおよびテストコマンドを出力する。FPGA処理プラットフォームは、第４光ファイバインタフェースを介して、画面照明信号の生成を制御する。FPGA処理プラットフォームは、第５光ファイバインタフェースを介して、IO光源を制御する。
【００６０】
FPGA処理プラットフォーム1は、制御ユニット3およびDDRメモリ8をさらに含む。
【００６１】
演算PC2は、CPUおよびGPUを含み、受信した画像データを演算して処理し、データ処理結果を制御ユニットに送信するように構成される。
【００６２】
制御ユニット3は、構成パラメータおよびテストコマンドを受信し、受信した構成パラメータおよびテストコマンドに従い画面照明信号の生成を制御するとともにIO光源を制御し、収集ユニットの画像データを受信し、受信した画像データを前処理して演算PCに送信し、演算PCのデータ処理結果を受信して収集し、最終テスト結果を報告するように構成される。
【００６３】
DDRメモリ8は、画像データおよび最終テスト結果を記憶するように構成される。
【００６４】
本実施形態において、FPGA処理プラットフォームは、12個のQSFPおよび拡張インタフェースを含む。1個のFPGA処理プラットフォームは6台の演算PCに接続されている。FPGA処理プラットフォームは、40G光ファイバを介して演算PCと通信し、インタラクションを実行する。FPGA処理プラットフォームは、2個以上の画像収集ユニットに接続される。各画像収集ユニットは、8台のCamera  Link（カメラリンク）カメラおよび8台のGigeインタフェースカメラのサポートが可能である。FPGA処理プラットフォームは、40Ｇ光ファイバを介して、画像収集ユニット21と通信し、インタラクションを実行する。FPGA処理プラットフォームは、40Gの光ファイバを介して、制御PC18と通信しインタラクションを実行する。1個のIO制御19がFPGA処理プラットフォームに接続され、IO制御は、光源制御のために使用される。1個の信号拡張ユニット20がFPGA処理プラットフォームに接続され、画面照明信号の生成を制御する。FPGA処理プラットフォームはカスケード制御をサポートしており、カスケード後の複数の演算PCの接続をサポートする。制御ユニットは、主制御ユニットとしてザイリンクス（Xilinx）SOC  FPGAを採用しているため、データインタラクション制御、画像高速処理と制御、カスケード処理制御、画像収集ユニットのデータインタラクション制御、およびIO光源のインタラクション制御を実現する。FPGA処理プラットフォームは、データ記憶用に256ビット×1600  DDRメモリをサポートしているため、データ処理帯域幅が増加する。
【００６５】
本発明では、CPU+GPU+FPGAアーキテクチャが採用され、それにより、CPU+GPUユニットを十分に拡張し、GPUの処理能力を強化する。中央コントローラとしてFPGAを使用すると、処理されるデータが異なるGPU処理ユニットに分散され、分散処理アーキテクチャが実現する。一方、FPGA自体は画像高速プロセッサとして動作し、画像ブロック処理とFPGAおよびGPUの動作を調整するため、FPGAの並列処理能力を満たす。スイッチングセンターとしてFPGAを採用すると、データ交換のボトルネックを解決できる。FPGA処理プラットフォームは12個のQSFPおよび光ファイバインタフェースをサポートし、各チャネルは40Gbpsの帯域幅伝送をサポートする。FPGAには並列分散機能があるため、データが分散されるときのパス間の遅延は無視できる。これにより、データ交換の帯域幅の問題が解決される。
【００６６】
図２に示すように、制御ユニット3はさらに以下を含む。
【００６７】
収集ユニットの画像データを受信して書き込みDDRデータ形式変換モジュールに送信するように構成される画像データ受信モジュール4。
【００６８】
受信した画像データをフォーマットし、フォーマットされた画像データをDDRメモリに記憶するように構成される書き込みDDRデータ形式変換モジュール5。
【００６９】
画像データをDDRメモリに読み出し書き込むように構成されるAXIバス6。
【００７０】
画像データの読み出しおよび書き込みを制御するように構成されるDDRコントローラ7。
【００７１】
設定された指示に従い画像処理アクセラレータおよび演算PCに制御コマンドを送信するように構成され、受信したテストコマンドをIO制御モジュールおよび信号拡張モジュールに割り当てるように構成されるフロー制御モジュール9。
【００７２】
フロー制御モジュールのコマンドに従い、画像データを前処理し、処理された画像データをDDRメモリに記憶するように構成される画像処理アクセラレータ10。
【００７３】
フロー制御モジュールのコマンドに従い、画像データをデータ分散送信モジュールに分散させるように構成されるデータ分散制御モジュール11。
【００７４】
画像データを受信して演算PCに送信し、演算PCのデータ処理結果を受信して分析処理結果モジュールに送信するように構成されるデータ分散送信モジュール12。
【００７５】
受信したデータ処理結果を分析して最終テスト結果を生成するように構成される分析処理結果モジュール13。
【００７６】
テストコマンドを受信し、テスト結果を報告するように構成されるインタラクティブ制御モジュール14。
【００７７】
テストコマンドに従いIO光源を制御するように構成されるIO制御モジュール15。
【００７８】
テストコマンドに従い画面照明信号の生成を制御するように構成される画面照明信号生成モジュール16。
【００７９】
図３に示すように、本発明のデータ処理のフローチャートは以下を含む。
【００８０】
１）初期化。
【００８１】
２）画像データの受信準備。
【００８２】
３）受信した画像データをローカルDDRに記憶する。
【００８３】
４）画像処理準備。構成パラメータに従い、画像は複数の演算サーバPCおよびFPGA画像アクセラレータに分散されて画像処理される。
【００８４】
５）各演算サーバPCの処理結果の受信準備。
【００８５】
６）演算サーバPCの処理結果を収集して分析し、最終テスト結果を報告する
【００８６】
７）フロー終了。
【００８７】
最終テスト結果は、光ファイバを介して制御PCに送信され、制御PCは、イーサネットネットワークを介して、結果をユーザーのMCMQシステムに送信する。
【００８８】
上記において、図４に示すように、画像データ受信モジュール4は以下を含む。
【００８９】
画像データ受信モジュールの物理的リンク状態を第１データパケットに一定時間毎に送信するように構成される第１リンク状態報告モジュール4.1。一実施形態では、一定時間は65.536usである。
【００９０】
物理的リンク状態、構成パラメータおよびテストコマンドをパケット化して第１高速コントローラIPに送信するように構成される第１データパケット4.2。
【００９１】
収集ユニットの画像データを受信し、構成パラメータおよびテストコマンドを収集ユニットに送信するように構成される第１高速コントローラIP4.3。一実施形態では、ザイリンクスのGTHトランシーバ(Tranceiver)IPと高速トランシーバ(Tranceiver)の間のデータ通信は、オーロラ（Aurora）64B／66Bプロトコルを採用する。
【００９２】
第１データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第１リンク状態検査モジュール4.4。一実施形態では、一定時間は65.536usである。エンドツーエンドの報告が３回連続して検出されない場合、リンクは失われたと見なされる。
【００９３】
第１高速コントローラIPによって送信された画像データを解析し、書き込みDDRデータ形式変換モジュールに出力するように構成される第１データアンパケット4.5。
【００９４】
上記において、図５に示すように、書き込みDDRデータ形式変換モジュール5は、以下を含む。
【００９５】
画像データを受信してローカルFIFOに送信するように構成される受信画像データモジュール5.1。
【００９６】
画像データを記憶するように構成されるローカルFIFO5.2。
【００９７】
制御ロジックに従いローカルFIFO内の画像データを読み出してフォーマットし、フォーマットされた画像データをDDRメモリに送信するように構成される読み出しFIFOデータインタフェース変換モジュール5.3。
【００９８】
制御ロジックを出力するように構成される書き込みDDEアドレス制御ロジックモジュール5.4。
【００９９】
上記において、図６に示すように、画像処理アクセラレータ10は、FPGAの並列処理能力に基づき、複数の画像処理IPを同時にインスタンス化し、画像をブロックに分割する。一例として、１次元高速フーリエ変換（FFT）を高速化するFPGAが挙げられる。
【０１００】
１）画像ブロック処理モジュール10.1は、制御コマンドに従って画像を水平方向に4個のブロックに分割する。
【０１０１】
２）読み出しDDR制御モジュール10.2は、分割されたブロックの数に従いDDRメモリに記憶された4個の画像ブロックを読み出し、FFT画像処理モジュールに送信する。
【０１０２】
３）FFT画像処理モジュール10.3は、受信した４個の画像ブロックを前処理する。
【０１０３】
４）書き込みDDR制御モジュール10.4は、前処理された画像データをDDRメモリに記憶する。
【０１０４】
一実施形態において、4個のFFTアクセラレータが4k×4k画像を処理するのに約10msを要する。同じ画像の場合、CPU処理には約400ms、GPUには約10msを要する。FPGAアクセラレータとGPUの消費時間は同じである。FPGAリソースが十分な場合、並列FPGAが増加すると、処理時間はさらに高速化する。
【０１０５】
上記において、図７に示すように、データ分散送信モジュール12は以下を含む。
【０１０６】
データ分散送信モジュールの物理的リンク状態を第２データパケットに一定時間毎に送信するように構成される第２リンク状態報告モジュール12.1。一実施形態において、一定時間は65.536usである。
【０１０７】
受信した画像データをパケット化して第２高速コントローラIPに送信するように構成される第２データパケット12.2。
【０１０８】
受信した画像データを演算PCに送信し、データ処理結果を演算PCから受信するように構成される第２高速コントローラIP12.3。一実施形態において、ザイリンクスのGTHトランシーバIPと高速トランシーバの間のデータ通信は、オーロラ64B／66Bプロトコルを採用する。
【０１０９】
第２データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第２リンク状態検査モジュール12.4。一実施形態において、一定時間は65.536usである。エンドツーエンドの報告が３回連続して検出されない場合、リンクは失われたと見なされる。
【０１１０】
第２高速コントローラIPによって送信されたデータ処理結果および物理的リンク状態を解析するように構成される第２データアンパケット12.5。
【０１１１】
上記において、図８に示すように、インタラクティブ制御モジュール14は以下を含む
【０１１２】
インタラクティブ制御モジュールの物理的リンク状態をデータパケットに一定時間毎に送信するように構成される第３リンク状態報告モジュール14.1。一実施形態において、一定時間は65.536usである。
【０１１３】
受信したテスト結果をパケット化して第３高速コントローラIPに送信するように構成される第３データパケット14.2。
【０１１４】
テスト結果を受信して制御PCに報告し、制御PCによって送信された構成パラメータを受信するように構成される第３高速コントローラIP14.3。一実施形態において、ザイリンクスのGTHトランシーバIPと高速トランシーバの間のデータ通信は、オーロラ64B／66Bプロトコルを採用する。
【０１１５】
第３データアンパケットによって報告された物理的リンク状態を一定時間毎に受信するように構成される第３リンク状態検査モジュール14.4。一実施形態において、一定時間は65.536usである。エンドツーエンドの報告が３回連続して検出されない場合、リンクは失われたと見なされる。
【０１１６】
第３高速コントローラIPによって送信された構成パラメータおよび物理的リンク状態を解析するように構成される第３データアンパケット14.5。
【０１１７】
上記の実施形態では、制御ユニット3は、フロー制御モジュールの制御下で、FPGA処理プラットフォームのカスケード拡張を実現するように構成されるカスケード制御モジュール17をさらに含む。カスケード制御モジュールは、データ分散送信モジュールと同じ構造を有する。処理が必要な画像データは、次のレベルのカスケードプラットフォームに送信され、演算サーバPCに分散されて、カスケードプラットフォームを介して処理と演算が行われ、処理された結果がカスケードプラットフォームに送信される。
【０１１８】
本明細書で詳述されていない内容は、当業者に既知の先行技術に属する。
【符号の説明】
【０１１９】
1    FPGA処理プラットフォーム
2    演算PC
3    制御ユニット
4    画像データ受信モジュール
4.1  第１リンク状態報告モジュール
4.2  第１データパケット
4.3  第１高速コントローラIP
4.4  第１リンク状態検査モジュール
4.5  第１データアンパケット
5    書き込みDDRデータ形式変換モジュール
5.1  受信画像データモジュール
5.2  ローカルFIFO
5.3  読み出しFIFOデータインタフェース変換モジュール
5.4  書き込みDDEアドレス制御ロジックモジュール
6    AXIバス
7    DDRコントローラ
8    DDRメモリ
9    フロー制御モジュール
10  画像処理アクセラレータ
10.1  画像ブロック処理モジュール
10.2  読み出しDDR制御モジュール
10.3  FFT画像処理モジュール
10.4  書き込みDDR制御モジュール
11  データ分散制御モジュール
12  データ分散送信モジュール
12.1  第２リンク状態報告モジュール
12.2  第２データパケット
12.3  第２高速コントローラＩＰ
12.4  第２リンク状態検査モジュール
12.5  第２データアンパケット
13  分析処理結果モジュール
14  インタラクティブ制御モジュール
14.1  第３リンク状態報告モジュール
14.2  第３データパケット
14.3  第３高速コントローラIP
14.4  第３リンク状態検査モジュール
14.5  第３データアンパケット
15  IO制御モジュール
16  画面照明信号生成モジュール
17  カスケード制御モジュール
18  制御PC
19  IO制御
20  信号拡張ユニット
21  画像収集ユニット
【図１】
2021501323.tif 000003
【図２】
2021501323.tif 000004
【図３】
2021501323.tif 000005
【図４】
2021501323.tif 000006
【図５】
2021501323.tif 000007
【図６】
2021501323.tif 000008
【図７】
2021501323.tif 000009
【図８】
2021501323.tif 000010
【手続補正書】
【提出日】令和2年7月21日(2020.7.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
LCMの自動光学検査に適した高速画像処理システムであって、FPGA処理プラットフォームと演算PCを含み、前記FPGA処理プラットフォームは、第１光ファイバインタフェースと、第２光ファイバインタフェースと、第３光ファイバインタフェースと、第４光ファイバインタフェースと、第５光ファイバインタフェースとを含み、前記FPGA処理プラットフォームは前記第１光ファイバインタフェースを介して構成パラメータとテストコマンドを受信し、テスト結果を出力し、前記FPGA処理プラットフォームは、前記第２光ファイバインタフェースを介して前記演算PCとデータインタラクションを行い、前記FPGA処理プラットフォームは前記第３光ファイバインタフェースを介して画像データを受信し、前記構成パラメータとテストコマンドを出力し、前記FPGA処理プラットフォームは、前記第４光ファイバインタフェースを介して画面照明信号の生成を制御し、前記FPGA処理プラットフォームは、前記第５光ファイバインタフェースを介してIO光源を制御し、
前記FPGA処理プラットフォームは制御ユニットを含み、前記制御ユニットは受信した画像データをブロックに分割して、高速前処理後に前記演算PCに送信し、前記演算PCは受信した前記画像データを演算および処理し、データ処理結果を制御ユニットへ送信する
ことを特徴とする、LCMの自動光学検査に適した高速画像処理システム。
【請求項２】
前記FPGA処理プラットフォームは、制御ユニットおよびDDRメモリをさらに含み、
前記演算PCは、受信した前記画像データを演算および処理し、データ処理結果を前記制御ユニットに送信するように構成され、
前記制御ユニットは、前記構成パラメータとテストコマンドを受信し、前記受信した構成パラメータおよびテストコマンドに従い前記画面照明信号の生成を制御し、前記IO光源を制御し、収集ユニットの画像データを受信し、受信した前記画像データを前処理して前記演算PCに送信し、前記演算PCのデータ処理結果を受信して収集し、最終テスト結果を送信するように構成され、
前記DDRメモリは、前記画像データと前記最終テスト結果を記憶するように構成される
請求項１に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項３】
前記制御ユニットは、
前記収集ユニットの画像データを受信して書き込みDDRデータ形式変換モジュールに送信するように構成される画像データ受信モジュールと、
受信した前記画像データをフォーマットし、フォーマットされた画像データを前記DDRメモリに記憶するように構成される前記書き込みDDRデータ形式変換モジュールと、
設定された指示に従い、制御コマンドを画像処理アクセラレータおよび前記演算PCに送信するように構成されるフロー制御モジュールと、
前記フロー制御モジュールのコマンドに従い、前記画像データを前処理し、前記処理された画像データをDDRメモリに記憶するように構成される前記画像処理アクセラレータと、
前記フロー制御モジュールのコマンドに従い、前記画像データをデータ分散送信モジュールに分散させるように構成されるデータ分散制御モジュールと、
前記画像データを受信して前記演算PCに送信し、前記演算PCのデータ処理結果を受信して分析処理結果モジュールに送信するように構成される前記データ分散送信モジュールと、
前記データ処理結果を収集分析して前記最終テスト結果を生成するように構成される前記分析処理結果モジュールとを含む
請求項２に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項４】
前記制御ユニットは、インタラクティブ制御モジュールと、IO制御モジュールと、画面照明信号生成モジュールとをさらに含み、
前記インタラクティブ制御モジュールは、前記テストコマンドを受信してテスト結果を報告するように構成され、
前記フロー制御モジュールは、受信した前記テストコマンドを前記IO制御モジュールおよび信号拡張モジュールに割り当てるように構成され、
前記IO制御モジュールは、前記テストコマンドに従い前記IO光源を制御するように構成され、
前記画面照明信号生成モジュールは、前記テストコマンドに従い画面照明信号の生成を制御するように構成される
請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項５】
前記画像データ受信モジュールは、
画像データ受信モジュールの物理的リンク状態を第１データパケットに一定時間毎に送信するように構成される第１リンク状態報告モジュールと、
前記物理的リンク状態、構成パラメータ、およびテストコマンドをパケット化して第１高速コントローラIPに送信するように構成される第１データパケットと、
前記収集ユニットの画像データを受信し、前記構成パラメータおよびテストコマンドを収集ユニットに送信するように構成される前記第１高速コントローラIPと、
第１データアンパケットから前記物理的リンク状態を一定時間毎に受信するように構成される第１リンク状態検査モジュールと、
前記第１高速コントローラIPによって送信された画像データを解析して書き込みDDRデータ形式変換モジュールに出力するように構成される前記第１データアンパケットと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項６】
前記書き込みDDRデータ形式変換モジュールは、
前記画像データを受信してローカルFIFOに送信するように構成される受信画像データモジュールと、
前記画像データを記憶するように構成されるローカルFIFOと、
制御ロジックに従い前記ローカルFIFOの画像データを読み出してフォーマットし、フォーマットされた画像データを前記DDRメモリに送信するように構成される読み出しFIFOデータインタフェース変換モジュールと、
前記制御ロジックを出力するように構成される書き込みDDRアドレス制御ロジックモジュールと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項７】
前記画像処理アクセラレータは、
前記制御コマンドに従い画像をブロックに分割するように構成される画像ブロック処理モジュールと、
前記分割されたブロックの数に応じて、前記DDRメモリに記憶された画像データを読み出し、画像処理モジュールに送信するように構成される読み出しDDR制御モジュールと、
前記受信した画像データを前処理するように構成される画像処理モジュールと、
前記前処理された画像データを前記DDRメモリに記憶するように構成される書き込みDDR制御モジュールと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項８】
前記データ分散送信モジュールは、
前記データ分散送信モジュールの物理的リンク状態を第２データパケットに一定時間毎に送信するように構成される第２リンク状態報告モジュールと、
前記受信した画像データをパケット化して第２高速コントローラIPに送信するように構成される第２データパケットと、
前記受信した画像データを前記演算PCに送信し、データ処理結果を前記演算PCから受信するように構成される前記第２高速コントローラIPと、
第２データアンパケットから前記物理的リンク状態を一定時間毎に受信するように構成される第２リンク状態検査モジュールと
前記第２高速コントローラIPによって送信されたデータ処理結果と前記物理的リンク状態を解析するように構成される前記第２データアンパケットと
を含む、請求項３に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項９】
前記インタラクティブ制御モジュールは、
前記インタラクティブ制御モジュールの物理的リンク状態をデータパケットに一定時間毎に送信するように構成される第３リンク状態報告モジュールと、
受信したテスト結果をパケット化して第３高速コントローラIPに送信するように構成される第３データパケットと、
前記テスト結果を受信して報告し、前記構成パラメータを受信するように構成される前記第３高速コントローラIPと。
第３データアンパケットによって報告された前記物理的リンク状態を一定時間毎に受信するように構成される第３リンク状態検査モジュールと、
前記第３高速コントローラIPによって送信された前記構成パラメータとリンク状態を解析するように構成される前記第３データアンパケットと
を含む、請求項４に記載のLCMの自動光学検査に適した高速画像処理システム。
【請求項１０】
前記制御ユニットは、フロー制御モジュールの制御下で、前記FPGA処理プラットフォームのカスケード拡張を実現するように構成されるカスケード制御モジュールをさらに含む、請求項２に記載のLCMの自動光学検査に適した高速画像処理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
画像データ受信モジュールの物理的リンク状態を第１データパケットに一定時間毎に送信するように構成される第１リンク状態報告モジュール4.1。一実施形態では、一定時間は65.536μsである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
第１データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第１リンク状態検査モジュール4.4。一実施形態では、一定時間は65.536μsである。エンドツーエンドの報告が３回連続して検出されない場合、リンクは失われたと見なされる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
制御ロジックを出力するように構成される書き込みDDRアドレス制御ロジックモジュール5.4。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
データ分散送信モジュールの物理的リンク状態を第２データパケットに一定時間毎に送信するように構成される第２リンク状態報告モジュール12.1。一実施形態において、一定時間は65.536μsである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
第２データアンパケットから物理的リンク状態を一定時間毎に受信するように構成される第２リンク状態検査モジュール12.4。一実施形態において、一定時間は65.536μsである。エンドツーエンドの報告が３回連続して検出されない場合、リンクは失われたと見なされる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
インタラクティブ制御モジュールの物理的リンク状態をデータパケットに一定時間毎に送信するように構成される第３リンク状態報告モジュール14.1。一実施形態において、一定時間は65.536μsである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
第３データアンパケットによって報告された物理的リンク状態を一定時間毎に受信するように構成される第３リンク状態検査モジュール14.4。一実施形態において、一定時間は65.536μsである。エンドツーエンドの報告が３回連続して検出されない場合、リンクは失われたと見なされる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
1    FPGA処理プラットフォーム
2    演算PC
3    制御ユニット
4    画像データ受信モジュール
4.1  第１リンク状態報告モジュール
4.2  第１データパケット
4.3  第１高速コントローラIP
4.4  第１リンク状態検査モジュール
4.5  第１データアンパケット
5    書き込みDDRデータ形式変換モジュール
5.1  受信画像データモジュール
5.2  ローカルFIFO
5.3  読み出しFIFOデータインタフェース変換モジュール
5.4  書き込みDDRアドレス制御ロジックモジュール
6    AXIバス
7    DDRコントローラ
8    DDRメモリ
9    フロー制御モジュール
10  画像処理アクセラレータ
10.1  画像ブロック処理モジュール
10.2  読み出しDDR制御モジュール
10.3  FFT画像処理モジュール
10.4  書き込みDDR制御モジュール
11  データ分散制御モジュール
12  データ分散送信モジュール
12.1  第２リンク状態報告モジュール
12.2  第２データパケット
12.3  第２高速コントローラＩＰ
12.4  第２リンク状態検査モジュール
12.5  第２データアンパケット
13  分析処理結果モジュール
14  インタラクティブ制御モジュール
14.1  第３リンク状態報告モジュール
14.2  第３データパケット
14.3  第３高速コントローラIP
14.4  第３リンク状態検査モジュール
14.5  第３データアンパケット
15  IO制御モジュール
16  画面照明信号生成モジュール
17  カスケード制御モジュール
18  制御PC
19  IO制御
20  信号拡張ユニット
21  画像収集ユニット
【国際調査報告】
2021501323.tif 000011
2021501323.tif 000012
2021501323.tif 000013
2021501323.tif 000014