(57)【要約】【課題】  CPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。【解決手段】  本システムは、画像記憶ユニット(1)と、画像演算ユニット(2)と、画像収集ユニット(3)を含む。画像記憶ユニット(1)は、第１通信インタフェースおよび第２通信インタフェースを含む。画像演算ユニット(2)は、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースを含む。画像収集ユニット(3)は、第３通信インタフェースおよびカメラインタフェースを含む。画像演算ユニット(2)は、第１光ファイバインタフェースによって、画像記憶ユニット(1)により送信された構成パラメータおよびテストコマンドを受信し、テスト結果を画像記憶ユニット（1）に送信し、第２光ファイバインタフェースによって画像収集ユニット（3）のデータを受信するとともに、構成パラメータとテストコマンドを画像収集ユニット（3）に送信し、第３光ファイバインタフェースによって画面照明信号の生成を制御し、第４光ファイバインタフェースによってIO光源を制御する。本システムには、シンプルな構造、低コスト、優れた安定性、優れた調整能力、高い演算処理能力といった利点を有する。【選択図】図１
2021501330.tif 000002
【特許請求の範囲】
【請求項１】
CPU+GPU+FPGAアーキテクチャに基づく自動光学検査システムであって、前記システムは、画像記憶ユニットと、画像演算ユニットと、画像収集ユニットとを含み、前記画像記憶ユニットは、第１通信インタフェースと第２通信インタフェースを含み、前記画像演算ユニットは、第１光ファイバインタフェースと、第２光ファイバインタフェースと、第３光ファイバインタフェースと、第４光ファイバインタフェースとを含み、前記画像収集ユニットは、第３通信インタフェースとカメラインタフェースとを含み、
前記画像記憶ユニットは、前記第１通信インタフェースを介して、構成パラメータおよびテストコマンドを前記画像演算ユニットに送信し、前記画像演算ユニットから送信されたテスト結果を受信し、前記第２通信インタフェースを介して前記画像収集ユニットからデータを受信するように構成され、
前記画像演算ユニットは、前記第１光ファイバインタフェースを介して、前記画像記憶ユニットから前記構成パラメータおよびテストコマンドを受信し、テスト結果を前記画像記憶ユニットに送信し、前記第２光ファイバインタフェースを介して前記画像収集ユニットからデータを受信し、前記構成パラメータおよびテストコマンドを前記画像収集ユニットへ送信し、前記第３光ファイバインタフェースを介して画面照明信号の生成を制御し、前記第４光ファイバインタフェースを介してIO光源を制御するように構成され、
前記画像収集ユニットは、前記第３通信インタフェースを介して画像データを出力し、前記構成パラメータおよびテストコマンドを受信し、前記カメラインタフェースを介してカメラデータを受信し、前記構成パラメータおよびテストコマンドをカメラに送信するように構成される
ことを特徴とするCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム
【請求項２】
前記画像記憶ユニットは、
ヒューマンコンピュータインタラクションを介してパラメータ構成を実行し、前記構成パラメータおよびテストコマンドを出力し、FPGA記憶プラットフォームからテスト結果を受信して報告するように設定されるマスターPCと、
前記画像収集ユニットからデータを受信し、該受信データに可逆圧縮を行った後、該受信データをディスクアレイに送信し、前記画像演算ユニットから送信されたテスト結果を受信して出力し、受信した前記構成パラメータを前記画像収集ユニットに出力し、記憶されたデータ内で画像データを検索するように構成される前記FPGA記憶プラットフォームと、
データ記憶用に構成される前記ディスクアレイと
を含む請求項１に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項３】
前記FPGA記憶プラットフォームは、
前記マスターPCから前記構成パラメータを受信し、前記画像演算ユニットから受信したテスト結果を前記マスターPCにフィードバックするように構成されるデータインタラクションモジュールと、
前記画像収集ユニットから前記画像データを受信してデータ可逆圧縮モジュールに出力し、前記構成パラメータを受信して前記画像収集モジュールに送信し、前記画像演算ユニットから送信されたテスト結果を受信するように構成される画像データ受信/送信モジュールと、
前記受信したデータに可逆圧縮を実行した後、ディスク記憶管理ユニットを介して前記ディスクアレイに受信したデータを記憶するように構成されるデータ可逆圧縮モジュールと、
前記ディスクアレイの記憶と読み出しを管理するように構成されるデータディスク記憶管理モジュールと
を含む請求項２に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項４】
前記FPGA記憶プラットフォームはさらに、
ディスクアレイの読み出しを制御するように構成される画像検索管理モジュールと、
外部サーバと通信するように構成されて、検索データ交換およびデータ通信制御を行うように構成される第４通信インタフェースを含む画像データ交換制御モジュールと
を含む請求項２に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項５】
前記画像演算ユニットは、FPGA演算プラットフォームおよび演算PCを含み、前記第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースはすべて前記FPGA演算プラットフォームに配置され、前記FPGA演算プラットフォームは、前記演算PCに接続された第５光ファイバインタフェースと、前記FPGA演算プラットフォームのカスケード拡張用の拡張インタフェースをさらに含む
請求項１に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項６】
前記FPGA演算プラットフォームは、中央コントローラと、画像処理アクセラレータと、データ収集送信モジュールと、DDRメモリとを含み、
前記中央コントローラは、設定された指示に従い、制御コマンドを前記演算PCおよび画像処理アクセラレータに送信するように構成され、
前記演算PCは、前記制御コマンドに従い、前記DDRメモリから画像データの一部を読み出して演算し、演算結果を前記データ収集送信モジュールに送信するように構成され、
前記画像処理アクセラレータは、前記制御コマンドに従い、前記DDRメモリから前記画像データの別の部分を読み取出して演算し、演算結果を前記データ収集送信モジュールに送信するように構成され、
前記データ収集送信モジュールは、前記演算PCおよび画像処理アクセラレータからの演算結果を収集して最終テスト結果を形成し、該テスト結果を前記画像記憶モジュールに送信するように構成され、
前記DDRメモリは、処理される画像データおよび前記テスト結果を記憶するように構成される
請求項１または５に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項７】
前記FPGA演算プラットフォームは、構成パラメータ受信モジュールと、データ受信／パラメータ構成モジュールと、信号拡張モジュールと、IO制御モジュールとをさらに含み、
前記構成パラメータ受信モジュールは、前記構成パラメータおよびテストコマンドを受信して前記中央コントローラに送信するように構成され、
前記中央コントローラは、受信した前記構成パラメータを前記データ受信/パラメータ構成モジュールに送信し、受信した前記テストコマンドを前記データ受信/パラメータ構成モジュールと、前記IO制御モジュールと、前記信号拡張モジュールに割り当てるように構成され、
前記データ受信／パラメータ構成モジュールは、前記画像収集ユニットの画像データを受信して前記DDRメモリに記憶し、受信した前記構成パラメータおよびテストコマンドを前記画像収集ユニットに送信するように構成され、
前記信号拡張モジュールは、前記テストコマンドに従い、前記画面照明信号の生成を制御するように構成され、
前記IO制御モジュールは、前記テストコマンドに従い、前記IO光源を制御するように構成される
請求項６に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項８】
前記画像収集ユニットは、
前記カメラデータを受信し、プロトコルに従い、該カメラデータを有効画像データに解析し、該有効画像データをRAW画像データとしてDDR物理メモリに記憶するように構成されるプロトコル解析モジュールと、
前記RAW画像データおよび処理済画像データを記憶するように構成されるDDR物理メモリと、
主制御ユニットからの制御コマンドに従い、前記DDR物理メモリからRAW画像データを読み出し、該RAW画像データを前処理し、該前処理されたデータを処理済画像データとして前記DDR物理メモリに送信して記憶するように構成される画質評価および前処理モジュールと、
設定された指示に従い、前記画質評価および前処理モジュールと読み出しDDRデータ形式変換モジュールに制御コマンドを送信するように構成される前記主制御ユニットと、
前記主制御ユニットからの構成コマンドに従い、前記RAW画像データおよび/または処理済画像データを前記DDR物理メモリから読み出して高速インタフェースデータパケットモジュールに送信するように構成される読み出しDDRデータ形式変換モジュールと、
受信した前記RAW画像データおよび／または処理済画像データを前記画像記憶ユニットおよび画像演算ユニットに送信するように構成される高速インタフェースデータパケットモジュールと
を含む請求項１に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項９】
前記画像収集ユニットは、自動位置焦点露出調整モジュールとカメラ構成モジュールをさらに含み、
前記高速インタフェースデータパケットモジュールは、前記主制御ユニットへの構成パラメータおよびテストコマンドを受信するように構成され、
前記プロトコル解析モジュールは、前記カメラデータを受信し、該カメラデータをプロトコルに基づき有効画像データに解析し、該有効画像データを前記DDR物理メモリに記憶し、カメラパラメータを前記カメラに送信するように構成され、
前記画質評価および前処理モジュールは、前記主制御ユニットからの制御コマンドに従い、前記カメラデータの画質を評価し、評価結果を前記主制御ユニットに送信するように構成され、
前記主制御ユニットはさらに、前記構成パラメータ、テストコマンド、および評価結果を前記自動位置焦点露出調整モジュールに送信するように構成され、
前記自動位置焦点露出調整モジュールは、前記構成パラメータおよび評価結果に従い、カメラパラメータを設定し、前記構成パラメータおよび評価結果を前記カメラ構成モジュールに送信するように構成され、
前記カメラ構成モジュールは、カメラ構成パラメータおよびテストコマンドを前記プロトコル解析モジュールに送信するように構成される
請求項８に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項１０】
前記プロトコル解析モジュールは、Camera linkプロトコル解析モジュールと、Gige Visionプロトコル解析モジュールと、CLHSプロトコル解析モジュールとを含み、前記カメラインタフェースは、複数のCamera Linkインタフェースと、複数のGigeインタフェースと、複数のCLHSインタフェースを含み、前記複数のCamera Linkインタフェースは前記Camera linkプロトコル解析モジュールに接続され、前記複数のGigeインタフェースは前記Gige Visionプロトコル解析モジュールに接続され、前記複数のCLHSインタフェースは前記CLHSプロトコル解析モジュールに接続される、請求項８または９に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動光学検査の技術分野に関し、より詳細には、CPU+GPU+FPGAアーキテクチャに基づく自動光学検査システムに関する。
【背景技術】
【０００２】
自動光学検査(AOI)は、光学システム、機構制御システム、画面照明制御システム、ソフトウェア制御システム、画像処理システムなどを含む。従来のAOI機器は、画像収集カード＋PCに基づくものである。収集カードとPCには多くの種類があり、コストがかかり、調整が難しいため、システムの安定性が低く、拡張が不便であり、AOI装置を大規模モジュールの検査に使用することは困難であった。さらに、各TFT-LCD  AOI機器メーカーは、１または２の分野での技術の蓄積と研究開発能力しか持っていない。そのため、AOI自動光学検査システムは、２〜３の供給先からの部品で構築されることが多く、通常、機器の画像処理アルゴリズムを習得するユニットが、装置全体の責任を負っている。一般的には、コンピュータネットワークによる分散制御方式を採用しており、すべての機器はLANでまとめられている。例えば、満足のいく生産ラインの検査TT（タクトタイム、検査される各ピースのタクトタイム）とするには、複数のコンピューターアレイが動作処理に加わり、コンピュータの数は通常10以上に達する。システム統合スキームは粗く、複雑で、コストが高く、不安定で、効率が悪く、期待した効果が得られず、拡張性がほとんどないため、パネル製造業者の間でますます不評になっている。
【０００３】
従来技術では、画面照明信号と画像収集および処理ユニットは、２つの異なる系統的スキームを含み、主制御ユニットは、画面照明信号と画像収集および処理ユニットを制御する必要があり、それにより、システムの操作効率が低下する。従来は、各画像収集カードに接続できるカメラは１台のみであった。現在、ほとんどの画像収集カードは、PCIEインタフェースを介してPCと通信する。１台のPCで同時にサポートできる収集カードの数は限られているため、多数の画像収集カードとPCが必要であり、マスターPCを配置してその操作を調整する。これにより、システムの複雑さと不安定さが増し、各PCの画像処理能力が低下する。さらに、現在のAOI検査装置では、画面照明信号、光源、AOI検査システムはすべて互いに独立している。画面照明信号の生成、光源、およびAOI検査システムの画像収集と処理の制御を調整するには、主制御ユニットが必要である。そのため、制御工程が複雑でタクトタイムが長い。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、上述の課題を解決し、複数のカメラと同時に通信することができ、画面照明信号の生成、光源の制御、画像の演算と処理を包括的に調整することができるCPU＋GPU＋FPGAアーキテクチャに基づく自動光学検査装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明は、画像記憶ユニット、画像演算ユニットおよび画像収集ユニットを含む、CPU＋GPU＋FPGAアーキテクチャに基づく自動光学検査デバイスを提供する。画像記憶ユニットは、第１通信インタフェースおよび第２通信インタフェースを含む。画像演算ユニットは、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースを含む。画像収集ユニットは、第３通信インタフェースおよびカメラインタフェースを含む。
【０００６】
画像記憶ユニットは、第１通信インタフェースを介して構成パラメータおよびテストコマンドを画像演算ユニットに送信し、画像演算ユニットから送信されたテスト結果を受信し、第２通信インタフェースを介してデータを画像収集ユニットから受信するように構成される。
【０００７】
画像演算ユニットは、第１光ファイバインタフェースを介して、構成パラメータおよびテストコマンドを画像記憶ユニットから受信し、テスト結果を画像記憶ユニットに送信し、第２光ファイバインタフェースを介して、データを画像収集ユニットから受信し、構成パラメータおよびテストコマンドを画像収集ユニットへ送信し、第３光ファイバインタフェースを介して画面照明信号の生成を制御し、第４光ファイバインタフェースを介してIO光源を制御する。
【０００８】
画像収集ユニットは、第３通信インタフェースを介して、画像データを出力し、構成パラメータおよびテストコマンドを受信し、またカメラインタフェースを介して、カメラデータを受信し、構成パラメータおよびテストコマンドをカメラに送信するように構成される。
【０００９】
さらに、画像記憶ユニットは以下を含む。
【００１０】
ヒューマンコンピュータインタラクションを介してパラメータ構成を実行し、構成パラメータおよびテストコマンドを出力し、FPGA記憶プラットフォームからテスト結果を受信し報告するように構成されるマスターPC。
【００１１】
画像収集ユニットからのデータを受信し、可逆圧縮した後にディスクアレイに送信し、画像演算ユニットから送信されたテスト結果を受信および出力し、受信した構成パラメータを画像収集ユニットに出力し、記憶されたデータ内の画像データを検索するように構成されるFPGA記憶プラットフォーム。
【００１２】
データ記憶用のディスクアレイ。
【００１３】
また、FPGA記憶プラットフォームは、以下を含む。
【００１４】
マスターPCから構成パラメータを受信し、画像演算ユニットから受信したテスト結果をマスターPCにフィードバックするように構成されたデータインタラクションモジュール。
【００１５】
画像収集ユニットからの画像データを受信し、データ可逆圧縮モジュールに出力し、構成パラメータを受信して画像収集モジュールに送信し、画像演算ユニットから送信された結果テストを受信するように構成される画像データ受信／送信モジュール。
【００１６】
可逆圧縮後、ディスク記憶管理ユニットを介して、ディスクアレイに受信データを記憶するように構成されるデータ可逆圧縮モジュール。
【００１７】
ディスクアレイの記憶および読み出しを管理するように構成されるデータディスク記憶管理モジュール。
【００１８】
また、FPGA記憶プラットフォームは、以下を含む。
【００１９】
ディスクアレイの読み出しを制御するように構成される画像検索管理モジュール。
【００２０】
外部サーバと通信することにより検索データ交換およびデータ通信制御を行うように構成される第４通信インタフェースを含む画像データ交換制御モジュール。
【００２１】
さらに、画像演算ユニットは、FPGA演算プラットフォームおよび演算PCを含む。第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースはすべて、FPGA演算プラットフォームに配置される。FPGA演算プラットフォームは、演算PCに接続された第５光ファイバインタフェースと、FPGA演算プラットフォームのカスケード拡張用の拡張インタフェースをさらに含む。
【００２２】
一態様において、FPGA演算プラットフォームは、中央コントローラ、画像処理アクセラレータ、データ収集送信モジュール、およびDDRメモリを含む。
【００２３】
中央コントローラは、設定された指示に従い、制御コマンドを演算PCおよび画像処理アクセラレータに送信するように構成される。
【００２４】
演算PCは、制御コマンドに従い、DDRメモリから画像データの一部を読み出して演算し、演算結果をデータ収集送信モジュールに送信するように構成される。
【００２５】
画像処理アクセラレータは、制御コマンドに従い、DDRメモリからの画像データの別の部分を読み出して演算し、演算結果をデータ収集送信モジュールに送信するように構成される。
【００２６】
データ収集送信モジュールは、演算PCおよび画像処理アクセラレータから演算結果を収集して最終テスト結果を形成し、テスト結果を画像記憶モジュールに送信するように構成される。
【００２７】
DDRメモリは、処理される画像データおよびテスト結果を記憶するように構成される。
【００２８】
一態様において、FPGA演算プラットフォームは、構成パラメータ受信モジュール、データ受信／パラメータ構成モジュール、信号拡張モジュール、およびIO制御モジュールをさらに含む。
【００２９】
構成パラメータ受信モジュールは、構成パラメータおよびテストコマンドを受信して中央コントローラに送信するように構成される。
【００３０】
中央コントローラは、受信した構成パラメータをデータ受信／パラメータ構成モジュールに送信し、受信したテストコマンドをデータ受信／パラメータ構成モジュール、IO制御モジュール、および信号拡張モジュールに割り当てるように構成される。
【００３１】
データ受信／パラメータ構成モジュールは、画像収集ユニットの画像データを受信してDDRメモリに記憶し、受信した構成パラメータおよびテストコマンドを画像収集ユニットに送信するように構成される。
【００３２】
信号拡張モジュールは、テストコマンドに従い、画面照明信号の生成を制御するように構成される。
【００３３】
IO制御モジュールは、テストコマンドに従い、IO光源を制御するように構成される。
【００３４】
一態様において、画像収集ユニットは、以下を含む。
【００３５】
カメラデータを受信し、プロトコルに従い有効画像データに解析し、有効画像データをRAW画像データとしてDDR物理メモリに記憶するように構成されるプロトコル解析モジュール。
【００３６】
RAW画像データおよび処理済画像データを記憶するように構成されるDDR物理メモリ。
【００３７】
主制御ユニットからの制御コマンドに従い、DDR物理メモリからRAW画像データを読み出し、RAW画像データを前処理し、前処理されたRAW画像データをDDR物理メモリに送信し、処理済画像データとして記憶するように構成される画質評価および前処理モジュール。
【００３８】
設定された指示に従い、画質評価および前処理モジュールおよび読み出しDDRデータ形式変換モジュールに制御コマンドを送信するように構成される主制御ユニット。
【００３９】
RAW画像データおよび／または処理済画像データを、主制御ユニットからの構成コマンドに従い、DDR物理メモリから読み出し高速インタフェースデータパケットモジュールに送信するように構成される読み出しDDRデータ形式変換モジュール。
【００４０】
受信したRAW画像データおよび／または処理済画像データを画像記憶ユニットおよび画像演算ユニットに送信するように構成される高速インタフェースデータパケットモジュール。
【００４１】
一態様において、画像収集ユニットは、自動位置焦点露出調整モジュールおよびカメラ構成モジュールをさらに含む。
【００４２】
高速インタフェースデータパケットモジュールは、主制御ユニットへの構成パラメータおよびテストコマンドを受信するように構成される。
【００４３】
プロトコル解析モジュールはまた、カメラデータを受信して、プロトコルに従い、有効画像データに解析し、有効画像データをDDR物理メモリに記憶し、カメラパラメータをカメラに送信するように構成される。
【００４４】
画質評価および前処理モジュールはまた、主制御ユニットからの制御コマンドに従い、カメラデータの画質を評価し、評価結果を主制御ユニットに送信するように構成される。
【００４５】
主制御ユニットはさらに、構成パラメータ、テストコマンド、および画質評価結果を自動位置焦点露出調整モジュールに送信するように構成される。
【００４６】
自動位置焦点露出調整モジュールは、構成パラメータおよび画質評価結果に従い、カメラパラメータをセットアップし、構成パラメータおよびテストコマンドをカメラ構成モジュールに送信するように構成される。
【００４７】
カメラ構成モジュールは、構成パラメータおよびテストコマンドをプロトコル解析モジュールに送信するように構成される。
【００４８】
一態様において、プロトコル解析モジュールは、Camera  linkプロトコル解析モジュール、Gige  Visionプロトコル解析モジュールおよびCLHSプロトコル解析モジュールを含む。カメラインタフェースは、複数のCamera  linkインタフェース、複数のGigeインタフェース、および複数のCLHSインタフェースを含む。複数のCamera  linkインタフェースはCamera  linkプロトコル解析モジュールに接続され、複数のGigeインタフェースはGige  Visionプロトコル解析モジュールに接続され、複数のCLHSインタフェースはCLHSプロトコル解析モジュールに接続される。
【００４９】
本発明の効果は次のとおりである。画像記憶ユニット、画像演算ユニット、画像収集ユニットが連携して、画像の記憶と検索、ヒューマンコンピュータインタラクション、主制御と表示、処理結果の分析と報告の機能を実現し、画面照明信号の生成、信号拡張、光源、画像収集、およびカメラパラメータ構成を包括的に制御する。タクトタイムが短い。ユニットは光ファイバによって互いに通信し、データ伝送速度が速い。画像演算ユニットは、カスケードすることにより演算能力を拡張することもできる。また、画像演算ユニットは、CPU+GPU+FPGAアーキテクチャを使用して、CPU+GPUユニットを十分に拡張し、GPUの処理能力を強化する。中央コントローラとしてFPGAを使用すると、処理されるデータは異なるGPU処理ユニットに分散され、分散処理アーキテクチャを形成する。さらに、FPGA自体が画像アクセラレーションプロセッサとして機能し、並列処理特性を最大限に活用して、画像分割とGPU+FPGAを調整し、画像処理の演算能力を効果的に向上させる。本装置は、さまざまなカメラインタフェースをサポートし、自動的な位置合わせ、焦点調整、露出パラメータ設定をサポートし、画質評価や画像前処理などの機能を備える。システム構成全体には、シンプルな構造、低コスト、優れた安定性、優れた調整能力、強力な演算処理能力という利点がある。
【図面の簡単な説明】
【００５０】
【図１】本発明の機能ブロック図である。
【図２】本発明のカメラ調整のフローチャートである。
【図３】本発明のテストのフローチャートである。
【図４】本発明の画像記憶ユニットの機能ブロック図である。
【図５】本発明の画像記憶ユニットのフローチャートである。
【図６】本発明の画像演算ユニットの機能ブロック図である。
【図７】本発明の画像演算ユニットのフローチャートである。
【図８】本発明の画像収集ユニットの機能ブロック図である。
【図９】本発明の画像収集ユニットのフローチャートである。
【発明を実施するための形態】
【００５１】
本発明を詳述する実施形態を、図面と合わせて以下に詳細に説明する。以下の実施形態は、本発明を説明することを意図するものであり、本発明を限定することを意図していないことに留意されたい。
【００５２】
図１に示すように、本発明は、画像記憶ユニット1、画像演算ユニット2および画像収集ユニット3を含む。画像記憶ユニット1は、第１通信インタフェースおよび第２通信インタフェースを含む。画像演算ユニット2は、第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースを含む。画像収集ユニット3は、第３通信インタフェースおよびカメラインタフェースを含む。
【００５３】
画像記憶ユニット1は、ヒューマンコンピュータインタラクションを介してパラメータ構成を実行し、第１通信インタフェースを介して、構成パラメータおよびテストコマンドを画像演算ユニットに送信し、画像演算ユニットから送信されたテスト結果を受信し、報告するように構成される。画像記憶ユニットによって送信される構成パラメータには、パターン(Pattern)リスト、画面照明パラメータ、カメラパラメータ、検査パラメータなどが含まれる。また、第２通信インタフェースを介して画像収集ユニットからデータを受信するように構成される。
【００５４】
画像演算ユニット2は、第１光ファイバインタフェースを介して、画像記憶ユニットから構成パラメータおよびテストコマンドを受信し、テスト結果を画像記憶ユニットに送信し、第２光ファイバインタフェースを介して、画像収集ユニットからデータを受信し、構成パラメータとテストコマンドを画像収集ユニットに送信し、第３光ファイバインタフェースを介して画面照明信号の生成（信号拡張ユニット7を制御してモジュールを点灯）を制御し、第４光ファイバインタフェースを介してIO光源（対応する光源9（バックライトおよびサイドライト））を制御するように構成される。
【００５５】
画像収集ユニットは、第３通信インタフェースを介して画像データを出力し、構成パラメータおよびテストコマンドを受信し、カメラインタフェースを介してカメラデータを受信し、構成パラメータおよびテストコマンドをカメラに送信するように構成される。
【００５６】
本発明のシステムの動作中、図２に示すように、カメラの作動距離、焦点調整パラメータ、露出パラメータ、ゲインパラメータ、ホワイトバランスパラメータ、バックライト輝度が最初に調整され、以下を含む。
【００５７】
１）カメラおよびレンズパラメータ、パネル（Panel）パラメータ、パネル透過率パラメータ、バックライトパラメータなどを含む機器の初期化。
【００５８】
２）ヒューマンマシンインタフェースが開始するようコマンドを送信する。
【００５９】
３）画面パターンを白に設定する。
【００６０】
４）画面照明信号の生成およびモジュールが照明される。
【００６１】
５）カメラを作動させて写真を撮影する。
【００６２】
６）輝度、鮮明度、明瞭度、有効領域のサイズ、モアレパターンなどの画質を評価する。
【００６３】
７）画像がテスト基準を満たす場合、調整を終了させる。
【００６４】
８）画像がテスト基準を満たさない場合、評価結果に従い、カメラの作動距離、焦点調整パラメータ、およびバックライト輝度が調整される。
【００６５】
９）満足のいく画像が得られるまで、５）〜８）の操作を繰り返す。
【００６６】
本自動調整装置および構成では、カメラの調整を完了するのに数分しかかからない。従来の調整方法では通常、数時間または数日を要する。また、本発明の自動調整装置では、より一貫した画像を生成する。
【００６７】
調整に続いて、図３に示すように、テスト工程が実施される。
【００６８】
１）機器の初期化。
【００６９】
２）主制御ユニットがワンキー開始コマンドを設定する。
【００７０】
３）設定されたパターンシーケンスに従い、画面照明信号を生成し、画像を分割する。
【００７１】
４）設定された光源シーケンスに従い、異なる光源信号がIO制御端子を介して点灯される。
【００７２】
５）カメラの露出、ゲインおよびホワイトバランスパラメータを設定する。
【００７３】
６）カメラを作動させる。
【００７４】
７）カメラデータを受信する。
【００７５】
８）輝度補正、暗角補正、ROI領域の抽出および切り取り、背景抑制、モアレ除去、グレースケールストレッチなどを含む画像の前処理。
【００７６】
９）欠陥の検出、識別および判断を含む画像の後処理。
【００７７】
１０）ユーザのMCMQシステムへのデータ記憶部分の送信、およびPLC５を介するユーザのCIM6システムへの適時表示部分の送信を含む、テスト結果の報告。
【００７８】
１１）RAW画像データの圧縮および記憶。
【００７９】
上記において、図４に示すように、画像記憶ユニット1は、マスターパーソナルコンピュータ（PC）1.1、FPGA記憶プラットフォーム（FPGAに基づくメモリ処理ボード）1.2、およびディスクアレイ1.3を含む。FPGA記憶プラットフォーム1.3は、データインタラクションモジュール1.4、画像データ受信/送信モジュール1.6、データ可逆圧縮モジュール1.6、データディスク記憶管理モジュール1.7、画像検索管理モジュール1.8、および画像データ交換制御モジュール1.9を含む。画像記憶ユニットは画像の記憶と検索を担当する一方で、ヒューマンコンピュータインタラクション、主制御および表示、分析結果の処理と報告などの機能を備える。マスターPCとFPGA記憶プラットフォーム間のデータ通信およびインタラクションは、PCIEx8モードを介して実行される。第１通信インタフェースと第２通信インタフェースはどちらもFPGA記憶プラットフォームに配置される。つまり、FPGA記憶プラットフォームと画像演算ユニットおよび画像収集ユニットの間のデータ通信およびインタラクションは、光ファイバを介して行われ、ネットワーク接続に光ファイバを使用するので、画像の記憶や検索に便利である。
【００８０】
記憶ユニットは、主に、画像収集ユニットにより送信されたRAW画像データおよび／または処理済画像データを記憶するために使用される。画像演算ユニットの処理結果データはローカルサーバに記憶されず、ユーザのMCMQ4システムに直接アップロードされる。ローカル領域に記憶された画像が、後続のデータ分析および検索に使用されると、記憶スペース、記憶や検索の効率に対する要件がより高くなる。
【００８１】
画像記憶ユニットの各モジュールの機能は以下の通りである。
【００８２】
マスターPC1.1は、ヒューマンコンピュータインタラクションを通じてパラメータ構成を実行し、構成パラメータとテストコマンドを出力し、FPGA記憶プラットフォーム1.2からテスト結果を受信して報告し、ユーザのMCMQに接続し、テスト結果の欠陥データ、欠陥写真および検査結果XMLデータを報告する。
【００８３】
ディスクアレイ1.3は、データの記憶に使用される。
【００８４】
データインタラクションモジュール1.4は、マスターPCから構成パラメータを受信し、画像演算ユニットから受信したテスト結果をマスターPCにフィードバックするように構成される。
【００８５】
画像データ受信／送信モジュール1.5は、画像データを画像収集ユニットから受信してデータ可逆圧縮モジュールに出力し、構成パラメータを受信して画像収集モジュールに送信し、画像演算ユニットから送信された結果テストを受信するように構成される。
【００８６】
データ可逆圧縮モジュール1.6は、可逆圧縮後、ディスク記憶管理ユニットを介してディスクアレイに受信データを記憶するように構成される。データの可逆圧縮は、記憶スペースの使用率を大幅に改善し、検索帯域幅への圧力を軽減する。
【００８７】
データディスク記憶管理モジュール1.7は、ディスクアレイの記憶および読み出しを管理するように構成される。
【００８８】
画像検索管理モジュール1.8は、ディスクアレイの読み出しを制御するように構成される。
【００８９】
画像データ交換制御モジュール1.9は、第４通信インタフェースを含み、外部サーバと通信するように構成され、それにより、外部サーバからのコマンドの下で、検索データ交換およびデータ通信制御を達成する。検索時には、必要な画像データがローカルエリアから読み出され、光ファイバ交換ネットワークを通じて検索サーバに送信される。検索サーバは、可逆圧縮解除後の画像を使用できる。
【００９０】
図５に示すように、画像記憶ユニットのデータ処理手順は以下の通りである。
【００９１】
１）初期化
【００９２】
２）パラメータ構成。
【００９３】
３）ワンキーテストコマンドを送信する。
【００９４】
４）RAW画像データの受信を待つ。
【００９５】
５）RAW画像データを圧縮する。
【００９６】
６）圧縮されたRAW画像データを記憶する。
【００９７】
７）テスト結果の受信を待つ。
【００９８】
８）テスト結果を分析し、報告する。
【００９９】
９）終了。
【０１００】
上記において、図６に示すように、画像演算ユニット2は、FPGA演算プラットフォーム2.1（FPGAに基づく演算処理ボード）および演算PC2.2を含む。第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースはすべて、FPGA演算プラットフォーム上に配置される。FPGA演算プラットフォームは、演算PCに接続される第５光ファイバインタフェースと、FPGA演算プラットフォームのカスケード拡張用の拡張インタフェースをさらに含む。FPGA演算プラットフォーム2.1は、データ受信/パラメータ構成モジュール2.3、書き込みDDRデータ形式変換モジュール2.4、信号拡張モジュール2.5、IO制御モジュール2.6、中央コントローラ2.7、画像処理アクセラレータ2.8、構成パラメータ受信モジュール2.9、構成レジスタ2.10、データ収集送信モジュール2.11、データ送信モジュール2.13、AXIバス相互接続モジュール2.14、DDRコントローラ2.15、およびDDRメモリ2.16を含む。演算PC2.2はCPUとGPUを含む。FPGA演算プラットフォームは、画像演算ユニットによる画像演算の高速化だけでなく、画面照明信号の生成、信号拡張、および光源の統合制御の機能も備える。FPGA演算プラットフォームは、12個のQSFP+光ファイバインタフェースと最大6台の演算PCを含む。複数の演算PCは、16個のインタフェースを持つKVM8機器を介して切り替え制御される。FPGA演算プラットフォーム、演算PC、画像記憶ユニット、画像収集ユニット、信号拡張ユニット7、IO制御ユニットはすべて、光ファイバを介して相互に通信、インタラクションを実行する。FPGA演算プラットフォームは、ファイバインタフェースを介したカスケード拡張をサポートし、演算処理能力を拡張する。FPGA演算プラットフォームと演算PC2.2のCPUおよびGPUは、CPU+GPU+FPGAアーキテクチャを形成し、画像データフローモードに従い、パイプライン(Pipeline)構造処理、FPGA画像前処理、CPU+GPU画像後処理を実行することにより、演算速度を大きく改善する。
【０１０１】
画像演算ユニットの各モジュールの機能は以下の通りである。
【０１０２】
演算PC2.2は、制御コマンドに従いDDRメモリから画像データの一部を読み出して演算し、演算結果をデータ収集送信モジュールに送信するように構成される。
【０１０３】
データ受信／パラメータ構成モジュール2.3は、画像収集ユニットの画像データを受信して、書き込みDDRデータ形式変換モジュールにおいて変換後にDDRメモリに記憶し、受信した構成パラメータおよびテストコマンドを画像収集ユニットに送信するように構成される。
【０１０４】
書き込みDDRデータ形式変換モジュール2.4は、受信したデータの形式を変換するように構成される。
【０１０５】
信号拡張モジュール2.5は、テストコマンドに従い、画面照明信号を生成および制御するように構成される。
【０１０６】
IO制御モジュール2.6は、テストコマンドに従いIO光源を制御するように構成される。
【０１０７】
中央コントローラ2.7は、制御コマンドを演算PCおよび画像処理アクセラレータそれぞれに送信し、受信した構成パラメータをデータ受信／パラメータ構成モジュールに送信し、受信したテストコマンドをデータ受信／パラメータ構成モジュール、IO制御モジュールおよび信号拡張モジュールに割り当てるように構成される。
【０１０８】
画像処理アクセラレータ2.8は、制御コマンドに従い、DDRメモリから画像データの別の部分を読み出して演算し、演算結果をデータ収集送信モジュールに送信するように構成される。
【０１０９】
構成パラメータ受信モジュール2.9は、画像記憶ユニットの構成パラメータおよびテストコマンドを受信して中央コントローラに送信するように構成される。
【０１１０】
構成レジスタ2.10は、レジスタを構成するように構成される。
【０１１１】
データ収集送信モジュール2.11は、演算PCおよび画像処理アクセラレータから演算結果を収集して最終的なテスト結果を形成し、テスト結果を画像記憶ユニットに送信するように構成される。
【０１１２】
読み出しDDRデータ形式変換モジュール2.12は、受信されたデータの形式を変換するように構成される。
【０１１３】
データ送信モジュール2.13は、演算されるデータを演算PCに送信するように構成される。
【０１１４】
AXIバス相互接続モジュール2.14は、中央コントローラの制御下で、画像データをDDRメモリに読み出しおよび書き込みするように構成される。
【０１１５】
DDRコントローラ2.15は、画像データおよびテスト結果の読み出しおよび書き込みを制御するように構成される。
【０１１６】
DDRメモリ2.16は、処理される画像データおよびテスト結果を記憶するように構成される。
【０１１７】
図７に示すように、画像演算ユニットのデータ処理プロセスは以下の通りである。
【０１１８】
１）初期化。
【０１１９】
２）ワンキーテストコマンドを受信する。
【０１２０】
３）処理されたパターンの数が、設定されたパターンの総数と等しいかどうかを判定する。等しい場合には、ワンキー処理テストが完了したと判断し、プロセスを終了する。
【０１２１】
４）ワンキーテストが完了していない場合、パターンリストに従いモジュールを点灯させる。
【０１２２】
５）パターンリストに従い光源を点灯させる。
【０１２３】
６）カメラを作動させて画像を取り込む。
【０１２４】
７）画像収集ユニットの画像データを受信し、トリガーの回数を判定するために戻る。
【０１２５】
８）受信したデータを処理し、テストされたモジュールに欠陥があるかどうかを判定し、欠陥レベルを判断する。
【０１２６】
９）テスト結果を報告する。
【０１２７】
上記において、図８に示すように、画像収集ユニット3は、プロトコル解析モジュール3.1、有効データ抽出モジュール3.2、書き込みDDRデータ形式変換モジュール3.3、AXIバス相互接続3.4、DDR制御モジュール3.5、DDR物理メモリ3.6、画質評価および前処理モジュール3.7、主制御ユニット3.8、レジスタ構成モジュール3.9、読み出しDDRデータ形式変換モジュール3.10、高速インタフェースデータパケットモジュール3.11、自動位置焦点露出調整モジュール3.12およびカメラ構成モジュール3.13を含む。画像収集ユニットは、主制御ユニットとしてザイリンクス(Xilinx)SOCチップを使用し、8個のCameralinkインタフェース、8個のGigeインタフェース、4個のCLHSインタフェースと互換性があり、光ファイバインタフェースを介してFPGA演算プラットフォームと通信し、自己カスタマイズされたプロトコルに従いデータ通信を実行する。画像収集ユニットは、複数のカメラインタフェースや様々なカメラと互換性があり、自動位置合わせ、焦点調整、露出パラメータの自動設定、画質の評価、画像の一貫性の向上、（バックライトの輝度、パネルの透過率およびレンズの歪みに応じて）露出時間およびゲインの自動調整、輝度と暗角の修正を行うことにより、画質と一貫性を向上させる。画像収集ユニットは、輝度補正、暗角補正、ROI領域の抽出と切り取り、背景抑制、モアレ除去、グレースケールストレッチなどを含む、画像の前処理も実行する。
【０１２８】
画像収集ユニット3の各モジュールの機能は以下の通りである。
【０１２９】
プロトコル解析モジュール3.1は、カメラデータを受信し、プロトコルに従ってカメラデータを有効画像データに解析するように構成され、カメラデータは、有効データ抽出モジュールおよび書き込みDDRデータ形式変換モジュールによって処理され、RAW画像データとしてDDR物理メモリに送信される。プロトコル解析モジュール3.1は、カメラデータを受信し、プロトコルに従ってカメラデータを有効画像データに解析するように構成され、カメラデータは、有効データ抽出モジュールと書き込みDDRデータ形式変換モジュールにより処理されてDDR物理メモリに送信され、解析された画像データは、24ビット画像データとフレーム制御信号VS/HS/DEを含む。プロトコル解析モジュール3.1は、カメラ構成パラメータをカメラに送信するように構成される。
【０１３０】
プロトコル解析モジュールは、Camera Linkプロトコル解析モジュール、Gige Visionプロトコル解析モジュールおよびCLHSプロトコル解析モジュールを含む。カメラインタフェースは、複数のCamera linkインタフェース、複数のGigeインタフェース、および複数のCLHSインタフェースを含む。複数のCamera linkインタフェースはCamera linkプロトコル解析モジュールに接続され、複数のGigeインタフェースはGige Visionプロトコル解析モジュールに接続され、複数のCLHSインタフェースはCLHSプロトコル解析モジュールに接続される。
【０１３１】
有効データ抽出モジュール3.2は、主制御ユニットの構成パラメータに従い、有効画像データを抽出するように構成される。プロトコル解析モジュールから収集したデータは24ビットデータであり、有効データ抽出モジュール3.2は、主制御ユニットの構成に従い、有効データビットを抽出するように構成される。
【０１３２】
書き込みDDRデータ形式変換モジュール3.3は、受信したデータを物理メモリに記憶し、カメラの有効画像データの形式をメモリのAXI4書き込みデータに変換するように構成される。
【０１３３】
AXIバス相互接続3.4は、主制御ユニットの制御下で、画像データをDDR物理メモリに読み出し書き込むように構成される。
【０１３４】
DDR制御モジュール3.5は、画像データの読み出しおよび書き込みを制御するように構成される。
【０１３５】
DDR物理メモリ3.6は、RAW画像データおよび処理済画像データを記憶するように構成される。
【０１３６】
画質評価および前処理モジュール3.7は、CPU制御コマンドに従いDDR物理メモリからRAW画像データを読み出し、RAW画像データを前処理し、前処理されたデータを処理済画像としてDDR物理メモリに送信する。画像の前処理には、暗角補正、輝度補正、AOI領域の抽出と切り取り、背景抑制、モアレ除去、グレースケールストレッチなどが含まれる。また、主制御ユニットの制御コマンドに従い、カメラデータの画質を評価し、評価結果を主制御ユニットに送信するように構成される。
【０１３７】
主制御ユニット3.8は、設定された指示に従い、制御コマンドを画質評価および前処理モジュールおよび読み出しDDRデータ形式変換モジュールに送信し、構成パラメータ、テストコマンド、および評価結果を自動位置焦点露出調整モジュールに送信するように構成される。
【０１３８】
レジスタ構成モジュール3.9は、対応するレジスタの構成を実行するように構成される。
【０１３９】
読み出しDDRデータ形式変換モジュール3.10は、主制御ユニットの構成コマンドに従い、RAW画像データおよび／または処理済画像データをDDR物理メモリから読み出し、高速インタフェースデータパケットモジュールに送信するように構成される。
【０１４０】
高速インタフェースデータパケットモジュール3.11は、受信したRAW画像データおよび／または処理済画像データを画像記憶ユニットおよび画像演算ユニットに送信し、構成パラメータおよびテストコマンドを受信して主制御ユニットに送信するように構成される。
【０１４１】
自動位置焦点露出調整モジュール3.12は、構成パラメータおよび画質評価結果に従い、カメラパラメータをセットアップし、構成パラメータおよびテストコマンドをカメラ構成モジュールに送信するように構成される。
【０１４２】
カメラ構成モジュール3.13は、構成パラメータおよびテストコマンドをプロトコル解析モジュールに送信するように構成される。
【０１４３】
図９に示すように、画像演算ユニットのデータ処理手順は以下の通りである。
【０１４４】
１）通電および初期化：機器の初期化、カメラの初期化、カメラの焦点調整など。
【０１４５】
２）主制御ユニットの構成パラメータを受信する。パラメータは、カメラパラメータ、パネルサイズ、解像度、透過率情報、バックライト輝度、作業モードなどを含む。
【０１４６】
３）主制御ユニットのトリガーコマンドを受信する。コマンドは、機器調整コマンドおよび写真撮影コマンドを含む。機器調整コマンドを受信すると、機器調整モードが機能し、写真撮影コマンドを受信すると、写真撮影モードが機能する。
【０１４７】
４）カメラの作動距離、焦点調整パラメータ、露出パラメータ、ゲインパラメータ、ホワイトバランスパラメータ、バックライト輝度などの調整を含む機器調整モード。
【０１４８】
ａ）写真撮影をするようにカメラを作動させる。
【０１４９】
ｂ）画像評価して、特定の検査基準を満たすかどうかを判断する。
【０１５０】
ｃ）検査基準を満たす場合、現在の調整パラメータを記録して終了する。
【０１５１】
ｄ）検査基準を満たさない場合、構成パラメータに従って、カメラの作動距離、焦点距離、露出時間、ゲイン、およびホワイトバランスを調整する。撮影した画像が基準を満たすまで、上記の操作を繰り返す。
【０１５２】
５）撮影モード
【０１５３】
ａ）露出時間、ゲインおよびホワイトバランスを含むカメラパラメータを構成する。
【０１５４】
ｂ）カメラを作動させる。
【０１５５】
ｃ）カメラがデータを受信する。
【０１５６】
ｄ）輝度補正、暗角補正、AOI領域の抽出および切り取り、背景抑制、モアレ除去などを含む画像前処理。
【０１５７】
ｅ）DDRメモリからデータを読み出し、次の処理のために、光ファイバを介してデータをフロントエンドに送信する。
【０１５８】
本発明の自動光学検査装置は、データの収集および処理のために最大20台のカメラを同時に管理でき、高解像度および大型パネルの自動検査システムの複雑さや圧縮画像の収集のタクトタイムを大幅に最適化するとともに、システムの安定性を向上させる。さらに、カメラは自動的な位置合わせ、焦点調整、画質検査の包括的な性質を備えており、カメラのオンサイト調整に非常に便利な画質管理を自動的に行う。独自に開発した画質評価システムは、カメラの調整を迅速に実現でき、画像の一貫性が良好となる。FPGA画像記憶管理システムは、画像記憶効率を向上させ、画像検索を容易にし、機械学習とインテリジェント検査に必要なソース画像を提供する。
【０１５９】
CPU+GPU+FPGAのスター型ネットワーク並列高速演算システムは、GPUおよびFPGAの並列処理特性を十分に発揮し、システムの全体的な演算能力を改善する。データフローの方向に従い、画像の前処理はパイプライン(Pipeline)構造を使用してFPGA側で高速化され、画像の後処理はCPUおよびGPU側で実現される。高速システムにより、画像演算処理能力は50％以上向上する。
【０１６０】
本明細書で詳述されていない内容は、当業者に既知の先行技術に属する。
【符号の説明】
【０１６１】
1    画像記憶ユニット
1.1    マスターPC
1.2    FPGA記憶プラットフォーム
1.3    ディスクアレイ
1.4    データインタラクションモジュール
1.5    画像データ受信／送信モジュール
1.6    データ可逆圧縮モジュール
1.7    データディスク記憶管理モジュール
1.8    画像検索管理モジュール
1.9    画像データ交換制御モジュール
2    画像演算ユニット
2.1    FPGA演算プラットフォーム
2.2    演算PC
2.3    データ受信/パラメータ構成モジュール
2.4    書き込みDDRデータ形式変換モジュール
2.5    信号拡張モジュール
2.6    IO制御モジュール
2.7    中央コントローラ
2.8    画像処理アクセラレータ
2.9    構成パラメータ受信モジュール
2.10    構成レジスタ
2.11    データ収集送信モジュール
2.12    読み出しDDRデータ形式変換モジュール
2.13    データ送信モジュール
2.14    AXIバス相互接続モジュール
2.15    DDRコントローラ
2.16    DDRメモリ
3    画像収集ユニット
3.1    プロトコル解析モジュール
3.2    有効データ抽出モジュール
3.3    書き込みDDRデータ形式変換モジュール
3.4    AXIバス相互接続
3.5    DDR制御モジュール
3.6    DDR物理メモリ
3.7    画質評価および前処理モジュール
3.8    主制御ユニット
3.9    レジスタ構成モジュール
3.10    読み出しDDRデータ形式変換モジュール
3.11    高速インタフェースデータパケットモジュール
3.12    自動位置焦点露出調整モジュール
3.13    カメラ構成モジュール
4    ユーザのMCMQ
5    PLC
6    CIM
7    信号拡張ユニット
8    16ポートKVM
9    光源
【図１】
2021501330.tif 000003
【図２】
2021501330.tif 000004
【図３】
2021501330.tif 000005
【図４】
2021501330.tif 000006
【図５】
2021501330.tif 000007
【図６】
2021501330.tif 000008
【図７】
2021501330.tif 000009
【図８】
2021501330.tif 000010
【図９】
2021501330.tif 000011
【手続補正書】
【提出日】令和2年7月21日(2020.7.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
CPU+GPU+FPGAアーキテクチャに基づく自動光学検査システムであって、前記システムは、画像記憶ユニットと、画像演算ユニットと、画像収集ユニットとを含み、前記画像記憶ユニットは、第１通信インタフェースと第２通信インタフェースを含み、前記画像演算ユニットは、第１光ファイバインタフェースと、第２光ファイバインタフェースと、第３光ファイバインタフェースと、第４光ファイバインタフェースとを含み、前記画像収集ユニットは、第３通信インタフェースとカメラインタフェースとを含み、
前記画像記憶ユニットは、前記第１通信インタフェースを介して、構成パラメータおよびテストコマンドを前記画像演算ユニットに送信し、前記画像演算ユニットから送信されたテスト結果を受信し、前記第２通信インタフェースを介して前記画像収集ユニットからデータを受信するように構成され、
前記画像演算ユニットは、前記第１光ファイバインタフェースを介して、前記画像記憶ユニットから前記構成パラメータおよびテストコマンドを受信し、テスト結果を前記画像記憶ユニットに送信し、前記第２光ファイバインタフェースを介して前記画像収集ユニットからデータを受信し、前記構成パラメータおよびテストコマンドを前記画像収集ユニットへ送信し、前記第３光ファイバインタフェースを介して画面照明信号の生成を制御し、前記第４光ファイバインタフェースを介してIO光源を制御するように構成され、
前記画像演算ユニットはFPGA演算プラットフォームおよび演算PCを含み、前記FPGA演算プラットフォームは、前記演算PC、画像記憶ユニットおよび画像収集ユニットとの光ファイバによる通信およびインタラクションを実行し、前記FPGA演算プラットフォームは画像の前処理を高速化するFPGAベースの演算処理ボードであり、前記演算PCは画像後処理を実現するCPUおよびGPUを含み、
前記画像収集ユニットは、前記第３通信インタフェースを介して画像データを出力し、前記構成パラメータおよびテストコマンドを受信し、前記カメラインタフェースを介してカメラデータを受信し、前記構成パラメータおよびテストコマンドをカメラに送信するように構成される
ことを特徴とするCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム
【請求項２】
前記画像記憶ユニットは、
ヒューマンコンピュータインタラクションを介してパラメータ構成を実行し、前記構成パラメータおよびテストコマンドを出力し、FPGA記憶プラットフォームからテスト結果を受信して報告するように設定されるマスターPCと、
前記画像収集ユニットからデータを受信し、該受信データに可逆圧縮を行った後、該受信データをディスクアレイに送信し、前記画像演算ユニットから送信されたテスト結果を受信して出力し、受信した前記構成パラメータを前記画像収集ユニットに出力し、記憶されたデータ内で画像データを検索するように構成される前記FPGA記憶プラットフォームと、
データ記憶用に構成される前記ディスクアレイと
を含む請求項１に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項３】
前記FPGA記憶プラットフォームは、
前記マスターPCから前記構成パラメータを受信し、前記画像演算ユニットから受信したテスト結果を前記マスターPCにフィードバックするように構成されるデータインタラクションモジュールと、
前記画像収集ユニットから前記画像データを受信してデータ可逆圧縮モジュールに出力し、前記構成パラメータを受信して前記画像収集ユニットに送信し、前記画像演算ユニットから送信されたテスト結果を受信するように構成される画像データ受信/送信モジュールと、
前記受信したデータに可逆圧縮を実行した後、ディスク記憶管理ユニットを介して前記ディスクアレイに受信したデータを記憶するように構成されるデータ可逆圧縮モジュールと、
前記ディスクアレイの記憶と読み出しを管理するように構成されるデータディスク記憶管理モジュールと
を含む請求項２に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項４】
前記FPGA記憶プラットフォームはさらに、
ディスクアレイの読み出しを制御するように構成される画像検索管理モジュールと、
外部サーバと通信するように構成されて、検索データ交換およびデータ通信制御を行うように構成される第４通信インタフェースを含む画像データ交換制御モジュールと
を含む請求項２に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項５】
前記画像演算ユニットは、FPGA演算プラットフォームおよび演算PCを含み、前記第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースはすべて前記FPGA演算プラットフォームに配置され、前記FPGA演算プラットフォームは、前記演算PCに接続された第５光ファイバインタフェースと、前記FPGA演算プラットフォームのカスケード拡張用の拡張インタフェースをさらに含む
請求項１に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項６】
前記FPGA演算プラットフォームは、中央コントローラと、画像処理アクセラレータと、データ収集送信モジュールと、DDRメモリとを含み、
前記中央コントローラは、設定された指示に従い、制御コマンドを前記演算PCおよび画像処理アクセラレータに送信するように構成され、
前記演算PCは、前記制御コマンドに従い、前記DDRメモリから画像データの一部を読み出して演算し、演算結果を前記データ収集送信モジュールに送信するように構成され、
前記画像処理アクセラレータは、前記制御コマンドに従い、前記DDRメモリから前記画像データの別の部分を読み取出して演算し、演算結果を前記データ収集送信モジュールに送信するように構成され、
前記データ収集送信モジュールは、前記演算PCおよび画像処理アクセラレータからの演算結果を収集して最終テスト結果を形成し、該テスト結果を前記画像記憶ユニットに送信するように構成され、
前記DDRメモリは、処理される画像データおよび前記テスト結果を記憶するように構成される
請求項１または５に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項７】
前記FPGA演算プラットフォームは、構成パラメータ受信モジュールと、データ受信／パラメータ構成モジュールと、信号拡張モジュールと、IO制御モジュールとをさらに含み、
前記構成パラメータ受信モジュールは、前記構成パラメータおよびテストコマンドを受信して前記中央コントローラに送信するように構成され、
前記中央コントローラは、受信した前記構成パラメータを前記データ受信/パラメータ構成モジュールに送信し、受信した前記テストコマンドを前記データ受信/パラメータ構成モジュールと、前記IO制御モジュールと、前記信号拡張モジュールに割り当てるように構成され、
前記データ受信／パラメータ構成モジュールは、前記画像収集ユニットの画像データを受信して前記DDRメモリに記憶し、受信した前記構成パラメータおよびテストコマンドを前記画像収集ユニットに送信するように構成され、
前記信号拡張モジュールは、前記テストコマンドに従い、前記画面照明信号の生成を制御するように構成され、
前記IO制御モジュールは、前記テストコマンドに従い、前記IO光源を制御するように構成される
請求項６に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項８】
前記画像収集ユニットは、
前記カメラデータを受信し、プロトコルに従い、該カメラデータを有効画像データに解析し、該有効画像データをRAW画像データとしてDDR物理メモリに記憶するように構成されるプロトコル解析モジュールと、
前記RAW画像データおよび処理済画像データを記憶するように構成されるDDR物理メモリと、
主制御ユニットからの制御コマンドに従い、前記DDR物理メモリからRAW画像データを読み出し、該RAW画像データを前処理し、該前処理されたデータを処理済画像データとして前記DDR物理メモリに送信して記憶するように構成される画質評価および前処理モジュールと、
設定された指示に従い、前記画質評価および前処理モジュールと読み出しDDRデータ形式変換モジュールに制御コマンドを送信するように構成される前記主制御ユニットと、
前記主制御ユニットからの構成コマンドに従い、前記RAW画像データおよび/または処理済画像データを前記DDR物理メモリから読み出して高速インタフェースデータパケットモジュールに送信するように構成される読み出しDDRデータ形式変換モジュールと、
受信した前記RAW画像データおよび／または処理済画像データを前記画像記憶ユニットおよび画像演算ユニットに送信するように構成される高速インタフェースデータパケットモジュールと
を含む請求項１に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項９】
前記画像収集ユニットは、自動位置焦点露出調整モジュールとカメラ構成モジュールをさらに含み、
前記高速インタフェースデータパケットモジュールは、前記主制御ユニットへの構成パラメータおよびテストコマンドを受信するように構成され、
前記プロトコル解析モジュールは、前記カメラデータを受信し、該カメラデータをプロトコルに基づき有効画像データに解析し、該有効画像データを前記DDR物理メモリに記憶し、カメラパラメータを前記カメラに送信するように構成され、
前記画質評価および前処理モジュールは、前記主制御ユニットからの制御コマンドに従い、前記カメラデータの画質を評価し、評価結果を前記主制御ユニットに送信するように構成され、
前記主制御ユニットはさらに、前記構成パラメータ、テストコマンド、および評価結果を前記自動位置焦点露出調整モジュールに送信するように構成され、
前記自動位置焦点露出調整モジュールは、前記構成パラメータおよび評価結果に従い、カメラパラメータを設定し、前記構成パラメータおよび評価結果を前記カメラ構成モジュールに送信するように構成され、
前記カメラ構成モジュールは、カメラ構成パラメータおよびテストコマンドを前記プロトコル解析モジュールに送信するように構成される
請求項８に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【請求項１０】
前記プロトコル解析モジュールは、Camera linkプロトコル解析モジュールと、Gige Visionプロトコル解析モジュールと、CLHSプロトコル解析モジュールとを含み、前記カメラインタフェースは、複数のCamera Linkインタフェースと、複数のGigeインタフェースと、複数のCLHSインタフェースを含み、前記複数のCamera Linkインタフェースは前記Camera linkプロトコル解析モジュールに接続され、前記複数のGigeインタフェースは前記Gige Visionプロトコル解析モジュールに接続され、前記複数のCLHSインタフェースは前記CLHSプロトコル解析モジュールに接続される、請求項８または９に記載のCPU+GPU+FPGAアーキテクチャに基づく自動光学検査システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
画像収集ユニットからの画像データを受信し、データ可逆圧縮モジュールに出力し、構成パラメータを受信して画像収集ユニットに送信し、画像演算ユニットから送信された結果テストを受信するように構成される画像データ受信／送信モジュール。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
データ収集送信モジュールは、演算PCおよび画像処理アクセラレータから演算結果を収集して最終テスト結果を形成し、テスト結果を画像記憶ユニットに送信するように構成される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
上記において、図４に示すように、画像記憶ユニット1は、マスターパーソナルコンピュータ（PC）1.1、FPGA記憶プラットフォーム（FPGAに基づくメモリ処理ボード）1.2、およびディスクアレイ1.3を含む。FPGA記憶プラットフォーム1.2は、データインタラクションモジュール1.4、画像データ受信/送信モジュール1.5、データ可逆圧縮モジュール1.6、データディスク記憶管理モジュール1.7、画像検索管理モジュール1.8、および画像データ交換制御モジュール1.9を含む。画像記憶ユニットは画像の記憶と検索を担当する一方で、ヒューマンコンピュータインタラクション、主制御および表示、分析結果の処理と報告などの機能を備える。マスターPCとFPGA記憶プラットフォーム間のデータ通信およびインタラクションは、PCIEx8モードを介して実行される。第１通信インタフェースと第２通信インタフェースはどちらもFPGA記憶プラットフォームに配置される。つまり、FPGA記憶プラットフォームと画像演算ユニットおよび画像収集ユニットの間のデータ通信およびインタラクションは、光ファイバを介して行われ、ネットワーク接続に光ファイバを使用するので、画像の記憶や検索に便利である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
上記において、図６に示すように、画像演算ユニット2は、FPGA演算プラットフォーム2.1（FPGAに基づく演算処理ボード）および演算PC2.2を含む。第１光ファイバインタフェース、第２光ファイバインタフェース、第３光ファイバインタフェース、および第４光ファイバインタフェースはすべて、FPGA演算プラットフォーム上に配置される。FPGA演算プラットフォームは、演算PCに接続される第５光ファイバインタフェースと、FPGA演算プラットフォームのカスケード拡張用の拡張インタフェースをさらに含む。FPGA演算プラットフォーム2.1は、データ受信/パラメータ構成モジュール2.3、書き込みDDRデータ形式変換モジュール2.4、信号拡張モジュール2.5、IO制御モジュール2.6、中央コントローラ2.7、画像処理アクセラレータ2.8、構成パラメータ受信モジュール2.9、構成レジスタ2.10、データ収集送信モジュール2.11、データ送信モジュール2.13、AXIバス相互接続モジュール2.14、DDRコントローラ2.15、およびDDRメモリ2.16を含む。演算PCはCPUとGPUを含む。FPGA演算プラットフォームは、画像演算ユニットによる画像演算の高速化だけでなく、画面照明信号の生成、信号拡張、および光源の統合制御の機能も備える。FPGA演算プラットフォームは、12個のQSFP+光ファイバインタフェースと最大6台の演算PCを含む。複数の演算PCは、16個のインタフェースを持つKVM8機器を介して切り替え制御される。FPGA演算プラットフォーム、演算PC、画像記憶ユニット、画像収集ユニット、信号拡張ユニット7、IO制御モジュールはすべて、光ファイバを介して相互に通信、インタラクションを実行する。FPGA演算プラットフォームは、ファイバインタフェースを介したカスケード拡張をサポートし、演算処理能力を拡張する。FPGA演算プラットフォームと演算PC2.2のCPUおよびGPUは、CPU+GPU+FPGAアーキテクチャを形成し、画像データフローモードに従い、パイプライン(Pipeline)構造処理、FPGA画像前処理、CPU+GPU画像後処理を実行することにより、演算速度を大きく改善する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
プロトコル解析モジュール3.1は、カメラデータを受信し、プロトコルに従ってカメラデータを有効画像データに解析するように構成され、カメラデータは、有効データ抽出モジュールおよび書き込みDDRデータ形式変換モジュールによって処理され、RAW画像データとしてDDR物理メモリに送信される。解析された画像データは、24ビット画像データとフレーム制御信号VS/HS/DEを含む。プロトコル解析モジュール3.1は、カメラ構成パラメータをカメラに送信するように構成される。
【国際調査報告】
2021501330.tif 000012
2021501330.tif 000013
2021501330.tif 000014
2021501330.tif 000015
2021501330.tif 000016