(57)【要約】本発明は、ディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器、及び記憶媒体を提供する。ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された、ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信し、ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像に物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得て、検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得て、欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する。本発明の技術的解決手段による欠陥検出は、精度が高く、システム性能が良く、業務拡張能力が高い。【選択図】図２
2020530125.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイスクリーン周辺回路の検出方法であって、
ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された品質検出要求を受信し、前記品質検出要求は、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含むステップと、
前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得、前記欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によって物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られたものであるステップと、
前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るステップと、
前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップと、を含むことを特徴とするディスプレイスクリーン周辺回路の検出方法。
【請求項２】
前記ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、更に、
履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって前記欠陥検出モデルに対して、前記ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、前記実際タイプとの間の損失値がプリセットされた損失閾値を下回るステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、更に、
前記ディスプレイスクリーン周辺回路の画像に対して画像前処理を行い、
前記画像前処理は、トリミング、カッティング、回転といった処理のうちの１つ又は複数を含むことを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るステップは、
ロードバランスポリシーに基づいて処理リソースをサポートする検出モデルサーバーを確定するステップと、
前記検出対象画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得るステップと、を含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記欠陥検出結果は、欠陥のタイプ、及び／又は欠陥のボックス位置を含み、
前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップは、
生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップを含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項６】
前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、更に、
前記ディスプレイスクリーン周辺回路が破損回路であると確定すると、
コントローラによって生産管理者にアラーム情報を送信する操作、
前記欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、
コントローラによって前記コンソールに生産制御命令を送信し、欠陥を除去する操作、及び
前記ディスプレイスクリーン周辺回路の画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行することを含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項７】
ディスプレイスクリーン周辺回路の検出装置であって、
ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信するための受信モジュールと、
前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像によって物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得るための前処理モジュールと、
前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るための処理モジュールと、
前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するための確定モジュールと、を含むことを特徴とするディスプレイスクリーン周辺回路の検出装置。
【請求項８】
前記処理モジュールは更に、前記ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって前記欠陥検出モデルに前記ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、前記実際タイプとの間の損失値がプリセットされた損失閾値を下回るために使用されることを特徴とする請求項７に記載の装置。
【請求項９】
前記処理モジュールは更に、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、前記ディスプレイスクリーン周辺回路の画像にトリミング、カッティング、回転といった処理のうちの１つ又は複数を含む画像前処理を行うために使用されることを特徴とする請求項７に記載の装置。
【請求項１０】
前記処理モジュールは具体的には、ロードバランスポリシーに基づいて処理リソースをサポートする検出モデルサーバーを確定すること、及び前記検出対象画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得ることに使用されることを特徴とする請求項７〜９のいずれか１項に記載の装置。
【請求項１１】
前記欠陥検出結果は、欠陥のタイプ、及び／又は欠陥のボックス位置を含み、
前記確定モジュールは、具体的に、生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するために使用されることを特徴とする請求項７〜９のいずれか１項に記載の装置。
【請求項１２】
前記処理モジュールは更に、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、前記ディスプレイスクリーン周辺回路が破損回路であると確定すると、
コントローラによって生産管理者にアラーム情報を送信する操作、
前記欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、
コントローラによって前記コンソールに生産制御命令を送信し、欠陥を除去する操作、
前記ディスプレイスクリーン周辺回路の画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行するために使用されることを特徴とする請求項７〜９のいずれか１項に記載の装置。
【請求項１３】
プロセッサ、メモリ、及び前記メモリに記憶されて、且つプロセッサで実行可能なコンピュータプログラムを含む電子機器であって、前記プロセッサは前記プログラムを実行する時、請求項１〜６のいずれか１項に記載の方法を実現することを特徴とする電子機器。
【請求項１４】
記憶媒体であって、
コンピュータで動作するときに、コンピュータに請求項１〜６のいずれか１項に記載の方法を実行させる命令が記憶されることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は２０１８年０７月０２日に中国特許局に提出した、出願番号が２０１８１０７１０５３４．１、出願人が北京百度綱訊科技有限公司、発明の名称が「ディスプレイスクリーン周辺回路の検出方法、装置、電子機器及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。
本発明は、欠陥検出技術の分野に関し、特にディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器及び記憶媒体に関する。
【背景技術】
【０００２】
科学技術の発展に伴い、情報表示技術は人々の生活の中での役割が日増しに増え、ディスプレイスクリーンもその小さな体積や、軽量、低電力、高解像度、高輝度、及び幾何学的変形がないなど多くの特徴により広く使われている。しかし、ディスプレイスクリーンの生産過程では、技術や環境に起因して、ディスプレイスクリーン周辺回路に欠陥、例えば、点類欠陥、異物類欠陥、傷類欠陥などが存在する可能性がある。したがって、ディスプレイスクリーン周辺回路における欠陥の検出は生産過程の重要な工程の一つである。
【０００３】
従来の技術において、ディスプレイスクリーン周辺回路の検出は主に人力による検出又は機械補助の人力による検出方法を採用する。具体的には、人力による検出方法とは、業界の専門家が生産環境から採取した写真を視覚的に観察して判断することに依存するものである。機械補助の人力による検出方法とは、まず業界専門家の経験を元にした品質検出システムを利用し、検出対象のディスプレイスクリーン周辺回路の画像を検出し、欠陥の疑いがある写真を初歩的に選別し、次に業界の専門家が欠陥の疑いがある写真を人力で検出して判断する。
【０００４】
しかしながら、人力による検出方法であっても、機械補助の人力による検出方法であっても、人間の主観による影響の要素が大きく、検出精度が低く、システム性能が悪く、業務拡張能力が低いという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、従来のディスプレイスクリーン周辺回路の欠陥検出方法においては、人間の主観による影響を受ける要素が大きく、検出精度が低く、システム性能が悪く、業務拡張能力が低いという問題を克服するディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器及び記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、ディスプレイスクリーン周辺回路の検出方法を提供し、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された品質検出要求を受信し、前記品質検出要求は、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含むステップと、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得、前記欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によって物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られたものであるステップと、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るステップと、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップと、を含む。
【０００７】
第１の態様の１つの選択可能な実施態様では、前記ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、更に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって前記欠陥検出モデルに対して、前記ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、前記実際タイプとの間の損失値がプリセットされた損失閾値を下回るステップを含む。
【０００８】
第１の態様の他の選択可能な実施態様では、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、更に、前記ディスプレイスクリーン周辺回路の画像に対して画像前処理を行い、前記画像前処理は、トリミング、カッティング、回転といった処理のうちの１つ又は複数を含むことを含む。
【０００９】
第１の態様の別の選択可能な実施態様では、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るステップは、
ロードバランスポリシーに基づいて処理リソースをサポートする検出モデルサーバーを確定するステップと、前記検出対象画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得るステップと、を含む。
【００１０】
第１の態様の別の選択可能な実施態様では、前記欠陥検出結果は、欠陥のタイプ、及び／又は欠陥のボックス位置を含み、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップは、生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップを含む。
【００１１】
第１の態様の別の選択可能な実施態様では、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、更に、前記ディスプレイスクリーン周辺回路が破損回路であると確定すると、コントローラによって生産管理者にアラーム情報を送信する操作、前記欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、コントローラによって前記コンソールに生産制御命令を送信し、欠陥を除去する操作、及び前記ディスプレイスクリーン周辺回路の画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行することを含む。
【００１２】
本発明の第２の態様は、ディスプレイスクリーン周辺回路の検出装置を提供し、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信するための受信モジュールと、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像によって物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得るための前処理モジュールと、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るための処理モジュールと、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するための確定モジュールと、を含む。
【００１３】
第２の態様の１つの選択可能な実施態様では、前記処理モジュールは更に、前記ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって前記欠陥検出モデルに前記ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、前記実際タイプとの間の損失値がプリセットされた損失閾値を下回るために使用される。
【００１４】
第２の態様の他の選択可能な実施態様では、前記処理モジュールは更に、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、前記ディスプレイスクリーン周辺回路の画像にトリミング、カッティング、回転といった処理のうちの１つ又は複数を含む画像前処理を行うために使用される。
【００１５】
第２の態様の別の選択可能な実施態様では、前記処理モジュールは具体的には、ロードバランスポリシーに基づいて処理リソースをサポートする検出モデルサーバーを確定すること、及び前記検出対象画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得ることに使用される。
【００１６】
第２の態様の別の選択可能な実施態様では、前記欠陥検出結果は、欠陥のタイプ、及び／又は欠陥のボックス位置を含み、前記確定モジュールは、具体的に、生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するために使用される。
【００１７】
第２の態様の別の選択可能な実施態様では、前記処理モジュールは更に、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、前記ディスプレイスクリーン周辺回路が破損回路であると確定すると、コントローラによって生産管理者にアラーム情報を送信する操作、前記欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、コントローラによって前記コンソールに生産制御命令を送信し、欠陥を除去する操作、前記ディスプレイスクリーン周辺回路の画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行するために使用される。
【００１８】
本発明の第３の態様は、プロセッサ、メモリ、及び前記メモリに記憶されて、且つプロセッサで実行可能なコンピュータプログラムを含む電子機器を提供し、前記プロセッサは前記プログラムを実行する時、上記第１の態様及び第１の態様の各選択可能な実施態様のいずれか１つに記載の方法を実行させる。
【００１９】
本発明の第４の態様は、コンピュータで動作するときに、コンピュータに第１の態様及び第１の態様の各選択可能な実施態様のいずれか１つに記載の方法を実行させる命令が記憶された記憶媒体を提供する。
【発明の効果】
【００２０】
本発明で提供されるディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器、及びコンピュータ可読記憶媒体は、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信し、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像に物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得、前記検出対象画像を欠陥検出モデルに入力し、欠陥検出結果を得、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する。欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像にＦＡＳＴ  ＲＣＮＮの訓練を行って得られたものであるため、当該欠陥検出モデルを利用して得られた欠陥検出結果は、分類精度が高く、スマート化能力が強く、システム性能を向上させ、業務拡張能力が高くなり、従来のディスプレイスクリーン周辺回路の欠陥検出方法において、人間の主観的な影響を受ける要素が大きいために、検出精度が低く、システム性能が悪く、業務拡張能力が低いという問題を解決した。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施例に係るディスプレイスクリーン周辺回路の検出システムの構造概略図である。
【図２】本発明の実施例に係るディスプレイスクリーン周辺回路の検出方法の実施例１のフローチャートである。
【図３】本発明の実施例に係るディスプレイスクリーン周辺回路の検出方法の実施例２のフローチャートである。
【図４】本発明の実施例に係るディスプレイスクリーン周辺回路の検出装置の実施例の構造概略図である。
【図５】本発明の実施例に係る電子機器の実施例の構造概略図である。
【発明を実施するための形態】
【００２２】
本発明の実施例の目的、技術的解決手段及び利点をより明瞭にするために、以下、本発明の実施例に係る図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明する。当然のことながら、記載される実施例は本発明の実施例の一部にすぎず、そのすべての実施例ではない。当業者により、本発明における実施例に基づいて創造的な労働をすることなく、獲得されたその他のすべての実施例は、いずれも本発明の保護範囲に属する。
【００２３】
本発明の様々な実施例において、各プロセスのシーケンスナンバーは、実行順序の前後を意味していないことを理解すべきである。各プロセスの実行順序は、その機能及び固有の論理で決定されるべきであり、本発明の実施例の実施プロセスを限定しない。 
【００２４】
本発明では、「含む」及び「有する」及びそれらのあらゆる変形は、非排他的な含有をカバーすることを目的とし、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に挙げられたステップ又はユニットを有するものだけに限定されず、明確に挙げられていないか、又はこれらのプロセス、方法、製品又は機器に固有するほかのステップ又はユニットを含んでよいと理解すべきである。 
【００２５】
なお、本発明では、「複数」は２つ以上を指す。「及び／又は」は、関連するオブジェクトの関連関係を記述し、３つの関係が存在し得ることを表し、例えば、及び／又はＢは、Ａが単独で存在し、ＡとＢが同時に存在し、Ｂが単独で存在するという３つの状況を表すことができる。符号「／」は、一般的に前後関連するオブジェクトが「又は」の関係であることを表す。
【００２６】
なお、本発明では、「Ａに対応するＢ」、「ＡはＢに対応する」、又は「ＢはＡに対応する」は、ＢとＡが関連し、Ａに基づいてＢを決定することができると表す。Ａに基づいてＢを決定することは、Ａだけに基づいてＢを決定することを意味するのではなく、Ａ及び／又は他の情報に基づいてＢを決定することもできる。ＡとＢのマッチングは、ＡとＢの類似度がプリセットの閾値に等しいか又はプリセットの閾値より大きいと理解すべきである。 
【００２７】
文脈によっては、そこで使う「もし」は「・・・とき」又は、「・・・場合」又は、「決定に応答する」又は、「検出に応答する」と解釈されることができる。
【００２８】
現在、３Ｃ産業（３Ｃ産業とは、コンピュータ、通信、消費性電子という３種の科学技術製品を組み合わせて応用される情報家電産業を指す）全体のスマートオートメーションのレベルが低く、携帯ディスプレイスクリーンなどのディスプレイスクリーン周辺回路業界に対する調査分析によると、大部分のメーカーが携帯ディスプレイスクリーンに対して採用する検出方法は２種に分けることができる。つまり、人力による検出方法と機械補助の人力による検出方法である。
【００２９】
そのうち、人力による検出方法とは、業界の専門家が生産環境から採取された画像を視覚的に観察して判断することに依存する方法であり、当該方法は人間の主観的な影響の要素が大きく、検出効率が低く、しかも人の目に対するダメージが大きい。それ以外に、ディスプレイスクリーン周辺回路の工房は大体ダストフリー環境であり、従業員が入る前にクリーンになるための準備とクリーン服の着装をしなければならないので、従業員の健康や安全にも悪影響を及ぼす可能性がある。
【００３０】
機械補助の人力による検出方法は、液晶モジュール検出機器による検出方法とも言えるが、具体的な原理としては、まず、一定の判断能力を持つ品質検出システムによって欠陥のない画像をフィルタリングしてから、業界の専門家によって欠陥があると思われる画像を検出して判断する。機械補助の人力による検出方法において、多くの品質検出システムは専門家のシステムと特徴エンジニアリングシステムにより開発されており、専門家の経験を品質検出システムにまとめて、一定の自動化能力を持たせることを指す。このため、機械補助の人力による検出方法は精度が低くて、システム性能が悪く、メーカーのすべての検出基準をカバーすることができないだけでなく、効率が低く、判定では漏れや過ちが出やすく、検出後の画像データの再利用は難しい。なお、上記の品質検出システムでは、特徴と判定のルールは業界の専門家の経験に基づいてマシンにまとめられ、業務の変化に応じて更新することが難しいので、生産技術の発展に従って、品質検出システムの検出精度がますます低くなり、最悪の場合、完全に利用できない状態にまで低下する可能性がある。さらに、品質検出システムの特徴はすべて第三者のサプライヤーによってハードウェアに予め決定されるため、アップグレードする時、生産ラインを非常に大きく改革する必要があるだけでなく、価格も高く、安全性、規格化、拡張性などの面でも明らかに不足し、ディスプレイスクリーン周辺回路の生産ラインの最適化とアップグレードに不利で、業務拡張能力も低くなる。
【００３１】
以上のように、人力による検出方法と機械補助の人力による検出方法には、効率が低く、誤判定が発生しやすいだけでなく、この２つの方法で発生した工業データの記憶、管理、二次採掘と再利用も容易ではない。
【００３２】
本発明の実施例は、人工知能技術のコンピュータ視覚における最新の発展に基づいて、自動化され、高精度で、適応的に修正、アップグレードが可能なディスプレイスクリーン周辺回路の検出方法を研究開発したものであり、画像採取機器がディスプレイスクリーン周辺回路の生産ラインでリアルタイムに採取したディスプレイスクリーン周辺回路の画像によってリアルタイムにディスプレイスクリーン周辺回路の表面品質を検出して判定し、現有の画像採取機器が採取したディスプレイスクリーン周辺回路に欠陥があると検出した場合、各欠陥がピクチャ内におけるボックス位置と欠陥のタイプを確定する。本発明の実施例では同類の欠陥を個別に区分してはいない。
【００３３】
１つの選択可能な態様として、本発明の実施例では説明する欠陥は、点類欠陥、異物類欠陥や傷類欠陥など異なるタイプの欠陥問題を含んでよいが、それらに限定されない。ここでは１つずつ紹介しない。
【００３４】
なお、本発明では、物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムは、従来の深部畳み込みニューラルネットワークのもとで、効果的な分類と標的検出を行うものである。ＦＡＳＴ  ＲＣＮＮによって実現された物体検出は、物体の境界ボックス（ｂｏｕｎｄｉｎｇ  ｂｏｘ）を測位することができ、たとえば、欠陥のある画像では、欠陥の境界ボックス（一般的にはボックスで表示する）を測位することができるだけでなく、境界ボックス内の物体がどのタイプの欠陥であるかを認識することもできる。本発明における欠陥のボックス位置は、欠陥を特定した境界ボックスの位置である。たとえば、検出対象画像では、傷欠陥を赤いボックスでボックス選択すると、ボックス選択した領域が傷タイプの欠陥の位置を示す。例えば赤いボックスは傷欠陥に対応し、他のタイプの欠陥は他の異なる色に対応するようにしてよい。
【００３５】
本発明の技術的解決手段を、具体的な実施例を用いて以下に詳細に説明する。以下の具体的な実施例は互いに組み合わせられることができ、いくつかの実施例では同じ又は類似の概念又はプロセスを説明しない場合がある。
【００３６】
まず、本発明の実施例に適用可能な応用シナリオを以下に簡単に説明する。図１は本発明の実施例に係るディスプレイスクリーン周辺回路の検出システムの構造概略図である。図１に示すシステムでは、本発明で提供されるディスプレイスクリーン周辺回路の検出方法を応用してディスプレイスクリーン周辺回路に対して欠陥検出を行う。図１に示すように、当該ディスプレイスクリーン周辺回路の検出システムは主に、コンソール１２、サーバー群１３、コントローラ１４、データベース１５、訓練器１６及びディスプレイスクリーン周辺回路の生産ラインで配置された画像採取機器１１を含む。
【００３７】
画像採取機器１１は、ディスプレイスクリーン周辺回路の生産ラインでのディスプレイスクリーン周辺回路の画像を採取し、コンソール１２は、画像採取機器１１が採取したディスプレイスクリーン周辺回路の画像を受信し、当該ディスプレイスクリーン周辺回路の画像をサーバー群１３での検出モデルサーバー１３０に送信する。検出モデルサーバー１３０は、受信したディスプレイスクリーン周辺回路の画像を自らで動作している欠陥検出モデルに入力し、欠陥検出結果を得る。コントローラ１４は、検出モデルサーバー１３０による欠陥検出結果を受信し、且つ生産段階情報と合わせて業務応答を提供する。コントローラ１４は更に、欠陥検出結果をログとしてデータベース１５に記憶してもよい。なお、画像採取機器１１が採取したディスプレイスクリーン周辺回路の画像は更に欠陥検出モデルの訓練のオリジナルデータとしてデータベース１５に直接記憶されてもよい。訓練器１６は、データベース内の履歴的な的欠陥ディスプレイスクリーン周辺回路の画像を抽出してＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練によって、欠陥検出モデルを得る。
【００３８】
１つの選択可能な態様として、上記データベース１５は、生産データベース１５１と訓練データベース１５２とを含んでもよい。生産データベース１５１は、コントローラ１４から送信された欠陥検出結果と、画像採取機器１１が採取したディスプレイスクリーン周辺回路の画像とを受信し、保存することができ、訓練データベース１５２は、生産データベース１５１から抽出された履歴的な欠陥ディスプレイスクリーン周辺回路の画像と対応するディスプレイスクリーン周辺回路のオリジナル画像を記憶することができることで、訓練器１６が訓練によってより精度の高い欠陥検出モデルを得るようにする。
【００３９】
１つの選択可能な態様として、本発明の実施例における訓練器１６は、欠陥検出モデルの訓練ツールとしてハードウェア及び／又はソフトウェア機能によって実現される訓練エンジンであってよい。本発明の実施例のディスプレイスクリーン周辺回路の検出システムには、プロセッサ、メモリなどの他のエンティティモジュールを更に含んでもよく、本実施形態はこれに限定されない。
【００４０】
図２は本発明の実施例に係るディスプレイスクリーン周辺回路の検出方法の実施例１のフローチャートであり、図２に示す方法の実行主体はソフトウェア装置であってもよく、ハードウェア装置であってもよく、又はソフトウェアとハードウェアを組み合わせた装置であってもよい。ステップＳ１０１からステップＳ１０４が含まれ、具体的には以下の通りである。
【００４１】
Ｓ１０１では、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された品質検出要求を受信する。品質検出要求には、ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像が含まれる。
【００４２】
１つの選択可能な態様として、本発明の実施例において、ディスプレイスクリーン周辺回路の生産ラインには、画像採取機器、コンソール、サーバー群、コントローラ、データベースなど複数の異なる機器が配置されていてもよい。画像採取機器は高精度の画像採取カメラであってよく、ディスプレイスクリーン周辺回路の生産過程で、画像採取機器の角度、光線、フィルター、倍率、フォーカスなどを調整することによって生産プロセスでのディスプレイスクリーン周辺回路に対応するディスプレイスクリーン周辺回路の画像を複数採取することができる。
【００４３】
ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器がディスプレイスクリーン周辺回路の画像を採取した後、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールは、上記の画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を、ディスプレイスクリーン周辺回路の生産ラインで欠陥検出モデルが配置されたサーバー群に送信することで、サーバー群において当該品質検出要求を受信したサーバーが受信したディスプレイスクリーン周辺回路の画像を処理することができる。
【００４４】
Ｓ１０２では、ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得る。
【００４５】
Ｓ１０３では、検出対象画像を欠陥検出モデルに入力し、欠陥検出結果を得る。
【００４６】
欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によって物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られたものである。物体検出ＦＡＳＴ  ＲＣＮＮアル訓練で得られた欠陥検出モデルは、入力された画像のサイズに要件があり、入力された画像のサイズがモデル入力要件のサイズと一致しないと、欠陥検出モデルはそれを処理できなくなる。ディスプレイスクリーン周辺回路を検出する時、画像全体から示される回線方向、巻線形状がよりそれに存在する欠陥問題を表現できるため、本実施例では、欠陥検出モデルに入力する前に、まずディスプレイスクリーン周辺回路のパターンを縮小又は拡大し、検出対象画像のサイズを欠陥検出モデルの入力サイズ要件に一致させる。
【００４７】
ディスプレイスクリーン周辺回路の画像を拡大又は縮小することは、画素不変の拡大又は縮小と理解でき、あるいは、画素削減の拡大又は縮小と理解することもできる。画素が高すぎると、欠陥検出モデルの処理能力を超える可能性があるため、ディスプレイスクリーン周辺回路の画像の画素が高すぎる時には、まずディスプレイスクリーン周辺回路の画像を画素削減処理することができ、ここでは限定しない。 
【００４８】
１つの選択可能な態様として、品質検出要求を受信したサーバーは、品質検出要求におけるディスプレイスクリーン周辺回路の画像を取得し、拡大又は縮小の前処理を行い、欠陥検出モデルの入力サイズ要件に一致するサイズの検出対象画像を得る。そして、検出対象画像をサーバーで動作している欠陥検出モデルに入力し、欠陥検出モデルにより欠陥検出を行い、欠陥検出結果を得る。
【００４９】
１つの実施形態では、ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、ディスプレイスクリーン周辺回路の画像に対して画像前処理を行ってもよい。そのうち、画像前処理は、トリミング、カッティング、回転といった処理のうちの１つ又は複数を含む。ディスプレイスクリーン周辺回路の生産ラインで配置された画像採取機器は通常、高精度のカメラであるため、当該画像採取機器を用いて採取されたディスプレイスクリーン周辺回路の画像は、サイズが大きいか、画素が高いか、あるいは位置が不適切であるかなどの画像であることを理解することができる。したがって、コンソールから送信される品質検出要求に含まれるディスプレイスクリーン周辺回路の画像を受信した後、実際の状況に応じて、ディスプレイスクリーン周辺回路の画像を前処理する必要がある。例えば、ディスプレイスクリーン周辺回路の画像のフリンジエリアが大きい場合には、ディスプレイスクリーン周辺回路の画像をトリミング処理し、ディスプレイスクリーン周辺回路の画像の有用な部分を残すことができる。
【００５０】
なお、サーバーで動作する欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像に物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことによって得られたものである。具体的には、本実施例はＦＡＳＴ  ＲＣＮＮアルゴリズムを用いて物体検出を行う。物体検出とは、コンピュータが画像においてどの物体に基づいて検出を行い、即ち検出対象画像には欠陥を含むかどうか、及び欠陥を含む場合の欠陥タイプを識別するものである。本発明の実施例では、欠陥検出モデルはＦＡＳＴ  ＲＣＮＮ構造を採用する。具体的には、ディスプレイスクリーン周辺回路の生産ラインでのディスプレイスクリーン周辺回路の画像を欠陥検出モデルの入力とし、欠陥検出モデルを用いるＦＡＳＴ  ＲＣＮＮ構造はディスプレイスクリーン周辺回路画像の特徴を識別してから、検出対象画像にはどちらが欠陥のないノーマルの画像であるか、どちらが欠陥のある欠陥画像であるかを取得することができ、欠陥のある画像に対して画像にはどんな欠陥タイプを含むかをさらに識別することができ、かつ境界ボックスで欠陥の所在するボックス位置を確定する。
【００５１】
１つの例示として、ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、モデル訓練プロセスを更に含んでもよい。具体的には、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって欠陥検出モデルにＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、欠陥検出モデルが履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力した予測タイプと実際タイプとの間の損失値がプリセットされた損失閾値を下回る。
【００５２】
損失値は合計損失値と理解することができ、欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン画像の候補領域損失値、領域タイプ損失値、及び領域境界損失値に対して組み合わせ訓練を行う。これによって候補領域損失値、領域タイプ損失値、及び領域境界損失値の合計損失値がプリセット損失閾値を満たす結果となる。そのうち、候補領域損失値とは、履歴的な欠陥ディスプレイスクリーン画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、領域タイプ損失値とは、選択された欠陥領域における予測の欠陥タイプと実際の欠陥タイプとの間の損失値を意味し、領域境界損失値とは、選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失値を意味する。
【００５３】
本発明の実施例では、ＦＡＳＴ  ＲＣＮＮモデルを利用し、ディスプレイスクリーン周辺回路の生産ラインで画像採取機器が採取したディスプレイスクリーン周辺回路画像の変形、ぼやけ、照明変化などの特徴に対して高いロバスト性を有し、分類タスクに対して汎用性がより高い。
【００５４】
なお、本発明の実施例では、上記欠陥検出モデルを訓練するために必要なＦＡＳＴ  ＲＣＮＮモデルの構成方法は、異なる生産シナリオとディスプレイスクリーン周辺回路画像の特徴によってすべて異なる可能性があり、実際の状況に応じて決定することができ、本実施例はこれを限定しない。
【００５５】
Ｓ１０４では、欠陥検出結果に基づいてディスプレイスクリーン周辺回路画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する。
【００５６】
１つの選択可能な態様として、本発明の実施例では、欠陥検出モデルに基づいて欠陥検出結果を得た後、当該欠陥検出結果に基づいて上記のディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定することができる。
【００５７】
１つの選択可能な態様としてに、本発明の一実施例において、上記の欠陥検出結果は、欠陥のタイプ、及び/または各欠陥のボックス位置を含んでよい。例えば、ディスプレイスクリーン周辺回路の画像に欠陥がある場合、該欠陥検出モデルが取得できる欠陥検出結果には、欠陥のタイプ(ディスプレイスクリーン周辺回路にはどの欠陥が存在するか)、欠陥のボックス位置(各欠陥の位置がボックスによって示される)を含んでよい。欠陥検出結果の表現方法は、欠陥検出モデルが、ボックスを含む特徴図を出力し、ボックスが検出対象画像に含まれる欠陥をボックス選択表示として示し、且つ、当該ボックスは１つの欠陥タイプの結果に対応することを理解できる。ディスプレイスクリーン周辺回路の画像における欠陥の位置は、ボックスの位置によって確定されることができる欠陥タイプである。
【００５８】
相応的に、Ｓ１０４（欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する）は、生産段階情報及び欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定することに切り替えられることができる。
【００５９】
具体的には、ディスプレイスクリーン周辺回路のメーカー、生産環境、及びタイプなど様々の異なる生産段階情報はすべて、ディスプレイスクリーン周辺回路の検出プロセスにおいて、異なる欠陥検出結果が得られる。異なる種類のディスプレイスクリーン周辺回路はそれぞれ通過した生産段階が異なるため、上記の得られた欠陥検出結果を分析する時、各ディスプレイスクリーン周辺回路の生産段階情報を合わせてディスプレイスクリーン周辺回路の品質の良否を確定する必要がある。
【００６０】
なお、本発明の実施例の欠陥検出モデルは、ディスプレイスクリーン周辺回路の画像に存在する欠陥のタイプや、各タイプの欠陥のボックス位置を検出することができ、特定の欠陥輪郭や欠陥個体を認識することなく、演算負荷を低減することができる。
【００６１】
本発明の実施例で提供されるディスプレイスクリーン周辺回路の検出方法は、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信されたディスプレイスクリーン周辺回路の生産ラインで配置された画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信し、ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得て、当該欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する。これによって、上記欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像にＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られたものであるため、当該欠陥検出モデルを利用して得られた欠陥検出結果は分類精度が高く、スマート化能力が強く、システム性能を向上させ、業務拡張可能能力が高い。
【００６２】
図３は本発明の実施例に係るディスプレイスクリーン周辺回路の検出方法の実施例２のフローチャートである。上記実施例に基づき、図３に示す実施例では、上記Ｓ１０４（検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得る）は、ステップＳ３０１−ステップＳ３０２で実現することができ、具体的には以下の通りである。
【００６３】
Ｓ３０１では、ロードバランスポリシーに基づいて、処理リソースをサポートする検出モデルサーバーを確定する。
【００６４】
１つの選択可能な態様として、本発明の実施例では、ディスプレイスクリーン周辺回路の生産ライン上にサーバー群が配置され、当該サーバー群には複数のサーバーがあってよく、そして、各サーバーで欠陥検出モデルが動作している。１つの選択可能な態様として、各サーバーで動作する欠陥検出モデルはいずれも同じであるため、各サーバーは、コンソールから送信された品質検出要求を受信することができ、さらに、自身がサポートする欠陥検出モデルを利用してディスプレイスクリーン周辺回路の画像に対して品質検出することができる。
【００６５】
１つの例示として、ディスプレイスクリーン周辺回路の生産ラインに配置された画像採取機器は、リアルタイムにディスプレイスクリーン周辺回路の画像を採取するので、コンソールは、リアルタイムにサーバー群のいずれかのサーバーに品質検出要求を送信することができる。
【００６６】
１つの選択可能な態様として、サーバー群における各サーバーで動作する欠陥検出モデルは同じであるため、サーバーでの欠陥検出モデルの検出効率を向上させ、欠陥検出モデルのロードバランスを確保するために、プリセットされたロードバランスポリシーに基づいてサーバー群から処理リソースをサポートする検出モデルサーバーとしての１つのサーバーを確定することができる。即ち、ディスプレイスクリーン周辺回路の生産ラインでの欠陥検出モデルの配置状況によってリアルタイムにロードバランスとスケジューリングを行うことができる。
【００６７】
Ｓ３０２では、検出対象画像を、検出モデルサーバーで動作する欠陥検出モデルに入力し、欠陥検出結果を得る。
【００６８】
１つの選択可能な態様として、本発明の実施例では、サーバー群から処理リソースをサポートする検出モデルサーバーを確定した後、上記ディスプレイスクリーン周辺回路の画像を当該検出モデルサーバーで動作する欠陥検出モデルに入力し、当該欠陥検出モデルを用いてディスプレイスクリーン周辺回路の画像での欠陥を検出し、さらに欠陥検出結果を得ることができる。１つの選択可能な態様として、当該欠陥検出モデルは、訓練モジュールが、履歴的な欠陥ディスプレイスクリーン周辺回路の画像におけるプリセットタイプと実際タイプを訓練して得られたものである。
【００６９】
本発明の実施例で提供されるディスプレイスクリーン周辺回路の検出方法は、ロードバランスポリシーに基づいて処理リソースをサポートする検出モデルサーバーを確定し、且つ上記検出対象画像を上記検出モデルサーバーで動作する欠陥検出モデルに入力して欠陥検出結果を得ることにより、サーバーでのロードバランスを実現し、ディスプレイスクリーン周辺回路の画像の検出効率を向上させ、ディスプレイスクリーン周辺回路の検出システムの性能を向上させることができる。
【００７０】
１つの実施形態では、上記ステップＳ３０２（検出対象画像を検出モデルサーバーで動作する欠陥検出モデルに入力して欠陥検出結果を得る）の後に、以下のステップが更に含まれてもよい。
【００７１】
ディスプレイスクリーン周辺回路が破損回路であると確定すると、コントローラによって生産管理者にアラーム情報を送信する操作、欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、コントローラによってコンソールに生産制御命令を送信し、欠陥を除去する操作、ディスプレイスクリーン周辺回路の画像と欠陥検出結果を欠陥検出モデルに入力して、欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行する。
【００７２】
１つの選択可能な態様として、本発明の実施例では、テスト担当者は、ディスプレイスクリーン周辺回路の生産シーン及び生産段階情報に基づいて、ディスプレイスクリーン周辺回路が破損回路であると判定した場合の解決策を予め設定してもよい。例えば、コントローラによって生産管理者にアラーム情報を送信し、及び／又は、上記欠陥検出結果をコントローラにより生産データベースにログとして保存し、及び／又は、コントローラによってコンソールに生産制御命令を送信して欠陥を除去し、及び／又は、上記ディスプレイスクリーン周辺回路の画像及び上記欠陥検出結果を上記欠陥検出モデルに入力して上記欠陥検出モデルなどを最適化する。
【００７３】
具体的には、１つの例示として、上記欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路が破損回路であり、つまり、ディスプレイスクリーン周辺回路には欠陥があると確定された場合、アラーム情報を送信することによって、生産管理者が欠陥のタイプと位置を迅速に特定し、解決策を出すことができる。
【００７４】
他の例示として、上記欠陥検出結果に基づいてディスプレイスクリーン周辺回路に欠陥があると確定した場合、コントローラによって上記欠陥検出結果をログとして生産データベースに保存し、つまり、ディスプレイスクリーン周辺回路の欠陥のタイプ、及び／又は、欠陥のボックス位置をログとして生産データベースに保存し、さらに訓練データベースにフィルタリングし、訓練モジュール（訓練エンジンなどのソフトプログラムであってよい）により、欠陥のあるディスプレイスクリーン周辺回路の画像に基づいて上記欠陥検出モデルを更新することができる。
【００７５】
別の例示として、上記欠陥検出結果に基づいてディスプレイスクリーン周辺回路に欠陥があると確定された場合、コントローラによってコンソールに生産制御命令を送信して欠陥を解消することもできる。即ち、欠陥検出モデルをサポートする検出モデルサーバーは、コントローラによって欠陥の発生原因を特定し、さらに対応する生産プロセスを調整することができ、即ち、検出モデルサーバーは、コントローラによってコンソールに生産制御命令を送信し、ディスプレイスクリーン周辺回路での欠陥を除去し、破損回路の出現確率を減らす。
【００７６】
更なる別の例示として、上記欠陥検出結果に基づいてディスプレイスクリーン周辺回路に欠陥があると確定した場合には、上記ディスプレイスクリーン周辺回路の画像と上記欠陥検出結果を直接に上記欠陥検出モデルに入力し、上記欠陥検出モデルを最適化することができ、つまり、直接に破損回路に対応するディスプレイスクリーン周辺回路の画像を欠陥検出モデルの訓練セットとすることで、当該欠陥検出モデルを最適化し、さらに欠陥検出モデルの検出精度を向上させる。
【００７７】
なお、本発明の実施例は、ディスプレイスクリーン周辺回路が破損回路であると確定したときに、モデルサーバーが実行可能な上記１つ又は複数の操作に限定されず、実際の状況に応じて確定することができるが、ここでは説明を省略する。
【００７８】
１つの選択可能な態様として、ディスプレイスクリーン周辺回路の生産ラインで配置された画像採取機器、コンソール、サーバー群、コントローラ、データベースなど複数の異なる装置に対して、ディスプレイスクリーン周辺回路の検出方法に対応する操作ステップを上記複数の異なる機器に分散して実行することができる。例えば、画像採取機器は、ディスプレイスクリーン周辺回路の画像を採取し、コンソールはロードバランスポリシーに基づいて画像採取機器が採取したディスプレイスクリーン周辺回路の画像をサーバー群の中の検出モデルサーバーに送信し、モデルサーバーで動作する欠陥検出モデルによってディスプレイスクリーン周辺回路の画像に対してプリセットされた前処理を行った後、欠陥検出して欠陥検出結果を出す。検出モデルサーバーは、欠陥検出結果をコントローラに送信することができ、コントローラが実際の業務シーンに合わせて、業務リクエストに応じて、上記欠陥検出結果に基づいて実際の業務シーンの要件に合致する応答を行う。例えば、アラーム情報の送信、ログの記憶、生産制御命令の制御などがある一方で、訓練器が欠陥検出結果及び上記応答の処理結果をログとして生産データベースに記憶することで、訓練モジュールが、生産データベース中のディスプレイスクリーン周辺回路の画像と欠陥検出結果に基づいて上記で得られた欠陥検出モデルを更新してもよい。当該訓練データベースで保存されたのは生産データベースからフィルタリングされた欠陥のあるディスプレイスクリーン周辺回路の画像や対応する欠陥検出結果などのデータである。
【００７９】
なお、毎回最適化された欠陥検出モデルは、業務シーン及び生産段階情報に従い、欠陥検出モデルが動的に拡張して一般化される目的を達成するために、サーバーで動作している欠陥検出モデルを小流量オンラインで徐々に置換することができる。本発明の実施例のディスプレイスクリーン周辺回路の検出方法は、ディスプレイスクリーン周辺回路の生産ラインで一定時間実行された後、人力でデータベース内の情報によって、上記欠陥検出と欠陥測位の正確性を再検出し、そして上記訓練データベースを更新し、欠陥検出モデルを再訓練し、欠陥検出精度を向上させることができる。
【００８０】
以下は、本発明の装置の実施例であり、本発明の方法の実施例を実行するために用いることができる。本発明の装置の実施例において開示されていない詳細については、本発明の方法の実施例を参照されたい。
【００８１】
図４は本発明の実施例に係るディスプレイスクリーン周辺回路の検出装置の実施例の構造概略図である。図４に示すように、本発明の実施例に提供されるディスプレイスクリーン周辺回路の検出装置は、主に受信モジュール４１と、前処理モジュール４２と、処理モジュール４３と、確定モジュール４４とを含んでよい。
【００８２】
受信モジュール４１は、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された品質検出要求を受信するためのものであり、品質検出要求には、ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像が含まれる。
【００８３】
前処理モジュール４２は、ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像によって物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得るために使用される。
【００８４】
処理モジュール４３は、検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るために使用される。
【００８５】
確定モジュール４４は、欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するために使用される。
【００８６】
図４に示す実施例のディスプレイスクリーン周辺回路の検出装置は、相応的に図２に示す方法実施例でのステップを実行するために使用されることができ、その実現原理と技術的効果は類似するため、ここで説明を省略する。
【００８７】
１つの選択可能な態様として、処理モジュール４３は更に、ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって欠陥検出モデルにＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、欠陥検出モデルが履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、実際タイプとの間の損失値がプリセットされた損失閾値を下回るために使用される。
【００８８】
１つの選択可能な態様として、前処理モジュール４２は更に、ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、ディスプレイスクリーン周辺回路の画像に対してトリミング、カッティング、回転といった処理のうちの１つ又は複数を含む画像前処理を行う。
【００８９】
１つの選択可能な態様として、処理モジュール４３は、具体的にロードバランスポリシーに基づいて処理リソースをサポートする検出モデルサーバーを決定し、検出対象画像を検出モデルサーバーで動作する欠陥検出モデルに入力し、欠陥検出結果を得るために使用される。
【００９０】
１つの選択可能な態様として、欠陥検出結果は、欠陥のタイプ、及び／又は欠陥のボックス位置を含む。
【００９１】
確定モジュール４４は、具体的には、生産段階情報及び欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する。
【００９２】
１つの選択可能な態様として、処理モジュール４３はさらに、欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、ディスプレイスクリーン周辺回路が破損回路であると確定した場合には、コントローラによって生産管理者にアラーム情報を送信する操作、欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、コントローラによってコンソールに生産制御命令を送信し、欠陥を除去する操作、ディスプレイスクリーン周辺回路の画像と欠陥検出結果を欠陥検出モデルに入力して、欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行する。
【００９３】
上記装置実施例でのディスプレイスクリーン周辺回路の検出装置は、図２〜図３に示す方法の実施例の実施形態を実行するために使用されることができる。具体的な実施形態と技術効果は同様であり、ここでは説明を省略する。 
【００９４】
図５は本発明の実施例に係る電子機器の実施例の構造概略図である。当該電子機器は、プロセッサ５１、メモリ５２及びコンピュータプログラムを含み、コンピュータプログラムを記憶するためのメモリ５２は、フラッシュメモリであってもよい。コンピュータプログラムは、例えば、上記方法を実現するためのアプリケーション、機能モジュールなどであってもよい。
【００９５】
プロセッサ５１は、メモリに記憶されたコンピュータプログラムを実行することで、上記方法での電子機器が実行する各ステップを実現させるために使用される。詳しい内容は方法実施例での関連説明を参照できる。
【００９６】
１つの選択可能な態様として、メモリ５２は、単独的なものであってもよく、プロセッサ５１と一体に統合されてもよい。
【００９７】
メモリ５２は、プロセッサ５１と単独で存在するデバイスである時に、電子機器は更に、メモリ５２とプロセッサ５１を接続するためのバス５３を含んでよい。
【００９８】
本発明は更に、コンピュータで動作するときに、コンピュータに図２〜図３に示す方法の実施例の方法を実行させるように命令が記憶された記憶媒体を提供する。
【００９９】
記憶媒体は、コンピュータ可読記憶媒体であってもよく、通信媒体であってもよい。通信媒体は、便利にコンピュータプログラムを１つの場所から他方の場所に転送する任意の媒体を含む。コンピュータ可読記憶媒体は、汎用又は専用コンピュータがアクセスできる任意の利用可能な媒体であってもよい。例えば、記憶媒体は、プロセッサが当該読み取り可能な記憶媒体から情報を読み取り、当該記憶媒体に情報を書き込むことができるようにプロセッサにカップリングされる。無論、記憶媒体は、プロセッサの構成部分であってもよい。プロセッサ及び記憶媒体は、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ、略称ＡＳＩＣ）に存在してもよい。さらに、当該ＡＳＩＣはユーザ設備に存在してもよい。無論、プロセッサと記憶媒体は、通信装置に別個のコンポーネントとして存在してもよい。
【０１００】
本発明はさらに、記憶媒体に記憶されたコンピュータプログラムを含むプログラム製品を提供する。ディスプレイスクリーン周辺回路の検出装置の少なくとも１つのプロセッサは、記憶媒体から当該コンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサは、当該プログラムを実行し、ディスプレイスクリーン周辺回路の検出装置に図２〜図３に示す方法の実施例の方法を実行させる。
【０１０１】
上記電子機器の実施例では、プロセッサは中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、略称ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、略称ＤＳＰ）、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ、略称ＡＳＩＣ）などであってもよいことを理解すべきである。汎用プロセッサは、マイクロプロセッサであってもよいし、任意のノーマルのプロセッサなどであってもよい。本発明に開示された方法を組み合わせたステップは、ハードウェアプロセッサで、又はプロセッサ内のハードウェア及びソフトウェアモジュールの組み合わせで実行して完了されることに直接的に具現化され得る。
【０１０２】
最後に説明すべきものとして、以上の各実施例は、本発明の技術的解決手段を説明するためのものであって、これを制限するものではない。前述のように各実施例を参照しながら本発明を詳細に説明したが、当業者であれば、前述の各実施例に記載の技術的解決手段を修正するか、又はそのうちの一部又はすべての技術的特徴に対して同等置換を行うことができる。これらの修正又は置換は、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の範囲から逸脱しないと理解すべきである。
【図１】
2020530125.tif 000003
【図２】
2020530125.tif 000004
【図３】
2020530125.tif 000005
【図４】
2020530125.tif 000006
【図５】
2020530125.tif 000007
【手続補正書】
【提出日】令和2年1月14日(2020.1.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の第１の態様は、ディスプレイスクリーン周辺回路の検出方法を提供し、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された品質検出要求を受信し、前記品質検出要求は、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含むステップと、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得、前記欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によって物体検出高速領域ベースの畳み込みニューラルネットワークＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られたものであるステップと、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るステップと、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップと、を含む。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
第１の態様の１つの選択可能な実施態様では、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、更に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって前記欠陥検出モデルに対して、前記ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、前記実際タイプとの間の損失値がプリセットされた損失閾値を下回るステップを含む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の第２の態様は、ディスプレイスクリーン周辺回路の検出装置を提供し、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信するための受信モジュールと、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像によって物体検出高速領域ベースの畳み込みニューラルネットワークＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得るための前処理モジュールと、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るための処理モジュールと、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するための確定モジュールと、を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
第２の態様の１つの選択可能な実施態様では、前記処理モジュールは更に、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって前記欠陥検出モデルに前記ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、前記実際タイプとの間の損失値がプリセットされた損失閾値を下回るために使用される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
本発明の実施例は、人工知能技術のコンピュータ視覚における最新の発展に基づいて、自動化され、高精度で、適応的に修正、アップグレードが可能なディスプレイスクリーン周辺回路の検出方法を研究開発したものであり、画像採取機器がディスプレイスクリーン周辺回路の生産ラインでリアルタイムに採取したディスプレイスクリーン周辺回路の画像によってリアルタイムにディスプレイスクリーン周辺回路の表面品質を検出して判定し、現有の画像採取機器が採取したディスプレイスクリーン周辺回路の画像に欠陥があると検出した場合、各欠陥がピクチャ内におけるボックス位置と欠陥のタイプを確定する。本発明の実施例では同類の欠陥を個別に区分してはいない。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によって物体検出ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行って得られたものである。物体検出ＦＡＳＴ  ＲＣＮＮアル訓練で得られた欠陥検出モデルは、入力された画像のサイズに要件があり、入力された画像のサイズがモデル入力要件のサイズと一致しないと、欠陥検出モデルはそれを処理できなくなる。ディスプレイスクリーン周辺回路を検出する時、画像全体から示される回線方向、巻線形状がよりそれに存在する欠陥問題を表現できるため、本実施例では、欠陥検出モデルに入力する前に、まずディスプレイスクリーン周辺回路の画像を縮小又は拡大し、検出対象画像のサイズを欠陥検出モデルの入力サイズ要件に一致させる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
１つの選択可能な態様として、処理モジュール４３は更に、検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって欠陥検出モデルにＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、欠陥検出モデルが履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、実際タイプとの間の損失値がプリセットされた損失閾値を下回るために使用される。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、更に、
履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって前記欠陥検出モデルに対して、前記ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、前記実際タイプとの間の損失値がプリセットされた損失閾値を下回るステップを含むことを特徴とする請求項１に記載の方法。
【手続補正９】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
前記処理モジュールは更に、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際タイプによって前記欠陥検出モデルに前記ＦＡＳＴ  ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測タイプと、前記実際タイプとの間の損失値がプリセットされた損失閾値を下回るために使用されることを特徴とする請求項７に記載の装置。
【国際調査報告】
2020530125.tif 000008
2020530125.tif 000009
2020530125.tif 000010
2020530125.tif 000011