СПОСОБ ОПТИЧЕСКОЙ ПРОВЕРКИ И ИСПОЛЬЗУЮЩЕЕ ЕГО УСТРОЙСТВО
OPTICAL INSPECTION METHOD AND DEVICE USING IT

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Область техники, к которой относится изобретения
[0001] Настоящее изобретение относится, в общем, к области оптической проверки и, в частности, к способу и устройству для оптической проверки поверхности.
Описание предшествующего уровня техники
[0002] В настоящее время проверка человеком поверхности на наличие дефектов на производстве является наиболее известным способом контроля качества продукции. Такая проверка включает в себя не только визуальное обнаружение дефектов, различение истинных (неудаляемых) дефектов, например, царапин, вмятин и т. д., от ложных (удаляемых) дефектов, например, пыли, пятен, волокон и т. д., оценку размера дефектов, а также использование очистителя для подтверждения истинности или ложности дефекта. Кроме того, существуют технические решения, которые автоматически осуществляют оптическую проверку поверхности.
[0003] Такие технические решения известны, например, из нижеприведенных источников.
[0004] Патент США US7061598 B1, выданный 13.06.2006, озаглавленный «DARKFIELD INSPECTION SYSTEM HAVING PHOTODETECTOR ARRAY», предлагает инструмент для проверки поверхности в темном поле, который включает в себя источник освещения для освещения изделия и формирования рисунка рассеяния света. Рисунок рассеяния света конфигурируется таким образом, что положения световых лучей рисунка рассеяния однозначно связаны с углами рассеяния световых лучей, когда они рассеиваются на изделии. Инструмент также включает в себя матрицу фотоприемника для обнаружения рисунка рассеяния света. Матрица фотодетектора вырабатывает электрический сигнал, который принимается электроникой блока обработки сигнала инструмента и может использоваться для различения дефектов на изделии. Изобретение также включает способы проверки поверхности в темном поле. Однако, данное техническое решение не обеспечивает определение истинности или ложности дефекта, возможна проверка только плоской поверхности, требуется сложное оборудование в виде сложного асферического зеркала.
[0005] Патент США US6169601 B1, выданный 02.01.2001, озаглавленный «METHOD AND APPARATUS FOR DISTINGUISHING PARTICLES FROM SUBSURFACE DEFECTS ON A SUBSTRATE USING POLARIZED LIGHT», предлагает техническое решение, в котором частицы отличают от подповерхностных дефектов на поверхности подложки тем, что освещают дефект P–поляризованным светом и S–поляризованным светом и интегрируют свет для получения полного интегрального отклика и вычисляют отношение P–S. Частицы отличают от дефектов подложки путем сравнения отношения P–S к заранее определенному пороговому значению. Однако, данное техническое решение обеспечивает проверку только плоской поверхности и имеет низкую чувствительность 0,25 мкм.
[0006] В публикации патентной заявки US2018232875 A1, опубликованной 16.08.2018, озаглавленной «COSMETIC DEFECT EVALUATION» предложен способ оценки косметических дефектов устройства, который включает в себя захват множества изображений устройства при множестве условий освещения одной или несколькими камерами, обработку изображений устройства с одной или нескольких камер, выявление одного или нескольких дефектов устройства и вычисление показателя дефекта на основании одного или нескольких дефектов. Однако, данное техническое решение не обеспечивает определение истинности или ложности дефекта и имеет низкую чувствительность, при которой распознаются только большие дефекты.
[0007] В публикации патентной заявки EP3088873, опубликованной 09.11.2016, озаглавленной «CONTAINER INSPECTION SYSTEM WITH INDIVIDUAL LIGHT CONTROL» предложены система проверки стеклянной тары и способы проверки стеклянной тары. Система включает в себя панель, включающую в себя множество источников света для освещения стеклянной тары. Система включает в себя камеру для получения изображения освещенной стеклянной тары каждым из источников света. Система включает в себя контроллер для регулировки количества энергии, подаваемой на каждый из источников света в отдельности. Система включает в себя процессор для оценки изображения освещенной стеклянной тары на наличие признаков дефектов в таре. Однако, данное техническое решение не обеспечивает определение истинности или ложности дефекта и имеет низкую чувствительность, при которой распознаются только большие дефекты.
[0008] Патент США US9182357 B2, выданный 10.11.2015, озаглавленный «SEMICONDUCTOR WAFER INSPECTION SYSTEM AND METHOD», предлагает систему проверки полупроводниковых пластин, которая содержит камеру, имеющую поле обзора, крепление объекта для позиционирования по меньшей мере части поверхности 5 объекта 3 в плоскости 15 объекта относительно камеры и в пределах поля обзора камеры, и по меньшей мере один участок 41 поверхности, несущий множество световозвращающих отражателей 95, расположенный на большем расстоянии от камеры, чем плоскость объекта, и в пределах поля обзора камеры. Однако, данное техническое решение не обеспечивает определение истинности или ложности дефекта, обеспечивает проверку только плоской поверхности и имеет низкую чувствительность.
[0009] Настоящее изобретение создано для устранения по меньшей мере одной(ого) из вышеописанных проблем и недостатков и для обеспечения по меньшей мере одного из нижеописанных преимуществ.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0010] Целью настоящего изобретения является обеспечение способа и устройства для оптической проверки поверхности, которые позволяют получить по меньшей мере одно из следующих преимуществ:
– быстрое и точное определение типа дефекта и является ли дефект ложным или истинным в автоматическом режиме;
– проверка как плоских, так и искривленных поверхностей;
– одновременная проверка двух поверхностей изделия, если изделие выполнено из материала, пропускающего используемое для проверки излучение;
– высокая чувствительность проверки, при которой возможно обнаружение дефектов с размерами параллельно плоскости (или на поверхности) изделия около 1 мкм и перпендикулярно плоскости (или поверхности) изделия менее 30 нм;
– малое время проверки, менее 2 секунд для каждого проверяемого участка плоскости (поверхности) изделия;
– большая площадь каждого проверяемого участка плоскости изделия, более 40˟35 мм2;
– использование простого оборудования.
[0011] Один аспект настоящего изобретения обеспечивает способ оптической проверки поверхности, содержащий этапы, на которых: последовательно испускают излучение по меньшей мере двумя источниками излучения на по меньшей мере одну поверхность изделия, причем положения по меньшей мере двух источников излучения относительно по меньшей мере одной поверхности отличаются друг от друга, и направления испускания излучения по меньшей мере двух источников излучения отличаются друг от друга; блокируют по меньшей мере одним из по меньшей мере одной апертуры и поглощающего излучение короба попадание на по меньшей мере одну камеру отраженного и/или прямого излучения, испускаемого по меньшей мере двумя источниками излучения, кроме излучения, рассеянного на по меньшей мере одной поверхности; получают по меньшей мере одной камерой набор изображений по меньшей мере одной поверхности, причем каждое изображение из упомянутого набора изображений получают при испускании излучения по меньшей мере одним источником излучения из по меньшей мере двух источников излучения; выполняют предобработку изображений из упомянутого набора изображений, причем предобработка включает в себя по меньшей мере удаление фона; обнаруживают дефект на по меньшей мере одной поверхности, причем дефект обнаружен на по меньшей мере одной поверхности, если на по меньшей мере одном изображении из упомянутого набора изображений обнаружено отображение рассеянного излучения; определяют тип дефекта и является ли дефект ложным или истинным, посредством оценки обнаруженного дефекта обученным классификатором на основе искусственного интеллекта, при этом определение, является ли дефект ложным или истинным, выполняют на основании определенного типа дефекта.
[0012] В дополнительном аспекте изделие может содержать две поверхности, противоположные друг другу, при этом если упомянутое изделие выполнено из пропускающего излучение материала, то дефект обнаруживают на одной или двух поверхностях.
[0013] В другом дополнительном аспекте по меньшей мере два источника излучения могут образовывать по меньшей мере две пары источников излучения, причем источники излучения в каждой паре источников излучения расположены напротив друг друга, источники излучения в каждой паре источников излучения испускают излучение одновременно, при этом пары источников излучения испускают излучение последовательно и направления испускания излучения по меньшей мере двух пар источников излучения отличаются друг от друга.
[0014] В еще одном дополнительном аспекте предобработка упомянутого набора изображений может дополнительно содержать по меньшей мере одно из настройки контраста упомянутых изображений, эквализации гистограммы, контрастно–ограниченной адаптивной эквализации гистограммы.
[0015] В еще одном дополнительном аспекте обнаружение дефекта на по меньшей мере одной поверхности может содержать по меньшей мере одно из бинаризации упомянутых изображений, выявления контуров на упомянутых изображениях, спектрального анализа упомянутых изображений, кластеризации упомянутых изображений, выполнения сегментации упомянутых изображений и обработки упомянутых изображений с использованием Марковских случайных полей.
[0016] В еще одном дополнительном аспекте обученный классификатор на основе искусственного интеллекта может быть одним из классификатора на основе сверточной нейронной сети, классификатора на основе глубокой сверточной нейронной сети, классификатора на основе остаточной сверточной нейронной сети, при этом определение типа дефекта и является ли дефект ложным или истинным выполняют посредством ввода упомянутого набора изображений в обученный классификатор на основе искусственного интеллекта, и при этом классификатор на основе искусственного интеллекта предварительно обучают на множестве обучающих наборов изображений разных дефектов с указанием типов дефектов.
[0017] В еще одном дополнительном аспекте способ может дополнительно содержать, до этапа определения типа дефекта и является ли дефект ложным или истинным, этап, на котором извлекают признаки дефекта из упомянутого набора изображений посредством обученного классификатора на основе искусственного интеллекта, при этом определение типа дефекта и является ли дефект ложным или истинным выполняют обученным классификатором на основе искусственного интеллекта по извлеченным признакам дефекта, и при этом классификатор на основе искусственного интеллекта предварительно обучают на множестве обучающих наборов признаков разных дефектов с указанием типов дефектов, и при этом обученный классификатор на основе искусственного интеллекта является одним из классификатора на основе XGBoost (экстремального градиентного улучшения), классификатора на основе Random Forest (ансамбля деревьев принятия решений), классификатора на основе полносвязной нейронной сети, классификатора на основе сверточной нейронной сети, классификатора на основе глубокой сверточной нейронной сети, классификатора на основе остаточной сверточной нейронной сети, классификатора на основе дескриптора.
[0018] В еще одном дополнительном аспекте способ может дополнительно содержать этап, на котором определяют годность или брак по меньшей мере одной поверхности на основании заданных условий посредством анализа дефекта или совокупности дефектов.
[0019] Другой аспект настоящего изобретения обеспечивает устройство для оптической проверки поверхности, содержащее: по меньшей мере два источника излучения, выполненные с возможностью последовательного испускания излучения на по меньшей мере одну поверхность изделия, причем положения по меньшей мере двух источников излучения относительно по меньшей мере одной поверхности отличаются друг от друга, и направления испускания излучения по меньшей мере двух источников излучения отличаются друг от друга; по меньшей мере одно из по меньшей мере одной апертуры и поглощающего излучение короба, выполненные с возможностью блокировки попадания на по меньшей мере одну камеру отраженного и/или прямого излучения, испускаемого по меньшей мере двумя источниками излучения, кроме излучения, рассеянного на по меньшей мере одной поверхности; по меньшей мере одну камеру, выполненную с возможностью получения набора изображений по меньшей мере одной поверхности, причем каждое изображение из упомянутого набора изображений получают при испускании излучения по меньшей мере одним источником излучения из по меньшей мере двух источников излучения; и процессор, содержащий обученный классификатор на основе искусственного интеллекта и выполненный с возможностью: выполнять предобработку изображений из упомянутого набора изображений, причем предобработка включает в себя по меньшей мере удаление фона, обнаруживать дефект на по меньшей мере одной поверхности, причем дефект обнаружен на по меньшей мере одной поверхности, если на по меньшей мере одном изображении из упомянутого набора изображений обнаружено отображение рассеянного излучения; определять тип дефекта и является ли дефект ложным или истинным, посредством оценки обнаруженного дефекта обученным классификатором на основе искусственного интеллекта, при этом определение, является ли дефект ложным или истинным, выполняется на основании определенного типа дефекта.
[0020] В дополнительном аспекте изделие может содержать две поверхности, противоположные друг другу, при этом если упомянутое изделие выполнено из пропускающего излучение материала, то процессор обнаруживает дефект на одной или двух поверхностях.
[0021] В другом дополнительном аспекте устройство может содержать по меньшей мере две пары источников излучения, причем источники излучения в каждой паре источников излучения расположены напротив друг друга, источники излучения в каждой паре источников излучения испускают излучение одновременно, при этом пары источников излучения испускают излучение последовательно и направления испускания излучения по меньшей мере двух пар источников излучения отличаются друг от друга.
[0022] В еще одном дополнительном аспекте в процессе предобработки упомянутого набора изображений процессор может быть дополнительно выполнен с возможностью осуществлять по меньшей мере одно из настройки контраста упомянутых изображений, эквализации гистограммы, контрастно–ограниченной адаптивной эквализации гистограммы.
[0023] В еще одном дополнительном аспекте в процессе обнаружения дефекта на по меньшей мере одной поверхности процессор может быть выполнен с возможностью осуществлять по меньшей мере одно из бинаризации упомянутых изображений, выявления контуров на упомянутых изображениях, спектрального анализа упомянутых изображений, кластеризации упомянутых изображений, выполнения сегментации упомянутых изображений и обработки упомянутых изображений с использованием Марковских случайных полей.
[0024] В еще одном дополнительном аспекте обученный классификатор на основе искусственного интеллекта может быть одним из классификатора на основе сверточной нейронной сети, классификатора на основе глубокой сверточной нейронной сети, классификатора на основе остаточной сверточной нейронной сети, при этом процессор может выполнять определение типа дефекта и является ли дефект ложным или истинным посредством ввода упомянутого набора изображений в обученный классификатор на основе искусственного интеллекта, и при этом классификатор на основе искусственного интеллекта предварительно обучен на множестве обучающих наборов изображений разных дефектов с указанием типов дефектов.
[0025] В еще одном дополнительном аспекте процессор может быть дополнительно выполнен с возможностью, до определения типа дефекта и является ли дефект ложным или истинным, извлекать признаки дефекта из упомянутого набора изображений посредством обученного классификатора на основе искусственного интеллекта, при этом процессор выполняет определение типа дефекта и является ли дефект ложным или истинным обученным классификатором на основе искусственного интеллекта по извлеченным признакам дефекта, и при этом классификатор на основе искусственного интеллекта предварительно обучен на множестве обучающих наборов признаков разных дефектов с указанием типов дефектов, и при этом обученный классификатор на основе искусственного интеллекта является одним из классификатора на основе XGBoost (экстремального градиентного улучшения), классификатора на основе Random Forest (ансамбля деревьев принятия решений), классификатора на основе полносвязной нейронной сети, классификатора на основе сверточной нейронной сети, классификатора на основе глубокой сверточной нейронной сети, классификатора на основе остаточной сверточной нейронной сети, классификатора на основе дескриптора.
[0026] В еще одном дополнительном аспекте процессор может быть дополнительно выполнен с возможностью определения годности или брака по меньшей мере одной поверхности на основании заданных условий посредством анализа дефекта или совокупности дефектов.
[0027] В еще одном дополнительном аспекте каждый из по меньшей мере двух источников излучения может представлять собой один из источника видимого света, источника ультрафиолетового излучения, источника инфракрасного излучения, при этом излучение может быть поляризованным или неполяризованным, монохроматическим или с заданным спектром.
[0028] В еще одном дополнительном аспекте по меньшей мере одна камера может быть выбрана в соответствии со спектром излучения источников излучения, при этом каждая камера из по меньшей мере одной камеры может представлять собой одну из цветной камеры, монохромной камеры, ультрафиолетовой камеры, инфракрасной камеры, при этом каждая камера из по меньшей мере одной камеры может содержать спектральные и/или поляризационные фильтры.
[0029] В еще одном дополнительном аспекте упомянутые две поверхности могут быть плоскими или искривленными, или одна поверхность из упомянутых двух поверхностей может быть плоской, а другая поверхность из упомянутых двух поверхностей может быть искривленной.
[0030] В еще одном дополнительном аспекте по меньшей мере два источника излучения и по меньшей мере одна камера могут находиться со стороны одной поверхности из упомянутых двух поверхностей.
[0031] В еще одном дополнительном аспекте по меньшей мере два источника излучения могут находиться со стороны одной поверхности из упомянутых двух поверхностей, а по меньшей мере одна камера может находиться со стороны другой поверхности из упомянутых двух поверхностей.
[0032] В еще одном дополнительном аспекте по меньшей мере два источника излучения могут находиться как со стороны одной поверхности из упомянутых двух поверхностей, так и со стороны другой поверхности из упомянутых двух поверхностей, а по меньшей мере одна камера может находиться со стороны одной поверхности из упомянутых двух поверхностей или со стороны другой поверхности из упомянутых двух поверхностей.
[0033] В еще одном дополнительном аспекте устройство может содержать одну апертуру, находящуюся между по меньшей мере одной камерой и одной поверхностью из упомянутых двух поверхностей.
[0034] В еще одном дополнительном аспекте устройство может содержать одну апертуру, находящуюся между по меньшей мере двумя источниками излучения и одной поверхностью из упомянутых двух поверхностей.
[0035] В еще одном дополнительном аспекте устройство может содержать две апертуры, при этом одна апертура находится между по меньшей мере двумя источниками излучения со стороны одной поверхности из упомянутых двух поверхностей и упомянутой одной поверхностью, а другая апертура находится между по меньшей мере двумя источниками излучения со стороны другой поверхности из упомянутых двух поверхностей и упомянутой другой поверхностью.
[0036] В еще одном дополнительном аспекте устройство может содержать поглощающий излучение короб, находящийся со стороны упомянутой одной поверхности, противоположной упомянутой другой поверхности, со стороны которой находится по меньшей мере одна камера.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0037] Вышеописанные и другие аспекты, признаки и преимущества настоящего изобретения будут более понятны из последующего подробного описания, приведенного в сочетании с прилагаемыми чертежами, на которых:
[0038] Фиг. 1 изображает блок–схему последовательности операций способа оптической проверки поверхности.
[0039] Фиг. 2 изображает блок–схему, иллюстрирующую вариант осуществления устройства для оптической проверки поверхности.
[0040] Фиг. 3 изображает блок–схему, иллюстрирующую другой вариант осуществления устройства для оптической проверки поверхности.
[0041] Фиг. 4 изображает блок–схему, иллюстрирующую еще один вариант осуществления устройства для оптической проверки поверхности.
[0042] Фиг. 5 изображает блок–схему, иллюстрирующую еще один вариант осуществления устройства для оптической проверки поверхности.
[0043] Фиг. 6 представляет собой примерное расположение источников излучения относительно проверяемого изделия.
[0044] В последующем описании, если не указано иное, одинаковые ссылочные позиции используются для одинаковых элементов, когда они изображены на разных чертежах, и их параллельное описание не приводится.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ
[0045] Нижеследующее описание со ссылкой прилагаемые чертежи приведено, чтобы облегчить полное понимание различных вариантов осуществления настоящего изобретения, заданного формулой изобретения, и его эквивалентов. Описание включает в себя различные конкретные подробности, чтобы облегчить такое понимание, но данные подробности следует считать только примерными. Соответственно, специалисты в данной области техники обнаружат, что можно разработать различные изменения и модификации различных вариантов осуществления, описанных в настоящей заявке, без выхода за пределы объема настоящего изобретения. Кроме того, описания общеизвестных функций и конструкций могут быть исключены для ясности и краткости.
[0046] Термины и формулировки, используемые в последующем описании и формуле изобретения не ограничены библиографическим значениями, а просто использованы создателем настоящего изобретения, чтобы обеспечить четкое и последовательное понимание настоящего изобретения. Соответственно, специалистам в данной области техники должно быть ясно, что последующее описание различных вариантов осуществления настоящего изобретения предлагается только для иллюстрации.
[0047] Следует понимать, что формы единственного числа включают в себя множественность, если контекст явно не указывает иное.
[0048] Дополнительно следует понимать, что термины «содержит», «содержащий», «включает в себя» и/или «включающий в себя», при использовании в настоящей заявке, означают присутствие изложенных признаков, значений, операций, элементов и/или компонентов, но не исключают присутствия или добавления одного или более других признаков, значений, операций, элементов, компонентов и/или их групп.
[0049] В дальнейшем, различные варианты осуществления настоящего изобретения описаны более подробно со ссылкой на прилагаемые чертежи.
[0050] Настоящее изобретение предназначено для оптической проверки поверхности изделия. Настоящее изобретение обеспечивает быстрое и точное определение типа дефекта и является ли дефект ложным или истинным в автоматическом режиме с высокой чувствительностью и малым временем проверки. Кроме того, настоящее изобретение обеспечивает проверку как плоских, так и искривленных поверхностей изделия. Настоящее изобретение обеспечивает одновременную проверку двух поверхностей изделия, если изделие выполнено из материала, пропускающего используемое для проверки излучение.
[0051] Настоящее изобретение может иметь, например, следующие применения:
– для проверки качества поверхности экрана телевизора, смартфона, планшетного компьютера и т. д.,
– для проверки качества ювелирных изделий,
– в медицине для выявления возрастных морщин лица, дефектоскопии поверхности роговицы глаза и т. д.,
– контроль качества точных оптических элементов,
– в производстве транспортных средств для выявления дефектов лакокрасочного покрытия,
– в производстве самолетов, космических кораблей, морских кораблей для дефектоскопии поверхности деталей и компонентов,
– для проверки тонких пленок, покрытий и т. д.,
– в микроэлектронике для проверки поверхности полупроводниковых пластин.
[0052] Предложенный способ 100 оптической проверки поверхности, который может быть реализован устройством 200 для оптической проверки поверхности, описан со ссылкой на фиг. 1.
[0053] На этапе 101 последовательно испускают излучение по меньшей мере двумя источниками 201 излучения на по меньшей мере одну поверхность изделия, причем положения по меньшей мере двух источников излучения относительно по меньшей мере одной поверхности отличаются друг от друга, и направления испускания излучения по меньшей мере двух источников 201 излучения отличаются друг от друга.
[0054] На этапе 102 блокируют по меньшей мере одним из по меньшей мере одной апертуры 202 и поглощающего излучение короба 203 попадание на по меньшей мере одну камеру 204 отраженного и/или прямого излучения, испускаемого по меньшей мере двумя источниками 201 излучения, кроме излучения, рассеянного на по меньшей мере одной поверхности изделия.
[0055] На этапе 103 получают по меньшей мере одной камерой 204 набор изображений по меньшей мере одной поверхности изделия, причем каждое изображение из упомянутого набора изображений получают при испускании излучения по меньшей мере одним источником 201 излучения из по меньшей мере двух источников 201 излучения.
[0056] На этапе 104 выполняют процессором 205 предобработку изображений из упомянутого набора изображений, причем предобработка включает в себя по меньшей мере удаление фона.
[0057] На этапе 105 обнаруживают процессором 205 дефект на по меньшей мере одной поверхности изделия, причем дефект обнаружен на по меньшей мере одной поверхности, если на по меньшей мере одном изображении из упомянутого набора изображений обнаружено отображение рассеянного излучения.
[0058] На этапе 106 определяют тип дефекта и является ли дефект ложным или истинным, посредством оценки обнаруженного дефекта обученным классификатором на основе искусственного интеллекта, содержащемся в процессоре 205, при этом определение, является ли дефект ложным или истинным, выполняют на основании определенного типа дефекта.
[0059] Если изделие содержит две поверхности, противоположные друг другу, при этом упомянутое изделие выполнено из пропускающего излучение материала, то дефект обнаруживают на одной или двух поверхностях.
[0060] В дополнительном варианте осуществления по меньшей мере два источника 201 излучения образуют по меньшей мере две пары источников 201 излучения, причем источники 201 излучения в каждой паре источников 201 излучения расположены напротив друг друга, источники 201 излучения в каждой паре источников 201 излучения испускают излучение одновременно, при этом пары источников 201 излучения испускают излучение последовательно и направления испускания излучения по меньшей мере двух пар источников 201 излучения отличаются друг от друга.
[0061] На этапе 104 предобработки изображений способ может дополнительно содержать по меньшей мере одно из настройки контраста упомянутых изображений, эквализации гистограммы, контрастно–ограниченной адаптивной эквализации гистограммы. Однако предобработка изображений в настоящем изобретении не ограничена вышеперечисленными операциями. Предобработка изображений может быть выполнена с применением любых известных операций, обеспечивающих возможность выделения дефекта на изображениях. Поскольку такие операции известны, то их подробное описание не требуется.
[0062] На этапе 105 обнаружения дефекта способ может дополнительно содержать по меньшей мере одно из бинаризации упомянутых изображений, выявления контуров на упомянутых изображениях, спектрального анализа упомянутых изображений, кластеризации упомянутых изображений, выполнения сегментации упомянутых изображений и обработки упомянутых изображений с использованием Марковских случайных полей. Однако обнаружение дефекта в настоящем изобретении не ограничена вышеперечисленными операциями. Обнаружение дефекта может быть выполнено с применением любых известных операций, наиболее подходящих для конкретного применения настоящего изобретения. Поскольку такие операции известны, то их подробное описание не требуется.
[0063] Обученный классификатор на основе искусственного интеллекта может быть одним из классификатора на основе сверточной нейронной сети, классификатора на основе глубокой сверточной нейронной сети, классификатора на основе остаточной сверточной нейронной сети, при этом определение типа дефекта и является ли дефект ложным или истинным выполняют посредством ввода упомянутого набора изображений в обученный классификатор на основе искусственного интеллекта, и при этом классификатор на основе искусственного интеллекта предварительно обучают на множестве обучающих наборов изображений разных дефектов с указанием типов дефектов. Однако настоящее изобретение не ограничено вышеперечисленными классификаторами, могут быть применены любые известные классификаторы для распознавания содержимого изображений, наиболее подходящие для конкретного применения настоящего изобретения.
[0064] Обучающие наборы изображений разных дефектов содержат изображения с размеченными разными царапинами, сколами, потертостями, пятнами, пылинками, ворсинками и т.д. различных форм и размеров с указанием типа дефекта и является ли дефект истинным или ложным, то есть неудаляемым или удаляемым, соответственно. Обучение таких классификаторов с использованием множества обучающих наборов изображений и обработка наборов изображений такими классификаторами для распознавания содержимого изображений известна в уровне техники и их подробное описание не требуется.
[0065] Способ может дополнительно содержать до этапа 106 определения типа дефекта и является ли дефект ложным или истинным, этап, на котором извлекают признаки дефекта из упомянутого набора изображений посредством обученного классификатора на основе искусственного интеллекта, при этом определение типа дефекта и является ли дефект ложным или истинным выполняют обученным классификатором на основе искусственного интеллекта по извлеченным признакам дефекта, и при этом классификатор на основе искусственного интеллекта предварительно обучают на множестве обучающих наборов признаков разных дефектов с указанием типов дефектов, и при этом обученный классификатор на основе искусственного интеллекта является одним из классификатора на основе XGBoost (экстремального градиентного улучшения), классификатора на основе Random Forest (ансамбля деревьев принятия решений), классификатора на основе полносвязной нейронной сети, классификатора на основе сверточной нейронной сети, классификатора на основе глубокой сверточной нейронной сети, классификатора на основе остаточной сверточной нейронной сети, классификатора на основе дескриптора, такого как, но не ограничиваясь этим, SIFT (масштабно–инвариантная трансформация признаков), VGG16 (вектор признаков предобученной нейронной сети), SURF (Устойчивые Ускоренные Признаки). Однако настоящее изобретение не ограничено вышеперечисленными классификаторами, могут быть применены любые известные классификаторы для распознавания содержимого изображений по извлеченным признакам, наиболее подходящие для конкретного применения настоящего изобретения.
[0066] Признаками могут быть геометрия (форма и размеры) разных дефектов, модуляция излучения, рассеянного на разных дефектах, текстура разных дефектов, спектр излучения, рассеянного на разных дефектах, структура разных дефектов, результаты кластеризации изображений разных дефектов и т.д. Обучение таких классификаторов с использованием множества обучающих наборов признаков и обработка признаков такими классификаторами для распознавания содержимого изображений известна в уровне техники и их подробное описание не требуется.
[0067] Способ может дополнительно содержать этап, на котором определяют процессором 205 годность или брак по меньшей мере одной поверхности на основании заданных условий посредством анализа дефекта или совокупности дефектов. Заданными условиями для определения годности или брака изделия могут быть, например, тип дефекта, указание, является ли дефект истинным или ложным, размер дефекта, количество дефектов на поверхности/изделии, расстояние между дефектами и т.д. в зависимости от требований качества, которым должно соответствовать изделие.
[0068] Варианты осуществления устройства 200 для оптической проверки поверхности описаны в дальнейшем подробнее со ссылкой на фиг. 2–6. Устройство 200 способно работать согласно вариантам осуществления способа 100 оптической проверки поверхности.
[0069] Устройство 200 для оптической проверки поверхности содержит по меньшей мере два источника 201 излучения, по меньшей мере одно из по меньшей мере одной апертуры и поглощающего излучение короба, по меньшей мере одну камеру, и процессор 205, содержащий обученный классификатор на основе искусственного интеллекта. Следует понимать, что варианты осуществления устройства 200, описанные со ссылкой на фиг. 2–6 являются примерными и не ограничивающими, и устройство 200 может иметь другие конфигурации размещения его компонентов, таких как источники 201 излучения, апертура/ы 202, поглощающий излучение короб 203 и камера/ы 204. Кроме того, устройство 200 может содержать разные устройства ввода/вывода для контроля работы устройства 200 и отображения результатов оптической проверки.
[0070] По меньшей мере два источника 201 излучения выполнены с возможностью последовательного испускания излучения на по меньшей мере одну поверхность изделия, причем положения по меньшей мере двух источников 201 излучения относительно по меньшей мере одной поверхности отличаются друг от друга, и направления испускания излучения по меньшей мере двух источников 201 излучения отличаются друг от друга.
[0071] По меньшей мере одно из по меньшей мере одной апертуры 202 и поглощающего излучение короба 203 выполнены с возможностью блокировки попадания на по меньшей мере одну камеру 204 отраженного и/или прямого излучения, испускаемого по меньшей мере двумя источниками 201 излучения, кроме излучения, рассеянного на по меньшей мере одной поверхности.
[0072] По меньшей мере одна камера 204 выполнена с возможностью получения набора изображений по меньшей мере одной поверхности, причем каждое изображение из упомянутого набора изображений получают при испускании излучения по меньшей мере одним источником 201 излучения из по меньшей мере двух источников 201 излучения.
[0073] Процессор 205 содержит обученный классификатор на основе искусственного интеллекта и выполнен с возможностью выполнять предобработку изображений из упомянутого набора изображений, причем предобработка включает в себя по меньшей мере удаление фона, обнаруживать дефект на по меньшей мере одной поверхности, причем дефект обнаружен на по меньшей мере одной поверхности, если на по меньшей мере одном изображении из упомянутого набора изображений обнаружено отображение рассеянного излучения; определять тип дефекта и является ли дефект ложным или истинным, посредством оценки обнаруженного дефекта обученным классификатором на основе искусственного интеллекта, при этом определение, является ли дефект ложным или истинным, выполняется на основании определенного типа дефекта.
[0074] Если изделие содержит две поверхности, противоположные друг другу, и выполнено из пропускающего излучение материала, то процессор 205 способен обнаруживать дефект на одной или двух поверхностях. Две упомянутые поверхности могут быть плоскими или искривленными, или одна поверхность из упомянутых двух поверхностей является плоской, а другая поверхность из упомянутых двух поверхностей является искривленной
[0075] Устройство 200 может содержать по меньшей мере две пары источников 201 излучения, причем источники излучения в каждой паре источников 201 излучения расположены напротив друг друга, источники 201 излучения в каждой паре источников 201 излучения испускают излучение одновременно, при этом пары источников 201 излучения испускают излучение последовательно и направления испускания излучения по меньшей мере двух пар источников 201 излучения отличаются друг от друга.
[0076] Примерный вариант размещения источников 201 излучения изображен на фиг. 6, в котором источники 201 излучения распределены парами вокруг поверхности изделия, и пары источников 201 излучения испускают излучение последовательно. Однако следует понимать, что это не ограничивающий пример размещения источников 201 излучения. Количество источников 201 излучения может быть разным, и они могут излучать свет не попарно. Основным требованием к источникам 201 излучения является то, что источников 201 излучения должно быть два или более, они должны испускать излучение последовательно, положения двух или более источников 201 излучения относительно по меньшей мере одной поверхности должны отличаться друг от друга, и направления испускания излучения двух или более источников 201 излучения должны отличаться друг от друга.
[0077] В процессе предобработки набора изображений процессор 205 может дополнительно осуществлять по меньшей мере одно из настройки контраста упомянутых изображений, эквализации гистограммы, контрастно–ограниченной адаптивной эквализации гистограммы. Однако, как указано выше в отношении способа 100 оптической проверки поверхности, предобработка изображений в настоящем изобретении не ограничена вышеперечисленными операциями.
[0078] В процессе обнаружения дефекта на по меньшей мере одной поверхности процессор 205 может осуществлять по меньшей мере одно из бинаризации упомянутых изображений, выявления контуров на упомянутых изображениях, спектрального анализа упомянутых изображений, кластеризации упомянутых изображений, выполнения сегментации упомянутых изображений и обработки упомянутых изображений с использованием Марковских случайных полей. Однако, как указано выше в отношении способа 100 оптической проверки поверхности, обнаружение дефекта в настоящем изобретении не ограничена вышеперечисленными операциями.
[0079] В одном их вариантов осуществления устройства 200 обученный классификатор на основе искусственного интеллекта может быть одним из классификатора на основе сверточной нейронной сети, классификатора на основе глубокой сверточной нейронной сети, классификатора на основе остаточной сверточной нейронной сети, при этом процессор 205 выполняет определение типа дефекта и является ли дефект ложным или истинным посредством ввода упомянутого набора изображений в обученный классификатор на основе искусственного интеллекта, и при этом классификатор на основе искусственного интеллекта предварительно обучен на множестве обучающих наборов изображений разных дефектов с указанием типов дефектов. Однако настоящее изобретение не ограничено вышеперечисленными классификаторами, могут быть применены любые известные классификаторы для распознавания содержимого изображений, наиболее подходящие для конкретного применения настоящего изобретения.
[0080] В другом из вариантов осуществления устройства 200 процессор 205 может дополнительно, до определения типа дефекта и является ли дефект ложным или истинным, извлекать признаки дефекта из упомянутого набора изображений посредством обученного классификатора на основе искусственного интеллекта, при этом процессор выполняет определение типа дефекта и является ли дефект ложным или истинным обученным классификатором на основе искусственного интеллекта по извлеченным признакам дефекта, и при этом классификатор на основе искусственного интеллекта предварительно обучен на множестве обучающих наборов признаков разных дефектов с указанием типов дефектов, и при этом обученный классификатор на основе искусственного интеллекта является одним из классификатора на основе XGBoost (экстремального градиентного улучшения), классификатора на основе Random Forest (ансамбля деревьев принятия решений), классификатора на основе полносвязной нейронной сети, классификатора на основе сверточной нейронной сети, классификатора на основе глубокой сверточной нейронной сети, классификатора на основе остаточной сверточной нейронной сети, классификатора на основе дескриптора, такого как, но не ограничиваясь этим, SIFT (масштабно–инвариантная трансформация признаков), VGG16 (вектор признаков предобученной нейронной сети), SURF (Устойчивые Ускоренные Признаки). Однако настоящее изобретение не ограничено вышеперечисленными классификаторами.
[0081] В другом из вариантов осуществления устройства 200 процессор 205 может дополнительно определять годность или брак по меньшей мере одной поверхности на основании заданных условий посредством анализа дефекта или совокупности дефектов. Данная операция и заданные условия уже описаны в отношении способа 100 оптической проверки поверхности, и поэтому здесь такое описание опущено.
[0082] По необходимости источники 201 излучения могут представляет собой один из источника видимого света, источника ультрафиолетового излучения, источника инфракрасного излучения, при этом излучение может быть поляризованным или неполяризованным, монохроматическим или с заданным спектром.
[0083] По меньшей мере одна камера 204 может быть выбрана в соответствии со спектром излучения источников излучения, при этом каждая камера из по меньшей мере одной камеры представляет собой одну из цветной камеры, монохромной камеры, ультрафиолетовой камеры, инфракрасной камеры, при этом каждая камера из по меньшей мере одной камеры может содержать спектральные и/или поляризационные фильтры.
[0084] Устройство 200 может содержать одну или более камер 204. Компоновка устройства 200 с несколькими камерами 204 может обеспечивать увеличение поля обзора, при этом одна камера 204 видит часть проверяемой поверхности/поверхностей, а несколько камер 204 охватывают всю площадь проверяемой поверхности/поверхностей. Компоновка устройства 200 с несколькими камерами 204 также может обеспечивать получение изображений всей площади проверяемой поверхности/поверхностей или части проверяемой поверхности/поверхностей с различных ракурсов при различных ориентациях камер 204.
[0085] Каждая камера 204 может располагаться соосно или несоосно с осью симметрии осветительной системы устройства 200 содержащей по меньшей мере два источника 201 излучения.
[0086] На фиг. 2 изображен вариант компоновки устройства 200, в которой по меньшей мере два источника 201 излучения и по меньшей мере одна камера 204 находятся со стороны одной поверхности из двух поверхностей изделия.
[0087] На фиг. 3 и 4 изображены варианты компоновки устройства 200, в которых по меньшей мере два источника 201 излучения находятся со стороны одной поверхности из двух поверхностей изделия, а по меньшей мере одна камера 204 находится со стороны другой поверхности из двух поверхностей изделия.
[0088] На фиг. 5 изображен вариант компоновки устройства 200, в которой по меньшей мере два источника излучения 201 находятся как со стороны одной поверхности из двух поверхностей изделия, так и со стороны другой поверхности из двух поверхностей изделия, а по меньшей мере одна камера 204 находится со стороны одной поверхности из двух поверхностей изделия или со стороны другой поверхности из двух поверхностей изделия.
[0089] На фиг. 2 и 3 изображены варианты компоновки устройства 200, в которых устройство 200 содержит одну апертуру 202, находящуюся между по меньшей мере одной камерой 204 и одной поверхностью изделия.
[0090] На фиг. 2 и 4 изображены варианты компоновки устройства 200, в которых устройство 200 содержит одну апертуру 202, находящуюся между по меньшей мере двумя источниками 201 излучения и одной поверхностью из двух поверхностей изделия.
[0091] На фиг. 5 изображен вариант компоновки устройства 200, в которой устройство содержит две апертуры 202, при этом одна апертура 202 находится между по меньшей мере двумя источниками 201 излучения со стороны одной поверхности из двух поверхностей изделия и упомянутой одной поверхностью изделия, а другая апертура 202 находится между по меньшей мере двумя источниками 201 излучения со стороны другой поверхности из двух поверхностей изделия и упомянутой другой поверхностью изделия.
[0092] На фиг. 2–5 изображены варианты компоновки устройства 200, в которых устройство 200 содержит поглощающий излучение короб 203, находящийся со стороны одной поверхности изделия, противоположной другой поверхности изделия, со стороны которой находится по меньшей мере одна камера 204.
[0093] Вышеприведенные описания вариантов осуществления изобретения являются иллюстративными, и модификации конфигурации и реализации не выходят за пределы объема настоящего описания. Например, хотя варианты осуществления изобретения описаны, в общем, в связи с фигурами 1–6, приведенные описания являются примерными. Хотя объект изобретения описан на языке, характерном для конструктивных признаков или методологических операций, понятно, что объект изобретения, определяемый прилагаемой формулой изобретения, не обязательно ограничен конкретными вышеописанными признаками или операциями. Более того, конкретные вышеописанные признаки и операции раскрыты как примерные формы реализации формулы изобретения. Изобретение не ограничено также показанным порядком этапов способа, порядок может быть видоизменен специалистом без новаторских нововведений. Некоторые или все этапы способа могут выполняться последовательно или параллельно.
[0094] Соответственно предполагается, что объем варианта осуществления изобретения ограничивается только нижеследующей формулой изобретения.