СПОСОБ ИДЕНТИФИКАЦИИ ИНОРОДНЫХ ОБЪЕКТОВ НА ПОВЕРХНОСТИ ВОЛОКНИСТЫХ МАТЕРИАЛОВ ПО КОМПЬЮТЕРНОМУ ИЗОБРАЖЕНИЮ
METHOD TO IDENTIFY FOREIGN OBJECTS ON SURFACE OF FIBROUS MATERIALS USING COMPUTER IMAGE

Изобретение относится к текстильной промышленности и может быть использовано испытательными лабораториями и центрами при измерении показателей засоренности хлопковых волокон.
Известна система контроля дефектов на поверхности металлов [Surface defect inspection system [Текст]: пат. 4403294 США: МКИ3 G01N 21/48 / Toshimitsu Hamada, Hiroshi Makihira, Yasuo Nakagawa, Makoto Udaka (Japan); заявители и патентообладатели Hitachi Ltd., Japan Nuclear Fuel Co. Ltd. - заявл. 28.11.1980; опубл. 06.09.1983. - 10 с.: ил.], включающая блок для получения изображения путем последовательного сканирования поверхности двумерного объекта, заранее установленный порог интенсивности изображения для его бинаризации и выявления особых участков изображения, блок для выполнения расчетов по выявленным особым участкам изображения в процессе сканирования и для временного хранения результатов, включающий блок для нахождения границ отдельного особого участка изображения в продольном направлении и блок нахождения дефекта, в котором с использованием полученной ранее информации находят границы каждого особого участка изображения в поперечном направлении. Далее свойства каждого просканированного особого участка (площадь, размеры проекций на оси Х и Y, максимальные размеры в продольном и поперечном направлениях) сравниваются с ранее определенными характеристиками, после чего принимается решение о наличии либо об отсутствии дефекта.
Основным недостатком данной системы является использование жестко установленного порогового значения, которое не может быть установлено применительно к разнообразным волокнистым материалам. Кроме того, для обнаружения дефектов используются только размерные признаки, которые существенно ограничивают функциональные возможности системы.
За прототип принят способ аттестации образцов хлопковых волокон [Method of grading sample [Текст]: пат. 7142693 В2 США: МПК7 G06K 9/00 / Yupeng Zhun, Christopher K. Shofner, Frederick M. Shofner (US); заявитель и патентообладатель Shofner Engineering Associates, Inc. - №US 2003/0059090 A1; заявл. 10.07.2002, опубл. 28.11.2006. - 19 с.: ил.], который заключается в следующем: путем сканирования получают исходное цветное изображение образца (например, хлопка-сырца), затем изображение анализируют в модуле сегментации и преобразуют в бинарное изображение, т.е. маркируют пиксели, принадлежащие волокну, кодом 0, а все другие пиксели (неволокнистые) - кодом 1. Затем модуль распознавания частиц группирует неволокнистые пиксели, объединяет их в объекты, рассматриваемые как отдельные частицы, и вычисляет цвет, размер, форму и четкость границы для каждой частицы. Далее эти характеристики анализируют и распознают типы инородных частиц (мелкий сор, частицы листьев, частицы стеблей хлопчатника и частицы травы) и затененные участки фонового изображения. Распознавание различных объектов производится в следующем порядке. Сначала, исходя из четкости границ, из выделенных объектов в палитре серого цвета отсеивают затененные участки фона, затем по размерам среди инородных частиц выделяют мелкий сор, из оставшихся крупных частиц по форме выделяют частицы листьев и удлиненные частицы, которые в конечном итоге по цвету подразделяются на частицы стеблей и травы.
Данные о листьях и мелких примесях анализируются в специальном модуле, который регистрирует величину показателя «Leaf grade» в соответствии с [ASTM
D5 867-05. Standard Test Methods for Measurement of Physical Properties of Cotton Fibers by High Volume Instruments [Текст]. - Введ. 2005-07-01. - Washington: ASTM Publ., 2001. - 8 с.: ил.]. Данные о частицах стеблей и травы также анализируются в соответствующем модуле, который регистрирует величину показателя «Bark/Grass grade».
К недостаткам прототипа можно отнести следующие: во-первых, не предусмотрено предварительного анализа изображения для определения пороговых значений величин, определяющих критерии распознавания инородных объектов; во-вторых, применение палитры серого цвета при распознавании затененных участков фона может привести к ошибкам первого и второго рода, а именно отнесению затененных участков фона к инородным частицам и наоборот; в-третьих, не предусматривается распознавание таких важных инородных частиц в хлопковом волокне, как кожица семени с волокном.
Техническим результатом предлагаемого изобретения является повышение точности выделения и идентификации инородных объектов на поверхности волокнистых материалов за счет использования полноцветного изображения пробы, дополнительных критериев обнаружения инородных объектов, применения нового механизма выделения отдельных инородных объектов и новых признаков распознавания их типа, а также расширение функциональных возможностей за счет распознавания дополнительного типа инородных объектов, а именно кожицы семени с волокном.
кр
кр
Указанный технический результат достигается тем, что в способе идентификации инородных объектов на поверхности волокнистых материалов по компьютерному изображению, заключающемся в получении компьютерного изображения пробы материала, его обработке путем обнаружения, выделения и измерения инородных объектов (мелких сорных примесей, частиц листьев, частиц стеблей, частиц травы), согласно изобретению для обнаружения инородных объектов используют полноцветное изображение пробы в стандартной палитре красного R, зеленого G и синего В цветов (sRGB), на основе статистического распределения интенсивности цветовых составляющих пикселей всего изображения устанавливают значения критериев для обнаружения подходящих пикселей, принадлежащих инородным объектам, а именно интенсивности синей цветовой составляющей (В) и соотношения между интенсивностями красной, зеленой и синей цветовых составляющих (Δ), для выделения каждого инородного объекта применяют алгоритм, состоящий в поиске подходящего стартового пикселя, нахождении справа от стартового пикселя первой базовой строки, состоящей из подходящих пикселей и любых других пикселей между ними, если длина их серии не превышает 0,25 мм, цикличном выполнении нахождения и выделения столбцов из пикселей, находящихся выше и ниже от базовой строки с учетом тех же условий, выявления базовых столбцов, содержащих выделенные пиксели, наиболее удаленные от базовой строки, выделения строк из пикселей, удовлетворяющих тем же условиям, по обеим сторонам каждого базового столбца, выявления базовых строк, содержащих выделенные пиксели, наиболее удаленные от соответствующего базового столбца до тех пор, пока выделяются новые пиксели, для измерения накапливают информацию о характеристиках пикселей и окрестностей каждого инородного объекта и определяют интенсивность их цветовых составляющих, для идентификации кожицы семени с волокном используют установленное предельное значение доли пикселей в окрестности инородного объекта, уровень желтизны которых превышает установленное эмпирическое значение.
Повышение точности выделения и идентификации инородных объектов на поверхности волокнистых материалов достигается за счет применения полноцветного изображения пробы в стандартной палитре красного R, зеленого G и синего В цветов (sRGB), дающего возможность одновременного использования двух дополнительных критериев обнаружения инородных объектов. Повышению точности выделения способствует также заявленный механизм выделения отдельных инородных объектов, который позволяет объединить все пиксели, относящиеся к текущему инородному объекту, независимо от колебаний их интенсивности. Расширение функциональных возможностей достигается за счет применения нового признака распознавания, а именно доли пикселей в окрестности инородного объекта, позволяющего дополнительно идентифицировать такой значимый тип инородных объектов, как кожица семян с волокном.
На фиг.1, а, б, в приведены изображения типичных поверхностей хлопковых волокон, имеющих различные уровни градации по засоренности; на фиг.2 - общий алгоритм способа идентификации инородных объектов; на фиг.3, а, б, в - сравнение результатов выделения инородного объекта по предлагаемому алгоритму и простого выделения пикселей изображения, удовлетворяющих заданным условиям; на фиг.4 - алгоритм обнаружения и выделения инородных объектов; на фиг.5, а-к - графическое представление механизма выделения инородных объектов; на фиг.6, а, б - результат обнаружения и выделения инородных объектов на изображении поверхности хлопкового волокна; на фиг.7, а-l - изображения различных видов инородных объектов в хлопковом волокне; на фиг.8 - алгоритм измерения и идентификации инородных объектов; на фиг.9 - графическое определение параметров формы инородных объектов; на фиг.10, 11, а, б - графическая интерпретация наличия или отсутствия желтой составляющей цвета на изображении в окрестности соответственно частицы листа хлопчатника и кожицы семени с волокном.
Примеры практического осуществления способа
Отличительной особенностью исходных волокнистых материалов натурального происхождения, таких как хлопковое волокно, является наличие в материале инородных объектов, представляющих собой примеси преимущественно растительного и минерального происхождения. Примеси хаотически распределены по всему объему и на внешней поверхности волокнистого материала, причем увеличение общего содержания инородных объектов (сорных примесей) оказывает существенное влияние на внешний вид поверхности. На фиг.1 представлены изображения типичных поверхностей хлопковых волокон с низкой (фиг.1, а), средней (фиг.1, б) и высокой (фиг.1, в) засоренностью. В связи с этим представляется возможным осуществлять косвенную вероятностную оценку содержания инородных объектов по результатам анализа поверхности волокнистого материала.
кр
кр
Общий алгоритм выполнения операций способа (фиг.2) содержит: подготовку пробы в виде слоя волокон, получение цифрового изображения пробы, статистический анализ распределения интенсивности цветовых составляющих цифрового изображения пробы, установление критических значений критериев Δ и В для обнаружения инородных объектов, обнаружение и выделение инородных объектов, измерение и идентификацию инородных объектов с выдачей протокола идентификации.
На этапе подготовки пробы следовали рекомендациям [O'z RH 73-01:2001. Волокно хлопковое. Порядок измерений показателей на системе HVI [Текст]. - Введ. 2001-07-01. - Ташкент: Издательство стандартов, 2001. - 20 с.: ил.], в соответствии с которыми размер пробы, отбираемой от кипы хлопковых волокон, должен быть таким, чтобы она полностью закрывала площадь 10 см × 10 см и через нее не проходил световой поток. Элементарная проба, необходимая для однократного измерения с обеих сторон, отбирается из внутренних пластов распакованной кипы на расстоянии не менее 10-15 см от торца кипы. Допускается вариант отбора, когда из спрессованной кипы вырезают брикет волокон размером 20 см × 15 см × 10 см и получают элементарную пробу путем расслоения брикета на две части. Подготовленная проба представляет собой слой, который должен иметь ровную поверхность без сильных углублений и борозд.
Подготовленная проба с неповрежденной структурой поверхности укладывается на рабочую поверхность (стекло) оптического сканера сканируемой поверхностью вниз и прижимается к стеклу постоянной распределенной нагрузкой. Затем поверхность сканируется в полноцветном режиме, в палитре sRGB.
Далее предварительно оценивают исследуемое изображение с помощью статистического анализа распределения интенсивности цветовых составляющих цифрового изображения всей пробы с последующим установлением пороговых значений критериев, определяющих наличие на поверхности инородных объектов. Это необходимо в связи с большим разбросом значений цветовых характеристик хлопкового волокна (табл. 1).
Градация качества хлопкового волокна определена в соответствии с [O'z DSt 604-2001. Волокно хлопковое. Технические условия [Текст]. - Взамен РСТ Уз 604-1993; Введ. 2001-05-01. - Ташкент: Издательство стандартов, 2001. - 8 с.], где первая цифра обозначает тип, вторая - сорт, а третий элемент - класс хлопкового волокна.
Средняя интенсивность I определяется по всем пикселям изображения и эквивалентна коэффициенту диффузного отражения; средние интенсивности красной, зеленой и синей составляющих изображения (R, G, В) измеряются в диапазоне от 0 до 255 условных единиц в соответствии с разложением цветовой палитры sRGB.
кр
кр
кр
После получения данных о фактическом распределении интенсивности пикселей изображения с учетом средней интенсивности и величины разброса составляющих изображения определяются пороговые значения критериев В и Δ. Величина Δ определяется по формуле
кр
кр
кр
где R, G и В - пороговые значения цветовых составляющих изображения палитры sRGB, определяемые для конкретного изображения с учетом результатов статистического анализа.
кр
кр
кр
кр
Необходимость в двух критериях В и Δ обусловлена тем, что на поверхности пробы могут находиться темные участки из-за образования глубоких неровностей или попадания крупных и плотных скоплений волокон. Эти темные участки не следует рассматривать как инородный объект, поэтому дополнительно к критерию В введен критерий Δ.
кр
кр
Следующим рабочим шагом общего алгоритма способа идентификации инородных объектов является обнаружение и выделение потенциальных инородных объектов (фиг.3, а). Предлагаемый алгоритм обнаружения и выделения инородных объектов отличается от обычной операции бинаризации, когда происходит простое выделение пикселей изображения, удовлетворяющих заданным условиям (фиг.3, б). Как видно из фиг.3, в, в результате обнаружения и выделения инородных объектов по предлагаемому алгоритму происходит связывание всех пикселей, относящихся к текущему инородному объекту, независимо от колебаний цветовых составляющих их интенсивности. Первым шагом алгоритма обнаружения и выделения инородных объектов (фиг.4) является их последовательный поиск, осуществляемый по столбцам изображения сверху вниз и слева направо. Поиск инородных объектов заключается в анализе и выявлении пикселей, удовлетворяющих условиям: R+G-2В>Δ и В<В. Поиск считается успешным, когда текущий пиксель удовлетворяет указанным условиям. В этом случае он признается первым (стартовым) пикселем текущего выделяемого инородного объекта (фиг.5, а), и это дает возможность реализовать алгоритм обнаружения и выделения. От стартового пикселя в направлении слева направо (фиг.5, а) выделяется первая базовая строка (фиг.5, б). К ней будут относиться все подходящие (удовлетворяющие заданным условиям) пиксели, а также любые другие пиксели между ними (каждый из них отмечен белым крестом), при условии, что длина их серии не превышает 0,25 мм. В рассматриваемом изображении, полученном при разрешающей способности 300 пикселей/дюйм, длина серии 0,25 мм эквивалентна трем пикселям.
Далее выполняется цикл по нахождению и выделению столбцов из пикселей, находящихся выше и ниже от базовой строки с учетом указанных условий (фиг.5, в, е), выявлению базовых столбцов, содержащих выделенные пиксели, наиболее удаленные от базовой строки (фиг.5, г, ж), выделению строк из пикселей, удовлетворяющих тем же условиям, по обеим сторонам каждого базового столбца (фиг.5, д, и) и выявлению базовых строк, содержащих выделенные пиксели, наиболее удаленные от соответствующего базового столбца до тех пор, пока выделяются новые пиксели (фиг.5, к). На данной стадии инородный объект считается выделенным, и первичные данные о нем заносятся в ячейку памяти для последующего анализа.
Таким образом, осуществляется обработка всего исходного изображения пробы (фиг.6, а), в результате которой оператор визуально наблюдает закрашивание фрагментов изображения, соответствующих выделенным инородным объектам (фиг.6, б).
min
min
Следующим шагом после обнаружения и выделения всех инородных объектов является их измерение и идентификация. Предусматривается, что окончательно идентифицированный инородный объект может быть отнесен к следующим типам: частица стебля хлопчатника (фиг.7, а), трава, т.е. частица других растений (фиг.7, б), частица листа или коробочки хлопчатника (фиг.7, в, г), кожица семени с волокном (фиг.7, д), дробленое семя (фиг.7, е). Алгоритм измерения и идентификации инородных объектов приведен на фиг.8. На основе первичных данных определяется количество пикселей N в каждом выделенном инородном объекте. Затем оно сравнивается с минимально установленным пределом N, определяющим границу между мелкими и крупными инородными объектами. N определяется по формуле
где D - разрешающая способность сканирования, пикселей/дюйм.
min
Если количество пикселей N в определенном инородном объекте окажется ниже N, то он квалифицируется типом «мелкая сорная примесь (pepper)», сохраняется в таком качестве и не подвергается дальнейшим измерениям.
min
Если количество пикселей N в текущем инородном объекте окажется выше N, то он квалифицируется как крупная сорная примесь и подлежит дальнейшему измерению параметров с целью уточнения типа.
X
Y
XY
YX
Основным критерием для предварительной идентификации частиц стебля хлопчатника и травы является форма инородного объекта. Для оценки формы каждого крупного инородного объекта измеряются индексы формы K и K, а также K и K которые вычисляются по формулам
X
где L - длина проекции инородного объекта на горизонтальную ось, мкм;
Y
L - длина проекции инородного объекта на вертикальную ось, мкм;
max
X - максимальный размер инородного объекта в горизонтальном направлении, мкм;
max
Y - максимальный размер инородного объекта в вертикальном направлении, мкм.
X
Y
max
max
Графическая интерпретация определения параметров инородных объектов L, L, X и Y показана на фиг.9.
X
Y
XY
YX
кр
Вычисленные значения K, K, K и K сравниваются с критическим значением К, определенным эмпирическим путем на уровне, равном пяти.
X
Y
XY
YX
кр
Если K, или K, или K, или K окажутся не ниже K, то данный инородный объект потенциально может быть либо частицей стебля хлопчатника, либо травой (фиг.8). Для принятия окончательного решения по каждому инородному объекту осуществляется измерение усредненных значений интенсивностей красной, зеленой и синей составляющих цвета (соответственно ,  и ) и расчет средней арифметической интенсивности  пикселей, принадлежащих соответствующему инородному объекту. Если  окажется выше установленного порогового значения, то соответствующий инородный объект квалифицируется как трава, в противном случае - как частица стебля хлопчатника.
X
Y
XY
YX
b
кр
Если K, или K, или K, или K окажутся ниже K, то данный инородный объект потенциально может быть либо частицей листа или коробочки хлопчатника, либо кожицей семени с волокном, либо дробленым семенем (фиг.8). Для более точной классификации данного инородного объекта проводится анализ изображения в его окрестности. Границы этой прямоугольной области (фиг.10, 11) отстоят на пять пикселей от наиболее выступающих пикселей, принадлежащих инородному объекту. В указанной окрестности (без учета самого инородного объекта) подсчитывается доля пикселей δ+, уровень желтизны которых +b превышает установленное эмпирическое значение +b, равное 15%. Уровень желтизны каждого пикселя в указанной окрестности определяется по выражению
где r, g, b - значения интенсивности соответственно красной, зеленой и синей составляющих цвета в условных единицах (от 0 до 255).
кр
Все элементы изображения, уровень желтизны которых +b превышает +b, отмечены на фиг.10 и фиг.11 оттенком серого цвета.
+b
Если величина δ окажется не выше 0,10 (фиг.10), то данный инородный объект классифицируется как частица листа или коробочки хлопчатника.
+b
max
min
max
Если величина δ превысит уровень 0,10 (фиг.11, а, б), то данный инородный объект может быть классифицирован либо как кожица семени с волокном, либо как дробленое семя. Для принятия окончательного решения количество пикселей N, принадлежащих данному инородному объекту, сравнивается с заданным пороговым значением N=150 N. Если N превышает N, то соответствующий инородный объект квалифицируется как дробленое семя, в противном случае - как кожица семени с волокном. Кожица семени с волокном в соответствии с [ГОСТ 3274.3-72. Волокно хлопковое. Методы определения пороков и сорных примесей [Текст]. - Взамен ГОСТ 3274-46 в части разд. IIB; Введ. 1974-01-01. - М.: Издательство стандартов, 1989. - 6 с.] относится к особо вредным сорным примесям, так как этот вид примесей чрезвычайно сложно удалить в процессе переработки волокон в прядильном производстве. В результате чего на пряже образуются дефекты, которые впоследствии ухудшают качество и внешний вид полотен и готовых швейных изделий.
Выборочные данные об измеренных параметрах типичных сорных примесей при разрешающей способности сканирования 300 пикселей/дюйм представлены в табл. 2.
8
Диапазон изменения величин  составляет от 0 до 255 условных единиц и определяется глубиной применяемой цветовой палитры sRGB (8 бит или 2 вариантов на одну цветовую составляющую).
С учетом проведенной идентификации инородных объектов вычисляются показатели засоренности хлопкового волокна. Фактические значения по цифровому изображению элементарной пробы (фиг.6, а) представлены в табл.3.
Таблица 3
№ п/п
Наименование показателя и единица измерения
Фактические значения
1
Общее число крупных сорных примесей, шт.
73
2
Общая доля сорных примесей по площади, %
0,761
3
Количество кожицы семян с волокном, шт.
5
4
Доля кожицы семян с волокном в площади сорных примесей, %
1,12
5
Доля дробленых семян в площади сорных примесей, %
3,19
6
Доля частиц стебля хлопчатника в площади сорных примесей, %
29,52
7
Доля частиц травы в площади сорных примесей, %
11,81
8
Доля частиц листьев и коробочек хлопчатника в площади сорных примесей, %
54,36
9
Число мелких сорных примесей, шт.
137
Заявленный способ осуществляли с использованием оптического сканера и компьютера.
Измерение осуществляется следующим образом.
кр
кр
кр
кр
min
X
Y
max
max
X
Y
max
max
X
Y
XY
YX
Х
Y
XY
YX
кр
X
Y
XY
YX
кр
X
Y
XY
YX
кр
+b
кр
+b
кр
+b
кр
max
max
Отобранную и подготовленную пробу волокон укладывают произвольным образом на рабочую поверхность сканера и прижимают к рабочей поверхности сканера. Выбрав определенную разрешающую способность и определив область сканирования, получают цифровое изображение пробы. Исследование цифрового изображения осуществляется компьютерной программой и начинается со статистического анализа распределения интенсивности цветовых составляющих с целью последующего установления критических значений критериев Δ и В для обнаружения инородных объектов. Обнаружение и выделение каждого инородного объекта (фиг.4) представляет собой циклический процесс, включающий последовательный анализ пикселей изображения пробы с поиском тех пикселей, которые удовлетворяют условиям R+G-2В>Δ и В<В, принятие текущего пикселя, удовлетворяющего заданным условиям, в качестве стартового (фиг.5, а), нахождение первой базовой строки пикселей (фиг.5, б), нахождение и выделение столбцов из пикселей, находящихся выше и ниже от базовой строки с учетом указанных условий (фиг.5, в, е), выявление базовых столбцов, содержащих выделенные пиксели, наиболее удаленные от базовой строки (фиг.5, г, ж), выделение строк из пикселей, удовлетворяющих тем же условиям, по обеим сторонам каждого базового столбца (фиг.5, д, и) и выявление базовых строк, содержащих выделенные пиксели, наиболее удаленные от соответствующего базового столбца до тех пор, пока выделяются новые пиксели (фиг.5, к). После обнаружения и выделения всех инородных объектов, имеющихся на изображении пробы, осуществляется измерение их параметров и идентификация (фиг.8). Прежде всего измеряется количество пикселей N в каждом выделенном инородном объекте, затем на основании сравнения N с пороговым значением N инородные объекты идентифицируются на крупные или мелкие сорные примеси (pepper). Для дальнейшей идентификации крупных сорных примесей в каждой из них осуществляют измерение длины проекции на горизонтальную ось L, длину проекции на вертикальную ось L, максимального размера в горизонтальном направлении X и максимального размера в вертикальном направлении Y (фиг.9). Информация об измеренных значениях K, L, X и Y поступает для вычисления индексов формы K и K, а также K и K. В результате сравнения вычисленных значений К, K, K и K с пороговым значением К принимается решение о выполнении дальнейшей идентификации крупных сорных примесей. В первом случае, если K, или K, или K, или K окажутся не ниже K, то для нее вычисляется величина средней интенсивности пикселей  и сравнивается с пороговым значением . Если  окажется не выше , то соответствующая сорная примесь идентифицируется как частица стебля хлопчатника, в противном случае, если  окажется выше , соответствующая сорная примесь идентифицируется как частица других растений (трава). Во втором случае, если K, или K, или K, или K окажутся ниже K, то в окрестности данной крупной сорной примеси определяется доля δ пикселей, уровень желтизны которых +b превышает пороговое значение +b. Если величина δ окажется не выше +b, то данный инородный объект классифицируется как частица листа или коробочки хлопчатника. Если величина δ превысит +b, то для данного инородного объекта осуществляется сравнение измеренного ранее количества пикселей N с пороговым значением N. Если N превышает N, то соответствующий инородный объект квалифицируется как дробленое семя, в противном случае - как кожица семени с волокном.