АВТОМАТИЗИРОВАННАЯ СИСТЕМА АНАЛИЗА БИОМЕДИЦИНСКИХ МИКРОИЗОБРАЖЕНИЙ ДЛЯ ОБНАРУЖЕНИЯ И ХАРАКТЕРИЗАЦИИ ИНФОРМАТИВНЫХ ОБЪЕКТОВ ЗАДАННЫХ КЛАССОВ НА НЕОДНОРОДНОМ ФОНЕ
AUTOMATED SYSTEM OF BIOMEDICAL MICROIMAGE ANALYSIS FOR DETECTION AND CHARACTERISATION OF FIXED CLASS INFORMATIVE OBJECTS AGAINST INHOMOGENEOUS BACKGROUND

Изобретение относится к оптоэлектронным средствам распознавания и анализа изображений и может быть использовано в научных исследованиях, например, для выделения заданных объектов при гистологических исследованиях.
Известно, что выделение мелких информативных объектов на изображениях с известным диапазоном размеров и значений яркости и подсчет их количества, в частности при морфологических исследованиях, является весьма трудоемкой задачей (RU 2363950 С1, Угрюмов, 10.08.2009), для решения которой требуется использование оптоэлектронных средств автоматизации анализа указанных изображений.
Основной задачей при решении данной проблемы является поиск контуров информативных объектов, представленных на микрофотографиях. Известные оптические средства распознавания изображений, использующие алгоритмы наращивания областей, кластеризации, алгоритмы построения контуров, алгоритмы пороговой обработки, сегментации по морфологическим водоразделам налагают жесткие ограничения на структуру изображения и предназначены, в основном, для обработки и анализа простых изображений. Во многих практических задачах, и, в частности, в задачах анализа биомедицинских изображений, характеризующихся сложным распределением яркости как объектов, так и фона, классические методы не дают решения поставленной задачи с требуемой точностью.
Известен, например, способ обработки и анализа изображений разнотипных биологических объектов (RU 2406144 С1, Степанов и др., 10.12.2010). В ЭВМ вводят цветное изображение биологического препарата, выполняют фильтрацию шумов и помех, сегментацию всех изображений объектов и их элементов за один проход обработки с помощью интерактивного порогового преобразования в пространствах цветовых признаков HSV или RGB, каждую область отображают в виде массива опорных точек, обладающих эталонными цветовыми признаками для каждого однотипного элемента объектов, сегментацию осуществляют на основе сравнения расстояния в пространстве цветовых признаков между текущей точкой изображения и опорными точками. Такая обработка не применима для тоновых изображений: могут присутствовать разные объекты с близкими распределениями яркости и при использовании порогового метода их невозможно различить. Кроме того, способ является интерактивным, что существенно замедляет обработку и анализ большого массива изображений.
Описан способ помехоустойчивого градиентного выделения контуров объектов на цифровых тоновых изображениях (RU 2360289 С1, Самойлин, 27.06.2009). Предварительно оценивается локализация импульсных помех на изображении, после чего формируются четыре маски и управляющие векторы, затем с использованием данных векторов изменяют коэффициенты соответствующих четырех разноориентированных масок Прюитта. С использованием данных масок вычисляется приближенное значение модуля градиента изображения, и путем его порогового преобразования строятся контуры объектов. Данный метод не учитывает информацию о форме искомых объектов, т.е. при наличии на изображениях других объектов с четко выраженными границами метод включит их в искомые объекты также.
В изобретении (RU 2325044 С1, Гданский и др., 20.05.2008) описан градиентный способ выделения контуров объектов на матрице тонового растрового изображения. Для всех пикселов растрового изображения вычисляется норма или квадрат нормы градиента изменения их яркости, затем на новой черно-белой монохромной матрице черным цветом на белом фоне выделяются все элементы, у которых значение нормы или квадрата нормы градиента больше порогового значения, а контурами объектов на монохромной матрице считаются связные конфигурации элементов черного цвета. Приводятся критерии, по которым определяются искомые контуры объектов. В этом техническом решении, однако, не различаются объекты разной природы, имеющие ярко выраженные границы, а условия, налагаемые на модуль градиента изображения, не позволяют описать форму объектов.
Известны автоматизированные информационные системы для решения аналогичных задач. В изобретении (US 2008166035 (A1), QIAN WEI et al., 10.07.2008) описана автоматизированная диагностическая система для выявления раковых клеток на изображениях ткани. Система содержит: блок ввода цифрового изображения, блок ввода критериев и параметров распознавания, блок предварительной обработки изображения клеток и извлечения гистологических характеристик изображения, модуль декластеризации гистологических характеристик изображений, модуль сегментации клеток, присвоения меток и классификации изображений клеток на раковые и нераковые, блок вывода полученных данных. Эта система не обеспечивает выделения объектов с похожими гистологическими характеристиками, но отличающихся формой, кроме того, при выполнении предварительной фильтрации возможно смещение действительных контуров объектов, что снижает точность результатов.
В изобретении «Unsupervised scene segmentation» (US 7142732, Bamford et al., 28.11.2006 - ближайший аналог) описана система, содержащая блок ввода цифрового изображения объекта, блок уменьшения частоты дискретизации изображения, блоки морфологической фильтрации по типу «низ шляпы», блок бинарной эрозии, блоки бинарной реконструкции и дилатации с использованием сформированных маркеров и их периметров, анализа «водоразделов», блоки увеличения частоты дискретизации, блок вывода изучаемого объекта. Эта система не позволяет дифференцировать объекты, похожие по форме, но имеющие различные распределения яркости, например, при наличии множества нерегулярно распределенных, соприкасающихся пространственных объектов. Кроме того, эта система в качестве результата может выдать информацию о ложных контурах, проходящих внутри искомых объектов.
Настоящее изобретение направлено на решение задачи автоматизации анализа широкого класса биологических и медицинских цветных и тоновых изображений на неоднородном фоне с использованием представления методов анализа изображений в виде дескриптивных алгоритмических схем.
Автоматизированная система анализа биомедицинских микроизображений включает: блок ввода цифрового изображения, блок ввода параметров системы, блок выборки и хранения результирующих изображений; модуль морфологической фильтрации изображения, обеспечивающий возможность подавления объектов с наибольшими значениями яркости и заданной формы, сохраняющий оставшиеся границы искомых объектов неизменными; блок выделения локальных минимумов яркости изображения; блок определения расстояния от каждого пиксела изображения до ближайшего фонового пиксела; блок выделения локальных максимумов яркости изображения; логический элемент «ИЛИ»; блок фильтрации границ шумовых объектов; блок определения морфологического градиента изображения; блок формирования маски границ искомых объектов посредством сегментации; блок вычисления координат выделенных объектов с формированием списка координат пикселов обнаруженных объектов; блок вычисления оптических и геометрических характеристик обнаруженных объектов и базу данных (БД) координат, оптических и геометрических характеристик выявленных объектов.
Выход блока ввода параметров соединен с первым входом модуля морфологической фильтрации изображения; выход блока ввода цифрового изображения соединен со входами модуля морфологической фильтрации изображения и блока выборки и хранения, вход/выход которого посредством двухсторонней линии соединен с вход/выходом модуля морфологической фильтрации изображения, а его выход - со входом блока определения морфологического градиента изображения и первым входом блока вычисления оптических и геометрических характеристик.
Выход модуля морфологической фильтрации изображения соединен со входом блока выделения локальных минимумов, первый выход которого через последовательно соединенные блок определения расстояния от каждого пиксела изображения до ближайшего фонового пиксела и блок выделения локальных максимумов соединены с первым входом логического элемента «ИЛИ», а его второй выход соединен со вторым входом логического элемента «ИЛИ», выход которого соединен с первым входом блока фильтрации границ шумовых объектов, при этом выход блока определения морфологического градиента изображения соединен со вторым входом блока фильтрации границ шумовых объектов, выход которого соединен со входом блока формирования маски границ искомых объектов, выход которого соединен с блоком вычисления координат объектов, первый выход которого соединен с первым входом БД координат, оптических и геометрических характеристик выявленных объектов, а второй выход - со вторым входом блока вычисления оптических и геометрических характеристик искомых объектов, выход которого соединен со вторым входом упомянутой БД.
Система может характеризоваться тем, что модуль морфологической фильтрации изображения содержит первый, второй, третий блоки пространственной фильтрации изображений, обеспечивающие возможность подавления объектов с наибольшими значениями яркости и заданной формы, сохраняющей оставшиеся границы объектов неизменными; первый, второй, третий блоки инвертирования изображения, блок вычитания, блок корректировки яркости, блок выделения максимальной яркости изображения и блок сравнения. Объединенные между собой первые входы первого, второго, третьего блоков пространственной фильтрации изображений и блока корректировки яркости являются первым входом упомянутого модуля, а второй вход первого блока пространственной фильтрации изображений является вторым входом модуля морфологической фильтрации изображения. Выход первого блока пространственной фильтрации изображений через первый блок инвертирования изображения соединен со вторым входом второго блока, выход которого через второй блок инвертирования изображения соединен с первым входом блока вычитания, второй вход которого и объединенный с ним выход третьего блока пространственной фильтрации изображений являются входом/выходом упомянутого модуля. Выход блока вычитания соединен со вторым входом третьего блока пространственной фильтрации изображений, выход которого соединен с первым входом третьего блока инвертирования, выход которого соединен со вторым входом блока корректировки яркости, выход которого через блок выделения максимальной яркости изображения соединен с первым входом блока сравнения, первый выход «НЕТ» которого является выходом упомянутого модуля, второй выход блока соединен со вторым входом третьего блока инвертирования изображения, второй выход «ДА» которого связан с входом блока выделения максимальной яркости изображения.
Система может характеризоваться и тем, что блок пространственной фильтрации изображений включает: блок выделения минимальной яркости изображения с формированием изображения-маркера, первый и второй входы которого являются соответственно первым и вторым входами блока пространственной фильтрации изображений, блок выделения максимальной яркости изображения с формированием изображения-маркера и блок сравнения. Выход блока выделения минимальной яркости изображения соединен с входом блока выделения максимальной яркости изображения, выход которого соединен с первым входом блока сравнения, вход блока соединен со вторым входом блока сравнения, выход «ДА» которого связан со входом блока, а выход «НЕТ» которого является выходом блока пространственной фильтрации изображений.
Система может характеризоваться также тем, что блок определения морфологического градиента изображения содержит блок вычитания, блок выделения максимумов и блок выделения минимумов яркости элементов цифрового изображения во всех фрагментах изображения, входы которых, соединенные между собой, являются входом блока определения морфологического градиента изображения, а выходы блоков выделения максимумов и блока выделения минимумов яркости элементов цифрового изображения во всех фрагментах изображения - соединены, соответственно, с первым и вторым входами блока вычитания, выход которого является выходом блока определения морфологического градиента изображения.
Система может характеризоваться также и тем, что блок фильтрации границ шумовых объектов включает блок вычисления максимального значения яркости изображения, блок формирования изображения-маски, блок нормировки яркости каждого пиксела изображения, блок формирования изображения-маркера, блок выделения максимумов яркости элементов изображения, блок сравнения изображений. Первый вход блока формирования изображения-маски является первым входом блока фильтрации границ шумовых объектов, а его вторым входом - объединенные между собой входы блоков вычисления максимального значения яркости изображения и нормировки. Выход блока вычисления максимального значения яркости изображения соединен со вторым входом блока формирования изображения-маски, выход которого соединен с первым входом блока формирования изображения-маркера, выход блока нормировки соединен со вторым входом блока формирования изображения-маркера и первым входом блока сравнения. Выход блока формирования изображения-маркера и выход «ДА» блока сравнения соединены с входом блока выделения максимумов яркости элементов изображения, выход которого соединен со вторым входом блока сравнения изображений, выход «НЕТ» которого является выходом блока фильтрации границ шумовых объектов.
Патентуемая автоматизированная система анализа биомедицинских микроизображений отличается от прототипа структурой построения модуля морфологической фильтрации цифровых изображений. Модуль морфологической фильтрации изображения включает ряд блоков пространственной фильтрации изображений, обеспечивающих возможность подавлением объектов с наибольшими значениями яркости и заданной формы, сохраняющей оставшиеся границы объектов неизменными, а также блоки инвертирования изображения, вычитания, корректировки яркости, блок выделения максимальной яркости изображения и блок сравнения. Кроме того, патентуемая система по-иному реализует поиск областей, лежащих внутри искомых объектов и контуров областей, содержащих искомые объекты, с использованием блоков выделения локальных минимумов яркости изображения, определения расстояния от каждого пиксела изображения до ближайшего фонового пиксела, выделения локальных максимумов яркости изображения. Это дает возможность разделять объекты, похожие по форме, но имеющие различные распределения яркости.
Технический результат - повышение точности и достоверности выделения объектов по заданным критериям на изображениях, содержащих множество текстурных фрагментов и соприкасающихся нерегулярно распределенных мелких, размером 10-150 мкм, пространственных объектов. Дополнительный технический результат - снижение необходимых вычислительных мощностей. Патентуемая система является полностью автоматической, требует только настройки начальных параметров и позволяет находить на изображениях заданные объекты вне зависимости от наличия других объектов со сходными распределениями яркости.
Патентуемая автоматизированная система реализует сглаживание неоднородного сложного фона, способна выделять мелкие объекты на изображениях в зависимости от заданных размеров и значений яркости, устранять объекты, находящиеся не в фокусе, разделять близко находящиеся объекты, вычислять характеристики выделенных объектов. Точность выделения объектов с помощью патентуемой системы не хуже, чем точность при выделении объектов вручную, и намного превосходит точность выделения объектов с помощью классических методов, которые вообще пригодны для решения данной задачи. Система позволяет учесть информацию о форме искомых объектов при выполнении предварительной фильтрации.
Сущность изобретения поясняется на чертежах, где на:
фиг.1 представлена блок-схема информационной системы;
фиг.2 - модуль морфологической фильтрации;
фиг.3 - блок фильтрации, входящий в модуль морфологической фильтрации;
фиг.4 - блок вычисления морфологического градиента;
фиг.5 - блок фильтрации границ шумовых объектов;
фиг.6 - (а) пример исходного необработанного изображения; (б) выделение объектов экспертами; (в) выделение объектов с помощью патентуемой системы.
Система (фиг.1) включает блок 1 ввода изображения, блок 2 ввода параметров системы, блок 3 выборки и хранения результирующих изображений.
Модуль 4 морфологической фильтрации изображения обеспечивает возможность подавления объектов с наибольшими значениями яркости и заданной формы, сохраняющий оставшиеся границы искомых объектов неизменными. Его структурная схема показана на фиг.2, 3 и будет описана ниже.
Блок 5 обеспечивает возможность выделения локальных минимумов яркости изображения и связан с блоком 6 преобразования расстояния. Блок 6 предназначен для определения расстояния от каждого пиксела изображения до ближайшего фонового пиксела и осуществляет преобразование по известной методике, описанной в статье: Maurer, et al., "A Linear Time Algorithm for Computing Exact Euclidean Distance Transforms of Binary Images in Arbitrary, Dimensions," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.25, No.2, February 2003, pp.265-270.
Блок 7 обеспечивает возможность выделения локальных максимумов яркости изображения, выходы блоков 5 и 7 подключены ко входам блока 8 выполнения операции логического ИЛИ над двумя бинарными изображениями, сформированными в блоках 5 и 7.
Блок 9 предназначен для фильтрации границ шумовых объектов и имеет два входа, один из которых связан с блоком 8, а другой - с блоком 10 определения морфологического градиента изображения (см. фиг.4). Структурная схема блока 9 приведена на фиг.5.
Определение морфологического градиента изображения в блоке 10 проводится по известному алгоритму, описанному в статье: Luc Vincent et al., "Watersheds in digital spaces: an efficient algorithm based on immersion simulations". IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.13, No 6,1991, pp.583-598.
Блок 11 формирования маски границ искомых объектов, обеспечивающий возможность сегментации по т.н. «водоразделам», также реализует алгоритм, описанный в упомянутой статье Luc Vincent.
Блок 12 вычисления координат выделенных объектов формирует список координат пикселов обнаруженных объектов, в блоке 13 производится вычисление оптических и геометрических характеристик обнаруженных объектов.
Блок 14 БД образует базу данных, которая содержит данные по координатам, оптическим и геометрическим характеристикам выявленных объектов.
На фиг.2 показана структурная схема модуля 4 морфологической фильтрации изображения. Он состоит из трех одинаковых по назначению блоков 40, 42 и 45, выходы каждого из которых соединены с блоками 41, 43, 46 инвертирования изображения. Функциональное назначение блоков 40, 42, 45 - пространственная фильтрация изображений с подавлением объектов с наибольшими значениями яркости и заданной формы, сохраняющей оставшиеся границы объектов неизменными.
На вход задания параметров блока 40 фильтрации подается бинарная матрица объектов, единицы в которой соответствуют пикселам объектов. По форме маска I должна соответствовать форме объектов: размер маски выбран больше самого малого объекта и меньше самого большого.
На вход задания параметров блока 42 фильтрации также подается бинарная матрица объектов, единицы в которой соответствуют пикселам объектов. Размер маски II выбран большим, чем размер самого большого объекта.
На вход задания параметров блока 45 фильтрации также подается бинарная матрица объектов. Размер маски III соответствует размеру самого маленького объекта.
Блок 44 обеспечивает вычитание изображения, полученного с выхода блока 43 из входного изображения блока 3.
Блок 47 регулирования яркости каждого пиксела предназначен для учета константы фокусировки. Эта константа соответствует значению, находящемуся в диапазоне яркостей входного изображения, и соответствует минимальной контрастности объектов (т.е. характеризует разницу между максимальным и минимальным значениями яркости объекта).
Блок 48 предназначен для выделения максимумов яркости элементов цифрового изображения во всех фрагментах изображения, выделяемых положением единичной маски (матрицы, состоящей из единиц, размером 3×3), и путем последовательного перемещения ее по изображению.
Блок 49 предназначен для сравнения изображений. Если изображение-маркер меньше либо равно изображению-маске, то следует перейти по ветке «ДА» на вход блока 48. В ином случае - «НЕТ», изображение должно поступить на вход блока 5.
На фиг.3 показана структурная схема блока фильтрации, входящего в модуль морфологической фильтрации.
Блок 40 включает блок 401 определения минимальной яркости изображения с формированием изображения-маркера; блок 402 определения минимальной яркости изображения с формированием изображения-маркера и блок 403 сравнения, выход которого «НЕТ» является выходом блока 40.
Блок 10 (см. фиг.4) содержит два параллельно соединенных блока: блок 101 определения максимумов и блок 102 определения минимумов яркости элементов цифрового изображения во всех фрагментах изображения, выделяемых положением единичной маски (матрицы размером 3×3, состоящей из единиц), и путем последовательного перемещения ее по анализируемому изображению. Выходы блоков 101 и 102 подключены к блоку 103 вычитания изображений: из изображения, выделенного блоком 101, вычитается изображение, выделенное блоком 102, в результате чего на выходе блока 103 воспроизводится изображение модуля градиента значений яркости изображения.
Блок 9 фильтрации границ шумовых объектов (фиг.5) включает блок 90 вычисления максимального значения яркости изображения, который связан со входом блока 91. Блок 91 обеспечивает формирование изображения-маски путем прохода по входной бинарной маске и приписывания каждому пикселу изображения-маски значения (0 или 1) по следующему правилу: если значение пиксела бинарной маски равно нулю, то значение изображения-маски также равно нулю. Если же значение бинарной маски равно единице, то значение изображения-маски равно входной константе, увеличенной на единицу. В блоке 92 проводится нормировка яркости каждого пиксела изображения - к каждому пикселу добавляется константа.
Блок 93 предназначен для формирования изображения маркера путем нахождения попиксельного минимума двух изображений, сформированных блоками 91, 92. Полученный маркер подается на вход блока 94 выделения максимумов яркости элементов цифрового изображения во всех фрагментах изображения, выделяемых положением единичной маски (матрицы размером 3×3, состоящей из единиц), и путем последовательного перемещения ее по изображению. Далее в блоке 95 осуществляется сравнение изображений с выхода блока 93 по следующему условию: если изображение-маркер меньше либо равно изображению-маске с выхода блока 91, то «ДА» - сигнал передается на вход блока 94, если «НЕТ» - то на вход блока 11.
Патентуемая информационная система позволила, в частности, автоматизировать анализ изображений серийных срезов мозга экспериментальных животных, которые используются для построения и исследования дескриптивных преклинических моделей болезни Паркинсона (БП). Задача состоит в том, чтобы на цифровых микроизображениях срезов мозга найти объекты (терминали нейронов) и вычислить их морфометрические и денситометрические характеристики, по которым и строят упомянутые модели БП.
На фиг.6,а) представлен фрагмент исходного микроизображения терминалей среза головного мозга в области стриатума. Микроизображение представляет собой тоновое изображение с отдельными неявно выраженными темными областями на неоднородном фоне. Некоторые темные области могут представлять собой искомые терминали.
На фиг.6,б) показан увеличенный фрагмент изображения фиг.6,а), на котором представлен результат анализа, проведенный экспертами вручную. Каждый из объектов, который, по мнению эксперта, является находящейся в фокусе микроскопа терминалью, оконтурен кривой белого цвета. Координаты указанных контуров используются для последующего вычисления характеристик. Операция выделения контуров объектов вручную является исключительно трудоемкой и отчасти субъективной.
На фиг.6,в) показан увеличенный фрагмент изображения фиг.6,а), на котором представлен результат анализа, проведенный посредством патентуемой системы. Видно, что система выделяет те же объекты, причем контуры более точно соответствуют действительным границам терминалей, а время, необходимое для анализа, по сравнению с ручным выделением, сокращается примерно в 100 раз.
Таким образом, использование патентуемой системы позволяет существенно ускорить исследования БП за счет автоматизации наполнения моделей БП экспериментальными данными и автоматизации исследования моделей БП при помощи машинных экспериментов.