УСТРОЙСТВО ДЛЯ ПОСТРОЕНИЯ ТРЕХМЕРНОЙ МОДЕЛИ КОСТИ ПО РЕНТГЕНОСКОПИЧЕСКИМ ИЗОБРАЖЕНИЯМ

Полезная модель может быть использована для восстановления (визуализации) трехмерной модели кости по ее рентгеноскопическим изображениям.
Известно устройство для фотореалистичного трехмерного моделирования лица на основе изображения (пат. №2358319 РФ, МПК G06T 1/00, 10.06.2009 г.), содержащее блок обнаружения особенностей лица, блок подгонки модели лица, блок генерации текстур, блок отображения.
Недостатками этого устройства являются недостаточная точность создания трехмерной модели, узкая специализация устройства, необходимость подготовки исходных изображений, применимость только для восстановления трехмерной модели лица.
Известно устройство обеспечения моделирования трехмерных объектов (пат. №2464640 РФ, МПК G06T 17/00, 20.10.2012 г.), содержащее коммуникационную шину, центральный блок обработки, постоянное запоминающее устройство, оперативную память, коммуникационный интерфейс.
Недостатками этого устройства являются малое быстродействие и недостаточная точность создания трехмерной модели, а также отсутствие возможности решения частных задач при анализе трехмерной картины костей.
Известно устройство для формирования трехмерного ультразвукового изображения (пат. №2436514 РФ, МПК G06T 15/08, 20.12.2011 г.), содержащее преобразователь, передатчик, приемник, формирователь пучка приема, блок управления сбором данных изображения, компаратор, память для хранения ультразвуковых данных, дисплей, устройство пользовательского ввода.
Недостатками этого устройства являются малое быстродействие, недостаточная точность формирования трехмерной модели при использовании зашумленных, искаженных изображений.
Известно устройство автоматического 3D моделирования (пат. № US 8289317 США, МПК G06T 17/00, 16.10.2012 г.), содержащее блок формирования модели, блоки определения и анализа поверхностей изображений, блоки совмещения проанализированных изображений, блок формирования трехмерной модели, блок определения цвета, блок определения и хранения трехмерных векторов.
Недостатком этого устройства является ориентация назначения устройства на общие вопросы восстановления трехмерной картины объекта или поверхности при известных калиброванных параметров получения исходных изображений и невозможность его применения для задачи анализа внутренних костей для задач медицинской диагностики. Также недостатком является отсутствие возможности формирования трехмерной модели объекта при зашумленных данных, характерных для медицинских изображений.
Известно устройство для точной трехмерной реконструкции объекта с помощью анализа светового потока (пат. № US 8773514 США, МПК G06T 17/00, 8.07.2014 г.), содержащее проектор, оптическую камеру, процессор, запоминающее устройство, коммуникационный контроллер, блок управления камерой и проектором.
Недостатком этого устройства является использование светового потока, как вспомогательного элемента для реконструкции трехмерной модели, что неприменимо для анализа внутренних костей человека.
Наиболее близким к предлагаемой полезной модели является устройство для трехмерной реконструкции тела и контуров тела (пат. №2479038 РФ, МПК G06T 11/00, 10.04.2013 г.), содержащее центральный процессор, блок обработки изображений, оперативное запоминающее устройство (ОЗУ), контроллер ввода изображений, устройство отображения, коммуникационный контроллер, детектор.
Недостатками этого устройства являются недостаточная точность построения трехмерной модели при использовании зашумленных изображений, характерных для медицинских задач, возможность построения трехмерной модели тела человека только для внешних (не внутренних) частей тела.
Технической задачей полезной модели является повышение точности формирования трехмерной модели отдельных костей человека, а также обеспечение возможности построения модели по зашумленным рентгеноскопическим изображениям.
Задача решается тем, что в известное устройство, содержащее оперативное запоминающее устройство (ОЗУ), коммуникационный контроллер, введены буфер на k-строк, модуль фильтрации, модуль нахождения кандидатов в опорные точки, модуль исключения ложных совпадений, модуль восстановления трехмерной картины, системная шина (СШ), блок выпрямления изображений, модуль построения карты диспаратности, модуль восстановления пространственных координат, модуль исключения ложных цепочек, модуль наложения текстур, причем, вход контроллера ввода изображений предназначен для подачи исходных двумерных изображений, выход контроллера ввода изображений подключен к входу буфера на k-строк, выход буфера на k-строк подключен к входу модуля фильтрации, выход модуля фильтрации подключен к входу ОЗУ, выход модуля нахождения кандидатов в опорные точки подключен к входу модуля исключения ложных совпадений, вход модуля нахождения кандидатов в опорные точки подключен к первому выходу СШ, выход модуля исключения ложных совпадений подключен к входу СШ, первый вход-выход быстродействующего ОЗУ подключен ко второму входу-выходу коммуникационного контроллера, второй вход-выход быстродействующего ОЗУ подключен к третьему входу-выходу СШ, первый вход-выход коммуникационного контроллера предназначен для передачи выходных данных и команд управления, вход-выход модуля восстановления трехмерной картины подключен к шестому входу-выходу СШ, вход-выход блока выпрямления изображений подключен к первому входу-выходу СШ, вход-выход модуля построения карты диспаратности подключен ко второму входу-выходу СШ, вход-выход блока восстановления пространственных координат подключен к четвертому входу-выходу СШ, вход-выход модуля исключения ложных цепочек подключен к четвертому входу-выходу СШ, вход-выход модуля наложения текстур подключен к седьмому входу-выходу СШ.
Сущность полезной модели поясняется чертежом, где на фиг. 1 показана структурная схема устройства, на фиг. 2 - процесс вычисления трехмерных координат точек кости, на фиг. 3 - результат построения и визуализации трехмерной модели кости.
Устройство содержит (фиг. 1) контроллер ввода изображений 1, буфер на k-строк 2, модуль фильтрации 3, модуль нахождения кандидатов в опорные точки 4, модуль исключения ложных совпадений 5, ОЗУ 6, коммуникационный контроллер 7, модуль восстановления трехмерной картины 8, СШ 9, блок выпрямления изображений 10, модуль построения карты диспаратности 11, модуль восстановления пространственных координат 12, модуль исключения ложных цепочек 13, модуль наложения текстур 14, причем, на вход контроллера ввода изображений 1 подаются рассматриваемые изображения, выход контроллера ввода изображений 1 подключен к входу буфера на k-строк 2, выход буфера на k-строк 2 подключен к входу модуля фильтрации 3, выход модуля фильтрации 3 подключен к входу ОЗУ 6, выход модуля нахождения кандидатов в опорные точки 4 подключен к входу модуля исключения ложных совпадений 5, вход модуля нахождения кандидатов в опорные точки 4 подключен к выходу СШ 9, выход модуля исключения ложных совпадений 5 подключен к входу СШ 9, первый вход-выход быстродействующего ОЗУ 6 подключен ко второму входу-выходу коммуникационного контроллера 7, второй вход-выход быстродействующего ОЗУ 6 подключен к третьему входу-выходу СШ 9, первый вход-выход коммуникационного контроллера 7 предназначен для передачи выходных данных и команд управления, вход-выход модуля восстановления трехмерной картины 8 подключен к шестому входу-выходу СШ 9, вход-выход блока выпрямления изображений 10 подключен к первому входу-выходу СШ 9, вход-выход модуля построения карты диспаратности 11 подключен ко второму входу-выходу СШ 9, вход-выход блока восстановления пространственных координат 12 подключен к четвертому входу-выходу СШ 9, вход-выход модуля исключения ложных цепочек 13 подключен к пятому входу-выходу СШ 9, вход-выход модуля наложения текстур 14 подключен к седьмому входу-выходу СШ 9.
Контроллер ввода изображений 1 предназначен для управления операцией ввода изображений, буфер на k-строк 2 служит для передачи адаптированного к яркости рабочей сцены изображения в модуль фильтрации, модуль фильтрации 3 предназначен для фильтрации шума и устранения систематических искажений на изображении, модуль нахождения кандидатов в опорные точки 4 сравнивает окрестности угловых точек, получает множество пар кандидатов на идентичные точки, модуль исключения ложных совпадений 5 исключает ложные совпадения среди найденных кандидатов в опорные точки, используя эпиполярные ограничения и алгоритм RANSAC, быстродействующее ОЗУ 6 (под быстродействующим в рамках данной заявки на полезную модель понимается работа ОЗУ на частоте работы других элементов устройства) предназначено для сохранения изображений и параметров, коммуникационный контроллер 7 служит для ввода выполняемой задачи и передачи выходных полученных данных о трехмерной модели кости, модуль восстановления трехмерной картины 8 выполняет построение точечной картины и триангулярной модели, СШ 9 предназначена для связи модулей устройства, блок выпрямления изображений 10 предназначен для нахождения пары проективных преобразований и применения их к изображениям, модуль построения карты диспаратности 11 для каждой точки одного изображения ставит в соответствие точку на другом изображении (в рамках данной заявки под двумя разными изображениями (одно и другое) понимаются изображения, полученные с различных точек наблюдения (съемки) рентгенограммы одной и той же кости), модуль восстановления пространственных координат 12 выполняет восстановление пространственных координат точек по их двумерным координатам, модуль исключения ложных цепочек 13 выполняет отсеивание некорректных по взаимному расположению цепочек из сопряженных точек, модуль наложения текстур 14 предназначен для выбора текстур из окрестности найденных сопряженных точек и наложения на трехмерную триунгаляционную модель.
Устройство работает следующим образом.
От внешнего устройства через коммуникационный контроллер 7 вводится задание для выполнения (указываются координаты анализируемой области рентгенограмм). С помощью контроллера ввода изображений 1 последовательно вводятся рентгеноскопические изображения, на основе которых будет производиться восстановление трехмерной модели. Для этого на вход контроллера ввода изображений 1 последовательно поступают два изображения, каждое из которых является ренгенограммой кости, при этом точки съемки кости взаимно отличаются для первого и второго изображения. Различие в точках съемки может быть получено за счет изменения ориентации и положения исследуемой конечности пациента относительно рентгеноскопического аппарата. С выхода контроллера ввода изображений изображение последовательно пиксель за пикселем передает на вход буфера k-строк 2, который обеспечивает хранение к текущих строк изображения. С выхода буфера на k-строк часть текущего изображение поступает на хвод модуля фильтрации 3, в котором осуществляется фильтрация шума и устранение систематических искажений на изображениях.
Модуль фильтрации 3 обеспечивает снижение погрешностей при работе с изображениями (модуль фильтрации 3 может быть реализован по схеме, предложенной в [пат. 2295153]. Подготовленные изображения с устраненными искажениями передаются из модуля фильтрации 3 через его выход на вход быстродействующего ОЗУ 6, которое обеспечивает хранение полных текущих кадров изображений.
Таким образом, на данном этапе функционирования устройства в ОЗУ 6 записаны два кадра исправленных от погрешностей изображений кости с двух разных проекций наблюдения.
Записанные в ОЗУ 6 изображения через второй вход-выход ОЗУ 6, третий вход-выход СШ 9, выход СШ 9 и далее на вход модуль нахождения кандидатов в опорные точки 4 считываются модулем нахождения кандидатов в опорные точки 4, который для каждого изображения выполняет сравнение окрестности точек с целью получения множества пар кандидатов. Найденные кандидаты в опорные точки передаются в модуль исключения ложных совпадений 5 через выход модуля нахождения кандидатов в опорные точки 4 на вход модуля исключения ложных совпадений 5, который, используя эпиполярные ограничения и алгоритмы RANSAC, выполняет поиск и исключение ложных совпадений. С выхода модуля исключения ложных совпадений 5 параметры опорных точек через вход системной шины 9, третий вход выход системной шины и далее через второй вход-выход ОЗУ 6 записываются в ОЗУ 6.
Из ОЗУ 6 через его второй вход-выход и далее через третий вход-выход СШ 9, далее через первый вход-выход системной шины 9 на вход модуля выпрямления изображений 10 поступают найденные и хранящиеся в ОЗУ 6 сопряженные точки. Модуль выпрямления изображений 10, используя параметры сопряженных точек, выполняет поиск пары проективных преобразований, удовлетворяющих взаимному расположению изображений кости. Далее модуль построения карты диспарантности 11 (под диспарантностью понимают различие двумерных координат одной и той же реальной точки объекта изображения на двух различных двумерных изображениях, полученных с различных точек наблюдения) получает через свой вход-выход, второй вход-выход системной шины 9, первый вход-выход системной шины 9 и вход выход модуля выпрямления изображений 10 найденный точки, для каждой точки одного изображения ставит в соответствии точку на другом изображении, вычисляет разность в двумерных координатах точек, и, таким образом, выполняет построение карты диспаратности.
Далее модуль восстановления пространственных координат 12 считывает через свой вход-выход, четвертый вход-выход СШ 9, второй вход-выход СШ 9 и вход-выход модуля построения карты диспарантности 11 из модуля построения карты диспарантности 11 найденные пары точек и величину их диспарантности (различия координат) и выполняет восстановление пространственных координат точек по координатам их изображений при известных параметрых фотоприемных матриц и оптических систем рентгеноскопических аппаратов. Точность определения пространственных координат точек повышается за счет использования большого количества сопряженных точек, что позволяет уточнить координаты точек кости при априори неизвестных параметрах взаимного расположения точек съемки двух упомянутых выше обрабатываемых изображений. В результате работы модуля восстановления пространственных координат 12 получают цепочки (совокупности) из сопряженных точек, связанных через общие изображения и карту диспарантности. Полученные совокупности сопряженных точек через вход-выход модуля восстановления пространственных координат 12, четвертый вход-выход системной шины 9, второй вход-выход ОЗУ 6 записываются в ОЗУ 6.
Модуль исключения ложных цепочек 13 считывает из ОЗУ 6 через свой вход-выход, пятый вход-выход СШ 9, третий вход-выход СШ 9 и второй вход-выход ОЗУ 6 сопряженные точки и выполняет фильтрацию части цепочек с учетом того, что большое расхождение пространственных координат, полученных по разным парам, свидетельствует о некорректном соответствующем значении диспаратности.
Далее модуль наложения текстур 14 выполняет привязку областей изображения кости к ранее вычисленным координатам сопряженных точек, в результате чего формируется трехмерная модель кости, на триангуляционную модель которой наложено изображение поверхности кости. Для этого из ОЗУ 6 через второй вход-выход ОЗУ 6, третий вход-выход СШ 9, седьмой вход-выход СШ 9 и вход-выход модуля наложения текстур 14 считывается текстура (участок изображения) из окрестности сопряженной точки на изображении. После этого модуль наложения текстур 14 на основе алгоритма триангуляции Делоне производит совмещение (наложение) считанной области изображения с ранее найденными трехмерными координатами точек поверхности голени и записывает параметры совмещенных текстур и координат точек в ОЗУ 6 через свой вход-выход, седьмой вход-выход системной шины 9, третий вход-выход системной шины 9, второй вход-выход ОЗУ 6. Модуль восстановления трехмерной модели 8 выполняет окончательную проверку корректности расположения найденных точек на поверхности голени с учетом их двумерных координат на отдельных исходных изображениях. Для этого модуль восстановления трехмерной модели 8 считывает через свой вход-выход, шестой вход-выход системной шины 9, третий вход-выход СШ 9, второй вход-выход ОЗУ 6 параметры (трехмерные и двумерные) координат точек и координат текстур и осуществляет проверку корректности их расположения посредством проверки допустимости расстояний между точками.
Таким образом, в ОЗУ 6 записана полученная трехмерная модель анализируемой кости, которую передает в вышестоящее устройство коммуникационный контроллер 7. Для этого он считывает данные из ОЗУ 6 через первый вход-выход ОЗУ 6 и свой второй вход-выход и формирует на своем первом входе-выходе последовательность данных, описывающих трехмерные координаты взаимосвязанных точек трехмерной поверхности анализируемой кости.
Все рассмотренные модули устройства содержит вычислительные средства, реализованные в программируемой логической интегральной схеме. Устройство может быть выполнено на ПЛИС Virtex 6 фирмы Xilinx, в связке с ОЗУ, выполненным в виде готового модуля SO-DIMM. В качестве коммуникационного контроллера можно использовать Gigabit Ethernet или PCI-Express, реализованные аппаратно в ПЛИС предложенного семейства.
Полезная модель позволяет повысить точность формирования трехмерной модели отдельных костей человека за счет использования плотных карт диспаратности, дополнительных проверок, исключения ложных решений, а также обеспечивает возможность построения модели по зашумленным рентгеноскопическим изображениям благодаря предварительной фильтрации входных изображений.