Вычислительное устройство для формирования трехмерной модели внутренних органов по данным магнитно-резонансного и компьютерного томографа

Полезная модель относится к средствам обработки изображений, полученных магнитно-резонансным томографом, и может быть использована для визуализации трехмерной картины диагностируемой или подготавливаемой к операции  области внутрибрюшного пространства с целью формирования виртуальной трехмерной модели органов и тканей. Полезная модель ориентирована в первую очередь на задачи урологии при диагностике и планировании операций на почках.
Полезная модель может быть реализована в виде портативного автомного устройства, подключаемого и управляемого мобильными серийно выпускаемыми средствами – смартфонами, планшетными компьютерами для обеспечения удобства визаулизации данных и обеспечения повышения точности (за счет формирования трехмерной модели, базирующийся на данных магнитно-резонансной или компьютерной томографии) диагностики паталогических образований и здоровых тканей.
Известен способ для генерации двумерных и трехмерных карт на основе данных магнитно-резонансного томографа Method of generating 2D or 3D maps of MRI T1 and T2 relaxation times (заявка США № 20120223710, 6.09.2012 г.), основанный на извлечении данных о каждом пикселе или вокселе путем анализа значений T1.sub, T2.sub. Недостаток устройства, которое может быть реализовано на базе представленного метода заключается в низкой точности трехмерной реконструкции внутренних органов, обусловленной отсутствием этапов обработки , направленных на декомпозицию всего изображения на отдельные объекты (органы, ткани), их границ, а также средств или действий, направленных на послойное построение трехмерной модели, как наиболее точное предстваление трехмерной модели.
Известно устройство и способ Automatic 3d segmentation and cortical surfaces reconstruction from t1 mri, заявка США № 20160292847, 6.10.2016 г.), обеспечивающее автоматизированную обработку изображений мозга содержащее коммуникационную шину, центральный блок обработки, постоянное запоминающее устройство, оперативную память, коммуникационный интерфейс.
Недостатками устройства являются малое быстродействие и недостаточная точность создания трехмерной модели, обусловленные обеспечением толькой функций сегментации и реконструкции только кортикальных поверхностей по данным МРТ, а также отсутствие операций и модулей для сопоставления данных на разных оптических срезах.
Известно устройство для формирования трехмерного ультразвукового изображения (пат. № 2436514 РФ, МПК G06T15/08, 20.12.2011 г.), содержащее преобразователь, передатчик, приемник, формирователь пучка приема, блок управления сбором данных изображения, компаратор, память для хранения ультразвуковых данных, дисплей, устройство пользовательского ввода.
Недостатками этого устройства являются низкая точность формирования трехмерной модели при использовании данных магнитно-резонансной томографии вследствие ориентации устройства на обработку данных, полученных ультразвуковыми приборами.
Известно устройство автоматического 3D моделирования (пат. №US8289317 США, МПК G06T17/00, 16.10.2012г.), содержащее блок формирования модели, блоки определения и анализа поверхностей изображений, блоки совмещения проанализированных изображений, блок формирования трехмерной модели, блок определения цвета, блок определения и хранения трехмерных векторов.
Недостатком этого устройства является ориентация назначения устройства на общие вопросы восстановления трехмерной картины объекта или поверхности посредством анализа щишь внешних данных и невозможность обраотки данных , полученных магнитно-резонансным или компьютерным томографом.
Наиболее близким к предлагаемой полезной модели является устройство, представленное в пат. США 9530206 «Automatic 3D segmentation and cortical surfaces reconstruction from T1 MRI», 27 декабря 2016г, ориентированное на анализ МРТ данных головного мозга и выделение кортикальных структур.
Недостатками этого устройства являются, низкая точность построения трехмерной модели внутрибрюшного пространства в условиях множества внутренних объектов (органов, различных тканей), а также невозможность передачи данных о вычисленных трехмерных обьектов для визуализации врачу.
Технической задачей полезной модели является повышение точности формирования и визуализации трехмерной модели внутреннего анализируемого пространства (внутрибрюшной полости) при обеспечении достаточной для практического использования скорости отображения данных в целях планирования хирургических операций и  диагностики, а также обеспечение удобства визуализации в трехмерной форме полученных посредством обработки МРТ данных о трехмерной картине внутренних органов.
Задача решается тем, что в известное устройство, введены входной модуль, модуль-преобразователь, буфферное запоминающее устройство (ЗУ), модуль предобработки, контроллер арбитр, оперативное запоминающее устройство (ОЗУ), системная шина, контроллер, коммуникатор, причем первый вход входного модуля является входом устройства и предназначен для ввода данных, полученных МРТ томографом, второй вход входного модуля соединен с вторым выходом контроллера арбитра, вход-выход входного модуля подключен к входу-выходу модуля преобразователя, выход которого подключен к входу буфферного ЗУ, вход модуля преобразователя подзключен к первому выходу контроллера арбитра, вход-выход буфферного ЗУ подключен к входу-выходу модуля предобработки, вход модуля предобработки соединен с третьим выходом контроллера-арбитра, выход модуля предобработки подключен к входу системной шины, первый вход-выход системной шины соединен с входом-выходом контроллера-арбитра, второй вход-выход системной шины (СШ) соединен с входом-выходом ОЗУ, третий вход-выход соединен с входом выходом контроллера , четвертый вход-выход системной шины соединен с первым входом выходом коммуникатора, второй вход-выход которого является входом выходом полезной модели и предназначен для коммутации с внешним устройствами.
Сущность полезной модели поясняется чертежом, где на фиг. 1 показана структурная схема полезной модели.
Устройство содержит входной модуль 1, модуль-преобразователь 2, буфферное запоминающее устройство (буфферное ЗУ) 3, модуль предобработки 4, контроллер арбитр 5, оперативное запоминающее устройство (ОЗУ) 7, системная шина 6, контроллер 8, коммуникатор 9, причем первый вход входного модуля 1 является входом устройства и предназначен для ввода данных, полученных МРТ томографом, второй вход входного модуля 1 соединен с вторым выходом контроллера арбитра 5, вход-выход входного модуля 1 подключен к входу-выходу модуля преобразователя 2, выход которого подключен к входу буфферного ЗУ 3, вход модуля преобразователя 2 подключен к первому выходу контроллера арбитра 5, вход-выход буфферного ЗУ 3 подключен к входу-выходу модуля предобработки 4, вход модуля преобработки 4 соединен с третьим выходом контроллера-арбитра 5, выход модуля предобработки 4 подключен к входу системной шины 6, первый вход-выход системной шины 6 соединен с входом-выходом контроллера-арбитра 5, второй вход-выход системной шины 6 соединен с входом-выходом ОЗУ 7, третий вход-выход СШ 6соединен с входом выходом контроллера 8, четвертый вход-выход системной шины 6 соединен с первым входом выходом коммуникатора 9, второй вход-выход которого является входом выходом полезной модели и предназначен для коммутации с внешним устройствами.
Входной модуль предназначен для ввода данных по USB входу, хранящихся на внешнем диске или флэш-накопителе, подключенном к первому входу входного модуля 1. Входными данными для устройства является последовательность оптических срезов (кадров изображений) количеством от единиц до сотен, содержащих распределение яркости пикселей в кажой точки в плоскости текущего кадра, отражающего оптический сред внутрибрюшного пространства, полученного магнитным или (и) компьютерным томографом. Анализ данной последовательности позволяет построить посредством применения данного устройства трехмерной картины внутрибрюшной полости последовательным анализом каждого оптического среза и последующим построением трехмерной модели, представляющей собой совокупности областей пространства, объединенных едиными трехмерными объектами (кости, сосуды, ткани, органы и т.д.). Отметит, что заявляемое устройство не предназначено для распознвания органов и тканей, но может быть использовано для этого. Устройство в первую очередь ориентировано на синтез трехмерной модели, однако при соответствующем вводе априорных эталонных данных в контроллер 8 может быть использовано и для распознавания паталогических образований и здоровых тканей.
Модуль-преобразователь 2 обеспечивает покадровое преобразование данных, представленных в формате DICOM в формат изображения фиксированной размерности, содержащее только цифровые отсчеты пикселей, распределенных по полю изображения
Буфферное ЗУ 3 предназначено для хранения нескольких текущих вводимых кадров изображений в процессе их обработки модулем предобработки 4.
Контроллер арбитр 5 обеспечивает синхронизацию и передачу команд для синхронизированной работы входного модуля, модуля-преобразователя, модуля предобработки, а также приема-передачи сигналов для получени команд управления от контроллера 8.
Модуль предобработки 4 предназначен для покадровой обркаботки оптических срезов, временно хранящихся в буфферном ЗУ 3 и последующей записи полученных и обработанных данных в ОЗУ 7 и обеспечивает выделение ключевых особенностей анализируемых границ объектов и яркостно-контрастной локальной характертистики объектов.
Контроллер 8 предназначен для выполнения задач вычисления параметров объектов на каждом оптическом срезе и их последующее приведение в форму единой трехмерной виртуальной сцены в виде набора связных векторов, описывающих объекты и набора полигонов для передачи данных вычисленных значений координат векторов и характеристик поверхностей полигонов (направление вектора нормали, яркость, цвет) через коммуникатор 9 во внешне устройство для отображения трехмерной картины и ее наблюдения на экране дисплея внешнего устройства.
Коммуникатор 9 предназначен для передачи команд управления и обмена данными с внешним устройством,таким как планшетный компьютер, смартфон, иное устройство, подключаемое по протоколу USB.
Устройство работает следующим образом.
От внешнего устройства через второй вход-выход коммуникатора 9 поступает команда на считывание данных через первый вход входного модуля 1. Данная команда через первый вход-выход коммуникатора 9 и далее через четвертый вход-выход системной шины 6 поступает:
а) через третий вход-выход системной шины 6 в контроллер 8,
б) через первый вход-выход системной шины 6 в контроллер арбитр 5.
ПО данной команде контроллер 8 ожидает получения данных от входного модуля 1. Контроллер арбитр в это время по данной команде через свой второй выход подает сигнал на второй вход входного модуя 1 , разрешающий считывание данных с внешнего устройства, подключенного к первому входу входного модуля 1. Входной модуль получив данный сигнал начинает по протоколу передачи данных USB получать последовательно кадр за кадром входную последовательность МРТ и передавать каждый очередной кадр со своего входа-выхода на вход-выход модуля преобразователя 2.
Контроллер арбитр со своего первого выхода передает сигнал на вход модуля преобразователя 2, разрешающий получение и преобразование данных модулем преобразователем 2 со своего входа-выхода. Модуль-преобразователь 2 обеспечивает преобразование формата данных из DICOM формата в формат, представляющий собой кадр двумерного изображения, содержащий значения отсчетов яркости каждого пикселя данного кадра (данного оптического среза) и передает данных кадр через свой выход на вход буферного ЗУ 3. Одновременно с этим , по завершении преобразования очередного кадра модуль-преобразователь 2 через свой вход-выход передает обратно во входной модуль 1 на его вход-выход сообщение о готовности получить новый кадр для обработки , по приходу этого сообщения входной модуль 1 со своего первого входа получает очередной кадр и передает его описанным выше образом в модуль-преобразователь 2 , который в свою очедь начинает преобразование очередного кадра и запись его в буфферное ЗУ 3.
Контроллер арбитр подает управляющий со своего третьего выхода в модуль предобратки 4, разрешающий считывание записанного ранее модулем преобразователм 2 в буфферное ЗУ 3 очердного кадра. Модуль преобработки 4 пиксель за пикселем считывает через свой вход-выход с входа выхода буфферного ЗУ 3 данные о распределении яркости оптического среза и выполняет операции:
- выделения контуров на основе дифференциального опретора с последущем формированием замкнутого векторного представления контура объекта, как совокупности связных между собой координат границ объекта на текущем анализируемом срезе;
- вычисление распределения спектра яркости в локальных анализируемых областях в виде гистограммы и обобщенной характеристики распределения яркости.
Выполнение данных операций заключается в анализе скользящим окном групп пикселей размерностью от 3 х 3 до 7 х 7, поступающих с входа выхода буфферного ЗУ 3 на вход-выход модуля предобработки 4. В процессе выполнения указанных операций по вычислению границ контуров объектов и формированию обобщенных яркостно-контрастных характеристик модуль предобработки 4 передает вычисленные значения через свой выход на вход системной шины 6 и далее через второй вход-выход системной шины 6 и вход-выход ОЗУ 7 записывает данные вычисленные значения для каждого кадра оптического среза в ОЗУ 7. По завершении обработки очередного кадра модуль предобработки 4 через свой выход и далее через вход системной шины 6 передает уведомляющий сигнал через третий вход-выход системной шины 6 и вход-выход контроллера 8 о готовности начать обработки очередного кадра. Контроллер 8 в случае получения данного уведомляющего сигнала передает через свой вход-выход на третий вход-выход системной шины 6 и далее через первый вход-выход системной шины 6 на вход-выход контроллера арбитра 5 уведомляющий сигнал на продолжение считывания данных входным модулем 1. Рассмотренный выше процесс получения и последовательной конвейерного преобразования и обработки входных данных МРТ последовательности продолжается до тех пор, пока входной модуль 1 не обнаружит очередной кадр, что свидетельствует о завершения чтения данных со своего первого входа. Далее входной модуль 1 через свой вход-выход на вход-выход модуля преобразователя 2 подает сигнал о завершении поступления данных. Модуль-преобразователь 2 получив данный сигнал записывает со своего выхода на вход буфферного ЗУ заранее определенную комбинацию байт, определяющих завершение поступления данных, которую через вход-вызод буфферного ЗУ 3 и вход-выход модуля предобработки 4 считывает модуль предобработки 4 и завершает обработки последнего поуступившего кадра оптического среза, а также передает через свой выход на вход системной шины 6 сигнал , уведомляющий о завершении обработки двумерных данных и возможности построения трехмерной модели конктроллером 8. Таким образом, к данному моменту в ОЗУ 7 хранятся вычисленные характеристики объектов каждого двумерного оптического снимка (не исходный целый и значительный по объему кадр, а именно набор указанных выше характеристик, что обеспечивает экономию памяти в ОЗУ 7) для все последовательности данных МРТ.
Контроллер 9 получив через свой первый вход-выход ранее переданный от модуля предобработки 4 сигнал о завершении анализа двумерных данных приступает к синтезу трехмерной сцены посредством анализа, хранящихся в ОЗУ 7 данных о двумерных оптических срезах, полученных МРТ. Обработка заключается в следующем. Контроллер 8 через свой вход-выход, третий вход-выход системной шины 6 , второй вход-выход системной шины 6 и вход-выход ОЗУ 7 считывает ранее записанные параметры двумерных объектов по каждому оптическому срезу из ОЗУ 7. Для каждого замкнутого объекта на двумерном изображении (объект описывается векторным представлением контура и яркостно-контрастными характеристиками, ранее вычисленными рассмотренным выше образом модулем предобработки 4), контроллер 8 на смежном кадре ищет объект, имеющий близкие по координатам точек контура объект аналогичной формы и в случае успеха фомирует вектор связей между двумя смежными кадрами, определяющих принадлежность контуров объекта на двух смежных кадрах единому трехмерному объекту (например, сосуду). Данный анализ для каждого объекта происходит до тех пор, пока или на очередном кадре не контроллером 8 не будет найден объект, удовлетворяющий мере близости контура, либо все двумерные кадры будут обработаны. Вычисленные для каждого трехмерного объекта взаимосвязи границ контуров этого объекта на двумерных кадрах контроллер 8 через свой вход-выход на третий вход-выход системной шины 6 и далее через второй вход-выход системной шины 6 и далее через вход-выход ОЗУ 7 записывает в ОЗУ 7. В результате, по завершении обработки всех двумерных кадров контроллером 8 в ОЗУ 7 хранятся описания сформированных контроллером 8 трехмерных объектов внутрибрюшного пространства, представляющие собой набор взаимосвязных векторов (координат векторов) в трехмерном пространстве и соответствующих данному объекту цвето-контрастных характеристики, ранее вычисленных модулем предобработки 4.
Таким образом, ОЗУ 7 содержит описание трехмерной рабочей сцены внутрибрюшного пространства, которое далее в виде векторов, описывающих объект и цвето-контрастных локальных характеристик объекта передаются для отображения в вышестоящее устройство. Для этого Контроллер 8 передает через свой вход-выход на третий вход-выход системной шины 6 управляющий сигнал через четвертый вход-выход системной шины 6 и первый вход-выход коммуникатора 9, по которому коммуникатор 9 через свой первый вход выход,через четвертый вход-выход системной шины 6, через второй вход выход системной шины 2, вход выход ОЗУ 7 последовательно считывает количество выделенных объектов трехмерный сцены внутрибрюшного пространства, а также их вычисленные параметры (контурные векторные описания и цвето-контрастные характеристики) и передает их через свой второй вход-выход во внешнее устройство, которое и обеспечивает отображение вычисленных предложенным устройством данных о внутрибрюшном пространстве.
Входной модуль 1 и коммуникатор 9 могут быть построены на базе USB контроллеров Texas Instruments с использованием микросхем TUSB20136 и должны обеспечивать коммуникацию по протоколу USB c внешними устройствами: входной модуль 1 – коммуникацию с источником данных с последовательностью изображений формата Dicom, полученных с магнитно резонансного или компьютерного томографа, записанных на флэш-накопитель или внешний жесткий диск, а коммуникатор 9 – коммуникацию с внешним устройством также по протоколу USB для передачи вычисленных данных о трехмерным пространстве внутрибрюшной полости.
Модуль-преобразователь 2 может быть построен на базе вычислительно простой однокристальной микроэвм или микроконтроллера, реализующего заданный алгоритм обработки файлов dicom согласно официального стандарта, представленного в  http://dicom.nema.org/medical/dicom/current/output/pdf/part05.pdf.
Буфферное ЗУ 3 может быть реализовано на базе микросхем статической памяти SRAM , обеспечивающей хранений не менее трех кадров изобьражения, например, на базе микросхем Integrated Device Technology 71V416S15PHG.
Модуль предобработки 4 целесообразно реализовать на базе быстродействуюшего микроконтроллера, например на базе AM3894 фирмы Sitara или DM3730 фирмы DaVinchi. На базе таких же микросхем может быть реализован и контроллер 8.
ОЗУ 7 может быть реализовано или как динамическое ОЗУ на базе любых микросхем , широко представленных у ряда различных производителей.
Также отметим, что все модули устройства, за исключением ОЗУ 7 и контроллера 8 могут быть построены на базе программируемой логической схемы большой емкости, что обеспечит высокий уровень минитюаризации устройства.
Полезная модель позволяет повысить точность формирования трехмерной модели внутрибрюшного пространства, декомпозированного на отдельные органы и ткани за счет использования операций контурного векторного описания двумерных объектов и последующего синтеза на их основе трехмерных объемных объектов в с учетом вычисленных координат границ контуров объектов и их локальных цветоконтрастных характеристик. Полезная модель может быть использована для подготовки и визуализации трехмерных данных для диагностики и планирования операций.