ВЫБОР ПАРАМЕТРА ПОЛУЧЕНИЯ ИЗОБРАЖЕНИЙ ДЛЯ СИСТЕМЫ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ
SELECTION OF IMAGE OBTAINING PARAMETER FOR IMAGE GENERATION SYSTEM

ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к системе и способу выбора параметра получения изображений для системы формирования изображений. Изобретение также относится к рабочей станции и системе формирования изображений, содержащей данную систему, и компьютерочитаемому носителю информации, содержащему инструкции, вызывающие выполнение процессорной системой способов.
УРОВЕНЬ ТЕХНИКИ
Выбор надлежащих параметров получения изображений техническим специалистом или другим пользователем является типичной проблемой в медицинской визуализации. Такие параметры получения изображений могут по меньшей мере частично определять конфигурацию формирования изображений системы формирования изображений и, как правило, зависят от конкретного пациента. Например, зачастую техническому специалисту сложно сконфигурировать коллимацию в системе формирования рентгеновских изображений, чтобы гарантировать, с одной стороны, достаточное покрытие целевой анатомической области для обеспечения диагностической ценности получаемого изображения, например, за счет избежания необходимости пересъемок, и при этом, с другой стороны, сводя к минимуму чрезмерную коллимацию для обеспечения безопасности пациента, например, за счет исключения излишнего воздействия ионизирующим излучением.
В число других параметров системы формирования рентгеновских изображений, выбор которых зависит от конкретного пациента, входят без ограничений параметры, определяющие напряжение трубки (часто измеряемое в кВ) и ток трубки (в мА) рентгеновской трубки. Как правило, при выборе параметров получения изображений технический специалист руководствуется медицинскими методическими рекомендациями. Однако на практике успешный выбор параметров получения изображений может зависеть, по меньшей мере частично, от опыта и знаний оператора и может включать в себя пробы и ошибки. Недостатком является то, что такие пробы и ошибки могут приводить к повышенному воздействию излучением, например, при формировании рентгеновских изображений, а также к увеличению времени исследования, недостаточному качеству изображения и т. д.
Следует отметить, что вышесказанное справедливо и в отношении других методов формирования изображений, в том числе без ограничений к магнитно-резонансной томографии и ультразвуковому исследованию, с соответствующими поправками.
В WO2016001135 описан способ, включающий конфигурирование системы формирования рентгеновских изображений. Способ включает этапы получения одного или более глубинных изображений с одной или более глубинных камер, причем эти одна или более глубинных камер охватывают по меньшей мере область, покрываемую пучком рентгеновского излучения источника рентгеновского излучения данной системы формирования рентгеновских изображений. В примере, относящемся к получению рентгеновского изображения коленного сустава, сказано, что с помощью глубинного изображения распознают и определяют местоположение коленного сустава на глубинном изображении, например, используя программное обеспечение распознавания изображений, которое доступно на рынке для обработки глубинных изображений. Система также находит требуемое положение коленного сустава относительно глубинного изображения. Утверждается, что разница между фактическим положением и требуемым положением в таком случае определяет поправку для конфигурации системы формирования рентгеновских изображений. При известной геометрической связи между глубинными камерами и положением источника рентгеновского излучения, например, на основе калибровки или методов машинного обучения, таких как адаптивная фильтрация, поправку можно преобразовать в фактическую конфигурацию положения рентгеновской системы.
Таким образом, в WO2016001135 обнаруживают объект на глубинном изображении и отдельно от этого получают геометрическую связь между глубинными камерами и положением частей источника рентгеновского излучения. Затем оба результата объединяют для конфигурирования положения рентгеновской системы с целью получения требуемого положения объекта на глубинном изображении.
Недостатком является то, что не все уместные ориентиры могут быть легко обнаружены на глубинных изображениях. Кроме того, при определении конфигурации положения с использованием лишь обнаруженных ориентиров другая потенциально полезная информация на глубинном изображении не используется.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Было бы полезно получить систему и способ выбора параметра получения изображений для системы формирования изображений, которые решают одну или более из вышеупомянутых проблем, например, опираясь не только исключительно на обнаружение ориентиров.
В соответствии с первым аспектом изобретения предложена система для выбора параметра получения изображений для системы формирования изображений, в которой параметр получения изображений по меньшей мере частично задает конфигурацию формирования изображений системы формирования изображений во время процедуры формирования изображений с пациентом, содержащая:
- интерфейс данных камеры, выполненный с возможностью доступа к связанной с глубиной карте, формируемой на основе данных датчиков системы камер, при этом система камер имеет поле обзора, которое включает в себя по меньшей мере часть поля обзора системы формирования изображений, причем данные датчиков получают до процедуры формирования изображений пациента и эти данные указывают расстояние от наружных частей пациента до системы камер;
- память, содержащую данные инструкций, представляющие набор инструкций;
- процессор, выполненный с возможностью обмена данными с интерфейсом данных камеры и памятью и с возможностью исполнения набора инструкций, который при его исполнении процессором вызывает применение процессором алгоритма машинного обучения к связанной с глубиной карте для идентифицирования параметра получения изображений, при этом:
- алгоритм машинного обучения представлен данными алгоритма, которые хранятся в памяти и доступны для процессора, и
- алгоритм машинного обучения тренируют с использованием тренировочных данных, содержащих наборы из i) примера связанной с глубиной карты и ii) используемого в качестве прогностического значения примера параметра получения изображений, где пример параметра получения изображений представляет собой выбор, сделанный человеком-оператором в предыдущей процедуре формирования изображений с предыдущим пациентом, а пример связанной с глубиной карты формируют на основе данных датчиков, полученных с помощью той же самой или аналогичного типа системы камер во время предыдущей процедуры формирования изображений; и
- интерфейс вывода, выполненный с возможностью вывода параметра получения изображений для использования системой формирования изображений.
Согласно другому аспекту настоящего изобретения предложена рабочая станция или система формирования изображений, содержащая данную систему.
В соответствии с еще одним аспектом изобретения предложен реализуемый на компьютере способ выбора параметра получения изображений для системы формирования изображений, в котором параметр получения изображений по меньшей мере частично задает конфигурацию формирования изображений системы формирования изображений во время процедуры формирования изображений с пациентом, причем способ включает:
- получение доступа к связанной с глубиной карте, формируемой на основе данных датчиков системы камер, при этом система камер имеет поле обзора, которое включает в себя по меньшей мере часть поля обзора системы формирования изображений, причем данные датчиков получают до процедуры формирования изображений пациента, и эти данные указывают расстояние от различных наружных частей пациента до системы камер;
- применение алгоритма машинного обучения к связанной с глубиной карте для идентифицирования параметра получения изображений, причем:
- алгоритм машинного обучения представлен данными алгоритма, которые хранятся в памяти и доступны для процессора, и
- алгоритм машинного обучения тренируют с использованием тренировочных данных, содержащих наборы из i) примера связанной с глубиной карты и ii) используемого в качестве прогностического значения примера получения изображений, где пример параметра получения изображений представляет собой выбор, сделанный человеком-оператором для использования в предыдущей процедуре формирования изображений с предыдущим пациентом, а связанную с глубиной карту формируют на основе данных датчиков, полученных предыдущей системой камер во время предыдущей процедуры формирования изображений; и
- вывод параметра получения изображений для использования системой формирования изображений.
Согласно другому аспекту настоящего изобретения предложен компьютерочитаемый носитель информации, содержащий кратковременные или некратковременные данные, представляющие инструкции, выполненные с возможностью вызывать реализацию процессорной системой указанного способа.
Вышеупомянутые меры включают в себя получение связанной с глубиной карты наружной части пациента перед процедурой формирования изображений, например в виде глубинного или диспаратного изображения. Таким образом, связанная с глубиной карта может обеспечивать информацию о физических атрибутах наружной части пациента. Связанная с глубиной карта может быть получена, когда пациент находится в положении для процедуры формирования изображений, например, в положении лежа или стоя в пределах поля обзора системы формирования изображений. Связанная с глубиной карта необязательно должна включать в себя всю наружную часть пациента, она может относиться лишь к части наружной части пациента. Измеряемая глубина может локально изменяться. В качестве простого примера шея пациента будет, как правило, расположена глубже относительно лица и, следовательно, более удалена от камеры. Аналогичным образом у пациента с избыточной массой тела талия может выдаваться наружу и, следовательно, находиться ближе к камере. Вышеупомянутые меры также включают в себя процессор, выполненный с возможностью конфигурирования его посредством набора инструкций для применения алгоритма машинного обучения к связанной с глубиной карте, который ранее был натренирован на примерах связанных с глубиной карт предыдущих пациентов и выбранных человеком параметрах для предыдущих пациентов. Необходимо отметить, что слово «предыдущий» означает «прошлый», поэтому не ограничивается «непосредственно предыдущим».
Авторы изобретения установили, что глубинные изображения и другие связанные с глубиной карты могут обеспечивать различную информацию о наружной части пациента, которая имеет важное значение при определении параметров получения изображений. Такую информацию не используют, когда связанную с глубиной карту применяют исключительно для обнаружения ориентиров. Например, на глубинном изображении могут быть видны различные атрибуты пациента или по меньшей мере может быть получена информация, указывающая в том числе без ограничений на массу (вес) тела, тип тела, пол, уровень физической формы пациента. Эти атрибуты пациента могут влиять на параметр получения изображений для использования в процедуре формирования изображений. Однако разработка эвристики очень трудна, поскольку связи могут быть сложными и, в частности, нелинейными.
Используя машинное обучение для связанной с глубиной карты, которое было натренировано на предыдущих пациентах и выбранных вручную параметрах, можно учитывать всю или по меньшей мере доступную информацию связанной с глубиной карты. Благодаря тренировке алгоритма машинного обучения система в состоянии автоматически моделировать связь между глубиной и параметром получения изображений. Поэтому нет необходимости полагаться исключительно на обнаружение ориентиров (которые не всегда могут быть использованы, например, если ориентир не виден). Действительно, найденные ориентиры могут рассматриваться как искусственное промежуточное представление, которое включает в себя назначение координат обнаруженным объектам и последующее использование только этих координат. Предлагаемая система выполнена с возможностью применения машинного обучения ко всей связанной с глубиной карте, что приводит к более «целостному» подходу, который не требует такого искусственного промежуточного представления.
В частном случае система включает в себя интерфейс данных, выполненный с возможностью получения доступа к не являющимся изображением данным пациента, а тренировочные данные дополнительно включают в себя, для данного набора тренировочных данных, пример не являющихся изображением данных, которые относятся к тому же или подобному типу, что и не являющиеся изображением данные пациента; и при этом набор инструкций при его исполнении процессором вызывает использование процессором не являющихся изображением данных пациента в качестве дополнительных входных данных для алгоритма машинного обучения. Не являющиеся изображением данные могут представлять собой информацию, дополняющую связанные с глубиной данные.  Например, известно, что размер легкого коррелирован с весом, возрастом и полом пациента, и на него могут влиять определенные болезни вроде ХОБЛ (хроническая обструктивная болезнь легких). Благодаря дополнительному учету таких не являющихся изображением данных система способна лучше моделировать связь между пациентом и параметром получения изображения для использования в процедуре формирования изображений.
В частном случае интерфейс данных пациента выполнен с возможностью получения доступа к не являющимся изображением данным из электронной медицинской карты пациента.
В частном случае не являющиеся изображением данные пациента включают в себя по меньшей мере одно из:
- веса пациента;
- возраста пациента;
- пола пациента;
- количественной оценки уровня физической формы пациента;
- диагноза заболевания, связанного с пациентом;
- медицинской записи, связанной с пациентом; и
- записи жизненно важного параметра, связанного с пациентом.
В частном случае тренировочные данные дополнительно включают в себя, для данного набора тренировочных данных, пример геометрических данных, которые указывают на предыдущее относительное геометрическое расположение между системой камер и системой формирования изображений во время предыдущей процедуры формирования изображений, и набор инструкций, который при его исполнении процессором вызывает использование процессором текущего относительного геометрического расположения между системой камер и системой формирования изображений в процедуре формирования изображений в качестве дополнительных входных данных для алгоритма машинного обучения. Таким образом, алгоритм машинного обучения различает разные относительные геометрические расположения между системой камер и системой формирования изображений во время тренировки, равно как и при последующем использовании. В настоящем документе «относительное геометрическое расположение» может относиться к геометрической взаимосвязи между полем обзора системы камер и полем обзора системы формирования изображений. Различия в относительном геометрическом расположении могут существовать из-за различий в монтаже системы камер (например, на систему формирования изображений или автономно) или различий в поле обзора системы камер и/или самой системы формирования изображений. Таким образом можно предотвратить использование тренировочных данных, которые получены в контексте конкретного относительного геометрического расположения, во время процедур формирования изображений, где система камер и система формирования изображений имеют другое относительное геометрическое расположение. Необходимо отметить, что в альтернативном варианте реализации можно обеспечить, чтобы система камер и система формирования изображений имели одно и то же или похожее относительное геометрическое расположение и последующее использование алгоритма машинного обучения.
В частном случае пример связанной с глубиной карты конкретного набора тренировочных данных формируют на основе предыдущего относительного геометрического расположения системы камер и системы формирования изображений, а набор инструкций при его исполнении процессором вызывает выполнение процессором следующих действий:
- определение отклонения между предыдущим относительным геометрическим расположением и текущим относительным геометрическим расположением между системой камер и системой формирования изображений в процедуре формирования изображений;
- если отклонение существует или превышает порог, обработка связанной с глубиной карты с целью компенсации отклонения до применения алгоритма машинного обучения.
Благодаря обработке связанной с глубиной карты описанным образом можно обеспечивать стандартизованные входные данные для алгоритма машинного обучения. Например, отклонение может приводить к изменению поля обзора системы камер. Для компенсации таких различий в поле обзора можно использовать методы обработки из областей техники, относящихся к коррекции изображений. Известны также и могут быть эффективно использованы различные другие методы. В этом отношении следует отметить, что связанную с глубиной карту можно рассматривать как изображение и, следовательно, обрабатывать с помощью таких методов обработки изображений.
В частном случае интерфейс данных камеры дополнительно выполнен с возможностью получения доступа к данным изображений, полученным с помощью системы камер, где данные изображения показывают наружную часть пациента, и где:
- тренировочные данные дополнительно включают в себя, для данного множества тренировочных данных, данные, полученные с помощью предыдущей системы камер, которые показывают наружную часть предыдущего пациента во время предыдущей процедуры формирования изображений; и
- набор инструкций, при его исполнении процессором, вызывает использование процессором этих данных изображения в качестве дополнительных входных данных для алгоритма машинного обучения.
В дополнение к связанной с глубиной карте в качестве входа может быть использовано также изображение наружной части пациента. Изображение может быть «нормальным» изображением в видимом свете, которое получают с помощью камеры, имеющий RGB-датчик для излучения в видимой части спектра.  Поле обзора, обеспечиваемое изображением, может быть тем же самым или по меньшей мере перекрывающимся с полем обзора, обеспечиваемым связанной с глубиной картой. Благодаря дополнительному учету таких данных изображения система способна лучше моделировать связь между пациентом и параметром получения изображения для использования в процедуре формирования изображений.
В частном случае система включает в себя систему камер, которая содержит по меньшей мере одно из времяпролетной камеры, камеры обнаружения и дальнометрирования с помощью света (LiDAR), камеры лазерного обнаружения и дальнометрирования (LaDAR), стереокамеры или двух камер, расположенных в виде стереокамеры; и проектора, выполненного с возможностью проецирования известного образца на наружную часть пациента с получением тем самым деформированного образца, и камеры, выполненной с возможностью записи деформированного образца.
В частном случае система формирования изображений представляет собой систему магнитно-резонансной томографии, а параметр получения изображения представляет собой одно из:
- параметра, определяющего позиционирование пациента относительно системы магнитно-резонансной томографии, такого как опорная точка для области, которая будет перемещаться через магнитный изоцентр системы магнитно-резонансной томографии;
- геометрического параметра получения изображения, такого как центр, ориентация и/или размер срезов получения изображений, подлежащих получению;
- параметра выбора для предварительно установленного протокола;
- коэффициента SENSE и
- направления SENSE.
SENSE: Sensitivity Encoding for Fast MRI
В настоящем документе термин «SENSE» относится к кодированию чувствительности, которое описано в статье «», by Klaas P. Pruessmann et al., Magnetic Resonance in Medicine 42:952-962 (1999). Коэффициент SENSE представляет собой коэффициент субдискретизации. Направление SENSE представляет собой направление кодирования чувствительности.
В частном случае система формирования изображений представляет собой систему формирования рентгеновских изображений, а параметр получения изображения представляет собой одно из:
- напряжения трубки;
- тока трубки;
- сетки;
- коллимационного окна;
- геометрического параметра коллиматора, такого как высота детектора, наклон трубки, вращение коллиматора.
В частном случае система формирования изображений представляет собой систему формирования изображений компьютерной томографии, а параметр получения изображения представляет собой одно из:
- уровня питания;
- тока трубки;
- модуляции дозы;
- параметра планирования сканирования, такого как начальная и конечная позиция стола для локализатора;
- параметра реконструкции, такого как тип фильтра для использования.
В частном случае алгоритм машинного обучения представляет собой сверточную нейронную сеть. В альтернативном варианте реализации алгоритм машинного обучения может представлять собой машины опорных векторов, деревья принятия решений, методы ближайшего соседа или ансамблевые способы, например, объединенные с детекторами признаков и/или дескрипторами признаков, известными в области обнаружения признаков, такими как, без ограничений, SURF, SIFT, BRIEF, BRISK, или методами вроде собственных изображений.
Специалистам в данной области техники понятно, что два или более вариантов осуществления, реализаций и/или необязательных аспектов настоящего изобретения могут быть скомбинированы любым образом, который полагается полезным.
Модификации и изменения рабочей станции, системы формирования изображений компьютеризованного способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям или вариантам системы, могут быть выполнены специалистом в данной области техники на основе настоящего описания.
Специалисту в данной области техники понятно, что настоящие система и реализуемый на компьютере способ могут быть применены к данным многомерного изображения, например, к двумерным (2D), трехмерным (3D) или четырехмерным (4D) изображениям, полученным различными методами получения изображений, такими как, без ограничений, формирование стандартных рентгеновских изображений, компьютерная томография (КТ), магнитно-резонансная томография (МРТ), ультразвуковое исследование (УЗИ), позитронно-эмиссионная томография (ПЭТ), однофотонная эмиссионная компьютерная томография (ОФЭКТ) и ядерная медицина (ЯМ).
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты изобретения будут очевидны и дополнительно освещены со ссылкой на варианты реализации, описанные на примерах в последующем описании и со ссылкой на прилагаемые чертежи, где:
на ФИГ. 1 схематически показана система, которая выполнена с возможностью выбора одного или более параметров получения изображений для системы формирования изображений;
на ФИГ. 2 и 3 показаны карты глубины, полученные для различных пациентов;
на ФИГ. 4 схематически показана сверточная нейронная сеть, которую используют в алгоритме машинного обучения в соответствии с вариантом реализации изобретения;
на ФИГ. 5 схематически показан вариант реализации системы, которая выполнена с возможность выбора одного или более параметров получения изображений для системы формирования изображений;
на ФИГ. 6 показана блок-схема способа выбора параметра получения изображений для системы формирования изображений в соответствии с вариантом реализации; и
на ФИГ. 7 показан компьютерочитаемый носитель информации, содержащий инструкции, выполнение которых процессорной системой приводит к осуществлению ею способа.
Следует отметить, что фигуры исключительно схематические и представлены не в масштабе. На фигурах элементы, которые соответствуют уже описанным элементам, могут иметь те же самые ссылочные обозначения. Примеры, варианты реализации или дополнительные признаки, указаны ли они как неограничивающие, или нет, не следует понимать как ограничивающие изобретение, описанное в формуле изобретения.
СПИСОК ССЫЛОЧНЫХ ОБОЗНАЧЕНИЙ
Следующий список ссылочных обозначений представлен для облегчения интерпретации чертежей и не должен рассматриваться, как ограничивающий формулу изобретения.
10 — пациент
11 — опора
12 — комната
15 — система формирования изображений
16 — поле обзора системы формирования изображений
18 — система камер
19 — поле обзора системы камеры
58 — первая камера
59 — вторая камера
60 — интерфейс информации о пациенте
62 — база данных информации о пациенте
100 — система для выбора параметра получения изображений
102 — карта глубин первого пациента
103 — карта глубин второго пациента
120 — интерфейс данных камеры
122 — данные камеры или глубины
140 — память
142 — внутренний обмен данными
160 — процессор
162 — выход, представляющий параметр получения изображений
170 — интерфейс вывода
200 — сверточная нейронная сеть
201 — первый слой
202 — второй слой
203 — третий слой
204 — четвертый слой
205 — пятый слой
206 — шестой слой
207 — выходной нейрон
400 — способ выбора параметра получения изображений для системы формирования изображений
410 — получение доступа к связанной с глубиной карте
420 — применение алгоритма машинного обучения
430 — вывод параметра получения изображений
500 — компьютерочитаемый носитель информации
510 — некратковременные данные, представляющие инструкции
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
На ФИГ. 1 схематически показана система 100, которая выполнена с возможностью выбора параметра получения изображений для системы формирования изображений, где параметр получения изображений по меньшей мере частично задает конфигурацию формирования изображений системы формирования изображений во время процедуры формирования изображений с пациентом. На ФИГ. 1 схематически показан пациент 10, лежащий на опоре 11 в комнате 12. Над опорой 11 расположена система 15 формирования рентгеновских изображений, причем система 15 формирования рентгеновских изображений имеет поле 16 обзора, которое также называют областью 16 активации. Над опорой 11 расположена система 18 камер таким образом, чтобы можно было создавать изображения пациента 10.
Необходимо отметить, что система 15 формирования рентгеновских изображений необязательно должна располагаться над пациентом. Например, в флюороскопической системе с локальным управлением рентгеновская трубка может быть расположена под опорой, а формирователь изображений/приемник — над пациентом. В других вариантах реализации система 15 формирования рентгеновских изображений может быть расположена спереди или сзади пациента.
Камера 18 имеет поле 19 обзора, которое по меньшей мере частично перекрывается с полем 16 обзора системы 15 формирования рентгеновских изображений. В примере, приведенном на ФИГ. 1, система 18 камер находится на удалении от системы 15 формирования рентгеновских изображений. В альтернативном варианте реализации система 18 камер может быть прикреплена к системе 15 формирования рентгеновских изображений, например к C-дуге системы формирования рентгеновских изображений.
Система 100 включает в себя интерфейс 120 данных камеры, выполненный с возможностью получения доступа к связанной с глубиной карте на основе данных датчиков, полученных из системы 18 камер. Данные датчиков получают до процедуры формирования изображений с пациентом 10, и они указывают расстояние от частей наружности пациента до системы 18 камер. Система 18 камер может непосредственно предоставлять связанную с глубиной карту в систему 100. В альтернативном варианте реализации система 18 камер может предоставлять данные датчиков в систему 100, причем данные датчиков указывают, но не напрямую представляют, связанную с глубиной карту. Не имеющим ограничительного характера примером таких данных датчиков являются данные стереоизображений. В этом и подобных случаях связанная с глубиной карта может быть оценена на основе данных датчиков с помощью известных методов, например, на основе оценки поля глубины и/или диспаратности. Связанная с глубиной карта может быть оценена самой системой 100, например, с помощью процессора оценки глубины (не показан на ФИГ. 1), или самим интерфейсом 120 данных камеры, или с помощью внешнего объекта. Как объяснено далее, связанная с глубиной карта может быть картой глубин, но также и картой диспаратности или связанной с глубиной картой другого типа.
В варианте реализации система 18 камер может быть отдельной от системы 100. Однако система 100 может также содержать систему 18 камер.
В целом система 18 камер может включать в себя по меньшей мере одно из времяпролетной камеры, стереокамеры, двух камер, расположенных в виде стереокамеры; и проектор, выполненный с возможностью проецирования известного образца на наружную часть пациента с получением тем самым деформированного образца, и камеры, выполненной с возможностью записи деформированного образца.
Интерфейс 120 данных камеры может принимать различные формы, такие как сетевой интерфейс с локальной вычислительной сетью, но также может быть видеоинтерфейсом, например, HDMI и т. д.
Система 100 также содержит процессор 160, выполненный с возможностью внутреннего обмена данными с интерфейсом 120 данных камеры посредством средств 122 передачи данных, а также память 140, выполненную с возможностью доступа к ней процессором 160 посредством средств 142 передачи данных.
Память 140 может содержать данные инструкций, представляющие набор инструкций, которые конфигурируют процессор 160, во время работы системы 100, для обмена данными с интерфейсом 120 данных камеры и памятью 140 и для применения алгоритма машинного обучения к связанной с глубиной карте с целью идентифицирования параметра получения изображений.
Алгоритм машинного обучения может быть представлен данными алгоритма, которые хранятся в памяти 140 и доступны для процессора 160. Кроме того, алгоритм машинного обучения может быть натренирован во время фазы тренировки с использованием тренировочных данных, содержащих наборы из i) примера связанной с глубиной карты и ii) используемого в качестве прогностического значения примера параметра получения изображений, где пример параметра получения изображений представляет собой выбор, сделанный человеком-оператором в предыдущей процедуре формирования изображений с предыдущим пациентом, а пример связанной с глубиной карты формируют на основе данных датчиков, полученных с помощью той же самой или аналогичного типа системы 18 камер во время предыдущей процедуры формирования изображений.
На ФИГ. 1 также показана система 100, содержащая интерфейс 170 вывода. В примере на ФИГ. 1 интерфейс 170 вывода выполнен с возможностью отправки за пределы системы выходных данных, представляющих параметр 162 получения изображений. Например, интерфейс 170 вывода может быть выполнен с возможностью предоставления выходных данных 162 в систему формирования изображений для использования в процедуре формирования изображений, например, на рабочую станцию, которая является ее частью, и которая управляет системой 15 формирования рентгеновских изображений. В альтернативном варианте реализации система 100 может быть частью системы формирования изображений, такой как система 15 формирования рентгеновских изображений; в таком случае интерфейс 170 вывода может быть внутренним интерфейсом вывода.
Система 100 может быть реализована в виде, или в составе, устройства или аппарата, такого как сервер, рабочая станция, система формирования изображений или мобильное устройство. Устройство или аппарат может содержать один или более микропроцессоров или компьютерных процессоров, которые исполняют соответствующее программное обеспечение. Процессор системы может быть реализован одним или более из этих процессоров. Программное обеспечение может быть загружено и/или храниться в соответствующей памяти, например, в энергозависимом запоминающем устройстве, таком как оперативное запоминающее устройство (ОЗУ), или в энергонезависимом запоминающем устройстве, таком как флэш-память. Программное обеспечение может содержать инструкции, конфигурирующие один или более процессоров для выполнения функций, описанных со ссылкой на процессор системы. В альтернативном варианте функциональные блоки системы, например, интерфейс данных камеры, необязательный интерфейс данных пациента и процессор, могут быть реализованы в устройстве или аппарате в виде логики, выполненной с возможностью программирования, например, программируемой пользователем вентильной матрицы, ППВМ (FPGA). Интерфейс данных камеры и интерфейс данных пациента могут быть реализованы с помощью соответствующих интерфейсов устройства или аппарата.  Вообще, каждый функциональный блок системы может быть реализован в виде схемы. Следует отметить, что система 100 также может быть реализована в распределенном виде, например, включающем в себя различные устройства или аппараты. Например, распределение может быть в соответствии с моделью клиент-сервер, скажем, с использованием сервера и рабочей станции PACS для тонкой клиентской сети.
В публикации WO 2014033614 A1, которая включена в настоящий документ путем ссылки, описано использование пространственной информации о глубине в устройстве для автоматического или полуавтоматического управления коллиматором и формирователем рентгеновских изображений с целью коллимации пучка рентгеновского излучения формирователя изображений, а также корректировки и выравнивания формирователя рентгеновских изображений относительно объекта. Операция коллимации и выравнивания основана на данных 3D-изображения объекта, изображение которого нужно сформировать. Данные 3D-изображения получают с помощью датчика. Данные 3D-изображения описывают форму в 3D-пространстве объекта, а из нее получают ориентиры для определения коллимационного окна для области, представляющей интерес. Поэтому в WO 2014033614 A1 для нахождения надлежащего параметра получения изображений, являющегося коллимационным окно, необходимы ориентиры. Алгоритмы машинного обучения, способные определять параметр (-ы) получения изображения эмпирическим образом, как описано в настоящей заявке, не используются. Однако это получение данных 3D-изображения включено в настоящий документ путем ссылки как представляющее возможные варианты реализации получения связанной с глубиной карты.
На ФИГ. 2 и 3 показаны глубинные изображения различных пациентов (которые могут также упоминаться повсюду в настоящем описании как «карты глубин»). На ФИГ. 2 показано глубинное изображение 102 «нормального» пациента, тогда как на ФИГ. 3 показано глубинное изображение 103 пациента с избыточным весом. На ФИГ. 2 и 3 глубина указана с помощью шкалы серого цвета, причем черный цвет указывать большее расстояние от камеры, а белый цвет указывает расположение ближе к камере. Как показано на ФИГ. 3, живот пациента с избыточным весом выдается наружу, что можно увидеть за счет более яркого живота на глубинном изображении 103. Такие атрибуты пациента, например, физическое состояние или форма пациента, не будут учтены только при поиске ориентиров на глубинных изображениях, но они используются системой в соответствии с изобретением, как будет объяснено более подробно далее.
На ФИГ. 4 схематически изображена сверточная нейронная сеть (СНС) 200, которая может быть использована для прогнозирования параметров получения изображений. В отличие от обычных нейронных сетей (которые состоят из последовательности полносвязных слоев искусственных нейронов), СНС состоит из набора различных слоев, которые локально соединены, и набора слоев, которые являются полносвязными. В варианте реализации, показанном на ФИГ. 4, первый набор слоев включает в себя сверточный слой 201, субдискретизирующий слой 202, еще один сверточный слой 203 и еще один субдискретизирующий слой 204. Сверточные слои 201, 203 состоят из набора выполненных с возможностью обучения фильтров (которые пространственно ограничены и совместно используются в пределах слоя), тогда как субдискретизирующие слои 202, 204 выполняют нелинейную субдискретизацию (и сокращают количество свободных параметров). Еще один субдискретизирующий слой 204 соединен с первым полносвязным слоем 205, который соединен со вторым полносвязным слоем 206. Выходной нейрон 207 полностью соединен со вторым полносвязным слоем 206. Значение выходного нейрона, также называемое прогностическим значением, может указывать параметр получения изображений для системы формирования изображений.
Принимая во внимание архитектуру СНС на ФИГ. 4, использующую сверточный и субдискретизирующие слои, а также полносвязные слои, первую часть (слои 201–204) можно рассматривать как по существу выполнение этапа выделения признака изображения, тогда как последнюю часть (слои 205, 206, 207) можно рассматривать как по существу выполнение задачи классификации или регрессии.
Чтобы включить дальнейшую уместную информацию о пациенте, не являющиеся изображением данные могут быть непосредственно вставлены в первый полносвязный слой, см. слой 205. Необходимо отметить, что количество слоев и типы слоев в СНС 200 могут меняться в зависимости от алгоритма обучения. Необходимо отметить, что на ФИГ. 4 последние слои СНС 200 показаны полносвязными. Однако следует отметить, что слои 205, 206 в альтернативном варианте реализации могут быть частично связными в зависимости от конкретного используемого алгоритма обучения.
Необходимо отметить, что выходных нейронов может быть больше одного.  Например, СНС 200 может быть натренирована для одновременного прогнозирования более одного параметра получения изображений.  Кроме того, параметр получения изображений может быть закодирован в сети, например, в качестве категорийного параметра, и в таком случае для кодирования одного значения параметра получения изображений могут потребоваться несколько выходных нейронов. Например, значение параметра получения изображений может быть закодированным в двоичном коде.
You Only Look Once: Unified, Real-Time Object Detection
Хотя обычные СНС использовали главным образом для классификации изображений или для обнаружения объектов (например, путем оценки СНС в различных позициях на изображении), СНС 200 может быть использована в качестве алгоритма регрессии подобно алгоритму YOLO, который описан в статье «» by J. Redmon et al., 2015. Алгоритм YOLO разрабатывался для прогнозирования ограничительных рамок и вероятностей классов (например, x, y, ширина, высота, вероятность) для представляющего интерес объекта на RGB-изображении.
В варианте реализации такой алгоритм регрессии может быть использован для прогнозирования параметра (-ов) получения изображений для системы формирования изображений. Одной из областей применения может быть, например, прогнозирование настроек коллимационного окна для текущего пациента. Результатом могут быть, например, настройки x, y, ширины и высоты коллимационного окна. В целом базовый метод, описанный в публикации YOLO, может быть расширен для обеспечения заявленного прогнозирования «произвольных» параметров получения изображений, а также объединен с входом данных, не являющихся изображением.
В примере на ФИГ. 4 тренировочный образец подают в СНС 200, причем этот образец содержит связанную с глубиной карту вместе с (необязательно) не являющимися изображением данными. Не являющиеся изображением данные могут включать в себя рост пациента, возраст пациента, вес пациента или другие не являющиеся изображением данные, возможно полезные для тренировки СНС, которая будет дополнительно обсуждена в настоящем описании со ссылкой на ФИГ. 5. Как можно увидеть на ФИГ. 4, не являющиеся изображением данные могут быть использованы в качестве входных данных для последних (например, полносвязных) слоев в сети.
В варианте реализации связанная с глубиной карта может быть создана камерой RGB-D. С помощью СНС 200, показанной на ФИГ. 4, или аналогичного алгоритма машинного обучения система 100, показанная на ФИГ. 1, может быть выполнена с возможностью извлечения из изображения RGB-D информации, которая выходит за рамки ориентиров. Например, изображение RGB-D может обеспечивать информацию о разнице в высоте живота пациента, которая может указывать на общую физическую форму пациента и, следовательно, уместна для настроек коллимации, настроек времени экспозиции, настроек напряжения трубки, настроек размера фокусного пятна и выбора рентгеночувствительной области и т. д.
В еще одном варианте реализации изображения RGB-D или, вообще, связанные с глубиной карты, могут быть использованы в качестве тренировочных данных для алгоритма обучения наряду с соответствующими аннотированными рентгеновскими изображениями. С помощью аннотированных рентгеновских изображений система 100 может быть натренирована на прогнозирование размера и положения представляющей интерес анатомической области, такой как, например, легкое пациента. Возможны различные сценарии. Например, можно прогнозировать положение легкого на изображении RGB-D (которое затем может быть отображено в системные настройки, дающие относительное геометрическое расположение между системой камер и рентгеновским устройством). В альтернативном варианте реализации можно прогнозировать положение легкого в системе координат детектора, например, положение относительно системы 18 камер или системы 15 формирования изображений. После того, как положение легкого пациента спрогнозировано, можно определить надлежащие настройки коллимации для системы формирования рентгеновских изображений, чтобы обеспечить возможность оптимального формирования изображения легкого или, вообще, анатомической области, представляющей интерес.
Необходимо отметить, что система 18 камер может обеспечивать изображения или видео, например, поток видеоизображений. Видео может быть потоком непрерывного видео или потоком интервального видео. Алгоритм машинного обучения может использовать отдельные кадры видео в качестве входа. В альтернативном варианте реализации в качества входа в алгоритм могут быть использованы множественные кадры.
В еще одном варианте реализации система камер содержит две камеры, например, как показано на ФИГ. 5, и в таком случае комната 12, показанная на ФИГ. 1, содержит первую камеру 58 и вторую камеру 59. ФИГ. 5 также напоминает ФИГ. 1 за исключением интерфейса 60 данных пациента и внешней базы 62 данных информации о пациентах, которые будут обсуждены далее.
Первая камера 58 и вторая камера 59 могут быть стереокамерами, выполненными с возможностью обеспечения стереосодержимого. В этом случае информация о глубине может быть обеспечена разницами между левым и правым сигналами изображения стереосодержимого. После этого связанная с глубиной карта может быть оценена на основе такого стереосодержимого с использованием известных методов, называемых «оценкой глубины».
В альтернативном варианте реализации первая камера 58 может быть времяпролетной (ВП) камерой, а вторая камера 59 может быть «обыкновенной» камерой, чувствительной к видимому свету.  Информация о глубине, создаваемая ВП-камерой 58, может быть предоставлена в явной форме в содержимом, принимаемом процессором 160. Например, в содержимом, кодированном в так называемом формате «изображение + глубина», информация о глубине предоставляется с помощью сигнала глубины, содержащего значения глубины, которые указывают расстояния от объектов в сигнале 2D-изображения до камеры или средства просмотра. Глубина может быть получена с ВП-камеры 58, а изображение с обыкновенной камеры 59.
В другом варианте реализации система камер может содержать проектор 58, выполненный с возможностью проецирования известного образца на наружную часть пациента, тем самым получая деформированный образец, и камеру 59, выполненную с возможностью записи деформированного образца. Деформированный образец может быть использован процессором 160 или другим объектом для создания связанной с глубиной карты.
В еще одном варианте реализации система камер может содержать камеру обнаружения и дальнометрирования с помощью света (LiDAR) и/или камеру лазерного обнаружения и дальнометрирования (LaDAR).
Необходимо отметить, что связанная с глубиной карта может представлять собой скомпонованные в виде изображения значения, связанные с глубиной. В таком случае термин «связанная с глубиной карта» можно понимать как ссылку на связанное с глубиной изображение и наоборот. Связанная с глубиной карта может содержать значения глубины. В альтернативном варианте реализации связанная с глубиной карта может содержать значения диспаратности или значения параллактического смещения. Значения диспаратности и значения параллактического смещения имеют приблизительно обратную зависимость от значений глубины, но, тем не менее, представляют «глубину», например, расстояния от объектов до камеры, или средства просмотра, или дисплея, а не соответствуют непосредственно этим расстояниям. Способы преобразования между всеми вышеупомянутыми типами значений глубины известны как таковые.
Система 100, показанная на ФИГ. 5, дополнительно содержит необязательный интерфейс 60 данных пациента, выполненный с возможностью приема данных пациента из вышеупомянутой базы 62 данных информации о пациентах. База 62 данных информации о пациентах может содержать не являющиеся изображением данные нескольких других пациентов, которые могут быть использованы процессором 160 для тренировки алгоритма машинного обучения. Примером таких не являющихся изображением данных может быть электронная медицинская карта пациентов. База 62 данных может также содержать значения связанных параметров получения изображений, которые могут быть использованы в качестве прогностического значения на фазе тренировки. В альтернативном варианте реализации такие параметры получения изображения могут быть извлечены из другой базы данных (не показана).
Понятно, что описанная система может обладать рядом преимуществ по сравнению с подходами на основе ориентиров. Она может обеспечивать универсальную платформу для прогнозирования параметров сканирования, которая применима к различным исследованиям, как и к методам. Кроме того, она может обеспечивать комплексный подход, который непосредственно позволяет прогнозировать требуемый результат без необходимости в обнаружении ориентира или отдельной статистической модели для прогнозирования «внутренних» анатомических структур. Кроме того, ее можно легко оптимизировать путем объединения данных изображения RGB-D и медицинского изображения. Описанная система может эффективно использовать всю информацию изображения (не только ориентиры), что потенциально обеспечивает более высокую точность (она может «видеть», имеет ли пациент мелкое или крупное телосложение, избыточный вес или атлетическое телосложение, что связано с ожидаемым размером легких). Система может легко интегрировать не являющуюся изображением информацию, вроде возраста или пола пациента, что может способствовать процессу прогнозирования. Наконец, она может сделать возможным интерактивное обучение в клиническом учреждении, например, переобучение системы в месте эксплуатации.
На ФИГ. 6 показан способ 400 выбора параметра получения изображений для системы формирования изображений в соответствии с вариантом реализации. Способ 400 может, но не обязан, соответствовать работе системы 100, которая описана со ссылкой на ФИГ. 1, или других систем.
Способ 400 может включать операцию под названием «ПОЛУЧЕНИЕ ДОСТУПА К СВЯЗАННОЙ С ГЛУБИНОЙ КАРТЕ», осуществляющую доступ 410 к связанной с глубиной карте, формируемой на основе данных датчиков системы камер, при этом система камер имеет поле обзора, которое включает в себя по меньшей мере часть поля обзора системы формирования изображений, причем данные датчиков получают до процедуры формирования изображений пациента и эти данные указывают расстояние от различных наружных частей пациента до системы камер. Способ 400 может также включать операцию под названием «ПРИМЕНЕНИЕ АЛГОРИТМА МАШИННОГО ОБУЧЕНИЯ», применяющую 420 алгоритм машинного обучения к связанной с глубиной карте с целью идентифицирования параметра получения изображений. Алгоритм машинного обучения представлен данными алгоритма, которые хранятся в памяти и доступны для процессора, и алгоритм машинного обучения тренируют с использованием тренировочных данных, содержащих наборы из i) примера связанной с глубиной карты и ii) используемого в качестве прогностического значения примера получения изображений, где пример параметра получения изображений представляет собой выбор, сделанный человеком-оператором для использования в предыдущей процедуре формирования изображений с предыдущим пациентом, а пример связанной с глубиной карты формируют на основе данных датчиков, полученных с помощью предыдущей системы камер во время предыдущей процедуры формирования изображений. Способ 400 может также включать операцию под названием «ВЫВОД ПАРАМЕТРА ПОЛУЧЕНИЯ ИЗОБРАЖЕНИЯ», осуществляющую вывод 430 параметра получения изображения для использования системой формирования изображений.
Понятно, что вышеупомянутые операции могут быть выполнены в любом подходящем порядке, например последовательно, одновременно или в сочетании того и другого в зависимости, где уместно, от необходимости конкретного порядка выполнения, например, из-за отношений ввода/вывода.
Способ 400 может быть реализован на компьютере в виде реализуемого на компьютере способа, в виде специализированного оборудования или в виде их сочетания. Как также показано на ФИГ. 7, инструкции для компьютера, например, исполнимый код, могут храниться на компьютерочитаемом носителе 500, например, в виде последовательности 510 машиночитаемых физических меток и/или последовательности элементов, обладающих разными электрическими, например, магнитными, или оптическим свойствами или значениями. Исполнимый код может храниться с использованием или без использования физического носителя данных. В число примеров компьютерочитаемых носителей входят запоминающие устройства, оптические запоминающие устройства, интегральные схемы, серверы, интерактивное программное обеспечение и т. д. На ФИГ. 7 показан оптический диск 500, хранящий некратковременные данные 510, представляющие инструкции.
Понятно, что изобретение также распространяется на компьютерные программы, в частности, на компьютерные программы на или в носителе, приспособленном для воплощения изобретения на практике. Программа может быть в виде исходного кода, объектного кода, промежуточного источника кода и объектного кода, например, в частично компилированном виде или любом ином виде, пригодном для использования в реализации способа согласно настоящему изобретению. Понятно также, что такая программа может иметь множество различных структур на архитектурном уровне. Например, программный код, реализующий функциональные возможности способа или системы в соответствии с настоящим изобретением, может быть подразделен на одну или несколько подпрограмма. Специалистам в данной области техники понятны множество различных способов распределения функциональных возможностей между этими подпрограммами. Подпрограммы могут быть сохранены вместе в одном исполняемом файле с образованием независимой программы. Такой исполняемый файл может содержать инструкции, которые могут быть выполнены компьютером, например, инструкции процессору и/или инструкции интерпретатору (например, инструкции интерпретатору Java). В альтернативном варианте одна или более либо все подпрограммы могут храниться в по меньшей мере одной внешней библиотеке файлов и связываться с основной программой статически или динамически, например во время исполнения. Основная программа содержит по меньшей мере одно обращение к по меньшей мере одной из подпрограмм. Подпрограммы могут также содержать обращения к функциям друг друга. Вариант реализации, относящийся к компьютерному программному продукту, содержит выполненные с возможность исполнения инструкции, соответствующие каждой стадии обработки по меньшей мере одного из способов, изложенных в настоящем описании. Эти инструкции могут подразделяться на подпрограммы и/или храниться в одном или более файлов, которые могут быть связаны статически или динамически. Другой вариант реализации, относящийся к компьютерному программному продукту, содержит выполненные с возможность исполнения инструкции, соответствующие каждому средству по меньшей мере одной из систем и/или продуктов, изложенных в настоящем описании. Эти инструкции могут подразделяться на подпрограммы и/или храниться в одном или более файлов, которые могут быть связаны статически или динамически.
Носитель компьютерной программы может быть любым объектом или устройством, выполненным с возможностью содержания программы. Например, носитель может включать в себя хранилище данных, такое как постоянное запоминающее устройство (ПЗУ), например, ПЗУ на компакт-диске (CD ROM) или полупроводниковое ПЗУ, носитель магнитной записи, например, накопитель на жестком диске. Кроме того, носитель может быть носителем, выполненным с возможностью передачи, таким как электрический или оптический сигнал, который может быть передан по электрическому или оптическому кабелю, или по радио, или другими средствами. Когда программа реализована в виде такого сигнала, носитель может быть выполнен в виде такого кабеля, или другого устройства или средств. В альтернативном варианте носитель может быть интегральной схемой, в которой реализована программа, причем эта интегральная схема адаптируется для выполнения или использования при выполнении соответствующего способа.
Следует отметить, что вышеупомянутые варианты реализации иллюстрируют, а не ограничивают, настоящее изобретение, и что специалисты в данной области техники в состоянии разработать множество альтернативных вариантов реализации, не выходящих за пределы объема прилагаемой формулы изобретения. В пунктах формулы любые ссылочные обозначения, заключенные в скобки, не должны толковаться как ограничивающие этот пункт. Использование глагола «содержит/включает в себя» и его спряжений не исключает наличия других элементов или стадий, кроме указанных в пункте формулы изобретения. Грамматические средства выражения единственного числа, используемые с элементом, не исключает наличия множества таких элементов. Настоящее изобретение может быть реализовано посредством оборудования, содержащего несколько различных элементов, и посредством соответствующим образом запрограммированного компьютера. В описывающем устройство пункте, перечисляющем несколько средств, некоторые из этих средств могут быть реализованы одним и тем же элементом оборудования. Сам факт того, что определенные меры изложены во взаимно отличающихся различных пунктах формулы, не означает того, комбинация этих мер не может быть использована эффективно.