СПОСОБ И СИСТЕМА АВТОМАТИЗИРОВАННОЙ ДИАГНОСТИКИ СОСУДИСТЫХ ПАТОЛОГИЙ НА ОСНОВАНИИ ИЗОБРАЖЕНИЯ
METHOD AND SYSTEM FOR AUTOMATED DIAGNOSIS OF VASCULAR PATHOLOGIES BASED ON AN IMAGE

ОБЛАСТЬ ТЕХНИКИ
[001] Данное техническое решение в общем относится к области вычислительной техники, а в частности к способам и системам определения риска и диагностики отдельных патологий с помощью технологий искусственного интеллекта и машинного обучения по изображению предполагаемого заболевания с высокой точностью без участия специализированного врача.
УРОВЕНЬ ТЕХНИКИ
[002] В настоящее время определение риска и диагностики сосудистых патологий затруднительно без посещения сосудистого хирурга. Однако, лишь немногие люди на самом деле обращаются к врачу, в то время как подавляющее большинство предпочитает игнорировать ранние симптомы, пока не возникнут серьезные осложнения.
[003] В уровне техники не существует аналогичных технических решений определения зрительно видимых кожных патологических изменений сосудов, а только существуют решения (например, доступные по URL-ссылкам https://www.skinvision.com, https://skinive.ru) для определения различных кожных заболеваний (меланома, акне, папилломы, грибок и т.д.).
[004] Вся работа на практике осуществляется сосудистыми хирургами, которые принимают вручную решение о диагнозе пациента самостоятельно без привлечения дополнительного специализированного оборудования (при использовании ультразвука врач дает диагноз точнее). Однако врачу требуется больше времени на принятие решения по диагнозу пациента, а также логично, что могут возникать ошибки в определении диагноза из-за человеческого фактора.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ
[005] Данное техническое решение направлено на устранение недостатков, известных из уровня техники.
[006] Технической задачей или технической проблемой, решаемой в данном техническом решении, является осуществление способа и системы автоматизированной диагностики видимых на коже патологических изменений сосудов на основании изображений посредством применения машинного обучения.
[007] Техническим результатом, достигаемым при решении вышеуказанной технической задачи, является повышение точности определения состояния здоровья пользователя, возможных последствий и осложнений.
[008] Дополнительным техническим результатом является повышение скорости и точности определения риска пользователя по непрофильным нозологиям.
[009] Указанный технический результат достигается осуществления способа автоматизированной диагностики видимых на коже патологических изменений сосудов на основании изображений посредством применения машинного обучения, выполняемый по меньшей мере одним вычислительным устройством, в котором получают данные анамнеза по меньшей мере одного пользователя и по меньшей мере одно изображение предполагаемой патологии; осуществляют семантическую сегментацию по меньшей мере одного изображения предполагаемой патологии, полученного на предыдущем шаге, посредством отделения фона от исследуемого объекта с предполагаемой патологией с помощью методов машинного обучения; определяет на по меньшей мере одном изображении, полученном на предыдущем шаге, по меньшей мере одну патологию посредством использования искусственной сверточной нейронной сети; осуществляют классификацию полученной по меньшей мере одной патологии на по меньшей мере одном изображении посредством использования методов машинного обучения; формируют рекомендации по здоровью для пользователя на основании по меньшей мере одной патологии и данных анамнеза пользователя.
[0010] В некоторых вариантах реализации технического решения получают данные анамнеза или самочувствия из заполненной им анкеты и/или ЭМК.
[0011] В некоторых вариантах реализации технического решения полученное изображение предполагаемой патологии кодируется в base64-представление или бинарное представление.
[0012] В некоторых вариантах реализации технического решения получают изображения предполагаемой патологии по ключевым кадрам используя метод "key-frame detection".
[0013] В некоторых вариантах реализации технического решения для осуществления семантической сегментации изображения предполагаемой патологии используют искусственную нейронную сеть архитектуры кодировщик-декодер.
[0014] В некоторых вариантах реализации технического решения для осуществления семантической сегментации изображения предполагаемой патологии используют искусственную нейронную сеть FCN или Unet, или Tiramisu.
[0015] В некоторых вариантах реализации технического решения определяют на изображении сосудистую патологию на основании международной классификации хронических заболеваний вен СЕАР.
[0016] В некоторых вариантах реализации технического решения при определении на изображении сосудистой патологии выделяют ее в случае наличия в ограничивающую рамку.
[0017] В некоторых вариантах реализации технического решения при определении на изображении сосудистой патологии выделяют ее в случае наличия в ограничивающую рамку, если вероятность наличия патологии выше, чем заранее заданное пороговое значение.
[0018] В некоторых вариантах реализации технического решения определяет на изображении, сосудистую патологию посредством использования искусственной сверточной нейронной сети и осуществляют классификацию патологии на изображении посредством использования искусственной нейронной сети асинхронно.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0019] Признаки и преимущества настоящего технического решения станут
очевидными из приведенного ниже подробного описания и прилагаемых чертежей, на которых:
[0020] На Фиг. 1 показан пример реализации получаемого изображения предполагаемой патологии;
[0021] На Фиг. 2 показан пример реализации осуществления семантической сегментации, где исследуемый объект отделяется от фона;
[0022] На Фиг. 3 показан вариант реализации, согласно которому сама патология помещается в отдельную ограничивающую рамку.
[0023] На Фиг. 4 показан пример реализации архитектуры автоматизированной диагностики видимых на коже патологических изменений сосудов на основании изображений посредством применения машинного обучения.
[0024] На Фиг. 5 показан пример реализации пример координат ограничивающей рамки предполагаемой патологии.
[0025] На Фиг. 6 и Фиг. 7 показаны примеры реализаций изображений с выделенной областью патологии и классификацией данной патологии.
[0026] На Фиг. 8 показан пример реализации способа автоматизированной диагностики сосудистых патологий на основании изображения.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0027] Ниже будут подробно рассмотрены термины и их определения, используемые в описании данного технического решения.
[0028] В данном изобретении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций), централизованные и распределенные базы данных, смарт-контракты.
[0029] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы), или подобное. Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
[0030] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
[0031] Семантическая сегментация изображений - это разделение изображения на отдельные группы пикселей, области, соответствующие одному объекту с одновременным определением типа объекта в каждой области. Задача семантической сегментации является высокоуровневой задачей обработки изображений, относящейся к группе задач т.н. слабого искусственного интеллекта.
[0032] Способ автоматизированной диагностики видимых на коже патологических изменений сосудов на основании изображений посредством применения машинного обучения, может быть реализован в виде последовательности вычислительных шагов, которые подробно описаны ниже и показаны на Фиг.8 в виде блок-схемы.
[0033] Шаг 110: получают данные анамнеза по меньшей мере одного пользователя и по меньшей мере одно изображение предполагаемой патологии.
[0034] Предварительно в системе пользователь отвечает на вопросы о своем физическом состоянии, самочувствии и жалобах по анамнезу. Пользователю может предоставляться анкета, с помощью которого происходит сбор анамнеза (совокупность сведений, получаемых при медицинском обследовании с помощью опроса пользователя). Данная анкета может состоять из набора вопросов касательно физического здоровья пациента. В некоторых вариантах реализации пользователь может предоставлять данные посредством введения их в мобильном приложении пользователя, посредством записи аудио или видео. Финальным результатом анамнеза является полный набор ответов пользователя, отражающий его текущее состояние. В конкретном примере реализации данные анамнеза получают из мобильного устройства связи пользователя, где он заполняет данные анамнеза или из электронной медицинской карты (ЭМК). Электронная медицинская карта (ЭМК) пациента -это комплекс данных о состоянии здоровья пациента и назначенном ему лечении, которые хранятся и обрабатываются в электронном виде. Электронная медицинская карта позволяет быстро находить существующую и добавлять новую информацию обо всех случаях оказания пациенту медицинской помощи, а также в автоматизированном режиме формировать медицинские документы.
За счет использования разнообразных пополняемых справочников и шаблонов ввод данных о случаях оказания пациенту медицинской помощи в ЭМК занимает гораздо меньше времени, чем при ручном заполнении амбулаторных карт и историй болезни. Кроме того, с внедрением ЭМК устраняется проблема транспортировки документов из одних медицинских организаций в другие, а значит, повышается степень защиты персональных данных пациентов. Электронная история болезни пациента может быть представлена в формате openEHR, HL7 и т.д. Выбор формата и стандарта не влияет на сущность технического решения.
[0035] Пользователь в некоторых вариантах реализации также указывает свой пол, рост, вес, возраст, наличие беременности, наличие варикозной болезни у родителей, а также есть ли какие-либо из перечисленных жалоб:
• 0 - нет, ничего не беспокоит;
• А - чувство тяжести в икрах по вечерам;
• В - ощущение того, что ноги отечны к вечеру, ночные судороги в икрах.
[0036] Специалисту в уровне техники очевидно, что обозначения А, В и 0 являются примерными и могут быть заменены на любые другие без влияния на сущность технического решения.
[0037] В некоторых вариантах осуществления ответы на некоторые вопросы по показателям здоровья пользователя получают посредством применения машинного обучения в виде чат-бота в мессенджере, который задает пользователю наводящие вопросы, в том числе на основании его ответов и записывает в базу данных ответы по показателям здоровья (принимает ли алкоголь, курит ли, сколько родственников болело раком и т.д.).
[0038] При обращении пациента к врачу, прохождении обследования, сдачи анализов или других медицинских процедурах, в медицинской информационной системе формируются (заполняются и сохраняются) данные по каждой такой процедуре. Данные могут включать записи осмотров пациента, коды диагнозов, симптомов, процедур и лекарств, назначаемых и/или принимаемых пациентом, описание истории болезни на естественном языке, биомедицинские изображения, результаты анализов, исследований, результаты наблюдений/измерений физиологических параметров, ЭКГ, ЭЭГ, МРТ, УЗИ, биопсия, цитологические исследования, рентгена, маммографии, но не ограничиваясь указанными данными.
[0039] Указанные данные могут быть представлены в текстовом, табличном формате, в виде временных рядов, изображений, видео, геномных данных, сигналов, но не ограничиваясь. Данные также могут быть представлены в структурированном и неструктурированном виде. Дополнительно в качестве данных могут выступать связи между приведенными выше данными.
[0040] Анализы могут включать, но не ограничиваясь, анализ крови, спинномозговой жидкости, мочи, кала, генетические тесты и т.д. В рамках технического решения не накладывает ограничения на типы анализов.
[0041] В некоторых вариантах реализации данные о пользователя в дальнейшем используются для формирования рекомендаций при участии искусственного интеллекта. В рамках данного технического решения обучающая выборка может содержать электронную историю болезни пациентов, сгруппированных по пациенту. Электронная история болезни пациента, используемая для формирования обучающей выборки, содержит записи пациентов, включающих, по меньшей мере, следующие данные: дату добавления записи, коды диагнозов, симптомов, процедур и лекарств, текстовое описание истории болезни на естественном языке из опросника, ассоциированные с историей болезни биомедицинские изображения, результаты исследований и анализов пациентов.
[0042] Данные, представляющие собой набор медицинских данных пользователя, которые находятся в ЭМК и/или анкете пользователя, хранящиеся в хранилище данных могут быть доступны через СУБД. СУБД может содержать одну или несколько компьютерных программ, которые контролируют организацию, хранение, управление и поиск данных в базе данных. СУБД может получать запросы на доступ к информации в базе данных, сформированные, например, в мобильном приложении на основании его рекомендаций по лечению, и может выполнять операции, необходимые для обеспечения этого доступа. Доступ, используемый здесь, может включать в себя чтение данных, запись данных, удаление данных, обновление данных, сочетания, включающие в себя два или более действий, упомянутых выше, и тому подобное.
[0043] База данных, содержащая медицинские данные пользователя и хранящаяся в хранилище данных, может представлять из себя реляционную базу данных, объектно-ориентированную базу данных, иерархическую базу данных, сетевую базу данных, другие типы баз данных, некоторую комбинацию или расширение вышеупомянутого, и тому подобное. Медицинские данные пользователя, хранящиеся в базе данных, могут быть организованы в виде таблиц, записей, объектов, других структур данных и т.п.Данные также могут храниться в специальных файлах базы данных, специальных разделах жестких дисков, HTML файлах, XML файлах, электронных таблицах, неструктурированных файлах, файлах документа, конфигурационных файлах, других файлах и т.п.База данных может ссылаться на набор данных, который предназначен только для чтения, или иметь возможность читать набор данных и записывать в него.
[0044] При описании аспектов описанного здесь изобретения для простоты здесь иногда используется терминология, связанная с реляционными базами данных. Хотя терминология реляционных баз данных иногда здесь используется, раскрытые идеи могут быть также применены к другим типам баз данных, включая те, которые были ранее упомянуты.
[0045] В некоторых вариантах осуществления изобретения электронная медицинская карта может быть представлена в следующих форматах представления медицинской информации, не ограничиваясь: XML, HL7, CORBA/OMG, DAMOS, LOINCTM, FDA Guidance, MedML, OpenHealth. В примерном варианте осуществления используется XML формат. Данный формат является наиболее точным способом представления сложных, плохо структурируемых данных, которыми являются в том числе медицинские данные.
[0046] Далее пользователь формирует по меньшей мере одно изображение (например, фото или видеопоследовательность кадров) предполагаемой патологии, например, в области ног. Затем по меньшей мере одно изображение подается на вход API технического решения на сервере. Фото должно быть загружено с помощью персонального мобильного устройства связи пользователя (например, посредством мобильного приложения, веб-приложения, чат-бота и т.д.), откуда попадает в модуль по распознаванию патологии.
[0047] Изображения могут быть представлены в виде изображения (jpg, png, tiff и другие графические форматы), видео (avi, mpg, mov, mkv и другие видеоформаты), 3D фото, 3D видео, 3D моделей (obj, max, dwg и т.д.). Описанные выше форматы отражают какое минимум программное обеспечение предназначено для работы с упомянутыми выше данными (создание, модификация и т.д.).
[0048] В одном из вариантов реализации данные одного типа могут быть конвертированы в данные другого вида (видео - в совокупность изображений и наоборот, 3D объект - в изображение проекций упомянутого объекта и наоборот, и т.д.).
[0049] Камера(-ы) может(-ут) быть предоставлена(-ы) в виде цифровой камеры, сконфигурированной для получения неподвижных изображений и движущихся изображений (например, видео). Камера может включать в себя объектив и один или более датчиков изображения, сконфигурированных для захвата и преобразования света в электрические сигналы. Исключительно в порядке примера, датчик изображения может включать в себя датчик изображения на основе КМОП (например, датчик с активными пикселями (APS) на основе КМОП) или датчик на основе ПЗС (прибор с зарядовой связью). В общем случае, датчик изображения в камере включает в себя интегральную схему, имеющую матрицу пикселей, в которой каждый пиксель включает в себя фотодетектор, улавливающий свет. Специалистам в данной области техники очевидно, что фотодетекторы в пикселях формирования изображения, в общем случае, регистрируют интенсивность света, улавливаемого через линзы камеры. Однако фотодетекторы, сами по себе, в общем случае, не способны регистрировать длину волны захваченного света и, таким образом, не способны определять информацию цвета.
[0050] Искомое изображение кодируется, например, в base64 представление и отправляется на backend-сервер, где попадает в процесс предобработки. В некоторых вариантах реализации может осуществляться стабилизация изображения, шумоподавление, улучшение цвета и удаление не влияющих на модель артефактов на коже (родинки, татуировки и т.д.).
[0051] Под обработкой изображения могут пониматься различные этапы обработки изображений, например, операции обнаружения/коррекции дефектных пикселей, коррекции затенения объектива, демозаики и повышения резкости изображения, шумопонижения, гамма-коррекции, улучшения изображения, преобразования цветового пространства, сжатия изображения, цветовой субдискретизации и масштабирования изображение, и т.д. В некоторых вариантах осуществления может использоваться "конвейер" обработки изображений для осуществления каждого из различных этапов обработки изображений. Данный конвейер может состоять из набора компонент, согласно каждому необходимому этапу, причем компоненты можно реализовать с использованием оборудования (например, процессоров цифрового сигнала или ASIC) или программного обеспечения, или посредством комбинации аппаратных и программных компонентов.
[0052] Прежде чем продолжить, следует отметить, что хотя различные варианты осуществления различных методов обработки изображений, рассмотренных ниже, могут использовать байесовскую CFA, описанное здесь изобретение не подлежит ограничению, в связи с этим. Действительно, специалистам в данной области техники очевидно, что представленные здесь методы обработки изображений можно применять к любому типу матрицы цветовых фильтров, включающих в себя фильтры RGBW, фильтры CYGM и т.д.
[0053] В других вариантах реализации могут использоваться бинарные изображения. Одно изображение может иметь засветы, шумы и т.д., в результате искусственной нейронной сети трудно правильно определить есть ли варикозное расширение на изображении или нет.В связи с этим в некоторых вариантах реализации направляют набор изображений, например, в виде видеопоследовательности. Видеоряд позволяет выбрать наиболее подходящее для диагностики изображение, и определить риск варикозного заболевания по нему. В некоторых вариантах реализации для выбора изображений может использоваться способ "key-frame detection" (ключевые кадры). При раскадровке видео на множество изображений, определяются локальные минимумы движения камеры, и этот кадр будет использоваться для классификации патологии и определения патологии на изображении.
[0054] Шаг 120: осуществляют семантическую сегментацию по меньшей мере одного изображения предполагаемой патологии, полученного на предыдущем шаге, посредством отделения фона от исследуемого объекта с помощью искусственной нейронной сети.
[0055] На данном шаге изображение попадает в процесс семантической сегментации, в котором осуществляется отделение фона от исследуемого объекта (например, ноги) с помощью искусственной нейронной сети. Семантическая сегментация изображения означает присвоение каждому пикселю определенной метки. В этом заключается главное отличие от классификации, где всему изображению ставится в соответствие только одна метка. Сегментация работает со множеством объектов одного класса как с единым целым. На данном этапе отделяют фон в искомом изображении, показанном на Фиг. 1 (вместо фона оставляют, например, белую область), оставляют только сам объект исследования, например, ногу с потенциальной патологией, как показано на Фиг. 2, и это изображение используют для классификации и детекции варикозных вен. Сама патология помещается в отдельную ограничивающую рамку, как показано на Фиг. 3. Удаление фона осуществляется посредством использования искусственной нейронной сети по алгоритмам, известным из уровня техники. В качестве примера реализации могут использоваться, не ограничиваясь, следующие модели: FCN, Unet и Tiramisu, который представляют из себя глубокие архитектуры типа «кодировщик-декодер». Удаление фона на изображении используется для уменьшения отвлекающих факторов для моделей машинного обучения на последующих этапах работы технического решения, и как следствие, увеличения точности определения.
[0056] В конкретном примере реализации используется полносверточная сеть (англ. «Fully Convolutional Network)), сокр. FCN). FCN может использоваться для первоначального преобразования входного изображения для отделения фона через серию сверток. Такой набор сверточных операций обычно называется кодировщик. Затем выход декодируется или через билинейную интерполяцию, или через серию транспонированных сверток, который носит название декодер.
[0057] В то же время архитектура U-Net представляет из себя улучшение простой FCN архитектуры. Сеть skip-связи между выходами с блоков свертки и соответствующими им входами блока транспонированной свертки на том же уровне. Skip-связи позволяют градиентам лучше распространяться и предоставлять информацию с различных масштабов размера изображения. Информация с больших масштабов (верхние слои) может помочь модели лучше классифицировать. В то время как информация с меньших масштабов (глубокие слои) помогает модели лучше сегментировать.
[0058] Результатом семантической сегментации, является выделенный исследуемый объект тела человека (например, нога) с белой областью вместо фона. Если модель семантической сегментации не может отделить объект от фона, используется искомое изображение с фоном для последующего использования в процессе обработки вместо изображения без фона. Если модель не смогла определить и удалить фон, чтобы не возвращать пользователю результат с ошибкой, для последующих этапов работы технического решения используется исходное изображение. В этом случае, точность определения незначительно снижается, но пользователь все равно получает итоговый результат.
[0059] На следующем этапе шаги технического решения могут выполняться асинхронно.
[0060] Шаг 130: определяет на по меньшей мере одном изображении, полученном на предыдущем шаге, по меньшей мере одну сосудистую патологию посредством использования искусственной сверточной нейронной сети.
[0061] После выполненной предобработки, изображение без фона попадает в процесс классификации, который определяет класс патологии на изображении и возвращает результат в строковом представлении.
[0062] Затем изображение без фона попадает в модуль обнаружения конкретных участков кожи с патологией на объекте. Результатом работы данного модуля являются координаты охватывающих рамок, выделяющих участки с патологией на объекте. На финальном изображении формируются не все рамки, а те, у которых вероятность выше, чем пороговое значение (которое в конкретном варианте реализации равно 0.15). В различных вариантах реализации выделение рамкой может иметь квадратную, круглую, прямоугольную и так далее форму. Пример координаты может быть показан в следующем виде, как это изображено на Фиг. 5:
,
[0063] "boundingBox":{"probability":0.013799238,"tagName":"varicose","boundingBo x":{"left":0.573702335,"top":0.107970059,"width":0.426287651,"height":0.335159123}}
[0064] Формирование рамки, охватывающей патологию, осуществляется следующим образом. Искусственная нейронная сеть возвращает список ограничивающих параллелепипедов (англ. Bounding Box, сокр. ВВох), которые потом накладываются на изображение с патологией. У каждого ограничивающего параллелепипеда есть вероятность и пороговое значение, например, равное 0.15. Вероятностью считается уверенность искусственной нейронной сети в том, что она действительно верно определила патологию на изображении. Если данная вероятность выше порогового значения, то отрисовывают охватывающую рамку на изображении. В конечном итоге формируют только те рамки, вероятность которых выше порогового значения. В конкретном варианте реализации используют для обучения те же изображения, что и для классификации.
[0065] Шаг 140: осуществляют классификацию полученной по меньшей мере одной патологии на по меньшей мере одном изображении посредством использования искусственной нейронной сети.
[0066] В некоторых вариантах реализации отмечают прямо на изображении тип варикоза. Для решения задачи классификации в конкретном варианте реализации используется искусственная сверточная нейронная сеть (сокр. CNN) resnet-50 с использованием фреймворка fast.ai. В других вариантах реализации могут использоваться нейронные сети AlexNet или VGG16. Для обучения модели искусственной нейронной сети в конкретном примере реализации использовали 32000 изображений ног, различного класса (по классификации СЕАР -международная классификация хронических заболеваний вен, созданная в 1994 года группой экспертов американского флебологического форума, как показано в источнике информации [1]) по следующим классам:
• С0 - 7000 изображений, на которых нет видимых признаков варикозной трансформации вен. Также брали снимки ног с наличием кровоподтеков, гематом, аллергических реакций, целлюлита, послеоперационных рубцов и татуировок. Благодаря такой выборке искусственная нейронная сеть научилась дифференцировать варикозное-расширение вен от других возможных видимых изменений ног.
• С1 - 12000 изображений с видимыми изменениями в виде кожных телеангиоэктазий и ретикулярных вен.
• С2-С3 - 13000 изображений с наличием видимых варикозно-измененных подкожных вен с подтвержденным диагнозом при помощи УЗДС вен и с заключением флеболога.
[0067] Для обучения искусственной нейронной сети в конкретном варианте реализации использовали изображения разрешением 448×448 пикселей.
[0068] Результат классификации может быть отображен на данном шаге в следующем виде: {
"predictionld": "9c25940f-519a-4da9-8346-344baa216e2c",
"created": "2020-02-23T09:14:47.582Z",
"predictions":
"probability": 0.94449383,
"tagName": "C1"
"probability": 0.05550565,
"tagName": "C2-C3"
"image": "<Base64 image>", где
[0069] "predictions" - результат классификации;
[0070] "image" - результат определения патологии, т.е. исходное изображение с наложенными на него охватывающими рамками;
[0071] predictionld - уникальный идентификатор операции;
[0072] created - дата создания операции;
[0073] tagName - имя класса;
probability - вероятность, что на изображении находится патология класса tagName.
[0074] В конкретном примере реализации набор данных был размечен врачами с помощью программного обеспечения Azure Cognitive Services. В некоторых вариантах реализации для решения данной задачи может использоваться сверточная нейронная сеть с архитектурой под названием YOLOv3.
[0075] Шаг 150: формируют рекомендации по здоровью для пользователя на основании по меньшей мере одной сосудистой патологии и данных анамнеза пользователя.
[0076] В заключение происходит сопоставление результатов двух вышеописанных модулей, что позволяет сопоставить субъективное физическое состояние пациента, полученное благодаря анамнезу, с классификацией патологии, которая определяется посредством загруженной фотографии. Если на фото по каким-то причинам заболевание не видно, но есть жалобы - то пациенту все равно рекомендуется обратиться ко врачу. Таким образом, использование двух различных инструментов (сбор анамнеза и распознавание посредством машинного обучения) дает финальную и более целостную оценку. Основным преимуществом данного подхода в оценке патологии является объединение качественно разных методов, которые дополняют друг друга. Тем самым, интеграция двух модулей позволяет добиться наиболее точного результата.
[0077] В качестве результата пользователь получает исходное (ранее загруженное) изображение и изображение с выделенной областью патологии и классификацией данной патологии, как показано на Фиг. 6 и Фиг. 7.
[0078] Результаты процесса работы машинного обучения сопоставляются с ответами пользователя в анкете и дополнительно обрабатываются.
[0079] Варианты ответов могут быть следующие, например, по методике из источника информации [2].
[0080] При повышенном индексе массы тела (индекс Кетле), принимающем значение более 25 везде к ответам автоматически добавляют:
[0081] Мужчинам: у вас повышенный индекс массы тела, рекомендовано снижение веса, низкокалорийное питание и регулярные анаэробные нагрузки.
[0082] Женщинам: у вас повышенный индекс массы тела 25-30, что увеличивает риск развития варикозной болезни на 50%, рекомендовано снижение веса, низкокалорийное питание и регулярные анаэробные нагрузки.
[0083] Женщинам: у вас повышенный индекс массы тела более 30, что увеличивает риск развития варикозной болезни в 3 раза, рекомендовано снижение веса, низкокалорийное питание и регулярные анаэробные нагрузки.
[0084] Если один из родителей пользователя болел варикозом, то женщинам сообщают, что у нее отягощен наследственный анамнез, наличие варикозной болезни у одного из родителей увеличивает риск болезни у женщин на 60%, а мужчинам что у них отягощен наследственный анамнез, наличие варикозной болезни у одного из родителей увеличивает риск болезни у мужчин на 25%.
[0085] Если оба родителя пользователя болели варикозом, пользователю сообщают, что у него отягощен наследственный анамнез, наличие варикозной болезни у обоих родителей увеличивает риск болезни на 90%.
[0086] Далее если результат классификации изображения показывает класс С0 и пользователь по жалобам поставил ответ 0, то ему сообщают, что виртуальный флеболог не распознал у него варикозную болезнь. Скорее всего, он здоров или может попробовать пройти виртуального флеболога еще раз.
[0087] Если результат классификации изображения показывает класс С0 и пользователь по жалобам поставил ответ А и В, сообщают, что виртуальный флеболог не распознал на фотографии наличие варикозной болезни, но если у него все-таки есть жалобы на чувство тяжести и отеки в ногах, судороги в икроножных мышцах, то рекомендуют обратиться к специалисту для выполнения ультразвукового исследования вен нижних конечностей.
[0088] Если результат классификации изображения показывает класс С1 и пользователь по жалобам поставил ответ 0 или А и В, сообщают, что виртуальный флеболог распознал у него телеангиоэктазии и ретикулярный варикоз. Необходимо обратиться к специалисту для выполнения ультразвукового исследования вен нижних конечностей и принятия решения о тактике лечения. Для профилактики, при отсутствии противопоказаний, рекомендуется ношение компрессионного трикотажа первого класса компрессии при длительной статической и физической нагрузке. Полезны занятия спортом: фитнес, скандинавская ходьба, велосипед, плавание.
[0089] Если результат классификации изображения показывает класс С2 или С3 и пользователь по жалобам поставил ответ 0 или А, сообщают, что виртуальный флеболог распознал у него наличие варикозной болезни, второй класс. Ему может быть показано миниинвазивное хирургическое лечение. Необходимо обратиться к специалисту для выполнения ультразвукового исследования вен нижних конечностей и принятия решения о тактике лечения. Рекомендовано, при отсутствии противопоказаний, ношение компрессионного трикотажа первого/второго класса компрессии при длительной статической и физической нагрузке. Полезны занятия спортом: скандинавская ходьба, велосипед, плавание, аквааэробика. Курсовой прием флеботонических препаратов.
[0090] Если результат классификации изображения показывает класс С2 или С3 и пользователь по жалобам поставил ответ В, сообщают, что виртуальный флеболог распознал на фотографии третий класс варикозной болезни. При третьем классе ему может быть показано хирургическое лечение. Необходимо обратиться к специалисту для выполнения ультразвукового исследования вен нижних конечностей и принятия решения о тактике лечения. Рекомендовано, при отсутствии противопоказаний, постоянное ношение компрессионного трикотажа второго класса компрессии. Полезны занятия спортом: плавание, аквааэробика. Курсовой прием флеботонических препаратов.
[0091] Если результат классификации изображения показывает класс С1 и пользователь является беременной, а по жалобам поставил ответ 0 или А, или В, сообщают, что искусственный интеллект распознал на фотографии первый класс варикозной болезни. Он представляет собой телеангиоэктазий и ретикулярный варикоз. Необходимо обратиться к специалисту для выполнения ультразвукового исследования вен нижних конечностей и принятия решения о тактике лечения.
[0092] Для профилактики рекомендуется постоянное ношение компрессионного трикотажа 1-го класса компрессии во время беременности, во время родовой деятельности противоэмболические чулки. Полезны занятия спортом при отсутствии противопоказаний: плавание, легкая гимнастика ног.
[0093] Если результат классификации изображения показывает класс С2 или С3 и пользователь является беременной, а по жалобам поставил ответ 0 или А, или В, сообщают, что виртуальный флеболог распознал у Вас второй класс варикозной болезни. Необходимо обратиться к специалисту для выполнения ультразвукового исследования вен нижних конечностей и принятия решения о тактике лечения.
[0094] Рекомендовано, при отсутствии противопоказаний, постоянное ношение компрессионного трикотажа 1-2 го класса компрессии во время беременности, во время родовой деятельности противоэмболические чулки. Полезны занятия спортом, при отсутствии противопоказаний: плавание, легкая гимнастика ног. Во 2-м триместре, при наличии выраженных жалоб и отсутствии противопоказаний, возможен прием флеботонических препаратов.
[0095] Техническое решение для рекомендаций пользователю представляет собой веб-страницу, на которой пользователю отображается результат в виде сопоставления пройденного анамнеза и результата работы искусственных нейронных сетей с классификацией патологии, и изображением с отмеченными границами предполагаемой патологии.
[0096] Рекомендации по здоровью могут быть получены пользователем посредством электронной почты, в личном кабинете сервиса, в мессенджере и других известных средствах коммуникаций.
[0097] На основании полученной на предыдущем шаге классификации патологии и его показателей здоровья, взятых из электронной медицинской карты и/или анкеты, формируют рекомендации по здоровью для пользователя.
[0098] В некоторых вариантах осуществления рекомендация может быть оформлена в рекомендательном приложении, например, в виде текста, и эта реализация никак конкретно не ограничена. Одним из примеров выполнения рекомендательного приложения является доступ пользователем на веб-сайт, соответствующий системе рекомендаций, для получения доступа к рекомендательному приложению. Например, рекомендательное приложение может быть вызвано путем ввода (или копирования-вставки или выбора ссылки) URL, связанного с сервисом рекомендаций. Альтернативно, рекомендательное приложение может являться приложением, скачанным из так называемого магазина приложений, например, APPSTORE™ или GOOGLEPLAY™, и установленным/используемым на электронном мобильном устройстве связи пользователя. Важно иметь в виду, что рекомендательное приложение может быть вызвано с помощью любых других средств.
[0099] В общем случае, рекомендательное приложение может включать в себя рекомендательный интерфейс, причем данный рекомендательный интерфейс отображается на экране мобильного устройства связи пользователя. В некоторых вариантах осуществления настоящего технического решения, рекомендательный интерфейс отображается, когда пользователь мобильного устройства связи пользователя активирует (т.е. запускает, использует, запускает в фоновом режиме и так далее) рекомендательное приложение. Альтернативно, рекомендательный интерфейс может быть представлен, когда пользователь открывает новое окно браузера и/или активирует новую вкладку в браузерном приложении. Например, в некоторых вариантах осуществления настоящего технического решения, рекомендательный интерфейс может активировать «домашний экран» в браузерном приложении.
[00100] Рекомендательный интерфейс может включать в себя поисковый интерфейс. Поисковый интерфейс включает в себя интерфейс поискового запроса. Интерфейс поискового запроса может быть реализован как «омнибокс», что позволяет вводить поисковый запрос для проведения поиска или сетевой адрес (например, Единый Указатель Ресурсов (URL)) для идентификации ресурса (например, веб-сайта), который будет вызван. Тем не менее, интерфейс поискового запроса может быть реализован для получения одного или обоих из: записи поискового запроса на выполнение поиска или сетевого адреса (например, Единый Указатель Ресурсов (URL)) для идентификации ресурса (например, веб-сайта), который будет вызван.
[00101] Рекомендательный интерфейс дополнительно включает в себя набор рекомендованного содержимого. Набор рекомендованного содержимого включает в себя один или несколько элементов рекомендаций содержимого, например, первый элемент рекомендаций содержимого и второй элемент рекомендаций содержимого. Естественно, набор рекомендаций содержимого может обладать большим числом элементов рекомендаций содержимого. В рамках варианта осуществления, где присутствует более одного элемента рекомендованного содержимого, пользователь может прокручивать через набор рекомендованного содержимого. Прокрутка может осуществляться любыми подходящими способами. Например, пользователь может прокручивать содержимое набора рекомендованного содержимого путем активации мыши, клавиши клавиатуры или взаимодействия с сенсорным экраном соответствующего мобильного устройства связи пользователя.
[00102] В некоторых вариантах осуществления пользователь осуществляет запрос в систему на получение рекомендаций по здоровью. В некоторых вариантах осуществления настоящего технического решения, запрос на рекомендации содержимого может быть создан в ответ на предоставление пользователем явного указания на его/ее желание получать рекомендации содержимого. Например, рекомендательный интерфейс может предоставлять кнопку (или другой активируемый элемент), который позволит пользователю выражать свое желание получить новые или обновленные рекомендации содержимого. В качестве неограничивающего примера, рекомендательный интерфейс может предоставить активируемую кнопку, на которой написано «запросить рекомендации содержимого». В рамках этих вариантов осуществления настоящего технического решения, запрос на рекомендации содержимого может считаться «явным запросом» в том смысле, что пользователь явно выражает запрос на рекомендации содержимого.
[00103] В других вариантах осуществления настоящего технического решения, запрос на рекомендации содержимого по здоровью может быть создан в ответ на явное указание от пользователя на желание пользователя получить рекомендации содержимого. В некоторых вариантах осуществления настоящего технического решения, запрос на рекомендации содержимого может быть создан в ответ на то, что пользователь запускает рекомендательное приложение.
[00104] Альтернативно, в тех вариантах осуществления настоящего технического решения, где рекомендательное приложение реализовано в виде браузера (например, браузер GOOGLE™, браузер YANDEX™, a YAHOO!™ браузер или любое другое собственное или коммерчески доступное браузерное приложение), запрос на рекомендации содержимого может быть создан в ответ на то, что пользователь открывает браузерное приложение или мобильное приложение и может быть создано, например, без выполнения пользователем каких-либо действий, кроме активации браузерного приложения. В качестве другого примера, запрос на рекомендации содержимого может быть создан в ответ на открытие пользователем новой вкладки в уже открытом браузерном приложении, и могут быть созданы, например, без выполнения пользователем каких-либо действий, кроме активации новой вкладки браузера. Другими словами, запрос на рекомендации содержимого может быть создан даже без знания пользователя о том, что он может быть заинтересован в получении рекомендации содержимого.
[00105] В некоторых вариантах осуществления настоящего технического решения, каждая рекомендация по здоровью может формироваться с возможностью выполнять их соответствующие один или несколько алгоритмов машинного обучения. В некоторых вариантах осуществления настоящего технического решения, один или несколько алгоритмов машинного обучения могут представлять собой любой подходящий алгоритм машинного обучения с учителем или полуконтролируемого обучения, такой как, например:
[00106] Искусственная нейронная сеть;
[00107] Байесовская статистика;
[00108] Гауссовский процесс регрессии;
[00109] Деревья решений;
[00110] И так далее.
[00111] Следует отметить, что соответствующий один или несколько алгоритмов машинного обучения, выполняемых для формирования рекомендаций содержимого, не обязаны быть одинаковыми.
[00112] Примеры рекомендаций могут быть, но не ограничиваются, текстовыми (например, короткий 20-словный комментарий, причем сформированный автоматически или врачом), непрерывными (например, раскрывающийся список оценок), дискретными в номиналах звезд, графическими (например, репрезентативным изображением, рисунком или фотографией), жестикуляционные (например, проведите пальцем вверх или вниз) или их комбинацию.
[00113] Некоторые рекомендации не могут быть интуитивно понятными для пользователя, просматривающего рекомендацию по здоровью. Система персонализированных рекомендаций в соответствии с вариантами осуществления изобретения представляет одно или несколько объяснений того, почему такие шаги были включены в рекомендацию для пользователя и как они влияют на показатель здоровья, с которым он связан. Объяснение рекомендации может или не может отражать научные статьи и другие научные источники информации, факты, содержащие связи показателей здоровья и действий для варикоза.
[00114] Для отображения сформированных ему рекомендаций пользователь должен указать адрес электронной почты и номер мобильного телефона, если он или она хочет получать информацию о рекомендациях по электронной почте или номеру мобильного телефона. Пользователь также формирует имя пользователя и пароль для доступа к системе. Дополнительно пользователь предоставляет другую идентификационную информацию, такую как имя пользователя, адрес, контактные данные в рамках процесса регистрации, а также отвечает на вопросы в анкете по показателям здоровья.
[00115] Все компоненты данного технического решения могут быть соединены шиной. В некоторых примерах информационная шина включает в себя одну или более информационных шин. Информационная шина может быть реализована в соответствии с протоколом шины локальной сети контроллеров (CAN), который определен Международной организацией стандартизации (ISO) 11898-1, протоколом шины передачи данных мультимедийных систем (MOST), протоколом гибкой информационной CAN-шины (CAN-FD) (ISO 11898-7) и/или протоколом шины K-line (ISO 9141 и ISO 14230-1) и/или протоколом Ethernet™-шины IEEE 802.3 (2002 г.и далее), и т.д.
[00116] Элементы заявляемого технического решения находятся в функциональной взаимосвязи, а их совместное использование приводит к созданию нового и уникального технического решения. Таким образом, все блоки функционально связаны.
[00117] Все блоки, используемые в системе, могут быть реализованы с помощью электронных компонент, используемых для создания цифровых интегральных схем, что очевидно для специалиста в данном уровне техники. Не ограничиваюсь, могут быть использоваться микросхемы, логика работы которых определяется при изготовлении, или программируемые логические интегральные схемы (ПЛИС), логика работы которых задается посредством программирования. Для программирования используются программаторы и отладочные среды, позволяющие задать желаемую структуру цифрового устройства в виде принципиальной электрической схемы или программы на специальных языках описания аппаратуры: Verilog, VHDL, AHDL и др. Альтернативой ПЛИС могут быть программируемые логические контроллеры (ПЛК), базовые матричные кристаллы (БМК), требующие заводского производственного процесса для программирования; ASIC специализированные заказные большие интегральные схемы (БИС), которые при мелкосерийном и единичном производстве существенно дороже.
[00118] Обычно, сама микросхема ПЛИС состоит из следующих компонент:
• конфигурируемых логических блоков, реализующих требуемую логическую функцию;
• программируемых электронных связей между конфигурируемыми логическими блоками;
• программируемых блоков ввода/вывода, обеспечивающих связь внешнего вывода микросхемы с внутренней логикой.
[00119] Также блоки могут быть реализованы с помощью постоянных запоминающих устройств.
[00120] Таким образом, реализация всех используемых блоков достигается стандартными средствами, базирующимися на классических принципах реализации основ вычислительной техники.
[00121] Как будет понятно специалисту в данной области техники, аспекты настоящего технического решения могут быть выполнены в виде системы, способа или компьютерного программного продукта. Соответственно, различные аспекты настоящего технического решения могут быть реализованы исключительно как аппаратное обеспечение, как программное обеспечение (включая прикладное программное обеспечение и так далее) или как вариант осуществления, сочетающий в себе программные и аппаратные аспекты, которые в общем случае могут упоминаться как «модуль», «система» или «архитектура». Кроме того, аспекты настоящего технического решения могут принимать форму компьютерного программного продукта, реализованного на одном или нескольких машиночитаемых носителях, имеющих машиночитаемый программный код, который на них реализован.
[00122] Также может быть использована любая комбинация одного или нескольких машиночитаемых носителей. Машиночитаемый носитель хранилища может представлять собой, без ограничений, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, аппарат, устройство или любую подходящую их комбинацию. Конкретнее, примеры (неисчерпывающий список) машиночитаемого носителя хранилища включают в себя: электрическое соединение с помощью одного или нескольких проводов, портативную компьютерную дискету; жесткий диск, оперативную память (ОЗУ), постоянную память (ПЗУ), стираемую программируемую постоянную память (EPROM или Flash-память), оптоволоконное соединение, постоянную память на компакт-диске (CD-ROM), оптическое устройство хранения, магнитное устройство хранения или любую комбинацию вышеперечисленного. В контексте настоящего описания, машиночитаемый носитель хранилища может представлять собой любой гибкий носитель данных, который может содержать или хранить программу для использования самой системой, устройством, аппаратом или в соединении с ними.
[00123] Программный код, встроенный в машиночитаемый носитель, может быть передан с помощью любого носителя, включая, без ограничений, беспроводную, проводную, оптоволоконную, инфракрасную и любую другую подходящую сеть или комбинацию вышеперечисленного.
[00124] Компьютерный программный код для выполнения операций для шагов настоящего технического решения может быть написан на любом языке программирования или комбинаций языков программирования, включая объектно-ориентированный язык программирования, например Java, Smalltalk, С++ и так далее, и обычные процедурные языки программирования, например язык программирования «С» или аналогичные языки программирования. Программный код может выполняться на компьютере пользователя полностью, частично, или же как отдельный пакет программного обеспечения, частично на компьютере пользователя и частично на удаленном компьютере, или же полностью на удаленном компьютере. В последнем случае, удаленный компьютер может быть соединен с компьютером пользователя через сеть любого типа, включая локальную сеть (LAN), глобальную сеть (WAN) или соединение с внешним компьютером (например, через Интернет с помощью Интернет-провайдеров).
[00125] Аспекты настоящего технического решения были описаны подробно со ссылкой на блок-схемы, принципиальные схемы и/или диаграммы способов, устройств (систем) и компьютерных программных продуктов в соответствии с вариантами осуществления настоящего технического решения. Следует иметь в виду, что каждый блок из блок-схемы и/или диаграмм, а также комбинации блоков из блок-схемы и/или диаграмм, могут быть реализованы компьютерными программными инструкциями. Эти компьютерные программные инструкции могут быть предоставлены процессору компьютера общего назначения, компьютера специального назначения или другому устройству обработки данных для создания процедуры, таким образом, чтобы инструкции, выполняемые процессором компьютера или другим программируемым устройством обработки данных, создавали средства для реализации функций/действий, указанных в блоке или блоках блок-схемы и/или диаграммы.
[00126] Эти компьютерные программные инструкции также могут храниться на машиночитаемом носителе, который может управлять компьютером, отличным от программируемого устройства обработки данных или отличным от устройств, которые функционируют конкретным образом, таким образом, что инструкции, хранящиеся на машиночитаемом носителе, создают устройство, включающее инструкции, которые осуществляют функции/действия, указанные в блоке блок-схемы и/или диаграммы.
[00127] Слова «пример» или «примерный» используются здесь для обозначения использования в качестве примера, отдельного случая или иллюстрации. Любой вариант реализации или конструкция, описанные в настоящем документе как «пример», не должны обязательно рассматриваться как предпочтительные или преимущественные по сравнению с другими вариантами реализации или конструкциями. Слово «пример» лишь предполагает, что идея изобретения представляется конкретным образом. В этой заявке термин «или» предназначен для обозначения, включающего «или», а не исключающего «или». Если не указано иное или не очевидно из контекста, то «X включает А или В» используется для обозначения любой из естественных включающих перестановок. То есть если X включает в себя А; X включает в себя В; или X включает А и В, то высказывание «X включает в себя А или В» является истинным в любом из указанных выше случаев. Кроме того, артикли «а» и «ап», использованные в англоязычной версии этой заявки и в прилагаемой формуле изобретения, должны, как правило, означать «один или более», если иное не указано или из контекста не следует, что это относится к форме единственного числа. Использование терминов «вариант реализации» или «один вариант реализации» или «реализация» или «одна реализация» не означает одинаковый вариант реализации, если это не указано в явном виде. В описании термины «первый», «второй», «третий», «четвертый» и т.д. используются как метки для обозначения различных элементов и не обязательно имеют смысл порядка в соответствии с их числовым обозначением.
[00128] Принимая во внимание множество вариантов и модификаций раскрываемого изобретения, которые, без сомнения, будут очевидны лицу со средним опытом в профессии после прочтения, изложенного выше описания, следует понимать, что любой частный вариант осуществления изобретения, приведенный и описанный для иллюстрации, ни в коем случае не должен рассматриваться как ограничение. Таким образом, ссылки на подробное описание не должны рассматриваться как ограничение объема притязания, который содержит только признаки, рассматриваемые в качестве сущности изобретения.
ИСПОЛЬЗУЕМЫЕ ИСТОЧНИКИ ИНФОРМАЦИИ
1. YALTIRIK Н. P. Therapeutic options to delay the progress of chronic venous disease: the example of micronized purified flavonoid fraction //Medicographia. - 2018. - T. 40. - №. 2. - C. 88-94.
2. Практическая оценка венозного риска: Флебоскор, кафедра сосудистой медицины, Париж, Франция. 2000; 81: 12-15.* (*Р. Blanchemaison. Evaluation pratique du risque veineux: le Phleboscore. Act Vase Int. 2000;81:12-15.)