Система и способ дистанционного измерения физиологических параметров
SYSTEM AND METHOD FOR REMOTE MEASUREMENT OF PHYSIOLOGICAL PARAMETERS

Область техники
[0001] Настоящее изобретение относится к области дистанционного определения физиологических параметров объекта. Более конкретно, настоящее изобретение относится к программно-аппаратному комплексу, состоящему из многофункциональной камеры, и способному распознавать физиологические параметры человека, изменение которых может свидетельствовать о заболевании.
Уровень техники
[0002] Ранее выявление ухудшения состояния здоровья принципиально важно для экономики. Действительно, больной сотрудник не только неэффективно выполняет свою работу, но и может стать угрозой здоровью своих коллег. Именно поэтому в последнее время начали активно развиваться технологии дистанционного мониторинга здоровья персонала.
[0003] На данный момент существует довольно большой рынок решений описанной проблемы. Например, одними из таких решений являются системы, основанные на самоотчетах сотрудников. Однако данный способ не является ни точным, ни объективным, ни достоверным. Следующий пример решения уже имеет дело с дистанционным измерением температуры. Действительно, тепловизоры считаются довольно простым решением, за что и получили широкое распространение. Так, в патентах US9723229B2 (опубл. 27.08.2010; МПК: H04N5/332; G01J5/02; G01J5/025; G01J5/0265; G01J5/028; G01J5/04; H04N5/2252; H04N5/2256; H04N5/23229; H04N5/23293; H04N5/3651; H04N5/2258), US9883084B2 (опубл.12.03.2011, МПК: H04N5/2252; G01J5/0205; G01J5/0265; G01J5/04; H04N5/2253; H04N5/2258; H04N5/332) US9204806B2 (опубл.22.08.2002, МПК: A61B5/01; G06F19/3418; G16H40/63) описываются устройства, базирующиеся на тепловом обнаружении объектов и предсказании их состояния здоровья на основе температурных данных. Но такой физиологический параметр как температура человека не всегда является надежным предиктором наличия заболевания, да и сам процесс измерения сопряжем с проблемой идентификации индивида. Таким образом, только те технологии, которые используют комбинирование различных объективных методов обнаружения симптомов заболевания, должны стать лучшим решением проблемы отслеживания состояния здоровья работников.
[0004] Физиологическими параметрами, которые в первую очередь отклоняются от нормы при заражении, помимо температуры, также являются частота сердечных сокращений (ЧСС) и частота дыхания (ЧД), из-за чего их выгодно учитывать при контроле здоровья человека. Одновременный учет этих и других параметров описывается, например, в устройствах следующих патентов: CN103782300B (опубл. 05.07.2011, МПК: G16H40/67; A61B5/0002; A61B5/0022; A61B5/1038), WO2015143085A1 (опубл. 18.03.2014, МПК: G08B21/0453; A61B5/0022; G08B21/043; G08B21/0446; G16H40/67), US20140032234A1 (опубл. 26.07.2012, МПК: A61B5/1118; A61B5/0022; A61B5/0205; G16H40/67; G01G19/44). В них основная идея реализации заключается в считывании показателей нескольких датчиков, не связанных друг с другом, и обработки данной информации на отдельном контролере/сервере. При этом основной недостаток данных решений состоит в разрозненности устройств, которая выражается в том, что для реализации какой-то части функционала необходимо свое отдельное устройство. Данное обстоятельство решает настоящее изобретение, которое предоставляет единый программно-аппаратный комплекс для оценки состояния здоровья человека.
[0005] Действительно, настоящее изобретение имеет отношение к устройствам удаленного мониторинга определенных физиологических параметров. Воплощенные в едином корпусе видеокамера, инфракрасная камера, с возможностью установки дополнительных датчиков, обеспечивают минимальный полный набор измерений, на основании комбинирования которых, можно с высокой точностью оценить состояние здоровья конкретного индивида. Для реализации данной технологии, а именно для идентификации данных измерений, существенным является применение ML-алгоритмов, позволяющих проводить сравнение известных данных с получаемыми для принятия решения об идентификации признаков заболевания. Подобных технологий существует большое множество. Например, в патенте CN105426857B (опубл.25.11.2015, МПК: G06K9/00288) описан способ обучения модели распознавания человека по изображению его лица или части лица. А в патентах US9251598B2 (опубл. 10.04.2014, МПК: G06T7/2093; H04N7/181; G06K9/00771; G06T7/292; G06T7/564; G06T7/77; G06K2209/40; G06T2207/10004; G06T2207/30196; G06T2207/30232), US9530060B2 (опубл. 17.01.2012, МПК: G06K9 / 00718, A61B5 / 7282, A61B5 / 1128, G06T7 / 579 и др.) авторы добились того, что обучили программы создавать 3D образы объектов на основе большого количества 2D изображений. То есть на основе данных камер рабочего пространства программы умеют распознавать объект и следить за ним. А алгоритм, описанный в патенте KR101640077B1 (опубл. 05.06.2009, МПК: G06K9/00315; G06K9/00335; G06K9/00342; G06K9/6232; G06K9/6255; G06K9/6297) может не только отслеживать положение человека в пространстве, но и распознавать выражение лица и человеческую деятельность. Так как в данных аналогах используется только база видеоданных, то их работа может быть недостаточно точной, что решается в настоящем изобретении.
[0006] Ближайшими аналогами рассматриваемого изобретения по распознаванию человека и слежению за ним можно считать US9817017B2 (опубл. 17.10.2011, МПК: G01P13/00; G01S17/50; G06K9/00771; G08B13/19686) и US20140243686A1 (опубл. 17.10.2011, МПК: A61B5/1113; A61B5/0013; A61B5/1114; A61B5/1118; G06F19/00; G06F19/3418; G16H40/67; G16H50/30). В патентах описаны системы раннего предупреждения о снижении состояния здоровья, основанные на данных перемещения человека. Однако рассматриваемое изобретение является уникальным в своем роде, так как использует группу ML-алгоритмов для комбинированного анализа 2D и 3D изображений и данных других датчиков, что в свою очередь обеспечивает не только точное распознавание индивида в пространстве и отслеживание его траекторий и действий, но и достоверные удаленные измерения физиологических параметров.
Раскрытие сущности изобретения
[0007] Задачей настоящего изобретения является создание устройства дистанционного измерения физиологического состояния объекта с выявлением признаков заболевания.
[0008] Данная задача решается заявляемым изобретением за счет достижения такого технического результата, как увеличении точности определения параметров состояния здоровья человека, свидетельствующих о признаках наличия заболевания человека.
[0009] Заявленный технический результат достигается за счет того, что система дистанционного измерения физиологических параметров, включает, крайней мере, одно устройство сбора данных объекта. Устройство сбора данных включает, по крайней мере, одну видеокамеру и одну инфракрасную камеру, выполненные с возможностью формирования первичного и/или вторичного потоков данных, направляемых в устройство передачи данных об объекте и параметрах окружающей среды. Система также включает, по крайней мере, два устройства определения параметров окружающей среды, выполненных с возможностью направления данных о параметрах окружающей среды на устройство передачи данных. Также включает, по крайней мере, одно устройство передачи данных об объекте и параметрах окружающей среды, выполненное с возможностью направления полученных данных на блок обработки данных и, по крайней мере, один модуль накопления данных, содержащий, по крайней мере, одну базу данных, функционально связанный с блоком обработки данных. Также система содержит устройство оповещения и блок обработки данных, включающий программное обеспечение с алгоритмами машинного обучения, выполненный с возможностью на основании получаемого изображения с видеокамеры производить детектирование, распознавание, идентификацию и отслеживание, по крайней мере, одного объекта в области сбора данных; определения целевых параметров объекта; сравнения совокупности целевых параметров объекта с установленным допустимым диапазоном целевых параметров объекта; корректировки параметров с помощью алгоритма машинного обучения, и полученного от инфракрасной камеры параметра о температуре кожного покрова объекта с учетом ранее сохраненных данных о расстоянии объекта до инфракрасной камеры и его размеров и/или параметров, полученных, по крайней мере, от двух устройств определения параметров окружающей среды.
[0010] Возможно расположение, по крайней мере, одной видеокамеры и инфракрасной камеры в едином корпусе устройства сбора данных. Также возможно расположение, по крайней мере, одного устройства сбора данных объекта и устройства определения параметров окружающей среды расположены в едином корпусе.
[0011] Возможно выполнение блока обработки данных с возможностью передачи результатов сравнения совокупности данных объекта, полученных от устройства сбора данных, с установленным диапазоном значений данных объекта, корректируемых алгоритмом машинного обучения, на устройство оповещения.
[0012] Инфракрасная камера представляет собой тепловизор.
[0013] Устройство определения параметров окружающей среды может представлять собой устройство измерения освещенности, устройство измерения влажности воздуха, устройство измерения температуры окружающей среды, устройство измерения атмосферного давления, устройство определения концентрации пыли в воздухе, устройство определения концентрации газов в воздухе, устройство определения концентрации органических веществ в воздухе.
[0014] Блок обработки данных может включать материнскую плату, переходную плату процессора TPU, в частности Coral, блок обработки данных, полученных с устройства определения параметров окружающей среды.
[0015] Параметры окружающей среды, полученные, по крайней мере, от одного устройство определения параметров окружающей среды используют при калибровке инфракрасной камеры.
[0016] Модуль накопления данных содержит файлы конфигурации, включающие допустимые диапазоны целевых параметров объекта.
[0017] Блок обработки данных выполнен с возможностью определения целевых параметров, таких как частота сердечных сокращений и/или температура кожных покровов идентифицированного объекта. Также блок обработки данных выполнен с возможностью определения факта изменения механики движения объекта.
,
[0018] Технический результат достигается за счет осуществления способа состоящего из следующих этапов: по крайней мере, одна видеокамера получает изображение и направляет его в блок обработки данных, блок обработки данных на основании полученного от видеокамеры изображения осуществляет детектирование объекта в области сбора данных и направляет информацию о детектированных областях инфракрасной камере, осуществляет распознавание и идентификацию объекта в детектированных областях, при этом при распознавании определяют расстояние до распознаваемого объект и его размеры. Параметры распознанного объекта сохраняют в базу данных. Одновременно определяют целевые параметры объекта, при этом корректируют с помощью алгоритма машинного обучения полученный инфракрасной камерой параметр с учетом ранее сохраненных данных о расстоянии объекта до инфракрасной камеры и его размеров. Одновременно устройство определения параметров окружающей среды фиксирует показатели параметров окружающей среды,  осуществляют сравнение определенных целевых параметров объекта с установленным допустимым диапазоном целевых параметров объекта. В случае, если целевые параметры идентифицированного объекта выше или ниже установленного допустимого диапазона целевых параметров объекта, осуществляют передачу определенных параметров устройству оповещения. Параметры объекта, которые выше или ниже установленного диапазона значений данных объекта, сохраняют в базе данных.
[0019] Дополнительно могут осуществлять дополнительную калибровку инфракрасной камеры с учетом данных, полученных, по крайней мере, от одного устройства определения параметров окружающей среды.
[0020] Программное обеспечение с алгоритмами машинного обучения может идентифицировать и распознавать объект по изображению части лица и тела.
[0021] В результате интерпретации собранных данных объекту могут присваивать класс состояния здоровья.
[0022] На основании собранных данных от устройства сбора данных, программное обеспечение с алгоритмами машинного обучения может определять наличие или отсутствие индивидуальных средств защиты на объекте.
[0023] Блок обработки данных на основании полученного от видеокамеры изображения осуществляет определение траектории движения объекта в области сбора данных
[0024] По окончанию идентификации объекту присваивают идентификационной номер.
[0025] Осуществляют передачу параметров устройству оповещения при определении факта изменения механики движения объекта. При этом определяют факт изменения механики движения объекта с использованием алгоритмов машинного обучения.
Описание чертежей
[0026] На Фиг. 1 изображен общий вид элементов комплекса без лидара.
[0027] На Фиг. 2 изображен блок с устройством сбора данных и датчиком освещения.
[0028] На Фиг. 3 изображен блок обработки данных и блок устройств определения параметров окружающей среды.
[0029] На Фиг. 4 изображен общий вид комплекса без лидара в сборе.
[0030] На Фиг. 5 изображен общий вид элементов комплекса с лидаром.
[0031] На Фиг. 6 изображен общий вид элементов комплекса с лидаром в сборе.
[0032] На Фиг.7 изображен алгоритм функционирования элементов комплекса.
[0033] На Фиг.8 изображен алгоритм функционирования элементов комплекса при калибровке инфракрасной камеры.
[0034] На Фиг.9 изображен алгоритм определения признаков заболевания блоком обработки данных.
[0035] На Фиг.10 изображен алгоритм определения признаков заболевания блоком обработки данных с предварительной корректировкой инфракрасной камеры.
[0036] Указанные фигуры поясняются следующими позициями:
[0037] 101 - блок с устройством сбора данных,
[0038] 102 - блок обработки данных,
[0039] 103 - блок устройств определения параметров окружающей среды,
[0040] 104 - перегородка корпуса комплекса,
[0041] 105 - верхняя панель корпуса комплекса,
[0042] 106 - нижняя панель корпуса комплекса,
[0043] 107 - задняя панель корпуса комплекса,
[0044] 108 - передняя панель корпуса комплекса,
[0045] 109 - боковые пластины корпуса блока с устройством сбора данных,
[0046] 110 - крепление корпуса комплекса,
[0047] 111 - вентилятор охлаждения блока материнской платы,
[0048] 201 - видеокамера,
[0049] 202 - инфракрасная камера,
[0050] 203 - монтажная пластина инфракрасной камеры,
[0051] 204 - датчик измерения уровня освещенности,
[0052] 205 - вентилятор блока с устройством сбора данных,
[0053] 206 - задняя пластина блока с устройством сбора данных,
[0054] 301 - материнская плата,
[0055] 302 - процессор (TPU, Google Coral),
[0056] 303 - переходная плата процессора (TPU, Google Coral),
[0057] 304 - датчик качества воздуха,
[0058] 305 - датчик определения температуры, влажности, давления,
[0059] 306 - блок обработки данных датчиков,
[0060] 307 - монтажная плата датчиков,
[0061] 501 - лидар,
[0062] 502 - блок питания,
[0063] 503 - радиатор,
[0064] 700 - 902 представлены далее по тексту.
Подробное описание изобретения
[0065] В приведенном ниже подробном описании изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, очевидно, каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них.
[0066] На Фиг.1 изображен комплекс дистанционного измерения физиологических параметров человека без лидара. Элементы комплекса расположены в едином корпусе. Корпус состоит из верхней (105), нижней (106), задней (107), передней (108) панелей. Корпус устройства сбора данных (101) содержит боковые пластины (109). Боковые пластины (109) позволяют отделить блок с устройством сбора данных без демонтажа остальных пластин корпуса. Таким образом, возможно осуществление работ по демонтажу и корректировке элементов блока (101) без полного демонтажа комплекса. Панели (105, 106, 107, 108, 109) могут быть зафиксированы между собой любым способом и любым известным пригодным крепежным изделием. Корпус фиксируется к поверхности за счет крепления (110). Как правило, комплекс размещают таким образом, чтобы в область сбора данных попадал весь объект, и не создавалось препятствий для осуществления функционирования системы и сбора данных. Например, возможна фиксация на потолке, а также на стенах. Возможно использование любого крепежного устройства и изделия (110). Использование конкретного вида крепления (110) на достижение технического результата не влияет.
[0067] Комплекс состоит из трех блоков: блок с устройством сбора данных (101) и датчик измерения уровня освещенности (204), блок обработки данных (102), блок устройства определения параметров окружающей среды (103). Блоки (101, 102, 103) расположены также в едином корпусе. При этом блок с устройством сбора данных (101) может быть отделен от остальных элементов комплекса перегородкой (104) в целях беспрепятственного демонтажа. Комплекс также содержит вентилятор охлаждения (111) для обеспечения теплообмена и охлаждения блока обработки данных (102).
[0068] На Фиг.2 изображен блок с устройством сбора данных (101) и датчиком измерения уровня освещенности (204). Блок (101) включает в себя видеокамеру (201), инфракрасную камеру (202), расположенную на монтажной пластине (203), датчик измерения уровня освещенности (204). Дополнительно блок (201) может включать в себя вентилятор (205) для осуществления теплообмена. Видеокамера (201), инфракрасная камера (202), датчик измерения уровня освещенности (204) расположены в едином корпусе, который состоит из передней панели корпуса комплекса (108), боковых пластин (109) и задней пластины (206) блока (101).
[0069] Наилучшей реализацией является использование видеокамеры (201) высокого разрешения с широкоугольным объективом и минимальной кадровой частотой съемки. Тем самым, видеокамера (201) собирает детализированные изображения в области сбор данных. Под областью сбора данных подразумевается часть пространства, в котором устройство сбора данных осуществляет соответствующий скрининг/действие/получение изображения. Так как фокусное расстояние у видеокамеры и инфракрасной камеры разные, область сбора данных определяют как область совпадения фокусного расстояния указанных устройств. Таким образом, точность определения температурного режима на расстояние повышается. Видеокамера (201) обеспечивает получение 2D изображения, которое затем передает на блок обработки данных (102). На основании изображения блок обработки данных (102) выявляет некоторые признаки изменения физиологического состояния человека. Например, изменение механики движения объекта, в частности, скорость перемещения, траектория перемещения, движения, свидетельствующие о чихание объекта, учащенном дыхании и т.д. Также на основании изображения, полученного с видеокамеры (201), осуществляется идентификация, детектирование, распознавание и определение трекинга объекта (траектории перемещения) в области сбора данных, что необходимо для увеличения точности определения изменений параметров состояния здоровья конкретного человека.
[0070] Устройство сбора данных, помимо видеокамеры (201) включает инфракрасную камеру (202) для дистанционного измерения температуры объекта, зафиксированную на монтажной пластине (203) внутри блока (101). Инфракрасная камера может быть активного действия, пассивного действия, например, тепловизор, комбинированного действия. Инфракрасная камера (202) необходима для дистанционного измерения температуры поверхности тела наблюдаемого объекта. Причем измерение температуры происходит на самых тонких кожных местах, например, на кожной поверхности вокруг глаз, на шее. Информация о температуре кожных покровов объекта в дальнейшем учитывается при принятии решения блоком обработки данных о наличии/отсутствии признаков заболевания у наблюдаемого человека. Калибровка инфракрасной камеры (202) производится вручную, в начале использования. Затем осуществляется с учетом данных с датчиков (204, 304, 305) по мере необходимости (калибровка заданного порога). Калибровка инфракрасной камеры осуществляется с помощью программного обеспечения с алгоритмами машинного обучения путем сравнения базы данных, полученных от датчиков (204, 304, 305) и библиотеки с допустимыми параметрами. Совместное использование видеокамеры (201) и инфракрасной камеры (202) позволяет установить расстояния объекта до видеокамеры (201) и пороговые значения, которые будут учитываться при определении признаков заболевания. Определение расстояния также необходимо для корректировки параметров температуры кожных покровов, полученных от тепловизора.
[0071] В блоке с устройством сбора данных (101) могут дополнительно использовать такое устройство определения параметров окружающей среды как датчик измерения уровня освещенности (204). Датчик (204) позволяет учитывать информацию об освещенности в помещении и скорректировать допустимые параметры механики движения объекта. Так, например, недостаточная освещенность может стать причинной уменьшения скорости перемещения объекта. Или, например, являться условием для реализации такого рефлекторного дыхательного акта, как зевота. Зевота может свидетельствовать как о выработке мелатонина в связи с затемненностью помещения, так и о вероятном заболевании человека. Датчик (204) расположен совместно с устройством сбора данных в едином блоке (101), так как он должен иметь возможность получать информацию об освещении в помещении. Параметры датчика (204) учитываются при калибровке инфракрасной камеры (202).
[0072] На Фиг.3 изображен блок обработки данных (102). Блок (102) включает в себя блок материнской платы и блок обработки данных, получаемых с устройств определения параметров окружающей среды (306). Блок материнской платы включает в себя материнскую плату (301), на которой расположен процессор (302), установленный на переходной плате (303). Процессор (302) выполнен с возможность обучения нейронной сети. Процессор (302) выполнен в виде TPU, в частности Coral. При этом процессор может содержать минимум 2 Coral Accelerator Module, функционирующих одновременно. Такое сочетание увеличивает скорость обработки информации, что позволяет учитывать и обрабатывать множество входящих данных о нескольких идентифицированных объектов в области сбора данных. При этом комплекс осуществляет функционирование даже в том случае, если один или несколько объектов находились в области сбора данных несколько секунд.
[0073] Также на Фиг.3 изображены элементы блока устройств определения параметров окружающей среды (103). Устройства определения параметров окружающей среды могут быть представлены в качестве датчиков определения качества воздуха (304), датчиков определения температуры окружающей среды, влажности воздуха, давления в помещении (305). Датчики (304, 305) расположены на монтажной плате (307).
[0074] Использование датчиков измерения температуры (305) напрямую влияет на получаемые данные. Повышенная температура в помещении может провоцировать повышение температуры тела объекта, учащение дыхания, пульса, а также напрямую влияет на скорость и характер перемещения объекта.
[0075] Использование датчиков измерения давления (305) также влияет на допустимые параметры температуры кожных покровов наблюдаемого объекта, механики движения наблюдаемого объекта, частоты сердечных сокращений. Повышенное давление может способствовать учащению сердечных сокращений, повышению температуры тела, например, у людей с артериальной гипертонией, а также влиять на механику перемещения объекта. Например, в случае повышенного давления, человек может двигаться медленнее, в связи с возникающими головными болями.
[0076] Использование датчиков измерения содержания вредных веществ (304) в воздухе также напрямую влияет на механику движения объектов, температуру кожных покровов и частоту сердечных сокращений. Повышенное содержание пыли, газов, органических веществ неблагоприятно воздействует на дыхательную систему человека. В следствии чего человек может реагировать таким безусловным рефлексом как чихание, которое в том числе может способствовать повышению температуры тела человека и учащению сердечных сокращений.
[0077] Использование в качестве устройства определения параметров окружающей среды датчиков измерения влажности воздуха (305) позволяет осуществить калибровку инфракрасной камеры. Повышенная влажность в помещении может провоцировать у человека повышение температуры тела, учащение частоты сердечных сокращений, замедление перемещения, повышенную утомляемость, головную боль. Важную роль в калибровке тепловизора играют датчики определения уровня влажности (305), поскольку данный критерий напрямую связан с определением температуры кожных покровов и при определенных условиях (пустыня, тропические климатические зоны, - данная калибровка необходима). Указанные физиологические изменения могут являться как следствием наличия у объекта заболевания, так и повышенного или пониженного уровня влажности воздуха.
[0078] Датчики определения параметров окружающей среды (204, 304, 305) также повышают точность интерпретации физиологических параметров человека за счет калибровки работы инфракрасной камеры (202), и позволяют сделать вывод о том, действительно ли объект имеет признаки заболевания или изменение его состояния обусловлено параметрами окружающей среды. С учетом информации, полученной от датчиков (204, 304, 305), осуществляют корректировку полученных от видеокамеры значений.
[0079] Инфракрасная камера (202) и датчики (204, 304, 305) функционируют параллельно. Информация с датчиков (204, 304, 305) обрабатывается в блоке обработки данных датчиков (306) и сохраняется в модуле накопления данных в виде архива.
[0080] В предпочтительной варианте реализации используются все перечисленные устройства определения параметров окружающей среды (204, 304, 305).
[0081] На Фиг.4 изображен общий вид комплекса без лидара в сборе. Все элементы комплекса расположены в едином корпусе, сформированным верхней панелью (105), нижней панелью (106), задней панелью (107), передней панелью (108), боковыми пластинами корпуса блока с устройством сбора данных (109).
[0082] На Фнг.5 изображен общий вид элементов комплекса с лидаром (501). Лидар (501) позволяет увеличить точность определения изменений параметров состояния здоровья человека путем определения дистанции от устройства сбора данных до объекта, получение данных о характере его движения, в том числе благодаря возможности формирования 3D модели. В частности, благодаря лидар (501) можно зафиксировать характерные для зараженного объекта наблюдения движения, например, движения при чихании или кашле. При помощи лидара (501) можно получить данные о частоте сердечных сокращений и частоте дыхания человека. Комплекс устройств с лидаром содержит тот же набор элементов, что и без него: блок с устройством сбора данных (101), блок обработки данных (102), блок устройств определения параметров окружающей среды (не показан на Фиг.5), вентилятор охлаждения блока материнской платы (111), видеокамеру (201), инфракрасную камеру (202), датчик измерения уровня освещенности (не показан на Фиг.5), материнскую плату (301), процессор (302), датчик качества воздуха (не показан на Фиг.5), датчики определения температуры, влажности, давления (не показан на Фиг.5), блок обработки данных датчиков (не показан на Фиг.5). Дополнительно комплекс может включать радиатор (503) для охлаждения блока обработки данных (102).
[0083] Электропитание системы может быть реализовано как в виде автономного блока питания (502), расположенного в корпусе системы, так и путем подключения к любой иной системе электроснабжения. Способ обеспечения и вид источника питания не влияют на достижение заявляемого технического результата.
[0084] На Фиг. 6 изображен общий вид комплекса с лидаром (501) в сборе. Все элементы комплекса расположены в едином корпусе, сформированным верхней панелью (105) и нижней панелью (106).
[0085] В едином корпусе с блоком обработки данных (102) находится устройство беспроводной передачи данных (на фигурах не показано). Данное устройство осуществляет получение изображения от видеокамеры (201), данные о температуре объекта от инфракрасной камеры (202), данные о параметрах окружающей среды от блока обработки данных датчиков (306). При получении одного, нескольких или всех указанных данных устройство беспроводной передачи пересылает их на блок обработки данных (102). В качестве устройства передачи данных могут быть использованы LTE eSim, Wi-Fi модуль, Bluetooth модуль и иные модули беспроводной передачи данных. Использование определенного вида модуля беспроводной передачи данных не влияет на заявляемый технический результат.
[0086] На Фиг. 7 изображен алгоритм функционирования элементов комплекса. Для определения признаков заболевания необходимо получение и определение как минимум следующей совокупности целевых параметров: температура кожных покровов, механика движения, частота сердечных сокращений наблюдаемого объекта. Указанные параметры объекта в заявляемой системе получают благодаря устройству сбора данных, которое включает в себя видеокамеру (201) и инфракрасную камеру (202). Использование сочетания видеокамеры (201) и инфракрасной камеры (202) позволяет получить достаточно информации для осуществления интерпретации получаемых параметров физиологического состояния человека и принимать решение о критичности изменения одного из них. Также указанная совокупность элементов (201, 202) позволяет определить температуру объекта с погрешностью 0,3С° за счет определения расстояния до наблюдаемого объекта и его размере.
[0087] Функционирование системы осуществляется следующим образом: первичный поток данных формируется видеокамерой (201), которая получает изображение и направляет его в блок обработки данных (102) через устройство передачи данных (701). Видеокамера (202) осуществляет постоянное транслирование изображение.
[0088] Блок обработки данных (102) с установленным на нем программным обеспечением с алгоритмами машинного обучения осуществляет детектирование объекта (702), т.е. определяет присутствие человека в области сбора данных. При детектировании определяют область нахождения тела и головы объекта в области сбора данных.
[0089] Информация о детектированных областях одновременно направляется инфракрасной камере (703) для возможности получения параметров температуры наблюдаемого объекта. Инфракрасная камера (202) работает одновременно с видеокамерой (201).
[0090] Из полученных в результате детектирования данных также формируется обучающий классификатор и выборка для дальнейшего обучения алгоритма.
[0091] Затем блок обработки данных (102) осуществляет распознавание (704) и идентификацию объекта (705). В результате распознавания (704) определяют совокупность данных для дальнейшего отслеживания объекта в области сбора данных, в том числе определяют размер тела и головы человека в детектируемых областях, и расстояния до него от системы. Определение расстояния до объекта осуществляют за счет нейронной сети алгоритма. Информация о расстоянии и габаритах объекта сохраняется в базе данных, расположенной в модуле хранения данных. Информация о расстоянии в дальнейшем используется для корректировки полученных значений температуры кожных покровов объекта.
[0092] Объекту с выявленными и определенными параметрами присваивают идентификационной номер (705) и сохраняют (902) их в базе данных (707). Таким образом, возможно присвоение в дальнейшем выявленных целевых параметров конкретному объекту, находящемуся в области сбора данных. Получение и определение целевых параметров идентифицированного объекта осуществляется на каждом кадре его нахождения. В том числе, за счет определения траектории движения.
[0093] Следующим этапом идет получение или определение механики движения объекта, частоты сердечных сокращения и температуры кожных покровов.
[0094] Свидетельствовать о наличие признаков заболевания может, например, кашель или чихание (механика движения). Определение механики движения идентифицированного объекта (скорость, траектория) и частоты сердечных сокращений человека в области сбора данных (901) происходит за счет обучения нейронной сети алгоритма по поведенческому анализу и возможным совпадениям, для дальнейшего исключения ложных событий. Определенные параметры ЧСС и механика движения, в случае выявления признаков заболевания, сохраняются в архив событий в базе данных (706) с присвоением к идентификационному номеру (715). Глубина такого архива ограничивается только возможным объемом модуля хранения данных.
[0095] Одновременно с работой блока обработки данных (102), видеокамерой (201) функционирование осуществляет инфракрасная камера (202). В поле зрения инфракрасной камеры (202) происходит локальное определение температуры по всей зоне охвата (присваивание температуры в области). В базу данных сохраняется вторичный поток данных (708), сформированный информацией о температуре кожных покровов наблюдаемого объекта, полученный от инфракрасной камеры (202). Инфракрасная камера (202) осуществляет получение информации в детектированных областях. База данных расположена в соответствующем модуле хранения данных (на фигурах не показано).
[0096] Сохраненная в базе данных информация о температуре кожных покровов корректируется с учетом ранее сохраненных на этапе распознавания параметрах головы и тела объекта, а также расстояния до него (716). Такая программная калибровка позволяет повысить точность определения температуры объекта, и как следствие, качества функционирования всей системы.
[0097] Затем, данные о температуре кожных покровов, частоте сердечных сокращений и механике движения с присвоенным им идентификационным номером направляют (709) во вторую базу данных (710). Вторая база данных (710) также расположены в модуле хранения данных. Во второй базе данных (710) также содержится информация о допустимом диапазоне значений температуры кожных покровов, частоты сердечного сокращения и механике движения. Данная информация хранится в конфигурационном файле и может быть настроена. Например, может быть установлена верхняя граница температуры объекта в 38C.
[0098] Осуществляют интерпретацию путем классификации физического состояния наблюдаемого живого объекта (711). Классификация осуществляется путем сравнения выявленных и определенных параметров объекта с определенным допустимым диапазоном значений и/или определения факта нарушения механики движения.
[0099] В том случае, если при сравнении выявленных и определенных целевых параметров устанавливается, что один из параметров или совокупность (частота сердечных сокращений, температура кожных покровов) не соответствуют допустимому диапазону и/или определен факт нарушения механики движения, объекту присваивают соответствующий класс. После подается информация (712) на устройство оповещения (713) и сохраняется (714) в первой базе данных (707). В качестве устройства оповещения может выступать сигнальное устройство (звуковое, световое), электронно-вычислительное устройство (компьютер, телефон, планшет) так далее. При выявлении признаков заболевания информация об объекте, например, сотрудника предприятия (идентификационный номер и класс), поступает ответственному лицу на телефон/компьютер.
[00100] На Фиг. 8 изображен алгоритм функционирования элементов комплекса при калибровке инфракрасной камеры. Одновременно с осуществлением детектирования (702), распознавания (704) и идентификации объекта (705) устройства определения параметров окружающей среды (204, 304, 305) фиксируют показатели параметров окружающей среды и определяют (801) их с помощью блока обработки данных (306). Возможно получение таких параметров окружающей среды, как концентрации газов в воздухе, органических веществ в воздухе, пыли, атмосферное давление и температура окружающей среды, уровня влажности воздуха и освещенности. Определенные данные направляются (802) с помощью устройства передачи данных во вторую базу данных (710) в виде архива. Калибровка инфракрасной камеры (202) осуществляется путем сопоставления совокупности получаемых данных от устройств (204, 304, 305) с предварительно заложенной библиотекой (базой данных) параметров функционирования инфракрасной камеры (803). Корректировка осуществляется с помощью программного обеспечения с алгоритмами машинного обучения. Например, в случае высокой температуры окружающей среды (например, 30 °С), получаемая средняя допустимая температура кожных покровов объекта в области сбора данных может составлять 37 °С, что не будет свидетельствовать о наличии заболевания. Для возможности определения температуры объекта с минимизацией фоновых помех в испускаемых радиоволнах необходима калибровка инфракрасной камеры (202). То же самое касается и освещенности, влажности, давления или загрязнения воздуха. Это касается и иных приведенных данных параметров окружающей среды, которые могут влиять на характер движения объекта, температуру кожных покровов и частоту сердечных сокращений. Конкретные примеры возможных изменений допустимых значений очевидны для специалиста и не являются ограничивающими объем правовой охраны.
[00101] Для хранения баз данных используется модуль накопления данных. Модуль накопления данных позволяет программному обеспечению с алгоритмами машинного обучения, расположенному в блоке обработки данных, осуществлять калибровку инфракрасной камеры, а также интерпретацию. В качестве модуля накопления данных могут быть использованы RAM, SSD, BootFlash и т.д. Использование определенного вида модуля накопления данных также не влияет на заявляемый технический результат.
[00102] Перед началом запуска функционирования системы осуществляют физическую настройку программно-аппаратного комплекса. В процессе эксплуатирования реализовывается программная калибровка путем получения информации с устройства определения параметров окружающей среды (204, 304, 305). С учетом этой информации определяется диапазон постоянных изменений параметров, в соответствии с которым осуществляется повторная калибровка.
[00103] Также в рамках подготовительных работ осуществляют обучение нейронной сети на основании имеющейся базы данных о характере перемещения объектов, температуры кожных покровов и частоты сердечных сокращений. Обучение алгоритма возможно на положительных, ложноположительных, отрицательных, ложноотрицательных детекции изображений человека.
[00104] Осуществляют калибровку инфракрасной камеры (803) вышеописанным способом.
[00105] Детектирование объекта осуществляют следующим образом: изображение делится на сетку и предсказывает вероятность нахождения искомого объекта для каждого участка в реальном времени. Для детектирования возможно использование, например, следующих нейронных сетей: YOLOv3, RetinaNet, Faster R-CNN и так далее. Детектирование необходимо для дальнейшего распознавания и идентификации объекта.
[00106] В случае использования нейронной сети YOLOv3, нейросеть делит изображение на сетку (ограничивающие рамки, ячейки), определяет наличие объекта и его класс. Данное действие возможно благодаря разделению изображения на вложения в трех (или более) масштабах за счет экстрактора объектов с последующей подачей полученных функций на ветви детектора. Ограничивающая рамка представлена в формате xmin, ymin, xmax, ymax.  Для того, чтобы избежать несхождения регрессии из-за большой разницы в масштабах используют метод якорной ячейки. Якорная ячейка - ячейка с определенным соотношением сторон. Пропорция якорной ячейки определяется перед обучением нейронной сети. Первоначальные значения якорной ячейки привязываются к ячейкам сетки и имеют общий центройд. В YOLOv3 есть три якорных блока на ячейку и три шкалы сеток. Для каждого якорного блока необходимо предсказать: смещение местоположение объекта относительно якорной ячейки, оценку объектности, чтобы указать, содержит ли этот блок объект, вероятность класса, чтобы идентифицировать класс блока. Нейронная сеть YOLOv3 «смотрит» на все изображение сразу и учитывает контекст, что позволяет осуществлять одновременное распознавание, идентификацию и отслеживание объектов в области сбора данных, как следствие, возможно осуществление сравнение полученной совокупности данный об объекте с допустимым диапазоном, корректируемым с учетом данных с устройства определения параметров окружающей среды и ранее полученной информации об объекте.
[00107] Нейронная сеть RetinaNet состоит из четырех функциональных частей: Backbone - основная базовая сеть, служащая для извлечения признаков из поступающего на вход изображения; Feature Pyramid Net (FPN) - сверточная нейронная сеть, построенная в виде пирамиды, служащая для объединения достоинств карт признаков нижних (высокое разрешение, низкая обобщающая способность) и верхних (низкое разрешение, высокая обобщающая способность) уровней сети; Classification Subnet - подсеть, извлекающая из FPN информацию о классах объектов, решая задачу классификации; Regression Subnet - подсеть, извлекающая из FPN информацию о координатах объектов на изображении, решая задачу регрессии. Каждая из подсетей состоит из четырех слоев сверточных сетей. В слое формируется 256 карт признаков. На пятом слое количество карт признаков изменяется: регрессивная подсеть имеет 4*А карт признаков, классификационная - К*А карт признаков, где А - количество якорных ячеек, К - количество классов объектов. В последнем шестом слое каждая карта признаков преобразуется в набор векторов. Регрессивная модель на выходе имеет для каждой якорной ячейки вектор из 4 значений, указывающих смещение целевой ячейки относительно якорной.
[00108] Нейронная сеть Faster R-CNN содержит модуль Region Proposal Network (RPN). В рамках RPN по извлеченным признакам «скользят нейросетью» с небольшим окном. Полученные с ее помощью значения передаются в два параллельных полносвязанных слоя: box-regression layer (reg) и box-classification layer (cls). Выходы этих слоев базируются на якорях: k рамках для каждого положения «скользящего окна», имеющих разные размеры и соотношения сторон. Reg-слой для каждого такого якоря выдает по 4 координаты, корректирующие положение охватывающей рамки. Cls-слой выдает два числа - вероятности того, что рамка содержит хоть какой-то объект или что не содержит. Процесс обучения reg и cls слоев объединенный. Loss-функцию они имеют общую, представляющую собой сумму loss-функций каждого из них с балансирующим коэффициентом. Оба слоя PRN выдают только предположения для регионов-кандидатов. Те из них, которые имеют высокую вероятность содержания какого-либо объекта, передаются дальше в модуль детектирования объектов и уточнения охватывающей рамки. Для того, чтобы разделять признаки, получаемые в CNN, между RPN и модулем детектирования, процесс обучения всей сети построен итерационно, с использованием нескольких шагов: инициализируется и обучается на определение регионов-кандидатов RPN-часть. С использованием предлагаемых RPN регионов заново обучается Faster R-CNN часть. Обученная сеть детектирования используется, чтобы инициализировать веса для RPN. Общие convolution-слои фиксируются. После чего производится донастройка только слоев, специфичных для RPN. С зафиксированными convolution-слоями окончательно донастраивается Faster R-CNN.
[00109] Задача по распознаванию антропологических параметров лица объекта на изображении и определения его траектории может быть решена с помощью использования каскадного классификатора OpenCV, предварительно обученного на положительных и отрицательных фронтальных изображениях лица. Алгоритм применяется к каждому кадру видео и выводит ограничивающую рамку для каждого обнаруженного лица. Для обеспечения согласованности между кадрами, если в кадре не обнаружено ни одного лица, используется лицо из предыдущего кадра, а если обнаружено несколько лиц, используется лицо, ближайшее к лицу в предыдущем кадре.
[00110] С использованием в результате детектирования и распознавания полученных данных осуществляют идентификацию. Признаки при идентификации формирует вторая нейросеть, обрабатывая комбинированные параметры, полученные от видеокамеры и инфракрасной камеры.
[00111] Измерение частоты сердечных сокращений (901) осуществляется с использованием видеокамеры (201) и блока обработки данных (102). Технология измерения частоты сердечных сокращений может быть реализована через анализ цвета пикселей лица человека. На основании полученного с видеокамеры (201) изображения идентифицированного объекта программное обеспечение с нейронными сетями на блоке обработке данных (102) осуществляет выбор желаемой области интереса (ROI). Поскольку ограничивающая рамка лица, найденная на этапе детектирования, содержит пиксели фона в дополнение к пикселям лица, то ROI должна быть выбрана из ограничительной рамки. Выбор ограничительной рамки может быть осуществлен как с использованием центральной 60% ширины прямоугольника и полную высоту. Возможны и другие вариации выбора ROI, например, удаление области глаз или сегментации изображения лица через функцию энергии. После определения ROI высчитывается среднее количество пикселей по матрице RGB. Затем осуществляют нормализацию сигналов в 30-секундном скользящем окне с шагом в 1 секунду. После чего методом анализа независимых компонентов (ICA) извлекают независимые сигналы. При получении исходных сигналов мы можем применить преобразование Фурье, чтобы исследовать спектр их мощности и определить характерные частоты сигнала. Далее выделяют частотные пики в спектре мощности в диапазоне от 0,75 до 4 Гц, что соответствует физиологическим диапазонам сердечного ритма от 45 до 240 ударов в минуту. Измеренная частота пульса будет частотой в допустимом диапазоне, соответствующей пику с наибольшей величиной.
[00112] Измерение температуры кожных покровов наблюдаемого объекта осуществляется непосредственно инфракрасной камерой в рамке, определенной на этапе детектирования. Таким образом, данные о механике движения и частоте сердечных сокращений определяется блоком обработки данных (102) на основании изображения от видеокамеры (201), а температуры кожных покровов - инфракрасной камерой (202).
[00113] Возможно также получение данных о частоте дыхания объекта. Данная задача решается с помощью инфракрасного видео с использованием алгоритма движения на основе компьютерного зрения. В частности, метод делит каждый кадр на сетку с размером сорок пикселей и на квадраты размером сорок пикселей. Восемь отдельных точек (углов или текстурированной области) выбираются из каждой ячейки сетки. Эти точки отслеживаются в течение 30 секундных окон. Чтобы гарантировать актуальность отслеживаемого движения, вычисляется максимальное смещение от кадра к кадру для каждой отслеживаемой точки.  Один и тот же набор характерных точек может быть использован для оценки частоты дыхания и сердечных сокращений. В скользящих окнах продолжительностью  30 секунд с перекрытием 29 секунд метод применяет анализ главных компонентов (PCA) для оценки частоты дыхания. Этот метод сравнивает  частотный спектр выходных сигналов из независимого компонентного анализа и выбирает частоту с наивысшей гармонической периодичностью в качестве оценки сердечного ритма. Периодичность гармоники определяется путем деления суммы амплитуд основной частоты и ее первых двух гармоник на общую спектральную плотность. Получившаяся дыхательная гармоника используется как оценка частоты дыхания.
[00114] Программное обеспечение содержит алгоритмы машинного обучения. В настоящем изобретении используется оптимальная архитектура нейронной сети для решения указанных задач и достижения технического результата. В случае выявления ошибок в работе программного обеспечения может быть проведено дообучение нейронной сети. Данная особенность программного обеспечения позволяет проводить улучшение системы при функционировании в различных условиях размещения и эксплуатации, уменьшая количество ошибок, что способствует повышению точности определения состояния здоровья объекта наблюдения.
[00115] Дополнительно программное обеспечение с алгоритмами машинного обучения может осуществлять распознавание и фиксировать факт наличия или отсутствия средств индивидуальной защиты на объекте.
[00116] В настоящих материалах заявки представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.