При переплавке металлолома важно, чтобы в нем не было посторонних предметов и жидкостей. Любой опасный предмет в лучшем случае нарушит технологию плавки, а в худшем — приведет к травмам. Например, зимой в металлоломе часто встречается лед, который во время плавки вызывает так называемые «хлопки» и может повредить оборудование стоимостью в миллионы рублей. Я, Никита Лазарев, сотрудник сервиса Open Innovations в компании «Северсталь». Расскажу, как мы совместно с технологами «Северсталь Вторчермета» и сотрудниками Дирекции по техническому развитию и качеству использовали тепловизор для поиска обледеневшего лома на промплощадке «Северсталь Вторчермета» и каких результатов добились. Задача сталеплавильного производства — получить сталь из сырья, чугуна и металлолома. Для этого в конвертер заливается чугун, и туда же помещается спрессованный металлолом. Если в ломе есть большие куски снега или льда (например, кусок трубы со льдом внутри), то во время плавки может получиться примерно то же, что происходит при попадании воды на раскаленную сковородку с маслом. Обычно этот процесс сопровождается громким звуком, за что в цехе его называют «хлопок». Хлопки бывают разные. Слабые хлопки только создают звук, опасных последствий от них нет. А вот сильные хлопки приводят к выбросам пламени, металла и шлака, из-за чего могут повредиться сам конвертер или установленное рядом с ним оборудование.  За 2019 год у нас было более 10 хлопков. Несмотря на то, что лишь несколько из них были сильными, материальный ущерб от них составил более 15 миллионов рублей. Зимой в поступающем металлоломе могут быть предметы с большим количеством льда или снега внутри. Например, труба, бочка или канистра с замерзшей внутри жидкостью, землей и пр. Человек просто не в состоянии увидеть, что находится внутри таких предметов (например, если это замятая труба со льдом внутри).  Применяются разные технологические способы минимизации рисков хлопков, но они не гарантируют их исключения. Поэтому мы решили найти новый способ, который позволит нам ещё на этапе сортировки металлолома находить все опасные предметы. Была выдвинута гипотеза: металл, содержащий в себе лёд, смерзшуюся землю и т.п., сохраняет более низкую температуру по сравнению с прочим металлоломом. И мы решили попробовать увидеть эту разницу температур с помощью тепловизора.  Эта идея пришла к нам весной 2020 года, когда снега уже практически не было. Чтобы не дожидаться следующей зимы, мы решили создать условия для эксперимента искусственно, а именно: провести натурный эксперимент. Для этого мы подготовили шесть образцов: Пустой огнетушитель без горловины. Внутри — воздух окружающей среды. Разряженный огнетушитель, закрытый. Огнетушитель, наполненный водой. Огнетушитель, наполненный землей. Заряженный рабочий огнетушитель. Огнетушитель, облитый водой. Это необходимо для образования ледяной корки. По нашей гипотезе, огнетушители №3 и №5 должны были выделяться на термограмме даже через несколько дней с момента начала эксперимента. Огнетушитель №6 понадобился нам для проверки ещё одной гипотезы: несмотря на наличие на нем ледяной корки, он не должен быть зафиксирован тепловизором как опасный предмет. Тонкая ледяная корка может присутствовать почти на всём металлоломе, и если температура такого предмета (огнетушитель №6) будет равна температуре предмета со льдом внутри (огнетушитель №3), это приведет к ложным срабатываниям. Наш эксперимент должен был опровергнуть или доказать и это предположение. Шаг 1. Сначала мы поместили огнетушители на двое суток в морозильную камеру с температурой -14...-16 °C. Так мы заморозили весь металлолом до одинаковой температуры. Шаг 2. Затем мы переместили огнетушители на трое суток в другую морозильную камеру, с температурой от -2 до - 5 °C. Это имитация того, что огнетушители прибыли на нашу промплощадку и находятся в цехе или возле цеха на открытой площадке.  В течение этих дней мы анализировали скорость поглощения тепла у огнетушителей. Нам нужно было убедиться, что лом со льдом внутри будет различим на термограмме даже через 2-3 дня нахождения при такой температуре. Вот фотографии, сделанные тепловизором FLIR P640 на первый и третий дни эксперимента. На снимках видно, что даже на третий день тепловизор четко фиксирует разницу в цветном градиенте между «опасными» образцами (3, 5) и остальными. Кроме того, мы убедились, что температура образца №6 не равна температуре образцов №3,5. Соответственно, корка льда на прочем металлоломе не будет выделяться как опасный предмет. Так как эксперимент в искусственных условиях оказался удачным, зимой 2020-2021 гг. мы решили провести испытания уже в реальных условиях, на одном из участков сортировки лома. Для этого мы закрепили тепловизор на мост крана, расположив под ним для анализа металлолом различного вида. В металлоломе были как обычный металл, так и несколько опасных предметов: труба с замерзшей землей внутри, кусок замерзшего бетона и брикет спрессованной стружки  (крайний справа). Мы сделали снимок с тепловизора (COX CG-640), на котором видно, что обледеневшие объекты отличаются от остальных по температуре и четко распознаются в черно-белом градиенте.   Также мы попробовали сделать цветную термограмму, как для огнетушителей. Но оказалось, что на цветном градиенте практически ничего нельзя различить, и черно-белый снимок гораздо лучше подходит для наших условий. Вот то же самое фото, сделанное в цветном градиенте. Затем мы проверили еще одну гипотезу. В вагонах с ломом часто находится небольшое количество снега. Нам нужно было убедиться, что тепловизор не будет ошибочно выдавать этот снег за опасный лом. Дело в том, что небольшое количество снега не может спровоцировать хлопок, как и тонкая ледяная корка в эксперименте с огнетушителями. Эксперимент мы проводили на полувагоне (так на железной дороге называют вагон без крыши) с металлоломом. Внутри вагона кроме металлолома был небольшой слой снега. На примере одного случая наша гипотеза подтвердилась — на термограммах снег не фиксируется в черно-белом градиенте, следовательно, не распознается как опасный предмет. Но мы будем проводить больше таких экспериментов, чтобы убедиться в этом наверняка. Наши испытания доказали, что тепловизор можно применять на производстве для поиска обледеневшего лома. Но чтобы этот способ приносил больше пользы, процесс нужно автоматизировать. Сейчас термограмму анализируют люди — машинист крана или контролер. Мы хотим настроить автоматическое распознавание и избавить их от необходимости заниматься анализом каждой термограммы, сфокусировав их внимание на действительно опасных случаях. Для этой цели планируется применить компьютерное зрение, специалисты по которому тоже есть в нашей компании, и их команда продолжает расти. О результатах пилотного проекта по применению зрения Хищника планируем рассказать вам в следующем году, когда пройдет полный цикл накопления данных, обучения моделей и пробной эксплуатации системы. Хабравчане, а у вас есть опыт применения компьютерного зрения в связке с тепловизорами? Напишите в комментариях!