Вы знали, что 2020 год стал самым успешным по объему продаж за 75-летнюю историю американского производителя гитар Fender? Чтобы не сойти с ума в карантин, люди находили спасение в музыке: кто-то пел на балконе, а кто-то брался за гитару, смотрел видеоуроки и учился играть.В такой урожайный год у компании Fender было много работы. Чтобы создавать знаменитые Telecaster’ы, Stratocaster’ы, а также продукцию для поглощенных ранее брендов (Jackson, Gretsch, Charvel, Hamer, Squier), корпорация сотрудничает с двумя тысячами поставщиков по всему миру. Это производители древесины из разных стран, включая Россию, изготовители динамиков из Италии, лакокрасочных покрытий, ламповых усилителей и многого другого. Каждый месяц несколько сотрудников финансового отдела Fender в Скоттсдейле, Аризона, получают около сотни электронных писем с инвойсами (счета-фактуры от поставщиков) и перепечатывают информацию из них в учетные системы, чтобы вовремя рассчитываться с партнерами.  Вы удивитесь, но совсем недавно всю эту кропотливую работу делали вручную. Это вызывало немало неудобств, которые мы перечислим ниже. И Fender, который уже давно использует современные технологии для изготовления инструментов, разрабатывает мобильные приложения для настройки гитар и обучению игре, решил внедрить инновации и в расчеты с поставщиками. Сегодня мы расскажем, как технологии ABBYY для интеллектуальной обработки информации и программные роботы UiPath помогли упростить работу сотрудников финансового отдела Fender: почти исключить досадные ошибки при вводе данных в учетные системы, быстрее рассчитываться с поставщиками и уделять больше внимания развитию новых проектов. Кто такой и зачем нужен инвойс? Для производства гитар Fender закупает самые надежные и высококачественные материалы. С некоторыми из поставщиков компания сотрудничает еще со дня основания. С каждым производителем заключается договор на поставку. Когда Fender приобретает комплектующие, вместе с товарами контрагент отправляет инвойс – документ с перечнем товаров и услуг, их количеством и ценой, по которой они поставлены покупателю, и другой информацией. Один из самых важных пунктов в инвойсе – это условия поставки. В них может указываться максимальное количество дней для оплаты, которое есть у Fender. Иногда производитель может предлагать скидку при досрочной оплате. Или, бывает, покупатель мог уже оплатить комплектующие, указанные в счете. Тогда, чтобы избежать путаницы и, как следствие, ненужной переписки покупателя и продавца, некоторые поставщики указывают в счете заглавными буквами, был ли он уже оплачен: Общая стоимость товаров, которые Fender приобретает для выпуска собственных музыкальных инструментов и оборудования, формирует так называемую кредиторскую задолженность. Ее нужно погасить в сроки, указанные в инвойсах или договорах. Как происходила обработка инвойсов? Сканы инвойсов в PDF приходили на общий email Fender. Сотрудник финансового отдела тратил около двух-трех часов в день, чтобы:  найти в почте все сообщения с инвойсами,  переместить их в папки с названиями компаний-поставщиков,  а затем перепечатать из каждого документа значимую информацию – это около 10 полей, включая номер инвойса, дату, номер заказа, количество товаров, стоимость каждого и общую сумму заказа. Работу затрудняло то, что инвойсы в Fender поступают в разных форматах и на разных языках. Иногда содержание документов настолько сложное, что даже специалисту трудно понять их смысл. Приходилось долго разбираться и консультироваться с коллегами. Когда все удавалось прояснить, всю информацию сотрудник вручную переносил в автоматизированную учетную систему SAP, где фиксируется каждый заказ, стоимость товаров, факт их оплаты и многое другое. Этот однообразный ручной труд занимал много времени и требовал высокой концентрации от сотрудников, из-за чего им часто приходилось задерживаться в офисе, и при перепечатке в данные закрадывались ошибки. Кстати, согласно отчету Национального совета безопасности США (National Safety Council) за 2018 год, 7 из 10 сотрудников разных отраслей (транспорт, производство, коммунальные услуги, строительство) страдают от усталости на работе. Утомленные специалисты, как правило, делают больше ошибок и становятся менее продуктивными, не говоря уже об их психологическом состоянии. Платежи поставщикам, хотя и проводились вовремя, не всегда были точны. Из-за этого компания Fender не могла четко подсчитать количество средств, затраченных на растущее производство. Обрабатывать большой объем документов вручную, а еще параллельно выполнять другие важные финансовые задачи по развитию бизнеса становилось все труднее, это было долго, работа грозила превратиться в хаос.   Тогда компания поставила себе задачи: ускорить обработку инвойсов, повысить точность данных, которые извлекаются из документов и переносятся в учетную систему, прекратить проводить неправильные суммы, освободить время сотрудников для менее рутинных задач, например, планирования финансовой стороны новых проектов. В 2019 году Fender начал автоматизировать процесс обработки инвойсов. Для этого компания применила интеллектуальные технологии ABBYY и программных роботов (RPA) UiPath. Для начала провели пилотный проект, в котором участвовали 12 поставщиков. Для удобства Fender попросил их отправлять каждый инвойс отдельным PDF-файлом, а не присылать сразу по несколько счетов в одном документе. Сотрудник находил в почте электронные письма с инвойсами и отправлял каждый документ на платформу ABBYY FlexiCapture. Затем решение ABBYY распознавало данные и автоматически извлекало из PDF 10 полей, о которых мы говорили выше. Потом следовал этап проверки распознанных данных. Почти 80% документов верифицировались без участия человека. Если возникала необходимость проверить распознавание отдельных символов, система подсвечивала их, а специалист уже внимательно просматривал, все ли корректно. Далее автоматически формировался CSV-файл с данными. CSV – текстовый формат, предназначенный для представления табличных данных. Строка таблицы соответствует строке текста, которая содержит одно или несколько табличных полей, разделенных запятыми. Затем благодаря специальному коннектору ABBYY FlexiCapture автоматически передавала CSV-файл роботу UiPath, он вносил уже распознанные и проверенные данные в учетную систему SAP. Как это всегда бывает, не обошлось без трудностей:  Так, решение ABBYY не сразу научилось определять поле «Страна». Но позже это исправили.  Из инвойсов нужно было извлекать 10-значные числовые коды Гармонизированной системы описания и кодирования товаров (ГС). Они описывают товары, которые перевозятся по всему миру, и на их базе работают все современные системы таможенного управления. Например: Извлекать такие коды – непростая задача, так как они расположены в разных местах на инвойсе. Могут быть включены в описание товара, а могут и вовсе отсутствовать. Наши специалисты из ABBYY Professional services дополнительно дообучили ABBYY FlexiCapture, чтобы платформа находила и извлекала эти номера из инвойса, когда поставщики их указывают. Немного об обучении инвойсов Извлекать данные из инвойсов – тоже нелегко. Для их оформления – нет стандартов, каждая компания вольна создавать свой собственный вариант документа: вид, структуру и расположение полей. Мы уже рассказывали на Хабре о различных технологиях, с помощью которых можно обрабатывать инвойсы. В частности, чтобы ABBYY FlexiCapture с высокой точностью извлекала из документов любых типов всю нужную информацию, в продукт встроены технологии машинного обучения. Ниже – общая архитектура нашего решения с использованием нейронных сетей. На вход сети подается целиком страница документа. С помощью сверточных слоев (CNN) формируются различные геометрические признаки, например, взаимное расположение слов относительно друг друга. Далее эти признаки объединяются с векторным представлением распознанных слов (word embeddings) и подаются на рекуррентные (LSTM) и полносвязные слои. Есть несколько различных выходных слоев (multi-task learning), каждый выход решает свою задачу: определение типа поля, которому может соответствовать слово, гипотезы границ таблицы,  гипотезы строк таблицы, границ колонок и др. Если документ многостраничный, то сеть делает свое предсказание для каждой отдельной страницы, потом результаты объединяются. Подробнее можно почитать здесь. С точки зрения пользователя обучение инвойсов устроено так. После того как решение ABBYY извлекло из документа информацию, сотрудник компании (верификатор) проверяет, корректны ли все данные. Бывает, специалист что-то поправляет, допустим, указывает регион того поля, которое программа не нашла. В случае с Fender – это были поля «Страна» и числовой код ГС. Далее незаметно для пользователя (что называется «в фоне») такие документы отправляются в пакеты обучения внутри ABBYY FlexiCapture. Причем в конкретный пакет обучения поступают инвойсы примерно одинаковой структуры, которые, как правило, приходят от одного поставщика. Если после обучения качество извлечения данных стало лучше, то мы применяем этот результат. Если от одного поставщика поступают очень разные изображения, тогда в продукте используется механизм кластеризации. То есть изображения попадают в другой кластер внутри того же самого пакета обучения. Кластеры создаются автоматически, на основе результатов анализа внешнего вида документов. Fender признал пилотный проект удачным и решил использовать технологии для обработки инвойсов от всех поставщиков. На запуск этого проекта потребовалось около трех месяцев, и с июня 2020 года искусственный интеллект заработал в полную силу. Всего ПО ABBYY установлено на двух серверах компании Fender. Для извлечения информации используются семь рабочих станций ABBYY FlexiCapture. Фактически системой пользуются только два человека. С помощью решения ABBYY и UiPath компания Fender автоматизировала весь процесс обработки счетов: он стал занимать на 81% меньше времени. То есть если раньше сотрудники тратили на обработку инвойсов вручную по несколько часов, допустим, около трех, то теперь они могут уделять этой работе около получаса в день. Благодаря этому специалистам финансового отдела больше не приходится работать сверхурочно. Помимо проверки инвойсов, они успевают заниматься финансовой оценкой проектов и анализировать надежность поставщиков, что важно для развития бизнеса Fender. А компания, как всегда, проводит все платежи вовремя. Но только теперь все верно с точностью до цента.