Итоги 2019 года в Искусственном интеллекте

Итоги 2019 года в Искусственном интеллекте

Григорий Сапунов

CTO & Co-Founder Intento, Google developer expert in ML, member of scientific advisory board of Atlas Biomed

Саркис Григорян:

Добрый вечер! Четверг, 19:00 и традиционно мы встречаемся в эфире программы «Искусство интеллекта» на радио Mediametrics. Сегодня у нас в гостях Георгий Сапунов, CTO компании Intento, и мы подведём итоги 19-го года, поговорим о том, что же такого значительного произошло за 19-й год в искусственном интеллекте. И может быть, даже успеем поговорить о том, что нам ожидать в этом году. Григорий, спасибо, что нашёл время.

Григорий Сапунов:

Спасибо, что пригласил, всем привет.

Саркис Григорян:

Расскажи, может быть, начни с новостей из своей компании. Хочу кстати поздравить тебя, потому что ваша компания одна из немногих, которая постоянно попадает в различные индексы зарубежные, которые MIT делает, ещё, вы такие на виду международном, одни из немногих наших, что отрадно. Болею, честно говоря, за вас. Может быть, расскажи, что у вас произошло за этот год, а потом уже поговорим о рынке.

Григорий Сапунов:

Спасибо, раз уж пятиминутка рекламы, почему нет. Мы растём, мы развиваемся, мы пробурили машинный перевод достаточно глубоко, это стало уже очень полезным в разных крупных компаниях, у нас появились крупные международные клиенты. Я не уверен, могу ли я их сейчас называть или нет, на всякий случай пока не буду, следите за новостями. Мы продолжаем работать с Enterprise, мы фиксировались на нём. Мы видим, что машинный перевод реально помогает в огромном количестве бизнес кейсов, и мы даём возможность клиентам понять это в цифрах. Они рады, пользуются этим, надеюсь, что к концу года у нас сильно больше будет больших компаний в клиентах. В этом смысле всё хорошо, мы продолжаем анализировать эту область как таковую. Сейчас мы готовим новый бенчмарк сервисов машинного перевода, он будет на порядок лучше предыдущих. То есть мы договорились с TAUS, это такая большая международная организация, которая занимается всякими лингвистическими ресурсами и так далее. И теперь посчитаем это на уникальных дата сетах с разбивкой по отдельным предметам и областям, e-commerce, avtomotive, biomed и так далее, чтобы показать во всей красе, насколько ландшафт сервисов машинного перевода очень неровный. Ждите, я думаю, через месяц, другой мы этот отчёт опубликуем. Плюс мы выступим на конфе TAUS с этим же отчётом. Я думаю, будет интересно. Наш пойнт в том, что сервисы искусственного интеллекта, они очень разные, нет нигде одного сервиса, который лучше всех других, соответственно, во всех реальных кейсах надо комбинировать какие-то разные сервисы, которые есть так, чтобы обеспечить оптимальное качество или просто набрать сервисы с разными возможностями для того, чтобы покрыть свои кейсы. Есть чувство, что это будет продолжаться и, скорее всего, всё только усложнится. Потому что многие сервисы машинного перевода, даже не только машинного перевода, на самом деле, многие облачные сервисы искусственного интеллекта, когнитивные сервисы как мы их называем, сервисы для обработки данных, машинный перевод, тегирование картинок, Speech Recognition и многое другое, кстати, по ходу переходим к новостям, что произошло за год. Многие из этих сервисов за прошлый год запустили обучаемые модели в облаке, это такой способ дотренировать их какую-то базовую модель на своих данных до специализированной модели под клиента. Это очень хорошая история, потому что от этого каждый человек, компания, кто угодно, кто накопил какие-то свои уникальные данные, может получить модель более высокого качества, чем всё, что есть на рынке для перевода, для распознавания картинок, для распознавания речи. Пользоваться, не тратя свои силы, время на сбор команды дата саентистов на инфраструктуру всего этого добра, Deep Law, Operations и так далее. Это действительно очень сильно упрощает жизнь, сокращает порог вход для более-менее любых бизнесов, если вы только не Netflix, Яндекс, Google, кто-нибудь такой. И то компании всё равно предпочитают не разрабатывать своё, а пользоваться чем-то готовым на рынке. На самом деле, это очень разумно, потому что как раз искусственный интеллект облачной, он, условно, бывает двух видов, или не облачный. Есть всякие специальные кейсы, когда нужно Predictive Analytics иметь, ещё что-то такое, что прямо на данных клиентов считается, нужно у него внутри и больше нигде не нужно. Да, это разумно делать внутри компании. Но при этом есть огромное количество сервисов, которые совершенно неразумно делать внутри компании. То есть почти никакой компании нет смысла разрабатывать свой машинный перевод, потому что для этого нужно собрать все данные мира, условно, на них обучиться, иметь инфраструктуру подобную Google и так далее.

05:05 Метаанализ тоже, в общем, нет смысла заниматься. Speech recognition вообще не про этого. OCR, распознавания текстов, то же самое. И таких сервисов много. То есть в большинстве таких случаев очень разумно взять какую-то или выбрать то, что есть на рынке хорошего и просто уже из коробки, условно, удовлетворяет качеству, либо если есть возможность дообучить на своих данных, то воспользоваться этим и обучить. Потому что это действительно очень здорово. Тут ещё есть момент, раньше все боялись обучаться в облаках, тренировать какие-то сервисы, дотюнивать, потому что боялись, что данные, на которых вы обучите сервис, будет дальше использовать провайдера этого сервиса, улучшать свой сервис, соответственно продавать его конкуренты и т.д. Эти опасения, они вообще совершенно недействительны в настоящий момент, потому что во всех Terms of Service этих сервисов прописано, что данные остаются данными клиента, компания не имеет права использовать их ни для чего. Если вы пользуетесь Google тем же машинным переводом через API, там тренируете свои модели через Google, эти модели только ваши, Google данные ваши никуда не утащит, не обучит никакие свои модели, потому что просто не имеет права. Здесь, кстати, есть существенная разница с тем виджетом GoogleTranslate, который в вебе существует, на него отдельные Terms of Service, это другая история. То есть то, что вы там в окошко в браузере сабмитите,

это Google имеет право использовать, но и многие компании, которые такие веб сервисы делают, если внимательно читать Terms of Service, то это может быть использовано.

Саркис Григорян:

Это B2C в основном которые...

Григорий Сапунов:

Они как B2C, но на самом деле, они во многих случаях как B2B, потому что во многих компаниях люди сидят, копипастят в окошко Google, переводят, и так секретные документы компании, на самом деле, утекают в веб. Тут есть много потенциальных дырок, как такие псевдо бесплатные сервисы. При невнимательном чтении Terms of Service и при вольном отношении к Privacy, безопасности внутри компании, могут приводить к тому, что данные клиентов оказываются где-то там в индексах, в моделях в общих и так далее. Ну, веб часть это отдельная история, достаточно, по большому счёту, просто внимательно читать правила. А API,сами сервисы, которые предназначены для тренировки моделей в облаках и т.д., они этих недостатков лишены, этих проблем нет, действительно, классная история. Можно без крутой команды дата саентистов, без разбора гигабайтов текстов взять, условно, на 50.000 пар предложений просто дообучить машинный перевод, например, на свою задачу и всё здорово будет, намного лучше, чем с общими моделями. Это хороший тренд, он будет продолжаться более-менее, мне кажется, любые сервисы со временем станут обучаемы, потому что это просится, у всех данные уникальные, не бывает одного супер универсального дата сета, который про всё, который одинаково хорошо инкорпорирует в себе знания из биометрии, из юриспруденции, ещё откуда-то. И в картинках то же самое, и в speech то же самое. Может быть, кто-нибудь конечно будет строить модели достаточно общие, достаточно хорошие, но я верю в специализацию в этом месте, есть много авторов, держателей различных уникальных данных, которые действительно актив. И в этом смысле когда теперь можно наконец обучать на этом свои хорошие модельки, это прямо хороший актив, который на благо себя и других можно использовать. То есть по факту это такая первая, наверное, новость, не новость, первый результат предыдущего года. То есть это свежее веяние, оно совсем недавно начало появляться, в прошлом году сколько-то сервисов наконец вышли из beta

и стали general available в этом смысле, но и их будет больше.

Саркис Григорян:

То есть можно сказать, что 19-й год стал таким годом расцвета этих сервисов, и они уже повернулись к конечному клиенту лицом. И уже для того, чтобы что-то сделать, ты не должен обладать какими-то глубокими компетенциями, не должен нанимать команды, это просто как такой простой Custom Development, который от тебя ничего особо сильного не требует.

Григорий Сапунов:

В принципе, да. То есть они и раньше расцвели, и раньше модели достаточно хорошие были, но теперь они вышли на следующий уровень, у них Level up случился, теперь можно дообучать и действительно получать ещё более высокое качество, это здорово. Это точно будет продолжаться.

Саркис Григорян:

Отлично. В науке, может быть, что-то.

Григорий Сапунов:

Вообще, на самом деле, результаты предыдущего года я бы, наверное, разделил на 3 корзиночки или на 2,5. Условно технические результаты, условно научные результаты, которые где-то с техническими пересекаются и условно социальные результаты. Там тоже много всего важного, мне кажется, даже более важного, чем в первых двух когортах. То есть можно начать на выбор с любой.

Саркис Григорян:

Давай с них и начнём, с социальных.

Григорий Сапунов:

Нет, я бы как раз чуть попозже к ним перешел.

Саркис Григорян:

Хорошо, давай тогда как считаешь нужным.

Григорий Сапунов:

Можно с технических начать. Мне кажется, в технических более-менее всё просто. На мой взгляд, именно в технической части этот год скорее планомерного улучшения того, что было достигнуто ранее. В NLP, в обработке текстов в позапрошлом году, во второй половине 18-го года появился BERT, модель на трансформерах, которая очень хорошо позволяла и дёшево строить различные сервисы по обработке языка, метаанализ, классификацию текстов, много всего другого. Там и беддинги получать, которые можно было использовать для своих моделей. В прошлом году стало ясно, что BERT действительно это хороший актив, его можно использовать с кучей своих задач, очень сильно сократить путь от какой-то идеи к понятному прототипу с использованием BERT до уже хорошего результата, который действительно можно использовать. Для этого не надо собирать все данные мира, не надо месяцами что-то тренировать, можно за пару дней что-то взять, дообучить на BERT с небольшим количеством данных, и это будет сильно лучше, чем всё, что могли собрать из подручных средств даже полгода назад. BERT быстро вошел в обиход, все начали на BERT что-то делать. И за прошлый год появилось очень много улучшений BERT, ROBERTO, ALBERT, TinyBERT, много-много всего. Которые так или иначе его прокачали. Действительно, это добавило качества во многих местах. BERT стал ещё лучше, ROBERTO, в этом смысле я бы ожидал, что и дальше это продолжится, ExcelNet появился, много всего. Где-то рядом с этим ещё GPT2 был, который не BERT, а чуть другая штука, но тоже на трасформере построенная, вокруг GPT2 много шумихи было, Open AI постарался. В конечном счёте все большие модели опубликованы, можно брать GPT2, строить на нем тоже что-нибудь своё. Отдельный вопрос, что можно построить, в любом случае, хорошая вещь, пытаются использовать и для conversational всяких штук, там, где языковые модели нужны, везде она годится. Это все прокачалось, это всё улучшится. Там, с одной стороны, просто понятно, что можно дальше делать, можно тот же самый GPT2 построить на каких-то обновлённых трансформерах, которые за этот год тоже появились и наверняка станет лучше. Можно, наверное, ещё что-то делать, новые вещи какие-то появляются. От Facebook BART появился, который вроде как на полном трансформере построен. В общем, НЛП часть, она планомерно улучшалась, я думаю, дальше будет улучшаться. Может быть, с учетом Diminishing Returns дальше всё как-то поспокойнее пойдёт, но в целом действительно прогресс хороший, он продолжится, нет оснований считать, что становится. Но в целом до разговорных агентов, которые всё понимают, ведут беседу на отвлеченные темы, по ощущениям далековато ещё, вернее непонятно, сколько нужно ещё преодолеть, чтобы это произошло. Для каких-то бытовых задач классификация, выделение фактов, отлично всё, то есть хорошо, намного лучше, чем было. В картинках тоже, в принципе, неплохо все, за последний год сколько-то появилось красивых результатов, с ганами новыми, с генерацией изображений, с сегментации изображений. На мой взгляд, тоже планомерное улучшение. Я не чувствую, чтобы какой-то супер прорыв в какой-то из этих областей, типа BERT - это уже позапрошлый год, так что в прошлом, скорее, прорыва не было. С картинками, я тоже сходу не назову какого-то супер прорыва, но всё улучшается, дипфэйки качественные становятся. Сколько там приложений появилось, которые пытаются на этом что-то строить. Интересная тема. С дипфейками тоже будет весело, я думаю, их наличие тоже перевернёт социальную жизнь по-разному, потому что с этим надо будет как-то жить, побороться с ними будет всё-таки сложновато. Но я думаю, в конечном счёте всё придёт к тому, что дипфэйки будут совсем уже неотличимы от реальности, в этом смысле конкурсы, которые были объявлены на обнаружение дипфейков, они краткосрочно хороши, они действительно позволят построить методы какие-то более продвинутые. Но долгосрочно, я думаю, это такая борьба щита и мяча, они приведут к тому, что появится ещё более качественные дипфэйки, классно, у нас будет генерация контента по заказу, посмотрим, где оно будет использовано во благо, где нет. Но оно будет, я думаю, можно это законодательно запрещать, но всё равно с этим сложно. Сложно отследить. Эта область развивается, на мой взгляд, скорее планомерно развивается, но неплохо всё, нет стагнации, на мой взгляд. И какие-то другие области, Reinforcement Learning, тоже идут, как-то в Reinforcement появились красивые истории про Modal Based Reinforcement Learning, когда система внутри себя строит какую-то модель мира, в ней пытается оперировать. Интересно, любопытное движение, можно ожидать каких-то красивых результатов со временем.

Саркис Григорян:

Я правильно понимаю, что Reinforcement Learning - это одно из таких немногих направлений, которое относительно мультизадачное. Потому что там можно еще и алгоритмы, как с AlphaZero, может и в шахматы играть, условно, и в Го, и в Star Craft.

Григорий Сапунов:

Оно, на самом деле, не то, чтобы очень сильно мультизадачное, в смысле, не сильно отличается от того же распознавания картинок. В картинках много разных задач есть. Здесь их не так много, как хотелось бы, все вот эти названия Alpha Zero, Alpha Stark, Alpha Fault, к сожалению, это разные системы. То, что было построено на технологии Alpha Go, оно за последний год эволюционировало, там было ALFA Go, потом ALFA Go Zero, потом Alpha Zero появилась. Zero, это финальная на данный момент система, которой даже правила закладывать не надо. То есть в предыдущих системах в Alpha Zero, ей не нужны были человеческие партии, чтобы играть, она умела играть не в одну игру, а в несколько, Го, Шоги и шахматы. Но в неё, тем не менее, были заложены правила, что можно, что нельзя в игре делать. В Mu Zero, одна из самых свежих систем даже правила не заложены, кроме того, она ещё научилась играть во самые игры Tari, которые в ранних статьях Deep Mind были. Там экранчики закрывались, она должна была научиться играть в эти игры, имея просто экранчики перед глазами и управлять каким-то условным джойстиком влево, вправо и так далее. Это такое постепенное улучшение системы. Был Alpha Star, которая в StarCraft играла, это другая система, на самом деле. Но она интересная, это не то, что в Alpha Go. Есть ещё Alpha Fault, которая сращивание белков научилась предсказывать, но он тоже другой, на самом деле. Тут, к сожалению, это эксплуатация имени, но за этим стоят разные системы. Это похоже на IBM Watson, сначала был Watson, который Geopardy выиграл, а потом появился облачный Watson, за котором куча разных сервисов, включая тот же машинный перевод и так далее. Это такой зонтичный бренд, за которым просто много всего. Тем не менее, reenforcement хорошая тема. И с Alpha Go мне особенно нравится то, что появилось несколько конкретных кейсов, когда технология, который стоит за Alpha Go была применена для чего-то другого, ещё года два назад она была применена для задач химического ретросинтеза. Когда есть какая-то сложная молекула, надо придумать, как из простых молекул известных, которые есть в библиотеке или которые можно купить, условно, на рынке, и какими-то известными химическими реакциями составить это сложно. Классная задача, действительно, сложно во многих случаях придумать цепочку технологическую, которая позволяет синтезировать новые лекарственные средства, например, или какой-то материал. Авторы показали, что подход Alpha Go применим, они его сами реализовали, они не имеют отношения к Deep Mind, это вообще независимые люди из Европы, из какого-то немецкого университета. Они собрали эту систему, она заработала, она нашла какие-то нетривиальные решения, задачи сервисов в каких-то случаях, то есть она по факту тоже является генератором нового знания, что здорово. И буквально на днях, неделю, две назад появилась работа, что в квантовых вычислениях подход Alpha Go тоже применили для решения какой-то задачи, связанной с этим. Я до сих пор статью ещё не прочитал внимательно, но так понял, что идея с self play, со структурой 18:47 Monte Carrote Recearche нейросетями которые предсказывают какие-то возможные интересные ходы, это работает. Здорово, я рад, что это случилось, я жду большего количества всяких решений на базе этой технологии, потому что я считаю, что Alpha Go, это достаточно универсальный подход, его применили к играм и казалось, что от Го до всех остальных задач далеко, но он хорош. Он достаточно общий, многие задачи, я думаю, можно к нему свести, я за популяризацию этой истории. Есть книжка уже от Мэннинга, уже по-моему на русский даже переведена, я не помню, как она называется, что-то типа Deep Learning Go, не помню точно. Рекомендую купить, прочитать, начать что-нибудь собирать своё для какой-то своей задачи на этой технологии, потому что я считаю, что это правильный строительный блок для какого-то практически полезного искусственного интеллекта. Тут опять история про, скорее, недостаток фантазии, чем недостаток технологии. Есть реально хорошая технология, её надо просто взять и применить для какой-то новой классной задачи. Чего угодно, не буду подкидывать идею, пускай люди.

Саркис Григорян:

То есть ты видишь такое большое развитие Reenforcement Learning и ожидания у тебя такие, достаточно большие.

Григорий Сапунов:

Это хороший общий блок, на нём можно построить управление разными системами, играми, чем угодно, в определение игры можно много чего вписать. Я бы ждал, что много можно сделать, как вариант, в биологии, в медицине точно можно много чего сделать, но и за пределами этого можно много где попробовать применить. В общем, это тоже, на мой взгляд, такое постепенное улучшение того, что было наработано до этого момента, оно хорошее. И технологически, наверное, по алгоритмам, по кейсам более-менее всё. Там была ещё история про фреймворки, там вышел TensorFlow 2.0, By Torch постоянно выходил, это тоже хорошая история. Фреймворки развиваются, они всё лучше, реально стали достаточно мощными, хорошими, в каком-то смысле интраоперабельными даже. Там есть кейсы, когда можно в одном обучить модель, выгрузить, загрузить в другом и использовать, это хорошо, действительно, всё идёт к упрощению, нет какого-то большого зоопарка совершенно несовместимых вещей. Они как-то совместимы, хотя не полностью. Библиотечки хорошие появляются. Библиотечка Transformers от Hagen Face, которая раньше была ByTorch Transformers, теперь просто Transformers, от TenzorFlow работает. Тоже классно библиотечка.

Саркис Григорян:

А Netflix фреймворк.

Григорий Сапунов:

Я кстати его не щупал, ничего не скажу.

Саркис Григорян:

Буквально месяца полтора, два назад вышел, недавно совсем.

Григорий Сапунов:

Ничего про него сказать не могу, в любом случае, хорошо, чем больше, тем лучше, идёт какое-то кросс опыление, это здорово. Ещё другой тренд хороший, что железо за последний год довольно сильно изменилось. Если в начале прошлого года я бы сказал, что есть GPU и альтернатив для обучения сеток больше нет, то сейчас я уже так не могу сказать, потому что, во-первых, Google TPU облачный, вполне себе рабочая лошадка, его можно использовать, вроде даже не супер дорого получается, если задача за какое-то разумное время обучается. Это явно не хуже, чем GPU, это можно использовать. Плюс появилось сколько-то много разных альтернатив, Habana выпускал свой акселератор, Habana intl купил недавно. Есть там Graphcore, который пока вроде недоступен напрямую, если вы только не Dell или кто-то такой.

Саркис Григорян:

Английская эта компания.

Григорий Сапунов:

Я не помню, возможно.

Саркис Григорян:

Нейроморфные процессы.

Григорий Сапунов:

Не то, что нейроморфные, там под графы изначально было, но да, это скорее ASI какой-то, ещё, по-моему, не нейроморфный. Intel, который купил компанию Nirvana много лет назад, которая каждый следуйщий год обещала выпустить наконец свой процессор для Machine Learning. Вроде они его уже даже анонсировали, есть вроде в железе они. Они два-три месяца назад на своей конфе объявили, показали. Их там будет два: один для инференса и для обучение тоже. Но это выглядит, как вполне себе альтернатива GPU, только вопрос в цене, совершенно непонятно, сколько он будет стоить. В любом случае, железка уже есть, уже хорошо, рынок как-то , ланшафт в этом месте меняется. И этих акселераторов там реально много. Есть какие-то стартапы, которые с чем-то своим выходят чуть ли не каждые несколько месяцев. Я думаю, за год эта часть рынка железа тоже очень сильно изменится, и хорошо, что есть фреймворки, которые эволюционируют, потому что во все фреймворки приходят какие-то специализированные компиляторы на бэкэнд этих фреймворков. И как есть, условно, проект LLVM под обычные компиляторы, которые, условно, язык C++ компилируют в промежуточный байт-код, а из него уже контролируют в разные архитектуры конкретные. Это же намечается для Machine Learning, есть Крис Латтнер, который разрабатывал LLVM и Swift потом разрабатывал в Apple, он там сейчас работает в Google в TenzorFlow, у него есть проект MLIR, который по сути LLVM для Machine Learning, который безусловно будет встроен в TenzorFlow так или иначе, раз он в этой команде. Плюс есть PyTorch, который тоже анонсировал компиляторы у себя на бэкэнде. Все фреймворки на каком-то достаточно коротком горизонте, я думаю, научатся поддерживать все новые выходящие акселераторы, это здорово. Потому что не надо будет тюнить под какую-то конкретную архитектуру, нужно будет дописать достаточно общий код, который дальше скомпилится в нужную архитектуру и будет эффективно исполнен, это прямо здорово. Это упрощает тоже жизнь. Не нужно быть специалистом уже во всём стыке, от архитектур нейросети до оптимизации по GPU. Хорошие компиляторы возьмут это на себя. Это классно. Я жду, когда эти акселераторы наконец появятся в свободном доступе за разумные деньги, чтобы это можно было купить, это стало какой-то интересной альтернативой GPU. Потому что GPU хорошо, но понятно, что для Machine Learning можно более специальные вещи создавать. Это что касается условно технической части.

Саркис Григорян:

А графовые нейросети?

Григорий Сапунов:

Да, есть такая хорошая тема, графовые нейросети.

Саркис Григорян:

По-моему, тоже недавно появились, по крайней мере, я начал только замечать, что статьи о них какие-то, что-то такое.

Григорий Сапунов:

Мне кажется, конец позапрошлого года, начало прошлого, таким временем стало, когда их больше стало появляться. За этот год их наплодилось ещё сколько-то. Каких-то супер хороших результатов за этот год я не знаю, наверняка есть. Был результат красивый, мне кажется, он ещё тогда был, в позапрошлом году, когда на нейтринном детекторе, который на южном полюсе стоит, называется IceCube, по-моему, применили графовые сетки, они оказались лучше сверхпрочных для их задач, надо было нейроны определять, отличать те, которые приходят, условно, после взаимодействия нейтрино с веществом от тех, который просто из космоса прилетают. Вот они там графовые сетки применили, они сработали, классно, один кейс хороший. У них ещё, я думаю, сколько-то есть. Пока, мне кажется, в массовую жизнь графовые сети ещё не вошли, хотя это хорошая технология. Но я бы ожидал, что тоже они придут. Тут, наверное, ждём какого-то удобного фреймворка, который в себе это инкорпорирует, потому что у этих графовых сетей, у них много разных видов есть. Скорее, мне кажется, такое научное брожение происходит, люди нащупывают какие-то интересные комбинации, решения и так далее. Тема хорошая, потому что графы, конечно, в нашей жизни везде, это всё будет.

Саркис Григорян:

Тогда с техническим мы закончили.

Григорий Сапунов:

Да, техническое, на мой взгляд, все, есть там ещё история про науку, я бы пару вещей наверное выделил, которые интересные на мой взгляд произошли. Одна, это замечательная работа под названием Lottery Ticket, гипотеза лотерейного билета. Где на конференции ICLR презентовали в прошлом году. Это красивая работа, она про то, что если мы какую-то большую сетку обучаем, то в любой большой сетке, если её дальше отдистиллировать, даже не отдистиллировать, отпрунить, то есть урезать веса, которые малые по амплитуде, оставить те, которые большие, в конечном счёте её можно довольно сильно отпрунить, так, что 99 % весов уйдёт, останется какая-то маленькая тонкая сеточка, которая была в исходной. Если эту маленькую исходную сеточку взять и инициализировать её теми весами, которые были в самом начале в этой большой сети и снова обучить, окажется, что эта маленькая сетка реально обучается до супер качества, которое было. Вся остальная сеть, по большому счёту, не нужна. Это такой интересный момент был. История про лотерейный билет значит, что эта конкретная сеть выиграла в лотерею за счёт того, что у неё инициализация оказалась правильной, которая позволила в итоге прийти к какому-то хорошему решению. И после этой работы было сколько-то последующих работ, где люди показали, что, во-первых, вот эти условно лотерейные билеты, они переносимы между разными дата сетами до некоторой степени. То есть там можно найти сеточку, которая Lottery Ticket до Image Net, и дальше окажется, что она неплохо себя ведёт на каком-то другом дата сете картиночном. В общем, это заставило немножко переосмыслить, как процесс обучения, как он происходит, то есть градиентный спуск градиентным спуском, но что-то там ещё интересное происходит в сетках. Как вариант, видимо, все эти бэкпропы во всём этом большом комбинаторном разнообразии больших сетей позволяют эффективно найти ту маленькую сеточку, которая в реальности и нужна. И теперь вопрос, как сделать так, как научится находить сразу вот эти маленькие сеточки, не обучая вот эти большие предварительно. Интересно. Тут много всего продолжается, я ожидал каких-то интересных результатов со временем, потому что это, мне кажется, меняет немножко картину мира про то, как всё внутри устроено. Что-то за всем этим есть хорошее.

Саркис Григорян:

Можно сказать, сейчас ещё приближаемся к тому, чтобы понимать, как оно там всё внутри устроено.

Григорий Сапунов:

Я думаю, да. Есть много разных теорий, которые с разных сторон помогают что-то понять в Deep Learning вообще, это конкретно мне нравится, она интересная. Она мне кажется местами всё-таки незамеченной прошла, но я бы обратил на неё внимание, она хорошая. И вторая история хорошая, эта дистилляция. Дистилляция за последний год, мне кажется, прокачалась тоже неплохо. Её начали использовать активно, там BERT появился отдистилированный. Для тех, кто не знает, дистилляция, это такой красивый способ, когда вы обучили какую-то большую сетку, а дальше вы обучаете другую сетку, например поменьше, предсказывать результаты вот этой сетки. И оказывается, что, во-первых, можно обучить, и если обучить, то получается какая-то маленькая сеточка, которая ведёт себя так же, как большая, но при этом размер меньше. Но с нуля такую сеточку нельзя обучить. Если взять такую же структуру, как у маленькой сеточки и с нуля обучить на том же самом дата сете, на котором обучалась большая, нет, такого качества не достигаем. Это, с одной стороны, практически полезная история, можно взять большие сети, ужимать их таким способом. Другой интересный момент, это то, что что-то нам говорит про процесс обучения. Раз мы с нуля обучить не можем до такого качества, а такой хитрой процедурой можем, значит наши текущие процессы обучения, они не оптимальны, они какими-то обходными путями ведут и не приводят туда, куда могли бы привести. Интересный момент. Плюс как бонус в этих историях появились интересные результаты, не обязательно дистилляцию проводить в маленькую сеточку, можно в такую же провести. Селф дистилляция иногда называют, по-разному. И оказывается, что если обучить сеть сначала на дата сете, а потом сделать дистилляцию в точно такую же, можно получить результаты даже лучше, чем у первой модели. То есть такое улучшение из ниоткуда. Тоже это всё камешки в огород, что текущая парадигма бэкпропа, она конечно хороша, она даёт нам какие-то хорошие решения, но это явно не полная картина.

Саркис Григорян:

Не всё так просто.

Григорий Сапунов:

Да, есть Lottery Ticket, есть дистилляция, которая за счёт этой селф дистилляции находит более хорошее решение, значит что-то в исходном сигнале не хватает, раз такая процедура работает, а обычное обучение не работает или не настолько хорошо работает. Это всё интересно, это чего-то добавляет в понимании, я бы ожидал, что за этот год мы в этом понимании продвинемся.

Саркис Григорян:

Но это опять же всё пока что исследовательские лаборатории, институты.

Григорий Сапунов:

Тут сложный момент. На самом деле, довольно много результатов, они изнутри приходят. То есть вот эти работы, они скорее научные, они скорее из универа, хотя не помню, может быть, из Google тоже, ещё откуда-то. Facebook что-то публиковал про дистилляцию.

Саркис Григорян:

Они помощнее, чем многие институты становятся.

Григорий Сапунов:

Да, индустрия ресурсов больше. И те, и те конечно влияют, сказать кто больше, сходу и не скажешь. Но Hugging Face, они обучили дистилированный BERT, его публиковали. И дистилированный BERT реально использовался многими, потому что обычный BERT довольно тяжёлый, его не всюду вставишь, а этот можно. Это скорее практический аспект, это не про Research. Но важно, что в Research что-то есть, смотреть туда стоит, и что-то интересное произойти оттуда может. Ждём, что произойдёт.

Саркис Григорян:

Теперь мы к социальным подошли.

Григорий Сапунов:

Да, наверное, можно к социальным перейти. За этот год тоже, мне кажется, много чего случилось. Во-первых, так или иначе, в разных странах возникли свои AI стратегии, и в компаниях, и в странах, и так далее. Все понимают, что что-то происходит, как-то соответствовать новым реалиям надо, нужно понимать, что со всем этим делать, как к этому относиться, как на это реагировать. В общем, эти изменения происходят. Соответственно, впоследствии общество начинает тоже чего-то там слышать про то, что есть искусственный интеллект, что он на что-то влияет, может быть, не знаю.

Саркис Григорян:

Распознавание лиц, наверное, самое такое.

Григорий Сапунов:

Это конечно отдельная тема. Есть, с одной стороны, история про всякие стратегии, с другой стороны, за последний год, мне кажется, очень сильно продвинулась или стала более громкой история про этику в широком смысле. Это история про байсы внутри модели, про прозрачность, прозрачность принятия решений, про объяснение, как работают модели какие-то. И тут же где-то находится история про использование технологий в широком смысле, те же самые распознавания лиц. У нас сейчас везде появляются эти камеры в больших количествах. В это время какие-то другие места на планете отказываются от распознавания, по крайней мере, до тех пор, пока не станет понятно, какие конкретные риски эта технология несёт. Потому что, да, действительно, тут много всяких спорных моментов, совершенно непонятно, кто этими данными владеет, кто может получить к ним доступ, что с ними происходит, для чего они используются. У меня нет ответов на эти вопросы, те камеры, которые у нас ставятся, я не знаю, что со всеми этим данными происходит. Какое-то количество городов, Сан-Франциско, Окланд, ещё кто-то, они запретили у себя Facial Recognition. Google недавно что-то написал про то, что да, разумно понять сначала, какие риски эти технологии несут. Таких разговоров, мыслей вокруг всё больше, это важно, мне кажется, важно, что люди на это обращают внимание, потому что действительно непонятно, кто и как всё это будет использовать. Потому что одно дело, кто-то преступников ловит, другое дело, если это сведется к тому, что будет как в девяностых, на Митинском рынке база данных продавались, так вот сейчас кто-нибудь начнёт получать доступ к этим системам для того, чтобы отследить, как человек какой-то произвольно по городу перемещается. Вопрос, в чьих руках это окажется, это сложный вопрос, на данный момент это совершенно непрозрачно.

Саркис Григорян:

Технически, наверное, это сейчас не только к этому у государства доступ, но и каким-то компаниям.

Григорий Сапунов:

В принципе, кто камер понаставил, тот и может что-то такое считать. Не знаю, те же камеры, которые в автобусах стоят Мосгортранса, фактически, не знаю, кому они принадлежат, не знаю, куда эти данные отправляются. Непонятно в общем, тут много всяких вопросов, ну в принципе, да, камер много, кроме камер просто много разных систем, приложений, чего угодно, что тоже собирает данные про пользователей, что с ними происходит, непонятно.

Саркис Григорян:

Про Avast, про антивирус.

Григорий Сапунов:

Да, про Avast, который сливал данные, продавал, фактически. В общем, это тревожная история. Я бы, наверное, хотел, чтобы появился какой-то закон по аналогии с GDPR европейским. Мне кажется, всё-таки это правильное движение, хоть его многие и ругали, типа он дата саентистам не позволяет обучать качественные модели и всё такое, мне кажется, это перебор, это не совсем так, есть там тема про Inform Consent, данные всё-таки можно собирать, если при этом понятно, для чего они будут использованы. Мне нравится месседж про то, что пользователь имеет право контролировать, как его данные будут использоваться и как не будут использоваться. Это правильно, потому что действительно, данные много о человеке говорят. Если они бесконтрольно будут утекать черти куда, это приведёт чёрти к чему. Навязчивая реклама, это, наверное, минимальная из проблем.

Саркис Григорян:

Нет ощущения, что мы этот момент как-то упустили?

Григорий Сапунов:

Не знаю, непонятно.

Саркис Григорян:

По идее, мы столько данных отдаем, насколько это.

Григорий Сапунов:

Отдаём, но не все ещё всё равно. В любом случае, это не значит, что процесс нельзя уже дальше на самотек пускать.

Саркис Григорян:

Конечно.

Григорий Сапунов:

Да, сколько-то отдали, безусловно, я думаю, есть решение, как с этим можно бороться. Мне кажется, проблема в настоящий момент в том, что пользователь, он во многом бессилен, бесправен, ничего сделать не может, кроме того, что просто перестать пользоваться чем-то. И то вы сайтом перестали пользоваться, Google перестали пользоваться или Facebook, Mail.ru или чем угодно. А счётчики у них установлены на миллионе других сайтов, вы все равно по интернету ходите, всё равно следы оставляете, которые туда же и собираются. Тут уже сложно научиться. Пользователь действительно не имеет никаких понятных рычагов, как свои данные контролировать. Это, мне кажется, проблема.

Саркис Григорян:

Даже я думаю, что давай ему возможность, не все это будут делать или относиться к этому с каким-то должным вниманием, потому что я помню, как-то на одной из конференций разговаривали про пользовательские соглашения, про то...

Григорий Сапунов:

Которые никто не читает.

Саркис Григорян:

Я задал вопрос, я говорю: поднимите руки, кто их действительно читает? Там была относительно подготовленная публика, не знаю, правда они читают или конечно там просто для вида, что они классные ребята, подняли руки. Много подняло. А второй мой вопрос звучал: на кого пользовательское соглашение повлияло на принятие решения не ставить это приложение? Одна или две руки. То есть ну прочитали и дальше что? Получается, что так, мы читаем и всё равно ничего не происходит.

Григорий Сапунов:

Проблема текущих соглашений в том, что они написаны специально так, чтобы их невозможно было за разумное время прочитать, понять и всё такое. Это как мелкие тексты в договорах раньше.

Саркис Григорян:

Как можно с экрана телефона прочитать 20-30 листов мелким текстом.

Григорий Сапунов:

Вот кстати, опять же, в GDPR есть хорошая тема про то, что Consent пользовательский про использование его данных, он должен быть понятным образом до человека донесен. Это не может быть текст на миллион страниц мелким шрифтом и так далее, это должен быть какой-то понятный, короткий месседж, который человек...

Саркис Григорян:

Выжимка.

Григорий Сапунов:

Да, который поймёт. Это правильно, соглашения должны быть какими-то такими. И плюс, конечно, должна быть по-хорошему какая-то альтернатива всем этим приложениям, потому что если приложение предлагает какие-то условия, с которыми ты не согласен, тебе надо иметь какую-то альтернативу по-хорошему. Что-то в этом месте тоже должно меняться.

Саркис Григорян:

Здесь, знаешь что странно, я недавно для себя, на самом деле, это общеизвестно, я для себя только недавно узнал, кто был основателем Palantir.

Григорий Сапунов:

Не Тиль в смысле.

Саркис Григорян:

Да. То есть такие хорошие ребята PayPal мафия, которые много всего сделали. Оказывается, что эти же ребята сделали систему, которая следит за всеми, которая использует спецслужбы. Здесь какая-то такая получается история двойная. С одной стороны, это те, кто двигает индустрию, айтишники, такие все классные, классные проекты, развитие и так далее. С другой стороны, они занимаются вот этим всем. Какая-то странная история, для меня было это так удивительно. Я немножко даже расстроился. По крайней мере, Питер Тиль и все вот эти ребята, которые это делали, для меня такой немножко минусик для них я так для себя поставил, потому что не совсем это понятно. При этом мы понимаем, что таких систем не одна и абсолютно непонятно, как их контролировать, и как мы вообще можем узнать о них.

Григорий Сапунов:

Да, что далеко ходить, сколько новостей было за последние несколько месяцев про, условно, кредитный скоринг по поведению в Яндексе, по соцсетям многие давно пытались это делать и продолжают. Как к этому относиться. Опять же, какая-то непрозрачная система, которая непонятно, что наскрейпила, непонятно, как это использует, непонятно, как на это повлиять, как ошибки в ней устранять. То есть полный чёрный ящик без обратной связи от человека.

Саркис Григорян:

Я думаю, что какая-то регуляция придёт, по крайней мере. Европейский вот этот утекший документ по регуляции.

Григорий Сапунов:

Это который?

Саркис Григорян:

Вот недавно. Они его обещают со дня на день выпустить, именно касаемо всех вот этих вещей, о которых мы с тобой говорим. Но он там, по-моему, полмесяца назад утек в драфт, этот документ. Европа, они всегда такие, как социальные ребята, очень всё хорошо делают, непонятно, как быть в Америке. Но у нас я вообще.

Григорий Сапунов:

Непонятно, да.

Саркис Григорян:

Касаемо правового поля, у нас вообще ничего непонятно. Мы запрещаем Telegram, а всё правительство им пользуется, это какие-то вещи не очень приятные. Слушай, с точки зрения вас как компании, которая, например, вы же находитесь, базируетесь в Америке, вы какие-то регуляции чувствуете или как-нибудь они на вас криво посматривают? Потому что вы выходцы из России, чувствуется это?

Григорий Сапунов:

Нет, эта история, мне кажется, не очень сильно как таковая влияет. Какие там регуляции.

Саркис Григорян:

Китайцев выгнали и всё.

Григорий Сапунов:

В этом смысле, не знаю. Мне кажется, мы с китайцами сильно разные. Есть бизнес, мы помогаем корпорациям оптимизировать их процессы с помощью Machine Learning. Если компания европейская, мы теоретически можем под тот же GDPR попасть. Окей, мы можем ему соответствовать, если надо. Есть в каких-то других вертикалях своя регуляция, в медицине есть своя регуляция.

Саркис Григорян:

FDA.

Григорий Сапунов:

Ну да, Hippo при работе с медицинскими данными. Эти регуляции важны в индустрии. Под санкции мы не попадаем ни под какие, в этом смысле всё равно. Геополитика, конечно, странная вещь, она так или иначе влияет на общий фон, но это всё предсказуемо.

Саркис Григорян:

У нас тем временем время подошло к концу, видишь, как всё быстро. Но в принципе, почти все успели обсудить, будем ждать тогда в этом году, что посмотрим. Ты думаешь, что должны быть в этом году какие-то явные регуляции касаемо социальных.

Григорий Сапунов:

Не должны, мне кажется, общество должно дозреть до понимания, что всё-таки нужно что-то понимать против систем, которые внедряются. И людям по-хорошему нужно научиться как-то свои данные контролировать, мне кажется, это правильно. И как-то более осознанно подходить к пользованию разными системами, которые вокруг возникают. С этим как-то жить, их всё больше, поэтому надо как-то выстраивать своё отношение к ним, понимать своё место в мире, место этих систем и так далее. Это открытый вопрос, к чему это всё придёт. Это не должно сводиться, давайте всё запретим, это полная чушь. Надо понять, как.

Саркис Григорян:

Регулировать.

Григорий Сапунов:

Как с этим всем жить, как понимать.

Саркис Григорян:

Поживём, как говорится, увидим. Спасибо тебе большое за беседу, надеюсь, ещё раз увидимся мы в эфире с тобой, пообщаемся. Спасибо.

Григорий Сапунов:

Спасибо.