Генератыўны штучны інтэлект

Генератыўны штучны інтэлект — катэгорыя сістэм штучнага інтэлекту, прызначаных для стварэння змесціва, такога як тэкст, відарысы, аўдыя і іншыя віды сінтэтычных даных. Тэхналогія атрымала развіццё са з’яўленнем такіх алгартымаў машыннага навучання, як генератыўныя спаборныя сеткі і трансформеры.

Мадэлі для генерацыі змесціва будуюцца на аснове вялікіх набораў даных. У працэсе навучання мадэль атрымлівае здольнасць імітаваць структуры з сапраўдных даных і генераваць з іх дапамогай новыя, . Найбольшае распаўсюджанне ў галіне генерацыі змесціва атрымалі такія тыпы мадэлей, як трансформерныя і  мадэлі, генератыўныя спаборныя сеткі і .

 Гісторыя 
Першымі генератыўнымі мадэлямі былі  і , распрацаваныя ў 1950-х гадах. Яны маглі генераваць даныя паслядоўнай прыроды, напрыклад маўленне і .

У галіне апрацоўкі натуральнай мовы класічнымі мадэлямі для генерацыі тэксту сталі , заснаваныя на  слоў. Такія мадэлі ацэньваюць размеркаванне імавернасцей сустрэць тое ці іншае слова ў тэксце побач з іншымі словамі і ствараюць найбольш імаверныя паслядоўнасці слоў. Наступным крокам у генерацыі тэксту сталі , што дазволілі генераваць даўжэйшыя сказы, улічваючы больш далёкія элементы ў паслядоўнасці. Такія механізмы, як  і  паказалі здольнасць падтрымліваць кантэкст даўжынёй да двухсот элементаў.

У галіне камп’ютарнага зроку традыцыйнымі метадамі генерацыі відарысаў былі сінтэз і накладанне тэкстур. Складанасць і разнастайнасць відарысаў, атрыманых такім чынам, была абмежавана неабходнасцю ўручную задаваць прыкметы для накладання. У 2014 годзе з’явіліся першыя генератыўныя спаборныя сеткі, што маглі ствараць відарысы больш якасныя і рэалістычныя, чым гэта ўдавалася папярэднім алгарытмам.

Архітэктура трансформерных мадэлей была прадстаўлена ў 2017 годзе ў рабоце  і ягоных калег з Google Brain. Першапачаткова трансформеры прымяняліся ў задачах апрацоўкі натуральнай мовы і паказвалі лепшыя вынікі, чым рэкурэнтныя нейронныя сеткі. Праз некаторы час архітэктура была пашырана на задачы камп’ютарнага зроку. Таксама былі распрацаваны трансформерныя мадэлі, здольныя спалучаць у сабе даныя некалькіх тыпаў (мадальнасцей), напрыклад , якая працуе як з тэкстамі, так і з відарысамі. Трансформерная архітэктура лягла ў аснову такіх генератыўных мадэлей як  для напісання тэксту і DALL-E для стварэння відарысаў паводле тэкставага апісання.

У 2022 годзе даследчай арганізацыяй OpenAI быў прадстаўлены чат-бот ChatGPT, які можа генераваць рэплікі, што сімулююць дыялог паміж людзьмі, а не проста працягваць тэкст, як гэта робяць звычайныя мадэлі генерацыі тэксту. Такая здольнасць дасягаецца з дапамогай , якія аддаюць перавагу карысным адказам, падобным да рэплік у дыялогу. У 2023 годзе былі выпушчаны аналагічныя мадэлі  ад  і Google Bard.

 Асноўныя архітэктуры 

 Генератыўныя спаборныя сеткі 
Архітэктура генератыўных спаборных сетак складаецца з дзвюх нейронных сетак: генератара і дыскрымінатара. Задача генератара — ствараць элементы даных (напрыклад, відарысы), у той час як дыскрымінатар павінен адрозніваць згенераваныя даныя ад сапраўдных. Дзве сеткі паступова навучаюцца разам, што прыводзіць да іх узаемнага ўдасканалення. Навучанне спыняецца тады, калі дыскрымінатар не можа адрозніць сапраўдныя даныя ад сфабрыкаваных.

Перавага такой архітэктуры ў тым, што яна дазваляе навучанне на неразмечаных даных. Асноўныя тэхнічныя цяжкасці — неабходнасць знайсці раўнавагу ў навучанні дзвюх сетак і схільнасць генератара ствараць вельмі падобныя адзін да аднаго элементы даных, што прыводзіць да нізкай разнастайнасці вынікаў генерацыі.

 Варыяцыйныя аўтакадавальнікі 
Варыяцыйны аўтакадавальнік складаецца з кадавальнага і дэкадавальнага модулей. Кадавальны модуль трансфармуе ўваходныя даныя ў прастору меншай памернасці, што завецца скрытай прасторай. Пасля да рэпрэзентацыі дадаецца выпадковы шум з пэўнай дысперсіяй і дэкадавалььны модуль трансфармуе элементы скрытай прасторы назад у першапачатковую прастору даных. Сэмпліраванне з скрытай прасторы і прымяненне дэкадавальніка дазваляе генераваць новыя даныя.

 Трансформеры 

Трансформерная архітэктура выкарыстоўвае  для таго, каб мадэль магла вывучыць залежнасці паміж элементамі паслядоўнасцей (напрыклад, словамі ў сказе), незалежна ад таго, як далёка адзін ад аднаго яны знаходзяцца. З’яўленне трансформераў пашырыла магчымасці штучнага інтэлекту ў такіх задачах як генерацыя тэксту і машынны пераклад. Трансформерная архітэктура стала асновай для такіх мадэлей, як  і .

 Дыфузныя мадэлі 
У аснове дыфузных мадэлей ляжыць працэс паступовага дадавання выпадковага  да элементаў даных, пакуль яны не ператворацца ў чысты шум. Атрыманыя зашумленыя даныя выкарыстоўваюцца каб навучыць мадэль выконваць гэты працэс у адваротным кірунку, ператвараючы шум у зыходныя элементы даныхF. -A. Croitoru, V. Hondru, R. T. Ionescu and M. Shah, «Diffusion Models in Vision: A Survey» in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 9, pp. 10850-10869, 1 Sept. 2023, doi: 10.1109/TPAMI.2023.3261988.

Дыфузныя мадэлі выкарыстоўваюцца ў камп’ютарным зроку для генерацыі відарысаў паводле тэкставага апісання, нават калі апісанні адлюстроўваюць нерэалістычныя сцэнарыі, не прадстаўленыя ў даных для навучання мадэлі. Таксама з дапамогай дыфузных мадэлей можна рашаць такія задачы як павелічэнне разрознасці і рэдагаванне відарысаў. У 2022 годзе быў распрацаваны метад генерацыі відэа па тэкставым апісанні з дапамогай дыфузных мадэлей.

 Выкарыстанне 
Генератыўны штучны інтэлект выкарыстоўваецца для рашэння крэатыўных задач у шэрагу галін бізнэсу, тэхналогій, навукі і мастацтва, такіх як напрыклад:
 Стварэнне і персаналізацыя рэкламнага змесціва ў маркетынгуHuh, J., Nelson, M. R., & Russell, C. A. (2023). ChatGPT, AI Advertising, and Advertising Research and Education. Journal of Advertising, 52(4), 477—482. https://doi.org/10.1080/00913367.2023.2227013.
 Распрацоўка прататыпаў і змесціва для камп’ютарных гульняў.
 Напісанне сцэнарыя і стварэнне візуальнага змесціва ў кінаіндустрыі.
 Стварэнне і рэдагаванне музыкі.
 Кланіраванне і генерацыя голасу для агучкі рэкламы, адукацыйных матэрыялаў і аўдыякніг.
 Пераклад тэксту на розныя мовы.
 Падсумаванне тэксту і адказ на пытанні па ім.
 .
 Стварэнне аўтаматычных справаздач, прэзентацый, напісанне адказаў на электронныя лісты.
 Выкрыванне махлярства.
 Генерацыя змесціва для асяроддзяў віртуальнай і .
 Стварэнне адукацыйных матэрыялаў.

 Крыніцы 

Катэгорыя:Штучны інтэлект