DALL-E

**DALL-E** — Microsoft компаниясының қаржылық қолдауымен OpenAI әзірлеген нейрондық желі, ол ағылшын тіліндегі мәтіндік сипаттамалар негізінде жоғары сапалы бейнелерді генерациялауға қабілетті. Бірқатар БАҚ пен деректерді талдау саласындағы сарапшылардың пікірінше, бұл нейрондық желі нейрондық желілер саласында елеулі серпіліс жасады.

## Тарихы
2019 жылы OpenAI жасанды интеллект саласындағы инновациялық технологияларды әзірлеу үшін Microsoft компаниясынан 1 млрд АҚШ доллары көлемінде грант алды. GPT-3 моделін бейнелерді генерациялауға бейімдеп қолданған нейрондық желінің алғашқы нұсқасы қауымдастыққа 2021 жылғы 5 қаңтарда таныстырылды.

2022 жылғы 6 сәуірде DALL-E 2 таныстырылды. Бағдарламаның жаңа нұсқасында фотореалистік бейнелер жасауға мүмкіндік беретін алгоритмдер жетілдірілді, сондай-ақ қолданба жұмыс істеп тұрған кезде өзгерістер енгізуге мүмкіндік беретін редактор енгізілді. Нейрондық желінің жұмыс үлгісін Cosmopolitan журналы көрсетті, ол DALL-E 2 жүйесін өз басылымдарының бірінің мұқабасын жасау үшін пайдаланды.

2023 жылғы 21 қыркүйекте OpenAI DALL-E 3 нұсқасын таныстырды. Ол ChatGPT-мен интеграцияланған, сұраныстарды дәлірек түсінуге және анағұрлым егжей-тегжейлі бейнелерді генерациялауға қабілетті. Жүйе 2023 жылғы қазаннан бастап ChatGPT Plus және Enterprise ақылы жазылымдары аясында, сондай-ақ API арқылы қолжетімді болды.

2024 жылғы сәуірде OpenAI DALL-E 2 қызметінің тоқтатылатынын жариялады, алайда іс жүзінде сервис қыс соңында-ақ жұмысын доғарған болатын.

## Архитектура
DALL-E деректерді түсіндіру және солардың негізінде бейнелерді генерациялау үшін 12 миллиард параметрі бар GPT-3 моделін қолданады. GPT-3 моделінің өзі OpenAI тарапынан 2018 жылы трансформер архитектурасына негізделген терең нейрондық желілер ретінде әзірленген. Осылайша, DALL-E интернет деректері арқылы оқытылған, 12 миллиард параметрі бар GPT-3 моделінің мультимодальды іске асырылуы болып табылады.

Осылайша, DALL-E алдымен сұранысқа жауап ретінде бейнелерді генерациялайды, ал CLIP (Contrastive Language-Image Pre-training) дербес модель ретінде алынған бейнелерді «танып», оларды саралап, реттейді. CLIP моделінің өзі 400 миллион бейне мен мәтін жұбында оқытылған, соның арқасында ол сұранысқа неғұрлым сәйкес келетін бейнелерді анықтап, қолда бар нәтижелерді мәтіндік сипаттамаға ұқсастығы дәрежесі бойынша орналастыра алады.

## Сипаттамасы және ерекшеліктері
DALL-E бейнелерді әртүрлі визуализация түрлерінде генерациялауға қабілетті, фотошынайылықтан бастап суреттер мен эмодзилерге дейін, сонымен қатар өз бейнелеріндегі нысандарды жылжытып, түрлендіре алады. Оның жасаушылары атап өткен қабілеттерінің бірі жаңа композицияларда дизайн элементтерін нақты нұсқауларсыз дұрыс орналастыруы болды: «Мысалы, одан тұмауратып тұрған, латте ішіп отырған немесе бір доңғалақты велосипедпен жүріп келе жатқан дайкон редисін салу сұралғанда, DALL-E көбіне орамалды, қол мен аяқтарды нанымды орындарға орналастырады». Жасанды интеллект саласындағы реализм мен серпіліс фактісін Input, NBC, Nature, Wired, CNN және BBC сияқты беделді басылымдар атап өтті. Мамандар үшін ерекше қызығушылық тудырған жайттардың бірі жасанды интеллекттің визуалдық ойлау дағдыларының кейбір элементтерін меңгеруі болды, соның арқасында ол адамдардың интеллектін бағалау үшін әзірленген Рейвен тестінен өте алды.

DALL-E әртүрлі сипаттағы бейнелерді жасауға арналған тұрақты әрі аса сенімді нейрондық желі ретінде сипатталады[6]. CNBC үшін жасаған репортажында Сэм Шхед бейнелерді «қызықты» деп атап, Кембридж университетінің машиналық оқыту профессоры Нил Лоуренстің сөзін келтіреді. Лоуренс бұл жүйені «осы модельдердің біздің әлем туралы ақпаратты сақтап, оны адамдар үшін табиғи болып табылатын тәсілдермен жалпылай алу қабілетінің шабыттандыратын көрінісі» деп бағалаған.

Шхед сондай-ақ Джорджия технологиялық институтының Интерактивті есептеулер техникалық мектебінің доценті Марк Ридлдің пікірін келтіреді. Оның айтуынша, DALL-E демонстрациясының нәтижелері жүйенің «тұжырымдамаларды үйлесімді түрде біріктіруге қабілетті екенін» көрсеткен және «DALL-E демонұсқасы соңғы бірнеше жылда көрген басқа Text2Image жүйелеріне қарағанда әлдеқайда тұтас әрі байланысқан иллюстрациялар жасауымен ерекшеленеді». BBC те Ридлдің «жүйенің не істей алатынына қатты әсерленгенін» келтіріп жазады.

## Әдебиеттер
* Jens Knappe: Genesis. A Creation Story in Cooperation with an Artificial Intelligence, Berlin 2022, ISBN 978-3-940948-45-8.

## Дереккөздер

Санат:Нейрондық желілер
Санат:Генеративті жасанды интеллект
Санат:2021 жылы жасалған бағдарламалық жасақтама
Санат:OpenAI
Санат:Microsoft
Санат:Машиналық оқыту
Санат:Терең оқыту