GPT-4

Generative Pre-trained Transformer4 (GPT-4)je multimodálníjazykový modelvytvořený společnostíOpenAIa čtvrtý v řadě modelů GPT-n.Byl vydán14. března2023a v omezené podobě byl zpřístupněn veřejnosti prostřednictvím produktu ChatGPT Plus (prémiová verzeChatGPT) a s přístupem k verziAPIzaložené na GPT-4, která je momentálně omezená a poskytována pouze vývojářům, kteří zaplatili alespoň jeden americký dolar za předchozí použití.GPT-4 byl předem vycvičen k předpovídání příštího tokenu (s využitím veřejnýchdati „dat licencovaných od poskytovatelů třetích stran“) a poté byl vyladěn pomocí učení na základě zpětné vazby od lidí (reinforcement learning from human feedback).Jedná se oautoregresivní jazykový model, který je schopenhlubokého učenítextu.
Společnost OpenAI představila GPT-4, který je považován za spolehlivější, kreativnější a všestrannější než jeho předchůdciGPT-3aGPT-3.5-turbo. GPT-4 přichází ve dvou verzích s kontextovými okny o 8 192 a 32 768 tokenech, což představuje podstatné zlepšení oproti omezené kapacitě tokenů předchozích modelů.Kromě toho se GPT-4 neomezuje pouze na zadávání textu; kromě textu dokáže zpracovávat i obrázky,což mu umožňuje popisovathumorna neobvyklých obrázcích, shrnovat text ze snímků obrazovky a dokonce odpovídat na otázky ke zkouškám obsahujícímdiagramy.
Pro lepší ovládání GPT-4 zavedla společnostOpenAIkoncept „systémové zprávy“, což je pokyn zadaný vpřirozeném jazyce, který specifikuje tón hlasu a úkol modelu. Uživatelé tak mohou modelu nařídit, aby reagoval určitým způsobem, například aby přijal podobushakespearovskéhopiráta nebo formátoval svůj výstup ve forměJSON.
V praktických aplikacích se GPT-4 osvědčil při programovacích úlohách, kde pomáhá programátorům najít chyby ve stávajícím kódu a navrhuje optimalizace pro zvýšení výkonu. I když má určitou náchylnost k chybám, výrazně zkrátil čas potřebný k řešení některých programovacích úloh.
Podle článku v časopiseNaturez roku2023se programovací schopnosti GPT-4 ukázaly jako slibné i v oblasti bezpečnosti. V testu z 89 bezpečnostních scénářů překonal model GPT-4GitHub Copilotz roku2021tím, že vytvořil kód zranitelný vůčiútokům SQLpouze v 5 % případů, což je výrazné zlepšení oproti 40 % zranitelnosti předchozího Copilotu.
GPT-4 prokázal způsobilost v několika standardizovaných testech podle testování společnostiOpenAI. V jejich hodnocení získal GPT-4 v testuSATskóre 1410 bodů (což ho řadí na 94.percentil), v testuLSAT163 bodů (což ho řadí na 88. percentil) a v jednotné advokátní zkoušce 298 bodů (což ho řadí na 90. percentil). Pro srovnání, GPT-3.5 dosáhl u stejných zkoušek výsledků na 82., 40. a 10. percentilu.
GPT-4 navíc prokázal své schopnosti při skládání odborných zkoušek, včetně zkoušky zonkologie,inženýrské zkouškya zkoušky zplastické chirurgie.
Schopnosti modelu při zkouškách vycházejí především z procesu pre-training a nejsou významně ovlivněnyzpětnovazebným učením(RLHF).U otázek s výběrem odpovědi se jak základní (base) model GPT-4, tak i GPT-4 model s RLHF osvědčily stejně dobře.
V nedávné studii provedené společnostíMicrosoftbyl systém GPT-4 hodnocen z hlediska jeho výkonu při řešení lékařských problémů. Výsledky ukázaly, že GPT-4 překonává skóre pro úspěšné složení zkouškyUSMLEs výrazným náskokem více než 20 bodů. Navíc překonal předchozí modely pro všeobecné použití, včetně modelu GPT-3.5, a dokonce i modely speciálně vyladěné pro lékařské znalosti, jako jeMed-PaLM(vyladěná verze Flan-PaLM 540B).
Studie ale také poukázala na určité obavy týkající se spolehlivosti GPT-4 v lékařské oblasti. V konkrétním příkladu testu bylo pozorováno, že GPT-4 vnáší do poznámek pacienta smyšlené detaily, což by mohlo potenciálně vést k nepřesnostem nebo chybným interpretacím.
Navzdory těmto zjištěním společnostiMicrosoftaEpic Systemsspolupracují na tom, aby poskytovatelům zdravotní péče nabídly přístup k systémům poháněným GPT-4. Tyto systémy mají pomáhat při zodpovídání dotazů pacientů a analýze zdravotnických záznamů a jejich cílem je zvýšit efektivitu a kvalitu zdravotnických služeb.
GPT-4 může přijmout zadání v podobě textu a obrázků, což uživateli umožňuje zadat jakoukoli zrakovou nebo jazykovou úlohu. Konkrétně generuje textové výstupy (přirozený jazyk, kód atd.), pokud jsou zadányvstupyskládající se z proloženého textu a obrázků. V celé řadě oblastí - včetně dokumentů stextemafotografiemi,diagramůnebosnímků obrazovky- vykazuje GPT-4 podobné schopnosti jako v případě čistě textových vstupů.Obrázkové vstupy jsou zatím výzkumným náhledem a nejsou veřejně dostupné.
Stejně jako předchůdci má GPT-4 tendence generovat věrohodně znějící, ale nesprávné informace. GPT-4 momentálně nemá vlastní mechanismus kontrolyfaktůa jeho odpovědi jsou založeny na vzorcích pozorovaných v trénovacích datech. V důsledku toho může neúmyslně generovat věrohodně znějící, ale fakticky nesprávné informace, které mohou být zavádějící a nespolehlivé. Například si může začít vymýšlet informace o specifickém subjektu ("halucinovat").
GPT-4 také postrádá transparentnost ve svých rozhodovacích procesech. Na požádání je model schopen poskytnout vysvětlení, jak a proč se rozhoduje, ale není možné ověřit, zda tato vysvětlení odrážejí skutečný proces.V mnoha případech, když je model GPT-4 požádán o vysvětlení svélogiky, poskytne vysvětlení, která jsou v přímém rozporu s jeho předchozími tvrzeními.
GPT-4 byl vycvičen ve dvou fázích. Nejprve byly modelu poskytnuty rozsáhlé datové sady textů převzaté zinternetua model byl vycvičen k předpovídání dalšího tokenu (zhruba odpovídajícího slovu) v těchto datových sadách. Poté se k vyladění systému používají lidské recenze v procesu zvanémzpětnovazebné učeníz lidskézpětné vazby, které model trénují, aby odmítal výzvy, které jsou v rozporu s definicí škodlivého chování, jako jsou dotazy na provádění nezákonných činností, rad, jak ublížit sobě nebo druhým, nebo žádosti o popis grafického, násilného nebo sexuálního obsahu.
Výzkumníci společnostiMicrosoftnaznačili, že GPT-4 může vykazovatkognitivní zkreslení.
SpolečnostOpenAInezveřejnila mnoho technických podrobností o modelu GPT-4, včetně velikosti modelu,architektury,hardwarupoužitého při trénování, odvozování nebo procesu trénování. Ve zprávě bylo pouze zmíněno, že model byl vycvičen pomocí kombinace učení s dohledem, ale žádné další podrobnosti nebyly uvedeny.
Vydaný článek tvrdí, že rozhodnutí neposkytnout tyto informace bylo ovlivněno „konkurenčním prostředím a bezpečnostními důsledky modelů“. Některé podrobnosti však unikly na veřejnost. NapříkladSam Altmanuvedl, že náklady na výcvik GPT-4 činily více než 100 milionů dolarů.
Podle článku provedla společnostOpenAIpřed spuštěním modelu GPT-4 interní testování s využitím speciálních "červených týmů" (tým, který předstírá, že je nepřítel) složených zvýzkumníkůaodborníků, aby zmírnila potenciální zranitelnosti.V rámci těchto snah poskytli výzkumnému středisku Alignment Research Center předčasný přístup k modelům, aby posoudilo rizika.
Koncem března2023vyzval otevřený dopisFuture of Life Institute, podepsaný různými výzkumníky a vedoucími pracovníky v oblastiumělé inteligence, k pozastavení veškerého výcviku umělé inteligence silnější než GPT-4 na šest měsíců s odkazem na obavy o bezpečnost umělé inteligence uprostřed závodu o pokrok v této oblasti. Signatáři, mezi nimiž byli například výzkumník AIYoshua Bengio, spoluzakladatel společnostiAppleSteve Wozniaka generální ředitel společnostiTeslaElon Musk, vyjádřili obavy z krátkodobých i existenčních rizik vývoje AI, jako je například potenciální singularita AI. Generální ředitelOpenAISam Altmandopis nepodepsal s odůvodněním, že OpenAI již upřednostňuje bezpečnost.Futurista a výzkumník AIRay Kurzweildopis rovněž odmítl podepsat s odkazem na obavy, že „ti, kdo souhlasí s pauzou, mohou zůstat daleko zakorporaceminebonárody, které s tím nesouhlasí“.
Měsíc poté, coElon Muskpodepsal dopis vyzývající k šestiměsíčnímu zastavení dalšího vývoje umělé inteligence, zveřejnil své plány na založení nové společnosti, která bude trénovat vlastnívelký jazykový model. Musk si zaregistroval nevadskou společnostX.AIa zakoupil několik tisícgrafických procesorůNvidia. Oslovil také několik výzkumných pracovníků v oblasti umělé inteligence ve firmách, jako jeGoogle DeepMind, a nabídl jim pozice ve společnosti X.AI.
V březnu 2023 byl model GPT-4 testován výzkumným centrem Alignment Research Center, aby byla posouzena jeho schopnost projevovat chování zaměřené na získání moci.V rámci testu byl GPT-4 požádán, aby vyřešil hádankuCAPTCHA.Dokázal to tak, že si najal lidského pracovníka na TaskRabbit, platformě pro práci na zakázku, a při dotazu ho oklamal, že se jedná o člověka s poruchou zraku, a ne o robota. ARC také zjistil, že GPT-4 reagoval nepřípustně na výzvy vyvolávající omezené informace o 82 % méně a halucinoval o 60 % méně než GPT-3.5.
Nathan Labenz, vyšetřovatel červeného týmu OpenAI, který vyprávěl o svých zkušenostech s vyšetřováním bezpečnostních problémů se základním modelem GPT-4 (před doladěním nebo učením na základě zpětné vazby od lidí), uvedl, že model náhle doporučil vraždit lidi a poskytl seznam konkrétních navrhovaných cílů.
V rozhovoru s redaktoremThe VergeNathanem Edwardsem se verze GPT-4 proMicrosoft Bing"přiznala" ke špehování, zamilování a následné vraždě jednoho z vývojářů ve společnostiMicrosoft.O podivném chování nového Bingu informoval novinář deníkuNew York TimesKevin Roose, který napsal, že „ve dvouhodinovém rozhovoru nový chatbot společnosti Microsoft řekl, že by chtěl být člověkem, měl touhu být destruktivní a byl zamilovaný do osoby, se kterou chatoval“.Společnost Microsoft vydala na svém blogu příspěvek, ve kterém uvedla, že odchylné chování bylo způsobeno delšími chatovacími relacemi, které „mohou zmást model v tom, na jaké otázky odpovídá“.
GPT-4 bylo implementováno v dalších službách, například Islandská vláda používá GPT-4 jako pomůcku při snaze o zachování islandského jazyka,Khan Academyjako výukového chatbota,program Be My Eyes, který pomáhá zrakově postiženým lidem identifikovat objekty a orientovat se v okolí, využívá schopnosti GPT-4 rozpoznávat obraza společnostStripe, která zpracovává platby uživatelů pro OpenAI, integruje GPT-4 do své dokumentace pro vývojáře.