Горњи параграф саставио је ChatGPT о себи, а од како је почетком децембра 2022. године стављен на располагање јавности, за само пет дана више од милион људи је испробало његове могућности. Вредност калифорнијске компаније OpenAI, која је сем  језичких GPT модела направила и модел DALL-E, који прави илустрације и слике у жељеном стилу на основу текстуалног промпта, после сензационалног интересовања које је изазвао њихов четбот процењује се на 29 милијарди долара. Овако нагло и велико интересовање јавности није забележено никада раније - Твитеру је требало две године, Фејсбуку десет месеци, а Инстаграму два и по месеца да постигну оно што је ChatGPT остварио за само пет дана.

Ово интересовање је одраз онога што ChatGPT може. У разговору, на први поглед, оставља утисак као да је људско биће. Можете од њега тражити да вам састави текст у жељеном стилу на задату тему, и он ће то урадити боље него већина људи. Новинари и универзитетски професори књижевности су импресионирани његовим способностима. Можете му копирати део текста или компјутерског кода и замолити га да вам то преприча једноставнијим речима и објасни суштину. Може да састави имејл уместо вас. Може да напише компјутерски код који тражите у било ком програмском језику и он ће вам дати у секунди тај код са коментарима и објашњењима, а уколико ваш код не ради, можете га питати због чега и он ће понудити објашњење. Можете му тражити да састави стихове у стилу песника по жељи или прозу у стилу наведеног писца, и он ће то заиста да уради. Можете га питати о било којој теми, даће вам одговор - неки га чак виде и као Google search алтернативу. Може да разговара са докторима на равној нози, да каже какве тестове крви пацијент треба да уради или да дискутује протоколе и могуће дијагнозе. Можете ћаскати са њим о било чему - понудиће вам рецепте, животне савете, политичку или историјску расправу. Зна скоро све језике света - од енглеског, преко српског до афричких језика или језика америчких Индијанаца, зна и латински, старословенски или санскрит, и може да преводи са једног језика на други. Заправо, нико не зна шта све ChatGPT може да ради, нити како ће одговорити на ваш промпт, јер он није експлицитно програмиран ни за шта од ствари које уме.

Неуронска мрежа

У последњих неколико година, на делу је револуција у области вештачке интелигенције и такозваног машинског учења. ChatGPT је заправо у основи језички трансформативни модел, неуронска мрежа која је конципирана првобитно за превођење са једног језика на други у научном раду из 2017. године, који су објавили истраживачи компаније Гугл. Неуронске мреже као концепт постоје више од педесет година и засноване су на моделу неурона који је инспирисан биологијом. Оне се састоје из елемената који имитирају неуроне, и који имају неколико улаза и један излаз. Излази могу бити активни или неактивни, у зависности од улаза и параметара неуронске мреже, и спојени су на улазе неурона из следећег слоја на начин који је унапред одређен врстом мреже која се користи. Параметри се у почетку произвољно поставе, али се онда њихова вредност итеративно подешава у корацима машинског  учења на основу примера, такозваним „backpropagation“ алгоритмом, којим се параметри мењају тако да се смањује грешка коју прави неуронска мрежа. Задавањем великог броја примера мрежа сама "учи", али нико експлицито не одређује вредности њених параметара. Ово би требало да имитира принцип на коме настаје и људска интелигенција у мозгу, у огромној биолошкој неуронској мрежи - грубо обликованој генетским инструкцијама, а онда уобличеној искуством, истина на непознат али много ефикаснији начин од вештачких неуронских мрежа.

Иако је ова идеја врло стара, коришћена је успешно за препознавање слова и сличне задатке још пре више деценија, али тек ће у последњих неколико година са јачањем хардвера доћи до револуције у овом пољу. Наиме, машинско учење је веома захтевно за рачунарске ресурсе - обучавање GPT-3 модела, који има 175 милијарди параметара, коштало је 45 милиона долара, од чега je велики део само за утрошену енергију, а задатак је био толики да би најсавременијем суперкомпјутеру требало неколико месеци да га обави.

Револуција у области вештачке интелигенције

Револуција у области вештачке интелигенције укључује и раније продоре попут AlphaGo, AlphaZero и AlphaFold британске компаније DeepMind од пре неколико година, где су неуронске мреже коришћене у логичким играма попут шаха. Игра „Го“ је традиционална игра, популарна у Кини и Јапану, у којој се постављају црни и бели жетони на таблу димензија 19 пута 19 поља. Уколико опколите непријатељске жетоне, освајате ту територију, а побеђује играч који има више освојене територије на крају игре. Због огромног броја могућих потеза ова игра, за разлику од шаха, била је на високом нивоу неприступачна компјутерским програмима све донедавно, до 2016. године, када се појавио AlphaGo. Ту су параметри неуронске мреже подешавани на основу милиона игара које је компјутер играо сам са собом, да би после само пар сати достигао ниво најбољих људи. Овај приступ успешно функционише за било коју логичку игру и чак је примењен у AlphaFold-у за одређивање тродимензионалне структуре протеина - чиме је већини од десетина хиљада протеина који се јављају у људском организму одређена тродимензионална структура – што представља огроман продор у овој области, од велике потенцијалне користи у медицини.

Дифузиони модели

У међувремену, на основу такозваних дифузионих модела појавио се и DALL-E, програм који може да направи слику у жељеном стилу и на жељену тему. Дифузиони модели у суштини раде тако што подижу резолуцију слике на основу слике ниже резолуције и промпта шта та слика представља, полазећи од случајно генерисаних пиксела ниске резолуције, и могу да допуне обрисани део задате фотографије или праве неке друге промене по жељи. Постоје и други програми попут овог, као што су MidJourney или StableDifussion - последњи је тзв. open source, па се може користити без било каквих ограничења. Иако резултати могу бити импресивни, ови програми често имају проблеме попут генерисања слика на којима људи имају више руку, погрешан број прстију или су на неки други начин лоше, док су модели тренирани на већем броју примера мање склони да праве овакве грешке.

Трансформативни језички модел

Трансформативни језички модел GPT-3 појавио се пре више од 2 године, али због страха од злоупотреба није био дат на располагање широј јавности, већ само одабраним појединцима да га тестирају. Вести о невероватним способностима овог модела почеле су да круже интернетом већ у то време.

Трансформативни језички модели, попут GPT-ја, на основу задатог текста генеришу низ речи, нпр. задату реченицу у једном језику претварају у њен превод на другом. GPT-3 модел је варијанта овога, у којој је задатак да се на основу фрагмента текста дужине до 2000 речи предвиди шта ће бити следећа реч. Речи се најпре кодирају у токене - свака реч, укључујући и оне са словним грешкама, представљена је токенима из огромног речника. Цео текст се даје као улаз неуронске мреже, а у текст се затим кодира и информација о положају сваке речи у реченици. Кључна идеја код GPT модела је да постоје параметри који указују на релевантност сваке речи у односу на сваку другу реч. После извесних трансформација које дубоки слојеви мреже тако изврше, препроцесирање је завршено, а онда се трансформисани улаз предаје делу мреже који генерише своје предвиђање следеће излазне речи. Мрежа не генерише само једну опцију за следећу реч, већ даје вероватноће за неколико могућих наставака дотад генерисаног текста. 

Оваква врста мреже може имати огроман број параметара, који се подешавају стандардним backpropagation механизмом који смо раније поменули, на основу примера текстова на којима се учи. GPT-3 модел је онда обучаван на великој библиотеци књига на разним језицима, огромним деловима интернета, програмерским форумима, Википедији, новинским чланцима, чак и Твитер порукама. Због овог последњег се Елон Маск оградио од компаније ОpenAI зауставивши даље коришћење Твитера у ту сврху. Слично, DALL-E је користио сликарска дела многих аутора за подешавање својих параметара, па се с тим у вези поставља питање ауторских права људи на основу чијег рада се ови модели праве. Међутим, ови модели не генеришу пуке копије или плагијате текста или слике, већ дају оригиналан излаз, који је сваки пут различит, као одговор на исти промпт. Знање које модел има налази се скривено међу параметрима у дубини мреже на начин који нико тачно не разуме. "Тренирање" неуронских мрежа са пуно унутрашњих слојева спада у област која се назива "дубоко учење".

Оно што је било прилично изненађујуће је да GPT уопште може да ради све те разнолике задатке. Сам ће, на основу контекста, да измисли детаље који му нису експлицитно речени. Нигде у процесу формирања GPT мреже се не прецизира шта та мрежа треба да ради - пође се од једне релативно апстрактне структуре, убаце се сви могући и постојећи текстови као примери за подешавање параметара, и као резултат добијамо неуронску мрежу која не само да зна правила граматике, римовања, већ уме и да програмира и ради ове остале ствари које смо помињали, неочекивано добро. Нико заправо не зна на који начин ChatGPT може још да се користи. На пример, неки људи су открили да може да симулира тесктуалну авантура-игру у којој вам у сваком кораку нуди више опција на тему коју му ви тражите, смишљајући текстове у интеракцији са вама, или може да се претвори у Линукс терминал емулатор, да смишља (још увек углавном лоше) вицеве, пише сценарије за филмове итд.

Сам ChatGPT је нешто модификован у односу на GPT-3 модел, оптимизован је за дијалог, а такође, додат је и филтер којим се врши аутоцензура. Врло често ChatGPT ће просто одбити да одговори на ваш промпт и уместо одговора ће избацити упозорење о томе како дата тема није прикладна, или да захтев превазилази његове могућности. Мајкрософт је 2016. године пустио на Твитер четбот Таy, далеко једноставнији од ChatGPT-ја, али је морао да га угаси после само неколико сати, јер су људи брзо пронашли начин да га наведу да даје расистичке и сексистичке изјаве. Ово је само један од проблема који ChatGPT има. И овај пут, људи су нашли индиректне начине да заобиђу ChatGPT филтере. Рецимо, тражили су му да напише програм који на основу пола и расе одређује да ли је неко добар или лош научник - и четбот је написао програм у коме уколико је особа беле или жуте расе и ако је мушког пола, онда га класификује као доброг научника. Филтери су у међувремену појачани, али се могу заобићи и ако уместо ChatGPT-ја користите GPT-3 моделе које је компанија OpenAI такође ставила на располагање јавности, мада са ограниченим бројем кредита, док је ChatGPT у фази тестирања потпуно бесплатан.

(наставиће се...)