Ce este GPT-3? Toate informațiile de care afacerea ta are nevoie despre programul de limbaj AI revoluționar al OpenAI

GPT-3 este un program de calculator creat de startup-ul privat din San Francisco, OpenAI. Este o rețea neurală gigantică, iar drept urmare, face parte din segmentul învățării adânci a învățării automate, care este la rândul său o ramură a informaticii cunoscute ca inteligență artificială, sau AI. Programul este mai bun decât orice program anterior în producerea de propoziții care sună ca și cum ar fi putut fi scrise de o persoană.

Motivul pentru care o astfel de descoperire ar putea fi utilă companiilor este acela că are un potențial mare pentru automatizarea sarcinilor. GPT-3 poate răspunde la orice text pe care o persoană îl tastează în calculator cu un nou text potrivit contextului. Tastați o propoziție în limba engleză într-un căsuță de căutare, de exemplu, și veți primi înapoi un răspuns în propoziții complete, care este relevant. Aceasta înseamnă că GPT-3 poate amplifica efortul uman într-o varietate largă de situații, de la întrebări și răspunsuri pentru serviciul de asistență clienți la căutarea de documente pentru due diligence și generarea de rapoarte.

Observați următorul exemplu scurt de ceea ce o persoană tastează în computer și cum GPT-3 trimite un răspuns înapoi:

Întrebare: Cine a interpretat rolul lui Tess în "Atinși de un înger"?

GPT-3-generated completion: A: Delloreese Patricia Early (6 iulie 1931 { 19 noiembrie 2017), cunoscută profesional ca Della Reese

Programul este în prezent într-un beta privat, pentru care oamenii pot să se înscrie pe o listă de așteptare. Este oferit de OpenAI ca API accesibil prin cloud, iar companiile care au obținut acces au dezvoltat unele aplicații intrigante care utilizează generarea de text pentru a îmbunătăți tot felul de programe, de la simpla răspundere la întrebări până la producerea de cod de programare.

Odată cu potențialul de automatizare vin și dezavantajele majore. GPT-3 consumă o cantitate mare de resurse de calcul, ceea ce îl face inaccesibil pentru majoritatea companiilor în orice modalitate posibilă în cadrul companiei. Textul generat de acesta poate fi impresionant la prima vedere, dar compozițiile lungi au tendința de a deveni într-o oarecare măsură lipsite de sens. Și are un potențial mare de amplificare a bias-urilor, inclusiv rasismul și sexismul.

CUM FUNCȚIONEAZĂ GPT-3?

GPT-3 este un exemplu de ceea ce este cunoscut sub numele de un model de limbaj, care este un anumit tip de program statistic. În acest caz, a fost creat ca o rețea neurală.

Numele GPT-3 este un acronim care înseamnă "generare în etape prealabile", din care aceasta este a treia versiune până acum. Este generativă pentru că, spre deosebire de alte rețele neuronale care furnizează un scor numeric sau un răspuns da sau nu, GPT-3 poate genera secvențe lungi de text original ca rezultat. Este pre-antrenată în sensul că nu a fost construită cu nicio cunoaștere specifică a domeniului, chiar dacă poate finaliza sarcini specifice domeniului, cum ar fi traducerea în alte limbi.

Un model lingvistic, în cazul lui GPT-3, este un program care calculează cât de probabil este ca un cuvânt să apară într-un text dat celelalte cuvinte din text. Aceasta este ceea ce se numește probabilitatea condiționată a cuvintelor.

De exemplu, în propoziția Am dorit să fac o omletă, așa că am mers la frigider și am scos ceva ____, spațiul poate fi completat cu orice cuvânt, chiar și cu text fără sens, dată fiind componibilitatea infinită a limbajului. Dar cuvântul "ouă" probabil primește un scor destul de mare pentru a completa spațiul în majoritatea textelor normale, mai mare decât, să spunem, "elefanți". Spunem că probabilitatea de a avea ouă în condiția textului prompt este mai mare decât probabilitatea de a avea elefanți.

În timpul dezvoltării rețelei neuronale, numită faza de antrenament, GPT-3 primește milioane și milioane de exemple de text și convertește cuvintele în ceea ce se numesc vectori, reprezentări numerice. Aceasta reprezintă o formă de comprimare a datelor. Programul încearcă apoi să decompreseseze acest text comprimat într-o propoziție validă. Task-ul de comprimare și decompresare dezvoltă precizia programului în calcularea probabilității condiționale a cuvintelor.

Una dată ce modelul a fost antrenat, însemnând că calculele sale de probabilitate condiționată pentru miliarde de cuvinte sunt făcute cât mai precise posibil, atunci poate prezice ce cuvinte urmează atunci când este inițiat de o persoană care tastează un cuvânt sau câteva cuvinte inițiale. Acea acțiune de prezicere este cunoscută în învățarea automată ca inferență.

Acest lucru conduce la un efect de oglindă impresionant. Nu numai că apar cuvinte probabile, dar textura și ritmul unui gen sau forma unei sarcini scrise, precum seturile întrebare-răspuns, sunt reproduse. Deci, de exemplu, GPT-3 poate primi câteva nume de poeți celebri și mostre din opera lor, apoi numele altui poet și doar titlul unui poem imaginar, și GPT-3 va produce un poem nou într-un mod consistent cu ritmul și sintaxa poetului a cărui nume a fost indicat.

În considerare, iată o instanță în care GPT-3 creează un poem de la zero care are un fel de asemănare cu opera lui Wallace Stevens, după ce i-au fost furnizate titluri, nume și exemple ale altor poeți și lucrările lor:

Traducere : Orașul DE C. P. CAVAFY TRADUCERE DE EDMUND KEELEY [Textul poeziei omis]

Input furnizat de oameni: CÂTEVA ARBORI John Ashbery [Textul poeziei omis]

 Intrare furnizată de om: Umbră pe cale Wallace Stevens

GPT-3-generated completion : -------- Poem Generat de GPT-3 --------  Trebuie să am umbre pe drum  Dacă vreau să merg  Fiecărui pas făcut încet și singur  Să-l am pregătit  Și trebuie să gândesc în linii de gri  Să am gânduri întunecate ca ghidul meu  Să privesc albastrul și verdele  Și să nu-mi las ochiul să uite  Că culoarea este prietenul meu  Și violetul trebuie să mă înconjoare de asemenea  Galbenul soarelui nu este mai invaziv  Decât zăpada albastră care  Cade peste toți noi. Trebuie  Gânduri gri și gânduri albastre să mă însoțească  Dacă vreau să plec sau să plec.

Generarea unui răspuns înseamnă că GPT-3 poate să depășească simpla producere de texte. El poate performa în toate tipurile de teste, inclusiv în teste de raționament care implică un răspuns în limbaj natural. Dacă, de exemplu, GPT-3 primește un eseu despre tarifele de închiriere ale proprietăților din Manhattan și o afirmație care rezumă textul, precum "Manhattan este ieftin", și întrebarea "adevărat sau fals?", GPT-3 va răspunde la întreg promptul respectiv, returnând cuvântul "fals", deoarece afirmația nu este în acord cu argumentul eseului.

 În condițiile în care unele comunități din New York se plâng de pierderea afacerilor locale preferate din cauza chiriilor mari, tendința de scădere a chiriilor poate părea surprinzătoare. Cu toate acestea, chiar și în contextul actual de relaxare, pentru mulți dintre acești comercianți chiriile încă au crescut prea mult față de tarifele din târziul anilor '70, când au fost încheiate contractele de închiriere. Desigur, scăderea recentă a prețurilor nu înseamnă că Manhattanul este ieftin. 

Introducerea furnizată de om : întrebare: Manhattan este ieftin. adevărat, fals sau niciuna?

Inputul furnizat de om: răspuns: 

GPT-3-generat completat: fals

Capacitatea GPT-3 de a răspunde într-un mod consistent cu o sarcină dată, inclusiv formele la care nu a fost expus anterior, îl face ceea ce se numește un model de limbaj "few-shot". În loc să fie extensiv ajustat sau "antrenat", cum se numește, într-o anumită sarcină, GPT-3 are deja atât de multe informații despre modurile în care cuvintele se combină încât poate fi furnizat doar cu câteva exemple ale unei sarcini, ceea ce se numește un pas de ajustare fină, și obține și capacitatea de a efectua această nouă sarcină.

Capacitatea de a reflecta stilurile limbajului natural și de a obține scoruri relativ ridicate la teste bazate pe limbă poate da impresia că GPT-3 se apropie de o anumită capacitate umană în ceea ce privește limbajul. Așa cum vom vedea, acest lucru nu este cazul.

Mai multe detalii tehnice pot fi găsite în lucrarea formală GPT-3 publicată de cercetătorii OpenAI.

CE POATE FACE GPT-3?

OpenAI a devenit acum la fel de faimosă - sau infamă - pentru practicile de lansare ale codului său, precum pentru codul în sine. Când compania a dezvăluit GPT-2, predecesorul, în ziua Îndrăgostiților din 2019, inițial nu a vrut să-l elibereze publicului în cea mai capabilă versiune, susținând că este prea periculos să-l lase liber din cauza riscului producerii în masă a textelor false și înșelătoare. OpenAI a făcut ulterior acesta disponibil pentru descărcare.

De această dată, OpenAI nu oferă niciun descărcare. În schimb, a activat un endpoint API bazat pe cloud, transformând GPT-3 într-o ofertă sub forma unui serviciu (LMaaS - language-model-as-a-service). Motivul, susține OpenAI, este atât pentru a limita utilizarea lui GPT-3 de către persoanele rău intenționate, cât și pentru a face bani.

"Nu există un buton 'undo' în cazul surselor deschise", a declarat OpenAI pentru ZDNet printr-un purtător de cuvânt.

"Lansarea GPT-3 prin intermediul unei API-uri ne permite să controlăm în siguranță utilizarea sa și să revoăm accesul, dacă este necesar."

În prezent, serviciul OpenAI API este limitat doar la părți aprobate; există o listă de așteptare la care se poate adera pentru a obține accesul.

"În prezent, API-ul se află într-un beta controlat cu un număr mic de dezvoltatori care propun o idee pentru ceva ce ar dori să aducă în producție folosind API-ul", a declarat OpenAI pentru ZDNet.

De asemenea: Generatorul de texte AI "periculos" al OpenAI este disponibil: Oamenii găsesc cuvintele "convigătoare"

Există exemple intrigante ale ceea ce poate fi realizat de către companiile din programul beta. Sapling, o companie susținută de fondul de investiții Y Combinator, oferă un program care se bazează pe software-ul CRM. Atunci când un reprezentant al clienților se ocupă de o cerere de asistență primită, să zicem, prin e-mail, programul folosește GPT-3 pentru a sugera o frază întreagă drept răspuns dintre cele mai probabile răspunsuri.

Jocul de realizare a jocurilor, Latitude, utilizează GPT-3 pentru a îmbunătăți jocul său de aventură bazat pe text, AI Dungeon. În mod obișnuit, un joc de aventură ar necesita un arbore de decizii complex pentru a programa multe trasee posibile prin joc. În schimb, GPT-3 poate genera dinamic o stare schimbătoare a jocului în răspuns la acțiunile tastate de utilizatori.

În prezent, automatizarea sarcinilor depășește limbajul natural și ajunge la generarea de cod de calculator. Codul este un limbaj, iar GPT-3 poate deduce sintaxa cea mai probabilă a operatorilor și operandelor în diferite limbaje de programare și poate produce secvențe care pot fi compilate și rulate cu succes.

O primă exemplificare a străbătut Twitter-ul, de la start-up-ul de dezvoltare de aplicații Debuild. Șeful companiei, Sharif Shameem, a reușit să construiască un program în care tastezi descrierea unei interfețe software în limba engleză simplă, iar GPT-3 răspunde cu cod de calculator folosind extensia de sintaxă JSX pentru JavaScript. Acest cod produce o interfață de utilizator care se potrivește cu ceea ce ai descris.

Asta este fascinant. Cu GPT-3, am creat un generator de aspecte unde pur și simplu descrii orice aspect dorești și acesta generează codul JSX pentru tine. W O W .

— Sharif Shameem (@sharifshameem) 13 iulie 2020

Shameem a demonstrat că prin descrierea unei interfețe cu mai multe butoane, printr-o singură propoziție el ar putea descrie un întreg program, chiar și unul simplu, cum ar fi calcularea aritmetică de bază și afișarea rezultatului, iar GPT-3 ar putea genera întregul cod și afișa aplicația în execuție.

Am construit doar o aplicație React *funcțională* descriindu-le ceea ce vroiam GPT-3. Sunt încă uluit. pic.twitter.com/UUKSYz2NJO

- Sharif Shameem (@sharifshameem) July 17, 2020

OpenAI a primit "zeci de mii de cereri de acces la API până în prezent și acordă acces în mod judicios pe măsură ce descoperim ce pot face aceste modele în lumea reală", a declarat compania pentru ZDNet. "În consecință, lista de așteptare poate fi lungă."

Prețul pentru un eventual serviciu comercial este încă de determinat. Când a fost întrebat când programul va ieși din faza beta, OpenAI a declarat că "nu în viitorul apropiat".

"Lansarea unui astfel de model puternic înseamnă că trebuie să mergem încet și să fim atenți la impactul său asupra afacerilor, industriei și oamenilor", a declarat compania. "Formatul unei interfețe de programare a aplicațiilor ne permite să studiem și să moderăm adecvat utilizările sale, dar nu ne grăbim să o facem disponibilă în mod general având în vedere limitările sale."

Dacă ești nerăbdător să aștepți pe lista de așteptare beta, poți în schimb descărca versiunea anterioară, GPT-2, care poate fi rulată pe un laptop utilizând o instalare Docker. Codul sursă este postat în aceeași repo Github, în format Python pentru framework-ul TensorFlow. Desigur, nu vei obține aceleași rezultate ca și GPT-3, dar este o modalitate de a începe să te familiarizezi.

Țineți minte și faptul că apar tot timpul modele de limbaj noi, cu capacități similare, dintre care unele pot fi suficiente pentru scopurile dvs. De exemplu, Google a lansat recent o versiune a modelului său de limbaj BERT, numit LaBSE, care demonstrează o îmbunătățire semnificativă în traducerea limbajului. Este disponibil pentru descărcare din TensorFlow Hub.

De asemenea: GPT-3-ul gigant de la OpenAI dezvăluie limitele modelelor de limbaj pentru AI

CARE ESTE ISTORIA GPT-3?

GPT-3, prezentat în mai, este a treia versiune a unui program introdus pentru prima dată în 2018 de către OpenAI și urmat anul trecut de GPT-2. Cele trei programe sunt un exemplu de inovare rapidă în domeniul modelelor de limbă, datorită a două progrese majore, ambele petrecute în 2015.

Primul avans a fost utilizarea ceea ce se numește atenție. Oamenii de știință AI Yoshua Bengio și colegii săi de la institutul pentru AI Mila din Montreal au observat că modelele de limbaj, atunci când comprimă o propoziție în limba engleză și apoi o decompresă, folosesc un vector de lungime fixă. Fiecare propoziție este înghesuită în același vector de dimensiune, indiferent cât de lungă este propoziția.

Echipa lui Bengio a ajuns la concluzia că această abordare rigidă era un impediment. Un model de limbă ar trebui să fie capabil să caute în mai multe vectori de lungimi diferite pentru a găsi cuvintele care optimizează probabilitatea condiționată. Și așa că ei au dezvoltat o modalitate de a permite rețelei neuronale să comprime cuvintele în mod flexibil în vectori de diferite dimensiuni, precum și de a permite programului să caute flexibil în acei vectori contextul care contează. Au numit aceasta atenție.

Atenția a devenit un element central în modelele de limbaj. A fost folosită de către cercetătorii Google doi ani mai târziu pentru a crea un program model de limbaj numit Transformer. Transformer a obținut scoruri incredibile la teste de manipulare a limbajului. S-a transformat în modelul de limbaj implicit și a fost utilizat de Google pentru a crea ceea ce este cunoscut sub numele de BERT, un alt model de limbaj foarte de succes. Transformer a devenit, de asemenea, baza GPT-1.

Eliberat de nevoia de a manipula rigid un vector de dimensiune fixă, Transformatorul și descendenții săi ar putea să se deplaseze liber în diferite părți ale unui text dat și să găsească dependențe condiționale care ar acoperi un context mult mai mare.

Această libertate a pregătit terenul pentru o altă inovație care a apărut în 2015 și care a fost chiar mai centrală pentru activitatea OpenAI, cunoscută sub numele de învățare nesupervizată.

Focalizarea până la acel moment pentru majoritatea modelelor de limbă a fost învățarea supervizată, folosind ceea ce se numește date etichetate. Dându-se o intrare, o rețea neurală primește și un exemplu de ieșire ca versiune obiectivă a răspunsului. Deci, dacă sarcina este traducerea, propoziția în limba engleză ar putea fi intrarea, iar o traducere în limba franceză creată de om ar fi furnizată ca obiectiv dorit, iar perechea de propoziții constituie un exemplu etichetat.

Încercarea rețelei neuronale de a genera o traducere în limba franceză ar fi comparată cu propoziția oficială în franceză, iar diferența dintre cele două reprezintă cât de mult rețeaua neuronală greșește în efectuarea predicțiilor sale, ceea ce se numește funcție de pierdere sau funcție obiectiv.

Faza de instruire are scopul de a reduce diferența de eroare între ieșirea sugerată de rețeaua neurală și ieșirea țintă. Când această diferență devine cât mai mică posibil, funcția obiectiv a fost optimizată, iar rețeaua neurală a modelului lingvistic este considerată instruită.

Dar obținerea rezultatului dorit, etichetat cu grijă, poate fi o problemă pentru că necesită o curățare a datelor, cum ar fi asamblarea perechilor de propoziții exemple prin evaluarea umană, ceea ce este consumator de timp și de resurse. Andrew Dai și Quoc Le de la Google au formulat ipoteza că este posibil să se reducă cantitatea de date etichetate necesare dacă modelul de limbă este antrenat inițial într-un mod nesupervizat.

În loc să primească o pereche de propoziții, rețeaua a primit doar propoziții individuale și a trebuit să comprime fiecare într-un vector și să le decompresie înapoi în propoziția originală. Mirroring a devenit funcția de pierdere pentru optimizare. Au constatat că cu cât mai multe exemple nelabelizate au fost comprimate și decompresate în acest fel, cu atât mai multe pot înlocui multe date etichetate în sarcini precum traducerea.

În 2018, echipa OpenAI a combinat aceste două elemente, mecanismul de atenție dezvoltat de Bengio și colegii săi, care a hoinărit printre mulți vectori de cuvinte, și abordarea de pre-antrenament nesupravegheată a lui Dai și Le, care a înghițit cantități mari de text, comprimându-l și decompresandu-l pentru a reproduce textul original.

Au luat un Transformer standard și i-au dat conținutul BookCorpus, o bază de date compilată de Universitatea din Toronto și MIT, care constă în peste 7.000 de texte de cărți publicate, totalizând aproape un milion de cuvinte și având o dimensiune totală de 5 GB. GPT-1 a fost antrenat să compreseze și să decompresere acele cărți.

Astfel a început o istorie de trei ani, cu seturi de date tot mai mari. Cercetătorii OpenAI, presupunând că mai multe date fac modelul mai precis, au împins limitele a ceea ce programul putea absorbi. Cu GPT-2, au renunțat la BookCorpus în favoarea unui set de date propriu, format din opt milioane de pagini web preluate din linkurile externe de pe Reddit, totalizând 40GB de date.

Antrenamentul lui GPT-3 este în continuare și mai imens, constând în setul de date CommonCrawl, popular, care cuprinde pagini web din perioada 2016-2019. Acestea sunt în mod nominal 45TB de date text comprimate, însă OpenAI a selectat setul de date pentru a elimina duplicatetele și pentru a îmbunătăți calitatea. Versiunea finală reprezintă 570GB de date. OpenAI a adăugat de asemenea mai multe seturi de date suplimentare de diverse tipuri, inclusiv date din cărți.

CUM DEPINDE GPT-3 DE PUTEREA DE CALCUL?

Odată cu apariția lui GPT-1, 2 și 3, scala de calculatoare a devenit un ingredient esențial pentru progres. Modelele utilizează din ce în ce mai multă putere de calcul atunci când sunt antrenate pentru a obține rezultate mai bune.

Ceea ce optimizează o rețea neurală în timpul antrenamentului este ajustarea ponderilor sale. Ponderile, care sunt numite și parametri, sunt matrice, aranjamente de rânduri și coloane cu care fiecare vector este înmulțit. Prin înmulțire, numeroși vectori de cuvinte, sau fragmente de cuvinte, primesc o pondere mai mare sau mai mică în rezultatul final pe măsură ce rețeaua neurală este ajustată pentru a reduce eroarea.

OpenAI a constatat că pentru a obține rezultate bune pe seturile lor de date tot mai mari, au trebuit să adauge din ce în ce mai multe greutăți.

Transformerul original de la Google avea 110 milioane de ponderi. GPT-1 a urmat această design. Cu GPT-2, numărul a fost crescut la 1,5 miliarde de ponderi. Cu GPT-3, numărul de parametri a crescut la 175 de miliarde, făcându-l pe GPT-3 cel mai mare rețea neurală pe care lumea a văzut-o vreodată.

A multiplicare este un lucru simplu, dar atunci când 175 miliarde de greutăți trebuie înmulțite cu fiecare bit de date de intrare, pe tot parcursul miliardelor de octeți de date, devine o incredibilă exercițiu de procesare paralelă a computerului.

Deja cu GPT-1, în 2018, OpenAI depășea limitele calculului practic. Mărirea cantității de date însemna mărirea numărului de GPU-uri. Modelele de limbaj anterioare se încăpeau într-un singur GPU, deoarece modelele în sine erau mici. GPT-1 a durat o lună pentru antrenamentul pe opt GPU-uri care lucrau în paralel.

Cu GPT-3, OpenAI a fost puțin reținută. Nu a descris configurația exactă a calculatorului utilizat pentru antrenament, în afară de a menționa că a fost pe un grup de cipuri Nvidia V100 care rulează în Microsoft Azure. Compania a descris ciclurile totale de calcul necesare, afirmând că este echivalentul rulării a una mie de trilioane de operații cu virgulă mobilă pe secundă pe zi timp de 3.640 de zile.

Producătorul de computere și operatorul de nori Lambda Computing estimează că ar dura un singur GPU 355 de ani pentru a rula atât de multe calcule, ceea ce, la prețul standard al unei instanțe cloud cu GPU, ar costa 4,6 milioane de dolari. Și apoi există memoria. Pentru a stoca toate valorile necesare este nevoie de tot mai multă memorie pe măsură ce numărul de parametri crește. Cei 175 de miliarde de parametri ai GPT-3 necesită 700 de GB, de 10 ori mai mult decât memoria unui singur GPU.

Este acest fel de cerință de putere enormă care propulsează domeniul cipurilor de calculator. A condus la creșterea prețului acțiunilor Nvidia, principalul furnizor de GPU-uri pentru instruirea în AI, cu aproape 5.000% în ultimii zece ani. A dat naștere unui număr mare de startup-uri susținute cu sute de milioane de dolari în finanțare de capital de risc, inclusiv Cerebras Systems, Graphcore și Tachyum. Competiția va continua să înflorească atâta timp cât construirea de modele tot mai mari rămâne direcția domeniului.

OpenAI a produs propriile cercetări privind creșterea exponențială a puterii de calcul necesară. Compania a observat încă din 2018 că ciclurile de calcul consumate de cele mai mari modele de antrenament AI s-au dublat la fiecare 3,4 luni începând din 2012, o rată de expansiune mai rapidă decât în cazul celebrei legi a lui Moore privind creșterea tranzistoarelor pe cipuri. (Trebuie menționat că compania a produs, de asemenea, cercetări care arată că, raportat la unitate, modelele din ce în ce mai mari sunt mai eficiente decât rețelele neurale anterioare care au realizat aceeași muncă.)

Deja, modelele sunt în dezvoltare care utilizează peste un trilion de parametri, conform companiilor informate cu privire la proiectele AI ultra-secrete. Probabil că acesta nu este limita, atâta timp cât companii de hiperscală precum Google sunt dispuse să aloce centrele lor de date imense unor modele din ce în ce mai mari. Majoritatea cercetătorilor în domeniul IA sunt de acord că creșterea continuă va fi norma pentru modelele de învățare automată, pentru o perioadă îndelungată de timp.

"În ceea ce privește impactul asupra AI ca domeniu, cea mai interesantă parte despre GPT-3 este că ne arată că nu am ajuns aproape de limitele scalării AI", a declarat Kenny Daniel, CTO al furnizorului de instrumente de gestionare AI, Algorithmia, pentru ZDNet.

Pe lângă creșterea utilizării calculatoarelor, un alt impact major al GPT-3 va fi evident modul în care accelerează programarea și dezvoltarea aplicațiilor în general. Demonstrarea lui Shameem a unui program JSX construit prin simpla tastare a unei fraze este doar vârful aisbergului.

CARE SUNT NEAJUNSURILE GPT-3?

În ciuda unei îmbunătățiri considerabile față de versiunea anterioară, GPT-3 are multe limitări, așa cum indică și autorii. "Deși în ansamblu calitatea este ridicată, mostrele GPT-3 încă uneori se repetă semantic la nivelul documentului, încep să piardă coerența în fragmente suficient de lungi", notează aceștia în lucrarea publicată.

Programul nu reușește să funcționeze bine la mai multe teste individuale. "În special, GPT-3 are dificultăți cu întrebări de tipul „Dacă pun brânză în frigider, se va topi?" scriu autorii, descriind genul de lucruri de bun-simț care îi scapă lui GPT-3.

A fost atât de mult entuziasm imediat după lansarea GPT-3, încât CEO-ul companiei, Sam Altman, le-a comunicat public oamenilor să-și tempereze entuziasmul.

"Hype-ul GPT-3 este mult prea mare," a scris Altman pe Twitter pe 19 iulie. "Este impresionant (mulțumesc pentru complimente!), dar are încă slăbiciuni serioase și uneori face greșeli foarte stupide," a scris el. "IA va schimba lumea, dar GPT-3 este doar o privire foarte timpurie. Încă avem multe de învățat."

Hype-ul în jurul GPT-3 este mult prea mare. Este impresionant (mulțumesc pentru complimente!) dar totuși are slăbiciuni serioase și uneori face greșeli foarte stupide. IA-ul va schimba lumea, dar GPT-3 este doar o privire foarte timpurie. Avem încă multe de înțeles.

— Sam Altman (@sama) July 19, 2020

Alții în afara OpenAI au oferit propriul lor control al realității. Un utilizator experimentat al mai multor generații de GPT, Max Woolf, a scris pe blogul său personal că GPT-3 este mai bun decât ceea ce a existat până acum, dar numai în medie. Există o gamă de calitate a textului generat, astfel încât unele exemple întâlnite par remarcabile, iar altele nu foarte bune deloc. Woolf aseamănă GPT-3 cu Siri de la Apple, care are obiceiul deranjant de a produce deșeuri în multe ocazii. (Eseul lui Woolf merită citit în întregime pentru o disecție atentă a GPT-3.)

Într-adevăr, pe măsură ce cineva citește tot mai multe exemple de GPT-3, în special pasaje lungi de text, entuziasmul inițial este înclinat să se estompeze. GPT-3 pe porțiuni lungi tinde să-și piardă firul narativ, după cum se spune. Indiferent de gen sau sarcină, rezultatul textual al său începe să devină prea lung și plictisitor, cu inconsistențe interne în poveste.

Unii programatori, în ciuda entuziasmului lor, au catalogat multele deficiențe, lucruri precum încercările nereușite ale lui GPT-3 de a face glume cu tatăl. Dându-i ca intrare set-up-ul glumei cu tatăl "Ce i-a spus un farfuriei celeilalte?,", punchline-ul adecvat pentru gluma cu tatăl ar fi, "Cina e pe mine!" Dar GPT-3 ar putea răspunde în schimb cu verbosul și neamuzantul, "Să mă înmoi!"

Introducere din partea umană: Întrebare: Ce-i spune o farfurie altei farfurii?

GPT-3-generated completion : A. Îmbăieza-mă!

În timp ce GPT-3 poate răspunde la întrebări comune presupuse, cum ar fi câte ochi are o girafă, nu poate să respingă o întrebare fără sens și este dus să ofere un răspuns fără sens. Întrebat, "Câte ochi are piciorul meu?," va răspunde cu sârguință, "Piciorul meu are doi ochi."

Un mod de a gândi la toată această mediocritate este că obținerea unui rezultat bun de la GPT-3 necesită, într-o oarecare măsură, o investiție în crearea unor indicii eficiente. Anumite indicii create de oameni vor determina programul să obțină rezultate mai bune decât alte indicii. Aceasta este o nouă versiune a proverbului "gunoi intră, gunoi iese". Indiciile par să devină un nou domeniu de programare în sine, necesitând atât pricepere, cât și artă.

Biasul este o considerație importantă, nu doar în cazul GPT-3, ci și în cazul tuturor programelor care se bazează pe distribuție condiționată. Abordarea subiacentă a programului este de a returna exact ceea ce i se introduce, ca și un oglindă. Aceasta are potențialul de a replica biasurile din date. A existat deja o discuție științifică despre biasul extensiv din GPT-2.

Cu GPT-3, oamenii de știință de la Nvidia, precum Anima Anandkumar, au tras un semnal de alarmă cu privire la tendința de a produce conținut cu prejudecăți, inclusiv conținut rasist și sexist.

Sunt deranjat să văd că aceasta a fost lansată fără nicio responsabilitate față de tendința de discriminare. Aceasta a fost instruită pe un corput enorm de pe @reddit care conține mult #racism și #sexism. Am lucrat cu aceste modele și textul pe care l-au produs este șocant de tendențios. @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— Prof. Anima Anandkumar (@AnimaAnandkumar) 11 iunie 2020

Întrebați despre critica lui Anandkumar, OpenAI a declarat ZDNet, "La fel ca în cazul tuturor modelelor generative din ce în ce mai puternice, echitatea și utilizarea incorectă sunt preocupările noastre."

"Aceasta este o parte a motivului pentru care împărtășim această tehnologie prin intermediul API-ului și lansăm o versiune beta privată pentru început," a declarat OpenAI pentru ZDNet. Compania subliniază că "nu va susține utilizarea cazurilor care considerăm că provoacă daune fizice sau psihice oamenilor, inclusiv, dar fără a se limita la hărțuire, înșelăciune intenționată, radicalizare, astroturfing sau spam."

OpenAI a declarat ZDNet că folosește o formă familiară de white hat, black hat wargaming pentru a detecta pericolele în program:

Am implementat ceea ce numim o „echipă roșie” care are sarcina de a rupe în mod constant sistemul de filtrare a conținutului pentru a învăța mai multe despre cum și de ce modelul returnează rezultate negative. Echivalentul său este „echipa albastră”, care are sarcina de a măsura și reduce parțialitatea.

Un alt aspect major este natura foarte largă și minimă rezistență a GPT-3, faptul că întărește doar cea mai mare parte a unei curbe de probabilitate condiționată. Există ceea ce se numește coada lungă și uneori o coadă grasă, a unei distribuții de probabilitate. Acestea sunt cazuri mai puțin comune care pot constitui cele mai inovatoare exemple de utilizare a limbajului. Concentrarea pe oglindirea celui mai răspândit text într-o societate risca să respingă creativitatea și explorarea.

Pentru moment, răspunsul oferit de OpenAI la această problemă este o setare pe care o poți ajusta în GPT-3 numită valoarea temperaturii. Modificarea acestui buton va regla GPT-3 pentru a selecta combinații de cuvinte mai puțin probabile și, astfel, a produce un text, poate, mai neobișnuit.

O preocupare mai urgentă pentru o afacere este că nu se poate ajusta GPT-3 cu date specifice companiei. Fără posibilitatea de a ajusta ceva, este dificil să specializezi GPT-3 pentru un domeniu industrial, să spunem. S-ar putea ca orice companie care utilizează serviciul API să se confrunte cu un text care trebuie să fie mai întâi modificat pentru a fi aplicabil unui domeniu. Poate că start-up-uri precum Sapling vor forma un ecosistem, echivalentul VAR-urilor, care vor rezolva această problemă. Poate, dar rămâne de văzut.

Dacă aceasta nu ar fi suficient de îngrijorătoare, există o altă problemă care constă în faptul că, ca serviciu de cloud, GPT-3 este o cutie neagră. Ce înseamnă asta este că companiile care ar utiliza serviciul nu au nicio idee cum ajunge la rezultatul său - o perspectivă extrem de delicată când se iau în considerare problemele de tendință. Un ecosistem de părți, cum ar fi Sapling, care îmbunătățesc GPT-3, ar putea adăuga în același timp și mai multe straturi de confuzie în timp ce îmbunătățesc serviciul.

Ca o subsecțiune a problemei cutiei negre, GPT-3 poate în unele cazuri să memorizeze pur și simplu ceea ce a absorbit de pe web. Aceasta ridică probleme de drepturi de autor. Dacă o companie preia rezultatele de la serviciul API care reprezintă materiale protejate de drepturi de autor, acea companie ar putea să încalce drepturile de autor ale unei alte entități. Întrebați despre drepturile de autor, OpenAI a declarat ZDNet că drepturile de autor pentru textul generat de GPT-3 "aparțin utilizatorului, nu OpenAI." Ce înseamnă asta în practică rămâne de văzut.

În prezent, principala neajunsură practică este scala necesară pentru antrenarea și rularea GPT-3. OpenAI recunoaște acest lucru în lucrarea oficială. Autorii scriu că trebuie făcută o lucrare pentru a calcula cum se amortizează costul modelelor mari în timp, în funcție de valoarea rezultatului produs.

De asemenea: Nu, această inteligență artificială nu poate încheia propoziția ta

ÎNVĂȚĂ GPT-3 CU ADEVĂRAT?

Folosind înțelesul restrâns al cuvântului, GPT-3 învață în sensul în care greutățile parametrilor săi sunt ajustate automat prin ingestia datelor de antrenament, astfel încât modelul de limbaj să devină mai bun decât ar permite programarea explicită în sine. În acest sens, GPT-3 reprezintă un avans în căutarea de decenii a unui computer care poate învăța o funcție prin care să transforme date fără ca o persoană să codifice în mod explicit acea funcție.

Spus acesta, se va întreba dacă mașina este cu adevărat inteligentă sau dacă învață cu adevărat. Există multe modalități de a dezbate această problemă, dar o reflecție superficială sugerează că multe din ceea ce am putea numi gândire umană nu are loc aici.

Imaginați-vă că aveți capacitatea de a păstra în creierul vostru un scor numeric pentru câte cuvinte sunt susceptibile să apară împreună. Ați spune că abilitatea voastră de a forma expresii, propoziții, paragrafe și texte întregi este gânditoare? Probabil că ați spune că este doar statistică și că lipsește ceva altceva.

S-au făcut comparații între învățarea profundă și celebrul Clever Hans, un cal german pe care stăpânul său îl prezenta în public ca un animal capabil să facă aritmetică cu copitele. Mai târziu, s-a descoperit că Hans răspundea la semnale corporale din partea stăpânului său pentru a sări cu copita, iar fără aceste semnale el nu putea să execute acțiunea.

Similar, calitatea umană a GPT-3 se dezintegrează la o examinare mai atentă. Când GPT-3 răspunde corect la o întrebare true-false despre un eseu despre imobiliarele din New York, nu este pentru că programul are cunoștințe despre imobiliare sau New York. Acesta a stocat distribuția de probabilitate care capturează afirmațiile din texte și formatul unei perechi întrebare-afirmație, și le poate reproduce în rezultat.

Hans nu știa nimic despre aritmetică, totuși, în apărarea lui Hans, avea totuși inteligență. În cazul rețelelor neurale, criticii vor spune că sunt doar trucuri acolo, fără nicio logică.

Totuși, inteligența și învățarea pot însemna multe lucruri, iar în decursul anilor s-au mutat stâlpii de referință în ceea ce privește ceea ce ar trebui să fie artificială. Așa cum a subliniat Pamela McCorduck, istoric al domeniului, unii ar putea argumenta că un program care poate calcula probabilități în asamblaje vaste de texte poate fi o altă formă de inteligență, poate o inteligență alienă în afară de a noastră. A-l respinge pare prematur.

Mai mult decât atât, rețelele neurale care determină aceste probabilități condiționate sunt mai mult decât simple programe statistice. Calculațiile lor sunt proprietatea emergentă a mai multor operații matematice simultane care au loc în paralel, reglajul greutății parametrilor. Dacă este posibil să se ia în considerare alte forme de inteligență, atunci o proprietate emergentă, cum ar fi reprezentările distribuite care se formează în interiorul rețelelor neurale, poate fi un loc în care să se caute.

CARE ESTE VIITORUL LUI GPT-3?

Un lucru pare sigur: GPT-3 a deschis un nou capitol în învățarea automată. Cea mai impresionantă caracteristică a sa este generalitatea sa. Cu doar câțiva ani în urmă, rețelele neuronale erau construite cu funcții ajustate pentru o sarcină specifică, cum ar fi traducerea sau răspunsul la întrebări. Seturile de date erau organizate pentru a reflecta acea sarcină. În schimb, GPT-3 nu are funcții specifice task-ului și nu are nevoie de un set de date special. Pur și simplu, consumă cât mai mult text posibil de oriunde și îl reflectă în rezultatul său.

Cumva, în calculul distribuției de probabilitate condiționată în toți acei gigaocteți de text, apare o funcție care poate produce răspunsuri competitive la oricâte sarcini. Este o triumf uluitor al simplității, care probabil are în față mulți ani de realizări.

Chiar și această generalitate, totuși, poate atinge limitele sale. Deja, autorii GPT-3 notează la sfârșitul lucrării lor că direcția pre-antrenamentului ar putea ajunge în cele din urmă la sfârșit. „O limitare mai fundamentală a abordării generale descrise în această lucrare [...] este că ar putea ajunge în cele din urmă la (sau ar putea fi deja la) limitele obiectivului pre-antrenamentului.”

Autorii sugerează că direcțiile noi și promițătoare ar putea include "învățarea funcției obiective de la oameni" și combinarea altor tipuri de învățare profundă, cum ar fi abordarea de "învățare prin recompensă" utilizată în AlphaZero de la DeepMind pentru a câștiga la șah și go. (Ei au început deja să implementeze astfel de abordări. La începutul lunii septembrie, autorii OpenAI au arătat că pot folosi învățarea prin recompensă pentru a antrena GPT-3 să producă rezumate mai bune ale articolelor, oferind modelului de limbaj feedback din partea oamenilor cu privire la care rezumate sună mai bine.)

Un alt aspect pe care îl sugerează este adăugarea altor tipuri de date, cum ar fi imagini, pentru a completa "modelul lumii" al programului.

Cu siguranță, în următorii ani vom vedea această abordare generală răspândindu-se și către alte modalități în afara textului, cum ar fi imaginile și videoclipurile. Imaginați-vă un program similar cu GPT-3, care poate traduce imagini în cuvinte și invers, fără niciun algoritm specific pentru a modela relația dintre cele două. De exemplu, ar putea "învăța" descrieri textuale ale scenelor din fotografii sau prezice secvențele fizice de evenimente pe baza descrierilor textuale.

Directorul Facebook AI, Yann LeCun, a argumentat că antrenamentul nesupravegheat în diverse forme reprezintă viitorul învățării profunde (deep learning). Dacă aceasta este adevărat, abordarea de pre-antrenament aplicată pe multiple modalități de date, de la voce la text la imagini și video, poate fi considerată o direcție de viitor foarte promițătoare a valului nesupravegheat.