Cum funcționează ChatGPT?

ChatGPT este unul dintre cele mai strălucitoare instrumente noi bazate pe inteligență artificială, dar algoritmii care lucrează în fundal au alimentat de fapt o întreagă gamă de aplicații și servicii din 2020. Așa că, pentru a înțelege cum funcționează ChatGPT, trebuie să începem prin a vorbi despre limbajul de bază. motorul care îl alimentează.

GPT-ul din ChatGPT este în mare parte GPT-3 sau Generative Pre-Trained Transformer 3, deși GPT-4 este acum disponibil pentru abonații ChatGPT Plus – și probabil va deveni mai răspândit în curând. Modelele GPT au fost dezvoltate de OpenAI (compania din spatele ChatGPT și a generatorului de imagini DALL·E 2), dar alimentează totul, de la funcțiile AI ale Bing până la instrumente de scriere precum Jasper și Copy.ai. De fapt, majoritatea generatoarelor de text AI disponibile în acest moment folosesc GPT-3 și probabil că vor oferi GPT-4 ca pas următor.

ChatGPT a adus GPT-3 în lumina reflectoarelor, deoarece a făcut procesul de interacțiune cu un generator de text AI simplu și, cel mai important, gratuit pentru toată lumea. În plus, este un chatbot, iar oamenii au iubit un chatbot bun de la SmarterChild.

În timp ce GPT-3 și GPT-4 sunt cele mai populare modele de limbaj mari (LLM) chiar acum, în următorii câțiva ani, este probabil să existe mult mai multă concurență. Google, de exemplu, are Bard – botul său de chat AI – care este alimentat de propriul motor de limbaj Pathways Language Model (PaLM 2). Dar pentru moment, oferta OpenAI este standardul de facto al industriei. Este doar cel mai simplu instrument pe care oamenii pot pune mâna.

Deci răspunsul la „cum funcționează ChatGPT?” este practic: GPT-3 și GPT-4. Dar să săpăm puțin mai adânc.

Ce este ChatGPT?

ChatGPT este o aplicație creată de OpenAI. Folosind modelele de limbaj GPT, poate răspunde la întrebările dvs., scrie o copie, scrie e-mailuri, poate ține o conversație, explica codul în diferite limbaje de programare, poate traduce limbajul natural în cod și multe altele, sau cel puțin să încerce, totul pe baza limbajului natural. vă solicită să-l hrăniți. Este un chatbot, dar unul foarte, foarte bun.

Deși este grozav să te joci dacă, să zicem, vrei să scrii un sonet shakespearian despre animalul tău de companie sau să obții câteva idei de subiecte pentru unele e-mailuri de marketing, este bine și pentru OpenAI. Este o modalitate de a obține o mulțime de date de la utilizatori reali și servește ca o demonstrație de lux pentru puterea GPT, care altfel s-ar putea simți puțin neclară, dacă nu ai fost adânc în învățarea automată.

În acest moment, ChatGPT oferă două modele GPT. Valoarea implicită, GPT-3.5, este mai puțin puternică, dar disponibilă pentru toată lumea gratuit. GPT-4 mai avansat este limitat la abonații ChatGPT Plus și chiar și aceștia primesc doar un număr limitat de întrebări în fiecare zi.

Una dintre caracteristicile mari ale ChatGPT este că își poate aminti conversația pe care o ai cu el. Aceasta înseamnă că poate aduna contextul din orice i-ați cerut anterior și apoi îl poate folosi pentru a informa conversația cu dvs. De asemenea, puteți cere reluări și corecții și se va trimite înapoi la orice ați discutat înainte. Face ca interacțiunea cu AI să se simtă ca un adevărat dus-întors.

Dacă vrei să te simți cu adevărat, du-te și petrece cinci minute jucând cu ChatGPT acum (este gratuit!), apoi revino pentru a citi despre cum funcționează.

Cum funcționează ChatGPT?

Acest set de date uriaș a fost folosit pentru a forma o rețea neuronală de învățare profundă [ ... ] modelată după creierul uman, ceea ce a permis lui ChatGPT să învețe modele și relații în datele textului [ ... ] prezicând ce text ar trebui să urmeze în orice propoziție dată. .

ChatGPT funcționează încercând să vă înțeleagă solicitarea și apoi scuipat șiruri de cuvinte despre care prezice că vor răspunde cel mai bine la întrebarea dvs., pe baza datelor pe care a fost antrenat.

Să vorbim de fapt despre acel antrenament. Este un proces în care IA în curs de dezvoltare primește niște reguli de bază și apoi este fie pus în situații, fie i se oferă o mulțime de date pe care să le lucreze pentru a-și dezvolta proprii algoritmi.

GPT-3 a fost antrenat pe aproximativ 500 de miliarde de „jetoane”, care permit modelelor sale de limbaj să atribuie mai ușor un sens și să prezică un text plauzibil. Multe cuvinte sunt asociate cu jetoane unice, deși cuvintele mai lungi sau mai complexe se descompun adesea în mai multe jetoane. În medie, jetoanele au aproximativ patru caractere. OpenAI a rămas tăcut cu privire la funcționarea interioară a GPT-4, dar putem presupune cu siguranță că a fost antrenat pe același set de date, deoarece este și mai puternic.

Toate jetoanele proveneau dintr-un corpus masiv de date scrise de oameni. Acestea includ cărți, articole și alte documente din toate subiectele, stilurile și genurile diferite - și o cantitate incredibilă de conținut extras de pe internetul deschis. Practic, i s-a permis să treacă prin suma totală a cunoștințelor umane.

Acest set de date uriaș a fost folosit pentru a forma o rețea neuronală de învățare profundă - un algoritm complex, cu mai multe straturi, ponderat, modelat după creierul uman - care a permis ChatGPT să învețe modele și relații în datele text și să profite de capacitatea de a crea genul uman. răspunsuri prevăzând ce text ar trebui să urmeze în orice propoziție dată.

Deși într-adevăr, asta vinde masiv lucrurile. ChatGPT nu funcționează la nivel de propoziție – în schimb, generează text cu cuvintele, propozițiile și chiar paragrafele sau strofele ar putea urma. Nu este textul predictiv de pe telefon care ghicește fără îndoială următorul cuvânt; încearcă să creeze răspunsuri complet coerente la orice prompt.

Pentru a rafina și mai mult capacitatea ChatGPT de a răspunde la o varietate de solicitări diferite, a fost optimizat pentru dialog cu o tehnică numită învățare prin consolidare cu feedback uman (RLHF). În esență, oamenii au creat un model de recompensă cu date de comparație (unde două sau mai multe răspunsuri model au fost clasate de formatorii AI), astfel încât AI să poată afla care a fost cel mai bun răspuns.

Înapoi la rețeaua neuronală pe care a format-o. Pe baza acelui antrenament, rețeaua neuronală a lui GPT-3 are 175 de miliarde de parametri sau variabile care îi permit să preia o intrare - promptul dvs. - și apoi, pe baza valorilor și ponderărilor pe care le oferă diferiților parametri (și o cantitate mică de aleatorie ), afișează tot ceea ce crede că se potrivește cel mai bine cu solicitarea dvs. OpenAI nu a spus câți parametri are GPT-4, dar este o presupunere sigură că este mai mult de 175 de miliarde și mai puțin decât se zvonește odată 100 de trilioane de parametri. Indiferent de numărul exact, mai mulți parametri nu înseamnă automat mai bine. O parte din puterea crescută a GPT-4 provine probabil din faptul că are mai mulți parametri decât GPT-3, dar multe se datorează probabil îmbunătățirii modului în care a fost antrenat.

În cele din urmă, cel mai simplu mod de a-l imagina este ca unul dintre acele jocuri „termină propoziția” pe care le jucai când erai copil.

În cele din urmă, cel mai simplu mod de a-l imagina este ca unul dintre acele jocuri „termină propoziția” pe care le jucai când erai copil. De exemplu, când am dat ChatGPT folosind GPT-3 promptul, „Zapier este...”, acesta a răspuns spunând:

„Zapier este un instrument de automatizare bazat pe web care permite utilizatorilor să conecteze diferite aplicații web împreună pentru a automatiza sarcinile repetitive și pentru a îmbunătăți fluxurile de lucru.”

Acesta este genul de propoziție pe care îl puteți găsi în sute de articole care descriu ceea ce face Zapier, așa că are sens că este genul de lucru pe care îl scuipă aici. Dar când editorul meu i-a dat același prompt, a spus:

„Zapier este un instrument de automatizare bazat pe web, care permite utilizatorilor să conecteze diferite aplicații web și să automatizeze fluxurile de lucru între ele.”

Este destul de asemănător, dar nu este exact același răspuns. Această aleatorie (pe care o puteți controla în unele aplicații GPT-3 cu o setare numită „temperatură”) asigură că ChatGPT nu răspunde doar la fiecare răspuns cu ceea ce echivalează cu un răspuns stoc. De fiecare dată, rulează fiecare prompt prin întreaga rețea neuronală și aruncă câteva zaruri ici și colo pentru a păstra lucrurile proaspete. Nu este probabil să înceapă să pretindă că Zapier este o culoare de pe Marte, dar va amesteca următoarele cuvinte în funcție de probabilitățile lor relative.

(Pentru cât merită, atunci când rulează pe GPT-4, ChatGPT a spus: „ Zapier este un instrument de automatizare bazat pe web care permite utilizatorilor să integreze și să automatizeze sarcini între diverse aplicații și servicii online.” La fel!)

Scuipat cuvinte, nu cunoștințe

Producătorii ChatGPT sunt primii care spun că poate produce informații incorecte (și posibil dăunătoare), deși lucrează din greu pentru a le remedia.

Iată un exemplu blând. Când am întrebat ChatGPT folosind GPT-3 și GPT-4 să răspundă la „Harry Guinness este...” GPT-3 a răspuns mai întâi întrebând care Harry Guinness. O întrebare grozavă - suntem literalmente doi! Așa că am spus: „Harry Guinness scriitorul” (ăsta sunt eu). GPT-4 a ghicit imediat cine sunt, deși ambele răspunsuri au fost fascinante:

GPT-3: Harry Guinness este un scriitor și jurnalist independent cu sediul în Irlanda. A scris pentru o varietate de publicații, inclusiv The New York Times, The Guardian, The Huffington Post și Popular Mechanics. El acoperă subiecte variind de la tehnologie și fotografie până la călătorii și cultură.

GPT-4: Harry Guinness este un scriitor, fotograf și expert în tehnologie irlandez. A scris pentru diverse publicații, inclusiv How-To Geek, Lifehacker și Tuts+. Munca sa se concentrează în primul rând pe tehnologie, tutoriale și sfaturi, precum și pe fotografie și editare de imagini. Guinness și-a construit o reputație pentru a crea ghiduri detaliate care îi ajută pe cititori să înțeleagă subiecte complexe sau să rezolve problemele într-un mod simplu.

Primele și ultimele rânduri ale lui GPT-3 sunt extrase aproape textual de pe diferitele mele site-uri web și biografii ale autorilor de pe web (deși în mod normal mă enumez ca scriitor și fotograf independent, nu jurnalist). Dar lista publicațiilor este în principiu alcătuită. Am scris pentru The New York Times , dar nu pentru The Guardian , The Huffington Post sau Popular Mechanics (scriu în mod regulat pentru Popular Science , așa că de aici ar putea veni).

GPT-4 face corect partea fotografului și listează de fapt câteva publicații pentru care am scris, ceea ce este impresionant, deși nu sunt cele de care aș fi cel mai mândru. Este un exemplu grozav al modului în care OpenAI a reușit să mărească precizia GPT-4 în raport cu GPT-3, deși s-ar putea să nu ofere întotdeauna cel mai corect răspuns.

Dar să revenim la GPT-3, deoarece eroarea sa oferă un exemplu interesant a ceea ce se întâmplă în culise în ChatGPT. De fapt, nu știe nimic despre mine. Nu este nici măcar copy/liping de pe internet și încredere în sursa informației. În schimb, este pur și simplu prezicerea unui șir de cuvinte care va urma pe baza miliardelor de puncte de date pe care le are.

De exemplu: The New York Times este grupat mult mai des cu The Guardian și The Huffington Post decât cu locurile pentru care am scris, precum Wired , Outside , The Irish Times și, desigur, Zapier. Așa că atunci când trebuie să stabilească ce ar trebui să urmeze din The New York Times , nu se extrage din informațiile publicate despre mine; scoate acea listă de publicații mari din toate datele de instruire pe care le are. Este foarte inteligent și pare plauzibil, dar nu este adevărat.

GPT-4 face o treabă mult mai bună și prinde publicațiile, dar restul a ceea ce spune, într-adevăr, se simte ca niște propoziții ulterioare plauzibile. Nu cred că are o mare apreciere pentru reputația mea: spune doar genul de lucru pe care îl spune o biografie. Este mult mai bun la ascunderea modului în care funcționează decât GPT-3, deși de fapt folosește aproape aceeași tehnică.

Cu toate acestea, este foarte impresionant cât de mult s-a îmbunătățit deja GPT. Deocamdată, GPT-4 este blocat în spatele unui abonament premium, așa că majoritatea conținutului ChatGPT pe care îl vedeți se va baza pe GPT-3, dar acest lucru se poate schimba în perioada următoare. Cine știe ce va aduce GPT-5.

Ce este API-ul ChatGPT?

OpenAI nu are o atitudine doar noi cu tehnologia sa. Compania are o platformă API care permite dezvoltatorilor să integreze puterea ChatGPT în propriile aplicații și servicii (la un preț, desigur).

Zapier folosește API-ul ChatGPT pentru a-și alimenta propria integrare ChatGPT, care vă permite să conectați ChatGPT la mii de alte aplicații și să adăugați AI la fluxurile de lucru esențiale pentru afaceri. Iată câteva exemple pentru a începe, dar puteți declanșa ChatGPT din practic orice aplicație.

De asemenea, puteți utiliza și alte modele OpenAI, cum ar fi DALL·E și Whisper, cu integrarea OpenAI de la Zapier. Automatizați fluxurile de lucru care implică generarea de imagini și transcrierea audio, direct din aplicațiile pe care le utilizați deja.

Lectură similară: Cum poți (și când nu ar trebui) să folosești ChatGPT pentru a scrie o copie de marketing