ChatGPT poate scrie cod. Acum, cercetătorii spun că este și bun la rezolvarea bug-urilor.

Chatbot-ul ChatGPT al OpenAI poate repara foarte bine bug-uri de software, dar avantajul său cheie față de alte metode și modele de AI este abilitatea sa unică de a dialoga cu oamenii, ceea ce îi permite să îmbunătățească corectitudinea unui răspuns.

Cercetătorii de la Universitatea Johannes Gutenberg Mainz și Universitatea College London au pus ChatGPT de la OpenAI în fața "tehnicilor standard automate de reparare a programelor" și a două abordări de învățare adâncă pentru repararea programelor: CoCoNut, dezvoltat de cercetătorii de la Universitatea Waterloo din Canada; și Codex, modelului bazat pe GPT-3 al OpenAI, care stă la baza serviciului de completare automată a codului Copilot de pe GitHub pentru programarea în pereche.

De asemenea: Cum să începeți să utilizați ChatGPT

"Descoperim că performanța ChatGPT în remedierea erorilor este competitivă în comparație cu abordările comune de învățare profundă, CoCoNut și Codex, și remarcabil mai bună decât rezultatele raportate pentru abordările standard de reparare a programelor", scriu cercetătorii într-un nou articol arXiv, prima dată observat de New Scientist.

Cele mai bune roboți de chat AI: ChatGPT și alte alternative interesante de încercat

Bots de conversație și scriitori AI pot ajuta să vă ușureze sarcina prin scrierea de e-mailuri și eseuri și chiar prin rezolvarea problemelor de matematică. Acestea utilizează inteligența artificială pentru a genera text sau pentru a răspunde la întrebări pe baza introducerii utilizatorului. ChatGPT este un exemplu popular, dar există și alte chatbot-uri demne de menționat.

Citește acum

Este cunoscut faptul că ChatGPT poate fi folosit pentru rezolvarea problemelor de codare, dar cercetătorii subliniază că capacitatea sa unică de a dialoga cu oamenii îi conferă un avantaj potențial față de alte abordări și modele.

Cercetătorii au testat performanța ChatGPT folosind testul de remediere a erorilor QuixBugs. Sistemele de reparare automată a programelor (APR) par a fi în dezavantaj deoarece au fost dezvoltate înainte de 2018.

ChatGPT este bazat pe arhitectura transformer, pe care șeful de AI al Meta, Yann LeCunn, a evidențiat săptămâna aceasta că a fost dezvoltată de Google. Codex, CodeBERT de la Microsoft Research și predecesorul său BERT de la Google sunt toate bazate pe metoda transformer a Google.

OpenAI evidențiază capacitatea de dialog a lui ChatGPT în exemplele pentru depanarea codului, unde acesta poate cere clarificări și poate primi indicii de la o persoană pentru a ajunge la un răspuns mai bun. S-au antrenat modelele de limbaj extinse din spatele lui ChatGPT (GPT-3 și GPT 3.5) folosind Învățarea prin Reforțare de la Retroacțiune Umană (RLHF).

În timp ce capacitatea lui ChatGPT de a discuta poate ajuta să ajungă la un răspuns mai corect, calitatea sugestiilor sale rămâne neclară, notează cercetătorii. De aceea, ei au dorit să evalueze performanța lui ChatGPT în rezolvarea bug-urilor.

Cercetătorii au testat ChatGPT în raport cu cele 40 de probleme din QuixBugs care folosesc doar Python, iar apoi au verificat manual dacă soluția sugerată era corectă sau nu. Au repetat interogarea de patru ori deoarece există o anumită aleatoritate în fiabilitatea răspunsurilor ChatGPT, după cum a descoperit un profesor de la Wharton după ce a supus chatbot-ul unui examen similar cu un MBA.

ChatGPT a rezolvat 19 din cele 40 de erori Python, plasându-se la fel de bine cu CoCoNut (19) și Codex (21). Însă metodele de APR standard au rezolvat doar șapte dintre probleme.

Cercetătorii au constatat că rata de succes a lui ChatGPT în cazul interacțiunilor ulterioare a atins 77.5%.

Implicațiile pentru dezvoltatori în ceea ce privește efortul și productivitatea sunt ambigue. Recent, Stack Overflow a interzis răspunsurile generate de ChatGPT deoarece acestea erau de calitate scăzută, dar sunau plauzibile. Profesorul de la Wharton a descoperit că ChatGPT ar putea fi un mare companion pentru studenții de MBA deoarece poate juca rolul unui "consultant inteligent" - unul care oferă răspunsuri elegante, dar de multe ori greșite - și stimulează gândirea critică.

"Acest lucru arată că inputul uman poate fi de mare ajutor pentru un sistem APR automatizat, cu ChatGPT oferind mijloacele necesare pentru a face acest lucru", afirmă cercetătorii.

"În ciuda performanțelor sale excelente, apare întrebarea dacă costul mental necesar pentru a verifica răspunsurile ChatGPT depășește avantajele aduse de ChatGPT."