ChatGPT a susținut un examen de MBA. Iată cum a procedat

Un profesor de la Wharton, Universitatea din Pennsylvania, a acordat un permis teoretic de B-grade ChatGPT după ce a marcat răspunsurile pe care le-a generat pentru un examen final într-un curs tipic de MBA.

Christian Terwiesch, profesor de management al operațiunilor la Wharton, a declarat că ChatGPT face o „lucrare uimitoare la întrebările de bază privind managementul operațiunilor și analiza proceselor”.

„Nu numai că răspunsurile sunt corecte, dar explicațiile sunt excelente”, scrie el într-o nouă lucrare albă.

De asemenea: Cum să începeți să utilizați ChatGPT

Dar el a adăugat că chatbot-ul face „greșeli surprinzătoare în calcule relativ simple la nivelul matematicii din clasa a 6-a” și că în prezent nu poate gestiona întrebări mai avansate de analiză a proceselor. Pe de altă parte, versiunea actuală a ChatGPT își poate modifica răspunsurile ca răspuns la indicii umane pentru a ajunge la soluția corectă.

„Având în vedere această performanță, Chat GPT3 ar fi primit nota B la B- la examen”, scrie Terwiesch.

Câteva dintre întrebările lui Terwiesch au vizat să testeze dacă ChatGPT ar putea identifica un blocaj într-o operațiune de procesare cu mai multe mașini care au capacități de transfer diferite.

ChatGPT, totuși, „a făcut o greșeală semnificativă de o magnitudine masivă” atunci când a calculat cu aritmetică de nivel mediu.

Interesant, ChatGPT a răspuns inițial incorect la una dintre întrebările lui Terwiesch cu privire la analiza cozilor. El a solicitat-o cu un indiciu pentru un răspuns mai bun, iar ChatGPT și-a îmbunătățit răspunsul. A doua zi, profesorul i-a pus aceeași întrebare inițială de așteptare fără indiciu -- iar ChatGPT a răspuns corect la prima încercare.

„Fie este capabil să învețe din feedback-ul trecut, fie pur și simplu am avut noroc”, notează el, adăugând că pare să existe o oarecare aleatorie în calitatea răspunsurilor sale.

Terwiesch a descoperit, de asemenea, că ChatGPT a fost capabil să formuleze întrebări inteligente și pline de umor pe care le-ar putea folosi la examenele viitoare. Cu toate acestea, chatbot-ul a introdus și defecte subtile în unele întrebări care le-au făcut imposibil de răspuns.

De asemenea: ChatGPT „nu avea profunzime și perspicacitate”, spun editori prestigioși de reviste de știință

Terwiesch îi avertizează pe alții să fie atenți la capacitățile și limitările ChatGPT. El spune că „s-a îndrăgostit” de ChatGPT după ce a citit răspunsul acestuia la prima sa întrebare, dar avertizează că „a făcut greșeli majore în unele situații destul de simple”.

„Suntem încă departe de un A+ pentru probleme complexe și încă avem nevoie de un om în buclă”, scrie el.

„Din punctul meu de vedere despre educație, un elev de școală elementară încă trebuie să învețe că 7 x 7 = 49 și că capitala Pennsylvania este Harrisburg, chiar dacă calculatoarele sunt utilizate pe scară largă de peste 50 de ani, iar elevii pot folosi Google Wikipedia pentru a găsi răspunsuri. pentru majoritatea întrebărilor de fapt. Este natura abilităților fundamentale că acestea sunt necesare pentru a înțelege subiecte mai avansate.”

Terwiesch este de acord că educatorii ar trebui să fie îngrijorați de faptul că elevii de la K-12 ar putea folosi ChatGPT pentru a înșela temele și examenele. De exemplu, Departamentul Educației din New York a interzis recent chatbot-ul, deoarece testele fiabile sunt importante în predare, în timp ce certificarea competențelor nu ar trebui să fie compromisă din cauza noilor tehnologii. Un student care folosește ChatGPT este ca și cum ar fi capabil să sune un prieten cu „competență academică medie” pentru a finaliza examenul pentru el, notează el.

Dar el susține, de asemenea, că ChatGPT și tehnologiile similare au capacitatea de a juca rolul unui „consultant inteligent” -- unul care produce răspunsuri elegante, dar adesea greșite, despre care crede că este „terenul perfect de antrenament” pentru dezvoltarea abilităților în rândul studenților MBA care au nevoie. pentru a evalua critic alternativele propuse.