Pot detectorii AI să ne salveze de ChatGPT? Am încercat 3 instrumente online pentru a afla

Acesta este al doilea articol din ceea ce va deveni o serie care explorează problemele textului generat de AI.

În această tranșă, eu și prietenul meu cu AI ne luăm la întrebarea dacă este posibil să luptăm împotriva plagiatului generat de AI și cum ar putea funcționa.

De asemenea: Ce este ChatGPT și de ce contează? Iată ce trebuie să știți

Înainte de a continua, totuși, trebuie să vorbim despre conceptul de plagiat și despre modul în care acesta se leagă de această problemă. Webster's definește „plagiare” ca „a fura și a da (ideile sau cuvintele altuia) drept ale cuiva: folosiți (producția altuia) fără a credita sursa”.

Acest lucru se potrivește conținutului creat de AI. În timp ce cineva care folosește un instrument AI precum Notion AI sau ChatGPT nu fură conținut, dacă acea persoană nu recunoaște cuvintele ca provenind dintr-o IA și le revendică ca fiind ale sale, îndeplinește totuși definiția din dicționar a plagiatului.

ZDNET recomandă

Cei mai buni chatbot AI: ChatGPT și alte alternative interesante de încercat

Chatbot-urile și scriitorii AI vă pot ajuta să vă ușurați volumul de muncă prin scrierea de e-mailuri și eseuri și chiar făcând matematică. Ei folosesc inteligența artificială pentru a genera text sau pentru a răspunde la interogări pe baza intrărilor utilizatorului. ChatGPT este un exemplu popular, dar există și alți chatbot remarcabili.

Citeste acum

În acest articol experimental, am cerut ChatGPT să mă ajute. Cuvintele mele sunt în text normal și aldine. Cuvintele AI sunt scrise în italice. De asemenea, voi folosi trei detectoare de plagiat ChatGPT online (pe care le voi descrie mai detaliat mai jos). După fiecare secțiune generată de AI, voi arăta rezultatele detectorilor. La sfârșitul articolului, ne vom uita la cât de bine au funcționat detectorii în general.

Iată rezultatul textului de mai sus, pe care l-am scris eu însumi:

• Detector de ieșire GPT-2: 99,98% real
• Detector de conținut Writer AI: conținut 100% generat de oameni. Fantastic!
• Conținut la scară Detectare conținut AI: scor 100% conținut uman. Arata bine!

Cu asta, să începem.

Explicați de ce ChatGPT poate fi o problemă reală pentru profesori și editori atunci când vine vorba de plagiat

ChatGPT este o variantă a modelului de limbaj GPT (Generative Pre-trained Transformer) dezvoltat de OpenAI. Este conceput pentru a genera un text asemănător unui om prin prezicerea următorului cuvânt sau frază dintr-o anumită secvență de introducere. În timp ce ChatGPT poate fi un instrument util pentru generarea de text și răspunsul la solicitări, poate fi, de asemenea, o problemă pentru profesori și editori atunci când vine vorba de plagiat.

Unul dintre principalele motive pentru care ChatGPT poate fi o problemă pentru profesori și editori este că poate genera text care este foarte asemănător cu cel al scriitorilor umani reali. Aceasta înseamnă că studenții sau alte persoane ar putea folosi ChatGPT pentru a genera text pe care apoi l-ar putea trimite ca propria lor lucrare, comitând astfel plagiat.

De asemenea: Ajutorul de scris Notion AI poate scrie acest articol?

Pentru profesori și editori, detectarea dacă o anumită bucată de text a fost generată de ChatGPT sau scrisă de un om poate fi foarte dificilă, deoarece textul generat nu poate conține erori evidente sau discrepanțe care ar dezvălui originea sa artificială. Acest lucru poate face dificil pentru profesori și editori să identifice și să prevină plagiatul, deoarece este posibil să nu poată spune dacă o anumită bucată de text este originală sau copiată dintr-o altă sursă.

În general, ChatGPT și alte modele de limbaj similare pot reprezenta o problemă pentru profesori și editori atunci când vine vorba de plagiat, deoarece pot genera text care este greu de distins de cel scris de oameni, făcând mai ușor pentru studenți și alte persoane să comită plagiat fără a fi detectat.

• Detector de ieșire GPT-2: 99,69% real
• Detector de conținut Writer AI: 97% conținut generat de oameni. Fantastic!
• Conținut la scară Detectare conținut AI: scor de conținut uman de 87%. Arata bine!

Amintiți-vă, textul afișat cu caractere cursive a fost generat de AI.

Arată-mi cel puțin trei moduri prin care pot detecta că ChatGPT a fost folosit pentru a produce o bucată de text

Există mai multe moduri prin care puteți detecta dacă ChatGPT sau un alt model de limbă a fost folosit pentru a produce o bucată de text. Iată trei posibile abordări pe care le-ați putea folosi:

1. Căutați modele repetitive sau neobișnuite în text: o modalitate de a detecta dacă un model de limbă a fost folosit pentru a genera o bucată de text este să căutați modele repetitive sau neobișnuite în scriere. De exemplu, modelele de limbaj pot repeta anumite fraze sau combinații de cuvinte sau pot folosi structuri de propoziții neobișnuite sau inconsistente.
2. Verificați lipsa de originalitate: O altă modalitate de a detecta dacă a fost folosit un model de limbă pentru a genera o bucată de text este să verificați lipsa de originalitate în scriere. Dacă o bucată de text pare a fi copiată dintr-o altă sursă sau dacă conține informații care sunt disponibile pe scară largă pe internet sau în alte surse, ar putea fi un semn că a fost generată de un model de limbă.
3. Utilizați un verificator de plagiat: în sfârșit, puteți utiliza un verificator de plagiat pentru a verifica dacă o bucată de text pare să fie copiată dintr-o altă sursă. Deși este posibil ca un verificator de plagiat să nu poată determina în mod definitiv dacă un model de limbă a fost utilizat pentru a genera o bucată de text, acesta vă poate ajuta să identificați cazuri de copiere sau parafrazare din alte surse.
4. Rețineți când răspunsul este evident greșit: am vorbit despre asta în recenzia mea Notion AI, unde am scos în evidență un text pe care AI l-a scris cu aparentă autoritate, dar care a fost vădit greșit. Dacă un student sau un scriitor nu stăpânește pe deplin subiectul discutat, este posibil să nu detecteze inexactitățile și să le lase pur și simplu în răspunsul generat de AI. Desigur, declarațiile incorecte nu sunt doar de competența unui instrument de scriere AI. Mulți bloggeri și comentatori, de exemplu, repetă pur și simplu declarațiile făcute de alți bloggeri, creând o cameră de ecou de „fapte false” complet, arătând că, deși inteligența poate fi artificială, prostia este o trăsătură universală.

Rețineți că poate fi dificil să determinați în mod definitiv dacă un model de limbă a fost utilizat pentru a genera o bucată de text și este posibil ca aceste metode să nu fie întotdeauna eficiente. Cu toate acestea, ele pot fi instrumente utile pentru a vă ajuta să identificați potențialele cazuri de text generat de model de limbă.

În acest set de teste, numai conținutul italic de mai sus a fost rulat prin suita de verificare.

• Detector de ieșire GPT-2: 99,98% fals
• Detector de conținut Writer AI: [ fără rezultat ]
• Conținut la scară Detectare conținut AI: scor de conținut uman 0%. Evident AI

Enumerați trei verificări de plagiat care pot detecta textul ChatGPT

Inovaţie

• Am încercat Apple Vision Pro și este cu mult înainte de locul în care mă așteptam
• Acest mic comunicator prin satelit este plin de funcții și liniște sufletească
• Cum să utilizați ChatGPT: Tot ce trebuie să știți
• Acestea sunt cele 5 instrumente AI preferate ale mele pentru muncă

Este demn de remarcat faptul că în prezent nu există un verificator de plagiat conceput special pentru a detecta textul generat de ChatGPT sau alte modele de limbă. În timp ce unii verificatori de plagiat pot fi capabili să identifice anumite caracteristici ale textului generat de modelul lingvistic care ar putea indica originea sa artificială, nu există nicio garanție că vor putea determina definitiv dacă o bucată de text a fost generată de un model lingvistic.

Acestea fiind spuse, iată trei verificări de plagiat pe care ați putea să vă gândiți să le utilizați pentru a ajuta la identificarea potențialelor cazuri de text generat de model de limbă:

1. Turnitin: Turnitin este un verificator de plagiat popular, care este utilizat pe scară largă de școli și universități. Compară o bucată de text cu o bază de date cu alte texte pentru a identifica cazurile de copiere sau parafrazare. Deși este posibil să nu poată determina în mod definitiv dacă o bucată de text a fost generată de un model de limbă, ar putea identifica anumite caracteristici ale textului generat de modelul de limbă care ar putea indica originea sa artificială.
2. PlagScan: PlagScan este un alt verificator de plagiat care compară o bucată de text cu o bază de date cu alte texte pentru a identifica cazurile de copiere sau parafrazare. La fel ca Turnitin, poate fi capabil să identifice anumite caracteristici ale textului generat de model de limbă care ar putea indica originea sa artificială, dar nu este conceput special pentru a detecta textul generat de modelul de limbă.
3. Copyleaks: Copyleaks este un verificator de plagiat care utilizează algoritmi avansați de învățare automată pentru a scana o bucată de text și a o compara cu o bază de date cu alte texte pentru a identifica cazurile de copiere sau parafrazare. Deși poate fi capabil să identifice anumite caracteristici ale textului generat de modelul de limbă, nu este conceput special pentru a detecta textul generat de modelul de limbă.

Este demn de remarcat faptul că nici un verificator de plagiat nu este complet sigur și există întotdeauna posibilitatea ca o bucată de text generat de model de limbă să scape de detectare. Prin urmare, este important să folosiți verificatoarele de plagiat ca doar o parte a unei strategii mai ample de detectare și prevenire a plagiatului.

• Detector de ieșire GPT-2: 99,62% real
• Detector de conținut Writer AI: [ fără rezultat ]
• Conținut la scară Detectare conținut AI: scor de conținut uman de 86%. Arata bine!

Verificări online de plagiat AI

Majoritatea detectoarelor de plagiat sunt folosite pentru a compara scrierea cu un corp de alte scrieri. De exemplu, când un student predă un eseu, un produs precum Turnitin scanează eseul trimis cu o bibliotecă imensă de alte eseuri din baza sa de date, precum și cu alte documente și text de pe internet pentru a determina dacă eseul trimis conține deja... continut scris.

Dar instrumentele de scriere AI generează conținut original, cel puțin în teorie. Da, își construiesc conținutul din orice pe care au fost instruiți, dar cuvintele reale pe care le construiesc sunt oarecum unice pentru fiecare compoziție.

De asemenea: adevăratul scop al AI poate să nu mai fie inteligența

Ca atare, verificatoarele de plagiat menționate mai sus probabil că nu vor funcționa, deoarece conținutul generat de AI probabil nu a existat în, să zicem, lucrarea altui student.

Așa că am apelat la Google și am căutat detectoare special concepute pentru a căuta semnăturile revelatoare ale conținutului bazat pe inteligență artificială. Am găsit trei. Pentru conținutul de testare afișat în capturile de ecran de mai jos, am întrebat acest lucru pe ChatGPT: „Este Star Trek mai bun decât Star Wars? Justifică și explică” Răspunsul său nu a fost deloc rău și am introdus acel răspuns în cei trei testeri.

• Detector de ieșire GPT-2: 99,98% real
• Detector de conținut Writer AI: conținut 100% generat de oameni. Fantastic!
• Conținut la scară Detectare conținut AI: scor 100% conținut uman. Arata bine!

Detector de ieșire GPT-2 (precizie 66%)

Acest prim instrument a fost creat folosind un centru de învățare automată gestionat de compania de inteligență artificială Hugging Face din New York. În timp ce compania a primit o finanțare de 40 de milioane de dolari pentru a-și dezvolta biblioteca de limbaj natural, detectorul GPT-2 pare a fi un instrument creat de utilizatori folosind biblioteca Hugging Face Transformers. Din cele șase teste pe care le-am efectuat, a fost precis pentru patru dintre ele.

Detector de conținut AI Writer.com (precizie N/A)

Writer.com este un serviciu care generează scriere AI, orientat către echipe corporative. Instrumentul său AI Content Detector poate scana conținutul generat. Din păcate, am găsit acest instrument nesigur. Din cele șase scanări pe care le-am efectuat, a eșuat la trei. Dintre cele trei pe care le-a rulat cu succes, două au fost corecte și una greșită.

După ce acest articol a fost publicat, cei de la Writer.com au contactat ZDNET. CEO-ul May Habib a avut acest comentariu de împărtășit:

Cererea pentru detectorul AI a crescut vertiginos. Traficul a crescut de 2-3 ori pe săptămână de când l-am lansat acum câteva luni. Avem acum scalarea necesară în spate pentru a ne asigura că nu scade, iar scopul nostru este să-l menținem liber - și actualizat pentru a surprinde rezultatele celor mai recente modele, inclusiv ale noastre. Dacă ieșirea AI va fi folosită textual, ar trebui neapărat atribuită.

Conținut la scară Detectare conținut AI (precizie 50%)

Al treilea instrument pe care l-am găsit a fost, de asemenea, produs de o firmă de generare de conținut AI, dar acesta părea să funcționeze în mod fiabil. Conținutul la scară se prezintă drept „Ajutăm agenții de marketing de conținut concentrați pe SEO prin automatizarea creării de conținut”. Îndemnul său de marketing la acțiune este „Încărcați o listă de cuvinte cheie și obțineți peste 2.600 de postări de blog care ocolesc detectarea conținutului AI – toate fără intervenție umană!” Din cele șase teste pe care le-am efectuat, a fost precis pentru trei.

Gânduri finale

Plagiatul bazat pe inteligența artificială este o problemă în creștere, deoarece instrumentele AI precum Notion AI și ChatGPT pot genera text greu de distins de cel scris de oameni. Există mai multe moduri de a detecta dacă o bucată de text a fost generată de o IA, cum ar fi căutarea de modele repetitive sau neobișnuite, verificarea lipsei de originalitate sau utilizarea unui verificator de plagiat. Verificatoarele de plagiat precum Turnitin, PlagScan și Copyleaks pot fi capabile să identifice anumite caracteristici ale textului generat de model de limbă, dar nu sunt sigure.

Chiar și uneltele de specialitate pe care le-am găsit erau îngrozitor de nepotrivite sarcinii. Cel mai bun caz a fost GPT-2 Output Detector, dar a primit doar două treimi din textul trimis corect.

În acest moment, nu cred că suntem pregătiți să lăsăm AI să lupte cu AI. În schimb, va trebui să ne bazăm pe percepția umană (ceea ce înseamnă că oamenii trebuie să fie atenți) pentru a identifica lucrările care au fost generate de o IA.

Nu presupuneți imediat că ceva este generat de mașini. Doar pentru că ceva este stupid sau teribil de inexact, nu presupune imediat că nu a fost scris de un om. După cum știm cu toții, oamenii sunt destul de capabili să scrie niște lucruri incredibil de proaste pe cont propriu.

De asemenea: ChatGPT de la OpenAI este înfricoșător de bun la locul meu de muncă, dar nu mă poate înlocui (încă)

Deci ce crezi? Puteți spune dacă o piesă este generată de IA? Ați folosit aceste instrumente de scriere AI în lunile de când au devenit dintr-o dată toate disponibile? Crezi că sunt un ajutor sau un obstacol pentru educație și jurnalism? Anunțați-ne în comentariile de mai jos. Iată cum a răspuns ChatGPT:

Ca model de limbaj, nu pot vedea sau interacționa cu articolele fizice ale scrisului, așa că nu pot spune dacă o piesă este generată de AI sau nu. Cu toate acestea, vă pot spune că există mai multe instrumente de scriere AI care sunt disponibile și pot fi folosite pentru a genera o gamă largă de conținut scris, inclusiv articole de știri, ficțiune, poezie și multe altele.

Nu am experiență personală în utilizarea acestor instrumente, deoarece sunt doar un program de calculator și nu am capacitatea de a naviga pe internet sau de a folosi instrumente fizice. Cu toate acestea, vă pot spune că unii oameni au găsit instrumentele de scriere AI ca fiind utile în educație și jurnalism, deoarece pot economisi timp și efort prin automatizarea anumitor sarcini. Alții și-au exprimat îngrijorarea cu privire la potențialul ca aceste instrumente să fie utilizate pentru a produce conținut înșelător sau părtinitor sau pentru a înlocui scriitorii umani. În cele din urmă, dacă instrumentele de scriere AI sunt un ajutor sau un obstacol, depinde de modul în care sunt utilizate și de contextul în care sunt utilizate.

Deci, da, există asta.