Nouă clonă Open Source a ChatGPT - numită Dolly

Open Source GPT Chat a făcut un alt pas înainte odată cu lansarea Modelului de Limbaj Dolly Large (DLL) creat de compania de software enterprise Databricks.

Clona nouă a ChatGPT se numește Dolly, numită după celebrul oii cu același nume, primul mamifer clonat.

Modele de limbă destinate utilizării libere

Dolly LLM este cea mai recentă manifestare a mișcării de AI open source care vizează oferirea unui acces mai mare la tehnologie, astfel încât să nu fie monopolizată și controlată de către mari corporații.

Una dintre preocupările care alimentează mișcarea de Inteligență Artificială open source este că afacerile pot fi reticente să transmită date sensibile unei terțe părți care controlează tehnologia AI.

Bazat pe sursă deschisă

Dolly a fost creată pe baza unui model open source creat de institutul de cercetare non-profit EleutherAI și modelul Alpaca al Universității Stanford, care la rândul său a fost creat pe baza modelului open source LLaMA, cu 65 de miliarde de parametri, creat de Meta.

LLaMA, care înseamnă Mare Model Lingvistic Meta AI, este un model lingvistic antrenat pe date disponibile publicului.

Conform unui articol de Weights & Biases, LLaMA poate performa mai bine decât multe dintre modelele de limbaj de top (OpenAI GPT-3, Gopher by Deep Mind și Chinchilla by DeepMind) în ciuda dimensiunilor sale mai mici.

Crearea unui set de date mai bun

O altă sursă de inspirație a venit dintr-un articol de cercetare academică (SELF-INSTRUCT: Alinearea modelului de limbă cu instrucțiunile autogenerate PDF) care a descris o metodă de creare a unui set de date de antrenament pentru întrebări și răspunsuri autogenerate de înaltă calitate, mai bun decât datele publice limitate.

Lucrarea de cercetare Self-Instruct explică:

„...noi selectăm și organizăm un set de instrucțiuni scrise de experți pentru sarcini noi și arătăm prin evaluare umană că ajustarea GPT3 cu SELF-INSTRUCT depășește utilizarea seturilor de instrucțiuni publice existente într-o măsură semnificativă, lăsând doar o diferență absolută de 5% în spatele InstructGPT...

...Aplicând metoda noastră asupra lui GPT3, obținem o îmbunătățire absolută de 33% față de modelul original pe SUPERNATURALINSTRUCTIONS, la fel ca performanța InstructGPT... care este antrenat cu date utilizator private și adnotări umane“.

Importanța lui Dolly constă în faptul că demonstrează că se poate crea un model de limbaj mare și util cu un set de date mai mic, dar de calitate înaltă.

Databricks observă:

„Dolly funcționează prin preluarea unui model open source existent cu 6 miliarde de parametri de la EleutherAI și modificându-l foarte puțin pentru a obține capacități de urmare a instrucțiunilor, cum ar fi brainstorming-ul și generarea de text, ce nu sunt prezente în modelul original, folosind date de la Alpaca.

...Demonstrăm că oricine poate lua un model de limbă largă (LLM) open source vechi și îi poate oferi abilitatea de a urma instrucțiuni ca și ChatGPT-ul magic în doar 30 de minute de antrenament pe o singură mașină, utilizând date de antrenament de înaltă calitate.

Surprinzător, urmarea instrucțiunilor nu pare să necesite cele mai noi și mai mari modele: modelul nostru are doar 6 miliarde de parametri, în comparație cu 175 de miliarde pentru GPT-3."

Databricks Open Source AI

Dolly se spune că democratizează IA. Este parte a unei mișcări în creștere care a fost recent înscrisă de organizația non-profit Mozilla cu înființarea Mozilla.ai. Mozilla este editorul browser-ului Firefox și a altor software open source.