Șapte Modele GPT Open Source Gratuite au fost lansate

Compania AI Cerebras din Silicon Valley a lansat șapte modele GPT open source pentru a oferi o alternativă la sistemele strâns controlate și proprietare disponibile în prezent.

Modelele GPT gratuite și open source, inclusiv greutățile și rețeta de antrenament, au fost lansate sub licența Apache 2.0 foarte permisivă de către Cerebras, o companie din Silicon Valley specializată în infrastructura AI pentru aplicații AI.

Într-o anumită măsură, cele șapte modele GPT sunt o dovadă a conceptului pentru supercalculatorul AI Cerebras Andromeda.

Infrastructura Cerebras permite clienților lor, cum ar fi Jasper AI Copywriter, să antreneze rapid propriile lor modele de limbaj personalizate.

Un articol de blog Cerebras despre tehnologia hardware a subliniat:

"Am pregătit toate modelele Cerebras-GPT pe un cluster Cerebras Wafer-Scale CS-2 de 16x numit Andromeda."

Clusterul a permis finalizarea rapidă a tuturor experimentelor, fără a fi necesară ingineria sistemelelor distribuite și ajustarea paralelă a modelelor pe clusterele GPU tradiționale."

Cel mai important, a permis cercetătorilor noștri să se concentreze pe designul inteligenței artificiale în loc să se preocupe de sistemul distribuit. Credem că capacitatea de a antrena ușor modele mari este un factor crucial pentru comunitatea largă, așa că am pus la dispoziție Clusterul Cerebras Wafer-Scale pe cloud prin intermediul platformei Cerebras AI Model Studio."

Modelele Cerebras GPT și transparența

Cerebras citește concentrația deținerii tehnologiei AI la doar câteva companii ca motiv pentru crearea a șapte modele GPT open source.

OpenAI, Meta și Deepmind păstrează o cantitate mare de informații despre sistemele lor în mod privat și sub control strict, ceea ce limitează inovația doar la ceea ce cele trei corporații decid că ceilalți pot face cu datele lor.

Este un sistem de tip closed-source cel mai bun pentru inovatie in AI? Sau open source este viitorul?

Cerebras scrie:

"Pentru ca LLM-urile să fie o tehnologie deschisă și accesibilă, considerăm important să avem acces la modele de ultimă generație, deschise, reproductibile și gratuite pentru atât aplicații de cercetare, cât și comerciale.

În acest scop, am antrenat o familie de modele de transformator folosind cele mai recente tehnici și seturi de date deschise pe care le numim Cerebras-GPT.

Aceste modele sunt primele modele de familie GPT antrenate folosind formula Chinchilla și publicate prin intermediul licenței Apache 2.0."

În acest fel, aceste șapte modele sunt lansate pe platformele Hugging Face și GitHub pentru a încuraja mai multă cercetare prin acces deschis la tehnologia AI.

Aceste modele au fost antrenate cu supercalculatorul de inteligență artificială Andromeda de la Cerebras, un proces care a durat doar săptămâni pentru a fi realizat.

Cerebras-GPT este complet deschis și transparent, spre deosebire de ultimele modele GPT de la OpenAI (GPT-4), Deepmind și Meta OPT.

OpenAI și Deepmind Chinchilla nu oferă licențe pentru utilizarea modelelor. Meta OPT oferă doar o licență non-comercială.

OpenAI's GPT-4 nu are absolut deloc transparență în ceea ce privește datele lor de antrenare. Au folosit date de la Common Crawl? Au scăpat după internet și au creat propriul set de date?

OpenAI păstrează această informație (și altele) secretă, ceea ce este în contrast cu abordarea Cerebras-GPT care este complet transparentă.

Următoarele sunt complet deschise și transparente:

• Arhitectura modelului
• Datele de antrenament
• Greutățile modelului
• Puncte de control
• Stare de antrenament optimă pentru calcul (da)
• Licența de utilizare: Licența Apache 2.0

Cele șapte versiuni vin în modele de 111M, 256M, 590M, 1.3B, 2.7B, 6.7B și 13B.

S-a anunțat:

" În primul rând, printre companiile de hardware AI, cercetătorii de la Cerebras au antrenat, pe supercalculatorul Andromeda AI, o serie de 7 modele GPT cu 111M, 256M, 590M, 1.3B, 2.7B, 6.7B și 13B de parametri.

De obicei, această lucrare durează câteva luni, dar a fost completată în câteva săptămâni datorită vitezei incredibile a sistemelor Cerebras CS-2 care formează Andromeda și abilității arhitecturii de streaming a ponderilor de la Cerebras de a elimina durerea distribuirii de calculatori.

Aceste rezultate demonstrează că sistemele Cerebras pot antrena cele mai mari și complexe sarcini AI de astăzi.

Acesta este primul caz în care o suită de modele GPT, antrenate folosind tehnici de eficiență de antrenament de ultimă generație, a fost făcută publică.

Aceste modele sunt antrenate la cea mai înaltă precizie pentru un anumit buget de calcul (adică utilizând rețeta de Chinchilla pentru eficiență de antrenament), astfel că au un timp de antrenament mai scăzut, costuri de antrenament mai mici și utilizează mai puțină energie decât orice alte modele publice existente."

Inteligență Artificială Open Source

Fundația Mozilla, producătoarea de software open source Firefox, a înființat o companie numită Mozilla.ai pentru a dezvolta sisteme open source GPT (Generative Pre-trained Transformer) și de recomandare care sunt de încredere și respectă confidențialitatea.

Databricks a lansat recent un GPT Clone open source numit Dolly care își propune să democratizeze "magia ChatGPT-ului".

Pe lângă acele șapte modele Cerebras GPT, o altă companie, numită Nomic AI, a lansat GPT4All, o sursă deschisă GPT care poate funcționa pe un laptop.

Mișcarea de inteligență artificială open source se află într-un stadiu incipient, dar câștigă tot mai multă amploare.

Tehnologia GPT este în curs de a da naștere unor schimbări masive în toate industriile și este posibil, poate inevitabil, ca contribuțiile open source să schimbe fața industiilor care conduc această schimbare.

Dacă mișcarea de sursă deschisă continuă să avanseze în acest ritm, am putea fi pe punctul de a asista la o schimbare în inovația în domeniul IA care o ferește de a se concentra în mâinile câtorva corporații.

Citiți anunțul oficial:

Cerebras Systems lansează șapte noi modele GPT antrenate pe sistemele CS-2 la scară de wafer