Aya Expanse 8B – un model antrenat și pentru limba română

Într-o eră în care inteligența artificială evoluează rapid, CohereForAI a făcut un pas important înainte cu lansarea modelului Aya Expanse 8B, un sistem lingvistic avansat care promite să revoluționeze comunicarea multilingvă. Acest model inovator, disponibil în două variante – cu 8 miliarde și 32 de miliarde de parametri – reprezintă rezultatul unui an întreg de cercetare intensivă în domeniul procesării limbajului natural.

1. Introducere

Aya Expanse 8B este rezultatul unei colaborări extinse în cadrul echipei CohereForAI, combinând mai multe tehnologii avansate într-un singur model performant. La baza sa stă familia de modele Command, care a fost îmbunătățită prin intermediul unor tehnici inovatoare precum data arbitrage, antrenament pentru preferințe multilingve, ajustări pentru siguranță și fuziunea modelelor.

Ceea ce face acest model cu adevărat special este capacitatea sa de a procesa și genera text în 23 de limbi diferite, incluzând:

• Limbi europene: engleză, franceză, germană, spaniolă, italiană, portugheză, română, cehă, polonă, ucraineană, greacă, olandeză;
• Limbi asiatice: chineză (simplificată și tradițională), japoneză, coreeană, vietnameză, indoneziană, hindi;
• Limbi din Orientul Mijlociu: arabă, ebraică, persană;
• Alte limbi: turcă, rusă.

2. Caracteristici tehnice

Modelul Aya Expanse 8B se distinge prin următoarele caracteristici importante:

• Arhitectură: utilizează un transformer optimizat cu auto-regresie;
• Lungimea contextului: poate procesa până la 8.000 de tokens;
• Tipul de input/output: funcționează exclusiv cu text;
• Licență: CC-BY-NC, cu respectarea politicii de utilizare acceptabilă a C4AI, adica printre altele imposibilitatea utilizării modelului în scopuri comerciale.

3.Aplicații practice și utilizare

Implementarea modelului Aya Expanse 8B este remarcabil de simplă, necesitând doar câteva linii de cod Python prin intermediul bibliotecii transformers. Dezvoltatorii pot începe rapid prin instalarea bibliotecii direct din repository-ul GitHub și pot utiliza modelul pentru diverse aplicații practice.

Comunitatea Cohere For AI a demonstrat deja versatilitatea modelului prin mai multe proiecte exemplu:

1. Asistent de Scriere Multilingv – perfect pentru crearea de conținut în multiple limbi;
2. AyaMCooking – o aplicație specializată în domeniul culinar;
3. Sistem de întrebări și răspunsuri multilingv – facilitând comunicarea între vorbitori de limbi diferite;

3.1. Performanță și evaluare

Evaluările extensive ale modelului Aya Expanse 8B au demonstrat capacități impresionante în diverse scenarii de utilizare.

Modelul excelează în special în:

• Înțelegerea și generarea de text natural în multiple limbi;
• Menținerea coerenței și acurateței în traduceri;
• Adaptarea la diverse stiluri și tonuri de comunicare;
• Procesarea eficientă a contextului extins.

În acest articol vom studia performanțele în limba română în comparație cu Llama 3.2 și Gemma2.

3.2. Disponibilitate și acces

Pentru cei interesați să experimenteze cu Aya Expanse 8B, există posibilitatea descărcării modelului prin intermediul platformei Hugging Face (modelul are o dimensiune sub 20GB).

Pentru a utiliza Python va trebui să instalăm în prealabil librăria transformers:

pip install 'git+https://github.com/huggingface/transformers.git

Un exemplu de cod Pyton este următorul:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereForAI/aya-expanse-8b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format the message with the chat template
messages = [{"role": "user", "content": ""}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
    )

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

3.3. Testare

Ne propunem să testăm câteva scenarii care implică generarea de text în limba română. Vom urmări scrierea corectă a cuvintelor, respectarea regulilor gramaticale, dar și coerența textului generat.

Pentru început vom folosi Aya Expanse 8B ca model de bază pentru o firmă de marketing care dorește să genereze imagini pentru promovarea unui produs digital.

Promptul este:

You are a wonderfull writer assistent who replies in romanian language. I would like to promote an online course. Write 3 prompts to generate images using words cinematic image, soft colors, dark shadows. The images should be related to happy people learning.

Aya Expanse 8B răspunde cu 3 prompturi care pot fi folosite împreună cu alte aplicații generative video precum Flux 1.1 sau Stable Diffusion 3.5:

Iată trei sugestii de prompt-uri pentru a crea imagini captivante care să corespundă tematicii dorite:

1. **Învățarea în lumina blândă a dimineții**: Imaginează-ți o scenă cinematică cu un grup de studenți zâmbitori, așezați în jurul unei mese din lemn, într-o cameră inundată de lumina caldă a dimineții. Fereastra mare din fundal lasă pătrunderea razelor de soare, creând umbre delicate pe fețele lor fericite. Pe masă, cărți deschise și caiete colorate, sugerând o atmosferă de învățare plină de entuziasm.

2. **Călătoria cunoașterii în amurg**: O imagine cu un tânăr profesor ghidând un grup de elevi prin străzile unei orașe vechi, la apusul soarelui. Cerul este pictat în nuanțe de portocaliu și roz, creând o atmosferă magică. Umbrele lungi dansează pe ziduri, în timp ce zâmbetele elevilor reflectă bucuria descoperirii. Un fundal artistic cu clădiri istorice adaugă un sentiment de călătorie în timp.

3. **Sărbătoarea cunoașterii**: Crează o scenă cu un atelier de lucru online, unde participanți din întreaga lume se adună virtual. Fundalul este compus din ecrane colorate, cu fețe zâmbitoare și entuziaste, în timp ce mâinile lor interacționează cu conținutul cursului. Folosește culori pastelate pentru a crea o atmosferă blândă și folosește umbrele pentru a accentua expresiile fericite ale oamenilor, care învață împreună într-un spațiu virtual iluminat.

Comenzile pot fi folosite, chiar dacă am identificat ușoare greșeli de acorduri precum:

unei orașe vechi

Al doilea test este din nou practic:

Ești un asistent virtual care răspunde în limba română și compune texte creative. Te rog compune o invitație adresată managementului companieie EXEMPLU SRL pentru a participa la un bal de sfărșit de an organizat de un ONG caritabil. Balul se va desfășura în sala Teatrului Național din Arad în data de 20 decembrie 2024. Folosește un ton respectuos, dar simpatic.

De multe ori ducem lipsă de creativitate când trebuie să compunem texte simple și un asistent ar fi de un real succes. Aya Expanse 8B răspunde astfel:

# Invitație: Balul Caritabil de Sfârșit de An

Stimați reprezentanți ai managementului EXEMPLU SRL,

Cu mare plăcere, vă invităm să luați parte la o seară magică și plină de semnificații, organizată cu scop caritabil, în cadrul comunității
noastre locale.

**Balul Caritabil "Speranță pentru Viitor"** are ca scop strângerea de fonduri pentru susținerea proiectelor educaționale ale ONG-ului
nostru dedicat, care luptă pentru îmbunătățirea accesului la educație pentru copiii din medii defavorizate.

Evenimentul va avea loc pe data de 20 decembrie 2024, în sala impunătoare a Teatrului Național din Arad, unde promitem o seară memorabilă,
îmbinând eleganța și generozitatea. Va fi o ocazie excelentă pentru a vă implica în comunitate și a contribui la schimbarea vieții celor
care au nevoie.

În cadrul balului, veți avea ocazia să savurați un spectacol artistic divers, cu muzică live, dansuri spectaculoase și o expoziție de artă
locală. De asemenea, vom avea momente emoționante dedicate recunoștinței și povești de succes ale copiilor pe care îi susținem.

Participarea dumneavoastră va aduce o contribuție semnificativă la misiunea noastră caritabilă și va demonstra angajamentul companiei
EXEMPLU SRL față de valorile umanitare. Sperăm că veți onora cu prezența dumneavoastră această invitație specială, devenind parte din
această inițiativă plină de căldură și compasiune.

Detaliile privind achiziționarea biletelor și programul complet al evenimentului vor fi furnizate la înregistrare.

Așteptăm cu entuziasm răspunsul pozitiv al echipei dumneavoastră!

Cu respect și recunoștință,
[Numele ONG-ului]

În testul următor – mai complex de această dată – vom instrui modelul Aya Expanse 8B să genereze șablonul unei proceduri interne:

Ești un asistent virtual care răspunde în limba română specializat în scrierea de proceduri organizaționale. Te rog compune șablonul unei Proceduri interne numită Procedura biroului curat. Această procedură are rolul de a stabili normele interne ale unei companii privind păstrarea dosarelor și documentelor la birou în condiții de confidențialitate și securitate. Cerințele sunt ca aceste documente să fie păstrate în dulapuri închise și doar documentele pe care se lucrează în mod curent să fie extrase din dulapuri. Angajații trebuie să păstreze un jurnal cu privire la documentele pe care lucrează pentru a se păstra trasabilitatea documentelor. Persoana desemnată de implementarea procedurii este șeful fiecărui departament. Folosește un limbaj tipic pentru corporații sau firme.

Când scriem o procedură trebuie să folosim un limbaj ușor de înțeles pentru cititori, atât la nivel de reguli, cât și în ceea ce privește responsabilitățile. Multăra li se pare foarte complicat să compui proceduri, dar Aya Expanse 8B face totul mai ușor:

# **Procedura Biroului Curat: Gestionarea Documentelor și Dosarelor**

## 1. Scop

Această procedură internă are ca obiectiv stabilirea unor practici organizatorice riguroase pentru gestionarea, păstrarea și securitatea documentelor și dosarelor în cadrul companiei noastre, asigurând confidențialitatea informațiilor sensibile.

## 2. Aplicabilitate

Procedura se aplică tuturor departamentelor și angajaților care au acces la documentele și dosarele companiei, indiferent de formatul acestora (fizic sau digital).

## 3. Responsabilități

- **Șefii de Departament:** Sunt responsabili pentru implementarea și supravegherea respectării acestei proceduri în cadrul departamentelor lor. Ei vor desemna un membru al echipei ca responsabil cu gestionarea documentelor, care va asigura conformitatea cu
regulile stabilite.
- **Toți Angajații:** Fiecare angajat are datoria de a urma instrucțiunile prezentate în această procedură și de a contribui la menținerea
unui mediu de lucru organizat și sigur pentru documente.

## 4. Păstrarea Documentelor

4.1 Toate documentele și dosarele, indiferent de natură, trebuie păstrate într-un mod ordonat și securizat în dulapurile sau cutiile etichetate corespunzător, aflate în spațiile de depozitare desemnate fiecărui departament.

4.2 Doar documentele utilizate curent în operațiunile zilnice vor fi extrase din dulapuri. Documentele pe care nu se lucrează activ trebuie păstrate în locațiile lor sigure, cu acces limitat.

## 5. Gestionarea Jurnalului de Activitate

5.1 Fiecare angajat care manipulează documente va menține un jurnal intern, înregistrând următoarele informații:
   - Data și ora extinderii/întoarcerii documentelor din dulapuri.
   - Nume document/dosar și scurt descriere a conținutului.
   - Departament și nume angajat responsabil.

5.2 Jurnalul de activitate va fi păstrat la biroul șefului de departament și va servi ca înregistrare a trasabilității documentelor, facilitând auditurile interne și verificările.

## 6. Confidențialitate și Securitate

6.1 Angajații sunt obligați să respecte confidențialitatea informațiilor conținute în documentele companiei, conform politicilor de securitate ale organizației.

6.2 Accesul la documentele sensibile va fi restricționat și permis doar personalului autorizat, cu respectarea procedurilor de autorizare stabilite.

## 7. Instruire și Actualizări

Toți angajații vor primi instruire cu privire la această procedură în timpul integrării lor în companie. Șefii de departament vor organiza sesiuni periodice de reamintire și actualizare a practicii, asigurând astfel conformitatea continuă.

## 8. Revizuire și Aprobare

Această procedură va fi revizuită anual sau la orice modificări organizatorice semnificative, cu scopul de a asigura relevanța și eficacitatea sa. Revizuirile vor fi aprobate de Directorul General al companiei.

Am întâlnit un model mic care în sfărșit poate să se exprime corect în limba română și să formuleze texte coerente. Textul este corect, iar dacă mai adăugăm câteva elemente în plus și detalii este complet.

Un ultim test este să instruim modelul să compună o poveste scurtă în limba română care ar putea fi folosită ca postare pe o rețea de socializare:

Ești un asistent virtual care răspunde în limba română specializat în scrierea de texte literare melancolice dar cu un sfat la final. Te rog compune un mic text de 800 de tokeni despre o seara petrecută pe malul mării, atunci când soarele apune și despre aminitirile care ne revin în minte. La final ar trebui să găsești o concluzie sau un sfat care să facă povestea interesantă.

Ideea testului este de a vedea dacă modelul poate păcăli un eventual cititor care să nu distingă dacă autorul este un factor uman sau inteligența artificială. Modelul LLM ne răspunde cu următorul text:

# **Seara de pe Malul Mării**

Când soarele își scutea lent ultima rază de lumină, transformând cerul într-o pânză pictată cu nuanțe calde de portocaliu și roz, ea a ajuns pe malul mării. Pașii ei răsunau pe nisipul umed, ca un ecou al amintirilor care o însoțeau de atâta timp. Marea, imensă și tăcută, părea să-i aștepte sosirea, dezvăluind secretele sale veșnic ascunse sub valuri.

A luat loc pe un scaun de lemn, unde nisipul încă mai păstra căldura zilei. Vântul blând îi mângâia fața, aducând cu el aroma sării și a mării. În acele momente, gândurile i-au dansat în minte, ca niște spirite eliberate, aducând aminte de clipe trecute.

Își amintea de zile însorite, când copilăria ei se juca pe plajă, construind castele de nisip și urmărind delfinii care săreau din valuri. Acele vremuri păreau atât de îndepărtate, dar totuși vii în memoria ei. Fiecare colț al acestei plaje era un tablou care o transporta înapoi la bucuria simplă a verilor trecute.

Un sentiment de melancolie o cuprinsese, dar nu una apăsătoare. Era mai degrabă o recunoștință pentru călătoria pe care viața i-o oferise până în acel moment. Fiecare amintire era ca un fir într-un covor complex, țesând povestea ei unică. Și, chiar dacă unele fire erau rupte sau stinse, altul lua locul, continuând țesătura vieții sale.

În depărtare, un pescar își etala prada pe nisip, iar ea auzi râsetele copiilor care se jucau în valuri. Sunetele acelei seri erau o simfonie a vieții, cântând baladele tuturor celor care trecuseră pe acolo. Marea, cu vocea ei blândă, șoptea povești de dragoste și aventuri, păstrate de secole.

În timp ce soarele dispărea complet, lăsând în urmă doar o sclipire palidă pe orizont, ea își dădu seama că nu mai era singură. Acel sentiment de companiie venea din interior, din toate amintirile care o înconjurau. Era ca și cum spiritul ei dansa cu valurile, sărbătorind viața trăită și găsind pacea în acceptarea trecutului.

Această seară pe malul mării a fost o invitație la introspecție. Ne amintește că amintirile sunt comori ascunse în adâncul ființei noastre, care ne definesc și ne leagănă între prezent și trecut. Ele ne oferă înțelepciune, ne fac mai puternici și ne ajută să ne regăsim drumul atunci când ne pierdem.

**Sfatul pentru o viață plină de semnificații:**

În loc să fugim de amintiri sau să le păstrăm îngropate în adâncul minții, să le îmbrățișăm ca pe niște prieteni vechi. Fiecare amintire este o piesă a puzzle-ului nostru personal, contribuind la povestea unică pe care o scriem cu viața noastră. Permiteți-le să vă călăuzească, să vă inspire și să vă amintească că fiecare moment, chiar și cel mai mic, are valoare și merită trăit pe deplin.

Chiar dacă textul nu este perfect, e suficient de remarcabil formulat.

Aya Expanse 8B ne aduce aminte de capacitatea generativă grozavă a modelului Qwen 2.5 care totuși nu se descurca așa de bine în limba română.

Impactul și Perspectivele de Viitor

Lansarea modelului Aya Expanse reprezintă un pas semnificativ în democratizarea accesului la tehnologii lingvistice avansate. Cu suportul său extins pentru multiple limbi, modelul poate facilita:

• Comunicarea între comunități lingvistice diverse
• Dezvoltarea de aplicații și servicii multilingve
• Cercetarea și inovația în procesarea limbajului natural
• Reducerea barierelor lingvistice în mediul digital

Concluzie

Aya Expanse reprezintă mai mult decât un simplu model lingvistic – este o punte de legătură între comunități lingvistice diverse și o demonstrație a progresului în domeniul inteligenței artificiale. Cu capacitățile sale multilingve avansate și arhitectura sa optimizată, modelul deschide noi posibilități pentru comunicarea globală și dezvoltarea de aplicații inovatoare.

Prin combinarea cercetării avansate cu accesibilitatea și ușurința în utilizare, Aya Expanse stabilește un nou standard în domeniul modelelor lingvistice și promite să influențeze semnificativ modul în care interacționăm cu tehnologia în viitor. Pentru cercetători, dezvoltatori și utilizatori finali, acest model reprezintă o resursă valoroasă în explorarea și exploatarea potențialului inteligenței artificiale în comunicarea multilingvă.