Un model AI aprope perfect: Hermes 3 LLAMA 3.1

Nous Reserch a lansat ultima serie de modele AI Hermes 3 care au ca bază structura LLAMA 3.1.

Hermes 3 este un model LLM generalist care aduce îmbunătățiri semnificative față de seria a 2-a, incluzând o capacitate mult mai bună de interacțiune cu utilizatorul în conversații sau în generarea de povești, coerență sporită în generarea de texte lungi și folosirea funcțiilor și a datelor structurate.

Analizele comparative arată că Hermes 3 se comportă în unele situații chiar mai bine decât LLAMA 3.1.

Hermes 3 folosește ca format de prompt standardul ChatML orientat mai mult spre folosirea datelor structurate. Acest lucru ajută la o discuție mai fluidă cu utilizatorul care este capabil să stabilească reguli, roluri și moduri de comportament pentru modelul AI.

Hermes 3 este compatibil cu standardul OpenAi făcând integrarea lui extrem de ușoară.

La fel ca modelul LLAMA 3.1 și Hermes 3 vine în 3 variante, de 8 miliarde parametri, 70 și 405 miliarde de parametri.

Modelul în varianta interferentă are o dimensiune de aproximativ 20 GB și poate fi rulat ușor pe dispozitivele locale.

Pentru versiunile superioare care nu încap în memoria VRAM a unei plăci video obișnuite se poate utiliza desigur și memoria RAM normală, dar aceasta duce la o scădere semnificativă a performanțelor și la o creștere a timpului de execuție a comenzilor.

Varianta Ollama cuantizată pe 8 biți are o dimensiune aproximativă de 8.6 GB.

Instalare și testare Hermes 3 LLAMA 3.1. 8B

Modelul Hermes 3 poate fi descărcat de aici: https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B

Pentru instalarea locală va trebui să setăm librăriile de bază:

pip install torch
pip install git+https://github.com/huggingface/transformers
pip install accelerate huggingface_hub tiktoken bitsandbytes

Un exemplu de cod este următorul:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, LlamaForCausalLM
import bitsandbytes, flash_attn

tokenizer = AutoTokenizer.from_pretrained('NousResearch/Hermes-3-Llama-3.1-8B', trust_remote_code=True)
model = LlamaForCausalLM.from_pretrained(
    "NousResearch/Hermes-3-Llama-3.1-8B",
    torch_dtype=torch.float16,
    device_map="auto",
    load_in_8bit=False,
    load_in_4bit=True,
    use_flash_attention_2=True
)

prompts = [
    """<|im_start|>system
Esti un agent virtual, inteligent, cu simtul umorului, care cunoaste limba romana. Ma vei ajuta cu compunera unei nuvele scurte in limba romana.<|im_end|>
<|im_start|>user
Scrie un text de fictiune in limba romana, pe o tema cyberpung avand ca personaj principal un tanar numit Neo. Neo se pricepe foarte bine la calculatoare si in timp ce testa o retea pe internet a ajuns accidental in posesia unei liste de coduri care declanseaza rachete nucleara. Din acel moment a devenit o tinta a unei echipe de raufacatori condusa de Mustafa. Povesta va trebui sa descrie aventurile lui Neo in incercarea de a scapa de Mustafa si de a ajunge la fortele de ordine pentru a preda codurile. Incearca sa descrii trairile personajelor intr-un mod cat mai realist posibil.<|im_end|>
<|im_start|>assistant""",
    ]

for chat in prompts:
    print(chat)
    input_ids = tokenizer(chat, return_tensors="pt").input_ids.to("cuda")
    generated_ids = model.generate(input_ids, max_new_tokens=7500, temperature=0.8, repetition_penalty=1.1, do_sample=True, eos_token_id=tokenizer.eos_token_id)
    response = tokenizer.decode(generated_ids[0][input_ids.shape[-1]:], skip_special_tokens=True, clean_up_tokenization_space=True)
    print(f"Response: {response}")

Modelul are o dimensiune de aproximativ 20 GB și poate fi rulat ușor pe dispozitivele locale.

Pentru versiunile superioare care nu încap în memoria VRAM a unei plăci video obișnuite se poate utiliza desigur și memoria RAM normală, dar aceasta duce la o scădere semnificativă a performanțelor și la o creștere a timpului de execuție a comenzilor.

Povestea generată de Hermes 3, în limba română este:

Drumul spre viitor începe în prezent, într-o lume conectată la Internet și guvernată de mașini. Aici se află Neo, un tânăr pasionat de tehnologie, care face față zilnic celor mai dificile probe ale computerului său personal. Într-o dintre acele sesiuni, Neo descoperă o listă secretă de coduri care declanșează răcitoare nucleare. El este conștient că are în mâna un privilegiu periculos, dar nu poate rezista curiozității.

Neo devine rapid o țintă dorită pentru grupul de răufăcători condus de Mustafa, un criminal organizatoric dotat cu minte agilă și viteză mare de calculator. Mustafa și echipa lui sunt într-adevăr în urma lui Neo. Cu toate că Neo nu intenționează să folosească informațiile din listă pentru scopuri rele, Mustafa nu are nicio îndoială că el va încerca să profite de aceste informații dacă le-ar avea la dispoziție.

În acest thriller cyberpunk, povestea ne duce prin diverse situații în care Neo încearcă să evite capturarea de către Mustafa și să depună lista codurilor la forțele de ordine. Între timp, Neo devine tot mai dependent de tehnologia care îl ajută să evadeze. De exemplu, un apel al cărui mesaj s-a pierdut în labirintul internetului și pare să-l ofere Mustafa, doar pentru a fi recuperat ulterior într-un cadru diferit. Totuși, Neo se confruntă cu obstacole în drumul său către salvare. Mustafa și partizanii săi au un acces la tehnologii de ultimă oră și drone pentru monitorizarea teritoriului.

Neo încearcă să stea un pas înaintea lor, dar ei par să fie mereu un pas înaintea lui. Chiar și utilizând hările de mișcare ale traficanților pentru a-și sparge propriul algoritm de evadare, Neo se confruntă cu probleme de securitate software și hardware. Dar, Neo are un aset esențial în lupta sa: inteligența sa și abilitățile sale în programare.

Prin intermediul acestora, Neo încearcă să creeze programe de criptare care să-i păstreze ascunse fața de Mustafa și echipei lui. Cu toate acestea, acești adversari sofisticați sunt în mod constant un pas înainte, iar Neo încearcă să găsească un refugiu sigur unde poate stoca informațiile sensibile în siguranță.

Cu toate că povestea este una ficțională, ea reflectă temeri reale privind securitatea datelor și impactul negativ pe care corupția poate să-l exercite chiar și în viitoarele societăți. Totul vine împreună pentru a crea o stare de tensiune și suspans care îi pătrunde pe cititorii și îi scoate pe eroi într-o cursă împotriva timpului pentru a proteja ceea ce este sfâșiat întotdeauna între bine și rău.

Folosirea Hermes 3 LLAMA 3.1. 8B împreună cu OLLAMA

Probabil cel mai simplu mod de utilizare, directă este folosirea modelului AI împreună cu un server Ollama local (află aici cum poți folosi Ollama).

Modelul poate fi instalat pe serverul Ollama ( https://ollama.com/library/hermes3:8b-llama3.1-q8_0) cu comanda:

ollama pull hermes3:8b-llama3.1-q8_0

și apoi lansat în execuție cu:

ollama run hermes3:8b-llama3.1-q8_0

Am testat modelul cu câteva întrebări de bază verificându-i abilitățile conversaționale:

>> ce este fericirea?

Fericirea este un sentiment complex și subiectiv care se referă la starea de bunăstare, plăcere și satisfacție pe
care o trăim în viața noastră. Fericirea poate fi experimentată atât în momente specifice, cât și ca parte a unei
experiențe mai generale ale vieții.

Există mai multe teorii și perspective asupra fericirii, iar conceptul variază între culturi și persoane. Unii
oameni își asociază fericirea cu atingerea obiectivelor lor personale sau cu realizările profesionale, alții o
găsesc în relațiile interpersonale sănătoase, iar alții o percep ca fiind legată de experiențele pozitive și de
acceptarea sine-ului.

Psihologii și cercetătorii au identificat mai multe factori care pot contribui la fericirea unei persoane, cum ar
fi:

1. Relații sănătoase și durabile
2. Sentimentul de autenticitate și auto-acceptare
3. Desfășurarea unei activități cu sens sau a unor pasiuni
4. Resurse financiare adecvate
5. Sănătate fizică și mentală
6. Experiențe pozitive și aprecierea acestora
7. Comunități sociale sprijinitoare

Fericirea este un concept care poate fi înțelept să se concentreze pe creșterea nivelului general de satisfacție
și bunăstare în viața de zi cu zi, mai degrabă decât să caute o stare perpetuuă de euforie sau de idealizat
perfectibilitate.

>>> cum pot să îmi îmbunătățesc capacitatea de a învăța lucruri noi?

Capacitatea de a învăța lucruri noi este un skill care poate fi dezvoltat și îmbunătățit. Aici sunt câteva
sugestii pentru a-ți îmbunătăți abilitatea de a învăța:

1. **Mentalitatea deschisă**: Abordează noi informații cu un interes și o curiozitate autentice. Fiți pregătit să
acceptați idei noi și să vă adaptați.

2. **Patience și persistență**: Recunoaște că învățarea nu se întâmplă overnight. Este important să rămânem
constanți și să lucrăm pe măsură ce ne confruntăm cu provocările.

3. **A face legături**: Când înveți ceva nou, încearcă să faci conexiuni între acea informație și cunoștințele pe
care deja le ai. Acest lucru ajută la fixarea informației în memoria ta.

4. **Scrie**: Învață prin scriere. Repetați informația, notați-vă experiențele de învățare și reflectați asupra
ceea ce ați învățat pentru a consolida aceste cunoștințe.

5. **Aplicați**: Puteți folosi concepte noi în situații reale pentru a ajuta la înțelegerea și fixarea acestor
idei în minte.

6. **Împărtășiți cunoștințele**: Dacă puteți împărtăși ceea ce ați învățat cu alții, acest lucru poate ajuta la
consolidarea înțelegerii și învățării.

7. **Meditație și relaxare**: Practica meditația sau alte tehnici de relaxare pentru a-ți menține mintea deschisă
și pregătită pentru noi informații.

8. **Pauze regulate**: Pentru a evita burn-out-ul, este important să vă asigurați că aveți pauze regulate în
timpul procesului de învățare.

9. **Dormi bine**: Noaptea bună este crucială pentru consolidarea cunoștințelor și a memoriei.

10. **Educați-vă despre modalități eficiente de învățare**: Există diferite stiluri și strategii de învățare,
găsiți ce funcționează cel mai bine pentru dumneavoastră.

Și nu uita, fiecare persoană este diferită. Experimentați cu diferite metode și găsiți ceea ce funcționează cel
mai bine pentru dumneavoastră.

Este remarcabil că modelul răspunde aprope fără greșeli gramaticale sau de formulare a cuvintelor în limba română, nu halucinează și este concentrat pe subiectul cerut.

Concluzii despre Hermes 3

Modelul Hermes 3 este o surpriză plăcută care dovedește fiabilitate și capacități ridicate la susținerea unei conversații sau pentru generarea răspunsului la o temă dată.

De asemenea Hermes 3 LLAMA 3.1. poate fi utilizat împreună cu o aplicație de generare povești precum Silly Tavern (află aici cum poți instala Silly Tavern pe calculator).

Securitatea și confidențialitatea datelor este asigurată de capacitatea modelului de a rula fără probleme de pe dispozitivele locale, fără pretenții.