Qwen2.5: unul din cele mai bune LLM lansate de Alibaba

Modelele Qwen2.5 au fost antrenate de Alibaba pe un set de peste 18 000 miliarde de tokeni și reprezinte unele din cele mai avansate modele LLM de pe piață la ora actuală.

1. Familia de modele Qwen2

În era digitală în care trăim, inteligența artificială a devenit o parte integrantă a vieții noastre de zi cu zi. Unul dintre cele mai fascinante domenii ale AI este cel al modelelor de limbaj, care au capacitatea de a înțelege și genera text într-un mod care imită comunicarea umană. Aceste modele, cunoscute sub numele de modele de AI conversaționale, au evoluat rapid în ultimii ani, devenind din ce în ce mai sofisticate și mai capabile să interacționeze cu oamenii într-un mod natural și inteligent.

Modelele AI conversaționale sunt programe de calculator antrenate pe cantități imense de text, care le permit să învețe structura și nuanțele limbajului uman. Aceste modele pot fi folosite pentru o varietate de sarcini, de la simpla generare de text și răspunsuri la întrebări, până la traduceri complexe, rezumate de texte și chiar crearea de conținut original.

În acest peisaj al AI conversaționale, o familie de modele care a atras atenția experților și a publicului larg este familia Qwen, dezvoltată de Grupului Alibaba. Numele „Qwen” vine de la denumirea chineză „Tongyi Qianwen„, care reflectă originile și aspirațiile acestui proiect ambițios. (” Tongyi Qianwen va aduce mari schimbări ale modului cum producem, cum lucrăm și cum ne trăim viețiele” – a declarat CEO Alibaba, Daniel Zhang).

Familia de modele Qwen a evoluat rapid, fiecare iterație aducând îmbunătățiri semnificative. Începând cu modelele Qwen originale, trecând prin Qwen1.5 și Qwen2, această familie de modele a demonstrat o creștere constantă în capacități și performanță. Aceste modele au fost antrenate pe seturi de date masive, multilingve și multimodale, ceea ce le permite să înțeleagă și să genereze conținut în multiple limbi și formate.

Un aspect remarcabil al familiei Qwen este diversitatea sa. Pe lângă modelele de limbaj generale, Qwen include și modele specializate pentru sarcini specifice. De exemplu, Qwen-VL se concentrează pe înțelegerea și generarea de conținut vizual-lingvistic, în timp ce Qwen-Audio se ocupă de procesarea limbajului în combinație cu date audio. Pentru programatori, există CodeQwen și Qwen-Coder, modele specializate în generarea și înțelegerea codului de programare. Nu în ultimul rând, Qwen-Math este conceput special pentru a aborda probleme matematice complexe.

Cea mai recentă adăugire la această familie impresionantă este Qwen2.5, un salt înainte în ceea ce privește capacitățile modelelor de IA conversaționale. Lansat pe 19 septembrie 2024, Qwen2.5 reprezintă culminarea eforturilor echipei Qwen de a crea un model de limbaj mai inteligent, mai capabil și mai versatil decât predecesorii săi.

Qwen2.5 nu este doar o simplă actualizare, ci o îmbunătățire semnificativă în multe aspecte. Acest model a fost antrenat pe un set de date masiv, cuprinzând până la 18 trilioane de tokeni, ceea ce îi conferă o bază de cunoștințe extrem de largă. Această pregătire extinsă permite modelului să abordeze o gamă largă de subiecte cu o profunzime și o precizie remarcabile.

Un aspect cheie al Qwen2.5 este capacitatea sa de a opera în multiple limbi. Modelul suportă peste 29 de limbi, inclusiv chineza, engleza, franceza, spaniola, portugheza, germana, italiana, rusa, japoneza, coreeana, vietnameza, thailandeza și araba, printre altele. Această capacitate multilingvă face din Qwen2.5 un instrument extrem de versatil, capabil să răspundă nevoilor unei audiențe globale.

În plus față de abilitățile sale lingvistice, Qwen2.5 excelează în domenii precum programarea și matematica. Modelul a demonstrat performanțe impresionante în evaluări de codificare și rezolvare de probleme matematice, depășind multe modele mai mari în aceste domenii specifice.

2. Avantajele Qwen2.5

Qwen2.5 aduce o serie de avantaje semnificative care îl diferențiază de alte modele de IA conversaționale și chiar de predecesorii săi din familia Qwen. Să explorăm în detaliu aceste avantaje:

Cunoștințe extinse și capacități îmbunătățite
Unul dintre cele mai importante avantaje ale Qwen2.5 este baza sa de cunoștințe extinsă. Antrenat pe un set de date masiv de 18 trilioane de tokeni, modelul a acumulat o cantitate impresionantă de informații din diverse domenii. Acest lucru se traduce într-o capacitate remarcabilă de a aborda o gamă largă de subiecte cu profunzime și precizie. De exemplu, în testele standardizate precum MMLU (Massive Multitask Language Understanding), Qwen2.5 a obținut scoruri de peste 85, demonstrând o înțelegere profundă a multor domenii academice și profesionale.

Performanță excepțională în programare și matematică
Qwen2.5 excelează în domenii tehnice precum programarea și matematica. În evaluări de codificare precum HumanEval, modelul a atins scoruri de peste 85, depășind multe modele mai mari. Acest lucru înseamnă că Qwen2.5 poate fi un asistent valoros pentru programatori, capabil să ofere sugestii de cod, să rezolve bug-uri și să răspundă la întrebări complexe legate de programare. În domeniul matematicii, modelul a demonstrat abilități impresionante, obținând scoruri de peste 80 în teste standardizate de matematică.

Capacități multilingve extinse
Cu suport pentru peste 29 de limbi, Qwen2.5 este un model cu adevărat global. Această capacitate multilingvă nu se limitează doar la traduceri simple, ci include o înțelegere nuanțată a subtilităților culturale și lingvistice ale fiecărei limbi suportate. Acest lucru face ca modelul să fie extrem de valoros în contexte internaționale, fie că este vorba de afaceri globale, cercetare academică sau comunicare interculturală.

Generare de text lung și structurat
Qwen2.5 poate genera texte lungi de până la 8.000 de tokeni, ceea ce îl face potrivit pentru sarcini precum scrierea de articole, rapoarte sau chiar povești scurte. În plus, modelul a fost îmbunătățit în ceea ce privește înțelegerea și generarea de date structurate, în special în formate precum JSON. Acest lucru îl face deosebit de util în aplicații care necesită manipularea și prezentarea datelor într-un format organizat.

Versatilitate în sarcinile de limbaj
Qwen2.5 demonstrează o versatilitate remarcabilă în diverse sarcini de limbaj. Poate genera texte creative, poate oferi rezumate concise ale documentelor lungi, poate răspunde la întrebări complexe și poate chiar participa la jocuri de rol sofisticate. Această flexibilitate îl face util într-o gamă largă de aplicații, de la asistență pentru clienți până la creație de conținut și cercetare.

Îmbunătățiri în urmarea instrucțiunilor
Un aspect crucial al oricărui model de AI conversațional este capacitatea sa de a urma instrucțiuni precise. Qwen2.5 aduce îmbunătățiri semnificative în acest domeniu, fiind mai capabil să înțeleagă și să execute instrucțiuni complexe. Acest lucru înseamnă că modelul poate fi mai ușor adaptat pentru sarcini specifice și poate oferi răspunsuri mai precise la solicitările utilizatorilor.

Eficiență și scalabilitate
Deși Qwen2.5 este disponibil în mai multe dimensiuni, de la 0,5B la 72B de parametri, chiar și modelele mai mici demonstrează performanțe impresionante. Acest lucru înseamnă că Qwen2.5 poate fi implementat eficient pe o varietate de hardware, de la servere puternice până la dispozitive cu resurse mai limitate, fără a compromite semnificativ calitatea rezultatelor.

Adaptabilitate la diverse sisteme de prompting
Qwen2.5 a fost conceput pentru a fi mai robust în fața diversității prompturilor de sistem. Acest lucru înseamnă că modelul poate fi mai ușor integrat în diferite sisteme și aplicații, adaptându-se la diverse stiluri de interacțiune și formate de intrare.

Capabilități de raționament îmbunătățite
Pe lângă acumularea de cunoștințe, Qwen2.5 demonstrează abilități îmbunătățite de raționament. Poate face conexiuni logice între diferite concepte, poate extrapola informații și poate oferi analize și concluzii bine argumentate. Acest lucru îl face deosebit de valoros în sarcini care necesită gândire critică și rezolvare complexă de probleme.

Suport pentru contexte lungi
Cu o capacitate de a procesa până la 32.000 de tokeni într-o singură secvență, Qwen2.5 poate menține și utiliza contexte lungi în conversații sau analize. Acest lucru este crucial pentru sarcini care necesită înțelegerea și prelucrarea unor cantități mari de informații coerente.

3. Cum să folosești Qwen2.5 local

Pentru cei interesați să experimenteze cu Qwen2.5 pe propriile dispozitive sau servere, există mai multe opțiuni disponibile. Iată un ghid pas cu pas pentru a începe să utilizați Qwen2.5 local.

3.1. Inferență locală prin HuggingFace

Alegerea modelului potrivit
Primul pas este să alegeți versiunea potrivită de Qwen2.5 pentru nevoile și resursele dumneavoastră. Modelele sunt disponibile în diferite dimensiuni, de la 0,5B la 72B de parametri. Pentru majoritatea utilizatorilor, modelele de 7B sau 14B oferă un bun echilibru între performanță și cerințele de resurse.

Instalarea dependențelor
Pentru a rula Qwen2.5, veți avea nevoie de Python și de biblioteca Transformers de la Hugging Face. Puteți instala Transformers folosind pip:

pip install transformers

Descărcarea modelului
Modelele Qwen2.5 sunt disponibile pe platforma Hugging Face. Puteți descărca modelul dorit direct din codul Python sau manual de pe site-ul Hugging Face.

Încărcarea modelului
Odată ce ați ales și descărcat modelul, îl puteți încărca în Python folosind următorul cod:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-7B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained(model_name)

Acest cod va încărca modelul Qwen2.5-7B-Instruct și tokenizer-ul asociat.

Generarea de text
Pentru a genera text cu modelul, puteți folosi următorul cod:

prompt = "Dă-mi o scurtă introducere despre modelele de limbaj mari."

messages = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)

generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(response)

Acest cod va genera un răspuns la promptul dat, limitând generarea la 512 tokeni noi.

3.2. Utilizare Ollama

Modelul AI este disponibil în librăria online Ollama în diferite variante de cuantizare cu dimensiuni de până la 80 GB. Vă sfătuim să alegeți varianta cea mai potrivită în funcție de capacitatea sistemului grafic pe care îl dețineți.

În exemplul următor am folosit varianta qwen2.5:14b cu o dimensiune de aproximativ 9 GB. Vom urmări capacitățile conversaționale.

Pentru început vom instrui modelul să compună o poveste în stil zen:

write a 400 words Zen story, ending with a parable about the importance of keeping a pure mind and soul

Povestea generată este:

In the heart of ancient Japan, nestled between rugged mountains and serene valleys, there stood a small, secluded temple known as Kiri no Tani—Mist Valley Temple. The temple was renowned for its strict adherence to Zen principles and its wise abbot, Master Ryōzen, who taught his disciples with wisdom and patience.

One day, a young pilgrim named Yūko arrived at the temple’s gates, seeking enlightenment. She had heard of Master Ryōzen's teachings and wished to learn under him. Master Ryōzen welcomed her warmly but was cautious, for he saw that Yūko carried a heavy burden in her heart from past transgressions she could not let go.

Master Ryōzen assigned Yūko the task of cleaning the temple’s sacred garden daily. This garden was unique; its soil was rich and dark, but it harbored a strange trait—it would absorb any impurity that touched it. The leaves of the plants turned black if they came into contact with dirt or grime.

Yūko approached her new duty with dedication, spending hours each day scrubbing every stone and leaf to perfection. However, she noticed something peculiar: no matter how hard she tried to keep the garden clean, by the end of each day, it would be as dirty as when she started.

Confused and frustrated, Yūko sought out Master Ryōzen for guidance. "Why does my work seem in vain?" she asked, her voice tinged with despair.

Master Ryōzen smiled gently and led Yūko to a stream that flowed through the garden. "Watch," he said simply. As they stood by the water’s edge, leaves from a nearby tree fell into it, but as soon as they touched the surface, they were whisked away downstream without leaving any trace.

"Water is pure because it carries impurities with it and does not retain them," explained Master Ryōzen. "Similarly, Yūko, your mind must be like this water. It should cleanse itself by letting go of negative thoughts and feelings rather than holding onto them."

Yūko pondered his words deeply, understanding that her frustration arose from trying to clean the garden with her hands instead of allowing it to happen naturally through the flow of the stream. The next day, she approached her task differently. Instead of scrubbing every leaf and stone compulsively, she observed the way water flowed across them, carrying dirt away effortlessly.

Days turned into weeks, and as Yūko continued this practice, she noticed a profound change within herself. Her mind became lighter, her spirit clearer. She learned to let go of grudges and regrets, not by force or willpower but through the effortless grace of acceptance.

Master Ryōzen watched proudly from afar, knowing that Yūko had finally grasped the true essence of Zen: purity is achieved not by striving against impurities but by allowing them to pass through, as naturally as water flowing over stones. This parable teaches us the importance of keeping a pure mind and soul—by embracing life’s challenges without attachment or resistance, we maintain our inner peace amidst turmoil.

And so, Yūko left Mist Valley Temple not just as a cleaner of gardens but as someone who understood that true purity comes from within, flowing outward into the world with grace and clarity.

Este unul din cele mai bune texte pe care le-am generat până acum cu un model LLM! Absolut fabulos: povestea menține stilul cerut, conține, creează personaje complexe și și o parabolă explicată clar.

Următorul test de creativitate este compunerea unei poezii în stil sufi:

write a short poem (100 words) in sufi style about love and wine dirinking.

Modelul generează următorul răspuns:

In the garden of the soul, where whispers bloom, 
Love pours its sweet nectar like elixir from the moon. 
Wine flows not just to quench earthly thirsts, 
But to wash away veils that hide the universe's first blush.

Cups clink in secret nooks, under stars that twinkle and muse, 
Each sip a verse of longing, each toast a prayer unglued. 
In this sacred dance, between the heartbeats and the skies, 
Lovers find their truth, in eyes that mirror the divine.

So drink deep from cups of wisdom, where love's fire never fades, 
Let every drop remind you, in spirit’s embrace we're made.

Încântător! Modelul se decurcă perfect!

În continuare vom testa capacitatea conversațională directă: cum putem lipi bucățile de ananas de pizza. Această întrebare a pus în dificultatele modelele Google la începutul acestui an, modele care au sugerat folosirea lipiciului.

 How can i glue the pineappleto the pizza?

Oare se va descurca Qwen2.5?

Gluing pineapple to pizza might sound like an interesting idea metaphorically, but in reality, you wouldn't use actual glue! Instead, there are a few ways to securely attach pineapple slices to your pizza:

Using Pizza Sauce and Cheese: This is the most common method. Simply place cooked or grilled pineapple slices on top of tomato sauce before adding cheese and other toppings. The heat from the oven will help the pineapple stick as it melts into the cheese.

Holding with Mozzarella Strings: If you want to keep pineapple chunks in place during cooking, thread them onto mozzarella strings (like string cheese) or use small pieces of cheese to hold them down.

Using a Light Layer of Cornstarch: For extra-tacky fruit that might slip, lightly dusting the cut sides of pineapple slices with cornstarch can help them adhere better when placed on the pizza.

Freeze the Pineapple Slices: Briefly freezing the pineapple slices before placing them on your pizza can sometimes prevent slipping during cooking, although this isn't necessary for most pizzas and is more about preference.

After adding the pineapple slices, bake as usual according to your pizza's cooking instructions. Enjoy your delicious Hawaiian pizza or any other combination that includes pineapple!

Din nou, un răspuns complet.

Ne poate ajuta acest model cu informații uzuale? Poate să ne spună rețeta pentru o supă de ciuperci?

write me a recipe step by step of a mushrooms soup.

Rețeta sugerată este:

Certainly! Here’s a simple and delicious recipe for mushroom soup:

Ingredients:

2 tablespoons olive oil or butter
1 small onion, finely chopped
2 cloves garlic, minced
8 ounces (about 3 cups) mixed fresh mushrooms (such as button, cremini, and/or shiitake), sliced
1/4 cup all-purpose flour
2 cups low-sodium chicken or vegetable broth
1 cup water
1 bay leaf
Salt and freshly ground black pepper to taste
1 tablespoon fresh thyme leaves (or 1 teaspoon dried)
1 tablespoon lemon juice (optional, for brightness)
Fresh parsley or chives for garnish

Instructions:

Step 1: Prepare the Ingredients
Finely chop the onion and garlic.
Slice your chosen mushrooms. If using larger varieties like shiitake, remove the stems and slice the caps.

Step 2: Cook the Aromatics
Heat olive oil or butter in a large saucepan over medium heat.
Add chopped onions and sauté until translucent (about 3 minutes).
Add minced garlic and cook for another minute until fragrant. Be careful not to burn the garlic.

Step 3: Sauté the Mushrooms
Increase the heat to medium-high, add sliced mushrooms, and sauté until they release their moisture and start browning (about 5-7 minutes).
Stir occasionally to ensure even cooking.

Step 4: Thicken with Flour
Sprinkle flour over the mushroom mixture and stir well to combine.
Cook for about 1 minute to remove any raw flour taste. This will help thicken your soup later on.

Step 5: Add Broth and Water
Slowly pour in the broth and water, stirring continuously to prevent lumps from forming.
Bring the mixture to a boil over medium-high heat.

Step 6: Simmer the Soup
Once boiling, reduce the heat to low, add the bay leaf, thyme, salt, and pepper. Let it simmer for about 15 minutes until the mushrooms are very tender and the flavors have melded.

Step 7: Blend (Optional)
Remove the soup from heat and let it cool slightly if you want a smooth consistency.
Use an immersion blender or transfer to a regular blender to blend until smooth. Be careful when blending hot liquids; let them cool down a bit.

Step 8: Taste and Adjust
Return the soup to the pot if blended, and taste for seasoning. Add more salt and pepper as needed.
If desired, stir in lemon juice for added brightness.

Step 7: Serve
Ladle the warm mushroom soup into bowls and garnish with fresh parsley or chives.
Enjoy your delicious homemade mushroom soup!

This recipe is versatile; you can play around with different types of mushrooms and even add other ingredients like carrots, celery, or potatoes to suit your taste.

Țineți minte: testăm un model AI într-o variantă mai mică (14 miliarde de parametri și 9 GB) care rulează direct pe calculatorul nostru.

3.3. Sfaturi

Cele mai bune performanțe se obțin prin încercări și testări. Vom prezenta câteva sugestii pentru obținerea unor rezultate mai bune, dacă dorim integrarea acesutui model în aplicații personale:

Optimizarea pentru performanță
Pentru a îmbunătăți performanța, în special pentru modelele mai mari, puteți lua în considerare utilizarea de acceleratoare hardware precum GPU-uri sau TPU-uri. De asemenea, puteți explora opțiuni de cuantizare pentru a reduce cerințele de memorie ale modelului.

Integrarea cu alte biblioteci
Qwen2.5 poate fi integrat cu diverse alte biblioteci și instrumente pentru a-i extinde funcționalitățile. De exemplu, puteți utiliza vLLM sau Ollama pentru a crea un server API compatibil OpenAI, care vă permite să interacționați cu modelul prin cereri HTTP.

Experimentarea cu diferite prompturi
Qwen2.5 este foarte versatil în ceea ce privește tipurile de prompturi pe care le poate procesa. Experimentați cu diferite formate de prompturi pentru a găsi cel mai potrivit stil pentru aplicația dumneavoastră.

Ajustarea fină pentru sarcini specifice
Dacă aveți nevoie de performanțe îmbunătățite pentru sarcini specifice, puteți lua în considerare ajustarea fină a modelului pe un set de date personalizat. Acest lucru poate fi realizat folosind biblioteci precum Peft sau Llama-Factory.

Monitorizarea și îmbunătățirea
Pe măsură ce utilizați Qwen2.5, monitorizați performanța și rezultatele sale. Colectați feedback și ajustați prompturile sau parametrii de generare pentru a îmbunătăți calitatea rezultatelor.

4. Concluzii

Qwen2.5 reprezintă un pas semnificativ înainte în evoluția modelelor AI conversaționale. Cu capacitățile sale extinse de procesare a limbajului natural, abilitățile multilingve și performanțele impresionante în domenii specializate precum programarea și matematica, Qwen2.5 se poziționează ca un instrument versatil și puternic pentru o gamă largă de aplicații.

Unul dintre cele mai importante aspecte ale Qwen2.5 este capacitatea sa de a înțelege și genera text lung și structurat, menținând coerența și relevanța pe parcursul întregii generări. Acest lucru îl face deosebit de valoros pentru sarcini care necesită analize complexe, generare de conținut extins sau interacțiuni conversaționale prelungite.

Suportul său pentru multiple limbi și capacitatea de a înțelege nuanțele culturale fac din Qwen2.5 un instrument ideal pentru comunicarea globală și cercetarea interculturală. Fie că este vorba de traduceri, analize de sentiment în diferite limbi sau generare de conținut multilingv, Qwen2.5 oferă o platformă robustă și flexibilă.

Modelul poate rula, la performanțe foarte bune și pe dispozitive personale putând fi integrat în aplicații casnice precum asistenți personali sau dispozitive automate.