Qwen a lansat recent seria Qwen-2 Math care cuprinde mai multe modele adaptate pentru aplicații distincte pentru utilizarea în completarea sarcinilor matematice complexe.
În vârful gamei se află Qwen-2 Math 72B, un model cu un impresionant set de 72 de miliarede parametri.
Versiunea INSTRUCT a acestui model oferă îmbunătățiri suplimentare care îi permit să urmeze instrucțiunile utilizatorului mult mai precis.
Modelele mai mici Qwen-2-Math-7B oferă posibilitatea de a fi rulate și pe sisteme cu capacități de calcul mai reduse, păstrând totuși o capacitate de răspuns ridicată.
Un tabel de analiză comparativă ne arată că modelul este superior altora pe partea de analiză matemetică.
Haide-ți să vedem cum se comportă Qwen2-Math-7B instruct, utilizat local folosind LMStudio pe câteva probleme simple de matematică.
Înmulțire și adunare
Am început testul cu următoarea problema:
O librărie a avut joi 1328 de cumpărători, iar vineri, de 6 ori mai mulți. Află numărul cumpărătorilor din cele două zile.
- Indiciu: Vei afla numărul cumpărătorilor din ziua de vineri efectuând o operație de înmultire.
- Răspunde doar printr-un număr exprimat prin cifre.
L-am rugat și să ne spună cum a făcut raționamentul, chiar dacă problema conținea instrucțiuni clare privind modul de rezolvare.
După cum vedem, chiar dacă modelul a dat un răspuns și în limba chineză și în limba română el a înțeles problema și a rezolvat-o corect.
Operații matematice mai complexe
Următoarea problemă necesită mai multe operații matematice și atenție sporită ordinii în care au loc acestea.
Problema dată este: La un concurs de șah, Cristi a câștigat 422 de lei, Mihai, cu 44 de lei mai mult, iar Viorel a primit jumătate din cât au câștigat cei doi împreună. Câți bani au împreună cei 3 copii? Rezolvă și alege răspunsul corect.
Observăm din nou ca Qwen2-Math a făcut un raționament corect calculând pe rând câștigurile copiilor și suma finală.
Problemă matematică cu diferite obiecte
Poate îl vom pune în dificultate cu următoarea problema, în care pe lângă calculele matemetice va trebuie să facă distrincția și între obiectele specificate.
Problema este: La o cofetărie, cantitatea de 1632 de kilograme de făină s-a ambalat în lădițe a câte 6 kilograme, iar cantitatea de 936 de kilograme de zahar s-a ambalat în lădițe a câte 2 kilograme. Dacă în depozit erau 830 de lădițe, află câte au mai rămas după ambalarea zaharului și a făinii. Pune operațiile în ordinea în care trebuie efectuate.
Răspunsul final, care demonestrează ca modelul a făcut distincție între făină și zahar este:
Problemă de olimpiadă
Vom încheia testul nostru cu o problemă de olimpiadă de clasa a V-a.
Problema este:
Vârsta lui Nicu este jumătate din vârsta lui Cami și triplul vârstei lui Matei. Când Nicu era de vârsta lui Matei, Cami și Nicu aveau împreună 25 de ani.Câți ani are Matei acum?
Hai să vedem cum a rezolvat Qwen2 problema:
După cum observăm Qwen nu a înțeles indiciul 3 și acest lucru a dus la o rezolvare greșită a problemei, chiar dacă raționamentul părea bun.
Din păcate modelul nu a reușit să formuleze matematic corect al treilea indiciu oricum am reformulat problema.
Am testat și modelul superior, Qwen2-Math-70B -Instruct care ar trebui să se comporte mult mai bine și iată rezultatul:
Modelul a dat răspunsul corect, respectiv 5 ani vârsta lui Matei.
Concluzie
Modelul Qwen2-Math se comportă foarte bine făcând față cu brio chiar și problemelor matematice de un nivel de olimpiadă, chiar dacă problemele complexe solicită utilizarea modelelor antrenate cu 70 de miliarde de parametri.
Vom testa într-un articol viitor și felul cu Qwen2 rezolva problemele de geometrie.