Ministral 8B

Mistral AI a lansat recent seria de modele SML Ministraux, respectiv modelele Ministral 3B și Ministral 8B.

1. Modelele de inteligența artificială de tip SML

În era inteligenței artificiale, modelele lingvistice de mari dimensiuni (LLM) precum Llama 3.1. 405B, ChatGPT-o sau Claude Sonnet 3.5 au captivat atenția publicului și a industriei tech. Însă, în umbra acestor giganți, o nouă categorie de modele își face simțită prezența: modelele lingvistice de dimensiuni reduse (SML). Aceste modele mai compacte oferă o serie de avantaje semnificative față de omologii lor mai voluminoși.

Ce sunt modelele SML?

Modelele SML sunt versiuni mai mici și mai specializate ale modelelor lingvistice mari. În timp ce LLM-urile pot avea zeci sau sute de miliarde de parametri, SML-urile operează de la doar câteva milioane pânp la maxim 10 miliarde de parametri. Această diferență de dimensiune are implicații profunde asupra modului în care aceste modele pot fi utilizate și implementate.

Avantajele modelelor SML:

1. Eficiență : SML-urile necesită semnificativ mai puține resurse de calcul pentru a funcționa. Acest lucru se traduce în costuri de operare reduse și posibilitatea de a rula pe dispozitive cu putere de procesare limitată, precum smartphone-uri sau dispozitive IoT.
2. Viteză de execuție: Datorită dimensiunii lor reduse, SML-urile pot procesa informații și genera răspunsuri mult mai rapid decât LLM-urile. Această caracteristică le face ideale pentru aplicații în timp real sau situații care necesită latență redusă.
3. Consum energetic redus: Modelele mai mici consumă mai puțină energie, ceea ce le face mai prietenoase cu mediul și mai potrivite pentru utilizarea pe dispozitive mobile sau în zone cu acces limitat la energie.
4. Confidențialitate îmbunătățită: SML-urile pot fi rulate local pe dispozitivele utilizatorilor, eliminând necesitatea de a trimite date sensibile către servere externe. Acest aspect este crucial în aplicații care implică informații personale sau confidențiale.
5. Specializare și precizie: Fiind antrenate pe seturi de date mai specifice, SML-urile pot oferi rezultate mai precise în domenii de nișă, depășind uneori performanța LLM-urilor în sarcini specializate.
6. Actualizări și întreținere mai ușoare: Dimensiunea redusă a SML-urilor permite actualizări mai frecvente și mai rapide, facilitând menținerea modelelor la zi cu cele mai recente informații și tehnici.
7. Accesibilitate crescută: Costurile mai mici de dezvoltare și implementare fac SML-urile mai accesibile pentru companii mici și dezvoltatori individuali, democratizând astfel accesul la tehnologia AI.

Aplicații practice ale SML-urilor:

Modelele SML își găsesc utilitatea în diverse domenii, de la asistență vocală pe dispozitive mobile și traduceri în timp real, până la sisteme de recomandare personalizate și analiza sentimentelor în social media. În sectorul medical, SML-urile pot fi utilizate pentru interpretarea rapidă a rezultatelor testelor, în timp ce în industria auto, pot facilita sisteme de asistență la condus mai eficiente.

2. Avantajele Ministral 8B

Acest model de 8 miliarde de parametri și o fereastră de context de 128k tokeni este unul din cele mai perfomante modele de AI de mici dimensiuni de tip SML, capabil să ruleze rapid pe dispozitive care nu au capacități tehnice deosebite.

Ministral 8B este dedicat aplicațiilor în care viteza contează precum aplicații robotice sau de dirijare și luare a deciziilor, atunci când este utilizat împreună cu alte modele LLM în aplicații avansate AI.

Miinstral 8B poate fi utilizat pentru apelarea funcțiilor în aplicații în mai mulți pași, pentru analiza datelor de intrare, routarea sarcinilor, apelarea API-urilor pe baza clasificării intenției utilizatorului în diferite contexte.

Pe lângă avantajele tehnice, Ministral 8B aduce și una din cele mai scăzute latențe și printre cele mai mici prețuri de pe piața la ora actuală (aproximativ 0.1 dolari/1 milion de tokeni).

Mistral 8B poate fi utilizat cu ușurință pe dispozitivele mobile sau chiar integrat în sistemul de operare al unui vehicul inteligent asistând conducătorul acestuia în luarea deciziilor din trafic.

3. Performanțele modelului Ministral 8B

Testele au încadrat modelul Ministral 8B peste alte modele similare sub 10 miliarde de tokeni precum Gemma2 2B, Lllama 3.2 3B, Mistral 7B sau Llama 3.2 8B:

După cum se vede și în imagini, modelul excelează în limbile franceză, spaniolă și germană fiind dedicat pieței europene.

Însă poate cele mai interesante performanțe sunt pentru modelele orientate pe utilizarea funcțiilor și instrucțiunilor:

4. Utilizare locală și câteva teste Ministral 8B

Ministral 8B este disponibil gratuit pe platforma HuggingFace sau direct prin API pe platforma MistralAi. Există de asemenea și un set de variante disponibi pentru folosirea prin Ollama, tot pe platforma HuggingFace.

Pentru utilizarea locală se pot folosi librăriile python:

pip install --upgrade vllm 
pip install --upgrade mistral_common

Un exemplu de cod python pentru testarea capacităților Ministral este următorul:

from vllm import LLM
from vllm.sampling_params import SamplingParams

model_name = "mistralai/Ministral-8B-Instruct-2410"
sampling_params = SamplingParams(max_tokens=8192)

llm = LLM(model=model_name, tokenizer_mode="mistral", config_format="mistral", load_format="mistral")

prompt = "What is happiness?"
messages = [
    {
        "role": "user",
        "content": prompt
    },
]

outputs = llm.chat(messages, sampling_params=sampling_params)
print(outputs[0].outputs[0].text)

Prima întrebare clasică este:

what is happiness?

iar răspunsul modelului este:

 The meaning of happiness varies from person to person and can be subjective. However, here are some common
aspects that many people associate with happiness:

1. **Positive Emotions**: Feeling joyful, satisfied, or contented.
2. **Life Satisfaction**: Having a sense of fulfillment and accomplishment in life.
3. **Engagement**: Being fully engaged in activities you enjoy or find meaningful.
4. **Relationships**: Maintaining strong, positive relationships with others.
5. **Health and Well-being**: Feeling physically and mentally healthy.
6. **Personal Growth**: Continuously learning and improving as a person.

Researchers also often discuss two types of happiness:
- **Hedonic Happiness**: This is about feeling good and experiencing pleasure. It's often associated with
short-term, immediate feelings like joy or contentment.
- **Eudaimonic Happiness**: This is about living a life with meaning and purpose. It's often associated with
long-term fulfillment and personal growth.

Ultimately, happiness can be thought of as a state of well-being and contentment that comes from feeling good and
functioning effectively.

Următoarea întrebare este:

what is artificial intelligence?

iar răspunsul modelului este:

Artificial Intelligence (AI) refers to the simulation of human intelligence in machines programmed to think like
humans and perform tasks that typically require human-like understanding. Here are some key aspects of AI:

1. **Learning**: AI can learn from data, identify patterns, and make decisions with minimal human intervention.
2. **Reasoning**: AI can reason through complex problems by applying rules and logical operations.
3. **Problem-Solving**: AI can solve problems in a way that would be very difficult or time-consuming for humans.
4. **Perception**: AI can process and interpret sensory information, such as images and sounds, to make decisions
based on what it perceives.
5. **Language Understanding**: AI can understand, interpret, and generate human language.

AI is used in various applications, including:
- **Natural Language Processing (NLP)**: Understanding, interpreting, and generating human language.
- **Computer Vision**: Analyzing and understanding digital images or videos.
- **Speech Recognition**: Converting spoken language into text.
- **Machine Learning**: Teaching AI to improve its performance on a specific task by learning from data.
- **Robotics**: Developing machines that can perform tasks automatically.

Some popular examples of AI include virtual assistants like Siri, Alexa, and Google Assistant

Dacă am avea modelul instalat pe telefon am putea să îl întrebăm:

 where is Notre Dame cathedral?

Mistral 8B dă următorul răspuns:

 The Notre-Dame Cathedral (Cathédrale Notre-Dame de Paris) is located in the Île de la Cité district of Paris,
France. It's situated on the west bank of the Seine River and is one of the most famous landmarks in the world.

Here are some key details about its location:
- **Address**: 6 Parvis Notre-Dame - Pl. Jean-Paul II, 75004 Paris, France
- **Coordinates**: 48.853219° N, 2.347834° E

Notre-Dame Cathedral is a significant historical and cultural site in the heart of Paris. It has been rebuilt
several times over the centuries but was most recently reconstructed after a devastating fire in April 2019.

5. Concluzii

Mistral 8B răspunde extrem de rapid la întrebări generale și are un cost foarte scăzut. Pare a fi modelul perfect pentru aplicații mici care nu necesită ca modelul să dețină cunoștințe avansate, ci doar să fie capabil să înțeleagă sarcinele și să dirijeze îndeplinirea lor.