Arcee AI a lansat noul model LLM Supernova Medius, un model revoluționar cu 14 miliarde de parametri. Acest model inovator este construit pe arhitectura Qwen2-5-14B Instruct, care este concepută pentru a-și îmbunătăți performanța în diferite sarcini de procesare a limbajului natural. Lansarea Supernova Medius marchează un progres semnificativ în domeniul inteligenței artificiale, în special în domeniul modelelor de limbaj, fiind un continuator firesc al Supernova Lite.
1. Prezentare generală a Supernova Medius
Supernova Medius este model LLM mic (din categoria Phi 3.5), dar cu performanțe robuste asociate de obicei cu modelele mai mari. Construit în jurul a 14 miliarde de parametri, Supernova Medius atinge un echilibru între eficiență și performanță, făcându-l potrivit pentru o gamă largă de aplicații. Modelul își propune să ofere rezultate de înaltă calitate, menținând în același timp costuri de calcul mai mici în comparație cu omologii mai mari.
Supernova Medius este dedicat:
- folosirii pentru suport în relația cu clienții (fiind antrenat pentru interacțiuni bazate pe dialog și executare de instrucțiuni);
- genareare de conținut;
- asistență tehnică (răspunsuri la întrebări pe baza unor document, asistență în programare, compunere documenții tehnice);
- rezumator de articole sau extragere informații relevante din seturi mari de date.
2. Caracteristici tehnice ale Supernova Medius
Supernova Medius folosește arhitectura Qwen2-5-14B Instruct și este optimizat pentru sarcini de urmărire a instrucțiunilor, îmbunătățind capacitatea de utilizare în aplicațiile din lumea reală.
Această arhitectură permite:
- structură stratificată: modelul constă din mai multe straturi care facilitează procesele de învățare profundă, permițându-i să înțeleagă și să genereze text asemănător omului;
- capabilități de finetuning și învâțare supervizată: utilizatorii pot ajusta modelul pentru sarcini specifice sau seturi de date, îmbunătățind adaptabilitatea acestuia în diferite cazuri de utilizare;
- algoritmi de antrenament optimizați: algoritmii de antrenament utilizați sunt proiectați pentru a maximiza eficiența învățării, reducând în același timp consumul de resurse.
3. Performanțe
Când comparăm Supernova Medius cu alte modele LLM, apar câteva distincții:
- 14 miliarde de parametri;
- arhitectura bazată pe Qwen 2.5 14B;
- surse bazate pe Qwen 2.5 72B instruct și Llama 3.1-405 Instruct;
- antrenare pe setul de date EvoKit.
4. Instalare
Modelul este disponibil pe platforma HuggingFace și poate fi utilizat prin inferență locală sau prin variantele cuantizate prin LM Studio.
Supernova Medius are o dimensiune de aproximativ 30 GB și necesită o placă grafică cu memorie suficient de mare pentru a permite încarcarea în întregime a modelului și rularea la viteze decente.
Am rulat testele pe un set de 2 plăci grafice RTX A4000 cu o capacitate totală de 32 GB VRAM și 42 TFLOPS.
Pentru teste am folosit python, iar înainte am înstalat librăriile:
pip install torch transformes bitsandbytes accelerate>=0.26.0'Pentru a comunica cu am folosit următorul cod:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, LlamaForCausalLM
import bitsandbytes
tokenizer = AutoTokenizer.from_pretrained('NousResearch/Hermes-3-Llama-3.1-8B', trust_remote_code=True)
model = LlamaForCausalLM.from_pretrained(
"NousResearch/Hermes-3-Llama-3.1-8B",
torch_dtype=torch.float16,
device_map="auto",
load_in_8bit=False,
load_in_4bit=True
)
prompts = [
""" You are a creative writer. Generate a short sufi poem about life and love.""",
]
for chat in prompts:
print(chat)
input_ids = tokenizer(chat, return_tensors="pt").input_ids.to("cuda")
generated_ids = model.generate(input_ids, max_new_tokens=7500, temperature=0.8, repetition_penalty=1.1, do_sample=True, eos_token_id=tokenizer.eos_token_id)
response = tokenizer.decode(generated_ids[0][input_ids.shape[-1]:], skip_special_tokens=True, clean_up_tokenization_space=True)
print(f"Response: {response}")5. Testare
Am început testarea cu sarcina de a genera o poezie în stil sufi despre dragoste:
You are a creative writer. Generate a short sufi poem about life and love.Răspunsul modelului a fost:
Whispers of the Heart
In the garden of life, where the winds blow wild,
Love blossoms like flowers, soft whispers untried.
The moonlight dances on petals unseen,
Guiding us to truths beyond our dreams' scheme.
With every breath, we wander through the maze,
Our hearts a compass pointing to love's blaze.
Yet sometimes lost in shadows deep and dark,
We seek the light that guides each soul from harm.
Love is the breath of life, eternal fire,
That burns within us, kindling desire.
In its warmth, we find solace from despair,
And every hardship fades into the air.
Like a river flowing towards the sea,
Our hearts yearn for unity's decree.
Through joy and sorrow, love remains unbroken,
A thread that sews life’s tapestry together, woven.
So let your heart be open to this dance,
Where love unfolds like petals from a chance.
Embrace each moment as it comes with grace,
For in the end, our hearts find their true place.
-----------------------------------------------------------------------
Șoaptele inimii
În grădina vieții, unde vânturile bat sălbatic,
Dragostea înflorește ca florile, șoapte blânde neîncercate.
Lumina lunii dansează pe petale nevăzute,
Îndrumându-ne către adevăruri dincolo de schema viselor noastre.
Cu fiecare respirație, rătăcim prin labirint,
Inimile noastre sunt o busolă care indică focul iubirii.
Cu toate acestea, uneori pierdut în umbre adânci și întunecate,
Căutăm lumina care călăuzește fiecare suflet de la rău.
Dragostea este suflarea vieții, focul veșnic,
Care arde în noi, aprinzând dorința.
În căldura lui, găsim alinare din disperare,
Și fiecare greutăți se estompează în aer.
Ca un râu care curge spre mare,
Inimile noastre tânjesc după decretul unității.
Prin bucurie și tristețe, iubirea rămâne neîntreruptă,
Un fir care coase împreună tapiseria vieții, țesut.
Așa că lasă-ți inima să fie deschisă pentru acest dans,
Unde dragostea se desfășoară ca petalele dintr-o întâmplare.
Îmbrățișează fiecare clipă așa cum vine cu har,
Căci în cele din urmă, inimile noastre își găsesc adevăratul loc.Fără îndoială rezultatul este fascinant și se încadrează în sarcinile stabilite.
Al doilea test se referă la capacitatea Supernova Medius de a oferi asistență tehnică (suport tehnic):
You are an office asistent. Can you assist me in setting up an email account on the mail.example.com domain for outlook express on windows 11?Iar răspunsul modelului este:
Certainly! Setting up an email account in Outlook Express might seem a bit challenging since Outlook Express is no longer officially supported by Microsoft and isn't available natively on Windows 11. However, if you have access to an older version of Outlook Express or are using a third-party email client that resembles the functionality of Outlook Express (like Mozilla Thunderbird), I can guide you through setting up an email account for mail.example.com.
Setting Up an Email Account in a Modern Email Client
Since Outlook Express isn't available on Windows 11, let's assume we're using Microsoft Outlook or another compatible client like Mozilla Thunderbird. Here’s how to set it up:
Step-by-Step Guide Using Microsoft Outlook (or similar email clients):
Before You Start:
Ensure you have the correct email address and password for mail.example.com. Also, check with your ISP or mail server provider if there are any specific settings needed.
Setting Up an Account in Microsoft Outlook
Open Microsoft Outlook:
If you don't have Outlook installed, you can download it from Microsoft's website or use another email client such as Mozilla Thunderbird.
Create a New Email Account:
In Outlook, go to File > Add Account.
Enter Your Information:
Fill in your email address
Enter the password for that account.
Advanced Settings:
If you're prompted, choose "Manual setup or connect later".
Click on "More settings" to open the Account Settings dialog box.
Server Information:
On the Servers tab under Outgoing Mail (SMTP) server, enter the SMTP server address provided by your ISP or mail provider.
Similarly, set up incoming mail servers if needed (IMAP or POP3).
Account Name and User Name:
Under the Advanced tab in Account Settings, you might need to specify your full email address as both the account name and user name.
Outgoing Mail Server:
Check that the "My outgoing server requires authentication" box is checked if required by your mail provider.
Finish Setup:
Click on OK, then Apply, and finally Close to save your settings.
Setting Up an Account in Mozilla Thunderbird (Alternative)
If you're using Thunderbird:
Open Mozilla Thunderbird
Go to File > New > Existing Mail Account
Enter the email address, display name, and password.
Click Next, then Finish.
If it prompts you for server settings:
SMTP: Specify your outgoing mail server (usually smtp.example.com).
IMAP or POP3: Set up incoming mail servers if needed.
General Tips:
Always check with your email provider to ensure you have the correct server information and any required security measures.
If you encounter issues, review your mail provider's setup guide for specific instructions tailored to their services.
Since Outlook Express isn't supported on Windows 11, using a modern client like Microsoft Outlook or Mozilla Thunderbird will provide better compatibility and features.
Do you need help with setting up the account in one of these clients specifically?Fără îndoială dacă Supernova Medius ar fi avut la dispoziție un set de proceduri ar fi putt să răspundă și mai exact, dar stilul folosit este exact cel potrivit pentru așa ceva.
Ultimul test se referă la capacitatea Supernova Medius de a ne ajuta la scrierea unei documentații tehnice. În practică putem folosii tehnici RAG pentru un răspuns mult mai detaliat, dar pentru acest test ne așteptăm de la model să compună planul documentației:
You are a technical assistant. We have to write a technical documentation for building a warehouse including sections like geographical location, soil quality, materials, costs, time of execution. Write a plan for this documentation including headlines and keywords for each section.Planul generat este următorul:
Certainly! Here's a structured plan for the technical documentation on building a warehouse, including headlines, subheadings, and key information to include in each section:
Technical Documentation: Warehouse Construction
1. Introduction
Purpose of the Document
Scope and Objectives
Stakeholders Involved
Compliance with Legal Regulations
Keywords: purpose, scope, stakeholders, legal compliance
2. Geographical Location Analysis
Site Selection Criteria
Proximity to Transportation Routes (Highway, Rail)
Availability of Labor Pool
Local Climate Considerations
Zoning and Land Use Permits
Environmental Impact Assessment
Keywords: site selection, proximity, labor pool, climate considerations
3. Soil Quality Evaluation
Soil Composition Analysis
Soil Stability Tests
Groundwater Conditions
Potential Seismic Activity
Recommendations for Foundation Design
Keywords: soil composition, stability tests, groundwater conditions, seismic activity
4. Structural Engineering and Materials Requirements
Building Design Specifications
Load-bearing Capacity Calculations
Structural Integrity Assessments
Material Selection Criteria
Steel (Rebar, Columns)
Concrete Mixes
Insulation Types
Roofing Solutions
Flooring Options
Keywords: load-bearing capacity, structural integrity, material selection
5. Infrastructure Planning and Utility Connections
Electrical Systems Design
Water Supply and Drainage Plans
HVAC System Specifications
Security Measures (Cameras, Access Control)
Keywords: electrical systems, water supply, HVAC specifications, security measures
6. Cost Estimation and Budgeting
Initial Investment Costs
Land Acquisition Expenses
Construction Material Costs
Labor Costs
Ongoing Operational Expenditures
Maintenance Costs
Energy Consumption Estimates
Keywords: initial investment costs, labor costs, maintenance costs
7. Timeline for Execution
Pre-construction Phases (Permitting, Site Preparation)
Construction Stages (Foundation Laying, Structural Framework Installation)
Equipment and Facility Setup Timelines
Final Inspection and Commissioning
Keywords: pre-construction phases, construction stages, final inspection
8. Compliance with Safety Standards and Regulations
Occupational Health and Safety Act Requirements
Environmental Protection Guidelines
Fire Safety Protocols
Keywords: safety standards, environmental protection guidelines, fire safety protocols
9. Risk Assessment and Mitigation Strategies
Natural Disaster Preparedness Plans
Security Vulnerability Assessments
Contingency Planning for Delays or Budget Overruns
Keywords: natural disaster preparedness, security vulnerability assessments
10. Technical Drawings and Specifications
- Blueprint Documentation
- Elevations and Floor Plans
- Structural Diagrams
- Electrical Layouts
- Plumbing Systems Design
Keywords: blueprint documentation, elevations, structural diagrams
11. Quality Assurance and Testing Procedures
- Inspection Checklists During Construction
- Post-construction Performance Evaluations
- Warranty Periods for Different Components
Keywords: inspection checklists, performance evaluations, warranty periods
12. Conclusion and Next Steps
Summary of Key Findings
Recommendations for Future Improvements
Keywords: key findings, future improvements
This structured documentation plan will provide a comprehensive guide for the construction of your warehouse project, ensuring all technical aspects are covered in detail. Each section includes specific keywords that should be addressed to ensure completeness and accuracy of information.
Would you like any additional details or specifications added to this plan?Este un răspuns foarte bun, pe baza căruia se poate dezvolta un întreg document tehnic.
6. Concluzii
Supernova Medius de către Arcee AI reprezintă o piatră de hotar semnificativă în evoluția modelelor de limbaj mici. Prin utilizarea arhitecturii Qwen2-5-14B Instruct, acest model combină eficiența cu performanța ridicată, făcându-l un instrument valoros în diverse industrii. Pe măsură ce AI continuă să avanseze, modele precum Supernova Medius vor juca un rol esențial în modelarea modului în care interacționăm cu tehnologia și utilizăm capacitățile de procesare a limbajului natural.