IBM Granite Dense 3 8B

IBM Granite Dense 3 8B este unul dinte modele SLM lansate de IBM destinate folosirii pe dispozitive personale, fără prea mari cerințe tehnice sau pentru aplicațiile care necesită răspunsuri rapide.

1. Introducere: ce este IBM Granite Dense 3 8B?

IBM Granite Dense 3 8B este antrenat pe date în limbile: engleză, germană, spaniolă, franceză, portugheză, cehă, italiană, olandeză, arabă, chineză și japoneză.

Domeniile de aplicații sunt diverse:

• sumarizare;
• clasificarea textului;
• extragerea de informații din text;
• întrebări și răspunsuri pe baza unor documente;
• RAG – căutări asistate de AI;
• asistență pentru programare;
• apelarea funcțiilor;
• traduceri.

2. Cum putem utiliza IBM Granite Dense 3 8B?

Modelele IBM Granite sunt disponibile gratuit pe HuggingFace, prin Ollama sau pe alte platforme AI precum Replicate. Aceste modele vin în mai multe variante 1, 2, 3 și 8B și concoreazî direct cu alte modele SLM precum Phi 3.5 sau Llama 3.1 și Llama 3.2.

IBM Granite Dense 3 8B este antrenat pe 12 miliarde de parametri și dovedește îmbunătățiri semnificative față de generațiile anterioare de modele IBM.

Pentru utilizarea modelelor prin Ollama este suficient să avem aplicația instalată conform indicațiilor de pe website și apoi să rulăm următoarele comenzi:

• pentru Granite 2B

ollama run granite3-dense

• pentru Granite 8B

ollama run granite3-dense:8b

• pentru Granite 1B MoE

ollama run granite3-moe

• pentru Granite 3B Moe

ollama run granite3-moe:3b

Fiecare din aceste modele vine în mai multe variante de cuantizare. Noi am ales să folosim Granite Dense 3B Instruct Q8:

ollama pull granite3-dense:8b-instruct-q8_0

3. Exemple de utilizare IBM Granite Dense 3 8B

Folosind frame-ul Ollama putem testa IBM Granite Dense 3 8B direct cu cod python sau integrat în aplicații de chat din extensii chrome sau visuale prin Streamlit.

De asemenea putem purta conversații cu modelul și direct în cadrul Ollama.

Pentru început vom testa capacitatea generativă și creativă și vom instrui modelul să compună o poezie pe tema vinului, iar IBM Granite Dense 3 8B ne surpdinde cu următorul text:

Wine, oh ruby elixir, in glass you reside,
A sip, a swirl, a moment to hide.
In every gulp, a tale unfolds,
Of sun-kissed vines and earthly molds.

From humble grapes, a magic birth,
A dance of flavors, a sensory worth.
In each bottle's heart, a secret lies,
A symphony of notes that harmonize.

So raise your glass, let's toast to the night,
To the wine's warmth, and the moon's soft light.
In every sip, a memory takes flight,
A poem in wine, a beautiful sight.

Aproape ne imaginăm această poezie, ceea ce ne face ca următorul lucru pe care îl cerem modelului să fie generarea unui prompt pentru a putea construi o imagine pe baza acestui text:

compose a prompt to generate a cinematic image based on your generated poem. Use terms like cinematic, colors, background

Promptul generat este:

Generate a cinematic image that captures the essence of my poem about wine. The image should feature a close-up of a glass of red wine, with the liquid swirling and reflecting the warm light of the setting sun. The background should be a rustic vineyard, with golden wheat fields stretching out towards the horizon. The colors should be rich and warm, with deep reds and oranges dominating the scene.

Vom folosi acest prompt împreună cu modelul generativ vizual Flux 1.1 pentru a obține o imagine:

Fabulos!

Suntem încântați de rezultatul obținut așa că vom încerca să mergem mai departe și găsim o utilitate practică pentru acest model.

Una din problemele cu care se confruntă companiile este partea de marketing – creionarea unor campanii de promovare a unor produse, unde creativitatea joacă un rol esențial.

Oare am putea să utilizăm IBM Granite Dense 3 8B pentru a ne ușura munca?

Astfel stabilim următoarele sarcini:

We are a travel company and we would like to market travels to Egypt. Generate the text for 3 social media ads about these subjects: travel to the sandy beach in Egypt, travel to Egypt to see the Pyramids and pharaons thombs and travel to Egypt to see corals in the Red Sea. For each of those 3 ads compose a prompt to generate a cinematic image based on your ad. Use terms like cinematic, colors, background and context to the add.

Ne dorim creativitate, dar totodată și rapiditate în răspuns și costuri mici de generare.

Răspunsul vine imediat:

1. Ad: "Experience the golden sands and crystal-clear waters of Egypt's stunning beaches. Our all-inclusive packages offer the perfect blend of relaxation and adventure."

   Cinematic Image Prompt: "Generate a cinematic image that captures the essence of our beach adventure in Egypt. The image should feature a group of travelers lounging on a pristine, sandy beach, with the sparkling blue waters of the Mediterranean Sea stretching out towards the horizon. The background should include lush palm trees and vibrant beachside cafes, with the warm, golden sun casting a soft glow over the scene."

2. Ad: "Witness the awe-inspiring Pyramids and Pharaoh's tombs of Egypt on our expertly-curated tour. Discover ancient history and culture like never before."

   Cinematic Image Prompt: "Generate a cinematic image that captures the grandeur of Egypt's iconic Pyramids. The image should feature a panoramic view of the three massive pyramids, with the desert sands stretching out towards the horizon. The background should include the Sphinx and other ancient ruins, with the warm, golden sun casting a soft glow over the scene."

3. Ad: "Dive into the vibrant underwater world of Egypt's Red Sea and discover a treasure trove of coral reefs and marine life. Our snorkeling and diving tours offer unforgettable experiences for all levels."

   Cinematic Image Prompt: "Generate a cinematic image that captures the beauty of Egypt's Red Sea coral reefs. The image should feature a diver swimming among a kaleidoscope of colorful corals and exotic marine life, with the clear blue waters of the Red Sea stretching out towards the horizon. The background should include the sunken ruins of ancient ships and other underwater wonders, with the warm, golden sun casting a soft glow over the scene."

Pentru fiecare anunț vom folosi promptul în forma dată de IBM Granite Dense 38.

Reclama numărul 1: Experimentați nisipurile aurii și apele cristaline ale plajelor uimitoare din Egipt. Pachetele noastre all-inclusive oferă amestecul perfect de relaxare și aventură.

Reclama numărul 2: Fiți parte din redescoperirea formidabilelor Piramide și ale mormintelor faronilor egipteni alături de ghizii noștri și experimentați istoria și cultura antică ca niciodată până acum.

Reclama numărul 3: Scufundați-vă în lumea subacvatică vibrantă a Mării Roșii a Egiptului și descoperiți o comoară de recife de corali și viata marina. Tururile noastre de snorkeling și scufundări oferă experiențe de neuitat pentru toate nivelurile.

Ce părere aveți? Poate că textele reclamelor sunt prea scurte și ar necesita o refomulare, dar asta nu este vina modelului IBM Granite Dense 38, ci a noastră. Vom încerca noi instrucțiuni:

For the add "Experience the golden sands and crystal-clear waters of Egypt's stunning beaches. Our all-inclusive packages offer the perfect blend of relaxation and adventure." please try to rephrase the text. Add some emotions and a call to action for the readers to come see our traveling offers.

Haideți să vedem reformularea:

Ad: "Escape to the breathtaking beaches of Egypt and indulge in an all-inclusive getaway that combines
relaxation and adventure. Our stunning coastline awaits, with golden sands and crystal-clear waters that will leave you spellbound. Don't miss out on this once-in-a-lifetime opportunity to experience the beauty of Egypt's stunning beaches. Book your all-inclusive package today and start planning your dream getaway!"

Evadați pe plajele uluitoare din Egipt și răsfățați-vă cu o escapadă all-inclusive care combină
relaxarea si aventura. Litoralul nostru uimitoar vă așteaptă, cu nisipuri aurii și ape cristaline care vă vor lăsa vrăjiți. Nu ratați această oportunitate întâlită rareori de a experimenta frumusețea plajelor uimitoare din Egipt. Rezervați-vă pachetul all-inclusive astăzi și începeți să vă planificați vacanța de vis!

Desigur nu ne propunem să înlocuim factorul uman, dar modelul IBM Granite Dense 38 este de un real ajutor companiilor!

3. Concluzii

Am testat foarte puțin de ce știe modelul IBM Granite Dense 38 să facă. Țineți cont că IBM Granite Dense 38 este antrenat pentru utilizarea de funcții deci poate fi folosit perfect pentru automatizarea unor procese.

Așa cum noi am dat instrucțiuni pas cu pas pentru generarea unor reclame (texte și imagini), IBM Granite Dense 38 poate fi integrat într-un proces care să facă toate aceste lucruri fără intervenția umană, de exemplu pur și simplu parcurgând ofertele unei companii și alegând singur subiectele pentru care să genereze reclame.

Modelul IBM Granite Dense 38 rulează rapid și ușor, gratuit și are rezultate excepționale.