Llama 3.2 și Streamlit pe calculatorul propriu

Noile modele LLM generative precum LLama 3.2 aduc avantajul unei precizii și complexități ridicate chiar și pentru variantele de mărimi reduse, care permit utilizarea lor înclusiv de pe dispozitivele personale. În articolul de azi vom discuta despre avantajele utilizării inteligenței artificiale pentru organizațiile / afacerile mici și mijlocii prin tehnologii gratuite, la îndemâna tuturor: Llama 3.2 (modelul LLM), Ollama (serverul AI), Streamlit pentru interfața vizuală și N8N – platforma care asigură automatizarea fluxurilor.

1. Introducere – cum pot beneficia organizațiile mici de inteligența artificială și modelele lingvistice mari

În era digitală, inteligența artificială (IA) și modelele lingvistice mari (LLM) au devenit instrumente indispensabile pentru organizațiile de toate dimensiunile. Acest articol explorează modul în care întreprinderile mici pot valorifica puterea IA și a LLM-urilor prin intermediul aplicațiilor de tip chat, evidențiind patru domenii cheie în care aceste tehnologii pot aduce beneficii semnificative.

1.1. Planificare strategică și generare de idei de afaceri

Elaborarea planurilor de afaceri

Aplicațiile de chat bazate pe IA pot ajuta antreprenorii să creeze planuri de afaceri detaliate și bine structurate. Aceste sisteme pot:

• Genera schițe comprehensive pentru planuri de afaceri;
• Oferi sugestii pentru secțiuni specifice, cum ar fi analiza pieței sau strategiile de marketing;
• Propune previziuni financiare bazate pe datele introduse de utilizator;
• Identifica potențiale riscuri și oportunități în planul de afaceri.

Utilizând o astfel de aplicație, proprietarii de afaceri mici pot economisi timp prețios și pot beneficia de expertiză în domenii în care ar putea avea mai puțină experiență.

Brainstorming și inovație

LLM-urile excelează în generarea de idei creative și inovatoare. Ele pot:

• Propune noi concepte de produse sau servicii bazate pe tendințele pieței;
• Sugera modalități de diversificare a ofertei existente;
• Identifica nișe de piață neexplorate;
• Oferi soluții creative la problemele cu care se confruntă afacerea.

Prin interacțiunea cu un asistent IA prin intermediul unei aplicații de chat, antreprenorii pot explora o gamă largă de idei și perspective, stimulând inovația în cadrul organizației lor.

1.2. Eficientizarea proceselor de afaceri

Al doilea avantaj major al implementării IA și LLM în organizațiile mici este potențialul enorm de eficientizare a proceselor de afaceri.

Automatizarea sarcinilor repetitive

Aplicațiile de chat bazate pe IA pot prelua o serie de sarcini repetitive, cum ar fi:

• programarea întâlnirilor și gestionarea calendarelor;
• răspunsul la întrebări frecvente ale clienților;
• generarea de rapoarte de rutină;
• procesarea și categorizarea e-mailurilor.

Prin automatizarea acestor sarcini, angajații pot să se concentreze pe activități cu valoare adăugată mai mare, crescând astfel productivitatea generală a organizației.

Analiză și sumarizare de date

LLM-urile sunt extrem de eficiente în procesarea și sintetizarea unor cantități mari de informații. Ele pot:

• analiza rapoarte financiare și extrage informații cheie;
• sumariza documente lungi, precum contracte sau studii de piață;
• identifica tendințe și șabloanelor în datele de vânzări sau feedback-ul clienților;
• genera rapoarte concise bazate pe seturi complexe de date.

Aceste capabilități permit luarea unor decizii mai informate și mai rapide, un avantaj crucial pentru organizațiile mici care operează în medii de afaceri dinamice.

1.3. Analiza documentelor

Al treilea domeniu în care IA și LLM-urile pot aduce beneficii semnificative organizațiilor mici este analiza documentelor (documentații tehnice, proceduri, politici, ghiduri, legislație).

Asistență analitică

Implementarea unui chatbot bazat pe IA poate revoluționa modul în care o afacere mică poate să se descurce cu numeroasele documentații:

• Identificarea răspunsurilor în contextul dat de o documentație;
• Discuții (întebări și răspunsuri) pe baza documentelor;
• Căutarea pe internet a informației suplimentare;
• Dezvoltarea ideilor pe baza unui context format din mai multe documente.

Un exemplu este utilizarea unui model AI care are la dispoziție legislația pentru a identicica obligațiile legale ale unui anumit tip de business.

Generare de rapoarte și prezentări

LLM-urile pot contribui substanțial la generarea unui raport care se bazează pe informațiile din cadrul organizațiilor:

• generează conținut personalizat;
• creează prezentări atractive și relevante;
• identifică principalele idei și simplifică comunicarea.

Prin utilizarea acestor capabilități, chiar și o afacere mică poate implementa strategii de dezvoltare sofisticate și eficiente, concurând astfel cu organizații mai mari.

De exemplu un model LLM poate analiza activitatea departamentului de vânzări din anul curent și genera un raport rapid despre vânzări, stocuri, venituri și cheltuieli.

1.4. Dezvoltarea și instruirea personalului

Al patrulea avantaj major al utilizării IA și LLM în organizațiile mici este potențialul acestora de a susține dezvoltarea și instruirea personalului.

Platforme de învățare personalizate

Aplicațiile de chat bazate pe IA pot funcționa ca tutori personali pentru angajați:

• creează planuri de învățare adaptate nevoilor și obiectivelor fiecărui angajat;
• oferă explicații detaliate și exemple pentru concepte complexe;
• răspunde la întrebări în timp real, facilitând învățarea activă;
• evaluează progresul și ajustează materialul de studiu în consecință.

Acest tip de instruire personalizată poate accelera semnificativ dezvoltarea competențelor în cadrul organizației, fără a necesita resurse substanțiale.

Asistență în rezolvarea problemelor și luarea deciziilor

LLM-urile pot acționa ca un „coleg virtual” pentru angajați, oferind suport în diverse situații:

• Propun soluții pentru probleme complexe bazate pe cele mai bune practici din domeniu;
• Oferă analize pro și contra pentru diferite opțiuni de decizie;
• Sugerează resurse relevante pentru aprofundarea anumitor subiecte;
• Facilitează brainstorming-ul și gândirea creativă în echipă.

Această asistență poate crește semnificativ capacitatea angajaților de a face față provocărilor și de a lua decizii informate, îmbunătățind astfel performanța generală a organizației.

2. Agenți AI publici și privați

Pentru utilizarea modelelor AI avem la dispoziție numeroase tipuri de implementări.

2.1. Agenți publici

Cel mai rapid mod de utilizare a AI-ului este recurgerea la modelele publice – ChatGPT (OpenAI), Claude (Anthropic), Qwen (Alibaba), Mistral-large (Mistral) etc.

De obicei accesul se face pe pagina de internet a furnizorilor și este gratuit pentru o utilizare limitată (câteva întrebări pe zi). Pentru o utilizare extinsă se poate plăti un abonament lunar sau conform utilizării.

În acest caz furnizorii asigură o putere de calcul ridicată și accesul la variantele complexe AI.

Dezavantajul este legat de cheltuielile privind utilizarea AI și a accesului la datele sensibile ale organizației. De asemenea de multe ori furnizorii AI vor utiliza aceste date și conversații pentru antrenarea viitoare a noilor modele LLM.

2.2. Agenți privați

O foarte mare gamă de modele AI sunt disponibile pentru descărcare gratuită de pe platforme precum HuggingFace sau Ollama.

Avantajul principal este că ele pot fi utilizate pe dispozitive personale, în rețeaua proprie ceea ce duce la o securitate sporită a datelor, dar și o posibilă reducere a cheltuielor pentru că vom plăti doar pentru momentele când utilizăm AI-ului.

Dezavantajul principal este că pentru a rula aceste modele AI vom avea nevoie de putere de calcul (plăci video cu procesare dedicată) și cunoștințe tehnice.

Cu toate acestea, în ultima perioadă au fost depuse eforturi pentru obținerea unor modele LLM de dimensiuni reduse, dar care păstrează în mare măsură (cel puțin pentru utilizarea în scopuri uzuale) capacitatea și precizia modelelor mari și avansate.

Llama 3.2, Qwen 2.5, Mistral Nemo, Phi 3.5 sunt doar câteva exemple de modele care pot rula local, de pe calculatoarele personale, folosind un server Ollama.

3. Exemplu de aplicație AI care rulează local

Pentru exemplul din acest articol – o soluție Ai dedicată firmelor mici – am ales următoarea schemă de conectare:

• un server Ollama local;
• modelul LLM Llama 3.2 care rulează pe serverul Ollama;
• N8N este platforma de automatizare care face legătura între utilizator și modelul LLM;
• Streamlit aplicația python care asigură generarea unei interfețe grafice pentru comunicarea între utilizator și inteligența artificială.

Calculatorul rulează un sistem de operare Windows 11 și este dotat cu o placă grafică Nvidia cu 12 GB VRAM.

3.1. Instalarea Ollama

Ollama este o soluție software gratuită care asigură rularea modelelor LLM de pe calculatoarele personale.

Ollama poate fi folosit pe macOs, Linux sau Windows. Instalarea decurge foarte simplu, iar Ollama va fi adăugat ca serviciu care rulează în fundal.

3.2. Instalarea modelului LLama 3.2

Llama 3.2 este ultima variantă din gama modelelor furnizate de Meta și poate fi instalat tot de pe platforma Ollama în mod gratuit.

Instalarea se face în felul următor: cu serverul Ollama care rulează ca serviciu în fundal, se deschide o sesiune de Command Prompt și se tastează:

ollama pull llama3.2

Aceasta va duce la descărcarea modelului în varianta 3B de aproximativ 2 GB, ceea ce permite rularea foarte fluidă de pe placa video a calculatorului.

3.3. Streamlit – o interfață prietenoasă

Pentru a putea comunica cu modelul LLM într-o formă vizuală simplă și ușor de utilizat, vom folosi Streamlit și Python. Interfața va funcționa sub forma unei pagini web accesibilă din browser.

Desigur putem progama această interfață să facă mult mai multe lucruri, dar pentru simplitate vom avea doar un câmp în care utilizatorul comunică promptul și un spațiu în care modelul LLM răspunde.

Codul python folosit este următorul:

import streamlit as st
import requests
import uuid

# Constants
WEBHOOK_URL = "https://n8nXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"

def generate_session_id():
    return str(uuid.uuid4())

def send_message_to_llm(session_id, message):
    headers = {
        "Authorization": f"Bearer {BEARER_TOKEN}",
        "Content-Type": "application/json"
    }
    payload = {
        "sessionId": session_id,
        "chatInput": message
    }
    response = requests.post(WEBHOOK_URL, json=payload, headers=headers)
    if response.status_code == 200:
        return response.json()["output"]
    else:
        return f"Error: {response.status_code} - {response.text}"

def main():
    st.title("Chat with LLM")

    # Initialize session state
    if "messages" not in st.session_state:
        st.session_state.messages = []
    if "session_id" not in st.session_state:
        st.session_state.session_id = generate_session_id()

    # Display chat messages
    for message in st.session_state.messages:
        with st.chat_message(message["role"]):
            st.write(message["content"])

    # User input
    user_input = st.chat_input("Type your message here...")

    if user_input:
        # Add user message to chat history
        st.session_state.messages.append({"role": "user", "content": user_input})
        with st.chat_message("user"):
            st.write(user_input)

        # Get LLM response
        llm_response = send_message_to_llm(st.session_state.session_id, user_input)

        # Add LLM response to chat history
        st.session_state.messages.append({"role": "assistant", "content": llm_response})
        with st.chat_message("assistant"):
            st.write(llm_response)

if __name__ == "__main__":
    main()

Am ales să nu legăm interfața direct de serverul Ollama, ci să o legăm de o instanță N8N care ne va permite adăugarea ulterioară a unor funcții suplimentare mult mai ușor.

Înainte de a rula aplicația vom instala Streamlit:

pip install streamlit

Vom stabili portul 9500 pentru interfața web:

streamlit run app.py --server.port 9500

3.4. Automatizare prin N8N

N8N este o platformă de automatizări care poate fi instalată local sau poate fi utilizată și în cloud și care permite design-ul fluxurilor de lucru în format vizual și intuitiv.

Pentru exemplul de azi vom folosi schema următoare:

Schema are următoare noduri:

• intrare: chat trigger, test și webhook care generează un endpoint la care se conectează interfața;
• edit fields care setează câmpul care conține promptul user-ului;
• agentul AI conversațional care folosește Ollama cu modelul local LLama 3.2 și un subnod Windows Buffer Memory care păstrează în context ultimele 5 conversații cu utilizatorul;
• ieșire webhook care răspunde utilizatorul cu textul generat de modelul LLM.

După cum se vede schema permite schimbarea rapidă a modelului utilizat și trecerea de la un model local (Ollama) la un model public (OpenAi, Perplexity, Gemini, Mistral etc).

4. Testare aplicație

Așadar avem în acest moment o aplicație funcțională, gratuită care utilizează puterea de calcul a calculatorului personal (sau a unui server din rețea de exemplu):

Din acest moment putem interacționa direct cu modelul AI. Să vedem câteva exemple de utilizare.

Să presupunem că activăm în domeniul formării de personal și dorim să pregătim un curs:

Pregateste un mini curs de 5 lectii pe email pe tema Primii pasi in freelancing care acopera aspectele fundamentale.

Răspunsul este generat extrem de rapid:

Aici este un curs de 5 lectii pe email despre primii pași în freelancing, cuprinzând aspecte fundamentale:

Lectie 1: Înțelegerea conceptului de freelancing

Subiect: Cea mai bună definiție a freelancing-ului

Contenut:

Definiția de bază a freelancing-ului și a sa importanță în economia contemporană
Tipurile de proiecte și responsabilități asociate cu freelancing (consultanță, redactare, design, programare etc.)
De ce s-a dovedit popularitatea freelancingului în ultimii ani
Încheiere: "Freelancing-ul este o carieră liberă, flexibilă și deschisă, care oferă posibilitatea de a lucra cu clienți din întreaga lume."

Lectie 2: Identificarea specializării

Subiect: Cât de important este specializarea în freelancing?

Contenut:

Importanța unei specializări efective pentru obținerea unui client bun și a atunci când cumpără serviciile tale
Cele mai bune domenii de activitate pentru freelancerii noi (în special, care nu au experiență)
Cât de important este să înțelegi cererile clienților și cum poți le satisface
Încheiere: "Specializarea este cheia pentru a se stabili într-o carieră de freelancing."

Lectie 3: Prepararea necesarului tehnologic

Subiect: Cât de important este echipamentul tehnologic pentru freelancerii noștri?

Contenut:

Tipurile de software și instrumente necesare pentru o buxemă eficientă
Cele mai bune aplicatii pentru gestionarea unor activitati online, precum Trello sau Asana.
De ce e importante a avansa pe o platforma profesională
Încheiere: "Un computer bun și software-urile pot face diferența între o relație cu clienți care este înfloritoare și una care se topesc."

Lectie 4: Începerea unui client

Subiect: Cum începeți să lucrați cu primul client?

Contenut:

Cât de important este o bună prezentare a serviciilor tale
De ce e importante să comunicați clar și la nivelul clienților
Cele mai bune strategii pentru obținerea unui client nou.
Încheiere: "Este foarte important ca înainte de a începe activitatea sa să reușiți să identificați nevoile clientului și să le satisface."

Lectie 5: Stabilirea unor standarde

Subiect: Cum stabilirea standardelor vă ajută la obținerea clienților?

Contenut:

De ce e importante a avea o buxemă eficientă
Cât de important este să mențineți starea activității cu clienți.
Cele mai bune modalitati pentru stabilirea unor standarde la cererea clientul
Încheiere: "Standardele de calitate și profesionism vor ajuta la obținerea clienților și la consolidarea reputației tale."

Sau poate utilizatorul e un proaspăt angajat care dorește să configureze o adresă de email:

Cum pot configura adresa de email in Windows?

Modelul furnizează răspunsuri strict din informațiile pe care le deține:

entru a configura adresa de email în Windows, următoarele etape se pot urmări:

Etapa 1: Crearea contului Microsoft Account

Deschide meniul Start pe computer și selecta "Settings" (opțiunea pentru ajustarea configurărilor sistemului).
Selectați "Account" și apoi "Microsoft Account".
În casele de căutare, tipați "account.microsoft.com" în câmpul "Căutare" și selectați "Create a Microsoft account".
Urmează instrucțiunile pentru a crea un cont Microsoft.
Etapa 2: Configurarea adresei de email

În contul Microsoft, deschide aplicatia "Outlook.com" (dacă nu există, descărcați-o de la Microsoft Store).
Selectați "Creați un cont" și apoi "Adresa de email".
Alegeți un număr de caractere pentru adresa de email (de obicei între 2 și 11 caractere).
Selectați un prefix de adresa de email (de exemplu, "@outlook.com").
Urmează instrucțiunile pentru a crea adresa de email.
Etapa 3: Configurarea contului de e-mail

Deschide aplicatia "Outlook" pe computer.
Selectați "Sarcina" în meniu și apoi "Accesare la cont".
Tipați adresa de email creată în contul Microsoft și apasați Enter.
Introduceți parolele de securitate pentru a se conecta la contul de e-mail.
Etapa 4: Configurarea configurării de e-mail

Selectați "Configurare" în meniu și apoi "E-mail".
Alegeți tipul de serviciu de e-mail (de exemplu, IMAP sau POP3).
Introduceți server-ul IMAP/POP3.
Urmează instrucțiunile pentru a configura contul de e-mail.
Etapa 5: Verificarea adresei de email

Testați adresa de email de-a lungul unei serii de mai multe minute, pentru a verifica dacă se trimit e-masiuni.

Putem folosi modelul LLM și la calcule simple:

Partea cu adevărat interesantă apare atunci când înzestrăm modelul cu capacitatea de a folosi materiale noi, din surse online, fie prin căutarea directă de pe pagini online fie din biblioteci online precum Wikipedia.

Vom adăuga pentru aceasta un tool în N8N care va permite modelului folosirea API-ului Wikipedia și folosirea rezultatelor online:

Putem să adresăm acum modelului întrebări care vizează informații pe care nu le deține în prealabil:

User: Folosește Wikipedia și spune mi care sunt punctele de atractie pentru un turist din orasul Oradea, Romania.

Llama 3.2:
Puncte de atracție pentru un turist în orașul Oradea, România:

Catedrala Ortodoxă - o clădire imponentă și istorică care a fost construită în secolul al X-lea.
Castelul - un castel medieval care a fost construit în secolul al XIV-lea și care acum servește ca muzeu.
Piața Mare - o piață centrală și istorică a orașului, unde se pot găsi străzi lungi și case vechi.
Museul Oradei - un muzeu care prezintă istoria și cultura orașului, cu expoziții despre evoluția său și obiecte de colecție.
Parcul Central - un parc frumos și relaxant care oferă o vizualizare a orașului și poate fi utilizat pentru activități sportive sau recreative.
Acest lucru este doar o parte din punctele de atracție ale orașului Oradea.

Modelul folosește acum informațiile disponibile în Wikipedia și poate răspunde și cu informții care se actualizează în timp real.

Evident posibilitățile de dezvoltare sunt nelimitate. Putem conecta prin API la surse de date private (de exemplu datele companiei) și face interogări privind acestea, putem face legături cu spații de stocare (Google Drive sau un server local de stocare) și cere modelului să compună articole, prezentări, rapoarte pe care să le salveze în format Word acolo.

Putem să îl folosim în rezolvarea unor sarcini repetitive precum parcurgerea unei liste (un excel de exemplu) cu adrese de email și generarea unor emailuri personalizate cu invitații pentru participarea la un eveniment sau solicitarea unui feedback față de serviciile oferite.

Modelul AI rămâne un partener de discuții simpatic, dar poate devini un instrument esențial pentru o afacere dacă îl punem la lucru.

5. Concluzie: IA și LLM sunt catalizatori pentru succesul afacerilor mici

În concluzie, integrarea inteligenței artificiale și a modelelor lingvistice mari prin intermediul aplicațiilor de tip chat și automatizări reprezintă o oportunitate extraordinară pentru organizațiile mici de a-și îmbunătăți eficiența, inovația și competitivitatea.

Prin utilizarea acestor tehnologii pentru planificare strategică, eficientizarea proceselor, îmbunătățirea relațiilor cu clienții și dezvoltarea personalului, afacerile mici pot:

• accelera creșterea și inovația;
• optimiza utilizarea resurselor limitate;
• oferi servicii de calitate superioară clienților;
• dezvolta o forță de muncă mai competentă și mai adaptabilă

În era digitală, adoptarea IA și a LLM nu mai este un lux, ci o necesitate pentru organizațiile care doresc să rămână relevante și competitive. Aceste tehnologii democratizează accesul la instrumente și capabilități avansate, permițând chiar și celor mai mici afaceri să concureze pe picior de egalitate cu organizații mult mai mari.

Investiția în implementarea și utilizarea eficientă a aplicațiilor de chat bazate pe IA poate părea inițial o provocare pentru o afacere mică, dar beneficiile pe termen lung – în termeni de productivitate, inovație și satisfacție a clienților – fac din aceasta o strategie esențială pentru succesul și sustenabilitatea pe termen lung.

Pe măsură ce tehnologiile IA și LLM continuă să evolueze și să devină mai accesibile, organizațiile mici care le adoptă și le integrează în mod eficient în operațiunile lor vor fi cel mai bine poziționate pentru a prospera în peisajul de afaceri din ce în ce mai competitiv și dinamic al viitorului.