Frontend Intelligenza Artificiale LLM e NLP JavaScript

WebLLM: un LLM nel browser con WebGPU e JavaScript

Esegui un large language model nel browser con WebLLM e WebGPU: niente server né API, una chat completa in JavaScript con sessioni e storico.

Descrizione del corso

Un large language model che gira nel tuo browser

Le applicazioni di AI generativa di solito mandano ogni richiesta a un server remoto. Con WebLLM il modello viene scaricato nella pagina e gira sulla GPU del tuo computer grazie a WebGPU: niente backend, niente API a pagamento, nessun dato che lascia il browser. In questo corso partiamo dalla teoria e costruiamo passo dopo passo una vera app di chat in JavaScript.

Cosa imparerai

  • Perché oggi l'AI generativa gira nel cloud e cosa cambia con l'edge computing
  • Le basi dei large language model: token, prompt, tokenizer, addestramento e inferenza
  • Verificare il supporto a WebGPU in Chrome, richiedere adapter e device e leggere la memoria disponibile
  • Caricare Llama 3.2 1B con l'inference engine di WebLLM e chiamare chat.completions.create
  • Costruire un'interfaccia di chat con Bootstrap 5 e verificare che la generazione non faccia richieste esterne
  • Gestire la sequenza dei messaggi con i ruoli user e assistant e limitare il modello con il system prompt
  • Salvare lo storico nel Local Storage, gestire più sessioni con crypto.randomUUID e navigare tra le chat

Prerequisiti

Serve una conoscenza di base di HTML e JavaScript e un browser con supporto WebGPU, come Chrome. Non è richiesta esperienza con l'intelligenza artificiale: i concetti sui modelli linguistici vengono spiegati da zero.

A chi è rivolto

A sviluppatori frontend e full stack, studenti e appassionati di AI che vogliono capire come funziona un LLM e integrarlo in una pagina web senza dipendere da servizi esterni. Codice e materiale del corso: archety.dev/it/download/web-llm.

Elenco delle lezioni

WebLLM permette di eseguire un large language model direttamente nel browser, sulla GPU del tuo computer, senza inviare richieste a server di intelligenza artificiale o API a pagamento. In questa introduzione vediamo perché oggi l'AI generativa gira nel cloud, cosa cambia con l'edge computing e come il browser divide il lavoro tra web renderer (GPU) e JavaScript engine (CPU).

Guarda lezione

Prima di scrivere codice con WebLLM servono le basi teoriche dei large language model: cos'è un LLM, cosa sono i token, come il tokenizer trasforma il prompt, cosa succede durante l'addestramento e cosa fa il motore di inferenza quando genera la risposta. Tutto spiegato con un esempio semplice, senza formule.

Guarda lezione

Il primo contatto con la WebGPU in JavaScript: verifichiamo che Chrome la supporti, richiediamo l'adapter e il device della scheda video e leggiamo i limiti di memoria, il passaggio obbligato prima di caricare un modello con WebLLM. Progetto in VS Code con Live Server, tutto da zero.

Guarda lezione

Importiamo WebLLM di MLC AI da CDN, scegliamo il modello giusto in base alla memoria della GPU e carichiamo Llama 3.2 1B direttamente nella pagina. Poi la prima chiamata a chat.completions.create: temperatura, max_tokens e come leggere la risposta del modello.

Guarda lezione

Dalla console a una vera pagina web: costruiamo un'interfaccia di chat con Bootstrap 5, una textarea per il prompt, lo stato di caricamento del modello e la risposta di WebLLM a video. Il modello gira nel browser e la scheda Rete lo conferma: nessuna richiesta verso l'esterno durante la generazione.

Guarda lezione
6/11 WebLLM (6): la sequenza dei messaggi e il system prompt
Premium

Un LLM non ricorda nulla tra una richiesta e l'altra: ogni messaggio è visto come il primo. Per avere una vera conversazione con WebLLM bisogna rimandare ogni volta tutta la sequenza dei messaggi, con i ruoli user e assistant. In chiusura il messaggio di sistema, un guardrail che limita gli argomenti a cui il modello risponde.

Contenuto riservato Accedi
7/11 WebLLM (7): salvare lo storico della chat in LocalStorage
Premium

Ricaricando la pagina la conversazione con WebLLM si perde. La salviamo nel Local Storage del browser con JSON.stringify, la ricarichiamo all'avvio con JSON.parse e la ridisegniamo a video, nascondendo il messaggio di sistema. Infine un pulsante Clear per ripartire da zero.

Contenuto riservato Accedi
8/11 WebLLM (8): sessioni di chat con UUID e chatId nell'URL
Premium

Con una sola chiave nel Local Storage tutte le conversazioni si mescolano. Come fanno ChatGPT e Claude, diamo a ogni chat un identificativo univoco con crypto.randomUUID e lo usiamo come chiave di salvataggio, poi recuperiamo una sessione passando il chatId nell'URL. Tutto nel browser, senza backend.

Contenuto riservato Accedi
9/11 WebLLM (9): la lista delle chat e la navigazione tra le sessioni
Premium

Le chat ci sono, ma servono una lista per ritrovarle, come la barra laterale di ChatGPT e Claude. Creiamo un indice delle conversazioni nel Local Storage con id, titolo e data, una pagina con l'elenco delle chat e i link per navigare tra le sessioni, aggiornando l'URL con history.replaceState. Tutto nel browser, senza una riga di backend.

Contenuto riservato Accedi
10/11 WebLLM (10): mettere in sicurezza il codice JavaScript con guard e try catch
Premium

Prima di risolvere il ricaricamento del modello a ogni cambio di pagina, mettiamo in sicurezza il codice della nostra chat con WebLLM. Separiamo la logica in un file script.js, evitiamo le chat duplicate nell'indice del Local Storage con una guard e proteggiamo il caricamento del modello con un try catch, così l'app non si blocca se CreateMLCEngine fallisce.

Contenuto riservato Accedi
11/11 WebLLM (11): lo streaming delle risposte con chunk e for await
Premium

Con un modello locale una risposta lunga può richiedere minuti, mentre la pagina resta ferma. WebLLM supporta lo streaming: attiviamo stream: true, leggiamo lo stream con un for await, ricostruiamo la risposta chunk dopo chunk da choices[0].delta.content e la mostriamo mentre viene generata, come fanno ChatGPT e Claude.

Contenuto riservato Accedi
Giovanni Pace

Giovanni Pace

Ingegnere Informatico · Pratola Peligna

  • 107 Corsi
Mi presento brevemente

Sono un ingegnere informatico con oltre 15 anni di esperienza nel settore ICT. Mi occupo di sviluppo software, cybersecurity, data science e intelligenza artificiale, con particolare attenzione all’innovazione e all’automazione dei processi aziendali. Da anni svolgo anche attività di docenza e formazione, creando percorsi pratici e coinvolgenti su programmazione, DevOps, AI e sicurezza informatica.

Questo corso include

  • Lezioni 11
  • Durata 2h 15m
  • Difficoltà intermedio
  • Lingua it
  • Certificato No

Visti di recente