WebLLM (1): far girare un LLM nel browser, senza server e senza API

Giovanni Pace

Descrizione

WebLLM permette di eseguire un large language model direttamente nel browser, sulla GPU del tuo computer, senza inviare richieste a server di intelligenza artificiale o API a pagamento. In questa introduzione vediamo perché oggi l'AI generativa gira nel cloud, cosa cambia con l'edge computing e come il browser divide il lavoro tra web renderer (GPU) e JavaScript engine (CPU).

Cosa imparerai

  • Come funziona oggi un'app di AI generativa: browser, HTTP request e server remoti
  • La differenza tra CPU e GPU e perché i modelli hanno bisogno di tanta potenza di calcolo
  • Cos'è l'edge computing e perché porta il modello dentro il browser
  • Web renderer e JavaScript engine: chi lavora sulla GPU e chi sulla CPU
  • Una demo dell'app finale: il modello scaricato nella pagina e la GPU al lavoro https://archety.dev/it/download/web-llm