Lezione corrente | Lezione 4/11

WebLLM (4): inference engine e caricamento di Llama 3.2 1B nel browser

WebLLM: un LLM nel browser con WebGPU e JavaScript 0%

Capitoli

Importiamo WebLLM di MLC AI da CDN, scegliamo il modello giusto in base alla memoria della GPU e carichiamo Llama 3.2 1B direttamente nella pagina. Poi la prima chiamata a chat.completions.create: temperatura, max_tokens e come leggere la risposta del modello.
Docente
Prossima lezione WebLLM (5): la prima interfaccia di chat con textarea e Bootstrap