WebLLM (4): inference engine e caricamento di Llama 3.2 1B nel browser

Giovanni Pace

Description

Importiamo WebLLM di MLC AI da CDN, scegliamo il modello giusto in base alla memoria della GPU e carichiamo Llama 3.2 1B direttamente nella pagina. Poi la prima chiamata a chat.completions.create: temperatura, max_tokens...