WebLLM (4): inference engine e caricamento di Llama 3.2 1B nel browser
WebLLM: un LLM nel browser con WebGPU e JavaScript0%
Capitoli
Importiamo WebLLM di MLC AI da CDN, scegliamo il modello giusto in base alla memoria della GPU e carichiamo Llama 3.2 1B direttamente nella pagina. Poi la prima chiamata a chat.completions.create: temperatura, max_tokens e come leggere la risposta del modello.