WebLLM (4): inference engine e caricamento di Llama 3.2 1B nel browser

Giovanni Pace

Descrizione

Importiamo WebLLM di MLC AI da CDN, scegliamo il modello giusto in base alla memoria della GPU e carichiamo Llama 3.2 1B direttamente nella pagina. Poi la prima chiamata a chat.completions.create: temperatura, max_tokens e come leggere la risposta del modello.

Cosa imparerai

  • Importare CreateMLCEngine da esm.run in uno script di tipo module
  • Trovare la lista dei modelli di WebLLM e scegliere in base alla VRAM richiesta
  • Creare l'engine con il model ID e seguire il caricamento con initProgressCallback
  • Fare la prima richiesta con chat.completions.create
  • Cosa cambia con la temperatura alta o bassa e a cosa serve max_tokens
  • Leggere id, choices e message.content nella risposta e materiale del corso: https://archety.dev/it/download/web-llm