Ollama con GPU su Docker (3/3): volume condiviso e confronto CPU vs GPU

Giovanni Pace

Descrizione

Un volume Docker condiviso tiene i modelli di Ollama fuori dal container, così non li riscarichi ogni volta: scarichi Llama 3.1, avvii un secondo container in CPU sullo stesso volume e confronti le metriche di Ollama tra CPU e GPU in modalità verbose.

Cosa imparerai

  • Scaricare un modello con ollama pull dentro il container
  • Perché un volume condiviso conserva i modelli tra container diversi
  • Avviare un secondo container che usa la CPU sullo stesso volume
  • Leggere le metriche di /set verbose e confrontare CPU e GPU