Ollama con GPU su Docker (2/3): avviare il container con --gpus e volume

Giovanni Pace

Descrizione

Con i requisiti pronti, avvii Ollama in un container Docker che usa la GPU: scarichi l'immagine ufficiale ollama/ollama, componi il comando docker run con --gpus, volume e porta 11434, e verifichi con nvidia-smi che il container veda la scheda video.

Cosa imparerai

  • Scaricare l'immagine ufficiale ollama/ollama da Docker Hub
  • Comporre docker run in detached con --gpus "device=0"
  • Montare un volume per i modelli ed esporre la porta 11434
  • Evitare il conflitto con Ollama giĆ  installato in locale