Intelligenza Artificiale DevOps LLM e NLP Docker

Ollama con GPU su Docker

Configura Ollama su GPU dentro Docker con NVIDIA, WSL, volumi condivisi e confronto pratico tra CPU e GPU.

Descrizione del corso

Ollama su GPU in Docker, dalla verifica dei driver al confronto reale

Questo corso guida alla configurazione di Ollama con accelerazione GPU dentro un container Docker. Parti dai prerequisiti NVIDIA e WSL, avvii Ollama con accesso alla GPU, organizzi i modelli con un volume condiviso e confronti le metriche tra esecuzione su CPU e su GPU.

Cosa impari nelle 3 lezioni

  • Driver NVIDIA, WSL e verifica GPU: controllare l'ambiente locale, aggiornare WSL e usare nvidia-smi per verificare che la GPU sia visibile
  • Container Docker con GPU: avviare Ollama con il flag --gpus, esporre la porta corretta e gestire il servizio senza conflitti con installazioni locali
  • Volumi e confronto prestazionale: condividere i modelli tra container e confrontare in pratica tempi e metriche tra CPU e GPU

A chi è rivolto

A sviluppatori, data practitioner e appassionati di AI locale che vogliono eseguire modelli con Ollama sfruttando Docker e una GPU NVIDIA. È utile se hai già familiarità di base con Docker e vuoi rendere più ripetibile il tuo ambiente AI locale.

Approccio pratico

La serie lavora direttamente sui comandi e sugli errori tipici di configurazione: driver, WSL, mapping delle porte, volumi e confronto delle prestazioni. Alla fine hai un setup Docker più pulito e riutilizzabile per lavorare con Ollama.

Elenco delle lezioni

Far girare Ollama su GPU dentro Docker parte dai requisiti: in questo primo video verifichi i driver NVIDIA, aggiorni WSL e con nvidia-smi controlli che un container Docker veda davvero la scheda video, evitando che tutt...

Guarda lezione

Con i requisiti pronti, avvii Ollama in un container Docker che usa la GPU: scarichi l'immagine ufficiale ollama/ollama, componi il comando docker run con --gpus, volume e porta 11434, e verifichi con nvidia-smi che il c...

Guarda lezione

Un volume Docker condiviso tiene i modelli di Ollama fuori dal container, così non li riscarichi ogni volta: scarichi Llama 3.1, avvii un secondo container in CPU sullo stesso volume e confronti le metriche di Ollama tra...

Guarda lezione
Giovanni Pace

Giovanni Pace

Ingegnere Informatico · Pratola Peligna

  • 107 Corsi
Mi presento brevemente

Sono un ingegnere informatico con oltre 15 anni di esperienza nel settore ICT. Mi occupo di sviluppo software, cybersecurity, data science e intelligenza artificiale, con particolare attenzione all’innovazione e all’automazione dei processi aziendali. Da anni svolgo anche attività di docenza e formazione, creando percorsi pratici e coinvolgenti su programmazione, DevOps, AI e sicurezza informatica.

Questo corso include

  • Lezioni 3
  • Durata 0h 34m
  • Difficoltà intermedio
  • Lingua it
  • Certificato No

Visti di recente