Gemma 3 12B Q8

OS : Ubuntu  24.04.3 LTS 메모리 32G RTS 5080

 

Ollama 실행

podman run -d \
  --name ollama \
  --device nvidia.com/gpu=all \
  -v ollama_data:/root/.ollama \
  -p 11434:11434 \
  docker.io/ollama/ollama

 

Gemma 3 12B Q8 다운로드

podman exec -it ollama ollama run gemma3:12b-it-q8_0

 

 

 

Open WebUI 설치

로그인 없이? -e WEBUI_AUTH=False \

# 실행 중인 컨테이너 중지 및 삭제.
podman stop open-webui
podman rm open-webui

# 사용자 정보가 담긴 볼륨 삭제. (채팅기록이나 설정)
podman volumn rm open-webui

 

podman run -d \
  --name open-webui \
  --network bridge \
  -p 8080:8080 \
  -e OLLAMA_BASE_URL=http://host.containers.internal:11434 \
  --add-host=host.containers.internal:host-gateway \
  -v open-webui:/app/backend/data \
  ghcr.io/open-webui/open-webui:main

 

http://localhost:8080

 

 

 

모델 다운로드

podman exec -it ollama ollama run qwen3
podman exec -it ollama ollama run gemma3