【初心者向け】AWS EC2×Docker×Ollama×Open WebUIでプライベートLLM環境を構築！

# システムの更新
sudo apt update && sudo apt upgrade -y

# 必要なパッケージのインストール
sudo apt install -y ca-certificates curl gnupg

# Dockerの公式GPGキーを追加
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg

# Dockerリポジトリの設定
echo \
"deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
"$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# Dockerパッケージのインストール
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# ユーザーをdockerグループに追加
sudo usermod -aG docker $USER
newgrp docker

# NVIDIAドライバーのインストール
sudo apt install -y nvidia-driver-535 nvidia-utils-535

# NVIDIA Container Toolkitのリポジトリ設定
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# NVIDIA Container Toolkitのインストールと設定
sudo apt update && sudo apt install -y nvidia-container-toolkit

# Docker再起動でGPUサポートを有効化
sudo systemctl restart docker

# 作業ディレクトリを作成し移動
mkdir ollama-webui && cd ollama-webui

# docker-compose.ymlファイルを作成
touch docker-compose.yml

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    runtime: nvidia
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "7860:8080"
    environment:
      - OLLAMA_API_BASE_URL=http://ollama:11434
    volumes:
      - open-webui_data:/data
    depends_on:
      - ollama

volumes:
  ollama_data:
  open-webui_data:

# NVIDIAランタイムの設定
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# Docker Composeでコンテナを起動
docker compose up -d

# DockerでのGPU認識確認
docker info | grep -i nvidia

# コンテナのリソース使用状況をリアルタイムで確認
docker stats

# 特定のコンテナのログを表示
docker logs -f ollama
docker logs -f open-webui

# GPUの使用状況を確認
nvidia-smi

# GPUの使用状況をリアルタイムで監視
nvidia-smi dmon

# システムリソースの監視（CPU、メモリ、ディスク）
htop  # インストールが必要：sudo apt install htop