AIインフラ

ローカルLLM、オンプレRAG、GPU推論、OCR、音声認識など、機微情報を扱う業務現場で生成AIを活用するためのAIインフラ検証カテゴリです。
NVIDIA Blackwell（GB10）、vLLM、llama.cpp、Ollama、Open WebUI、FastAPI、FAISS等を用いた構築・運用ノウハウを整理します。