AI基盤
高額なAI端末やローカルAI環境を導入しても、社内で使いこなせなければ投資効果は十分に得られません。
本カテゴリでは、外部AIに出しにくい資料を扱う業務現場向けに、ローカルLLM、オンプレRAG、OCR、音声認識などの検証内容を整理しています。
これらの記事は、IT・AI導入前の業務整理、ローカルAI活用のPoC設計、社内担当者の内製化支援などを検討する際の参考情報として掲載しています。
オンプレLLMで業務資料を整理するPoC:外部AIに出しにくい委員会資料を評価指標と要確認箇所に分ける
源内OSS公開を機に考えるオンプレRAG:外部AIアプリAPIの考え方をFastAPI+FAISS+NVIDIA Blackwell (GB10) 想定...
NVIDIA Blackwell (GB10) 上で 120B 巨大知能を「実戦配備」するレシピ:vLLMの壁を越え Native FP4 を活用した...
RTX 5070 Ti (16GB) 上で dots.ocr と vLLM を連携させるレシピ:機微PDFのローカル構造化
NVIDIA Blackwell (GB10) 上で vLLM と Whisper を共存させるレシピ