ローカルLLM
ローカルLLMは、自分が管理するパソコン、スマートフォン、施設内サーバーなどで動かすLLMのことを指します。ChatGPTやGeminiなどの一般的な生成AIの場合、入力された文章はインターネット経由で各企業のサーバーに送られ、そこで処理された結果をユーザーが受け取る仕組みになっていますが、ローカルLLMの場合は自分（施設）の管理下にある環境で生成AIを動かすことができます。
ローカルLLMの規模は様々
例えば、「Gemma 4」のE2BやE4Bのような比較的サイズが小さいモデルであれば、スペックにもよりますがスマートフォン上でも動かすことができます（「オンデバイス型」と呼ばれることもあります）。
一方、医療機関や企業が施設内に専用のサーバーを設置し、そこで大きなサイズのLLMを動かすようなケースは「オンプレミス（型）」と呼ばれ、NTTの「tsuzumi」や日本語版医療特化型LLMなどでは、このような運用も想定されています。
最大のメリットは、個人情報や機密情報の保護がしやすいこと
ローカルLLMの大きな利点は、入力した情報を外部のクラウドに送信することなく処理できる設計にしやすいことです。
薬局には個人情報や機密情報など、通常の生成AIに安易に入力すべきでない情報が数多く蓄えられていますが、もし生成AIの処理を薬局内の端末やサーバーだけで完結させることができれば、個人情報・機密情報を利用した文書の作成や情報の整理などができるようになります。
ローカルLLMなら安全、ではない
ローカルLLMを実際に活用するにあたっては、以下の点に注意が必要です。
- 端末の盗難、不正アクセス、外部ツールとの連携などによって、情報が漏洩する可能性があります。
基本的に、ローカルLLMの保守管理はユーザー側で行わなければなりません。 - （インターネットに完全に接続していない）ローカルLLMはその性質上Web検索ができないため、リアルタイムの出来事に関して質問しても、的はずれな回答になる可能性があります。
ローカルLLMの環境を構築することでプライバシーと管理の自由度を享受できますが、保守や安全性に関する責任も自分たちで負わなければなりません。
特に医療の現場では誤りが許されない場面も多いため、適切なタイミングで人間が介入できる仕組みも必要です。
