完全ローカルで動く医療AIを作り始めた話｜1ビット量子化×診療データで院内完結AIを目指す

はじめに：クラウドAIへの「根本的な不安」

当院では、診療支援に40以上のAIツールを活用しています。音声認識によるSOAP生成、病名推定、漢方提案、検査レポート作成など、日々の診察の多くにAIが関わっています。

しかし、ひとつだけずっと気になっていたことがありました。

患者データがクラウド（外部サーバー）を経由することです。

ZDR（ゼロデータリテンション）契約で、データが学習に使われないことは担保しています。それでも「患者さんの診察内容がインターネットを通る」という事実そのものに、根本的な不安が残ります。

理想は、患者データが建物の外に一歩も出ない、院内完結のAI。それを本気で目指し始めました。

ローカルで動くAIの最大の課題は「性能」です。クラウドには巨大なGPUクラスタと数千億パラメータのモデルがありますが、当院のPCにはRTX 3070が1枚（VRAM 8GB）しかありません。

ここで注目したのが1ビット量子化という技術です。

通常のAIモデルはパラメータひとつにつき16ビットの精度を使いますが、これを1ビットまで圧縮します。重みを「+1」「0」「-1」の3値に単純化することで、掛け算が足し算に変わり、計算量が劇的に減ります。

PrismML社のBonsai-8Bモデルを採用しました。

Bonsai-8Bはそのままでは汎用モデルであり、SOAPの書き方も日本の保険診療も知りません。

そこで、当院の開業以来1年3ヶ月分の診療データを知識として注入しました。

RAG（Retrieval-Augmented Generation）で90個のチャンクに分割し、モデルの外部知識として接続しています。

名付けて「HirotsuMed-8B」。1ビット量子化の医療特化LLMです。

調べた限り、1ビット量子化と医療特化を組み合わせた公開事例は存在しません。

「1ビット×医療特化」は、少なくとも公開されている事例の中では空白地帯です。

率直に書きます。現時点のスコアは以下の通りです。

本番投入できるレベルではありません。クラウドAIとの品質差はまだ大きいです。

そこで「シャドウモード」という仕組みを実装しました。

全11個のAIエンドポイント（SOAP生成、病名推定、漢方提案、検査レポート等）すべてでシャドウが走っています。

1日約80人の診察で、1日80件の訓練データが自動蓄積される仕組みです。普通に診察しているだけで、ローカルAIが賢くなっていきます。

現時点では「作り始めた」段階です。完全ローカル化はゴールであって、現在地ではありません。クラウドAIに頼っている部分はまだあります。

今後の計画は以下の通りです。

1ビットのモデルが1.9GBのVRAMで44トークン/秒出る世界が来ています。この速度で技術が進めば、「クリニックのPCだけで全部動く」日は、案外遠くないかもしれません。