オープンな医療用大規模日本語視覚言語モデルの開発
当研究室では、日本語に特化したオープンな医療用大規模視覚言語モデルを開発し、今年3月にプレスリリースを出しました（こちら）。発表されたモデルは、画像とテキストを扱うことができる「マルチモーダル」なモデルで、日本語の医療用データに特化しており、142億パラメータを有します。同月に開催された言語処理学会第32回年次大会（NLP2026）では、安道健一郎客員研究員、黒瀬優介特任講師を含む研究グループから 「医療用大規模日本語視覚言語モデルの構築」のタイトルで発表を行い、優秀賞を受賞しました（ 予稿はこちら ）。
この記事では、「医療用大規模日本語視覚言語モデル」の開発について解説します。
概要
大規模な視覚言語モデル（Vision Language Model, VLM）、すなわち、画像とテキストを扱ってユーザと対話を行う基盤モデルは、今日、社会に広く普及しています。しかし、医療機関では患者情報を取り扱うため、データを特に厳重に保護する必要があり、こうしたモデルの導入には課題があります。今回、当研究室から発表した「医療用大規模日本語視覚言語モデル」は、医療機関での利用を想定して、組織外に医療情報を持ち出すことが禁じられた環境でも運用できるようにすることを意図して作られたものです。具体的には、オンプレミスで運用できるモデルであり、また、特別な制約を持たない商用利用可のライセンスを持つモデルやデータで作られています。
図１：本研究で構築した日本語医療 VLM の生成例
データセット構築の取り組み
このモデルの学習には、大量の医療画像と日本語テキストのペアデータの整備が大きな課題となりました。本研究では、最大の障壁である訓練データ不足を補うため、既存のVLMや大規模言語モデル（Large Language Model, LLM）を活用したパイプラインで、訓練データの作成を行いました。この際、生成物に対する特殊なライセンスが付与されるモデルは利用を避け、生成物に特別な制約が生じないように配慮しました。
まず、Open-PMC-18M という英語のデータセットを元に、このうち商用利用可のライセンスのデータのみをフィルタリングしました。医療画像と英語テキストのペアデータを加工・翻訳することで、約1,200万件の日本語医療学習データを作成しました。
さらに性能向上のため、通常のVLMだけではなく、推論の過程を明示的に出力できるモデルを構築することとし、思考過程を段階的に記述する形式（Chain-of-Thought形式）のデータの作成も行いました。
モデル構築
構築したモデルは、LLaVA をベースとしたエンコーダ・デコーダ型のVLMです。画像エンコーダにSigLIPを、テキストエンコーダに SIP-jmed-llm を用いました。
分散学習フレームワークである Megatron-LM を活用して、LLaVA の訓練方法にしたがって２段階の学習手法を採用しました。
性能評価（※発表時点）
開発したモデルについて、CT 画像とX 線画像の読影レポート生成で性能評価を行いました。性能評価は発表時点のもので、2025年以前の主要なモデルと比較したものとなっています。
本研究で開発した推論なし、推論ありモデルに加えて、X 線読影レポートタスクでは訓練データを用いて Fine-tuning した SFT モデルも使用しています。比較対象として、既存の VLM モデルから 9 種類を採用して実験を行いました。比較対象（表１に示します）のうち、GPT-5 および GPT-4.1 は汎用クローズドモデルで、他の比較対象はオープンなVLMです。比較対象とするモデルについて、複数のモデルサイズがある VLM はできる限り 14B 以上のモデルを採用しました。
X 線画像タスクに限り、GPT-5 を用いた LLM as a Judge（LAJ）で評価を行っています。CT 画像はデータの性質上、外部に持ち出すことができないため、クローズドモデルや LAJ での評価は行なっていません。
本研究で開発した推論ありモデルは、発表時点で公開されているオープン VLM の中で最高性能を持つ日本語医療 VLM であることを確認できました。X 線画像タスクの LAJ タスクでは GPT-5 が最高性能のモデルで、我々の推論ありモデルは次点という結果で、Fine-tuning を行うと GPT-5 に迫るスコアとなりました。
表１：CT 画像・X 線画像における各モデルの評価結果。略語について、LAJ は LLM as a Judge を、SFTは Supervised Fine-tuning をそれぞれ示す。
今後の展望
本モデルは日本語医療領域で幅広く利用可能な汎用基盤モデルです。今後、日本語を用いるさまざまな医療AI（診断支援、所見生成、医用画像理解など）の基盤として活用されることが期待されます。
詳細について
詳細は、プレスリリースや発表論文をご覧ください。
プレスリリース
オープンな医療用マルチモーダルモデルを開発 ―142億パラメータを持つ日本語に特化した医療用視覚言語モデル― （2026年3月6日）
発表論文
この記事で紹介する取り組みは、主に以下の論文に関係しています。
安道健一郎，黒瀬優介，菊地智博，牧元久樹，小寺聡，小林和馬，合田和生，村尾晃平，吉田浩，田村孝之，合田憲人，喜連川優，原田達也 医療用大規模日本語視覚言語モデルの構築. 言語処理学会第32回年次大会 発表論文集（2026年3月）
