医用画像解析
医用画像解析とは
医用画像はみなさんが健康診断や病院で検査などを受けた時に撮影される画像のことです． X線画像，Computed Tomography（CT）画像，Magnetic Resonance Image (MRI)画像，超音波（エコー）画像，内視鏡画像（胃カメラなど），病理画像，皮膚科画像，眼底画像などがそれにあたります． これらの医用画像に対して，機械学習技術などで医用画像から情報を抽出し，病変箇所を特定したり，病変を分類したりしたものが，医用画像解析と呼ばれるものです． かねてから盛んに研究されてきましたが，深層学習の登場以降は一般画像とともに医用画像解析の技術も急速に発展しています．
医用画像には，それぞれに特徴があり，その特性が機械学習解析における課題となることが多いです． 例えば，多くの画像が2次元の画像ですが，CT画像やMRI画像は2次元の断層画像を重ね合わせて構成される3次元画像です． 内視鏡画像は2次元ですが，消化管の内部を写したものであるため，3次元的な広がりを持つ画像です． 病理画像は細胞組織などを顕微鏡等で撮影した画像になりますが，数万ピクセルx数万ピクセルで構成され，非常に巨大な解像度をもつ画像です．
このように，医用画像解析はただ単に機械学習モデルに学習させればいいというものではなく，その画像の特性に合わせた対応が必要となります．
医用画像
関連研究
医用画像解析から出た技術で最も有名なものはU-Net[1]と呼ばれるセマンティック・セグメンテーションネットワークです．このネットワークは，エンコーダとデコーダををU字型に組んでいることから名付けられましたが， そのシンプルな構造とパラメータの軽量さから一般画像分野でもセマンティック・セグメンテーションで最も有名なモデルの一つになりました． 大量の画像を収集することが困難な医用画像解析においては未だに利用されているネットワークです．
また，深層学習の登場以降，医師に匹敵する性能を出したという報告も数多くあります。 例えば，H. A. HaenssleらはThe International Skin Imaging Collaboration(ISIC)というデータベースを利用して，皮膚画像からホクロなのか悪性黒色腫なのかを判定するモデルを構築し，医師に匹敵する精度を達成しました[2]． V. Gulshanらは128,175枚の眼底画像（網膜等を写した画像）を用いて糖尿病かどうかを判定するモデルを構築し，こちらも眼科医に匹敵する精度を出しました[3]． 病理画像においては，乳がんのリンパ節転移を検出するタスクを扱ったコンペティションが開かれ，時間制限があるような一部のタスクでは医師を超える精度を達成したという報告があります[4, 5]．
このようにさまざまな病変に対して機械学習技術を用いたアプローチがされていますが，最近ではCT画像からCOVID-19(コロナウィルス)感染症を診断するための研究が数多く行われています[6, 7, 8]．
この研究室の独自性と成果
研究室では，2017年に国立研究開発法人 日本医療研究開発機構 (AMED) の支援を受けて国立情報学研究所の医療ビッグデータ研究センターの医療画像ビッグデータクラウド基盤[9]に関するプロジェクトに参加しています． このプロジェクトには，医療系の学会が多く参加しているため，大量の画像がクラウド基盤に収集されました．医用画像は大量に収集することは困難でしたが，このプロジェクトにより大量の画像による機械学習モデルの構築が可能となりました[9]． このクラウド基盤のAI自動診断研究への貢献で，原田教授が文部科学大臣表彰・科学技術賞（振興部門）を受賞しています．（https://www.rcast.u-tokyo.ac.jp/ja/news/release/20220408.html）
以下に，その医療ビッグデータクラウド基盤を利用して行われた私たちの研究の一例を紹介します．
病理画像解析
病理画像においては，１辺が10の5乗ピクセル、1枚の画像が数GB の大きさとなるものを扱う必要があります．言い換えれば，一般的にパソコンで表示される画像を，縦横に100倍ずつ拡大したものを扱わなければなりません． 従来の研究では，大きな画像をパッチ（部分）に区切って、それぞれを解析し、結果を合わせることで，大きな画像を扱っていました．しかし，この方法では，バッチ間の関係性を十分に考慮することができません．大域的な情報が扱えていないのです． 弊研究室では，病理画像の異常部分を検出するタスクにおいて，大域的な情報を考慮した新たなモデルを提案し，2019年当時の最先端の性能を達成しました．この成果は ICCV というトップレベルの国際会議で発表されています[10]． また，この手法をもとに医師と連携して胃生検画像に対して更なる解析を行い，一般的には病理画像では精度が落ちると言われている他施設のデータにおいても高い精度を有することを示しました[11]．
手法の概要
また，異なる部位の違いに対応するためのドメイン適応の手法も開発しています．病理においては，部位が異なると画像が全く異なると言われており，例えば胃生検画像で学習したものを大腸生検画像で推論した場合は精度は大きく減少します． そこで，超高解像度の病理画像に対応するためのマルチインスタンス学習とドメイン適応を組み合わせた学習方法を提案し，実験を通して提案手法が優れていることを示しました．この成果は，医用画像系の学会であるISBIで発表されています[12]．
今後の方向性
弊研究室では，現在、医療画像を専門とするスタッフや学生が多く在籍しています．医療のスペシャリストの知見を聞く機会も多く，独自のデータセットを用いた先進的かつ実用に近い研究に取り組んでいます． 今後は、医師の方とのディスカッションを深め，より応用に近い研究も進めることが期待されます．実際，2019年に ICCV で提案したモデルは医師の方から実用性があるというお墨付きを受けることができ，特許の出願も行いました．
参考文献
[1] O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” in Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015, 2015, vol. 9351, pp. 234–241. [2] H. A. Haenssle et al., “Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists,” Ann. Oncol., vol. 29, no. 8, pp. 1836–1842, Aug. 2018. [3] V. Gulshan et al., “Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs,” JAMA, vol. 316, no. 22, pp. 2402–2410, Dec. 2016. [4] B. Ehteshami Bejnordi et al., “Diagnostic Assessment of Deep Learning Algorithms for Detection of Lymph Node Metastases in Women With Breast Cancer,” JAMA, vol. 318, no. 22, pp. 2199–2210, Dec. 2017. [5] P. Bándi et al., “From Detection of Individual Metastases to Classification of Lymph Node Status at the Patient Level: The CAMELYON17 Challenge,” IEEE Trans. Med. Imaging, vol. 38, no. 2, pp. 550–560, 2019. [6] H. X. Bai et al., “AI Augmentation of Radiologist Performance in Distinguishing COVID-19 from Pneumonia of Other Etiology on Chest CT,” Radiology, vol. 78, no. May, p. 201491, Apr. 2020. [7] T. Uemura, J. J. Näppi, C. Watari, T. Hironaka, T. Kamiya, and H. Yoshida, “Weakly unsupervised conditional generative adversarial network for image-based prognostic prediction for COVID-19 patients based on chest CT,” Med. Image Anal., vol. 73, p. 102159, 2021. [8] I. Dayan et al., “Federated learning for predicting clinical outcomes in patients with COVID-19,” Nat. Med., vol. 27, no. 10, pp. 1735–1743, Oct. 2021. [9] K. Murao, Y. Ninomiya, C. Han, and K. Aida, “Cloud platform for deep learning-based CAD via collaboration between Japanese medical societies and institutes of informatics,” in Medical Imaging 2020: Imaging Informatics for Healthcare, Research, and Applications, Mar. 2020, vol. 11318, pp. 223–228. [10] S. Takahama, Y. Kurose et al., “Multi-Stage Pathological Image Classification using Semantic Segmentation,” in The IEEE International Conference on Computer Vision (ICCV), 2019, pp. 10702–10711. [11] H. Abe, Y. Kurose et al., “Development and multi-institutional validation of an artificial intelligence-based diagnostic system for gastric biopsy,” Cancer Sci., Aug. 2022, doi: 10.1111/cas.15514. [12] S. Takahama, Y. Kurose et al., "Domain Adaptive Multiple Instance Learning for Instance-Level Prediction of Pathological Images, " in 2023 IEEE 20th International Symposium on Biomedical Imaging (ISBI), 2023.