# 解説: Factual Accuracy is not Enough: Planning Consistent Description Order for Radiology Report Generation

西埜徹

## 1 はじめに

本解説記事では，著者らが EMNLP2022 で発表した論文 “Factual Accuracy is not Enough: Planning Consistent Description Order for Radiology Report Generation" について, 研究の背景や経緯を踏まえつつ解説する。

## 2 論文の概要

本研究は単純 X 線画像や CT 画像などの医用画像を入力し, 自動で画像の特徴を説明する文章を生成する「読影レポート自動生成」の研究である。読影レポートとは, 医師が検査画像中の異常所見を目視で確認し, 異常部や正常部などの詳細を文章で表現したものである．読影レポートは検査異常の情報を伝達する重要な手段であるが人手作成の負担が高く, 読影レポート生成は近年広く研究されている (Jing et al. 2018). しかし, 先行研究の大半が単純 X 線検査を対象とした研究であり，CT や MRI など他の読影検查への適用可能性については手つかずであった. また, ここ最近の読影レポート生成における共通課題は生成文書の内容適切性の改善

図 1 単純 $\mathrm{X}$ 線検査と造影 $\mathrm{CT}$ 検査のレポートの比較.

図 2 プランニング読影レポート生成の概要.


である. 医療分野において正しく検査画像中の所見を含んだレポートの生成は極めて重要であり，内容の一致度に基づく報酬を導入した強化学習 (Miura et al. 2021) や，読影知識を反映したグラフを活用した適切性改善 (Zhang et al. 2020) などの研究が盛んに行われている。しかし,読影レポート生成において適切性以外の課題に着目した研究はあまり行われていない. CT など単純 X 線検査以外へ読影レポート生成技術を応用する際，適切性以外の別の課題が存在するのではないか, という問題意識が本研究の着想の背景である.

本論文では，レポート生成の対象を単純 X 線検査だけでなく肝臓の CT 検査へ拡大した上で，読影レポートの内容の適切性の改善に限らず記述順をも改善する手法を提案した．肝臟がんの検査を含む多くの CT 検査では造影 CT 検査が実施されている。単純 $\mathrm{X}$ 線検査では撮影回数は 1 回きりである一方，造影 CT 検査では造影剤を飲んだ状態で複数回連続して撮影し，異常箇所の写り方の時系列順の変遷を確認する。この撮影タイミングを時相と呼ぶ. 図 1 に例示されるように，造影 CT では異常箇所の変遷をレポートに記載する．故に，欧州放射線学会 (European Society of Radiology (ESR) 2011) が推奨する通り，ただ正しい情報を書くだけに限らず正しい記述順でのレポート文章の作成が重要となる。読影レポート生成技術の応用範囲を単純 X 線検査から広げるには造影 CT などへの対応が必須と考え, 適切性に加え記述順の改善を本研究の目的とした。

## 3 提案手法概要

一般に読影レポート生成の研究では画像から直接レポートを生成する End-to-End 文章生成のアプローチが取られている。本研究では検査画像からまず “腫瘤:あり”や“濃染. 増大” などの性状タグを抽出し，その後性状タグからレポートを生成する Data-to-Text 文章生成の手法を採用した。加えて中間表現となる性状タグをレポートでの文章の記述順を表現したプランとして扱うプランニング文章生成 (Ma et al. 2019) の手法を取った. プランニング生成手法の概略を図 2 に示す.プランは文章の記述内容と記述順を設計したものであり，プランを設計する文章計画器, 設計されたプランに基づき文章を生成する文章生成器の 2 段階を踏まえ入力情報から文章を生成する。先行研究では Data-to-Text 文章生成で問題とされてきた Hallucination (幻覚)，つまり誤った不適切な記述が生成されてしまう問題が緩和され, 適切性が改善したと報告されている (Moryossef et al. 2019). 中間表現で適切な記述順・内容を表現したプランを作成することにより，生成文章における適切性・記述順の改善が見达まれる.

しかしプランニング文章生成には, 前段のモデルのエラーが後段に伝搬するエラー伝搬の課題が報告されている (Shen et al. 2020). 前段にあたる文章計画器で誤った推論がなされると,当然後段の文章生成器も誤った文章を生成するのである。このエラー伝搬問題への対処として本研究では Coordinated Planning-based text generation (CoPlan) を提案した. CoPlan

図 3 提案手法 Coordinated Planning-based text generation (CoPlan) の概要.

の手法概要を図 3 に示す. CoPlan は最終的に生成される文章の適切性ないしは記述順を評価し，より質の高い文が生成されるよう前段のモデルへとフィードバックする機構である. CoPlan は 2 の並列する手法から構成される。

CoPlan in Reinforcement Learning (CoPlan (RL)) 文章計画器の学習時において, 最終的に生成されるレポートの品質を報酬として強化学習を行う手法である. エラー伝搬問題の最大の要因は, 文章計画器と文章生成器とで独立して学習が行われる点にある。そこで CoPlan (RL) では最終的に出力される文章の品質を文章評価器で定量化し, この定量化されたスコアを 1 段目の文章計画器を強化学習する報酬として活用する。最終出力文章の品質を報酬として利用することで文章計画器の学習時に文章生成の品質を考慮できるため, エラー伝搬問題の影響を緩和できる。

CoPlan in Beam Search (CoPlan (BS)) 文章計画器の推論時において, 最終的に生成されるレポートの品質をスコアとしてプランの探索・選択を行う手法である. CoPlan (BS) は最終的に出力される文章の品質を文章評価器で定量化し, この定量化されたスコアを 1 段目の文章計画器の推論時にビームサーチのスコアに加える手法である。最終出力結果を基に推論時の 1 段目のエラーを推定し，エラーの少ないプランの選択により生成されるプランの質を改善できる.

## 4 評価実験

本研究では日本語造影 CT レポートおよび英語単純 X 線レポート (Johnson et al. 2019) の 2

データセットにおいて, Data-to-Text 文章生成部分だけの性能評価および画像からレポートを生成するモデル全体の End-to-End の性能評価実験を実施した。提案手法 CoPlan の実効性は Data-to-Text 文章生成部分だけを日本語レポートで評価するだけでも示すことができる. だが， ほぼ全ての先行研究は英語単純 $\mathrm{X}$ 線レポートで実施されており, 先行研究に対する優位性や提案手法の汎用性を示すには複数モダリティでの評価および既存手法との比較が必要と考え, このように 2 つのデータセットでの End-to-End 評価実験を追加で実施した。加えて本研究では読影レポート生成でよく用いられる評価指標である BLEU や BERTScore (Zhang et al. 2019), CheXpert (Irvin et al. 2019) ベースの適切性評価指標に加え，記述順評価指標である Content Ordering score (CO) (Wiseman et al. 2017) を生成レポートの記述順に関する品質改善の検証に導入している．加えてより信頼できる実験結果の検証のために人手評価を実施した。

Data-to-Text 実験の結果では, CoPlan (BS) およびCoPlan (RL) それぞれの有効性を示している. 加えて先行研究との比較である End-to-End 実験の結果では, BLEU4 では他手法に比べ劣るが適切性および記述順の改善が示されている．実験設定および実験結果については原論文を参照していただきたい.

## 5 終わりに

本稿では EMNLP2022に採択された著者の論文について，着想の背景に重点をおいて解説した. 本論文は自然言語処理分野で近年注目されている読影レポート自動生成の研究の実際の医療現場への適用を見据えた研究であり, 記述順という実用化に向け課題となった新たな切り口を主眼においた論文である。今後は医療現場の声やデータから課題を掘り起こしつつ, さらなる実応用を目指していきたい.

## 謝 辞

本研究にあたり数多の助言を頂きました共著者，関係者の皆様に感謝申し上げます。また日本語データセットの提供に協力くださった共同研究先病院の皆様，およびデータセットの整備に尽力されたアノテータの皆様にも改めて感謝申し上げます.

## 参考文献

European Society of Radiology (ESR) (2011). "Good Practice for Radiological Reporting. Guidelines from the European Society of Radiology (ESR)." Insights into Imaging, 2, pp. 93-96.

Irvin, J., Rajpurkar, P., Ko, M., Yu, Y., Ciurea-Ilcus, S., Chute, C., Marklund, H., Haghgoo, B., Ball, R., Shpanskaya, K., et al. (2019). "CheXpert: A Large Chest Radiograph Dataset with Uncertainty Labels and Expert Comparison." In 33rd AAAI Conference on Artificial Intelligence.

Jing, B., Xie, P., and Xing, E. (2018). "On the Automatic Generation of Medical Imaging Reports." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers).

Johnson, A. E., Pollard, T. J., Berkowitz, S. J., Greenbaum, N. R., Lungren, M. P., Deng, C.-y., Mark, R. G., and Horng, S. (2019). "MIMIC-CXR: A Large Publicly Available Database of Labeled Chest Radiographs." arXiv preprint arXiv:1901.07042.

Ma, S., Yang, P., Liu, T., Li, P., Zhou, J., and Sun, X. (2019). "Key Fact as Pivot: A TwoStage Model for Low Resource Table-to-Text Generation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2047-2057.

Miura, Y., Zhang, Y., Tsai, E., Langlotz, C., and Jurafsky, D. (2021). "Improving Factual Completeness and Consistency of Image-to-Text Radiology Report Generation." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5288-5304.

Moryossef, A., Goldberg, Y., and Dagan, I. (2019). "Step-by-Step: Separating Planning from Realization in Neural Data-to-Text Generation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers).

Shen, X., Chang, E., Su, H., Niu, C., and Klakow, D. (2020). "Neural Data-to-Text Generation via Jointly Learning the Segmentation and Correspondence." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7155-7165.

Wiseman, S., Shieber, S. M., and Rush, A. M. (2017). "Challenges in Data-to-Document Generation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.

Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., and Artzi, Y. (2019). "BERTScore: Evaluating Text Generation with BERT." In International Conference on Learning Representations. Zhang, Y., Wang, X., Xu, Z., Yu, Q., Yuille, A., and Xu, D. (2020). "When Radiology Report Generation Meets Knowledge Graph." In 34th AAAI Conference on Artificial Intelligence.

## 略歴

西埜徹：2018 年東京大学大学院博士前期課程修了. 同年, 富士ゼロック
久株式会社入社. 2022 年 4 月より富士フイルム株式会社に移籍し, 自然言語処理の研究者として研究開発に従事.