プロジェクトDX
デジタルテクノロジー・ICT
知の拠点・重点研究プロジェクトⅣ期
D4：IT・AI技術を結集したスマートホスピタルの実現
研究リーダー：北岡教英（豊橋技術科学大学）
事業化リーダー：大西秀一（（株）イマジナリー）
鈴木賢太朗（（株）フェロー）参画機関：豊橋技科大，豊橋ハートセンター，（株）イマジナリー，（株）ヴィッツ，（株）フェロー，
名古屋市立大学，愛知県立大学
2024年3月7日
1

１．研究テーマ概要（研究テーマの必要性）
背景：
日本国内の高齢者数・比率とも増加の一途⇒医療従事者は不足
IT技術による医療従事者の支援・負担軽減が必須

支援①

支援②

回診・問診などの負担・時間の削減

疾病診断の支援による負担の削減

対話しながらハンズフリーで入力

AI画像診断によるスクリーニング

自動的に構造化・カルテ化し、処により支援

置・処方を推薦して支援

音声認識・自然言語処理AIの活用

医用画像認識AIの活用
2１．研究テーマ概要（研究テーマの目的）
音声認識・自然言語処理AIの活用＝AI電子カルテ作成支援システム

医用画像認識AIの活用＝AI自動診断システム

 専門用語を含む発話の高精度な認識 容易に使えるスマートフォンアプリ
 患者との対話の実現 電子カルテとの連動

 画像による疾病診断はノウハウの塊
 最新の画像認識技術の駆使
 医学者の視点からノウハウ伝授
 医学専門企業の参画

循環器に特化した単科病院で専門的な分野でのIT技術の活用可能性を証明
 一つの専門分野に特化し、モデルケースとしてスマートホスピタル化することに注力 事業としてのフィーシビリティを証明し、将来的に多角化することを目指す
3

１．研究テーマ概要（開発体制・役割分担）
プロジェクトリーダー:北岡教英■音声入力によるAIカルテ作成支援システムの開発
・音声認識・対話・自然言語処理の研究・開発 豊橋技術科学大学・愛知県立大学
・ソフトウェア試作開発
・実証実験・設計支援

株式会社イマジナリー，株式会社ヴィッツ
医療法人澄心会 豊橋ハートセンター■統合医療システム開発

・開発（株）フェロー・設計支援
豊橋ハートセンター■循環器画像からのAI自動診断システムの開発
・画像認識AI技術の研究・開発

・画像診断エキスパートとしての助言
・ソフトウェア試作開発
・データ収集・実証実験・設計支援

豊橋技術科学大学名古屋市立大学
株式会社フェロー
医療法人澄心会 豊橋ハートセンター

4２．ロードマップ
開発ターゲット①音声入力によるAIカルテ作成支援システム

2022年度

2023年度循環器科医療用音声認識
高度化・高安定化

評価

要約・推薦高度化

評価

他科への医療用音声認識展開

事業対応サーバ設計

対話エンジン構築

iPhoneアプリ
・要約サーバ構築

2024年度

初期プロト

音声認識
製造現場応用検討

評価①‐3 統合医療シス
テム

電子カルテ業者選定

電子カルテへのシステム結合②循環器画像からのAI自動診断シス
テム

病院内実証実験

システムプロト①‐2 製造現場向け
音声・マルチモーダル
対話システム

心診断画像のAI診断

評価

製造現場向け音声対話・マル
チモーダル対話システム開発
病院内実証実験

診断補助のための運用

3D心臓診断画像の石灰化のキャプション・
セグメ
ンテーション

評価

ソフトウェア開発
診断補助のための運用

成果の活用を示す。

5

３．研究開発実施状況（専門用語を含む音声認識の高度化）
回診例文からの類似文生成
提案する言語モデル置換法

専門用語からの例文生成

言語モデル
専門用語入り対話文専門用語

専門用語入り対話文

専門用語

専門用語入り対話文
専門用語入り対話文
専門用語

プロンプト
「専門用語を使って対話文を生成」

専門用語入り対話文

回診時発話の認識性能（CER: 文字誤り率、低いほど良い）

11.4％を達成
6

３．研究開発実施状況（音声入力プロトタイプの作成）
音声認識サーバ

音声入力クライアント（iPhoneアプリ）

構造化サーバ（大規模言語モデル）

電子カルテシステム

 音声認識結果を大規模言語モデルにより即座に構造化 そのまま電子カルテに転送できる
 従来のPC入力よりも高速・効率的
デモサイト
7３．研究開発実施状況（医療画像からの自動診断システム）
診断画像

診断結果
可視化システムAIによる画像診断
様々な画像診断・正常、異常、異常傾向→適切な処置

結果からの予防の促し

最終的な製品をイメージ
疾病箇所の指摘機能を追加

 健常者と心臓狭窄症患者の判別技術の開発： 85%以上での判別が可能
 数値目標：90%

 診断結果可視化システムのプロトタイプ２を開発：軽量かつ高精度
 石灰化を定量化した値カルシウムスコアを自動推定：80％以上の精度
 数値目標：80%

目標達成へ大きく前進

8４．研究実績【論文】
浅川徹也,“非侵襲的検査における深層学習を用いたマルチラベル問題での病症の推定.” BIO Clinica 39(1),78-81, 2024年1月（査読あり）【国際学会】
Kazuya Tsubokura, Yurie Iribe, Norihide Kitaoka, "Dialog Breakdown Recovery Strategies Based on User
Personality" Proc of. IWSDS 2024, Mar, 2024.
Ryo Maejima and Norihide Kitaoka, “Speech recognition interface for updating electronic medical records withautomatic itemization,” ICAICTA2023, (5 pages) Oct., 2023.
T. Asakawa, Y. Sugimoto, H. Shinoda, K. Shimizu, T. Togawa, T. Komoda, M. Aono， “ Cardiac Detection in NonContrast CT and Application to Calcium Scoring,” 2023 IEEE 36th International Symposium on Computer-Based
Medical Systems (CBMS), April., 2023. pp. 446-449 （査読あり）【国内学会】
坪倉 和哉，岡田 真依，入部 百合絵，北岡 教英：対話破綻修復コーパスの収集と分析—ユーザの個人
特性とシステムとの関係性を考慮した修復文生成に向けて—, 言語処理学会第30回年次大会，2024.3
浅川徹也, 篠田拓樹, 清水一生,戸川拓哉, 青野雅樹， "非造影CTにおける心臓の検出とカルシウムスコア
分類," PRMU研究会, Mar., 2024.
Li Chengfeng, 高城 巽成, 若林 佑幸, 北岡 教英, “ChatGPTによるデータ拡張に基づく電子カルテ入力用に適応した音声認識モデルの構築,” 日本音響学会春季研究発表会, (to appear), Mar. 2024.
前島 亮，北岡 教英, “大規模言語モデルを活用した電子カルテ一括音声入力インタフェースの構築と評
価,” SPEASIPワークショップ2024, (to appear), Mar., 2024.
浅川徹也, 篠田拓樹, 清水一生,戸川拓哉, 青野雅樹， "深層学習による冠動脈ストレッチ画像からの狭窄判
定の試み," PRMU研究会, 信学技報, vol. 123, no. 358, PRMU2023-49, pp. 50-55, Jan., 2024.
前島 亮，森 大輝，若林 佑幸，北岡 教英, “音声認識を活用した医療用電子カルテ項目別自動入力インタフェースの構築,” FIT2023, Sep. 2023.（学生奨励賞）

9

５．事業化に向けて
 音声入力電子カルテシステム
市場性 病院（参画機関・豊橋ハートセンター）からのニーズにこたえる研究開発であり、十分に市場性がある。
 ユーザ視点での改良を行えるので、市場に合わせこめる。
 音声入力電子カルテへの期待は大きい（現に作られているが役に立たない仕様）⇒真に役に立つものを市場に出せる
優位性
言語モデルの置換法を世界初・高精度に実現⇒医療現場専門の音声認識に特化した最高性能を実現可能
体制づくり・プロジェクト終了後のビジネスプラン
豊橋ハートセンターと密に連携できる企業が参画
電子カルテ開発企業との協業を開始⇒開発即製品化、開発会社と販売会社が連携した体制を構築
10

５．事業化に向けて
 医療画像診断支援システム
市場性
多数の同様の研究があり、既に市場にも出ている⇒「性能のよい」ものを作ることは必須
優位性
数々の国際コンペティションで優秀な成績
医学研究者と連携し、新たな要望を吸い上げ
性能のみでなく機能面での開発にも着手⇒これまでにない新たな画像認識応用で市場性向上
体制づくり・プロジェクト終了後のビジネスプラン
豊橋ハートセンターと密に連携できる企業が参画
医師・医学研究者による評価システムも構築済み⇒製品化を視野に入れたプロトタイプ構築とその改良を実施
開発会社と販売会社が連携した体制をほぼ構築
11６．愛知県産業への貢献
愛知県をスマートホスピタルモデル地区へ 循環器単科病院・医学部との包括的協力の下でのIT技術の医療応用⇒機動的で短期集中開発を可能に
愛知県の力を結集して研究推進と事業化達成
 大学間包括協定を利用した技術（＝豊橋技科大）と医学（＝名古屋市立大）の連携による高度で迅速な研究開発
 愛知の機動力ある中小企業への技術移転により小回りの利く効率的な事業展開を実
現

自治体（愛知県・豊橋市）とも連携したIT医療ネットワークづくりへと発展させる

12

６．人材育成
大学で若手研究者を育成
研究員らを雇用【実績】特任助教1名、修士研究員1名
豊橋技科大の大学院生が参画【実績】5名参画
音声言語処理AI技術 4名
医用画像処理AI技術 1名
豊橋技術科学大学の学生を豊橋ハートセンターへ派遣【実績】毎週訪問し、看護師らと電子カルテシステムの表兄当たる
事業リーダーの若手技術者の技術力を向上
事業リーダー企業内で若手エンジニアを起用【実績】（株）ヴィッツに音声認識技術を伝授、「音声認識事業家プロ」育成中
IT技術を理解する医療従事者の育成
豊橋ハートセンターの医師や技師へのIT教育【実績】電子カルテ高度化担当医師らと協力して音声認識のカルテ接続プロジェクトを開始
13