AIホスピタルシンポジウム
プロジェクト成果発表（管理番号：SIPAIH22B02）

2022年12月17日
BIPROGY株式会社

本日のご説明内容

１．Drアバターによるインフォームドコンセント（IC）支援システム
１-１．システム概要
１-２．臨床現場での利用状況
２．カルテ音声入力システム
２-１．システム概要
２-２．臨床現場での利用状況
３．糖尿病診療補助システム
３-１．システム概要
３-２．臨床現場での利用状況
４．社会実装に向けた進捗状況

秘1©️2022 BIPROGY Inc. All rights reserved.

１．DrアバターによるIC支援システム
１-１．システム概要
ICにおいて、どの患者にも共通して説明する内容から、主治医アバターによる説明動画を作成。
待ち時間などを活用し患者が動画を視聴し、その患者の反応を主治医にフィードバックするシステム。
これまでのIC

対面でのIC

患者さんの待機時間

標準説明

Drアバターを利用したIC

個別説明／質疑応答

合意記録

帰宅

合意記録

帰宅

対面でのIC

患者さんの待機時間

標準説明

標準説明動画視聴（アバター）
理解度類推AI

個別説明／
質疑応答

アバターが実施済みため、主治医による標準説明を省略

アバター説明閲覧中の患者さんの表情などから、不明点等を主治医に事前共有

患者さんが待機時間中にアバターが標準説明を実施

秘2©️2022 BIPROGY Inc. All rights reserved.

１．DrアバターによるIC支援システム
１-１．システム概要：Drアバター付きコンテンツ作成機能
Drアバターのコンテンツ作成については、「主治医の顔写真」及び、「台本付きパワーポイントファイル」をシステムにアップロードするのみで作成できる機能の実装が完了。
ユーザ作業

DrアバターによるIC支援サービス コンテンツ作成機能

スマホによる画像撮影(顔)Drアバター説明コンテンツを自動生成

Drの顔写真1枚撮影

主治医
合成
説明コンテンツ動画の作成

アップロード動画化 説明コンテンツ

専用WEB
画面

(説明音声付動画)Powerpoint資料

アバター化パターンの選択

録音

動画作成フレームの選択(例)

XXX

説明Dr

説明説明Dr

Dr

OR
肉声吹込

フレーム①

テキストtoスピーチ①リアル系

秘フレーム②

フレーム③

②アニメ系

3©️2022 BIPROGY Inc. All rights reserved.

１．DrアバターによるIC支援システム
１-１．システム概要：医師向けフィードバック機能
Drアバター付きコンテンツ視聴中の患者の反応（不明点・一時停止操作等）を医師にフィードバックする機能について、以下の通り実装が完了。

秘4©️2022 BIPROGY Inc. All rights reserved.

１．DrアバターによるIC支援システム
１-２．臨床現場での利用状況
本システムは2021年度より臨床での利用を開始し、当該年度中は合計34件の実際のICで利用。
利用した主治医より定性的な効果を確認できたため、2022年度は定量的な効果測定を実施する運びとなった。
-

大阪大学医学部附属病院

がん研究会有明病院

成育医療研究センター

横須賀共済病院

診療科

消化器外科

放射線治療部

臓器移植科

麻酔科

ICシーン

直腸・大腸がんの手術

放射線治療

小児の生体肝移植

各種手術時の麻酔の説明

コンテンツの再生時間

約30分

約20分

約25分(3本合計)

1本あたり約5分～10分

アバター化の人数

8名(男性Dr7名・女性Dr1名)

1名(男性Dr1名)

3名(男性Dr3名)

1名(男性Dr1名)

期間

7月5日~9月9日

7月14日~9月9日

7月9日~9月9日

7月21日~9月9日

実証実施件数

138８５「分かりやすい」「1患者当たりの説明時間3分～5分が“ゼロ”になった」
医師「丁寧な問診時間に活用することが出来た」

患者さん「リラックスして聞くことが出来る」※コメントは、第33回AIホスピタル事業マネジメント会議 横須賀共済病院発表資料より抜粋
秘5©️2022 BIPROGY Inc. All rights reserved.

１．DrアバターによるIC支援システム
１-２．臨床現場での利用状況
2022年度、Drアバター利用/非利用のICを比較評価し、対面ICの実施時間についていずれの医療機関でも短縮効果を確認。患者満足度については、システムの実利用にあたり許容範囲の結果との現場意見も併せて確認。

秘6©️2022 BIPROGY Inc. All rights reserved.

２．カルテ音声入力システム２-１．システム概要
カルテ音声入力システムは、医師・看護師の発話を音声認識し、カルテの項目にあわせてテキストを分類するシステムです。

秘7©️2022 BIPROGY Inc. All rights reserved.

２．カルテ音声入力システム
２-１．システム概要：音声認識・SOAP分類の修正機能
音声認識・テキスト分類の精度向上を目的に、運用しながら訓練データを集められるよう、ユーザーが簡易に音声認識・SOAP分類の誤りを修正できる機能を実装。
テキスト(SOAP)分類の修正

テキストの修正＜サンプル例＞①テキストを修正する。
「行きが苦しい。」→「息が苦しい。」＜サンプル例＞①Sに分類された文をOに移動する。
「SPO2は96%。」②テキストを修正する。
「単語よく絡む。」→「痰がよく絡む」②Oに分類された文をAに移動する。
「肺炎の疑いあり。」③修正ボタン③修正ボタンを押して修正内容を登録する。
秘を押して修正内容を登録する。
8©️2022 BIPROGY Inc. All rights reserved.

２．カルテ音声入力システム２-２．臨床現場での利用状況
横須賀共済病院の医師・看護師の協力を頂き、音声認識/SOAP分類の精度評価を実施。
音声認識精度：90%、SOAP分類精度：96％を達成。

＜音声認識精度の評価方法と結果＞

症例集

音声認識評価結果※2022.05.25評価時点(評価テスト数:140件)
項目

横須賀共済病院
看護師(６名)医師(1名)

音声認識率

全体(7名)認識率
症例集の読み上げ評価
音声認識モデル(STT)

話し方レッスン
受講者(3名)認識率
話し方レッスン
未受講者(4名)
認識率

90%
95%
86%

*評価指標はBLEUを使用

秘9©️2022 BIPROGY Inc. All rights reserved.

２．カルテ音声入力システム
２-２．臨床現場での利用状況
横須賀共済病院の医師・看護師の協力を頂き、音声認識/SOAP分類の精度評価を実施。
音声認識精度：90%、SOAP分類精度：96％を達成。
＜SOAP分類精度の評価方法と結果＞
データ準備
以前に多関節痛があったことから、背景疾患精査のため当科膠原病外来へ紹介となり、同日入院となった。

評価方法
人の発話

評価(SOAP分類)

以前に多関節痛があったことから。背景疾患精査のため。当科膠原病外来へ紹介となり、同日入院となった。

現病歴SOAP分類モデル

音声認識モデル(Watson STT)

SOAP分類精度 ※2022.03.10評価時点
評価結果

評価対象

医療従事者の発話(女性 5名+男性 2名)

秘テスト
データ数

精度

140

96%

10
©️2022 BIPROGY Inc. All rights reserved.

３．糖尿病診療補助システム
３-１．システム概要
糖尿病患者の日常のバイタル・食事・運動・睡眠時間のデータをスマホ/データ収集ハブを用いて簡易に収集しそれらのデータを医療従事者向けに分かりやすい形で可視化するシステム。

人工知能アバターの機能

各種測定データ

血圧計

体重計

データ収集
ハブ

血糖測定器

■治療を促すコメント（行動変容）■患者との会話による問題点を抽出し、医療従事者へ連携■トリアージ（医療従事者へアラート）
モニタリングデータスマートウォッチ（歩数・睡眠）クラウドサーバー

ヘルスケア / Google Fit
アプリ

対面/遠隔診療医療機関

電子お薬手帳

電子処方箋管理サービス

食事画像

自覚症状記録

服薬指導

コメント
糖尿病患者

糖尿病診療補助システム

AIアバター

秘薬剤の直接配送

調剤薬局

将来構想11©️2022 BIPROGY Inc. All rights reserved.

３．糖尿病診療補助システム
３-１．システム概要：iPhone／androidの標準ヘルスケアアプリとの連携
運動・睡眠時間については、各スマートフォンのヘルスケア／Google Fitアプリ及び、上記アプリに対応したスマートウォッチからのデータ連携が可能。

ヘルスケア

患者アプリ

秘12
©️2022 BIPROGY Inc. All rights reserved.

３．糖尿病診療補助システム
３-１．システム実装状況：追加機能について現場からの本システム利用による「患者の行動変容促進」への期待を受け、より患者毎の目標値や生活習慣に応じたシミュレーション・アドバイスを可能とする２つ機能についても実装。※2つ目の機能は次ページでご紹介
１）食事前シミュレーション機能①メニュー表の写真や過去に食べた際の写真を登録もしくは、メニュー名で検索②患者の目標値に応じた当日摂取できる残カロリー・炭水化物等のシミュレーションが可能

シミュレーション内容に対するアバターからのアドバイス表示

秘13©️2022 BIPROGY Inc. All rights reserved.

３．糖尿病診療補助システム
３-１．システム実装状況：追加機能について

２）アバターコメント編集機能①医療機関側にて患者個人の特性に合わせたコメントを登録

秘②登録されたコメントは、患者アプリのアバターが伝達

14©️2022 BIPROGY Inc. All rights reserved.

３．糖尿病診療補助システム
３-２．臨床現場での利用状況：第1回実証実験結果について
日本医師会からのご紹介のもと、日本医師会J－DOME※1参画の3医療機関（8患者）にてシステムの実証実施。
以下の結果となり、現場より特にデータ記録率を高く評価頂き、規模を広げた第２回実証を進めることを確認。
＜第1回実証結果サマリー＞〇データ収集：【実証全体の記録率】バイタルデータ：44.8% 、食事記録：76.4%【実証中の記録継続】約2週間の試用における各週の登録率の平均［バイタル］1週目：40.3% 、2週目：51.4%［食事］1週目：76.7%、2週目：75.8%〇知識向上 ：【食事管理】全8患者中6名が知識向上と回答。
【自覚症状】全8患者中4名が知識向上と回答。
〇モチベーション向上：全8患者中4名がモチベーション向上と回答。
＜データ収集結果詳細＞
バイタル記録全体
記録率項目

登録機会※2

登録実績※3記録率項目

登録機会※1

登録実績

記録率

血圧
血糖値
体重歩数
睡眠

88回
88回
88回
88回
88回

49回
52回
46回
24回
26回

55.7％
59.1％
52.3％
27.3％
29.5％

朝食
昼食
夕食

86回
86回
86回

67回
66回
64回

77.9％
76.7％
74.4％

(間食)

ー

23回

ー

Total

440回

197回

44.8％

Total
間食除く

258回

197回

76.4％

100.0%

記録率
推移

食事記録

2週目記録率平均：51.4%

100.0%

1週目記録率平均：40.3%

50.0%

50.0%

0.0%

0.0%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1週目記録率平均：76.7%

2週目記録率平均：75.8%

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15※１：日本医師会 かかりつけ医 診療データベース研究事業※2：患者の実証参加日数の総計。 ※3：患者の実証参加日の内、1回でもデータが登録された日数をカウント。 (1日に複数回のデータ登録があったとしても1回としてカウント)秘15©️2022 BIPROGY Inc. All rights reserved.

３．糖尿病診療補助システム
３-２．臨床現場での利用状況：第2回実証実験について
第2回実証実験は 2022/11~2023/2末の期間でJ-DOME紹介の計5医療機関（25患者）を対象に実施中。
システムの効果のみならず、医療機関・患者における受容性（購買意欲）も含めて検証を行う計画。

＜第2回実証計画概要＞
目的

患者のデータ記録に対するシステムの有用性及び、医療機関・患者におけるシステム受容性の検証

検証項目①システムの有用性（データ記録率）②医療機関・患者におけるシステム購買意欲③受容性向上のための改善点

検証方法

一定期間（最短：1か月）2型糖尿病患者にシステムのプロトタイプを貸し出し、期間終了後に検証項目①～③について、以下の方法にて検証する。
〇対患者
・①：実際の記録内容確認
・②、③：アンケート、インタビュー実施〇対医療機関・①～③：担当医師へのインタビュー実施

研究期間

2022年11月8日～2023年2月28日

目標症例数

医療機関：5施設 患者：25名

秘16©️2022 BIPROGY Inc. All rights reserved.

４．社会実装に向けた進捗状況
いずれのソリューションも日本医師会AIホスピタル推進センター・医療AIプラットフォーム技術研究組合(HAIP)が共同で進めるAIプラットフォーム上で展開予定。AIプラットフォーム搭載についてHAIPと合意し搭載準備中。
■AIプラットフォーム概要図※医療AIプラットフォーム技術研究組合Webサイトより引用（https://haip-cip.org/service/）

DrアバターによるIC支援秘カルテ音声入力

糖尿病診療補助17©️2022 BIPROGY Inc. All rights reserved.