公立はこだて未来大学 2018 年度 システム情報科学実習
グループ報告書
Future University Hakodate 2018 System Information Science
Practice
Group Report
プロジェクト名IoT と AI で医療・ヘルスケア環境をデザインしよう
Project Name
Design medical care， health care environment by IoT and AI
グループ名/ Group Name
グループ B/Group B
プロジェクト番号/Project No.
20-B
プロジェクトリーダ/Project Leader
1016071 松田栞 Shiori Matsuda
グループリーダ/Group Leader
1016057 安藤魁将 Kaisho Ando
グループメンバ/Group Member
1016057 安藤魁将 Kaisho Ando
1016171 伊藤亜季人 Akito Ito1016021 飯田暁成 Akinari Iida
1016005 大崎隼平 Shunpei Osaki
指導教員
藤野雄一 佐藤生馬 南部美砂子 松原克弥
AdvisorYuichi Fujino Ikuma Sato Misako Nambu Katsuya Matsubara
提出日2019 年 1 月 16 日
Date of Submission
December 16，2019

Design medical care， health care environment by IoT and AI

概要
現在の日本における医療には，高齢化による介護需要の増加，病院と医師の偏在，生活習慣病患者の増加，リハビリ難民の発生などの課題があげられる．これらを解決するためには医療分野に情報処理技術を適用し，医療の効率化，質の向上をすることが求められる．本プロジェクトは，現在の医療現場，モバイルヘルスの状況から，問題，課題を発見し，IoT，AI を用いた解決策を提案することを目的とする．また，この目的を実現する過程として，問題発見能力，分析能力，プレゼンテーション能力を養うことも目的の一部である．その第一歩として，医療問題に関する文献調査を行い，医療現場の現状把握，問題の発見，分析をし，IoT，AI を用いた解決策を提案した．その後，提案別にグループを A,B,C,D にわけ，グループワーク，フィールドワー
ク，教員からのフィードバックを繰り返し行い，テーマ設定を行った．その結果，テーマは以下のように設定した．
・自主的リハビリ支援
・認知症患者へのコミュニケーション支援
・Virtual Pet による入院患児支援・心身の疲労度の可視化
後期では以上の提案の実現を目指し活動を行なう．
(＊文責：松田栞)

Group Report of 2018 SISP

1Group Number 20-B

Design medical care， health care environment by IoT and AI

Abstract(※Responsibility for wording：) Japan has some medical problems such asincrease of nursing demand, the maldistribution of hospitals and doctors, increaseof patients who suffer from lifestyle diseases and occurrence of patients who could
not be taken enough rehabilitation. Medical efficiency and improvement in thequality of medical should apply the ICTs to solve these problems. The purposes ofour project team is discovering some problems from a mobile-health point of viewand suggesting some solutions using AI and IoT. In addition, following things arealso our purposes, cultivating our abilities such as discovering problems, analysis
and presentation abilities. At First, we researched some books about medical andhealth-care fields, and understood the present situation. Further, we discovered,proved the problems and proposed some solutions using AI and IoT. After that, we
gathered these problems and grouped similar solutions for A, B, C or D. We
carried out same workflows in these groups about solutions, went out to field works
and received some feedbacks from teachers and medical relations. The last, we
decided our four topics as follows.
・Voluntary rehabilitation support
・Communication support for doctors and dementia patients
・Child patient support by virtual pet
・Visualize physical point
Our goal in the second semester is achieving the solutions.
(※Responsibility for wording：Shiori Matsuda)Group Report of 2018 SISP

2Group Number 20-B

Design medical care， health care environment by IoT and AI

目次
第 1 章 本プロジェクトの背景 .............................. 5
1.1 ⽇本の医療問題とその動向 ......................................................................... 5
1.2 ⽬的 .......................................................................................................... 7
1.3 課題設定 ................................................................................................... 7
1.3.1 環境問題について，プレゼンテーション ............................................... 7
1.3.2 グルーピング....................................................................................... 7
1.4 テーマ設定 ................................................................................................ 8
1.5 ロゴ .......................................................................................................... 8

第2章
2.1
2.2
2.3
2.4
2.5
2.6

本グループの課題とその背景 ...................... 10

認知症患者の増加とその症状 .................................................................... 10
認知症患者とのコミュニケーション .......................................................... 10
認知症患者の医療同意 .............................................................................. 10
認知症に関する取り組み........................................................................... 11
コミュニケーション⽀援の事例................................................................. 11
提案 ........................................................................................................ 11

第3章

本グループの提案 ................................ 13

3.1 本グループの⽬的 .................................................................................... 13
3.2 提案システムの概要 ................................................................................. 13
3.3 要求仕様 ................................................................................................. 13
3.4 要件定義 ................................................................................................. 13
3.5 システムの詳細........................................................................................ 13
3.5.1 困惑度推定手法...................................................................................13
3.6 機能の詳細 .............................................................................................. 14
3.7 顔の画像データ取得⽅法........................................................................... 14
3.8 深層学習 ................................................................................................. 14
3.8.1 学習に用いた画像データ .....................................................................143.8.2 深層学習の結果 ..................................................................................15
3.8,3 結果についての考察 ............................................................................15

第4章
4.1

開発成果物「CVS」................................................................................... 16

第5章
5.1
5.2

開発成果物の評価と考察 .......................... 17

評価 ........................................................................................................ 17
考察 ........................................................................................................ 17

第6章
6.1
6.2

開発成果 ........................................ 16

課題解決のプロセス .............................. 18

グループ作成 ........................................................................................... 18
認知症に関する基礎知識の習得................................................................. 18Group Report of 2018 SISP

3Group Number 20-B

Design medical care， health care environment by IoT and AI

6.3 グループホームにしぼり神⼭の訪問 .......................................................... 19
6.3.1 訪問の概要 .........................................................................................19
6.3.2 訪問で明らかになった点． ..................................................................19
6.3.4 考察 ...................................................................................................20
6.4 京都府⽴医科⼤学成本教授との⾯談 .......................................................... 20
6.5 ポスターの作成........................................................................................ 20
6.6 中間発表 ................................................................................................. 20
6.6.1 発表方法 ............................................................................................21
6.6.2 評価シートの内容 ...............................................................................21
6.6.3 評価シートの結果 ...............................................................................21
6.6.4 考察 ...................................................................................................22
6.7 病院発表 ................................................................................................. 22
6.7.1 市立函館病院での発表会 .....................................................................22
6.7.2 高橋病院での報告会 ............................................................................23
6.8 学習⽤データ取得実験 .............................................................................. 24
6.9 成果発表会 .............................................................................................. 25
6.9.1 概要 ...................................................................................................25
6.9.2 ポスターの作成 ..................................................................................25
6.9.3 学内での成果発表会 ............................................................................28
6.9.4 発表方法 ............................................................................................28
6.9.5 評価シートの内容 ...............................................................................28
6.9.6 評価シートの結果 ...............................................................................28
6.9.7 考察 ...................................................................................................29

第7章
7.1
7.2
7.3
7.4

各メンバの役割と活動の振り返り ................... 30

安藤魁将の活動内容 ................................................................................. 30
伊藤亜季⼈の活動内容 .............................................................................. 31
飯⽥暁成の活動内容 ................................................................................. 31
⼤崎隼平の活動内容 ................................................................................. 33

第8章

活動のまとめ及び今後の展望 ...................... 35[引用文献] .............................................. 36Group Report of 2018 SISP

4Group Number 20-B

Design medical care， health care environment by IoT and AI

第 1 章 本プロジェクトの背景
現在，日本は高齢化に伴い，様々な医療問題を抱えている．そこで，高齢化社会に伴う諸問題を解決するための第 1 歩として各々で課題を抽出した．そしてこれらの課題に対してグルーピングを行い，解決策の提案を行った．また，医療プロジェ
クトがチームとして活動するためにロゴ選定，作成を行った．
(※文責：松田栞)

1.1

日本の医療問題とその動向

現在日本の医療は，高齢化社会，病院と医師の偏在，生活習慣病，リハビリ難民などの様々な問題を抱えている．これらの問題を解決するには，IT 機器や ICT を活用して医療の効率化，質の向上を行なうことが重要であると考えられる．
日本では，総人口に対する 65 歳以上の人口の割合が年々増えている [1]影響で，要介護者の人口が増え，介護需要が増加している（図 1－1）．また，高齢化に伴い認知症患者の増加が著しく，介護需要の増加により介護職員の人員不足が起きている．日本の認知症患者数は 2012 年時点で約 462 万人，65 歳以上の高齢者の約７人に１人の割合である．2025 年には，認知症患者数は 700 万人前後に達し，65 歳以上の高齢者の約５人に１人を占める見込みである [2]．また，介護事務所における「従業員の過不足」に関する調査結果では，人材が「不足」と回答している割合は2009 年から右肩上がりに増加しており，2016 年の回答では全体の 62.6％が不足であると感じている [3]．このように，増加の一途をたどる認知症患者への支援や対応が必要である．
(※文責：松田栞)
30%
25%
20%
15%
10%
5%
0%
1995年

2000年

2005年

2010年

2015年

図 1- 1 : 日本の総人口に対する高齢者(65 歳以上)の割合
現在の日本では高齢化問題に加え，地域の医療格差も問題となっている．平成 28
年の医師調査 [4]によると，都道府県（従業地）別の医療施設に従事する人口 10 万
対医師数を最も多い県と最も少ない県で比べると 155.8 人もの差がある．そして，主たる診療所が小児科の人口 10 万対医師数を最も多い県と少ない県で比べると77.7 人の差がある [4]．また，都道府県別の人口 10 万対病院病床数を最も多い県とGroup Report of 2018 SISP

5Group Number 20-B

Design medical care， health care environment by IoT and AI

最も少ない県で比べると「全床数」は 3.1 倍，「一般病床数」は 2.2 倍となっている [5]．以上のことより，現在の日本では地域ごとの医師数の差や病床数の差などのように，地域間での医療格差が起きており，この問題は今後解決する必要がある．
(※文責：鶴田直也)
生活習慣病は，今や健康長寿の最大の阻害要因となるだけでなく，国民医療費にも大きく影響を与えている [6]．厚生労働省より発表された平成 26 年度の厚生労働白書 [7]では，生活習慣病と部類される数種の病気が死因の 5 割強，医療費の 4 割弱を占めていることがわかる（図 1‐2）．このことから，生活習慣病の予防改善
が，健康寿命のさらなる伸長や医療費問題の改善に必要である．また JPALD(日本
生活習慣病予防会)による「2010 年国民健康・栄養調査結果の概要」(厚労省)に基づ
く 2012 年の調査では，糖尿病や高血圧症および脂質異常症などの生活習慣病をもつ人の割合は 40 歳以降に男女とも増加する傾向にあると報告されている [8]．よって，40 代前後での生活習慣病予防が，上述した医療問題の解決に重要である．
(※文責：松本大知)

図 1- 2 : 死因と医療における生活習慣病の占める割合
近年，日本では”リハビリ難民”という言葉をよく聞く．リハビリ難民とは，十分なリハビリを受けることのできない患者のことを指す．2006 年 4 月に，厚生労働省
は診療報酬改定によりリハビリ期間を最大 180 日に制限した [9]．これは，長期間にわたって，効果が明らかでないリハビリ医療が行われている場合があったためである．さらに 2008 年 10 月からは入院後 6 カ月以内に退院する患者が 6 割を下回る
病院への診療報酬が大幅に引き下げられた [10]．これにより，重症患者の受け入れを断る病院が増えた [11]．これらのことから，リハビリが不十分なままであっても，退院させなければならないという現状が問題となっている．この問題を解決するために，リハビリ患者の症状改善の促進が必要とされる．
以上の問題を解決するために，日本の医療現場には医療の効率化，質の向上が必要とされる．その手段として，IT 機器および ICT の導入が挙げられるが，日本ではGroup Report of 2018 SISP

6Group Number 20-B

Design medical care， health care environment by IoT and AI

それらの導入が満足にされていない現状から，2013 年に世界最先端 IT 国家宣言が行われた．また，今年の世界最先端 IT 国家宣言の変更により，ますます IT の導入が盛んになるであろうと考えられている [12]．IT 機器の導入の 1 例として，介護職員が行なう記録業務を，タブレットを用いて業務の効率化を図る『絆(高齢者介護システム)』がある [13]．これは特別養護老人ホームが採用した，内田洋行 IT ソリューションズがシステム開発を行った業務システムである．しかし，現状では賛否両論があり，操作が複雑であると感じる職員も多く，改善の必要がある．このように，医療現場から課題や問題を発見し，現場に即した改善や解決をしていくことが，これからの医療には必要である．
(※文責：松田栞)

1.2

目的本プロジェクトの目的は，現在の医療現場，モバイルヘルス状況から，問題，課題を発見し，IoT・AI を用いた解決策を提案することである．また，その活動を通して，問題発見能力，分析能力を養うこと，技術力，企画力などの実践的な能力を身に付けることなども望まれる．具体的には，文献，論文，Web サイトからの調査，フィールドワークなどを行い，問題発見，分析し，IT による効率的かつ効果的な解決策を提案する．
(※文責：松田栞)

1.3

課題設定

1.3.1

環境問題について，プレゼンテーション

本プロジェクトでは，日本の医療問題に対する解決策の提案を検討するために，自分の興味がある医療分野に関して文献，論文，Web サイトから調査し，状況把握，問題発見，分析を行い，問題の解決策，それに伴う効果について 1 人 5分間のプレゼンテーションを 2 回にわたって行った．第 1 回目のプレゼンテーシ
ョンでは，「AED」，「新人看護師支援」，「リハビリ支援」，「認知症」等のテーマがあげられた．プレゼンテーション後，教員とメンバからフィードバック得た．そのフィードバックを踏まえ，再調査，スライドの修正を行った．第 2 回目のプレゼンテーションでは，1 回目のテーマを掘り下げた者，全く新しいテーマを提案した者がいた．新たなテーマとして，「ヘルスケア」，「保育士支援」「糖尿病」などがあげられた．
(※文責：松田栞)

1.3.2

グルーピング個人の調査から提案されたテーマを書き出し，大まかな分野に分け，各自が興味のある分野に分かれるという形式でグルーピングを行った．その結果，「リハビリ」，「AED」，「看護師」，「体力」の 4 グループに分けられた．各グループ
でテーマに関する調査，教員を交えてのディスカッションを 1 カ月程度行い，それぞれのテーマを設定した．
(※文責：松田栞)

Group Report of 2018 SISP

7Group Number 20-B

Design medical care， health care environment by IoT and AI

1.4

テーマ設定

各グループのテーマは以下のように設定された．
・「リハビリ」→「自主的リハビリ支援」
リハビリグループは，リハビリ患者の約 90%は 1 日のリハビリ時間が 1 時間未満
であり，その時間の少なさが問題である．そこで，患者が 1 人で行なうリハビリ(自主的リハビリ)を支援することが重要であると考えた．リハビリの現状を知るために，高橋病院でフィールドワークを行った際，理学療法士が指導する患者は自主的リハビリに対するモチベーションが低いと感じた．そこで，理学療法士が指導する患者に対象を絞った．これらより、対象者の自主的リハビリへのモチベーションを発起，維持，向上させることを目的とし，9 軸センサ，タブレットを用いた自主的リハビリ支援ツールを提案する．
(※文責：松田栞)
・「AED」→「認知症患者へのコミュニケーション支援」
AED グループとしてグルーピングを行なったが，グループで提案したシステムは既存のシステムが多くあった．このため，グループ内で討論し、テーマを変更する案がまとまり，テーマを認知症に変更した．これは，認知症をテーマにしたグルー
プが他にいないこと，グループメンバの内 2 人が認知症をテーマにしたプレゼンを行なっていたためである．そして，京都府立医科大学成本准教授による，認知症患者の医療同意の課題に関する講義を受けたことで，医師と認知症患者間のコミュニ
ケーションの困難さを感じた．そこで，グループテーマを「認知症患者へのコミュ
ニケーション支援」と設定した．
(※文責：安藤魁将)
・「看護師」→「Virtual Pet による入院患児支援」
看護師グループとしてグルーピングを行ったが，1 ヶ月間のメンバと教員でのディスカッションや市立函館病院でのフィールドワークを通して，テーマを患児支援に変更した．その後，2015 年度の医療プロジェクトで取り組まれていた長期入院患児を対象としてプレパレーションを行なうアプリケーションを多機能化，実用化したものを本グループの解決策とすると意見がまとまり，グループテーマを「Virtual
Pet による入院患児支援」と設定した．
(※文責：鶴田直也)
・「体力」→「心身の疲労度の可視化」
グルーピング後, 体力を可視化するテーマについてグループ内で再検討した. その結果“体力“という概念は, 体格, 姿勢, 筋力, パワー, 持久力などの身体的要
素と, 防衛体力などの精神的要素から構成される上, 多くの外的, 内的要因に影響されるという点であまりに抽象的であり実現に困難が生じると判断した. そこで,解決すべき医療問題を生活習慣病であると設定し, その上で何を可視化する必要があるかを検討した. 生活習慣病の原因には運動不足や食生活が挙げられるが, 精神的ストレスも一つの要因である. そこで, 可視化する体力の構成要素を運動的要因の“持久力“と, 精神的要因の“精神的ストレスに対する抵抗力(防衛体力)“と絞った. この 2 つを使用することで, 精神的ストレスによる影響を加味した運動による疲労度を数値として表現することができると考え, テーマを「心身の疲労度の可視化」と改めた．
(※文責：松本大知)

1.5

ロゴ

Group Report of 2018 SISP

8Group Number 20-B

Design medical care， health care environment by IoT and AI

本プロジェクトではポスターに挿入するロゴの作成・選定を行なった．ロゴを作成する目的は，病院関係者や医療従事者の方々に本学の医療プロジェクトのイメー
ジを視覚的に持ってもらうことである．作成するにあたり 1 人 1 案以上発表し，生徒間で 3 案に絞った．その後，情報デザインコースの姜准教授に評価していただき
フィードバックをいただいた上で，3 案をブラッシュアップした．ブラッシュアッ
プした 3 案から 1 案を生徒間で選定し，この案を教員に提案し，フィードバックを得た．そして絞られた 1 案をブラッシュアップして図 1‐3 のロゴが完成した．
(※文責：谷誠人)

図 1- 3 : ロゴ決定案

Group Report of 2018 SISP

9Group Number 20-B

Design medical care， health care environment by IoT and AI

第2章
2.1

本グループの課題とその背景

認知症患者の増加とその症状

社会の高齢化に伴い，認知症患者数は増加傾向にある．2012 年の認知症患者数は462 万人で，高齢者の 7 人に 1 人が認知症となっている．2025 年には，認知症患者数
は約 700 万人にまで増加し，高齢者の 5 人に 1 人が認知症になると推測されている[14]．
認知症には主に 3 つの種類が存在する．アルツハイマー型認知症，レビー小体型認知症，脳血管性認知症である．ここでは認知症患者の中で 50-75％と最も割合の多い
アルツハイマー型認知症について考える．アルツハイマー型認知症は，脳にアミロイ
ド β やタウなどの特殊なたんぱく質が溜まり，神経細胞が壊れることで認知機能に障害が起こると考えられている．症状としては，大きく周辺症状と中核症状の 2 つに分けられる．周辺症状にはイライラ，興奮，暴力行為，妄想，うつなどの症状がみられる．また，中核症状には記憶障害，認知機能障害，判断力低下，時間や場所が分からなくなる，言葉を理解できないなどの症状がある [15]．これらの症状に伴い，会
話がかみ合わない，会話は成立しているように見えても実際には理解していないなど，
コミュニケーションをとることが困難となる場合がある.
（※文責：飯田暁成）

2.2

認知症患者とのコミュニケーション

2.1 で述べたように，認知症患者は他者との会話の際に，話がかみ合わない，会話は成立しているように見えても実際には理解していないことがある．特に治療のため医師に診てもらう際にコミュニケーションがうまく取れないことが多く，認知症の専門医でも，認知症患者とコミュニケーションをとることが難しいことがある．また，他の疾患で他科の医師に診てもらう際，他科の医師は，認知症の専門医以上に認知症患者とコミュニケーションをとることに不安を感じている．以上の様な状況から様々な弊害が発生する．認知症患者が治療の内容を理解しているかわからない，認知症患者が治療方針に対して，同意しているかわからないなどである．医師の治療方針の決定が困難となるため，コミュニケーションの困難は大きな問題である [16]．
（※文責：飯田暁成）

2.3

認知症患者の医療同意

認知症患者は健常者に比べて他の疾患を持ちやすく，認知症の治療以外で医療行為が行われることがある．認知症患者が受診した際に，同意能力の低下のため医療行為に関する選択を本人ができないことがある．同意能力とは，患者のインフォームド・
コンセントが有効であるために必要とされる患者の理解・判断能力である．同意能力がない患者から医療同意を得ることが難しい際には，代諾者として家族や親族に同意を求める．身寄りがない場合には，代わりに医師が治療方法を決定する．しかし，医師は認知症患者が治療方法を本当に理解できているか分からないことがある．そのため，医師は認知症患者の意思を尊重することや，希望に添った医療を提供することが難しい場合がある．このような際メッセージから治療方法を十分に理解しているかを確認したうえで，同意しているかを判断することが大切である [16]．
（※文責：飯田暁成）

Group Report of 2018 SISP

10Group Number 20-B

Design medical care， health care environment by IoT and AI

2.4

認知症に関する取り組み

5 月 18 日，京都府立医科大学成本教授と同志社女子大学日下教授による講演会に参加した．
成本教授には認知症について，認知症が進むと言葉でコミュニケーションが取れないなどの話をしていただいた．日下教授には海外での高齢者を元気にする・活性化させる具体的な活動を紹介していただいた．この講演を通して，認知症に関する知識や認知症患者への様々な取り組みについて学んだ.
2.2 のコミュニケーションの仕方や 2.3 の医療同意を支援する可能性を検討するため，6 月 20 日，函館市内にあるグループホームにて現場調査を行った．最初にグループホームの建物の構造の説明を聞き，利用者の部屋を見学した．その後，介護職員から認知症患者とコミュニケーションの際に気を付けていることや，利用者の好きなこと，苦手なことなどの話を聞いた．
介護職員はコミュニケーションに難しさを感じており，認知症患者と会話する際に否定的な発言をしないように気を付けていることが明らかになった．コミュニケーションをうまく取れず不安を感じているという意見から，介護職員の負担を軽減するために，認知症患者とのコミュニケーションを円滑にすることができるものが必要であると考えられる．
コミュニケーションを円滑に行なうための手がかりとして，我々は非言語的メッ
セージに注目した．特に，表情からどの程度困っているかを確認することが大切であると考えた．なぜなら，コミュニケーションにおける全ての印象を 100％とした
場合，表情によって伝えられる割合が約 55％であるからである[17]．
（※文責：飯田暁成）

2.5

コミュニケーション支援の事例

特定の会話エージェント [18]や特定の会話ロボット [19]などには，認知症患者とコミュニケーションを取ることが出来るシステムが報告されている．会話エージェ
ントは，相槌や頷きを返すことで，ユーザの発話を促す機能を持つアニメーションキャラクターである．認知症患者の精神安定，介護者の負担軽減を目的としている．会話ロボットは，共想法形式の会話を支援するロボットである．共想法とは会話支援手
法の 1 つである．人間が記憶をたどって，出来事とともにそのときの気持ちをよみがえらせるのを助けるというものである．しかし，これらは認知症患者と他者のコミュ
ニケーションを直接的に円滑化するものではない．
（※文責：飯田暁成）

2.6

提案

現場調査や文献調査などから，認知症患者とのコミュニケーションに難しさを感じていることが明らかになった．医療従事者と意思疎通が行えないと，適切な医療を受けられないなどの問題も生じる．現場調査の結果，介護者にとってもコミュニ
ケーションの困難は負担となっている．また，成本教授の講演から，医師は認知症患者とのコミュニケーションの困難によって，認知症患者の意思を尊重すること
や，希望に添った医療を提供することが難しいことが明らかになった．本グループ
では，特に医師と認知症患者のコミュニケーションに焦点を当てて，支援システム

Group Report of 2018 SISP

11

Group Number 20-B

Design medical care， health care environment by IoT and AIを提案することとした．
（※文責：飯田暁成）

Group Report of 2018 SISP

12Group Number 20-B

Design medical care， health care environment by IoT and AI

第3章
3.1

本グループの提案

本グループの目的

本グループの目的は，健常な高齢者の表情と困惑度（理解できずに困っている度合いとする）との関連性を明らかにし，この関連性を手掛かりとして医師と認知症
高齢者の意思疎通を円滑にすることである．
(※文責：伊藤亜季人)

3.2

提案システムの概要

システム名を CVS（Confusion Visualize System）とした．CVS ではまず，顔認識によって得られた「顔の画像データ」を抽出する．次に，抽出された「顔の画像データ」に対して困惑度の推定を行なう．困惑度は深層学習を行った学習済みモデルを使用することによって推定する．最後に，推定した困惑度を 4 段階のフェイススケールでリアルタイムに視覚化する．
(※文責：大崎隼平)

3.3

要求仕様

本提案システムは，健常な高齢者の「顔の画像データ」を取得し，困惑度を視覚化することで実現できる(※文責：伊藤亜季人)

3.4

要件定義

要求仕様を満たすために実装する機能は• 困惑度をフェイススケールを用いて視覚化することができる•

リアルタイムで困惑度を表示することができるである．
(※文責：伊藤亜季人)

3.5

システムの詳細顔認識により，「顔の画像データ」を取得する．そして，深層学習を行った学習済
みモデルから「顔の画像データ」の困惑度を推定し，4 段階のフェイススケールでリアルタイムに視覚化する．困惑度推定手法，および深層学習を行なうための「顔の画像データ」取得方法については 3.5.1，3.7 に記載する．また，深層学習の概要
については，3.8 に記載する．
（※文責：安藤魁将）

3.5.1

困惑度推定手法取得された「顔の画像データ」が，「思考中の表情」か「無表情」に分類する．
「思考中の表情」である場合，「困っていない表情」か「普通の表情」か「困ってGroup Report of 2018 SISP

13Group Number 20-B

Design medical care， health care environment by IoT and AIいる表情」に分類する．最終的に「無表情」，「困っていない表情」
，
「普通の表
情」，
「困っている表情」の 4 段階で困惑度を推定する．
(※文責：伊藤亜季人)

3.6

機能の詳細

困惑度は 4 段階のフェイススケールでリアルタイムに視覚化する．使用したフェイススケールは図 3-1 に示す（左から「無表情」，「困っていない表情」
，
「普通の表
情」，
「困っている表情」）．

図 3 - 1：4 つのフェイススケール(※文責：伊藤亜季人)

3.7

顔の画像データ取得方法

65 歳から 75 歳の実験参加者（36 名）に深層学習で用いる顔の画像データ取得実験を行った．実験参加者に 2 字熟語に関するものと，ことわざに関するものを各 10問ずつ出題した．本実験を行なう前に，2 字熟語に関する問題とことわざに関する問題を練習問題として各 1 問ずつ解いてもらった．問題が出題されてから，回答するまでの制限時間は 30 秒であった．各問題の間に「無表情」を取得するため 5 秒間のインターバルの時間を設けた．実験の際に問題について考えている時の表情をカメラで撮影した．問題の回答を口頭でしてもらった後に回答に対する 3 段階の確信度を答えてもらった．問題が提示される直前を「無表情」，回答の直前を「思考中の表情」として取得する．その後，「思考中の表情」を確信度に応じて分類した．
(※文責：大崎隼平)

3.8

深層学習

開発ツールとして比較的環境構築が容易であり使いやすいため，NVIDIA 社の「DIGITS」を用いた．ライブラリは「Caffe」を利用し，CNN アーキテクチャは「AlexNet」を用いた．
（※文責：飯田暁成）

3.8.1

学習に用いた画像データ

学習に用いる画像データとして，3.7 で記載した「顔の画像データ取得実験」
によって得た画像データを用いた．表情の特徴を捉えやすくするために，すべての画像データを顔（顎から前髪まで）の部分だけ切り抜き，顔のみの画像データを作成した．また，画像データの枚数を増やすために 4 つのフィルターをかけた．まず，「左右反転」をさせた画像を作成し，元の画像データに対して枚数を 2Group Report of 2018 SISP

14Group Number 20-B

Design medical care， health care environment by IoT and AI倍にした．次に，元の画像データと左右反転させた画像データに対して「明度0.9 倍」，「明度 1.1 倍」，「明度 1.2 倍」にした画像データを作成した．明度は現実的な明るさを考慮して数値を設定した．その結果，元の画像データに対して 8倍の画像データ数となった．識別対象クラスとしては，「無表情」，「困っている表情」，「普通の表情」，「困っていない表情」の 4 クラス分類を行なうものとした．
この 4 クラス分類については，「36 名分の画像データセット」，「1 名分の画像デー
タセット」の 2 種類に対して行なった．
(※文責：安藤魁将)

3.8.2

深層学習の結果

正確性を検証するための指標として適合率を用いた．適合率とは，結果に対して本当に正しかったものの割合を示すものである．適合率は表 3-1 と式（1）を用いて求めた．

表 3 - 1：2 値分類
正解で正真陽性
TP（True Positive）
偽陰性
FN（False Negative）

予測で正
予測で負

適合率 =

𝑇𝑃
𝑇𝑃 + 𝐹𝑃

正解で負偽陽性
FP（False positive）
真陰性
TN（True Negative）(1)「36 名分の画像データセット」で深層学習を行なった結果，困惑度推定の適合率
は 50 パーセントであったのに対し，「1 名分の画像データセット」で深層学習を行なった結果，困惑度推定の適合率は 70 パーセントであった．
(※文責：大崎隼平)

3.8,3

結果についての考察「36 名分の画像データセット」は適合率が低い結果となった．「36 名分の画像
データセット」は画像データ数が少ないため，適合率が上がらなかったと考えられる．複数人の画像データセットで深層学習の適合率を高めるためには，画像データ数を増やす必要がある．画像データ数を増やす方法として，「1 人あたりの画像データ数を増やす方法」と「顔の種類（人数）」を増やす方法が考えられる．
今回，深層学習で使用した「顔の種類（人数）」は少ないため，増やす方法として後者の方法が効果的であると推察した．しかし，画像データ数を増やすことで適合率が必ずしも上がるとは考えられない．そのため，ファインチューニング等の手法も今後検討していく必要がある．
(※文責：安藤魁将)

Group Report of 2018 SISP

15Group Number 20-B

Design medical care， health care environment by IoT and AI

第4章
4.1

開発成果

開発成果物「CVS」

本グループは，表情から困惑度を推定し，フェイススケールとして視覚化するシ
ステム「CVS」を開発した．「CVS」とは「Confusion Visualize System」の頭文字をとったものである．本システムは，多数の顔の画像データにもとづく学習モデルを利用して，高齢者の顔の画像データから困惑度を視覚化する．具体的には，カメラで高齢者の表情を認識し，その表情から困惑度を推定し，4 段階のフェイススケ
ールでリアルタイムに視覚化する．図 4-1 にシステムの実行画面を示す．
本システムを最終的に認知症高齢者に適用することで，診察の際に医師は治療方針などに対して認知症高齢者がどの程度困っているかを確認することができる．その結果，医師は認知症高齢者との意思疎通を円滑に行なうことができる．

図 4 - 1：システムの実行画面(※文責：大崎隼平)

Group Report of 2018 SISP

16

Group Number 20-B

Design medical care， health care environment by IoT and AI

第5章
5.1

開発成果物の評価と考察

評価

学内での最終成果発表会にて行ったアンケートにおいて，システムに関する評価を得た．質問項目は，「アイデアが魅力的であるか」，「システムに需要があるか」，「実用化の可能性があるか」，「将来性・発展性があるか」の 4 つであり、それぞれの項目に対し 1 点から 5 点の 5 段階評価を求めた．システムについての評
価としては，7 名から評価を得た．表 5-1 に評価点の平均値を示す．

表 5 -１：システムについての評価点の平均値
平均
アイデアが魅力的

4.43

需要がある

3.43

実用化の可能性がある

3.29

将来性・発展性がある

4.43

コメントは以下の通りである．
• システムとしての魅力は高いと思いますが，どのような形で実用するかがまた課題になりそうだと思いました．
•

技術的にはまだまだという感じです．アイデアはおもしろいのでもったいないです．

•

今後，認知症患者以外で活用できるアイデアだと思います．
(※文責：伊藤亜季人)

5.2

考察

システムについての評価として，“需要がある”，“実用化の可能性がある”という評価が低い結果となった．需要があるシステムとするために，推定の精度を向上させる必要も考えた．また，認知症高齢者へ適用する際に現在の手法をどのように応用するか，今後の課題として再検討する必要がある．
(※文責：伊藤亜季人)

Group Report of 2018 SISP

17

Group Number 20-B

Design medical care， health care environment by IoT and AI

第6章

課題解決のプロセス

本グループの課題解決のプロセスを，段階に分けて記述する．前期にはグループを作成し，書籍や現場調査から課題を見つけ解決策を提案した．まず，各人で関心のある事
柄について調査しプレゼンを行なった．その後，各人で認知症について書籍やインター
ネットを用いて知識を習得したうえで，函館市内にあるグループホームで現場調査を行った．その結果，普段から認知症患者と接している介護職員でさえ，認知症患者とコミュニケーションをとることが難しい場合があることが明らかになった．それを解決するために，医師と認知症患者のコミュニケーションを対象として，ICT を用いた支援シス
テムを開発することとなった．中間発表では，ポスターセッション形式で提案内容を説明し，評価を受けた．後期には，市立函館病院と高橋病院で発表を行なった．その後，病院での評価と中間発表の評価にもとづき開発を行なった．深層学習に用いる画像デー
タ取得のため，健常の高齢者を対象とした実験を行なった．最終成果発表は，中間発表と同様の形式で行った．
（※文責：大崎隼平）

6.1

グループ作成プロジェクトの活動の開始にあたり，グループの作成を行なった．各グループのメ
ンバーとテーマを決定するために，5 月上旬の顔合わせの後，各人が関心を持った医療現場における問題についてプレゼンテーション（以下，関心プレゼン）を行なうことになった．関心プレゼンでは「背景・問題・解決策・期待される効果」について，
教員とプロジェクトメンバーに向け 5 分間で行った．各人 2 回ずつ関心プレゼンを行
い，様々なテーマを挙げられた．その後，発表されたテーマを分類し，テーマの類似性にもとづいてグループを作成した．
（※文責：安藤魁将）

6.2

認知症に関する基礎知識の習得

本グループで取り組むテーマに関して議論を行ったが，1 人ひとりが認知症に関して十分な知識を持っていなかった．そのため，具体的なテーマを絞り込むことが出来ず，議論を発展させるのが難しいと判断した．そこで，認知症について各人が書籍・インターネットを使ってより深く調査することにした．調査結果を以下に示す．
• 認知機能の低下にともない，認知症患者は医師や看護師，介護職員との意思疎通が難しくなる• 認知症患者から医療同意を得ることが難しい
また，検討した結果を以下に示す．
• 表情と感情に着目しシステムによって理解度を確認することで，医療同意を支援することができるかもしれない• 実際に現場で認知症患者のコミュニケーションの様子を確認する必要がある
5 月 18 日には，京都府立医科大学成本教授と同志社女子大学日下教授による講演会が行われた．
成本教授には，認知症について，実際の現場の情報と専門医としての意見を講演していただいた．認知症が進むと言葉でコミュニケーションが取れない，言葉を介Group Report of 2018 SISP

18

Group Number 20-B

Design medical care， health care environment by IoT and AI

さずに気持ちを伝えられるものがあるといい，などの話しをされた．
日下教授には，海外での高齢者を元気にする・活性化させる具体的な活動を紹介していただいた．この講演を通して，認知症に関する知識や認知症患者への様々な取り組みについて学んだ.
(※文責：大崎隼平)

6.3

グループホームにしぼり神山の訪問

日時：2018 年 6 月 20 日(水)15:30～16:30にしぼり神山担当者（敬称略）：
ホーム長 介護支援専門員 関大樹
訪問者：
学生（安藤魁将，大崎隼平，飯田暁成，伊藤亜季人）
教員（南部美砂子）
所在地：
函館市神山 1 丁目 25-9 グループホームにしぼり神山
施設概要：
グループホームにしぼり神山は，平成 21 年 9 月 1 日に開設された施設であり，社会医療法人仁成会西堀病院グループのグループホームの一つである．ホームの運営理念として「入居様の尊厳を守り，安全で快適に，笑顔があふれる生活の場を提供し，一人ひとりが穏やかに過ごせるようお手伝いさせていただきます」と掲げている．にしぼり神山に入居する条件は，要支援・要介護認定 2 以上の認定を受けている，共同生活を営むことに支障がない，暴力行為・自傷行為の恐れのない，常時医療的な処置が必要ないことである．建物は，2 階層建てになっており，1 階に 9 人，2 階に 9 人，
計 18 人の方が生活をしている．グループホームにしぼり神山のほか，介護相談セン
ター西堀，グループホームにしぼりを併設している．協力医療機関としては，西堀病院，富田病院，吉田眼科病院，やなせ皮膚科クリニック，函館協会病院がある．
（※文責：飯田暁成）

6.3.1

訪問の概要

2018 年 6 月 20 日(水)に 15:30～16:30 にかけてグループホームにしぼり神山に現場調査を行った．初めにグループホームにしぼりの建物の構造について教えていただいた．その際，入居者の部屋の一部を見学することが出来た．その後，認知症患者を介護するにあたり，どのような点に気を付けているのか，施設ではどのような取り組みを行っているかを伺った．介護にあたり気を付けている点や，施設で行っている取り組み内容について後述する．
(※文責：伊藤亜季人)

6.3.2

訪問で明らかになった点．

施設について• 建物の様々な場所に入居者の写真が掲示してあった• トイレやお風呂場にいつでも介護職員が駆けつけることができるように，呼び出しボタンがあったGroup Report of 2018 SISP

19

Group Number 20-B

Design medical care， health care environment by IoT and AI

入居者について• 介護職員は，利用者と話す際，否定的な発言をしない様に心掛けていた• 利用者の様子をすぐに確認できるように，部屋のドアを少し開けていた• 利用者の中には，新聞の文字を読むことができる人，話すことが好きな人がいた(※文責：大崎隼平)

6.3.4

考察

現場調査を行った結果，グループホームの介護職員は認知症患者とのコミュニケーションに私たちが考えていた以上に気をつけていることが明らかになった．これ
らの結果から，認知症患者とのコミュニケーションを容易にするための方法について，グループ内で話し合う必要があると考えた．
(※文責：安藤魁将)

6.4

京都府立医科大学成本教授との面談

認知症の専門医であり，認知症の臨床研究をされている成本教授と，7 月 6 日に，Skype を用いての面談を 30 分程度行った．CVS ついて概要を説明し，いただいた意見を以下に示す．
• 健常者に適用できるシステムを認知症患者にそのまま適用することは難しい• 認知症患者と経験的知識のない人（日常的に認知症患者と関わりのない人）のコミュニケーション支援には需要がある• 医療現場での使⽤は難しいが，経験的知識のない医療従事者のトレーニングに使うことができるかもしれない（※⽂責：伊藤亜季⼈）

6.5

ポスターの作成

中間発表のポスターを作成した．はじめに，プロジェクト全体でポスターの構成を統一するため雛形を作成し，その後グループで背景，提案，今後の予定の内容を分担して作成した．各人が作成した内容をまとめ，担当教員に添削を依頼し，改訂するという作業を何度か繰り返した．
(※文責：安藤魁将)

6.6

中間発表

日時：
2018 年 7 月 13 日（金）15:20～17:30
場所：
公立はこだて未来大学 1 階 プレゼンテーションベイ
内容：
本グループのメンバーを 2 つに分け，他プロジェクトの発表評価及び本グループ
発表を各班に割り当てて，中間発表を行った．前半，後半で割り当てを交代し，他
プロジェクトの発表評価及び本グループの発表を行った．

Group Report of 2018 SISP

20Group Number 20-B

Design medical care， health care environment by IoT and AI(※文責：飯田暁成)

6.6.1

発表方法

プロジェクト全体の概要をスライドで説明した後，各グループのポスターを同時並行で発表した．来訪者には評価シートを配布し，ポスターの説明を受けたグルー
プの評価をしてもらった．
(※文責：大崎隼平)

6.6.2

評価シートの内容

中間発表では，評価シートを用いてアンケート調査を実施した．評価シートは A4
用紙両面に評価項目をまとめ，各グループでの発表前に配布し，発表が終わり次第回収した．評価項目は，「プロジェクトの内容を伝えるために効果的な発表が行われていたか」という発表技術の 10 段階評価と．「ポスターのデザインが良いか」，「内容を理解しやすいか」というポスターについての各項目 5 段階評価と，「アイデアが魅力的であるか」，「システムに需要があるか」，「実用化の可能性があるか」，「将来性・発展性があるか」というシステムについての各項目 5 段階での評価であった．これらの評価の具体的な理由を把握するために，コメントを記述する欄を設けた．回収した評価シートは全体で 73 枚，そのうち認知症グループに関するものは 12 枚であった．
（※文責：安藤魁将）

6.6.3

評価シートの結果

発表技術とポスター，システムについての評価の集計を行なった．学生，教職員に評価シートを記入してもらい，本グループは計 12 名から回答を得たが，システムの評価に関しては 8 名のみであった．
発表技術については，12 名から評価を得た．平均評価点は 10 点中 7.83 点であった．以下にコメントを示す．
• スライドもポスターもわかりやすいものだった• ポスターが⾒やすかった• 発表だけでは不明点があった• あまり聴衆を⾒て発表していなかったシステムについては，8 名から評価を得た．表 6-1 に評価点の平均値を示す．

表 6 - 1：システムについての評価点の平均値
平均Group Report of 2018 SISP

21

Group Number 20-B

Design medical care， health care environment by IoT and AI

アイデアが魅力的

4.25

需要がある

4.25

実用化の可能性がある

3.25

将来性・発展性がある

3.88

以下にコメントを示す．
••••

実⽤化できれば魅⼒的であると感じた
認知症患者以外にも発展できるシステムであると感じる
表情や感情だけではなく，声のトーンからも判断することを考えてもいいと思う
理解度を可視化できればニーズがあると思った（※文責：伊藤亜季人）

6.6.4

考察

まず，発表技術の評価にもとづく反省点として，聴衆に気を配りながら説明する
技術が足りないことが挙げられる．特に「発表だけでは不明点があった」というコ
メントは，聴衆に気を配りながら，発表の内容を相手の反応に応じて調整できていなかったことが原因と考えられ，発表の練習不足を実感した．
システムの評価にもとづく反省点として，実用化の可能性が低い点があげられる。
実用化に向けてどのような手法を提案するか，検討する必要がある．
「表情や感情だけではなく，声のトーンからも判断することを考えてもいいと思う」というコメントは，今後取り入れる機能として検討する．
（※文責：飯田暁成）

6.7

病院発表

6.7.1

市立函館病院での発表会

日時：2018 年 10 月 1 日（月）15:00～16:00
場所：
市立函館病院
施設概要（病院 HP 参照）：
市立函館病院は，北海道函館市にある公立の病院である．1860 年の「箱舘医学書」からはじまり，2010 年で 150 年の歴史のある北海道の基幹病院である．救急救命をはじめ，各種内科，外科，リハビリテーション科から薬局まで，全 30 科を診療科目としている．総病床数は 648 床で，救命救急センター，エイズ診療拠点
病院，地方・地域センター病院，臨床研修病院，災害拠点病院，臓器提供施設，
地域がん診療連携拠点病院の機関指定となっている．2015 年にはドクターヘリをGroup Report of 2018 SISP

22

Group Number 20-B

Design medical care， health care environment by IoT and AI

導入しており，主な施設としては，人工腎臓センター(30 床)，リハビリセンター，ECU(26 床)，ICU・CCU(8 床)，健診センター，屋上へリポート，NICU，
輸血細胞治療センターを有している．2007 年に地域がん診療連携拠点病院に指定され，全国で 286 施設，北海道内 10 施設，道南地域では初めての指定であった．
地域ごとに拠点病院を指定することは，国が目指すがん医療の均てん化に向けての中心的な取り組みである．主な役割として，自らが専門的ながん医療の提供等を行なうこと，地域の医療機関の情報を把握し，連携の拠点として地域におけるがん医療提供体制の構築に寄与すること，地域の医療機関の医療従事者に対する研修を実施し，地域のがん医療を支える人材を育成することである．そのために，地域におけるがん治療体制の確立や地域医療従事者に対する研修を行っている.
発表方法：
全体発表にて概要を説明し，個別発表にてポスターセッションの形式で意見交換を行った．全体発表では，はじめにプロジェクトリーダーが活動の概要を説明し，続いてグループリーダーが成果物の概要を説明した．個別発表では，8 分間を１セッションとして，合計 3 セッション行った．ポスターを用いて成果物の説明を行い，医療従事者の方々からコメントを得た.
結果：
今回の報告会では，医療従事者の方々から，私たちの提案についてコメントを得た．提案について，「バイタルと組み合わせて使うとなにか変化がみられるかも」，「高齢者から認知症患者への段階が難しいのではないか」，「介護現場で使用するなら可能性がありそう」とのコメントを得た．
(※文責：安藤魁将)

6.7.2

高橋病院での報告会

日時：2018 年 10 月 5 日（金）16：00〜17：00

場所：

高橋病院
施設概要（病院 HP 参照）：

函館湾に面した観光スポットである元町に在している．一般病棟，回復期リハ
ビリテーション病棟，介護治養病棟で構成されており，内科，循環器内科，消化器内科，糖尿病・代謝内科，整形外科，リハビリテーション科，呼吸器内科，内視鏡内科，呼吸器リハビリテーション科を診療科目としている．法人施設内外の継ぎ目のないネットワーク構築や，患者サービス向上の手段として ICT 技術の導入，活用を積極的に進めており，医療の効率性，安全性，質の向上に活用している．具体的には，電子カルテ，看護支援システム，医事会計システム，画像診断システム，統計システム，Web カルテ，ベッドサイドシステムが挙げられる．
Group Report of 2018 SISP

23

Group Number 20-B

Design medical care， health care environment by IoT and AI

発表方法：
全体発表にて概要を説明し，個別発表にてポスターセッションの形式で意見交換を行った．全体発表では，はじめにプロジェクトリーダーが活動の概要を説明し，続いてグループリーダーが成果物の概要を説明した．個別発表では，8 分間を１セッションとして，合計 3 セッション行った．ポスターを用いて成果物の説明を行い，医療従事者の方々からコメントを得た.
結果：
今回の報告会では，看護師の方々から，私たちの提案についてコメントを得た．提案について，「得られたデータを保存して後日みることができるシステムだといい」，「難聴の人向けの認知症の検査に使えるシステムにすればいい」，「患者さんの顔を撮影する時，患者さんの家族が嫌がる可能性がある」とのコメントを得た．
(※文責：安藤魁将)

6.8

学習用データ取得実験

日時：2018 年 11 月 28 日（木）9：00~16：30
2018 年 11 月 29 日（金）9：00~16：30
場所：
函館市総合福祉センター３階会議室
実験概要：
いくつかの問題を提示し，それについて考えている時の「顔の画像データ」を，パソコンの Web カメラを用いて撮影した．
実験担当者：
安藤魁将，伊藤亜季人，飯田暁成，大崎隼平
実験参加者：
シルバー人材センターから派遣された高齢者 36 名(男性 18 名，女性 18 名，65〜
75 歳)を対象に行なった。実験参加者には謝金が支払われた．
実験方法：
実験は，30 名程度収容可能な会議室で行なった．会議室内の両角 2 カ所で 2 名同時に 30 分程度，それぞれの干渉はない状況で行なった．また太陽光を考慮し，サンシェ
ードを閉め切った状況で行なった．1 回の実験で約 20 問の質問項目などが PC で表示され，同時に Web カメラで実験参加者の顔を撮影する．また，問題は口頭で回答してもらった．実験には実験実施者が 2 名付き添い，手順，解答方法などを説明した後，実験を行なった．実験時の質問などには実験実施者が適宜対応した．
(※文責：伊藤亜季人)

Group Report of 2018 SISP

24

Group Number 20-B

Design medical care， health care environment by IoT and AI

6.9

成果発表会

6.9.1

概要

学内での成果発表会に向けてポスターの制作を行った．
(※文責：大崎隼平)

6.9.2

ポスターの作成

学内の成果発表会及び，外部での報告会で使用することを目的とし，本グループの提案方法と CVS の機能を簡潔に表すポスターを作成した．初めに，プロジェクト全体でポスターの構成を統一するため雛形を作成し，その後グループ内で背景，提案，今後の予定の内容を分担して作成した．各人作成した内容をまとめ，担当教員に添削を依頼し，改訂するという作業を何度か繰り返した．作成したポスターを図
6-1，図 6-2 に示す．
(※文責：大崎隼平)

Group Report of 2018 SISP

25

Group Number 20-B

Design medical care， health care environment by IoT and AI@FUN

MED CAL安藤 魁将 伊藤 亜季人 大崎 隼平 飯田 暁成

GroupB
背景

認知症高齢者は様々な疾患で他科を受診することがある

Akito Ito

Kaisho Ando?

Shunpei Osaki

Akinari Iida?
医師は認知症高齢者が認知症高齢者は困っていることを

認知機能の低下によって表情の変化が乏しい状態

治療方針を理解できないから読み取る必要がある

ことがある

医師は認知症高齢者が困っているかを読み取
りにくいため意思疎通できていないことがある

解決策！
認知症高齢者の表情からどの程度困っているかを視覚化する

健常な高齢者の表情と、どの程度困っているかの

この関連性を認知症高齢者の表情分析

関連性を明らかにするにおける手がかりとする

最終的に医師は認知症高齢者と意思疎通が円滑にできる

図 6 – 1：ポスター1

Group Report of 2018 SISP

26

Group Number 20-B

Design medical care， health care environment by IoT and AI

図 6 – 2 ：ポスター2

Group Report of 2018 SISP

27

Group Number 20-B

Design medical care， health care environment by IoT and AI

6.9.3

学内での成果発表会

日時：2018 年 12 月 7 日（金）15：20〜17：30
場所：

公立はこだて未来大学 1 階プレゼンテーションベイ
目的：

本グループの提案について教員，学生，一般の方々にむけてポスターセッショ
ンの発表を行い，提案の改善につながるコメントとアドバイスを得ることを目的とした.
(※文責：大崎隼平)

6.9.4

発表方法

プロジェクト全体の概要をスライドで説明した後，各グループのポスターを同時並行で発表した．来訪者には評価シートを配布し，ポスターの説明を受けたグルー
プの評価を得た．
(※文責：大崎隼平)

6.9.5

評価シートの内容

成果発表会では，評価シートを用いてアンケート調査を実施した．評価シートは
A4 用紙両面に評価項目をまとめ，各グループでの発表前に配布し，発表が終わり次第回収した．評価項目は，「プロジェクトの内容を伝えるために効果的な発表が行われていたか」という発表技術の 10 段階評価と．「ポスターのデザインが良いか」，「内容を理解しやすいか」というポスターについての各項目 5 段階評価と，「アイデアが魅力的であるか」，「システムに需要があるか」，「実用化の可能性があるか」，「将来性・発展性があるか」というシステムについての各項目 5 段階での評価であった．これらの評価の具体的な理由を把握するために，コメントを記述する欄を設けた．回収した評価シートは全体で 72 枚で，そのうち認知症グループに関するものは 12 枚であった．
(※文責：大崎隼平)

6.9.6

評価シートの結果

発表技術の評価とポスターについての評価の集計を行なった．学生，教職員に評価シートを記入してもらい，計 12 名から回答を得た．その結果，平均評価点数
は 10 点中 8.27 点であった．以下にコメントを示す．
•

発表内容もよく伝えられており，全体を通して非常に分かりやすかった．

•

順序立てられており，理解しやすい．

•

背景と解決策がわかりやすく説明されていた．

•

声が大きく，ゆっくりとした話し方で聞き取りやすかった．ちょっと間が長Group Report of 2018 SISP

28

Group Number 20-B

Design medical care， health care environment by IoT and AI

かったのが少し気になった．
(※文責：安藤魁将)

6.9.7

考察

まず，発表技術についての評価では発表方法等に対して肯定的な意見が多く得られた．中間発表の評価を改善できた結果，このような評価に繋がったと考えられる．
(※文責：安藤魁将)

Group Report of 2018 SISP

29

Group Number 20-B

Design medical care， health care environment by IoT and AI

第7章
7.1

各メンバの役割と活動の振り返り

安藤魁将の活動内容

5月
始めに第 1 回関心プレゼンを行い，認知症患者について調査し，認知症患者の活
動意欲の低下の問題について，日記アプリで活動意欲を高めるシステムを提案した．その後，自分の提案について再検討した上で，外部講師である成本教授の講演を受けた後に，成本教授に関心プレゼンを行った．その後第 2 回関心プレゼンを行った．
6月
ロゴの作成とグルーピングを並行して行い，「認知症グループ」に所属した．認知症に関する資料を読みこみ，グループ内で関心プレゼンを行った結果，「医療同意の支援」について進めて行く方針となった．中盤ではグループホームを訪問し，実際の現場での認知症患者とのコミュニケーションについて調査した．終盤にかけては，システムの詳細を決め，中間発表の準備に取り組んだ．毎週，進捗報告と教員からのレビューも行われた．
7月
中間発表に向けた準備として，スライドとポスターの作成を行った．その後，中間発表の際に予想される質問の回答を作成した．中間発表当日は，ポスターの説明と質疑応答を担当した．
8月

開発に使用する言語として Python の学習を始め，参考書を用いて知識を習得した．またチーム開発を学ぶため，ハッカソンに参加し経験を積んだ．
9月

楽天生命保険株式会社にて 4 週間のインターンシップに参加し，要件定義からテ
スト工程まで経験した．
10 月

市立函館病院，社会医療法人高橋病院での中間報告会を行なった．そこで提案に対して医療従事者としての意見や評価をいただいた．また，深層学習環境の構築を始め，手法等を参考書を用いて学んだ．同時に学習データ取得実験を行なうため，実験に用いる問題の作成と実験手続きの検討を他のメンバーとともに行なった．
11 月

10 月に続き深層学習の手法を勉強し，猫の画像データセットを使用して猫の種類の推定を行なうことに成功した．さらに，高齢者の表情推定の前段階として，プロ
ジェクトメンバー15 名の顔画像を取得して深層学習を試した．その後，高齢者を対象に学習データ取得実験を行なった．36 名分の顔画像を加工して学習データを増やし，深層学習を行なった．CSV の開発，成果発表会に向けてポスター，スライドの作成を行なった．
12 月

11 月に続き，成果発表会に向けてポスター，スライドの作成を行った．最終成果
発表会では，ポスターの説明や質疑応答を担当した．

Group Report of 2018 SISP

30

Group Number 20-B

Design medical care， health care environment by IoT and AI(※文責：安藤魁将)

7.2

伊藤亜季人の活動内容

5月始めに関心プレゼンを行った．認知症患者について調査し，認知症患者が自分の気持ちを伝えるための意思表示アプリを提案した．認知症患者が使用するアプリのため，簡単に操作でき，文字が少ないことをテーマとして掲げた．外部講師の成本教授による講演を聞き，改めて認知症患者の現状と問題を深く知ることが出来た．5
月の終盤には，第 2 回関心プレゼンを行った．
6月
始めにグルーピングを行い，「認知症グループ」に所属した．初期の方向性として，自分の関心プレゼンのテーマである，認知症患者の意思表示アプリを制作することになった．認知症グループになったことにより，教員から認知症に関する本とパンフレットの提供があり，各自で読み込んだ．その後，本などから得られた情報を基にグループ内で意見交換した．テーマを「認知症患者の医療同意の支援」にし，アイデアを教員に発表し，意見をもらった．認知症患者について理解を深める
ために，グループホームを訪問し，施設見学と職員，入所者に質問をした．その後，グループホームで得られた情報を基にグループ内で意見交換をし，方針を決定した．進捗を教員にプレゼンし，意見をもらった．
7月
中間発表に向けた準備として，スライドとポスターの作成を行った．その後，中間発表の際に予想される質問の回答を作成した．中間発表当日はポスターの説明と質疑応答を担当した．
8月
後期での開発に向けて，使用されることが想定される言語について学習した．
9月
トランスコスモス DMI にて 2 週間のインターンシップを行なった．また，夏季休暇中の各自の活動を報告しあった．また後期での役割分担を確認し，開発に着手した．
10 月
社会医療法人高橋病院・市立函館病院にて，中間発表と同じ内容で発表を行なった．看護師などから意見をいただき，メンバーで話し合いを行なった．実際に現場で働く方々から貴重な意見が多数あった．また，深層学習を行なうための環境構築を行いつつ，予備実験を行い学生の画像データを取得した．
11 月
CVS の開発の前段階として，学生の画像データを用いてシステムを開発した．並行して深層学習用のデータ取得実験の準備も行なった．その後，データ取得実験を行なった．実験後は，顔画像のデータを得るため実験で得た動画から画像を切り取る作業を行いつつ，システムの開発を行なった．
12 月
成果発表会に向けて，システムの開発を行なった．また，発表用ポスターの作成も行なった．
(※文責：伊藤亜季人)

7.3

飯田暁成の活動内容

Group Report of 2018 SISP

31

Group Number 20-B

Design medical care， health care environment by IoT and AI

5月
始めに関心プレゼンを行った．認知症患者について調査し，認知症患者が自分の気持ちを伝えるための意思表示アプリを提案した．認知症患者が使用するアプリのため，簡単に操作でき，文字が少ないことをテーマとして掲げた．外部講師の成本教授による講演を聞き，改めて認知症患者の現状と問題を深く知ることが出来た．5
月の終盤には，第 2 回関心プレゼンを行った．
6月
始めにグルーピングを行い，「認知症グループ」に所属した．初期の方向性として，自分の関心プレゼンのテーマである，認知症患者の意思表示アプリを制作することになった．認知症グループになったことにより，教員から認知症に関する本とパンフレットの提供があり，各自で読み込んだ．その後，本などから得られた情報を基にグループ内で意見交流をした．テーマを「認知症患者の医療同意の支援」にし，考えている案を教員方に発表し，意見をもらった．認知症患者について理解を深めるために，グループホームを訪問し，施設見学と職員，入所者に質問をした．
その後，グループホームで得られた情報を基にグループ内で意見交換をし，今後の方針を改めて固めた．現在の進捗を教員にプレゼンして，意見をもらった．
7月
中間発表に向けた準備として，スライドとポスターの作成を行った．その後，中間発表の際に予想される質問の回答を作成した．中間発表当日はポスターの説明と質疑応答を担当した．
8月
株式会社 DSB 情報システム，アスクル株式会社にて各 5 日間のインターンシップに参加した．株式会社 DSB 情報システムでは企画会議に参加し，実際の企業がどのように企画を行っているのかを身をもって感じることができた．またハッカソン形
式でのアプリ開発を行い，チームで協力して作品を作ることが出来た．アスクル株
式会社では BtoC のホームページ開発を行った．API を用いての開発を行ったことがなかったため貴重な体験となった．
9月
夏季休暇中の活動報告を行い，各自の成果を確認し合った．各自の活動を踏まえて，後期の活動の役割分担を行った．
10 月
市立函館病院，社会医療法人高橋病院での中間報告会を行い，医療従事者としての意見や評価をいただいた．貰った意見を基に，メンバーで改めて意見をまとめた．学習データ取得実験を行なうため，実験に用いる問題の作成と実験手順の考案を行なった．学生を対象とした学習データ取得実験を数名行い，画像データの分類を行った．並行して，システムの環境構築を行った．
11 月
10 月に引き続きプロジェクトメンバーを対象とした学習データ取得実験を行い，その結果を基に高齢者用問題の改良を行った．月末には実際にシルバー人材センターにて高齢者を対象とした学習データ取得実験を行った．その後，得られた画像データの分類を行った．また，最終成果発表会に向けてポスターとスライドの作成も
行った．
12 月
成果発表会に向けて CVS の最終調整と，ポスター，スライドの作成を行った．成果発表会では，スライドの説明と実際の使用画面の説明，質疑応答を行った．
(※文責：飯田暁成)

Group Report of 2018 SISP

32

Group Number 20-B

Design medical care， health care environment by IoT and AI

7.4

大崎隼平の活動内容

5月
始めに第 1 回関心プレゼンを行い，救命行為への不安や，AED 設置の環境から倒れている人を目撃しても救命行為をする人が少ないという問題点を挙げ，救命行為のガイドと AED の設置場所やそこへの最短ルートを表示するアプリを解決策として提案した．次に，第 1 回関心プレゼンを改善し，第 2 回関心プレゼンを行った．
6月
ロゴの作成とグルーピングを並行して行い，「認知症グループ」に所属した．各自
で認知症に関する資料を読み込み，「認知症」に基づいた関心プレゼンをグループ内で行い「医療同意」について支援することになった．進捗を担当教員に報告し，アドバイスをもらった．また，グループホームへの訪問が決定し，職員の方へ配布する資料や利用者への質問を作成した．グループホームの訪問では，施設の見学と，職員と利用者への質問を行い，現場の現状や課題を確認した．その後，新たな課題を検討し，表情やしぐさ，声のトーンなど非言語的メッセージを確認する案を考えた．次に，再び担当教員への進捗報告に向けたプレゼン資料を作成した．そこで，
ビデオカメラで表情を読み取り，端末に送信することで，認知症患者の心理を推定するという具体的なテーマを決定した．最後に，再び教員に進捗方向を行い，アドバイスをもらった．
7月
中間発表に向けた準備として，スライドとポスターの作成を行った．その後，中間発表の際に予想される質問の回答を作成した．中間発表当日はポスターの説明を
担当した．
8月

株式会社エムティーアイのインターンシップに参加し，Web におけるフロントエ
ンドやバックエンドに関する知識を深め，その後，チーム開発を行いヘルスケアの課題を解決する Web サービスを開発した．また，ハッカソンに参加し，短期間でのチーム開発を経験した．
9月

トランスコスモス株式会社のインターンシップに参加し，スマートスピーカーやAR など触れたことのない技術の知識を深めた．また，マーケティングについても学び，システムの広め方についても知識を深めた．
10 月

市立函館病院と社会医療法人高橋病院で中間報告を行った．医療従事者から現状を踏まえた意見をいただき，グループメンバーで再度話し合いを行った．また，深層学習の環境構築と学生を対象とした画像データ取得実験を行った．その後，学生の画像データの分類を行った．
11 月

学生の画像データを用いて深層学習を行った．また，健常な高齢者を対象とした実験を行なうために問題の作成や，実験計画書の作成を行った．その後，健常の高齢者を対象とした実験を行い，画像データを取得し，分類した後，深層学習を行った．また，深層学習で得た学習モデルを利用して CVS の開発を行った．さらに，成果発表会に向けてのポスターやスライドの作成も並行して行った．
Group Report of 2018 SISP

33

Group Number 20-B

Design medical care， health care environment by IoT and AI

12 月

11 月に引き続き，深層学習と CVS の開発，最終発表のポスターやスライドの作成を並行して行った．その後，成果発表会を行いプロジェクト学習の成果を発表した．
(※文責：大崎隼平)

Group Report of 2018 SISP

34

Group Number 20-B

Design medical care， health care environment by IoT and AI

第8章

活動のまとめ及び今後の展望

前期にグループを結成し，議論の末に，テーマを AED から認知症に変更した．その後，認知症について書籍やインターネットを用いて知識を習得した．また，成本教授の講演から，医師は認知症患者とのコミュニケーションの困難によって，認知症患者の意思を尊重することや，希望に添った医療を提供することが難しいことが明らかになった．グループホームでの現場調査からは，認知症患者とコミュニケーションをとることの難しさが明らかになった．以上のことから，医師と認知症患者のコミュニ
ケーション支援を提案することに決め，中間発表会にて評価を受けた．中間発表会後に病院訪問を行い，成果物に対する評価を頂いた．さらに，高齢者を対象とした実験を行い，顔の画像データを取得した．この画像データから深層学習を行い、学習モデ
ル作成の後，CVS が完成した．完成した CVS を学内での最終成果発表会で報告を行った．現状のシステムは表情読み込みから推定までの動作が重く，リアルタイム性に欠ける点があるため，今後改善する必要がある．また，テスト画像に対する結果の適合率が低いためファインチューニングを用いた手法等を今後再検討する．現段階では健常な高齢者を対象にしているため，認知症高齢者への適用を検討する．
(※文責：飯田暁成)

Group Report of 2018 SISP

35

Group Number 20-B

Design medical care， health care environment by IoT and AI[引用文献]
1. 総務省. 国勢調査. (オンライン) 2015 年. (引用日: 2018 年 7 月 23 日.)https://goo.gl/oRmevH.
2. 認知症の人はどのくらいいるのですか？ (オンライン) (引用日: 2018 年 7 月 23 日.)https://www.ninchisho-forum.com/knowledge/kurashi/003.html.
3. 人手不足にあえぐ介護業界、原因は”やはり”賃金にある！処遇改善加算も虚しく響く中、抜本的な改革は可能か？ (オンライン) 2017 年 8 月 9 日. (引用日: 2018 年 7月 23 日.) https://www.minnanokaigo.com/news/kaigogaku/no299/.
4. 厚生労働省. 平成 28 年（2016 年）医師・歯科医師・薬剤師調査の概況：厚生労働省. (オンライン) 2017 年 12 月 14 日. (引用日: 2018 年 7 月 21 日.)
https://www.mhlw.go.jp/toukei/saikin/hw/ishi/16/index.html.
5. —. 平成 28 年（2016）医療施設（動態）調査・病院報告の概況：厚生労働省. (オンライン) (引用日: 2018 年 7 月 22 日.)https://www.mhlw.go.jp/toukei/saikin/hw/iryosd/16/ .
6. —. 厚生労働省-生活習慣病. (オンライン) (引用日: 2018 年 7 月 22 日.)https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/kenkou_iryou/kenkou/seikatsu/se
ikatusyuukan.html.
7. —. 厚生労働省-厚生労働白書. (オンライン) 2016 年. (引用日: 2018 年 7 月 22 日.)https://www.mhlw.go.jp/wp/hakusyo/kousei/14/backdata/index.html.
8. JPADL(日本生活習慣病予防協会). 40 歳以降で生活習慣病が増加 【2010 年国民健康・栄養調査】. (オンライン) 2012 年 2 月 2 日. (引用日: 2018 年 7 月 22 日.)
http://www.seikatsusyukanbyo.com/calendar/2012/001977.php.
9. 厚生労働省. 平成 18 年度診療報酬改定の概要について. (オンライン) 2006 年. (引用日: 2018 年 7 月 23 日.) https://www.mhlw.go.jp/shingi/2006/02/dl/s0215-3u.pdf.
10. 厚生労働省. 平成 20 年度診療報酬改定の概要について. (オンライン) 2008 年. (引用日: 2018 年 7 月 23 日.) https://www.mhlw.go.jp/shingi/2008/05/dl/s0516-9e.pdf.
11. 上昌広. リハビリ難民の救世主となるか 自費リハビリの可能性. (オンライン)
2017 年 5 月 19 日. (引用日: 2018 年 7 月 23 日.) https://goo.gl/RlBi16.
12. 政府 CIO ポータル. 世界最先端デジタル国家創造宣言・官民データ活用推進基本
計画. (オンライン) (引用日: 2018 年 7 月 24 日.) https://cio.go.jp/data-basis.
13. 直感的なタブレット操作で煩雑な記録業務を改善、. (オンライン) 2014 年. (引用日: 2018 年 7 月 23 日.) https://www.uchida.co.jp/system/welfare/case/teitoku.html.
14. 内閣府. 平成 29 年度版高齢社会白書. 2017.
15. 独立行政法人科学技術振興機構研究開発センター. 医療の俯瞰報告書〜認知症（特にアルツハイマー型認知症）について〜. 2010.
16. 成本迅. 認知症の人の医療選択と意思決定支援. 出版地不明 : クリエイツかもがわ, 2016.
17. Merabian, A. 1968: Communication without words, Psychological Today, 2, 53-55
18. 比企野純太，中野有紀子，安田清. 会話エージェントを利用した認知症患者のためのコミュニケーション支援. 出版地不明 : 情報処理学会第 73 回全国大会, 2011.
19. 大武美保子. 高齢者の認知活動を促進する会話支援ロボット. 出版地不明 : 人工知能学会, 2014.

Group Report of 2018 SISP

36

Group Number 20-B