サイエンティフィック・システム研究会 合同分科会 「溶け込んでいく情報」

音声つぶやきによるサービス業務の気づきの収集と活用
2014/10/31
内平直志
北陸先端科学技術大学院大学
知識科学研究科
技術・サービス経営コース担当※本研究は，JST RISTEX 問題解決型サービス科学研究開発プログラムの成果に基づいています．

1

内容• サービスのためのセンシング• 人間センサーとしての気づき• 気づきに関する先行研究• 音声つぶやきシステムによる医療・介護の記録・連携支援• 音声つぶやきシステムの他分野への適用• 気づきプラットフォーム• まとめ• 関連文献2

IoT/M2Mの普及・拡大で溶け込んでいく情報
ビッグデータ
センサが生成するデータ（IoT/M2M）
社会インフラの各種センサ
人間が生成するデータ（Web，SNSの情報）

オフィス・家庭機器の各種センサ

生活・社会に溶け込んでいく情報
プラントの各種センサ

ヘルスケアの各種センサ
3

サービスのためのセンシング
センサ技術やICTの進化がサービスの質と効率の向上に貢献

サービス価値創造システム

サービスコンテンツ（個別）
収集分析

活用

サービスセンシング情報・知識処理基盤システム（共通）センサ技術，情報通信技術（IoT，M2Mなど）の進化
4サービスセンシング情報・知識処理基盤システム
物理センサーと人間センサーの両方からデータを収集・分析・活用

収集

分析

活用

数値

実時間活用
（記録・連携）（サービスセンシング）
サービス
需要者

物理センサ

サービス提供者
サービス提供環境

テキスト

人間センサ

画像・音声

事後活用
（業務改善）

5

サービスセンシングの例（介護）

膨大な情報量

介護施設の観察項目の例
物理センサで計測可能な情報（体温などバイタル）

目視で計測可能な情報（食事量，排泄量）

気づきで計測可能な情報（気分行動，生活，リスク，要望）
6

人間センサ（気づき）によるサービスセンシング• 物理センサは非常に強力なツールだが完璧ではない．
• 人間の五感で感じる人間センサ（気づき）が，サービスの質と効率の向上に極めて重要⇒人間の気づきを情報通信技術でいかに支援するかがポイント．
• 従来から気づきの人間系での共有は行われていた．それを計算機上で実現したシステムとしては，宿泊業の例（リッツカールトン，星野リゾート，など）がある．
• 今後は，腕時計や眼鏡型のウェアラブルデバイスの普及により，より簡単にサービス実施中の気づきの収集が可能．
• 特に，音声認識技術の向上に伴い，音声による気づきの収集は大きな可能性を有している．
7

良い「気づき」が良いサービスの鍵サービス需要者が提供者に正確なプッシュ情報を示せない
・気がつかない・気づきにバラツキ
・気づきが共有されない

状況変化に適応したアセスメントができない

サービス提供者のプル情報（気づき）が重要

・不適切な処置（質）・余計な行動（効率）気づき
介護施設の例

有益な気づきの約６割が共有できてない！

アクション

8

良い「気づき」が良いサービスの鍵（医療・介護）
患者・要介護者（サービス需要者）

ヘルスケアスタッフ

気づき（サービス提供者）（含む観察）

アセスメント

状況変化

処置選択

多職種
協働

評価

スタッフ間で気づきを共有し，活用することが必要

観察9

気づきに関する先行研究• 状況アウェアネス(Situation Awareness)– 事故防止のためのヒューマンファクタとして研究– ３つのレベル（現状の認識，現状の理解，将来の予測）(Endsley,2012)– 人間の認知的な限界を前提とし，いかに適切なインタフェースを設計し，情報提供を行うかが研究課題• コンテキストアウェアネス(Context Awareness)– 人，モノ，環境などの場所を含む状況の変化をセンサや計算機で自動的に検出・活用し、人間が持っている「気づき」の能力の支援・自動化– アウェアホーム：カメラやRFIDマットで高齢者の見守り支援(國藤,2009)– 忘れ物や危険な場所を認知症の高齢者に伝える実験システム(Kanai,2007)• 協調／一般／ソーシャルアウェアネス– グループウェアで欠けている他のメンバーの存在感や臨場感の気づきを補完し，協調作業の連携を潤滑にする技術– ヘルスケアの例：インタラクティブな共有ディスプレイを用いたアウェアネスによる手術室の協調作業支援(Bardram,2006)10気づきの誘発・収集・活用を総合的に支援•先行研究
主にセンサ情報やユーザインタフェース技術により，人・モノ・環境に関する気づきの誘発支援•我々のアプローチ
人間センサーとしての気づきの「誘発」だけでなく，気づきの「収集」と協働するメンバー間での「活用」を総合的に支援

気づき誘発

気づき収集

気づき活用

本研究で扱う「気づき」： 対象や事象に関して感じ，理解・予測し，表出すること
レベル１：
対象の変化を感じる

レベル２：
対象の変化を理解する

レベル３：
対象の変化を予測する

レベル４：活用のために表出（言語化）する

Theory of Situation Awarenessの発展形
11音声つぶやきシステムによる医療・介護の記録・連携支援
JST RISTEX 問題解決型サービス科学プログラム「音声つぶやきによる医療・介護サービス空間のコミュニケーション革新」プロジェクトの成果紹介（実施期間：３年間、2010.10-2013.9）

12社会的背景と課題
出典：Ｈ２４年版高齢化社会白書

出典：Ｈ２３年度 介護労働実態調査（１）離職率：
前年度17.8％ ⇒16.1％（離職者の７６％は３年未満）（２）従業員の不足感：
前年度50.3％⇒53.1％（３）良質な人材の確保が難しい：
前年度48.5％ ⇒50.4％

２０２０年には高齢化は４０％超

医療・介護サービスの課題①ケアスタッフ不足②スキルのバラツキ

プロジェクトのチャレンジ「気づき」に注目

観察スキル（診断，アセスメント）

なぜ？

行為スキル
（治療，処置）

••
•

質向上の肝
暗黙的で難しい
汎用性がある13

気づきを収集し活用する音声つぶやきシステム
システムの構成

市販のヘッドセット

クラウド型
サーバ

市販のスマートフォン

スマートフォンで音声再生と閲覧

PCのWebブラウザで閲覧・分析
14

ケアスタッフのつぶやき場所・動線を計測

小型Bluetooth発信機を各部屋に設置
スマートフォンでBluetoothをＭＡＣアドレスを検知し，屋内位置測位15

音声つぶやきシステムの利用イメージ

医師○○さん、△△ に注
意して経
過観察

廊下

○○さんの転倒に注意

検査はもう少し時間かかりそうです

検査室

スマート音声
つぶやきシステム
進捗
把握

看護師

これから迎えに行きます

インチャージ連携

部屋

必要な相手に適切なタイミングで適切な形式で配信

記録
引継ぎ

蓄積
閲覧ステーション16

音声つぶやきシステムの利用例
介護施設の実際のつぶやき例
患部の状況

気づきの収集病室自動分類・配信

自動分類・配信

リスク共有

食事要望
記録・引継ぎ

つぶやき時の状況を推定

連携
気づきの活用気づきの活用ナースセンター17

音声つぶやきシステムの閲覧画面例

つぶやき入力つぶやき閲覧
18

音声つぶやき交換機
音声つぶやきを発話時の状況タグを用いて分類・配信する「音声つぶやき交換機」（世界的にユニーク）
従来の音声認識利用は修正が課題

タグ付き生音配信で解決

技術的障壁：自動分類の精度（１）専用辞書の整備と（２）制約によるタグ補正
で実用的精度達成（適合率・再現率９５％以上）※精度評価のメトリクス
適合率：分類の正解率（分類間違え）再現率：分類のカバー率（分類漏れ）
19

サービス可視化・評価システムによる業務改善
つぶやき時空間
コミュニケーション
システム

サービス空間可視化・評価
システム
実績
ログ
業務モデル
情報モデル

状況タグによる分類配信
記録・連携での有効活用（シングルループ学習）

空間モデル

業務効率評価
動線評価

負担感

空間・業務プロセスの再設計（ダブルループ学習）20

介護施設における音声つぶやきシステムの試行評価★気づきの収集と活用で生まれる３つの価値
価値１：ケア連携品質向上（ケア業務中の連携）

音声つぶやきによる連絡や協働作業状況の共有により、状況変化に即応した段取り・連携

音声つぶやきによる気づきの記
価値２：ケア記録品質向上
録の質と量の増加により、患者・（スタッフ間の情報共有） 要介護者の日々の状態変化に適応したケアの計画・変更・実施

価値３：ケア業務品質向上（職場の業務改善・教育）

つぶやき実績ログによる業務の可視化と評価・分析により、職場の業務プロセス改善およびケアスタッフの教育での活用
21

気づきの収集と活用で生み出す価値の具体例
価値１：ケア連携品質向上

価値３：ケア業務品質向上（ケア業務中の連携で活用）（職場の業務改善・教育に活用）

価値２：ケア記録品質向上（スタッフ間の情報共有に活用）•

介護現場で発せられた有益なつぶやきのうち、6割以上が介護記録から失われている• 現場でのつぶやき入力が失われがちな気づきをキャッチ• 記録の量と質の向上を確認
看護師A

不要

介護記録にある介護記録にない計有益

計

11 6475
39 101 14050 165 215

看護師Ｂ
介護記録にある介護記録にない計

不要

有益計

17 58 75
48 92 140
65 150 215

出典：Torii, K., et.al., ICServ2014 （Best Paper Award）

22

関連研究
eナイチンゲール（ATR）
看護師に装着した音声を含む複数のセンサで看護業務中のデータを収集し，それを解析することで，医療リスク削減など業務改善に利用．

Vocera Communication System および評価
Vocera は音声認識技術を用いて，ボタン１つの操作で音声通話やボイスメッセージを実現．Charlotte Tangらの研究グループはVoceraを使った病院のコミュニケーションの分析フレームワーク(InfoFlow)を提案．

東大高齢社会総合研究機構

柏の葉PJ

地域医療介護のコミュニケーションツールとして商用の地域包括ケアシステ
ムを導入し実運用．

本プロジェクト
「気づきの収集と活用」を追及し、「気づき」のサービスへの活用手法まで総合的に取り組んだ。音声つぶやき交換機で連携・記録・業務改善を統合的に支援する点が特徴．
⇒ １つに統合することの効果は大きい（現場のニーズ）
23

音声つぶやきシステムの他分野への適用• 状況適応・行動型サービスに適用可能(Physical and Intelligent Adaptive Service)

良い気づき
は良いサー
– 状況適応：患者や要介護者などのサービス需要者 ビスの鍵の状態やサービスを提供する環境の変化に応じて，適切なサービスを提供するサービス．
– 行動型：病院や介護施設などの空間を移動しながら頭と体を使うサービス．PC ベースの協調作業支援は使えない．

• 状況適応・行動型サービスの例– 医療・介護サービス– 店舗・接客サービス– 警備・イベント管理サービス– 保守・点検サービス– 農業，アミューズメントパーク
24

保守・点検サービスへの適用

メンテナンスセンタ
一人作業の増加

記録・引継ぎ
進捗状況把握指示・アドバイス
業務分析
25

サービス科学における位置づけ「気づきの収集と活用」は，サービス価値共創構
造モデルにおける「チャネル」の位置づけ．
構造

モデル・手法・ツール提案⇒プラットフォーム化

コンテンツ
コンテンツ体系化・標準化

気づき誘発

気づき収集

気づき学習

気づき活用
26

気づきプラットフォーム
今後，様々な状況適応・行動型サービスで利用可能なサービスセンシング情報・知識処理基盤（チャネル）として，「気づきプラットフォーム」を構築・整備していく．

気づき誘発

気づき収集

気づき活用

気づきトリガ提供

気づき収集
（音声）

気づき可視化・共有

気づき教育

気づき収集

気づきマイニング（他メディア）

気づき体系化・標準化・組織学習27

現状の音声つぶやきシステムの課題•音声つぶやきシステムは，気づきの収集と活用を支援する今までにない新しい道具（メディア）•つぶやき方法および活用方法（道具の使い方）は個人の経験や性格によってバラバラ•そもそも収集する気づき自体の誘発支援は対象外（気づかない人にどう気づかせるか）（１）気づきの体系化（３）気づき組織学習（２）気づきマイニング（４）気づき誘発支援28

気づきプラットフォームの研究開発要素（１）気づきの体系化（各分野ごと）– 例えば，看護・介護記録の書き方に関しては，教科書化されているが，その前段としての気づき入力に関しては十分整理できれておらず，プロトコルとして体系化する．

（２）気づきマイニング– 各種センサ情報と気づきのキーワードから行動型サービスの分析を行う．つぶやきのキーワードとセンサ情報を時系列上で関連付ける．

（３）気づき組織学習– 気づきを共有するだけでなく，知識継承の視点から，良い気づき方を組織学習する理論，手法，ツールを開発する．

（４）気づき誘発支援– センサ情報から直接的な気づきのトリガを与えるだけでなく，気づきの分析・学習結果に基づき，最適なトリガを与える．
29

まとめ
IoT／M2M普及・拡大で「溶け込んでいく情報」のサービス分野での利活用では，物理センサーだけでなく人間センサーとしての「気づき」が重要．
気づきの収集と活用を支援するシステムを開発し，介護施設で評価．「音声つぶやき」で連携・記録・業務改善を同時に支援するのは世界的にユニーク．
様々な状況適応・行動型サービスに展開可能．
今後，サービスセンシング情報・知識処理基盤としての「気づきプラットフォーム」を構築していく．
30

本研究に関する主な出版
解説記事• 内平直志， 音声つぶやきによる気づきの収集と活用で看護・介護サービスの質を向上する， サー
ビソロジー，Vol.1，No.2，2014．
• 内平直志， 音声つぶやきによる看護・介護サービスの記録・連携支援，人工知能学会誌, Vol.28,
No.6 , 2013.

論文誌・国際会議• 平林裕治, 内平直志, 鳥居健太郎, 音声つぶやきによる介護サービスの可視化と改善－見える化して改善を促すためのツールの提案と評価－, 情報処理学会デジタルプラクティス, Vol.4, No.3, 2013.
• Chino, T, et.al., Speech Interaction Analysis on Collaborative Work at an Elderly Care Facility, International
Journal of Sociotechnology and Knowledge Development (IJSKD) Vol.5, No.2, 2013.
• 村上知子, 鳥居健太郎, 長健太, 内平直志， センサデータと業務知識からのトピックモデルを用いた看護業務行動の推定， 人工知能学会論文誌, Vol.29, No.5A, 2014.
• Torii, K., et.al., Improvement of sharing of observations and awareness in nursing by voice tweets, The
2nd International Conference on Serviceology (ICServ 2014). (Best Paper Award)• Uchihira, N., et.al., Collaboration Management by Smart Voice Messaging for Physical and AdaptiveIntelligent Services, PICMET2013, (2013)• Hiraishi, K., Choe, S., Torii, K., Uchihira, N., Tanaka, T., Modeling of Complex Processes in Nursing andCaregiving Services, IEEE SMC2012, 1449-1454, 2012.

他の文献リストはhttp://www.jaist.ac.jp/ks/mot/JSTservice/31