サイエンティフィック・システム研究会合同分科会「溶け込んでいく情報」音声つぶやきによるサービス業務の気づきの収集と活用2014/10/31内平直志北陸先端科学技術大学院大学知識科学研究科技術・サービス経営コース担当※本研究は, JST RISTEX問題解決型サービス科学研究開発プログラムの成果に基づいています. •サービスのためのセンシング•人間センサーとしての気づき•気づきに関する先行研究•音声つぶやきシステムによる医療・介護の記録・連携支援•音声つぶやきシステムの他分野への適用•気づきプラットフォーム•まとめ•関連文献
2

ビッグデータセンサが生成するデー (loT/M2M)生活・社会に溶け込んでいく情情報社会インフラの各種センサオフィス・家庭機器の各種センサ人間が生成するデー (Web, SNSの情報)ヘルスケアの各種センサプラントの各種センサ3
センサ技術やICTの進化がサービスの質と効率の向上に貢献サービス価値創造システムサービスコンテンツ（個別）分析活活用サービスセンシング情報・知識処理基盤システム（共通）センサ技術,情報通信技術(IoT, M2Mなど)の進化サービスセンシング情報・知識処理基盤システム物理センサーと人間センサーの両方からデータを収集・分析・活用
介護施設の観察項目の例
_膨大な情報量_物理センサで計測可能な情報(体温などバイタル)目視で計測可能な情報(食事量,排泄量)気づきで計測可能な情報(気分行動,生活,リスク,要望)
•物理センサは非常に強力なツールだが完璧ではない. •人間の五感で感じる人間センサ(気づき)が,サービスの質と効率の向上に極めて重要⇒人間の気づきを情報通信技術でいかに支援するかがポイント. •従来から気づきの人間系での共有は行われていた.それを計算機上で実現したシステムとしては,宿泊業の例(リッツカールトン,星野リゾート,など)がある. •今後は,腕時計や眼鏡型のウェアラブルデバイスの普及により,より簡単にサービス実施中の気づきの収集が可能. •特に,音声認識技術の向上に伴い,音声による気づきの収集は大きな可能性を有している.
サービス需要者が提供者に正確なプッシュ情報を示せない･気がつかない･気づきにバラツキ･気づきが共有されない状況変化に適応したアセスメントができないサービス提供者のプル情報（気づき）が重要•不適切な処置(質) •余計な行動(効率)介護物設の例有益な気つきの約6割が共有できてないい！
8

9
・状況アウェアネス(Situation Awareness) - 事故防止のためのヒューマンファクタとして研究-  ３つのレベル（現状の認識，現状の理解，将来の予測）(Endsley,2012) -人間の認知的な限界を前提とし,いかに適切なインタフェースを設計し,情報提供を行うかが研究課題
・コンテキストアウェアネス(Context Awareness)
-人,モノ,環境などの場所を含む状況の変化をセンサや計算機で自動的に検出・活用し、人間が持っている「気づき」の能力の支援・自動化- アウェアホーム：カメラやRFIDマットで高齢者の見守り支援(國藤,2009) - 忘れ物や危険な場所を認知症の高齢者に伝える実験システム(Kanai,2007) ・協調／一般／ソーシャルアウェアネス-グループウェアで欠けている他のメンバーの存在感や臨場感の気づきを補完し，協調作業の連携を潤滑にする技術- ヘルスケアの例：インタラクティブな共有ディスプレイを用いたアウェアネスによる手術室の協調作業支援(Bardram,2006)
•先行研究主にセンサ情報やユーザインタフェース技術により,人・モノ・環境に関する気づきの誘発支援•我々のアプローチ人間センサーとしての気づきの「誘発」だけでなく，気づきの「収集」と協働するメンバー間での「活用」を総合的に支援気づき誘発本研究で扱う「気づき」: 対象や事象に関して感じ,理解・予測し,表出することレベル1 :対象の変化を感じるレベル2: ↑↑対象の変化を理解するレベル3 : ↑↑対象の変化を予測測するレベル4 :活用のために表出(言語化)するTheory of Situation Awarenessの発展形
JST  RISTEX問題解決型サービス科学プログラム「音声つぶやきによる医療・介護サービス空間のコミュニケーション革新」プロジェクトの成果紹介(実施期間:3年間、2010.10-2013.9)研究代表者内平直志(JAIST) 12社会的背景と課題出典: H24年版高齢化社会白書2020年には高齢化は40%超出典: H23年度介護労働実態調査(1)離職率:前年度17.8% ⇒16.1% (離職者の76%は3年未満) (2)従業員の不足感:前年度50.3%⇒53.1% (3)良質な人材の確保が難しい:前年度48.5% ⇒50.4%医療・介護サービスの課題プロジェクトのチャレンジ(1)ケアスタッフ不足②スキルのバラツキ1.祭スキル診断、アセスメント)なぜぜ？ ● ●質向上の肝暗黙的で難しい汎用性がある丁為スキルのしたも）
市販のスマートフォン
14

小型Bluetooth発信機を各部屋に設置スマートフォンでBluetoothをMACアドレスを検知し,屋内位置測位
介護施設の実際のつぶやき例患部の状況自動分類・配信気づきの活活用気づきの収集自動分類・配信リスク共有連携携
17

. W - TSPJ音声つぶやきシステム看護師よろしく
看用[1] 自分修理停止□馬性を読み上げる。 □件数制限なし100件つぶやきブロット7:4日ーダルバー私の関連タスク未読自分宛)受信(自分類)
•朝日○景順●降順○当日(24h) ○1通間○1ヶ月●すべて•里表皮Oxxx  Oxxx  Oxxx ●すべてOなし・つぶやきタイプOne Ora Oxt Oixt Oal ●分　こすべて　口なしフリぐおう'看護師3　心退信0   ◎イイネ0    甲転送�相集13/08/29 14:22  ★ 301看護師.椅子.終了.右.よろしくお願いします看護師4　ふ返信0　 ●イイネ0　 ●転送�絹集13/08/29 14:21 @ 2F/トイレ Xトイレ >トイレ護師,左,ナースコール,クボ,浴室,向か看護師2　い返信0日転送◎イイネ 0 13/08/29 14:19  ★ SS看護師,引き続きよろしくお願いします( ■転送◎イイネ 0
●音声つぶやきを発話時の状況タグを用いて分類・配信する「音声つぶやき交換機」（世界的にユニーク）従来の音声認識利用は修正が課題Iタグ付き生育配信で解決●技術的障壁：自動分類の精度➡◆ (1)専用辞書の整備とセンサ情報(音声,位置、加速度)業務情情報(業務システム)つぶやきの送り手や受け手の状況情報(2)制約によるタグ補正で実用的精度達成(適合率・再現率95%以上) ※精度評価のメトリクス適合率:分類の正解率(分類間違え)再現率:分類のカバー率(分類漏れ)
つぶやき時空間コミュニケーションシステム状況タグによる分類配信業務モデル.情報モデル空間モデルサービス空間可視化・評価システム業務効率評価動線評価負担担感記録・連携での有効活用(シングルループ学習)空間・業務プロセスの再設計(ダブルル一プ学習)介護施設における音声つぶやきシステムの試行評価★気づきの収集と活用で生まれる3つの価値価値1 :ケア連携品質向上(ケア業務中の連携)音声つぶやきによる連絡や協働作業状況の共有により、状況変化に即応した段取り･連携価値2ケア記録品質向上(スタッフ間の情報共有)価値3 :ケア業務品質向上(職場の業務改善・教育)音声つぶやきによる気づきの記録の質と量の増加により、患者・要介護者の日々の状態変化に適応したケアの計画・変更・実施つぶやき実績ログによる業務の可視化と評価・分析により、職場の業務プロセス改善およびケアスタッフの教育での活用
価値1 :ケア連携品質向上(ケア業務中の連携で活用)価値2 :ケア記録品質向上（スタッフ間の情報共有に活用）価値3 :ケア業務品質向上(職場の業務改善・教育に活用) ● ● ●介護現場で発せられた有益なつぶやきのうち、6割以上が介護記録から失われている現場でのつぶやき入力が失われがちな気づきをキャッチ記録の量と質の向上を確認
出典: Torii, K., et.al., ICServ2014 （Best Paper Award） 22 ◆eナイチンゲール（ATR）看護師に装着した音声を含む複数のセンサで看護業務中のデータを収集し,それを解析することで，医療リスク削減など業務改善に利用. ◆Vocera Communication Systemおよび評価Voceraは音声認識技術を用いて、ボタン１つの操作で音声通話やボイスメッセージを実現. Charlotte Tangらの研究グループはVoceraを使った病院のコミュニケーションの分析フレームワーク(InfoFlow)を提案. ◆東大高齢社会総合研究機構　柏の葉PJ地域医療介護のコミュニケーションツールとして商用の地域包括ケアシステムを導入し実運用. ■本プロジェクト「気づきの収集と活用」を追及し、「気づき」のサービスへの活用手法まで総合的に取り組んだ。音声つぶやき交換機で連携・記録・業務改善を統合的に支援する点が特徴. ⇒　１つに統合することの効果は大きい（現場のニーズ）
•状況適応・行動型サービスに適用可能(Physical and Intelligent Adaptive Service)良い気づきは良いサービスの鍵- 状況適応：患者や要介護者などのサービス需要者の状態やサービスを提供する環境の変化に応じて,適切なサービスを提供するサービス. –行動型：病院や介護施設などの空間を移動しながら頭と体を使うサービス.  PCベースの協調作業支援は使えない. •状況適応・行動型サービスの例–医療・介護サービス–店舗・接客サービス-警備・イベント管理サービス-保守・点検サービス農業,アミューズメントパーク
記録・引継ぎ進捗状況把握指示・アドバイス業務分析25
「気づきの収集と活用」は，サービス価値共創構
モデル・手法・ツール提案⇒プラットフォーム化コンテンツコンテンツ体系化・標準化気づき誘発→気づき収集JST, RISTEX、問題解決型サービス科学研究開発プログラム、サービス価値共創構造モデル(S3FIRE1306) [村上13]に基づき筆者が作成気づき学習Y気づき活用
今後，様々な状況適応・行動型サービスで利用可能なサービスセンシング情報・知識処理基盤（チャネル）として, 「気づきプラットフォーム」を構築・整備していく.気づき誘発トリガ提供気づき教育気づき気づき体系化・標準化・組織学習
•音声つぶやきシステムは，気づきの収集と活用を支援する今までにない新しい道具（メディア） •つぶやき方法および活用方法（道具の使い方）は個人の経験や性格によってバラバラ•そもそも収集する気づき自体の誘発支援は対象外(気づかない人にどう気づかせるか) (1)気づきの体系化(3)気づき組織学習(2)気づきマイニング(4)気づき誘発支援
(１)気づきの体系化（各分野ごと）看護・介護記録の書き方に関しては，教科書化されて-例えば,いるが，その前段としての気づき入力に関しては十分整理できれておらず，プロトコルとして体系化する. ( 2 )気づきマイニング-各種センサ情報と気づきのキーワードから行動型サービスの分析を行う.つぶやきのキーワードとセンサ情報を時系列上で関連付ける. （３）気づき組織学習–気づきを共有するだけでなく，知識継承の視点から，良い気づき方を組織学習する理論，手法，ツールを開発する. ( 4 )気づき誘発支援–センサ情報から直接的な気づきのトリガを与えるだけでなく,気づきの分析・学習結果に基づき，最適なトリガを与える. ●IoT／M2M普及・拡大で「溶け込んでいく情報」のサービス分野での利活用では,物理センサーだけでなく人間センサーとしての「気づき」が重要. ●気づきの収集と活用を支援するシステムを開発し,介護施設で評価.「音声つぶやき」で連携・記録・業務改善を同時に支援するのは世界的にユニーク. ●様々な状況適応・行動型サービスに展開可能. ●今後，サービスセンシング情報・知識処理基盤としての「気づきプラットフォーム」を構築していく.
30

羅説記事
内平直志，音声つぶやきによる気づきの収集と活用で看護・介護サービスの質を向上する，サー .ビソロジー, Vol.1, No.2, 2014. • 内平直志, 音声つぶやきによる看護・介護サービスの記録・連携支援, 人工知能学会誌, Vol.28, No.6 , 2013.
論文誌・国際会議
.平林裕治,内平直志,鳥居健太郎,音声つぶやきによる介護サービスの可視化と改善ー見える化して改善を促すためのツールの提案と評価一,情報処理学会デジタルプラクティス, Vol.4, No.3, 2013. • Chino, T, et.al., Speech Interaction Analysis on Collaborative Work at an Elderly Care Facility, International Journal of Sociotechnology and Knowledge Development (IJSKD) Vol.5, No.2, 2013.村上知子,鳥居健太郎,長健太,内平直志,  センサデータと業務知識からのトピックモデルを用いた.看護業務行動の推定，人工知能学会論文誌, Vol.29, No.5A, 2014. •   Torii, K., et.al., Improvement of sharing of observations and awareness in nursing by voice tweets, The 2nd International Conference on Serviceology (ICServ 2014).  (Best Paper Award) •   Uchihira, N., et.al.,  Collaboration Management by Smart Voice Messaging for Physical and Adaptive Intelligent Services, PICMET2013,  (2013) •   Hiraishi, K., Choe, S., Torii, K., Uchihira, N., Tanaka, T., Modeling of Complex Processes in Nursing and Caregiving  Services, IEEE SMC2012, 1449-1454, 2012.他の文献リストは  http://www.jaist.ac.jp/ks/mot/JSTservice/