情報処理学会 インタラクション 2014
IPSJ Interaction 2014

A4-3
2014/2/27

認知リハビリテーションのための調理中の注意行動評価と振り返り支援大井翔†1 佐野睦夫†2 西口敏司†2宮脇健三郎†2 杉谷正成†2
我々は，認知症患者や高次脳機能障がい者に対して，日常行動全体を認知リハビリテーション対象とし，障がい者の自立を促進するための在宅における遠隔認知リハビリテーションの実現に取り組んでいる．本研究では，遠隔認知リハビリテーションを実現するために，リハビリの効果が高いとされる調理に着目する．調理は複数のタスクがあり注意を向けるべき場所が時間とともに変化する．そこで，調理時における人間の視線や行動に着目し，リハビリの効果が高いとされる調理時における注意行動の評価を行い，その結果を振り返り支援に適用することにより，認知リハビリテーションを効果的にすすめる方式を提案する．

Attention Assessment of Cooking Actions and Reflection Support forCognitive Rehabilitation
SHO OOI†1 MUTSUO SANO†2 SATOSHI NISHIGUCHI†2KENZABURO MIYAWAKI†2 MASANARI SUGITANI†2This paper focuses on cooking actions which give a lot of effects to ADL (Activities of daily living) cognitive rehabilitations fordementia patients and higher brain dysfunction people. We propose an attention assessment method of cooking actions based ongaze and motion analysis. The assessment output is applied to a reflection supporting system.

1. はじめに認知症患者は厚生労働省の 2012 年のデータより，認知買い物や調理行動を含めてリハビリ担当者とリハビリテー
ションの振り返りを行う． 1)から 4)のステージを繰り返すことにより，料理リハビリテーションを進めている[2]．

症予備軍を含めて 460 万人以上いると報告されている[1]．
我々は，このような認知患者や高次脳機能障がい者（以後，認知障がい者と呼ぶ）に対して，調理や掃除等の日常生活行動全体を認知リハビリテーション対象とし，障がい者の自立を促進するために，在宅での「遠隔認知リハビリテーション」という新しい方式の確立に取り組んでいる．
在宅内でのリハビリテーションを行うに当たり，人間が図1

料理リハビリテーション

きちんとリハビリを行っているかという確認が必要であり，人間の行動を認識する必要がある．特に今回は，全身を使

本研究では，料理リハビリテーションの調理部分に着目う作業や調理工程を考える作業など，リハビリテーションし，図 2 に示す調理ナビゲーションシステムと連動する．

効果の高い調理に着目する[2]．

料理ナビゲーションシステムは，レシピに含まれている曖

本研究では，認知リハビリテーションを行うにあたり，昧な短文を排除し，基本に変換され，静・動的メディアを調理時における人間の行動に着目し，調理時における複数組み合わせ構造化されたマルチメディア調理レシピを構成のタスクについての調理動作・振り返りシステムについてしたものである[3]．

報告する．

2. 調理リハビリテーション
従来から取り組んでいる料理リハビリテーションプログ
ラムの流れを図 1 に示す．1)話し合いの中で，献立を行い，つくる料理を決定し，買い物を行う．2)調理支援システムに基づき調理を行う．3)調理が完成したら，リハビリ担当者も含めてコミュニケーションをしながら食事をする．4)

図2

調理リハビリテーション

3. 振り返り支援システム†1 大阪工業大学大学院
Graduate School of Osaka Institute of Technology.
†2 大阪工業大学
Osaka Institute of Technology© 2014 Information Processing Society of Japan

一般的に調理工程では，複数のタスクを同時に行う．例
えば，水を沸かす動作と食材を切る場合が同時に起こる．

279

この場合，食材を切っていれば食材を切るという動作部分

えの応答性に着目する．に注意を向ける必要がある．しかし，水を沸かしている部

現在の工程

行動認識結果注意箇所

注意箇所結果分に注意を向ける必要がないわけではない．現在の調理段

洗う

None

手元

手元

階で注意を払うべきか明確にする必要がある．そこで，本切る

切る

手元

手元

混ぜる

混ぜる鍋

手元t

研究ではレシピ工程に従順する方式をとる．つまり，現在
図5の工程が“切る”なら手元に注意を向けているか，“煮る”

行動認識と注意箇所の結果の例

なら沸騰している鍋に注意を向けているかを考える．そこ
で，そこで調理工程に対して，1)注意をきちんと向けるべ

今回の研究では，調理器具と行動を両者認識し，調理器き部分をいくつかを用意する，2)人がどのような行動をと具を使用している場合に注意を向けているか知る必要があったのかを記録，3)評価し，次回の注意ポイントを書き換る（図 5）ため，調理器具を画像中から抽出し，調理器具える．この 1)から 3)までを繰り返す．振り返りの中で，きに対する Saliency Map を作成することで，注意を向けていちんと注意を払って調理できたかを確認することができ，るかどうかを推定する．

やる気を誘発する．図 3 に振り返りシステムのイメージを示す．

5. 行動評価および結果行動評価の結果を図 6 に示すように提示する．このよう振り返りの目標設定に，毎回提示することによりどの部分が苦手なのかという情報が提供できる．また，以前の結果をさらに提示するこ記録

行動評価ができ，リハビリのやる気の向上を図ることができると考

やる気の誘発図3ｔ

目標とにより前回できてない部分が向上しているなど示すことえる．

振り返りシステム
記録システム

評価
5

所見
医療関係者

432

図4

振り返り

1

振り返り確認シート

0

調理行動

目標点
評価
調理行動

ここで，調理行動評価を行うために図 4 に示すような振り返り確認シートを用いる．このシートは，ある調理に対行動を取得する．評価はシステムで評価した結果と医療関係者によって評価した結果を記載する．

4. 注意行動評価
今回，行動検出するために加速度センサと環境カメラを33切る

図6

しての工程が記載されており，その中のいくつかのポイントを目標としてセットしておく．この目標に対する部分の沸かす

切る

34
沸かす

今回の研究では，注意行動モデルおよび振り返り支援モデルを提案して，今後これらの有効性を検証していく．

謝

辞本研究の一部は，文部科学省研究費補助金（基盤 C

キッチン上の物体を識別する．物体はマーカーを用いて識参考文献化するために，Saliency Map という顕著性マップを用いる．
Saliency Map は 1998 年に Itti らが発表したモデルであり[4]，人の視覚の機能をもとに考案されたものである．ヘッドマ
ウントカメラで得られた映像に対して Saliency Map を生成し，調理工程からトップダウンで生成される注意ポイントと，予期せず生じる注意イベントに対して，注意の集中と切り替えが適切に行われているかを，視線解析を行い，注・・・・・・・・・

6. まとめ21500192）の支援を受けた．

人間の視線を取得する．人間の視線に対する注意をモデル

3
1
運ぶ

行動振り返り評価図用いる．2 つのセンサを用いることで人の大まかな行動，別している．また，ヘッドマウント型のカメラを使用し，運ぶ[1] 厚生労働省，平成 24 年厚生労働省研究班調査報告，東京，2012．
[2] 佐野睦夫，宮脇健三郎，米村俊一，大出道子: 高次脳機能障害者の自立に向けた料理リハビリテーション支援，信学技報, vol.
111, no. 424, WIT2011-54, pp. 19-24, 2012 年 1 月．
[3] 宮脇健三郎，佐野睦夫，米村俊一，大出道子，松岡美保子: “高次脳機能障害者向け調理ナビゲーションのためのレシピ及び提示メディアの構造化”，映像情報メディア学会論文誌 Vol.64 No.12
pp.1863-1872(2010.12)．
[4] Laurent Itti, Christof Koch, and Ernst Niebur: A Model of Saliency Based Visual Attention for Rapid Scene Analysis, IEEETRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE, VOL. 20, NO. 11(1998)．

意行動を評価する．具体的には，視線の滞留時間と切り替© 2014 Information Processing Society of Japan280