WISS2013

SensingFork：フォーク型センサを用いた食行動改善手法の研究
門村 亜珠沙李 爭原陳 嚴章

塚田 浩二

朱 浩華

椎尾 一郎∗

概要. 『ピーマンも食べてね』と小さな子供に言葉で説得するのは難しい．もし，嫌いな食材を食べたときや夕ご飯を全部食べたときに，やる気の出るフィードバックを返したら，好き嫌いの多い子供の食行動も楽しく改善できるかもしれない．そこで我々は，子供の食行動の改善を目的に，食行動（食事中の動作と大まかな食材の種類）を検出するフォーク型デバイス：センシングフォークを開発した．本論文では，センシ
ングフォークのプロトタイプ設計と実装，このセンシングフォークと連動し，子供の食習慣改善を目指すス
マートフォン用アプリケーション：腹ペコパンダ，および，本システムの性能評価について述べる．

1

はじめにバランスの良い食事は健康を維持する上で重要な要因である．現在，世界各国で食事の摂取方法・食材の選び方・食に関する文化など，広い視野から食について教育すること，つまり食育が重要な課題となっている．特に，先進国では，政府が web サイ
ト上でも食にまつわる多くの情報を公開するなどして，食育を推進している1 2 ．日本でも，2005 年に，バランスの悪い栄養摂取や野菜摂取量の不足などの不健康な食習慣の増加を危惧し，人々が活発で健康的な生活を楽しむことができるように，食育基本法が制定された3 ．その結果，現在では，多くの幼稚園では食育活動を行っており，例えば，教諭らは子供たちに様々な種類の食材を食べることを促している．しかし，食育活動を引き続き家庭内で行うのは，時間・知識不足などの理由から親子にとって難しい[11]．そこで，我々は小さな子供にとって身近な食器であるフォークに着目し，家庭内での親子の食育支援を行うシステムを構築する．フォークのような身近な日用品を HCI 技術で拡張することで，子供たちが楽しく食習慣を自然に改善することを目指す．
本研究では，食事中の動作と大まかな食材の種類を検出するために，カラーセンサ／電極／マイコン／ Bluetooth ／バッテリーなどをフォーク自体に組み込んだデバイス：センシングフォークの設計と実装を行った．さらに，センシングフォークと連動し，子供の食習慣改善を目指すスマートフォン用のアプ
リケーション：腹ペコパンダを実装した（図 1，[4]）．
Copyright is held by the author(s).
Azusa Kadomura and Itiro Siio, お茶の水女子大学,
Cheng-Yuan Li, Yen-Chang Chen and Hao-Hua Chu,
国立台湾大学, Koji Tsukada, 公立はこだて未来大学
1
The U.S. Department of Agriculture:
http://www.choosemyplate.gov
2
British Nutrition Foundation:
http://www.nutrition.org.uk/
3
日本内閣府: http://www8.cao.go.jp/syokuiku/index.html∗図 1. システムの外観

2

関連研究

近年，HCI の分野において，食に関する多くの研究が発表されている．Grimes らは，食事をコンピュータで拡張する，Human-Food Interaction の可能性について調査・議論を行っている [3]．Parkerら [9] は，食事のオンライン広告に，栄養素や適切な食べ合わせを併せて示した場合の，子供たちへの影響を調査している．Mansour ら [7] は，栄養バランスの良悪を楽しみながら学ぶことができる子供や若者向けのコンピュータゲームを開発している．これらの研究以外にも，食育支援のための様々なサー
ビス4 5 が存在するが，その多くは PC やスマートフォン上のみで動作するものだった．
一方，人の食行動に対応したインタラクションを実現するために，食事の場にセンサやコンピュータを組み込むなど，ユーザの食行動に関する研究も多数行われている．Playful Tray[6] は，皿の横に取り付けたディスプレイから食事の進行に合わせて視覚的フィードバックを与えることで，食べるのが遅い子供を支援している．Dining Presenter[8] は，テーブル上方にプロジェクタを設置することで，事45

Fatworld: http://www.fatworld.org/
Shokuiku Town: http://www.glico.co.jp/shokuiku/game/WISS 2013

前に記入した絵やメッセージをテーブルに映し出し，食事を楽しくする効果や食育支援を目指している．
Hapifork[1] は，食材を口に運ぶ頻度から早食い行動を感知し，振動で知らせるフォーク型デバイスである．また，本研究に先立って我々は，ユーザが食材を食べた瞬時に音フィードバックを返すことで，食行動改善を目指すフォーク型デバイスを開発してきた [5]．これらのシステムは，少数のセンサにより特定の食行動を検出しているため，アプリケーションが限定されていた．そこで本研究では，人の食行動（食事中の動作と大まかな食材の種類）を検出する多様なセンサを搭載したフォーク型デバイスと，これを用いたアプリケーションを開発した．

3

システム概要本システムは，センサを組み込んだフォーク：センシングフォーク（図 2 左）と，フォークと連携して動くスマートフォンアプリケーション（図 2 右）から構築される．スマートフォン上のソフトウェアには，主に 3 つのモジュールがある．Àフォークのセンサデータからユーザの食行動を推定する「食動作検出部」，Áフォークと接触した食材を大まかに判別する「食材判別部」，および，Â子供の食習慣の向上を目指した食育ゲーム：腹ペコパンダである．これらを組み合わせて，ユーザが「何を」「どのように」食べているのかを検出し，適切なフィードバックを返すことで食育を支援する．次に，センシングフォー
クのプロトタイプの設計と実装について述べる．

クの持ち手サイズは L80 × W25 × H15 mm に収めることで，小さな子供でも容易に握れるように設計した．以下，各モジュールについて詳細に説明する．

4.1
4.1.1

ハードウェア電極

センシングフォークは，先端部分と握り部分に計3 つの電極を備える（図 2 左上）．先端部分の両端 2つの電極は，食材とフォークが接触したことを検出し，同時に食材の電気抵抗値を測定している．電気抵抗値は食材により異なるため，食材の推定に利用できる可能性がある．一方，握り部分の電極は，先端部分が食材を介してユーザの口に触れたとき，握り部分→手→腕→口→食材→先端部分と微弱な電流を流す．ここで，握りと先端の電極間の電気抵抗値を測定することで，フォークと食材がユーザの口に接触したこと（＝摂食動作）を検出できる．以上の電極部分の構成と，周辺回路について，図 3 に示す．

図 3. 電極とその周辺回路図
ÀとÁはフォーク先端部分の電極を示し，Âはフォーク握り部分の電極を示している

4.1.2
図 2. システム構成
左：センシングフォーク本体のプロトタイプ
右：スマートフォン上のソフトウェア

4

センシングフォーク

図 2 に示すように，センシングフォーク本体は，様々なセンサやハードウェア部品を内蔵している．
得られたセンサデータは，スマートフォン上に送信され，そこで食動作と食材の検出が行われる．フォー

カラーセンサフォークの先端部分中央には，カラーセンサと白色 LED を並べて組み込んだ（図 2 左上）．カラーセンサ（Avago ADJD-S311-CR999）は L2.2 × W2.2× H0.76 mm と超小型であり，フォークに接触した食材の色（RGB 各色と輝度）を 1024 段階で検出し，I 2 C を介してマイコンに送信する．フォークが食材の中に差し込まれると，白色 LED が点灯し，食材からの反射光をカラーセンサで測定する．なお，先端部の電極・およびカラーセンサ基板は，白色レジンでフォークの形状に固定した後，透明レジンで表面をコーティングした．レジンは共に歯科用の素材を利用することで，食の安全と防水に配慮した．

SensingFork：フォーク型センサを用いた食行動改善手法の研究

図 4. フォークの状態から導かれる食動作の遷移

4.1.3

モーションセンサ

フォークの握り内部のメイン基板上には，モーションセンサ（3 軸加速度＋ 3 軸ジャイロセンサ:InvenSense MPU-6050）を設置した．これらのセンサデータはフォークの動きを検出し，I 2 C を介してマイコンに送信され，食動作の推定に活用する．
食動作検出の詳細は，4.2.1 で説明する．

4.1.4

その他のモジュール

握り内部のメイン基板上にはマイコン，Bluetoothモジュール（SeeedStudio Serial port bluetoothmodule），リチウムイオン充電池，およびワイレス充電機構を搭載した（図 2 左下）．マイコンは Atmel ATMega328 を利用し，Arduino 互換機として実装した．Bluetooth モジュールは，上述したセンサデータをまとめてスマートフォンに送信する．リチウムイオン充電池はサイズを考慮して 120mAh のものを選択し，毎秒 10 回の無線送信を行っても 2 時間以上連続動作することを確認した．バッテリーを内蔵し，無線通信機能を備えることで，通常のフォークとできるだけ同じように扱えるように配慮した．

4.2 ソフトウェア
4.2.1 食動作検出部
食動作検出は，フォークから Bluetooth 経由で送信されるセンサデータを元に，スマートフォン上のアプリケーションで判定する．本システムでは，フォークの状態から以下の 4 種類のユーザの食動作を推定する．図 4 に食動作の一覧と遷移を示す．以下，食動作検出と推定方法について述べる．

• 休止状態（At-rest）:
休止状態とは，ユーザがフォークを握っていない（フォークが静止している）状態のことである．ユーザが使う食器がフォークだけと仮定すると，ユーザが食事のための動作をしていないと推定できる．フォークのモーションセンサが，一定時間動きを検出しない場合，休止状態にあるとシステムは判定する．

• 把持状態（Holding）：
把持状態とは，食材を刺していないフォークをユーザが手に持っている状態のことである．
この状態からは，ユーザがフォークを持ち上げていて，何かしらの食材をフォークで食べようと考えていると推定できる．フォークのモーションセンサがフォークの動きや手振れを感知した場合，把持状態にあるとシステムは判定する．

• 刺突状態（Poking）：
刺突状態とは，ユーザが食材をフォークで刺した状態のことである．この刺突状態からは，ユーザが食材を刺したが，まだ口に運んでいないことを推定できる．フォーク先端の 2 つの電極間に一定の電流が流れることで，刺突状態にあるとシステムは判定する．なお，刺突状態をトリガーとして，次項（4.2.2）で説明する食材判別を開始する．

• 摂食状態（Biting）：
摂食状態とは，フォークに刺さっている食材がユーザの口に接している状態のことである．
この摂食状態からは，ユーザがフォークに刺さっている食材を食べていることが推定できる．フォーク握り部分の電極と先端部分の電極間に微弱な電流が流れることで，摂食状態にあるとシステムは判定する．
これら 4 つの食動作の判定をより正確にするために，次の 2 つの仕組みを導入した．まず，各状態の間の遷移に図 4 のような制約を設けることで，誤認識を軽減する．すなわち，休止状態からは把持状態へしか遷移せず，把持状態からは刺突状態か休止状態へしか遷移しない．例えば，フォークで食材を刺さない（＝刺突状態にならない）限り，把持状態から摂食状態へは移行しない．これにより，例えば子供が食材を刺さずにフォーク先端をなめる動作と摂食動作を区別することができる．次に，摂食状態においては，フォーク握り部分と先端部分の電極に人体を介して微弱な電流が流れるため，フォークの把持者と摂食者が同一であることが判定できる．

WISS 2013

4.2.2

食材判別部

本研究では，ユーザにバランスの良い食事摂取を促す目的で，2 通りの手法を試作した．1 つ目は食材種類判別手法であり，食事前に初期化プロセスを設け，各食材の色と電気抵抗値を登録する．次に，ユーザが食事中，食材を刺す度に，初期データと照合することで食材種類の判別を行う．機械学習アルゴリズムとしては，サポートベクターマシーンを利用し，LIBSVM[2] を用いて実装した．2 つ目は食材色判別手法であり，初期化は行わず，ユーザが食事中に食材を刺す度に，その食材の色を記録する．なお，ノイズを軽減するために，過去 15 回の色データを平滑化して利用する．
食材色判別手法では，食事中に取得した色データを随時読み取ることで，色の絶対値から食材の大まかな種類を推定する．本手法では厳密に食材を判別することは難しくなるが，見た目の色の違う多くの食材を食べることで食育を支援する食材 5 色バラン
ス健康法 [10] も提案されており，色ベースとした判定手法には一定の有効性があると考える．また，初期登録の手間がないことから，導入や運用も容易である．よって，本論文では，食材色判別手法を用いて，後述の食育ゲームを実装した．

5

2. 子供が食材を刺すと，パンダも子供が刺した食材と同じ色8 の笹を持つ．
【刺突状態】

3. 子供がその食材を摂食すると，パンダもその笹を食べ『おいしい！』と話す．
【摂食状態】

4. フォークの状態が把持状態に移行すると，パンダは笹ポイントを取得し，笑顔になる．
【把持状態】

食育ゲーム：腹ペコパンダ

本章では，健康的な食生活のために様々な色の食材を摂取することを促す，センシングフォークと連動した食育ゲーム「腹ペコパンダ」について説明する（図 1，図 5）．腹ペコパンダでは，スマートフォン画面上に表示されたパンダが，食材を把持したり，摂食したりなど，ユーザ（子供）と同じ食行動を行う．ここで，お腹を空かせたパンダに子供が共感することで，実際の子供の行動に影響を与えることを目指した．仮想ペットとしてパンダを題材とした理由は，アジア諸国の子供に親しまれているキャラクターだからである．腹ペコパンダは「偏食」「注意散漫」という子供の一般的な食の問題7 の改善を目指す．まず，子供が別の色の食材を食べると，ゲームの得点が増える．これにより，高得点を得るために，より多くの食材摂取を動機付ける．次に，子供が食事時間中に一定時間摂食行動を停止したときに，パンダが悲しむことで，子供に食事に戻ることを促す
フィードバックを返す．
以下に，フォークの状態と腹ペコパンダの画面（図5）の関係について説明する．

1. まず，お腹を空かせて悲しんでいるパンダが登場し，子供が食べ始めるまで，『僕は腹ペコパンダ、お腹が空いたよ。』と話す．
【フォークの状態：休止・把持状態】
7

図 5. 腹ペコパンダの画面例

厚生労働省：2005 年度乳幼児栄養調査結果
http://www.mhlw.go.jp/toukei/list/83-1.html

5. 同様に，子供が別の食材を刺すと，パンダは子供が刺した食材と同じ色の笹を持つ．
【刺突状態】

6. 子供がその食材を摂食すると，パンダもその笹を食べ，『これもおいしいね！』と話す．
【摂食状態】

7. 子供が食事を中断すると（＝一定時間，休止・把持状態が続くと），パンダは泣きながら，『もっと食べたいよ！』と子供がまた食べ始めるまで訴えかける．
【休止・把持状態】

8. 子供が再び最初の食材を摂食すると，パンダは最初の笹と同じ色の笹を食べるが，笹ポイントは増えない．
『他の食材も食べたいよ！』と話すことで，多様な食材の摂食を促す．
【摂食状態】
最後に，終了ボタンを押すと，腹ペコパンダが獲得した笹ポイントの数に対応したアニメーションが表示される．つまり，万遍なく食べることで得られる笹ポイントの数に従って，最後に表示されるアニメーションが変わる．これにより，子供がより多くの食材を摂食する動機付けを行っている．
8

現システムでは，カラーセンサが検出した RGB 値を予め設定した閾値で分類して，5 色バランス健康法に基づく5 色【赤・白・黄・緑・黒】の笹にマッピングしている．

SensingFork：フォーク型センサを用いた食行動改善手法の研究

表 1. 各食動作認識の成功回数と各認識に要した平均時間
User A

User B

User C

User D

User E

User F

各状態の平均Holding 1【把持状態１】
Poking【刺突状態】
Biting【摂食状態】
Holding 2【把持状態２】
At-rest【休止状態】

5(0.3sec)
5(0.6sec)
5(0.3sec)
5(1.1sec)5(1.5sec)5(0.5sec)
5(0.3sec)
4(0.9sec)
5(1.8sec)
5(1.4sec)

5(0.3sec)
5(0.9sec)
3(0.9sec)5(1.5sec)5(1.5sec)5(0.5sec)
5(0.6sec)
4(1.2sec)
5(1.1sec)5(1.5sec)

5(0.6sec)
5(0.6sec)
4(1.1sec)5(0.5sec)
5(1.1sec)

5(0.4sec)5(0.5sec)
3(0.7sec)
5(1.2sec)
5(1.4sec)

5.0(0.4sec)
5.0(0.6sec)
3.8(0.9sec)
5.0(1.2sec)
5.0(1.4sec)

各ユーザの平均5.0(0.8sec)

4.8(1.0sec)

4.6(1.0sec)

4.8(1.0sec)

4.8(0.8sec)

4.6(0.8sec)

このように，本ゲームはセンシングフォークによって推定・検出されたユーザの食行動を基に，視覚・聴覚的なフィードバックを返し，食事時間中に食育を支援することを目指す．すなわち，子供は楽しく食行動を改善でき，親はパンダの獲得した笹ポイン
トを見ることで，日々の子供の食行動を継続的に把握することができる．付随的な効果としては，子供の食行動が改善された場合には，本ゲームによるご褒美（笹ポイントと最後のアニメーション）に加えて，親がお菓子などのご褒美を子供に与えるなどして，親子が食育に楽しく取り組むきっかけにつながると期待できる．

6

評価実験

センシングフォークの性能を評価する基礎的な評
価実験を行った．本章では，食動作検出と食材判別の精度について述べる．

6.1

各認識に要した平均時間を表 1 に示す．ユーザ毎に25 回の食動作（上述した 5 食動作を 5 セット）が行われた．その結果，全体としては 95%の認識率だった．一方，【摂食状態】において 23%の誤認識があり，【刺突状態→摂食状態】と認識されずに【刺突状態→把持状態２】と誤認識されていた．認識されなかったユーザの【摂食状態】をビデオ動画から観察した
ところ，誤認識された摂食時間の平均は 0.1 秒であり，正しく認識された場合の平均は 0.9 秒であった．
したがって，フォークを一瞬しか口につけなかった場合に，誤認識が発生した．現在の実装では，バッテリーの消耗を考慮して，スマートフォンとの通信頻度を秒間 10 回（0.1 秒間隔）に抑えており，この結果，ユーザが素早く行動した場合に十分な測定が行えなかったと考えられる．センシング頻度を上げることで，食動作の認識は改善できると考えている．
参考として，ユーザ C の食動作遷移例を図 6 に示す．

食動作検出について食動作検出の精度を確認するために，6 人のユーザ（男女各 3 名，21〜28 歳）にセンシングフォークで食材（一口サイズのチーズ）を 5 回食べてもらった．一連の食動作の認識精度を確認するため，各ユー
ザには 1 回食べるごとに，フォークを机に置くように指示した．すなわち，一度食材を食べる度に【把持状態１→刺突状態→摂食状態→把持状態２→休止状態】の順で一連の食動作が行われた．なお，全てのユーザはセンシングフォークを初めて利用し，システムの機能も事前に説明しなかった．
実験では，各ユーザの動作とスマートフォン上の実験用ソフトウェア画面を同時にビデオ撮影した．
実験用ソフトウェアには，現在の食動作の状態とセンサデータがテキストで表示されている．実験終了
後，実際のユーザの行動とソフトウェア上に表示された食動作を PC 上でフレームごとに目視で比較した．なお，ユーザの食動作の遷移は，【把持状態１：フォークが机から離れた瞬間】【刺突状態：フォー
ク先端が食材に触れた瞬間】【摂食状態：ユーザが食材を噛んだ瞬間】【把持状態２：ユーザの口からフォークが離れた瞬間】【休止状態：フォーク本体が机に置かれた瞬間】というフレームで判定した．
まず，各食動作が認識された回数と，システムが

図 6. ユーザ C の食動作遷移の一例
上段が認識成功時，下段が認識失敗時の事例．各 2列の横棒は上がシステムの認識結果，下が実際のユーザの食動作を示す．下段では，【摂食状態】が0.07 秒と短時間で行われため，認識されていない．

また，表 1 に示す通り，各動作認識に要した時間の平均は 0.9 秒であった．各動作の中でも，【休止状態】の認識は平均 1.4 秒と時間がかかった．この理由は，1 秒以上フォークが静止したときに【休止状態】と判断しているからである．こちらも待機時間を調整することで，認識速度を改善できる可能性はあるが，一般にフォークを机に置く／取る行為が高速で繰り返されることは少ないので，実用上問題ないと考えている．また，【把持状態２】も平均 1.2 秒

WISS 2013と時間がかかっているが，これは実験プログラムの不具合（摂食時に 2.2 秒程度のアニメーションが表示され，終了まで状態表示が更新されなかった）が原因であり，実際の認識は【把持状態１】や【刺突状態】と同程度の時間で完了できると思われる．

6.2 食材判別について
4.2.2 で述べた食材色判別手法の性能を確認するために，市販のお弁当から色が異なった食材を 5 種類（ハンバーグ【赤】，米【白】，かぼちゃ【黄】，ブロッコリー【緑】，しいたけ【黒】）用意した．なお，【】内の色は前述の食材 5 色バランス健康法 [10]での分類を示す．実験者は，各食材の同じ面の違う箇所を 10 回ずつセンシングフォークで刺し，RGB値を記録した．まず，同一食材毎の検出誤差（標準偏差）としては，米が平均 0.9，かぼちゃが平均 6.5と安定していたのに対し，ハンバーグは平均 14，しいたけは平均 15，ブロッコリーは平均 25 と誤差が大きくなった．これは，ハンバーグの上のケチャップや，ブロッコリーの葉部分の隙間，シイタケの表面／内部の色の濃淡の違いといった食材の特性に影響を受けたと考えられる．

図 7. 各食材の RGB の平均値と標準偏差次に，現在の腹ペコパンダで採用している，各食材を 5 色【赤・白・黄・緑・黒】にマッピングする方法を適用したところ，米【白】，カボチャ【黄】は10 回中 10 回，ブロッコリー【緑】は 9 回認識に成功した．一方，シイタケ【黒】は 10 回中 5 回，ハンバーグ【赤】は 10 回中 4 回しか認識出来ず，大半が相互に誤認識していた．現在の食材色判別手法は単純な閾値で判定しているため，今後は色空間上の距離や機械学習などを利用して認識率を改良したい．

7

まとめと今後の課題

本論文では，センサ内蔵フォークを用いてユーザの食行動を検出するセンシングフォークの設計と実装について述べた．また，子供の食事中の「偏食」「注意散漫」といった問題行動を改善することを目指した「腹ペコパンダ」ゲームも実装した．さらに，フォークの基礎的な性能を検証するために評価実験を行い，食動作検出と食材の色による分類について，改良の余地はあるものの，一定の性能があることを確認した．
今後は，実際に子供を対象とした，家庭内での評価実験を計画している．さらに，食事中の更なる問題行動を検出したり，食材の摂食順序を記録したりすることで，新たな食行動改善アプリケーションの可能性を探る．

謝辞
本研究は，JSPS 科研費 25・10205 と科学技術振興機構さきがけプログラムの助成を受けた．

参考文献[1] Hapifork. http://www.hapilabs.com/.
[2] C.-C. Chang and C.-J. Lin. LIBSVM: A libraryfor support vector machines. ACM Trans. Intell. Syst. Technol., 2(3).
[3] A. Grimes and R. Harper. Celebratory technology: new directions for food research in HCI. In
Proceedings of CHI ’08.
[4] A. Kadomura, C.-Y. Li, Y.-C. Chen, H.-H. Chu,K. Tsukada, and I. Siio. Sensing fork and persuasive game for improving eating behavior. In
Proceedings of Ubicomp ’13.
[5] A. Kadomura, K. Tsukada, and I. Siio. EducaTableware: computer-augmented tableware
to enhance the eating experiences. In Extended
Abstracts on CHI ’13.
[6] J.-L. Lo, T.-Y. Lin, H.-H. Chu, H.-C. Chou, J.H. Chen, J. Y.-J. Hsu, and P. Huang. Playful
tray: adopting Ubicomp and persuasive techniques into play-based occupational therapy for
reducing poor eating behavior in young children.
In Proceedings of UbiComp ’07.
[7] A. Mansour, M. Barve, S. Bhat, and E. Y.-L.
Do. MunchCrunch: a game to learn healthyeating heuristics. In Proceedings of IDC ’09.
[8] M. Mori, K. Kurihara, K. Tsukada, and I. Siio.
Dining Presenter: Augmented Reality system
for a dining tabletop. In Proceedings of UbiComp ’09.
[9] A. G. Parker, I. McClendon, C. Grevet, V. Ayo,W. Chung, V. Johnson, and E. D. Mynatt. I
am what i eat: identity & critical thinking in an
online health forum for kids. In Proceedings ofCHI ’13.
[10] 杉本恵子. 「生活習慣病は、『食材 5 色バランス健康法』で予防・改善を」. In Kellogg’s Update,
第 82 巻, 2005.
[11] 鈴木秀子. 子どもから家庭へつなぐ食育〜保護者の「学び」からの検討〜. 会津大学短期大学部研究年報, 第 67 巻, 2010.