情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B27
2016/3/4

フォトリフレクタと骨伝導ヘッドホンを用いた咀嚼音呈示システムの提案
加藤基記

橋本渉佐野睦夫

概要：本研究では，咀嚼時に発生する咀嚼音と振動に着目した食感呈示システムを開発する．本システムを３か月間国立民族博物館で展示を行い，食品の食感の分かりやすさについての評価を行った．その結果，咀嚼音と咀嚼動作の同期が不可欠であることがわかった．そこで，本研究ではフォトリフレクタによる外耳道の変形検出により，下顎の動作を検出する方法を導入することを提案する．

Chewing Sound Representation System by Using a Photo-Reflector
and Bone-Conduction Headphone
Motoki KATÔWataru HASHIMOTO

Mutsuo SANO

Abstract: In this study, we developed mouthfeel representation system that focuses on the vibration and chewing sound. Our systemwere exhibited at the National Folk Museum during three months and then we evaluated the recognition of chewing sound throughthe exhibition. The result shows that it is essential to synchronize the chewing sound with the motion of mastication. We propose
to utilize a photo-reflector for detecting the deformation of the ear canal due to movements of mandible.

1. はじめに2. 骨伝導ヘッドホンを用いた咀嚼音呈示

人が物を食べる際，食べ物の味，香り，見た目，噛みご国立民族博物館での展示において，食文化の比較に関連たえ，咀嚼音といった様々な感覚によって知覚された情報する展示を行う機会を得た．展示では，様々な食品を食べを統合された結果，食感を知覚している．食べる行為は生ている際の感覚に関するコンテンツを考案する必要があっ存に関わる本質的な行動であり，錯覚や疑似体験させるこた．展示において，利用者に対して負担を掛けず手軽に体とが難しい．しかし，バーチャルリアリティの分野では，験できる手法が重要であることは言うまでもない．また，あえて人間の食感に訴えるような挑戦が行われている．た

３か月の長期にわたる提示のため，耐久性に優れなければとえば，てこクランク機構となった装置を実際に噛むことならない．そこで本研究では従来研究[2]を参考に，実際ににより物理的な歯ごたえを与え，同時に咀嚼音と味を呈示

食品を咀嚼した音を骨伝導マイクロフォンで録音し，骨伝するシステムがある[1]．また，骨伝導ヘッドホンにより咀導ヘッドホンを用いて咀嚼音を提示することで食感の再現

嚼時の音や振動を呈示することで咀嚼感を与える研究も提を試みることとした．

案されている[2]．人間の食感に正しく訴えるには，視覚，制作したコンテンツではシルエット状になった食品の味覚，聴覚などを複合的に呈示する必要があり，決定的な画像ボタンを押すと食品の咀嚼音が骨伝導ヘッドホンとモ呈示方法が存在しないのが現状である．

ニタースピーカから流れ，利用者はその咀嚼音を聞き，食本稿では，食感呈示の一手法として，骨伝導による咀嚼品を当てるようなユーザに対して受動的なコンテンツ仕様音呈示のシステムを紹介する．このシステムは，博物館でとなっている．提案した咀嚼音呈示について，全体のシスの長期展示に向けて開発されたものである．来館者に容易

テム構成図を図 1 に示す．

かつ直観的に咀嚼音を伝えるため，着脱の容易な骨伝導ヘッドホンを用いた．また，数種類の食品の咀嚼音を比較してもらい，咀嚼音における食感の知覚について評価を行った．さらに，咀嚼音と咀嚼動作の同期の必要性を考慮し，フォトリフレクタによる咀嚼検出手法の検証を行い，咀嚼音呈示システムに導入することを試みた．

大阪工業大学 情報科学部
Faculty of Information Science and Technology, Osaka Institute of Technology© 2016 Information Processing Society of Japan881

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B27
2016/3/4

3. 国立民族博物館での展示
2015 年 8 月 27 日～11 月 10 日に国立民族博物館で開催された「韓日食博展」において，２章で制作した食感提示コンテンツを展示した．そこで，本システムでの咀嚼音を用いた食感提示の再現性と収録した食材による食感の分かりやすさの比較について，実際にコンテンツを利用した来場者に対してアンケート調査を行い，評価を行なった．
図1
Figure 1

システム構成図

Block diagram of the system

3.1.

アンケート調査

咀嚼音を，骨伝導ヘッドホンを用いて提示することでど
図 1 より，食感呈示をするためにユーザに対して口内音と振動，口外音，視覚情報の３つを呈示する．咀嚼時に発の程度の食感を再現出来ているか評価することをアンケー
トの目的とする．

生する口内音および振動は骨伝導ヘッドホンを用いて呈示

アンケートの内容について，8 種類の食品の咀嚼音を聞する．また咀嚼時に発生した音は骨伝導だけでなく口からき，各食品がどれくらい咀嚼音や食感が分かりやすかった洩れた音が気導音として人が知覚しているため，口外音をかを 4 段階で評価を行なった．食品の内容は日本食品４種別で呈示する必要がある．今回は，モニタースピーカを用類と韓国食品４種類となっており，日本食品は，酢蓮，ないて口外音の呈示を行う．視覚情報は，食に関する展示コ

ます，数の子，煎餅，韓国食品は，もやしのナムル，ぜんンテンツであるため，食品の選択や各食品の解説などをユ

まいのナムル，カクテキ，韓国海苔となっている．

ーザに対して呈示する．
また，システムを使用中の様子を図 2 に示す．

3.2.

アンケート集計結果と考察

被験者 31 名（10 代～60 代の男性女性合計 31 名）がアンケートに回答した．被験者が回答したアンケート結果を集計し，各食品に対する評価の平均値と標準偏差を表 1，表 2 に示す．
表1

日本食品の評価結果（最良＝４Table 1

最悪＝１）

The evaluation results of Japan food(Best=4, Worst=1)
酢蓮

なます

数の子

煎餅

平均値2.772.81

3.45

3.84

標準偏差

1.05

0.96

0.76

0.45

表2

韓国食品の評価結果（最良＝４Table 2最悪＝１）

The evaluation results of Korea food(Best=4, Worst=1)

図2
Figure 2システム使用中の様子

もやし

ぜんまい

Appearance in the system use

ナムル

ナムル

平均値

2.67

標準偏差0.94

図 2 より，今回のシステムを使用する上でタッチパネルモニタを人の腰ぐらいの高さに固定したテーブルトップ型のインタフェースにした．利用者は立った状態で骨伝導ヘカクテキ

韓国海苔

2.23

3.07

2.50

0.92

0.89

1.12

ッドホンを装着しタッチパネルモニタで操作するようになっている．これにより利用者は骨伝導ヘッドホンを装着すアンケート集計結果から，各食品を比べて煎餅と数の子るだけで展示コンテンツを利用することができるため，あについて食感が非常に分かりやすかったと評価された．煎

まり負担を掛けず気軽に利用することができると考える．

餅の場合は他の食品に比べて非常に硬い食品であるため，© 2016 Information Processing Society of Japan882

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B27
2016/3/4

咀嚼時の破砕音が非常に大きく特徴的であったので分かりレクタを用いた咀嚼検出が正しく行えるか各耳で検証をすやすかったと思われる．数の子も同様に，卵が潰れるようる．

な他の食品と比べ特徴的な咀嚼音であるため感じ取りやす

外耳道の形状変化を検出するために，フォトリフレクタかったと思われる．一方，韓国海苔については特徴的な咀を取り付けたイヤホンを外耳孔部分に装着する．これによ嚼音であったが，咀嚼音自体が非常に小さかったために骨り外耳道の変化に対して LED 光の反射率の変化により計伝導ヘッドホンの振動が非常に小さかったので評価が一番測することができる．この反射率の変化を計測するために，低い結果となった．その他の食品については，食材が野菜

フォトリフレクタをアナログ入出力ターミナル（CONTEC類であったため評価結果として近い数値となったと思われ社製る．また，食品の調理方法によって食感や咀嚼音に差が発数値として計測することが可能となる．今回はノイズの影生するのではないかと考えられる．以上のことから，骨伝響を避けるため電池を使用したので，0～5V の電位の変化

導ヘッドホンを用いた食感呈示は食品の素材によって正しを計測できる．計測する際は，1kHz のサンプリング周波数く感じ取れるものがある．他の食品については咀嚼音の音で行う．

量調整や咀嚼音の特徴的な部分を強調することで食感を提示することができると考えられる．

3.3.

AI-1608AY-USB）に繋げることにより電位の変化を例として実際に咀嚼時と非咀嚼時を，フォトリフレクタを用いて両耳で計測を行なった結果を図３，図４に示す．

咀嚼音と咀嚼動作の同期の必要性

アンケート調査において，食感呈示の評価とともに展示コンテンツに対する意見も任意で回答してもらった．その意見の一部に咀嚼音を聞くだけでなく咀嚼動作と連動させて音を出力した方が良いという意見があった．人が物を食べる際，噛む動作をした直後に咀嚼音が発生し知覚するという一連の流れになっている．そのため，よりリアルに食感の呈示を行うためには咀嚼音と人の咀嚼動作を同期する必要がある．
図 3 右耳での咀嚼検出の電圧変化

4. 咀嚼検出に関する先行研究

Figure 3

Voltage change of chewing detection in the right ear

人の咀嚼動作の検出手法について多数提案されてきた．
宇野らは圧力センサをゴムバンドに取り付けて左右の耳後ろ部分に当たるように装着することで咀嚼動作を検出する手法を用いている[3]．田中らは反射型光センサを用いて咀嚼時の下顎の動きを検出する手法が提案されている[2]．
一方で，谷口らは光学式距離センサをイヤホンに取り付けて耳に装着することで外耳の動きによって目や舌の動きを検出する研究がある[4]．
本研究では，骨伝導ヘッドホンによる食感呈示を阻害しない点でも，外耳道での検出方法が有効な方法であるため，谷口らの研究手法を用いた外耳道の動きによる咀嚼検出が可能か検証を行い，その手法を用いた咀嚼音と咀嚼動作の

図 4 左耳での咀嚼検出の電圧変化
Figure 4

Voltage change of chewing detection in the left ear

同期を試みる．
図 3，図 4 において，咀嚼時と非咀嚼時で電位差がある

5. フォトリフレクタを用いた咀嚼検出
本研究では，フォトリフレクタを用いて咀嚼時と非咀嚼時の外耳道の形状変化を検出し，咀嚼のタイミングを取得する．そして，取得した咀嚼のタイミングを基に骨伝導ヘッドホンを用いて咀嚼音を提示することで能動的な食感提示を行うシステムの開発を行う．そのために，フォトリフ© 2016 Information Processing Society of Japanことが両耳ともに観察することができた．電源が 5V のとき，外耳道の変化により右耳では最大 1.1V 程度の電位差が生じ，左耳では最大 0.7V 程度の電位差が生じた．両耳において咀嚼時と非咀嚼時で電位差が存在する．両耳ともに咀嚼検出において明確な電位差が観察することができるため，どちらの耳でも咀嚼検出は可能であると考えられる．

883

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B27
2016/3/4

6. おわりに検証の結果，フォトリフレクタを用いることで咀嚼時と非咀嚼時の電位差を検出することができた．今回の結果を基に人の咀嚼動作の検出を行い，そのタイミングに合わせて咀嚼音を提示することで能動的な食感の提示を行なえるのではないかと考えられる．
本研究では，咀嚼時と非咀嚼時だけを計測したが，咀嚼以外での口の動作に対して計測を行い，咀嚼との判別を正確に行う必要がある．また，食感の提示に関しては，骨伝導の振動だけでは限られた食材でしか再現性の評価が良くないので，フォースリアクタなどの振動子を用いて多種多様な食材の食感呈示に対応する必要がある．

参考文献
1)

上村尚弘，森谷哲朗，矢野博明，岩田洋夫；食感呈示装置の開発；日本 VR 学会

2)

2003

論文誌，pp.399-406(2003)

田中秀和，小泉直也，上間裕二，南澤孝太，稲見昌彦；咀嚼
検出デバイスを用いた食感拡張システムの提案；日本 VR 学会

3)

2011

大会論文集，pp.694-697(2011)

宇野修司，有泉亮，金田重郎，芳賀博英；骨伝導マイクロフ
ォンを用いた咀嚼回数指導方法の提案；人工知能学会
大会4)

2010

全国

論文集，24 巻 ROMBUNNO.1G2-1(2010)

谷口和弘，西川敦，小林英津子，宮崎文夫，佐久間一郎；みみスイッチ：外耳の動きを入力情報とする常時装用型入力装置；インタラクション

2010

論文集，pp.243-246(2010)© 2016 Information Processing Society of Japan884