WISS 2020

画面に映っている食品の味を再現して味わえる味ディスプレイの開発
宮下 芳明*

概要．本稿では, 画面に映っている食品の味を再現して味わえる「視聴覚＋味覚の提示装置」という意味として味ディスプレイを再定義し, 視聴覚＋味覚コンテンツを記録・編集・再生する仕組み全体を整理・考察した．さらにウェアラブル型やタッチパネル一体型も新規に試作した．

1

視聴覚＋味覚コンテンツのための「味ディスプレイ」再定義という用語もあり[8], 筆者らによる風覚インタフェースの論文[11]においても, 風覚情報を取得・提示するデバイスを「風覚カメラ・風覚ディスプレイ」と呼称して問題はなかった．しかし, [4][9]の発表や報道に基づく反響の中では, ディスプレイという言葉にひきずられ, 視覚的な情報提示と併用して味情報を呈示するデバイスだと理解する人も多かった．本
稿では, 画面に映っている食品の味を再現して味わえる「視聴覚＋味覚の提示装置」という意味として味ディスプレイを再定義し, 視聴覚＋味覚コンテンツを記録・編集・再生する仕組み全体を整理・考察している．さらに[4][9]にはなかったウェアラブル型やタッチパネル一体型の味ディスプレイも本稿で新規に試作した．
図 1 に示すのは, 本稿で提案する視聴覚＋味覚コンテンツの制作フローである．飲食物を視聴覚だけでなく味覚も記録し（ビデオカメラと味センサを用いる）, 同時に編集したり, エフェクトをかけたりする．それを, テレビを見ながら手に持った提示デバイスから味を得たり, HMD を見ながらウェアラブルな提示デバイスから味を享受したり, あるいはタブレットを直接舐めることによって味を感じることができる．

2
図 1. 視聴覚＋味覚コンテンツの制作フロー

著者は[4]で基本五味の組み合わせとして任意の味を提示可能なデバイスを提案し, [9]ではこれを味センサと連携させ, 実際の飲食物の味を測定・再現する仕組みを提案した．これらの研究で「味ディスプレイ」という用語は, 「味を提示するデバイス」を意味していた．鳴海らの「擬似味覚ディスプレイ」
Copyright is held by the author(s).
* 明治大学 総合数理学部 先端メディアサイエンス学科

原理

本研究は電気刺激や電気味覚の研究ではない．食塩水などの水溶液に陰極の電気をかけると味の感じ方が抑制されることは古くから知られており，龜井[10]，Hettinger[1]らが詳細を調査, 中村ら[2]が応用している．この現象は, 溶質が電解質の場合, 味の種類にかかわらず起こり, 逆に溶質が非電解質の場合には全く起こらない[3]．つまり舌への電気刺激,いわゆる電気味覚は関係なく, 水溶液内での物理的なイオン濃度変化が原因である．溶液に電極を入れて電気を流せば, 陽イオンは陰極の方に引き寄せられるため, 陽極の周りからは当然, 陽イオンが減る．
ストローに陰極を, 体に陽極をつけて溶液を口内にWISS 2020含んだとき, 舌はまさにこの陽極と同じ状態になる．
舌は自らの周辺の陽イオンが減ることを感知するため「味が薄くなる」わけである．本現象は, 基本五味を感じさせる 5 種の電解質すべてで起こることが知られており, 電流を強くするほど味の抑制効果が大きくなり, その様は線形に表せることが, 青山らによる実験で確認されている[3]著者は「任意の味を表現する味提示装置の開発」
を目的として, この現象および実験結果に着目した．
まず実践してみたのは, 記載されていた 5 種類の電解質水溶液（塩化ナトリウム 1%, クエン酸 0.5%, 塩化マグネシウム 0.5%, グルタミン酸ナトリウム0.5%, グリシン 5%．濃度は[3]と同一）をストローに入れ寒天で固めることであった．食塩とゼラチンによる実験はすでに例があるが[10]，電気をかけてみると, やはり電流の強さとともに味が抑制された．
ゲル同士はストローで絶縁されているので, 束ねても混ざり合うことはなく, 個別に電気をかけることによって個別にその味の強さを変えられた．さらにストローを隣接させて舌に当てたとき, それらの味は混ざって感じられた．
以上のことから, イオン泳動の原理を応用した,ハンディ型の味提示装置 Norimaki Synthesizer を試作した[4]．デバイス表面の電極を手で握り, 先端のゲルに舌を触れることで回路が形成される仕組みになっている．5 種のゲルを束ね, 外側に銅箔テープを巻いて陽極とする．それぞれのゲルには, 溶解を防ぐために白金電極を刺し, 電源装置につなぎ,各電流量を調整できるようにした．すると, 通電せずにそのまま舌に当てた場合は 5 つの味が同時に感じられるが, 電流をかけていくことで, 該当するゲルの味を個別に弱めることができ, 基本五味の比率を任意に調整することができた．
Norimaki Synthesizer で電流を増減させると,舌はこれを刺激として感知してしまう．イオン濃度の増減で味を表現する本手法からすると, この刺激は邪魔であるし, 特に, 本原理では弱い味を表現するために強い電流を用いるので, 知覚としての混乱を生みかねない．そこで, あえてもうひとつ, 何も味がついてない「無味ゲル」を追加した[9]．このゲルには, 「他の 5 本のゲルに流れる電流の合計を,0.5mA から引いた電流」を流す．つまり, 6 本のゲルに流れる電流の総和を常に一定(0.5mA)に保つことで, 基本五味の変化に集中できるようにした．無味でありつつ導電性が必要なので, ほぼ無味の電解質としてフェニルアラニンをわずかに加えている．
刺激が消えるとまではならないものの, 従来は電流が流れていない状態から流れている状態に移行する際の強い刺激があったのを，多少緩和しているように感じられる．緩和効果については未評価である．

また, 無味ゲルに関する調整も含め, 細やかな電流制御をコンピュータから行えるシステムを開発した．
デジタルミキサーのムービングフェーダで可変抵抗を動かして各ゲルへの電流を MIDI 制御している．
また, タッチパネルで動作するアプリケーションも制作し, 五角形のレーダーチャートをタッチ入力でドラッグする UI を実装した．

3

味センサとの連携[9]で実施・発表した味センサとの連携について説明する．近年, 味センサが実用化され, 飲食品の味覚評価のための測定器として普及し始めている．都甲らが開発した脂質膜型味センサ[5]は, 人間の舌を模した複数の脂質/高分子膜を用い, その応答電位出力から基本五味に対応する味質を数値化している．
「広域選択性(global selectivity)」が大きな特徴で,異なる物質であっても, 人にとって同じ味として感じられるものに対して同じ反応を示す[5]．筆者は, 5
種の電解質が味センサでそれぞれどのような味強度として測定されるかを調べた．甘味については, 耐久性と多様な糖・人工甘味料評価に定評がある
AlphaMOS 社の ASTREE を, 他の味では都甲らによる味センサ TS-5000Z を用いた．

図 2. 味センサにおける塩化ナトリウム水溶液濃度と，塩味の強度, 味提示装置が出すべき電流強度（正規化済）の関係

図 2 の紫線は, 0.2%から 1.0%の塩化ナトリウム水溶液における「塩味の強さ」を味センサで測ったものである．横軸が実際の濃度𝐶𝑠𝑎𝑙𝑡𝑦 (%), 縦軸が塩味の強さ𝑇𝑠𝑎𝑙𝑡𝑦 である．味センサは, 測定時に比較対象となる液体が必要で, いわば原点になり, それより味が濃いものが正の値, 味の薄いものが負の値となる．この計測においては 1.0%塩化ナトリウム水溶液を比較対象としている．グラフをみると, 薄くなるほど数値が下がり, その関係性は対数的で, 感覚量と刺激量の関係であるウェーバー・フェヒナーの法則が現れている．これを対数で近似する．式(1)は,画面に映っている食品の味を再現して味わえる味ディスプレイの開発
濃度𝐶𝑠𝑎𝑙𝑡𝑦 の塩化ナトリウム水溶液において味センサで測定される塩味𝑇𝑠𝑎𝑙𝑡𝑦 を表す式である．
𝑇𝑠𝑎𝑙𝑡𝑦 = 6.22 log 𝑒 𝐶𝑠𝑎𝑙𝑡𝑦 + 0.0289(R2 = 1.000)(1)

図 2 の青線は, 青山らによる実験 [3]の結果である．この実験では 1.0%の塩化ナトリウム水溶液にどれだけの電流をかければ 0.8%, 0.6%, 0.4%, 0.2%の塩化ナトリウム水溶液と同じ濃さに感じるか ということを被験者に調整させている．濃度𝐶𝑠𝑎𝑙𝑡𝑦 (%),
電流の強さ𝐼𝑠𝑎𝑙𝑡𝑦 の関係は線形近似でき, 𝐶𝑠𝑎𝑙𝑡𝑦 の濃度と同等の塩味を表現するために必要な電流の強さ𝐼𝑠𝑎𝑙𝑡𝑦 を表す式(2)が得られる．
𝐼𝑠𝑎𝑙𝑡𝑦 = −1.26 𝐶𝑠𝑎𝑙𝑡𝑦 + 1.25

(R2 = 0.997)

𝐼𝑎𝑐𝑖𝑑𝑖𝑐 = −2.40 (0.498 𝑒 0.161 𝑇𝑎𝑐𝑖𝑑𝑖𝑐 ) + 1.23
𝐼𝑏𝑖𝑡𝑡𝑒𝑟 = −2.29 (0.579 𝑒 0.170 𝑇𝑏𝑖𝑡𝑡𝑒𝑟 ) + 1.21
𝐼𝑢𝑚𝑎𝑚𝑖 = −2.29 (0.445 𝑒 0.156 𝑇𝑢𝑚𝑎𝑚𝑖 ) + 1.18
𝐼𝑠𝑤𝑒𝑒𝑡 = −0.244 (5.58 𝑒 0.162 𝑇𝑠𝑤𝑒𝑒𝑡 ) + 1.33

(5)(6)(7)(8)(4)~(8)の式を用いれば, 味センサで記録された基本五味の強さ（各 T ）を再現するための電流の強さ（各 I ）が得られる．味提示装置の電源制御ソフト
ウェアはこの数式に基づいた制御を行っている．
（正確にはオームの法則に基づいて可変抵抗の値を算出しているがここでは割愛する）．

(2)

味センサの大きな特徴は広域選択性である．有機物だろうが混合物だろうが代替調味料だろうが, 物質として異なっていても同じ味であれば同じ数値が測定されると期待できる．仮に, 成分未知のスープを味センサで測定したときに, 塩味の強さが𝑇𝑠𝑎𝑙𝑡𝑦= - 2.00 だったとしよう．この塩味が「塩化ナトリウム水溶液換算で何%に相当するか」は, 式(1)の逆関数となる指数関数(3)で求まる．
𝐶𝑠𝑎𝑙𝑡𝑦 = 0.995 𝑒 0.161 𝑇𝑠𝑎𝑙𝑡𝑦(3)

式 (3) の 𝑇𝑠𝑎𝑙𝑡𝑦 に -2.00 を 代 入 す る と 𝐶𝑠𝑎𝑙𝑡𝑦 =0.721% 塩化ナトリウム水溶液に相当する強さの塩味であることがわかる（水色矢印）．この塩味を再現することを考える．1.0% 塩化ナトリウム水溶液（ゲル）にどれくらいの電流をかければ 0.721% 塩化ナトリウム水溶液に相当する塩味が出せるかというと,これは式(2)を用いて推定できる．式(2)の𝐶𝑠𝑎𝑙𝑡𝑦 に0.721 を 代入 する と , 求め る 電流 の強 さ 𝐼𝑠𝑎𝑙𝑡𝑦 =0.342 であることがわかる．
すなわち, 味センサで測定された塩味の強さ𝑇𝑠𝑎𝑙𝑡𝑦 を味提示装置で再現するために必要な電流の強さ𝐼𝑠𝑎𝑙𝑡𝑦 は, 式(1)の逆関数である式(3)に式(2)を代入して, 以下のように表せる．
𝐼𝑠𝑎𝑙𝑡𝑦 = −1.26 (0.995 𝑒 0.161 𝑇𝑠𝑎𝑙𝑡𝑦 ) + 1.25(4)このように 基本五味を提示する電解質水溶液の濃度を変えながら, その味の強さを測定すれば, 味の強さと電解質水溶液の濃度の関係式が得られ, 味センサと味提示装置の入出力を対応させられる．式(5)～(8)はそれぞれ酸味・苦味・旨味・甘味において同様の測定（図 3, 4）と導出で得られた式である．

図 3. 味センサにおけるクエン酸・塩化マグネシウム・グルタミン酸ナトリウム水溶液濃度と酸味・苦味・旨味の強度, および味提示装置が出すべき電流強度（正規化済）の関係

WISS 2020認された．レモン水の計測データは, 厳密に無糖紅茶とレモンティーの差になっていないが, 他の食品にレモンを加えたときの「レイヤー」として利用価値があると考えており，今後はマルチレイヤー化を検討している．

5

図 4. 味センサにおけるグリシン水溶液濃度と甘味の強度,および味提示装置が出すべき電流強度（正規化済）の関係

4

味も編集可能な動画編集ソフト[9]では視聴覚＋味覚コンテンツが編集できるソフトウェアを開発した．複数の動画ファイルを読み込み, その動画に対応する基本五味の分布をタッチペンで入力, 映像に沿って味を変化させることができる．味と味の変化はクロスフェードを行っており, フェードイン・フェードアウトも行える．

図 5. 味も編集可能な動画編集ソフト．味の時系列的な変化をコンテンツとして記録・編集・再生できる．

コンテンツの例として, 紅茶を淹れ, レモンを入れる動画をこのソフトで編集した（図 5）．まずは,無糖の紅茶, レモン果汁 5％の水溶液, レモン果汁5%のレモンティーを用意し, 前章と同様な手法（比較対象は５種類の電解質を溶かした溶液）によって味センサで測定した．無糖と比べると, レモンティーは苦味が薄れ, 酸味が強まっていた．味提示装置の再現域を超えているところは最大値・最小値で表現することとして, 実際の映像編集に利用した．すると たしかに, レモンを入れると酸味が増す過程が体験できた．また, 味センサから取得されたデータではなくなるが, 甘味の要素を増強することによって, 無糖ではなく加糖の紅茶を表現するなど, 調整やアレンジの可能性があることが確

味エフェクタ・イコライザの開発[9]では, ５つの味強度に特殊な効果を施す「味エフェクタ」を複数開発した．まず, 基本五味のうち最も強い味のチャンネルが，味提示装置で表現可能な最大値にまで持ち上がる「ノーマライズ」エフェクトを作成した．これによって, 味提示装置の表現力を最大限活かすことができる．また, 基本五味の全ての値を平均してしまう「平均エフェクト」, それに次第に近づけたり離したりする「ブラーエフェ
クト」「シャープエフェクト」, チャンネルの置換,およびネガ反転エフェクトを用意した．たとえば,加糖のレモンティーは, 苦味・酸味・甘味を伴う味
だが, これにネガ反転エフェクトを加えると, 塩味と旨味が混じったスープのような味になる．
味コンテンツを鑑賞する際の調整機構として「味のイコライザ」も開発した．酸味に敏感で苦手な人向けに酸味の出力を抑えたり, 濃い塩味が好きな人向けに塩味の出力をブーストさせたりすることによって, 各個人に合った味の楽しみ方ができるようになる．味覚の感度が落ちたり, 味の違いが区別しにくくなったりしている人に対しては, 味センサで計測された実際の値よりも出力値を強めたり, 味の違いを際立たせたりすることによって, 味における「メガネ」や「補聴器」のようなものにできるのではないかと考えている．

6

タッチパネル一体型・ウェアラブル型の味ディスプレイの試作

図 6 は本稿で試作した，新たな形態の味ディスプレイである．3mm 厚の三角形ゲルが６つ（基本五味＋無味）, 液晶ディスプレイ上に載っており細い白金線（陰極）が刺してある．陽極部はタッチパネルの周りに導電性の枠を設けて持たせるなど工夫の余地があるが, 今は電源装置からのばした陽極の線を手に持ち, ６つのゲルが集中している箇所に舌を当てて使う．本稿で提案する３つの味ディスプレイのうち, このタッチパネル一体型のみ, ゲルの透明度が問題になってくるはずだが, 幸いにも画面 ON 時に視認性をあまり損っていない．
本稿で提案している味ディスプレイは全て同一原理であり, 舌を当て続けた状態で任意の味の組み合わせを再現したり変化させたりすることができるが,舌を当てるべき場所は一箇所に固定である．しかし,画面に映っている食品の味を再現して味わえる味ディスプレイの開発
このタッチパネル一体型のデザインについては, 画面の様々な場所に舌を当てたくなってしまう．もしそういったインタラクションも許容するように改良するのであれば, ２次元平面上の異なる場所で異なる味が楽しめる構造を検討する必要がでてくる．その場合は, 最終的には「画素」と同様に「味素」が 2次元平面上に一様に分散していることが理想であろう．
こう考えた場合は ゲルの小型化が必要であるため, アルギン酸ナトリウムやシトラスペクチンによる人工イクラの手法を用いて試作を始めている（図6 下）．現在は安定して固めることも難しく, 調査とノウハウ蓄積を行っている．
なお現状では, 静電容量式タッチパネルのタッチ入力は全くうまく動作しない．ゲルを載せるとき,舌をあてるとき, そして通電するときに様々なタッチ入力が発生してしまうからである．舌はひとつしかないとするならばマルチタッチにこだわる必要もないので, 今後は感圧式のタッチパネルなどを利用したいと考えている．

図 6. タッチパネル一体型の味ディスプレイ（上：画面 ON
中：画面 OFF 下：人工イクラの手法での試作）

さらに, 味ディスプレイ形状については, ハンズフリーで用いることができるウェアラブル型も開発中であり, AR・VR コンテンツに向いた利用ができると考えている．図 7 のように, 漫画『鬼滅の刃』の竈門禰豆子の口枷のような形状をしている．陽極は,頸部に貼り付ける方法をとっており, 電極には首専用低周波治療器 Panasonic EW-NA12 のものを流用して使っている．

図 7. ウェアラブル型の味ディスプレイ

7

制約と展望

コロナ禍のため大規模な評価実験は投稿時点で未実施である．５％に薄めた特徴的な３種類の醤油の弁別を行ってみたところ, 明確に区別することができ, それがどの醤油を指しているのかを当てることはできた（この予備実験については[9]に記載されている）．ある程度の有用性があり, それを実証するめ
どは立っているといえる．
WISS のワークショップとしての側面を考え, プロトタイプを作成した現時点でいくつかの制約や展望がわかっているため報告する．
まず, 味の再現域についてである．原理上, 味提示装置はゲルの味の濃さが最大値となる．先行研究[3]の実験結果を用いるために同一の濃度に設定しているので，塩味だと 1%の塩化ナトリウム水溶液が最大になる．たとえば味噌汁の味を表現する場合,2%程度ぐらいまでは出せるようになりたい．このためには[3]と同様な実験を実施しなくてはならず, そのときに同じく線形近似ができるかも未知である．
むしろ今の濃度のままで, 陰極刺激停止の際の味覚増強効果[2]や連続矩形波刺激[6]を活用する方向性も考えられるかもしれない．
味提示装置におけるゲル間の距離については予備調査の段階では十分に味が混ざって感じられるものであり, [7]の知見とも符合するが, もっと近づけることによってさらに混ざった知覚として感じられるかもしれないので検証していきたい．
電流制御装置については, 著者の実装能力の都合によりムービングフェーダで可変抵抗を動かすという力技で作られている．しかしずれてくることがあったり, 故障したりすることも多い．将来はデジタ

WISS 2020

ルポテンショメータを用いた精密な制御に発展させたい．
鳴海らの「味覚ディスプレイ」は, 味覚を直接変えるアプローチが困難である前提に立ち, 味覚を制御しない代わりに視覚のみならず嗅覚を同時提示することによって味の感じ方を変えるものである [8]．
実際に味覚を変えることができる本稿とも共存可能で, よりリアリティを倍加させうると考えている．
現状入手できる味センサはどれも高価, 巨大,なうえ，使用にもノウハウが必要で万能ではない, という状況である．味提示装置と味センサは, メディ
アとしてみたとき, テレビとカメラの関係のようなものなので, 入手しやすく可搬性があり扱いやすくなることで, 味コンテンツの世界は大きく広がるはずなので, その発展にも大いに期待している．

[4] Homei Miyashita. Norimaki Synthesizer: Taste
Display Using Ion Electrophoresis in Five Gels,
Extended Abstracts of the 2020 CHI Conference on
Human Factors in Computing Systems ExtendedAbstracts (CHI’20), pp.1-6, 2020.
[5] Kiyoshi Toko. Taste sensor with global selectivity,Materials Science and Engineering: C, 4(2), 69-82,1996.
[6] Kazuma

Aoyama,Kenta

Sakurai,

Akinobu

Morishima, Taro Maeda, and Hideyuki Ando. Taste
controller: galvanic chin stimulation enhances,inhibits, and creates tastes. In ACM SIGGRAPH
2018 Emerging Technologies (SIGGRAPH ’18),
18:1–2, 2018.
[7] Juyun Lim, Barry G. Green. Tactile Interactionwith Taste Localization: Influence of Gustatory
Quality and Intensity, Chemical Senses, 33(2),

参考文献[1] Thomas P. Hettinger and Marion E. Frank. Salt
taste

inhibition

bycathodal

current,

Brain

Research Bulletin, 80(3), 107–115, 2009.
[2] Hiromi

Nakamura

andHomeiMiyashita.

137–143, 2008.
[8] 鳴海拓志, 牧野祐也, 梶波崇, 谷川智洋, 廣瀬通孝.
擬似味覚ディスプレイのための視覚・嗅覚・味覚間相互作用の評価. 電気学会研究会資料. CHS, ケミカル
センサ研究会, 1, 77-82, 2011.

Controlling saltiness without salt: Evaluation of[9] Homei Miyashita. Taste Display that Reproduces

taste change by applying and releasing cathodal

Tastes Measured by a Taste Sensor, Proceedings ofcurrent. In Proceedings of the 5th international

the 33rd Annual ACM Symposium on Userworkshop on Multimedia for cooking & eating

Interface Software and Technology (UIST’20),

activities, 101–105, 2013.
[3] Kazuma Aoyama, Kenta Sakurai, Satoru Sakurai,1085–1093, 2020.
[10] 龜井俊夫. 味覺ニ關スル實驗的研究(第 2 報)電氣味覺

Makoto Mizukami, Taro Maeda, Hideyuki Ando.

ニ關スル研究, 岡山醫學會 48(2), 339-34, 1936.

Galvanic Tongue Stimulation Inhibits Five Basic[11] 宮下芳明, 小坂崇之, 服部進実．没入型三次元風覚デTastes Induced by Aqueous Electrolyte Solution.

ィスプレイのためのコンテンツ開発. 日本バーチャ

Frontiers in Psychology. 8:2112, 2017.

ルリアリティ学会論文誌, 12(3), pp.315-321, 2007．

未来ビジョン
マイクで音を録音してスピーカーで再生する技術が発明されたことで, 人類の生活は大きく変わった．音楽演奏の記録が時代を超えて楽しめるようになった．遠く離れていてもコミュニケーションがとれる音声通信が生まれた．ラジオのようなマスメディアが生まれた．難聴者のために補聴器が発明された．イコライザによって, 人々は各々の好みに合わせて音楽を聴けるようになった．シンセサイザやエフェクタを使えば, 現実世界で聞くことのできないような音体験を提供することも可能になった．
カメラで映像を記録してディスプレイで再生する技術も, 人々の生活に同様の影響を与えた．そして, 音と映像は一体となり, 体験そのものを記録・再生するメディアとして 20 世紀に活用されるようになった．視聴覚メディアはさらにヘッドフォンやヘッドマウントディスプレイ（HMD）といったウェアラブルなものへと進化し, その場にいるかのように, バーチャルな追体験ができるまでになった．
本稿では, 味を記録して再現するシステムを提案しているが, これはラジオやテレビに続く, 「味メディア」の到来であると考えている．
今後, 視聴覚メディアと同様に, 世界中の美味しい食べ物の味を記録し, 好きな時に味わうことができるようになる．映像を見て音を聞くだ
けでなく, 味を味わうことができる新しいテレビの発明につながる．当然ながら, 五感の体験を再現するバーチャルリアリティ技術もさらに推進できるだろう．