情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3C-53
2023/3/1

カメラ内蔵ワイングラスを用いた飲む動作の解析
石井 万里†1

千葉 桃子†2佐藤 俊樹†3

概要：グラスで飲むという日常的に行う動作には，注ぐ，傾ける，眺める，回す，流し込むなど様々な五感を使った魅力的な鑑賞行為・動作が含まれている．我々はこれらの体験のより楽しくするために，人のグラスに及ぼす動きや液体の状態に合わせて変化する映像の提示可能なグラス型デバイスを提案する．特に本論文では，その具体的な試作開発について述べる．更に，内蔵したカメラで撮影した画像から取り出せる情報を解析する．

1. はじめにの計測である．また，グラスに顔を近づけた時の体験者の顔画像を得ることで，唇とグラスの淵との接触検出や，飲我々は，「グラスを使って飲む」ために行う様々な動作んだ時の表情も計測対象とする．また，提案デバイスは，（所作）に着目し，飲み物を飲む体験をより楽しく拡張す解析した情報をもとにグラス底面に内蔵したプロジェクタることを目指したグラス型ディスプレイを提案してきた．

により，内部およびグラス周囲への視覚的な全周囲映像提これを行うために，我々はグラスを使った様々な「飲む」示も行う．これにより，グラスを手に取り周囲から眺めた行為に着目し，その前後にある所作を詳細に計測すること際に俯瞰できる映像をグラスの全周囲に提示したり，グラでそれらに合わせたリアルタイムな情報提示が可能なデバ

スに顔を近づけた際にはグラス内部に覗き込んだ際に初めイスの開発を行っている．そこで本論文では，我々が提案て見える没入感のある映像を提示したりすることが可能とを行ってきたグラスの底面（プレート）部分に小型のプロなる．本研究では，今後様々な所作が存在するワイングラ

ジェクタ・カメラを内蔵したグラス型デバイスを実際に試

ス形状を活かしたデバイスを開発し，飲むという行為に含作し，アプリケーションの提案を行うことでグラスを使っまれる様々な動作をまたいだ新たなグラス型ディスプレイて飲む体験の拡張の可能性を議論する．とのインタラクションの可能性を検討して，飲む行為に付

これまでにも，グラスやコップの形状を活かしたデバイスを用いた研究が多くなされてきた．例えばコップに搭載したセンサで，中の飲料の量及びその状態を計測するもの [1][2]，カップを用いて味覚操作を行うもの [3][4]，カッ加価値を付ける様々な体験を提案する．

2. 実装
2.1 ハードウェア

プ部をディスプレイとし，形状を活かしてドローンから得

提案システムの全体構成を図 1 に開発した試作機を図 2られた映像を効果的に投影させるもの [5] などがある．しに示す．提案システムは，全周囲ディスプレイとなるカッかし，これらの研究は本研究が着目する飲む一連の動作をプ部と，持ち手となるステム部，デバイス全体を支えるプ

詳細に計測し，その動きに合わせリアルタイムでユーザにレート部から構成される．カップ部は映像が内側にも外側視覚情報を提示することは困難である．にも投影可能なように半透明のものを使用した．

本提案で実現するデバイスは，グラスの底面からの超広プレート部には映像投影および撮影用の小型可視光カ

角撮影を行うことで，次のような一連の「飲む動作」を撮メラ，小型バッテリを内蔵する小型レーザプロジェクタ

影，解析可能にする．提案デバイスが可能にするのは，例（SmartBeamLaser）を配置した．プロジェクタ光は中空構

えばまずグラス内の液体の種類や量，液面の傾き等の情報造になっているステム部を通った後にカップ部の下部には

†1
†2
†3

め込まれた小型超広角レンズを通りカップ部全周囲に投影
現在，電気通信大学
Presently with The University of Electro-Communications
現在，武蔵野美術大学
Presently with Musashino Art University
現在，北陸先端科学技術大学院大学
Presently with Japan Advanced Institute of Science andTechnology© 2023 Information Processing Society of Japanされる．またカメラはハーフミラー（透過反射比率 8:2）を通してプロジェクタと同軸に接続されており，カップ内部の全周囲および開口部からカップ上部を撮影する．また小型カメラには Raspberry Pi Zero に接続するカメラモジュー

992

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3C-53
2023/3/1

水位に合わせた映像の提示が可能となる．図 3D は，開口部を通してのカップに口を付けた体験者の顔を撮影している．顔の各部位，唇の接触判定，飲んでいる際のユーザの視点の認識を可能とする．これにより，提示されている映像のスイッチングや，視線トラッキングを使用した映像の提示を可能とする．図 3E は，カップの側面に手が触れている様子である．これによって，手で触れている部分に対応した映像提示が可能となる．

図 1

デバイス構成図

図 2開発した試作機ル（Omnivision5647）を使用し，撮影用の赤外線光源として波長 940 nm の赤外線発光ダイオード（OSIR5113A）12個をカップ部下部の魚眼レンズ周囲に配置した．なおカメラとレンズの間には赤外線透過フィルタ（900 nm）を挟むことで，プロジェクタ光による撮影への影響を防いだ．
なお，以下の章で述べる撮影に使用した筐体は，カメラ

図 3底面部から撮影したカップ部の映像 A. 水を入れる前 B. 注ぐ
直前 C. 水をはった様子 D. 水を通して撮影した体験者のカップに唇をつけている様子 E. 手の接触の画質を高めるためカメラのみ実装されたプロトタイプを用いた．

2.2 ソフトウェア

3. 考察と展望
今回は，カメラとアプリケーションの実装を中心に行っ制作した筐体を用いて撮影した画像を図 3 に示す．3A

た．カメラの実装で，中に液体を注いでいる最中は泡で液について，中央の暗い円はカップの開口部，その周りの明面の確認が困難であることが分かった．逆に，泡がよく見るい輪はカップの側面を写している．外側の暗い円がカメえているため，泡の認識は容易であると考えられる．これ

ラのステムの下から撮影することによって写り込むステムにより，一つ一つの泡に合わせた映像提示が可能となる．

部分である．3B は，カップ部に水が注がれている様子を撮

また，顔の認識では，表情の検出から感情の推定，味・温影した画像である．これにより，飲む動作における注ぐ動度の推定を可能とすると考えられる．これにより，中の飲作が認識できることが分かり，注ぐ瞬間に映像を切り替えみ物の美味しさの数値化も可能であると推定される．飲料るなどの操作を可能とする．3C は，カップに水が注がれの種類については，今回赤外 LED で撮影物を照らして撮ている様子を撮影している．注ぎ込まれた飲料の量・水面影しているので色の識別は困難であると考える．ただ，水位置が分かることで，注ぐ，傾ける，回す，流し込むなどなどの透明系，サイダー，シャンパンなどの炭酸系，牛乳，のグラスに及ぼす動作の認識を可能とする．これにより，コーヒーなどの白濁系，ビールなどの蓋系と液体の状態が© 2023 Information Processing Society of Japan993

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3C-53
2023/3/1

視覚的に分かりやすい 4 種類に分類することで各種類の液体の識別は可能であると考える．
また，今回のプロトタイプは通常のワイングラスよりも形状が大きくなっている．これにより，液体を入れた際液面の動きがダイナミックになったり，より没入感のある映像提示ができたりする．実際のワイングラスの動きをより大きなスケールで行うことで各所作の特徴を最大限活かしそれに合わせた映像提示が可能となる．
今後は，他のアプリケーションの試作に向けて，水位を認識する画像処理の実装，他のセンサの搭載の検討及び，各アプリケーションに適したカップの大きさやその形状についての検討・開発を行う．
参考文献
[1]

[2]

[3]

[4]

[5]

Chongsen, Z., Long, Z., Yaojie, S. and Kehan, Y.: Intelligent Water Cup Based on STM32, Proceedings of the2019 4th International Conference on Robotics, Controland Automation, p. 69–73 (2019).
Poppinga, B., Fortmann, J., Müller, H., Heuten, W. andBoll, S.: IllumiMug: Revealing Imperceptible Characteristics of Drinks, Proceedings of the 8th Nordic Conferenceon Human-Computer Interaction: Fun, Fast, Foundational, p. 923–926 (2014).
Ranasinghe, N., Nguyen, T. N. T., Liangkun, Y., Lin, L.Y., Tolley, D. and Do, E. Y.-L.: Vocktail: A Virtual Cocktail for Pairing Digital Taste, Smell, and Color Sensations,
Proceedings of the 25th ACM International Conference
on Multimedia, pp. 1139–1147 (2017).
Nomura, I., Mochizuki, N., nakamura, s. and Koike,T.: Double-Layered Cup-Shaped Device to Amplify Taste
Sensation of Carbonation by the Electrical Stimulation on
the Human Tongue, Proceedings of the 27th ACM Symposium on Virtual Reality Software and Technology.
Miyafuji, S., Toyohara, S., Sato, T. and Koike, H.:
DisplayBowl: A Bowl-Shaped Display for Omnidirectional Videos, The 31st Annual ACM Symposium onUser Interface Software and Technology Adjunct Proceedings, UIST ’18 Adjunct, New York, NY, USA, Association for Computing Machinery, p. 99–101 (online),
DOI: 10.1145/3266037.3266114 (2018).

© 2023 Information Processing Society of Japan994