匂いセンサと嗅覚ディスプレイを用いた遠隔匂い・映像再現システムの性能向上
柏木 健作†

Bartosz Wyszynski†

中本高道†

本論文では遠隔地の匂いおよび映像を再現するシステムの基本原理，実際の実現例を紹介する．
匂いセンサからの入力を Web カメラの映像とともにネットワークを通じて転送し，嗅覚ディスプレイを用いて再現を行う．データの転送に独自フォーマットを用いた UDP 通信を行い，リアルタイム再現システムを実現した．また，デモを実施し 344 名のアンケート結果からシステムの有効性を確認した．

1.

はじめに

近年視覚，聴覚に次ぐ感覚の記録，再現を行う試み
として，嗅覚に対する研究が行われている 1）．遠隔地による匂い再現の概念は以前から提案されていた 2）が，実際に実現したのは著者らのグループが最初である 3）．著者らは，匂いセンサで匂いをセンシングしてその種類を判別し，結果を映像とともに遠隔地へ送ってリアルタイムで匂いと映像を再現するシステムを既に開発した．しかし，外乱による誤判別が起きやすく，ロバスト性を向上させる必要があった．さらに以前の方法では匂いと映像を同期させるために画像の更新速度を落とす必要があり，映像としての品質が不十分であった．
本研究では，匂い判別のロバスト性の向上および匂いと同期させながら滑らかな映像を表示する方法を検討し，実際に実現した結果を示す．さらに大学祭にて

図1 システム全体図

2.1

嗅覚入力モジュール

入力モジ ュールは匂い の測定を行 う 水 晶 振 動 子（Quartz Crystal Microbalance: QCM）センサおよび測定した匂いの種類を判別する判別器で構成されている．入力モジュールの構成を図 2 に示す．

デモを行い，344 人の体験者より得たアンケート結果を報告する．

2.

基本原理

本論文で作成したシステムには，匂いの測定および判別を行う嗅覚入力モジュール，匂いの再現を行う嗅覚出力モジュール，そしてそれらの橋渡しとなる通信モジュールが存在し，図 1 に示すシステムを構成している．また，匂いセンシングと同時に Web カメラで映像を取得，転送し，体験者側のコンピュータスクリーン上に表示している．ここではそれぞれのモジュールについて簡潔に動作原理を述べる．

図2 嗅覚入力モジュール

QCM センサは水晶振動子の表面に匂いの元となる化学物質を吸着させる高分子膜（感応膜）を成膜したもので，匂いの有無や種類によって発振周波数が特徴的に変化する．センサ単体の選択性は幅広く，単体で匂い判別を行うことはできないが，感応膜の種類を変† 東京工業大学
Tokyo Institute of Technology

えたセンサを複数用いて，センサアレイ全体の応答パ

情報処理学会 インタラクション 2011

ターンを機械判別の手法で分類することで多種多様な

また，SVM は入力データを高次元空間に写像する匂いを判別することが可能となる．本システムで使用カーネル関数と呼ばれる関数を用いることで非線形なしている QCM センサは 20MHz，AT カットの水晶振境界をもつデータに対しても最適な判別境界を求める

動子上に著者らが OV-17，PEG-1000，Apiezon L，ことが可能である．さらに，多群の入力データを 1 つTCP（Tri-Cresyl Phosphate）の感応膜を成膜したものの群とその他に分けて判別を行うという操作を各群にである．このセンサとレシプロカル方式のマルチャン対して行うこと（One-Rest 法）で，多群判別への応ネル周波数カウンタを用い，Apple 香料を測定した結用も可能である．本システムではカーネル関数として果を図 3 に示す．この図から香料を嗅がせている間Gaussian カーネルを，多群拡張の手法として One-Restにセンサの発振周波数が変化していることが分かる．

法を用いた SVM を Microsoft Visual C# 2010 を用いて独自に実装して使用している．
実装した SVM を用いて Apple，Melon，Orange の各香料を判別した結果を図 4 に示す．ただし，測定には 4 つのセンサを利用しているため測定結果に対して主成分分析 6）を行い次元圧縮して得た平面上にデータを示しているとともに，主に匂いを嗅がせている部分を円で囲ってある．また，図の背景がそれぞれの香料と判別される領域を示している．この結果から，匂いを嗅がせている部分に関してほぼ正確に判別が行えていることが分かる．
また，実装した SVM 判別器と従来の LVQ 判別器

図3 Apple 香料を測定した場合のセンサ応答

本研究室で以前開発したシステムでは判別器としての性能を比較するため，Apple 香料の判別率について時間変化を調べたところ，図 5 のようになった．

Learning Vector Quantization （LVQ）と呼ばれる手法を用いていた．しかしながら LVQ 判別器はロバスト性が低く外乱により誤判別が生じやすかったため，本システムでは Support Vector Machine （SVM）5）と呼ばれる手法を用いて匂いの判別を行っている．これは2 群判別で用いられる判別手法で，それぞれの群から最も離れた位置を判別境界とするマージン最大化と呼ばれる最適化を行うことから優れた判別手法として注目されている．

図5 SVM 判別器および LVQ 判別器の判別率の比較

この結果から，実装した SVM は，従来の LVQ に比べて全体的に高い判別率となっていることがわかる．
2.1

嗅覚出力モジュール

出力モジュールは指定された匂いを調合，出力する嗅覚ディスプレイ装置で構成されている．
本システムで用いている嗅覚ディスプレイ装置は著者らが製作したもので，12 種類の匂い成分を電磁弁により高速に切り替えることで複雑な混合臭の調合を図4 実装した SVM で判別を行った結果可能にしている 7）．嗅覚ディスプレイ装置の外観を図6 に示す．

匂いセンサと嗅覚ディスプレイを用いた遠隔匂い・映像再現システムの性能向上構成され，それぞれパケットに関する情報および実データを持つ．OIV ヘッダは OIV パケットのデータ種別やタイムスタンプ，分割に関する情報を含み，受信の際にデータを復元するために使用される．OIV ボ
ディはデータタイプによって異なるフォーマットで，映像フレームでは JPEG の連続静止画（圧縮率やサイズなどは送信側で調整），匂いフレームとメタフレー
ムでは ASCII 文字列となっている．
2.2.2 UDP によるデータ転送
送信側では，嗅覚入力モジュールまたはカメラからの画像が入力されるごとにそれを最大データサイズご図6 嗅覚ディスプレイ装置

2.2

通信モジュールとに分割し，タイムスタンプやその他のヘッダ情報を付け加えて UDP プロトコルで送信する．UDP は TCP

通信モジュールは嗅覚入力モジュールおよび Webとは異なり，送受信ごとにハンドシェイクを行わないカメラから得られたデータをリアルタイムで転送し，ため通信のオーバーヘッドが少なくストリーミング配嗅覚出力モジュールおよびコンピュータスクリーンに信によく用いられるプロトコルである．

よって再現するものである．

受信側では，パケットを受信する毎にタイムスタン

このシステムでは匂いおよび映像を専用のデータフ

プおよびデータの種類を読み出し，同一のもの同士でォーマット（Odor Included Video: OIV）へと変換し，データの連結を行ったうえで嗅覚出力モジュールまたそれを UDP プロトコルで連続的に転送することでリはコンピュータスクリーンへと転送する．その際，アルタイム転送を実現している．

UDP 転送においてはパケット順序の入れ替わりが起

2.2.1 OIV フォーマット

こる可能性があるため，同一データに関してはパケッ

このフォーマットは匂いおよび映像を転送するにあト順序の調整を行うが，次のタイムスタンプのデータたり，以下の点を重視して考案したものである．
 リアルタイム転送が行えること（すなわち処理が簡便であること，同期が取れること）
 保存用のフォーマットとしても使用可能なことが届いた場合は現在処理中のデータを可能な限り利用，不可能であれば破棄する．これによりリアルタイム性を保った転送が可能となっている．

3.

装置の製作と実演

OIV フォーマットでは，匂いおよび映像の各デー
タは最大 1024 バイト以内となるような小さなデータ

前章の原理に基づき実際にシステムを製作した．こパケット（OIV パケット）に分けて取り扱われ，連のシステムは遠隔地から操作できる回転台の上に香料続的に送信される（図 7 ）．

をつけた果物の模型を設置し，その中でセンサノズルで吸引した匂いを遠隔地で再現するものである．遠隔地のユーザーは画面に映される映像を見ながら回転台を操作し，手前にきた果物の匂いを体験できる．シス
テムに用いているプログラムはすべて Microsoft VisualC# 2010 を用いて記述した．製作したシステムの外観を図 8 に，ユーザーインターフェースのスクリーンショットを図 9 に示す．
回転台のカメラに近い側にセンサノズルが取り付けられており，匂いを含んだ空気が QCM センサへと送

図7 OIV データの構造

最大データサイズの 1024 バイトは，一般的なネッ
ト ワ ー ク ル ー タ の MTU （ Maximum TransmissionUnit）値を考慮して決定した．
OIV パケットは OIV ヘッダおよび OIV ボディからられる．そして，センサノズル側にある果物の匂いが判別され通信モジュールへと渡される．回転台付近には 2 台のカメラを設置しており，それぞれの映像は体験者のもとへと送られる．これによりユーザーは画面を見ながら回転台を遠隔操作することで，任意の果物の匂いを嗅ぐという体験を行うことができる．

情報処理学会 インタラクション 2011

図11 映像に匂いを加えることで臨場感は増したか

この結果から，実際にリアルタイムでの匂い再現が成功していることが分かるとともに，視覚，聴覚に次
図8 システムの外観ぐ感覚再現として嗅覚が有用であることがわかった．

4.

今後の展望

前章で作成した装置を用いることにより，遠隔地の匂いを再現できることがわかったが，視覚に頼ることなく嗅覚のみで情報を伝えられるかを調べる方法として，現在匂い探知ゲームの製作を検討している．これは前章の装置のように回転台の上に模型を置かない代
わりに回転台の一部にのみ香料を付着させておき，遠隔地の体験者が嗅覚情報をたよりにその場所を探せるかを調べるものである．インタラクション 2011 にてそのデモンストレーションの実施を予定している．
図9 ユーザーインターフェース

謝辞

匂いサンプルの一部を提供いただいた長谷川

カメラは装置全体を映すサブカメラと合わせて 2 台香料（株）井手純一氏に感謝する．本研究の一部は日設置してあり，それぞれにつき 1 フレームあたり 320

本学術振興会挑戦的萌芽研究 No.20650015 の補助を受×240px，JPEG 圧縮率 50（0～100）の画像が 10fps 程けた．

度で転送される．匂いフレームについても 10fps で転送されるが，嗅覚ディスプレイの仕様上匂いの更新は毎秒 1 回である．
2010 年 10 月に行われた大学祭においてこのシステムの実演を行い，同時にアンケートを実施した結果，男性 213 人，女性 131 人の計 344 人から有効な回答を得ることができた．アンケート結果の抜粋を図 10 ，
図 11 に示す．

図10 匂いと映像は一致していたか参考文献1) 中本編著，嗅覚ディスプレイ，フレグランスジ
ャーナル社，2008.
2) F.Davide et al., Virtual olfactory interfaces:
electronic noses and olfactory displays, G..Riva andF.Davide (Eds.), 193-220, IOS Press, 2001.
3) T.Nakamoto et al., Experiment on Teleolfaction
Using Odor Sensing System and Olfactory Display
Synchronous with Virtual Information, Proc.
International Conference on Artificial Reality andTelexistance 2008, 85-92.
4) 瀬川，徳弘，中本，森泉，水晶振動子においセンサ用マルチチャンネル高速周波数変化計測回路，電学論，122-E(2002) 16-22.
5) N.Cristianini, J.S.Taylor 著，大北訳，サポートベ
クターマシン入門，共立出版，2005.
6) 杉山，多変量データ解析入門，朝倉書店，1983，13-56.
7) T.Nakamoto, Hai Pham Dinh Minh, Improvement ofolfactory display using solenoid valves, Proc. IEEE
Virtual Reality 2007, 179-186.