WISS2010

綿を内包した柔物体を用いた日常生活に溶け込むインタフェース
Computer Augmented Environments using Everyday Cushiony Objects

筧 豪太

杉浦 裕太

杉本 麻樹

稲見 昌彦∗

Summary.
本研究では，我々の身の回りにあるぬいぐるみやクッションといった綿を内包した柔物体をインタフェースにするセンサシステムを提案する．具体的には，ぬいぐるみやクッションの中央部に開発した小型軽量モジュールを組み込むことにより，ユーザからの「叩く」「つぶす」「投げる」といったインタラクションの検出を可能とする．本システムは，インタラクションの検出方法として反射型フォトリフレクタを放射状に配置したセンサボックスを用いる．これは，ユーザからのインタラクションの非接触検出を可能とし，1) 柔
物体がもつやわらかさを保持したままで，2) 手軽に好みの柔物体をインタフェースにすることが可能である．本稿ではセンサシステムの実装，および動作検出の原理を実験により明らかにする．また，本システムを利用したアプリケーションを示す．

1

はじめに

1990 年代の半ばから，コンピュータに対して直感的に働きかけるインタラクションの試みとして，
実世界指向インタフェースの概念が提唱されている[11]．従来のインタフェース技術は人間とコンピュータの関わり方を改善することを行ってきたが，実世界指向インタフェースでは実世界とコンピュータをシームレスにつなぐという部分の重要性を主張している．その中でも身近にある日用品をインタフェースとして利用する研究が行われている [5][2]．これらの研究で使用される日用品は音楽 CD やテーブル上にある比較的手触りの固いものを対象にしている．
一方，我々の身の回りにはクッションやぬいぐるみ，ソファ，ベッド，枕といったやわらかいものがあふれている．本研究は，これらの綿を内包する柔物体の実世界指向インタフェースとしての可能性に注目し，柔物体をインタフェースにするためのセンサシステムを提案・開発する（図 1）．具体的には，クッションやぬいぐるみの中央部に開発した小型軽量のモジュールを組み込むことにより，ユーザからの「叩く」「つぶす」「投げる」といった動作入力を可能とする．
従来は，導電性の糸を縫い込んだり，外装にセンサを取り付けるなどしてユーザとのインタラクションを可能にしていたが，本システムでは反射型フォトリフレクタを用いた非接触計測を利用することで，本来クッションやぬいぐるみがもつやわらかさを損なわないインタフェースを実現することが可能である．本稿では，センサシステムの実装，さらに動作∗

Copyright is held by the author(s).
Gota Kakehi Yuta Sugiura and Maki Sugimoto andMasahiko Inami, 慶應義塾大学大学院メディアデザイン研究科

図 1. 綿を内包するやわらかいインタフェース

原理を実験により明らかにし，それを利用したいくつかのアプリケーションを示す．

2

やわらかいインタフェース

柔物体を利用したやわらかいインタフェースを実現することの利点として次の二点が考えられる．1)
生活空間へのインタフェースの埋め込みができる，
2) やわらかさを利用した身体的なインタラクションができる．

2.1

生活空間へのインタフェースの埋め込み

我々の生活空間にはやわらかいものがあふれている．例えばテレビを観るときはソファに座り，横にはクッションが置いてある，また，寝るときには枕に頭を乗せる．このように，やわらかいものは既に生活の中に溶け込んでいる．これらをインタフェースとして利用することができれば，生活の中にインWISS 2010

図 2. 柔物体内部の模式図．ユーザが接触していない状
態（左）ユーザが接触した状態（右）図 3. 測定に使用したアクリル製の箱．綿の無い状態（左）と綿を詰めた状態（右）タフェースを埋め込むことが可能となる．

2.2

やわらかさを利用した身体的なインタラクシ
ョン

人はそこにやわらかいものがあると，つい手に取って触ってしまうという本能的欲求があると考えれている [9]．また，それが両手でつかめる程度のサイズであれば，自然に「つぶす」「たたく」などの動作が生まれる．これらの行為を検出することができれば，これまでにない身体的な動作入力を取り込むことができる．

フォトリフレクタを用いた綿の密度変化の計測手法

33.1

インタラクションを検出する原理

ユーザの「たたく」「つぶす」インタラクションの検出にはフォトリフレクタを使用する．今回使用した反射型フォトリフレクタ（RPR-220）は発光素子と受光素子（フォトトランジスタ等）から構成され，受光素子に入る光量に応じて流れる電流の量が変化する性質を持つ．この特性を利用し，ユーザの接触によって変化する柔物体内部の綿の密度の計測を行う．
今回は柔物体内部にアライ社製のつぶつぶ手芸わたを用いる1 ．つぶつぶ手芸わたは粒状の綿を集めた構造をしている．ユーザが接触したときの柔物体内部の様子を模式的に表したものを図 2 に示す．図中の白丸はつぶつぶ手芸わたのひとつの粒を表し，黄色い線はフォトリフレクタから出た光の経路を表している．ユーザが接触していないときは，粒同士の隙間が大きく，粒によって反射する光が比較的少ない（図 2，左）．ユーザが接触すると粒同士の距離が近くなり隙間を通り抜ける光が減るため，反射する光が増加する（図 2，右）．
以上の理由から，綿の密度の変化を計測することで，ユーザの接触を検出することが可能と言える．
1

図 4. 測定に使用したフォトリフレクタの値の検出回路

3.2
3.2.1

綿の密度におけるフォトリフレクタの変化特性の測定
目的

柔物体内部のフォトリフレクタの値の変化には，表面までの距離と綿の密度それぞれの変化が影響している．表面までの距離は事前の実験により影響がないことが確かめられた．したがって，フォトリフレクタの値の変化は綿の密度の変化を表していると仮定し，綿の密度におけるフォトリフレクタの変化特性を明らかにすることを測定を行う目的とする．

3.2.2

測定装置

測定に使用する装置は，綿を入れるための一辺10.4cm のアクリル製の箱，綿の重さを測るスケール（タニタ社製，KP-103），フォトリフレクタ（ROHM社製，RPR-220），フォトリフレクタの値を読み取るためのマイコンボード（Arduino Duemilanove），値を記録するための PC である．アクリル製の箱にはあらかじめフォトリフレクタを取り付ける（図 3）．
綿の重さを測るスケールには最大計量 120g，最小表示 0.1g のものを使用した．
3.2.3

フォトリフレクタの値の検出回路

フォトリフレクタの値の検出には図 4 に示す回路を用いる．SIGNAL 端子の電圧値をフォトリフレクタの値とする．よって，フォトリフレクタに反射する光の量が多いほどフォトリフレクタを構成するフォトトランジスタに流れる電流の量が大きくなり，結果としてフォトリフレクタの値は小さくなる．

http://www.sofiapack.com/hobby.html

3.2.4

測定手順

以下に実験の手順を述べる．

Computer Augmented Environments using Everyday Cushiony Objects

Output Value (V)

2.01.5

図 6. システムの概要図

1.00.5
5.0

4
6.0

7.0

8.0

9.0 10.0 11.0 12.0 13.0

Weight (g)図 5. 綿の重さとフォトリフレクタの値の関係を示すグ
ラフ

1. スケールを用いて綿を 6.0[g] 測り，アクリルの箱の中に入れ，ふたをする．

2. フォトリフレクタの値を毎秒記録し，20 回計測した時点で計測を終了する．

3. 綿の密度の偏りの影響を低減するために一度綿を箱から取り出し，もう一度箱に詰める．

4. 手順 2-3 の操作を 10 回繰り返す．
5. 綿の重さを 6.0[g] から 12.0[g] まで 1.0[g] 刻みで増加させ，手順 1-4 の操作を繰り返す．
3.2.5

測定結果

手順 2 で得られた 20 個のフォトリフレクタの値の平均値をそれぞれ求めた．同じ重さで 10 回計測したうちの平均値が最大と最小のものを外れ値と見なして除外した．残った 8 回分の平均値の平均値及び標準偏差を求め，標準偏差を誤差棒として平均値をプロットした．さらに，最小二乗法によって近似直線求め，グラフ化した．

3.2.6

考察

綿の重さの変化は綿の密度を表しており，綿の重さが大きいほど密度が高くなる．実験により得られたグラフから，綿の密度とフォトリフレクタの値の間には，「綿の密度が大きくなるとフォトリフレクタの値が小さくなる」という傾向があることがわかった．フォトリフレクタの値が小さくなるということはフォトリフレクタに反射する光量が増加したことを示している．ここで得られた知見を用いるとフォトリフレクタの値から綿の密度の推定が可能になり，したがって押しつぶされた強さも推定可能となる．
また，標準偏差の値が比較的大きい理由は，箱内に綿が一様に分布せず，部分領域における綿の密度に偏りがあることが原因と考えられる．

柔物体をインタフェースにするセンサシ
ステムの実装提案するセンサシステムの全体像を図 6 に示す．
センサシステムは開発したモジュール，外装となる
柔物体，データを受け取るための PC から構成される．ユーザとのインタラクションはモジュールに搭載したセンサによって検出され，センサのデータはPC に送信される．PC 上のアプリケーションはあらかじめ起動しておいたサーバソフトウェアを介してセンサデータを使用することができる．

4.1 センサシステムを構築するモジュール
4.1.1 モジュールの設計前章で行った綿の密度計測の結果に基づいて，モジュールの設計を行う．モジュールを設計するにあたり次の三点を目的とする．1) 柔物体のどの位置をどの程度の強さで触ったのか特定が可能である，2)柔物体のやわらかさを損なわないインタフェースにすることができる，3) 柔物体を加工する手間をかけずモジュールを組み込むことが可能である．
一点目については，フォトリフレクタが放射状に配置されたセンサボックスを作成することで解決する．センサボックスはフォトリフレクタの値を計測する回路基板を箱形に組み立て，側面と上面にフォトリフレクタを配置した構造をもつ．このような構造にすることで，各フォトリフレクタの値の変化の様子の違いから接触の方向が推定可能だと考える．
また，フォトリフレクタの値からユーザがどの程度の強さでインタフェースに接触したかも推定できる．
二点目及び三点目に関しては，センサにフォトリフレクタを使用することで解決する．フォトリフレ
クタの大きさは 4.9mm x 6.4mm x 6.5mm と小さいため，それを組み合わせたモジュールも小型になり，直径 20cm 程度のクッションであればモジュールを中に入れてもやわらかさが損なわれない．また，フォトリフレクタは非接触計測を行うため，柔物体の表面に対して直接センサの取り付けなどが不要となる．ゆえに，柔物体への加工は最初にモジュールを入れるための穴を開けるだけでよく，手軽にインタフェース化が可能となる．

WISS 2010

図 7. モジュールの概要

4.1.2

モジュールの実装開発したモジュールの概要を図 7 に示す．フォトリフレクタには ROHM 社製の RPR-220 を用いた．3 軸加速度センサには Analog Devices 社製のADXL335 を搭載したモジュールを使用した．無線通信モジュールには Digi 社製の XBee モジュールを用い，マイコンボードには XBee モジュールを簡単に取り付けることができる Arduino Fio を使用した．
バッテリーはリチウムイオンポリマー電池（3.7V，900mAh）を使用した．無線通信モジュール，マイコ
ンボード，バッテリーはアクリル製の箱で覆い，その上にセンサボックス及び 3 軸加速度センサモジュー
ルを取り付けた．

4.2

柔物体とのインタラクションを検出するアルゴリズム

4.2.1

「叩く」
「つぶす」インタラクションの検出

ユーザの「叩く」「つぶす」というインタラクションの検出にはフォトリフレクタの値を用いる．モジュールは各センサの入力電圧と出力電圧の比を 0 から 1023 の値にマッピングした値を PC に送信する．
現在のセンサの値と前回のセンサの値の差が 50 を超えたときに，柔物体が押されたと判定し，逆に差分が-50 を下回ったときに離されたと判定する．押されてから離されるまで 2 フレーム以上要した場合には柔物体がつぶされたと判定され，そうでないときには叩かれたと判定される．

4.2.2「投げる」インタラクションの検出

ユーザの「投げる」動作の検出には 3 軸加速度センサモジュールを使用する．X 軸，Y 軸，Z 軸の各センサの値の，前回との差分の合計が 200 を超えたときに投げられたと判定する．

5アプリケーション

本稿では提案する手法を用いてソファを用いたスライドショーの操作と枕を利用した照明の操作を行うアプリケーションを開発した．また，その他の例
としてソファとクッションを用いたテレビの操作を行うアプリケーションの実装案について述べる．

図 8. 日常生活に溶け込む本手法のアプリケーション．
ソファを用いたテレビの操作（左）枕を利用した照明の制御（右）5.1

日常生活に溶け込むインタフェース

本システムを用いることで既に家庭内にある柔物体をインタフェースにすることができる．したがって，日常生活に溶け込むインタフェースが実現可能となる．日常生活に溶け込むインタフェースとしてどのような応用が可能かを述べる．

5.1.1

ソファを用いたスライドショーの制御

ソファに寝転がりながら，撮影した写真を眺めるといったシチュエーションを想定し，ソファを叩くと次の写真に切り替わるというアプリケーションを実装した（図 8，左）．具体的には，スライドショーの実行に Apple 社製の Keynote を使い，スライドショーを外部から操作できるようにするソフトウェアを作成した．モジュールから送られてきたセンサデータから，ソファが叩かれたか否かを判定し，叩かれていたら作成したソフトウェアを通じて Keynote へ次のスライドへ移動するコマンドを送信する．スライドショーに写真を載せておけば，お気に入りの写真を寝転がりながら眺めるということが実現できる．

5.1.2

枕を利用した照明の制御

就寝時のシチュエーションを想定し，枕を利用した照明の制御を行うアプリケーションを実装した．
就寝時にユーザが枕に頭を乗せると照明が次第に暗くなり，起床時に枕から頭を上げると照明が点灯する（図 8，右）．今回の実装では市販されている照明のカバーを用い，電球の代わりに高輝度白色 LEDを入れた．LED はマイコンボードに接続され，PCから明るさを制御することができるようにした．ソファの例と同様に枕に頭を乗せたと判定した後，マイコンボードを通じて明るさを変化させていく．このようなことが可能になれば，照明を消すために一度起き上がったり，リモコンを操作して消す手間を省くことができる．また，寝ようとして頭を乗せたのか否かの判定や，意図せず枕から頭が離れたときとの区別を行うことで，有用性を高めることができる．

5.1.3

ソファとクッションを用いたテレビ操作ア
プリケーションの実装案

先の二つの例以外にも日常生活に溶け込むインタ
フェースとして，例えばソファを利用したテレビのComputer Augmented Environments using Everyday Cushiony Objects

操作なども考えられる．前述のスライドショー制御の例と同様に，ソファを叩くとチャンネルが変わるという操作が可能になる．具体的な実現方法として
は，まず，マイコンボードなどを通じて PC から赤外線 LED の点灯/非点灯を制御できるようにしておく．次にモジュールから送られてきたセンサデータから，ソファが叩かれたことが検出できたら赤外線LED を使い，チャンネルを変えるコマンドをテレビに送信する．このような仕組みであればテレビを制御することができる．また，ソファにはクッションが置いてあることが多い．そこで，クッションをインタフェースにすることによって，クッションを押しつぶす強さに応じて音量が変わる，といった応用も実現できる．

5.2

複数モジュールを用いた複雑な操作の実現

本稿では柔物体に組み込むモジュールはひとつと想定していた．そのため，柔物体へのインタラクションは「叩く」や「つぶす」といった単純な物に限定されており，大きなソファをインタフェースにすることや，ぬいぐるみの手足の動きを検出することは不可能である．これを解決する手段として，複数のモジュールを使うことが考えられる．例えば，ぬいぐるみなら胴体に一つ，頭部に一つ，手足にそれぞれ一つ，計六つのモジュールを入れることで，動かした部位の特定が可能になるだろう．複数モジュールを用いた操作を実現するためには，ひとつのモジュールがどの程度離れた位置のインタラクションまで検出できるのかを調査する必要がある．この範囲を解像度と呼ぶ．また，やわらかいものの大きさ，形状に基づいた最適なモジュールの配置数，配置位置などを検討する．複数モジュールを配置してもやわらかさを損なわないために，モジュールの小型化も行う必要があるだろう．

6

関連研究

柔物体をインタフェースとして利用する試みはHCI の分野で盛んに行われている．弾性体のもつやわらかさをインタフェースに利用した研究として，Weiss らは，シリコンゴムとアクリルで作られた入力インタフェースを利用したテーブルトップ上でのインタラクションを提案している [7]．佐藤らは透明弾性体と天井に配置したカメラを用いて透明弾性体のどの部位に力がかかったかを検出するシステムを開発した [6]．Grant らはフェルトに導電糸を縫い込むことで，それを可変抵抗として利用することのできる仕組みを提案し，やわらかいスイッチなどを開発した [4]．また，Baudisch は光学式マウスの中身を手触りのよい布でくるんだ構造のデバイスを提案し，ポインティングデバイスやゲームコントローラとしての有用性を示した [1]．これらの研究のようにやわらかいものをインタフェースにする例は多く存在するが，本稿で対象とするような綿を内包する柔物体をインタフェースにする例はほとんどない．
綿を内包する柔物体をインタフェースにする例として，特にぬいぐるみに注目した研究が行われている．森らは WEB カメラを用いた実世界指向インタフェースシステムを提案し，ぬいぐるみにひもづけられた楽曲を再生するアプリケーションを実装した[10]．米澤らはぬいぐるみの内側に 7 種類のセンサを取り付けることで，ユーザとのインタラクションを可能にしたセンサぬいぐるみシステムを開発し，インタラクションの頻度や強度に応じて楽曲が生成されるアプリケーションを提案している [8]．森らの研究ではぬいぐるみ側への加工が必要ないが，直接インタラクションすることはできず，米澤らの研究では直接インタラクションが可能であるがセンサを取り付けるために外装への加工が必要となってしまう．本手法を用いると手軽に使用することができ，かつ柔物体へ直接インタラクションすることが可能となる．
平松らはユーザの「握る」「投げる」「転がす」という動作入力が可能なやわらかいボール型のコント
ローラを開発し，ゲームコントローラとして利用するアプリケーションを実装した [3]．本稿で提案するシステムはこの研究に近いが，外装に綿を内包する柔物体を用いる点，柔物体を手軽にインタフェースにできる点で異なる．

7

まとめ

本稿ではぬいぐるみやクッションといった既に日常生活に溶け込んでいる柔物体をインタフェースとして利用することのできるセンサシステムの開発を行った．柔物体へのインタラクションとしては「叩く」「つぶす」「投げる」という動作を想定し，それらの動作を検出するためのモジュールの設計及び実装を行った．動作検出には反射型フォトリフレクタを用いた．綿の密度とフォトリフレクタの値の変化特性を測定することで，ユーザの接触の強さを検出することが可能となった．本システムを用いたときに，日常生活に溶け込むインタフェースとしてどのようなものが考えられるかを述べ，ソファを利用したスライドショーの制御や，枕を利用した照明の制御を行うアプリケーションを実装した．
今後はユーザの接触をより詳細に判定するため，柔物体を押したときと戻るときのヒステリシスの計測，複数のモジュールを使用するためのモジュールの解像度の調査を行う．また，モジュールの小型化などの改良を行っていく．インタラクションの検出は現時点ではセンサデータに基づいて，研究を通じて得られた経験から閾値を決定しているが，データの詳細な解析を行うことで閾値の決定などに信頼性を持たせる．また，ユーザスタディを行うことで本稿で提案するシステムの有用性を確認する．

WISS 2010

謝辞
本研究の一部は，独立行政法人情報処理推進機構(IPA)，2009 年度未踏ＩＴ人材発掘・育成事業の支援を受けて実施されたものである．開発の支援，指導をいただいている情報処理推進機構並びに安村通晃氏に深く感謝いたします．

参考文献[1] P. Baudisch, M. Sinclair and A. Wilson. Soap: amouse-like pointing device that works in mid-air,
In UIST 2006, ACM, 2006.
[2] K. Y. Cheng, R. H. Liang, B. Y. Chen, R. H.
Laing and S. Y. Kuo. iCon: utilizing everyday
objects as additional, auxiliary and instant tabletop controllers, In CHI ’10, ACM, pp. 1155–1164.
ACM, 2010.
[3] R. Hiramatsu. PUYO-CON. In In SIGGRAPH
ASIA ’09 Emerging Technologies, pp. 81-81.
ACM, 2009.
[4] lara’s itp blog >> Thesis,
http://laras-home.com/itpBlog/thesis/[5] T. Masui, K. Tsukada, I. Siio. MouseField: ASimple and Versatile Input Device for Ubiquitous Computing. In UbiComp ’04, pp. 319–328.
September 2004.

[6] T. Sato, H. Mamiya, H. Koike, K. Fukuchi. PhotoelasticTouch: Transparent Rubbery Tangible
Interface using an LCD and Photoelasticity. In
UIST ’09, pp.43–50. ACM, 2009.
[7] M. Weiss, J. Wagner, Y. Jansen, R. Jennings, R.
Khoshabeh, J. D. Hollan and J. Borchers. SLAP
Widgets: Bridging the Gap Between Virtual andPhysical Controls on Tabletops. In CHI ’09, pp.
481–490. ACM, 2009.
[8] T. Yonezawa, B. Clarkson, M. Yasumura, K.
Mase, Context-aware Sensor-doll as a Music Expression Device, In Extend. Abst. of CHI ’01, pp.
307–308. ACM, 2001.
[9] 井原成男, ウィニコットと移行対象の発達心理学,
福村出版 (2009).
[10] 森 悠紀, 五十嵐 健夫. 「ぬいぐるみゅーじっく：画像認識技術による日用品の個別認識を利用した音楽操作インタフェース」, インタラクション 2006,ポスター発表, 東京, 2006.
[11] 暦本 純一. 実世界指向インタフェースの研究動向. コンピュータソフトウェア, Vol.13, No.3. pp.
196–210, 日本ソフトウェア科学会, 1996.

未来ビジョン
操作性が良い，というだけの時代はもう終わるだろう．これからは人間中心の，人間の情動に訴えかけるようなデバイスが求められているのではないだろうか．ドナルド.A. ノーマンの有名な言葉 “エモーショナル・デザイン” にあやかって，私はこのような，人間の情動に訴えかけるデバイスを “エモーショナル・デバイス” と名付けたい．私が思うエモーショナル・デバイスに必要な条件，それはたったひとつ，「そのデバイスを触っていたいか，否か」，である．例えば私たちはコンピュータの操作にマウスを使う．しかし，マウスが好きで，何も操作しないときもついつい触ってしまう，という人にはこれまで出会ったことがない．マウスやキーボードといった普段私たちが使うデバイスは確かに現在の形のコンピュータの操作には非常に有効な手段である．ところが，使いたくなるデバイスか，といったときには必ずしも最善の選択肢にはならない．そういった意味で，マウスはエモーショナル・デバイスではないのである．一方，本稿で提案したようなぬいぐるみやクッションというのはどうだろうか？おそらく，多くの人が操作しないときにもつい触ってしまうのではないだろうか．さらに，それがユーザの好きなぬいぐるみであれば，より触っていたくなるだろうし，友人と好きなぬいぐるみを持ち寄り，それをコントローラにして対戦ゲームを遊んだら，普通のゲームコントローラよりずっと盛り上がるのではないだろうか．私が思い描く未来の世界はこのようなエモーショナル・デバイスにあふれ，人々がコンピュータとより自然な形で関わる世界である．そのための第一歩として，我々はやわらかいものをコントロー
ラに用いるというコンセプト，ひいては触っていたくなるデバイスという概念を世に広めるため，本稿の提案を行った．
本大学院においてデモンストレーション展示を行い，学生にぬいぐるみコントローラを触ってもらったところ，実際の操作には影響がない行動が多くの学生に見受けられた．これはまさに我々が提唱する触っていたいコントローラというところに通じるのではないだろうか．今後はユーザスタディなどを通じて触りたいという欲求に関する印象の評価を行っていく．思い描く未来が現実のものになるまで，少しずつではあるが近づいていきたい．