WISS 2018

WISS2019 開催にあたって
伊藤 貴之*「持続可能性 (sustainability)」 という単語が社会的なキーワードとして最近よく用いられています。
私はプログラム委員長に就任してから 2 年間、WISSという素晴らしいワークショップの持続性を高めるには何をするのが大切であるか、という点を意識して運営に努めてまいりました。WISS の運営は毎年が実験の連続です。私はこの 2 年間で以下のような実験的な試みに着手しました。
研究レベルの持続性。国内開催のワークショップ
は研究者にとって、研究内容をブラッシュアップするための場でもあり、また登壇発表経験などのステップアップの場でもあると考えます。そこで WISS
では昨年同様、査読では論文をよくするための建設的なコメントを返すように努め、また条件付採録・
シェファーディングによって論文の質の担保を目指しました。また多くの方々に WISS の登壇を経験していただきたいという考えから、惜しくも採録に届かなかった登壇発表論文の多くをロングティザーとして採択しました。これらの試みが日本の HCI 業界の研究レベル向上につながることを願う限りです。
また今年は試験的に「トップカンファレンス採択
論文紹介セッション」を設けました。素晴らしい成果をあげられた若手の精鋭の方々に発表していただ
くことで、世界トップレベルの研究を多くの方々に実感していただく機会としました。
若手参加者にとっての持続性。WISS の参加者の半分以上は学生です。学生をはじめとする若手参加者の方々が WISS を通して 1 つでも多くの収穫を得られるように、そして来年以降もまた WISS に参加
したくなるように、という点に今年はこだわりました。その結果として今年はナイトセッション 1 日目に「若手セッション」という特別時間帯を設け、若手参加者の方々が 1 日目から多くの収穫を得られる
ように企画を練りました。
また、WISS の参加者の半分以上は初参加の人です。初参加の人がスムーズに WISS に参加できることを目指して、今年も参加登録者用の Slack を設けて事前コミュニケーションに努めました。また 1 日目の夕食では席決めシステムを復活し、組織や世代を超えた会話の機会を作ることに努めました。
* お茶の水女子大学, WISS2019 プログラム委員長

運営体制の持続性。WISS の運営は高度に細分化されています。そのため、特定の担当者に高い負担がかかることや、特定の担当者が急病で倒れただけ
で WISS の運営全体が傾く可能性が、以前から懸念されていました。そこで実行委員を構成する大半の担当を 2 人以上の体制に強化することで、WISS の運営に無理が生じないように、実行委員の負担やリスクの軽減に努めました。また今年は試験的に紙冊
子の予稿集を取りやめるなど、いくつかの点で運営業務の軽減を試みました。
さらに、実行委員が非常に若返りしている現状を鑑みて、既に実行委員の任期を満了している中堅研究者の何人かに、実行委員会への復帰をお願いしま
した。多様な世代の研究者が実行委員会に加わることで、さらに WISS を手厚く支えられるであろうと考えた次第です。
以上のように WISS の実行委員会ではさまざまな検討を重ねてきましたが、依然として課題も残っています。最大の懸案は開催時期を秋に移行してから投稿数が低下している点です。今年の登壇発表の投稿数は 26 件にとどまりました。採択件数はロング 5
件、ショート 8 件、議論枠 2 件、ロングティザー9 件でした。
投稿数が伸び悩んでいる理由の一つとして、就職活動のピーク時期に投稿期限が重なっているという点があります。開催までのスケジュールについては今後も議論の余地があると考えます。
私事になりますが、2007 年に初めて WISS に参加して以来、WISS のコミュニティには非常に多くの面で元気づけられて研究者生活を送ってきました。
プログラム委員長という形で WISS をリードする機会を授かったことは、自分の研究者生活を代表する
幸せな思い出になるだろうと思います。このような機会をくださった関係者の皆様に感謝いたします。
最後になりますが、WISS2019 の参加者および投稿者の皆様、運営委員・プログラム委員・OB プログ
ラム委員・スポンサー企業各社様・セクレタリアッ
ト様・日本ソフトウェア科学会・その他 WISS に熱いご意見やご協力をお寄せ下さった多くの方々に深く感謝の意を表します。

WISS 2019 プログラム委員長
伊藤 貴之（お茶大）WISS 2019 実行委員長
西田 健志（神戸大）
WISS 2019 副実行委員長
五十嵐 悠紀（明治大）
WISS 2019 実行委員
会場

五十嵐 悠紀（明治大）

会計

細部 博史（法政大）
瀬川 典久（京産大）

中村 裕美（産総研）
出版・
デザインコン 益子 宗（楽天技研）
ペ
池松 香（ヤフー）
加藤 邦拓（東大）
参加者管理

樋口 啓太（東大）

照明・音響

川口 一画（筑波大）

広報・
学会リエゾン佃 洸摂（産総研）
横窪 安奈（青学大・お茶大）

WISS
Challenge

入江 英嗣（東大）

チャット

福地 健太郎（明治大）

動画生中継

杉浦 裕太（慶應大）阪口 紗季（東大）

デモ・ポスタ 真鍋 宏幸（芝浦工大）
ー村尾 和哉（立命館大）
土田 修平（産総研）
ネットワーク原 貴洋（ヤマハ）
奥本 隼（TwoGate）

Web・投票・サーバー

加藤 淳（産総研）
小山 裕己（産総研）

懇親会簗瀬 洋平（Unity）
倉本 至（福知山公立大）表彰

沖 真帆（はこだて未来大）
宮下 芳明（明治大）

企業スポンサ 初谷 菜摘（東大）
ー岩本 拓也（サイバーエージェント）
開原 沙文（チームラボ）
学生
ボランティア櫻井 翔（電通大）
中野 倫靖（産総研）

表紙デザイン
越後宏紀（明治大）

WISS 2019 プログラム委員
五十嵐 悠紀（明治大）
池松 香（ヤフー）
入江 英嗣（東大）
岩本 拓也（サイバーエージェント）
梅村 恭司（豊橋技科大）沖 真帆（はこだて未来大）奥本 隼（TwoGate）
開原 沙文（チームラボ）
梶本 裕之（電通大）
加藤 邦拓（東大）
加藤 淳（産総研）
川口 一画（筑波大）
倉本 至（福知山公立大）小山 裕己（産総研）
阪口 紗季（東大）
櫻井 翔（電通大）
杉浦 裕太（慶応大）
瀬川 典久（京産大）
佃 洸摂（産総研）
土田 修平（産総研）
寺田 努（神戸大）
中野 倫靖（産総研）中村 裕美（産総研）
西田 健志（神戸大）
初谷 菜摘（東大）
原 貴洋（ヤマハ）
樋口 啓太（東大）
福地 健太郎（明治大）
細部 博史（法政大）
益子 宗（楽天技研）
真鍋 宏幸（芝浦工大）
宮下 芳明（明治大）
村尾 和哉（立命館大）
簗瀬 洋平（Unity）
横窪 安奈（青学大・お茶大）ISS 研究会連絡先
日本ソフトウェア科学会「インタラクティブシステムとソフトウェア研究会」
主査: 伊藤 貴之
お茶の水女子大学 理学部情報科学科
東京都文京区大塚 2-1-1
E-mail: itot (at) is.ocha.ac.jp
本研究会に関する情報は http://www.wiss.org/
からアクセス可能です．

もくじ
まえがき: WISS2019 開催にあたって
伊藤 貴之 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

セッション 1：Upskilling

✞

i

☎

DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース ✝ショート採録 ✆ ショート発表
土田 修平, 深山 覚, 後藤 真孝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

✓

✏

✒

✑

群舞向けの振り付け確認のシステムとして、先行手法に比べて技術的には簡素になっているがその分、使用条件が手軽になっており、導入へのハードルが低いため、より多くのユーザが使えるシステムになっている可能性がある。ただし、提案システムの定量的な評価実験がなされておらず、有用性については判断ができない。多くの要素が絡む提案であるため、個々の要素を分解した上での評価実験の実施が期待される。

✞☎
画像の類似度を用いたダンス動画モーション訂正手法 ✝ショート採録（採録条件あり）✆ ショート発表
又吉 康綱, 小山 裕己, 深山 覚, 後藤 真孝, 中村 聡史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
✓7

本論文ではダンス動画におけるモーションの自動抽出を効率よく補正するための手法の提案を行なっている。問題設定が面白く、フレーム間の類似度行列を用いた類似モーションの検索提示機能はシンプルであるが有効であるように思われる。
一方で、査読者からは本システムで類似と判断されたフレームの妥当性や、類似度判定がうまく動作する/しないの条件が明らかでないなどの疑念点があり、ショートが妥当であると判断した。

✒

✏

✑

Parrot:リアルタイム音声合成を用いたビブラートデザイン支援インタフェースの開発✞☎✝ショート採録（採録条件あり）✆ ショート発表
小野 雄大, 森勢 将雅 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13✓✏
本論文では、本研究は、歌唱デザイン（歌声合成におけるパラメータ調整作業）においてビブラートを高速・効率的に付与するための新しいインタフェースを提案し、評価した。XY 軸にビブラートの振幅と周波数をマッピングして、リアル
タイムに（合成結果のプレビューをしながら）そのパラメータを変更できる。実装完成度が高く、適切に評価されていて登壇に適している。一方で、リアルタイムにビブラートパラメータを作りこむ需要や想定利用者が不明瞭であることから、ショート採択が妥当であると判断した。また、市販のボーカル補正ソフトウェアの類似機能に関する言及を追加することを採録の条件とした。

✒

✑

☎
✞
熟練者の動作の可視化による VR スキートレーニングシステム ✝ロング採録（採録条件あり）✆ ロング発表
野澤 崇行, Erwin Wu, Florian Perteneder, 小池 英樹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19✓✏
本論文は、スキーを VR 体験しながら熟練者の動作情報等を確認することができる VR トレーニングシステムを提案しています。複数の条件を比較し適切な情報提示方法を検討するとともに、評価で見られた課題を解決する新機能の提案も行われています。大規模なシステムですが、是非 WISS の場で体験し有効性について議論させて頂きたいです。

✒

iii

✑

セッション 2：Shaping & Imaging☎✞

UV プリンタを用いたレンズ造形手法の提案 ✝ショート採録（採録条件あり）✆ ショート発表
杉山 圭, 塚田 浩二 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

✓

✏

✒

✑

本研究は UV プリンタによるレンズの造形手法を提案している．一般的に普及している UV プリンタを用いて，凹・凸
レンズやカラーレンズ，再帰性反射材など様々なレンズを造形できることから，個人レベルでのものづくりの可能性が広がりそうである．WISS では，本手法によって出力したレンズが何にどこまで活用できるのか，応用可能性について議論
したい．

✞

☎

3D プリンターによる一体造形式回転機構の提案 ✝ショート採録 ✆ ショート発表
新山 大翔, 沖 真帆, 塚田 浩二 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

✓

✏

✒

✑

新規性といった点では、すでに他の製品等でよいものがあるので弱いと考える。一方、実験を行った知見は有益である。
これらを総合的に判断してショート採録が妥当との判断となった。

タンジブルなブロックを組み立てることにより
AR 空間で実行可能な教育用プログラミングツール☎✞
ショート採録（採録条件あり） ショート発表✝
✆
服部 圭介, 井上 馨太, 志賀野 桐生, 平井 辰典 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37✓✏
査読者は全員研究のモチベーションと意義について説得的であると好意的に評価しています。
また、実装についても合理的であると判断できます。

一方で、本研究は Augmented Reality とプログラミング教育という、それぞれホットトピックである研究テーマを複合的に扱ったものであり、それぞれの観点で新規性および有用性の評価が必要となります。ところが、どちらの観点でも既存事例との比較検討が乏しく、読者としては、新しいインタラクション設計が入っていそうに見えるが確信が持てない、という非常にもどかしい感想になってしまいます。
上記の理由により、採録条件付きでショート採録が妥当と判断されました。

✒

✑

✞
☎
内部構造パターンの差異を利用した 3D プリントオブジェクト識別手法 ✝ショート採録 ✆ ショート発表
久保 勇貴, 江口 佳那, 青木 良輔, 近藤 重邦, 東 正造, 犬童 拓也 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43✓✏
本研究は 3D プリンタで出力したオブジェクトの物体識別を提案しています．
3D プリンタ出力時に設定する内部構造パターンを用いるという点に着目しており，一定の新規性が認められる．一方で実験条件の一部が不明瞭である，想定する提案手法の使用方法についての議論がされていない．以上を踏まえ，ショート採録が妥当と判定された．

✒

✑

✞
☎
スマートフォンを拡張した残像ディスプレイとインタラクション手法の提案 ✝議論枠採録 ✆ 議論主体
玉井 由良, 塚田 浩二 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49✓✏
スマートフォンを回転させて，残像ディスプレイとして使用するという，非常に面白い提案です．新規性は認められるものの，有用性の観点で疑問が残るため，議論枠での採録となりました（この点で，本研究は WISS 的研究と言えるかもしれません）．
発表では，“何に使えるのだろうか？” だとか，“このような発展があり得るのではないか？” だとか，“こうなればより楽しめるのでは？” など，本研究の新たな展開を切り開く，有意義な議論が行われることを期待しています．

✒

iv

✑

セッション 3：Feedback
Self-healing
UI: 機械的かつ電気的に自己修復するセンシングインタフェース✞☎✝ロング採録（採録条件あり）✆ ロング発表
鳴海 紘也, Fang Qin, Siyuan Liu, Huai-Yu Cheng, Jianzhe Gu, 川原 圭博, Mohammad Islam,

Lining Yao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

✓

✏

✒

✑

本論文は MWCNTs-PBS を用いた “機械的・電気的自己修復を可能とする Self-healing UI インタフェース” を提唱し、その構築手法の提案と性能評価、使用アプリケーション例の提案を行っています． “自己修復するインタフェース” という概念の挑戦的新規性とアプリケーション例は特に高く評価しています。発表ではアプリケーション事例からさらなる活用法や設計手法について議論が行われることを期待しています。

✞☎
ターゲット内に両端が存在するスワイプジェスチャ ✝ロング採録（シェファーディングあり）✆ ロング発表
八箇 恭平, 礒本 俊弥, 川口 航平, 志築 文太郎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61✓✏
スマートフォン等のタッチサーフェスにおいて，スワイプのタッチ開始位置とタッチ終了位置の両方がターゲット内に収まる場合に，通常のフリック入力とは異なる新規な入力として扱い，タッチ入力語彙を拡張する提案を行っている．提案
手法は偶然的には発生しにくい動作を取り入れた一方で，従来のフリック入力と大きく異なる操作形態ではなく，シンプ
ルながらも利便性が高いと考えられる．
査読者から指摘のあった，既存のタッチジェスチャと比較した際の有用性及び，提案手法の特徴を活かした応用例について議論したい．

✒✑

自己表情が他者からフィードバックされることで笑顔が促進されるシステム✞☎✝議論枠採録（採録条件あり）✆ 議論主体
堀江 彩太, 寺田 努, 塚本 昌彦 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67✓✏
アイディアは非常に興味深く、実際に装着可能な形で実装されている点は評価できます。
一方で、提起された課題と提案手法がかみ合っていない、評価・実験に対する説明が不足しているなどの課題があります。
しかしながら研究のアプローチや、デバイスの活用方法について活発な議論がなされることを期待し、条件付「議論枠採録」とします。

✒✑

セッション 4：Touch & Drink☎✞
多様なマルチタッチ入力を自動生成するデバイスの構築 ✝ショート採録（採録条件あり）✆ ショート発表
岡本 雅弘, 村尾 和哉 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73✓✏
印刷された複数の電極パターンとリレーによってそれを切り替えることでマルチタッチをタッチパネルに対して実現可能
な可能な電子回路モジュールを提案し、実際に実装を行っています。実験においては、この装置によるタッチ入力の切替時間による成功率の差異、またスクロールの移動量などの実験を行っています。スコアは査読者 3 名とも「5: ショート採録が妥当」で一致し、プログラム委員会でショートでの採択と決まりました。

✒

v

✑

ExtickTouch: 仮想物体への接触感を提示する先端伸縮型デバイスの開発✞☎✝ショート採録（採録条件あり）✆ ショート発表
片岡 敬志郎, 山本 拓也, 大槻 麻衣, 柴田 史久, 木村 朝子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79✓✏
ペン先が伸縮可能なペン型デバイス「ExtickTouch」を用いて仮想物体の表面形状を触知できるシステムを提案しています．先行研究の「Haptylus」や「ImpAct」を比較して新規性が低いものの，ペンでなぞる動作に対してフィードバックを与える点に新規性が認められます．一方，全査読者が指摘しているように，先行研究の「Haptylus」や「ImpAct」等と比較して，利用環境の制約が多くなり，有用性が低くなっている点に対して疑問が残りました．以上の結果から，ショート採録（採録条件あり）と判断しました．

✒

✑

☎
✞
ScraTouch: 静電容量方式タッチサーフェスにおける爪を使用したタッチ入力拡張技法 ✝ロング採録 ✆ロング発表
池松 香, 山中 祥太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85✓✏
本論文では，静電容量方式タッチサーフェスに指の腹でタッチしたときと爪でタッチしたときの電流量の差に着目し，これを区別して動作するインタフェースが提案されています．爪の接触を利用するという試みは新しく，また電流値を確認することによって従来のデバイスが使える点は大きなアドバンテージとなっています．安定した区別の実現にはまだいく
つかのステップが必要かもしれませんが，アイデアの新規性および有用性が大なことからロング採録と判定されました．

✒

✞

☎

BubBowl: 電気分解を利用したカップ型泡ディスプレイ ✝ロング採録（採録条件あり）✆ ロング発表
石井 綾郁, 椎尾 一郎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

✑

✓

✏

✒

✑

カップ型デバイスの中で，マトリクス状のポイントで電気分解を起こすことで泡ディスプレイとして使うという発想は面白いと思いました．初回判定では，論文として完結した文章とすることを条件とさせて頂きます．

vi

WISS 2019

DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース
土田 修平 ∗ 深山 覚 ∗ 後藤 真孝 ∗概要. 複数人でのダンスパフォーマンス作成を支援するシステム DanceUnisoner を提案する．振付師が複数人のダンスパフォーマンスを考えるとき，頭の中でその振り付けを想像しつつ，鏡で自分の踊りを確認しながら具体化する．理想的には複数のダンサーが常に振付師の傍にいて，その場で振り付けを踊ってもらうことが望ましいが，現実的には難しい．そこで，複数人でのダンスのイメージを振付師 1 人でも検討・確認できるグループダンスパフォーマンス動画作成インタフェース DanceUnisoner を開発した．DanceUnisoner
では，ダンサー 1 人が踊っているダンス動画をコピー & ペーストの要領で三次元空間に配置していくこと
で，グループダンスの動画を手軽に作成できる．配置されたダンサーの位置やサイズ，その動作タイミングの調整を，スライダーやボタンなどの GUI 操作で簡単に行える Beginner Mode と，それらのパラメータをダンサーごとに細かく調整できる Professional Mode の 2 種類のインタフェースをもつ．振付師は，作成中のグループダンスの動画を繰り返し再生しながら，複数のダンサーの配置等をインタラクティブに調整して試行錯誤することで，グループダンスパフォーマンスの振り付けの検討・確認・共有ができる．

1

はじめに

グループダンスの振り付け作成を支援する方法として，紙とペンを用いる従来の方法に加え，いくつかのアプリケーション [1] や研究 [8] が既に提案されてきた．例えば，Schulz ら [7] は，モーションキャ
プチャで取得した動作情報を用いて，複数人のダンスパフォーマンス作成のためのオーサリング環境を提案した．しかし，モーションキャプチャのための特殊なデバイスや環境を準備する必要があり，手軽に利用できなかった．また振り付けを作成する段階
ではダンサーの動作が確定しているとは限らず，動作が変更されるたびにキャプチャするのは現実的ではない．振り付けの試行錯誤を可能にするには，ス
マートフォン等で手軽に動画撮影するだけで利用できる支援が望ましい．
そこで本研究では，1 人で踊っているダンス動画
から，複数人で踊ったかのようなダンス動画を手軽に作成できるインタフェース DanceUnisoner を提案する．振付師は，頭の中で想像するグループダン
スパフォーマンスの振り付けを使用楽曲に合わせて踊り，その動画をスマートフォン等で撮影する．次に，撮影した動画と楽曲を DanceUnisoner に入力すると，1 人のダンス動画が画面上で複製されて複数個並ぶ動画が表示され，グループダンス全体としてのイメージを確認できる．そして，表示されている各ダンサーの位置やサイズ，動作タイミングのずれを GUI 操作でインタラクティブに変更すること
で，様々な組み合わせを試行錯誤して素早く確認・修正できる．DanceUnisoner で作成したダンスパ
フォーマンス動画は，振付師にとって便利なだけでなく，実際に踊るダンサーに振り付けの全体像を直観的に伝える手段としても有用である．
本研究の貢献は以下の 2 つである．

複数のダンサーが一緒に踊るグループダンスのパ
フォーマンスを披露する機会は増えている．2015 年に株式会社ヤマハミュージックジャパンがダンスに関する意識調査を小学生の子どもがいる全国 1000
名（男女各 500 名）に対して実施した結果，親世代と子ども世代の習い事の変化として，ダンスを習っている割合が 2.7% から 12.5% に増加したことがわかった [2]．また，一般社団法人ストリートダン
ス協会は，ストリートダンス人口が 600 万人を超えたと発表した．日本高校ダンス部選手権 DANCESTADIUM では，参加チーム数が 2008 年の 47 チー
ムから 2018 年の 957 チームに，総動員数が 1,850
名から 47,520 名に増加した．
複数人でのダンスパフォーマンスを 1 人の振付師が考える場合，理想的にはダンサーの配置等の振り付けを確認するために，十分なスキルを備えた複数のダンサーが常に傍に待機していて，考えた振り付
けをダンサーが即座に習得してミスなく踊り続けてくれることが望ましい．しかし現実的には，十分なスキルをもった複数のダンサーを手配するのは容易ではなく，長時間待機して踊ってもらうのはコストがかかる．また，考えた振り付けを振付師自身が踊れても，その動きや立ち位置の移動等を他のダンサーに的確に伝えるには時間がかかる．ダンサーにとっても，ミスなく繰り返し踊るのは体力・精神的に難しい．そのため現状では，頭の中で全体のパフォー
マンスを想像しつつ，鏡の前で振付師自身が踊って確認しながら振り付けを考える必要がある．

∗

Copyright is held by the author(s).
産業技術総合研究所-1-

WISS 2019

• ダンサー 1 人が踊っているダンス動画からグ

3.1

ループダンスパフォーマンスの動画を生成し，その全体像を確認しながら様々な変更・検討が可能な新たなインタフェースを提案した.

• グループダンスの人数や配置，向き，大きさ，
時間ずれを一括で容易に変更できるシンプルな GUI を提案して実装した．

2

関連研究

ダンスの振り付け作成を支援するツールはこれまで数多く提案されており，Alaoui らがそれら研究についてまとめている [3]. COMPOSE [6] など，アニメーションを活用した振り付け作成支援ツールが1990 年代前半に開発され，その後，モーションキャ
プチャを取り入れた手法 [4] やタブレットとスタイ
ラスペンを活用した手法 [5] などが提案されてきた．
上記の研究の多くは，ダンサー 1 人の振り付け作
成支援に主眼を置いており，グループダンスに着目した研究は少ない. そうしたグループダンスの振り付け作成支援のオーサリング環境は，Schulz ら [7]がモーションキャプチャを用いて実現した．これは，グループダンスの振り付け作成過程を細かく保存，編集，可視化する目的には適している．しかし，複数の構想段階の振り付けを限られた時間で多く試したい場合には，モーションキャプチャの利用は手軽と言い難い．我々の DanceUnisoner は，モーショ
ンキャプチャシステムのような特殊な装置が不要で，スマートフォン等の汎用デバイスで撮影した動画を利用できるため，様々な振り付けを試行錯誤しながら手軽に作成・確認できる特長を持つ．
振り付け作成支援を目的とはしていないが，深度データを活用したダンスパフォーマンスの動画編集シ
ステムが提案されている．栗原 [10] らは，Microsoftの Kinect で得られる深度情報と画像の色情報を組み合わせることで，ダンスパフォーマンスを立体的に表示する動画編集システムを提案した．このシス
テムでは，複数人によるダンスパフォーマンスを立体的に見せることに成功していた．一方で，深度センサを持つカメラが必要なため手軽ではなく，低解像度な点群表示となってしまうことから指先の動き
や服装の違いなどのダンサーの細かな振り付けや見た目を確認しずらいため，ダンスパフォーマンスの作成支援には適していなかった．

3

DanceUnisoner

設計

グループダンスパフォーマンスの振り付けは，ダンサー 1 人の場合と違って考慮すべき要素が多い．
具体的には，ダンサーの人数，身長・体型，向き，ダンサー同士の位置関係，フォーメーション（陣形）の変化，ダンサーごとの振り付けの違い，動作タイ
ミングの違い等を考慮する必要がある．振付師は，頭の中でこれらを考慮してダンスパフォーマンスの全体像を想像しつつ，振り付けを作成している．その際，振り付けを試作する度に鏡の前で踊って確認することはできるが，複数のダンサーの動きは想像するしかない．
複数のダンサーの動きを想像して振り付けを作成
すると，それを実際にダンサーが踊ったときに異なる印象となってしまう問題が生じる．例えば，グルー
プダンスを正面から見たときに，ダンサー同士が予想外に重なってしまう問題が起きることがあるが，これは振り付け作成時には想像しづらい．また個々のダンサーの動きに意図的でない若干のずれが生じる場合に，全体像としてどのような印象になるのか
は，実際にダンサーに踊ってもらうまではわかりに
くい．さらにグループダンス特有の難しさとして，実際に複数のダンサーによって踊ってもらうことで初めて全体像が掴めるため，振り付けの試作から修正点の発見までの時間がかかりすぎ，十分な回数の修正作業をしにくいという問題もある．このようなグループダンスの振り付けに際しての難しさを軽減して支援するために，ダンス経験が豊富な第一著者の知見を活かしながら，以下の 3 項目を満たすように DanceUnisoner を設計した．

• パラメトリック：グループダンスの人数・身長や体型の違い・フォーメーション等の重要要素をスライダ等で手軽に変更できる．

• ビジュアル：三次元空間でカメラ視点を変えながらグループダンスを直観的に把握できる．

• インタラクティブ：振り付けの作成・記録・確認・修正のサイクルを速く，かつ容易に回せるインタフェースを備える．

3.2 入力データ
DanceUnisoner に入力するデータとして，ダンスパフォーマンスに使用する楽曲（例えば 4/4 拍子
で 16 小節程度のループ可能なダンス楽曲），振付師
自身やダンサー 1 人の踊りを撮影したダンス動画，
それを撮影した際の背景画像の 3 つを用いる．ダンスの録画では，モーションキャプチャや深度センサ
といった特殊なデバイスが不要で，スマートフォン
等の任意の汎用カメラを用いて，楽曲に合わせた踊りを撮影するだけでよい．背景画像も，ダンス動画
中のダンサーが映っていない画像を切り出して準備できる．このように，入力データはすべて手軽に準

本節では，DanceUnisoner の機能を紹介することで，1 人のダンス動画からグループダンスの動画を手軽に作成でき，インタラクティブに配置等を試
行錯誤しながら振り付けを効果的に支援できること
を述べる．

-2-

DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース

図 1. 三次元空間にダンサーを配置した画面表示例．

図 2. ダンサー人数変更時の画面表示例．

備できるように設計した．

3.3 グループダンスの表現方法
1 人が踊っている動画を組み合わせてグループダ
ンスを表現するために，三次元空間の床の上に，入力ダンス動画を貼って立てた板（ビルボード）をコ
ピー & ペーストするように多数複製して違う場所に配置する．配置された全動画を楽曲と同期させてループ再生することで，あたかも複数のダンサーが同時に踊っているかのような可視化を実現する．可視化の例を図 1 に示す．この方法は，コンピュータグ
ラフィックスによるアニメーションでダンサーを表現する場合と比べて手軽な上，入力ダンス動画に含まれている服装の揺れや質感といった実際のパフォー
マンスの見た目を想像しながら振り付けがしやすいため優れている．動画加工による映像の歪みが生じることがあるが，振り付け作成支援の目的では許容できる範囲であった．

3.4

図 3. フォーメーション設定の画面表示例．

間を省け，簡単にダンサーの人数を変更できる．ダンサー人数を変更した際の画面を図 2 に示す．

3.4.2

編集インタフェース

グループダンスの振り付けにおいて重要な，ダンサーの人数，位置，見た目，動作の 4 項目に着目し，それらを調整できるインタフェースを検討した．

3.4.1

ダンサーの人数

グループダンスではダンサー全員が常に舞台上で踊っていることは稀で，踊っている人数は変動する．
そのため，表示される（複製される）ダンサーの人数を容易に増減できるインタフェースが必要である．
そこで DanceUnisoner では，スライダ操作を行うだけで，表示人数を変更できるようにする．変更
すると，人数が増えた場合にはダンサーが複製されて新たに自動配置され，人数が減った場合には配置済みのダンサーが消える．ダンサー追加時には，ダンサーの間隔を一定に保つように配置され，配置後に全ダンサーの位置の平均が原点座標となるように，
全ダンサーが自動的に再配置されるようにする．これにより，ユーザはダンサーを配置・整列させる手ダンサーの位置

グループダンスではダンサーが単に横並びで踊るだけでなく，奥行きを伴う様々なフォーメーション（陣形) をとる．フォーメーションを作るには全ダンサーの位置を変更する必要があるが，1 人ずつ三次元空間に配置する作業は手間がかかる．そのため，ダンサーの人数に応じたフォーメーションを自動的に決定し，そのフォーメーションに沿ってダンサーが自動的に再配置されるインタフェースが望ましい．
DanceUnisoner では，フォーメーションの列数に着目し，スライダ操作で列数を指定するだけで，その列数に沿って自動的にダンサーが並べられるようにする（図 3）．その際に，前から見てダンサーが重なりにくいように，ダンサーの背後にいるダンサー
は，前列のダンサーの間から見えるように配置される．こうしてスライダ操作だけで，様々なフォーメー
ションのグループダンスを即座に作成できる．
さらにダンサーの間隔も，グループダンスの印象に関わる重要な要素である．実際，グループダンス
パフォーマンスを披露する際は，あらかじめ舞台の大きさを調査し，その大きさに合わせてダンサーの-3-

WISS 2019

図 4. ダンサーの間隔を変更した画面表示例．

図 6. ダンサーの向きを変更した画面表示例．

図 5. ダンサーの身長・体型を変更した画面表示例．

図 7. ダンサーの動作タイミングをずらした画面表示例．

間隔を入念に調整しておく必要がある．
ダンサーの間隔の指定では，原点座標を基準に，奥行き方向と左右方向の 2 種類の間隔を与える必要がある，DanceUnisoner では，縦軸が奥行き方向の間隔，横軸が左右方向の間隔を表す二次元平面上の1 点をクリックすると，その奥行きと左右の間隔を同時に指定できるインタフェース 2D pad（図 9 参照) を提案する．2D pad 上でドラッグ操作をする
ことで，画像をドラッグして拡大・縮小させるかのごとく，ダンサーのフォーメーションを連続的に拡大・縮小できる（図 4）．

3.4.3

ダンサーの見た目

人数と位置を調整した段階では，現実とは違って，見た目のサイズが全く同じ複数のダンサーが踊っているように見える．しかし実際には，様々な身長・体型をもったダンサーが存在し，それらはダンスパ
フォーマンスの印象にも影響を及ぼす．そのため簡単な操作でダンサーの見た目をばらつかせるインタ
フェースが必要である．
DanceUnisoner では，ユーザが設定した値の範
囲内で一様分布に従ってダンサーごとの乱数値を発生させ，それに基づいてそれぞれのダンサーの動画の縦横比を伸縮表示する．これにより，様々な身長・体型をもったダンサーが並んでいる様子を擬似的に表現できる（図 5）.

3.4.4に同じ動作タイミングで踊ると，不自然な印象を与えてしまう．
DanceUnisoner では，まず，ダンサーの向きを変更するために，いくつかのダンサーの動画を左右反転表示する．ダンサーが交互に左右で向かい合うよ
うに設定できるほか，反転対象のダンサーの比率を設定することもできる（図 6）．次に，ダンサー間
で動作タイミングをわざとずらすために，ユーザが設定した値（例えば数十ミリ秒）の範囲内で一様分
布に従ってダンサーごとの乱数値を発生させ，それに基づいてそれぞれのダンサーの動画の再生開始時
刻にオフセットをかける（図 7）．さらに，グルー
プダンスでは同じ動作を 1 拍ずらして踊ることがよくあるため，ダンサーの動作タイミングをダンサーの位置に応じてビート単位でずらすことも可能にする（1 拍，2 拍，4 拍の 3 種類を選択可能）．

4

前節に述べた全機能を有する DanceUnisoner を実装した．インタフェースは openFrameworks 0.9.8を用いて実装し，macOS Sierra にて動作確認をした．DanceUnisoner の想定される利用手順を図 8 に示す．利用手順は，撮影，前処理，インタラクティ
ブ編集，生成の 4 段階に分けられ，それぞれの実装と機能詳細を以下で述べる．

4.1

ダンサーの動作タイミング

実装

撮影

ユーザである振付師（ダンサー）は，複数ダンサー
によるダンスパフォーマンスの振り付けを想像しつつ，その 1 人の動きを使用楽曲を流しながら自身で踊り，その様子を撮影する．あるいは，1 人で踊っ

グループダンスでダンサーの動作タイミングが揃うことは一般に望ましいが，実際には，わずかな揺らぎやずれが必ずある．そのため，動画のコピー &ペーストによって全ダンサーが一切のずれなく完全-4-DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース

図 8. DanceUnisoner の利用手順．
図 10. （上側） スライダを変更すると，ダンサーの人
数，フォーメーションの列数がインタラクティブに変化する．
（下側）2D pad 上でドラッグすると，ダンサーの間隔が連続的に変化する．

の個別操作が不要で，グループダンス全体がどのように見えるかに注力して編集ができる．ユーザはまず，想定するパフォーマンスのダンサー人数をスラ
イダ操作で入力する．操作中に表示人数が変わり続け，所望のイメージになったら操作をやめればよい．
あらゆる操作において，このように操作途中にフィードバックが得られる．続いて，Depth Line スライ
ダを用いてフォーメーションの列数を指定すると，現在の人数に応じて自動的にダンサーが配置・整列される（図 10 上側)．フォーメーション決定後，奥行き・左右方向のダンサーの間隔を変更したい場合には，2D pad を用いて調整できる．三次元空間の
カメラ視点は，ダンサーの画面上でマウスをドラッ
グすると変更でき（原点座標を向いたままカメラ位
置やズームが変わる），ダンサーの配置を三次元的に確認しながら，ダンサーの間隔を調整できる（図10 下側）．
次に，Professional Mode 時の画面を図 11 に示
す．ダンサーが等間隔に並ばないフォーメーションを試したい，ダンサー 1 人だけサイズを変え，動作タイミングをずらしたいなど，Beginner Mode だ
けでは実現しにくい振り付け構成を，各ダンサーのパラメータを個別に調整することで実現できるモードである．具体的には，各ダンサーの位置，縦横比，
左右反転，動作タイミングのずれを個別に変更でき
る．なお本モードでの調整後に Beginner Mode に戻って，個別設定されたダンサー間隔の比率を保持したままさらに 2D pad を用いて直感的に調整すると便利である．

図 9. Beginner Mode 時の画面．振り付けの全体像を見ながら，グループダンス作成時に考慮すべき要素（ダンサーの位置，サイズ，動作タイミングのずれ）をインタラクティブに調整できる．

ている既存のダンス動画を利用してもよい．動画の撮影時にダンサーが映りこんでいない背景も撮影す
れば，別途，背景画像を用意する必要がない．

4.2

前処理

入力された楽曲の音響信号を用いて，ダンス動画
中で楽曲が再生されていて，かつ，振り付けが撮影されているシーンを自動的にトリミングする．具体的には，音響フィンガープリント手法 [9] を用いて動画中の楽曲開始位置を自動検出し，楽曲開始位置
からユーザが指定する時間長の区間（例えば楽曲と同じ 16 小節の区間）を，実際に使用するダンサー
1 名分の動画として切り出す．その後，背景画像を用いた背景差分処理によって，動画の各フレームにおいてダンサーに該当する人型の領域を切り抜く．

4.3 インタラクティブ編集
DanceUnisoner は，全ダンサーを一括で手軽に調整できる Beginner Mode と，手間は増えるが各ダンサーを細く調整できる Professional Mode の 2

4.4

動画ファイル生成

振り付けが完成したら Rendering ボタンを押すと，画面で見るよりも高画質な動画ファイルとしてつのインタフェースをもつ．
Beginner Mode 時の画面を図 9 に示す．ダンサー-5-

WISS 2019ではそれらを個別に変更したりばらつかせたりできるため，何が違和感の原因なのか，違和感を低減す
るばらつきの幅はどの程度なのか，といった探求が本研究を出発点に可能になると考えている．その探究で得られる知見は，コンピュータグラフィックス
やアニメーションのキャラクタ等によるグループダ
ンス動画作成にも役立つ可能性がある．

謝辞
本研究の一部は JST ACCEL (JPMJAC1602)の支援を受けた．
図 11. Professional Mode 時の画面．各ダンサーのパラメータを個別に調整できる．

参考文献[1] Dance Designer. http://www.choreopro.com/
Dance_Designer_s/47.htm.

出力できる．生成された動画は，振り付け結果の記録であるとともに，実際にその振り付けで踊る複数のダンサーに対して，フォーメーションの中での各ダンサーの役割やパフォーマンスの全体像を伝える
効果的な手段となる．

5

議論と今後の課題実装した DanceUnisoner で様々なグループダン
スを振り付けした結果，提案したインタラクティブ
な編集機能によって，ユーザはグループダンスの印
象を確認しながら振り付けの試行錯誤と検討ができ，納得のいくまで修正を繰り返すことができる点が確かに優れていることがわかった．特に，複数のダンサーに実際に踊ってもらって確認して修正する場合と比べ，DanceUnisoner での確認と修正のサイクルが圧倒的に速く，容易に回せる点は大きな特長といえる．また，Beginner Mode は振り付け経験の乏
しいダンサーやしろうとが使っても楽しく，グルー
プダンスの魅力を広めるツールとしても役に立つと考えられる．
グループダンスの面白さは、今回対応済みのダンサーの人数，身長・体型，向き，ダンサー同士の位
置関係，動作タイミングの違いだけでなく，未対応のフォーメーションの変化，ダンサーごとの振り付
けの違いなどからも生まれる．今後はそうした未対
応の項目を支援する機能などを追加していく予定である．また，パフォーマンス全体を通じた振り付けの構成を支援する機能も検討していきたい．
今後，DanceUnisoner をダンス研究のツールとして活用することで，グループダンス動画においてどのような要素が重要かを探求できる可能性がある．
全く同じ踊り（ダンス動画）をコピー & ペーストして多数同期再生するときの違和感が，全く同じ服
装・身長・体型のダンサーが表示される見た目に起因するのか，ずれのない全く同じ動作タイミングに起因するのか，正確に均等配置されるフォーメーションに起因するのかは自明ではない．DanceUnisoner-6-[2] 親世代と子供世代を比較するとダンスを習っている人が約 5 倍に増加！, 2016 年 1 月 15 日（最終閲覧日：2019 年 8 月 5 日）.
https://prtimes.jp/main/html/rd/p/
000000075.000010414.html.
[3] S. F. Alaoui, K. Carlson, and T. Schiphorst.
Choreography As Mediated Through Compositional Tools for Movement: Constructing A
Historical Perspective. In Proceedings of the
ACM International Workshop on Movement
and Computing (MOCO ’14), pp. 1:1–1:6, 2014.
[4] J. C. P. Chan, H. Leung, J. K. T. Tang, andT. Komura. A Virtual Reality Dance Training System Using Motion Capture Technology.
IEEE Transactions on Learning Technologies,
4(2):187–195, 2011.
[5] M. C. Felice, S. F. Alaoui, and W. E. Mackay.
Knotation: Exploring and Documenting Choreographic Processes. In Proceedings of the 2018
CHI Conference on Human Factors in Computing Systems (CHI ’18), pp. 448:1–448:12, 2018.
[6] T. Schiphorst, T. Calvert, C. Lee, C. Welman,
and S. Gaudet. Tools for Interaction with theCreative Process of Composition. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ’90), pp. 167–
174, 1990.
[7] A. Schulz, W. Matusik, and L. Velho. ChoreoGraphics: An Authoring Tool for Dance Shows.
Journal of Graphics Tools, 17(4):159–176, 2013.
[8] A. Soga and I. Yoshida. Simulation System forDance Groups using a Gamepad. In Proceedingsof GRAPP/IVAPP, pp. 365–368, 2012.
[9] A. Wang. An Industrial Strength Audio Search
Algorithm. In Proceedings of the 4th International Conference on Music Information Retrieval (ISMIR ’03), 2003.
[10] 栗原 竜矢, 岡部 誠, 尾内 理紀夫. 動画内オブジェクトを容易に編集可能な 2.5 次元動画編集シ
ステムの検討. インタラクティブシステムとソフ
トウェアに関するワークショップ (WISS 2012),
2012.

WISS 2019

画像の類似度を用いたダンス動画モーション訂正手法
又吉 康綱* 小山 裕己† 深山 覚† 後藤 真孝† 中村 聡史*

概要．近年，SNS や動画共有サイトには多くのダンス動画の投稿が行われており，ダンスというコンテ
ンツへの注目度は高い．こうしたダンス動画をダンスの内容に即して探索・推薦するには，ダンス動画
を時系列のモーションデータとして扱う必要があるが，ダンス動画の量は膨大でありそのモーションを
人手ですべて付与していくのは困難である．ここで動画からモーションを自動抽出する深層学習技術を利用することが考えられるが，自動抽出結果には多くのエラーが含まれるため，手作業でのモーションの訂正が必要である．そこで我々は，ダンス動画のフレーム間の画像の類似度が本来抽出されるべきポーズの類似度と高い相関を持つことに着目し，それを活用することで，モーション訂正作業を支援する手法を提案する．本稿では proof-of-concept であるウェブシステムの実装と，そのシステムに実装されたモーション訂正支援インタラクションについて述べるとともに，その特性について考察を行う．

1

はじめに

多くの人がダンス動画を SNS や動画共有サイトへ投稿することで，感情表現をしたり，コミュニケーションをしたりしている．そのため，バリエーシ
ョン豊富なダンス動画がインターネット上には膨大に存在しており，例えばニコニコ動画 [1] 上にはダ
ンス動画によく付与される「踊ってみた」タグの動画が 17 万件以上 [2] 存在している．
こうした膨大なダンス動画があることを背景として，ダンスのモーションデータ（本稿では人間の動作を表現するための仮想的な人体模型における複数の関節の位置や角度の時系列情報を指す）を利活用する研究は広く行われている．モーションデータを用いることで，動画の表層的な見た目の分析に加えて，動作の内容に即した検索や機械学習が行える．
例えば Tsuchida ら [3] はユーザ自身のダンスモー
ションをもとにダンス動画を検索する Query-byDancing を実現している．また機械学習を用いることで，仮想キャラクタのダンスの動きを自然にする
手法 [4] やダンスモーションからダンサーの感情を推定する手法 [5] などが提案されている．こうした研究が更に発展していくには，検索データベース
や機械学習の学習データのために膨大なダンスのモーションデータが必要となるが，動画共有サイトに存在するのはダンスの動画のみであり，そのモーシ
ョンデータは多くの場合存在していない．
ダンスモーションデータの作成方法の一つとして，手作業でダンス動画内の動作を再現するようにモーションデータを作成（トレース）することがある．

Copyright is held by the author(s).
* 明治大学，†産業技術総合研究所-7-

具体的には，人が実際に踊っている動画と画面上に描画される人体模型を重ね合わせながら，キーフレ
ームアニメーションを手動で作成する．この際，動画の見た目から奥行きを推測したり，人間として破綻した動きが生じないように考えたりと，多くの時間と手間がかかる．一方，映像制作や学術研究用途のダンスモーションデータ作成においては，精度が高いモーションキャプチャシステムを用いることが多い．しかし，実際に人に踊ってもらう必要がある
ため，データセットの新規作成に時間がかかるうえに，専用のスタジオが必要になるなど，その作成コストが高い．こうした問題により，モーションのデータセットの整備はまだ発展途上にある．
一方，OpenPose [6] などの近年の深層学習技術の飛躍的な進歩により，ダンスモーションの作成においてダンス動画からポーズを自動的に推定し活用できる見込みが高まってきた．しかし，連続した滑らかなモーションを含む動画であっても，その動画から得られたポーズ推定結果には不連続なちらつきのようなエラーが含まれることがある．また，類似の振り付けを踊っている動画であったとしても，人間の目には分かりにくい微細な違いから，例えば足の前後関係が入れ替わるなど，大きく異なるポーズ
推定結果が得られることがある．このような推定の不安定性の問題に対応するためには，手作業での訂正が必要となる．モーションを訂正する方法は現時点で確立されておらず，1 フレーム毎に動画と見比べながらモーションを訂正していく必要がある．この訂正作業の負担は大きいため，推定したモーショ
ンを効率的に訂正できる仕組みが必要である．
そこで本研究では，動画から自動推定されたモーWISS 2019

ションデータを効率的にエラー検知・訂正するための枠組みを提案する．また，その枠組みの一部を実装した proof-of-concept のウェブシステムを紹介する．将来的に，本手法と深層学習技術を組み合わせることで，SNS や動画共有サイトに存在するバリエーション豊かなモーションの利活用が可能になると期待できる．
このようなエラーを含むモーションデータの訂正を効率化するにあたって，我々は 1 つのダンス動画
内において類似した部分ダンスモーション（振り付け）が複数回登場しうることに着目した．例えば類似した部分ダンスモーションが動画中に 4 つある場
合，仮にその 1 つが推定エラーを含んでいたとしても，他の 3 つの推定結果を参照して効率的に訂正することが可能だと期待される．本研究のキーアイデ
アは，エラーを含むモーションを解析してそのような類似部分を探索するのではなく，元のダンス動画
自体を解析して探索することである．具体的には，動画のフレーム間の類似度が，本来推定されるべきポーズ間の類似度と強い相関を持つと考えられるため，動画フレームに基づく類似度行列を計算し，それを用いて類似ポーズの探索を行うことで，モーシ
ョンの訂正を支援する手法を考案した．ポーズ推定とは異なるアプローチで類似度の計算を行うことは，
ある意味で推定の多重化を行っていると考えることができる．多重の推定結果の相関に着目することで，ポーズ推定の不安定性を由来とするエラーをうまく検知・訂正するというのが，本研究の目標である．
本稿の貢献は以下の通りである．
 ダンス動画から自動抽出されたエラーを含む
モーションデータに対し，手作業で訂正することを支援するという新しい問題に着目し議論すること
 動画のフレーム間類似度に基づいてモーショ
ンのエラー検出及び訂正を支援する枠組みの提案 モーション訂正インタラクションの提案とその proof-of-concept 実装の提示

2

関連研究

ダンスの動画やモーションを活用した研究として，岡田ら [7] のダンスモーションのセグメンテーシ
ョンに関する研究，Senecal ら [8] の動きとダンサーの感情の関係性を機械学習した上での感情の自動認識に関する研究，古市ら [9] のダンスモーションから個性を抽出する研究などがある．これらの研究にはダンス動画やモーションが大量に必要であり，不足していることが課題になっている．そのため，
本提案を活用することが課題の解決につながる．

-8-

モーションキャプチャ使用時に生じる特有のエラーを訂正する研究は多く存在する．Aristidou ら[10] は，モーションのフレーム間類似度を分析することによってエラー検出と訂正を行っている．
また，
Holden [11] は，モーションデータに人工的なノイズを乗算し機械学習を行うことによってモーションのエラーを除去する手法を提案している．
本研究は，モーションキャプチャによるエラー訂正とは性質が異なる自動推定によるエラー訂正を対象としているだけでなく，ダンス動画というモーションデータに付随するデータを活用してエラー訂正を行う点で，これらの研究とアプローチが異なる．
モーションの編集を行うインタラクションについても研究がある．SketchiMo [12] はモーションの軌跡を表示したり逆運動学を用いてポーズの推薦を行ったりすることで効率的な編集を実現している．これに対し，本研究ではダンス動画中のモーションを再現することが目標であり，自由な創作を支援することを目標とした研究とは問題の性質が異なる．
以上のように，モーションのエラー訂正と編集イ
ンタラクションに関する研究は多くなされている．
これに対して本研究では，ダンス動画から自動推定されたモーションデータを訂正する問題に即したエ
ラー検出手法とモーション編集のインタラクションのあり方を提案する．
また，本研究のように類似度行列を活用した研究は多く存在する．例えば，音楽情報処理における楽曲構造推定 [13] や，繰り返し構造を含む動画コン
テンツの操作 [14] などにも使われる．本研究では，
モーションの訂正タスクに対して動画フレームの類
似度行列を活用するという，ドメインの異なるものへの活用という点で工夫がある．

3

モーションを訂正する際の問題点

3.1 目視によるエラー箇所の発見
動画から自動推定したモーションデータには，当面の技術的な限界により間違った推定結果が含まれてしまうことが避けがたい．間違った推定がされている箇所は，動画とモーションデータを見比べながら確認し，発見する必要がある．このエラー箇所の発見の労力を軽減することが望ましい．
3.2 手作業でのモーション訂正
前節のエラー箇所の発見に加え，モーションの訂
正は手作業で行う必要がある．動画から立体的な奥行きや傾きを推察しながら，手足の交差や関節の曲がり方などを細かい時間単位で訂正する必要がある．
サビなどでは同じ振りであることも多く，訂正を終えた他の時刻からモーションをコピーすることもあ画像の類似度を用いたダンス動画モーション訂正手法には曲中の異なる箇所で同じ動きが繰り返されることが頻繁にあるため，このような動画を元にした探索を行うことにより，モーションのエラー訂正に有用な情報を得ることができる．これにより，3.2 節で述べたモーション訂正の負担を軽減するためのイン
タラクションを考案することが可能になる．
本稿では特に後者の側面，すなわちダンス動画に基づく類似度行列を活用することでモーション訂正時に有用な情報を取得し，モーション訂正作業を支援することについて議論する．なお本稿では，カメラの位置が固定されており，かつ 1 人で踊っている
ダンス動画を対象とする．

5

動画のフレーム間類似度

5.1 類似度関数
動画内の任意の 2 つの動画フレーム間の類似度を測る関数sim(∙,∙)を図 1．提案する枠組みの概略図．類似度行列を活用することで訂正すべきエラーの発見及び訂正の支援を行う．な

sim 𝐼 , 𝐼お，本稿ではダンス動画から求めた類似度行列（右上）を=用いてモーションの訂正を行う部分について議論する．

1∑∑

𝐼 (𝑥, 𝑦) − 𝐼 (𝑥, 𝑦)(1)+1と定義する．ただし，𝐼 は𝑖番目の動画フレーム，𝐼 は
𝑗番目の動画フレーム，𝑤, ℎ ∈ ℕはそれぞれ横方向と縦方向のピクセル数を表し，𝐼(𝑥, 𝑦) ∈ ℝ はその動画フレームの座標(𝑥, 𝑦)におけるピクセルの RGB 値を表すとする．この関数の値が大きいほど対象とする
2 つの動画フレームが類似していることを表す．

るが，そのような操作を促すシステムはなく，動画を確認しながら判断するしかないため，負担を伴う．

4 動画のフレーム間類似度を活用したモーシ
ョン訂正支援の枠組み
3.1 節で述べたエラー箇所の発見の労力を軽減するためには，「ダンス動画上では同じポーズをとっているにも関わらず，モーションデータ上では異なる
ポーズをとっているようなフレーム」を検出することが有効だと思われる．そこで我々は，モーション
データだけでなく，ダンス動画も併せて分析し比較することで，モーション訂正が必要であるエラー箇所の発見を促すという新しい枠組み（図 1）を提案する．より具体的には，ユーザが訂正したいモーションデータとそのダンス動画を指定すると，ダンス
動画中のフレーム画像を解析して類似度行列を計算し（図 1 右上）
，またエラーを含むモーションに基づ
く類似度行列を計算し（図 1 右下），両者の情報を合わせることで，モーションデータ中のエラーを発見するという枠組みである．
更に，ダンス動画に基づく類似度行列を計算するという本枠組みには，もう一つ有用な側面がある．
それは，モーションデータ中のある時刻のポーズを訂正する際に，そのダンス動画の類似度行列に基づき，本来そのフレームで推定されるべきだったポーズと類似するポーズを含んでいる可能性が高いフレームの探索が可能なことである．ダンスの振り付け

5.2 類似度行列
類似度関数sim(∙,∙)を用いて，対象とする動画の自己類似度行列（self-similarity matrix; 本稿の他の箇所では単に類似度行列と呼ぶ）𝐒 ∈ ℝ × を計算する．ここで，𝑛 ∈ ℕは対象の動画のフレーム数を表す．
具体的には，行列の𝑖列𝑗行要素を𝑆 = sim 𝐼 , 𝐼(2)とする．図 2 は公開されているダンス動画 [15] から計算した類似度行列の可視化結果である．左上から右下の対角成分が濃い青色となっているのは，同じフレーム同士を比較しており，類似度が最大値（具
体的には 1）をとるためである．また，長さが様々な青色の斜線があるが，これはモーション中の対応
する区間同士が互いに類似している（すなわち，似た振り付けが繰り返されている）ことを意味している．このような互いに類似したモーションを検出しておくことで，モーション中のあるフレームに訂正が必要な場合に，類似しているもう一方のフレームのポーズを参考にして訂正を行うことができる．

-9-

WISS 2019

図 4．システムスクリーンショット．

観覧車が背景にある動画で類似度行列を計算した場
合，観覧車のライトの点滅パターンが類似度行列に反映されてしまい，類似の振り付けを行っている部
分間でも類似度が低くなってしまった．他にも，別の人物が映り込んでいる動画や，カメラが固定されていない動画，曲の途中で別の場所で撮影したカットに切り替わるような動画では，現在の計算手法では効果的に類似したポーズを検出することが難しい．

図 2．動画フレームに基づく類似度行列の可視化．縦軸と横軸は動画のフレーム番号に対応している．

6

モーション訂正のためのインタラクション

実際にモーション訂正を行うためのインタラクシ
ョンと，それを実証するためのプロトタイプシステ
ムについて述べる．実装には，JavaScript でウェブシステムを作成し，公開されているダンス動画 [15]とトレースされたモーションデータを使用させて頂いた．

図 3．左に示す動画に対し，類似度の上位 3 件を右側に表示した結果．フレーム番号 5302 はそのフレーム自身のため最も類似しており，フレーム番号 7826 と 8418 の順で類似していることを示している．

5.3 動画フレームの類似度を活用することの妥当性

6.1 類似度行列の事前計算

前節の方法で計算した動画フレームに基づく類似
度行列によって，実際に類似したポーズを含むフレームが検出可能かを確かめるため，ダンス動画中のあるフレームに対して，そのフレームとの類似度が高いフレームを表示するシステムの実装を行った．
図 2 と同じダンス動画に対して適用した結果例を図3 に示す．ただし，フレームが近い画像同士でも類似度が高くなってしまうため，前後 60 フレームを除外した．最も類似度が高いフレームは必ず左側に表示されているフレーム自身（ここではフレーム番
号 5302）となる．2 番目及び 3 番目に類似度が高い
フレームは，この例ではフレーム番号 7826 と 8418
であり，実際にこれらのフレームも似たポーズを含んでいることが観察できる．このように，動画のフレーム画像間の類似度は，当該フレームに含まれる
ポーズ間の類似度と相関があることが示唆された．

実行時の処理を高速化するため，類似度行列を事前計算した．その際，高画質なダンス動画に対して類似度行列を計算すると，処理に多くの時間がかかってしまうため，Liu ら[16]の手法を用いて人が動いている範囲のみを切り出すことで画像サイズを小
さくし，さらに縮小して使用した．計算した類似度行列から，フレームごとにそのフレームの画像と前後 60 フレームを除く類似度の高い画像を持つフレームを探索し，それをファイル保存して使用した．
6.2 インタラクション機能
システムの画面は大きく分けて 3 つで構成されている（図 4）．左上にダンス動画，上部にモーション
データの描画，下部にキーフレームアニメーションのタイムラインがある．モーションデータの描画画
面では，作業中のモーションの動きをプレビューすることができる．タイムラインでは，アニメーショ
ン制作ソフトウェアと同様に，モーションデータのボーン毎のキーフレームアニメーションが表示されており，関節位置や角度などの基本的な編集をすることができる．また，タイムラインの再生ボタンを

5.4 動画フレームに基づく類似度計算のリミテーシ
ョン
5.1 節の類似度行列計算は，動画の背景に大きな影響を受ける．実際に，夜間にライトアップされた- 10 -

画像の類似度を用いたダンス動画モーション訂正手法

図 7．赤色ボーンが擬似的に作成した訂正が必要なモーショ
ン．青色ボーンが類似度行列から推薦された訂正の候補．
図 5．類似度行列に基づいたポーズ候補の推薦．

のように適切な推薦がなされ，モーションの訂正を行うことができた．しかし，細かい手や首の動作を正確に推薦することはできなかった．また，訂正ができなかった例として，訂正が必要なサビ区間内の同様なモーションも推薦された事により，適切な候補を選ぶことができないこともあった．推薦精度の向上は今後の課題である．
6.4 今後検討していくインタラクション機能

図 6．1 つのポーズ候補の選択．

押すか，シークバーを移動することで，ダンス動画とモーションデータを同期させて再生できる．
本システムに固有のインタラクション機能として，類似度行列に基づく訂正内容の推薦機能を実装した．
タイムライン上部にある星マークをクリックすると，現在の再生時間に対して，類似度行列に基づき選出
した，モーションデータ内の他のフレームにおけるポーズ 3 つが薄くオーバーレイされる（図 5）．さらに，ラジオボタンを選択することによって，推薦内容を適用したポーズを 1 つずつプレビューすることができる（図 6）．また，コピーマークを押すことによって，推薦されたポーズを適用することができる．
この機能により，3.2 節の手作業でのモーション訂
正の効率化が期待できる．

本研究では類似度に着目したエラー検出・訂正の枠組み（図 1）を提案したが，現時点ではその全体の実装・検証には至っていない．未実装の側面として，モーションデータに関する類似度行列の計算と，それを活用したインタラクション機能の検討が挙げられる．Kovar ら [18] の手法などを利用すること
でモーションに関する類似度行列は計算できるため，
これと動画フレームに基づく類似度行列との差異を分析することで，エラー訂正が必要なフレームを抽出してタイムライン上に可視化したりするインタラ
クションを実現できると期待できる．どのような可視化が効果的かは今後の調査が必要である．また，
動画フレームに基づく類似度だけでなく，モーションに基づく類似度を用いて，身体の一部分のみを推薦や訂正に用いること，候補として挙がったポーズ
同士を補間して訂正に用いることなど，様々なイン
タラクションの可能性がある．

6.3 プロトタイプシステムの有効性の検証

7

深層学習に基づくポーズ推定器の出力を用いて検討を行う前段階として，ここでは既存のモーションに人工的なノイズを加えることで深層学習の不安定性に由来するエラーを擬似的にシミュレートし，有効性の検討を行う．具体的には，サビ区間において類似した振り付けが複数回現れるダンス動画について，その一つのサビ区間を Songle [17] より求め，その区間のモーションの関節角度にランダムなノイズを与えたモーションを作成し，プロトタイプシス
テムで訂正することが可能かどうかの確認を行った．
実際にモーションの訂正を行ってみたところ，図 7

ダンス動画を画像処理することによって，モーションデータ中の互いに類似している箇所を探索し，それに基づいてダンス動画に対応するモーションデ
ータの訂正を支援する枠組みを提案し，その一部をウェブシステムとして実装した．
現在の動画フレーム間の類似度関数の定義は単純なものを採用しているため，入力に用いることができる動画はカメラが固定され 1 人でダンスしているものに限定されている．ニコニコ動画などで共有される「踊ってみた」動画にはこうした条件を満たすものが多いものの，より多様なダンス動画に適用で- 11 -

まとめと今後の課題

WISS 2019

きるようにすることは重要な将来課題である．深層学習技術により動画内の身体位置に応じて類似度計
算の際に重み付けをすることや，色空間上の類似度だけでなくオプティカルフローに基づく類似度等を採用するなどの方法が考えられる．
ダンスの振り付けと楽曲構造は関連度が高いと考えられるため，ダンス動画に含まれる楽曲情報を活用したモーション訂正支援には大きな将来性がある．
例えば，現在は 1 キーフレーム単位での推薦や適用を行っているが，ダンス動画に用いられている曲の楽曲構造を Songle [17] から取得し，小節単位同士や楽曲のサビ同士のモーションの類似度を活用したモーションの訂正を行えるようにすることが考えられる．また，Cheng ら [13] の類似度行列から楽曲構造を分析する手法をモーションデータに応用して，ダンスの振り付けの構造分析を行い，その結果に基づいてより効果的にモーションを訂正できる手法も検討していきたい．
本提案手法を深層学習に基づく動画からのモーシ
ョン抽出モジュールと連携させ，ダンス動画の SNS
や動画共有サイトの URL を入力するだけで，モーションデータの抽出と訂正がブラウザ上で手軽に行えるシステムの構築が可能である．このようなシス
テムによって，多くの人による手軽なモーション訂
正に支えられた，世の中のあらゆるダンス動画に対応するモーションデータベースが整備されるようになり，それを活用することでダンスの内容に踏み込んだ様々なアプリへの応用が可能になると期待される．

VR ’18, pp.57–64, 2018.
[5] A.

Aristidou,

Chrysanthou.

P.

Charalambous

EmotionandY.

Analysis

andClassification: Understanding the Performers'
Emotions Using the LMA Entities. Comput. Graph.

Forum, 34(6):262–276, 2015.
[6] Z. Cao et al. Realtime Multi-Person 2D Pose
Estimation using Part Affinity Fields. In Proc.

CVPR ’17, pp.1302–1310, 2017.
[7] 岡田成美, 福里司, 岩本尚也, 森島繁生. 振り付けの構成要素を考慮したダンスモーションのセグメンテーション手法の提案. 情報処理学会 研究報告グラフ
ィクスと CAD, Vol.2014-CG-156, Issue.9, pp.1–6,
2014.
[8] S. Senecal et al. Continuous body emotion
recognition system during theater performances.

Comput. Animat. Virtual Worlds, 27(3–4):311–320,
2016.
[9] 古市冴佳，阿部和樹，中村聡史．ヒップホップダンス
における骨格情報を用いた個性抽出の検討. 情報処
理学会 研究報告エンタテインメントコンピューテ
ィング，Vol.2018-EC-50，Issue.23，pp.1–9，2018[10] A. Aristidou, D. Cohen-Or, J. K. Hodgins, Y.
Chrysanthou and A. Shamir. Deep motifs andmotion signatures. ACM Trans. Graph., 37(6):1–13,
2018.
[11] D. Holden. Robust solving of optical motion capture
data

by

denoising.

ACM

Trans.

Graph.,

37(4):165:1–165:12, 2018.
[12] B. Choi et al. SketchiMo: Sketch-based Motion
Editing for Articulated Characters. ACM Trans.

謝辞Graph., 35(4):1–12, 2016.

本研究の一部は JST ACCEL（JPMJAC1602）の支援を受けた．本稿では，ニコニコ動画上のダンス
動画 [15] を，オリジナル振り付けで踊って投稿した「足太ぺんた」様の承諾を得て使用した．

[13] T. Cheng, J. B. L. Smith and M. Goto. Music
Structure Boundary Detection and Labelling by a
Deconvolution of Path-Enhanced Self-Similarity
Matrix. In Proc. ICASSP ’18, pp.106–110, 2018.
[14] A.

Schodletal. Video

textures.

In

Proc.

SIGGRAPH ’00, pp.489–498, 2000.

参考文献[15] 【足太ぺんた】恋愛デコレート 踊ってみた【オリジ[1] niconico( ニ コ ニ コ ). https://www.nicovideo.jp/.

ナル振付】 - ニコニコ動画.

[2] 人気の「踊ってみた」動画 171,323 本 - ニコニコ動https://www.nicovideo.jp/watch/sm29383900.
（2019/07/31 確認）

画. https://www.nicovideo.jp/tag/踊ってみた.

[16] W. Liu et al. SSD: Single Shot MultiBox Detector.

（2019/07/31 確認）[3] S. Tsuchida, S. Fukayama and M. Goto. Query-by-

In Proc. ECCV ’16, pp.21–37, 2016.
[17] 後藤真孝, 吉井和佳, 藤原弘将, Matthias Mauch,

Dancing: A Dance Music Retrieval System Based中野倫靖. Songle: 音楽音響信号理解技術とユーザに

on Body-Motion Similarity. In Proc. MMM ’19,

よる誤り訂正に基づく能動的音楽鑑賞サービス. 情（2019/07/31 確認）

報処理学会論文誌, Vol.54, No.4, pp.1363-1372, 2013.

pp.251–263, 2018.
[4] C. Mousas. Performance-Driven Dance Motion[18] L. Kovar, M. Gleicher and F. Pighin. Motion Graphs.

Control of a Virtual Partner Character. In Proc.

ACM Trans. Graph., 21(3):473–482, 2002.

- 12 -WISS 2019

Parrot: リアルタイム音声合成を用いたビブラートデザイン支援
インタフェースの開発
小野 雄大 ∗

森勢 将雅 †‡

概要.
歌声の合成・加工技術は VOCALOID の発売から急速に発展し，現在では多くのユーザが楽曲制作に利用している．これらのソフトウェアを用いて自然に歌わせるためには，歌唱パラメータを調整する煩雑な作業（これを歌唱デザインと呼称する）が発生する．統計的手法に基づくアプローチは，人間とほぼ等価な品質の歌声を自動生成することで歌唱デザインを不要としたが，人間の歌声であれば必ずしも加工が不要であるわけではない．ユーザの好みに応じて意図的に逸脱させた表現を作り込む歌唱デザインには，一定の需要がある．本研究では，歌唱デザインの省力化を目標とし，リアルタイム音声合成技術を用いて，ビブラートのデザインと結果の確認を同時に行うインタフェース Parrot を提案する．このインタフェース
について，作業時間やユーザビリティに関する評価を実施した．実験の結果，提案した Parrot は，既存のものより作業時間を有意に短縮し，ユーザビリティに関する評価値は有意に向上することが示された．

1

はじめに

ニコニコ動画や YouTube において，コンピュータを用いた楽曲コンテンツが日々投稿されユーザに楽しまれている．特に 2000 年代に入ってからは，
VOCALOID [1] や UTAU [2] といった歌声合成ソフトも開発され，合成歌唱は楽曲コンテンツにおける 1 つの地位を確立しているといえる．歌声合成ソフトウェアは，縦軸にピアノを記載し，横軸を時間とするピアノロールと呼ばれるエディタにより歌詞と譜面に相当する情報を与えることで歌声を合成できる．ただし，歌詞と譜面だけで合成された歌声は人間の歌声とは異なる機械的な印象を与えるため，歌声を構成するパラメータをユーザが調整すること
で品質を高める操作が必要不可欠である．本稿では，
このパラメータ群を操作する一連の作業を歌唱デザインと定義する．
歌唱デザインは楽曲制作において重要な役割を担う一方，デザインに関する技能の習得が困難であり，また，その作業もストレスが大きいことが現状の課題といえる．この課題の解決に向けて，歌唱デザインの省力化を目指した研究 [3, 4] や，人間による歌唱デザインが不要なほど高い品質の歌声を合成する
技術 [5, 6] など，様々なコンセプトの研究がなされている．本研究では，歌唱デザインは煩雑であるが，その行為により生成される歌声にユーザの「個性」が現れる点に着目する．楽曲コンテンツでは，同じ楽曲に歌声を加える場合でも，歌唱デザインする人
により表情付けが異なり，それぞれに独特の魅力がCopyright is held by the author(s).
山梨大学
†
明治大学
‡
JST さきがけ∗- 13 -

付与される．本研究の狙いは，作業時間と作業にかかるストレスを緩和する歌唱デザイン技術を開発することで，ユーザが歌唱デザインにより個性を作り込む作業をサポートすることである．
本稿は，主要な歌唱表現の 1 つであるビブラートに着目し，容易に付与するための技術とインタフェー
ス開発について述べる．はじめに，関連研究と本研究との位置づけについて述べ，本研究で提案する技術のコンセプトを説明する．実装したインタフェース
について既存のインタフェースと比較し，作業時間の短縮やユーザビリティの改善ができることを示す．

2

歌唱デザインに関する関連研究と本研究の位置付け

ここでは，まず本研究でビブラートを扱う背景について説明し，歌唱デザインに関する関連研究について述べる．その後，関連研究に対する本研究の位置付けを説明する．

2.1

本研究で取り扱う歌唱パラメータ

歌声には高さの個性だけでも多様にあることが報告されている．例えば，ビブラート以外にポルタメ
ント，オーバーシュート，プレパレーションに関する検討がなされている [7]．ポルタメントとは，ある声の高さから別の声の高さへの遷移を滑らかにする
歌唱表現である．オーバーシュートは，ある声の高さから別の声の高さに遷移したときに，目的の高さを通り越し瞬時的に高く，あるいは低くなる現象である．プレパレーションは，ある声の高さから別の声の高さに遷移する前に，瞬時的に目的の高さと逆に声の高さが変化する現象である．これらの特徴を付与することで，歌声の品質が向上することが示さ

WISS 2019

れている [7]．
ビブラートは知覚する音高を維持したまま声の高さを小刻みに振動させる歌唱表現である．この振動は準周期的であるため，振幅と周波数が時間変動する正弦波により表現される [8, 9]．そのため，ビブ
ラートは表現の幅が広く，歌手による個人差が確認されている [10]．次節で説明するように，歌声を扱う多くのソフトウェアにはビブラートを制御するための機能が搭載されていることからも，ビブラート
デザインは需要が高い機能といえる．ビブラートデ
ザインをサポートする機能の実現は，歌唱デザインの省力化に寄与すると考えられる．

2.2

歌声合成ソフトウェアによるビブラート
デザイン

波形から歌声を生成する歌声合成ソフトウェアにも，ビブラートを制御するインタフェースが搭載されている．以下では代表的な事例について述べる．
VOCALOID 4 はビブラートの振幅（vibrato extent）と周波数（vibrato rate）それぞれについて
時系列で編集するインタフェースが実装されている．
また，音符の途中からビブラートをかける機能に対応するため，全体に対するビブラート区間の比率（vibrato duration）もパラメータとなる．時系列
として編集できるため，振幅と周波数を時間変動させることも可能である．VOCALOID 4 によるビブラートデザインの利点は，ユーザが詳細なビブラー
トデザインを行える点である．一方，詳細にデザインできる利点は，作業の煩雑化に繋がることが課題となる．
VOCALOID V によるビブラートデザインでは，
VOCALOID 4 とは異なり，時系列の詳細なデザインからプリセットを用いる形に変更されている．
ユーザは，多数あるプリセットから所望するビブラー
トに近いものを選び，その後，ビブラートの区間と振幅，周波数の調整を行う．ビブラートの振幅と周波数は，横軸と縦軸に振幅と周波数を割り当てた 2
軸のインタフェースにより同時指定が可能である．
VOCALOID V の利点は，プリセットの選択によりビブラートの大まかな形を指定してからデザインするため，デザインにかかる時間が短くなる点にある．一方，プリセットは有限であり人間のビブラー
トに基づいて設定されているため，プリセットにない詳細な表現を作り込むことに対する課題が残る．
VOCALOID 4 と共通する問題として，エディタによるデザインから結果の確認までタイムラグが存在することが考えられる．

2.3

歌唱デザインの省力化・自動化

VocaListener [3] は，人間の歌から VOCALOIDのパラメータを得ることで人間の歌い方を模倣するシステムである．扱うパラメータは声の高さと声の- 14 -

大きさであり，推定後手作業で調整することも可能である．ユーザが目標とする歌声を用意することで，エディタによる微調整無く所望する歌声を得ることができる点が，VocaListener の利点といえる．しかしながら，これは，目標とする歌い方が可能な歌手を用意する必要があることを意味する．
統計的歌声合成は，歌詞と譜面の情報のみから
自然な人間らしい歌声を自動的に合成する技術である．これにより，ユーザは歌唱パラメータのデザイ
ンをすることなく自然な人間らしい歌声を得ることができる．HMM（hidden Markov model）を用いた歌声合成技術 [11] を用いたものが中心であったが，DNN (Deep neural network) の利用による品質が大きく向上した．さらに，2016 年に提案された WaveNet [12] を歌声合成に応用した技術 [13] では，人間とほぼ等価な品質が達成されている．これ
らの統計的歌声合成技術では，ビブラートのかかった歌声も得ることができる [14]．統計的歌声合成の利点は，ユーザが歌詞と譜面といった最小限の情報から人間らしい歌声を得ることができるため，歌唱
デザインを行う必要がない点である．

2.4 ボーカル補正ソフトウェア
Auto-Tune [15] や Melodyne [16], Waves Tune[17] などは，ボーカル補正の機能を持つソフトウェ
アとして販売されており，ビブラートを制御・付与する機能も実装されている．
Auto-Tune ではビブラートをかけたい音符を選択し，振幅や周波数などに関する 7 つのパラメータの調節でビブラートデザインを行う．また，AutoTune の Live パッケージ以上には，GSnap [18] にも実装されているリアルタイムビブラート調整機能が搭載されており，歌声を聴きながらパラメータを調整することができる．歌声の再生中にパラメータを操作することで，デザイン結果の確認が即時にできることが，Auto-Tune の利点である．しかし，操作インタフェースが各パラメータに対し 1 つずつな
ため，複数のパラメータの同時制御は困難である．
Melodyne には，音の高さの揺らぎを制御する機能があり，ビブラートのデザインに適用することが可能である．ビブラートの制御をしたい音符を選択し，音の高さの揺らぎをマウスの上下操作で増減することで，ビブラートの振幅の増減を行う．Melodyneの利点は，ビブラートの振幅をマウス操作のみで調整することができ操作が容易なことである．しかし，
Melodyne はビブラートデザインに特化したソフト
ウェアでないため，ビブラートデザインの専用エディ
タは搭載されていない．
Waves Tune は，Natural と Synth の 2 つの種類のビブラートをノート単位で付与することができる．Natural では，ビブラートの量とかける割合の
2 つのパラメータで自然なビブラートをかけること

Parrot: リアルタイム音声合成を用いたビブラートデザイン支援インタフェースの開発ができる．Synth では，4 つのパラメータでより詳
細なビブラートデザインを行う．4 つのパラメータは，振幅，周波数，音符の始めからビブラートの開始までの時間，ビブラートの開始から設定したパラメータに至るまでの時間である．Natural と Synthの 2 つの方法により，簡単なデザインから詳細なデザインにも対応しているのが Waves Tune の利点である．しかし，VOCALOID と同様に，結果を即座に確認することができない．

2.5

本研究の位置づけ

歌声合成ソフトウェアやボーカル補正ソフトウェ
アでの歌唱デザインは，大雑把に作り込める場合は繊細な作り込みが困難であり，繊細に作り込もうとすると作業の手間がかかる．デザイン結果の即時確
認機能はあるものの，複数のパラメータを同時に制御することが課題となる．デザイン結果を確認する
までのタイムラグやパラメータ設定の煩雑さが歌唱
デザインの難しさだと考えられる．
本研究では，エディタによる編集結果が即時出力されることと複数のビブラートパラメータを同時に制御する手法を提案することで，ビブラートデザイ
ンの省力化を図る．

3

図 1. ビブラートデザイン支援インタフェース Parrot

現するための拡張が行われている [21]．この拡張した WORLD を用いることにより，歌声の高さを再生中にリアルタイムで制御することが可能となる．

3.2

ビブラートデザイン支援インタフェースの提案

本章では，まず，提案手法のコンセプトと求められる機能について述べる．その後，提案手法の実現に使用した技術と開発したインタフェース Parrot
について述べる．

3.1

デザイン支援に求められる機能

本研究の目的はビブラートを容易に作り込める機能の実現であり，利用者はビブラートのデザインに精通していない初心者から中級者を想定している．
既存のソフトウェアが有するビブラートのパラメー
タのうち，振幅と周波数の時系列をリアルタイムで制御する機能を実現する．編集結果を逐次確認しな
がらデザインすることが，歌唱デザインの省力化に寄与するという仮説を検証するためのインタフェー
スを実装する．このような機能の実現には，ビブラー
トのパラメータを制御しながら歌声を合成する技術が必要となる．
本研究では，品質の高いビブラートの実時間制御という機能を満足する音声合成技術として，音声分析
合成システム WORLD [19] を利用する．WORLD
は，音声を基本周波数（F0），スペクトル包絡，非周期性指標に分解し，それぞれを制御してから再合成することで声質の変換を実現する Vocoder 型 [20]の音声分析合成システムである．ビブラートデザイ
ンは，基本周波数の軌跡を制御することで実現可能となる．また，WORLD は，実時間音声合成を実- 15 -

ビブラートデザイン支援インタフェース
Parrot の提案

図 1 に示す Parrot では，右下にある 2 次元のエ
ディタを用いてビブラートのリアルタイム加工を実現する．このエディタの縦軸と横軸はそれぞれビブ
ラートの振幅と周波数に対応する．楽曲の再生中に任意の場所をマウスやタッチペンでクリックすると，その座標から得られる振幅，周波数のビブラートの付与された歌声が得られる．この機能により，必要とされるデザイン結果を確認しながら編集するという条件を満足させ，ビブラートの振幅と周波数，複数のパラメータの同時制御が実現される．
Parrot を開発した OS は，Windows 10 Pro で，
統合開発環境は Visual Studio 2017，開発言語はC++とした．Parrot の GUI やオーディオ出力，ファイルの読み書きなどを実装するにあたり，ROLI 社
が提供するフレームワーク JUCE を使用した．

3.3

Parrot の機能本研究で目指している最終的な歌唱デザインイン
タフェースでは，VOCALOID のように歌詞と譜面から編集元となる歌声を生成する機能を実装する予定である．試作した Parrot では，ビブラートデザ
インに特化して評価するため，他のソフトウェアで生成された歌声と譜面データを読み込み，デザインの対象とする．音声を読み込むと，WORLD により F0 を推定し，推定結果をピアノロール上に表示する．図 1 の右下に示されたビブラート編集エディ
タ上の edit ボタンを押下すると歌声が再生される．
ユーザは，歌声の再生中にエディタを操作し，ビブ
ラートデザインを行う．デザインと同時に F0 軌跡のレンダリング，ビブラートのかかった歌声の合成と再生を同時に行うことができるため，歌声の変化が即座に確認できる．
リアルタイム合成が可能な WORLD では，F0 情

WISS 2019

報を逐次与えることで再生される歌声の F0 を制御できる．ビブラートの付与にあたり，エディタからビブラートの振幅 A と周波数 fi を取得する．次に，変換対象のフレーム n のビブラートを式 (1) を用いて計算し，F 0n に重畳する．
(∆F 0n = A × F 0n × sin 2πT

n
∑

)

fi

1
2
3
4
5
6

(1)

i=1

7

ここで，T はフレーム間隔を示す．本インタフェー
スの評価では WORLD のデフォルトパラメータである 5 ms に設定している．最後に，変換した F0 と元のスペクトル包絡および非周期性指標を用いて音声を合成する．これにより，ビブラートが付与された歌声が合成される．
2 次元インタフェースでは実時間の制御しか実現できないが，編集内容から振幅，周波数の時系列を得ることができる．編集結果を対象として既存のエディタと同様に詳細な作り込みを行うことも可能で
ある．

4

8
9
10

表 2. 手本となるビブラートの条件
パラメータ
種類
Vibrato duration
3 種類（50，75，100 %）Vibrato extent
2 種類（30，100 cent）
Vibrato rate
2 種類（5，8 Hz）

Parrot の評価実験

比較項目は，国際規格 ISO 9241-11 [22] から，有効さ，効率，満足度とした．有効さを手本音声とデザインした音声との類似度により，効率をデザインに要した時間と回数により，満足度を質問紙による主観評価で検証することとした．質問紙の内容は，
SUS (System Usability Scale) [23] の日本語訳 [24]を用いた．質問紙の内容を表 1 に示す．

本章では，提案手法の有効性を検証するために行った評価実験の実験内容について説明する．提案手法の目標である作業時間の短縮とユーザビリティを評価するため，ビブラートデザイン作業とアンケート
評価を併せて評価する．

4.1

比較する従来手法

実験では，従来手法として VOCALOID 4 Editorのビブラートデザインインタフェースを使用する．
最新の VOCALOID V Editor を従来手法として使用せず VOCALOID 4 Editor を使用する理由は，
VOCALOID V Editor のプリセットにないようなビブラートも含んだデザインを実施するためである．ただし，作業時間や回数を正確に記録するため，ビブラートの振幅と周波数を時系列で表現する
VOCALOID 4 Editor の機能に加え，それらの情報を逐次記録できるようなインタフェースを実装することとした．

4.2

表 1. 質問項目
このシステムを今後も繰り返し使いたい
このシステムは必要以上に複雑だった
このシステムは簡単に使えた
このシステムを使えるようになるには，技術に詳しい人のサポートが必要だ
このシステムは機能がよくまとまっていた
このシステムは一貫性に欠けるところが多かった
たいていの人は，このシステムをすぐに使えるようになるだろう
このシステムはとても使いづらかった
このシステムを使っていて不安を感じることはなかった
このシステムを使い始める前に，多くのことを学ぶ必要があった

実験方法

被験者が自由にビブラートをデザインする場合，被験者のスキルや思い描くビブラートの差などが結果に影響することが予想される．ここでは，手本となるビブラートの音源を聴取させ，聴いたビブラー
トを基に手本を再現する実験を行わせることとした．評価用インタフェースには手本を再生する機能を与え，被験者は自由なタイミングで手本となるビブラートを聴取することが可能である．被験者が再現できたと判断するまでビブラートデザインを実施
し，本人の申告により終了することとした．

- 16 -

4.3

手本音声の条件

手本となるビブラート歌唱には，VOCALOID 4で作成した音声を対象に，表 2 に示す条件を組み合わせた 12 種類の条件を用いた．それらに，右田らの作成した歌声データベース [10] の中から 4 人の発話者のビブラート歌唱も手本に加えた計 16 種類を最終的な手本とした．ただし，ビブラート歌唱をそのまま手本とするのではなく，歌声の F0 を推定し，推定結果を非ビブラート歌唱に転写した音声を手本として使用する．この理由は，ビブラート歌唱と非ビブラート歌唱は声の大きさなどの F0 以外の成分も異なり，提案手法と従来手法でビブラート歌唱を再現することが困難になるためである．

4.4

実験手順

実験は，初めに練習セッションとして，提案手法と従来手法それぞれのインタフェースで 1 つのビブ
ラートをデザインする．その後，順序効果を考慮し，手本となるビブラートだけではなく，従来手法・提案手法のインタフェースを使う順序まで全てランダ
マイズした本実験を実施した．楽曲制作経験による差を考慮するため，ここでは楽曲経験のない被験者

Parrot: リアルタイム音声合成を用いたビブラートデザイン支援インタフェースの開発*** : p < 0.001

表 3. 評価実験の実験条件

評価内容
手本音声数
評価者数
評価環境
再生機材

1 音声ごとの作業時間と回数
16 音声
楽曲制作経験の無い学生 15 名
一般的な教室 (A–weighted SPL: 35
dB)
Roland QUAD–CAPTURESENNHEISER HD 650

Conventional***

Parrot

0

2

4

6

8

Number of operations

図 3. 作業回数に関する評価結果* : p < 0.05*** : p < 0.001
Conventional

Conventional

*

*
*
*

Parrot

0

20

40

60

80

100

Parrot

0

120

20

40

60

80

100

SUS Score

Working time [s]図 2. 作業時間に関する評価結果

図 4. SUS 値の評価結果で統一した．実験では，作業回数，作業時間を記録
し，実験後に質問紙による評価を実施することとした．その他の実験条件を表 3 に示す．

を諦めるという可能性が存在する．そのため，事後
アンケートを実施しているが，ビブラートデザイン
そのものを諦めたという報告は無く，また，実験結果に有意差が認められないことからも，デザイン結果の正確性については同程度であるといえる．
満足度については，SUS の評価からも Parrot が相対的に優れているといえる．これは，再生中にビブラートを加工できるという機能が，多くのユーザに受け入れられたことを意味する．ただし，今回の評価は楽曲制作の作業経験が無い学生を被験者としている．この評価は歌唱デザインに対する習熟度が影響するため，習熟度別に有効性を検証することが今後の重要な検討項目である．

4.5

実験結果

作業時間，作業回数の結果を図 2，3 に示す．図中の誤差棒は，95%信頼区間を表す．提案手法が約72 秒，従来手法は約 99 秒で，提案手法の方がビブ
ラートデザインに要する時間が約 27 秒短く，この差は p <0.001 で有意であった．一方，作業回数については，提案手法が約 7 回，従来手法は約 6 回で，提案手法の方がビブラートデザインに要する回数が有意に約 1 回多かった．
次いで，質問紙による主観評価として SUS 値を計算した結果を図 4 に示す．SUS 値は 100 点満点
で，値が大きいほど評価が高い指標となる．提案手法の SUS 値は p 値が 0.05 未満であり，従来手法よりも高評価であることが認められた．
最後に，手本音声に対するビブラートの区間，振幅，周波数の誤差について，文献 [10] を参考に分析した結果を表 4 に示す．それぞれについて有意差検定を行ったが，全てにおいて p 値が 0.05 以上であり，有意差が認められなかった．

5

考察

ここでは，提案した Parrot の有効性について，有効さ，効率，満足度の観点から議論する．

5.1 有効さと満足度に関する考察
Parrot と従来手法のインタフェースにより作られたビブラートパラメータは，有意差が認められないことから，概ね同等の特徴を持つビブラートを作ることができたといえる．ビブラートデザインを終了する基準である「被験者自身が納得する」に関しては，例えば複雑なビブラートの場合作業そのもの- 17 -

5.2

効率に関する考察

従来手法と比較すると，Parrot は作業時間を短縮しているが作業回数は増加している．短時間で作業を終えるという目標を達成していることから，Parrot
はビブラートデザインの省力化を達成している．ただし，作業回数が増えていることについては，いく
つかの可能性が考えられる．
1 つ目の可能性は，SUS の評価からも明らかに作業のストレスが低減しているため，繰り返しデザ
インすることが苦とはならなかったというポジティ
ブな側面である．一方，もう 1 つの可能性として 1回の作業に対して作り込めるビブラートの正確さが劣るということが示唆される．デザイン結果のビブ
ラートのパラメータに有意な差が無いため，目的とするビブラートを正確に作り込むためには繰り返し作業する必要があった可能性がある．知覚するビブ
ラートが手本に近いか否かについては，各被験者がデザインした結果の主観評価により検討する必要がある．知覚するビブラートと被験者の満足度の対応が対応するかも本評価では明らかではないため，これは今後の検討項目とする．

WISS 2019

表 4. 手本音声とデザイン結果のビブラートとの誤差
評価結果

6

パラメータ

提案手法

従来手法

Vibrato duration [%]Vibrato extent [cent]Vibrato rate [Hz]

27.6
37.7
2.04

28.2
36.8
2.00

むすび

本稿では，ビブラートデザインを容易にするために，デザイン結果を聴取しながらデザインが可能なインタフェース Parrot を提案し，有効性を評価した．提案手法の有効性を検証するため，作業時間，作
業回数，ユーザビリティに関して評価実験を行った．
実験の結果，提案手法の方がデザインに要する時間
が少なくなり，インタフェースのユーザビリティも高いという結果を得た．
本研究の次のステップとして，既存のソフトウェ
アで生成した歌声ではなく，歌詞と譜面に基づいて自然な歌声を生成する統計的歌声合成手法を組み合わせる．初期値を人間に近い歌声とし，それをユー
ザが望む特徴を持つよう本インタフェースで加工することにより，歌唱デザインの更なる省力化が期待される．加えて，ポルタメントなどの歌声を構成する他の歌唱表現についても加工できるよう機能を追加することを目指す．

謝辞
本研究は，JST さきがけ JPMJPR18J8 の支援を
受けた．

参考文献
[1] H. Kenmochi and H. Ohshita. VOCALOID Commercial singing synthesizer based on sample
concatenation. In Proc. INTERSPEECH 2007,
pp. 4010–4011, 2007.
[2] 歌声合成ツール UTAU サポートページ. http://utau2008.web.fc2.com/.
[3] T. Nakano and M. Goto. VocaListener: A
singing–to–singing synthesis system based on iterative parameter estimation. In Proc. SMC
2009, pp. 343–348, 2009.
[4] T. Nakano and M. Goto. A singing synthesis
system able to mimic a user’s singing in termsof voice timbre changes as well as pitch and dynamics. In Proc. ICASSP 2011, pp. 211–216,
2011.
[5] K. Oura, A. Mase, T. Yamada, S. Muto,
Y. Nankaku, and K. Tokuda. Recent development of the HMM–based singing voice synthesis
system - Sinsy. In Proc. Speech Synthesis Workshop, pp. 211–216, 2010.
[6] CeVIO Oﬃcial Web. http://cevio.jp/.
[7] T. Saitou, M. Unoki, and M. Akagi. Development of an F0 control model based on F0 dy-- 18 -

namic characteristics for singing–voice synthesis. Speech Communication, 46:405–417, 2005.
[8] J. Bretos and J. Sundberg. Measurements ofvibrato parameters in long sustained crescendonotes as sung by ten sopranos. TMH-QPSR,
KTH, 43(1):37–44, 2002.
[9] E. Prame. Measurements of the vibrato rate of
ten singers. STL-QPSR, 33(4):73–86, 1992.
[10] 右田尚人, 森勢将雅, 西浦敬信. 歌唱データベースを用いたヴィブラートの個人性の制御に有効な特徴量の検討. 情報処理学会論文誌, 52(5):1910–
1922, 2011.
[11] 大浦圭一郎. 統計モデルに基づいた歌声合成技術の最先端. 電子情報通信学会誌, 98(6):405–417,
2005.
[12] A. v. d. Oord, S. Dieleman, H. Zen, K. Simonyan, O. Vinyals, A. Graves, N. Kalchbrenner, A. Senior, and K. Kavukcuoglu. WaveNet:
A generative model for raw audio. CoRR, arXiv
preprint arXiv1609.03499, 2017.
[13] M. Blaauw and J. Bonada. A Neural Parametric
Singing Synthesizer Modeling Timbre and Expression from Natural Songs. Appl. Sci., 7(12),2017.
[14] 山田知彦, 武藤聡, 南角吉彦, 酒井慎司, 徳田恵
一. HMM に基づく歌声合成のためのビブラー
トモデル化. 情報処理学会研究報告, 2009-MUS80(5):309–312, 2009.
[15] Auto–Tune & Vocal Processing Tools by
Antares Audio Technologies. https://www.
autotune.mu/products/auto-tune-pro/.
[16] Celemony | Melodyne と は？
https://www.celemony.com/ja/melodyne/
what-is-melodyne.
[17] Tune | Media Integration, Inc. https://www.
minet.jp/brand/waves/tune/.
[18] GVST – GSnap. https://www.gvst.co.uk/
gsnap.htm.
[19] M. Morise, F. Yokomori, and K. Ozawa.
WORLD: a vocoder-based high-quality speechsynthesis system for real-time applications. IEICE transactions on information and systems,
E99-D(5):1877–1884, 2016.
[20] H. Dudley. Remaking Speech. J. Acoust. Soc.
Am., 11(2):169–177, 1939.
[21] 森勢将雅. 音声分析合成システム WORLD により実時間音声合成を実現するための拡張と実装例. 情報処理学会音楽情報科学研究会, 2016MUS-112(20):1–6, 2016.
[22] ISO 9241–11:2018 – Ergonomics of human–system interaction –– Part 11: Usability: Definitions and concepts. https://www.iso.org/
standard/63500.html.
[23] J. Brooke. SUS - A quick and dirty usability scale. In P.W. Jordan, B. Thomas, B.A.
Weerdmeester and I.L. McClelland (Eds.), Usability Evaluation in Industry. London: Taylor
and Francis, 1996.
[24] 樽本徹也. ユーザビリティエンジニアリングユー
ザエクスペリエンスのための調査、設計、評価手法（第 2 版）. オーム社, 2014.

WISS 2019

熟練者の動作の可視化による VR スキートレーニングシステム
野澤 崇行 ∗

Erwin Wu∗

Florian Perteneder∗

小池 英樹 ∗

概要. スキーには限られた季節と場所，指導方法が要求されることから，他のスポーツよりも練習の制約が多く，敷居が高いという問題がある．そこで，屋内スキーシミュレータを用いた VR スキートレーニング
システムを提案する．このシステムでは，屋内スキーシミュレータに取り付けられた２つのトラッカーからスキーの位置と回転をトラッキングする．ユーザは，仮想空間に構築されたスキースロープ上でスキーを操作したり，あらかじめ撮影しておいた熟練スキーヤーの動きを再生しながらスキルトレーニングを行う事ができる．トレーニングシステムは 3 つのモジュールで構成されている．それぞれ，熟練スキーヤーの動きを観察するためのコーチリプレイシステム，ストロボ画像の様に動作の過程を残像として表示するシステ
ム，そしてコーチとユーザ間の動きの違いを比較するためにスキーの角度を可視化するシステムである．

1

はじめに

スキーは長い歴史を持つメジャーなウィンタース
ポーツであり，その練習に関する研究も数多く行われている．しかし，スキーのトレーニングには未だ多くの障壁が存在する．一つは，環境依存性の問題である．スキーには雪と傾斜のある地表が必要であり，限られた季節や場所でしか行うことが出来ない．
この問題は，仮想現実とスキーシミュレータを組み合わせ，ユーザに没入型の仮想スキー環境を提供す
ることにより解決可能である．二つ目の問題は，ス
キー程にプレイ位置が変動するスポーツでは，練習中に他のスポーツのように熟練者の動きを模倣することが難しい点である．特に初心者スキーヤーの場
合，熟練者の速さに合わせて滑ることが困難である
ため，熟練者の動きを直接観察することができない．
また，他のスポーツでは熟練者の動画を見ながら自身の動きを修正する練習手法が用いられることがあ
るが，スキーでは滑走中における動画の再生手段がないためこの手法は適用できない．他にも，初心者にとっては自身と熟練者の動きの違いを自ら認識することが難しいため，コーチは姿勢や重心を直すよう直接指導しなければならず，一対一での指導を行う必要がある．
そこで，我々は仮想空間上のスキースロープで熟練者のモーションデータを再生する VR スキート
レーニングシステムを提案する．本システムは，Ｈ
ＭＤに映し出される仮想空間上のスロープを用いる
ことで，環境に依存しない屋内でのスキートレーニ
ングを実現する．また，ユーザの前方には同じスキー
コース上を滑走する熟練者のモーションデータが表示される．ユーザは時間の経過速度を操作して滑走する速さを変化させることもできるため，時間の流∗

Copyright is held by the author(s).
東京工業大学 情報理工学院- 19 -

図 1: システムの概要図．ユーザは HMD を通して
右図のスキー空間を見ることができる．
れを遅くすることによって熟練者の詳細な動きを観察したり，時間の流れを速くすることでより高いレベルに挑戦することも出来る．さらに，ユーザと熟練者の両足の角度を２つの時系列グラフでリアルタイムに可視化することで差分認識を支援する．両足の角度はスキーシミュレータのビンディング部位に取り付けられた Vive トラッカーから取得されるため，ユーザは体にトラッキング用の装置を取り付ける必要はない．
既存の研究ではリアルタイムのスキーコーチングが出来なかったため，本手法はリアルタイムのフィードバックを提供できる最初の VR スキートレーニン
グシステムである．

2

関連研究

スキーに関する研究をいくつか紹介する．Kobeissi
ら [6] はバランスボードにモーションセンサ機器を取り付けスキートレーニングに適用した．長谷川ら[3] は，重心を音によってリアルタイムに教示することで，スキーヤーをガイドしたり姿勢が仰け反ることを防ぐ装置を開発した．一方で，Aleshin ら [1] はスキートレーニングにおける視覚的要因の重要性に

WISS 2019

ムの作成を試みた．本システムは，熟練者のモーションデータを記録し，学習プロセスにおいてデータを再生して，熟練者の動きを直接かつ繰り返し模倣出来る機能を提供する．システムの再現性のため，単純な構造のスキーシミュレータを用いる．

3.1

熟練者のモーションデータを記録するため，元アルペンスキーワールドカップ選手の２名にスキーシミュ
レータ（SkyTechSport Alpine Simulator）上で一定間隔のターン動作を繰り返してもらい，全身のモーションデータを撮影した．データ収集は図 2 に示すよ
うに，モーションキャプチャシステムには OptiTrackの Motive を用いて，8 台のカメラ（Prime 13W）
から撮影を行なった．

図 2: 熟練者のモーションを捕捉する様子．OptiTrack システムを使用して８台のカメラから撮影し
ている．

3.2
ついて示したが，これを考慮した既存研究は少ない．
Aleshin ら [2] は，シミュレータと仮想環境を用いたスキートレーニングシステムを提案した．同シス
テムでは，仮想的なスキー空間をスクリーンに投影
し，SkyTecSport 社製のトレーニング機材をシミュレータとして用いている． Alseshin らは，シミュレータ上でのトレーニングが実際のアルペンスキーの感覚と違うことを指摘しながらも，そのスキル向上に一定の効果を上げることが出来ると述べた．しかし，単に傾斜に複数の旗を立てた映像をスクリーンに投影しただけでは，スキートレーニングへの没入感が低く，現実感が薄い．
スキー以外では，様々なスポーツで VR を使用したトレーニングが提案されている．Ikeda ら [4] はゴルフのトレーニングに複合現実を取り入れ，ユー
ザに教師モーションデータを提示するトレーニング
システムを提案した. このシステムでは熟練者の全身の動きをデータ化し HMD 上で再生する．また，
DP マッチングを用いてユーザと熟練者の動作差分を算出し MR HMD 上に表示する．このようにユー
ザが熟練者の動きを少しずつ変化させながら自身の動きとの差分フィードバックを得る手法はゴルフのトレーニングに対しては有効であることが示されているが，立ち位置が一定であるゴルフとは違い，ス
キーは位置を大きく変化させるため，スキーに対しては用いることができない．

3

熟練者のモーションキャプチャ

システムデザイン

本論文では熟練スキーヤーが持つ高い技術を，全てのユーザが容易に学ぶことが出来るようにすることを目指している．一般の人にとって．世界レベルのアスリートと共に練習する機会は得難く，また，斜面を高速で滑走しながら熟練者の複雑な動きを模倣することは困難である．そのため，我々は誰でも容易に熟練者の動きを模倣することが出来るシステ- 20 -

トレーニングシステム

本トレーニングシステムで VR を用いる利点として以下の３つが挙げられる．

1. 従来研究のスキートレーニングシステムに欠けていた没入感を与える．

2. スキーは元々ゴーグルが必要であるため，他のスポーツに比べて HMD の着用に伴うトレー
ニングの質の低下を引き起こしづらい．

3. 三次元情報の可視化（本研究においては残像システム）においては，平面ディスプレイよりも VR を用いる方が適している．
本論文で使用したトレーニングシステムは，屋内
スキーシミュレータ1 （PRO-SKI SIMULATOR）と HMD を含む VR 用機器（HTC Vive Pro），2
つのベースステーション，そして２つの Vive トラッカーから構成される．
システムのハードウェア設計を図 1 に示す． 2 つの Vive トラッカーをスキーに取り付け，その位置と回転情報を取得する． 本システムでは単純なス
キーシミュレータ1 を使用したため，スキーは Z 軸周りの回転のみ可能であり，体の向きが変わるようなターンを行うことは出来ないが，スキー板を横に動かして擬似的にターン動作を行うことが出来る． シミュレータの中央から離れると，ゴムの張力によって，スキーを元の位置に引き戻そうとする力が生まれる．この力の強さは使用するゴムの数を変えることによって調節することが可能である．また，本ハードウェア上では前方のバーを把持することによって安全性を保つことができる一方で，上級者はバーを持つことなく実際のスキーのような動作を行うことも可能である．
VR 上でトレーニングを行うために，Unity 3D
で 2 つのスキーコースを作成した． あらかじめ設
1https://www.ski-simulator.com/power-ski-simulatoren

熟練者の動作の可視化による VR スキートレーニングシステム

図 3: ３つの可視化手法: コーチリプレイ機能 (左)， グラフ可視化機能 (中央)， ストロボ残像機能 (右)計したコースに沿ってユーザに動いてもらうため，
スプライン曲線を使用してカメラを動かしている．
ユーザはシミュレータ上である程度横方向に動くことができ，熟練スキーヤーの横方向の動きと足の動きを模倣することが出来る．

3.3

可視化機能

3.3.3

撮影した動作をユーザが模倣しやすいよう可視化するために，（1）コーチリプレイ機能，（2）グラフによる足角度の可視化機能，（3）ストロボ残像機能の3 つの機能を実装した. 以下，各可視化機能につい
て述べる．

3.3.1

ストロボ残像機能

コーチの動きの時間的および空間的情報をより明瞭に可視化するために，コーチの連続的な残像を表示する機能を実装した．ユーザは，レースゲームでアイテムを集める時と同じように，各残像ごとに自分の動きと位置を合わせることができる．この機能は，ユーザがコーチの姿勢に過度に注意を払いすぎて，軌道を正しく辿れないという問題を避けることが可能である．また，何らかのモーションキャプチャシステムを用いることで，ユーザがゴーストと衝突した際の姿勢の一致度を評価し，点数などのフィードバックを与えることで，システムをより直感的にすることが可能である．

コーチリプレイ機能

本機能は実際のスキーでは困難な，初心者が常に熟練したスキーヤーの後ろに付いて動きを観察することを可能にする．この機能はユーザの前方に 1 秒
後のコーチの動きを再生する．また，図 3（左）に表示されている３ D モデルのように，地表の凹凸など滑走する場所に適した動きをするよう通るコースを調整している．実際のスキーのように他のスキー
ヤーや地形による制限が無く，熟練者の位置は常にユーザの前に固定されているため，ユーザは動きを模倣することにより集中できる．

3.3.2

イロットテストを実施したところ，初心者のグラフは非周期的であるのに対して，熟練者は常に綺麗な
サインカーブを描くことが分かった．また，ユーザがグラフに集中してコーチの動きを見なくなることを避けるため，グラフを画面の端に固定し視界の隅で認識できるようにした．

4

評価

本評価では，可視化手法の開発の動機となった仮定を検証し，各手法の利点と欠点をよりよく理解することを目指す．

グラフによる可視化機能

本機能は，ユーザが熟練者と自身の動きの違いを理解しやすいよう，ユーザと熟練者の足の角度をグラフにして HMD に表示する．データは VR トラッ
カーの回転からリアルタイムに取得され，横軸を時間軸にして 2D 座標でプロットされる． 図 3（中央）の上の 2 つのグラフは，それぞれユーザの左右の足の角度（赤線）と熟練者の足の角度（黄線）を表している． 足の角度はグラフ上のプロット位置で表されるため，ユーザは自分と熟練者の足の角度が同じ位置にプロットされるようにすることで姿勢を学習出来る．また，1 つのグラフ上から，動きの速さ（周波数），回転の強さ（振幅），および回転の同期（位相シフト）に関するデータを得る事ができる．パ- 21 -

4.1

仮説

本論文ではまず以下の仮定を実験によって検証し，仮説を導き出すこととする．

H1: 動きの模倣による学習： 熟練者の動きの模倣によってある程度の技術の上達が見込める．

H2: フィードバックによる学習： グラフによる身体動作の可視化によって単純な模倣以上のフィード
バックを与えることができる．

H3: 時系列情報の提示による学習： ストロボ残像は
コース上の特定の位置での姿勢情報を示すことから．

WISS 2019

より適切な姿勢の模倣を支援することが出来る．

Q1:上手くスキーができたか
可視化なし
コーチリプレイ

実験手順

グラフ

評価実験は国際学会 IEEE VR 2019 のデモ会場にて行なった．ここでは日頃から VR に慣れている人からのフィードバックを多く得ることができた．
一方で，時間が限られていたため被験者一人あたりに要する時間は短く，各被験者の一連の所要時間は，準備，実験，実験後アンケートを含めて約 8 分であった．まず被験者には実験の流れを説明し，同意書に署名するよう求めた．被験者にはスキーブーツを履いてシミュレータに乗ってもらい，VR ヘッドセットを着用させた．各被験者には，フィードバックの無いベースライン条件（可視化なし）と 3 つの可視化手法を体験してもらった．実験をなるべくシンプ
ルなものにするためスキースロープには勾配が一定の直線コースを使用した．また，後の分析のために，同意を得られた全ての被験者について実験中の様子を動画で撮影した．全実験を終えた後には，被験者にアンケートの記入を求めた．このアンケートの質
問には 6 段階のリッカート尺度で回答してもらい，その他に自由コメント欄を設けた．

残像

Q2:改善方法は分かりやすかったか
***
***
***

可視化なし
コーチリプレイグラフ*

残像

Q3: HMD上の情報は分かりやすかったか*** *** ***可視化なし
コーチリプレイグラフ
残像

Q4:スキーの練習に役立ったか
可視化なし
***
***
*** *

コーチリプレイグラフ*

残像

Q5:総合的にどう感じたか*** ***

可視化なし
コーチリプレイ
グラフ

*

残像

0%

4.3

20%

40%

60%

80%

100%

被験者の割合被験者

1

被験者 81 人からデータを取集した．被験者は皆VR 技術に精通していた．スキー経験は初心者がほ
とんどであり，全く経験したことがない人も多かったが，少数ながら経験豊富なスキーヤーもいた．しかし，本格的な大会に参加する様なプロのスキーヤーはいなかった．

4.4****** *** ***

4.2

2

3

4

5

6

図 4: ５つの質問からなるアンケートの結果．各
グラフは６段階評価の分布を示している．右の括弧は各条件の有意を表している: * (p < 0.05), **(p < 0.01), *** (p < 0.001)

実験結果

アンケートを元にユーザがどういった機能を好むのか概観する．質問（Q1〜Q5）と回答の結果を図 4に示す．また，フリードマン検定を実行したところ，
５つの質問すべてに有意差が見られた (Q1: χ(3) =33.70, p < .001，Q2: χ(3) = 87.77, p < .001，Q3:
χ(3) = 28.24, p < .001，Q4: χ(3) = 82.54, p <.001，Q5: χ(3) = 26.33, p < .001)．各質問の条
件間の有意差を示すために，事後分析にはペアワイズウィルコクソンの符号順位検定を行った．結果は
図 4 に示し，以下に仮説 (H1-H3) についての検証結果を述べる．81 人の参加者のうち 41 人（50.6 ％）がコメントを記入した．長文のコメントは各主張ごとに細かく分割し，共通のテーマを識別するため，オープンコーディングのアプローチ [7] に従ってクラスター化した．

％），４条件の中で最もスキーの練習に役立つ（Q4:
評価 4〜6 が 67.9 ％）という結果になった．検定の結果，可視化なし (Q3: Z = −4.506, p < .001，Q4:
Z = −6.648, p < .001，Q5: Z = −4.866, p <.001) とグラフ (Q3: Z = −5.038, p < .001，Q4:
Z = −2.023, p < .05，Q5: Z = −3.810, p < .001)
に対して統計的に有意であった．熟練者の動作を見ることで改善方法の理解に繋がる（Q2:評価 4〜6 が63.0 ％) ことが分かった．これはベースライン条件に対して有意に優れている（Z = −6.860, p < .001）
が，まだ改善の余地があると考えられる．多くの被験者がこの機能に肯定的である中，被験者６人は熟練者の動きが速すぎるため付いて行けないと述べた．
しかし，肯定的な回答が多いため，仮説 1 を確認することができた．

4.4.2

H2: フィードバックによる学習

グラフは自身と熟練者の足の角度を視覚的にフィードバックすることで動作の比較を可能にする．
しかし，被験者の多くはグラフを読み取ることに苦慮した．Q2 の評価 4〜6 が 50 ％以上であることから，
この条件によって改善方法が理解しやすくなるとの結H1: 動きの模倣による学習
コーチリプレイは，Q5 の総合評価の質問で 4〜6
評価が 82.7 ％を占めたことから概ね好評であったと言える．UI は分かりやすく（Q3:評価 4〜6 が 79.0
4.4.1

- 22 -

熟練者の動作の可視化による VR スキートレーニングシステム

果になったが，コーチリプレイの方がわずかに高く，さらにストロボ残像 (Z = −2.512, p < .05) の方が有意に優れていた．また，グラフが分かりやすかったと答えた被験者はわずか 49.4 ％であった（Q3）．
これはコーチリプレイ（Z = −5.038, p < .001）やストロボ残像（Z = −3.601, p < .001）よりも有意に劣っている．さらにグラフは，図 4 に示すように，
他の質問（Q1、Q4、Q5）に関してはより低いスコ
アを示した．グラフが難解であることは，コメントでも指摘されていた．被験者７人は，グラフは「情報が多すぎる」と述べており，グラフの表示位置に不満を示す回答が同数あった．一方で，スキー経験が豊富な被験者の多くはグラフに対してスキーの改善に有効であると肯定的な回答をした．グラフは動きの違いに関する詳細なフィードバックを提示する
が，現在のところグラフによる可視化はほとんどのユーザにとって理解が非常に難解である．従って，仮説 2 は棄却される．

4.4.3

H3: 時系列情報の提示による学習

熟練者の 3D モデルの位置を考慮し，ストロボ残像は各ターンでユーザが取るべき姿勢情報を明確にすることを目的としているが，結果は様々であった．
多くのユーザが，4 条件のうち最も上手く滑る事が出来たと回答し（Q1：評価 4〜6 が 64.2 ％），スキーを改善する方法が理解しやすかったと述べた（Q2：
評価 4〜6 が 64.2 ％）．しかし，いずれの質問でもコーチリプレイより多くの強い否定の回答（評価 1
および 2）が存在し，2 つの機能の間に有意差はな
かった．このことは図 5 を見ると明らかである．ス
トロボ残像の Likert-Scale の回答が U 字型を形成するのに対して，他の条件は単一のピークを持つことが多い．コメントでは，ストロボ残像が有効であるという意見もあったが，否定的な意見の方が多く書かれた．被験者 10 人はコメントで，この機能が「邪魔である」または「混乱を招く」ことを述べ，人の残像にぶつかることは不自然だという意見もあった．総括すると，ストロボ残像は潜在的な可能性がありながらも，現在の形式では多くのユーザにとって使いにくいものとなった．従って，仮説 3 を条件付きで確認するに留め，将来の研究においてこの機能を改善することを計画している．

4.5

考察

評価の結果から可視化の有用性に関する様々な知見が得られた．最も基本的な手法であるコーチリプ
レイ条件はほとんどの参加者に肯定的に受け入れられたが，グラフとストロボ残像の結果は賛否両論であった.
多くの被験者は，トレー二ングの最中にグラフから情報を読み取ることに苦戦していた．問題の一つはグラフの配置であった．ユーザはグラフを見よう- 23 -

Q1：上手くスキーができたか

Q5：総合的にどう感じたか

35

30

25

20

15

10

5

0
1

2

3

4

残像

5

グラフ

6

1

コーチリプレイ

2

3

4

5

6

可視化なし

図 5: Q1 と Q5 のアンケート結果をグラフに表す．
グラフは ストロボ残像が被験者によって肯定と否定の両方に偏ったことを示している．
とする際に顔を動かすため，グラフを視界に固定することは逆効果になった可能性がある．
ストロボ残像に関する報告では，時系列的なフィードバックを提供するというアイデアは高く評価されたが，熟練者の残像をユーザが通過するような実装は物議を醸していた．従って，目標姿勢の情報を提示するより良い方法を検討する必要がある．
最後に，多くの被験者は熟練者が速すぎると述べた．これはプロのスキーヤーのモーションデータを使用しているためである．最初のプロトタイプ用に時間制御機能を設計したが，被験者は自分で動きを遅くすることは出来なかった． これらのことから，
シミュレータ上でシステムを操作する方法を検討する必要があると考えられる．
本論文の残りの部分ではプロトタイプの欠点に対処する方法の可能性について，いくつかの適応と変更を検討することによって調査する．

5

システムの改善実験の結果より得られた知見から，システムを改善する追加機能を実装した．
グラフの問題点として，表示位置が挙げられる．
被験者からはグラフの位置が高すぎる，グラフによって視界が遮られるといった意見が寄せられた．これを解決するため，グラフをシーンに固定した．
また，ストロボ残像機能による情報提示は賛否両論であった。そのため，コース上の障害物とならずに同様のフィードバックを示す方法を検討する．解
決策の一つは，熟練者の通った軌跡を表示することと 3D モデルの影を地面に置くことで姿勢情報を提示することである．影を使って熟練者の動きを学習する手法は，ゴルフのような他のスポーツで既に効果を上げており [5]，スキーにおいても有効である
可能性がある．
他にも，熟練者の動きが速すぎることによって被験者が付いて行くことが出来なくなる問題があった．

WISS 2019

このため，ユーザに適した速さとなるようゲームの時間速度を変更する時間制御機能を実装した．この機能には，自動と手動の 2 つのモードがある．自動モードでは，ゆっくりとした動きから徐々に速さを増していき，ユーザが熟練者に付いて行くことが出来なくなる速さまで動的に変化させることでユーザに適したレベルを設計する．ユーザが熟練者に付いて行くことが出来ているかを判断するため，足の角度を比較する． 手動モードでは，ユーザはスライドバーによって時間速度を制御する．0.5 倍速にして熟練者の動作を詳細に観察したり，時間を巻き戻して同じ動作を何度も練習することも可能となる．また，動きを速くしてより高いレベルに挑戦することも可能である．

6

7

まとめと展望

本論文では，スキーの環境的制約を受けない VR
上でのトレーニングシステムを提案し，ユーザがより容易に正しいスキー動作を理解出来るよう複数の可視化機能を実装した．また，このシステムを用いて熟練者の動きを模倣してもらう被験者実験を行い，システムを評価した．テスト実施後に行ったアンケー
トによると，すべての被験者が可視化について肯定的な反応を示し，ほとんどの被験者はシステムがス
キーの練習に役立つと述べた．今後の展望として，本システムの定量評価を行う必要がある．学習率は個人で異なるため，本システムを利用したユーザがより効率よく学習できているか定量的に評価することは難しく，現時点ではアンケートによる定性評価
しか行なっていない．しかし，システムを利用する/利用しないで，ユーザが熟練者の動きを一定以上模倣することができるようになるまでの時間を評価す
れば，定量評価をすることが出来ると考えられる．

議論

本システムではユーザに熟練者の動きを模倣してもらうことに焦点を当てていたが，その性質上，どの程度模倣できているかを何らかの形でユーザにフィードバックする必要がある．現在フィードバッ
クを実現する方法は，グラフ上に足の角度を可視化することのみであるため，他の方法を検討する必要がある．例として，体の各部位の差分に合わせて，
コーチモデルの対応する部位の色をヒートマップ的に変化させる方法が挙げられる．他にも，角度に加えて足の位置も合わせて比較することでより分かりやすいフィードバックを与えることが出来る可能性がある．
本研究で 82 人の被験者に行った実験の結果によると，初心者に対しては技術習得に対する効果は薄いが，スキーに対する恐怖心を克服し自信を与えることに繋がるといった意見があった．また，中級者
は熟練者のスキー動作を見ることでスキーをより理解しつつ，自身の改善点を見つけることに繋がり，上級者には他者と比較することで客観的に自分を見直す効果が期待できる．
他にも，本システムには HMD を装着することによって自身の身体動作を視覚的に認識する事が出来なくなる問題がある．これに対しては，外部カメラ
からユーザを撮影した映像を HMD に映して補うこともできるが，VR の没入感を損なう恐れがある．
より良い方法としては全身をトラッキングしてユー
ザの姿勢情報を取得し，VR 内の 3D モデルに当てはめることである．全身トラッキングの方法としては，慣性センサを用いた方法や赤外線センサを用いた方法が考えられるが，スポーツトレーニングという観点から，センサがトレーニングの邪魔にならないことや，トラッキング精度，レイテンシの問題などを考慮する必要がある．

- 24 -

参考文献[1] V. Aleshin, V. Afanasiev, A. Bobkov, S. Klimenko, V. Kuliev, and D. Novgorodtsev. Visual
3d perception of the ski course and visibility factors at virtual space. In Cyberworlds (CW), 2011
International Conference on, pp. 222–226. IEEE,
2011.
[2] V. Aleshin, S. Klimenko, M. Manuilov, and
L. Melnikov. Alpine skiing and snowboarding
training system using in-duced virtual environment. Science and Skiing IV, 2009.
[3] S. Hasegawa, S. Ishijima, F. Kato, H. Mitake, and
M. Sato. Realtime sonification of the center ofgravity for skiing. In Proceedings of the 3rd Augmented Human International Conference, p. 11.
ACM, 2012.
[4] A. Ikeda, D. H. Hwang, and H. Koike. AR based
Self-sports Learning System using Decayed Dynamic TimeWarping Algorithm. In G. Bruder,
S. Yoshimoto, and S. Cobb eds., ICAT-EGVE2018 - International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments. The Eurographics Association, 2018.
[5] A. Ikeda, D.-H. Hwang, and H. Koike. Real-time
Visual Feedback for Golf Training Using Virtual
Shadow. In Proceedings of the 2018 ACM International Conference on Interactive Surfaces andSpaces, ISS ’18, pp. 445–448, New York, NY,
USA, 2018. ACM.
[6] A. H. Kobeissi, H. Chible, R. Berta, A. De Gloria,
and F. Bellotti. Design and implementation of an
IoT system for enhancing proprioception training. In Microelectronics (ICM), 2017 29th International Conference on, pp. 1–4. IEEE, 2017.
[7] A. L. Strauss and J. M. Corbin. Grounded theory research: Procedures, canons, and evaluative
criteria. Qualitative Sociology, 13(1):3–21, 1990.

WISS 2019

UV プリンタを用いたレンズ造形手法とその応用
杉山 圭 ∗

塚田 浩二 ∗

概要. レンズは，身近なものから精密機器にまで幅広く利用されている．近年，デジタル工作機械の普及により，個人レベルでのものづくりの幅が広がっているが，デジタル工作機械のみでレンズを作ることは困難であり，一般に研磨等の個人の技量に依存する工程が必要である．そこで本研究では，FabLab などを中心に普及しつつある UV プリンタに着目し，出力後の加工が不要で汎用的なレンズを造形する手法を提案する．具体的には，UV プリンタを用いて透明インクを積層して形状を作り，その上に光沢の印刷を施すことで積層跡を埋め，なめらかな表面のレンズを造形する．また，レンズの直径／焦点距離等からレンズの形状を設計し，印刷データとして出力するツールを実装した．さらに，提案手法によって造形したレンズとその応用例，及び基礎的な性能調査について述べる．

はじめに

1

4. 透明のインクはマット／光沢の質感を選択でレンズは，眼鏡やカメラ，照明器具などの身近なものから，精密機器の光学系のレンズアレイにまで，
光学素子として幅広く利用されている．近年，3D プ
リンタなどのデジタル工作機械の普及によって個人レベルで可能なものづくりの幅が広がっているが，デジタル工作機械を用いても個人レベルでレンズを作ることは困難である．例えば，3D プリンタを用いてカメラを作るプロジェクトは複数あるが，レンズについては 3D プリンタで出力した後に専用の器具を使って研磨する必要があったり，既存のカメラ用レンズを用いている．
そこで，我々は個人レベルで実現可能なレンズ造形手法として，UV プリンタに着目した．UV プリン
タは，FabLab などの施設を中心に普及しつつある，
紫外線硬化インクを用いたインクジェットプリンタである．多様な素材表面に印刷可能なことから，ノベルティグッズの作成等に広く利用されている．一方，透明インクを印刷することが可能であり，イン
クを重ねて厚みを持たせることもできる．
我々は，この透明インクを積層することで，多様なレンズを造形できると考えた．ここではまず，UV
プリンタの特徴について整理する．

1.1

UV プリンタの特徴

本研究では，Roland DG 社の UV プリンタ VersaUV LEF-12i（以下，VersaUV）を用いた．VersaUV シリーズには，以下のような特徴がある．

5. 2mm 以内の凹凸のある面に印刷できる．
こうした特徴から，透明インクを積層してレンズの形状を作り（特徴 2，3）
，その上に透明インクを光沢仕上げで印刷し積層跡を埋めることで（特徴 4，5），なめらかな面のレンズが造形できると考えた．
また，CMYK インクを組み合わせることでカラーレンズの造形も可能である（図 1）．

図 1. 提案手法で造形したレンズの一例

2

関連研究

「UV 硬化
本章では，本研究の関連研究について，樹脂を用いたレンズ造形」「デジタル工作機械を用いたレンズ造形」の 2 つの領域から紹介する．

2.1 UV 硬化樹脂を用いたレンズ造形
Chung ら [4] は，UV 硬化樹脂を用いてマイクロ1. アクリルや布など多様な素材に印刷できる.
2. CMYK 以外に白／透明のインクが使える．
3. インクを重ねて盛り上げる厚盛印刷ができる．
∗

きる．

Copyright is held by the author(s).
公立はこだて未来大学- 25 -

レンズアレイを造形する手法を提案している．独自のインクジェット印刷機を用いて UV 硬化樹脂の液滴によってレンズを造形し，液滴の量などからレンズの曲率を制御した．秋山ら [5] は，超精密切削加工で制作した金型に UV 硬化樹脂を注入し，マイク
ロレンズアレイを制作した．また，樹脂の硬化時に

WISS 2019

一点目については，レンズの直径／厚さ／焦点距離などを自由に設計可能とする．さらに，複数のレンズを並べる等，柔軟なレイアウトを許容する．
二点目については，UV プリンタの光沢仕上げ印
刷を用いることでレンズ表面をなめらかにし，出力後の研磨等の加工を不要とする．そのため，同一面上に複数のレンズを並べたような，研磨が困難な形状のレンズも造形可能である．また，個人の研磨技術等に依存しないため，汎用性が高いといった特徴がある．
三点目については，レンズの直径／厚さ／焦点距
離等のパラメータから容易にレンズを設計でき，提案手法で印刷するためのデータとして出力可能なツールを実装する．

加圧することで形状や表面粗さの精度が高まることを確認した．Luxexcel[6] は，独自開発した特殊な
UV 硬化型 3D プリンターを用いて，研磨不要な眼鏡用レンズを製造している．

2.2

デジタル工作機械を用いたレンズ造形

森田ら [7] は，レーザー熱処理に用いる集光レン
ズを簡易的に制作するための手法として，CNC フラ
イスでアクリル板を切削しシリコンオイルの塗布によって表面の粗さを低減することでレンズを制作した．そして，シリコンオイルを塗布していないものと比べて透過率が高まったことを確認した．3D プ
リンタメーカーの Formlabs[8] は，光造形 3D プリン
タで出力したレンズを研磨することで表面をなめらかにし，透明度を高める手法を提案している．The
magic lens[9] は，一見ランダムに見えるパターンの中に隠れた画像を複合化する屈折レンズアレイである．PolyJet 方式 3D プリンタで制作しており，画像を複合化する機能は果たしているものの，表面の粗さによる像のぼやけが課題とされている．Printed
optics[10] は，インタラクティブデバイスのための光学素子の 3D プリント手法である．光ファイバーの束のように光の導線を 3D モデルの中に組み込むことができる．例えば，テーブルトップインタフェー
ス上に置かれた Phicon に組み込むことで，下面の液晶ディスプレイの映像を Phicon の正面に映し出すことができる．

2.3

3.2

ここでは，本研究でレンズを造形する手順について説明する．本研究では，レンズ形状の計算の容易さと用途の汎用性を考慮して，球面平凸レンズと球面平凹レンズを対象とする．なお，UV プリンタは一般的に板材等の上に出力を行うため，薄手の透明アクリル板（例: 1mm）の上にレンズを造形する．
また，アクリル板の両面にレンズを造形することで，両凸レンズや両凹レンズ，片側が凸でもう一方が凹のメニスカスレンズへの応用が考えられる（図 2）．
なお，両面への造形方法については 4.2 節で述べる．

本研究の特徴本研究で提案する手法は，専用の特殊な機材を必要とせず，一般に販売されている汎用的な UV プリ
ンタで造形可能である．また，光沢印刷で表面を滑らかにすることで出力後の研磨等の加工を不要とし，研磨が困難な形状のレンズアレイ等も造形可能である．そして，拡大鏡などにも用いられる汎用的な球面レンズを対象とし，設計ツールによって容易に直径／焦点距離等が設計可能である．また，設計ツー
ルは Adobe illustrator 上で動作するため，CAD と比べて手軽に利用でき，CMYK 印刷と組み合わせて多様なデザインに組み込むことができると考える．

提案

3

本章では，本研究のレンズ造形のコンセプトとレンズ造形手法について述べる．

3.1

レンズ造形手法

レンズ造形のコンセプト

本研究のコンセプトは以下の 3 点である．

(1) 多様な形状／大きさのレンズの造形

図 2. 提案手法で造形可能なレンズの種類

まず，レンズの形状を定める．球面レンズの形状
は，レンズの直径と曲率半径によって定まる（図 3）．
曲率半径 r は，片面が平面の球面レンズの焦点距離の近似式（式 (1)）を用いて，レンズの焦点距離 fと，レンズ材質の屈折率 n から求められる．なお，
UV プリンタの透明インクの屈折率 n 自体は公開されていないが，一般的なアクリルや UV レジン等の透明樹脂素材に倣って，1.5 と仮定する．

f=(2) 出力後の加工が不要な造形

r
n−1

(1)

また，照明の拡散等，精密に焦点距離や屈折率を定める必要がない用途の場合，直径と厚さからも曲(3) 汎用的な設計ツールの提供- 26 -

UV プリンタを用いたレンズ造形手法とその応用，よって，レンズの直率半径が一意に定まる（図 3）径／焦点距離／材質の屈折率の 3 つ，もしくはレンズの直径／厚さの 2 つのパラメータによって，レンズ形状が定まる．

実装

4

本章では，印刷データ制作ツールの実装と，提案手法を用いて制作したレンズの造形例を示す．

4.1

図 3. 球面レンズの形状設計

次に，レンズの形状から積層する層の形状を求める．1 層の厚さを印刷 1 回でのインクの厚さ（VersaUV においては約 0.035mm）とし，図 4 のように，レンズの断面の形状に沿って層に分割する．各層の形状は，凸レンズの場合は上の層ほど直径が小さい
円形となり，凹レンズの場合は外径はすべて等しく，
上の層ほど内径が大きくなるドーナツ形となる．

図 4. 積層した断面の形状

次に，この層を下から透明インクで繰り返し印刷
することで，レンズの形状を造形する．前述したよ
うに透明インクの印刷設定には光沢仕上げとマット仕上げがあるが，この過程では印刷の精度が高いマット仕上げを利用する．
レンズ形状はここで完成するが，この時点では積層跡が目立つ問題がある（図 5 左）．そこで，最後にレンズ全体に透明インクを光沢仕上げで印刷し，積層跡を埋めることで表面をなめらかなレンズとする．その際，1 回では積層跡が十分に埋まらないた
め，2 回繰り返すこととした（図 5 右）．

印刷データ制作ツール

ここでは，提案手法によるレンズ造形のための印刷データを制作するツールの実装について述べる．
本研究で利用する UV プリンター（VersaUV）の印
刷データ制作には Adobe Illustlator が推奨されているため，Adobe Illustrator のスクリプトを用いて実装した．本ツールは「レンズ設計スクリプト」「データ出力スクリプト」の 2 つで構成される．
まず，レンズ設計スクリプトで，造形したいレン
ズのパラメータを入力する（図 6 左）．UI で入力できるパラメータは，大きく分けて設計したいレンズに関係する「レンズの設定」と，プリンタやインクに関係する「プリンタの設定」の 2 種類がある．
「レ
ンズの設定」では，(1) レンズの種類（凸／凹），(2)
レンズの直径，(3) レンズの焦点距離または厚さ が入力でき，「プリンタの設定」では，(4) 印刷 1 回でのインクの厚さ，(5) 印刷可能な厚さ，(6) インクの屈折率 が入力できる．なお，「プリンタの設定」のパラメータは変更することが少ないため，概ね規定値のままで利用できる．
これらのパラメータを入力すると，3.2 節で述べた方法で各層の形状が求められ，層ごとに個別のレイヤーに描画される（図 6 右）．レンズ設計スクリ
プトの動作はこれで終了する．また，描画された形状を複製したり，再度スクリプトを実行して他のパラメータのレンズを描画することで，複数のレンズを並べて配置することも可能である．なお，レンズの配置は現時点では手動で行う．illustorator 自体が優れたレイアウト機能を持つため，配置は容易であるが，今後はレイアウト用のスクリプトの実装も検討している．

図 6. ツールのパラメータ入力画面と出力結果，各色はレイヤーの色を示す．

配置を終えたらデータ出力スクリプトを実行する
ことで，レイヤーごとに個別の EPS 形式のファイルとして書き出され，各層の印刷データが出来上がる．
このデータ群を UV プリンタの出力用ソフトウェア
で読み込み，アクリル板等に下のレイヤーから順に印刷することでレンズを造形できる．

図 5. 光沢仕上げ印刷の回数によるレンズ表面の変化- 27 -WISS 2019

4.2

両面へのレンズ造形

4.3

レンズ造形例

提案手法を用いたレンズの基礎的な造形例について述べる．なお，応用的な事例は次章「応用例」にて紹介する．
本研究で提案する手法は，出力後の加工が不要であるため，研磨等が必要な手法では困難な，複眼のよ
うな複数のレンズが並んだものも制作できる（図 9左）．
UV プリンタは CMYK インクも扱えるため，色がついたレンズも制作することができる（図 9 右）．
これを応用することで，照明の色を変えたり，カラーフィルタをかけたような写真の撮影に利用できると考えられる．

両凸レンズや両凹レンズ，メニスカスレンズを造形する場合，アクリル板の両面にレンズを造形する必要がある．しかし，板の片面にレンズを造形した
のちに裏返し，両面のレンズの位置が揃うように印
刷テーブルに設置する必要があり，手動で位置を合わせるのは困難である．また，片面に凸レンズを造形した板を裏返す場合，水平に設置することはできない．そこで，次のような手順を用いて板の両面にレンズを造形する．まず，片面にレンズを造形する（図 7（1））．その際，レンズの周囲数か所に，レンズと同じ厚さの位置合わせ用の凸型も造形する．凸型はレンズ設計スクリプトを用いて，レンズと同じデータ上に，直径の小さな凸レンズを配置する．次に，レンズを造形した板を一度取り除き，印刷テー
ブルをマスキングテープ等で保護し，その上に位置
合わせ用の凹型を造形する（図 7（2））．凹型もスク
リプトを用いて，凸型と同じ直径，半分ほどの厚さの凹レンズを配置する．そして，板を裏返して凸型と凹型が合うように印刷テーブルに設置し，その上にレンズを造形する（図 7（3））
．これにより手動で位置合わせを行う必要がなく，凸型が足となって裏返した際に水平に置くことが可能となり，板の両面へのレンズの造形が可能である．両凸レンズの造形
例を図 8 に示す．

図 9. 複眼状の凸レンズとカラーレンズ

4.4

応用例

本研究の応用例として，簡易 VR ゴーグルの凸レンズを試作した（図 10）．提案手法は任意の直径／
焦点距離等のレンズを比較的短時間（直径 2mm，厚さ 1mm で約 1 時間半）で造形可能なことから，試作を繰り返しやすく，視野の調整やバリエーションの増加等に向いている．
次に，超小型（レンズ部の直径 5mm）のミニチュ
ア虫眼鏡を制作した．図 11 に示すように，小型ながら拡大鏡や集光レンズとして機能する．ここでは，1mm のアクリル板の上にレンズと周辺の黒い縁取りを同時に印刷している．このように，小型で一定の機能／デザイン性を備えたレンズを制作することができる．
また，板の両面へのレンズ造形によって，球状のレンズが並んだような形状（図 12 下）を作ること
で，再帰性反射の性質をもつ反射板への応用が考えられる（図 12 上）．レンズを自由に配置でき，色を付けることもできるため，反射板は自由なデザイン
で作ることが可能である（図 13 左）．また，反射板の一部を片面のみの造形とすることで，その部分は再帰性反射の性質を持たず，光を当てたときに両面造形部分の絵柄が浮かび上がるといった応用も考えられる（図 13 中央，右）．
さらに，印刷データ作成ツールで出力したデータを手動で加工することで，特殊な形状のレンズへの応用も考えられる．例えば，ロゴマークなどの形状
を半立体的に盛り上がらせ，その一部にレンズを組み込むような用途も考えられる（図 14）．

図 7. 板の両面へのレンズ造形の手順

図 8. 両凸レンズの造形例とその断面（直径 10mm，厚さ片面約 0.5mm）- 28 -

UV プリンタを用いたレンズ造形手法とその応用議論

5

本章では，造形したレンズに見られた性質や精度，
造形可能なレンズの制約について述べる．

5.1
図 10. 提案手法で造形したレンズを用いた簡易 VR
ゴーグルとレンズに写る像

図 11. ミニチュア虫眼鏡での拡大と集光の様子

造形可能サイズの調査

レンズの直径／厚さによる性質等を調査するために，球面平凸レンズを直径 5，10，20，30，40mm，
厚さ各 0.5，1.0，1.5，2.0mm の計 20 種類制作した（図 15 左）．積層回数は厚さ 0.5mm から順に，14
回，28 回，42 回，57 回であった．一部のレンズには印刷中のゴミの混入が見られ，特に直径 30mm 以上のレンズに多く見られた（図 15 右）．全体的に少し黄ばみが生じており，分厚くなるレンズ中央部に向けて黄ばみの度合が強くなっていた．また，厚いレ
ンズほど黄ばみの度合が強かった．黄ばみについて
は，今回多数のレンズを一度に出力したことが一因であると考えられるため，5.3 節で述べる．レンズに映る像の形状をわかりやすくするために，格子状の線をレンズを通して見た様子の一例を図 16 に示す．
格子の間隔は 3mm で，レンズとの距離は 20mm である．

図 12. 反射板（左上）とその断面（下），鞄に取り付けて光を当てた様子（右上）

図 15. 20 種類の球面平凸レンズとごみの混入
図 13. 自由にデザインした反射板（左）．一部を片面のみの造形（中央）とすることで，光を当てた際に両面造形部分が浮かび上がる（右）．

図 16. 直径 20mm の凸レンズを通して見える像．
焦点距離が短い程倍率が大きくなる．

5.2
図 14. はこだて未来大学のロゴマークに組み込んだレンズと光を通した様子

焦点距離の精度調査

レンズの精度の簡易的な調査として，提案手法で造形した凸レンズの焦点距離を測定した．疑似的な- 29 -WISS 2019

平行光源として約 20m 離れた天井の電球を光源とし，レンズを経由して机上のスクリーンに光を投影した．ここで，各レンズを通した光が最も小さく収束した際（図 17 右）のレンズ-スクリーン間の距離を計測した（図 17 左）．レンズの直径／厚さごとの，レンズ形状から計算した焦点距離の理論値と，実測値の誤差を表 1 に示す．

問題は少ないため，今後詳細な調査と対策の検討を進める．なお，図 15 では積層回数が少ないレンズにもやや黄ばみが生じているが，これは積層回数が多いレンズと同時に印刷したことにより，多くの紫外線を浴びたためだと考える．

6

まとめと今後の展望

本研究では，UV プリンタを用いて透明インクを積層することで球面レンズを造形する手法を提案し，印刷データ制作ツールを実装した．
今後は，印刷データ制作ツールの機能の充実と応用例の多様化，及び評価実験を通したツールの効果の検証を目指す．

参考文献[1] SLO: 3D Printed Camera，
https://amosdudley.com/weblog/SLO-Camera.

図 17. 実験の模式図[2] 3D Printed Camera : OpenReflex，
https://www.instructables.com/id/3D-PrintedCamera-OpenReflex/.

表 1. レンズの直径／厚さごとの焦点距離の理論値に対する実測値の誤差

全体的な傾向として，厚さは小さいほど，直径は大きいほど誤差が小さい傾向にあった．例えば，厚さが 0.5mm のレンズでは，全ての直径においても誤差は 5%未満であった．また，直径が 20mm 以上のレンズにおいても，厚さ 1mm のものを除けば，誤差は 5%未満であった．一方，厚さが大きい／直径が小さい例では誤差が大きくなり，最大で 22%の誤差を確認した（厚さ 2mm ／直径 5mm の時）．

5.3

造形可能なレンズの制約本研究で提案したレンズ造形手法の課題として，
まず，レンズの厚さの制約がある．本研究で利用する VersaUV の印刷可能な高低差は 2mm までであるため，レンズの厚さが 2mm を超える場合，積層跡を埋めるための光沢仕上げ印刷ができない．レンズの直径は厚さと焦点距離で規定されるため，この厚さの制限からレンズの最大直径が制約される．具
体的には，焦点距離 10mm の時は最大直径 8mm，
焦点距離 50mm の時は最大直径 19.6mm，焦点距離100mm の時は最大直径 28mm となる．
そして，レンズの黄ばみの問題がある．印刷の際の紫外線照射が多い，つまり積層の回数が多いほど，インクが黄ばむ傾向がある（図 15）．これは UV プ
リンタで扱うインクの性質によるものであり，完全な改善は難しいと考えるが，積層回数が少なければ- 30 -[3] VersaUV LEF-12i 概要，
https://www.rolanddg.co.jp/products/printers/
versauv-lef-12i-flatbed-printer/.
[4] Chung-Hao, T., Chien-Hsiang, H., and TsungHan, Y. : Microlens Arrays by Direct-Writing
Inkjet Print for LCD Backlighting Applications, Italic Journal of display technology, Vol.5,
No.5(2009), pp.147-151.
[5] 秋山 裕亮，岡田 睦，鈴木 浩文，難波 義治, 三村
健，古南 典正 : UV 成形によるマイクロレンズア
レイの精密成形, 2016 年度精密工学会秋季大会学術講演会講演論文集, 2016, pp.15-16.
[6] Technology - Luxexcel — 3D Printed Optics,
https://www.luxexcel.com/ophthalmictechnology[7] 森田 翔, 渡辺 翔, 徳永 剛, 桑野 亮一, 切削と液体塗布によるレーザ熱加工用簡易アクリルレンズの作製と評価, 2015 年度精密工学会春季大会学術講
演会講演論文集, 2015, pp.711-712.
[8] Printing Lenses on the Form 1+，
https://formlabs.com/blog/lenses-3D-printedformlabs/.
[9] Marios
Papas,
ThomasHouit,
Derek
Nowrouzezahrai, Markus Gross, Wojciech
Jarosz. : The Magic Lens: Refractive Steganography, ACM Transactions on Graphics (TOG),
Vol31, No.6(2012). pp.186:1-186:10.
[10] Karl Willis, Eric Brockmeyer, Scott Hudson,
Ivan Poupyrev. : Printed optics: 3D printingof embedded optical elements for interactive devices, Proceedings of the 25th annual ACM Symposium on User Interface Software and Technology (UIST 12), 2012, pp. 589–598.

WISS 2019

3D プリンターによる一体造形式回転機構の提案
新山 大翔 ∗

沖 真帆 ∗

塚田 浩二 ∗

概要. 3D プリンターを活用したモノづくりの中で，複数の部品が組み合わさって動く立体物を一回でプリントする「一体造形手法」が用いられることがある．これは，組立作業が不要なため，「時間／手間のコストを抑えながら試作検証ができる」，「入れ子構造のような複雑な形状を制作できる」等のメリットがある．
しかし，造形を成功させるためには，部品間の隙間を適切に設けたり，サポート材を除去しやすい形状や出力設定を模索したりと，設計／出力時に配慮すべき点が多い．この試行錯誤には手間と時間を要するため，初心者には難しい手法であった．そこで本研究では，3D プリンターを用いた一体造形に適する機構設計を試みる．本稿では，主に回転機構について，作成した例と実験について記述する．

背景

1

2

低価格な FDM(熱溶解積層) 方式の 3D プリンターの普及によって，個人レベルでの 3D プリンターを活用したモノづくりが増加している．その中で，複数の部品が組み合わさって動く立体物を一回でプリントする，一体造形手法（Print in Place）が用いられることがある．一体造形手法を利用すれば，従来手法では制作が難しかった形状（例：入れ子構造）を容易に作れたり，複数パーツの連結形状（例: ヒンジ／チェーン）の組立作業が不要になるメリットがある．一方，造形を成功させるためには，部品間の隙間を適切に設けたり，サポート材を除去しやす
い形状や出力設定を模索したりと，設計／出力時に配慮すべき点が多い．この試行錯誤には手間と時間を要し，初心者には難しかった．そこで本研究では，
一般的な FDM 方式の主流であるシングルヘッド方式の 3D プリンターでの一体造形手法に適した作動機構を設計する (図 1)．さらに，多様な応用例への適用や，出力条件の調査を通して，提案機構の汎用性を検証する．

図 1. 円錐台形状を用いた一体造形式回転機構．

∗

Copyright is held by the author(s).
公立はこだて未来大学- 31 -

関連研究

FDM 式 3D プリンターを用いた関連研究事例を紹介し，本研究とのかかわりを述べる．
Ion らは，フレキシブル樹脂フィラメントで造形したセル構造を持つオブジェクトを変形させることにより，ドアのロック機構やスイッチなどの作動機
構 [1] や，圧力をかけることで変形し造形物の表面の質感を変化させる機構 [2] を作成している．本研究では，FDM 方式の 3D プリンターにて標準で使用される ABS 樹脂素材を用いることで，より汎用的かつ組立不要な作動機構の作成に焦点を当てる．著
者らは過去に 3D プリンターでの出力に適したジョイント機構を提案した [9][10]．その中にはネジ等の部品を必要とする機構や，制作者以外が組立することが難しい機構があった．一体造形手法を用いることで，一部のジョイント機構の造形が容易になると考える．
3D プリンターを G-code を介して直接的に制御する事により，新たな表現力を模索する研究が増えてきている．高橋らは，3D プリンターの造形パラ
メータを制御するソフトウェアを開発し，造形物の表面に任意の模様を描画したり，複雑な質感や毛構造等を造形する手法を構築した [4][8]. また，片倉らは，3D プリントしたオブジェクトをその 3D プリ
ンタ上で作動させるための一体造形による作動機構を提案している [7]．本研究では，既存の 3D プリン
ターとソフトウェアを使用するモノづくりを対象として，組立不要な作動機構の作成に焦点を当てる．
FDM 式 3D プリンターで造形を行うと，サポートと呼ばれる補助パーツが生成される．これは造形物の形状を維持するために必要だが，除去に手間がかかるデメリットがある．少ないサポートで造形する手法 [5] や，ロボットアームで造形土台を動かすことでサポート無しで造形するシステム [3] が提案されている．Zhang ら [6] は，サポートを除去した
際の残留物が造形物の美観を損ねる点に着目し，知WISS 2019

覚的に重要な領域（例：顔）にサポートが配置されない印刷方向を決める手法やアルゴリズムを構築した．本研究は作動機構の一体造形を実現するために，作動部の軸の強度を向上させつつ軸部に生成されるサポート量を減らす機構を試作する．

実装

4

ここでは，3D プリンターによる一体造形のための汎用的な回転機構とその応用例の実装について述
べる．

4.1

提案

3

市販品に多い一般的な回転機構（例：ヒンジ等）
は図 3 左のような円柱状の軸であり，本来は金属等の強度の高い素材が使用される．しかし，3D プリ
ンターで作る場合は強度の高い素材を使用できない
ため，軸が破損しやすい．そこで，軸の最も破損しやすい部分である根本の負荷を分散させるために，
図 3 右のような円錐台形状にした．この形状は，サポート材の生成を回避する利点もある．3D プリン
ターの印刷設定ではサポート角度を指定でき，指定した角度まではサポートを付けずに造形できる．そのため，本機構の円錐台の角度（例：45 度）よりも小さい角度（例：30 度）にサポート角度を設定すれ
ば，軸と軸受けの隙間にはサポート材が生成されな
いため，出力直後に作動させる際，軸への負担が少なくなる．
また，円柱形状と比較して，軸のガタツキが少な
い，頂点部における軸受けとの接触面積が小さいため，少ない力で軸受けとの溶着部を剥離させられる利点がある．
我々は今回，FDM 方式の「UP!Plus2」と ABS
樹脂フィラメントを使用して，作動可能な回転機構の一体造形が成功することを確認した．円錐台の底角は 45 度，作動部（回転軸）と受動部（軸受け）の
クリアランスは 0.2mm とし，主に軸受けを拡大することによってクリアランスを設けた．

本研究では，3D プリンターによる一体造形が可
能な機構を設計し，それらを調整可能な仕組みを構築することで，ファブ時代の構造設計の効率化を目指す．まず，作動機構を題材に，一体造形の基本機
構と課題について整理し，本研究のアプローチについて述べる．

3.1

基本の回転機構の設計と検証

一体造形の基本機構と課題

作動機構は基本的に，作動部と受動部で構成される（図 2）．力が掛かっても分解しないよう片方に突起等が設けられ，作動方向以外の動きが制限される．機構を 3D プリンターで造形すると，作動部と受動部の間に，造形物の形状を保持するためのサポー
ト材が構築されるため，造形後はサポート材を除去する作業が必要である．一体造形の課題は大きく分けて三つある．一点目は，作動部と受動部の間に適切な隙間が必要な点である．これが大きすぎるとガ
タつきのある不安定な動きになり，小さすぎると動かしにくい／動かない等のトラブルが起こる．二点
目は，サポート材除去の問題である．サポート材の量が多い／造形物への密着が強いと，除去作業が困難になる．具体的には，造形物の一部が欠損したり，除去しきれていないサポート材が動きの邪魔をして，滑らかに作動することができなくなる．三点目は，強度の問題である．サポート材の除去時や作動時にかかる負荷で，作動部が破損する恐れがある．そのため，強度を考慮した設計が必要となる．

図 3. 回転機構の比較．左：一般的な回転機構の軸形状，
右：本機構の軸形状．

さらに，(1) 機構を 90 度回転した場合，(2) 円錐
台の両端を切断した場合，(3)2 つの円錐台の底面を貼り合わせた形状の場合でも，一体造形後に作動することを確認している (図 4)．

図 2. 作動機構の模式図（左）と利用例（右）．

3.2

本研究のアプローチ

前述の課題への対策として，構築されるサポート
材が少量かつ取り除きやすく，作動時の負荷を分散させるような機構を設計する方法が考えられる．そこで我々は，一体造形のための機構を複数制作し，その機構のサイズ／クリアランスを調整するシステムの設計を目指す．本稿ではまず，多くの作動機構に用いられる回転機構に着目して設計／実装を進める．

4.2

応用例

設計した回転機構を用いた応用例を３つ紹介する．

4.2.1

キャタピラベルト

スマートフォン等の側面を囲むようにして保持するための，無端環状のキャタピラベルトを作成した（図 5）．一体造形する利点は，同一部品を一つ一つ- 32 -

3D プリンターによる一体造形式回転機構の提案

図 4. 回転機構の応用．(1) 機構を 90 度回転，(2) 円錐
台の両端を切断，(3)2 つの円錐台の底面を貼り合わせた形状．

繋げていく組み立ての手間／時間を削減する点，折りたたんだ状態で印刷が可能なため狭い造形範囲で出力できる点である（図 5 左）．基本パーツは軸部と軸受け部を持ち（図 5 中央），同パーツを複数個連結して帯状に連ねて構成されている．動作として
は，力を加えると各軸が回転しベルトの形状が変形するため，スマートフォン等の側面に沿わせた後，専用のストッパーで長さを調節し締め付けるように固定する（図 5 右）．ベルトの内側にある凹みにス
マートフォンの側面がはまることで，ベルトから外れにくい仕組みとなっている．図 6 にキャタピラベ
ルトの利用例を示す．

で作動に影響が出やすいが，本機構で設計し造形したジョイントを数十回程度作動させた際，前述の問題が起こらず滑らかに動くことを確認した．なお，
歯車とスライダーは一体造形できるが，サーボモー
ターの取り付けには，別途出力した歯車をネジで取り付ける必要がある．動作を図 7 右に示す．サーボ
モーターと連結された黒い歯車が回転すると，複数の歯車が連動して動き，最後にラックギアを備えたスライダーが平面移動を行う．歯車は，スライダーの平行移動の可動幅の増大を狙って複数個配置した．

図 7. サーボスライド．左：サポート材除去前，中央：
サポート材除去後，右：サーボの回転方向とスライ
ダーの移動方向．

図 8. サーボスライドの構成（左）と歯車の断面図（右）．
図 5. キャタピラベルト．左：サポート材除去前（白）と除去後（黒），中央：部品 2 個の連結例（下は側面図），右：スマートフォンの固定例．

4.2.3

図 6. キャタピラベルトの利用例．ストッパーで生まれた輪を使って，フック等に吊るすことができる．

4.2.2

サーボスライド

歯車を使ってサーボモーターの回転を直線運動に変換させるジョイントを作成した．図 7 の左に造形
直後の写真を，中央にサポート材除去後の写真を，右にサーボを取り付けた写真を示す．軸部が受動部，軸受け部（歯車）が作動部となっており（図 8），これは 4.1 より，(3) の形状を踏襲したものである．歯車を用いた機構は軸のガタツキや歯のかみ合い具合- 33 -

プチ三脚

角度調整機能を備える小型の折り畳み式三脚を試作した．図 9 の左に造形後の写真を，中央と右に 3Dモデルを示す．最上部に短いベースレールを備えており，レールに取り付けたアタッチメントの角度を
2 軸方向に調節することができる．これは，レールの根本にある回転機構により傾きを約 90 度の範囲で変更でき，レール部と三脚部の接合部分の回転機
構により，360 度水平方向に回転させることができる．三脚部は，脚の開閉と伸縮を行うことができる．
脚の連結部は，各接続部にある回転機構によって滑らかに開閉する．脚の伸縮については，試作段階のスライド機構を使い，脚の長さを最大 2 倍に伸ばすことができる．こういった構成要素が多く複雑なモデルを複数のパーツに分けて出力し組み立てる場合
は手間／時間が掛かるが，一体造形することでそれらのコストを削減できる．

5

出力実験

5.1 目的FDM 方式の 3D プリンターは，価格帯が幅広く，完成品から組み立てキットまで様々な形態で販売さ

WISS 2019

図 11. 出力した軸の断面．左から，作動可能な状態，完
全溶着した状態．

図 9. プチ三脚．左: サポート除去前／除去後の外観，
中央: モデル外観，右: 主要部品と回転機構

れている．また，使用する材料や，調整するパラメー
タも様々である．また，パラメータは，使用素材に合わせたり，造形時間の短縮を重視するなど，個人がそれぞれの目的に合わせた最適な設定で環境を構築しており，造形品質は環境によって異なる．今回の一体造形を用いる回転機構では軸と軸受けのクリアランスが重要であり，造形品質によっては，回転機構が作動しない状況が生じると考えられる．そのため，個々の環境に応じたクリアランスを把握するための基準モデルが必要であると考え，簡易的な基準モデルを設計した．本章では，基準モデルを用いた出力実験について述べる．5.2 節で実験の準備を，
5.3 節で機種別クリアランス調査を，5.4 節で積層
ピッチの影響調査を報告する．

5.2 準備
5.2.1 基準モデル
図 10 に示した基準モデルについて，これは，キャ
タピラベルトを踏襲した形状である，軸直径を 6mmとし，それぞれ 0.1mm，0.2mm，0.3mm，0.4mm，0.5mm のクリアランスを設けた軸受けを持つ構造体である． これを 3D プリンターで出力し，軸部以外のサポート材やラフトを除去した後，軸部を手でほぐして作動させることで，クリアランス毎に溶着の発生やガタつきの有無を直感的に調査することができる．たとえば 0.1mm の節が動かず 0.2〜
0.5mm が作動する場合は，0.1mm の軸は溶着が発生し，0.2mm 以上が利用可能なクリアランス値となる．作動した節と作動しなかった節を切断した写
真を図 11 に示す．作動しなかった方（図 11 右）では，クリアランスが無くなり，軸と軸受けが一体化していることがわかる．この状態を本稿では完全溶
着と呼ぶ．

5.2.2

利用機材と素材

調査で使用する 3D プリンターは，著者らが所有する 4 種類の FDM 式 3D プリンターを用いた（図12）．素材は UP!Plus2 の ABS ＋フィラメントに統一した．

図 12. 調査に用いた 3D プリンター．左から，UP
Plus2，Zortrax M200，FlashForge Creator
PRO，HICTOP Prusa i3．

5.3 実験 1：機種別のクリアランス調査
5.3.1 手法
図 10 に示した基準モデルを図 12 に示す 4 種類の3D プリンターで出力し，作動する節とその節の固さを調査する．各機材の出力設定は，ABS 素材でのソフトウェア標準の設定に準拠するものである．設定したパラメータを表 1 に示す．本実験では，積層ピッチは 0.2mm(Zortrax は 0.19mm) に統一した．

5.3.2

結果と考察

結果を表 2 に示す．作動しない，あるいは手でほぐす際に破損するような状態の節は「不可」，手で節をほぐした後，軽く揺すっただけでも軸が可動する状態の場合は「緩い」，手で節をほぐした後も，手で力をかけることで作動する状態を「固い」として，3 段階に分類した．著者の出力環境では，クリアラ
ンスが 0.1〜0.2mm 間では可動しない節をもつ 3D
プリンターがあり，0.3〜0.5mm 間では軸のクリア
ランスが「固い」ものと「緩い」物が混在していた．
また，Creator PRO では，クリアランスが 0.5mmの節で下軸部が出力中に軸受け部から脱落してしま
い，軸が消失した状態になった．過剰にクリアランスを設けた場合でも作動不可となってしまう場合があることが判明した．得られた結果より，機種毎の差を調査することができたので，これを基準クリア
ランスとして，可動部の硬さを調整できる見通しが図 10. 調査に用いた基準モデル．

- 34 -

3D プリンターによる一体造形式回転機構の提案

表 1. 設定したパラメータ. ソフトウェア上で設定項目がない場合は「-」を記載した．

印刷速度
品質
サポート角度
出力温度
内部密度

UP Plus2
ファイン1
10 度以下semi-solid3

Zortrax
HIGH2
10 度以下High4ついたと考えられる．これをもとにして，クリアラ
ンスを調整するシステムを構築したい．

Creator PRO
60mm/s
30 度以下220 度
15 ％Prusa i3
50mm/s
30 度以下240 度
20 ％

表 3. 積層ピッチ 0.3mm の出力結果．

表 2. 積層ピッチ 0.2mm の出力結果．各軸部の状態を不可／固い／緩いの 3 段階で示す．
表 4. 積層ピッチ 0.4mm の出力結果．

5.4

実験 2：積層ピッチ変更によるクリアランス
への影響調査いることから，一体造形式の回転機構では，機種に依らず，積層ピッチを 0.3mm 以下で出力する必要がある可能性が示唆された．今後は，機種によってクリアランスへの影響が増減する要因となるものを調査したい．

積層ピッチは，造形時の 1 層の厚みを決める印刷設定であり，造形時間と品質に関係している．値を小さくすれば造形時間が長くなるが造形物の表面が滑らかになり，値を大きくすれば造形物の表面が粗くなるが，造形時間が短縮される．よって，モデルの出力は精度に影響がない範囲で荒い設定とすることが望ましい．そこで，本回転機構における積層ピッ
チの変化による影響を調査した．

6

5.4.1 手法
表 1 に示したパラメータに準拠する形で，積層ピッチのみをそれぞれ 0.3mm(Zortrax は 0.29mm)，
0.4mm(Zortrax は 0.39mm) に変更して，4 種類の3D プリンターで基準モデルを出力した．
5.4.2

結果と考察

積層ピッチ 0.3mm における各機種のクリアラン
スの状態の調査結果を表 3 に，積層ピッチ 0.4mm
における各機種のクリアランスの状態の調査結果を
表 4 に示す．
積層ピッチが大きくなるほど可動する節が減少す
る傾向はすべての機種にみられた．得られた結果よ
り，積層ピッチが 0.2〜0.3mm の間では，クリアラ
ンスへの影響は少ないと考えられる．また，0.4mmの積層ピッチでは，不可となる節が大きく増加して

議論

ここでは，
「基準モデル」の活用方法と，実装と性
能検証の結果を踏まえて，「作動部の固さ」「一体造形に適した設計」「回転以外の機構設計」について
議論する．

6.1

基準モデルの使い方

図 10 で紹介した，基準モデルについて，個人環
境における使い方を述べる．まず，個人の 3D プリ
ンターで基準モデルを出力し，適正クリアランスを確認する．この適正クリアランスに応じて，出力するモデルの回転機構のクリアランスを調整する．この手順で一体造形式の回転機構を持つモデルを作成することで，少ないコストで様々な個人環境に適応できると考える．今後は，実際にモデルデータを公開し，出力結果のフィードバックを集めることで出力が成功するかを検証していきたい．

6.2 作動部の固さ
5 章の実験では，作動部の状態を作動不可／固い／緩いという 3 段階で分類したが，「固い」には，軽1

ファイン，ノーマル，ファストの三段階
HIGH，NORMAL，DRAFT の三段階
3
Solid, semi-solid, semi-hollow, hollow の四段階
4
MAXIMUM，HIGH，MEDIUM，LOW の四段階

く動かしただけで動くものや，しっかりと手ごたえを感じる固さも含まれており，幅広い固さを内包した分類となっている．この固さの違いを，様々な機

2- 35 -WISS 2019

参考文献

種で意図して再現できるような調整ができれば，角度を変えられるスタンドなど，モデリングによる表現の幅が広がると考えられる．これは，基準モデルを出力し固さを確認した後，その結果に応じてクリアランスを設定する方法で，実現できる可能性があると考えている．

6.3[1] Alexandra Ion, Johannes Frohnhofen, Ludwig
Wall, Robert Kovacs, Mirela Alistar, Jack Lindsay, Pedro Lopes, Hsiang-Ting Chen, and Patrick
Baudisch. Metamaterial Mechanisms. In Proceedings of UIST ’16, pp.529-539. 2016.
[2] Alexandra Ion, Robert Kovacs, Oliver S. Schneider, Pedro Lopes, and Patrick Baudisch. Metamaterial Textures. In Proceedings of CHI ’18. Paper 336, 12 pages, 2018.
[3] Chengkai Dai, Charlie C. L. Wang, Chenming
Wu, Sylvain Lefebvre, Guoxin Fang, YoungJin
Liu. 2018. Support-Free Volume Printing by
Multi-Axis Motion. ACM Trans. Graph. 37, 4,
Article 1, 13 pages, 2018.
[4] Haruki Takahashi and Homei Miyashita. Expressive Fused Deposition Modeling by Controlling
Extruder Height and Extrusion Amount. In Proceedings of CHI 2017, pp.5065-5074, 2017.
[5] Vanek, Juraj, Jorge A. Garcia Galicia, andBedrich Benes. Clever support: Eﬃcient support
structure generation for digital fabrication. Computer graphics forum. Vol. 33. No. 5. 2014.
[6] Xiaoting Zhang, Xinyi Le, Athina Panotopoulou,
Emily Whiting, and Charlie C. L. Wang. Perceptual models of preference in 3D printing direction.
ACM Trans. Graph. 34, 6, Article 215, 12 pages.
2015.
[7] 片倉翔平, 渡邊恵太. PrintMotion: 3D プリンタに搭載されたアクチュエータを使用してプリントしたオブジェクトを動かす手法の提案，WISS2018 論
文集 (2018)

一体造形に適した設計

円錐台形状の軸と軸受けはサポート材を使わずに造形できるが，それ以外の部分にはサポート材が生成されてしまう．ここでは，サーボスライドを例にその状況と対策を説明する．サーボスライドは，歯車（軸受け）とスライダーを備えた作動部と，歯車の回転軸とスライド穴を備えた受動部に分けられる（図 8 左）．歯車と受動部の間にはサポート材が生成され，この狭い隙間にできたサポート材は除去が非常に難しい．今回はこの対策として，受動部に複数の穴を設けることで裏からサポート材を取り外せるように工夫した（図 13）．こういったサポート材除去のためのノウハウを汎用的な手法に落とし込める
ように，試作の知見を整理したい．

図 13. サーボスライド裏面図．サポート材除去を助ける穴（黄色い領域）を設けた．

[8] 高橋治輝，宮下芳明．熱溶解積層方式 3D プリンタを用いた表現と造形手法のデザインのためのパラメータ探索手法，インタラクション 2018 論文集，pp.135-144，2018.

また，新たな課題として，出力パラメータの設定
によっては，軸受けやその周辺部分が破損することがあった．今後は軸受け側の負荷も考慮し，より実用的な形状に改良したい．

6.4[9] 新山 大翔, 沖 真帆, 塚田 浩二, 3D プリンターの特性に配慮した汎用ジョイント機構の提案, エンタテ
インメントコンピューティングシンポジウム 2016
論文集, pp.252-258, Nov, 2016.

回転以外の機構設計[10] 新山 大翔, 沖 真帆, 塚田 浩二，3D プリンタを用いた弾力調整可能なコイルスプリングジョイント機構の試作と評価，研究報告ヒューマンコンピュー
タインタラクション（HCI）, 2019-HCI-182(33),pp.1-8, 2019.

本稿では回転機構に焦点を当てて実装・検証したが，異なる作動機構についても一体造形に適した機構設計を進めたいと考えている．現時点ではスライド機構の試作を進めており，4.2.3 で紹介した三脚の脚の伸縮部に組み込み，出力／作動に成功する事を確認している．ただし，このスライド機構は出力方向に制約があり，また，必要となるクリアランス
が回転機構と異なる可能性がある．

7

まとめと今後の課題

3D プリンターを用いた一体造形に適する機構設計を目指し，回転機構とその応用例を実装した．今後は，試作で得た知見を整理しながら，スライド機構の設計や，サイズやクリアランスを調整するシス
テムの構築を進める．

- 36 -WISS 2019

タンジブルなブロックを組み立てることにより AR 空間で実行可能な
教育用プログラミングツール
服部 圭介

井上 馨太

志賀野 桐生平井 辰典 ∗

概要. 2020 年度から実施される新学習指導要綱において小学校でプログラミング教育が必修化されることから，教育に適したプログラミングツールが望まれている．初学者向けのプログラミングツールには，ビジュアルプログラミングや，ロボットプログラミングキットなどが存在する．しかし，ビジュアルプログラ
ミングを教える際に使う PC を十分に用意できていない学校が存在したり，プログラミング教育用ロボット
ではプログラムの実行結果に物理的な制限が生じてしまう．本研究では教育用ロボットのように実物でのプログラミングを可能としながら，ビジュアルプログラミングのように実行結果に制限なく自由なプログラ
ミングができるツールを AR を用いて実現する．具体的には，命令が書かれたタンジブルなブロックでプ
ログラミングし，AR 技術でスマートフォンの画面を通して実行結果を現実に重畳させて見ることができる
ツールを提案する．

1

はじめに

19 歳では 76.6%と若年層では顕著に表れている．こ2020 年度から小学校で実施される新学習指導要領[7] において，プログラミング教育が必修化されることから教育に適したプログラミング教育ツールの開発が望まれている．児童に対して，一般的なテキス
トプログラミングを学習させるのはハードルが高い．
そのため，視覚的なブロックを組み合わせることで簡単にプログラミングをすることができるビジュア
ルプログラミングが注目されている．ビジュアルプ
ログラミングの多くは，キーボードによるタイプ入力をほとんど必要とせず，マウス操作だけで複雑なプログラムの作成が可能となっている．MIT のメ
ディアラボで開発された，代表的なビジュアルプロ
グラミングに Scratch[3] がある．Scratch は画面上の命令の描かれたブロックをユーザがマウスを使い組み合わせることで簡単に複雑なプログラムを作る
ことができる．Scratch は世界中のプログラミングのワークショップ等で児童に対して使用されるなど，
プログラミング入門教材として適している．一方で，Scratch を始めとした多くのプログラミング言語/開発環境は PC を使わなければプログラミングができないということが課題だと我々は考えている．現在
プログラミング教育に使われている多くのビジュア
ルプログラミングは通常一人一台の PC を操作してプログラミングを行う．総務省の 2019 年の通信利用動向調査 [5] によると，スマートフォンによるイ
ンターネットの利用割合が，PC での利用割合を上回った．全年齢の平均的な利用割合はスマートフォ
ンが 59.5%，PC が 48.2%となっている．特に 20〜
29 歳ではスマートフォンでの利用が 88.7%，13〜∗

Copyright is held by the author(s).
駒澤大学- 37 -のデータから，若年層には特に，情報機器の利用割
合は PC からスマートフォンへと変化しているため，
プログラミングが PC だけに留まらずスマートフォンでもできるようにしなければ，スマートフォンしか使用できない子供と，PC とスマートフォンを使える子供でデジタルディバイドが産まれてしまう．
初学者がプログラミングを学ぶ上で，その言語を用いたプログラミングが直感的であるかどうかはとても大事な要素である．我々は PC をプログラミン
グ初学者に使わせることが，直感性の低下をさせる要因の一つだと考えている．児童がプログラミングを学習する以前に教員は児童に PC 操作から説明しなくてはならないため，プログラミングの授業へ到達するまでに時間がかかってしまう．そのため PCを使用しないプログラミングツールを使うという選択肢も考えられる．
ビジュアルプログラミングは前提として PC を使い，画面の中でプログラミングをすることとなっている．児童は，画面の中の世界に対して命令を与えているという認識を持たないとプログラミングを学ぶことができない．これは児童がそれまでにどのような情報機器にどれだけ触れてきたのかによって理解度に差が生じることが懸念される．小学生全員に対する必修化であれば，そのような機器に生まれて一度も触れてこなかった児童も想定が必要である．
PC などの電子機器を使用するプログラミング
ツールとは対照的に，実際に手に取ることができる物体を使ってプログラミングを行うキットのこと
を物理プログラミングと呼ぶことにする．物理プロ
グラミングは，命令に対応する物体を組み立てることで，ロボット等の対象物を操作することができる．
実世界で作成したプログラムが実世界で直接対応さ

WISS 2019

れ実行されるため，プログラミング初学者でも直感的にプログラミングが可能となっている．しかし，物理プログラミングの欠点として，物理的な物体を操作することによる物理的な制限がかかる点がある．
例えば，児童はロボットを空に飛ばすような命令を思いついても実行させられない．
そこで，本稿ではタンジブルな物体を使った直感的なプログラミングと，制限のない自由な実行結果と，複数の児童が同時にプログラミングできる機能を合わせ持ったプログラミングツールを提案する．
具体的には，物理プログラミングのように現実世界の物体を使ってプログラミングを行い，その結果をAR 技術によって現実世界に重畳させる形で提示する．それにより，現実世界におけるプログラミングをベースに，拡張現実空間における CG アニメー
ションという形で自由なプログラミングを実現する．
これにより，PC の画面の中に制限されていたビジュ
アルプログラミングと，物理法則やロボットの駆動域に制限されていた物理プログラミングの両者の制限を払拭したようなプログラミングツールの実現を
目指す．

2

関連研究

プログラミング言語の種類は年々増加しており，
プログラミングの学習に重きをおいた言語やツー
ル，研究事例が多くある．学習に重きを置いた言語やツールの多くは，視覚的にプログラミングをする
ビジュアルプログラミングや，タンジブルにプログ
ラミングをする物理プログラミング等をベースに作られている．
本研究では上記の二種類のプログラミングツールの利点を合わせ持つツールを開発するため，以下の要素を合わせ持ったツールの実現を目指す．

1. ビジュアルプログラミングを始めとした PCを用いる従来のプログラミング言語のような実行結果の柔軟性（自由な実行結果）

2. 物理プログラミングにおけるプログラムと実行結果との明確な対応関係による直感性
上記の二つの要素を同時に実現するために，現実世界に直結していながらも，物理的な制約を受けずに現実世界を拡張可能な AR 技術を用いることが有効であると考えられる．
八城らが提案した物質プログラミング [6] は，Scratchのソフトウェア上のブロックを実体のあるブロック
としてプログラムを制作できるツールである．それらの実態のブロックを組み合わせることで PC 画面
内の車，もしくは車型ロボットの動きをプログラミ
ングする．このツールでは要素 2 のように，タンジ
ブルにプログラミングすることによる物理プログラ
ミングのような直感性はあるが，画面内の世界を理解しなければならない上に，要素 1 のような物理的- 38 -

な制限を超えた実行結果をプログラミングすることができない．
坂本らは物理的な形状を持ったパーツを直接手で組み合わせ，それを画像認識によって読み込むことでプログラミングできる MR Code Weaver[4] を提案した．入力されたプログラムの実行結果は，三脚によってテーブルの周囲に固定されたプロジェクタ
によってテーブル上に投影される．全工程がテーブ
ル上で完結しているため，パーツによるプログラミ
ング操作と映像による実行結果を同時に確認可能としている．このツールは，物理プログラミングのよ
うに直感的にプログラミングをすることはでき，要素 2 に挙げた対応関係による直感性はある．しかし，プロジェクタを通して実行結果が投影されるため画面の中で行うプログラミングとの間に大きな違いがない．
Magnenat らは画面内のブロックを操作することでプログラミングした，ロボットにタブレット PC
をかざすことでプログラムの内容を視覚的にフィードバックするツールを研究している [2]．この研究は，プログラムの実行結果に AR 技術を使うことで，プ
ログラムのフィードバックをタブレット画面内に表示させ，ロボットの動きとプログラムの動きを同時に確認することができる．フィードバックを表示させることにより，プログラムの改善性を上げる研究となっている．このツールは，物理的なロボットを使うため，プログラムに制限が掛かってしまう他，
画面内でプログラミングをするため要素 1 のような自由度はあるが，要素 2 のようなプログラミング行
為自体に直感性はない．
近年多くの AR インタフェースが開発されているが，それらのプロトタイプを作成するには，技術や知識が必要とされることが多い．Kelly らは，AR イ
ンタフェースの作成過程を視覚的に簡略化し，知識がなくても自由にプロトタイプを児童でも作ることができるツールの ARcadia[1] を研究している．マーカの書かれたカードと，画面内のビジュアルプログ
ラミングで使われるブロックを操作し，それぞれのマーカに対する命令を決め，AR インタフェースをプ
ログラミングするツールとなっている．Kelly らは，
このツールを用いて，児童らに AR インタフェースの作成をさせるワークショップを開いている．この
ツールは，要素 2 とは違い画面内のブロックを組み合わせることで，AR インタフェースを作成するた
め，我々の提案ツールとは違い，プログラミングの行為自体には直感性が生まれない．
これまで挙げた既存研究は，タンジブルにプログ
ラミングすることで，物理プログラミングにおける直感性を高めるツールや，ビジュアルプログラミン
グのように画面内でプログラミングをし，現実に実行結果が見せることで直感性を高めるツールである．
本研究は，タンジブルなブロックで物理プログラミ

タンジブルなブロックを組み立てることにより AR 空間で実行可能な教育用プログラミングツール

させたら，スマートフォンのカメラを通してプログラムを認識する．すべてのマーカブロックが認識されている状態で「ロード」ボタンを押すことでプログラムが読み込まれる．この作業が一般的なプログ
ラミング言語におけるコンパイルの作業にあたる．
一般的なプログラミング言語では実行画面やコンソール等を通じてプログラムの実行結果を確認する
が，本システムでは現実世界すべてが実行画面に対応する．そこで，本システムにおいて，実行結果を重畳される現実世界のことを「実行フィールド」と呼ぶ．実行結果を表示するにあたり，まず，実行フィールドにおける座標の中心となる基準点を設定する．
この作業は，ユーザが現実世界における床をスマー
トフォンでタップすることによって行う．次に，実行フィールド内のオブジェクトを出現させたい場所にスマートフォンを移動させて，オブジェクト出現
ボタンをタップすることでフィールド内の任意の位置にオブジェクトが出現する．このオブジェクトは
拡張現実空間における CG オブジェクトであるため，ユーザが移動して別の角度から見ても，初めに出現させた位置に留まり続ける．
以下に提案システムの詳細を述べる．

図 1. 本システムを使ったプログラミングの流れ

ングのように直感的にプログラミングすることができ，AR を用いて物理的な制限なく現実に重畳しながら実行できるもので，ビジュアルプログラミングと物理プログラミングの利点を保持しつつ，双方の欠点を補えるものとなっている．

3

提案システム本ツールは，机の上でブロックを並べることで物理的にプログラミングした結果が，スマートフォン
やタブレットの画面を通じて現実世界に重畳されるという形で実行される．本システムにおけるプログ
ラミングから実行までの流れを図 1 に示す．プログ
ラミングには「マーカブロック」というタンジブルに組み合わせることができる木製のブロックを利用する．マーカブロックは，Scratch におけるブロックの概念に AR マーカの機能を付加したものであり，一つひとつに命令が記述されている．AR マー
カの機能によりマーカの種類を判別している．ユー
ザがマーカブロックを取捨選択して並び替える作業が本システムにおけるプログラミングの作業にあたる．Scratch に倣って本システムのマーカブロックにも凹凸をつけることで不適切な順番で命令を並べることができないようなデザインにした．マーカに
は「まえにうごく」などの動作に関する命令や，「もし〜〜にふれたら」，「〇回くりかえす」などの if 文や for 文に相当する制御に関する命令が記載されている．マーカブロックを組み合わせることによって作成したプログラムは，現実世界に重畳させる CG
オブジェクトそれぞれに対してプログラミングされる．この CG オブジェクトは，Scratch におけるスプライト（キャラクタ）にあたるオブジェクトであり，現在の実装では，立方体オブジェクト，車のオ
ブジェクト，ドローンのオブジェクト，アヒルのオ
ブジェクトの四種類から選択できる．ユーザが机の上でマーカブロックを並べ終えてプログラムを完成

3.1

マーカブロックの種類

本システムにおけるプログラミングはマーカブ
ロックを組み合わせることで行われる．マーカブロッ
クは図 1 及び図 2 及び図 3 の一部に示されているような凹凸のあるカラフルなブロックである．これらは，Scratch を参考にして制作したものであり，Scratchと同様に命令のジャンルによって色分けされている．
命令のジャンルとして，「イベント」，「制御」，「動き」，「見た目」の 4 種類のマーカブロック合計 28 種類が実装されている．以下に，現時点で制作，実装済みのマーカブロックについて簡単に述べる．また，実装済みのマーカブロックの一覧を表 1 に示す．
まず，
「イベント」マーカブロックは，プログラムを実行させるきっかけを与えるための命令ジャンル
で，紫色で実装している．これらは，実行フィール
ド上に配置したプログラミング済みのオブジェクトに対して，命令を実行させるトリガーとなる命令である．
「動き」マーカブロックは，オブジェクトの動きに関する命令を表すもので，青色で実装しており，
18 種類のマーカブロックを実装している．命令は
主に座標や回転角度に関するものである．
「動き」マーカブロックの一部には数値を入力できるように数字の書かれた円形の歯車のようなマーカを取り付けることもできる. 数値入力の対象であるマーカブロックは入力された数値に応じて動き方が変化する．各マーカブロックへの入力方法として
は，数字が書かれているマーカを回転させ，マーカの角度によって 10 段階 (0-9) に数値を入力すること- 39 -WISS 2019

るというもので，「カメラにふれたら」は同様にオブジェクトがカメラに触れた際に実行されるというものである．
「はこにふれたら」は現実世界に事前に用意した立方体の箱を実行フィールド内で認識することで配置された AR オブジェクトの箱に触れた際に実行されるものである．
「クラップしたら」はユーザが使用するスマートフォンに付属しているマイクの近くで拍手をした際に命令が実行されるというものである．以上が if 文に対応するマーカブロックであり，for 文に対応する制御マーカブロックとしては「〇回くりかえす」がある．

表 1. マーカブロック一覧

種類
イベント

動き

見た目
制御

マーカブロック
オブジェクトをタップしたとき
触ったら繰り返し
まえにすすむ
うしろにすすむ
うえにすすむしたにすすむみぎにすすむ
ひだりにすすむ
X,Y,Z ほうこうにみぎかいてんX,Y,Z ほうこうに
ひだりかいてん重力
おおきさをかえる
カメラにむける
音を出す
プラスにする
マイナスにする
いろをつける
きえる
地面にふれたらもしカメラにふれたらもしはこにふれたらもしクラップしたら〇回くりかえす
ここまで

数値入力
×
×
○
○
○
○
○
○

3.2
○
○
×
○
×
○
×
×
○
×
×
×
×
×
○
×

ができる．その他の数値入力機能として，上記数値
マーカと同様の形で「中心と自分との距離」と書かれたマーカを使うことで数値の入力ができる．このマーカで数値入力をした場合，実行フィールド内における座標の原点とスマートフォンまでの距離が数値として入力される．
「見た目」マーカブロックは，オブジェクトの見た目に関する命令を表すものであり，「いろをつける」，「きえる」の 2 種類がある．
「いろをつける」はオブジェクトに色をつける命令で，「きえる」はオブジェクトを消去する命令である．
「制御」マーカブロックは，プログラミングにおいて重要な，様々な制御を行うための命令を表すものであり，if 文，for 文に対応するようなマーカブ
ロックが用意されている．if 文に対応する制御マー
カブロックとして，全ての制御マーカブロックと「｝」に対応する「ここまで」を実装した．
「地面にふれたら」は，オブジェクトが地面に触れた際に「地面にふれたら」から「ここまで」の中の命令が実行され- 40 -

AR を用いたことによる特徴的なプログラム

現状のシステムは，まだプログラミング可能な命令の種類が限られているが，3.1 節で説明したマー
カブロックを組み合わせることで基本的な動作に関するプログラムが作成できる．本節では，AR 技術を利用していることにより実現可能な，現実と CG
オブジェクトとのインタラクションを可能とするプ
ログラムの例を紹介する．現状のマーカブロックを用いて制作した本システムの特徴的なプログラムとして，AR 技術を利用したラジコンのプログラムを
図 2 に示す．このプログラムでは，車のオブジェクトが地面に落下した後，時計周りに曲がりながら地面を走行する．プログラムが実行されている間にユー
ザがスマートフォンのマイクに向けて拍手すると，その瞬間「マイナスにする」というマーカブロック
が作用し，回転方向が逆転する．その後すぐに数値がプラスになり，時計回りに戻る．
他にも，オブジェクトがユーザ（カメラ）の方に向かってくる鬼ごっこのプログラムや，図 3 のような実物の箱と AR のオブジェクトを組み合わせたホッケーゲームのようなプログラムも実装可能である．
以上のように，本システムはプログラミングでありながらも現実と密接に繋がった体験を提供できる．
これにより，ユーザがプログラミングをより身近なものとして感じられるようなシステムとすることを目指している．

3.3

想定される教材としての利用方法

本システムは，プログラミング学習を支援することを目的として開発しているため，プログラミング
学習を支援する教材としてどのような利用方法を想定しているかについて記述する．本システムは，児童全員に Android OS のスマートフォンやタブレッ
トを配布し，紙に印刷したマーカブロックを用意することができれば一人一人がプログラミング体験をすることができるため，低コストで導入できる．
また，一人一台の端末が用意できなくても，また，一人一台の端末が用意できなくても，数人に一台のAndroid 端末で実行結果を確認させるという利用方法も考えられる．これは，プログラミングの作業とタンジブルなブロックを組み立てることにより AR 空間で実行可能な教育用プログラミングツール

ミングを教えた経験がある 5 名に評価してもらった．
被験者の教員らが児童に教育している言語は Scratch
であり，全員ビジュアルプログラミングの知識を持っており，また，児童にプログラミングを教える際の授業の様子を知っている．5 名の被験者全員に本ツールの操作説明と簡単なプログラムの例を見せた後，数分間自由に本ツールを体験してもらった．その後，本ツールのメリットとデメリットについて口頭で回答するという形で評価してもらった．

4.2
図 2. AR 技術を用いた現実とのインタラクションを可能とするラジコンのプログラム

評価の結果，複数の児童が同時に本ツールを使った際のメリットとして，「このツールであれば隣の席の児童同士で一緒にプログラミングが可能である」という意見が挙げられた．また，他に挙げられたメ
リットとしては「机の上にプログラムコードがあることで教員が児童のプログラムをすぐにチェックでき，プログラムの修正をさせることが容易にできる」という意見も挙げられた．
そしてデメリットの一つとして挙げられた評価としては「スマートフォンのカメラを使うことによる児童に対してのプライバシ保護についての機能がない点」という意見が得られた．児童が所有している
スマートフォンを授業において使用することは，プ
ライバシのリスクから難しいのではないかという意見が得られた．

図 3. AR 技術を用いた現実とのインタラクションを可能とするホッケーゲームのプログラム

実行結果の確認が独立した工程となっているからこ
そ可能な方法である．実体のあるマーカブロックを使うため，PC を使ったプログラミングと違い，ペアプログラミング等の複数人の協力によるプログラ
ミング学習も比較的やりやすいものと考えている．
すでに多くの小学校で導入され始めている PC を利用した授業の問題点として，児童が PC を勝手に操作してしまうことを教員一人では完全に制御しきれないことが挙げられる．それに対して，本システ
ムを用いてマーカブロックを並べる作業は，教員一人でも児童の作業を全体的に観察できるため，児童の様子を見ながら授業を進めることができる.

4

ユーザスタディ4.3

考察

評価の一つとして，実際のブロックを使ってプロ
グラミングしていることから複数人でのプログラミ
ングが可能であるという意見が得られた．このことから，本システムを使えば，学校で機材が人数分用意できなくとも全員にプログラミング教育が可能になるのではないかと考えられる．また，教員が複数の児童のプログラムを見る際にも容易に児童の進行度を確認することができると考えられる．一方で，教育現場でのプライバシの配慮に関しても意識しな
がら今後の開発を進める必要がある．
また，本ツールに対するコメントとして，児童が作ったプログラムに対して評価をすることができる
ような機能の追加を提案された．現状，児童のプログラムを評価は，教員がそれぞれの判断で決めることになっている．そのため，教員ごとに評価が異なってしまうことがある．ツール内での評価を可能とすることで，児童のプログラムの評価は統一され，評
価のばらつきが少なくなると考えられる．

ユーザスタディを通じて本システムの評価を行った．評価は，5 名のプログラミングスクールの教員に本ツールを使用してもらった後に，「教育機関において複数の児童に対して本ツールを使った際のメ
リットとデメリット」についてのインタビューに回答してもらうという形式で行った．

4.1

評価結果

実験条件

教育機関において使用されるようなツールとして開発する際には，児童にとっても，教員や学校にとっても使用しやすいツールとして開発する必要がある．

被験者は著者が所属しているプログラミングス
クールの教員で，児童に対してビジュアルプログラ- 41 -WISS 20195まとめ

本稿では，ビジュアルプログラミングと物理プロ
グラミングのメリットを享受しつつ AR 技術用いることによりそのデメリットを補うツールの提案をした．そして，教育機関における教材としての可能性
について検討した．本システムは，物理プログラミ
ングのようにタンジブルにプログラミングを行い，その結果を AR 技術によって現実世界に重畳させる．それにより，直感的なプログラミングを可能としながら，拡張現実空間における CG アニメーショ
ンという形で物理法則に縛られない自由なプログラ
ミングを実現するものである．タンジブルなブロッ
クを使いつつ，PC を使わずにプログラミングが可能なことから，複数人でのプログラミングが容易である．それに加え，教員が児童の作ったプログラムのチェックを容易にできるのではないかという意見をもらった．
本研究の今後の課題として，児童が本ツールを用いてプログラミングをすることで，実際に学びやす
くなっているかを検証することが挙げられる．しかし，現状のマーカブロックの種類が少なく自由なプ
ログラムが組めないため，有効な評価が期待できな
い．そのため，今後，マーカブロックの種類を増やし，自由なプログラムを組めるような環境を整える予定である．それに加えて，ユーザのプログラミン

未来ビジョン
将来的には，ネットワークを使って各デバイ
ス間の通信を行うことでユーザが作ったプロ
グラムを拡張現実空間内で共有できるようにする予定である．複数の児童がプログラミン
グをする場面において，児童が席を立ち，他の児童の画面を見に行くという場面が見られる．
そういった場合に，プログラムが AR 空間内で共有されていれば席を移動せずとも確認が可能になる．我々は，他人が作ったプログラムと相互に作用するような機能を追加し，より魅力的なプログラミングツールとしたい．そして，他人が作ったプログラムに対してだけ作用することにとどまらず，現実の物体に対しても作用できるようなツールの実現を目指したい．
それが実現できれば，生活において便利なものを作成できるツールとなることが期待できる．
自身にとって便利な物を作るというモチベー
ションがあれば，初学者が自発的にプログラ- 42 -

グの直感性を上げるために，AR 技術を用いることに関連したユニークな命令やプログラミング体験のデザインを今後も引き続き行っていきたい．

参考文献[1] A. Kelly, R. B. Shapiro, J. de Halleux, and
T. Ball. ARcadia: A Rapid Prototyping Platform
for Real-time Tangible Interfaces. (4):D314:1–
D314:4, 2018.
[2] S. Magnenat, M. Ben-Ari, S. Klinger, and R. W.
Sumner. Enhancing Robot Programming with
Visual Feedback and Augmented Reality. pp.
153–158, 2015.
[3] M. Resnick. Scratch: Programming for All. 2009.
[4] 坂本恋, 大島登志一. MR Code Weaver：投影型ミクストリアリティによるタンジブルなプログラミ
ング学習ツール. インタラクション 2018 論文集，情報処理学会 2018, 2018.
[5] 総務省. 報道資料「平成 30 年通信利用動向調査の結果」.
[6] 八城朋仁, 迎山和司. 物質プログラミング -物質によるプログラムの可視化と開発環境の制作-. 情報処理学会インタラクション, 2014.
[7] 文部科学省. 小学校プログラミング教育の手引（第二版）.

ミングを学ぶ姿勢を身につける助けとなると考えられる．
また本ツールの技術的な記述をすると，特定のマーカブロックに数値を入力することはできるが，現在は「10 段階の数値入力」，「中
心と自分との距離」以外のに数値入力の方法は無いため，今後はユーザの周辺の気温やユー
ザがアプリケーションを開いている時間などの一般的なプログラミング言語でいう変数を入力できるようにしていく．
そして，本ツールのプログラミング教育への有効性を測るための将来的な実証実験では，実際に児童を対象として，本システムを体験するワークショップを開く予定である．ワー
クショップを通して本システムのプログラミ
ング教育における効果を検証していきたいと考えている．実際に児童を対象としたワークショップを行うことで，本ツールを児童が使う際に必要な機能を考察することが可能である．

WISS 2019

内部構造パターンの差異を利用した 3D プリントオブジェクト識別手法
久保 勇貴 ∗

江口 佳那 ∗

青木 良輔 ∗

近藤 重邦 ∗

東 正造 ∗

犬童 拓也 ∗

概要. 本稿では，印刷条件設定に基づき形成される 3D プリントオブジェクト内部の構造パターン差異を利用したオブジェクト識別手法を提案する．あらゆるオブジェクトは，オブジェクトの形状，素材，及びその境界条件に応じた固有の振動特性を持つ．本手法は，スライサーソフトウェアを用いて異なる内部構造パターンを各オブジェクトに付与し，各オブジェクトに固有の振動特性を割り当てる．これにより，振動特性を計測することによって，各オブジェクトの識別を可能とする．振動特性はアクティブ音響センシングを用いた音響周波数応答解析によって計測し，機械学習を用いて各オブジェクトを識別する．本手法では，低充填率のオブジェクトの識別も可能とし，加えて，印刷条件を設定し内部構造パターンを付与できるために，タグとなる内部構造のモデリングを行う手間を削減できる．提案手法による 3D プリントオブジェクトの識別精度を評価するために，オブジェクト識別システム及び内部構造パターンの異なるオブジェクトを製作し，評価実験を行った．結果，平均識別精度 99.3%にて 8 つのオブジェクトを識別できることを確認した．

1

はじめに

3D プリンタの登場により，特殊な技能を必要とする工作機械を用いずとも，3D モデルを準備すれ
ば，個人のユーザでも所望の立体形状（オブジェク
ト）を容易に製作できるようになった．また，バー
コードのようなタグをオブジェクトへ付与できれば，オブジェクトに情報を結びつけることができるため，製造物管理及び真贋判定などの応用も実現可能となる．このとき，タグの付与によって，オブジェクトの外観を損なわないことが望ましい．
先行研究において，バーコード及び QR コード [1]のようなオブジェクト表面に貼り付けるタグ及び外観の特徴を用いたタグ [3] といった外観を損ねてしまうタグとは異なり，3D プリントオブジェクトの内部にタグを付与する手法が提案されている [6, 10]．
これらの手法は，オブジェクト内部にタグとして埋め込まれた中空構造を識別することにより，当該タ
グに関連付けられた情報を参照できる．
しかし，これらの手法には 2 つの問題が存在する．
1 つ目は，中空構造，すなわち，オブジェクト内部における空間をタグとして用いるために，充填率を低く設定し成形したオブジェクトに適応できない問題である．オブジェクトを低充填率に設定し成形すると，オブジェクト内部が中空状態となるため，タグとなる中空構造を埋め込むことが難しく，結果としてタグを付与することができない場合が生じうる．2
つ目は，タグの付与のために 3D モデルを作成する必要が生じる問題である．材料を積層し造形する方式の 3D プリンタを用いて中空構造を印刷する場合，
空中に材料を積層できないために，サポート材を用∗

Copyright is held by the author(s).
日本電信電話株式会社- 43 -

಼෨ߑଆԽ‫ڻ‬बഀ਼Ԣ౶

'ϕϨϱφΨϔζΥέφ

$
2FWHW
಼෨ߑଆ
͍Ζ'Ϡυϩυʖν

*\URLGԽ‫ڻ‬बഀ਼Ԣ౶

%図 1. 内部構造パターンの差異を利用したオブジェクト
識別手法．

いて支えを形成するか，もしくは中空構造の外形に45 度以下の傾斜を持たせるなどして印刷可能な構造とする必要があり，任意の中空構造を制約なく印刷することは困難である．結果として，従来手法では，オブジェクトを分割してパーツごとに印刷し，印刷した各パーツを結合して目的の 3D オブジェクトとする手法が取られている．しかし，分割印刷するためには，3D オブジェクトの分割および結合を考慮した 3D モデルの作成をユーザ自身が行う必要が生じ，ユーザの手間が増加する．加えて，タグの付与のためだけに 3D モデルを修正しなければならない問題も発生する．
本稿では，これら 2 つの問題を解決するために，
印刷条件設定時に設定する内部構造パターンを利用した 3D プリントオブジェクト識別手法 FabAuth を提案する（図 1）．著者らは基本性能評価のため，各オブジェクトが持つ音響周波数応答の違いを機械学
習により識別し，オブジェクト内部を低充填率としたオブジェクトでも識別できることを確認した [4]．
本稿では，印刷条件設定時に設定する条件に応じて形成される内部構造パターンをタグとして利用する

WISS 2019

D

G

&XELF

*ULG

&RQFHQWULF

H*\URLG

Jし印刷されたオブジェクトに対しては，これらの手法を適応できない．
一方，本研究の先行研究 [4] は，オブジェクトが持つ内部構造の差異を利用したオブジェクト識別手
法であるが，各オブジェクトを異なる構造とするために，内部構造の 3D モデルを作成する必要があった．加えて，[5, 6, 10] においても，オブジェクト内部に中空構造を埋め込むために，印刷可能なパーツに分割し 3D モデルを印刷する必要があり，このための 3D モデリングが別途必要となる．提案手法では，印刷条件設定時に充填パターン等の印刷条件を設定するとオブジェクト内部構造パターンを埋め込めるため，内部構造を埋め込むための 3D モデリン
グが不要となり，ユーザの手間を省力化できる．

F

E

K

2FWHW

I

&URVV

*ULG

/LQH*ULG

=LJ=DJ*ULG

図 2. オブジェクトの内部構造．左：実験に用いた 3D
プリントオブジェクト. 右：充填率に応じた内部構
造の変化例．

3

ことにより，[4] においてタグを付与するために必要だった，内部構造モデリングの手間の削減をはかる．
提案手法の評価のために，[4] において検証できていなかった図 2 に示すような内部構造パターンを有す
るオブジェクトにおいても識別可能か検証する．本
検証では，3D プリントにかかる材料のランニング
コストの観点から，低コストかつ，3D プリンタの中でも多く普及している，熱溶解積層（FDM）方式 3D プリンタを用いた．

2

関連研究

提案手法はオブジェクト内部に設けた構造パターンの差異を利用し，各オブジェクトを識別する．本節において提案手法と関連のある，オブジェクト識別手法及びタグの付与手法に関して述べる．
オブジェクトを識別するために，レーダ [12]，カメラ [11]，振動 [7]，および音響 [13] を用いた手法が提案されている．[13] の研究では，音響センシン
グを用いて日用品のオブジェクト識別及びこれらの位置推定を行う手法が提案されている．本手法では，オブジェクトの種類ではなく，オブジェクトの内部
構造パターンの差異に基づき，3D プリントオブジェ
クトを識別する．
外観を損なわないよう，オブジェクト内部にタグを付与する手法が複数提案されている [6, 10]．例えば，AirCode [6] は，半透明素材による光の透過性を利用し，オブジェクト内部の中空構造をプロジェ
クタとカメラを用いて読み取る．InfraStructs [10]は，テラヘルツ波を用いて，オブジェクト内部を計測し，内部に設けられた中空構造を読み取る．これ
らの手法は，オブジェクト内部に中空構造を形成しタグとして用いるために，タグとなる中空構造以外のオブジェクト内部を密にする必要がある．したがって，タグ以外の中空構造を多く含む低充填率に設定- 44 -

提案手法

本稿では，印刷条件設定に基づき形成されるオブジェクト内部構造パターンの差異によって生じる音
響周波数応答の違いを利用したオブジェクト識別手法を提案する．音響周波数応答の違いを機械学習により識別し，各オブジェクトの識別を行う．提案手法
は，オブジェクトの内部構造パターンをタグとして用いることにより，タグの 3D モデリングを不要とし，タグの付与にかかるユーザの手間の省力化をはかる．本節において，音響周波数応答解析に基づく
オブジェクト識別及びオブジェクト内部構造パター
ン，オブジェクト識別システムに関して述べる．

3.1

音響周波数応答解析に基づくオブジェクト識別あらゆるオブジェクトは，オブジェクトの形状，素材，及びその境界条件に応じた固有の振動特性を持つ．この振動特性は，特定の周波数を持つ振動をオ
ブジェクトに与えた際のオブジェクトの振動を計測し，計測した振動の周波数応答を求めることによって解析できる [8]．本手法では，この解析手法を用いて，各オブジェクトが有する内部構造パターンによって生じる振動特性の差異を周波数応答解析結果として取得し，周波数応答解析結果を特徴量とした
機械学習によりオブジェクト識別を行う．

3.2 オブジェクト内部構造パターン
3D プリンタの印刷方式の一つとして，1 層ずつ材料を積層することによって 3D モデルの立体形状を成形する，積層方式がある．中でも，FDM 方式の場合，溶融した樹脂を 3D プリンタのノズルから押し出し，1 層ずつ樹脂を積層することによって，入力された 3D モデルのオブジェクトを成形する．このときの各層の印刷パターンは 3D モデルをもとにスライサーと呼ばれるソフトウェアを用いて作成され，3D プリンタはこのパターンに従い出力する．
本手法では，印刷条件によって変更することが可能である，オブジェクト内部に形成される構造パター

内部構造パターンの差異を利用した 3D プリントオブジェクト識別手法

ンの差異に着目する．内部構造パターンが異なると，オブジェクトの内部形状及び境界条件が異なるために，オブジェクトの振動特性も異なるものとなる．
この特性を利用すると，各オブジェクト内部を異なる構造パターンとすることによって，各オブジェク
トへ固有の音響周波数特性を割り当てることができると考えられる．この仮説の初期検証を行うために，
本稿では異なる構造パターンを割り当てる手法として既存のスライサーソフトウェアを用いる．このスライサー上において変更可能な充填率及び充填パター
ンなどの印刷条件を設定し，異なる内部構造パター
ンを割り当てた図 2 に示す 3D プリントオブジェク
トを製作した．

3.3

オブジェクト識別システム実装したオブジェクト識別システムは，ノート

AudioInterface

Piezo Elements

図 3. システム構成とピエゾ素子.

能か調査するために，評価実験を実施した．実施した実験の条件，手順，各実験について述べる．

4.1

PC（OS: Windows10 64bit, CPU: Intel Core i7
1.9GHz, RAM: 16GB），及びオーディオインタ
フェース（UR22mkII, Steinberg 社），ピエゾ素子（K2512BP1, THRIVE 社）から成る（図 3）．ノート PC においては，音響信号を解析する信号解析ソ
フトウェアが動作し，オブジェクト識別を行う．
振動を与え取得するアクチュエータとして，我々はピエゾ素子を用いた．ピエゾ素子は両面テープを用いてオブジェクトに貼り付け，オブジェクトのみの音響周波数応答を得られるようにした．また，ピ
エゾ素子の貼り付けには，何度も貼り直しが可能な
両面テープを用いた．
信号解析ソフトウェアは Python 3.6.7 を用いて作成した．信号解析ソフトウェアは，出力信号生成部及び信号解析部からなる．出力信号生成部では，設定した最低周波数から最大周波数に線形に増加する信号である，掃引信号を生成する．掃引信号を用いる
ことによって，広い帯域の音響周波数特性を得ることができる．音響周波数応答解析においては，音響
信号解析ソフトウェアにおいて設定した，特定の周波数特性を持つ音響信号をオーディオインタフェー
スを介して一方のピエゾ素子に入力し，ピエゾ素子に振動を発生させることにより，オブジェクトを振動させる．同時に，もう一方のピエゾ素子によりオブジェクトの振動を取得し，オーディオインタフェー
スにおいて増幅したのちに，ノート PC に送信する．
信号解析部は，オブジェクトが振動した際の信号を
一定区間ごとに取得し，取得したデータに対してハミング窓を適用し，Fast Fourier Transformation(FFT) を用いて音響周波数応答を求めた．得られた音響周波数応答から特徴量を生成し，機械学習を用いてオブジェクト識別を行う．

4

Laptop PC

実験条件

すべての実験における共通の実験条件を述べる．
今回はまずオブジェクト自体が識別可能か検証するために，両面テープによりピエゾ素子をオブジェク
トに直接貼り付け，オブジェクト以外の物体による振動特性への影響を最小限に抑えた．オブジェクトの音響周波数応答計測時の様子を図 4a に示す．オ
ブジェクトへ接触する物体の影響を軽減するために，
計測対象のオブジェクトをシリコンシート上に設置
し振動特性の計測を行った．ピエゾ素子の貼り付け
位置は図 4b に示すように，オブジェクト側面及び上面が接する辺にピエゾ素子の長辺が合わさるよう貼り付けた．このとき，可能な範囲内において，ピ
エゾ素子の貼り付け位置が変化しないようにした．

4.1.1

3D プリントオブジェクト提案手法の実現可能性を調査するために，本実験では，既存のスライサーを用いて異なる内部構造パターンを持つ 8 個のオブジェクトを Ultimaker S5 を用いて印刷した．印刷したオブジェクト及びこれらの内部構造を図 2，各オブジェクトの音響周波数応答を
図 5 に示す．印刷したオブジェクトは 25 × 25 × 30
mm の直方体 3D モデルを用いた．この 3D モデル
をスライサーソフトウェア Ultimaker Cura [9] において，充填率を 20%，充填パターンを図 2 に示す
パターンに設定し，異なる内部構造パターンを持つ
8 個のオブジェクトを成形した．図 2 に示す充填パ
ターンの内，Octet 及び Cubic, Gyroid は，各水平

D

E

F

評価実験

今回実施したオブジェクトの内部構造パターンの差異を利用し，3D プリントオブジェクトが識別可

図 4. a,b: オブジェクトへのピエゾ素子の貼り付け方.
c: 実験に用いた直方体オブジェクト．

- 45 -WISS 2019












χ
ʖ
ϣ
ο
ω
ή
Ϝ

D

E

F

G

H

I

J

K

とを 1 試行とし，これを各実験において行った．本
実験では，1 試行ごとにピエゾ素子をオブジェクトから取り外すこととした．

4.3

N

Խ‫ڻ‬बഀ਼

N>+]@

図 5. 各オブジェクトの音響周波数応答波形（実験 1 グ
ループ 2 の各オブジェクトの 150 データを正規化
し平均化した波形）．

面の断面において構造パターンが異なる 3 次元的に構成されるパターンである．他の印刷条件としては，
フィラメントとして，Ultimaker PLA Filament，
プリンタとして Ultimaker S5 2 台を用いて，各プ
リンタにおいて 8 個のオブジェクト，計 16 のオブジェクトを成形した．

4.1.2

周波数応答解析システム及び機械学習

信号解析ソフトウェアの信号生成部において，周波数を 20-40 kHz の範囲において 20 ms 間に掃引する信号を出力するよう設定した．掃引信号の条件は[8] の研究を参考に設定した．このときのサンプリ
ングレートは 96 kHz とし，掃引信号は，プログラ
ム終了まで繰り返し出力した．同時に，信号解析部
において，入力と同様のサンプリングレート 96 kHzにて音響信号を取得した．
音響信号を 8192 データ取得するごとに，得られた音響信号の音響周波数応答を求めた．周波数応答を求めるために，まず，取得したデータにハミング窓を適用し FFT を行い，4096 のデータから成る周
波数範囲が 0–48 kHz である周波数スペクトルを求めた．次に，この周波数スペクトルを最大値及び最小値の範囲において 0 から 1 の範囲に正則化した後に，掃引信号の周波数範囲である 20-40 kHz の周波数スペクトルを抽出した．機械学習のための特徴量としては，8192 データから成る音響信号を解析及び抽出し，最終的に得られた 426 データを用いた．
また，本実験では，機械学習ライブラリとして，各オブジェクトが識別可能か識別精度を評価するために，WEKA data mining software [2]（WEKA）
を用いた．

4.2

実験 1: 3D プリントオブジェクト識別調査

実験 1 では内部構造が異なる 8 個の 3D プリント
オブジェクトが識別可能かを検証することを目的として，各オブジェクトの音響周波数応答を取得し，識別精度の評価を行った．
2 台のプリンタを用いて印刷した 16 オブジェクトを印刷したプリンタごとに 2 グループ（グループ 1,
2，1 グループに 8 個のオブジェクト）に分け，各オ
ブジェクトの識別精度を求めた．8 個のオブジェクトに対して 1 試行を行うことを 1 セッションとし，これを各グループにおいて 3 セッション行い，音響周
波数応答を取得した．よって，合計 2,400 サンプル
（2 プリンタ × 8 オブジェクト × 3 セッション × 50
サンプル）のデータを取得し，これらのデータを用
いてオブジェクト識別精度評価を行った．
識別精度を求めるために，Leave-One-session-Out
Cross Validation を行った．本評価は，3 つのセッションの内，2 つのセッションのデータを訓練
データ，残り 1 つのセッションデータをテストデー
タとして用いる．これを各セッションのデータをテ
ストデータとし，計 3 回実施した．分類器としては，
WEKA において Random Forest をデフォルトパ
ラメータに設定し用いた．結果，各グループにおいて 100%, 98.6% の識別精度を示し，平均 99.3% の識別精度にて 8 つのオブジェクトが識別可能である
結果が得られた．よって，提案手法により 8 個のオ
ブジェクトが識別可能であることが示唆された．今後，8 個以上のオブジェクト数においても各オブジェ
クトを識別可能か調査する．

実験手順

オブジェクトの音響周波数応答を取得するために，
まず，図 4 に示すように 1 対のピエゾ素子をオブジェ
クトへ貼り付けた．オブジェクトにピエゾ素子を貼り付け，音響周波数応答を 50 サンプル取得するこ- 46 -

4.4

実験 2: 同一条件下における印刷オブジェク
トの音響周波数特性の再現性調査

提案手法の有用性を示すためには，同一なプリン
タ及び印刷条件において成形したオブジェクトが，同様な音響周波数応答を示すか検証する必要がある．
同一なプリンタおよび印刷条件を用いて追加のオブジェクトを 3 個成形し，成形した各オブジェクトを同一とみなせるか波形を観察した．印刷条件は実験 1と同一とし，内部構造パターンとして Cubic（図 2a）を用いた．各オブジェクトに対して計 3 セッション
音響周波数応答を取得して得られた音響周波数応答波形を図 6 に示す．図 6 の波形より，同一オブジェ
クトの各波形は多少の誤差はあるが同様な波形が観察できる（例：1-1–1–3）が，各オブジェクトの音
響周波数応答波形（例：1-3, 2–3, 3–3）を比較すると，一部特徴が異なる傾向も観察できる．
同一条件にて印刷した各オブジェクトを他オブジェ
クトと区別しつつ同一とみなせるか，識別精度評価

内部構造パターンの差異を利用した 3D プリントオブジェクト識別手法


表 1. 混同行列．左：実験 3 の識別精度に関する混同行
列．右：オブジェクト f，h を除いた混同行列．
ࣟพ͠ΗͪΨϔζΥέφ
ࣟพ͠ΗͪΨϔζΥέφ




χ
ʖ
ϣ
ο
ω
ή
Ϝ

D





N

Խ‫ڻ‬बഀ਼









 N>+]@

図 6. 同一条件にて印刷したオブジェクトの音響周波数
応答（各セッション 50 データを正規化し平均化し
た波形）．

F

G

H

I

J

K

D

E

D 



E



H






J



F
G

F

G



























H











̸








として識別精度を評価し，これを各グループのデー
タをテストデータとし計 2 回実施）を用いた．分類
器としては，WEKA において Random Forest および Support Vector Machine (SVM) をデフォルト
パラメータに設定し用いた．結果，Random Forestの場合，平均 47.2%, SVM の場合，平均 60.2%という識別精度が得られた．SVM を用いた場合の識別精度評価結果を混同行列として表 1 に示す．表 1 に示す通り，f および h のオブジェクトの識別精度が特に低かったため，f および h のオブジェクトを除いた場合の識別精度も求めた．結果，Random Forestの場合，平均 68.1%, SVM の場合，平均 87.2%の識別精度が得られた．実験結果より，プリンタによる差異が，識別精度の低下に影響する可能性が示唆された．識別が可能だったオブジェクトの特徴として，
音響周波数応答波形が他のオブジェクトと重複しておらず顕著だったと考えられる．今後，異なるプリンタを用いて提案手法を適用する場合には，音響周
波数応答の設計が必要となることが予想される．

実験を行った．評価用データとして，実験 1 のグルー
プ 2 から cubic を除いた計 7 個のオブジェクト（オブジェクト b–h）のデータ及び図 6 の作成に用いた同一条件に設定し成形した計 3 個の合計 10 個のオブジェクトのデータを用いた．よって，合計 1,500 サンプル（10 オブジェクト × 3 セッション × 50 サン
プル）のデータを用いて各オブジェクトの識別精度を求めた．内部構造が cubic であるオブジェクトのデータに対しては，同一なラベルを付与し，他のオブジェクトが存在する場合においてもこれらのオブジェクトが同一なオブジェクトと識別可能か，実験
1 と同様な手法を用いて評価した，結果，Random
Forest により平均識別精度 95.8%にて識別できる結果が得られた．したがって，8 種 10 個と限られたオ
ブジェクト数ではあるが，同一条件において印刷したオブジェクトを同一とみなし識別できることが示唆された．今後，オブジェクト数を増加させた場合においても，今回の実験結果と同様な結果となるか調査を行う．

4.5

ED        φE        έΥF        ζG        ϔΨH        ͏͢      ਜ਼ JI        K        5

実験 3: プリンタによる内部構造パターン差
異への影響調査

各プリンタにおいて同一条件に設定し印刷したオ
ブジェクトが，同様な音響周波数応答を持ち，同一条件にて印刷した各オブジェクトを同一とみなせる
か評価を行った．実験 1 と同様に，16 オブジェク
トを印刷したプリンタごとに 2 グループ（グループ
1, 2，1 グループに 8 個のオブジェクト）に分け，各オブジェクトの識別精度を求めた．16 個のオブジェ
クトに対して 1 試行行うことを 1 セッションとし，これを計 3 セッション行い，音響周波数応答を取得した．よって，合計 2,400 サンプル（16 オブジェク
ト × 3 セッション × 50 サンプル）のデータを取得
し，識別精度評価を行った．
識別精度を求めるために，Leave-One-group-Out
Cross Validation（例えば，グループ 1 の全データを訓練データ，グループ 2 の全データをテストデータ- 47 -

議論および今後の予定

提案手法は，オブジェクトの内部構造パターンを利用することにより，内部構造の 3D モデリングの手間を省いた一方，事前に各オブジェクトの音響周
波数応答を学習しておく必要がある．内部構造の 3D
モデリング及びオブジェクトの音響周波数応答学習の 2 つの作業の負荷を比較すると，オブジェクトの作成を行うには 3D モデリングの専門知識や技能が必要である一方，学習はピエゾ素子をオブジェクトに貼り付けてプログラムを実行するだけの単純作業である．よって，モデリングの場合，専門知識や技能が必要であるが，学習作業の場合，単純作業であるため，提案手法の方が省力化できると考えられる．
提案手法では，オブジェクトの音響周波数応答を取得するために両面テープを用いてピエゾ素子をオ
ブジェクトへ貼り付けた．これは，実際の場面においては，より簡便な形態が求められると考えられる．
今後，ピエゾ素子が搭載された台にオブジェクトを置くだけでも識別が可能か，もしくはテープではな
くシリコン等のテープとは異なる媒体が適応可能か，

WISS 2019

オブジェクトへのピエゾ素子の固定方法の別形態を検討する．加えて，これらの形態においてピエゾ素子及びオブジェクトの接触箇所がずれた場合を複数回学習すると，接触箇所にずれが生じた場合においても，オブジェクトが識別可能か検証する．
今回の実験では，提案手法の基本性能調査のため，既存のスライサーを用いて内部構造パターンをオブジェクトに付与した．内部構造パターンを付与するシ
ステムの将来の形態としては，任意に生成した内部
構造パターンを埋め込む形態が考えられる．この形態であれば，既存のスライサーのようにあらかじめ用意されたパターン数に依存せずに内部構造パターンを設定可能となる．この形態においても，提案手法に基づき各オブジェクトが識別可能かについてはスライサーを作成の上，今後調査する．
識別に用いたオブジェクトは，材料が PLA，充填率が 20%，3D モデルが同一な直方体と，印刷条件として 1 条件のみを用いて評価を実施した．今後，オブジェクトの素材及び充填率，3D モデルが異なる
場合でも提案手法が適応可能か調査を行う．加えて，曲面を有するオブジェクト及び幾何学構造のような中空部分が多く存在するようなオブジェクト，他の3D モデルへも適応可能か，オブジェクトの形状条件の影響に関する調査も行う．その他にも，提案手法に関係する条件は多数存在する（例：素材，充填率，ピエゾ素子の貼り付け方，オブジェクトの個数，
3D プリンタ方式，オブジェクトへの接触方式，オ
ブジェクトの大きさ，実際の 3D モデルへの適応）．
これら条件の影響を調査し，提案手法の有用性を示すとともに，制約に関しても今後検証する．
提案手法を用いたアプリケーション（アプリ）例を述べる．アプリ例として，各オブジェクトが不正に製造されたオブジェクトかどうか識別する真贋判
定，各オブジェクトの生成モデル，作成者，製作時，使用されたプリンタ及びマテリアルの情報が参照できる，オブジェクト情報参照アプリが考えられる．

6

まとめ
本稿において，印刷条件設定に基づき形成される

3D プリントオブジェクト内部の構造パターン差異を利用したオブジェクト識別手法を提案した．内部構造の差異により，オブジェクト自体が持つ共振特性が変化し，この変化が音響周波数特性にも現れる.
本手法では，音響周波数特性をアクティブ音響センシ
ングを用いて取得し，機械学習を用いて各オブジェ
クトを識別した．提案手法を用いることによって，タグの付与に必要であった 3D モデリングが不要となり，ユーザの手間を省力化できる．提案手法のオ
ブジェクト識別精度を評価するため，内部構造の異なる 8 つのオブジェクトを製作し，識別精度評価実験を実施した．結果，平均識別精度 99.3%にて各オ
ブジェクトを識別できることを示した．

- 48 -

謝辞
本研究は，JST ACT-I，JPMJPR16UA の支援を一部受けたものである．

参考文献[1] QR Code. Automatic identification and data
capture techniques. Bar code symbology. BS
ISO/IEC 18004:2000. 2000.
[2] M. Hall, E. Frank, G. Holmes, B. Pfahringer,
P. Reutemann, and I. H. Witten. The WEKA
Data Mining Software: An Update. SIGKDD
Explor. News., 11(1):10–18, Nov. 2009.
[3] C. Harrison, R. Xiao, and S. Hudson. Acoustic Barcodes: Passive, Durable and Inexpensive
Notched Identification Tags. In Proc. of UIST
’12, pp. 563–568. ACM, 2012.
[4] Y. Kubo, K. Eguchi, R. Aoki, S. Kondo,
S. Azuma, and T. Indo. FabAuth: Printed Objects Identification Using Resonant Properties of
Their Inner Structures. In Extended Abstractsof CHI EA ’19, pp. LBW2215:1–LBW2215:6.
[5] D. Li, D. I. W. Levin, W. Matusik, andC. Zheng. Acoustic Voxels: Computational Optimization of Modular Acoustic Filters. ACM
Trans. on Graph., 35(4):88:1–88:12, July 2016.
[6] D. Li, A. S. Nair, S. K. Nayar, and C. Zheng.
AirCode: Unobtrusive Physical Tags for Digital
Fabrication. In Proc. of UIST ’17, pp. 449–460.
[7] S. Oh, G. Yun, C. Park, J. Kim, and S. Choi.
VibEye: Vibration-Mediated Object Recognition for Tangible Interactive Applications. In
Proc. of CHI ’19, pp. 676:1–676:12. ACM, 2019.
[8] M. Ono, B. Shizuki, and J. Tanaka. Touch &Activate: Adding Interactivity to Existing Objects using Active Acoustic Sensing. In Proc. of
UIST ’13, pp. 31–40. ACM, 2013.
[9] Ultimaker B.V.
Ultimaker Cura Software.
https://ultimaker.com/en/products/ultimakercura-software (2019.07.31 閲覧).
[10] K. D. D. Willis and A. D. Wilson. InfraStructs: Fabricating Information Inside Physical Objects for Imaging in the Terahertz Region. ACM Trans. on Graph., 32(4):138:1–
138:10, July 2013.
[11] X.-D. Yang, T. Grossman, D. Wigdor, and
G. Fitzmaurice.
Magic Finger: AlwaysAvailable Input through Finger Instrumentation. In Proc. of UIST ’12, pp. 147–156.
[12] H.-S. Yeo, G. Flamich, P. Schrempf, D. HarrisBirtill, and A. Quigley. RadarCat: Radar Categorization for Input & Interaction. In Proc. of
UIST ’16, pp. 833–841. ACM, 2016.
[13] 岩瀬 大輝, 伊藤 雄一, 秦 秀彦, 山下 真由, 尾上孝雄. アクティブ音響センシングによる日常物体
識別と位置推定. インタラクション 2018 論文集,
pp. 62–71. 情報処理学会, 2018.

WISS 2019

スマートフォンを拡張した残像ディスプレイとインタラクション手法の提案
玉井 由良* 塚田 浩二*

概要． LED アレイ等を用いた残像ディスプレイは，浮遊感のある特徴的な映像表現等から幅広く利用されているが，インタラクティブ性に乏しいという制約があった．本研究では，スマートフォンと独自の回転ユニットを搭載したケース，及び専用アプリケーションを組み合わせて，インタラクティ
ブな回転式残像ディスプレイを提案／試作する．さらに，本システムを用いたインタラクション手法の可能性や，応用例について議論する．
て回転速度を検出し，画面の一部を速度に合わせて明滅させることで残像ディスプレイを構築する．さらに，日常的なスマートフォンの利用状態と，回転時の残像ディスプレイ状態を組み合わせた，新たなインタラクション手法や応用例の構築を目指す．

1 はじめに残像ディスプレイとは，LED アレイ等の表示器を一定のパターンで点滅させつつ空間上で移動させることで，残像により空間に映像を浮かび上がらせる表示手法である．手で左右に振るような手軽なコ
ミュニケーションツール 1 から，自転車のホイールに取り付けて走行中の車輪を装飾する用途 2 等，幅広く応用されている．残像ディスプレイの特徴として，安価かつ手軽に広い面をディスプレイと化すことができる点，浮遊感のある特徴的な映像表現を行える点が挙げられるが，インタラクティブ性が低いという制約があった．
こうした制約を解消するために，我々はスマート
フォンのディスプレイ自体を残像ディスプレイとして扱うことに着目した（図 1）．

2 関連研究本研究に関連する，残像ディスプレイを扱った研究と，スマートフォンを拡張した研究について紹介する．
2.1 残像ディスプレイを扱った研究
TWISTER[4]では，ユーザの周囲に数層からなる
大型の LED パネルを円形に並べてユーザを中心として回転させる大型の残像ディスプレイを開発しており，立体映像の提示や遠隔地コミュニケーションへの応用を示している．PhantomParasol[5]は，傘の内部に複数の LED アレイを搭載したデバイスである．傘を回転させることで傘全面を残像ディスプ
レイとしている．傘を開いた状態では大まかな情報
提示を行い，回した状態では詳細な情報提示を行う
ことができる．Phyxel[6]では，複数の素材でできた円盤を高速で回転させ，高速制御可能なプロジェク
ターから光のパターンを投影することで，映像に素材の質感を付与することができる残像ディスプレイ
を提案している．iSphere[1]では，ドローンの周囲に複数の LED アレイを搭載して回転させることで，全方位に映像を表示しながら飛行可能な浮遊球体ディスプレイを実現している．

図 1．本システムの概要．スマートフォンに回転機構ユニットを一体化することで，通常状態（上）と回転時の残像ディスプ
レイ状態（下）を併用した新たなインタラクションを目指す．

具体的には，スマートフォンに回転ユニットを搭載したケースを装着し，スマートフォンの利用中にふと回転させる．ここで，角速度センサなどを用い

2.2 スマートフォンを拡張した研究
ExtensionSticker[2]は，導電性インクでパターンを描いたシールの一部を静電容量式タッチパネルに貼りつけることで，パターンに応じた様々な入力操作に活用できる．MagNail[3]では，磁石をネイルに仕込むことで，スマートフォンの磁気センサで指のCopyright is held by the author(s).
* 公立はこだて未来大学
1 Nolia3220 (NOKIA)
2 monkey light PRO (monkey lectric)- 49 -WISS 2019

動きを認識し，タッチ操作と合わせた多様な操作が可能になる．SENSECASE[7]はスマートフォンのカメラ部に小さな人形が付いているケースで，人形の変形をカメラで識別することで直感的にスマートフォンの入力操作を行うことができる．例えば人形の頬をへこませることで，嫌な顔をした顔文字を入力したり，耳を塞ぐことで着信を拒否することがで
きる．

4 実装
ここでは，
提案システムの主要な構成要素として，
回転ユニット付きケースと，制御アプリケーション
について述べる（図 3）．また，描画内容の編集を行
うためのエディタについても述べる．

2.3 本研究の特徴
このように，残像ディスプレイの実現手法や応用
例，及びスマートフォンを拡張したインタラクショ
ン手法は多数提案されている．一方，本研究では，
スマートフォンを拡張したインタラクティブな残像
ディスプレイを構築し，静止時／回転時を組み合わせた新たなインタラクション手法の実現を目指している．

図 3．システム構成

4.1 回転ユニット部
回転ユニット部は，回転機構を組み込んだスマー
トフォンケースと，手で保持するためのグリップから成る（図 4）．

3 提案
我々は，一般的なスマートフォンを拡張した回転式の残像ディスプレイを提案する（図 2）．本研究の特徴は以下の 3 点である．
1. インタラクティブ性の高い残像ディスプレイ
2. 内蔵センサを用いた品質向上
3. 静止時／回転時を組み合わせたインタラクシ
ョン
一点目は，スマートフォンのタッチパネルやマイク，スピーカーなどを利用して，インタラクティブ性の高い残像ディスプレイを構築することである．
例えば，タッチパネルや音声入力で表示内容を指定することや，回転中のタッチパネルに触れてインタ
ラクションを行うことができると考える．
二点目は，スマートフォンの内蔵センサを用いた残像ディスプ
レイの表示品質の向上である．具体的には，ジャイ
ロセンサを用いて回転速度を検出することで，残像の定時間隔を調整したり，回転ユニットの一部に磁石を仕込み， 内蔵の磁気センサを用いることで，描画開始位置の調整に利用する．三点目は，スマートフォンの静止時／回転時を組み合わせた新たなイン
タラクションの構築を目指す点である．回転機構を組み込んだケースは持ち手を収納可能な設計とする
ことで，通常のスマートフォンとしての利用と，イ
ンタラクティブな残像ディスプレイとしての利用を連携しやすいように配慮する．

図 2．提案システムのコンセプト- 50 -

図 4．初期回転ユニット外観．左: ケース，右: グリップ

本システムでは当初一般的な Android スマートフォン（FLEAZ Que+N／covia 社）を用いていたが，動作速度／リフレッシュレート等に課題があったため，現在は 120Hz のリフレッシュレートを持つ
高性能な Android スマートフォン（AQUOS R
compact／SHARP 社）を用いて実装を進めている．
ケースはこれらのスマートフォンのサイズを計測し，個別に設計した．ケースのサイズは対応するスマー
トフォンのサイズより一回り大きい程度（例: Aquos
R Compact 用なら縦 135cm x 横 69 ㎝）で，グリッ
プは縦 10cm，横 5cm とした．重量は合計 30g 程度
である．回転機構には，摩擦が少ないため小さい力で回転でき，回転が持続しやすい特徴からボールベ
アリングを採用した．ケースの背面に窪みを設け，回転を滑らかにするために事前に脱脂／注油したボールベアリングを組み込んだ．ボールベアリングの
配置は，回しやすさ等を考慮してスマートフォンの背面の中央部とした．グリップは手で持ちやすいよ
うに配慮した波形の形状とし，上部にボールベアリ
ングと接続する棒状の突起を持たせた．また，残像ディスプレイの表示位置の補正に利用するために，磁石を固定する機構も用意した．
スマートフォンを保持し回転させる基本的な機能に問題はなかったが，グリップが大きいこと，ケースマートフォンを拡張したインタラクティブな残像ディスプレイの提案

回転時を認識して残像表示画面に遷移したり，回転速度を検出してパターンの点滅間隔を調整する．磁
気センサは，回転ユニットに仕込んだ磁石の上をセンサ内蔵部が通過するタイミングを検出することで，残像表示における描画開始位置を補正する目的で利用する．
アプリ連携部では，残像表示するためのパターン
や文字入力を行ったり，後述する応用アプリケーシ
ョンとの連携を行う．残像のパターンの入力方法について，本システムではテキストなどを二次元配列のパターンに変換し残像表示を行っているが，独自の図表を描画／編集するために，円形グリッド型のエディタを作製した（図 7）．Android 端末上で動作し，任意のグリッドをタップすることで，テキスト
や図形を描くことができる．現時点では，残像表示
時の視認性や操作感などを考えて縦 10 列／横 30 列の円状の描画解像度を想定している．入力したテキストや図形の情報は二次元配列に格納されて端末のストレージに保存され，残像表示を行う別アプリケーションから参照される．

スから取り外して別々に持ち運ばなければならない
ことから，携行性に難があるという欠点があった．
そこで，ケースと持ち手を一体化させた改良型を試作した（図 5）
．縦 6cm，2cm 程度の横持ち手を根本から 90 度稼働させることが可能であり，収納時はケースにロックして固定することができる．これ
により，手軽に携行しつつ，スムーズに回転可能状
態に移行できるよう配慮した．磁気センサでの補正に用いる磁石は試行錯誤の結果，ケースの裏側，回転軸から 2cm のところに配置することとした．重量は合計 30g 程度である．これらの筐体は，3D プリ
ンタを用いて ABS 樹脂で出力した．図 6 にスマー
トフォンを回転させて残像表示させる様子を示す．

図 5．改良型回転ユニットの外観と利用時の変形の様子／磁石の位置（丸）

図 7．エディタにより描画内容を編集する様子

4.3 応用例

図 6．利用例．ケースにスマートフォンを装着／回転させる

ここでは，提案システムの応用例として，試作したアプリケーションと，設計中のアプリケーションの構想を記す．

ことで残像表示を行う．

4.2 制御アプリケーション

4.3.1 回転レコードプレイヤー
残像表示部／センサ制御部と連携したいくつかのアプリケーションを試作している．レコードアプリ
では，回転する筐体をレコード，指を針に見立て，
回転時に画面を軽くタップし続けることで音楽を再生することができる（図 8）．力一杯回転させ，かつ画面に触れない場合，筐体は約 30 秒間回転し続ける．一方，回転中に画面を軽く触れ続けた場合，回転時間は 10 秒程度に低下する．よって，長い音源を再生する場合は，定期的に指で円盤を回すように力を加える必要がある．

次に，スマートフォン上で動作するソフトウェア
について説明する．ソフトウェアは大きく残像表示部，センサ制御部，アプリ連携部から構成される．
残像表示部では，入力したテキストや図形を変換
し，残像として表示する．テキストなどを二次元配列のパターンに変換し，一列ずつ一定間隔で切り替
えて明滅させることで，スマートフォンの回転に伴い，残像によりテキストなどが浮かび上がる．表示
色は調整可能であるが，一般的にコントラスト比が高い方が残像の視認性が高まるため，標準の設定では背景を黒色／パターンを白色とした．
センサ制御部では，残像ディスプレイの視認性を向上させるため，ジャイロセンサや磁気センサを用いた表示補正を行う．ジャイロセンサは，静止時／- 51 -WISS 2019などに繋げられる可能性がある．このような方法で残像ディスプレイを大型化することで，即席の電光掲示板として，見通し距離にいる相手にメッセージを送るコミュニケーション用途での活用を図る．

図 8．回転レコードプレイヤーの例．回転する画面をレコード／指を針に見立てて，触れているときだけ音楽が再生される．

停止時の画面にはレコードを模した赤いパターンを配置し，回転時には曲名の一部などをテキストで残像提示することができる．また，回転の早さに合わせて音楽の再生速度を連動させるような仕組みも用意している．

図 10．大型化したディスプレイと回転の様子

4.3.2 回転肉焼き機
回転肉焼き機（図 9）は回転式の肉焼き機をイメージして制作したゲームである．回転を開始すると肉を焼き始め，画面には残像で炎が表示される．回
転速度に応じて炎が強くなる．炎の強さと回転時間を加味しながら，ユーザは回転を止めるタイミングを探る．
ちょうどよいタイミングで回転を止めると，よい色で肉が焼け，短すぎる／長すぎると生焼け肉
や黒焦げ肉ができてしまう．

4.3.4 開発中の応用例
本システムの応用可能性を議論するために，開発途中のアイデアについて紹介する．
まず，「高速スクロールアプリ」についてである．
スマートフォン状で膨大な量のリストをフリック操
作での閲覧は大変である．そこで，通常のフリック
操作に加えて，一度に大きく移動したい場合にスマートフォンを回転させることで，回転速度に応じた
超高速スクロールを行う．回転中にはリストの中の大まかな位置等を残像表示することで，停止タイミ
ングを予測しやすいよう配慮する．
（図 11）．

図 11．回転動作を用いたスクロール機能のイメージ．指で行う通常のスクロール（左）と，回転動作を用いた大幅なスクロール（右）を使い分けることができるようにする．

次に，ディシジョンメーカーアプリについてである（図 12）．例えば近隣の飲食店を検索したが数が多すぎて決められない場合など，スマートフォンの操作中に（ある程度ランダムな）意思決定が求められることがある．こうした意思決定を補助するツールとして，回転動作を用いたディシジョンメーカー
アプリを提案する．複数のリストを入力してスマー
トフォンを回転させると，ルーレットのように項目が順次表示され，停止したタイミング等に応じて一つの選択肢を選び，意思決定に活用することができる．特に飲み会後の二次会等，複数人で次の行動がなかなか決められない場合等に，分かりやすく意思決定の様子を見せられるため，有効活用できると考える．実際のルーレット（や回転式のディシジョン
メーカー）のように，身体性を伴う見た目にも分かりやすい操作ができると考える．

図 9．回転肉焼き機の例．丁度良いタイミングで止めるとこん
がりと焼ける（上）が，焼きすぎると焦げてしまう（下）．

4.3.3 ディスプレイの大型化
一般に残像ディスプレイは，電光掲示板のようにやや離れた箇所にメッセージを伝えるために利用できるが，現状の回転ユニットはスマートフォンの中央に回転軸があるため残像の表示面積が小さい問題がある．ここで，回転軸をスマートフォンの端付近
や，外部に設けることで，表示面積を大型化することができる．そこで，二台のスマートフォンを連結し，その中間に回転ユニットを備えた筐体を試作した（図 10）．現状では一台のスマートフォンはカウンターウエイト（錘）の役割として設置している
が，両端末を同期させて描画すれば，解像度の向上- 52 -

スマートフォンを拡張したインタラクティブな残像ディスプレイの提案

図 12．ディシジョンメーカーアプリのイメージ．選択肢を設図 13．ジャイロセンサ値（高速）. 縦軸: rad/s，横軸: 秒．

定後（左），回転させることでルーレットが開始し，回転が停止したときに結果が確定する（右）．

次に磁気センサの結果を以下に示す．まず磁石なしで高速回転させた際の結果について図 14 に示す．
結果から，X 軸／Y 軸が約 0.2 秒周期で約-30～30
μT の間で変化しており，安定して地磁気を計測できていると考えられる．

5 議論
本システムについて，「センサを用いた描画制御機
能の検証」，「動作確認用の電動回転機構」，「残像の視認性」と言った視点から議論する．
5.1 センサを用いた描画制御機能の検証
本システムでは各センサ値を用いて描画の調整を行う．そこで，本システムの予備実験として，「ジャイロセンサを用いた回転動作の認識」，「磁気センサを用いたグリップ部の磁石検出」が可能かを調査した．具体的には，ディスプレイを上に向けて地面と水平にした状態で，手動で時計回りに回転を加え，低速回転時（秒間 1 回転程度）と高速回転時（手動で力一杯回した状態，秒間 8 回転程度）のセンサ値を取得しグラフ化して検証した．加えて，グリップ部の磁石を着脱して，磁石の有無による磁気センサ
値の違いも調べた．なお磁石の強さについて，後述
する検証結果では約 1000μT の磁束密度を観測した．
用いた機種は，
SHARP 社の AQUOS R compact（以下 AQUOS）
で，ケースは改良後のものである．
センサの反応速度の設定として，遅延のない
SENSOR_DELAY_FASTEST を適用したところ，各センサのサンプル周波数はジャイロセンサが5ms，磁気センサが 20ms であった．
まずジャイロセンサの結果を図 13 に示す．センサの値が約 34rad/s（秒間 5 回転半程度）の速度で飽和し，それ以上の高速回転では検出が困難なことがわかった．なお，ジャイロセンサの Z 値（緑色）は，0 から徐々に値が下がり，-34 に到達後正負が反転し，34 となった．この状況は，センサの計測限界値を超えた結果の挙動ではないかと推察され，低速回転に戻ると，再び-34 から 0 に近づくことを確認した．

図 14．磁気センサ値(磁石なし／高速)．縦軸: μT，横軸: 秒．

次に，磁石をつけた状態で低速回転／高速回転させた際の結果を図 15 と図 16 に示す．低速回転時では，約 1 秒周期で X 軸／Y 軸がそれぞれ 1000μT／600μT まで大きく変化しており，磁石の上をセンサが追加するタイミングを安定して計測できていると考えられる．一方，高速回転時においては，約
0.2 秒周期で X 軸／Y 軸がそれぞれ約 800μT／600
μT まで変化する傾向はみられるものの，データの取りこぼしが発生する場面（例: 0.6 秒付近）や，変化量が小さい場面（例: 1.9 秒／2.6 秒付近）も確認された．現時点でも磁石を用いた残像表示位置の調整はある程度機能すると考えられるが，今後は磁石の強さ／配置等の更なる調整と検証を進めたい．

図 15．磁気センサ値(磁石あり／低速)．縦軸: μT，横軸: 秒．

- 53 -WISS 2019

トを搭載したケース，及び専用アプリケーションを組み合わせて，インタラクティブな回転式残像ディ
スプレイを提案した．日常的なスマートフォンの利
用状態と，回転時の残像ディスプレイ状態を組み合わせた，新たなインタラクション手法や応用例の構築を目指す．こうした目的のために，プロトタイプの設計，応用例の提案，及び基礎的な描画補正機能の調査等を行った．
今後は，残像ディスプレイとしての性能向上や応用例の拡張を進める．前者については，残像の明滅
間隔やパターン配置を調整したり，より高輝度／高リフレッシュレートのスマートフォンを利用することで解像度や視認性の向上を図る．
後者については，
現在開発途中の応用例を実装し，ユーザテストを通して視認性／使いやすさ／面白さ等を多角的に検証する．さらに，内蔵カメラ／スピーカー等も活用した更なる応用例を模索していきたい．

図 16．磁気センサ値(磁石あり／高速)．縦軸: μT，横軸: 秒．

5.2 安全性
レコードアプリ等においては，回転する画面にタッチするインタラクションを提案しているため，安
全性や心理面への配慮が必要である．画面中央部では指を挟む可能性はないため問題ないが，画面端部をタッチする場合，指を挟む（指の側面に回転する筐体がぶつかる）可能性がある．実際には，スマー
トフォン自体の重量が軽く，手動での回転であるた
めケガにつながる可能性は低いが，心理的負担も影響するため，留意しながらインタラクション手法を設計していきたい．

参考文献
[1]

W. Yamada, K. Yamada, H. Manabe, and D. Ikeda,
iSphere:Self- Luminous Spherical Drone Display.
UIST '17 Proceedings ofthe 30th Annual ACM

5.3 残像の視認性

Symposium on User Interface Software and

現状の描画の設定として，円周辺り縦 10 列／横30 列のマトリクス表示を行っている．まず，横方向のピクセル数は以下のように決定した．予備実験で検証したジャイロセンサの計測可能速度（最大秒間5.5 回転）に対して，想定回転速度を約 1300deg/s（秒間 3.6 回転）と仮定した．プロトタイプでの 1
回あたりのピクセルの点灯時間は輝度に配慮して9ms としており，1 ピクセル当たりの描画角度は
1.3 × 9 = 11.7 deg となる．すなわち，円周辺り 360/ 11.7 = 30.8 回の描画が可能になるため，横方向のピクセル数は 30 列とした．縦方向のピクセル数は柔軟に設定できるが，横方向とのバランスを考慮して，縦 10 列とした．
視認性の定量的評価はまだ行っていないが，10 人程度に簡単なインタビューを行ったところでは，簡単な模様であれば安定して視認可能だが，複数の文字からなる単語等では大半が初見ではわからないと回答した．これについて，位置補正機能が甘く描画がずれてしまうことや，荒めの独自フォントを利用したためユーザが不慣れで認識しにくかったこと等が原因として考えられる．また，画面の輝度の関係
で日中の明るい屋外での視認性は多く低下する課題
がある．

[2]

Technology. 2017, p. 635-643.
加藤邦拓, 秋山耀, 宮下芳明. タッチ入力の柔軟な再配置を可能としたインタフェースの作成支援. 第 22
回インタラクティブシステムとソフトウェアに関するワークショップ論文集(WISS2014). 2014, p. 151-

[3]

152.
門村亜珠沙, 椎尾一郎. MagNail:爪装着型磁石を用いたモバイル端末インタラクション. インタラクシ
ョン論文集 情報処理 学会シンポジウムシリーズ.

[4]

2014, vol. 2014, p. 193-198.
國田豊, 尾川順子, 佐久間敦志, 稲見昌彦, 前田太郎,
舘暲.没入形裸眼立体ディスプレイ TWISTER I の設計と試作. 映像 情報メディア学会論文誌. 2001,[5]

vol. 55, no. 5, p. 671-677.
塚田浩二, 増井俊之. PhantomParasol:なめらかな粒度の情報を伝える傘型情報提示機構. WISS2005 論
文集. 2005, p. 57-62.

[6]吉田貴寿, 渡辺義浩, 石川正俊. 周期運動する実物体と高速時分割構造化光を用いたリアリスティックディスプレイの開発. 日本バーチャルリアリティ学会
論文誌. 2017, vol. 22, no. 2,p. 229-240.

[7]

渡邊千紘, カシネリアルバロ, 渡辺義浩, 石川正俊.
フラットな情報端末の物理的な拡張に向けたカスタ
ム型柔軟体ユーザインタフェース. 第 19 回日本バ

6 まとめと今後の展望

ーチャルリアリティ学会大会 (VRSJ 2014) (名古屋,

本研究では，スマートフォンと独自の回転ユニッ2014.9.19)/論文集. 2014, p. 427-430.

- 54 -WISS 2019

Self-healing UI:
機械的かつ電気的に自己修復するセンシングインタフェース
鳴海 紘也 ∗†‡ Fang Qin∗§ Siyuan Liu¶ Huai-Yu Cheng¶
川原 圭博 ‡
Mohammad Islam¶ Lining Yao†

Jianzhe Gu†

概要. 自然界には，傷ついても機械的・電気的な損傷（骨や神経の損傷など）を自己修復する例が存在する．
本稿ではこのような自己修復機能を日常のインタフェースに付与することを目的として，Self-healing UI を提案する．これは，切断しても断面を接触させておくだけで自律的に機械的強度を回復できる自己修復エラ
ストマ Polyborosiloxane (PBS) を利用した柔らかいインタフェースである．また，導体として多層カーボ
ンナノチューブ (Multi-Walled Carbon Nanotubes, MWCNTs) を分散させて複合素材（MWCNTs-PBS）とすることで，機械的な故障と電気的な故障の両方を修復できる．本稿では，インタラクションに向けた実用上の観点から，絶縁性の PBS と導電性の MWCNTs-PBS を組み合わせたハイブリッドなシステムを提案した．さらに，システムの自己修復機能・柔軟性・センシング機能を利用して，ユーザの求める機能に応じて形状と数を変化させるコントローラ型デバイスを実装した．

1

はじめに

2

自然界には，トカゲの尻尾や接ぎ木，人間の肌など，再生能力・修復能力を持つシステムが多数存在する．本稿では，機械的信頼性と導電性を自己修復できるエラストマを素材として用いることによって，
生体システムが持つ自己修復機能を日常のインタ
フェースに付与することを目指す．
本研究の貢献は以下のようにまとめられる：• Human-Computer Interaction (HCI) での利用に向けて，自己修復機能を持ち，機械的特性と電気的特性が調整可能な柔らかいイン
タフェースを提案した• 提案システムの機械的・電気的特性を計測した• 素材の導電性・弾力・自己修復機能を利用したセンシング手法を提案・実装した• 自己修復・変形・切断など，柔らかい自己修
復素材に特有の性質を積極的に利用して，コントローラ型デバイスを実装した
なお，素材の作製方法などの詳細な説明やその他のアプリケーション事例は [7] に掲載予定なので，適宜参照してほしい．
Copyright is held by the author(s).
Authors contributed equally.
†
Human-Computer Interaction Institute, Carnegie Mellon University‡
東京大学§
Electrical and Computing Engineering, Carnegie Mellon University¶
Materials Science and Engineering, Carnegie Mellon
University∗

自己修復素材の分類

従来のポリマーの多くは不可逆的な共有結合により架橋しており，強い結合を持つ一方で，一度壊れてしまうと架橋し直すのが難しい．そこで，架橋構造を可逆的に修復できるポリマーがこれまでに複数研究されてきた．HCI での利用を考えるために，こ
こでは自己修復素材の代表的な 2 つの分類を示す．
外在的な修復と内在的な修復．最も早く注目された自己修復の方式は，予めポリマーの中に修復を促す薬品を封入した微小なカプセルを埋め込んでおき，破壊が起きた断面から薬品を流出させることで修復を行うというものである．これは外在的な (=extrinsic) 修復と呼ばれる [11]．しかしこのような手法は，同じ場所が複数回壊れた場合に繰り返し修復できないという欠点がある．対照的に，水素結合
や配位結合など，動的な架橋を利用した内在的 (=intrinsic) な修復 [5] は繰り返しの修復が可能である
ため，日常での使用により適していると考えられる．
非自律的な修復と自律的な修復．自己修復素材の中には，修復を開始するために光や熱など外部からの刺激が必要な非自律的 (non-autonomous) な修
復をするもの [2] と，外的な刺激が無くとも自律的（autonomous）に修復できるものとが存在する．前者の非自律的な修復は，自己修復のタイミングを制御できる利点を持つ一方で，修復に特殊な環境が必要になりうるという欠点を持つ．非自律的な自己修復素
材の最も身近な例は，Fused Deposition Modeling(FDM) に用いられる熱可塑性樹脂などである．この素材は，加熱刺激によりガラス転移し，すでに積層された部材と融着することができる．逆に後者の自律的な修復を用いる場合，自然状態で修復が行え- 55 -WISS 2019

る利点を持つ一方で，修復のタイミングを制御できないという欠点が存在する．自律的な自己修復素材の最も身近な例は，おしめやスライムなどに用いられるハイドロゲル [10] である．しかし，ハイドロ
ゲルのような溶媒を含む素材を使うと，時間経過に伴って素材が乾き，性質が大きく変わることがある．

3

HCI に向けた自己修復素材

自己修復素材を HCI に利用する場合，以下の要件を考慮する必要があると考えられる：

1. 薬品による化学変化・熱・光などの外的な刺激を使わず（=自律的）に，かつ，外部から素材を補給することなく何度でも繰り返し（=

図 2. PBS の自己修復機能．(A) 導電性のない PBSと，導電性のある MWCNTs-PBS が接続後数秒で自己修復を開始する様子．(B) PBS を 6 時間かけて修復した様子．

内在的に）修復すること．これは，日常的な利用を想定した場合，自己修復の実現のために特別な環境を準備できない場合が多いと考えられるためである

利用して作製できるため [12]，簡単かつ低コストである；（５）生体適合材料の Polydimethylsiloxane(PDMS) とホウ酸から合成されるので使用時の安全性が高い．
なお，PBS 及び導電性を付与した PBS の研究自体は過去にも存在する [5, 12] が，本研究では，HCIでの活用を前提として，PBS と MWCNTs を分散した PBS（MWCNTs-PBS）とのハイブリッドシス
テムやそのファブリケーション手法，アプリケーショ
ンなどを提案した．図 2 には，PBS と MWCNTsPBS がそれぞれ数秒以内に機械的修復を始める様
子と，6 時間かけて修復する様子を示す．

2. アプリケーションに応じて機械的特性と導電性を調整可能であること

3. 時間経過で劣化しない安定な素材であること
4. 簡単かつ低コストで作製可能であること
5. 生体親和性があること

特性評価

4

この章では，PBS と MWCNTs-PBS が切断・再接触の前後で電気的・機械的修復を行っていることを定量的に評価する．本章の実験ではそれぞれの計
測に n=5 のサンプルを用いた．プロットは平均値を示す．

図 1. MWCNTs-PBS の構造．酸素とホウ素が動的な共有結合（= 配位結合）を作るため，一度破壊されても接触させるだけで繰り返し架橋が行える．
MWCNTs は PBS の内部でネットワークを構成
し，導電性と機械的強度を担保する．

4.1

電気的特性

これらを踏まえて本稿では，自己修復素材 Polyborosiloxane (PBS) を使用することとした [5, 12]．
PBS は上記の条件を満たす：（１）まず，図 1 上に示すように，PBS は配位結合と呼ばれる動的な共有結合によって架橋するため，室温で外部からの刺激なしに繰り返し修復する [5]；（２）また，内部に分散させる多層カーボンナノチューブ (Multi-Walled Carbon Nanotubes, MWCNTs) の比率により，図 1 下に示すネットワーク構造を調整し，導電性と機械的強度を変更できる；（３）さらに，時間経過で容易に乾燥・劣化するハイドロゲルなどとは異なり，長期にわたって安定である；（４）混合プロセスのみを図 3. MWCNTs-PBS の電気的特性．
（A）MWCNTs の質量比に対する導電率．
（B）電気的な修復
速度．σ0 は作製直後のサンプルの導電率．

- 56 -

Self-healing UI: 機械的かつ電気的に自己修復するセンシングインタフェース

インタフェースとして利用するための適切な MWCNTs の混合比を決定するために，まず，MWCNTsの混合比に対する素材の導電率を計測した（図 3A）．
実験サンプルの最大・最小値を示すエラーバーが一部被っているものの，MWCNTs の量に対して導電率が単調増加する傾向が見られる．後述する 3 つのセンサとして利用することを考慮して，以降の実験では常に 4wt%のサンプルを用いた．
次に，電気的な修復速度を調査した．図 3B は，作製直後のサンプルの導電率を σ0 としたとき，サンプルを切断して再接触させた際に導電率が時間経過に対してどのように変化するのかを示している．
これを見ると，再接触させてから導電率は単調に増加し，６時間後には最初の値の 96%まで修復している．さらに，同じサンプルの切断・再接触を 10 回繰り返した際にも，導電率は最初の値の 90%を維持している．導電率が 10%下がった原因としては，手作業による再接触の際の位置ずれやほこりの混入などが考えられる．
以上の結果から，MWCNTs-PBS の導電率調整と電気的自己修復が可能であることが示された．

4.2

PBS と MWCNTs-PBS の機械的特性的特性が修復している．その一方で，切断・再接触
から 6 時間経過しても，プロットは初期値と完全に重なっていない．ここから，MWCNTs-PBS は内部の MWCNTs ネットワークが PBS の移動を制限することによって，純粋な PBS ほどは速く修復しないことが考えられる．

5

ハイブリットシステム

前章の電気的・機械的な特性評価の結果を踏まえると，日常的なインタフェースを作るという実用上の観点において個々の素材を別々に使うだけでは不十分であり，2 つの素材の欠点を補い合う必要があると考えられる．そのため本稿では，PBS と MWCNTsPBS のハイブリッドシステムを提案する．
自己修復の速度．PBS は導電性が無いものの，自己修復が速い．一方 MWCNTs-PBS は導電性があるものの，自己修復は PBS に比べて遅い．そのた
め，PBS と MWCNTs-PBS を組み合わせることによって，再接続の直後でも機械的な自己修復を PBSが担い，電気的な接続を MWCNTs-PBS が担うことができる．
機械的強度．PBS は自己修復が速いものの，重力などにより素材が流れ，形状が徐々に変わっていく「クリープ」という現象を示す（図 5）．これは長期的な利用を前提としたデバイスでは致命的である．
一方，MWCNTs-PBS の場合，内部の MWCNTs
ネットワークが PBS を支えるため，クリープはほとんど見られない．そこで MWCNTs-PBS を PBS の基材や壁材として利用することによって，高速な自己修復と形状・強度の維持を両立することができる．

図 4. （A）PBS と (B）MWCNTs-PBS の機械的自己修復特性．× 印はサンプルが破断した点を示す．

機械的な自己修復の特性を調べるために，歪み ε= 0 - 200%に対する応力 σ [kPa] を調べる引張試験を実施した．PBS と MWCNTs の結果を図 4A,Bにそれぞれ示す．
まず図 4A の 1st stretching を見ると，PBS はε < 5% において弾性領域を示すことがわかる．その後サンプルは ε = 180%まで伸長して破断した．
次に，サンプルを予め切断・再接触させてから 1, 10,60, 360 分待ち，再び機械特性を計測した．その結果，時間経過に従って破断する点が初期値に近づき，
6 時間後にはほぼ最初のプロットと重なることがわ
かった．
図 4B の MWCNTs-PBS の場合，弾性領域は ε <8% に増加している．また，MWCNTs のネットワー
クが存在することにより，素材のヤング率が大きくなっている（=素材が丈夫になっている）ことがわ
かる．さらに，PBS と同様，時間経過に従って機械- 57 -

図 5. クリープの比較．PBS は 6 時間で大きく形状を変えるが，MWCNTs-PBS はほぼ変形しない．

6

ファブリケーション

6.1 素材の作製
PBS および MWCNTs-PBS の作製は，[12] に記載されている手法を改良した．なお，以下に示した素材の作製法に関する詳細な説明や図，改良点など
は [7] に記載されている．
PBS．ホウ酸 1.0 g (B6768; Sigma) を 10 mL の
メタノールに入れ，マグネチックスターラで 1 時間撹
拌する．その後 10 g の PDMS (silanol terminated,
35-45 cSt; Gelest) を足し，更に 3 時間マグネチック
スターラで撹拌する．混合が終了したら，マグネッWISS 2019

トの回転を止めて，安定した場所で 1 時間程度放置する．すると，液体が 2 層に分かれるので，沈殿している側をピペットで取る．これが硬化前の PBS溶液である．ペトリ皿や型に移して 60 ◦ C のオーブンで 24 時間加熱すると，PBS 溶液が硬化し，最終的な PBS となる．
MWCNTs-PBS．硬化前の PBS 溶液に MWCNTs (Baytubes C 150 HP) を足し，超音波ホモジ
ナイザー (Fisher Scientific Sonic Dismembrator
Model 500) の出力 100 W で 1 時間の分散処理を行う．分散を終えた硬化前の MWCNTs-PBS を真空チャンバーに数分間置き，気泡を除去する．その後，素材をペトリ皿や型に流し入れて整形する．60 ◦ Cのオーブンで 24 時間加熱すると硬化して，最終的な MWCNTs-PBS となる．

6.2

素材の整形

本稿では，まず PBS と MWCNTs-PBS をシート状に作製し，その後シートを所望の形状に切断してデバイスを作製した．シートの切断には，レーザ
カッタで所望の形状に整形したアクリルの型，もしくはドラッグナイフを搭載した CNC マシン (12’x12’

CNC Machine; Zen Toolworks, D2 drag knife;
Donek) を用いた．

7

図 6. 3 つのセンシング手法．(A, B) それぞれの動作
原理．
（C, D, E）タッチセンシング・圧力センシ
ング・切断センシングの実際の様子．センサの背後にあるディスプレイで読み取り値を表示している．

センシング手法

この章では，MWCNTs-PBS を使った 3 つのセンシング手法（タッチ・圧力・切断）を提案する．図 6に各手法の原理と実際の様子を示す．ここで，圧力センシングと切断センシングの 2 つは同じ回路構成で実現していることに注意する．実装には Arduino
Mega 2560 Rev 3 を利用した．
タッチセンシング．タッチセンシングは従来と同様の静電容量方式で実現している．人体が近づくこと
で MWCNTs-PBS との間に存在する容量値が増加
し，1 次 Low Pass Filter (LPF) の時定数が変わる．
そして入力した矩形波の波形が LPF の影響で遅れることを読み取る．実装には Arduino の Capacitive
Sensing Library を用いた．
圧力センシング．直列に配置された MWCNTs と抵抗器の両端に Vcc (= 5 V) を印加し，抵抗器の電圧を計測する．圧力が加わると，MWCNTs-PBSが変形し抵抗値が上がる．その結果抵抗器にかかる電圧が下がる．前述の特性評価の結果から，センサの変形が 8%以内の弾性領域であれば，圧力を除いた後にセンサは元の形状に戻る．
切断センシング．圧力センシングと同様の回路で行う．MWCNTs-PBS が切断されることにより抵抗値が無限大になると，抵抗器での電圧値は 0 V となる．この手法は非常に単純であるが，素材が自己修復するという特性を活かすことで，繰り返し切断
をセンシングできる点が独特である．

- 58 -

8

アプリケーション

本章では，ここまでに示した素材の自己修復機能・
柔軟性・センシング機能を利用した応用として，ユー
ザの用途に応じて形状や個数，機能を変化させられるコントローラ型デバイスを作製した．図 7A,B に，それぞれコントローラの形状と内部構造を示す．1
つのコントローラには 7 つの MWCNTs-PBS セン
サが搭載されており，6 つのタッチセンサと 1 つの圧力/切断センサとして動作する．
まず，図 7C に通常状態のコントローラを示す．この状態では普通のリモコンのようにタッチ・スライ
ド・押し込みなどの動作が可能である．次に，図 7Dにはロングモードを示す．ピアノの鍵盤など，通常よりも多くのキーを必要とする状況において，2 つのコントローラを接触・融着させることで長い 1 つのコントローラを作ることができる．図 7E は腕輪
モードである．腕輪型のタッチスライダなどが必要
な時，手首にデバイスを巻き付けて両端を接触・融着させることによって，従来のデバイスにはない大きな形状変化と接着剤不要の一体接続が可能となる．
図 7F はカットモードである．多人数での使用が求められる際には，カッターでデバイスを分割することで，１つのコントローラを 2 つにすることができSelf-healing UI: 機械的かつ電気的に自己修復するセンシングインタフェースている MWCNTs の肺への許容吸引限界値は約 0.05
mg/m3 である [9]．
しかし，実際に作製プロセスで用いる MWCNTsの粉末は，半径 1 mm 程度の小さな球状に整形されているため，重く，通常空中に飛散することはない．
また，一度 MWCNTs が PBS の中に閉じ込められてしまえば，ポリマーと MWCNTs との強い相互作
用によって切ったりちぎったりしたとしても構造体から MWCNTs が飛散する可能性は低い（[8] の図S1 (e) を参照）．そのため，Self-healing UI が肌に触れたからといって，MWCNTs が皮下の細胞に触れることはない．実際に MWCNTs は車のタイヤや船の部品，フィルターなど様々な現場ですでに使用されており，安全な使用が可能であることが実証されている [3]．
とはいえ，作製プロセスにおいて誤って吸引してしまうリスクが存在するのは事実であるため，必ずデータシートを参照した上で，適切な設備を利用して実験する必要がある．

PBS の安全性．PBS は PDMS とホウ酸から合成される．PDMS は医療応用で最もよく使われるシリコンの 1 つであり，生体適合性の高さで知られている [1, 6]．また，ホウ酸はコンタクトレンズの洗浄液などにも使用されており，細胞毒性は低い [4]．
PBS は Silly Putty [5] というおもちゃとして利用されることもある．

図 7. 必要な機能に応じて形状や個数を変化させることができるコントローラ型デバイス．6 つのタッチセ
ンサと 1 つの圧力/切断センサを搭載している．

MWCNTs-PBS に対する過剰な熱．硬化後のMWCNTs-PBS は安全に使用できると述べたが，数る．いずれのモードでも，使用後には切断と自己修復によって元のモードに戻すことができる．
特に図 7F の例から，自己修復の機能を積極的に利用する（= わざと壊す）ことで，独特のタンジブ
ルで直感的なインタフェースが実現できることが分かる．もちろん，意図しない破壊があった際にも単純に破壊面を接続するだけで修理できる．

9
9.1

百度を超える熱を与えないように注意する必要があ
る．過剰な熱は PBS の自己修復機能を破壊するだ
けでなく，MWCNTs を閉じ込めていた PBS を溶
解・蒸発させてしまう可能性がある．そのため本稿
では，シートの切断にレーザカッタは使わず，熱の発生しない型抜きとドラッグナイフを選択した．

議論と結論
デバイスの安全性について

9.2

ここでは，作製プロセスと使用時の 2 点について，
Self-healing UI の安全性について議論する．端的に言うと，Self-healing UI は肌に触れての使用が可能
であり．素手で触ったり，ハサミやカッター，素手で素材を切断したりして構わない．一方，素材の作成時には MWCNTs が飛散する可能性があるため，
必ず手袋・白衣・ドラフトチャンバー・適切な廃棄方法などを準備し，所属機関の提示するトレーニングを受けた人間が作業を行う必要がある．以下，その根拠について述べる．
MWCNTs の安全性．MWCNTs を使用する際には，吸引しないように注意する必要がある．アスペクト比の高いナノ粒子の吸引は，呼吸器に悪影響を及ぼし，発がん性のリスクがある．本稿で使用し- 59 -

その他の自己修復素材の利用

本稿では，自己修復エラストマを使って柔らかい
インタフェースを実現したが，実際には硬い素材が求められる場面もある．例えば，PBS に絶縁性のナノ粒子を分散させて適切に粘弾性を調整すれば，絶縁性で，かつクリープの生じない複合素材が実現できる可能性がある．また，近年，ある程度硬く，常温で自己修復するポリマーが報告された [13] ため，硬い素材も利用できるようになる可能性がある．また，時には光や熱など，なんらかの刺激をトリガとして非自律的に自己修復を誘発したい場面もある．
例えば，前述のように FDM 方式の 3D プリンタに使われる熱可塑性樹脂は熱をトリガとした自己修復
素材とみなせるため，トリガを持つ自己修復素材として利用できる可能性がある．

WISS 2019

9.3

配線

[3] M. F. L. De Volder, S. H. Tawfick, R. H.
Baughman, and A. J. Hart. Carbon Nanotubes:
Present and Future Commercial Applications.
Science, 339(6119):535–539, 2013.

本稿で提案したコントローラのアプリケーション
では，PBS および MWCNTs-PBS は自己修復する
ものの，センサをマイコンにつないでいる配線は自己修復しない．使い心地に関しては無線化したマイコンを埋めるなどの処理である程度改善できるものの，自己修復を前提とするため，配線を切らないよ
うな取り回しに予め注意しておく必要がある．例えばコントローラの場合には，デバイスを縦に二分割しても配線が壊れないような配置になっている．なお，本稿では配線が柔軟性を阻害しないように，36
AWG の極細配線（UAA3607;Micron Meters) を
使用した．

10

[4] D. M. Lehmann, M. E. Cavet, and M. E.
Richardson. Nonclinical safety evaluation of
boric acid and a novel borate-buﬀered contact lens multi-purpose solution, Biotrue multipurpose solution. Contact Lens and Anterior
Eye, 33:S24 – S32, 2010.
[5] Z. Liu, S. J. Picken, and N. A. M. Besseling. Polyborosiloxanes (PBSs), Synthetic Kinetics, and Characterization. Macromolecules,
47(14):4531–4537, 2014.
[6] A. Mata, A. J. Fleischman, and S. Roy. Characterization of Polydimethylsiloxane (PDMS)
Properties for Biomedical Micro/Nanosystems.
Biomedical Microdevices, 7(4):281–293, Dec
2005.
[7] K. Narumi, F. Qin, S. Liu, P. Cheng, J. Gu,
Y. Kawahara, M. Islam, and L. Yao. Selfhealing UI: Mechanically and Electrically Selfhealing Materials for Sensing and Actuation Interfaces. In Proceedings of the 32nd Annual
ACM Symposium on User Interface Software
and Technology, UIST ’19, To appear in Sept.
2019.
[8] Y. Oh and M. F. Islam. Preformed Nanoporous
Carbon Nanotube Scaﬀold-Based Multifunctional Polymer Composites.
ACS Nano,
9(4):4103–4110, 2015.

結論

本稿では，傷ついても自己修復する柔らかいイン
タフェースを提案した．具体的には，HCI に求められる要件から PBS と MWCNTs-PBS を素材として選定し，これらのハイブリッドシステムを提案した．さらに，インタフェースの自己修復機能・柔軟性・センシング機能を利用して，ユーザの求める機能に応じて形状と数を変化させるコントローラ型デバイスを実装した．本稿およびマテリアル・サイエ
ンスの知見を利用した研究が，HCI のツールとして新たなインタラクションを実現することを願う．

謝辞
本研究は，the Carnegie Mellon University Manufacturing Futures Initiative (MFI) (the Richard
King Mellon Foundation)；Carnegie Bosch Institute Research Awards；Commonwealth of Pennsylvania (Department of Community and Economic Development); JST ACT-I (グラント番
号：JPMJPR18UN) の支援を受けたものである．
また，研究の実施にあたりサポートをしてくれた

Humphrey Yang, John Antanitis, Guanyun Wang,
Michael Rivera, Danli Luo, Gierad Laput, Jack
Forman および Morphing Matter Lab のメンバーに感謝する．

参考文献[9] J. Pauluhn. Multi-walled carbon nanotubes
R(Baytubes⃝):
Approach for derivation of occupational exposure limit. Regulatory Toxicology
and Pharmacology, 57(1):78 – 89, 2010.
[10] L. Shi, P. Ding, Y. Wang, Y. Zhang, D. Ossipov, and J. Hilborn. Self-Healing Polymeric
Hydrogel Formed by MetalLigand Coordination
Assembly: Design, Fabrication, and Biomedical
Applications. Macromolecular Rapid Communications, 40(7):1800837, 2019.
[11] S. R. White, N. R. Sottos, P. H. Geubelle, J. S.
Moore, M. Kessler, S. Sriram, E. Brown, and
S. Viswanathan. Autonomic healing of polymer
composites. Nature, 409(6822):794, 2001.
[12] T. Wu and B. Chen. Synthesis of Multiwalled
Carbon Nanotube-Reinforced Polyborosiloxane
Nanocomposites with Mechanically Adaptive
and Self-Healing Capabilities for Flexible Conductors. ACS Applied Materials & Interfaces,8(36):24071–24078, 2016.
[13] Y. Yanagisawa, Y. Nan, K. Okuro, and T. Aida.
Mechanically robust, readily repairable polymers via tailored noncovalent cross-linking. Science, 359(6371):72–76, 2018.

[1] G. Bartalena, Y. Loosli, T. Zambelli, and J. G.
Snedeker. Biomaterial surface modifications candominate cell-substrate mechanics: the impact
of PDMS plasma treatment on a quantitative
assay of cell stiﬀness. Soft Matter, 8:673–681,
2012.
[2] M. Burnworth, L. Tang, J. R. Kumpfer, A. J.
Duncan, F. L. Beyer, G. L. Fiore, S. J. Rowan,
and C. Weder. Optically healable supramolecular polymers. Nature, 472(7343):334, 2011.

- 60 -WISS 2019

ターゲット内に両端が存在するスワイプジェスチャ
八箇 恭平 ∗

礒本 俊弥 ∗

川口 航平 †

志築 文太郎 ‡概要. タッチ入力には入力語彙が限られているという問題が存在する．我々は，この問題を解決するために，ターゲットに対するスワイプのうち，スワイプの終点がターゲット内となるもの（ターゲット内スワイプ）を新たなジェスチャとする．本論文においては，まずユーザがターゲットに対してスワイプを行った時に偶発的にターゲット内スワイプが発生しないことを実験により調査した．その結果，99.2%のスワイプの終点がターゲットの外側となり，ターゲット内スワイプは偶発的に発生しにくいジェスチャであることが分かった．さらに，ユーザが意図してターゲット内スワイプを行った時の成功率を実験により調査した結果，ユーザは 92.5%の精度にてターゲット内スワイプの実行が可能であった．これらの結果から，ターゲット内
スワイプは既存のスワイプと競合することなく入力語彙を拡張できることが分かった．

1

はじめに

スワイプ終点

タッチパネルを搭載したモバイル端末（以降，タッチ端末）を操作する時，ユーザは指を用いてタッチ
パネルへの入力を行う．しかし，このタッチ入力には入力語彙が限られているという問題が存在する．
この問題を解決するために我々は，ユーザが画面上のターゲットに対してスワイプを行う時のスワイ
プの終点の位置がターゲットの外側となることを利用したジェスチャを提案する．提案操作は，図 1 に示すようにターゲットに対するスワイプのうち，その終点がターゲット内に留まるようなスワイプ（以降，ターゲット内スワイプ）である．なお，終点がターゲットの外側にある場合は，従来のターゲットに対するスワイプ（以降，フリック）とする．
提案操作は，ユーザがスワイプの終点の位置を考慮せずに，ターゲットに対してスワイプを行った時に，そのスワイプがフリックとなることを前提としているため，偶発的にターゲット内スワイプが発生する場合，フリックとの競合が発生する．そのため
我々は，まずユーザがターゲットに対してスワイプを行った時の偶発的なターゲット内スワイプの発生率を調査する．その後，ユーザが意図した通りにター
ゲット内スワイプの実行が可能であるか調査する．
さらに，ターゲット内スワイプによって可能となる
アプリケーションの提案，およびターゲット内スワ
イプに関する議論を行う．

2

関連研究

これまでに，タッチ入力の語彙を拡張するために，
多くのジェスチャが提案されてきた．それらの多く
Copyright is held by the author(s).
筑波大学コンピュータサイエンス専攻†
筑波大学情報メディア創成学類‡
筑波大学システム情報系∗- 61 -

スワイプ始点図 1. ターゲット内スワイプ．スワイプの始点と終点（赤色の円）がターゲットの内側に存在する．

は，タッチに付随する情報をタッチ座標と組み合わせたものである（例：タッチ面積 [1]，タッチの強さ[5, 9]，タッチ時に発生する音 [3]，タッチした指の角度 [14, 15]）．また，Copernican-Touch [16] は，
タッチが行われる直前のタッチ端末の加速度および角加速度センサの値を用いて，指をタッチ端末に近づけることによるタッチと，タッチ端末を指に近づけることによるタッチを区別して用いる拡張ジェス
チャである．ターゲット内スワイプは，ターゲットに対するスワイプの拡張を行う操作であり，またこれらのジェスチャと共存することが可能である．
タッチに用いられた体の部位や手の形状を識別することによってタッチ入力の語彙を拡張する研究も行われている．PalmTouch [7] は，タッチ面積とタッ
チ位置を用いてユーザが手のひらにて画面に触れたことを識別し，手のひらを用いたタッチを新しいジェスチャとして利用している．TriTap [2] は，親指，人指し指，または中指にてスマートウォッチにタッチした時のタッチパネルと指の接触領域を利用して，どの指にてタッチを行なったか識別し，その指に応じた操作を可能にしている．また，Touch + Finger [8]は，指に 3 軸加速度センサを取り付け，タッチ前，もしくはタッチ中の手指の形状を識別することによって，その形状に応じた操作を可能にしている．一方，
我々が提案するターゲット内スワイプは，タッチ位
置のみを利用してフリックとの識別が可能であるため，タッチを行う部位や手の形状に依らずに入力語
彙の拡張が可能である．

WISS 2019

偶発的に発生することが少ない指の動作を新たなジェスチャとして用いて，タッチ入力の語彙を拡張している研究も行われている．Bezel-Swipe [11] はタッ
チ端末のベゼルからのスワイプ，B2B-Swipe [6] は，ベゼルからベゼルへのスワイプである．Ta-Tap [4]は，離れた 2 点に対する連続的なタップである．さらに，Beats [10] は 2 本の指を用いた，同時，もしくは連続的なタップである．また，黒澤ら [17] は，右手のみを用いてスマートフォンを操作している時に左斜め上へのスワイプが発生しにくいことを実験により見出し，新しいジェスチャとして提案している．
MicroRolls [12] は，親指にて画面をタッチしながら指を回転させるジェスチャである．提案するター
ゲット内スワイプは，これらの手法と同様に偶発的に発生することが少ないジェスチャであり，BezelSwipe，B2B-Swipe と同様にスワイプを拡張する手法である．Bezel-Swipe においてはスワイプの始点，
B2B-Swipe においては始点と終点をスクリーンのベゼルに限定した一方で，ターゲット内スワイプは，
始点と終点をターゲット内に限定する点で異なり，ターゲットの位置は問わないため，ユーザは画面上のあらゆる位置にてターゲット内スワイプの実行が可能である．

3

実験 1：ターゲットに対するスワイプ

ターゲット内スワイプは，ユーザがスワイプの終点の位置を考慮せずに，ターゲットに対してスワイプを行った時に，その終点がターゲットの外側になる（フリックになる）という前提のもと設計されている．そのため，我々はまず，ユーザがターゲットに対してスワイプを行った時の偶発的なターゲット
内スワイプの発生率を調査するための実験を行った．

4.1

下提案操作：ターゲット内スワイプ

我々が提案するターゲット内スワイプ（図 1）は，
スワイプの両端がターゲット内に存在するスワイプ
ジェスチャである．ユーザがターゲットに対してス
ワイプを行った時に偶発的にターゲット内スワイプが発生しない場合，ターゲット内スワイプはフリックと競合することなく，タッチ入力の語彙を拡張する．フリックとターゲット内スワイプの識別には，ターゲットの縁をスワイプが横切っているかを判定すれば良い．また，この識別はタッチ座標のみを用いて可能であるため，ターゲット内スワイプの実装には追加のセンサを必要としない．

4を用いた．全ての参加者には，実験のタスクを行っている間椅子に深く腰掛けてもらった．
実験に用いたアプリケーションの画面を図 2 に示す．我々はターゲットのサイズと位置を，通常設定時の iPhone 6s のホーム画面に表示されるアイコンのサイズ（9.3 mm × 9.3 mm）と位置とした．我々はターゲットに対してスワイプを行う例として，パイ
メニューおよびキーボードを考え，そのターゲット
サイズがアイコンと同程度であると考えたためこのサイズとした．この画面において最下段のみベゼルとアイコンの間隔が狭いが，我々はホーム画面におけるアイコン上にて行うショートカットを提案操作の応用の１つとして考えたため，その間隔も iPhone
6s と同じにした．

参加者と実験環境

参加者は，普段スマートフォンを右手にて操作している研究室外の大学生および大学院生の 8 人（2123 歳，平均 22.3 歳，男性 7 人，女性 1 人，右利き 6人，左利き 2 人）であった．実験にはスマートフォン
として iPhone 6s（iOS 12，138.3 mm × 67.1 mm）- 62 -

図 2. 実験に用いたアプリケーションの画面．アイコン
は 4 列 × 7 行 に配置されている．実験時にはター
ゲット（濃い青色）となっているアイコンのみが表示され，スワイプすべき方向が表示される．

4.2

タスクと実験手順

タスクは，ターゲットに対するスワイプである．
ターゲットにはスワイプすべき方向（上下左右のいずれか）が文字にて表示される．参加者にはそのター
ゲットに対して表示されている方向にスワイプを行ってもらった．我々は参加者に，スワイプの速度や距離については何も伝えず，ターゲットに表示される
方向にスワイプを行うことのみを伝えた．
全てのターゲット（4 × 7 = 28 個）に対して 1 度ずつスワイプを行うことを 1 セッションとした．参加者は，2 つの把持姿勢（両手操作：左手にスマートフォンを把持し右手の人差し指にてスワイプ，片手
操作：右手にスマートフォンを把持し右手の親指にてスワイプ）にて，それぞれ 4 セッションずつスワイプを行った．なお，参加者を 2 群に分け，把持姿
勢の順序を入れ替えた．ターゲットはランダムな順に表示され，スワイプの方向も同様に上下左右の 4方向からランダムに表示される．なお，参加者は各把持姿勢ごとに 4 セッションを通じて，全てのターターゲット内に両端が存在するスワイプジェスチャ
ターゲット内スワイプ

0

0

50

50

50

50

100

100

100

100

150

150

150

150

200

200

200

200

250

250

250

250

300

300

300

300

350

350

350

350

400

400

400

400

450

450

450

450

500

500

500

500

550

550

550

550

600

600

600

600

650

650
0

50

100 150 200 250 300 350

X

650

650
0

50

100 150 200 250 300 350

0

X

フリック

0

Y

Y

Y

Y

0

50

100 150 200 250 300 350

X

0

50

100 150 200 250 300 350

X

図 3. 実験 1 の全スワイプ．左から順に上，下，左，および右方向へのスワイプの軌跡である．外側の黒い矩形は iPhone
6s の画面を，内側の黒い矩形はターゲットを表す．円はスワイプの終点であり，円から伸びる直線は，各スワイプの始点と終点を結ぶ直線である．赤い線はターゲット内スワイプであり，黒い線はフリックである．

ゲットに対し 4 方向のスワイプを 1 度ずつ行った．
また，各セッションの後に 1 分間の休憩を設けた．
実験の所要時間は 1 人につき約 30 分であった．実験終了後，参加者は 830 円を謝金として受け取った．

4.3

結果

計 1792 回（28 回 × 4 セッション × 2 把持 × 8 人）のターゲットに対するスワイプを収集した．ターゲッ
トごとの全てのスワイプの軌跡を図 3 に示す．
全スワイプのうち，ターゲット内スワイプとなったのは 0.8%（14 回）であった．この結果から，ユーザがターゲットに対してスワイプを行った時に多くのスワイプの終点はターゲットの外側となることがわかる．また，今回発生したターゲット内スワイプ
は，上方向では両手操作時に 1 回，下方向では片手操作時に 3 回，両手操作時に 7 回，左方向では片手操作時に 2 回，両手操作時に 1 回であった．独立変数を把持姿勢およびスワイプの方向とし，従属変数をターゲット内スワイプの発生率として反復測定二元配置分散分析を行った結果，スワイプの方向に主効果が存在した（F3,48 = 4.30, p < .01）．しかし，事後多重比較として行った Tukey HSD 検定によると有意な差は存在しなかった（全て p > .05）．なお，下方向のスワイプを行った時に，ターゲット内
スワイプは 10 回発生したが，それらは全て最下段のターゲットに対して行われたものである．すなわ
ち，最下段のターゲットに対するスワイプは，本実
験にて 64 回行われており，そのうち 10 回（15.6%）
が意図せずターゲット内スワイプとなっていた．このため，下方向のターゲット内スワイプを端末下部のターゲットに対して用いることは避けるべきであると言える．

また，スワイプの平均距離は，上方向のスワイプ
にて 22.0 mm，下方向にて 20.9 mm，左方向にて
19.2 mm，右方向にて 18.4 mm であった．従属変数
をスワイプの距離として，反復測定二元配置分散分析を行った結果，スワイプの方向に主効果が存在した（F3,18 = 23.28, p < .001）．Tukey HSD 検定の結果，右方向と下方向（p < .05），上方向と左方向（p < .001），上方向と右方向（p < .001）の間に有意差が存在した．
収集したスワイプのうち，スワイプ距離がター
ゲットの 1 辺の長さ（9.3 mm）以下のスワイプは
12.11%（217 回）であった．しかし，そのうちター
ゲット内スワイプは 14 回であった．この結果から，
ユーザはスワイプの距離によらずターゲットの外側に指が移動するまでスワイプを継続させる傾向があるということが考えられる．
これらの結果から，ターゲット内スワイプはフリックとの競合が発生しにくいジェスチャであると言える．

- 63 -

5

実験 2：ターゲット内スワイプ

我々は，ユーザがターゲット内スワイプを実行しようとした時の入力精度を調査するために実験を
行った．

5.1

参加者と実験環境

参加者はボランティアとして参加した研究室内の大学院生 4 人（全員が 22 歳，男性 3 人，女性 1 人，
全員が右利き）である．実験端末は実験 1 と同じである．全ての参加者には，実験のタスクを行っている
間椅子に深く腰掛けてもらった．実験にて用いられたターゲットのサイズ，位置は実験 1 と同じである．

WISS 2019
00

ターゲット内スワイプ

0
50

50

100

100

150

150

150

150

200

200

200

200

250

250

250

250

300

300

300

300

Y

Y

Y

50
100

Y

50
100

350

350

350

350

400

400

400

400

450

450

450

450

500

500

500

500

550

550

550

550

600

600

600

600

650

650

650

0

50

100 150 200 250 300 350

X

0

50

100 150 200 250 300 350

650
0

X

フリック

0

50

100 150 200 250 300 350

X

0

50

100 150 200 250 300 350

X

図 4. 実験 2 の全スワイプ．左から順に上，下，左，および右方向へのスワイプの軌跡である．外側の黒い矩形は iPhone
6s の画面を，内側の黒い矩形はターゲットを表す．円はスワイプの終点であり，円から伸びる直線は，各スワイプの始点と終点を結ぶ直線である．赤い線はターゲット内スワイプであり，黒い線はフリックである．

5.2

タスクと実験手順

タスクはターゲット内スワイプの実行である．ター
ゲットとなったアイコンにはスワイプすべき方向（上下左右のいずれか）が文字にて表示される．我々は参加者に，画面に表示されたターゲットに対して，
スワイプの両端がターゲットの内側となるような短いスワイプを実行するように伝えた．
全てのターゲット（4 × 7 = 28 個）に対して 1 度ずつターゲット内スワイプを行うことを 1 セッションとした．参加者は，実験 1 と同じ 2 つの把持姿勢
にてタスクを行った．それぞれの把持姿勢の最初のセッションの前に練習として 1 セッションを行った
後，本番として 4 セッション行った．なお，参加者
を 2 群に分け，把持姿勢の順序を入れ替えた．ター
ゲットはランダムな順に表示され，スワイプの方向も同様に上下左右の 4 方向からランダムに表示される．なお，参加者は各把持姿勢ごとに本番の 4 セッションを通じて，全てのターゲットに対し 4 方向のスワイプを 1 度ずつ行った．参加者はスワイプを実行した後，ターゲット内スワイプが成功または失敗したことをそれぞれ異なる音によってフィードバッ
クを得た．また，各セッションの後に 1 分間以上の休憩を設けた．実験の所要時間は 1 人につき約 30分であった．

5.3

は片手操作時に 90.2%，両手操作時に 85.7%であった．成功率に対して，把持姿勢とスワイプ方向を独立変数として反復測定二元配置分散分析を行った結果，有意な主効果は存在しなかった（全て p > .05）．
この結果から，ターゲット内スワイプは片手，両手のどちらにおいても利用可能なジェスチャであることがわかる．
スワイプの平均距離は，上方向のスワイプでは
4.7 mm，下方向では 4.3 mm，左方向では 4.3 mm，
右方向では 4.1 mm であった．スワイプの距離に対して，把持姿勢とスワイプ方向を独立変数として反復測定二元配置分散分析を行った結果，有意な主効
果は存在しなかった（全て p > .05）．
成功したターゲット内スワイプの所要時間は，0.28（SD = 0.11 秒）であった．所要時間に対して，反復測定二元配置分散分析を行った結果，把持姿勢，
スワイプ方向のいずれにも有意な主効果は存在しな
かった（全て p > .05）．なお，一般的なジェスチャ
であるロングタップおよびダブルタップの認識には，
例えば iPhone においてはそれぞれ 0.5 秒という閾
値，および 0.25 秒という入力待機時間が用いられる．つまり，ターゲット内スワイプはロングタップ
よりも速く，ダブルタップと同程度に速いジェスチャ
である．

結果

応用例

6

全スワイプ 896 回（28 回×4 セッション×2 把持×
4 人）を図 4 に示す．これらのうち，ターゲット内
スワイプは 829 回であり，成功率は 92.5%であっ

6.1

た．成功率は，上方向のスワイプでは片手操作時に87.5%，両手操作時に 96.4%，下方向では片手操作
時に 87.5%，両手操作時に 95.5%，左方向では片手操作時に 97.3%，両手操作時に 100%，また右方向でスマートフォンにおいて頻繁に用いるアプリケー
ションを起動しやすくするために，ユーザは，各ア
プリケーションに対応するアイコンをホーム画面に配置する．また，多くのアイコンをホーム画面に配本節にて，我々は提案操作の応用例を示す．

- 64 -

アイコンフォルダに対するショートカットターゲット内に両端が存在するスワイプジェスチャ

置する場合には，1 つのフォルダにいくつかのアイ
コンをまとめる（図 5 左）．ただし，このフォルダに含まれるアイコンの数が増えると，フォルダのペー
ジ数が増える．この場合，フォルダ内のアプリケー
ションを起動するには，ユーザはフォルダをタップして開いた後，再び対象のアイコンを探してタップする必要がある．この時，選択対象となるアイコン
が別のページに存在する場合には，フォルダのペー
ジをスワイプによって遷移させ，その後にアイコンをタップする必要がある．一方，提案操作をアイコンフォルダに対して適用すると，フォルダを開くことなく，1 回のフリックまたはターゲット内スワイ
プにてフォルダ内のアイコンの選択（図 5 右上），またはページ遷移（図 5 右下）が可能となる．

がある（図 7a）．一方，提案操作に別の項目を割り当てることによって角度に関する分割数を増やすことなく項目を追加することが可能となる（図 7b）．
A

A

A

A

A

A

図 7. パイメニューの拡張．a：パイメニューに対して
16 種のコマンドを追加した例．b：提案操作を組み合わせて 16 種のコマンドを追加した例．

ページ遷移 アイコン選択

本節では実験結果を今後の課題を含めて議論する．

7.1
f

Tuesday14

日本語フリックキーボードの拡張

日本語フリックキーボードでは，ユーザが選択したキーの上下左右に各母音に対応した文字が表示され，ユーザはスワイプを行うことによって各文字を入力する．しかし，濁音，半濁音，および小文字の入力をする時には文字を入力した後，特殊文字に変換するためのキーを押す必要がある．これに対して，
我々は図 6 に示す形状のキーボードと提案操作を用いることにした．このキーボードにおいては，フリッ
クにて清音文字が，同方向のターゲット内スワイプ
にてその濁音文字等の特殊文字が入力される．
お

☆123
ABC

あいう

あ
い
か

さ

×

え た う な

は

空白

あ

ま

や

ら

̲
^^

わ̲

?!
、
。

検索

は
ひ

は

び

は

ひ

ぴ

は

図 6. 日本語フリックキーボードの拡張．提案操作によって特殊文字の入力が可能である．

6.3

議論と今後の課題

7

図 5. アイコンフォルダに対するショートカット．フリッ
クによってアイコン選択，提案操作によってフォルダのページ遷移が可能である．

6.2

A

A

パイメニューの拡張

実験 2 において，提案操作の成功率は 92.5%であった．これは，ジェスチャの成功率として十分に高いとは言えない．この原因として，スワイプに用いられている指によってオクルージョンが発生する
ため，ユーザは詳細なタッチ位置を知ることができないことが考えられる．この課題に対して，タッチ
位置とその周囲を拡大表示するポップアップ [13] を追加することによって成功率が向上する可能性がある．特にターゲット内スワイプは，ターゲットの縁を用いて判定されるため，ユーザが現在のタッチ位
置を知ることは実行精度に対して有効に働くと考え
られる．

7.2

タップとの競合可能性について

提案操作を行う際，スワイプの始点がターゲットの中心部からずれた場合にはユーザは指の移動距離を小さくする必要がある．一方，ユーザがターゲッ
トをタップする際にもぶれにより指が移動する．このため，提案操作とタップは競合する可能性がある．
なお，実験 2 における，提案操作実行時の指の移動
距離は 4.3 mm（SD = 1.3 mm）であった．この距
離は，タップ時に指が移動する距離に比べると大きいと考えられる．ただし，ユーザが歩いている時，
あるいは電車の中にてスマートフォンを操作している時には，タップする際のぶれによる指の移動距離が大きくなると考えられる．そのため，今後，様々な状況下における提案操作とタップとの競合可能性を調査する必要がある．

7.3

パイメニューは，複数のメニュー項目を高速に選択可能とする点において有用である．しかし，多くの項目を一つのパイメニューに表示させると，ユー
ザはスワイプをより細かな角度にて行う必要がある
ため，望んだ機能へのアクセスが困難となる可能性

提案操作の入力精度

ターゲットサイズの影響

提案操作の入力には，ターゲットの縁を横切らな
いような短いスワイプが必要とされるため，ターゲッ
トのサイズによっては提案操作を適用できない可能性がある．今回実験にて使用したターゲットのサイ- 65 -WISS 2019

ズは，スマートフォンのホーム画面に表示されるア
イコンと同じサイズである．我々は提案操作の応用
先に合わせてこのサイズにて実験を行ったが，今後は Apple のガイドライン1 に示されている推奨最小ターゲットサイズ（6.9 mm × 6.9 mm）のような小さなターゲットに対して提案操作が可能であるか調査を行う必要がある．また，より大きなターゲットに対するスワイプを行った時に，実験 1 と同様の結果となるか調査を行う必要がある．

7.4

スマートウォッチにおける提案操作の利用

今回の実験は，いずれもスマートフォンを用いて行われている．しかし，スマートフォンと同様にタッチパネルを採用している端末として，スマートウォッ
チがある．スマートフォンと比べてスマートウォッ
チの表示領域は狭く，さらにユーザはスマートフォンとは異なり，スマートウォッチを手首に装着して用いる．この様な場合に，提案操作の実行が可能であるか，調査を行う必要がある．

7.5

端末のベゼルに隣接するターゲット

現実装では提案操作の識別を，ターゲットの縁をスワイプが横切るかのみによって行っている．ただしこの実装では，スクリーンのベゼルと接している
ターゲットにおいて識別が不可能である．これに対して，提案操作を行おうとしたユーザはターゲットの縁より手前において指を止める動きをしていると考えられるため，我々は B2B-Swipe の識別器の実装 [6] と同様にスワイプの速度も識別に利用することを考えている．

8

まとめターゲットに対するスワイプのうち，その両端がターゲットの内側となるスワイプ（ターゲット内スワイプ）を新しいジェスチャとして提案した．ターゲッ
トに対するスワイプの調査を行った結果，ターゲッ
ト内スワイプは，偶発的な発生率が 0.8%であり，さらに，ターゲット内スワイプを実行する実験を行った結果，ユーザはターゲット内スワイプを 92.5%の精度にて実行可能であった．この 2 つの結果から，提案操作は偶発的には発生しにくく，意図した時にのみ実行可能なジェスチャである可能性が示されている．そのため，ターゲット内スワイプは，既存のターゲットに対するスワイプと競合することなく，
タッチ入力の語彙を拡張できる可能性がある．

参考文献[1] S. Boring, D. Ledo, X. A. Chen, N. Marquardt,
A. Tang, and S. Greenberg. The Fat Thumb:
1

Using the Thumb’s Contact Size for Singlehanded Mobile Interaction. MobileHCI ’12, pp.
39–48.
[2] H. Gil, D. Lee, S. Im, and I. Oakley. TriTap:
Identifying Finger Touches on Smartwatches.
CHI ’17, pp. 3879–3890.
[3] C. Harrison, J. Schwarz, and S. E. Hudson.
TapSense: Enhancing Finger Interaction on
Touch Surfaces. UIST ’11, pp. 627–636.
[4] S. Heo, J. Gu, and G. Lee. Expanding Touch
Input Vocabulary by Using Consecutive Distant
Taps. CHI ’14, pp. 2597–2606.
[5] S. Heo and G. Lee. ForceDrag: Using Pressure
As a Touch Input Modifier. OzCHI ’12, pp. 204–
207.
[6] Y. Kubo, B. Shizuki, and J. Tanaka. B2BSwipe: Swipe Gesture for Rectangular Smartwatches from a Bezel to a Bezel. CHI ’16, pp.
3852–3856.
[7] H. V. Le, T. Kosch, P. Bader, S. Mayer, and
N. Henze. PalmTouch: Using the Palm As
an Additional Input Modality on Commodity
Smartphones. CHI ’18, pp. 360:1–360:13.
[8] H. Lim, J. Chung, C. Oh, S. Park, J. Lee,and B. Suh. Touch + Finger: Extending Touchbased User Interface Capabilities with “Idle”
Finger Gestures in the Air. UIST ’18, pp. 335–
346.
[9] D. C. McCallum, E. Mak, P. Irani, and S. Subramanian. PressureText: Pressure Input for Mobile Phone Text Entry. CHI EA ’09, pp. 4519–
4524.
[10] I. Oakley, D. Lee, M. R. Islam, and A. Esteves.
Beats: Tapping Gestures for Smart Watches.
CHI ’15, pp. 1237–1246.
[11] V. Roth and T. Turner. Bezel Swipe: Conflictfree Scrolling and Multiple Selection on Mobile
Touch Screen Devices. CHI ’09, pp. 1523–1526.
[12] A. Roudaut, E. Lecolinet, and Y. Guiard. MicroRolls: Expanding Touch-screen Input Vocabulary by Distinguishing Rolls vs. Slides of theThumb. CHI ’09, pp. 927–936.
[13] D. Vogel and P. Baudisch. Shift: A Technique for Operating Pen-based Interfaces Using
Touch. CHI ’07, pp. 657–666.
[14] F. Wang, X. Cao, X. Ren, and P. Irani. Detecting and Leveraging Finger Orientation forInteraction with Direct-touch Surfaces. UIST
’09, pp. 23–32.
[15] F. Wang and X. Ren. Empirical Evaluation forFinger Input Properties in Multi-touch Interaction. CHI ’09, pp. 1063–1072.
[16] 池松 香, 山中 祥太, 坪内 考太, 椎尾 一郎.
Copernican-Touch：タッチサーフェスを指へ向けて接触させる動作を用いたタッチ入力拡張手法. WISS 2018, pp. 67–72.
[17] 黒澤 敏文, 志築 文太郎, 田中 二郎. 携帯情報端末上のスワイプ方向に着目したタッチジェスチャ
UI. 2015-HCI-163, 10 pages.

https://developer.apple.com/design/human-interfaceguidelines/ios/visual-design/adaptivity-and-layout/- 66 -WISS 2019

自己表情が他者からフィードバックされることで笑顔が促進されるシステム
堀江彩太 ∗

寺田 努 ∗

塚本昌彦 ∗

概要. 他者との会話において表情が相手に与える印象は大きいが，会話中に自分自身の表情を意識する機会は少ない．そのため無意識のうちに自分の意図とは異なる印象を他者に与えてしまうことがあり，これは他者とのコミュニケーションにおけるひとつの障害になりうる．また近年センサの小型化が進み，身体に装着できるほどの小型センサで表情認識を行うことができる．そこで本研究では，表情推定が可能な小型のカメラセンサを搭載したメガネ型ウェアラブルデバイスを用いて，自己表情が他者から LED 光のパターン
でフィードバックされるシステムを提案，実装する．本システムによって，フィードバックを受ける人は自己表情を意識する機会が増え笑顔の表出回数が増加するという仮説のもと，2 人 1 組の会話実験を行った．
その結果，会話によって笑顔の表出にばらつきはあるものの，会話中にフィードバックを行うことで笑顔を促す効果がある可能性を確認した．

1

はじめに

我々の日常生活において他者と良好なコミュニケー
ション関係を築くことは必要不可欠であり，一生涯欠かすことのできない要素である．また昨今のソー
シャルネットワーキングシステム（SNS）の台頭によって，実際に会わずにコミュニケーションを行う
非対面コミュニケーションの機会が増えた一方で，より一層直接会って行う対面コミュニケーションの重要性が指摘されている [1]．他者とのコミュニケー
ションにおいて，会話内容そのものの言語情報とは別に，話し方や仕草，表情などの非言語情報が相手に与える印象は大きいということは長い間広く知られている．Mehrabian はコミュニケーションにおいて他者に与える印象の要因の割合を調査しており，会話内容が 7%，声のトーンや話し方が 38%，表情や仕草が 55%という結果を示している [2]．この結果から会話中の非言語情報，とりわけ表情や仕草が他者に与える印象の影響は大きく，例えば相手に良い印象を与えたい場合，できるだけ笑顔でいることが望ましいといえる．
Strack らは自分自身の意志とは関係なく，笑顔の表情を生成することによってポジティブな感情がより得られることを報告している [3]．野口らは 2 者の会話において表情表出の抑制または誇張が受け手に対して及ぼす影響について調査している [4]．ポ
ジティブな表情表出を誇張することによって，受け手のポジティブな表情表出と発話割合が増大することを報告している．このことから，自分自身のポジ
ティブな表情表出を増やすことによって，自分自身も話し相手も，両方がよりポジティブな感情を得られるようになると考えられる．また桜木らは 3 者間での会話場面において視覚メディアが笑顔とうなずきの表出に与える影響について調査しており，非言語的表出性と会話満足度との間に有意な正の相関関係が得られたと報告している [5]．しかし，我々が会話中に自分自身がどのような表情をしているかを意識する機会は少ない．そのため，たとえ自分の笑顔
表出が少なかったとしてもその状況に気付くことが難しいという問題がある．
そこで筆者らはリアルタイムに人の表情推定ができるカメラセンサに着目した．このカメラセンサを用いて自己表情が他者に与える印象を可視化できれば，会話中の自分自身の表情を意識する機会が増えるため，自分の笑顔表出が少ないにも関わらずその状況に気付かないという問題を解決できるのではな
いかと考えた．また近年，表情推定が可能なカメラ
センサは小型化が進んでおり常に身体に装着できるほどの小さなものもある．ウェアラブルデバイスはセンサの小型化，高性能化により長時間，場所によらずに装着できるため，さまざまな状況においても利用可能で，潤沢なデータを得られる．よってこのカメラセンサをウェアラブルデバイスに組み込むことで，低負荷で発展性が見込めるシステムが構築できるのではないかと考えた．
本研究では図 1 のような，会話中に他者の表情を他者に提示するメガネ型デバイスを互いに装着することで，自己表情が他者から視覚的にフィードバック
されるシステムを提案する．また本システムによって表れる会話中の変化として，笑顔の表出に着目す
る．本システムを用いることで笑顔の表出回数や頻度に変化が表れるか調査を行う．

2

関連研究

会話中の笑顔を認識し，その場でフィードバックする方法としては以下の 2 つが考えられる．

Copyright is held by the author(s).
∗神戸大学大学院工学研究科電気電子工学専攻- 67 -WISS 2019⋈

たウェアラブルデバイスを用いて他者の笑顔を認識
し，他者にフィードバックする方法を提案する．小型のカメラセンサを用いることで微妙な表情変化を認識でき，ウェアラブルデバイスとして組み込むことで常時どの場所でも表情認識が可能となる．またフィードバックもウェアラブルデバイスから行えるようにすることで，すべてがウェアラブルデバイス
上で完結し実環境への導入を容易にする．加えて提案手法の特徴として，フィードバックされる側としてはその環境内の人間からフィードバックを受けることになるため，その場でのフィードバック（例えば，誰かが笑顔になると照明が明るくなるなど）とは異なる効果が得られると考えられる．

ওफ़ॿ஑ॹংॖ५

⋇①相⼿の笑顔を認識⋈ஜ౦ਡྩदৼুपৢੴ

3

図 1. 提案システムのイメージ

提案システム

本章では提案システムの実装に関してシステム要件を述べた後に，システム構成について述べる．

• 環境内に設置したカメラで表情を認識し，場

3.1

全体にフィードバックする．

システム要件

本研究では他者との会話において，自己表情が他者からフィードバックされることで笑顔が促進されるシステムの構築を目指す．そこで以下の 2 点のシ
ステム要件を満たす必要がある．
1. 社会的受容性がある: さまざまな場面での会話で利用することを想定した場合，ウェアラブルデバイ
スには社会的受容性が求められる．具体的には，容易に装着，取外しできること，大きさや重量によって装着者に大きな負担がかからないことなどが挙げられる．
2. システムによって会話を阻害しない: カメラセン
サによって表情を検出し，その情報をフィードバッ
クする方法としてさまざまなものが考えられる．しかし本研究では会話中にフィードバックを行うため，
音声フィードバックなどの会話を阻害するフィード
バック方法は適していない．また視覚によるフィードバックでも，会話中に話し相手から大きく目をそらすようなシステム構成であると会話を阻害することになるため，他者との会話中に目視しても不自然とならない場所から提示することが望ましい．

• 自己表情を認識するウェアラブルデバイスを使って自分にフィードバックする．
上記のそれぞれに関して，日常生活において笑顔を認識する方法や，フィードバックする方法に関する先行研究について述べる．
Tsujita らは日常生活のなかで積極的に笑顔をつくることを促進し，ユーザの感情状態の向上を支援するシステム「HappinessCounter」を提案している [6]．洗面所などの日常生活で習慣的に対面する場所に設置したり，冷蔵庫を開けるなどのユーザが日常で定期的に行う動作において笑顔検出をトリガーとするなどして，ユーザにより多くの笑顔生成を誘発する．笑顔の形成を積極的に支援する機会を設けることによって，普段他者とのコミュニケーションの機会が少ない人の感情状態を向上させることを目的としている．笑顔を促すという点では本研究と目的を同じくするが，本研究では会話中の表情をフィードバックするため，場所やタイミングによらずに笑顔を検出する必要があるという点で異なる．
Masai らはメガネの内側にフォトリフレクタを搭載し，メガネと頬との距離を測ることで笑顔を検出するシステムを提案している [7]．笑顔のときにメガネと頬の距離が短くなることを利用し単純にフォトリフレクタで距離を計測するだけであるため，場所やタイミングによらずに笑顔の認識を行える．しかしフォトリフレクタの性質上，周辺光の影響を強く受け，また微妙な表情の変化が十分に認識できな
い．そのため，さまざまな環境で行われる可能性があり，微妙な表情の変化の認識が必要となる [8] 会
話場面には適さないと考える．
そこで本研究では，本章の始めに述べた二つの方法とは別の方法として，小型カメラセンサを搭載し3.2システム構成以上のシステム要件を踏まえ，メガネ型デバイスの構成を図 2 に示す．表情推定を行うためのカメラ
センサとしてオムロン社の HVC-P2[9] をメガネに取り付け，有線でマイコン（Arduino[10]）に接続
した．このカメラセンサは広角カメラを有しているため，より広い範囲で複数人の顔を検出できる．また表情認識からフィードバックまで，PC を介さずにすべてマイコンで処理を行う．カメラセンサは毎秒 2 回ずつ画像を取得し，検出した顔の表情データ
をマイコンに送信する．表情データは，無表情，喜び，驚き，怒り，悲しみの 5 要素の合計が 100 に- 68 -

自己表情が他者からフィードバックされることで笑顔が促進されるシステム਀ੲ௓৒க૮ ಜ ຐ 怒 ๩ढ़ওছ७থ१



ইॕ‫ॻش‬ংॵॡँॉ

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00ইॕ‫ॻش‬ংॵॡऩख

ঐॖ॥থ
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000000000000000000000000000000000
000000000000000000000000000000000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
000000000000000000000000000000000/('ॸ‫ش‬উ਀ੲ௓৒கप
ૢगथਡྩ

図 4. 実験のようす

図 2. システム構成

験者 A と B の会話の場合，どちらもフィードバックを受けない（どちらのデバイスも光らない）パター
ン I，被験者 A のみがフィードバックを受ける（被験者 B が装着するデバイスのみが光る）パターン I
I，被験者 B のみがフィードバックを受ける（被験者 A が装着するデバイスのみが光る）パターン IIIの計 3 回である．これを被験者 C，D のペア，E，Fのペア，G，H のペアに対しても同様に行った．
メガネ型デバイスのフィードバックの機能としては笑顔を促すねらいのもと機能を実装し，フィードバックの有無によってどれだけ笑顔が頻繁に表出するかを評価する．具体的には，喜びの数値が 50 以上となる表情を笑顔とみなし，笑顔であることを意識させるために LED を白色点灯させる．また笑顔を一度も検出しない時間が 20 秒以上続いた場合，次に笑顔が検出されるまで笑顔を促すための警告としてLED を赤色に点滅させる．この一定時間笑顔がない
ことを警告される時間を笑顔なし警告時間と定義し，
本研究での評価指標とする．会話相手からフィード
バックを受けることによって，

図 3. デバイス装着のようすなる数値で出力される．会話を阻害しないフィード
バック方法として，本システムでは LED の光り方
によってフィードバックする．カメラセンサから得た表情データに応じてメガネの前面と横面に取り付けた LED が点灯，点滅することで，図 3 のようにデバイス装着者の話し相手に対してフィードバックを行う．LED はメガネの外側に取り付けているため，装着者には見えない．取得した表情データはマイコンに有線接続された microSD カードに保存される．メガネ，カメラセンサ，マイコン，LED テー
プ，リポバッテリを合わせたデバイスの総重量は 69グラムである．

4• 10 分間の会話における笑顔の割合が大きくなり（仮説 1），• 頻繁に笑顔を促され笑顔なし警告時間の平均時間が短くなる（仮説 2）

実験

提案システムが会話に与える影響を調査するため，
図 4 のように 2 名 1 組の会話実験を行った．

4.1

実験手法

被験者は 20 代男性 8 名で，会話ペアは計 4 組である．両者ともにメガネ型デバイスを装着した状態
で 10 分間の会話を行う．会話は両者のフィードバッ
クの有無のパターンを変えて 3 回行った．例えば被という二つの仮説のもと結果の比較検証を行う．な
お被験者にはそれぞれの会話について異なるテーマを与えた．具体的には「卒業旅行の行き先を決める」「学園祭での出展内容を決める」「追い出しコンパの出し物を決める」というテーマで話し合うように指示をした．他の被験者に対する指示として，会話の前にメガネ型デバイスの機能の説明は行ったが，本
実験の意図は伝えずに（笑顔なし警告があった場合には笑顔を表出するような指示は行わずに）実験を行った．
また各会話が終わった後には，会話の盛り上がり
やフィードバックがどれほど気になったかについて主観的な評価を調査するため，5 段階のリッカート
尺度でのアンケート調査を行った．

- 69 -WISS 2019
଺ୡ঻%

଺ୡ঻$

ϯϬ͘Ϭ

⋛

Ϯϱ͘Ϭ

⋜

ϮϬ͘Ϭ

⋝










ϭϱ͘Ϭ




>ী@



଺ୡ঻&








>ী@

ϭϬ͘Ϭ

଺ୡ঻'
ϱ͘Ϭ

⋛

Ϭ͘Ϭ

⋜
⋝













>ী@










>ী@

図 6. 10 分間の会話における笑顔の割合 [%]

଺ୡ঻)

଺ୡ঻(

⿕㦂⪅ ⿕㦂⪅ ⿕㦂⪅ ⿕㦂⪅ ⿕㦂⪅ ⿕㦂⪅& ⿕㦂⪅' ⿕㦂⪅,䝣䜱䞊䝗䝞䝑䜽䛺䛧 䝣䜱䞊䝗䝞䝑䜽䛒䜚

⋛
⋜
⋝











>ী@












>ী@




>ী@

଺ୡ঻+

଺ୡ঻*
⋛
⋜
⋝










‫ؼ‬൚౿ऩख૤ઔৎ৑


>ী@









‫ؼ‬ইॕ‫ॻش‬ংॵॡ॑ਭऐञ試⾏⋛૏঻ইॕ‫ॻش‬ংॵॡ॑ਭऐऩः
⋜ంડभযभाਭऐॊ ⋝కડभযभाਭऐॊ

図 5. 10 分間の会話タイムライン

4.2

実験結果と考察

まず実験結果の概要として，それぞれの 10 分間の会話における笑顔なし警告時間をタイムライン形
式に表したものを図 5 に示す．被験者 A は全体的に笑顔なし警告時間が短く，被験者 E や F には警告時間が長いものがみられるなど，被験者によって大きく差があることが分かる．以下，10 分間の会話における笑顔の割合と笑顔なし警告時間の平均時間についてそれぞれ実験結果を示し，考察を行う．ただし，他者からフィードバックを受けることによる影響に着目するため，各被験者におけるフィードバッ
クの有無で場合分けする．例えば被験者 A の場合，被験者 A がフィードバックを受けないパターン I とパターン III を同じ状況であるとみなし，その平均をフィードバックを受けない場合とする．

4.2.1 笑顔の割合
8 名の被験者の会話 10 分間における笑顔表出の割合をフィードバックの有無で分けた結果を図 6 に示
す．被験者 A，C，F，H の 4 名はフィードバックなしと比べてフィードバックありの会話の方が笑顔の- 70 -

割合が大きくなっているが，一方で被験者 B，E，Gの 3 名は逆の結果となった．被験者 D はフィードバッ
クの有無での変化が見られなかった．フィードバッ
クありとなしの条件間で，笑顔の割合の平均値間の差について対応のある t 検定を実施したところ，統計的に有意な差は認められなかった（t(7) = −0.886
p = 0.405 > .05）．以上の結果から，全体として 10分間の会話における笑顔の割合が大きくなるという
仮説 1 は支持されなかった．
この結果の原因として，会話のテーマの違いによる盛り上がりの度合いの影響が大きかったことが挙げられる．たとえば被験者 E と F の会話での笑顔の表出回数は，パターン I では 12 回と 6 回，パターンII では 8 回と 9 回であるのに対し，パターン III では 52 回と 39 回と明らかに増えている．またパター
ン I，パターン II では会話も途切れぎみであったため，フィードバックの有無というよりは会話によって全体的に盛り上がっていることが笑顔表出に影響を与えていると考えられる．

4.2.2 笑顔なし警告時間
8 名の被験者の笑顔無し警告時間の平均時間をフィードバックの有無で分けた結果を図 7 に示す．被験者 B，D，E の 3 名にほとんど変化は見られなかった．他の被験者はすべてフィードバックありの方が笑顔なし警告時間が減少していたが，フィードバック
ありとなしの条件間で，笑顔なし警告時間の平均値
間の差について対応のある t 検定を実施したところ，
統計的に有意な差は認められなかった（t(7) = 1.552
p = 0.165 > .05）．したがって，フィードバックを受けることによって被験者は頻繁に笑顔を促され，笑顔なし警告時間の平均時間が短くなるという仮説
2 の傾向は見られたものの，この仮説を支持する結果は得られなかった．
多くの被験者で笑顔なし警告時間の減少傾向が見られた要因として，被験者はフィードバックを受ける会話において，話し相手のデバイスの LED の赤色点滅によって一定時間笑顔がないという警告を受自己表情が他者からフィードバックされることで笑顔が促進されるシステム
ϭϮϬ

表 1. フィードバックありの会話のアンケート結果（1:
そう思わない–5:とてもそう思う，() 内はフィード
バックなしの会話のアンケート結果）

ϭϬϬ
ϴϬ
ϲϬ

被験者 A

ϰϬ

被験者 B

ϮϬ
Ϭ

被験者 C
被験者 D

⿕㦂⪅ ⿕㦂⪅ ⿕㦂⪅ ⿕㦂⪅ ⿕㦂⪅ ⿕㦂⪅& ⿕㦂⪅' ⿕㦂⪅,䝣䜱䞊䝗䝞䝑䜽䛺䛧 䝣䜱䞊䝗䝞䝑䜽䛒䜚

被験者 E
被験者 F
被験者 G

図 7. 10 分間の会話における笑顔なし警告時間の平均
時間 [s]

被験者 H

Q1
4(4.5)
5(5)
4(4)
5(5)
5(5)
5(4.5)
4(3.5)
5(3.5)

Q2
5(5)
5(5)
3(5)
4(5)
5(5)
5(5)
4(3.5)
4(3)

Q3
5(5)
5(5)
5(4.5)
5(5)
5(5)
5(5)
4(3.5)
4(3.5)

Q45(4.5)
5(5)
4(5)
5(5)
5(5)
5(5)
5(4)
5(3.5)Q53(3)2(1.5)
4(2.5)4(3)1(1)
2(1.5)
3(3.5)
3(4)‫؟‬஧౦ਡຑけ，意識的に笑顔になることを意識した結果，頻繁に笑顔が表出したと考えられる．全体的に減少効果が見られたものの，t 検定を行った結果有意差は認められなかった．この原因として十分な標本数がなかったことが考えられるため，より多くの被験者に対して実験を行い検証する必要がある．

4.3

‫؟‬ஜ౦ਡྩ
000 000 000 000 000 000 000 000 000 000 000 000 000 000
0 0 0 0 0 0 0 0 0 0 0 0 0 0 ‫؟‬नठैु

00000000 00 00 00 00 00
00 00 00 00 00 00
000000000000

議論

本実験の結果，フィードバックありの場合とフィードバックなしの場合では笑顔の表出回数に大きな変化は見られなかった一方，被験者数が少ないながらも笑顔なし警告時間は総じて減少傾向が見られた．
この結果がフィードバックによる影響であるのか，
今後は同じ実験手法でさらに検証する必要がある．
被験者の主観的な指標として，各被験者の会話に対する印象を評価したアンケート結果を表 1 に示す．
質問項目は「Q1:会話は活発であった．
」「Q2:自分は積極的に話せた．
」「Q3:会話相手は積極的に話していた．
」「Q4:会話は楽しかった．
」「Q5:10 分の会話を長く感じた．
」の計 5 つである．フィードバック
なしの会話は各被験者で 2 回ずつ行っているため，
平均の評価値を記している．被験者 G，H はフィードバックありの方が会話は楽しく，10 分の会話が短く感じたと回答している一方で，被験者 C からは反対の回答を得た．全体的な結果としては，フィードバックの有無によって会話に対する印象が大きく異なるという傾向は見られなかった．
また，各被験者のフィードバックに対する印象を評価したアンケート結果を図 8 に示す．
「フィード
バックの光は気になったか？」という質問に対しては被験者によって異なる回答であったが，「1：全く気にならなかった」という回答はなかった．またそれぞれ気になったフィードバック光の色を調査した
ところ，これも被験者によって異なる回答であった．
どの被験者もフィードバックに対して何らかの印象を抱いたことが分かった．他にアンケートの自由記
述欄で得られた回答として，「自分が笑うとき何回か- 71 -

図 8. 「フィードバックの光は気になったか？」に対する回答と気になった色（1:全く気にならなかった–5:
とても気になった）は下を向いて笑っていたため，フィードバックの光を見ていなかった」というものがあった．現在のシステムでは笑顔を認識するとすぐにフィードバック
するが，フィードバックのタイミングとして次に相手の顔を捉えたときに行うという方法もひとつ考えられる．
本システムの評価に当たって，今回はフィードバッ
クの有無に焦点を絞ったため「話し相手のみがフィードバックを受ける場合」と「両者フィードバックを受けない場合」を同等とみなして考察を行った．しかし互いの言動が影響を与え合う 2 者間の会話において，それぞれを同じ条件とみなすことが妥当であったかは疑問が残る．したがって，新たに「両者フィードバックを受ける場合」も含め，同じ会話ペアに対して計 4 条件の比較検証を行う必要があると考える．加えて，その場全体のフィードバックでな
く，他者からダイレクトにフィードバックされるという特性を評価するために，両者のフィードバック
方法を比較するということも今後の課題である．
本研究では 1 対 1 の会話での実験を行ったが，日常生活での会話場面を想定した場合，3 人以上の複WISS 2019

参考文献

数人での会話も十分に想定される．2 者間での会話と3 者間での会話では本システムの特徴として，表情の認識はデバイスの装着者の視界に入った複数人に対して行える一方で，フィードバックは異なる LEDを使ってそれぞれ個別にフィードバックを行うことも可能である．また本システムで用いたカメラセン
サは，表情認識のほかにも顔の向きの推定や，視線の向きの推定も行うことができる．したがって，本デバイスは更に複雑な会話状況においても，表情認
識以外の顔に関する情報提示を行える可能性を持っていると考えている．

5[1] 文化庁: 分かり合うための言語コミュニケーショ
ン（報告）, http://www.bunka.go.jp/koho_hodo_oshirase/hodohappyo/__icsFiles/
afieldfile/2018/04/09/a1401904_03.pdf.
[2] A. Mehrabian: Communication Without Words,
Phychological Today, Vol. 2, pp. 53–55 (1968).
[3] F. Strack, L. L. Martin, and S. Stepper: Inhibiting and Facilitating Conditions of the Human
Smile: A Nonobtrusive Test of the Facial Feedback Hypothesis, Journal of personality and social psychology, Vol. 54, pp. 768–777 (1988).
[4] 野口素子, 吉川左紀子: 2 者の会話における表情
表出の抑制・誇張が受け手の表情表出と発話に及ぼす影響, 感情心理学研究, Vol. 21, pp. 124–132(2014).

まとめ

本研究では，表情推定が可能な小型カメラセンサ
によって自己表情が他者からフィードバックされるシステムを提案，実装し，本システムが会話中の笑
顔の表出に与える影響を調査した．調査の結果，会話中にフィードバックを行うことで笑顔の回数に大きな変化は見られなかったものの，より頻繁に笑顔が表出することが分かった．今後は本研究の他者によってフィードバックされることによる特性を検証するために，会話中の表情や場の雰囲気をフィードバックする他の方法と比較した実験を行う．

[5] 桜木亜季子, 木村昌紀, 磯友輝子, 大坊郁夫: 3 者
間会話場面に視覚メディアが果たす役割: 笑顔とうなずきの表出, 及びそれらの行動マッチングに注目して, 対人社会心理学研究, Vol.5, pp. 39–47(2005).
[6] H. Tsujita and J. Rekimoto: Smile-Encouraging
Digital Appliances, IEEE Pervasive Computing,Vol. 12, pp. 5–7 (2013).

謝辞
本研究の一部は，JST CREST(JPMJCR18A3)の支援によるものである．ここに記して謝意を表す．

[7] K. Masai et al.: Evaluation of Facial Expression
Recognition by A Smart Eyewear for Facial Direction Changes, Repeatability and Positional
Drift, ACM Transactions on Interactive Intelligent Systems, Vol. 9, pp. 39:1–39:22 (2017).
[8] 松久ひとみ, 橋本 学: 心の健康状態把握システムのための顔表情変化時刻検出, 映像情報メディア
学会技術報告, Vol. 37, pp. 53–56 (2015).
[9] オ ム ロ ン 株 式 会 社:
形 B5T ヒュー マ ン
ビ ジョン コ ン ポ（HVC-P2）,
https://www.omron.co.jp/ecb/product-info/
image-sensing-/b5t-007001．
[10] Arduino, https://www.arduino.cc/.

- 72 -WISS 2019

多様なマルチタッチ入力を自動生成するデバイスの構築
岡本 雅弘 村尾 和哉 ∗概要. スマートフォンやタブレット，ノートパソコンなどのタッチパネルを搭載した機器の普及にともない，ユーザがタッチ入力を行う機会が増えた．本研究では，タッチパネルにおけるタッチ入力を高速，連続，またはハンズフリーで実現するために，マルチタッチ入力を自動生成するデバイスを構築した．提案デバイスは導電性インクを用いて電極を印刷した電極シートと電圧制御基板から成り，タッチパネルの静電容量を時間空間的に変化させることでマルチタッチ入力を生成する．評価実験より，提案デバイスはシングル
タッチ，プレスアンドタッチ，スクロール，ピンチイン，ピンチアウト，回転の 6 つのマルチタッチ入力を高精度で生成できることを確認した．

1

はじめに

2

スマートフォンやタブレット，ノートパソコンなど静電容量式タッチパネルを搭載した機器が広く普及している. ユーザはタッチパネルに対してタッチ入力を行うことで，意図する要求を直観的に入力できるようになった．
本研究では印刷可能な回路とマイコンを用いてマルチタッチ入力を生成するデバイスを提案する．
提案デバイスはタッチパネルに新たなソフトウェア
を一切インストールすることなく，ひとつのインタフェースでスクロールやピンチ操作などのマルチタッ
チ入力を生成する．マルチタッチ入力をユーザに代わって自動生成するデバイスがあれば，高速，連続，ハンズフリーのタッチ入力を実現でき，タッチパネ
ルを利用した作業の効率化や自動化が期待できる．
提案デバイスは導電性インクを用いて電極を印刷した電極シートと電圧制御基板から成り，タッチパ
ネルの静電容量を時間空間的に変化させることでマルチタッチ入力を生成する．予備実験を行い，マル
チタッチ入力を生成するために必要な電極の大きさと間隔を調査し，デバイスを設計，実装した．評価
実験では，提案デバイスがシングルタッチ，プレスアンドタッチ，スクロール，ピンチイン，ピンチア
ウト，回転の 6 つのマルチタッチ入力を高精度で生成できることを確認した．また，生成したスクロー
ルがページを移動させたピクセル量（移動量），ピンチアウトによってページが拡大された割合（拡大量），ピンチインによってページが縮小された割合（縮小量），回転によってページが回転した角度（回転量）を測定した．さらに，マルチタッチ入力の生成
終了後，次のマルチタッチ入力までに最低限必要なインターバルを調査し，提案デバイスがマルチタッ
チ入力を高速で生成できることを確認した．

∗

関連研究

Voelker ら [7] はタッチ入力を生成するインタフ
ェースとして，タッチパネル内の送信電極を導電性のブリッジを介して別の位置にある受信電極と静電結合させ，バッテリや人体の接触を必要としないマルチタッチ生成デバイスを提案している．Ikeda ら[3] は，導電性インクで印刷した 2 次元の電極パター
ンをタッチパネルに接触させることで電極パターンの位置でマルチタッチを生成し，任意のコードを表現できる CapacitiveMarker を提案している．Kato
らの ExtensionSticker[4] は，導電性インクを用いて作成した縞模様のシールで，タッチパネルに張り付けてタッチパネルを拡張するインタフェースである．シールの導電部をタッチすることで印刷パターンに応じたタッチ入力をタッチパネルに発生させる．
提案デバイスは，導電性インクで導電部を印刷したシートを用いてマルチタッチ入力を生成するが，従来研究と異なり，ひとつのシートで多用なマルチタッ
チ入力を動的に生成できる．
Yu ら [6] らが提案する Clip-on Gadgets では，物理的なボタンが取り付けられたクリップをスマートフォンなどのタッチパネルに取り付けてタッチ入力を行っている．クリップの内側には導電性ゴムが取り付けられており，ボタンを押した際に導電性ゴムの静電容量が変化し，タッチ入力を発生させている．
Ogata ら [5] は，マルチタッチデバイスのタッチス
クリーンに対して，タッチセンシングの判定を電子的に変更することができるペン型デバイスを用いて，データ通信を実現している．Kim ら [2] は，3D プ
リンタを用いてスタイラスペンを物理的に動かし，
タッチパネルへの入力を行う SikuliBot という機構を構築している．

3

提案手法
本節では提案手法の構成および処理を説明する．

Copyright is held by the author(s).
立命館大学- 73 -WISS 20193.1

デバイス構成提案デバイスは図 1 に示すように，ワンボードマ
イコン，メカニカルリレーから成る回路，電極シー
ト，電源で構成される．電極シートは導電性インク
で複数の電極を印刷したものであり，タッチパネルに接触させて使用する．各電極は個別のリレーに接続されており，リレーがオンのとき，対応する電極が接地される．ワンボードマイコンはリレーを制御する．デバイスの詳細な実装は次節で述べる．

3.2

䝸䝺䞊ᅇ㊰

㟁ᴟ䝅䞊䝖

䝍䝑䝏䝟䝛䝹

図 1. デバイス構成

シングルタッチ ダブルタッチ

ホールド プレスアンドタッチ

静電容量式タッチパネルの基本原理
スクロール

静電容量式タッチパネルにおけるタッチ検出手法
を簡単に説明する．詳細は文献 [1] を参照していただきたい．タッチパネル内部には信号送信電極と信号受信電極が格子状に配置されており，送信電極と受信電極の交点では静電結合が生じている．静電結
合されている箇所に人体など接地された導電体が接近すると電極間の静電容量が変化する．この静電容量の変化量を計測してタッチを検出する．送信電極の信号を走査することで複数のタッチを検出できる．
タッチパネルは指による操作に適応するため，静電容量が変化している面積が小さすぎる，または大きすぎる場合はタッチを検出しない．また，指がタッ
チパネルに接触する前にタッチに検出しないために，
静電容量の変化に閾値を設けている．さらに，2 点をタッチする場合，2 点の距離が電極の格子間隔より短いと，2 点を分離して識別できず 1 点のタッチと認識される．本研究では，これらの制約を考慮してデバイスを作成する．

3.3

䝬䜲䝁䞁

㟁※

ピンチイン

ピンチアウト回転

図 2. マルチタッチ入力の例1

㻭

㻔㻝㻕

㻮

㻭

㻔㻞㻕

㻮

㻭

㻔㻟㻕

㻮

㻦㻌 ᥋ᆅ䛥䜜䛯㟁ᴟ㻦㻌 ᥋ᆅ䛥䜜䛶䛔䛺䛔㟁ᴟ㻦㻌 䝍䝑䝏䝟䝛䝹䛜ㄆ㆑䛩䜛㟼㟁ᐜ㔞ኚ໬䛾㔜ᚰⅬ

図 3. スクロールの生成手順

移動させることで生成する．スクロールの生成手順
を図 3 に示す．図中の ■ は接地された電極，□ は接地されていない電極，青丸はタッチパネルが認識す
る静電容量変化の重心点を表す．スクロールの生成
手順は次のとおりである．

1. 電極 A のみを接地させて静電容量変化の重心を電極 A の位置に生成する．
2. 電極 B も接地させて静電容量変化の重心を 2

マルチタッチ入力生成原理

提案デバイスではマイコンとリレーによる制御
で電極を接地させ，シングルタッチ，ダブルタッチ，
ホールド，プレスアンドタッチ，スクロール，ピンチイン，ピンチアウト，回転の 8 種類のマルチタッ
チ入力を実現する．各マルチタッチ入力を図 2 に示
す．シングルタッチは，1 回タッチする操作，ダブル
タッチは素早く 2 回タッチする操作，ホールドはタッチし続ける操作，プレスアンドタッチは指で触れた
まま，もう 1 本の指でタッチする操作である．スクロールは指でタッチしたまま一方向に動かす操作，
ピンチインは 2 本の指でタッチしたまま，つまむよ
うに動かす操作，ピンチアウトは 2 本の指でタッチしたまま，開くように動かす操作，回転は 2 本の指で触れて，1 本を中心にしてもう 1 本の指を円を描くように動かす操作である．
各タッチの実現方法は以下の通りである．シング
ルタッチは 1 個の電極を 1 度だけ接地させる．ダブ
ルタッチはシングルタッチを 2 回素早く生成する．
ホールドは 1 個の電極を一定時間接地させる．
残りの 5 種類のマルチタッチ入力は，複数の電極を連続的に接地させて，静電容量の変化の重心点をつの電極の中点に移動させる．

3. 電極 A を解放（接地させない）して，静電容量変化の重心を電極 B の位置に移動させる．
この手順をスクロール方向に隣接する 2 個の電極で実施することで，スクロールを生成する．この手法
は，隣接する電極間距離がタッチパネル内部の格子
電極間隔より短い場合，2 点の接地が 1 点のタッチと誤認識される制約を利用している．その他のマル
チタッチ入力は図 4 に示すように，シングルタッチ，
ホールド，スクロールの組合せで実現する．具体的には，プレスアンドタッチは 1 個の電極を接地させたまま，隣接しない別の電極を接地させる．ピンチ
イン（アウト）は 2 つのスクロールを互いに近づく（離れる）方向に生成する．回転は 1 個の電極をホー
ルドし，隣接しない位置でスクロールを生成する．

- 74 -

4実装

本節ではマルチタッチ入力生成に必要な電極サイズを調査する予備実験と予備実験の結果にもとづく
1

designed by Macrovector - Freepik.com

多様なマルチタッチ入力を自動生成するデバイスの構築䝥䝺䝇䜰䞁䝗䝍䝑䝏

㟁ᴟ㻭

䝢䞁䝏䜲䞁
䝢䞁䝏䜰䜴䝖

㟁ᴟ㻭 㟁ᴟ㻮

㟁ᴟ㻮

᥋ᆅ
㠀᥋ᆅ
᥋ᆅ
㠀᥋ᆅ
᫬㛫

ᅇ㌿

ษ᭰᫬㛫 䜲䞁䝍䞊䝞䝹図 5. スクロールを例とした電極を制御する時系列

図 4. プレスアンドタッチ，ピンチイン，ピンチアウト，
回転の生成手順

表 1. 生成成功率 [%]実装を述べる．

4.1

予備実験

文献 [7] では，タッチパネル内部の格子電極間隔
は 5mm が一般的であると推測されている．最も長√くなる対角の電極交差点の距離は 5 2 ≈ 7.07[mm]であり，これより短い電極間隔であればマルチタッ
チ入力を生成できない可能性がある．一方で，電極間隔が大きいとデバイスが大きくなるため，マルチ
タッチ入力が高確率で生成される最小の電極間隔が最適である．そこで，プロトタイプデバイスを作成
し，重心点の移動をともなうスクロール，ピンチイン，ピンチアウト，回転の 4 つのマルチタッチ入力に対して，電極間隔を変えて成功率を調査した．
電極シートは導電性インク（エレファンテック社
製 AgIC インク#1000）を用いて専用シート（三菱製紙社製 NB-TP-3GU100）にインクジェットプリ
ンタ（EPSON 社製 PX-S160T）で図 3 と図 4 に示
すように電極を印刷して作成した．1 個の電極は 1
辺 4，5，6，7，8[mm] の 5 種類の大きさの正方形で作成し，電極間の隙間は互いに通電しない最小距離である 0.5mm とした．使用したタッチパネルは
Lenovo ThinkPad X1 Yoga（Windows 7，10 点
マルチタッチ対応）である．各マルチタッチ入力を
タッチパネル内部の格子電極に対して平行方向と対角方向（平行方向に対して 45 度傾けた方向）の 2
方向で 5 種類の大きさの電極シートを用いて 100 回ずつ，合計 6 種マルチタッチ入力 ×5 種シート ×2
方向 ×100 回=6,000 回生成し，成功率を計測した．
成功の判定方法については，Google Earth2 において，筆者らの目視による確認で，スクロールの移動量，ズームインとズームアウトの量，回転の量は考慮せずに，正しいマルチタッチ入力が生成されれば成功とした．ただし，スクロールと回転は正しい方向に生成された場合のみ成功とした．
電極を接地させる時間について，図 5 に示すスクロールで 2 個の電極 A，B を制御する時系列を例に説明する．電極の接地パターン維持する時間を本研
究では切替時間と呼び，予備実験ではすべての切替
時間を 50ms とした．また 1 回のマルチタッチ入力が終了した後，次のマルチタッチ入力を開始するま2

https://www.google.co.jp/intl/ja/earth/- 75 -

電極 スクロール ピンチイン
サイズ 平行 対角 平行 対角
4mm
0
0
99
84
5mm
0
100 9906mm 870
100 100
7mm 100 93 100 100
8mm 99 100 100 100

ピンチアウト回転平行 対角 平行 対角
68
80
0
0
92
68
72
71
95
99
72
75
100
100
84
90
100
100
85
86

での時間をインターバルと呼び，1,000ms とした．
切替時間とマルチタッチ入力の成功率の調査は後述
する評価の節で述べる．
結果を表 1 に示す．スクロールは，電極サイズ
5mm 以下で成功率 0%となり，対角方向では 6mm以下で成功率 0%となった．これらはおおむね予想通りの結果といえる．ほかのマルチタッチ入力については，5mm の電極でも生成できた．スクロールは隣接する 2 電極で生成するのに対し，ピンチインとピンチアウトは 5 電極，回転のスクロール部分は3 電極使用しており，静電容量変化の重心の移動量が大きいため小さい電極でも成功率が高くなったと推察できるが，詳細な調査は今後の課題とする．ピンチインとピンチアウトで同じ電極サイズでも成功率が異なるため，ソフトウェアによる制御が働いている可能性もある．少なくともスクロールを高い確率で生成するためには電極サイズを 7mm 以上にする必要がある．

4.2

デバイスの実装

予備実験の結果をもとに，電極の印刷面積を可能な限り小さくし，かつスクロールなどの方向の粒度を上げるために対辺距離が 7mm の正六角形の電極をハニカム構造で 9 個配置するデザインで設計した．
図 6 に示すように，スクロールは隣接する 2 個の電極を使用して 6 方向に生成可能で，3 個の電極を使用すれば π/6[rad] ずれてさらに 6 方向に生成可能で，合計 12 方向に生成可能である．ピンチインとピンチアウトは 4 個の電極でスクロールを 2 組生成することで実現し，回転は 6 個の電極で 2 つの弧を同時に描くように電極を操作することで実現した．
シングルタッチ，ダブルタッチ，ホールド，プレス
アンドタッチは予備実験と同様であるため図での説
明は割愛する．
実装したデバイスと回路図をそれぞれ図 7 と図 8

WISS 2019

プ速度計測ツール3 にて成功回数を計測し，試行回数で除することで成功率を算出した．スクロール，ピンチイン，ピンチアウト，回転は Google Earth において，筆者らの目視による確認で，スクロールの移動量，ズームインとズームアウトの量，回転の量は考慮せずに，正しいマルチタッチ入力が生成されれば成功とした．スクロールと回転は正しい方向に生成された場合のみ成功とした．シングルタッチは切替時間を 1ms から 25ms まで 1ms 刻みで変化させ，インターバルは設けずに連続で各 100 回（合計2,500 回）生成した．シングルタッチ以外は，切替時間を 5ms から 50ms まで 5ms 刻みで変化させ，イ
ンターバルを 1,000ms として各 100 回（合計 1,000回）生成した．なお，ダブルタッチはシングルタッチ
を連続で生成すればよく，ホールドはシングルタッ
チを一定時間継続すればよいため，評価からは割愛
する．

䝇䜽䝻䞊䝹
䠄㟁ᴟ㻞ಶ౑⏝䠅䝇䜽䝻䞊䝹䠄㟁ᴟ㻟ಶ౑⏝䠅䝢䞁䝏䜲䞁䝢䞁䝏䜰䜴䝖

ᅇ㌿

図 6. ハニカム構造におけるマルチタッチ入力生成手順
リレー

GND

電極

2
3

9

5.1.2

10
11

シングルタッチ，スクロール，プレスアンドタッチ，ピンチイン，ピンチアウト，回転の生成成功率を図 9 に示す．以降，マルチタッチ入力の種類ごとに結果を述べる．
シングルタッチは切替時間 20ms 以上では，ほぼ 100%の成功率でタッチを生成できた．切替時間
15ms 以下では成功率が 20%以下となった．切替時
間 2〜4[ms] では，100 回目の試行のみシングルタッ
チが認識された．シングルタッチの失敗時は何も生成されなかった．
プレスアンドタッチは切替時間 40ms 以上では，100%の成功率であった．切替時間 20ms では成功率が 8%，15ms 以下では成功率が 0%であった．プ
レスアンドタッチの失敗時は，何も生成されない，
またはシングルタッチと誤認識された．
スクロールは切替時間 20ms 以上で成功率は 90%
以上，50ms で 100%であった．切替時間 15ms では
成功率 49%で，10ms 以下では成功率は 0%であった．スクロールの失敗時は，何も生成されない，またはシングルタッチと誤認識された．
ピンチインは切替時間 25[ms] 以上では成功率 97%
以上，45ms 以上では 100% であった．切替時間 5ms
以下では成功率は 0%であった．ピンチインの失敗
時は，何も生成されない，またはシングルタッチあるいはスクロールに誤認識された．
ピンチアウトは切替時間 35ms 以上で成功率 100%であった．切替時間 10ms 以下では成功率 0%であった．ピンチアウトの失敗時は，何も生成されない，
またはシングルタッチ，スクロール，ピンチインに誤認識された．
回転は他のマルチタッチ入力と比較すると成功率の上昇が緩やかであり，切替時間 25ms 以上で成功

18
14
15
16
マイコン

図 7. 実装したデバイス

図 8. デバイスの回路図に示す．マイコン（ダイレクト USB ATmega32U4
ボード Arduino Leonardo 互換）と電極シートをリレー（HSINDA PRECISION CO., LTD 製 Y14H1C-5DS）9 個を経由して接続している．電極シー
トの電極と導線は導電性テープで接着している．マ
イコンの電力は USB で給電しているが，電池による給電も容易に可能である．タッチパネルを搭載した端末にソフトウェアのインストールや事前設定は一切不要で，タッチパネル上に提案デバイスを置くだけでマルチタッチ入力を生成できる．

5

結果

評価

本節ではマルチタッチ入力の成功率とスクロールの移動量，回転の回転量の評価を行う．

5.1 マルチタッチ入力の成功率
5.1.1 評価環境
マルチタッチ入力の生成に要する時間は短い方が望ましいため，シングルタッチ，プレスアンドタッチ，スクロール，ピンチイン，ピンチアウト，回転の 6 つのマルチタッチ入力について，切替時間を変えて成功率を評価した．タッチパネルは予備実験と同様の Lenovo ThinkPad X1 Yoga を使用した．シングルタッチ，プレスアンドタッチは超簡易版タッ3- 76 -

http://gadgetwatch.arrow.jp/tap/

多様なマルチタッチ入力を自動生成するデバイスの構築
Success rate [%]

100
75
50
25
0

10

20
30
Switch time [ms]Single touch
Press and touch
ScrollPich-in
Pinch-out
Rotate4050

図 9. 切替時間を変化せさときのマルチタッチ入力生成の成功率

率は 80% 以上，50ms で 97%であった．切替時間
5ms 以下では成功率 0%であった．回転の失敗時は何も生成されない，またはタッチ，スクロール，ピンチイン，ピンチアウトと誤認識された．

5.1.3

考察

結果から，シングルタッチは毎秒 25 回の速度でほぼ 100% の成功率で生成できる．シングルタッチの結果から，タッチパネルのタッチ認識は 20ms 間隔で行われている，または発生間隔が 20ms 以下の接触はタッチと認識しない制約があると考えられる．
プレスアンドタッチ，ピンチイン，ピンチアウトも切替時間を一定の長さ以上に設定すれば 100% の成功率で生成できた．全体の傾向として，複雑なマル
チタッチ入力ほど成功率が低く，必要な切替時間が長くなった．回転はもっとも成功率が低かった．また，成功率が 0%でも 100%でもない場合では，同条件で生成したマルチタッチ入力でも成功した試行と失敗した試行があることを意味し，その原因として，電極シートがタッチパネルから浮いてしまったことが考えられる．生成に使用するすべての電極がタッチパネルに正しく接触している必要があるため，使用する電極の数が多いほど成功率が低くなると考えられる．

5.2 移動量，拡大量，縮小量，回転量
5.2.1 評価環境
スクロール，ピンチイン，ピンチアウト，回転のように，動きをともなうマルチタッチ入力は意図した量だけ移動や拡大・縮小，回転できるか，またはその量が安定しているかも重要な指標である．そこ
で，切替時間を変化させて，スクロールの移動量，
ピンチアウトの拡大量，ピンチインの縮小量，回転の回転量を計測した．
スクロールの移動量について，5.1.2 節の結果より，切替時間 10ms 以下ではスクロールの成功率が低いため，切替時間を 15ms から 100ms まで 5ms 刻
みで変化させて各 100 回生成した．また，1 回のスクロールの最後に接地している電極（図 3 の (3) の状
態）の切替時間が短いとフリックのような挙動を示すことを事前に確認していたため，切替時間 50msと 20ms について，1 回のスクロールの最後に接地- 77 -

する電極のみ接地時間を 100ms とする場合の計測も行い，合計 2,000 回生成した．
ピンチアウト，ピンチイン，回転について，スクロールと同様に切替時間 15ms から 100ms まで 5ms
刻みで変化させて各 100 回生成し，切替時間 50msと 20ms については，最後に接地する電極のみ接地
時間を 100ms とする場合の計測も行い，合計 2,000
回生成した．次のマルチタッチ入力とのインターバ
ルは 500ms に設定した．移動量，拡大量，縮小量，回転量を取得するプログラムは javascript で実装し，Google Chrome 上で動作させて，筆者らの目視による確認で正しくマルチタッチ入力が生成された場
合のみ数値を記録した．移動量はページが移動した
ピクセル数を記録し，拡大量と縮小量は Chrome でズーム率を確認し，マルチタッチ入力前後のズーム
率の差 [%] を記録し，回転量は回転開始時の 2 点タッチを結ぶ線分と回転終了時の 2 点タッチを結ぶ線分が作る内角の角度を度数で記録した．

5.2.2

結果と考察

スクロールの移動量を図 10 に，ピンチアウトの拡大量を図 11 に，ピンチインの縮小量を図 12 に，回転の回転量の結果を図 13 に示す．いずれの図も赤丸が平均値，エラーバーが標準偏差である．スクロールは，切替時間 55ms 以下で移動量が極端に大きくなった．切替時間が短いほど移動量が大きくなり，特に切替時間 15ms では移動量の平均は 473pxとなった．これは，最後に接地した電極の接地時間が短く，フリックと認識されたためである．また，切替時間 60ms 以上では移動量は小さく，90ms 以上では移動量のばらつきも小さい．最後の電極のみ接地
時間を 100ms とした結果，切替時間 20ms と 50msのいずれ場合でも移動量のばらつきが小さくなった．
スクロールの移動量は最後に接地する電極の接地時間に依存すると考えられる．拡大量，縮小量，回転量の平均値は切替時間に依存せず，ばらつきも大きかった．これは，試行によってタッチパネルに接地した電極の位置が電極の中心や電極の端にずれて量が安定しなかったためであると考えられる．また，最後の電極の接地時間を長くしても量に変化はなかった．しかしながら，拡大，縮小，回転はマルチタッ
チ入力を行いながら適切な時点でマルチタッチ入力
を止める使い方が一般的であり，1 回のマルチタッ
チ入力で指定した量だけ変化する必要は必須ではな
いと考えている．200%に拡大したい場合や 90 度回
転したい場合は GUI から指定すればよい．一方で，スクロールは 1 回で画面上端まで移動することも求められるため，移動量の安定性は重要である．

5.3

マルチタッチ入力のインターバル

マルチタッチ入力のインターバルの長さは連続でマルチタッチ入力を生成する場合の総時間に影響す

WISS 2019

600
500

60

400
300

40

200

20

100
0

50

図 10. スクロールの移動量の
計測結果

30

Success rate [%]20

図 11. ピンチアウトの拡大率の計測結果

図 12. ピンチインの縮小率の計測結果

7

50
25
40

ScrollPich-in
Pinch-out
Rotate50

る．スクロール，ピンチイン，ピンチアウト，回転の4 つのマルチタッチ入力について，切替時間を 50msに固定し，インターバルを 0ms から 25ms まで 1ms
刻みで変化させ，各 100 回（合計 2,600 回）生成し，成功率を計測した．結果を図 14 に示す．スクロー
ルはインターバル 18ms 以上で成功率はほぼ 100%，0ms でも 91%となった．ピンチインは 3ms 以上で成功率は 90%以上だが，0ms で 56%となった．ピンチ
アウトは 25ms で成功率は 99%，0ms で 18%となった．回転はインターバルが長くても成功率は上昇せず，全体を通して成功率は 60%〜80%であった．いずれのマルチタッチ入力もインターバル 0ms で正しく生成された．特に，スクロールの成功率は 0ms でも 91%であるので，高速スクロールが実現できる．

応用案

ピンチイン，ピンチアウト，回転などの入力やそれらを組み合わせた入力を可能とするスタイラスペンを実現できる．例えば，スタイラスペンを持ったまま画面内のオブジェクトを回転するには，ペンを持ち直す必要があるが，提案デバイスではスタイラ
スペンを使いながらタッチ入力できる．
指によるタッチ入力をタッチパネルのソフトウェ
アで読み取り，提案デバイスにそのタッチ入力を再現できる．提案デバイスは静電容量方式のタッチパ
ネルであれば利用可能であり，タッチ入力を別の端末にコピーできる．また，提案デバイスを複数用意すれば，複数のタッチパネルで同一のタッチ入力を同時に生成できため，ひとつのタッチパネルで複数のタッチパネルを操作できる．

- 78 -

10
15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 20 50(100) (100)
Switching time [ms]15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 20 50(100) (100)
Switching time [ms]図 14. インターバルを変化させたときのマルチタッチ
入力生成の成功率

6

30

10

10

20
30
Switch time [ms]

40

15

20

75

10

50

20

100

0

60

25

40

15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 20 50(100) (100)
Switching time [ms]

70

30

60

Amount of rotation [deg]Amount of movement [px]8070Reduction rate [%]

100

700

Magniﬁcation rate [%]Amount of movement [px] (for 15 ms)

800

15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 20 50(100) (100)
Switching time [ms]図 13. 回転の回転量の
計測結果

おわりに

本研究では，印刷可能な回路とワンボードマイコ
ンを用いて多様なマルチタッチ入力を生成するデバ
イスを構築した．シングルタッチは 25 回/秒の速度
で 100%，スクロールは最大 97%，プレスアンドタッチ，ピンチイン，ピンチアウトは最大 100%，回転は最大 97%の成功率で生成できた．スクロールをイ
ンターバル 0ms で高速連続生成できることも確認した．また，スクロールの移動量，ピンチアウトの拡大量，ピンチインの縮小量，回転の回転量を測定し，拡大量，縮小量，回転量にはばらつきがあったが，移動量は約 9.1px で安定した．

参考文献[1] J. Rekimoto. SmartSkin: An Infrastructure forFreehand Manipulation on Interactive Surfaces.
In CHI 2002, pp. 113–120, 2002.
[2] Jeeeun Kim, Mike Kasper, Tom Yeh, and Nikolaus Correll. SikuliBot: Automating Physical Interface Using Images. In UIST 2014, pp. 53–54,
2014.
[3] K. Ikeda and K. Tsukada. CapacitiveMarker:
Novel Interaction Method Using Visual Marker
Integrated with Conductive Pattern. In AH 2015,
pp. 225–226, 2015.
[4] K. Kato and H. Miyashita. ExtensionSticker: A
Proposal for A Striped Pattern Sticker to Extend Touch Interfaces and its Assessment. In CHI
2015, pp. 1851–1854, 2015.
[5] Masa Ogata, Yuta Sugiura, Hirotaka Osawa, andMichita Imai. FlashTouch: Data Communication
through Touchscreens. In CHI 2013, pp. 2321–
2324, 2013.
[6] N. Yu, S. Tsai, I. Hsiao, D. Tsai, M. Lee, M.
Y.Chen, and Y. Hung. Clip-on Gadgets: Expanding Multi-touch Interaction Area with Unpowered Tactile Controls. In UIST 2011, pp.
367–372, 2011.
[7] S. Voelker, K. Nakajima, C. Thoresen, Y. Itoh, K.
Ivar Øvergård, and J. Borchers. PUCs: Detecting Transparent, Passive Untouched Capacitive
Widgets on Unmodified Multi-touch Displays. In
ITS 2013, pp. 101–104, 2013.

WISS 2019

ExtickTouch：仮想物体への接触感を提示する先端伸縮型デバイスの開発
片岡 敬志郎†1

山本 拓也†1†3

大槻 麻衣†2 柴田 史久†1

木村 朝子†1

概要． VR（Virtual Reality; 人工現実）研究において，表現力豊かで汎用的な触力覚ディスプレイの実現は重要課題である．しかし，視覚や聴覚情報に比べて，触覚情報は提示できる情報が限定されており，未だ発展途上である．本稿では，物体に触れた際に生じる接触感の再現を目的とし，それを実現するための手法の提案とデバイスの開発を行った．具体的には，VR 空間上で仮想のデバイスが仮想物体に接触した際に，実世界上のデバイスを伸縮させることで実物体と接触させ，生じた反力を接触感として提示する手法を提案し，この手法を実現するデバイス「ExtickTouch」の設計・開発を行った．また，
仮想物体との接触感を提示できているのかを確認する評価実験を行い，提示可能であることがわかった．

1

2

はじめに

CG (Computer Graphics) や HMD (HeadMounted Display) 技術の進歩により，VR（Virtual
Reality; 人工現実）の映像面での表現力は大いに向上した．一方で，VR 空間内で得られる触覚情報は，視覚情報に比べて再現することが難しい．
例えば，VR 空間での体験には，ユーザの動きに対する制限が少なく，把持して利用できるハンドヘ
ルド型のデバイスが利用されることが多い．この種のデバイスには，手の位置を取得するためのトラッキング機能が内蔵されており，その位置・姿勢情報
を VR 空間上に反映することで，直観的に操作を行うことが可能である．しかし，一般的なデバイスの多くが振動フィードバックによって仮想物体に触れた感覚を提示している．そのため，手が仮想物体にめり込んでしまい，触れている対象の形状や質感などを認識することができない．このような問題の主な要因として，フィードバックの提示箇所がデバイ
スと指との接触位置のみに留まり，振動のみでは腕全体に接触感を提示することができないことがあげられる．
そこで，本研究では，HMD を装着するタイプのVR 体験において，ユーザの動きをできるだけ制限することなく，仮想物体との接触感を腕全体に提示可能な「ExtickTouch」を提案・試作する（図 1）．
本システムを用いることで，現実には机のような実物体しかなくても，様々な形状の仮想物体に触れるような感覚を提示することが可能になる．さらに，同デバイスによって仮想物体との接触感を提示できるのかを確認する評価実験も行った．

関連研究

触覚ディスプレイ／デバイスの提案・開発はこれまでに多数行われている．それらは，その構造から2 種類に大別することができる．一つは実世界に固定して使用する接地型，もう一つは実世界に固定することなく使用する非接地型の触覚デバイスである．
PHANToM は，接地型の力覚提示装置である[1][2]．モータ駆動のリンク機構によって，ペン型や指サック型のインタフェース部の動きを制御し，詳細な力覚提示を可能としている．また，SPIDAR はワイヤを駆動させることで把持部分の動きを制御し，力覚提示を行うデバイスである[3]．把持部には，球体やマウスなど，利用状況に応じた様々な種類が存在している．
このような大型の機器にデバイスを接続するような機構や，動きに合わせて周囲に配置された機器を変形させる機構を用いることで，より現実に近い触覚提示を行うことができる．しかし，デバイスが大型になることや，触覚提示を行うために機構が複雑化してしまうことから，ユーザの可動範囲がデバイ
スの可動領域に制限されてしまう．

Copyright is held by the author(s).
立命館大学，† 2 産業技術総合研究所，†3
現在，パナソニック†1

図 1 ExtickTouch- 79 -WISS 2019

その制限を緩和したデバイスとして，Withana らの ImpAct [4]や Nagasaka らの Haptylus [5] がある．これらは，タブレット端末上での VR 体験を対象としており，ユーザがペン型のデバイスをタブレ
ット端末に押し付けるとその力に合わせて先端部分を筒の中に格納し，格納した長さに合わせてタブレ
ット端末のディスプレイに仮想のペン先を表示する．
デバイスの先端の伸縮はモータで制御し，仮想のペン先が仮想物体に接触した際にデバイスの先端を固定することで触覚を提示している．つまり，必要なときのみ接地することで触覚の提示を行っている接地型のデバイスである．このような構造を採用する
ことで，小型でありながら触覚提示可能な機構を搭載することが可能となる．しかしながら，これらのデバイスではタブレット端末のディスプレイを視覚
情報の提示領域としているため，片方の手でペン型デバイスを操作しながら，反対の手でタブレット端末を操作し，カメラ視点を制御する必要があり，作業が煩雑となる．また，両デバイスともにデバイスの提案にとどまっており，どの程度の接触感を提示できるのか定量的な評価が必要である．
一方，非接地型デバイスは，デバイスの構造からくる制約が少なく，広い空間を用いるような状況での使用を可能にしている．例えば，Kamuro ら [6]は空中でのスケッチ入力を力覚提示によって支援を行うペン型の力覚提示デバイスを開発した．このデバイスは仮想物体をつつく，なぞるといった動作を行った際，デバイスの把持部が伸縮，もしくは傾くことによって指先に力覚の提示を行う．また，Benko
ら[7] は VR 空間上で指が触れている仮想物体の形状に合わせて触覚情報を提示するデバイスとして，
NormalTouch と TextureTouch を 開 発 し た ．
NormalTouch は手で持ったデバイス上に人差し指を配置するベースが取り付けられており，このベースが仮想物体の表面形状に合わせて上下に動き，傾くことで指先が仮想物体表面に触れているような感覚を提示する．TextureTouch は，指を配置するベースが 4×4 のピンで構成されており，仮想物体の表
面形状に合わせてピンが上下することで触覚を提示している．
上記のような非接地型デバイスは，実物体に触れたときのように腕全体に力覚を提示することはできず，提示箇所はデバイスと指との接触位置のみに留まる．しかし，実世界に固定する必要がないため，
このデバイスはユーザの動きを妨げることなく使用することができる．
このように従来のデバイスでは，接地型デバイスの方が現実に近い感覚を提示可能である反面，非接地型デバイスの方が手軽に利用できるというように，
2 つの長所がトレードオフとなっていた．

- 80 -

そこで本研究では，ImpAct，Haptylus を参考に，接地型と非接地型の両方の利点を活かし，HMD を装着するタイプの VR 体験において，非接地型デバ
イスのようにユーザの動きをできるだけ制限しない
デバイスと，机や壁といった体験場所にもともと存在しうる実物体を活用して，実物体に触れたかのよ
うな仮想物体への接触感を腕全体に提示する手法を提案し，評価を行う．

3

提案手法

3.1 接触感提示手法
ユーザの動作範囲をできるだけ制限せずに仮想物
体への接触感を提示するために，実世界に存在する机や壁などの実物体を活用する．具体的には，デバ
イスと実物体の間に生じる反力を VR 空間における仮想物体との接触感として利用する．仮想空間でデバイスと仮想物体が接触すると，実世界でも，実物体とデバイスが接触するようにデバイス先端部を伸縮させ，実物体とデバイスとの接触感を仮想物体とのそれとして提示する（図 2）．そのため，提案手法
では実世界に机のような実物体が配置されていることを前提条件とする．
デバイスを実物体と接触させる方法には，(1) 接
触対象となる実物体が変形することでデバイスと接触する方法，(2) デバイスが変形することで実物体に接触する方法，(3) 仮想物体と同じ形状の実物体を用意し，実世界と仮想世界の同じ位置・姿勢に同じ接触対象を配置する方法が考えられる．
しかし，(1) の方法の場合，システム全体が大型化してしまい，
簡易な機構で再現することが難しい．
(3) の仮想物体と同じ形状の実物体を用いる方法では，様々な仮想物体の形状に合わせて実物体を用意する必要があり現実的でない．このことから，我々は (2) のデバイスを変形させる方法を採用した．
また，VR 空間内で表示されているデバイスは，
図 2 の左右 2 枚の左上に示す図のように，赤いペン状のデバイスとして表示されており，実世界のよう

図 2 先端伸縮機構を有するデバイスを用いた接触感提示

ExtickTouch : 仮想物体への接触感を提示する先端伸縮型デバイスの開発に伸縮されることはなく，常に同じ形を保持したまま表示する．これにより，視覚からも，仮想物体表面にデバイスが接触した瞬間に接触感が得られたかのように知覚させる．
この手法では，仮想物体の形状に合わせてデバイスの長さを伸縮させ，実物体に 1 点接触させること
で，仮想物体への接触感を再現している．また，ユーザはデバイスを自由に動かして実物体と接触させることができるため，接触感提示に必要となる実物体との接触点は一か所に固定されない．つまり，接地型デバイスのように外界との接触が必要にはなる
ものの，2 章で紹介した接地型デバイスのように大型の機器に接続する必要がなく簡易な機構で実現することができる．そのため，ユーザはデバイスに動きを阻害されることなく使用することができる．
また，2 章で述べた ImpAct [4]，Haptylus [5]はデバイスがディスプレイと接触するのに対し，本手法では外界との接触を机や壁のような身の回りにある実物体にする点に特徴がある．
さらに，仮想物体をなぞる動作に合わせて，デバイスを連続的に伸縮させることも可能である．これにより，仮想物体に 1 点で触れた際に得られる断続的な接触感だけではなく，なぞるような動作を行った際の連続的な接触感も提示することができ，仮想物体からの触覚刺激をより実世界のものへと近づけることができる．

すことで伸縮を行う機構を採用した．
次に，(2) と (3) に関しては，(1) の条件から直線運動を行う機構であることが決定しているため，前後の動作に使用されるリニアアクチュエータを使用することとし，いくつかある制御機構の中からどの制御機構が適しているかを検討した．リニアアク
チュエータの制御機構として，電気信号によって駆動させる電気式と油圧を制御することで伸縮させる
油圧式，空気を圧縮膨張させることで伸縮させる空気圧式の 3 種類がある．その中でも，簡易に使用でき，小型であっても位置制御や速度制御が十分に行える電気式のアクチュエータを採用した．

4

ExtickTouch

4.1 システム構成
提案手法に基づき設計・開発したデバイス「ExtickTouch」を図 3 に，全体のシステム構成を
図 4 に示す．VR 空間でのデバイスの位置・姿勢を取得するために Oculus Touch を使用している．デバイスの伸縮部分には，リニアアクチュエータ（Alps 社製，
モータ N フェーダ，RSA0N11M9A0K）
を利用し，グルーガンを用いて Oculus Touch に接着，これに 3D プリンタで出力したペン状の先端部と先端部を覆うカバーを取り付けている．このリニアアクチュエータは可動域が 10 cm で，1024 段階
で位置を指定することができ，速度を 256 段階で変3.2 接触感提示機構の設計提案手法をもとに接触感提示機構を設計するに当たり，満たすべき条件を検討した．その結果，以下のような条件を列挙した．
(1) 把持しやすく，接触感提示機構を含むデバイス
全体の大きさも容易に利用できるサイズであること(2) 仮想物体の形状に合わせた伸縮を可能とするだけの精度を有すること(3) ユーザの動きに対応した伸縮速度であること
まず，(1) に関しては研究目的にもあるようにハンドヘルド型デバイスであることが前提であるため，片手で利用できるサイズであることが望ましい．そこで，接地型デバイスと非接地型デバイスの中間の構造を用いている Lee ら [8]が開発した Beyond や，2 章で述べた ImpAct [4]，Haptylus [5]の研究に着目した．これらの研究では，筒の中にデバイス先端を畳み込んだり，ペンを入れ込み，前後に動かすことで伸縮を実現している．このような機構では大掛かりなモータを必要とせず，さらにデバイスの伸縮
部と把持部が別々のパーツとなっているため，デバイスを使用しているユーザの動きを妨げることなく伸縮を実現することができる．このことから，筒状のケースに内蔵されたペン型の伸縮部を前後に動か- 81 -

カバー

Oculus Touch

先端部分

リニアアクチュエータ

図 3

ExtickTouch の構成
赤外線センサ

出力入力

位置姿勢情報VR描画用PC
HMD（Oculus rift）

VR空間の描画
ExtickTouch
アクチュエータからの入力値

Arduino Uno + Motor Shield Rev3

アクチュエータの制御

図 4 システム構成

WISS 2019

ここで，𝑙device とはデバイス伸縮部分の VR 空間
上での長さ，つまりリニアアクチュエータの可動域である 10cm の VR 空間上での長さである．
この時，𝑙𝑠𝑖𝑔𝑛 の値が 1024 を超える場合，今回試作したデバ
イスでは接触感が提示できないため，伸縮不可と判定する．

更できる．提示できる反力は，先端部を停止させる
力が最大 100 N，先端部を押し引きする力が最大
50N となっている．先端部の駆動タイミングと停止位置の制御は Arduino で行っている．
デバイスの制御および VR 映像の描画には CPUIntel Core i5-8400，メモリ 16GB，GPU NVIDIA
GeForce GTX1080 TI / 11 GB GDDR5X を搭載した Windows 10 pro PC を使用した．VR 空間の構築には Unity ver. 5.6.2f1 (64bit)，VR 空間の観察には
Oculus Rift CV 1 を用いた．VR 空間の提示および伸縮距離の算出，デバイス先端部の駆動は毎秒 90
フレームで行っている．

5

5.1 実験目的

4.2 伸縮制御
ExtickTouch の先端部の伸縮量を制御するために，
まずは仮想物体とデバイスの接触点を算出する．ここで接触点は，デバイスの伸縮部分の後端から先端までを通る方向ベクトル 𝑣 と接触対象との交点
𝑷tip となる．次に，仮想物体とデバイスが接触した
ときに，デバイス先端を実世界に配置されている実物体（例えば机）と接触させるために，先ほど求めたデバイスの方向ベクトル 𝑣 と実物体との交点
𝑷real を算出する．この二つの接触点を算出したのち，2 点間の距離 𝑑 を求め，デバイスが伸縮可能な距離であればその距離だけデバイスを伸縮させて実物体に接触させる．この処理を毎フレーム行うことによって，仮想物体への接触感提示を実現する（図5）．
次に，接触点𝑷tip ，𝑷real を求める手順を説明する．
ExtickTouch を構成する Oculus Touch の座標とデバイスの実測から得られるデバイス伸縮部分の先端
座標 𝑷tip と後端座標 𝑷end を通るデバイスの方
向ベクトル𝑣と仮想物体との交点 𝑷virtual を求める
（図 5）
．次に実世界に配置されている実物体と同じ位置に配置されている仮想物体とデバイスの方向ベ
クトルとの交点 𝑷real を算出する．この時，𝑷tip と𝑷real の距離が一定以上離れている場合も接触していないと判定する（図 6 ）．
次に先ほど算出した仮想物体，実物体それぞれの交点 𝑷virtual と 𝑷real をもとにデバイスを伸縮させる長さ𝑑を以下の式で求める（図 5）．

𝑑 = |𝑷virtual − 𝑷real |評価実験

ExtickTouch を利用することで，仮想物体との接触感を提示できるのかを確認する実験を行った．接触感に関しては，一般的な VR コントローラに搭載されている振動提示と ExtickTouch の 2 パターンの触覚提示を用いて自由に仮想物体に触らせ，
ExtickTouch の接触感提示が仮想物体からの接触感として知覚されるか確認した．実験協力者は 20 代の男性 12 名で全員右利きである．
5.2 実験環境
ExtickTouch で接触させる実物体を横 160cm×
縦 80cm×高さ 70cm の机の表面とし，この机上の横 50cm×縦 25cm の範囲で実験を行った．VR 空間
上では，実世界の机と同じ位置に机を模した仮想物体を配置し（図 7），体験者はこの机に向かって椅子に座らせた．このとき仮想物体は体験者の正面に見える位置となるようにした．
また，ExtickTouch と比較する振動提示には，ExtickTouch に装着された Oculus Touch の振動提示機能を利用する．先端伸縮機能をオフにした状態の ExtickTouch で仮想物体表面に触れ，仮想物体表面から±2mm 以内に先端部分が侵入したときに振動が提示されるように設定した．

𝑷end： デバイスの方向ベクトル： デバイスの先端座標： 𝑷virtual： 方向ベクトルと地面との接触点 𝑷real
伸縮距離 𝑑 = 𝑷virtual − 𝑷real𝑑𝑷tip

𝑷virtual

𝑷real

(1)

図 5 伸縮距離の算出

また，ここで求めた 𝑑 は VR 空間内での距離となっているため，このままではデバイスの伸縮を正確に行うことができない．そこで，以下の式を用いて，実世界の寸法に合わせた後，リニアアクチュエータへの信号 𝑙sign へと変換するために 1024 段階に正規化を行う．

𝑙sign = 𝑑⁄𝑙device ∙ 1024(2)

仮想物体に非接触
仮想物体に接触
図 6 デバイスの接触判定- 82 -

ExtickTouch : 仮想物体への接触感を提示する先端伸縮型デバイスの開発
5.3 内容Q5. 仮想物体表面でデバイスを保持することは簡単だった
Q6. 仮想物体表面をなぞることは容易だった
Q7. どの仮想物体の形状が提示された接触感と最も一致していたかQ8. どの仮想物体の形状が提示された接触感と最も一致していなかったか
Q1～6 の質問は 5 段階（1：全くそう思わない，5：
とてもそう思う）で評価させた．Q7，8 の質問には，
図 8 の 3 種類の仮想物体の中から，接触感が最も一致した形状と一致しなかった形状をそれぞれ一つ選
ばせた．

VR 空間上に配置された仮想物体を 1 分間自由に触らせた．1 分経過後，別の仮想物体を表示し，先ほどと同様に 1 分間触らせた．このような一連の流れを同一の接触感提示手法で 3 種類の仮想物体に対して行わせた．
体験で用いた仮想物体を図 8 に示す．
3 種類すべてを触り終えた後，それぞれの手法ごとに以下に示す接触感に関する 6 つの質問と，視認している仮想物体の形状と提示された接触感の一致・不一致に関する 2 つの質問に回答させた．
Q1. 目の前にある仮想物体に触れているように感じた
Q2. 把持しているデバイスが仮想物体に触れているように感じたQ3. 仮想物体の表面位置がどこにあるかわかった
Q4. 仮想物体表面に常にデバイスが当たっているように感じた5.4 結果実験の結果を図 9，図 10，図 11 に示す．図 9 は，
Q1~6 の結果について Wilcoxon の符号付順位和検定を行ったところ Q3 以外の質問項目において提案
手法と振動提示の間に有意差を確認できた．また，

作業領域(a) 実世界(b) VR 空間

10 cm

図 7 実験環境

20 cm

20 cm

15 cm

図 8 実験 1 で用いた仮想物体の形状**

Wilcoxonの符号付順位和検定より
**
**
**

**

5

実験協力者
12名
振動

4

評価値

**: p < .01

提案手法

3
2
1

Q1

Q2

Q3

Q4

Q5

図 9 接触感に関する評価結果- 83 -Q6

WISS 2019振動 8.3%50.0%

十分な接触感が提示できなかったと考えられる．
また，振動に関しては，常に仮想物体表面で振動を感じることができるため，直線的な動きでなぞることができる斜面や四角錐が多く選ばれていた．しかし，Q1～6 の回答結果からもわかる通り，当然のことながら振動だけで接触感を提示するのは難しいことが見て取れる．

41.7%
球体
四角錐

ExtickTouch

58.3%

0%

16.7% 25.0%

斜面

20% 40% 60% 80% 100%7

図 10 Q7 結果：提示された接触感と最も一致していた形状

振動

41.7%

25.0%

本稿では，簡易な機構で現実に近い接触感を提示する手法を提案し，その試作デバイスとして
ExtickTouch を開発した．ExtickTouch は先端伸縮機構を内蔵し，実世界で得られる反力を仮想物体の接触感として利用する．
評価実験の結果，ExtickTouch を使うことで接触感を提示できていることを確認した．しかし，表面の起伏が急激に変化するような形状では接触感の再現が難しいことも確認した．
今後の展望としては，接触感の提示が難しい形状への対応や，接触感だけでなく表面の材質情報の提示なども可能にしていきたい．

33.3%
球体
四角錐

ExtickTouch

25.0%

0%
図 11

50.0%

50%

25.0%

斜面

100%

Q8 結果：提示された接触感と最も一致していなかった形
状

図 10 は Q7 の回答から，接触感と形状が一致したと回答が得られた形状の割合を接触感提示手法毎に示したものである．図 11 は Q8 の回答から，接触感と形状が一致していないと回答が得られた形状の割合
を接触感提示手法毎に示したものである．提案手法
では球体が最も一致して，四角錐が最も一致していないように感じられたという結果となった．

6

むすび

参考文献
[1] 3DSystems Inc., PHANToM(https://ja.3dsystems.com/haptics-devices/3d-systems-pha
ntom-premium), (2019 年 5 月 31 日)[2] M. Foskey et al.: ArtNova: Touch-enabled 3D model
design, Proc. ACM SIGGRAPH 2005 Courses, pp. 188 192 (2005)

考察

Q1～6 の質問では，ExtickTouch が振動提示よりも高い評価となった．このことから，ExtickTouchは一般的な振動提示よりも仮想物体への接触感を提示できていることが確認された．VR 空間上でデバイスと仮想物体が接触する角度と実世界でデバイス先端が机に接触する角度は異なるものの，VR 空間
上でデバイスが仮想物体に触れた瞬間に，実世界でも実物に接触することで，触れたというリアルな感覚を得られたと考えられる．また，Q3 で有意差が確認できなかったのは，今回振動を提示する条件を
仮想物体の表面近傍のみとしており，表面位置に関しては正確に認識できたためと考えられる．
また，Q7，8 の接触感と形状の一致，不一致に関する質問では，ExtickTouch が接触感を提示することが得意な形状と不得意な形状がはっきりと分かれる結果となった．球体や斜面のように表面の起伏がなめらかに変化する形状であれば問題ないが，四角錐の角を跨いでなぞるなど，面の法線方向が急激に変化する部分で ExtickTouch 先端の伸縮処理が遅れ，- 84 -[3] 本多健二 et al.：“Spidar-Mouse を用いた動画像可触化システムの提案”，画像電子学会誌，43(4)，pp. 543– 549（2014）[4] A. Withana et al.: “ImpAct: enabling direct touch andmanipulation for surface computing,” In Proceedings ofthe 23th Annual Symposium on User Interface Software
and Technology, pp. 411 - 412 (2010)[5] S. Nagasaka, et al.: “Haptylus: haptic stylus forinteraction with virtual objects behind a touch screen,” In
SIGGRAPH Asia 2014 Emerging Technologies, Article
No. 9 (2014)[6] S. Kamuro et al.: “An ungrounded pen-shaped kinesthetic
display: Device construction and applications,” In IEEE
World Haptics Conference (WHC) 2011, pp. 557 - 562(2011)[7] H. Benko et al.: “Normaltouch and texturetouch:High-fidelity 3D haptic shape rendering on handheld
virtual reality controllers,” In Proceedings of the 29th
Annual Symposium on User Interface Software andTechnology, pp. 717 - 728 (2016)[8] J. Lee et al.: “Beyond: collapsible input device for direct
3D manipulation beyond the screen,” In Adjunctproceedings of the 23nd annual ACM symposium on Userinterface software and technology, pp. 393 - 394 (2010)

WISS 2019

ScraTouch: 静電容量方式タッチサーフェスにおける手指の爪を使用したタッチ入力拡張技法
池松 香 ∗

山中 祥太 ∗

概要. 本論文では，静電容量方式のタッチパッドやタッチパネル（タッチサーフェス）において，手指の“爪” を介したタッチ入力手法 ScraTouch を提案する．本手法はタッチサーフェス内電極からの流出電流値変化により爪の接触有無を検出し，新たなタッチ入力としてタッチサーフェス操作へ導入する．本論文では，ラップトップ PC 搭載のタッチパッドを対象に初期的な調査を行い，通常の指によるタッチ入力と爪によるタッチ入力の電気的特性の差異による識別可能性について検討し，また，本手法の適用可能性について
議論する．

1

はじめに

スマートフォンやスマートウォッチ，タッチパッ
ドなどの静電容量方式のタッチサーフェスは広く普及し，タッチ入力は現在最も一般的な入力方法として用いられている．一方で，タッチサーフェスの二次元平面におけるインタフェースは，人の身体能力や動作のごく限られた部分を取り入れているに過ぎず，未だ改良・開拓の余地が多く残されている．一
例を挙げると，実世界で人は指を使って様々な動作を行うが，これはタッチ入力で用いられるような，
指の腹や指先の皮膚による接触に限られたものではなく，指の上を覆う “爪” を使って物に触れる，なぞる，はじく，ひっかく，突つくといった動作も日常的に行っている．しかしながら，こうした爪による動作は一般に，タッチサーフェス入力操作には導入されていない．しかし，爪によるタッチ入力は指の角度を変えるだけで即座に行えるため利便性が高く，また，スタイラスペンや追加のデバイスを利用する操作形態 [12, 20] と比較し，即時性・携帯性の観点から優れていると考えられる．
本研究では，爪によるタッチ入力を導入すること
でタッチサーフェスの入力を拡張する手法 “ScraTouch” を提案する（図 1）．基本アイディアは，爪と指の電気的特性が異なることを利用し，タッチサー
フェス内電極からの流出電流を比較することで両者を識別するものである．ScraTouch はタッチサー
フェスのタッチセンシング機構のみを利用し，外付
けのハードウエアやセンサを必要としない．また，
タッチ入力発生後 100ms 程度のセンシングデータを用いたシンプルな閾値判定のみで実現可能であり，高速かつ高精度な識別精度が期待できる．本研究の貢献を下記に要約する．

∗

Copyright is held by the author(s).
ヤフー株式会社- 85 -

図 1. タッチサーフェス上での（a）従来の指によるタッ
チ入力および，（b）本論文で提案する爪を介したタッチ入力（ScraTouch）．指の皮膚と爪の電気的特性の差異より 2 種類の接触部位を識別し，タッチ入力を拡張する．

• タッチサーフェス上で，電気的特性の差異に
より爪と指を識別するインタラクション拡張手法として ScraTouch を提案した．

• 予備調査を行い，複数の異なる長さの爪によるタッチ入力が検出可能なことを示した．また，タッチ入力開始から一定時間（100ms 程度）経過後に指によるタッチ入力と爪によるタッチ入力は，タッチサーフェスの計測する流出電流値から異なる電気的特性が観察されるため，高精度に識別可能であることを示した．

• 本手法の適用可能性について議論し，アプリ
ケーションの提案を行った．

WISS 2019

図 3. タッチサーフェスに対する指の Pitch 角度．

拓やインタフェース改善に利用されてきた．例示す
ると，タッチ入力面へ近接する指の検出 [8]，指先と手のひらの識別 [15]，操作指の識別 [16, 4]，生体認証 [9, 6]，耳によるタッチジェスチャ [21]，操作
指の pitch および yaw の推定 [22]，接触面積や形状の推定 [19]，タッチ位置座標の精度向上 [14] および，Force-to-Motion 方式の入力 [11] などを実現するものである．本研究では，爪と指の電気的特性の際により生じる流出電流値の変化から，爪でのタッ
チと指でのタッチを識別する手法を実現する．また，[16, 4, 19, 22] は主に指の接触面積変化による流出
電流値の変化をインタラクションに用いる手法であるが，こうした手法を Force Touch やドラッグ操作などと組み合わせる場合，指の皮膚の変形が生じる
ため識別精度に影響を与えると考えられる．提案手法は皮膚と比べて固く形の変わりにくい爪を入力に用いるため，上述のような操作との組み合わせについても比較的安定した入力が実現可能であると期待される．

図 2. タッチサーフェス等価回路．
（左）指によるタッチ，（右）爪によるタッチ（ScraTouch）．

2
2.1

関連研究
爪を利用した入力手法

日常的に多くの物体や機器を触れ，操作する手指の上に備わる爪は，ヒューマンコンピュータインタ
ラクション（HCI）研究分野でコンピュータ入出力
操作の拡張に利用されることが多い [18]．Tapsense[7] は，テーブルトップや携帯端末に物体が触れる際の音の周波数特性を利用し，指先や爪，指関節などのタッチ部位を推定する手法である．また，爪の表面に装着するウエアラブルな機器を用いてジェス
チャ入力 [13, 1] や指の押圧の推定 [10] を行う手法が提案されている．本手法は，[7] と同様に爪にデバイスを装着することなく，指の皮膚によるタッチと爪によるタッチ入力を識別するが，タッチサーフェ
スで広く一般に採用されている静電容量方式のタッ
チセンシング機構を利用する点において異なる．また [7] は爪や指で物体を強く叩いて音を鳴らす必要があるが，ScraTouch ではそうした動作を必要とし
ない．

2.2

3

静電容量方式タッチセンシング

タッチサーフェスは，格子状に並べた電極構造を有している．一方が送信電極群であり，他方はこれらと直行する受信電極群である．タッチサーフェス
は高周波信号を送信電極 Tx へ順に印加し，受信電
極 Rx でこれを受信する. 電極交点に指などの接地された導電体が近接すると，Tx からの信号の一部は人体を通じ GND へと流出するため，Rx で検出する信号は減衰する（図 2（左））．タッチサーフェ
スはこの流出量（流出電流値）が一定の閾値を上回るか否かによりタッチ/非タッチ状態を識別する ．
流出電流値はタッチ点から GND に至る経路のイ
ンピーダンスによって制御可能であることに着目し，
Ohmic-Touch [12] は抵抗成分を，Flexibles [20] は
容量成分の変化を利用している．本手法はこうした手法と同様にタッチ点から GND に至る経路の電気的特性の差異を入力に用いる．上記以外にも，流出電流値のデータは新規なインタラクション手法の開- 86 -

ScraTouch

ScraTouch は通常の指の腹または指先の皮膚をタッチサーフェスへ接触させるタッチ入力とは異なり，爪をタッチサーフェスへ接触させるタッチ入力である．爪によるタッチ入力は指の角度を変える（指の第一・第二関節を曲げる）だけで簡単かつ即座に行うことが可能であり，さらに，スタイラスペンや追加のデバイスを利用する操作形態 [12, 20] と比較し携帯性の観点からも利便的である．また，指の関節を曲げた状態でタッチを行うので，通常の指を伸ばした状態でのタッチ入力時と比べ可動域は限定的であるため，片手の複数指でピンチイン・ピンチア
ウトをすることは困難であるが，複数指の爪によるタッチ入力，スワイプやフリックなどのジェスチャ入力は可能であると考えられる．
爪と指の識別方法について述べる．図 2 に指と爪それぞれによるタッチ入力時の等価回路を示す．爪
によるタッチ入力を行う際に，タッチサーフェス内
電極は，爪（Z ）を経由した後に人体などのインピーダンス（Z5 ）を通じ接地される．タッチ点から GND
へ至るインピーダンスが変化すると，流出電流（i）
はそれに伴い変化する．そのため，薄い絶縁体である Z が介在すると，通常の指によるタッチと比べてi は減少する．この i の差異により，爪と指のタッチ

ScraTouch: 静電容量方式タッチサーフェスにおける手指の爪を使用したタッチ入力拡張技法

入力は識別可能と考えられる．以上のように，本手
法は爪と指の電気的特性の差異を判別に利用するため，タッチサーフェス内のタッチセンシングの機構のみで実現可能であり，外付けのセンサやハードウ
エアが不要である．さらに，[12, 20] と異なり，イ
ンピーダンスを変化させるためのパッシブな外部機
構についても必要としない．
一方で，本手法には下記二つの課題がある．まず，通常の指によるタッチ入力であっても，タッチ開始
時における指とタッチサーフェスの近接（または僅
かな接触）状態の場合，爪によるタッチとの区別が困難であると予想される．なぜなら，タッチ開始直後はタッチサーフェス上方空間から指を下ろしている途中であり，完全に指を下ろし終えたタッチ状態と比較し，指とタッチサーフェスの接触面積は小さ
い．そのため，この近接状態での流出電流値は低くなり，爪によるタッチの状態と同程度になると推察される．次に，爪の厚さや長さなど，形状の個人差が流出電流値計測に影響することが挙げられる．爪が厚すぎたり，ジェルネイルやネイルチップを使用
しているなどの場合には，爪下の皮膚とタッチサー
フェス間の距離が大きくなり，タッチ検出に最低限必要な電流の流出が生じない可能性がある．また，爪が長いほど指の Pitch 角度（指の腹をタッチサー
フェスと水平に接触させた状態を 0◦ とした指とタッチサーフェスのなす角度，図 3 参照）を 180◦ に近づけなければ同様の理由によりタッチ検出に必要な電流量が流出しないと考えられる．

4

予備調査

上述の課題を踏まえ，本手法の実現可能性を調査することを目的に二種類の調査を実施した．まず，通常の指によるタッチ入力を行う際の流出電流値と経過時間の関係について調べた．次に爪によるタッチ
入力を行う際の流出電流値について，爪の長さの異なる複数の被験者を対象に調査した．本調査はラップトップ PC 組み込みのタッチパッドを対象とした．

4.1

指によるタッチ入力の流出電流値範囲

通常の指によるタッチ入力時に計測される流出電流値について調査した．4 名の被験者（女性 2 名，
男性 2 名，年齢 23–29 歳）が調査に参加した．いずれの被験者も爪の長さは 2mm 未満かつ深爪やネイ
ルチップはしていなかった．本調査では，被験者がタッチサーフェスを日常使用する際の，タッチ経過
時間と流出電流値を 60Hz のサンプリング周波数で記録した．macOS 10.12 上にて動作するデータ取得用の常駐アプリケーションを Objective-C およびMultitouchSupport.framework により実装し，本
アプリケーションを被験者個人所有の MacBook（トラックパッド領域: 112 × 70mm 以上）へ導入し 4
日間分のログを取得した．流出電流値と相関のある- 87 -

図 4. シングルタッチ入力におけるタッチ開始からの経
過時間に対するの流出電流値の分布．

値はサードパーティによるオープンソースのライブ
ラリ（MTDeviceDeclarations の size プロパティ）
により取得した．また，被験者らには調査の意図を伝えず各々の作業を自由に行わせた．

4.1.1 結果
図 4 に，取得した全被験者のデータのうちタッチ
継続時間が 100ms 以上のシングルタッチを対象とし，タッチ開始直後からの経過時間に対する流出電流値の分布について 0–500ms までを抜粋し示す．タッチ
開始直後は低い流出電流値範囲（0–0.2 前後）に多くのデータが分布し，100ms 程度経過するとこれよ
り高い流出電流範囲（0.35–0.55 前後）にデータが多く分布していることが分かる．これは，タッチ開始直後のタッチサーフェス上方空間から指を下ろしている途中の状態においては指とタッチサーフェスの接触面積は小さく，計測される流出電流値も低くなり，その後時間経過とともに指とタッチサーフェ
ス接触面積が増加し，流出電流量が増加したために生じた分布であると考えられる．本調査結果から，一定時間（100ms 程度）経過することで，タッチ開始状態と同程度の低い流出電流値のタッチ入力の発生頻度が低下することを確認した．

4.2

爪によるタッチ入力の検出

本調査では，30–150◦ の間で Pitch 角度を調整し，利き手人差し指の爪が接触する角度および接触時の流出電流値を調査した．7 名の被験者（女性 5 名，男性 2 名，年齢 23–66 歳）が調査に参加した．被験者のうち 2 名（P1, 2）は爪床が指先から 0.5-1mm 程
度露出している深爪の状態であり，4 名（P3, 4, 5,
6）は 0.5–2mm 程度，1 名（P7）は指先の皮膚より

WISS 2019

計測が不可だった角度である．これは，爪の干渉によりタッチサーフェスと指の距離が広がり，流出電流が減少したことが原因であると考えられる．爪を長く伸ばしていた被験者（P7）を除き 120−150◦ のPitch 角度範囲で爪によるタッチ入力が検出可能であった．P7 についても 150◦ では爪によるタッチ入力が検出可能であった．以上より，被験者の爪の長さに影響を受けるものの，120 − 150◦ の Pitch 角度において爪によるタッチ入力の検出が可能であることを確認した．また，本調査で記録した爪によるタッチ入力時の流出電流値は最大で 0.29 であり，かつ全ての試行において流出電流が途中で計測不可になることなく 2 秒間の安定した記録が可能だった．よって爪によるタッチ入力は，図 4 の破線で示す入力空間を活用するタッチ入力拡張手法であるといえる．

図 5. （a）調査で使用した指の Pitch 角度を一定に保つ器具．
（b）30 − 90◦ は指の腹側の，（c）120 − 150◦
は爪側の指先から第一関節までを器具の斜面に沿わせつつ，タッチサーフェス上でタッチを行う．

4.2.2

図 6. タッチ開始から 100ms 経過以降の指の Pitch 角
度毎の流出電流値の平均．

4mm 程度爪が伸びている状態だった．被験者らは，
タッチサーフェス中央部で 30, 60, 90, 120, 150◦ のPitch 角度でのタッチ入力を行った．この際，[17]を参考に 3D プリントし作成した指の Pitch 角度を一定に保つ器具を使用した．各角度についてタッチ入力は 5 回行った．1 回のタッチは 2 秒間継続
し，この間の流出電流値を 120Hz のサンプリング
周波数で記録した．タッチサーフェスは MacBook（Early 2016， macOS 10.13，トラックパッド領域:
112 × 70mm）を使用した．macOS 10.12 上にて動作する調査用のアプリケーションを C++およびMultitouchSupport.framework により実装し，流出電流値と相関のある値はサードパーティによるオー
プンソースのライブラリ（MTDeviceDeclarationsの size プロパティ）により取得した．

上述の調査より，爪によるタッチ入力を行った際の流出電流値の最大値は 0.29 であった．ここでは仮に，マージンを取り 0.30 とした値を判定閾値として使用し，閾値以下を爪によるタッチ入力，閾値以
上を指によるタッチ入力として判定する場合について考察する．図 4 の指によるタッチ入力の流出電流値分布から，タッチ開始直後（経過時間=0ms）は流出電流値 0.3 以下に分布するデータが 80%以上であるが，100–400ms 経過後はそれぞれ 100ms: 4%，200ms: 2%，300ms: 2%，400ms: 2%となり，爪によるタッチ入力で使用する範囲の流出電流値の発生頻度は低くなる．これはすなわち，指でのタッチ入力を爪でのタッチ入力として誤判定する割合と等し
い．そのため，100ms 程度の短い待機時間を設ける
ことで，爪によるタッチ入力と指によるタッチ入力
は高い精度で区別が可能であると考えられる．この
待機時間の分だけタッチ入力後にレイテンシが発生するものの，人間の知覚可能な最短時間 [2]（96ms）
を大きく上回るものではない．

5

4.2.1 結果
図 6 にタッチ後 100ms 以降の Pitch 角度毎の流出
電流値の平均値を示す．P1, 2, 5, 6 は 120◦ 以上の，P3, 4 は 90◦ 以上の，P7 は 30◦ 以上の Pitch 角度において，爪のみがタッチサーフェスと接触している状態であった．流出電流値が 0 となっている角度は，
タッチサーフェスが検出可能な電流値変化が生じず- 88 -

考察

議論

爪は指の皮膚よりも硬いためタッチ時に形状が変わりにくい．タッチジェスチャやタップによる接触
面積変化が流出電流値へ及ぼす影響は，指でのタッチと比較し小さいと考えられる．一方で，本調査か
ら指の Pitch 角度変化は指でのタッチ時と同様に流出電流計測に影響することが分かった．また，Pitch
角度が 180◦ に近づくにつれ，爪の根元付近の皮膚とタッチサーフェスの近接により，流出電流値は増加すると考えられる．これは，タッチサーフェスの手前側の縁周辺部での入力を行う際に顕著になると予想され，皮膚とタッチサーフェスの意図しない接触が懸念される．こうした可能性を考慮すると，100ms
程度のデータを使用した入力識別後，タッチ入力が終了するまでの間は入力モードを固定する，あるいScraTouch: 静電容量方式タッチサーフェスにおける手指の爪を使用したタッチ入力拡張技法

6

応用例

予備調査に基づき検討可能な，本手法の応用例について述べる．プロトタイプのアプリケーションは
上述の MultitouchSupport.framework および MTDeviceDeclarations を用いて実装した．

6.1

図 7. マルチタッチ入力におけるタッチ開始からの経過
時間に対するの流出電流値の分布．

は大きく電流値が変化した場合にのみモードを切り替える動的な閾値の導入などの実装が望ましいといえる．
スマートフォンにおいてはマルチタッチ入力の際に各指の Pitch 角度が大きくなることが知られている [5]．Pitch 角度が大きくなると指とタッチサー
フェスの接触面積が小さくなるため，流出電流値が低下し，爪によるタッチ入力の識別に影響を及ぼす可能性がある．今回調査対象としたタッチパッドの日常使用時のデータについては，図 7 に示すようにマルチタッチ入力の場合に誤判定の増加は見られなかった（流出電流値 0.30 以下のデータ分布は0ms: 80%, 100ms: 2%，200ms: 1%, 300ms: 1%,
400ms: 0%）．これは，タッチパッドが水平面上に置き使用するタッチサーフェスであるため，マルチタッ
チ入力の際の指の Pitch 角度に変化が乏しかったためと考えられる．一方で，スマートフォン使用時はマルチタッチ入力の際に Pitch 角度変化による流出
電流値の減少を考慮する必要があると推察される．
タッチセンシングの観点から，指でのタッチ入力と比較し流出電流値が低いタッチ入力は SN 比（signalto-noise ratio）が低い入力であるため，タッチ座標に微小なジッターが生じることが観察された．これについては，一定時間範囲のタッチ座標を平滑化す
る，あるいは [14] のようなタッチ入力位置精度を改善する手法を適用することで低減可能と考えられる．
本論文の考察においては，被験者全員のデータか
ら爪と指のタッチ入力の識別可能性を検討した．提案手法は被験者毎にキャリブレーションを行うこと
でより高精度に識別を行えると考えられる．一方で，爪は日々長さや厚さの変化する身体部位であり，どの程度の頻度でキャリブレーションが必要であるかや，ジェルネイルやネイルチップを使用している場
合の検討が今後必要と考えられる．

- 89 -

ショートカットコマンド

まず，本手法の最もシンプルな応用例として，爪でのタッチ入力時に通常の指でのタッチとは異なる操作を割り当てることが可能である．具体的には，
指でのタッチは通常通りカーソル移動や選択操作を行うのに対し，爪でのタッチにコピーコマンドを割り当てたり，PDF リーダーなどでドキュメントを閲覧する際に指のタッチ（ドラッグ操作）では文章の選択を行い，爪のタッチでは文章にマーカーを引く
操作を割り当てるといったことが可能である．例示
すると，タッチサーフェス入力面を分割し，分割された各位置上での爪のタッチにより，その位置と紐付けられたショートカットコマンドを起動することも可能である．なお，類似のアプリケーションとして
MarkPad [3] や Nums（Lucky Technology Ltd.）などが挙げられるが，これらはタッチサーフェスのベゼル部でロングタップやスワイプを行い，モードを切り替えた後にコマンドを選択する必要がある．

6.2

爪での動作を活かした入力

爪による日常動作を活用した入力として，爪ではじく動作（爪によるフリック操作）を導入した操作を実現可能である．爪ではじく動作は，物体を特定の方向へ飛ばす，または散らす際に行われることから，爪によるフリックにより特定のデータを送信・配信するという操作へのメンタルモデル適用を検討す
る．例示すると，メールの送信操作や Bluetooth を用いたデータ送信操作，または Twitter などの SNS
での投稿操作に割り当てる．これは，操作を即時的かつ理解しやすくするのみでなく，意図的に行わなければ発生し得ない爪によるフリック操作を用いる
ため，「宛先を編集したかったのに，誤って横にあった送信ボタンをタップしてしまう」といった従来の指によるタッチ入力で生じる操作ミスの低減にもつながると考えられる．
また，爪でこする動作は物体表面の汚れやテクス
チャを剥がしたりめくる際に行われる．これを爪によるスライド操作としてタッチサーフェス操作へ導入した場合，くじやクーポンなどスクラッチ印刷を模したコンテンツのスクラッチ部を剥がす操作や，
ペイントソフトの消しゴムの操作などへの適用を検
討できる．

6.3

操作対象の切り替えスマートフォンやスマートウォッチなどの画面領域が小さく限られたタッチサーフェスにおいては，

WISS 2019

画面上にタッチ可能なコンポーネントが多数存在する場合に，意図しないコンポーネント上へのタッチ
入力により誤った操作をしてしまう場合がある．こうしたインタフェースにおいて，頻度高く行う操作は指で，選択頻度の低い操作を爪でのタッチ入力に割り当てることで画面領域を有効活用可能であると考えられる．

7

Mobile Devices Using the Capacitive Touchscreen to Scan Body Parts. In Proc. of CHI’15, pp. 3011–3014.
[10] M.-C. Hsiu, C. Wang, D.-Y. Huang, J.-W.
Lin, Y.-C. Lin, D.-N. Yang, Y.-p. Hung, and
M. Chen. Nail+: Sensing Fingernail Deformation to Detect Finger Force Touch Interactions
on Rigid Surfaces. In Proc. of MobileHCI ’16,
pp. 1–6.
[11] K. Ikematsu, M. Fukumoto, and I. Siio.
Ohmic-Sticker: Force-to-Motion Type Input
Device for Capacitive Touch Surface. In Extended Abstracts of CHI ’19, pp. LBW0223:1–
LBW0223:6.
[12] K. Ikematsu and I. Siio. Ohmic-Touch: Extending Touch Interaction by Indirect Touch
Through Resistive Objects. In Proc. of CHI ’18,
pp. 521:1–521:8.
[13] H.-L. C. Kao, A. Dementyev, J. A. Paradiso,
and C. Schmandt. NailO: Fingernails As an Input Surface. In Proc. of CHI ’15, pp. 3015–3018.
[14] A. Kumar, A. Radjesh, S. Mayer, and H. V. Le.
Improving the Input Accuracy of Touchscreens
Using Deep Learning. In Extended Abstracts of
CHI ’19, pp. LBW1514:1–LBW1514:6.
[15] H. V. Le, T. Kosch, P. Bader, S. Mayer, and
N. Henze. PalmTouch: Using the Palm As
an Additional Input Modality on Commodity
Smartphones. In Proc. of CHI ’18, pp. 360:1–
360:13.
[16] H. V. Le, S. Mayer, and N. Henze. Investigating
the Feasibility of Finger Identification on Capacitive Touchscreens Using Deep Learning. In
Proc. of IUI ’19, pp. 637–649.
[17] S. Mayer, P. Gad, K. Wolf, P. W. Woźniak,
and N. Henze. Understanding the Ergonomic
Constraints in Designing for Touch Surfaces. In
Proc. of MobileHCI ’17, pp. 33:1–33:9.
[18] S. Mayer, L. Lischke, A. Lanksweirt, H. V. Le,
and N. Henze. How to Communicate New Input
Techniques. In Proc. of NordiCHI ’18, pages =460–472,.
[19] I. Oakley, C. Lindahl, K. Le, D. Lee, and
M. R. Islam. The Flat Finger: Exploring Area
Touches on Smartwatches. In Proc. of CHI ’16,
pp. 4238–4249.
[20] M. Schmitz, J. Steimle, J. Huber, N. Dezfuli,
and M. Mühlhäuser. Flexibles: DeformationAware 3D-Printed Tangibles for Capacitive
Touchscreens. In Proc. of CHI ’17, pp. 1001–
1014.
[21] R. Wang, C. Yu, X.-D. Yang, W. He, and Y. Shi.
EarTouch: Facilitating Smartphone Use for Visually Impaired People in Mobile and Public
Scenarios. In Proc. of CHI ’19, pp. 24:1–24:13.
[22] R. Xiao, J. Schwarz, and C. Harrison. Estimating 3D Finger Angle on Commodity Touchscreens. In Proc. of ITS ’15, pp. 47–50.

まとめと今後の展望

本論文では，タッチサーフェス上で，爪および指によるタッチ入力をそれぞれの入力部位の電気的特性の差異により識別する手法を提案した．本論文の調査では，指と爪によるタッチ入力のそれぞれの流出電流値の変化範囲を検証し，タッチ入力後から 100ms
程度の待機時間を設けることで入力空間がコンフリ
クトせず，高精度に識別できることを示した．今後は本手法を用いた定量的なユーザ評価により，操作効率および操作性を検証する．

参考文献[1] L. Chan, R.-H. Liang, M.-C. Tsai, K.-Y. Cheng,
C.-H. Su, M. Y. Chen, W.-H. Cheng, and B.-Y.
Chen. FingerPad: Private and Subtle Interaction Using Fingertips. In Proc. of UIST ’13, pp.
255–260.
[2] J. Deber, R. Jota, C. Forlines, and D. Wigdor.
How Much Faster is Fast Enough?: User Perception of Latency & Latency Improvements in
Direct and Indirect Touch. In Proc. of CHI ’15,
pp. 1827–1836.
[3] B. Fruchard, E. Lecolinet, and O. Chapuis.
MarkPad: Augmenting Touchpads for Command Selection. In Proc. of CHI ’17, pp. 5630–
5642.
[4] H. Gil, D. Lee, S. Im, and I. Oakley. TriTap:
Identifying Finger Touches on Smartwatches. In
Proc. of CHI ’17, New York, NY, USA, 2017.
ACM.
[5] A. Goguey, G. Casiez, D. Vogel, and C. Gutwin.
Characterizing Finger Pitch and Roll Orientation During Atomic Touch Actions. In Proc. of
CHI ’18, pp. 589:1–589:12.
[6] A. Guo, R. Xiao, and C. Harrison. CapAuth:
Identifying and Diﬀerentiating User Handprints
on Commodity Capacitive Touchscreens. In
Proc. of ITS ’15, pp. 59–62.
[7] C. Harrison, J. Schwarz, and S. E. Hudson.
TapSense: enhancing finger interaction on touch
surfaces. In Proc. of UIST ’11, pp. 627–636.
[8] K. Hinckley, S. Heo, M. Pahud, C. Holz,
H. Benko, A. Sellen, R. Banks, K. O’Hara,
G. Smyth, and W. Buxton. Pre-Touch Sensing for Mobile Interaction. In Proc. of CHI ’16,
pp. 2869–2881.
[9] C. Holz, S. Buthpitiya, and M. Knaust.
Bodyprint: Biometric User Identification on- 90 -WISS 2019

BubBowl: 電気分解を利用したカップ型泡ディスプレイ
石井 綾郁 ∗

椎尾 一郎 ∗

概要. 気体の泡を用いて液体中にデジタル情報表示を行う泡ディスプレイの手法が研究され，一部では実用化もされている．従来装置では表示のための気体を外部から供給する方式が一般的であり，可動部分が必要である．この方式では機構が大掛かりになり，高画素な表示を安価に実現することが困難である．そこで我々は，電気分解により発生する気体を画素として利用し，飲料表面に 10×10 画素のドットマトリックス
パターンを生成するカップ型デバイス BubBowl を提案する．本方式は可動部分の無い電極だけで構成可能であり，既存のプリント基板技術や電子部品実装技術を利用することで，高密度で高解像度な泡ディスプレ
イを安価に実現できる可能性がある．また，提案デバイスは小型化・電池駆動が可能であるためコーヒー
カップのような日用品に埋め込むことができ，コーヒーの液面に泡で情報提示するなど，日常生活に近い場
面での使用が期待できる．

1

はじめに

水は人々の生活に不可欠な存在である．人々は日々カップに飲料を注ぎ，庭園の池や手水鉢など生活のあらゆる場面で水を貯め，水の存在と水面の変化を楽しんでいる．一方で，その水面に浮かぶ泡も，生活に欠かせない存在である．乳飲料やコーヒーには大気を取り込んで泡立ちやすい性質があり，ビール，
炭酸水などの発泡性飲料は水溶性の炭酸ガスを内包するため，水面に泡を作り出す．飲料表面を覆う泡の表情とまろやかさは，有史以前から人々の食生活を豊かにしてきた．近年，これらの飲料表面の泡に静的な文字や画像を「印刷」しようとする試みがされている．ラテアートは，あわ立てたミルクにより液面に絵や模様が描かれたカプチーノコーヒーである．従来は職人が手作りしていたが，これを自動化
し，スマートフォンなどから送信された画像をコー
ヒーの液面に印刷する装置が実用化されている1 ．また，ビールを注ぐと液面に泡で文字が浮かび上がる
信楽焼ビアカップも開発されている2 [17]．これらの製品は，印刷物のように静的な文字や画像を泡で表示する機能を持つものであり，刻々と変化する動的な情報を表示することはできなかった．
動的に変化する情報を泡により表示する研究も実施されている．Information Percolator[2] は，水を満たした透明パイプ群中を上昇する泡を用いたディスプレイである．このディスプレイは，外部から取り込んだ空気を電磁バルブで制御し，拡散器により白濁した泡を発生させて表示を行っている．しかし，この方式では機構が大掛かりになり，高画素表示を安価に実現することが困難である．

水そのものは水素と酸素の化合物である．したがって，これを電気分解すると水素と酸素の気体が発生する．我々はこの性質に着目し，電気分解により発生する気体を泡ディスプレイの画素として利用する手法を提案した [16]．図 1 に本研究で実装した
泡ディスプレイ BubBowl を示す．これは，カップに注がれた飲料表面に，泡を用いて 10×10 画素のドットマトリックスパターンを生成するカップ型デバイスである．本方式は電気分解を利用するため，外部から気体を供給する必要がなく，電磁バルブやコンプレッサのような可動部分が不要である．また，
プリント基板や高密度端子などの既存の電子回路実装技術を利用できるので，高密度，高画素な実装が容易であると期待できる．このような特徴により，従来の泡ディスプレイと比較して，小型，低コスト，

図 1. BubBowl．電解液を入れる前の状態である．マ
トリクス陰極群と共通陽極が容器内部に配置されている．

Copyright is held by the author(s).
お茶の水女子大学
1
http://www.coﬀeeripples.com
2
http://www.kdd1.com/391/moji-bi-ru105.html∗- 91 -WISS 2019

低ノイズ，低消費電力であり，電池駆動も可能である．したがって日用品に組み込むことも可能であり，生活に密接した場面での泡ディスプレイの利用が期待できる．例えば，天気予報や株価のような日常的な情報を，コーヒーなどの飲料表面に泡で表示することができる．提案デバイスの特徴を活かし，日常生活に溶け込みつつ多様な表現が可能な，泡によるアンビエントディスプレイの実現を目指す．

2

関連研究

泡そのものを画素として用いる泡ディスプレイ
の研究がいくつか存在する．Information Percolator[2] は，水を満たした透明パイプ群中を上昇する泡を用いた 2D ディスプレイである．このシステムはア
ンビエントディスプレイ [15, 4, 1] として設計されており，適切かつ望ましい時にのみユーザの注意を惹きつける．具体的には，システムが直接使用されていないときに「背景に溶け込む」ことを可能にするため，システム自体が装飾的なオブジェクトになるよ
うに設計されている．我々の泡ディスプレイは小型化が容易であり，カップのような日用品に埋め込むことが可能である．したがって，提案デバイスにより，日常生活の背景により自然に溶け込むアンビエント
ディスプレイの実現が可能であると期待できる．松村らは，水中の気泡を用いたインタラクティブアー
トを提案している [18]．この研究では，Information
Percolator と同様の手法で気泡による平面的な模様の表現を行う Water Canvas with Ears と，泡による立体的な造形を表現する Liquid Sculpture を提案している．両作品とも，泡という視覚情報だけでな
く，聴覚情報である音響を表現要素として用いている．また，鑑賞者の入力により作品が反応して動作するような，インタラクティブな機能を実現している．このような気泡を利用したアート作品においても，電気分解により気泡を発生させる本手法を取り入れることで，従来より高画素，高解像度な表示が可能になり，人と泡とのインタラクションの可能性を広げられると期待している．Volumetric Bubble
Display[7] は，高解像度表示が可能な泡ディスプレ
イである．この研究では，フェムト秒レーザパルス
をグリセリンのような高粘度溶液に照射することでマイクロバブルを生成し，これを用いた 3D ディス
プレイを実現している．このシステムは機械的・電気的部品を含まず光学的に泡を生成可能であるが，用いる液体が高粘度であるためディスプレイの応答速度が遅い問題がある．提案デバイスの応答速度も数秒から数十秒程度であり，一般的なディスプレイ
に比べると低速であるが，粘度の低い電解液を用いることで応答時間の短縮が可能である．Shaboned
Display[3] は，シャボン玉自体を画素として利用した 10×10 画素の 2D ディスプレイである．石鹸水に浸されたスポンジ製のノズルをソレノイドにより- 92 -

変形させ，石鹸膜を生成する．そして，ノズルに接続されているエアポンプから空気を送り込むことでシャボン玉を生成する．
既存の泡ディスプレイの多くは，各画素・列ごとに機械的な可動部分を要する．例えば，Information Percolator には列ごとに電磁バルブや拡散器が，Shaboned Display には画素ごとに変形機構やエアポンプが必要である．画素数が増えると必要な可動部品の数も増加し，ディスプレイは大掛かりで高価になってしまう．一方で，我々の提案デバイス
は小型で電池駆動が可能であり，コーヒーカップのような日用品に埋め込むことができる．さらに，電極だけで構成でき可動部分が不要なため，安価に画素数を増やすことが可能である．
H2 Bubble Display3 は，透明な水槽の底面に設置された 8×8 対の電極を用いて電気分解を行い，発生した気体を鑑賞するアート作品である．この作品
では，電極で発生した泡が音楽と同期して煙のように上昇するものの，泡を画素として用いた情報表示機能は無い．我々は，コーヒーのような着色された液体の表面に形成される円形の微細泡群に焦点を当て，それらをドット文字の画素として利用する． また，カップの底面に小型のアクティブマトリクス回路を実装し，飲料表面に情報提示することを可能にしている．
泡ディスプレイ以外にも，物理的な素材そのもの画素として用いる実体ディスプレイが提案されている．Mosaic Textile[14] は布を画素として用い，
Dewy[9] と Ketsuro-Graﬃti[12] は結露を，MOSSxels[5] は苔を，Tangible Drops[10] は液体金属を用いている．Udayan らは水滴とのインタラクションを提案した [13]．また，実体ディスプレイとのイン
タラクションも先行研究において提案されている．
これらの研究では，画素として使用する素材の特性を活かした情報とのインタラクションを可能にしている．Shaboned Display では，シャボン玉を指で破裂させることによる直感的な操作が可能である．また，Ketsuro-Graﬃti では，ユーザが指で結露に触れることによる情報との自然なインタラクションを可能にしている．これらの研究と同様に，提案手法においても，泡の特性を活かした直感的なインタラ
クションが可能であると考えている．例えば，ユーザ
がカップ内の泡を吹き消したり飲んだりすることで，表示する情報の更新を行うようなインタラクションが可能であろう．
映像投影のためのスクリーンとしてシャボン玉を使用する例もいくつか存在する [6, 8, 11]．これらの研究では，空中に浮遊しているシャボン玉にプロ
ジェクションを行うことによる空中ディスプレイを実現している．また，シャボン玉に触れて破裂させたり，近くで手を動かしたりすることによる，人と3

http://cargo.jonathanbobrow.com/Bubble-Display

BubBowl: 電気分解を利用したカップ型泡ディスプレイ

(a) Circuit diagram3

3 Shift Registers

ArduinoPro Mini

10
Column M
FET10(b) AnodeLine N(c) Cathode

Common Anode
9-V

MatrixCathodes(10 x 10)

FET

Cathode (N,M)

Column M
Line N図 3. 泡ディスプレイによる表示の例：「A」
図 2. 回路図．N 行 M 列の配線を示す（N = 1〜10,
M = 1〜10）

表示のインタラクションが可能である．我々は，泡の塊を画素として利用しているが，泡を投影のためのスクリーンとして用いプロジェクションを行うことで，より多様な表現が可能になると考えている．
本デバイスが電気分解により生成する泡は非常に小さく，液面に白い微細泡群を形成するため，投影のためのスクリーンに適している．

3

BubBowl

図 1 に BubBowl の外観を示す．容器底面に，10×10 のマトリクス陰極群が 6.35mm の間隔で配置されている．マトリクス陰極全体のサイズは 57.2×57.2mm である．一方，共通の陽極が容器内壁を囲うように配置されている．陰極には既存のピンヘッ
ダ部品を用い，陽極には電気分解による溶出を防ぐために純金箔を用いた．純金箔は，金箔専用の接着剤を利用して容器内壁に貼り付けた．

3.1

バイス全体をワイヤレス動作させることができる．
図 2 (b) に示すように，電気分解用 9V 電池の正極は共通陽極と接続している．また，負極は Arduino の接地に接続し，制御回路用電源と電気分解用電源の接地を共通にした．図 2 (c) に，N ライン M カラムの交点にある 1 画素の画素用電極をスイッチングする回路を示す．マトリクスの各交点には MOSFETと画素用電極が配置されている．画素用電極は FETのドレインに接続し，カラム配線はゲートに，ライン配線はソースに接続している．カラム配線に Highの電圧が印加され，なおかつライン配線が接地されると，ゲート〜ソース間に電圧が発生しドレイン〜
ソース間が導通する．その結果，画素用電極が接地され電気分解の陰極として機能し，画素用電極（陰極）から水素が発生する．同時に共通陽極からは酸素が発生する．

3.2

マトリクス回路

図 2 (a) に泡ディスプレイの回路図を示す．100
個の電極がアクティブマトリクス回路に接続され，Arduino Pro Mini からの制御で任意の複数電極が接地される．これにより，接地された電極が陰極として機能する．Arduino の出力端子数を節約するために，10 カラム 10 ラインの配線に 3 個のシフトレ
ジスタを接続した．Arduino からの制御で，カラム配線には TTL レベルの High もしくは Low の電圧がかかる．一方で，ライン配線は順次接地される．後述するように，ライン配線には電気分解のための電流が流れる．さまざまな電流・電圧条件に対応する目
的で，ドライブ能力に余裕のある MOSFET を介して接地と接続した．今回の試作では電気分解用の電源に 006P 型 9V 乾電池を用いた．また Arduino 等の制御回路用電源にスマートフォン用モバイルバッ
テリー（リチウムイオン電池）を用いることで，デ- 93 -

電解液

初期実験のために，炭酸水素ナトリウム（重曹）を精製水に加えた溶液（濃度 0.4%）を電解液として使用した．このとき電気分解によって発生するガスは水素と酸素のみであり，吸入しても安全である．本
デバイスを稼働させると，特定の陰極から水素が発生し，水面に円形の白い微細泡群として現れる．この泡群を 1 画素としてドット表示を実現する．しかし，炭酸水素ナトリウム溶液は無色透明であるので，水面から容器底部の電極構造が見えてしまい，泡によるドット表示が観察しづらいという問題があった．
そこで，泡を目立たせてコントラストを上げるために，インスタントコーヒー粉末（16g/L）を溶液に入れて着色した．その結果，図 3 に示すように白い泡が見えやすくなり，泡ディスプレイとしての性能が向上した．このとき，液体の水位は 1.5cm であった．
また，泡の拡散を防いで表示品質を向上させるために，少量のコーンスターチを加え，溶液の粘性を上げた．安定した表示を実現するために必要なコーン
スターチは 1.8g/L 程度であり，このときの溶液のWISS 2019

表 1. 応答速度（秒）Cornstarch (g/L)
Black To Gray (s)White To Gray (s)

粘性なし

粘性あり

0
6
12

1.8
6
≥ 60

動粘度は 1.1mm2 /s であった. 本デバイスでは，画素電極である陰極から水素が発生するほか，共通陽極から酸素が発生する．共通陽極には金箔を用いており，容器内壁に広範囲に配置している．よって，
酸素気泡は内壁に薄く形成されるのみであり，水素気泡によるドット表示品質に影響を及ぼさなかった．
容器内に存在する全ての物質（水素，酸素，水，炭酸水素ナトリウム，インスタントコーヒー，コーン
スターチ）は人間にとって無害である．

3.3

性能評価

本デバイスは，底面が直径約 9cm の円形である
容器内に実装した．画素間隔は 6.35mm であるので表示画素密度は 4 dpi となる．さらに高密度な表示の可能性を確認するために，2 画素の電極を用いた実験を行ったところ，コーンスターチ量 1.8g/L，水
位 8cm のインスタントコーヒー表面で，2.54mm 間隔の電極（10 dpi）からの泡が識別可能であった．
提案手法では気泡の生成開始・停止により画素の表示・非表示を行うため，液晶ディスプレイのような一般的なディスプレイと比較すると，応答速度は低速である．ディスプレイの応答時間を評価するた
めに，1 個の電極のみを通電させた．このとき，電解液の水位は容器底面より約 1.5cm であり，電極には 0.65mA の電流が流れた．発生した泡の様子はビデオカメラで記録し，画像編集ソフトウェアを用いて泡の明度を測定した．応答速度を評価するために，一般的な表示装置で使用される手法を採用した．
すなわち，泡が発生していない状態（非表示）の水
面の明度を 0%とし，泡が十分に発生している状態（表示）の明度を 100%とした場合，非表示状態の0%明度から 80%明度に至る時間 (BTG: Black ToGray)，および表示状態の 100%明度から 40%明度に至る時間 (WTG: White To Gray) をそれぞれ秒単位で測定した．この結果を表 1 に示す．ここでは前述した炭酸水素ナトリウムを加えたインスタント
コーヒー（粘性なし）と，これに 1.8g/L のコーンス
ターチを加えた液体（粘性あり）に対して応答速度を測定した．この結果が示すように，コーンスター
チを加えることで BTG は変化しないものの，WTG
応答速度は低下する．粘性が高いと，泡の自然消失に時間がかかるためである．粘性の高い液体では泡表示が安定するものの，応答速度は損なわれるため，使用状況に合わせて液体を選択し，必要に応じて適図 4. アンビエントディスプレイとしての応用例：(a) デジタル時計 12:34; (b) メッセージ表示「LOVE」

切に粘性調整する必要がある．また，ユーザが水面に息を吹きかける，もしくは電動ファンにより水面に風を当てることで，即座に泡を除去することも可能であるため，人間とのインタラクションを工夫することで応答速度を改善できると考えている．

4

応用例

本章では，提案手法の利点を活かしたさまざまな応用例について説明する．

4.1

アンビエントディスプレイ

生活空間に生け花の水盤を置いたり，ミニチュアの池や泉を飾ったりする人がいる．提案デバイスは小型で低ノイズ・低コストなため，これらの装飾物に情報提示機能を組み込むことが可能である．このように，提案デバイスを用いて装飾物の水面に泡で情報提示を行うことで，生活空間内でのアンビエン
トディスプレイを安価に実現することが可能である．
使用例として，水面での泡によるアンビエントな時計表示が挙げられる（図 4 (a)）．また，英数字 4 文
字程度の任意のメッセージを表示することも可能である（図 4 (b)）．

4.2

飲用可能なディスプレイ

本方式はシンプルな機構のため小型化が可能であり，マグカップやボウルの底に埋め込むことで，飲料表面に情報提示を行うことが可能である．性能評価の章では，炭酸水素ナトリウムとコーンスターチを加えたインスタントコーヒーを電解液として使用した4 ．この電解液に含まれている物質は人体に無害であり，電気分解をしても有毒ガスを発生しない5 ．以
上より，電解液中に飲用に危険なものは含まれない．
電解液として，上述したコーヒー以外にも，紅茶，
ココア，牛乳などの飲み物を安全に使用できる．図 5(a) は電解液としてカフェオレ（牛乳とインスタント
コーヒーの混合物）を用いた泡ディスプレイの例である．電流の流れを促進するために，このカフェオ
レには 0.4%の濃度の炭酸水素ナトリウムが含まれている．フルーツジュースやレモンティーなどの酸
4

この電解液を試飲したところ，無添加のコーヒーとほと
んど違いを感じなかった．
5
溶液が塩分を含む場合，電気分解により塩素が発生する．

- 94 -

BubBowl: 電気分解を利用したカップ型泡ディスプレイ

図 6. 泡によるメッセージ入りグレープゼリー

図 5. (a) カフェオレを用いた泡ディスプレイ．液面に天気予報（雨）を表示している; (b) 指と口の接触をセンシングすることで，飲用行為を検出する; (c)
飲用行動検出のための回路図

味のある飲料には，それ自体に導電性があり炭酸水
素ナトリウムを加える必要がない．そのため素材のままで表示媒体として使用できる．我々は 100%オ
レンジジュースとグレープジュースで実験を行い，泡により鮮明な表示が得られたことを確認した．
本デバイスは飲料に電圧を印加するため，稼働中に飲料を飲むと感電する恐れがある．ユーザの飲用行動を検出したら即座に電圧印加を停止するような安全回路を追加することで，この危険性を排除できる．そこで飲用行動を検出するために，カップの外側と縁にタッチセンシングのための電極を取り付けた（図 5 (b)）．ユーザが飲料を飲もうとするとき，取り付けた電極に指と口が同時に接触する．図 5 (c)に飲用行動検出のための回路図を示す．ユーザの指と口がそれぞれの電極に接触すると Arduino のアナ
ログ入力ピンに印加されている電圧が減少する．これにより飲用行動を検出し，電気分解を停止する．

4.3

フードプリンティング

調理する前の生地の状態が液体またはペースト状
である食材が存在する．これらの食材の生地で電気分解を行い，泡を発生させながら調理することで，食材上に泡で情報を印刷することが安価に実現できる．図 6 に泡でメッセージ（「LOVE」）が表示されたグレープゼリーを示す．100%グレープジュースにアガーを混ぜ，冷蔵庫で冷やしながら電気分解を行うことで作成した．人体に無害な電解液を使用しているため，このゼリーは食べることができる．ゼリーだけでなく，クレープやホットケーキの生地で電気分解を行うことで，泡でメッセージが書かれた焼き菓子を作ることができると考えている．

図 7. 4 段階グレースケール表示．右から順に 10，20，
30，40 秒接地した電極より発生した泡である．

また，電気分解をしつつ表面から電解液を固化させることで，泡による 3D オブジェクトが生成できるとも考えている．我々は，ゼリーの素を入れた溶液中に泡を発生させ，表面から底面に向かって順番に冷却し固化させることで，ゼリーの中に泡による
3D オブジェクトを作成することを検討している．同様に，表面から電解液を凍結させることで，氷の中に泡が閉じ込められた 3D オブジェクトも作成できると考えている．人体に無害な電解液を用いることで，これらの物体を食べることも可能である．

4.4

提案手法はバイナリ表示だけでなく，グレース
ケール表示も可能である．グレースケール表示は，画素表示用陰極の接地時間を調節することで実現できる．図 7 に，それぞれ異なる接地時間に設定した 4 つの陰極から発生した泡の様子を示す．それぞれの泡は，右から 10，20，30，40 秒接地した電極から発生した．このとき，各電極に流れた電流値は0.17mA であった．さらに，陰極の接地・非接地をパルス式に切り替えそのパルス幅を調整することで，スムーズなグレースケール表示が可能と考えている．
Daniel Rozin の Wooden Mirror6 は対面した人の顔を約 30×30 画素でインタラクティブに表示している．同様に，我々も画素数を 1000 画素程度に増やし，自然なグレースケール画像を表示することを予定している．
6- 95 -

グレースケールディスプレイ

http://www.smoothware.com/danny/woodenmirror.
html

WISS 20195

まとめと今後の課題[8] M. Nakamura, G. Inaba, J. Tamaoki, K. Shiratori, and J. Hoshino. Mounting and Application of Bubble Display System: Bubble Cosmos.
In Proceedings of the 2006 ACM SIGCHI International Conference on Advances in ComputerEntertainment Technology, ACE ’06, New York,NY, USA, 2006. ACM.
[9] A. Parkes and D. Oﬀenhuber. Dewy: A Condensation Display. In ACM SIGGRAPH 2007
Posters, SIGGRAPH ’07, New York, NY, USA,2007. ACM.
[10] D. R. Sahoo, T. Neate, Y. Tokuda, J. Pearson,
S. Robinson, S. Subramanian, and M. Jones.
Tangible Drops: A Visio-Tactile Display Using
Actuated Liquid-Metal Droplets. In Proceedingsof the 2018 CHI Conference on Human Factors in Computing Systems, CHI ’18, pp. 177:1–
177:14, New York, NY, USA, 2018. ACM.
[11] S. A. Seah, D. Martinez Plasencia, P. D. Bennett, A. Karnik, V. S. Otrocol, J. Knibbe,
A. Cockburn, and S. Subramanian. SensaBubble: A Chrono-sensory Mid-air Display of Sight
and Smell. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’14, pp. 2863–2872, New York, NY,
USA, 2014. ACM.
[12] Y. Tsujimoto, Y. Itoh, and T. Onoye. KetsuroGraﬃti: An Interactive Display with Water
Condensation. In Proceedings of the 2016 ACM
International Conference on Interactive Surfaces and Spaces, ISS ’16, pp. 49–55, New York,NY, USA, 2016. ACM.
[13] U. Umapathi, P. Shin, K. Nakagaki, D. Leithinger, and H. Ishii. Programmable Dropletsfor Interaction. In Extended Abstracts of the2018 CHI Conference on Human Factors in
Computing Systems, CHI EA ’18, pp. VS15:1–
VS15:1, New York, NY, USA, 2018. ACM.
[14] A. Wakita and M. Shibutani. Mosaic Textile:
Wearable Ambient Display with Non-emissive
Color-changing Modules. In Proceedings of the2006 ACM SIGCHI International Conference
on Advances in Computer Entertainment Technology, ACE ’06, New York, NY, USA, 2006.
ACM.
[15] C. Wisneski, H. Ishii, A. Dahley, M. Gorbet,
S. Brave, B. Ullmer, and P. Yarin. Ambient displays: Turning architectural space into an interface between people and digital information.
In Proceedings of Cooperative Buildings: Integrating Information, Organization, and Architecture, CoBuild 1998, pp. 22–32, Berlin, Heidelberg, 1998. Springer.
[16] 石井 綾郁, 椎尾 一郎. 電気分解を利用した泡ディ
スプレイ. 情報処理学会インタラクション 2019,
pp. 215–220, 2019.
[17] 大谷 貴美子. 視覚情報による「おいしさ」の研究. 日本調理科学会誌, 43(2):57–63, 2010.

本研究では，電気分解により発生する気体を画素として利用し，飲料表面に 10×10 画素のドット
マトリックスパターンを生成するカップ型デバイス
BubBowl の提案を行った．また，BubBowl を用いた応用例についても報告した．
今後は，電解液の種類，印加電圧値，電極間の距離など，ディスプレイ構成に必要なパラメータの最適化を検討している．また，より多様な表現を実現するために，画素数や解像度，グレースケールレベルなどを増やすことを検討している．さらに，ゼリーを用いた泡による 3D オブジェクトや，インタラク
ティブディスプレイなどのアプリケーションを実装する予定である．提案デバイスの改善を通して，より自然に日常生活に溶け込みつつ，より多様な表現が可能なアンビエントディスプレイの実現を目指していきたい．

参考文献[1] A. Dahley, C. Wisneski, and H. Ishii. Water
Lamp and Pinwheels: Ambient Projection of
Digital Information into Architectural Space. In
CHI 98 Conference Summary on Human Factors in Computing Systems, CHI ’98, pp. 269–
270, New York, NY, USA, 1998. ACM.
[2] J. M. Heiner, S. E. Hudson, and K. Tanaka.
The Information Percolator: Ambient Information Display in a Decorative Object. In Proceedings of the 12th Annual ACM Symposium on
User Interface Software and Technology, UIST’99, pp. 141–148, New York, NY, USA, 1999.
ACM.
[3] S. Hirayama and Y. Kakehi. Shaboned Display:
An Interactive Substantial Display Using Soap
Bubbles. In ACM SIGGRAPH 2010 Emerging
Technologies, SIGGRAPH ’10, pp. 21:1–21:1,
New York, NY, USA, 2010. ACM.
[4] H. Ishii, C. Wisneski, S. Brave, A. Dahley,
M. Gorbet, B. Ullmer, and P. Yarin. ambientROOM: Integrating Ambient Media with Architectural Space. In CHI 98 Conference Summaryon Human Factors in Computing Systems, CHI’98, pp. 173–174, New York, NY, USA, 1998.
ACM.
[5] T. Kimura and Y. Kakehi.
MOSS-xels:
Slow Changing Pixels Using the Shape ofRacomitrium Canescens. In ACM SIGGRAPH
2014 Posters, SIGGRAPH ’14, pp. 20:1–20:1,
New York, NY, USA, 2014. ACM.
[6] Y. Kubo, H. Tomita, S. Nakamae, T. Hoshi, andY. Ochiai. Bubble Cloud: Projection of an Image Onto a Bubble Cluster. In Proceedings ofthe 13th International Conference on Advancesin Computer Entertainment Technology, ACE’16, pp. 1–4, New York, NY, USA, 2016. ACM.

[18] 松村 誠一郎, 鈴木 太朗, 荒川 忠一, 伊藤 隆道. 気
泡と音響を用いたインタラクティブアート : イ
ンタラクティブアートとインターフェイスの新たな可能性. 環境芸術, 2:29–36, 2002.

[7] K. Kumagai, S. Hasegawa, and Y. Hayasaki.
Volumetric bubble display. Optica, 4(3):298–
302, 2017.

- 96 -

著者索引
Fang Qin, 55

土田 修平, 1

Huai-Yu Cheng, 55

寺田 努, 67

Jianzhe Gu, 55

中村 聡史, 7
鳴海 紘也, 55

Lining Yao, 55
新山 大翔, 31

Mohammad Islam, 55
野澤 崇行, 19

Siyuan Liu, 55
八箇 恭平, 61
服部 圭介, 37

青木 良輔, 43
東 正造, 43

平井 辰典, 37

池松 香, 85
石井 綾郁, 91
礒本 俊弥, 61
井上 馨太, 37
犬童 拓也, 43

深山 覚, 1, 7

Florian Perteneder, 19
堀江 彩太, 67

Erwin Wu, 19

又吉 康綱, 7

江口 佳那, 43

村尾 和哉, 73

大槻 麻衣, 79
岡本 雅弘, 73
沖 真帆, 31
小野 雄大, 13

森勢 将雅, 13
山中 祥太, 85
山本 拓也, 79

片岡 敬志郎, 79
川口 航平, 61
川原 圭博, 55
木村 朝子, 79
久保 勇貴, 43
小池 英樹, 19
後藤 真孝, 1, 7
小山 裕己, 7
近藤 重邦, 43
椎尾 一郎, 91
志賀野 桐生, 37
志築 文太郎, 61
柴田 史久, 79
杉山 圭, 25
玉井 由良, 49
塚田 浩二, 25, 31, 49
塚本 昌彦, 67vii

⽇本ソフトウェア科学会
2019年9⽉25⽇発⾏
第27回

研究会資料シリーズ

ISSN 1341‐870X No. 88

インタラクティブシステムとソフトウェアに関するワークショップ（WISS 2019）論⽂集