WISS 2022

WISS2022 開催にあたって
志築 文太郎 ∗本論文集は，日本ソフトウェア科学会インタラク
ティブシステムとソフトウェア（ISS）研究会が主催
し，2022 年 12 月 14 日（水）から 16 日（金）にかけて，アクティブリゾーツ宮城蔵王（宮城県刈田郡蔵王町）とオンラインとのハイブリッドで開催される「第 30 回インタラクティブシステムとソフトウェアに関するワークショップ」（Workshop on Interactive
Systems and Software: WISS2022）での発表をまとめたものです．
インタラクティブシステムに関する新しい実装技
術や面白い応用などに関して議論するワークショッ
プ WISS は 1993 年にスタートし，今年で 30 回目という大きな節目を迎えることになりました．WISS
は，伝統的に 2 泊 3 日の泊まり込み形式での開催を特徴のひとつとしてきており，毎年約 100 名〜150名の参加者が朝から深夜まで深い議論を行ってきました．更に WISS は革新的な試みを多く取り入れてきました．実際に動くデモンストレーションを交えての議論を可能とするデモ発表を早くから取り入れ，加えて，発表と同時進行するチャットでの議論，会議
を新しい形で支援する様々な「WISS Challenge」シ
ステム，深夜まで行われるナイトセッションがその例として挙げられます．これらを通じて，WISS は，
いわゆる研究討論に留まらず，研究への楽しみや研究者同士の輪がリアルタイムに広まり深まることを体感できる場となっていました．このこともあって，「WISS にもう一度行こう…．
」
こういった感想が WISS から帰って来た参加者から自然と聞かれるのだと思います．
しかしながら，WISS2020 は，Covid-19 のために多くの学会と同様に，完全オンラインでの開催を余儀なくされました（WISS2020 も完全オンライン開催ながら完全に WISS らしいイベントで大成功でした．自分もセッション中は沢山チャットで議論し，また夜遅くまで議論でき，めちゃくちゃ楽しかったです）．ただ，そのすぐ次の WISS2021 は，ザ浜名
湖（静岡県浜松市）とオンラインとのハイブリッドで開催され，大盛況を収めました．WISS2021 のこの成功も，泊まり込み形式のイベントをなんとか安
全に，それでいてこれまでの WISS の良さを体験できるようにしようという WISS2021 運営委員の皆∗筑波大学，WISS2022 プログラム委員長

様の強い思いと並々ならぬ奮闘とによってもたらされたものと考えます．そして，その WISS2021 を継承し，今回の WISS もハイブリッドで開催することにしました．
今回の WISS2022 では発表形態として，前回を踏襲し，登壇発表 (Archival)，ロングティザー発表(Non-archival)，デモ・ポスター発表（Non-archival）を用意しました．
登壇発表については，それぞれの論文に対して 4名の査読者（うちメタ査読者 1 名）を割り当てて査読を行った結果，32 件の投稿に対して 16 件の論文を採択しました（ロング採択 4 件，ショート採択 12件）．なお，幾つかの論文については条件付き採録としました．これらについてはいずれも提出いただ
いた論文を本論文集に掲載しております．
また，ロングティザー発表については 9 件を，デモ・ポスター発表については 78 件を採択しました．
特に，デモ・ポスター発表については，当初は発表
枠を 50 件として準備を進めていたのですが，締切り前にしてその枠を大幅に超える申込みがあったため，会場への問い合わせや関係者での打合せを急遽行う
ことにより，発表枠を増やすことにしました．このため，運営委員の皆様への負担が大幅に増える状況となりましたが，一方で，多数のデモ・ポスター発表があるという事実は，デモ重視というヒューマン
コンピューターインタラクション分野の特徴の現れであるとともに，WISS に関わる人の数と力とが強まっている現れでもあるので，本分野と WISS がこれから更に発展する可能性を示しています．
依然として Covid-19 が猛威を振るっている中，現地会場を設けるにあたって，ワクチン接種の確認や，
前回よりも一部強化した感染症対策のために，運営委員の皆様に，特に実行委員長の村尾和哉氏，そして会計担当の瀬川典久氏には，膨大な量のイレギュ
ラーな業務をご担当いただいております．ここに深く感謝いたします．
最後に，登壇発表論文を投稿いただいた皆様，デモ・ポスター発表に申込みいただいた皆様，スポンサー企業の皆様，協賛学会関係者の皆様，今回も会
計業務をお手伝いしてくださっている林康恵様，そして，WISS2022 プログラム委員／運営委員の皆様に深く感謝いたします．

WISS 2022 プログラム委員長
志築 文太郎（筑波大）
WISS 2022 実行委員長
村尾 和哉（立命館大）
WISS 2022 副実行委員長
中野 倫靖（産総研）
WISS 2022 運営委員
会計

瀬川 典久（京産大）
丸山 一貴（明星大）

出版・
デザインコンペ

池松 香（ヤフー，東北大）
加藤 邦拓（東京工科大）

参加者管理

樋口 啓太（Preferred Networks，
醸燻酒類研究所）

照明・音響

川口 一画（筑波大）

広報・
学会リエゾン

横窪 安奈（青学大）

WISS
チャレンジ

入江 英嗣（東大）

チャット

福地 健太郎（明治大）

動画生中継

川口 一画（筑波大）
高田 崚介（神戸高専）

デモ・ポスター

土田 修平（神戸大）
塚田 浩二（はこだて未来大）ネットワーク原 貴洋（ヤマハ）
奥本 隼（TwoGate）

Web・
サーバー

福里 司（東大）
山本 和彦（ヤマハ）

投票

鳴海 紘也（東大）

懇親会

倉本 到（福知山公立大）表彰

宮下 芳明（明治大）
栗原 一貴（津田塾大，クーリード）

企業
スポンサー

岩本 拓也（サイバーエージェント）
秋山 耀（チームラボ）

学生
ボランティア

中野 倫靖（産総研）
宮藤 詩緒（東工大）
大西 鮎美（神戸大）

表紙デザイン
杉山 恭之（明治大）

WISS 2022 プログラム委員
秋山 耀（チームラボ）
池松 香（ヤフー，東北大）
入江 英嗣（東大）
岩本 拓也（サイバーエージェント）
大西 鮎美（神戸大）
奥本 隼（TwoGate）
梶本 裕之（電通大）
加藤 邦拓（東京工科大）
川口 一画（筑波大）
倉本 到（福知山公立大学）
栗原 一貴（津田塾大，クーリード）
小池 英樹（東工大）
坂本 大介（北海道大）
志築 文太郎（筑波大）
瀬川 典久（京産大）
高田 崚介（神戸高専）
塚田 浩二（はこだて未来大）
土田 修平（神戸大）
中野 倫靖（産総研）
鳴海 紘也（東大）
原 貴洋（ヤマハ）
樋口 啓太（Preferred Networks，醸燻酒類研究所）
福里 司（東大）
福地 健太郎（明治大）
丸山 一貴（明星大）
宮下 芳明（明治大）
宮藤 詩緒（東工大）
村尾 和哉（立命館大）
山本 和彦（ヤマハ）
横窪 安奈（青学大）
ISS 研究会連絡先
日本ソフトウェア科学会「インタラクティブシステムとソフトウェア研究会」
主査: 志築 文太郎
筑波大学 システム情報系〒305-8573 茨城県つくば市天王台 1-1-1
E-mail: shizuki@cs.tsukuba.ac.jp
本研究会に関する情報は http://www.wiss.org/
からアクセス可能です．

もくじ
まえがき: WISS2022 開催にあたって
志築 文太郎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

iセッション 1：入力手法
TetraForce: スマートフォンの表裏両面に対する垂直・剪断方向の力を入力可能な磁気式インタフェースショート採録  ショート発表
土田 太一, 藤田 和之, 池松 香, Sayan Sarcar, 高嶋 和毅, 北村 喜文 . . . . . . . . . . . . . . . . . . . . . . . . . . 1

本論文はスマートフォンのケースに磁石を埋め込んだ簡潔な入力インタフェースの提案になります。スマートフォンとケースの間はばね構造で結ばれており、磁石の移動はスマートフォンの地磁気センサによって読み取られます。またタッ
チセンシングの結果とも合わせることで、表面に力を加えようとしているのか、裏面に力を加えようとしているかの区別も行っています。シンプルかつ有用な提案です。



スマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装

ロング採録（採録条件あり） ロング発表
日下部 完, 坂本 大介, 小野 哲雄 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8

本論文では、複数の圧力センサを配置したスマホリングを用いたスマートフォン背面でのジェスチャ入力手法を提案しています。提案手法自体の技術的な新規性は低いですが、設計したデバイスに合わせたジェスチャセットを検討し、性能評
価により高い認識精度を示していることから有用性が認められます。査読者全員から WISS の登壇発表として採録すべきと判定しました。








ReﬂecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定 ロング採録  ロング発表
張 翔, 池松 香, 加藤 邦拓, 杉浦 裕太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

スマートフォンのフロントカメラで撮影された顔写真を使用し、ユーザの角膜に反射したスマートフォンの画面の反射像
を機械学習で分類することで、把持姿勢を推定する手法を提案している。総じて新規性があり、応用範囲も広く考えられる手法であると考えられる。現状の手法のままでは利用環境が制限されることが考えられるため、更なる工夫が期待さ
れる。





セッション 2：コンテンツ作成・理解
Crane ：プロダクトの意匠性・可折性・可製造性を考慮した折紙の計算設計プラットフォームショート採録（採録条件あり） ショート発表
須藤 海, 野間 裕太, 谷道 鼓太朗, 鳴海 紘也, 舘 知宏 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

折紙プロダクトの設計・造形を支援するツール（Grasshopper のライブラリ群）と、デザイン事例を紹介している。提案されているツールは大変興味深く、実装の完成度も高い点が高く評価された。一方、長大な内容を圧縮したためか、投稿時の原稿にはシステムの挙動等、不明瞭な記述も散見された。こうした点を踏まえて、採録条件付きのショート採録と判
定した。





iii





FaceShow: 顔の部分表示による遠隔会議支援システム ショート採録（採録条件あり） ショート発表
岸本 諒大, 土田 修平, 寺田 努, 塚本 昌彦 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31



本研究は、ビデオ会議において、顔の部分表示によって顔の開示度をさげつつリアクションを伝達することでコミュニ
ケーションの円滑化を目指した研究である。評価方法等に不適切と思われる点があること、また現状の評価の範囲では既存手法（アバター）に対する優位性が不明瞭である反面、顔の部分表示というアプローチは非常に興味深く活発な議論が期待されることから、ショート採録と判定された。







研究発表コンテンツ内の意味的対応関係を活用した研究理解の支援 ショート採録（採録条件あり）ショート発表
太田 彩, 脇田 建 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
オンラインでの学会参加のために論文や発表資料を有機的に関連付けることで、リッチなオンライン学会参加体験を実現する研究は、新規性の観点での判断は難しい一方で、有用性は高いと考えられます。投稿段階の論文については、出版に向けて複数の懸念事項があり、これらを解決することを条件としてショート採録とします。



セッション 3：トレーニング支援Gino .Aiki: 合気道の身体の使い方の習得を支援する MR ソフトウェア ショート採録  ショート発表
鈴木 湧登, 坂本 大介, 小野 哲雄 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46





合気道の指導でよく行われる、「球を取るように」のような比喩的な身体動作指導を MR 環境で実現したものである。新規性のあるシステム提案を行っており、荒削りではあるが、本ワークショップにおいて議論に足るものである。以上の結果から、ショート採録と判断された。







振りの理解を助けるためのダンス動画の自動分割 ショート採録  ショート発表
遠藤 輝貴, 土田 修平, 五十嵐 健夫 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56


ダンスの振りを覚えることを支援するユーザインタフェースを実現するために、視覚特徴と聴覚特徴を用いてダンス動作
を自動分割する手法を提案しました。アノテーションインタフェースと応用インタフェースの 2 種類を実装されており、実用性高く動作していると判断されました。全査読者のコメントを参考に、論文の質をさらに高めていただけることを期待します。当日の発表を楽しみにしております。



リアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練
ショート発表
ショート採録（採録条件あり）


田代 優香, 宮藤 詩緒, Hwang Dong-Hyun, 清藤 哲史, 金 太一, 五十嵐 健夫, 小池 英樹 . . . . . . . . 63



顕微鏡縫合術の訓練にリアルタイムフィードバックとゲーミフィケーションを用いてその訓練へのモチベーションを向上することを目指した研究です。顕微鏡縫合術の訓練に対するスコアリングの方法を適切に定めており、シンプルなゲーミ
フィケーション表現でも意欲向上が見られるシステムが実現されています。





iv



ユーザ嗜好と栄養摂取基準に基づくレシピ推薦手法の開発 ショート採録（採録条件あり） ショート発表
尾関 沙羅, 小寺 正明, 石黒 勝彦, 西村 太一, 樋口 啓太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

本研究では、栄養摂取基準に基づいたレシピを提案するアルゴリズムの提案や GUI の実装にとどまらず、シミュレーショ
ンによる定量評価、ユーザ評価による定性評価などが行われました。これは WISS の 6 ページのフォーマットを考えると非常に充実した内容であり、提出されたビデオでも提案システムの挙動がわかりやすく紹介されていました。このため、いくつかの微修正はありますが、WISS での登壇発表にふさわしい論文として「ショート採録 (採録条件あり)」としま
した。





セッション 4：ウェアラブル
メアンダコイル++：継続的なウェアラブルコンピューティングのための衣類全面での安全で高効率な無線
給電 ロング採録  ロング発表
高橋 亮, 雪田 和歌子, 横田 知之, 染谷 隆夫, 川原 圭博 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
全ての査読者が新規性／有用性／信頼性共に十分だと判断しており、採録と判断します。CHI2022 にも採択されている論文であり、翻訳や文章削減に伴う問題もほぼありません。よく 6 ページにエッセンスを収めて頂いています。発表形式
は既発表であることからショート発表も検討しましたが、技術的な説明に時間が必要と思われる点や、しっかり議論したいという査読者の意見を踏まえてロング発表としました。







音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討 ショート採録  ショート発表
雨坂 宇宙, 渡邉 拓貴, 杉本 雅則, 志築 文太郎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
ヒアラブルデバイスのためのジェスチャ認識のためにイヤホンからの音漏れに着目した点は査読者全員が新規性を認めているが、実用性の面や安全性に大きな疑問が残る論文である。音漏れを用いたジェスチャ認識自体については WISS で議論することに価値があると判断し、ショート採択とするのが妥当である。



セッション 5：実世界


車椅子使用者を周囲の人と遠隔介助者に繋ぐ遠隔車椅子システム ショート採録  ショート発表
高木 瑠名, 宮藤 詩緒, ジェフェルソン パルドムアン, 小池 英樹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
すべての査読者のスコアが 4 であった。提案システムはターゲットユーザへのインタビューに基づいており、要求を明らかにしたうえで設計をしている。システム評価について、視線推定のみに注目し、技術的な基礎精度評価と、ユーザ評価を行い、ある程度の有用性が示されている。一方で、ターゲットユーザを対象とした実験は実施されていない。上記の理由から、ショート発表での採択とした。



Vi-MAP: Visual SLAM と振動子を用いた視覚障害者の歩行支援システム
ショート発表ショート採録（採録条件あり）

坂本 祐輝, 福田 大翔, 内原 正一, 門本 淳一郎, 入江 英嗣, 坂井 修一 . . . . . . . . . . . . . . . . . . . . . . . . . . 102



本論文は、視覚障害者のための屋内ナビゲーションシステムを構築、評価したものです。スマートフォンで屋内マップを作成し、方向に依存した振動提示によってナビゲーションを行っています。技術的な構成要素は新規とは言えないものの、当事者への丁寧なインタビューによって要素を抽出し、実装評価に至っている点は高く評価できます。





v





Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実 環境 ショート採録（採録条件あり）
ショート発表

岸野 泰恵, 白井 良成, 柳沢 豊, 菅原 光, 尾原 和也, 水谷 伸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

近赤外線カメラとサーマルカメラを用いて接触や消毒行為を検出し，プロジェクタでウィルス付着状況を提示するルーム
スケールのシステムを提案した論文です。提案システムの新規性を担う部分の有用性が示せていない点などに懸念がある
ものの、システムの実装はされているため、WISS で議論可能な論文であると判断されました。







自動運転車からの視線提示による交通事故低減の可能性の検討 ロング採録（採録条件あり） ロング発表
張 家銘, 戸田 光紀, Gui Xinyue, Seo Stela H． , 五十嵐 健夫 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

本研究は、自動運転車が視線提示を行う場合に、状況に応じて適切に横断するか否かを判断できるかを調査した研究である。自動運転車による視線提示自体は既発表の内容であるが、危険な状況（自動運転車が歩行者を識別していない状況）における歩行者の判断に焦点を当てた点、およびそこから得られた結果は面白く、活発な議論が期待されることからロング採録と判定された。





vi

WISS 2022

TetraForce: スマートフォンの表裏両面に対する垂直・剪断方向の力を入力可能な磁気式インタフェース
土田 太一 ∗

藤田 和之 ∗

池松 香 ∗ †Sayan Sarcar‡

高嶋 和毅 ∗

北村 喜文 ∗

概要. スマートフォンの 2 つの面（タッチ面と背面）に対する 2 種類の方向（垂直方向と剪断方向）の力による入力を可能にするスマートフォンケース型の磁気式ユーザインタフェース “TetraForce” を提案する．
本インタフェースの背面には，3 DoF で可動するパネルが搭載されている．このパネルには磁石が取り付けられており，その変位をスマートフォン内蔵の地磁気センサ（および加速度センサとジャイロセンサ）により推定することで力による入力の検出を実現する．本インタフェースのプロトタイプを用いたユーザス
タディ(N=12) の結果，ユーザによる 4 種類の入力が平均 97.4 %の精度で意図通りに検出できることを確認した．また，本インタフェースを用いたアプリケーションを複数実装し，その有用性を議論した．

はじめに

1

タッチ入力は，スマートフォンやタブレット等のスマートデバイスにおける主要な入力手段である．
一方で，入力に利用できる情報は 2 次元座標のみであることから，入力語彙の乏しさの問題がたびたび指摘されてきた．これに対し，入力語彙を拡張するための研究が盛んにがなされており，その 1 つに「力」の活用が挙げられる．力は，タッチと同様に指で容易に入力でき，大きさと方向によるベクトル
情報を持つことから，力を用いて入力語彙を拡張するユーザインタフェースが数多く開発された．
力を入力可能とする既存インタフェースは，表 1に例示するように，力の印加方向（垂直・剪断方向）と力の印加対象（タッチ面・それ以外）の組み合わせによる 4 つに大きく分類することができる．これらの力の印加方向と印加対象の違いは，異なるメタファや操作性を提供しうるが，それらはこれまで
個別に検討されてきており，それぞれ個別の機構が必要であった．4 種類の力による入力を単一の機構で実現できれば，デバイスの付替えを必要とせず，豊富な入力語彙を提供できる汎用的なユーザインタ
フェースになり得る．

そこで本研究では，印加対象面と印加方向の組み合わせによる 4 種類の力による入力を１つの機構で実現可能なスマートフォンケース型の磁気式インタ
フェース “TetraForce” を提案する．TetraForce は
3 DoF で可動するパネルを持ち，パネルの表面に磁石を搭載する．この機構をスマートフォンの背面部分に装着し，パネルの変位方向（垂直・剪断方向）および変位量をスマートフォン内蔵の磁気センサを用いて推定する．また，ユーザがスマートフォンを把持している場合，タッチ面・背面のいずれの面に力を加えてもパネルは変位する．この性質を用い，タッ
チ入力判定の有無により力の印加される面（タッチ面・背面）を区別する．以上に述べた実装により，4種類の入力を外部電源なしに実現できる．また，力の入力時には弾性フィードバックが得られるため，
より正確な入力操作に寄与する [17] と期待できる．
本稿では，TetraForce の設計とプロトタイプの実装，及びその性能を調べるユーザスタディについて述べ，最後にアプリケーション例を紹介する．なお，本稿は ACM ISS 2022 で発表した内容 [14] に，
アプリケーションの実装例とハードウェアの改良を追記したものである．

2
表 1. 力を入力可能とする既存インタフェースの代表例
垂直方向
タッチ面
背面

TetraForce

TetraForce は，スマートフォンの背面で 3DoF で可動するパネル部と，そのパネル部の動きをトラッキングするための磁気センシングにより，4 種類の入力を単一の機構で実現するインタフェースである．
以下では，本インタフェースのプロトタイプ実装について述べる．なお，本インタフェースが実現する 4種類の入力を，以降では図 1 に示すように定義する．

剪断方向GraspZoom[11],Harrison et al.[5],Suzuki et al.[12]ShearSheet[8]Force gestures[6]Besançon et al.[2], Xial et al.[15], CamBackXPress[4]TrackPoint[16]Copyright is held by the author(s).
東北大学†
ヤフー株式会社‡
Birmingham City University∗-1-

WISS 2022

隅と中央）に配置する．平面バネはケース部及びパネル部と同様に 3D プリンタ製で，外周部分を接着剤でケース部に固定してある．作成した平面バネは方向によってわずかに可動域が異なっていたため，5つの平面バネをそれぞれ異なる向きに配置すること
でバランスをとった．また，市販の押しバネの一端をこの平面バネにあるくぼみに，他端をパネル裏面にある同サイズのくぼみにはめ込み，接着剤で固定した．
パネル部表面上には，ネオジム磁石を接着剤で取り付けた．磁石の位置は，予備検討により磁気センサの値が得られやすい位置として決定した（磁気センサの位置から一定距離離すことで磁気ベクトルの変化が読み取れるようであった）．
入力可能な力の最大値に関して，言及のあった先行研究 [7, 4, 12] を参考にし，かつ実装時点で購入可能であったバネを複数検討し，押圧力入力の際には約 12.5 N，剪断力入力の際には約 13.0 N とした．
この力の大きさは，異なるバネ定数のバネや異なる可動域を持つ平面バネで置き換えることで調整が可能である．

図 1. 実現する 4 種類の入力

2.2

ソフトウェア実装

ソフトウェアの実装として，以下ではキャリブレー
ション，4 種類の入力の識別，押圧力・剪断力それぞれの推定アルゴリズムについて順に述べる．
キャリブレーション 磁気センサで取得される値は地磁気の影響を受けるため，力の入力の推定前にその影響を取り除くためのキャリブレーションが必要である．キャリブレーションでは，本インタフェー
スをスマートフォンから一旦取り外し，十分に距離を取った状態で取得した磁気ベクトルを地磁気ベク
トルとして保存する．後述の推定アルゴリズムでは，保存した地磁気ベクトルを測定値から差し引いて使用する．

図 2. プロトタイプ実装の概観

2.1

ハードウェア実装

図 2 にプロトタイプの概観を示す．この実装にはGoogle Pixel 2 を用いているが，他の数種類のス

4 つの入力タイプの識別 力の印加面（タッチ面・背マートフォンでも同様に動作する見込みがあることを確認している．
本インタフェースは，スマートフォンに取り付けるケース部と，それと複数のバネで接続された可動のパネル部からなる．ケース部は FDM 方式の 3D
プリンタで PLA フィラメントを使用し印刷したもので，市販のスマートフォンケースと同様の形状である．パネル部は同様の素材による長方形の板である．パネル部は，スマートフォンのカメラを覆わない位置及びサイズとした．このパネル部をユーザによる力の印加に応じて 3 DoF で可動とするため，パネル部とケース部との間には平面バネと押しバネの2 種類を組み合わせたものを 5 箇所（パネル部の四剪断力の推定 剪断力の推定のため，先行研究 [1] の4 章を参考に，パネルの水平方向の変位を算出する

面）の識別は，タッチパネルへのタッチ入力が検出されているかどうかで行う．すなわち，タッチを伴う
入力であれば FoS，タッチを伴わない入力であればFwC として扱う．剪断力と押圧力は後述する個々のアルゴリズムで認識され，同時の認識も可能である．

アルゴリズムを実装した．すなわち，磁気センサで得られた磁気ベクトルの値から，キャリブレーションで得られた地磁気ベクトルを差し引いた値を磁石の磁気として用い，磁石までの距離および 2 次元位置を理論式を用いて求めることで剪断力の方向と強さを推定する．

-2-

TetraForce: スマートフォンの表裏両面に対する垂直・剪断方向の力を入力可能な磁気式インタフェース

押圧力の推定 押圧力の推定方法として，当初は剪断
力と同様の理論的なアプローチを検討したが，出力の次元が増え計算量が膨大になることから，機械学
習のアプローチを採用した．すなわち，押圧力の入力がなされているか否かの確率を，Sigmoid 関数を活性化関数に用いて出力するニューラルネットワーク
モデルを構築することで，出力される確率を力の連続量として利用できると考えた．学習データに用いた変数はスマートフォン内蔵のセンサから得られるものとして，3 次元磁気ベクトル，3 次元加速度ベク
トル，加速度の大きさ，4 次元角速度ベクトル，3 次
元重力ベクトル，3 次元回転率ベクトルを用いた．デ
バイスを地面と水平の状態から ±45 °程度の範囲内
で前後左右に傾けながら画面中央に対して押圧力を加えた場合 6,752 データと加えない場合 6,560 デー
タ，押圧力を加えず剪断力を入力した 13,186 データの計 26,498 データを収集した．これらのデータのうち 80 %を学習データ，20 %をテストデータに分割し学習を行った．モデルの精度は 98.18 %であった．このモデルを用いて磁石位置を推定することで，押圧力の推定値を連続値として取得できることを確認した．
上記のモデルを用いて概ね押圧力の推定が実現できた一方で，スクリーンの右端や下端に対する PFoSが検出されにくいことがわかった．これは，（磁気センサの位置の都合により）磁石の位置がパネルの中
央からややずれた位置にあることで，磁石から離れた位置でのパネルの沈み込みが磁気ベクトルの変化として反映されにくいことによるものであった．これを解決するため，ユーザのタッチ位置に応じた推定値の補正を試みた．具体的には，機械学習アルゴ
リズムで推定された力の大きさに，タッチ位置に応じたゲインを掛け合わせることにより補正する．ゲインの分布を求めるため，画面を縦 9 × 横 5 = 45 のエリアに分割し，それぞれを最大まで 3 回押したときの押圧力の推定値の大きさを測定し，平均をとった．表 2(a) は，スマートフォンの画面領域内における押圧力入力の推定値 (%) の分布である．ゲイン
は各値の逆数で表すことができる．ただし，最右列（幅 12.5 mm）と最下行（高さ 12.3 mm）の領域では押圧力の検出がほぼ不可能であったため，本実装の段階ではこれらの領域の押圧力取得を対象外とした．この点を解決するハードウェアの改良については 6 章で述べる．

3

パフォーマンススタディ

実装したプロトタイプの基本的な性能評価として，ユーザによる実際のインタラクションがユーザの意
図通りに作動するかをユーザスタディを通じて調査した．具体的には，4 種類の入力（PFoS, PFwC,
SFoS, SFwC）それぞれで，力を特定の強さで一定時間加えることで画面上のコンテンツを操作するタ-3-

表 2. PFoS 入力における入力位置ごとの力の推定値の分布(a) 実装したプロトタイプ (b) 改良版のプロトタイプ
80 70 52 30

3

100 100 87 83 56

95 79 68 45

3

100 100 90 97 58

100 93 78 47

5

100 100 92 98 46

100-81

100 98 86 37

2

100 100 92 87 51

80-61

100 100 81 222

100 100 92 72 54

60-41

100 99 58 15

0

100 99 89 68 50

40-21

93 80 39 14

0

91 99 81 69 46

20-1

55 31 123

0

81 96 73 64 45

0

22

0

0

57 65 51 42 4150

スクを実験参加者に行ってもらい，その入力成功率を測定した．

3.1

実験参加者

実験参加者は 12 名（男性 10 名，女性 2 名，平均
年齢 22.3 歳，SD=1.23，右利き 10 名）の大学生であった．COVID-19 に関する規制により外部の参加者の募集が困難であったため，参加者のうち 8 名は本研究についてある程度の知識があり 3 名は実際にデバイスを使用した経験があったが，実験タスクで用いられたコンテンツの使用は初めてであった．参加者には謝礼（大学の規定に基づき学年により異なる額，約 1,000 円）が支払われた．

3.2

実験環境

実験には，Android（バージョン 11）を搭載する
Google Pixel 2（解像度：1920 × 1080，ディスプ
レイ：110.7 mm × 62.3 mm）に，TetraForce のプロトタイプを取り付けて用いた．実験ソフトウェ
アは Unity（バージョン 2020.3.2f1）で実装し，プ
ログラムは C#で記述した．なお，毎回の実験開始
前には，2.2 章に記載したキャリブレーションを予め実施した．

3.3

タスクデザイン

実験タスクは，4 種類の入力それぞれについて，
特定の強さの力を一定時間入力してもらうものとした．タスクは先行研究 [13, 10] に倣い，力の強さに応じて 1 次元方向に動く画面上のバーをインジケー
タの 4 段階のターゲットエリアのうちのいずれかに
1 秒間収めることができた場合にタスク成功とし，入力開始後にバーがターゲットエリア外にある状態
で 1 秒間以上経過した場合には失敗とした．4 種類の入力に関するタスクごとに，全試行に占める成功
試行の割合である成功率を測定した．
4 種類の入力それぞれに関する 4 つのタスクで提示された実際の画面例を図 3 に示す．ターゲットとWISS 2022

図 3. 4 つのタスクで提示される画面と手順なる力の強さは 4 段階（Lv. 0-3）とし，インジケー
タにより表現された．このエリアの割り振りは先行
研究 [3] を参考に決定した．具体的には，押圧力では12.5 N，剪断力では 13.0 N を最大とし，Lv. 0 では 0-10 %，Lv. 1 では 10-40 %，Lv. 2 では 40-70%，Lv. 3 では 70-100 %となるようマッピングした．PFoS タスクでは，押圧力を印加する際のタッチ位置は 3 × 3 = 9 つのエリア（2.2 に述べた，入力が困難な領域は除外）からランダムに指示した．
一方で，PFwC タスクでは押圧力の印加位置を特に指示しなかった．SFoS と SFwC タスクでは，上下左右斜めの 8 方向の剪断力の入力をランダムに指示した．参加者には，タスクごとにスマートフォンの持ち方をあらかじめ提示した．具体的には，FoS のタスク 2 種類ではスマートフォンを縦向きにし，利き手で持ち親指でタッチ操作してもらうようにした．
FwC のタスク 2 種類では横向きにして両手で持ち，親指が前面に，その他の指が背面側にあるような把持姿勢とした．

3.4

実験手順

実験は 4 種類の入力に対応する 4 つのタスクに分かれていた．タスク内容について参加者の混乱がないよう，全参加者に共通して，よりシンプルなタス
ク内容である押圧力のタスク 2 種（PFoS と PFwC）
を実施後，剪断力のタスク 2 種（SFoS と SFwC）を実施した．ただし，押圧力のタスク内，剪断力のタ
スク内での 2 種のタスクの提示順序は参加者間でランダムとした．
各タスクでは，実験者からの説明の後，参加者は練習タスクと計測を伴う本タスクを行った．練習タ
スクでは，本番タスクと同様のタスクを操作に慣れるまで数分程度行ってもらった．練習タスク・本タ
スク中，各試行が完了した際には画面に「指を離してください」というメッセージが表示され，その 2秒後に次の試行が自動的に開始された．前半 2 タス

クが終了した時点で，参加者は必要に応じて数分の休憩をとった．全 4 タスクが終了した時点で実験は終了した．実験全体の所要時間は参加者によってばらつきが大きかったが，いずれの参加者も 50 分以内で実験を終了した．

3.5

結果と考察

図 4. 各タスクにおける入力成功率 (%)．括弧内は標準偏差を示す．各エリアは力が加えられた (a) 位置
または (b)(c) 方向を示している．

実験の結果，全試行での平均入力成功率は 97.4 %であった．タスクごとに見ると，入力成功率は PFoS
では 99.0 % (SD = 1.28)，PFwC では 97.7 % (SD= 3.03)，SFoS では 94.0 % (SD = 4.58)，SFwC
では 99.0 % (SD = 1.34) であった．これらの成功率は，例えば PFoS について類似タスクを実施した
先行研究 [10, 13] と同程度の高さであり，提案イン
タフェースのプロトタイプは４つの入力を十分な精度で取得可能であるといえる．
図 4 に，力の印加位置が 1 通りであった PFwC
タスク以外の 3 タスクにおける印加位置や方向ごとの入力成功率を示す．PFoS の結果（図 4(a)）に関して，スクリーンの右側エリア 3, 6, 9 ではエラーが比較的多く見られたことがわかる．これは，タッチ-4-TetraForce: スマートフォンの表裏両面に対する垂直・剪断方向の力を入力可能な磁気式インタフェース

エリアに応じた推定圧力値の違いが影響したと考えられる．すなわち，2.2 節に述べたように，当該エリアでは取得される圧力の推定値が特に小さく（表2(a)），これを補正するためのゲインが大きく設定されている影響で，ユーザの意図しないバーの動きがあり操作が難しくなったと考えられる．
SFoS の結果（図 4(b)）に関して，画面左側への入力（方向 6, 7, 8，平均 99.5 %）に比べて画面右側への入力（方向 2, 3, 4，平均 89.6 %）の入力成功率が低くなった．SFwC の結果（4(c)）では，ス
マートフォンを横向きに把持した状態での下方向への入力（方向 6, 7, 8）でのみエラーが見られた．これらの印加方向による成功率の差異は，運動学的に，それらの方向への入力が右手では難しかったからではないかと考えられる（剪断力の入力しやすい方向を調べた研究は我々の知る限り無い）．これについては参加者を増やすことや左利きのユーザにもテストしてもらうことで，明らかにできる可能性がある．

4

ハードウェアの改良

パンタグラフ構造は，2 つの枠状のパーツとそれらを支える上面・下面の板から成り立っており，2 つの枠状パーツが交差することによりパネル部全体が沈み込むように可動する（図 5(d)）．パネル部の適度な押圧力による沈み込みを実現するため，押しバネ
1 つが上面・下面の板の間を支えている．また，このパンタグラフ構造自体とケース部との間には，図5(c) に示すような，平面バネを 2 つ埋め込んだ長方形の板を挿入することで，剪断方向の可動を実現させた．平面バネはそれぞれの渦の回転方向を互い違いにすることで，可動域のバランスをとった．平面バネそれぞれの中央をケース部に，平面バネ以外の周辺部をパンタグラフの下面に接着した．なお，入力可能な力の最大値に関して，パフォーマンススタ
ディでは必要な力が大きすぎるというコメントが複数得られたことから，本実装では押圧力では約 7.7
N，剪断力では約 7.5 N を最大とした．
このデバイスを用いて，2.2 節で述べたものと同様の方法で PFoS 入力における入力位置ごとの推定値の分布を測定した．表 2(b) はその分布表である．
提案インタフェースでの分布である表 2(a) と比較す
ると，全体として分布の偏りに改善が見られた．特に，元のプロトタイプでは入力を検出できなかった
画面右側と画面下側では，ゲインの設定は未だに必要ではあるものの，検出が可能となったと言える．

5

アプリケーション例

本章では，TetraForce の利点や応用場面について議論を促したワークショップ（N=12）の結果 [14]をもとに筆者らが実装したアプリケーション例を，
ワークショップ参加者が述べた使用上の利点とともに紹介する．なお，図 6 に，各アプリケーションの画面例と，表 3 に入力のマッピング例を示す．

1 人称視点シューティング（FPS）ゲーム 実装例を
図 6（a）に示す．PFoS の入力を連射アクションに図 5. 改良版のプロトタイプ実装の概観

実装したプロトタイプの大きな制限である，画面右または下のエリアで押圧力をほとんど検出できない点を解消するため，図 5 に示すように，パネル部の不均一な沈み込みを発生しにくくする新たなプロトタイプを試作した．この実装は，パネル部のサイズや用いた磁石は元のプロトタイプと同様である（図5(a)）が，ケース部とパネル部の間に，キーボード等の機構を参考にした，パンタグラフ構造の 3D プ
リントパーツを新たに搭載している（図 5(b)）．押圧力によるたわみを防ぐため，ケース部以外のパーツには基本素材として Onyx(マイクロ炭素繊維充填ナイロン) を使用した上，パネル部とパンタグラフ
構造および平面バネには強化素材として Fiberglassを使用して，FDM 方式の 3D プリンタで印刷した．

-5-

割り当てることで，タップでの武器の発射アクショ
ンとのシームレスな切り替えが可能となる．PFwCには，ボイスチャット開始操作のジェスチャを割り当てることで，ゲームのコンテキストに関わらず操作を実行できる．また，前進や後退等の移動操作は従来，画面上のジョイスティック UI のドラッグにより実現することが多かったが，この操作に SFoS を割り当てることで，ユーザは UI の位置を視認する必要なく，力覚フィードバックから移動速度を調節できる．加えて，必要に応じて PFwC での操作によって画面を指で遮蔽しない視点操作が可能となる．
動画プレイヤ 実装例を図 6（b）に示す．PFoS や
PFwC をジェスチャ入力に割り当てることで，動画のコンテンツを UI や指で遮蔽することなく操作を完了できる．SFoS での音量調節はボタンでの操作に

WISS 2022

図 6. アプリケーションの実装例
表 3. 各アプリケーションでの入力と操作のマッピング例

Web ブラウザ

3D モデルビューワ

PFoS
PFwC

武器の連射
ボイスチャットを開始

FPS ゲーム

お気に入り登録
再生・一時停止

動画プレイヤブックマークスクリーンショット撮影

SFoS

アバターを移動

音量調整 (上下)スクロール (上下)SFwC

視点操作 (ロール軸)

早送り・巻き戻し (左右)

タブ切替 (左右)縮小
拡大
カメラの回転(パン，チルト)
モデルの回転(ヨー，ピッチ方向)

比べて入力位置によらない操作によって実現できる
ほか，直感的に連続量の調節が可能である．SFwC
によって，指で画面を遮蔽せずに早送りや巻き戻しの操作が可能となる．

Web ブラウザ 実装例を図 6（c）に示す．PFoS や
PFwC をジェスチャ入力に割り当てることでスク
リーンスペースを削減できる．SFoS をスクロール
操作に割り当てることで，従来のフリック入力よりも操作回数の少ない操作が可能になる．また，タブの切替は，従来 2 タップ以上を要するが，SFwC に割り当てることで 1 回の操作による発動が可能になる．

3D モデルビューワ 実装例を図 6（d）に示す．画面に対する奥行き方向の移動（縮小・拡大）操作をそれぞれ PFoS と PFwC に，剪断方向の移動操作
を PFoS に，モデルの回転操作を SFwC にそれぞれ割り当てることで従来は操作モードの切り替えが必要であった複数の操作をシームレスに使用できる．

6

制限と今後の展望

実験の結果から，本インタフェースを用いて 4 種類の入力を実用的な精度で実現できることが明らかになったが，実験で試行した条件以外にも，スマー
トフォンの機種やサイズ，使用する際の向き，把持
姿勢，利き手など，様々な変数が考えられ，今後調査する必要がある．また，加えた力がどの程度正確に認識されているかといった厳密な意味での性能評
価はしておらず，これも今後の課題である．加えて，
本プロトタイプの厚み（磁石を除き 14 mm）は市販-6-の多くのスマートフォンケースよりも厚く，ユーザ
ビリティに影響する可能性がある．今後はケースの薄型化と合わせてその影響を調査する必要がある．
別の観点として，地磁気（ユーザの物理的な位置）の影響が挙げられる．予備的なテストでは，磁気センサのキャリブレーション後に約 500 m 移動したと
ころ，それによる地磁気の影響は無視できる程度であったが，より大きな移動では問題になる可能性があり，さらなる調査やキャリブレーションの簡素化が必要である．加えて，スマートフォンが強く揺れる場面（例： ポケットの中にある場合や電車内での使用中）や磁性体オブジェクト（例：指輪などの金属製品やイヤホンなどの電化製品）の接近による誤作動の有無やその回避方法についても調べる必要がある．また，本プロトタイプで用いたスマートフォ
ン (Google Pixel 2) 以外で用いる場合，磁石の位置の変更が必要になる可能性がある．このため，今後はユーザ自身が磁石をスライドさせながら適切な設置位置を見つけられるようなキャリブレーション
ソフトウェアを開発したい．
また，先行研究 [9] でも指摘されているように，磁石を付加するインタフェースは，地図アプリの方
位磁針といった磁気センサの値を用いる他のアプリ
ケーションの挙動に影響を与えるため，同時に利用できないという制約がある．加えて，磁気を活用する製品への影響も存在する．磁石を使った一般的なアクセサリ (例：MagSafe アクセサリ) と同様に，磁気カードや無線給電機器への干渉に注意して使用する必要がある．これらの影響を調べることも今後の課題である．

TetraForce: スマートフォンの表裏両面に対する垂直・剪断方向の力を入力可能な磁気式インタフェース

7

謝辞[9] S. Hwang, M. Ahn, and K.-y. Wohn. MagGetz:
customizable passive tangible controllers on andaround conventional mobile devices. In Proceedings of the 26th Annual ACM Symposium
on User Interface Software and Technology, pp.
411–416, 2013.

本研究は JSPS 科研費 21H03473 の助成を受けたものである．

参考文献[10] S. Hwang, A. Bianchi, and K.-y. Wohn. VibPress: estimating pressure input using vibration
absorption on mobile devices. In Proceedingsof the 15th international conference on Humancomputer interaction with mobile devices andservices, pp. 31–34, 2013.
[11] T. Miyaki and J. Rekimoto. GraspZoom: zooming and scrolling control model for single-handed
mobile interaction. In Proceedings of the 11th
International Conference on Human-Computer
Interaction with Mobile Devices and Services,
pp. 1–4, 2009.

[1] T. Abe, B. Shizuki, and J. Tanaka. Input techniques to the surface around a smartphone usinga magnet attached on a stylus. In Proceedingsof the 2016 CHI Conference Extended Abstracts
on Human Factors in Computing Systems, pp.
2395–2402, 2016.
[2] L. Besançon, M. Ammi, and T. Isenberg.
Pressure-based gain factor control for mobile
3D interaction using locally-coupled devices. In
Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, pp. 1831–
1842, 2017.

[12] K. Suzuki, R. Sakamoto, D. Sakamoto, andT. Ono. Pressure-sensitive zooming-out interfaces for one-handed mobile interaction. In Proceedings of the 20th International Conference on
Human-Computer Interaction with Mobile Devices and Services, pp. 1–8, 2018.

[3] C. Corsten. Use the force: how force touch improves input on handheld touchscreens. PhD
thesis, RWTH Aachen University, 2020.
[4] C. Corsten, B. Daehlmann, S. Voelker, andJ. Borchers. BackXPress: Using back-of-device
ﬁnger pressure to augment touchscreen input on
smartphones. In Proceedings of the 2017 CHI
Conference on Human Factors in Computing
Systems, pp. 4654–4666, 2017.

[13] R. Takada, T. Ando, B. Shizuki, and S. Takahashi. BaroTouch: A Technique for Touch Force
Sensing Using a Waterproof Device’s Built-in
Barometer. Journal of Information Processing,
27:106–115, 2019.
[14] T. Tsuchida, K. Fujita, K. Ikematsu, S. Sarcar,
K. Takashima, and Y. Kitamura. TetraForce:
A Magnetic-Based Interface Enabling Pressure Force and Shear Force Input Applied to
Front and Back of a Smartphone. Proceedingsof the ACM on Human-Computer Interaction,
6(ISS):185–206, Nov. 2022.

[5] C. Harrison and S. Hudson. Using shear as asupplemental two-dimensional input channel forrich touchscreen interaction. In Proceedings of
the SIGCHI Conference on Human Factors in
Computing Systems, pp. 3149–3152, 2012.
[6] S. Heo and G. Lee. Force gestures: augmenting touch screen gestures with normal and tangential forces. In Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology, pp. 621–626, 2011.

[15] R. Xiao, G. Laput, and C. Harrison. Expanding
the input expressivity of smartwatches with mechanical pan, twist, tilt and click. In Proceedingsof the SIGCHI Conference on Human Factors in
Computing Systems, pp. 193–196, 2014.

[7] S. Heo and G. Lee. ForceDrag: using pressure
as a touch input modiﬁer. In Proceedings ofthe 24th Australian Computer-Human Interaction Conference, pp. 204–207, 2012.

[16] W. Yamada, H. Manabe, and D. Ikeda. CamTrackPoint: Camera-based pointing stick usingtransmitted light through ﬁnger. In Proceedingsof the 31st Annual ACM Symposium on User
Interface Software and Technology, pp. 313–320,
2018.
[17] S. Zhai. User performance in relation to 3D
input device design. ACM Siggraph Computer
Graphics, 32(4):50–54, 1998.

[8] M. Huang, K. Fujita, K. Takashima,
T. Tsuchida, H. Manabe, and Y. Kitamura.
Shearsheet: Low-cost shear force
input with elastic feedback for augmenting
touch interaction. In Proceedings of the 2019
ACM International Conference on Interactive
Surfaces and Spaces, pp. 77–87, 2019.

-7-

WISS 2022

スマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装
日下部 完 ∗

坂本

大介 ∗

小野

哲雄 ∗

概要. スマートフォンが普及して久しいが，依然として指でタッチスクリーンを操作する際に生じる操作上の困難であるファットフィンガー問題や片手操作が困難という問題が存在している．これらの問題を扱う研究は多く，特にスマートフォン上での操作性の向上だけでなく外部デバイスを活用したインタラクション
領域の拡張に取り組む研究も多い．本稿では，現在スマートフォンのアクセサリとして人気のあるスマホリングに着目し，スマートフォンのインタラクション領域の拡張を目的としたスマートフォン背面のジェス
チャ認識を実現するスマホリング型のデバイスを提案する．我々はまず，ユーザ定義型ジェスチャのアプローチで 20 人の参加者へ聞き取り調査を行いスマホリングの最適なジェスチャを設計した．その後，機械学習モデルを使用し，設計したジェスチャを分類する 2 つの分類器を実装し，参加者を集めてジェスチャ
データの収集を行った．集めたデータで学習と分類試験を行ったところ，日常動作とジェスチャ入力の分類では 99.1%，ジェスチャの種類の分類では 92.7%の精度が確認された．

1

はじめに

スマートフォンをはじめとするモバイル端末は多くの便利な機能をユーザに提供する一方で，これらの端末の主な操作方法であるタッチスクリーンへの直接的なインタラクションはファットフィンガー問題（Fat ﬁnger problem）など操作上の問題を抱えている．この問題を解決するために，外部デバイスを用いてモバイル端末のインタラクション領域を拡張する研究が多く行われてきている [5]．特にスマート
フォンのカバー型のデバイスはスマートフォンのア
クセサリとして設置できるため，ユーザの体に新たなデバイスを装着するコスト無しに，スマートフォンのインタラクションを豊かにするという利点が存在する [7]．
本研究ではスマートフォンのカバー以外のアクセ
サリとして人気のあるスマホリングに着目し，スマホリング型の外部デバイスによるスマートフォンのインタラクション領域を拡張手法を提案する（図 1）．
本デバイスの特徴は，圧力センサを用いてスマホリ
ングを使用している指の動作を感知する．我々のア
イデアは，このスマホリング周囲の指の動きを定義するジェスチャを設計し，これによりスマホリング型のジェスチャインタフェースを実現する．本稿では，以下の 2 つを行う．1）ユーザ定義型ジェスチャのアプローチによりスマートフォンの各種操作を対象としたスマホリング向けの最適なジェスチャを設計する．2）ジェスチャを認識するスマホリング型
デバイスを実装する．ジェスチャの認識を行うため，
我々は機械学習のモデルである畳み込みニューラル
ネットワーク（CNN）を使用して 2 つの分類器を作
∗

北海道大学

-8-

使用方法

標準状態

ホーム画面へ

図 1. 本研究で開発したデバイスの概要．スマホリング
型のデバイスに人差し指でダブルタップのジェス
チャ入力をすることで，地図アプリからホーム画面へと移動している様子.

成する．一つはスマホリングでジェスチャを行っているのか，日常的な操作を行っているのかを判定する分類器であり，もう一つは前述の分類器でジェスチャであると判定された場合に，実際にどのジェス
チャが行われたのかを分類するものである．以上を実現するため，我々は 2 つの調査を行った．一つめの調査では 20 名の参加者へ，ユーザ定義型ジェス
チャのアプローチに基づく調査を行い，24 種類のス
マホリングのジェスチャを設計した．その後，設計したジェスチャを認識するためのプロトタイプを開発し，続く 2 つめの調査では，10 名の参加者から
24 種のジェスチャを入力しているデータを収集した．このデータを著者らが収集した日常動作のデー
タと合わせて分類器に学習させた．その結果，日常動作とジェスチャ入力中の分類では 99.1%，24 種類のジェスチャの分類では 92.7%の精度が確認された．本稿では以上について報告する．

WISS 2022

2
2.1

関連研究

ための分類器を開発することで，新しいジェスチャ
入力手法を提案する．

スマートフォンのインタラクション領域の拡張

スマートフォンは動画の視聴，通話，SNS の使用など，多くの機能をユーザに提供する携帯性の高いデバイスである．スマートフォンの操作は，主に画面を指で直接触ることで行うが，スマートフォンの様な画面の小さな端末のタッチスクリーンの操作
は，ファットフィンガー問題など操作上の問題を抱えている．この問題の解決に向けてスマートフォンのインタラクション領域の拡張することを目指した研究が行われてきており，その 1 つに外部デバイス
によるインタラクション領域の拡張がある [5]．この手法では多様なセンサを使用できるため，豊かなイ
ンタラクションを提供できる一方で，ユーザの体に新たなデバイスを装着するコストが生じる．スマー
トフォンに装着することを前提とした周辺アクセサ
リ型のデバイスは，このコストを解消する手法であり，今日までにスマートフォンケース型のデバイスの研究等が行われてきている [7][14]．Yadav らは，複数のスマホリング型インターフェースをプロトタ
イプし，それらの比較調査を行った [13]．本稿では，
ユーザ定義型ジェスチャのアプローチによってジェスチャの定義を行い，機械学習を用いたプロトタイ
プの開発と応用事例の提案を行う．

2.2

ジェスチャ入力によるインタラクション手法

ジェスチャとは，特定のポーズや動きによる非言語的なコニュニケーション手法の 1 つである．ジェ
スチャ入力によるインタラクションは，キーボードやマウスなどの一般的な入力手法と比較し，記憶性，学習性，さらに特定の条件下ではパフォーマンスも優れると言われている [1]．HCI の分野では非常に多くの領域でジェスチャ入力によるインタラクションの研究が行われている．これまでにジェスチャ入力を実現するための認識技術に関する基礎研究が多く行われてきており，特にどのようなセンサを使用す
るのかについての研究が多く行われてきている．音
声を入力するマイクロフォンを用いた手法では，ドップラー効果を用いた手法や [3]，物体の表面を擦った際に生じる音響信号の解析によるジェスチャ認識手法が提案されてきている [4]．カメラを用いた手法
では RGB 値のみを使用する手法のほか [10]，さらにロバストなジェスチャ認識を行うことを目的とした深度カメラや近接カメラ [9] を用いた手法が提案されている．その他にも，電界や磁界の干渉を利用したジェスチャ認識や [5]，加速度や慣性計測ユニット（IMU）を用いた軌道の解析によるジェスチャ認識 [12]，圧力センサを用いた力の状態の解析によるジェスチャ認識 [2] などが提案されてきている．本研
究では圧力センサを用いてスマホリングでのユーザの指の動作を感知し，それをジェスチャとして扱う

-9-

2.3

ユーザ定義型ジェスチャ

ユーザ定義型ジェスチャとは Wobbrock らが提案したジェスチャ設計手法であり，複数名のユーザが提案したジェスチャから，最も多く提案されたジェスチャを選択する [11]．これによって設計されたジェ
スチャは専門家が設計するよりも学習性，記憶性に優れていると言われている [6]．ユーザ定義型ジェス
チャはこれまでに，テーブルトップインタフェース[11] やスマートフォン [8]，靴下型デバイスなど [2]，
多岐にわたるデバイスで調査が行われている．本稿
では，スマホリング型デバイスのプロトタイプで扱う最適なジェスチャを設計するため，スマホリングのユーザ定義型ジェスチャセットの調査を実施する．

3

ユーザ定義型ジェスチャのアプローチによるスマホリングのジェスチャ設計

本研究においては Ruiz らが使用した 23 種類のタ
スクに対して，スマホリング型インタフェースによるジェスチャの設計を行う（図 2）．ただし，我々は従来手法でのタスクに含まれる “Act on Selection”という名前のタスクは複数要素の操作が内在すると考え，このタスクを選択肢の移動のタスクと決定のタスクに細分化した．これを含めて全 23 種類のタスクを使用する．

3.1

ジェスチャ案の収集手順

本調査に先立って事前に 300 名のスマホリング使用者を対象にしたクラウドソーシングによる調査を実施した．その結果，多くの人々が人差し指もしくは中指をリングに通してスマホリングを使用すること，利き手とは反対の手でスマホリングを操作していることが明らかとなった．これらの結果を使用し，本調査の詳細を決定した．
先行研究の方針と同様に [8]，23 種類のタスクを
6 つのシーンに割り当て，各シーンごとに，割り当てられたタスクを表示し，参加者へジェスチャの提案を促した．ジェスチャ案は，スマホリングに中指を通した場合と人差し指を通した場合でそれぞれ収集した．参加者には市販のスマホリングが貼られた
スマートフォンを渡し，調査中はいつでもスマホリ
ングを触りながらジェスチャを発案した．この時，我々は参加者にスマホリングから指を抜かないジェ
スチャを設計することを説明した．

3.2 参加者と収集したデータ数
19 歳から 24 歳（平均 20.95 歳）までの 20 名の参加者が調査に参加した．3 名がスマホリング経験者，5 名が女性，全員が情報系を専攻していない大学生であった．13 名が利き手ではない方の手でスマスマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装

続され，マイクロコンピュータはプロトタイプから
100Hz 周期で信号を取得し，ホストコンピュータへと送信する．ホストコンピュータは送信された信号を，1.5 秒間ごとのフレームに切り分け，各種分類を行う．開発したデバイスは Google Pixel 3a の背面に設置し，データ収集と解析には GALLERIAXL7C-R36 11800H（Intel Core i7-11800H CPU
with 16 GB memory）を用いた．

ホリングを操作しながらジェスチャを設計した．参加者には 1,500 円の謝礼が支払われた．1 人の参加者につき 23 個のタスクを 2 種類の指の通し方でそれぞれジェスチャを収集し，20 名の参加者から合計960 個のジェスチャが収集された．

3.3

ジェスチャ選択

参加者から収集したジェスチャ案をコーディング
し，人差し指と中指を通した場合でそれぞれ，各タ
スクごとに提案されたジェスチャを集計した．各タ
スクで集計されたジェスチャの中で最も多く提案されたジェスチャをユーザ定義型ジェスチャとして選択した．この時，複数のタスクに同じジェスチャが割り当てられる競合状態が発生した．我々は，発生した競合状態を，スマートフォンを操作する特定のシーンで，競合したタスクのいずれも使用する可能性がある場合に限り，競合状態を解消した．競合状態の解消は，先行研究と同じく [11]，集計値が小さい，つまり参加者によって該当のジェスチャが提案された数が小さいタスクのジェスチャを，2 番目に多く提案されたジェスチャに再度割り当てることで行った．最終的に選択されたジェスチャ一覧を図 2に示す．リングに中指を通した場合の最終的なユー
ザ定義型ジェスチャセットは 12 種類のジェスチャで構成され，人差し指をリングに通した場合でも同様に 12 種類のジェスチャで構成された．

44.2

図 4 にデバイスで感知するセンサ値とその後の前処理と分類の流れを示す．圧力センサからの値は
まず，正規化と濃淡画像化の前処理が行われる．生
データの正規化は，各センサが取得した値ごとに，各値をそのセンサが取得した最大値で除算することで実装した．その後，正規化したデータを 40×30 の大きさの濃淡画像に変換する．
上記の前処理が行われたデータについて 2 つの分類器によってジェスチャ分類を行う．1 つ目の分類器
では日常動作の分類を行う．具体的にはデバイスから得られたデータがジェスチャを入力している動作
なのか，日常動作なのかの 2 値分類を行う．この分類器でジェスチャ入力と分類されたデータは，2 つ目の分類器で 24 種類のラベル（12 種類のジェスチャ× 2 種類の指の通し方）に分類される．2 つの分類
器には，Python の Tensorﬂow ライブラリの Keras
を用いて，どちらも同様の層構造を持つ CNN を実装した（図 5）．

ジェスチャ分類器の実装設計したジェスチャを認識するスマホリング型デバイスのプロトタイプを実装する．スマホリングでの指の動作は圧力センサで取得し，機械学習を用いてジェスチャの分類を行う．我々は参加者からデータを収集し，交差検証によってプロトタイプの評価
を行った．

4.1

ジェスチャ分類手法

5

ジェスチャ分類精度の調査開発したスマホリング型デバイスによるジェス
チャ入力インタフェースの，ジェスチャ分類精度の確認のための調査を行う．

ハードウェア構造

図 3 に我々が作成したスマホリング型デバイスのプロトタイプの外観と内部構造を示す．プロトタイ
プは 8 つの圧力センサ（Interlink Electronics，FSR402），天然ゴムシート，アクリル板（3mm），市販のスマホリングで構成されている．圧力センサはス
マホリングのプレート部の両面（表と裏）の四隅に設置され，スマホリングはアクリル板で作成した箱の中に設置する．箱はスマホリングのリング部だけが突出する構造となっている．ハードウェア構造の特徴としては，圧力センサが設置されたスマホリン
グのプレートとアクリル板の間にクッション性のある天然ゴムのシートを挟んでいることである．これ
により微細な指の動作の感知を試みる．
スマホリングデバイスの各圧力センサの信号はデバイス外部で 1k Ωの炭素皮膜抵抗を経由しマイ
クロコンピュータ（Arduino Nano BLE 33）へ接

5.1

調査手順

ジェスチャデータの収集は研究室で実施された．
参加者は椅子に座り，設計された 24 種類のジェス
チャ（12 種類のジェスチャ × 2 種類の指の通し方）について各ジェスチャにつき 10 回，全て右手で操作を行った．我々はジェスチャ入力中のデータとして，合計で 2400 個のデータを収集した．
スマホリングに指を通したスマートフォンの日常
動作のデータには，スマホリングに中指を通した場
合と人差し指を通した場合の 2 つの場合でそれぞれ，
スマートフォン画面のタップ，スワイプ，何もしな
いの 3 つの操作をしている最中のデータを収集した．
右利きの著者 1 名が，右手で各条件につき 400 回の入力を行うことで，合計 2400 個の日常動作のデータを収集した．

- 10 -WISS 2022

ズームイン

ズームアウト

0: 奥に力を加える 1: 手前に力を加える

応答

切断

0: 奥に力を加える

地図操作
右へ移動
左へ移動

2: 右に力を加える

電話操作

3: 左に力を加える

上へ移動

下へ移動

4: 上に力を加える

5: 下に力を加える

縦スクロール上の画面へ 下の画面へ

4: 上に力を加える

無視

発信

0: 奥に力を加える

1: 手前に力を加える

0: 奥に力を加える

右左

アイテム選択上10: 中指で奥に
スワイプ

下

決定

2: 右に力を加える

3: 左に力を加える

4: 上に力を加える

11: 中指で手前にスワイプ

6: 手前にタップ

ズームアウト

5: 下に力を加える 7: 手前にダブルタップ

地図操作
右へ移動
左へ移動

上へ移動

12: 奥に力を加える 13: 手前に力を加える 14: 右に力を加える 15: 左に力を加える

応答

切断

電話操作

無視

発信

音声検索

7: 手前にダブルタップ

横スクロール
左へ移動
右へ移動

8: 親指で奥にスワイプ(a) 人差し指を通した場合のユーザ定義型ジェスチャセット
ズームイン

5: 下に力を加える

システム操作
次のアプリへ 前のアプリへ ホーム画面へ

下へ移動

9: 親指で手前にスワイプ

縦スクロール上の画面へ 下の画面へ

16: 上に力を加える 17: 下に力を加える 16: 上に力を加える 17: 下に力を加える

システム操作
次のアプリへ 前のアプリへ ホーム画面へ

音声検索

12: 奥に力を加える 12: 奥に力を加える 15: 左に力を加える 12: 奥に力を加える 20: 人差し指で奥に 21: 人差し指で手前に 18: 手前にタップ 19: 手前にダブルタップ
スワイプ
スワイプ

右

左

アイテム選択上横スクロール
左へ移動
右へ移動

決定

下

14: 右に力を加える 15: 左に力を加える 16: 上に力を加える 17: 下に力を加える 19: 手前にダブルタップ

22: 人差し指で左にスワイプ(b) 中指を通した場合のユーザ定義型ジェスチャセット

23: 人差し指で右にスワイプ

スマホリング

図 2. ユーザ定義型ジェスチャのアプローチで設計された 24 個のジェスチャ．人差し指と中指によるジェスチャは別のものとして扱っている．各イラストの上部がタスク名，下部がジェスチャ名である．

プロトタイプの外観

アクリル板
ゴムシート
圧力センサ

生データ
日常動作と
ジェスチャ動作の分類

プロトタイプの内部構造

正規化

ジェスチャ分類

図 4. 信号処理と分類の流れ

図 3. 開発するスマホリングデバイスの外観と構造- 11 -

濃淡画像化(40x30)出力 (1x24 or 1x2)

ドロップアウト (0.5)

全結合 (24 or 2) / Softmax

平滑化

全結合 (256) / ReLU

ドロップアウト (0.4)

ドロップアウト (0.4)

畳み込み (3x3,16) / ReLU

最大プーリング (2x3)

畳み込み (3x3,16) / ReLU

最大プーリング (2x2)

畳み込み (3x3,16) / ReLU

畳み込み (3x3,32) / ReLU

入力 (40x30)

スマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装

表 2. ジェスチャの種類を分類する分類器の全体の精度，
人差し指をリングに通した場合の精度，中指をリングに通した場合の精度．

交差検証
参加者間学習参加者内学習図 5. CNN の層構造

平均精度

人差し指

中指

0.387
0.927

0.300
0.918

0.447
0.936

表 1. 日常生活とジェスチャ入力を分類する分類器の
精度．

分類ラベル
日常動作
ジェスチャ入力

精度

再現率

0.986
0.996

0.996
0.985

F1 スコア
0.991
0.991

5.2 参加者
21 歳から 33 歳（平均 24.1 歳）の 10 名の参加者が無償で実験に協力した．参加者全員が右利き，1
名が女性，全員が情報系を専攻している大学生もしくは大学院生であった．

5.3

結果：日常動作の分類

図 6. ジェスチャの種類を分類する分類器の参加者内学
習時の各ラベルの精度．ラベル 0 から 11 は人差
し指，12 から 23 は中指をリングに通したジェス
チャ．

日常動作とジェスチャ入力を切り分ける分類器には，日常動作の 2400 個のデータ，調査の参加者から収集したジェスチャ入力中の 2400 個のデータの合計 4800 個のデータを使用した．このデータに対して 10-fold 交差検証を行った結果，99.1%の精度が検出された．それぞれのラベルの精度の詳細を表 1
に示す．

5.4

結果：ジェスチャの分類

ジェスチャの種類の分類を行う分類器には，参加者から収集した 2400 個のデータを参加者間学習と参加者内学習の 2 種類のデータの分割方法による交差検証を行った．表 2 にそれぞれの交差検証の精度の結果を示す．参加者間学習では，38.7%と低い精度であった一方で，参加者内学習では 92.7%と 9 割を超える精度が確認された．また，リングに人差し指を通したジェスチャより中指を通したジェスチャの方が高い精度が検出された．参加者内学習時の分類器の混同行列を図 6，各ラベルの精度の詳細を表 3に示す．図 6 と表 3 のラベルの 0 から 23 の番号は，
図 2 のジェスチャの各番号と互いに対応しており，
0 から 11 はリングに人差し指を通したジェスチャ，12 から 23 が中指を通したジェスチャである．どちらの分類器も，1 つのデータを受け取り，前処理の後，予測結果が出力されるまでの所要時間は，12.6
ミリ秒であった．

6

利用例

ジェスチャ入力インターフェースは，スマホリングの機能をそのままインタラクティブシステムにしたということに特徴がある．例えば，ユーザが目的地へと向かうため，スマートフォン上で地図アプリを操作する場合，我々が提案したデバイスを使用することで，スマートフォンの操作で必要だったピンチ
インやピンチアウトなどの複雑なジェスチャ入力無しに，片手で簡単な操作が可能となる．他にも，スマートフォン上でのカメラアプリの操作では，上記と同様に撮影で必要な操作を片手で行えることに加え，画面上からのカメラレンズが投影した景色の視認の妨げとなる撮影ボタンなどのインターフェース
をスクリーン上から排斥することができ，ユーザはより理想的な写真を撮影することができるようなイ
ンタフェースを実現できる．このような屋外での利(a) 野外で地図アプリを使用

スマホリングはスマートフォンの落下防止などの目的で使用され，本稿で提案したスマホリング型の(b) 室内で通知を削除

図 7. アプリケーションの利用例．

- 12 -WISS 2022

表 3. 参加者内学習時の分類器の分類精度．ラベル 0 から 11 は人差し指，12 から 23 は中指をリングに通したジェスチャ．

ラベル

精度

再現率

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

0.971
0.960
0.957
0.926
0.886
0.965
0.918
0.931
0.891
0.863
0.865
0.888
0.961
0.980
0.970
0.911
0.960
0.941
0.875
0.882
0.932
0.969
0.949
0.907

0.990
0.950
0.900
0.870
0.930
0.820
0.900
0.950
0.900
0.880
0.830
0.950
0.980
0.990
0.960
0.920
0.950
0.960
0.910
0.900
0.960
0.930
0.930
0.980

F1 スコア
0.980
0.955
0.928
0.897
0.907
0.886
0.909
0.941
0.896
0.871
0.847
0.918
0.970
0.985
0.965
0.915
0.955
0.950
0.892
0.891
0.946
0.949
0.939
0.942

用時は，傘を差す場合や買い物袋を持っている場合など，片手が使用できない場合に特に効果的である．
提案手法は屋外での利用だけでなく，室内でのス
マートフォン操作時にも有効であると考える．例えば，ユーザが自宅のソファやベッドなどの上で寝そべりながらスマートフォンを頭上に掲げ，SNS やイ
ンターネットサイトを閲覧している場合（図 7（b）），
従来のタッチインタラクションでは，ユーザは手元が不安定になり，スマートフォンを顔面などに落下させる危険性がある．この様な場合でも，我々が提案したデバイスに指を通してスマートフォンを操作することで，上記の様な落下を防止しながら快適にス
マートフォンを操作できるだろう．他にも，スマートフォンの画面上部は指が届きにくいが，このような領域に表示される通知バナーなどへのショートカッ
トとしても使うことができるだろう．

7

議論と今後の課題

本稿では，スマホリング型のジェスチャ入力イン
タフェースを提案した．本稿で行った調査では，各分類器の分類精度は全て 9 割を超えた．しかし，本調査では安定した環境下で収集したデータのみを使用しており，実際にユーザがスマートフォンを使用すると想定される，提案デバイスへの干渉が大きいと予想される環境下での調査が必要である．乗り物の乗車中や歩行中などがこの環境として考えられ，これらの様なスマホリング型デバイスへのノイズが多いことが予想される環境での調査が行われるべきである．同様に，本稿で実施した日常動作とジェス
チャ入力の分類は，ジェスチャ入力のデータには 10名の参加者，日常動作には別の 1 名のデータを学習データに使用し高精度の分類を確認した．しかし，ジェスチャの種類の分類で参加者間学習の精度が低かったことから，データには個人差が生じることが推察され，同一の参加者から収集したデータによる調査が行われるべきである．
本稿で開発したプロトタイプは，デバイス単体では機能せず，多くの計算処理を外部のコンピュータで行った．この構成は本研究のコンセプトを検討するという本稿の目的を達成するには十分であったが，実際に使用するには，これら全てをスマホリング内に収める必要がある．そのためには，電源供給の問
題やスマートフォンやマイコンなどの計算能力が比較的小さな計算機でもリアルタイムにジェスチャを分類するためのシステムを検討する必要がある．また，本研究で実施した調査では，ユーザが右手でジェ
スチャの入力をしたデータのみを解析の対象とした．
しかし，スマートフォンは左右どちらの手でも使用されるため，左右どちらの手でこのデバイスを使用した場合でも，高い精度でジェスチャの分類が行われる必要がある．本実験では，リングに通した指の違いによって，一見似たようなジェスチャでも 9 割を超える精度で分類が行われ，これらの間で特徴に差が生じたことが推察される．同様にして，デバイスを使用する手の違いによってデバイスが取得する信号の特徴に差が出ることが予測される．そのため，左右の手で使用したデータの解析と検討が必要だろう．

8

結論

本稿では，ジェスチャ入力を実現するスマホリン
グ型のインタフェースの提案と実装を行った．まず，スマートフォンの操作を目的としたスマホリング向けのジェスチャをユーザ定義型ジェスチャのアプローチで設計した．その後，実際にデバイスを開発し，あわせて日常動作の分類と，ジェスチャの種類を分類する 2 つの分類器を CNN による機械学習技術により開発した．参加者を集めて実際にデータを収集する調査を行い，そのデータを用いてそれぞれの分類器で学習させた．その結果，日常生活の分類精度
は 99.1%，ジェスチャの種類の分類精度は 92.7%で
あった．

参考文献

- 13 -

スマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装

York, NY, USA, 2022. Association for Computing Machinery.
[13] A. Yadav, A. K. Eady, S. Nabil, and
A. Girouard. JoyHolder: Tangible Back-ofDevice Mobile Interactions. In Proceedingsof the 2019 ACM International Conference on
Interactive Surfaces and Spaces, ISS ’19, p.
343–346, New York, NY, USA, 2019. Association for Computing Machinery.
[14] W. Yamada, H. Manabe, and D. Ikeda. CamTrackPoint: Camera-Based Pointing Stick Using Transmitted Light through Finger. In Proceedings of the 31st Annual ACM Symposium on
User Interface Software and Technology, UIST
’18, p. 313–320, New York, NY, USA, 2018. Association for Computing Machinery.

[1] C. Appert and S. Zhai. Using Strokes as Command Shortcuts: Cognitive Beneﬁts and Toolkit
Support. In In Proc. CHI ’09, p. 2289–2298,
New York, NY, USA, 2009. Association for
Computing Machinery.
[2] K. Fukahori, D. Sakamoto, and T. Igarashi.
Exploring Subtle Foot Plantar-Based Gestureswith Sock-Placed Pressure Sensors. In In Proc.
CHI ’15, p. 3019–3028, New York, NY, USA,2015. Association for Computing Machinery.
[3] S. Gupta, D. Morris, S. Patel, and D. Tan.
SoundWave: Using the Doppler Eﬀect to Sense
Gestures. In In Proc. CHI ’12, CHI ’12, p.
1911–1914, New York, NY, USA, 2012. Association for Computing Machinery.
[4] C. Harrison and S. E. Hudson. Scratch Input:
Creating Large, Inexpensive, Unpowered andMobile Finger Input Surfaces. In In Proc. UIST
’08, p. 205–208, New York, NY, USA, 2008. Association for Computing Machinery.
[5] C. Harrison and S. E. Hudson. Abracadabra:
Wireless, High-Precision, and Unpowered Finger Input for Very Small Mobile Devices. In
In Proc. UIST ’09, p. 121–124, New York, NY,
USA, 2009. Association for Computing Machinery.
[6] M. A. Nacenta, Y. Kamber, Y. Qiang, and P. O.
Kristensson. Memorability of Pre-Designed andUser-Deﬁned Gesture Sets. In In Proc. CHI ’13,
p. 1099–1108, New York, NY, USA, 2013. Association for Computing Machinery.
[7] C. Rendl, D. Kim, P. Parzer, S. Fanello,
M. Zirkl, G. Scheipl, M. Haller, and S. Izadi.
FlexCase: Enhancing Mobile Interaction with a
Flexible Sensing and Display Cover. In In Proc.
CHI ’16, p. 5138–5150, New York, NY, USA,2016. Association for Computing Machinery.
[8] J. Ruiz, Y. Li, and E. Lank. User-Deﬁned Motion Gestures for Mobile Interaction. In In Proc.
CHI ’11, p. 197–206, New York, NY, USA, 2011.
Association for Computing Machinery.
[9] A. D. Wilson. PlayAnywhere: A Compact Interactive Tabletop Projection-Vision System. In
In Proc. UIST ’05, p. 83–92, New York, NY,
USA, 2005. Association for Computing Machinery.
[10] A. D. Wilson. Robust Computer Vision-Based
Detection of Pinching for One and Two-Handed
Gesture Input. In In Proc. UIST ’06, p.
255–258, New York, NY, USA, 2006. Association for Computing Machinery.
[11] J. O. Wobbrock, M. R. Morris, and A. D. Wilson. User-Deﬁned Gestures for Surface Computing. In Proc. CHI ’09, p. 1083–1092, New
York, NY, USA, 2009. Association for Computing Machinery.
[12] X. Xu, J. Gong, C. Brum, L. Liang, B. Suh,
S. K. Gupta, Y. Agarwal, L. Lindsey, R. Kang,
B. Shahsavari, T. Nguyen, H. Nieto, S. E. Hudson, C. Maalouf, J. S. Mousavi, and G. Laput. Enabling Hand Gesture Customization on
Wrist-Worn Devices. In In Proc. CHI ’22, New- 14 -WISS 2022

ReﬂecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定
張 翔∗

池松 香 †

加藤 邦拓 ‡

杉浦 裕太 ∗

概要. ユーザがスマートフォンをどのように把持しているかを検出することで，持ち方に応じて画面表示
や操作ボタンの位置を自動的に切り替えるなど，ユーザインターフェースを最適化することができる．本研
究では，スマートフォンのフロントカメラで撮影された顔写真を使用し，ユーザの角膜に反射したスマート
フォンの画面の反射像を機械学習で分類することで，把持姿勢を推定する手法である ReﬂecTouch を提案する．スマートフォンの画面は光を発するため，顔の正面方向でスマートフォンを持つと画面の反射像が角膜に映る．画面上の指を置いている部分は影となるため，その部分の角膜反射像は欠ける．その際，ス
マートフォンの持ち方によって像の欠け方が異なるため，把持姿勢の推定が可能になると考えた．本稿では，ReﬂecTouch の識別精度を検証する実験を行い，その結果や制約について議論するとともに，本手法を利用したアプリケーションを報告する．

1

はじめに

ユーザがスマートフォンがどのように把持しているか（把持姿勢）はスマートフォンの操作において重要な要素の 1 つである．先行研究 [6, 22] では，片手持ちか両手持ちか，操作する手の角度，操作に使用する指の数などの把持姿勢がスマートフォンの操作性や効率に影響を与えることを指摘しており，ユー
ザがどのようにスマートフォンを操作しているのかを推定することでスマートフォンの利便性の向上が可能となる．例えば，ユーザはスマートフォンを片手で持ち，親指で操作することが多いが [5, 11]，メ
ニューボタンなどが画面上で親指から最も遠い角の付近に配置されてしまうことがある．また，把持姿
勢に応じてソフトウェアキーボードのタップの仕方が異なる [2] ことが明らかにされている．これらに対し把持姿勢を推定することで，画面上のボタンやキーボードをユーザがタップしやすい位置に配置したり，サイズを変更したりすることが可能になる．
∗

慶應義塾大学
ヤフー株式会社‡
東京工科大学†把持姿勢を推定する手法として，静電容量センサなどのセンサを外付けする手法や [4, 25]，ジャイロ
センサなどのスマートフォンに内蔵されたセンサを使用する手法 [7, 19] が提案されている．しかしこれらの手法ではセンサを外付けする必要があり実用化
しにくいことや，推定モデルがデバイスに依存すること，推定できる把持姿勢が把持手のみなどの 3–4
種類に限られるといった，いずれかの課題があった．
本研究では，スマートフォンの内蔵フロントカメ
ラを使用してユーザの顔写真を撮影することで，図 1（右）に示す 6 つの把持姿勢を推定する手法を提案する．スマートフォンの画面は光を発するため，顔の正面方向でスマートフォンを持つと画面の反射像がユーザの角膜に映るが，画面上の指を置いている部
分は影となるため該当箇所の角膜反射像は欠け，その欠け方は把持姿勢に応じて変化する．このことを利用し，フロントカメラで撮影した顔写真から瞳の部分を切り取り，畳み込みニューラルネットワーク（CNN）を用いた機械学習モデルに瞳の領域の画像を入力することで，把持姿勢の識別を行う．13 名の実験参加者を対象にして本提案手法の精度を検証す

図 1. 把持姿勢推定の処理概要および本稿で扱う 6 種類の把持姿勢．

- 15 -WISS 2022

る実験を行った結果，85%の精度で識別が可能であることを確認した．なお，本稿は EC 2021 [28] とACM CHI 2022 [27] での発表内容に議論を加筆したものである．

2
2.1

関連研究
把持姿勢の推定手法

スマートフォンの把持姿勢を推定する方法として，スマートフォンに追加のセンサやハードウェアを取り付ける方法や，内蔵されたセンサのデータを利用する方法が提案されている．センサを外付けす
るアプローチでは，小型かつ軽量な静電容量センサを用いた手法が多い [4, 13, 21, 25]．また，スマー
トフォンに取り付けたスピーカとマイクを利用する
手法 [18] や，スマートフォンのフロントカメラにプ
リズムミラーを取り付けることでステレオビジョンを実現し，奥行き情報を推定することで把持姿勢を推定する手法 [26] が提案されている．
スマートフォンの内蔵センサを利用した手法として，加速度センサやジャイロセンサといった端末の動きを計測できるセンサを利用した研究が提案されている．Goel ら [7] は内蔵バイブレータで端末を振動させ，その際の振動の特徴を加速度センサで計測することで把持姿勢を推定する手法を提案した．また，Park と Ogawa [19] は加速度センサとジャイロセンサからの情報をサポートベクタマシン（SVM）に入力することで把持姿勢を推定する手法を提案したした．Avery ら [1] はスマートフォンのロックを解除するためのパスワード入力時の端末の動きを測定することで，把持姿勢を推定する手法を開発した．
また，提案手法と同様に内蔵フロントカメラを使用して把持姿勢の推定を行った研究としては，フロン
トカメラからユーザの体のシルエットを検出し，スマートフォンとユーザの体の相対的な傾きを計測することで把持姿勢を推定する研究 [15] がある．
これらの研究では，推定可能な情報が把持手（両手・右手・左手）に限定されていたり [7, 15]，特定のタイミング（画面ロック解除時など）でしか利用できない [1] といった制約がある．提案手法は，タッ
チ操作に使用する指と把持手の検出を，顔写真が取得可能な任意のタイミングで行なうことができる上，追加のセンサやハードウェアを必要としないという利点がある．

2.2

角膜反射像の撮影と利用

角膜反射像を撮影し，コンピュータとのインタラ
クションに利用する研究が行われている．Schneider
ら [20] はユーザの正面に置かれたミラーレス一眼カ
メラを使って角膜に写ったユーザの手を撮影することでスマートフォンの周辺領域での操作を可能にする研究を行った．

また，角膜反射像を利用して視線を推定する研究も行われている [17, 23]．スマートフォンのフロン
トカメラを使って角膜反射像を撮影した研究として
は，スマートフォンのフロントカメラで角膜反射像を撮影し，瞳の中で角膜反射像がどの位置にあるかを測定することで視線推定を行う研究がある [9]．また，角膜反射像ではないが，ユーザの着用している
サングラスに反射したスマートフォンの画面とユー
ザの手をフロントカメラで撮影することでスマートフォンのインタラクションに用いる研究 [8] がある．

3

角膜反射像を利用した把持姿勢の推定

スマートフォンを操作する際，スマートフォンの画
面は光を発しているため，ユーザの角膜にはスマー
トフォンの画面の形をした角膜反射像が映る．その際に，ユーザが指を置いている部分は図 1 に示すよ
うに影となり欠ける．反射像の欠け方は持ち手や操作している指などの把持姿勢によって異なるため，
角膜反射像から把持姿勢を推定することが可能であると考えた．
図 1 に提案手法の処理の流れを示す．ユーザが画面をタップしたタイミングで，内蔵フロントカメラを使用してユーザの顔写真を取得する．次に，取得した画像からスマートフォンの画面の角膜反射像が写っている部分をクロップし，その画像を CNN モ
デルに入力することで把持姿勢の推定を行う．推定結果を利用することで把持姿勢に応じて画面表示などを最適化させることが可能となる．
一般に，スマートフォンをタッチ操作する際に，
図 1（右）のいずれかに分類される把持姿勢となる場合が多いことが知られている [6]．そのため，本研究ではこの 6 種類の把持姿勢を対象として把持姿勢の推定を行う．
本手法は，追加のセンサを必要とせずに 6 種類の把持姿勢を推定することができる上，多くのスマー
トフォンでは画面上部の位置にフロントカメラがあるため，機種の違いによる影響が小さいというメリッ
トがある．

4

実装

提案手法の実現可能性を検証するため，各把持姿
勢にてスマートフォンのフロントカメラからユーザの顔写真を収集するための iPhone アプリを実装し，アプリを用いて収集した画像を使って CNN を利用した学習モデルの実装と把持姿勢の推定を行った．

4.1

顔写真の収集

顔写真を収集するために，それぞれの把持姿勢
でスマートフォンを持った際の顔写真を撮影する
iPhone アプリを開発した．本アプリケーションでは各把持姿勢につき 12 枚，合計 72 枚を内蔵のフロン- 16 -

ReﬂecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定

図 3. 前処理の流れ．

4.3
図 2. 顔写真収集用のアプリケーションの流れ．

トカメラを利用して撮影する．アプリケーションを起動すると，実験についての注意事項（図 2（1））が表示された後，それぞれの把持姿勢でスマートフォンを持つように指示する画面が表示される（図 2（2））．その後，撮影画面（図 2（3））が表示される．
撮影画面上には緑色の矩形領域（ターゲット）が表示され，領域内をタップした際に写真が撮影される．
6 種類全ての把持姿勢でのタップタスクが完了するとアプリケーションは終了する．なお，顔写真を撮影する際には画面が白くフラッシュするが，複数の画面輝度での顔写真収集を行なうため，ひとつの把持姿勢につき画面輝度が 100%，85%，70%の状態
でそれぞれ 4 枚づつ撮影される．

4.2

前処理後の画像を用いて CNN モデルの学習を行った．モデルの実装は Python と Keras を用いた．両目（二枚）の角膜反射像は 80 × 80 にリサイズされた上で，それらを重ねて 80 × 80 × 2 の三次元テンソルとして CNN モデルに入力した．CNN モデ
ルのレイヤ図は付録の図 5 の通りである．

5

収集された顔写真に対して，CNN モデルの学習と識別に利用するための前処理を行った．ここでは，
図 3 に示すように顔写真から瞳をクロップし，画像の輝度やコントラストの調整，データオーグメン
テーションを行った．
まず，撮影された顔写真について，顔写真から瞳が写っている領域・瞳が写っている領域から角膜反射像がの領域まで Google の MediaPipe および
OpenCV を用いて二段階でクロップした．なお，瞳から角膜反射像をクロップする際には，角膜反射像の大きさは瞳の領域の 5–20%の大きさであると想定
し，角膜反射像である推定された領域がこの範囲外だった場合にはエラーとしてデータセットから取り除いた．その後，クロップした画像の明るさをデー
タセット全体で揃えた上で，スマートフォンの像で指の影となっている部分を強調するためにコントラストを上げた．次に，学習データとテストデータに3:1 の割合で分けた後，学習用データに対してデー
タの量を増やすためにデータオーグメンテーションを実施した．入力画像の角度や大きさの僅かな違いに対して CNN モデルが影響されないように元画像の角度やサイズをランダムに変化させた画像を生成
して学習用データに追加した．

- 17 -

データ収集実験

提案手法の実現可能性を検証するためデータ収集
実験を行った．実験には 13 名の実験参加者が参加
し，平均年齢は 35.1 歳（標準偏差は 17.2 歳）であった．なお，性別については女性が 5 名，男性が 8 名，
利き手については右利きが 10 名，左利きが 1 名，両利きが 2 名，瞳の色については黒色が 10 名，黒茶色が 1 名，茶色が 2 名であった．

5.1

画像の前処理モデルの学習

実験手順

参加者は 4.1 節のアプリケーションを使用して，それぞれの把持姿勢で画面上のターゲットをタップするタスクを実施した．なお，実験中はメガネやコンタクトレンズおよびマスクは外すように指示をした．収集する画像の画素数を揃えるために 12Mpxのフロントカメラが搭載されている iPhone 11 および iPhone 12 系の端末を使用した．また，他の光源による影響を避けるため実験は室内かつモニターなどが付近に無い環境で行うように指示した．本実験
では合計で 13 名 × 6 把持姿勢 × 12 枚 = 936 枚の画像を収集した.
収集した画像に対して 4.2 節で述べた前処理を行い，エラー画像を除いた結果 81%の画像が残った．
その後，前処理がされた画像を使って 4.3 節で述べたモデルの学習およびその精度の評価を行った．なお，データセットを学習用データとテストデータに分割する際には，それぞれの参加者のデータが両方のデータに含まれるように分割する方法（以下，全ユーザ学習）と，Leave-one-subject-out 交差検証を行う方法（以下，他ユーザ学習）の 2 種類の方法で行った．いずれの場合でも学習用データとテスト
データの割合は 3:1 とした．

WISS 20226

表 1. 全ユーザ学習，6 姿勢での個別の識別結果．

両手横持ち
両手縦持ち
左手親指
左手人差し指右手親指
右手人差し指

適合率

再現率

100%
82%
88%
85%
81%
82%

98%
86%
73%
88%
84%
87%

F1 値
99%
84%
80%
87%
82%
84%

転移学習を用いた把持姿勢推定

他ユーザ学習の精度は 41%と低く実用的ではな
いため，全ユーザ学習のモデルの利用が望ましい．
しかし，提案手法の実利用を検討した際，事前準備（データ収集）がユーザの負担となる可能性がある．
前節で述べた全ユーザ学習の場合，提案手法の利用の前に 72 枚の写真を取得し，学習モデルを作る必要がある． 5 節のデータ収集実験の一名あたりの所
要時間は 6 分ほどであり，これと同程度の時間を要すると予想される．
そこで，機械学習の一つの手法である転移学習を利用することで，より少ない写真数で全ユーザ学習と同程度の識別精度を実現できないかを検討した．

6.1

図 4. 全ユーザー学習での 6 姿勢の識別結果の混合行列．

5.2

結果と考察

データセットの分割方法ごとの識別精度について，
他ユーザ学習は 41%，全ユーザ学習は 85%であった．
また，全ユーザ学習での把持姿勢ごとの識別精度を
表 1 と図 4 に示す．
図 4 から，右手親指と右手人差し指，左手親指と左手人差し指の把持姿勢が混同されやすいことがわかる．提案手法では，スマートフォンの画面の角膜
反射像のうち指に隠れている部分を特徴として把持姿勢推定を行っているが，人差し指と親指のどちらの指で操作するかについては角膜反射像での指の部分の欠け方に大きな影響を及ぼさないため，混同をしてしまったと考えられる．
データの分割方法に着目した際，他ユーザ学習は
全ユーザ学習と比べて精度が大幅に低下した．これは，スマートフォンを持つ位置や撮影する環境などに加え，ユーザごとのスマートフォンの使い方の違い，瞳の色や光の反射の仕方などの生物学的な個人差が影響したと予想される．
また，手の大きさや指の太さの個人差も親指と人差し指を混同や他ユーザ学習における精度低下の原因の 1 つとなりうる．

実験手順

この実験は前節で収集した画像を利用した．実験の流れを図 6 に示す．まず，13 名のデータの中から 12 名分の参加者のデータを使って前章と同様の学習モデル（1）を作成する．次に学習モデルの作成に用いなかった 1 名のデータを使って転移学習を行い新しい学習モデル（2）を作成する．転移学習
では 12 名のデータを使って作成された学習モデル（1）をベースにして，一部のレイヤをリセットした
上で残りの 1 名のデータを用いて再学習を行った．
なお，その他の層についてはパラメータを固定し，再学習を行わないようにした．画像枚数に応じたモ
デル精度の変化を調べるため，転移学習に使用した
画像の枚数を把持姿勢ごとに 1 枚から 7 枚まで 1 枚ずつ増やしつつ，各枚数条件でモデルを作成し精度を検証した．上述の処理を，転移学習に使用する参加者のデータを入れ替えて 13 名分行い，識別精度の平均値を計算して最終的な結果とした．

- 18 -

6.2

結果と考察

識別結果を図 7 に示す．把持姿勢あたりの再学習に使用した画像数に着目すると，把持姿勢ごとの画像数が 1 枚から 4 枚までの間は識別精度が 20%上がったのに対して，4 枚から 7 枚までの間の識別精度の向上は 4%のみとなった．また，画像数が多くなると精度が全ユーザ検証での精度に近づく．
この転移学習の手法を利用する場合，把持姿勢ごとに 4 枚の画像を用いると 76%の精度を得ることができる．全ユーザ学習の精度より 9%低く，実利用を考えると十分な精度とは言い難いものの，撮影する顔写真の枚数は全ユーザ学習の 1/3 となるため，導入のための所要時間は 2 分程度に短縮できる．また，転移学習の場合，すでに学習されたモデルが用意されていれば 1 人分のデータを学習するだけであるので，計算コストが低くなり，モデルの学習に必要な処理時間も短くなる．

ReﬂecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定

図 5. CNN モデルのレイヤ図．

図 6. 転移学習を用いた把持姿勢推定の実験の概要．

図 7. 転移学習の結果．

7

応用例

把持姿勢を推定することで，画面上の表示コンテンツや操作ボタンの位置をユーザの把持姿勢に合わせて自動で変更するユーザインタフェースを実現できる．一般に，画面上の操作しやすい領域はユーザの把持姿勢によって異なり [24]，特に，画面サイズの大きいスマートフォンではボタンなどの位置がア
プリの使いやすさに与える影響は大きいと考えられる．例えば図 8（1）は，ユーザが両手を使ってス
マートフォンを操作している際，荷物を持つため一方の手がふさがり，片手での操作に切り替わった場
合の例である．把持姿勢の切り替わりを検出することで，GUI を片手で操作しやすい位置に自動で再配置することができる．
図 8（2）は GUI の自動再配置をソフトウェアキー
ボードに適用した例である．スマートフォンを両手持ちから片手持ちに切り替えた際に，キーボードを
画面片側に寄せることでキーを入力しやすくしている．この他に，両手持ちの場合には QWERTY 配列のキーボードを使用し，片手持ちに切り替わったことが検知された場合には，フリック入力のキーボー
ドに切り替えるなどの応用が可能である．
また先行研究 [3] によると，スマートフォンの長時間の利用によって手指に痛みや痺れが生じるなど

図 8. 把持姿勢推定を用いた応用例．

の影響がある．そのため，ユーザの把持姿勢を記録
し，長時間同じ姿勢での操作が続いた際に，通知を表示し持ち方変えるよう促すことで，これらの疾患を予防できると期待される（図 8（3））．
さらに角膜反射像を使った本手法の将来的な応用
例として，手のひらや指の関節で画面をタップした
際に画面が手に覆われる面積が大きくなることの利用が考えられる．先行研究 [14, 10, 12] でも提案されているタップした手の部位に応じたインタラクショ
ンや HandSee [26] で提案されているような画面上の空中でのジェスチャを識別することができると期
待される．

8
8.1

議論
バッテリーの消費とプライバシーの保護提案手法では，把持姿勢の推定のたびにスマート
フォンのフロントカメラによる撮影を自動で行うた- 19 -WISS 2022

め，バッテリーを多く消費してしまう上，プライバ
シーに対する懸念が生じる．把持姿勢の推定回数を減らすことで，これらの課題に対処できると考える．
具体的には，スマートフォンのロックを解除した際や，アプリを起動した際，キーボードを表示した際など，把持姿勢が変わりやすいタイミングでの推定や，端末の角度が大きく変化したタイミングでの推定を検討している．また，現状の実装では，把持姿
勢推定時に撮影した顔写真をサーバにアップロード
し，サーバ上で角膜反射像部分をクロップと把持姿勢の推定している．個人識別のリスクを減らすため，
これらの処理をスマートフォン内で完結させるなどの改善を検討する必要がある．

8.2

複数の手法を組み合わせた把持姿勢推定

より高い精度で把持姿勢の推定を行うためには，複数の推定手法を組み合わせることが有効であると考えられる．例えば 5.2 節で述べたように，提案手法では親指操作（図 1b,c）と人差し指操作（図 1e,f）の識別が混同されやすいという結果が得られた．
（図b,c）および（図 e,f）はいずれも指の向きは同一であるが，スマートフォンの把持手が異なる．
そのため，把持手の検出を高精度に行える手法（例
えば，HandyTrak [15] など）と組み合わせることで，この課題を解決できる可能性があると考えられる．HandyTrak の手法は，推定できる把持姿勢が 3
種類のみであるものの，スマートフォンの持ち手を高精度で推定可能であり，かつ単一のセンサ（カメラ）のみを使用するため，提案手法と併用すること
で把持姿勢の識別精度の改善が可能だと考えられる．
一方，本手法や HandyTrak [15] など，フロント
カメラを使用した識別手法の場合，太陽光など強い光の当たる環境や，明かりがなく極端に暗い環境な
どでは，顔や体を適切に撮影することが困難になる．
こうした場合には，環境光の影響を受けないジャイ
ロセンサや加速度センサを使った手法 [1, 7, 16] や，
タッチセンサを使った手法 [7, 16] などを利用することが有効になる．ユーザを取り巻く環境やユーザの姿勢を推定し，これらの手法を適切に切り替える
ことで，様々な状況下における高精度での把持姿勢の推定が可能となる．

8.3

メガネ・コンタクトレンズ着用の影響

5 節では，メガネやコンタクトレンズによるスマー
トフォンの画面の光や環境光の反射を考慮し，実験参加者にそれらを外すよう指示した上で実験を行った．本節では実際にメガネ・コンタクトレンズの着用が，提案手法の推定精度に及ぼす影響について検証を行った．実験はメガネを装着した参加者 9 名，
およびコンタクトレンズを装着した参加者 6 名に対して，5 節と同様の流れで実施した．なお，この本
実験で使用したアプリは 4.1 節のアプリを改良し，- 20 -

図 9. （左）裸眼の場合，（右）メガネ（ブルーライトカットのレンズ）を装着した場合の例．

タップ入力ごとにターゲットの位置をランダムに変更する，撮影画面のカメラの映像を非表示するなどの変更を加えたものを使用した．実験結果は，メガネを装着していた場合の識別精度が 24%，コンタク
トレンズを装着していた場合の識別精度が 64%となった．実験条件が異なるため 5 節の結果と単純比較はできないが，裸眼の場合と比べて精度が低くなる傾向が見られた．特にメガネを装着していた場合，角膜反射像を検出できた画像は全体の 18%（5 節では 81%）となり，検出率が著しく低下した．図 9 に示す通り裸眼の場合に比べて環境光やスマートフォ
ンの画面の光がメガネに反射してしまい，瞳に映る反射像が認識しづらくなっていることがわかる．以上より，特にメガネを装着したユーザに対しては，提案手法による把持姿勢の推定が困難であることがわかった．ユーザがメガネを装着している場合には，
8.2 節のように，他の把持姿勢推定手法と組み合わせることが解決策の 1 つとなりうる．

8.4 瞳の色の影響
5 節の実験の参加者は日本人と中国人であり，瞳の色は黒色・黒茶色・茶色のいずれかであった．瞳の色がより明るいユーザの場合，角膜反射像と瞳の他の領域のコントラストが低下し，推定精度が低下する可能性がある．そこで，明るい瞳の色をもつユー
ザを対象にした提案手法の初期的な検証としてライトグレーの瞳の色の実験参加者（フランス人）を対象に，8.3 節と同様のアプリを用いてデータ収集実験を実施した．合計で 360 枚の画像（各把持姿勢につき 60 枚）を収集し，モデルの実装を行ったとこ
ろ，推定精度は 82%であり，明るい瞳の色を対象にした場合でも把持姿勢は識別可能であるといえる．
今後は他の瞳の色を含めた，より大人数での実験を行い，提案手法の適用可能性を調査する．

9

結論

本研究ではスマートフォンのフロントカメラで撮影された顔写真を使用し，スマートフォンの画面の角膜反射像を CNN で分類することで，6 つの把持姿勢を識別する ReﬂecTouch を提案した．13 名の実験参加者を対象にして提案手法の精度を検証する
実験を行い，85%の精度で識別できた．

ReﬂecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定

謝辞[9] M. X. Huang, J. Li, G. Ngai, and H. V. Leong.
ScreenGlint: Practical, In-situ Gaze Estimation
on Smartphones. In Proceedings of the 2017
CHI Conference on Human Factors in Computing Systems, pp. 2546–2557. Association for
Computing Machinery, New York, NY, USA,May 2017.
[10] Huawei. Knuckle screenshots, 2019.

本研究の一部は JST さきがけ（課題番号：JPMJPR2134）の助成を受けたものである．

参考文献[1] J. Avery, D. Vogel, E. Lank, D. Masson,and H. Rateau. Holding Patterns: Detecting Handedness with a Moving Smartphone at
Pickup. In Proceedings of the 31st Conference
on l’Interaction Homme-Machine, New York,NY, USA, 2019. Association for Computing Machinery.

[11] K. Ikematsu, H. Oshima, R. Eardley, and
I. Siio. Investigating How Smartphone Movement is Aﬀected by Lying Down Body Posture.
Proc. ACM Hum.-Comput. Interact., 4(ISS),nov 2020.
[12] K. Ikematsu and S. Yamanaka. ScraTouch:
Extending Interaction Technique Using Fingernail on Unmodiﬁed Capacitive Touch Surfaces.
Proc. ACM Interact. Mob. Wearable UbiquitousTechnol., 4(3), sep 2020.

[2] S. Azenkot and S. Zhai.
Touch behavior
with diﬀerent postures on soft smartphone keyboards. In Proceedings of the 14th international
conference on Human-computer interaction withmobile devices and services, MobileHCI ’12, pp.
251–260, New York, NY, USA, Sept. 2012. Association for Computing Machinery.

[13] K.-E. Kim, W. Chang, S.-J. Cho, J. Shim,
H. Lee, J. Park, Y. Lee, and S. Kim. Hand
Grip Pattern Recognition for Mobile User Interfaces. In Proceedings of the 18th Conferenceon Innovative Applications of Artiﬁcial Intelligence - Volume 2, p. 1789–1794. AAAI Press,
2006.
[14] H. V. Le, T. Kosch, P. Bader, S. Mayer, and
N. Henze. PalmTouch: Using the Palm As
an Additional Input Modality on Commodity
Smartphones. In Proceedings of the 2018 CHI
Conference on Human Factors in Computing
Systems, CHI ’18, 2018.
[15] H. Lim, D. Lin, J. Tweneboah, and C. Zhang.
HandyTrak: Recognizing the Holding Hand on a
Commodity Smartphone from Body Silhouette
Images. pp. 1210–1220. ACM, 10 2021.
[16] M. Löchtefeld, P. Schardt, A. Krüger, and
S. Boring. Detecting users handedness for ergonomic adaptation of mobile user interfaces.
In Proceedings of the 14th International Conference on Mobile and Ubiquitous Multimedia,
MUM ’15, pp. 245–249, New York, NY, USA,
Nov. 2015. Association for Computing Machinery.
[17] C. Nitschke, A. Nakazawa, and H. Takemura.
Corneal Imaging Revisited: An Overview ofCorneal Reﬂection Analysis and Applications.
IPSJ Transactions on Computer Vision and Applications, 5:1–18, 2013.
[18] M. Ono, B. Shizuki, and J. Tanaka. Touch &Activate: Adding Interactivity to Existing Objects Using Active Acoustic Sensing. In Proceedings of the 26th Annual ACM Symposium
on User Interface Software and Technology, p.
31–40, New York, NY, USA, 2013. Association
for Computing Machinery.
[19] C. Park and T. Ogawa. A Study on Grasp
Recognition Independent of Users’ Situations
Using Built-in Sensors of Smartphones. In Adjunct Proceedings of the 28th Annual ACM Symposium on User Interface Software and Technology, p. 69–70, New York, NY, USA, 2015. Association for Computing Machinery.

[3] S. Berolo, R. P. Wells, and B. C. Amick. Musculoskeletal Symptoms Among Mobile Handheld Device Ssers and Their Relationship to Device Use: A Preliminary Study in a Canadian
University Population. Applied Ergonomics,
42:371–378, Jan 2011.
[4] L.-P. Cheng, H.-S. Liang, C.-Y. Wu, and M. Y.
Chen. iGrasp: Grasp-Based Adaptive Keyboard for Mobile Devices. In Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems, p. 3037–3046, New York, NY,
USA, 2013. Association for Computing Machinery.
[5] R. Eardley, A. Roudaut, S. Gill, and S. J.
Thompson. Understanding Grip Shifts: How
Form Factors Impact Hand Movements on Mobile Phones. In Proceedings of the 2017 CHI
Conference on Human Factors in Computing
Systems, p. 4680–4691, New York, NY, USA,2017. Association for Computing Machinery.
[6] R. Eardley, A. Roudaut, S. Gill, and S. J.
Thompson.
Investigating How Smartphone
Movement is Aﬀected by Body Posture. In Proceedings of the 2018 CHI Conference on Human
Factors in Computing Systems, No. Paper 202
in CHI ’18, pp. 1–8, New York, NY, USA, Apr.
2018. Association for Computing Machinery.
[7] M. Goel, J. Wobbrock, and S. Patel. GripSense:
Using Built-in Sensors to Detect Hand Postureand Pressure on Commodity Mobile Phones. In
Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology, p. 545–554, New York, NY, USA, 2012. Association for Computing Machinery.
[8] J. Grubert, E. Ofek, M. Pahud, M. Kranz,
and D. Schmalstieg. GlassHands: Interaction
Around Unmodiﬁed Mobile Devices Using Sunglasses. In Proceedings of the 2016 ACM International Conference on Interactive Surfaces andSpaces, p. 215–224, New York, NY, USA, 2016.
Association for Computing Machinery.

- 21 -WISS 2022

[20] D. Schneider and J. Grubert. Towards AroundDevice Interaction Using Corneal Imaging. In
Proceedings of the 2017 ACM International
Conference on Interactive Surfaces and Spaces,
p. 287–293, New York, NY, USA, 2017. Association for Computing Machinery.
[21] R. Wimmer and S. Boring. HandSense: Discriminating Diﬀerent Ways of Grasping andHolding a Tangible User Interface. In Proceedings of the 3rd International Conference on
Tangible and Embedded Interaction, p. 359–362,
New York, NY, USA, 2009. Association for
Computing Machinery.
[22] J. O. Wobbrock, B. A. Myers, and H. H. Aung.
The performance of hand postures in front- andback-of-device interaction for mobile computing. Int. J. Hum.-Comput. Stud., 66(12):857–
875, Dec. 2008.
[23] D. H. Yoo, J. H. Kim, B. R. Lee, and M. J.
Chung. Non-contact Eye Gaze Tracking System
by Mapping of Corneal Reﬂections. pp. 101–
106. IEEE, 2002.
[24] H. Yoo, J. Yoon, and H. Ji. Index Finger Zone:
Study on Touchable Area Expandability Using
Thumb and Index Finger. In Proceedings ofthe 17th International Conference on HumanComputer Interaction with Mobile Devices andServices Adjunct, p. 803–810, New York, NY,

USA, 2015. Association for Computing Machinery.
[25] D. Yoon, K. Hinckley, H. Benko, F. Guimbretière, P. Irani, M. Pahud, and M. Gavriliu.
Sensing Tablet Grasp + Micro-Mobility for Active Reading. In Proceedings of the 28th Annual ACM Symposium on User Interface Software and Technology, p. 477–487, New York,NY, USA, 2015. Association for Computing Machinery.
[26] C. Yu, X. Wei, S. Vachher, Y. Qin, C. Liang,
Y. Weng, Y. Gu, and Y. Shi. HandSee: Enabling Full Hand Interaction on Smartphonewith Front Camera-Based Stereo Vision. In
Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, p. 1–13,
New York, NY, USA, 2019. Association for
Computing Machinery.
[27] X. Zhang, K. Ikematsu, K. Kato, and Y. Sugiura. ReﬂecTouch: Detecting Grasp Posture of
Smartphone Using Corneal Reﬂection Images.
In CHI Conference on Human Factors in Computing Systems, CHI ’22, New York, NY, USA,2022. Association for Computing Machinery.
[28] 張翔, 池松香, 加藤邦拓, 杉浦裕太. 角膜反射を利用したスマートフォンの把持姿勢推定. エンタテ
インメントコンピューティングシンポジウム論文集, pp. 58–61, 2021.

- 22 -

Crane：プロダクトの意匠性・可折性・可製造性を考慮した折紙の計算設計プラットフォーム
須藤 海 ∗†

野間 裕太 ∗

谷道 鼓太朗 †鳴海 紘也 ∗WISS 2022

舘 知宏 ∗

概要. 折紙は，Human-Computer Interaction (HCI) やデジタルファブリケーションなどの学術分野および建築やプロダクトデザインなどの産業分野で活用されつつある．しかし，専門的な知識を持たない人間が (1)プロダクトに求められる意匠・(2) 計算折紙に基づく可折性・(3) 最終的に製造するための厚み処理を同時に考慮して折紙プロダクトを設計するのは難しい．特に，内部頂点を持ち複数のヒンジが連動する折紙についてこれらの問題を考慮することは，専門家にとっても困難である．そこで本稿では，Rhinoceros/Grasshopper上に実装された折紙の設計プラットフォーム Crane を提案する．ユーザは（a）2D/3D の折りパターンを設
計し，（b）その変形をシミュレートし，逆に（c）ユーザの与える制約から新たなパターンを発見することができる．また（d）厚みのない理想的な折りパターンから，ユーザの製造方法に応じて適切なヒンジが付けられた厚みのある構造を出力できる．最後に，本システムの有効性を示すべく 3 つのデザイン事例を示す．

1

はじめに

折紙は機械的な構造を実現する技術として学術と産業の両面で利用されている．例えば，ミウラ折
り [19, 20] は人工衛星の太陽光パネル，吉村パター
ン [38] は飲料缶の耐久性向上，waterbomb pattern（ナマコ）は医療用ステント [16] などに応用されている．最近では，機械的メタマテリアル [5, 17] や自己折り・4D プリント [8, 2] にも折紙が利用されている．また，折紙の意匠を利用したランプシェード・
椅子 [13] や，Al Bahr Towers [3] に見られる切紙構造を用いた可動建築，ISSEY MIYAKE の SteamStretch [36] における複雑なプリーツなど，折紙が応用されるプロダクトも多岐にわたる．そのため，折紙のメカニズムを非専門家にも利用できるようにすることは重要な課題である．
しかし，計算により折紙プロダクトを設計・製造するためには，(1) プロダクトの適切な形状と機能を実現する「意匠性」（大きさ・水平・対称など），(2)
計算折紙の理論に基づく「可折性」（後述する可展性や平坦可折性など），(3) 最終的に現実世界で作るための「可製造性」（製造方法に応じた適切なヒンジ形状や自己交差しない材料の厚みなど）という 3つの要求を同時に考慮する必要がある．例えば，デザイナが意匠性だけを考えてプロダクトの形状を変更すると，可折性と可製造性は簡単に失われる．このように，適切な折紙プロダクトを作る際にはデザイン・計算折紙・ファブリケーションの知識が要求され，非専門家には敷居が高い．また，折紙の専門家にとっても異なる要求を同時に実現する形状を繰
り返し探索するのには多大な労力が必要となる．
∗
†

東京大学
Nature Architects 株式会社- 23 -

本稿では，デザイナが意匠性・可折性・可製造性を同時に考慮することのできる設計プラットフォー
ム Crane を提案する．本環境の核となるのは，デザイナがインタラクティブに形状を探索する中で自動的に要求を満たせるような制約付きの GUI システ
ムである．これにより，折紙の非専門家および専門家が折紙プロダクトをより簡単に実現することが可能となる．本稿では本システムの機能を示すとともに，有効性を示すデザイン事例（椅子・テーブル・
ランプシェード・マスク）を紹介する．なお，本内
容の詳細は ACM TOCHI で出版予定 [29] なので，適宜参照してほしい．

2
2.1

関連研究

HCI で用いられる折紙

折紙は，Human-Computer Interaction (HCI)
やデジタルファブリケーションの分野においていく
つかの目的に利用される．例えば，LaserOrigami はプラスチックの板を選択的に加熱することにより，3次元の折り曲げ形状を実現する [21]．Thermorph は
熱溶解積層（FDM）方式の 3D プリンタから出力される平面状のプラスチックを印刷後の加熱で意図的に歪めることにより，サポート剤を使わず高速に折紙形状を生成する 4D プリントと呼ばれる技術の 1種である [2]．Pop-up Print は 3D プリント構造物
をあらかじめ折り畳んだ状態で造形し造形後に展開することで，短い印刷時間・少ないサポート材・不必
要な際の収納性を達成する [22]．その他，折紙構造
はインタラクティブで動的な物体 [25, 26, 23, 24]，
簡単に作製できる 3 次元の電気回路 [37]，個人の要求に合わせてカスタム可能なハプティクス [4] などに利用されている．

WISS 2022

しかし，上記の事例に見られる折紙の多くは，内部頂点を持たない比較的単純なパターンか，既に存在する有名なパターンをそのまま利用したものに限られている．意匠性・可折性・可製造性を考慮した上で比較的複雑なパターンをユーザの要求に合わせて改変できるシステムが存在すれば，これらの研究で利用できる折紙の幅は大きく広がる．

2.2

3

Crane

3 つのフェーズ
図 1 に示すように，Crane のワークフローは 3 つ

3.1のフェーズに分類される：

1. 入力フェーズ (図 1a)

折紙設計ソフトウェア

折紙を設計するためのソフトウェアは過去にいく
つか提案されている．まず，折紙をパラメトリック
な順問題として設計する手法として，Constructive
なアプローチが存在する．例えば，ORI-REVO [18]は与えられた輪郭を軸を中心に捻ることで，回転対称な折紙構造を実現する．また，与えられた曲線や断面に沿う剛体折り可能な展開構造を実現する手法も存在する [32, 9]．しかし，これらの方法は形状に何らかの対称性を仮定するため，例えば与えられた
任意の 3D 形状を実現することはできない．

その一方で，最適化に基づく手法を用いることで，与えられた多面体に変形する折紙を逆問題として解くことが可能である．例えば Origamizer [31] は任意の多面体を 1 枚の紙から折ることのできるパターンを出力する．同様に，最適化計算により折紙の敷き詰め（テセレーション）を目標形状にフィッティ
ングすることで曲面を近似する手法がいくつか提案されている [30, 7, 39, 10]．

特に，Freeform Origami [30] を用いると，形状が平坦な紙から折れることを保証する制約などをかけた上で（つまり可展性などを保証した状態で），2D と 3D の両方の形状をインタラクティブに操作できる．しかし，Freeform Origami で扱う要求は可折性のみであり，プロダクトデザインにおいて重要となる意匠性と可製造性の要求に答えることは容易ではない．また，必要に応じてソフトウェアの機能を組み合わせて新しい制約を定義することができない．さらに，ソフトウェアが独立しているため，必要に応じて入出力をそのまま他のプラグインなどに接続することはできず，デザイナが使い慣れたソ
フトウェアを使い回すこともできない．

本研究では，上記の最適化と制約に基づくシス
テムをノードベースのビジュアルプログラミング環境である Grasshopper 上で実現した．これにより，ユーザは可折性だけでなく意匠性や可製造性に関する要求をノードの接続により実現することができ，必要に応じて新たな制約を自分で定義したり，Grasshopper で利用できる様々なプラグインに接続したりできる．なお，Grasshopper は Rhinocerosという 3D CAD の標準機能であり，プロダクトデ
ザイナや建築家に広く利用されている．

- 24 -

最初の折りパターンを入力する．本システムは(1)Rhinoceros で作成した 2D/3D のパターン，(2) 現実の折紙の画像認識，(3)FOLD フォーマッ
ト [6]，(4) 有名なテセレーション（ミウラ折りなど）のテンプレート，(5) 後述の Generalized
Ron Resch パターンを生成するための 3D メッシュなどを受けつける．
2. シミュレーション・形状探索フェーズ (図 1b)
入力されたパターンに基づき，システムは変形のシミュレーションまたは幾何的な制約に基づく新たな形状探索を行う．
3. ファブリケーションフェーズ (図 1c)
シミュレーションや形状探索が終わった後で，製造のためのデータを出力する．ユーザの使用するツール（レーザカッター，3D プリンタ，CNC 加工機）などに応じて適切なヒンジを付けた厚みのあるモデルを作る．
ユーザはこれら 3 つのフェーズを行き来して，インタラクティブに試行錯誤を行うことができる．個々のフェーズに関しては 4 章・5 章・6 章で解説する
が，次の節からは折紙の椅子をデザインするシナリ
オを考え，問題解決の手順を示す．

3.2

ターゲットユーザ

3.3

ユースケース：椅子のデザイン

本システムは，計算折紙の専門家に限らず折紙の知見を応用したいデザイナ・建築家・研究者などを対象とする．その一方で，Rhinoceros と Grasshopperの基本的な操作および本稿に登場するような計算折紙に関するツールの使い方の習得は前提とする．
図 1 に示す木製の椅子をデザインする場合を考える．今，ユーザは意匠性に関する複数の要求を持っている．例えば，折れた状態で座面は水平であってほしい．背もたれは快適な角度であってほしい．地面に接する全ての頂点は浮くことなく接地してほしい．ある辺同士は目標の折れ角で互いにぶつかって，それ以上変形が進まないようにしてほしい．椅子は左右対称であってほしい．
一方で，収納のため椅子は展開状態で完全に平坦になってほしい．これが可折性の要求に相当する．
また，意匠性と可折性の要求を満たしたとしても，ユーザは厚みがある板で作った際に板同士が自己交差しないようにしなければならない．また，使用するツールで作ることができるヒンジを選ぶ必要がある．これらが可製造性に相当する．

Crane：プロダクトの意匠性・可折性・可製造性を考慮した折紙の計算設計プラットフォーム

図 1. 設計ワークフロー：(a) 入力フェーズ，(b) シミュレーション・形状探索フェーズ，(c) ファブリケーションフェーズ．

また，ユーザはいくつかの意匠性に対する要求を制約（図 2 の Constraint Components）として与え，形状探索を行う．ここでは，意匠性に対応する
5 つの制約を与えたとする：

1. OnPlane Constraint : 座面の頂点を与えられた水平な平面に固定する

2. OnPlane Constraint : 下部の頂点を接地する
3. FixFoldAngle Constraint : 背もたれと座面に存在する辺のなす角度を一定の値に固定する

図 2. 椅子の設計に使用した Grasshopper の構造．

4. GlueVertices Constraint : 椅子の背面に存在す
る 2 つの辺がある折れ角で一致する（くっつく）

これら 3 種類の要求を同時に満たす Grasshopperの構成を図 2 に示す．

3.3.1

ように固定する

5. MirrorSymmetry Constraint : 鏡映対称にする

椅子 – 入力

ユーザはまず，手作業で実際の紙を折ることで大雑把に椅子のような動きをする折紙をデザインしたと仮定する．このとき，ユーザは図 3 に示すように，最終的な折パターンを赤（山折り）・青（谷折り）
・
緑（境界）で塗り分け，画像として Grasshopper に取り込む（図 2 の Input）．

図 3. 画像認識による入力：(a) 手作業で形状を試行錯誤し，(b) 折り目と境界に色を付け，(c) カメラで
撮影する．

3.3.2

同様に，可折性に相当する制約も接続する：

6. Developable Constraint: 与えられたパターンを可展（1 枚の平面から折れる状態）にする

図 4 に，上記 6 つ（5 種類）の制約を図解する．
これらの制約をソルバーに接続し，ソルバー上の「Solver: ON」というボタンをクリックすることでシステムは新たな形状を探索する．なお，このときユーザはある頂点をドラッグしたり，コンポーネン
トを追加・削除したりすることで，2D または 3D のモデルの形状をインタラクティブに変更することもできる．その際，システムは変形したモデルに対してリアルタイムで再計算を行い，制約を満たしながら変形を提示する．

3.3.3

椅子 – シミュレーションと形状探索

次に，ユーザは得られたパターンの変形をシミュ
レーションにより確認する．このとき，システムは[30] の手法で剛体折りに基づく変形シミュレーショ
ンを行う．Crane 上では，図 2 の Integrated Solverに表示されたソルバー上で「Push Button to Fold」
をクリックすることで変形を確認できる．

- 25 -

椅子 – ファブリケーション

シミュレーションと形状探索で適切な折りパターンを発見した後，ユーザは可製造性の要求を満たすためにコンポーネントを追加する．このとき，ユーザはCNC 加工機によって板を切り出すことを考えている
ため，ソルバーコンポーネントの後段にフィンガー
ジョイントのコンポーネントを接続し，使用する板材の厚みを入力する（図 2 の Fabrication）．システ
ムは自動的に 2D のパターンに厚み付けをして，自己交差が起きないような矩形のヒンジをつける（図WISS 2022

図 6. 2 つのオフセット曲面を充填するテセレーション．

図 4. 椅子の形状探索に使用した制約．

図 7. Generalized Ron Resch パターン．

ターンは多くの場合可展ではなくなっているため，1枚の平面から折る場合は追加で前述の Developable
Constraint を足す必要がある．

図 5. (a) 厚み付け前と (b) 厚み付け後の椅子．

4.3

Generalized Ron Resch パターン

Crane は入力として 3D メッシュも受け付ける．
システムは [34] の手法に基づき入力されたポリゴンの隙間に追加の折り目を挿入し，図 7 に示すようなGeneralized Ron Resch パターンを生成する．なお，この場合も可展性は保証されないため，多くの場合 Developable Constraint をつける必要がある．

5）．また，フィンガージョイントの場合，あらかじめシミュレーションした際の目標の角度で板同士がちょうど互いにぶつかり安定するようになっている．厚み付けがなされた状態でも，ユーザはシミュ
レーションを行い形状変形を確認することができる（図 5b）．
以降の章ではそれぞれのフェーズについて説明していくが，紙面の都合により代表例のみ解説する．

5
5.1

シミュレーションと形状探索
ソルバー

4

入力フェーズ

4.1

画像認識

椅子の事例で示したように現実の折紙からパターンを入力する場合，ユーザは撮影した画像を PNG
ファイルで Grasshopper に与える．システムは複数色の辺を区別した後，一定の距離 ε の範囲に集まる頂点を結合することで折りパターンを生成する．

4.2

テンプレートソルバーは，CGNR 法により制約式の最小二乗解を計算する．詳しい計算方法は [30] を参照してほしい．制約のベクトル関数 C : Rn !−→ Rm (ただし内部頂点数を V としたとき n = 3|V | で，m は制約の個数) が与えられたとき，ソルバーは方程式
C(X) = 0 ∈ Rm を解く．ここで C(X) の各行は個々の制約関数に対応する．なお，多くの場合得られる解 C(X) = 0 は単一ではなくある解空間を持ち，システムは解空間の中から直前の形状に最も近い 1 点を選ぶ．このため制約が不十分な条件でもシ
ステムはロバストに動作する．

5.2

ここでは 3 種類の入力について述べるが，それぞれの用途は 7 章にて例示する．

また，有名なテセレーションをテンプレートとして呼び出すこともできる．現状では，ミウラ折り [19]，吉村パターン [38]，チキンワイヤーパターン [19]，waterbomb pattern などに対応している．
さらに，テセレーションの基本形状に限らず，図 6に示すように 2 つのオフセットした NURBS 曲面の間を充填するようなテセレーションを自動生成する
こともできる（ここでは Fold Mapping [11] や [39]の手法を利用した）．なお，曲面の間を充填したパ- 26 -

Constraint Components

ここでは意匠性と可折性に対応する制約のコン
ポーネントについて説明する．現在 Crane には 14つ（6 種類）の Constraint Components（5 つのOnGeometry Constraints ，3 つの Symmetry Constraints ，3 つの GlueGeometry Constraints ，1 つの FixFoldAngle Constraint ，1 つの FlatFoldable
Constraint ，1 つの Develpable Constraint ）が存在するが，ここでは 2 種類だけを取り上げる．それ
ぞれのコンポーネントは制約関数 ci (X) を出力し，

Crane：プロダクトの意匠性・可折性・可製造性を考慮した折紙の計算設計プラットフォーム

システムはそれらを行とする C(X) = 0 を解く．

5.2.1 OnGeometry Constraints
OnGeometry Constraints はある頂点の位置を
目標形状の上に固定するものであり，以下の 5 つのコンポーネントが存在する：

1. OnPoint: ある頂点を点上に固定
2. OnPlane: ある頂点を平面上に固定
3. OnMesh: ある頂点をメッシュ上に固定
4. OnCurve: ある頂点を NURBS 曲線上に固定
5. OnSurface: ある頂点を NURBS 曲面上に固定

それぞれのコンポーネントは同じ考え方で実装される．制約を受ける頂点を x ∈ R3 としたとき，シ
ステムは目標形状の上に存在し x に最も近い頂点
x! ∈ R3 を計算する．このとき，制約関数 Congeo はCongeo (X) =

1

lave

(x − x! )と表される．なお，この関数は初期のパターンの辺長の平均 lave で割り，スケール非依存にしてある．

5.2.2

図 8. Crane で利用できるヒンジ：(a) オフセットヒ
ンジ，(b) フィンガージョイント，(c) テーパード
ヒンジ，(d)3D プリンタブルなシングルヒンジ，(e)3D プリンタブルなダブルヒンジ．

Developable Constraint

ある折紙「のような」立体形状が与えられたとしても，それが平面から折れる（可展）かどうかは自明ではない．可展性が満たされる条件は，任意の内部頂点について，頂点周りの角度の和が 2π になることである．各内部頂点とその周りの角度を v およはび θ0,v , . . . , θnv −1,v とすると，制約関数 cdevv

cdevv (X) = 2π −と表される．

6n!
v −1が実現できず，(c) は 180◦ の谷折りができない．(e)は山折りでも谷折りでも 180◦ 折りが可能だが，厳密にはヒンジが 1 本ではなくなっているため，元のパターンと同じように扱えるとは限らない [15]．

θi,v

i=0

デザイン事例

7.1

テーブル

Crane の使用法と有効性を示すため，テーブル・
ランプシェード・マスクのデザイン事例を示す．

ファブリケーション

図 8 に示すとおり，Crane は (a) オフセットヒン
ジ [33]，(b) フィンガージョイント [14]，(c) テー
パードヒンジ [33]，(d)3D プリンタブルなシングル
ヒンジ，および (e)3D プリンタブルなダブルヒンジの 5 種類のヒンジ形状を出力できる．
あるヒンジが常に最適ということはなく，それぞれに利点と欠点がある．まず，(a)(b) はレーザカッターおよび 2 軸の CNC 加工機で作製可能であるが，(c) は 3 軸加工機か 3D プリンタでしか作製できな
い．パネル造形後，(a)(b)(c) はパネルを布に貼り付けたりピアノ丁番で固定したりする後処理が必要になる．一方，(d)(e) は作製後の後処理が不要であるが，3D プリントでしか作れないため他の手法に比べて小さな構造物しか作製できない．その他，(e)を除く全てのヒンジは折れ角に制限がある．(a)(d)は 180◦ 折りができず，(b) は 90◦ より大きな谷折り

7図 9 に Crane で作製した折紙テーブルを示す．このテーブルは不必要なときには平面に折り畳める（平坦可折である）ため，収納に便利である（平面「から」折れるではないことに注意）．テーブルを設計するにあたり，我々はまず実際の紙で試作を行い，画像認識を行った．その後，以下の制約で実現される意匠性と可折性の要求を達成した：- 27 -

1. OnPlane Constraint : テーブルトップの頂点を与えられた水平面に固定する
2. OnPlane Constraint : 下部の頂点を接地する
3. FlatFoldable Constraint : 形状を平坦可折にする（紙面の都合上，平坦可折条件は解説しない）
4. MirrorSymmetry Constraint : 鏡映対称にする

WISS 2022

図 11. マスク：（左）入力したメッシュ，（中）自動生成されたパターン，（右）実物の写真．

図 9. 平坦可折なテーブル．

様に Developable Constraint を利用して 1 枚の紙から作製できるようにして，カッティングプロッタ
および手折りで作製した．

他のプラグインとの接続：EMARF

9

限界：非剛体折りパターン

10

結論

Crane は Grasshopper 上に実装されているため，
プロダクトデザインで有用なプラグインを利用できる．ここでは紙面の都合により 1 つだけ紹介する．
EMARF [35] は Grasshopper で入力したデータに基づいて木材パネルを切削するオンライン製造
サービスである．EMARF は Crane から入力した
3D モデルに対して CNC 加工機のツールパスを計算し，そのままデータ送信を行う．なお，本稿で示された椅子とテーブルは実際に EMARF を接続して発注・製造したものである．

図 10. ランプシェード：(a)2 つのオフセット曲面に充填した waterbomb pattern，(b)Rotational
Symmetry Constraint による回転対称なモデル，(c) 折紙の展開図，(d) 実物の写真．

ヒンジにはフィンガージョイントを選択し，木材は後述の EMARF [35] により切削し，それぞれのパネルを固定するためにピアノ丁番を使用した．

7.2

8

ランプシェード

図 10 に Crane で作製したランプシェードを示す．
入力として，２つのオフセット曲面の間に waterbomb pattern を充填した [39]（第 4.2 節参照）．制
約として，まずランプシェードを 1 枚の紙から折るために Developable Constraint をかけた．さらに，形状を回転対称にするために RotationalSymmetry
Constraint を課した（紙面の都合で説明は省く）．
その後，Grasshopper 上で曲面の UV 座標を捻ることによって最終的な形状を得た．製造の際には，まずカッティングプロッタで折り目の癖を付けた後，
約 10 時間手折りすることで実物を得た．

7.3

Mask
図 11 にマスクを示す．入力として，まず我々は顔の 3D メッシュを用意し，次にその顔を覆うメッ
シュを作成した．そのメッシュを入力として Generalized Ron Resch パターン（第 4.3 節参照）を生成し，意匠に利用した．また，ランプシェードと同- 28 -

本研究で利用したシミュレーションは，折りのプ
ロセスにおいて辺や面が変形しない剛体折りメカニ
ズムに基づく．そのため，例えば折り鶴のような変形の際に歪みが生じるパターンは扱えない．剛体折りできないパターンをシミュレーションしたい場合
は，Origami Simulator [1, 12] など別のシステムを利用したほうが良い．なお，非剛体折りで形状探索ができるツールは現在のところ存在しない．
本稿では，折紙を利用したプロダクトの設計プ
ラットフォームである Crane を提案した．このシステムは入力・シミュレーション・形状探索・厚み付けに対応しており，ユーザの要求する意匠性・可折性・可製造性を制約ベースのシステムでインタラク
ティブに実現する．Grasshopper 上に実装されているため，必要に応じて他のプラグインを利用できる．
最後に，本システムは GitHub と Food4Rhino で公開されている [28, 27]．我々は，HCI・ファブリケーション・建築・デザイン・ユビキタスコンピュー
ティングなどに関わる様々な分野の人々が，Craneを通じて新たな驚くべき方法で折紙を活用することを期待している．

謝辞

Crane：プロダクトの意匠性・可折性・可製造性を考慮した折紙の計算設計プラットフォーム

本研究は情報処理推進機構 (IPA) の未踏ソフト
ウェア創造事業および JST ACT-I（JP18070086）の支援を受けて実施された．また，椅子の設計例は下田悠太氏によるものである．

[12] A. Ghassaei, E. D. Demaine, and N. Gershenfeld. Fast, interactive origami simulation using GPU computation. Origami, 7:1151–1166,
2018.
[13] ITOKI, Flip Flap Chair, 2017, https://www.itoki-global.com/products/flip_
flap.html.

[1] A. Ghassaei et al., Origami Simulator, 2017,https://origamisimulator.org/.

[14] J. S. Ku. Folding thick materials using axially varying volume trimming. In ASME 2017
International Design Engineering TechnicalConferences and Computers and Information in
Engineering Conference, 2017.

参考文献[2] B. An, Y. Tao, J. Gu, T. Cheng, X. A. Chen,
X. Zhang, W. Zhao, Y. Do, S. Takahashi, H.Y. Wu, T. Zhang, and L. Yao. Thermorph:
Democratizing 4D Printing of Self-Folding Materials and Interfaces. In Proceedings of the2018 CHI Conference on Human Factors in
Computing Systems, CHI ’18, p. 1–12, New
York, NY, USA, 2018. Association for Computing Machinery.

[15] J. S. Ku and E. D. Demaine. Folding flatcrease patterns with thick materials. Journalof Mechanisms and Robotics, 8(3), 2016.
[16] K. Kuribayashi, K. Tsuchiya, Z. You, D. Tomus, M. Umemoto, T. Ito, and M. Sasaki. Selfdeployable origami stent grafts as a biomedical
application of Ni-rich TiNi shape memory alloy foil. Materials Science and Engineering: A,
419(1):131–137, 2006.

[3] ARUP, Al Bahr Towers, 2012, https://www.
arup.com/projects/al-bahr-towers.

[17] B. Liu, J. L. Silverberg, A. A. Evans, C. D. Santangelo, R. J. Lang, T. C. Hull, and I. Cohen.
Topological kinematics of origami metamaterials. Nature Physics, 14(8):811–815, 2018.

[4] Z. Chang, T. D. Ta, K. Narumi, H. Kim,
F. Okuya, D. Li, K. Kato, J. Qi, Y. Miyamoto,
K. Saito, and Y. Kawahara. Kirigami Haptic Swatches: Design Methods for Cut-and-Fold
Haptic Feedback Mechanisms. In Proceedingsof the 2020 CHI Conference on Human Factors
in Computing Systems, CHI ’20, p. 1–12, New
York, NY, USA, 2020. Association for Computing Machinery.

[18] J. Mitani. A Design Method for 3D Origami
Based on Rotational Sweep. Computer-Aided
Design and Applications, 6(1):69–79, 2009.
[19] K. Miura. Proposition of pseudo-cylindricalconcave polyhedral shells. In IASS Symposium
on Folded Plates and Prismatic Structures,
1970.
[20] K. Miura and R. J. Lang. The science of Miuraori: A review. Origami, 4:87–99, 2009.

[5] K. C. Cheung, T. Tachi, S. Calisch, andK. Miura. Origami interleaved tube cellularmaterials. Smart Materials and Structures,
23(9):094012, aug 2014.

[21] S. Mueller, B. Kruck, and P. Baudisch.
LaserOrigami: Laser-Cutting 3D Objects. In
Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems, CHI ’13,
p. 2585–2592, New York, NY, USA, 2013. Association for Computing Machinery.

[6] E. Demaine, FOLD file format, 2017, https://github.com/edemaine/fold.
[7] L. H. Dudte, E. Vouga, T. Tachi, and L. Mahadevan. Programming curvature using origami
tessellations. Nature materials, 15(5):583–588,
2016.
[8] S. Felton, M. Tolley, E. Demaine, D. Rus, andR. Wood. A method for building self-folding
machines. Science, 345(6197):644–646, 2014.

[22] Y. Noma, K. Narumi, F. Okuya, and Y. Kawahara. Pop-up Print: Rapidly 3D Printing
Mechanically Reversible Objects in the FoldedState. UIST ’20, p. 58–70, New York, NY, USA,
2020. Association for Computing Machinery.
[23] S. Olberding, S. Soto Ortega, K. Hildebrandt,
and J. Steimle. Foldio: Digital Fabrication ofInteractive and Shape-Changing Objects With
Foldable Printed Electronics. In Proceedingsof the 28th Annual ACM Symposium on User
Interface Software & Technology, UIST ’15, p.
223–232, New York, NY, USA, 2015. Association for Computing Machinery.

[9] E. T. Filipov, G. H. Paulino, and T. Tachi.
Origami tubes with reconfigurable polygonalcross-sections. Proceedings of the Royal Society
A: Mathematical, Physical and Engineering
Sciences, 472(2185):20150607, 2016.
[10] M. Gardiner, R. Aigner, H. Ogawa, and R. Hanlon.
Fold mapping: parametric design oforigami surfaces with periodic tessellations.
Origami, 7:105–118, 2018.

[24] J. Ou, M. Skouras, N. Vlavianos, F. Heibeck, C.Y. Cheng, J. Peters, and H. Ishii. AeroMorph- Heat-Sealing Inflatable Shape-Change Materials for Interaction Design. In Proceedings ofthe 29th Annual Symposium on User Interface
Software and Technology, UIST ’16, p. 121–132,[11] M. Gardiner, R. Aigner, H. Ogawa, and R. Hanlon. Fold Mapping: Parametric Design ofOrigami Surfaces with Periodic Tessellations. 09
2018.

- 29 -WISS 2022

[34] T. Tachi. Designing Freeform Origami Tessellations by Generalizing Resch’s Patterns. Journalof Mechanical Design, 135(11), 10 2013. 111006.

New York, NY, USA, 2016. Association for
Computing Machinery.
[25] J. Qi and L. Buechley. Animating Paper Using Shape Memory Alloys. In Proceedings of
the SIGCHI Conference on Human Factors in
Computing Systems, CHI ’12, p. 749–752, New
York, NY, USA, 2012. Association for Computing Machinery.
[26] G. Saul, C. Xu, and M. D. Gross. Interactive Paper Devices: End-User Design & Fabrication. In Proceedings of the Fourth International
Conference on Tangible, Embedded, andEmbodied Interaction, TEI ’10, p. 205–212,
New York, NY, USA, 2010. Association for
Computing Machinery.
[27] K.
Suto,
CRANE,
2019,https://www.food4rhino.com/en/app/crane.
[28] K. Suto, KaiSut0/Crane, 2021, https://github.com/KaiSut0/Crane.
[29] K. Suto, Y. Noma, K. Tanimichi, K. Narumi,
and T. Tachi. Crane: An Integrated Computation Design Platform for Functional, Foldable, and Fabricable Origami Products. ACM
Transactions on Computer-Human Interaction(TOCHI), to appear in 2022.

[35] VUILD, EMARF, 2019,
food4rhino.com/app/emarf.

https://www.

[36] WOW, ISSEY MIYAKE “Steam Stretch”
Concept Movie, 2014, https://vimeo.com/
108092253.
[37] J. Yamaoka, M. D. Dogan, K. Bulovic, K. Saito,
Y. Kawahara, Y. Kakehi, and S. Mueller.
FoldTronics: Creating 3D Objects with Integrated Electronics Using Foldable Honeycomb
Structures. In Proceedings of the 2019 CHI
Conference on Human Factors in Computing
Systems, CHI ’19, p. 1–14, New York, NY, USA,2019. Association for Computing Machinery.
[38] Y. Yoshimura. On the mechanism of bucklingof a circular cylindrical shell under axial compression. 1955.
[39] Y. Zhao, Y. Endo, Y. Kanamori, and J. Mitani. Approximating 3D surfaces using generalized waterbomb tessellations.
Journalof Computational Design and Engineering,
5(4):442–448, 01 2018.

[40] 鳴海紘也, 中原健一, 佐藤宏樹, 新山龍馬, 川原圭
博. Liquid Pouch Motors: 紙のインタフェースのための薄く軽く柔軟なアクチュエータ. 第 26 回
インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2018), No. 83, p. 1–6,
2018.
[41] 野間裕太, 鳴海紘也, 奥谷文徳, 川原圭博. Pop-up
Print: 双安定な折りたたみ 3D プリント. 第 28 回
インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2020), No. 89, p. 43–48,
2020.

[30] T. Tachi. Freeform variations of origami. J.
Geom. Graph, 14(2):203–215, 2010.
[31] T. Tachi.
Origamizing Polyhedral Surfaces. IEEE Transactions on Visualization andComputer Graphics, 16(2):298–311, 2010.
[32] T. Tachi. One-DOF rigid foldable structuresfrom space curves.
In Proceedings of the
IABSE-IASS Symposium, 2011.
[33] T. Tachi. Rigid-foldable thick origami. pp. 253–
264, 2011.

未来ビジョントとして作ることのできる環境を整えた．元々
記載したかった内容が長大であったため，様々な機能や評価をカットしなるべくシステム全体の理解が可能となるように努めた．発表では，原稿で触れられなかった部分も紹介したい．
また，我々は計算折紙の理論で作成された複雑なパターンをより簡単に製造する技術の開発も進めている．我々の最終目標は，折紙の分
野に見られる機能的で美しい形状を，計算設計と計算製造の知見を活用することで実世界で簡単に再現することである．本研究はそのための重要な第一歩であり，本研究の成果を利用して様々な応用が発生することも期待している．

我々はこれまでの WISS で，折紙のような薄い物体を変形させることのできるアクチュ
エータ Liquid Pouch Motors [40] や，3D 構
造物をあらかじめ畳んだ状態で印刷し，印刷後に展開する手法 Pop-up Print [41] など，アクチュエーション・ファブリケーションに関する技術を紹介してきた．
本研究は折紙の設計に立ち返り，これまで専門家にしか扱えなかった計算折紙の理論を他分
野のユーザにも利用できることを目指したものである．また，理想的な折紙をシミュレーショ
ン上で再現するにとどまらず，実際にプロダク- 30 -WISS 2022

FaceShow: 顔の部分表示による遠隔会議支援システム
岸本 諒大 ∗ 土田 修平 † 寺田 努 †塚本 昌彦 †

概要.
遠隔会議において参加者がカメラ OFF にすると，参加者同士のリアクションが上手く伝わらず，
コミュニケーションの質が低下する．しかし，多くの参加者は「カメラ ON にすることで自分が映ることが嫌である」などの理由からカメラ OFF にすることを希望している．そこで顔全体の開示度を下げることで，参加者のカメラ ON に対するハードルを下げられ，会議内での相互のリアクションを確認しやすくなるという仮説を基に，顔の部分表示を用いた遠隔会議支援システム FaceShow を提案する．本論文では，遠隔会議中に Web カメラ映像を FaceShow 内で口や目のみを表示するエフェクト素材を用いて加工し，仮想カメラとして表示する．評価実験により提案システムで目表示のエフェクト素材を用いた際に，カメラ ON
に対して抵抗感が減少する可能性があることがわかった．

1

はじめに

新型コロナウイルス (COVID-19) の感染拡大に伴い，従来のような対面でのコミュニケーションだけ
でなく遠隔会議システムを利用した遠隔でのコミュ
ニケーションの機会が増えている．Zoom 社が公開するレポートによれば，Zoom は世界の約 200 カ国
で利用されており，ミーティングの平均時間は 54 分，
会議の平均参加人数は 10 人とされている [1]．また
経済産業省の通商白書 2021 によると，2020 年 10 月
時点の Microsoft Teams の日次ユーザ数は 1.15 億人を超えており，2020 年 9 月時点の Zoom の会議開
催回数は年間相当数で 30 兆回を超えるとされている [2]．米国におけるリモートワークの割合は 2025
年で約 40 %と予測されており，遠隔会議システムを活用した会話は引き続き行われると想定される．
遠隔会議におけるコミュニケーションの課題の一つとして，Web カメラを介した顔映像の表示機能をON にして顔を見せることを嫌う人が多く [3]，結果としてコミュニケーションの質が低下する点が挙げられる [4]. 江原 [3] が行った調査によると，カメラ ON/OFF のどちらで受講するのが望ましいか学
生に複数回調査を行ったところ，すべての調査結果
で 9 割以上の学生がカメラ OFF での授業を希望した．これよりオンライン授業において受講生はカメラ ON にすることに対して強い抵抗感を覚えている
ことがわかった．カメラ OFF を希望する理由として，「自分の顔が他者に見られることに抵抗がある」，「カメラ ON にするとリラックスして授業を受けることができない」などが挙げられている．また Jabra（GN オーディオジャパン (株)）調べ [5] によると，
20 代から 50 代の働く男女 300 人に対し行ったアン∗

神戸大学工学部
Faculty of Engineering, Kobe University†
神戸大学大学院工学研究科
Graduate School of Engineering, Kobe University

ケートにおいて「毎回自分の顔を写している」と回答した人は約 3 割に留まっており，「自分が映るのが嫌だから」，「音声だけでも問題ないと思うから」な
どの理由からカメラ ON に抵抗を感じる人が多数を占めていることがわかっている．
一方で，Garau ら [4] の研究によると音声のみに比べてビデオ通話の方がコミュニケーションの質が高いことが報告されている．また，相手の顔が見えている方が話しやすいという意見が多数であることも報告されている [5]．以上より．コミュニケーショ
ンの質を高めるには顔を表示した方が良いため，顔表示による効果を維持しつつ，Web カメラを介した映像表示機能の利用に対するハードルを下げる必要がある．
そこで本研究では，遠隔会議参加者の目や口など顔の一部のみを表示する遠隔会議支援システム
FaceShow を提案する．顔の一部表示により匿名性を確保することで顔出しへの抵抗を低減できるだけでなく，会議参加者はお互いのリアクションを得る
ことが容易となり，コミュニケーションの円滑化が期待できる．FaceShow では，PC の Web カメラから映像を取り込み，部位の抽出，拡大，透過処理のような画像処理を行ったのち，仮想カメラ機能を用
いて Zoom 等の遠隔会議アプリケーションにその映像を反映する．顔の一部表示による遠隔会議への影
響を調査するために，顔表示（エフェクトなし），口表示，目表示，同じアバター表示，異なるアバター
表示の 5 パターンを用意し，それぞれのパターンにおいてグループディスカッションを行ってもらい，最後にアンケート調査を実施した．

2

関連研究

顔が人に与える影響についての研究は，これまで多数報告されている．顔に基づいて人の性格，行動意
図，認知能力に関する判断を行う [6] 他，意思決定に- 31 -WISS 2022

影響がある [7] とも報告されている．また，体力，年
齢，感情，親しみを特徴づける顔情報について，いず
れかの資質が一つだけでも顔に含まれると，それらについて知覚される傾向がある [8]．顔が伝える情報は多く，結果として遠隔会議におけるコミュニケー
ションにおいて顔を表示しない場合，コミュニケー
ションの質が低いことがわかっている [4]．我々の提案システムは，顔の全体表示によるコミュニケー
ションの効果を顔の一部表示によって維持しつつ，遠隔会議システムのカメラ機能を ON にする心理的なハードルを下げることを目指している．
目や口に対する感情認知の違いについてもいくつか報告されている．Yuki ら [9] によると，感情を表現する際，目は口よりもコントロールが難しいことから，日本などの感情を抑制する文化圏では，他人の感情を解釈する際，口よりも目に強く注目する．一方，あからさまな感情表現が一般的な米国などの文化圏では，顔の中で最も表情豊かな部分である口の位置から感情を解釈する傾向があり，文化圏によって他人の感情解釈のために注目する箇所が異なる．
また，Low ら [10] によると，東洋人は目よりも口から感情を識別することが困難であり，これは口の情報を推論する経験が浅いためと考察している．さらに東洋人は，口のみの刺激と顔全体の刺激における感情認知において西洋人より劣っていた．一方目の感情認知においては差は見られなかった．本研究では，このような口や目に対する感情認知の違いに着目し，顔の一部表示が遠隔でのコミュニケーション
においてどのような影響を与えるか調査する．
視線や注視といった目の情報は，コミュニケーショ
ンにおいて重要な役割を担っている．Mazur ら [11]は，人が相互に注視すると生理的覚醒が起こることを確認しており，それらがアイコンタクトの有効性の一端を担っていると主張している．Monk ら [12]によると，目線情報を共有することで少ない対話数
でタスクを達成できることが報告されている．目線への意識が，自分と相手の発言の理解度を確認するための非言語チャンネルであることを示唆している．
本研究では，目のみ表示することで，これら目によるコミュニケーションへのポジティブな効果を維持しつつ，同時に匿名性を下げることでカメラ機能 ONの心理的なハードルを下げることを狙っている．

3
3.1

提案システム設計

遠隔会議での顔の一部表示による影響を調査するために口や目といった顔の一部のみをそれぞれリア
ルタイムで表示するシステムを構築する．そのためには，顔から口や目に該当する部分のみを抽出し，鼻や耳などその他の顔の部分を透過させることが必要となる．一般的に広く普及している遠隔会議シス- 32 -

遠隔会議システムに適用

図 1: システムの処理フロー
テムにおいて適用可能とするため，OS がカメラとして認識できる仮想カメラを活用したシステムを構
築する．

3.2

実装

図 1 にシステム全体の処理フローを示す．Web
カメラ映像を容易に加工できるソフトウェアである Snap 社の Snap Camera [17] を利用する．Snap
Camera は Zoom や Microsoft Teams 等の主要な遠隔会議システムに適用可能である．そのため遠隔会議時の Web カメラ映像を Snap Camera 上で任意のエフェクト素材を用いて加工し，遠隔会議シス
テムの会議画面上に表示できる．
目や口など顔の一部を表示するために，エフェク
ト作成アプリケーションである Snap 社の Lens Studio [18] を用いて．Snap Camera 内で利用可能なエフェクトを作成した．Lens Studio を用いて，目と口それぞれのみを抽出，拡大し，顔のその他の部
分を透過させるエフェクトを作成した．そのため，Snap Camera を活用できる PC であれば作成したエフェクトを容易に利用可能である．また，顔の動きと連動するため，頷きといったリアクションも反映可能である．

4

評価実験

提案システムが遠隔会議における会話に与える影響を調査するために評価実験を行った．参加者は互
いに顔見知りの間柄である 20 代の男子大学生 16 名で行った．各参加者は遠隔会議システム内でのみ声が聞こえる環境で実験を実施した．遠隔会議システ
ムは Zoom を使用した．

4.1

実験条件

顔映像に作用させるエフェクトの種類はエフェク
トなし（通常通りの顔表示），口のみ表示させる「口表示」, 目のみを表示させる「目表示」，全員共通

Face Show: 顔の部分表示による遠隔会議支援システム

図 2: 口表示

図 4: 同じアバター表示

図 3: 目表示

図 5: 異なるアバター表示のアバターを使用する「同じアバター表示」，それ
ぞれ異なるアバターを使用する「異なるアバター表示」の 5 種類である．尚，アバターは ver5.10.0 以
降の Zoom の機能であるアバター機能を主としてグループ内で異なるアバターを選択させた．
参加者 16 名は．1 組あたり 4 名の 4 組に分ける．
ブレインストーミングの課題とエフェクトの種類のカウンターバランスを取るために，4 組に対して，題とエフェクトの組み合わせや実施順序が可能な限り被らないようにした．実験で用いた口表示，目表示，同じアバター表示，異なるアバター表示の 4 種類のエフェクトの動作例をそれぞれ図 2,3,4,5 に示す．

本実験では，櫻井ら [15] の実験手法を参考にタスクを構成し，アンケート評価をメインとした解析を行う．提案システムが遠隔でのコミュニケーションに及ぼす影響として，恥ずかしさの低減，積極性，理解度の向上が可能性として挙げられる．顔の開示
部分を減らすことで発言の匿名性を上げ恥ずかしさの低減につながるのではと考えた．また，恥ずかしさを低減できれば緊張感の緩和につながり発言の積極性が向上するのではないかと考えた．さらに，遠隔でのコミュニケーションの質を高めるという目的に関連して，理解度が向上するかどうかについても調査する．そのため．実験後行うアンケート評価では，顔表示に対する各エフェクトを用いた加工による表示の恥ずかしさやコミュニケーションに対する積極性の変化，内容の理解度を被験者アンケートにて回答してもらった．また，この 3 項目とは別に，顔を部分表示することに対してのメリットとデメリッ
トについても自由回答してもらった．さらに会議に対する積極性を推し量る定量的な基準として発言回数をカウントした．

4.2

タスク

提案システムを適用した状態でブレインストーミ
ングを行い，その後アンケートに回答してもらった．
ブレインストーミングとは一種のアイデアを生み出す「集団発想法」であり，ある題に対して複数人で意見を交換し，新たなアイデアを生み出すものである．
本実験では，Guilford s Alternative Uses Task とAC test of creative ability[13] に基づいて，ヘル
メット，フォーク，レンガ，ガムテープ，マスクを課題とし，それぞれについて独創的な新しい用途を考える．上記の 5 種類の課題に対して 1 種類 4 分間のブレインストーミングを 5 回行ってもらった- 33 -

4.3

実験手順

参加者には事前に PC に Snap Camera をインストールしてもらい，各自別室に入室してもらった．入室後，参加者は PC 上で遠隔会議システムの Zoom

WISS 2022

図 7: 匿名性に関する比較

図 6: 恥ずかしさに関する比較に参加してもらった．その際参加者間で互いの姿が見えないか，直接会話が聞こえないかを確認してから，ブレインストーミングを開始させた．実験時間
は，概要説明の時間や参加者の疲労も考慮し 30 分とした．また概要説明時に実験者からブレインストー
ミングにおける注意点を伝え，適切なコミュニケー
ションになるよう配慮した．ブレインストーミングの課題がすべて終了した後に．アンケートに回答してもらった．

5
5.1

図 8: 積極性に関する比較結果
アンケート結果

アバター表示では全員が同じ種類のものと全員が異なる種類のもので実験を行っているが，被験者アンケートではこの二つを合わせてアバター表示として調査を行っている．実験設計時には同じアバター
表示と異なるアバター表示による結果の差異についても調査を進める方針であったが，実験時に大きな特徴が得られなかったことや提案手法の有効性を調査するという主となる目的に集中するため被験者アンケートではアバター表示に統一した．
各項目ではエフェクト無しを基準の 3 とし 1-5 の五段階でシステムを評価してもらった．恥ずかしさに関するアンケート結果を図 6 に示す．縦軸は恥ずかしさ（1：恥ずかしくなかった，5：恥ずかしかった）の平均スコアを示し，エラーバーは標準誤差を示す．平均
スコアはそれぞれ口表示が 3.2（SE 0.4），目表示が1.8（SE 0.1），アバター表示が 1.5（SE 0.2）であった．表示パターンについて一要因分散分析を行った結果，有意差が見られた (F (2, 15) = 9.62, p < .01)．
また LSD 法による多重比較を行なったところ，口表示と目表示，口表示とアバター表示においてそれぞれ有意差が見られた (p < .05)．口表示は目表示
及びアバター表示に比べて，有意に恥ずかしく感じ
ることがわかった．逆に目表示とアバター表示は顔表示と比べて平均スコアが低く，あまり恥ずかしく感じていない傾向が見られた．
匿名性に関するアンケート結果を図 7 に示す．縦軸は匿名性（1：誰か理解できなかった，5：誰か理解できた）の平均スコアを示し，エラーバーは標準誤差を示す．平均スコアはそれぞれ口表示が 2.3（SE0.3），目表示が 2.7（SE 0.3），アバター表示が2.5（SE 0.3）であった．表示パターンについて一
要因分散分析を行った結果，有意差は見られなかった (p > .05)．また，エフェクトなしの顔表示（基準の 3）と比べて全体的に平均スコアは低く．顔表示よりも誰か理解しづらい傾向が見られた．
積極性に関するアンケート結果を図 8 に示す．縦軸は積極性（1：積極性が向上しなかった，5：積極性が向上した）の平均スコアを示し，エラーバーは標準誤差を示す．平均スコアはそれぞれ口表示が 3.1（SE 0.2），目表示が 3.3（SE 0.2），アバター表
示が 3.6（SE 0.2）であった．表示パターンについて一要因分散分析を行った結果，有意傾向が見られた (F (2, 15) = 3.30, p < .10)．また LSD 法による多重比較を行なったところ，口表示とアバター表示
において有意差が見られた (p < .05)．アバター表
示は口表示に比べて，有意に積極性が向上することがわかった．また，エフェクトなしの顔表示（基準の 3）よるすべて表示パターンにおいて平均スコアが高く．積極性が向上する傾向が見られた．
発言内容の理解に役立つかという観点に関しても調査を行った．発言内容の理解に関するアンケート
結果を図 9 に示す．縦軸は話の理解度（1：話を把握できなかった，5：話を把握できた）の平均スコアを示し，エラーバーは標準誤差を示す．平均スコ- 34 -

Face Show: 顔の部分表示による遠隔会議支援システムているフィルタがあれば空気が和むと感じた」，「相
手の口元の細かな動きがわかるようになり，微妙な微笑みなども分かるようになる」，等のコメントが寄せられた．
同時にデメリットについても意見を募っており，
代表的なものとして，「口の拡大表示は恥ずかしい」（8 名），「誰が話しているか把握しにくい」，「身振り
手振りがわからない」，「口以外の情報が無くなる」，「初対面だと誰かわからなくなる」等があった．
また，実験に対する感想として，「口表示やアバ
ター表示を使った後は通常時の緊張してる感じがい
つもより伝わりやすい」「，知り合い同士は相手の顔を見て話したいため，この場合アバター表示はコミュ
ニケーションの助けになっているとはいえない」「，顔が分かりにくいため，あえて名前表示なしでもやってみたい」，「課題が難しく感じ話せることがなかったため，積極性が全体的に下がり積極性の判定にはあまり適していない気がした」，「色々なフィルター
を使ったらもっと議論が盛り上がると思った」，「考
え事すると画面の外見てしまうため，対話メインの方がよりエフェクトに対して感想を持てた」などの意見を得た．

図 9: 内容の理解に関する比較

図 10: 表示パターンごとの平均発言回数6

アはそれぞれ口表示が 2.9（SE 0.1），目表示が 2.8（SE 0.2），アバター表示が 2.8（SE 0.1）であった．
表示パターンについて一要因分散分析を行った結果，有意差は見られなかった (p > .05)．また，エフェ
クトなしの顔表示（基準の 3）と比べて全体的に平
均スコアは低く．顔表示よりも話が把握しづらい傾向が見られたが，総じて基準に比べての誤差が 0.1〜0.2 程度であるため，影響は小さいと考えられる．

5.2

発言回数

平均発言回数を図 10 に示す．縦軸は平均発言回数を示し，エラーバーは標準誤差を示す．ここでいう発言回数とはブレインストーミングでのアイデアの数のことで，相槌やその他アイデア以外の発言はその数に含まない．口表示，目表示の際の発言回数
はエフェクトなしの顔表示と比べて低い傾向が見られた．表示パターンについて一要因分散分析を行った結果，有意差は見られなかった (p > .05)．

5.3

参加者による自由回答

提案手法のメリットについて参加者からの意見を募った．
「メイクやヘアセットをせずに参加できる」，「口以外の部分をどれだけ動かしてもバレない」，「発言している人が目立つ」，「眠そうにしていてもバレなさそう」「，受けを狙った話をした際，笑いを取れてるかの確認がしやすい．相手の表情に関係なく笑っ- 35 -

6.1

考察
口表示・目表示の恥ずかしさ

口表示の会話形式について恥ずかしいと感じる人と感じない人の二極化がみられた．これには二つの原因があると考えられる．まず，口表示では普段の会話以上に口元が強調されるためである．歯並びや唇などの口元にコンプレックスを抱えている場合，その部分が拡大され，他者の前で表示されることに対して大きく抵抗を感じるのではないだろうか．次に，口表示では自分の感情を相手に察知されやすくなり，恥ずかしく感じてしまう可能性が考えられる．
緊張感や悔しさなどの感情は口元に現れやすく [16],
口元が拡大されることで相手に自分の隠したい感情
は伝わりやすくなってしまう．
一方で口表示により恥ずかしさが低減されたと回答した被験者も多く見受けられた．理由として笑顔が強調されることが考えられる．口元が大きく拡大される加工を施しているため通常よりも微小な口元の変化に気づきやすい．そのため相手が笑顔になっていることを認知しやすく，結果として場のリラッ
クスした雰囲気を作り出す手助けになっていると考えられる．また，ヘアセットのように外見に気を遣う必要がなくなることも口表示が顔表示よりも優れている点であり，恥ずかしさが低減される理由の一つだと考えられる．
口表示の会話形式とは対照的に目表示の会話形式
は，16 名の参加者全員が通常の顔表示と同様の恥ずかしさ，もしくは恥ずかしさが軽減されたと回答し

WISS 2022ており，エフェクトなしと比べて恥ずかしさが低減される傾向にあることが分かる．理由として，口元に比べて目元のコンプレックスを持つ人は少ない，目のみでは自身の感情が相手に察知されづらいことなどが考えられる．
以上より，口表示では顔表示よりも恥ずかしさを軽減することはできなかったが，目表示では顔表示に比べ恥ずかしさを軽減する傾向が見られた．よって，提案システムを用いた目表示は遠隔会議におけるカメラ ON に対する抵抗を減少させる可能性が
ある．

6.2

アバター表示と提案システムの相違点

口表示については匿名性がアバター表示以上に高いことが分かる．初対面で顔を知らない相手との会話では十分にその匿名性の高さを発揮し相手にどんな顔をしているのかを悟られることなくコミュニ
ケーションを行うことができると考えられる．また，アバター表示の種類によっては笑顔が反映されにくい場合がある．一方で口表示は口部分を拡大しその他の部位を透過していることで，アバター表示やエフェクトなし以上に相手の笑顔を認知しやすくなると考えられる．笑顔がコミュニケーションに与える
ポジティブな影響は多数の研究により明らかになっている．これにより前述の二つの表示法以上に場の雰囲気が温かくなる可能性がある．
目表示についてはアバター表示とほぼ同等な水準まで恥ずかしさを軽減できることが分かった．また，
口表示では匿名性が高いことが分かったが，逆に目表示は匿名性が低く誰が話しているか比較的わかりやすい結果となった．これによりある程度本人と話している実感が得られるため見知った仲でのコミュ
ニケーションに適していることが考えられる．実際，アバター表示は参加者が誰かわからず距離感を感じるため，目表示の方が話しやすいという意見が被験者アンケートから得られた．これにより目表示はア
バター表示同等に恥ずかしさを軽減しつつアバター
表示以上に本人と話している実感を得ることにより親近感を感じ，リラックスした状態でコミュニケー
ションを行うことができる可能性がある．
図 10 の発言回数によると，提案手法は発言回数が減少している結果になっていることが分かる．しかし 5.2 節で述べたようにここでいう発言回数はア
イデアの数をカウントした数値であるため，積極性が向上していた際でも結果に反映されず，適切に評価できていない可能性がある．そのため今後の研究活動では発言回数の定義や議題の内容を見直すこと
で，発言回数を積極性の定量的観点として明確にする必要がある．
このように，提案手法はシチュエーションに応じてアバター表示以上に効果的に用いることができると考えられる．しかし以上の考察は被験者アンケー- 36 -

トによるものや著者の主観に基づいている意見が大きく占めているため，今後の研究活動ではこれらの事項を客観的に検証していく必要がある．

7

応用例

本提案システムを有効であると考えられるシチュ
エーションについていくつか述べる．
たとえばオンライン講義の場面での活用が挙げられる．高校や大学等のオンライン講義では講師側は生徒がカメラ OFF でリアクションを確認できないことにより，講義中に沈黙が発生してしまう．それにより沈黙を恐れて一方的に話し続けてしまうことが問題となっている [14]．この問題を解決するために，生徒のリアクションを講師側が確認する方法が挙げられる．生徒のリアクションを確認するにはカメラ ON にする，チャットにメッセージを送ってもらうなどがあるが，どれも生徒の負担が大きい．これに対して，本提案システムの目表示は顔表示よりも恥ずかしさを軽減できるため，生徒側のカメラ ONに対するハードルを下げることができるだろう．
顔の開示度を下げることで個人の内面により着目できる可能性がある．人に対する印象はその能力に関係なく，顔などの外見に大きく左右されることがわかっている [6]. たとえば就職の面接において能力を定量的に評価されることなく外見に左右されていては，問題が起こる可能性がある．そこで口や目のみを表示することで本人と話している感覚を維持しつつ，面接官の注意をより内面へと向けることができるのではないかと予想する．

8

おわりに

本論文では遠隔でのコミュニケーション支援を目的として，顔の部分表示による遠隔会議支援システ
ム FaceShow を提案した．Web カメラから映像を取得し，作成した口と目のみを表示するエフェクト
素材を用いて仮想カメラ内で映像を加工した．加工
した映像は Zoom 等の遠隔会議システムに適用可能である．評価実験では提案システムを用いた遠隔でのコミュニケーション素材に及ぼす影響について調査した．用いたエフェクト素材は口表示，目表示，同じアバター表示，異なるアバター表示であり，エフェクトなしの顔表示との比較を行った．実験結果
から目表示のエフェクト素材を用いた場合に，カメラ ON の際の顔表示に比べて抵抗感が減少する傾向がみられた．今後はプレゼン形式，初対面同士といった多岐にわたるシチュエーションで提案システ
ムを用いた実験を行い，シチュエーションに適した
顔の表示方法について明らかにしていく．また，タスクやアンケート内容について再考し，多角的な視点から提案システムの有効性の調査及び改良を進めていく．

Face Show: 顔の部分表示による遠隔会議支援システム

謝辞
本研究の一部は，JST CREST（JPMJCR18A3）の支援によるものである．ここに記して謝意を表す．

参考文献

Emotion from The Mouth, Scientiﬁc Reports,
Vol. 12, No. 7408 (May 2022).
[11] A. Mazur, E. Rosa, M. Faupel, J. Heller, R.
Leen, and B. Thurman: Physiological Aspectsof Communication Via Mutual Gaze, American
Journal of Sociology, Vol. 86, No. 1, pp. 50–74(Jul. 1980).

[1] 会 議 が い ち ば ん 多 い の は 水 曜 日Zoomの レ ポ ー ト か ら 見 え る「 働 き 方 」，
https://news.yahoo.co.jp/byline/
dobashikatsutoshi/20220216-00281805(最終アクセス日：2022 年 9 月 26 日).

[12] A. F. Monk and C. Gale: A Look Is Wortha Thousand Words: Full Gaze Awareness inVideo-Mediated Conversation, Journal of Discourse Processes, Vol. 33, Issue 3, pp. 257–278(June 2002).

[2] 第 I 部 第 1 章 我が国を巡る経済情勢と今後の通商を巡るトレンド 第 2 節 通商を巡る
国際潮流， https://www.meti.go.jp/report/
tsuhaku2021/2021honbun/i1120000.html (最終アクセス日：2022 年 9 月 26 日).

[13] A. Meadow and S. J. Parnes: Evaluation ofTraining in Creative Problem Solving, Journalof Applied Psychology, Vol. 43, No. 3, pp. 189–
194 (1959).
[14] 松下幸司: 大学の遠隔講義におけるアクティブラー
ニング型授業の試み―グループ・コミュニケーショ
ン・ルームと情報共有ツールを併用して―, 香川
大学教育実践総合研究, Vol. 41, pp. 89–98 (Sep.
2020).

[3] 江原康生: オンラインコミュニケーションでのカ
メラ ON/OFF による発表者に与えるストレスに関する評価実験, 日本バーチャルリアリティ学会
論文誌, Vol.27, No. 1, pp. 14–16 (Mar. 2022).

[15] 櫻井 翔, 中里直人, 吉田成朗, 鳴海拓志, 谷川智洋, 廣瀬通孝: 表情変形フィードバックによる遠隔協調作業における創造力向上支援 (< 特集 > 教
育・訓練・支援).

[4] M. Garau, M. Slater, S. Bee, and M. A. Sasse:
The impact of eye gaze on communication using humanoid avatars. In Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems (CHI ’01), pp. 309-–316 (Mar.
2001).
[5] WEB 会議で「毎回自分の顔を映す人」はわず
か 3 割！！会議中自分の顔を映さない人の約半数が「音声だけで問題ないと思う」と回答「オンライン会議と周辺デバイスに関する調査」, https://prtimes.jp/main/html/rd/p/
000000011.000072842.html (最終アクセス日：
2022 年 9 月 26 日).
[6] A. Todorov, C. Y. Olivola, R. Dotsch, P. MendeSiedlecki: Social Attributions from Faces: Determinants, Consequences, Accuracy, and Functional Signiﬁcance, nnual Review of Psychology,
Vol. 66, No. 1, pp. 519–545 (Jan. 2015).
[7] C. Y. Olivola, F. Funk, and A. Todorov: Social
Attributions from Faces Bias Human Choices,
Trends in Cognitive Sciences, Vol. 18, No. 11,
pp. 566–570 (Oct. 2014).
[8] L. A. Zebrowitz and J. M. Montepare: Social
Psychological Face Perception: Why Appearance Matters, Journal of Soc Personal Psychol
Compass, Vol. 2, Issue 3, pp. 1497–1517 (May2008).
[9] M. Yuki, W. W. Maddux, and T. Masuda: Are
the Windows to the Soul the Same in the Eastand West? Cultural Diﬀerences in Using theEyes and Mouth as Cues to Recognize Emotionsin Japan and the United States, Journal of Experimental Social Psychology, Vol. 43, No. 2, pp.
303–311 (Mar. 2007).
[10] A. C. Y. Low, V. Y. S. Oh, E. M. W. Tong,
D. Scarf, and T. Ruﬀman: Older Adults HaveDiﬃculty Decoding Emotions from The Eyes,
Whereas Easterners Have Diﬃculty Decoding- 37 -[16] 吉川 茂: 「だてマスク」着用に関する心理学的研究, 阪南論集. 人文・自然科学編, Vol. 53, No.
2,pp. 97–108 (Mar. 2018).
[17] Snap
Camera,https://snapcamera.
snapchat.com/ (最 終 ア ク セ ス 日：2022 年
9 月 26 日).
[18] Lens
Studio,https://ar.snap.com/
lens-studio (最 終 ア ク セ ス 日：2022 年 9月 26 日).

WISS 2022

研究発表コンテンツ内の意味的対応関係を活用した研究理解の支援
太田 彩 ∗

脇田 建 †

概要. 遠隔開催の学会の増加に従い，学会運営組織から提供されるコンテンツの種類は以前に比べ多様になった．しかしコンテンツは個別に視聴・消費され，研究の統合的な理解の手助けにはなっていない．そこ
で本研究は各種コンテンツ間をハイパーリンクで結びつけた相互参照を提供することで新たな学会参加の形を提案する．具体的には自然言語処理・画像処理を用いて，コンテンツを超えて関連した内容を含む箇所の対応関係を自動で抽出する．加えて対応関係を相互参照の形でユーザーに提示することで，研究理解過程におけるコンテンツ間の移動を容易にする．以上によりコンテンツ間の結びつきを深め，論文の内容理解の効率向上・認知負荷の軽減を目指す．本論文では対応関係を自動で抽出する手法を提案し，相互参照をユーザーが容易に確認できるシステムのプロトタイプを作成した．加えて抽出手法の性能評価と有効性を検証するための実験を行った．

1

はじめに

して論文と口頭発表動画と類似した議論が展開されている論文中の箇所を示唆すること，選択されたス
ライドを用いて発表動画の箇所を提示することなどが挙げられる．コンテンツの切り替えを容易にする
ことで，データ種別を横断した内容の深い理解を支援することが目的である．
その上でコンテンツの要素を取り出し，要素間の対応関係を自動で抽出する手法を提案した．加えて対応関係を相互参照の形でユーザーに提示するシス
テムのプロトタイプを作成した．また対応関係の抽出手法の速度と性能を評価するための簡易的な評価実験を行った．
以上を踏まえ，論文の貢献は以下の通りである．
まず相互参照に注目し，新しい学会視聴の形を提案する．加えて論文，発表動画から要素を抽出し，類似箇所を自動で検出する手法を提案する．さらに相互参照を確認するためのプロトタイプを作成し，自動検出手法の性能の予備調整を行った．

近年の学会では口頭発表を補完する形で, 論文やシステムのデモ動画など多様なデータ種別のコンテンツが提供されている．加えて COVID-19 の蔓延により学会の遠隔視聴の機会が増加したことで, 発表
動画や紹介動画などの追加の情報も取得できるようになった．その結果, 参加者は目的や関心に合わせ,研究理解に使用するコンテンツの形態を選択することが可能になった．加えてコンテンツを組み合わせることで，研究への深い理解を得ることもできる．
しかし一方でコンテンツを横断して研究を理解するための体勢は整えられておらず，コンテンツは個別に消費されている．例えば研究の概要を発表動画
で，実験部分の詳細を論文で確認したい時，ユーザー
はパソコンの各種ウインドウを使い分け目的を達成
しようと考える．しかしウインドウの切り替えや特定箇所の探索はユーザーに認知負荷を与え，統合的な理解は阻害されてしまう [24]．このような状況からコンテンツは個別に消費され，各コンテンツの特性を活かした使い分けは行われていない．
本研究では現状を踏まえ，多様なコンテンツの統合的な理解の補助を目標とする．加えて，そのことによって論文の内容理解の効率向上，認知負荷の軽減を目指す．
本研究で注目したのは相互参照機能である．相互参照の利用は World Wide Web や Wikipedia のハ
イパーリンクに遡り，今日では PDF や Microsoft
Word 文書でも使われ，有効性は幅広く認識されている．本研究では口頭発表動画・発表資料・論文内の要素の対応関係を自動で検出し，コンテンツ間にまたがる相互参照の形でユーザーに提示する．例と
∗
†

2
2.1

関連研究
アクティブ・リーディング

アクティブ・リーディングとは注釈をつけたり，メ
モをとるなどの行為をしながら読書を行うことである．学会参加者も論文を読み研究への理解を深めているため，本研究と関連深い分野である．これらの行為は教育機関や知的労働の場において大きな役割を果たしている．そのためアクティブ・リーディン
グの現状に関する調査 [6, 21, 17] や，それを支援するツールを提案する研究が数多く提案されてきた．
LiquidText は紙の読書の快適性を模倣するのではなく，流動的な文書表現と様々なインタラクショ
ンを提供することでアクティブリーディングを促進させた [25]．Head らは難解な論文に対し，専門用語や記号の定義を読者が最も必要とするときに提供

東京工業大学
東京工業大学- 38 -WISS 2022

学会参加者の意識の中でのコンテンツ内の結びつきを深め，研究を様々な方面から理解することを可能にする．
PaciﬁcVis 2022[4] で提供されたデータをもとに，相互参照に用いるデータを決定した．具体的には論文のメタデータ，紹介動画，発表動画，論文を対象に研究を進める．ここでメタデータは研究の表題や著者を BibTeX などのフォーマットで保存したもの，
紹介動画は学会の開催前に提供される研究の内容を
30 秒程度で簡潔に紹介した動画のことである．発表
動画とは発表者が自身の研究をスライドウェアや開発したシステムを用いて紹介した研究紹介の録画動画である．本研究では特にスライドやシステムが動画の全面に映し出され，発表者の音声によって説明されたものを特に発表動画と定義づけた．これらコンテンツの中でも発表動画と論文が研究の内容を知る上で大きな役割を担っているため，この二つのコンテンツ間の結びつきを深めることを重視する．

するインタフェースを提案した [12]．
これらの研究は主に文書を読む読書の快適性と効率を向上することに重点をおいているが，本研究がめざすような関連する複数のデータ種別を横断的に理解する支援は提供しない．

2.2

オンライン学会への参加意識を高める研究

COVID-19 の蔓延により学会の遠隔視聴の機会が大幅に増加した．そのため近年遠隔方式の問題
点を解決する形で，オンライン学会を支援する方法[23, 13] が提案されてきた．加えて遠隔の学会や会議を後から振り返り理解するための研究 [10] も行われてきた．
Murali らはプレゼンテーションにおいてセンシ
ング技術を利用し聴衆の反応を取得し発表者へ伝達した [18]．Aseniero らは参加者が会議中に自身の反応を発表者に匿名で送ることができ，あとから会議の様子を収集した反応を通し振り返ることのできるシステムを提案した [7]．
El-Assady らは会議における話者の話すテーマの流れを表現することで，話者の行動パターンを分析するというアプローチを提案した [9]．阿辺川らは研究の映像と文書要素に対し，関係性などの付加情報を人間の手で注釈づけることで，情報を統合し読者の理解を支援した [5]．
本研究は学会参加者による研究発表の深い理解を目的の中心に据え，必要なシステムの要件分析を行った．加えて論文と発表資料から図表や段落などの要素を自動で抽出し，要素間をまたいだ類似箇所を検出することで，ユーザーが短時間で必要な情報へアクセスできる体制を整えた．

3
3.1

3.3

システムを開発するにあたり，研究発表の参加者の行動を想定し要件の分析を行った。加えて関連分野であるアクティブリーディングの研究を参考にした。O’Hara らは実験を通し人々のアクティブリー
ディングの様子を明らかにし [20]，Tashman らはアクティブリーディングの主要プロセスを注釈，内容抽出，ナビゲーション，レイアウトという 4 点とした [25]。本研究ではアクティブリーディングの主要プロセスを参考に以下の５つの要件を設定した。

(R1) 論文の概要を表示する機能(R2) コンテンツ本体を視聴する機能(R3) 関連箇所を示唆し，移動する機能

提案手法(R4) 関心のある箇所を選択し，自身の疑問や意見・

現在の学会参加の問題点

感想を記述する機能

近年の学会は論文に発表動画，紹介動画など多様なコンテンツが提供されている．しかし複数コンテンツを統合的に理解するための体勢やシステムは提供されていない．そのためユーザーはコンテンツを個別に消費しており，各コンテンツの特性に応じた使い分けは行われていない．そこで本研究ではそれら問題を解決するために，様々なコンテンツの統合的な理解を促す新しい学会参加のコンセプトを提案する．そして論文の内容理解の効率向上，認知負荷の軽減を行うことを目標とする．

3.2

要件分析

(R5) (R4) で記述した内容を他者に共有する機能(R2) はナビゲーションに，(R3) はレイアウトに，(R4) は注釈と内容抽出に対応している。Tashman
らの提案した Liquid Text[25] が注釈付システムで提案手法の概要

本研究では自然言語処理や画像処理技術を用いて，学会の提供コンテンツ内における関連した内容を含む箇所の対応関係を抽出する．加えて対応関係を相互参照の形でユーザーに提示し，研究理解の過程におけるコンテンツ間の移動を容易にする．こうして- 39 -

あることに対し，本研究は論文の概要確認システムであるため，本システムではナビゲーションやレイ
アウトのプロセス中でもコンテンツ自体の配置を変更する機能は提供しない。加えて関心のある研究の発見と，他者との意見や情報の交換は研究理解の過程において重要な要素と認識されている [8, 23] ため，それらを支援するための機能 (R1)(R5) を追加
した。

3.4

ユースケース

この節ではシステムの全体像を明確にするために，要件をもとにしたユースケースについて述べる．

研究発表コンテンツ内の意味的対応関係を活用した研究理解の支援

花子さんはリアルタイムで見られなかった論文発表について，あとから発表動画を視聴することにした．まず研究の概要を知ろうと思い，発表動画から自動生成した発表資料を眺めた．このうち特に関心のある提案手法を説明するスライドに目をとめ，その発表資料に対応する動画の箇所付近を視聴した．
動画を視聴する中，ユーザー実験の説明を見て，細かい条件設定が気になった．そこで動画のその部分
から，内容に関連のある論文の段落を参照した．そうすると論文には実験の詳細が記述されており，疑問を解消することができた．
発表動画を視聴後，他の人にこの研究を詳しく紹介したいと思ったため，論文も最初から確認するようにした．そうすると文中に表を参照した箇所を発見したため，クリックするとシステム上で別のページにあった表を確認することができた．また読み進
める中で似た話を論文の以前のページで既に読んだ気がしたため，類似段落をまとめたクラスターを確認した．その結果現在読んでいる段落と似た内容が他の節でも記述されていることを確認した．花子さんはシステムを使うことで効率的に研究内容を理解し，また論文の構造も深く理解することができた．

4

システム

本研究では要件分析とユースケースをもとにプロトタイプを作成した．その際に IEEE の 2 カラム国
際会議用の様式に合わせて、要素と対応関係の抽出手法を考案した．本節では最初にシステムの概要について紹介を行い，その後開発に至るまでの工程について紹介を行う．

4.1

図 1. 現状のプロトタイプの論文視聴画面 (A) 発表動画・発表資料ビュー (B) 類以度ヒートマップ (C)
論文ビュー (D) 図表参照段落発見ビュー

図 2. 論文視聴画面の一部分 (E) 論文グループビュー(F) 論文グループ詳細ビューの概要

システム概要システムは大きく論文選択画面と論文視聴画面の二つの画面に分けられる．論文選択画面では論文の概要と内容を表した WordCloud・紹介動画を確認しながら関心のある論文を選択することができる．
論文視聴画面は図 1 のような構造になっており，6
つの部分に分けることができる．
発表動画・発表資料ビュー このビューでは発表動
画と，発表動画から自動生成された発表資料，また音声の文字起こしを閲覧できる．発表資料の一覧か
ら発表の概観を眺め，円滑に自分の関心のある部分を選択することができる．加えて発表資料の１ペー
ジを選択すると，自動でそのページと内容が最も類似した論文の段落がハイライトされる．この画面は要件分析の (R2, R3) と対応している．
類以度ヒートマップ このビューでは現在選択している発表資料のページの，論文の段落に対する類似度の一覧をヒートマップを通し確認することができる．ヒートマップが濃いほど段落との内容が類似していることを表しており，ヒートマップをタップす
ると，選択した段落を論文ビューで確認することが- 40 -

できる．このビューは要件分析の (R3) と対応している．
論文ビュー このビューでは論文を閲覧することができ，要件分析では (R2) と対応している．
図表参照段落発見ビュー このビューは論文内の図表をクリックすることで閲覧することができる．ビュー
内の表には選択した図表が参照されている論文の段落の一覧が表示されており，行を選択することで論文の段落の詳細を確認することができる．この画面は要件分析の (R3) と対応している．
論文グループビュー このビューは論文の段落を内
容の類似度に応じてクラスタリングした結果を表示する．クラスターを表す列をタップで選択すると，論文グループ詳細ビューでクラスターの詳細を確認できる．この画面は (R3) と対応している．
論文グループ詳細ビュー このビューはクラスターを構成する段落の一覧を示すとともにクラスターの概要を Word Cloud で要約する（図 2）．また画面下部に表示される論文のハイライト表示で，クラスターを構成する段落を確認できる．このビューは要WISS 2022

件 (R2, R3) と対応する．

4.2

分析の流れ

ここでは開発したシステムについて主にデータの処理の流れを中心に紹介する．以下の説明はコンテ
ンツ内の要素の抽出，要素間の関連の検出，ユーザーを補助する機能，システム全体の構成に分けられる．

4.2.1

コンテンツ内の要素の抽出

コンテンツ間の関連した箇所の検出を行うために，
この段階では図 3 のように各コンテンツから発表資料や図表，文字起こしなどの要素を抽出する．発表
動画については Amazon Transcribe[1] を使用し，発話内容の音声から文字起こしをする．加えて画像処理によって発表動画を一定秒数ごとにフレームに分割し，類似したフレームをまとめることで発表資料を作成する．参考となる発表動画を閲覧したとこ
ろ一枚のスライドを１分程度発表に使用していることを確認できたため，本研究では 10 秒ごとにフレー
ムを分割する．最後に発表資料の各スライドから図表を抽出し，文字認識ライブラリを用いて文章を抽出する．
論文については文字認識システムを使用し，テキスト化する．このままでは 2 段組の論文に適応できないため，正規表現を用いて各行が 2 段組か判定し，2 段組の場合は行を左右に分割し、左右の文章をそれぞれまとめることで文章の出現順を正しいものへと整える。そして調整した文章に対し正規表現を適用することで、節の表題と図表のキャプション，本
文を段落ごとに取り出す．加えて論文の中の図表も画像処理ライブラリを用いて抽出する．これらの操作により相互参照を行うために必要な要素を一通り抽出することができた．

4.2.2

関連箇所の対応付け

図 3. コンテンツの処理から相互参照を提示するまでの流れさせ、小規模なクラスターを最大数作成できた epsの値を採用した．
続いて図表とキャプションの紐付けを行う．しかし既存の図抽出ライブラリの図の認識精度は不十分だった．本研究では論文内の空白を認識し，領域分割することで図表を検出している．しかし領域分割をすると図表とキャプションが分離されたり、図表自体も小さな領域に余分に分割される場合がある．そこで図表が論文の本文よりも上に配置される IEEE
様式の特性を活かし，キャプションの直上に位置する領域を対応する図表として扱い、キャプションとの対応関係を記録する。ただし、本稿図４のように複数の小さな図表が組み合わさっている場合は、それらを全て包含する領域を対応する図表とした。
その他，画像処理ライブラリを用いて論文内の図表と発表資料内の図の対応関係を検出した．加えてタイムスタンプを用いることで，発表動画のタイミ
ング，文字起こし，発表資料の対応関係も導き出すことができた．

4.3

この段階では自然言語処理と画像処理により，図ユーザーを補助する機能の開発

この段階では対応関係を相互参照の形でユーザーに提示するための可視化と論文の内容を表すための可視化を作成する．発表資料と段落間の類似度を見るための可視化としてヒートマップを採用し，選択した論文の段落をハイライトを用いて指し示すことにした．加えて論文の内容を一目で理解できるように，出現頻度によって単語の大きさを変えながら並べる可視化である Word Cloud[19] を採用した．

3 のように要素間の関連箇所を自動検出する．
まず論文の段落と発表動画の文字起こしを比較する．この際に各段落と文字起こしの文章をベクト
ル化し，コサイン類似度をもとに段落と音声間の類
似度を計算した．ベクトル化手法は TF, TFIDF,
word2vec[15, 16] の平均, doc2vec[14] の 4 手法を比較し、最も優秀な TFIDF を採用した．
（詳細は
5.2 節）加えて論文の段落間の類似箇所を紐づけるために，TFIDF によって生成したベクトルを用いたクラスタリングを行った．論文内の類似した段落のグループ数は論文ごとに異なり，事前に不可知である．このため，クラスタリング手法としてはクラスタ数を事前に与えるものは避け，外れ値にも強い
DBSCAN[11, 22] を採用した．また注目した段落と関連した段落の数を削減するため，近接性基準にあたる eps を 0.01 から 1.00 の範囲で 0.01 ごとに変化

4.4

開発に用いたツール群

前段階で作成した可視化を繋ぎ合わせ，システ
ムを開発した．要素の抽出・要素間の対応付にはopenCV[2], pyocr, pdftotext, Pillow[3] を使用している．システムのバックエンドは Flask, フロントエンドは Vue.js と WordCloud, 可視化は D3.js を使用している．

- 41 -

研究発表コンテンツ内の意味的対応関係を活用した研究理解の支援

表 1. コンテンツ抽出の結果: 再現率 (適合率)

発表資料の再構成
段落の抽出
段落の抽出 (分割ミスを除いた場合)節の表題の抽出
図表キャプションの抽出
実行時間 (s)

5

論文１

論文２

論文３

論文４

1.0(1.0)0.90(0.83)
0.97(0.98)
1.0(1.0)
1.0(1.0)87.55

0.89(0.96)
0.80(0.77)
1.0(1.0)
1.0(1.0)
1.0(1.0)
174.440.87(0.77)
0.83(0.79)
0.99(0.98)
0.94(1.0)
1.0(1.0)
262.370.84(0.89)
0.77(0.75)
0.96(0.98)
1.0(1.0)
1.0(1.0)
169.65

実験

認するタスクは発表資料と文字起こしの対応，発表
動画と発表資料の対応，図表と図表番号の対応，段落と発表資料の対応，論文内の図表とスライド内の図表の対応の 5 つである．

5.1 要素の抽出
IEEE の 2 カラム国際会議用の様式を採用した
PaciﬁcVis 2022 の “Session 8: Text and MixedData” の 4 つの論文1234 に対し，開発した要素抽出
手法を適用し実行時間を計測した．加えて発表資料の再構成，段落・表題・図表キャプションの抽出という 4 つのタスクについて精度を評価した．発表資料の再構成では動画から 10 秒ずつ切り出したフレー
ムを人間の目で確認し，重複したフレームを削除することで発表資料を再構成する．その際に再現率と適合率を用いて，作成したものと自動処理した結果の一致率を計測する．続いて段落・表題・キャプションの抽出においても，人間の目で論文の原本を確認しそれぞれ正解データを作成した．その後自動抽出した結果と正解データを比較し再現率を計算した．
以上の実験の結果が表 1 である．
表題とキャプションは再現率・適合率ともに 100%に近い精度で抽出することができた．一方発表資料の再構成と段落の抽出では論文 2〜4 において精度が少し下がった．段落抽出の精度が下がった要因の多くは，段落を余分に分割してしまうなどの分割ミスである．実際に分割ミスを除いた場合の再現率は
概ね 96%以上と高い値を出している．発表資料の再構成で精度が下がった原因としては，発表資料内のアニメーションの使用が挙げられる．口頭発表では注目箇所を強調するためにアニメーションが使用されるが，その際にどこまでが同じスライドだと感じるかは視聴者によってばらつきが存在する．今回特に精度が低かった論文３では，スライド内の重要箇所を強調するためにペンを使って書き込みをしており，アルゴリズムでは書き込みのあるスライドを別のスライドとして認識したため精度が低下した．

5.2

関連箇所の対応づけ

続いて 5.1 節の実験で用いた中で特に精度がよかった論文１を用いて，追加の実験を行う．その際に確1(Mishra+ 2022)10.1109/PaciﬁcVis53943.2022.00022(Zheng+ 2022)10.1109/PaciﬁcVis53943.2022.00023
3(Wang+ 2022)10.1109/PaciﬁcVis53943.2022.00024
4(Park+ 2022)10.1109/PaciﬁcVis53943.2022.00029
2- 42 -

図 4. 一致箇所の検出結果 (左: 発表資料と文字起こしの対応， 右: 発表動画と発表資料の対応)

発表資料と文字起こしの対応 このタスクでは人間の手で発表資料の区切れに合わせて，文字起こしを分割し正解データを作成した．そして自動処理結果と正解データの分割位置が何単語ずれているのか比較した．その結果，図 4(左) のように平均のずれが3.5 単語で，６割は２単語以内のずれとなった．全体が 943 単語で 11 枚のスライドに分割されることを考えると，ずれは非常に小さいと言える．
発表動画と発表資料の対応 このタスクでは発表動
画の画面が変わったと判断した時刻が，人間とアルゴリズムによって何秒ずれるのか計測した．その結果が図 4(右) で，3〜5 秒ほどのずれが一番多いことがわかる．実験に用いた論文１の発表動画は 455 秒
で１ページの平均秒数が 45 秒であることを考えると，差は十分に小さいと考えられる．
図表と図表番号の対応 5.1 節の実験で用いた論文
1〜4 の全ての論文を使用し，36 組の図表とキャプションの紐付けを試みた．その結果全ての図表を抽出し，正しい図表番号を付加できることを確認できた．

WISS 2022

論文内の図表とスライド内の図表の対応 唯一論文とスライドで同じ図表が使用されていた論文 4 に着目し，提案アルゴリズムによる対応関係の検出精度を確認した．その結果再現率 0.64，適合率 1.00 で対応関係を取り出すことができた．失敗した原因はスライド内でのアニメーションの使用や画像の再配置が挙げられる．今後は類似スライドでの対応関係を参照することで，精度の向上が期待される．
論文の段落と文字起こしの対応 このタスクでは手動で論文と文字起こしを確認し，内容に関連性のある箇所を紐付け，正解データを作成する．アルゴリ
ズムでは各スライドに対し類似度の高い上位５段落を紐づける．正解データと比較し再現率を計測する．
その結果 TFIDF の再現率が 0.68 と一番高く，他の手法に比べ 0.3 以上高いという結果になった．

6
6.1

議論
自動抽出手法の精度に関する考察

本研究では要素の抽出と関連箇所の検出を行う手法を考案し，5 章の実験を通し性能を測定した．その結果要素抽出タスク 4 つのうち 2 つのタスクで適合率 1.0 という非常に高い精度を確認することができた．加えて関連箇所の検出タスクにおいても，発表資料と発表動画・文字起こし間の対応関係を高い精度で検出することができた．そのため，提案手法
を用いることでユーザーに対しある程度正確な対応関係を提供できることを確認することができた．一方で議論の余地のある以下の３点がある．
最初の点は発表動画からの発表資料の作成に伴う困難である．スライドウェアを用いた発表では頻繁にアニメーションが使用される．その際にどこまでを一枚のスライドウェアとして認識するかについては人によってばらつきがあり，明確な正解を設定することは困難である．開発アルゴリズムでは少しでも画面に変化があった場合では違うスライドとして認識したが，今後はユーザーのニーズに合わせ，枚数を減らしたりする機能が必要であると考えられる．
つぎに文字起こしと論文の段落に関する関連箇所の検出精度の低さである．これには複数の理由が存在する．まず 1 点目は音声認識の精度の限界である．
論文の中で定義した語句を認識しないことで，文章同士の類似度の精度が下がることがある．今後は文字認識を併用して利用することで，語句の認識を改善したいと考える．2 点目の原因はスライドの内容が複数の段落の内容を包含していることである．その場合文字起こしと段落の内容が局所的に類似していても，全体の類似度は下がる傾向にある．今後は段落と文字起こしを文単位に分割し，文同士の類似度を計算することで性能を向上させたいと考える．
最後は要素抽出にかかる計算時間の長さである．図1 のように，長い場合では処理に 4 分以上の時間を- 43 -

要することがある．一見するとこの計算時間は長く感じる．しかし論文の読み込みや発表動画の視聴に要する時間と比較すれば遥かに短い．加えて実行時
間の 50%以上は論文から図表やセクション・段落を抽出するための前処理時間である．論文は多くの場
合発表当日よりも前に公開されるため、個々のユー
ザーに発表の前に論文の前処理を行ってもらうこと
で体感時間を減少させることができる．以上から現在の実行時間は十分に実用可能である．

6.2

要件に対する達成度

本研究では 3.3 節において，学会参加者を支援するための要件を (R1-R5) の 5 つ定義した．その上で現状のシステムの達成度について議論を行う．(R1)を達成するためにシステムでは論文選択画面内で論文の概要を表す WordCloud と論文概要の表示を行った．続いて (R2) を実現するために発表動画・発
表資料ビューと論文ビューを導入し，コンテンツの本体を視聴できるようにした．そして (R3) を満たすために類似度ビューと論文グループビューと論文
グループ詳細ビューを導入した．これらのビューではユーザーは関心のある箇所から関連のある箇所へと，コンテンツを超えて素早くアクセスすることができる．加えて論文グループ詳細ビューでは類似段
落へのアクセスも容易にできるため，論文全体の構造も理解できる．一方，(R4, R5) を満たすための機能はまだ搭載していない．今後は (R4, R5) を満たすために新たなメモ機能とメモ共有機能を実装する予定である．その際にもメモと各コンテンツを紐づけることで学会参加者の作業量と認知負荷を軽減することを目指す．その事によってユーザーが研究を理解する過程において、関心のある論文の発見から研究を理解し、他者へと意見を共有するという一連のタスクを支援することが今後の目標である．

7

まとめ

本研究では学会で提供される様々なコンテンツの統合的な理解を目指し，相互参照に注目した新しい学会参加の支援の形を提案した．また支援を実現するために論文や発表動画から要素を取り出し，関連箇所を検出する手法を考案した．加えてユーザーが相互参照を目で見て確認するためのシステムのプロ
トタイプの作成を行った．そして，提案アルゴリズ
ムの性能の予備調整を行った．一方今後の研究の課
題は２点ある．１点目はユーザー自身の考えを筆記し，それを他者へ共有することの補助である．２点目
は提案手法の有効性を検証するための本格的なユー
ザー実験の実施である．システムを使用した場合と使用しなかった場合の学会参加・研究理解を比較することで，提案手法がユーザーの論文の内容理解の効率と認知負荷へどのような影響を及ぼすのか定性的に評価する．

研究発表コンテンツ内の意味的対応関係を活用した研究理解の支援

謝辞[13] E. Hu, M. A. R. Azim, and S. Heo. FluidMeet: Enabling Frictionless Transitions Between In-Group, Between-Group, and Private
Conversations During Virtual Breakout Meetings. In Proceedings of the 2022 CHI Conferenceon Human Factors in Computing Systems, CHI’22, New York, NY, USA, 2022. Association for
Computing Machinery.
[14] Q. Le and T. Mikolov. Distributed representations of sentences and documents. In International conference on machine learning, pp.
1188–1196. PMLR, 2014.
[15] T. Mikolov, K. Chen, G. Corrado, and J. Dean.
Eﬃcient estimation of word representations in
vector space. arXiv preprint arXiv:1301.3781,
2013.
[16] T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, and J. Dean. Distributed representationsof words and phrases and their compositionality. Advances in neural information processing
systems, 26, 2013.
[17] M. Morris, A. Brush, and B. Meyers. Reading
Revisited: Evaluating the Usability of Digital
Display Surfaces for Active Reading Tasks. pp.
79–86, 10 2007.
[18] P. Murali, J. Hernandez, D. McDuﬀ, K. Rowan,
J. Suh, and M. Czerwinski. AﬀectiveSpotlight:
Facilitating the Communication of Aﬀective Responses from Audience Members during Online
Presentations. In Proceedings of the 2021 CHI
Conference on Human Factors in Computing
Systems, CHI ’21, New York, NY, USA, 2021.
Association for Computing Machinery.
[19] L. Oesper, D. Merico, R. Isserlin, and G. D.
Bader. WordCloud: a Cytoscape plugin to create a visual semantic summary of networks.
Source code for biology and medicine, 6(1):7,
2011.
[20] K. O’Hara and A. Sellen. A Comparison of
Reading Paper and On-Line Documents. In
Proceedings of the ACM SIGCHI Conference on
Human Factors in Computing Systems, CHI ’97,
p. 335–342, New York, NY, USA, 1997. Association for Computing Machinery.
[21] N. Roy, M. V. Torre, U. Gadiraju, D. Maxwell,and C. Hauﬀ. Note the Highlight: Incorporating
Active Reading Tools in a Search as Learning
Environment. In Proceedings of the 2021 Conference on Human Information Interaction and
Retrieval, CHIIR ’21, pp. 229–238, New York,NY, USA, 2021. Association for Computing Machinery.
[22] E. Schubert, J. Sander, M. Ester, H. P. Kriegel,and X. Xu. DBSCAN revisited, revisited: whyand how you should (still) use DBSCAN. ACM
Transactions on Database Systems (TODS),
42(3):1–21, 2017.

研究室の皆さんには常に刺激的な議論を頂きました．特に同期の牧修平氏，Chen Xueyi 氏には精神的にも支えられました．心より感謝申し上げます．

参考文献[1] Amazon Transcribe ホームページ.
aws.amazon.com/jp/transcribe/.

https://[2] openCV ホームページ. https://opencv.org/.
[3] Pillow の ホ ー ム ペ ー ジ.
https://pillow.
readthedocs.io/en/stable/.
[4] PaciﬁcVis 2022 のホームページ.
https://
pvis2022.github.io/pvis2022/, 2022.
[5] 阿辺川 武, 相澤 彰子. 内部構造解析機能と脚注表示機能を備えた論文閲覧システム. 人工知能学
会第二種研究会資料, 2014(AM-07):03, 2014.
[6] A. Adler, A. Gujar, B. L. Harrison, K. O’Hara,
and A. Sellen. A Diary Study of Work-Related
Reading: Design Implications for Digital Reading Devices. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’98, pp. 241–248, USA, 1998. ACM
Press/Addison-Wesley Publishing Co.
[7] B. A. Aseniero, M. Constantinides, S. Joglekar,
K. Zhou, and D. Quercia. MeetCues: Supporting online meetings experience. In 2020 IEEE
Visualization Conference (VIS), pp. 236–240.
IEEE, 2020.
[8] F. Beck, S. Koch, and D. Weiskopf. Visual
Analysis and Dissemination of Scientiﬁc Literature Collections with SurVis. IEEE Transactions on Visualization and Computer Graphics,
22(1):180–189, 2016.
[9] M. El-Assady, V. Gold, C. Acevedo, C. Collins,and D. Keim. ConToVi: Multi-party conversation exploration using topic-space views. In
Computer Graphics Forum, Vol. 35, pp. 431–
440. Wiley Online Library, 2016.
[10] M. El-Assady, R. Sevastjanova, B. Gipp,
D. Keim, and C. Collins. NEREx: NamedEntity Relationship Exploration in Multi-Party
Conversations. In Computer Graphics Forum,Vol. 36, pp. 213–225. Wiley Online Library,
2017.
[11] M. Ester, H.-P. Kriegel, J. Sander, X. Xu, et al.
A density-based algorithm for discovering clusters in large spatial databases with noise. In
kdd, Vol. 96, pp. 226–231, 1996.
[12] A. Head, K. Lo, D. Kang, R. Fok, S. Skjonsberg,
D. S. Weld, and M. A. Hearst. Augmenting
Scientiﬁc Papers with Just-in-Time, PositionSensitive Deﬁnitions of Terms and Symbols. In
Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, CHI ’21,
New York, NY, USA, 2021. Association for
Computing Machinery.

[23] J. Song, C. Riedl, and T. W. Malone. Online
Mingling: Supporting Ad Hoc, Private Conversations at Virtual Conferences. In Proceedingsof the 2021 CHI Conference on Human Factors
in Computing Systems, CHI ’21. Association for
Computing Machinery, 2021.

- 44 -WISS 2022

[24] C. S. Tashman and W. K. Edwards. Active
Reading and Its Discontents: The Situations,
Problems and Ideas of Readers. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’11, pp. 2927–
2936, New York, NY, USA, 2011. Association
for Computing Machinery.

[25] C. S. Tashman and W. K. Edwards. LiquidText: A Flexible, Multitouch Environment to
Support Active Reading. In Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems, CHI ’11, pp. 3285–3294, New
York, NY, USA, 2011. Association for Computing Machinery.

未来ビジョン
本研究では様々なデータ種別のコンテンツを統合することによって，ユーザーによる研究への深い理解を支援することを目的とした．
その上で本論文では手始めとして，学会発表が行われた後を想定しユースケースを設定し，システムのプロトタイプを作成した．加えて簡易的な実験を通し，開発したデータ処理ア
ルゴリズムの性能を定量的に評価した．しかしシステムの要件として定義した，「研究に対する疑問や意見・感想を記述する機能」と「記述した内容を他者へと共有する機能」は現状実現できていない．今後はユーザーのメモも
論文や発表動画と関連づけることによって，発表後のユーザーの行動をさらに手厚く支援したいと考える．
本研究の大きなビジョンでは，学会参加における全てのプロセスを支援したいと考えている．学会参加者が行う行動は多岐に及んでお- 45 -

り，発表を聴講する前の事前の準備から研究内容を理解しその内容を他者へと還元する部分まで様々なプロセスが存在する．その中で参加者は発表プログラムや著者の過去の研究論文，
自身の記述したメモ，他者へ説明するために作成したスライドなど幅広いコンテンツに絶えず触れ続ける．そのためコンテンツの統合的な理解及び利用は学会参加における全てのプロセスにおいて必要不可欠であり，それを支援することで参加者の学会参加の方法も大きく変化すると考える．支援の一部としてプログ
ラムから自動でカレンダーアプリへ予定を追加したり，発表中のメモを自動的に発表動画・
発表資料と関連づけることなどが考えられる．
参加者の負担となっている動作を相互参照に
よりサポートすることで，参加者はより深く
研究の詳細を学び，発表者と接触する機会を有効に活用できるようになる．以上が本研究の描く未来ビジョンである．

WISS 2022

Gino .Aiki: 合気道の身体の使い方の習得を支援する MR ソフトウェア
鈴木

湧登 ∗

坂本

大介 ∗

小野

哲雄 ∗

概要. 日本の伝統的な武道である合気道には，合気道独自の身体の使い方がある．これを習得すると，“
小よく大を制す” ことができ，体格差に関係なく相手を制することができるようになる．しかし，その身体の使い方は身体の感覚を伝えなければいけないため，分かりやすく伝えることが難しい．そのため，初学者
にとって合気道の感覚を習得することの難易度が高い．そこで，本稿では合気道の身体の使い方の学習を支援する複合現実感（Mixed Reality; MR）ソフトウェアを提案する．本ソフトウェアでは合気道の「押す」
「上げる」
「倒す」
「下げる」といった技を仮想の MR オブジェクトとのインタラクションを通して体験することができる．この体験を通して合気道の基本となる身体の使い方を自然と学習する機会を提供する．本
研究では，提案するソフトウェアを試験的に大学の合気道部で使用したり，一般の人を対象にしたワークショップを行ったり，労働現場での実証実験等を通して実用性と応用可能性について検討した．

1

はじめに

合気道とは合理的に身体を使うことで，体格や体力に関係なく相手を制することを目的とした武道である．合気道は小柄な人が多い日本人が，体格差に関係なく生き残るために長い歴史の中で編み出した護身術であり，守っていかなければならない日本の大事な文化の一つである [1, 2]．女性や子どもでも大男を投げ飛ばすことができることが合気道の特徴である [3, 4] が，一方で合理的な身体の使い方を学ぶことは簡単ではない．
合気道の練習は，型の練習と身体の使い方の練習（身体操作の練習）がある [4]．型の練習とは，相手の攻撃に対して正確に決められた動きをするものである．型の見栄えが大事なので，技をかけられる方は抵抗してはならず素直に受身を取らなければいけない．しかし，街で不審者に襲われたときなどのような実戦時には，自分がいかに綺麗な技をかけても相手は技に抵抗してくる．抵抗してきた相手が自分よりも力のない人であれば，力ずくで技をかけることで相手を制することができる可能性はあるが，小さい人が大きい人を相手にする場合は力負けしてしまい技をかけることができない．そこで必要となるのが “小よく大を制す” ことを可能にする身体の使い方（力の出し方）である．これは腕の筋肉を使うのではなく体全体を使って技をかけることで実現できる．これにより小さな人でも大きな人を投げ飛ばすことが出来る．この 2 つの練習を行うことによって，体格差に関係なく相手を制することができるよ
うになる．
しかしながら，合気道の身体の使い方は言語化することが難しい．例えば練習においても「近くのボールを軽く取るような気持ちで技をかける」，
「食
∗

北海道大学

図 1. (a) システムを利用している様子．(b) ユーザの視点．

べものを口に運ぶ時と同じ力の使い方をして技をかける」などといった曖昧な指導が多い．実際に上記のような教えの通りに技をかけると “小よく大を制す” ことはできるようになるが，初心者は簡単にその感覚を掴むことが出来ない．また，指導者に 1 対1 で指導してもらえる時間が少ないのも現在合気道が抱える問題の一つである．合気道の身体の使い方
は指導者の実演を見て真似すればできるようになる
わけではないので，1 対 1 の指導が必要である．しかし，合気道は生徒の数に対して指導者の数が少ないので指導者が生徒一人当たりに割ける指導時間も限られる．ゆえに，生徒が指導者に 1 対 1 で指導してもらえる時間は非常に短い．よって，指導者なし
でもある程度のところまでは学べるようなシステムを構築することで合気道の自主学習を支援することができるだろう．
そこで本稿では，合気道の指導などで身体の使い方の感覚を表現するためによく言われている比喩表
現をユーザの周りに仮想オブジェクトとして視覚的に提示する MR 合気道学習支援システム Gino .Aiki（ぎのうどっとあいき）を提案する（図 1）．これにより，今まで直感的に伝えることが難しかった合気道の身体の使い方の感覚を簡単に共有することができ，かつ，学習者個人が自立的に練習することがで- 46 -WISS 2022

きるような環境を提供する．なお，本稿での合気道
は武田流中村派合気道を指すものとする [5]．

22.1の VR 環境での卓球トレーニングシステム [19] やYokokubo らの TracKenzan[20] など環境を再現す
る手法は多く研究されている．
さらに，環境をそのまま再現するのではなく，再現する環境の一部のパラメータを現実のものとは異なるようにする環境歪曲手法も検討されていたり[21, 22, 23]，軌道予測の提示による練習手法も提案されている [24, 25]．また，筋肉電気刺激による
直接的な技術習得を試みている研究もあり [26, 27]，
Ebisu らは音楽演奏の初心者にとって難しい正確にリズムをとる動作をユーザの腕と脚に電気を流すことによって習得させた [28]．このように今まで様々な学習支援手法が提案されてきたが，比喩表現を視覚的に表示することで学習を支援させるような手法はあまり研究されていない．類似の手法としては，
坂名らの VR 映像を用いた視覚刺激による歌唱時の発声支援システム [29] があるが，これは比喩表現の視覚化について検討したものではない．

関連研究
身体技能の習得支援

身体技能の習得を支援するための方法については今まで多くの研究がなされている．Ikeda らはゴルフの動作速度に関係なく，自分の動作と熟練者の動作をリアルタイムに重ねることのできるアルゴ
リズム（Decayed Dynamic Time Wraping）を開発し，その違いを第三者視点から観測できるような Augmented Reality（AR）環境を提案した [6]．
Yan らは HMD を用いて三人称視点から自分の動きを確認できるシステムを開発し，ダンサーに自分の姿を客観的に観察しながら練習できる環境を提供した．このような練習方法は，いわゆる「手本を見てまねる」「鏡を見てフォームを確認する」などの従来の練習方法を拡張したものだと言える．この他にも，嵐らのタットダンスの練習支援システム [8] や松井らのヘアアイロンの操作軌道の提示システム [9] など，視覚フィードバックを与えることによって正しい動きや姿勢を学習する方法を検討した研究は多い[10, 11, 12, 13]．
また，聴覚や触覚によるフィードバックを与えることで学習支援をするシステムを提案している研究もある．山本らは Web カメラを用いてユーザの体幹トレーニングの姿勢の良し悪しを判断し, BGM（background music）の再生速度の変化を用いてユーザに姿勢の変化を知らせるシステムを提案した [12]．菅家らは演奏フレーズに同期し，演奏者に叩打すべき
手足に対して触覚提示を行い，手足を動作させる感覚を経験させることでドラム学習の図る手法を提案
した [15]．さらに，視覚，聴覚，触覚フィードバックを組み合わせた学習支援の研究もある．Nakamura
らはゴルフスイングの軌道予測と非接地型力表示を用いてスイング中のスイングモーションの修正を実現するシステムを考案した [16]．これは理想の軌道からずれると正しい軌道になるようにクラブに力が加えられるというもので，視覚表現と触覚表現を組
み合わせていると言える．
一人で練習できなかったり室内で練習できないよ
うな技術の習得に対しては，Virtual Reality（VR)などの技術で練習環境を仮想的に再現する手法が取られていることが多い．Lopes らは，筋肉電気刺激で腕や足を刺激することによって，実際のスポーツにおいて受けるであろう触覚フィードバックを与えるシステムを提案しており，これを VR を組み合わせることで実際の練習に近い体験を提供している [17]．
Hoﬀard らは，触覚フィードバックのある VR スキー
トレーニングシステムを開発し，室内でスキーの練習を行えるようにした [18]．その他にも Oagaz ら

2.2

技能習得の支援対象

身体の使い方の学習を支援する研究としてはス
ポーツの技能獲得支援が盛んに研究されてきている．これまでにスキー [13, 18, 23]，スノーボード[30]，ゴルフ [16]，野球 [11]，卓球 [19, 21, 25, 31]，
テニス [32] など様々なスポーツの学習支援が行われている．また，土田らの研究 [33, 34, 35] をはじめとするダンスの練習支援システムや音楽演奏支援に関する研究などエンターテインメントの分野でも多くの研究がなされている [8, 12, 15, 28, 29]．さらに，医療における手術のトレーニングシステム [36, 37]
や，仕事場での作業技術習得支援 [38, 39] なども行われている．
武道の学習支援もよく行われている．Wennrichらが開発した VRTe do は，モーションキャプチャと VR 技術に基づいた空手の型のトレーニングシス
テムで，ゲーム方式で空手の型を学ぶことができる[40]．Han らは四方八方に太極拳のコーチを AR 技
術で表示し，頭の向きを気にせず正解の型を見ながら太極拳の型を学習できるようなシステムを提案した [41]．他にも柔道やテコンドーなど様々な武道に対しての学習支援が研究されている [42, 43]．
合気道に対しても習得支援は考えられており，代表的なものに根木らの行動的コーチングによる合気道の技の改善についての研究 [44] や Corbı́らのMyShikko[45] などの提案がある．合気道の型の練習を支援するスマートホン向けアプリケーションも開発されていたり [46]，昨今の COVID-19 の影響を鑑みて，オンラインでの合気道指導に関する研究もKantzara によって行われている [47]．しかしながら，根木らの研究や Kantzara らの研究は「初心者には合気道の感覚をつかむのが難しい」という問題点と「指導者のいない環境で自律的に学習するというこ- 47 -

Gino .Aiki: 合気道の身体の使い方の習得を支援する MR ソフトウェア

図 2. (a)「押す」，(b)「上げる」，(c)「倒す」，(d)「下げる」動作を習得する比喩を視覚表現化したもの．

とができない」という既存の練習の２つの問題点を解決しているとはいえず，Corbı́らの MyShikko やKantzara らの合気道の型を学習できるアプリケー
ションは，合気道の型の練習支援に関するものであり身体の使い方の練習を支援しているとは言えない．
その他の合気道に関する研究は，合気道の精神性や身体性に関する研究 [48, 49] や合気道と教育との関係性に関する研究 [50]，合気道の科学的解析に関する研究 [51, 52, 53] などの合気道の習得支援ではな
いものとなってしまうため，合気道の身体の使い方の習得を支援する提案や研究は未だされていない．

3

提案システム Gino .Aiki

本稿では，MR デバイス（MR グラス）である
Microsoft 社の HoloLens 2 を利用してユーザの体の周りに視覚映像を追加することで，合気道の身体の使い方の習得を支援するソフトウェア（Gino.Aiki）を提案する．従来の合気道の練習において「近くにあるボールを軽く取るような気持ちで技をかける」，「食べものを口に運ぶ時と同じ力の使い方をして技をかける」といった言葉で表現されていた感覚を MR 技術で可視化することで，言語を介せずに合気道の身体の感覚を習得することを支援する．
例えば，「手の先にあるボールを軽く取るような」感覚を呼び起こす時には，ユーザの手の少し前方に仮想的なボールを置いて，ユーザにこのボールを取らせようとする．これによって，ユーザは自分の意志に関係なく自然と合気道的な身体の使い方をすることが出来る．これにより，言語を介せずに身体の感覚を伝えられ，習得に必要な時間が短縮されることが期待される．これは，合気道で大事な「折れない腕」，「腕の張り」などのような身体の感覚が，比喩によって誘発される動作により自然に行われることで実現されるためである．また，指導者がいなくても本ソフトウェアだけで練習できるので，学習者同士で技を掛け合うことで自立的に学習することができる環境を実現する．

3.1

システム概要本ソフトウェアはゲーム開発エンジン Unity を用いて開発した（Unity 2019.4.19f1）．また，ソフト
ウェア内のメニューやボタンといったオブジェクト
やハンドトラッキング技術には Microsoft の Mixed
Reality Toolkit 2（MRTK）を用いた．Gino .Aiki
は合気道の身体の使い方を自然と体験させるためのソフトウェア群であり，現在までに 4 つのソフトウェアを開発してきている．それぞれ合気道の「押す」「上げる」「倒す」「下げる」を習得することを目的に開発されている．各ソフトウェアには MRTK のハンドトラッキング技術が使われており，主に人差
し指の指先の座標を元に仮想オブジェクトの位置を決定している．また，各ソフトウェアにおける仮想物体の大きさや表示する位置などは，事前に簡単なユーザテストを行いながら探索的に策定した．以下，
各ソフトウェアの具体的な技術構成とシステムの動
作を示す．

- 48 -

3.2「押す」動作の習得

合気道の「押す」動作を体験させるために「目の前にボールがあると思って，そのボールを取るように技をかける」という比喩表現を可視化した．ここで「押す」動作とは，両手首を相手に掴まれた状態
から相手を後ろに押し倒す動きのことである．本ソ
フトウェアにおいては MRTK のハンドトラッキン
グ機能を利用してユーザの手の先 30cm のところに
仮想的なボールを用意し，それをユーザに取ってもらう動作となる（図 2(a)）．仮想的なボールは常に

WISS 2022

図 3. 合気道部での試験的導入の様子．画像は部員が「下げる」動作を習得できるソフトウェアを使用している様子．

ユーザの手の先にくる（ユーザの両手の Ray を取得
し，取得した座標から Ray 方向に 0.3m 先に仮想オ
ブジェクトを表示する）ようプログラムされており，ユーザがボールを取ろうとしても実際にボールを取ることはできない．しかし，そのボールを取ろうとするときの人間の身体の使い方が「折れない腕」や「腕の張り」といった合気道の身体の使い方に酷似しているため，ボールを追いかけていくだけで勝手に合気道の身体の使い方ができていることになる．
これにより，ユーザは合気道の身体の使い方の感覚を掴むことができる．この「押す」動作を習得する
ソフトウェアを球体捕縛と名付けた．

3.3「上げる」動作の習得「押す」動作の習得の時に用いた「ボールを取ろうとする」比喩を上方向に向けることで合気道の「上げる」動作の習得を支援するソフトウェアを作成した（図 2(b)）．
「上げる」動作は，両手の手首を相手に掴まれた状態から自分の手を上に上げ相手の姿勢を崩す動作のことである．ユーザは自分の頭の動きに対して常に正面に表示されるようにプログラムされているメニューを片手の親指と人差し指でつまみ，自分の目先まで持ち上げる．その位置でキャリブレーションボタンを押すことで仮想オブジェク
トがユーザの膝の前付近に表示される．ソフトウェ
ア内では，キャリブレーションボタンを押した時のユーザの人差し指の指先の座標を取得しそれを元にボールの表示位置が決定される仕組みになっている．
その状態でメニューの中の Anti-Gravity ボタンを押すと膝にあったボールが上に上がっていく．ユー
ザはその上がっていくボールを取りに行こうとすることで勝手に相手を上げることが出来る．これは，ボールを取りにいく動作が「腕を脱力し，肩甲骨付
近から力を出す」という合気道の感覚と似ているために実現される．メニューにはリセットボタンがあり，これを選択することで利用を中止することができる．再度利用する際には，再キャリブレーションを行う．この「上げる」動作を習得するソフトウェ
アを重力反転と名付けた．

3.4「倒す」動作の習得

合気道の「倒す」という動作を習得させるために，ボールが遠のいていくソフトウェアを作成した（図2(c)）「．倒す」動作は，両手の掌を合わせて耐えている相手を片手で横に倒す動作である．キャリブレー
ションの仕組みやボールを追いかけるという基本的な仕組みは「上げる」動作の習得のソフトウェアと同じであるが，ボールの動く方向が異なる．メニュー
内のキャリブレーションボタンを押すと，ボールがユーザの左手前に表示され，それぞれのユーザに適した場所にボールが現れる．その後，Free-Fall ボタ
ンを押すと，ボールが斜め左奥の方に進んでいくので，ユーザがそのボールを取ろうとすると自然に相手を「倒す」ことができる．これはボールを取りにいく感覚が合気道の「折れない腕」の感覚と似ているために実現される．
「上げる」動作と同様，再度学習する時は，リセットボタンとキャリブレーション
ボタンを用いて位置調整をし直す必要がある．この「倒す」動作を習得するソフトウェアを重力正転と名付けた．

- 49 -

3.5「下げる」動作の習得

合気道の「下げる」動作を習得させるために，「指を長くして，その指で相手を落とす」という比喩表現を視覚化した（図 2(d)）．
「下げる」動作は，両手を組んで耐えている相手を両手で下に落とす動作のことである．ユーザの両手の全ての指の指先の座標を取得し，それぞれの座標に指方向平行に 30cm の棒状の仮想オブジェクトを配置することで実現される．本ソフトウェアでは，「上げる」「倒す」を学習するソフトウェアと異なり，キャリブレーションの必要はない．ソフトウェアを起動した後にユーザは，その仮想的に大きくなった手を以って下に手を下げる．この感覚が「腕の張り」といった合気道の「下げる」動作の感覚に酷似しているため，ユーザは合気道の「下げる」動作のコツを簡単に掴むことができる．この「下げる」動作を習得するソフトウェア
を五指拡張と名付けた．

Gino .Aiki: 合気道の身体の使い方の習得を支援する MR ソフトウェア

4

身体技能獲得効果の予備的検討

本ソフトウェアで提案する技術学習支援がどの程度効果があるのかを確認するために，いくつかワー
クショップや体験会を行った．これらの予備検討では，既存の合気道習得方法である「口頭による伝達」と「本ソフトウェアによる身体の使い方」の両方を体験してもらい，それぞれの学習方法についての感
想などのインタビューを行った．

4.1

合気道部での試験的導入

北海道大学武田流中村派合気道部1 の部員を対象に実際に合気道の稽古の最中に本ソフトウェアを試験的に導入し，練習をしてもらった（図 3）．参加
人数は 11 名（男性 7 名，女性 4 名）で，全員が大学生であった．試験的に導入した結果，「いつもの練習よりも分かりやすい」「他の技にも応用できそう」などの感想を得た．また，部員の中には，本システ
ムを使ってより高度な技の練習を行う者もいた．一方で，黒帯を取得しているような者の中には自分の感覚と異なると感じる者もいた．具体的には，合気道の感覚で重要な「膝の抜き」や「重心の移動」な
どの全身動作の練習の感覚が本ソフトウェアにより提供されていないことに違和感を覚えるという指摘があった．また，参加者の 1 人は「ボールを掴む」という比喩自体が分かりにくいと回答していた．

4.2

一般の方向けの体験会

2021 年 10 月に札幌市で開催された NoMaps2 において Gino .Aiki のワークショップを開催した（図4）．開催にあたっては新型コロナウイルス感染拡大防止策を徹底して行った．ワークショップにおいては一般の方々に既存の方法で合気道を体験してもらったあとに，本ソフトウェアで合気道の習得体験（「押す」動作と「上げる」動作）を行った．加えて，体験した動作を日常動作に応用する機会を設け，重たい荷物を上げる，重たいものを押すといった動作がどの程度楽になるのかを体験してもらった．参加
者は 11 名（男性 8 名，女性 3 名）であった．また，練習時間は 15 分ほどであった．
この結果，従来の学習方法では難しかった「折れない腕」，「腕の張り」といった感覚や「掴まれている場所を意識しない感覚」が，本ソフトウェアでは自然に掴むことができた．特に 11 名中 9 名が実際に相手を押し倒すことができたり上げたりすることができた．また，既存の練習方法では全員が規定の時間（15 分）のうちに合気道のコツを掴むことはできなかったが，本手法では，11 名中 9 名が時間内に
1

北海道大学武田流中村派合気道部． http://t-n-aikihokudai.sub.jp/
2
NoMaps2021．AR で合気道を体験するワークショップ．
https://no-maps.jp/ar aikido/

図 4. NoMaps2021 でのワークショップの様子．

「折れない腕」の感覚をはじめとする合気道の感覚を掴むことができた．さらに，アンケートでは，「ARの方が分かりやすかった」「日常動作が楽になった」
等の感想を得た．インタビューにおいても同様の感想を得られ，参加者が本ソフトウェアの利用で何らかの感覚を掴めた様子を観察することができた．また，「合気道の習得以外にもスキーの学習にも使えるのではないか」という意見もあった．また，小柄な女性が男性を後ろに押し倒している様子も観測された．一方で，ソフトウェアのキャリブレーションの段階で躓いている人も何人か見られた．特に，MR
ソフトウェア内での「メニューのボタンを押す」動
作を行えない者が多く，本ソフトウェアの体験ができないこともあった．また，「ボールが消える」という現象も発生し，システムのハンドトラッキングが一部機能していないことが確認された．

4.3

労働現場での試験的導入

合気道の「上げる」動作を習得することで，通常の身体の使い方で重いものを持ち上げるよりも身体的負荷を抑えたまま上げることができると言われている．その効果を調査するために，日本国内のデー
タセンターで，サーバの持ち上げ作業の負荷が軽減できるかどうかの予備的検討を行った．
検討では 4 名（男性 4 名）の参加者を 2 名ずつの 2
つのグループに分け，片方のグループは既存の方法（口頭伝達）で合気道を学習し，もう片方のグルー
プは Gino .Aiki で合気道を学習した．その後，通常業務（20kg のサーバを二人で持ち上げる）を行ってもらった．タスク終了後，合気道の学習によって体が楽になったかどうかや練習はしやすかったかな
どのインタビューを行った．
この結果，既存の方法で合気道を学習した場合では，「合気道の（口頭での）比喩が分かりづらく，いまいち合気道の効果を実感できなかった」という感想が聞かれた．提案手法で合気道を学習した場合では「比喩が視覚情報として表れていて直感的に分かりやすいため，合気道の効果を感じることが出来た．

- 50 -WISS 2022

普段の業務にも応用できそう」などの感想が聞かれた．また「仮にこのシステムが要求する合気道習得のための練習時間が 1 日あたり 1 時間であったとしても使いたい．
」「入社 1 年目の人に有効であると思う．
」「合気道以外の他の技術の習得にも使えそう．
」などの感想も聞かれた．一方で，若い人は元々力がある人が多く，本ソフトウェアによる支援がなくても困らないという感想も聞かれた．また，合気道の「上げる」動作の時の手の形とサーバを上げる時の手の形が異なるため，ソフトウェアで学習してもそのまま応用しにくいという意見もあった．実施した予備的検討を通して，総じて本システムがサーバのような重量物の上げ下げによる身体的負荷を軽減することができる可能性が示唆された．

5

議論

予備的検討では，提案するソフトウェアを短期間利用することで，本ソフトウェアを使用しなくても合気道の身体の使い方を覚えているユーザが確認された．これは MR による比喩表現の可視化手法の身体記憶性が高いからではないかと考えられる．ここでの身体記憶性が高いとは，一度体の感覚を覚えてしまえば，時間が経っても大体の感覚を覚えているという本稿で提案する考え方であり，自転車やスキーなどはその好例だと考える．この現象は，比喩
は一度視覚映像として共有してしまえばあとで自分でも鮮明に比喩の様子や挙動を思い返すことができるから起こったものだと考えられる．そのため，合気道に限らず，他人の感覚を比喩として映像で学習
すれば，かなり短い時間でその感覚を掴むことができるだろう．また，予備的検討の中で，「合気道の習得以外にもスキーの学習にも使えるのではないか」，「合気道以外の他の技術の習得にも使えそう」などの感想があった．これらは他のスポーツや作業においても比喩表現は一般的に使用されており，これをMR 技術によって可視化することは合気道以外にも需要があることを示している．他の武道やスポーツなどにも応用できる可能性があるだけでなく，個人ごとの感覚を共有できる可能性を秘めている．そのため，人それぞれ自分に合った比喩表現で学ぶといったことができる可能性がある．
一方で技術的な課題は残っている．特に，MR グ
ラスの視野角が狭いことは，学習の効率を妨げる要因の一つとなっている．本手法を用いる場合，比喩表現をユーザの周りの空間全てに表示することが望ましいが，現状の視野角では肩や首など顔に近すぎる部分に比喩表現を表示することはできない．また，比喩を表現化するにはその感覚を掴んでいる人が MR ソフトウェアを作らなければならないというのも課題の一つである．ある伝統的な技術を伝承させたいときに，本手法を用いて比喩表現で視覚的に伝えることができれば短期間で感覚をつかむことが- 51 -

できるかもしれないが，その MR ソフトウェアは伝承させたい人が作らなければならない．感覚を共有したい人がコンピュータで MR ソフトウェアを作れる人であれば問題ないが，そうでない人の場合は本手法は手軽に採用できるものではない．加えて，合気道の「押す」動作において，手首を掴まれたときにハンドトラッキングの精度が下がることも課題である．さらに，本手法では「仮想のボールを取ろうとしてみてください」などの言語的インタラクションを行なっている．これでは，厳密には自立したシステムとは言えないため，音声案内を用意するなどの対策が別途必要である．
また，言語的比喩を MR 表現した手法自体の限界もある．比喩表現で体の感覚を誘発できるのは上半身に限られる上，表示される比喩に多少の解釈の違いが生まれる．さらに，合気道の有段者には，自分の感覚と表示されている比喩の感覚が違うため，学習にならない可能性もある．
また，本稿では本格的な評価実験を行なっていな
いため，本稿で実施した予備的検討を持って本手法に十分な効果があるとは定量的および定性的に断言することはできない．本手法により合気道の学習支援に効果があると示すためには，既存の練習方法とMR での練習方法で時間を決めて練習し，どの程度合気道が上達したかを定性的，可能ならば定量的に評価する必要がある．しかしながら，合気道の習得度合いを示す定量的な指標は研究されていないため，信頼できる指標を作成し，その上で Gino .Aiki の効果を検証する必要がある．

6

まとめ

本稿では，合気道の身体の使い方の学習を支援す
る MR ソフトウェア Gino .Aiki を提案した．本ソ
フトウェアは合気道の「押す」
「上げる」
「倒す」
「下
げる」の４つの身体の使い方に注目し，その身体の使い方のコツを MR 表現を用いて視覚化することで合気道独自の身体の感覚をユーザに体験させた．これにより「習得するのが難しい」「一人で学習するのが難しい」といった合気道の習得における課題を解決することを試みた．本ソフトウェアの効果を検討するために，ワークショップや実際の作業現場において予備的検討を行った．この結果，一般の人々を対象としたワークショップでは「AR による合気
道体験のほうが合気道の身体の使い方が分かりやすかった」「日常動作が楽になった」などの感想を得た．この結果から Gino .Aiki は合気道の身体の使い方を短期間で体験，習得させ，身体的な負荷を軽減させる効果がある可能性が示唆された．一方で，視野角の狭さの問題や MR コンテンツの制作の問題については本ソフトウェアおよびシステムの改善点としてあげられる．今後は定量的な技能獲得についての実証に取り組んでいく．

Gino .Aiki: 合気道の身体の使い方の習得を支援する MR ソフトウェア

謝辞[13] X. Zhang, E. Wu and H. Koike. ”WatchYour-Skiing: Visualizations for VR Skiing using Real-time Body Tracking,” 2021 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct),2021, pp. 387-388, doi:
10.1109/ISMARAdjunct54149.2021.00088.

本研究の一部は，情報処理推進機構 (IPA) 「2021年度未踏 IT 人材発掘・育成事業」およびノース
テック財団「研究開発助成事業」の補助を受けて実施した．

[14] 山本 鷹人，北原 鉄朗．BGM の再生速度変化を用いた体幹トレーニング支援システム．インタラ
クション 2020 論文集．pp.212-217，2020．

参考文献[1] ガスパル, ロランド.R, 井上誠治. 日本の伝統ス
ポーツの文化性に関する研究. 1997.
[2] 安道太軌・濱田初幸・川西正志・北村尚浩：中学生の武道に対するイメージ，日本体育学会第 63回大会体育社会学専門領域発表論文集，128-133，
2012．
[3] 森山達矢．合気道の稽古者はいかに倫理性を身につけるのか：意味生成体験という観点から．体育学研究，58（1）：225-241． 2013.
[4] 北 海 道 綜 武 館 ．https://www.takedaryuhokkaidousoubukan.com/令和４年１１月２１日
閲覧．
[5] 武 田 流 中 村 派 合 気 道 ．サ イ バ ー 綜 武 館 ．
https://www.takedaryu.jp/ 令 和 4 年 9 月
21 日閲覧．
[6] A. Ikeda, D. H. Hwang and H. Koike, ”AR based
Self-sports Learning System using Decayed Dynamic TimeWarping Algorithm”, ICAT-EGVE
2018-International Conference on Artiﬁcial Reality and Telexistence and Eurographics Symposium on Virtual Environments, 2018.

[15] 菅家 浩之，寺田 努，塚本 昌彦．触覚提示に基づくドラム演奏学習支援システム．インタラクショ
ン 2015 論文集. pp.832-834，2015.
[16] T. Nakamura, D. Saito, E. Wu, and H.
Koike. Actuated Club: Modiﬁcation of GolfClub Posture with force feedback and motion prediction in VR environment. In ACM
SIGGRAPH 2020 Emerging Technologies (SIGGRAPH ’20). Association for Computing Machinery, New York, NY, USA, Article 12, 1–2.
2020. https://doi.org/10.1145/3388534.3407286[17] P. Lopes, A. Ion, and P. Baudisch. Impacto:
Simulating Physical Impact by Combining Tactile Stimulation with Electrical Muscle Stimulation. In Proceedings of the 28th Annual ACM
Symposium on User Interface Software & Technology (UIST ’15). Association for Computing
Machinery, New York, NY, USA, 11–19. 2015.
https://doi.org/10.1145/2807442.2807443[18] J. Hoﬀard, T. Nakamura, E. Wu, and H.
Koike. PushToSki - An Indoor Ski Training System Using Haptic Feedback. In ACM
SIGGRAPH 2021 Posters (SIGGRAPH ’21).
Association for Computing Machinery, New
York, NY, USA, Article 15, 1–2. 2021.
https://doi.org/10.1145/3450618.3469158[7] S. Yan, G. Ding, Z. Guan, N. Sun, H. Li, and L.
Zhang. OutsideMe: Augmenting Dancer s External Self-Image by Using A Mixed Reality System. In Proceedings of the 33rd Annual ACM
Conference Extended Abstracts on Human Factors in Computing Systems, CHI EA 15, p.
965–970, New York, NY, USA, 2015. Association for Computing Machinery.

[19] H. Oagaz, B. Schoun and M. -H. Choi.
”Performance Improvement and Skill Transfer in Table Tennis Through Training in Virtual Reality” in IEEE Transactions on Visualization and Computer Graphics. 2021. doi:
10.1109/TVCG.2021.3086403.

[8] 嵐 冠太，塚田 浩二．タットダンスの練習支援シ
ステムの提案．インタラクション 2021 論文集,
pp.277-280, 2021.

[20] A. Yokokubo, Y. Kato, I.Siio. TracKenzan: Digital Flower Arrangement Using Trackpad and Stylus Pen. In: Stephanidis, C.,
Kurosu, M., Degen, H., Reinerman-Jones, L.
(eds) HCI International 2020 - Late Breaking Papers: Multimodality and Intelligence.
HCII 2020. Lecture Notes in Computer Science(), vol 12424. Springer, Cham. 2020.
https://doi.org/10.1007/978-3-030-60117-1-25[9] 松井 菜摘，大西 鮎美，寺田 努，塚本 昌彦．ゲー
ト・スティック・ゴーストを用いたヘアアイロンの操作軌道提示手法の検討．WISS 第 29 回インタ
ラクティブシステムとソフトウェアに関するワー
クショップ. pp.57–63，2021．
[10] N. Hamanishi and J. Rekimoto. Temporal Manipulation Interface of Motion Data for Movement Observation in a Personal Training. In
Symposium on Spatial User Interaction. 1–2.
2020.
[11] 塚本 裕樹，角 薫．運動イメージを用いた投球トレーニングシステムの研究．インタラクション
2015 論文集. pp.438-441，2015.

[21] E. Wu, M. Piekenbrock, T. Nakumura, and H.
Koike. SPinPong - Virtual Reality Table Tennis
Skill Acquisition using Visual, Haptic and Temporal Cues. IEEE Transactions on Visualization
and Computer Graphics, 27(5):2566–2576, 2021.
[22] 川崎 仁史, 脇坂 崇平, 笠原 俊一, 齊藤 寛人, 原口純也, 登嶋 健太, 稲見 昌彦. けん玉できた！VR：
5 分間程度の VR トレーニングによってけん玉の技の習得を支援するシステム. エンタテインメ
ントコンピューティングシンポジウム 2020 論文集，pp. 26–32, 2020.

[12] 三浦 駿，安藤 敏彦．AR を用いたギター演奏学
習支援システムの一提案．インタラクション 2020
論文集. pp.461-463，2020．

- 52 -WISS 2022

[23] 松本 高，E. Wu，小池 英樹．時間歪曲機能を用いた VR スキートレーニングの拡張．WISS 第
29 回インタラクティブシステムとソフトウェア
に関するワークショップ. pp.64–70，2021．

[32] P. Le Noury, T. Buszard, M. Reid, and D. Farrow, Examining the representativeness of a virtual reality environment for simulation of tennis
performance, Journal of Sports Sciences, vol.
39, no. 4, pp. 412–420, 2021.
[33] S. Tsuchida, T. Terada, and M. Tsukamoto.
A system for practicing formations in dance
performance supported by self-propelledscreen. In Proceedings of the 4th Augmented Human International Conference (AH’13). Association for Computing Machinery, New York, NY, USA, 178–185. 2013.
https://doi.org/10.1145/2459236.2459266[24] E. Wu and H. Koike, ”FuturePose - Mixed Reality Martial Arts Training Using Real-Time 3D
Human Pose Forecasting With a RGB Camera,”
2019 IEEE Winter Conference on Applicationsof Computer Vision (WACV), pp. 1384-1392,
2019. doi: 10.1109/WACV.2019.00152.
[25] E. Wu and H. Koike. FuturePong: Realtime Table Tennis Trajectory Forecasting using Pose Prediction Network. In Extended
Abstracts of the 2020 CHI Conference on
Human Factors in Computing Systems (CHI
EA ’20). Association for Computing Machinery, New York, NY, USA, 1–8. 2020.
https://doi.org/10.1145/3334480.3382853[34] S. Tsuchida, T. Terada, and M. Tsukamoto.
A Dance Performance Environment in which
Performers Dance with Multiple Robotic Balls.
In Proceedings of the 7th Augmented Human International Conference 2016 (AH ’16).
Association for Computing Machinery, New
York, NY, USA, Article 12, 1–8. 2016.
https://doi.org/10.1145/2875194.2875219[26] S. Kasahara, J. Nishida, and P. Lopes. Preemptive Action: Accelerating Human Reaction using Electrical Muscle Stimulation
Without Compromising Agency. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (CHI
’19). Association for Computing Machinery,
New York, NY, USA, Paper 643, 1–15. 2019.
https://doi.org/10.1145/3290605.3300873[35] 土田 修平, 岡本 秀明, 鈴木 裕真, 金田 麟太郎,
堀 隆之, 寺田 努, 塚本 昌彦. ダンスをマスターした自身の映像を先に見ることによるダンス学習支援. 研究報告ヒューマンコンピュータインタラク
ション (HCI), 2022(6), 1-8.
[36] P. -A. Heng et al. ”A virtual-reality training system for knee arthroscopic surgery,” inIEEE Transactions on Information Technology
in Biomedicine, vol. 8, no. 2, pp. 217-227, June
2004. doi: 10.1109/TITB.2004.826720.

[27] A. Takahashi, J. Brooks, H. Kajimoto, and
P. Lopes. Increasing Electrical Muscle Stimulation’s Dexterity by means of Back of the Hand
Actuation. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (CHI ’21). Association for Computing Machinery, New York, NY, USA, Article 216, 1–12.
2021.https://doi.org/10.1145/3411764.3445761[37] T. Miki, T. Iwai, K. Kotani, J. Dang, H.
Sawada, and M. Miyake, Development of avirtual reality training system for endoscopeassisted submandibular gland removal, J.
Cranio-Maxillofac. Surg. 44(2016), No. 11, p.
1800.
[38] I. Galvan-Bobadilla, A. Ayala-Garcı́a, E.
Rodrı́guez-Gallegos and G. Arroyo-Figueroa,”Virtual reality training system for the maintenance of underground lines in power distribution system,” Third International Conferenceon Innovative Computing Technology (INTECH
2013), pp. 199-204, 2013. doi: 10.1109/INTECH.2013.6653713.
[39] M. Perez-Ramirez, G. Arroyo-Figueroa, A. Ayala. The use of a virtual reality training system
to improve technical skill in the maintenanceof live-line power distribution networks. Interactive Learning Environments 29:4, pages 527544. 2021.
[40] K. Wennrich, B. Tag, and K. Kunze. 2018.
VRTe do: the way of the virtual hand. In Proceedings of the 24th ACM Symposium on Virtual Reality Software and Technology (VRST’18). Association for Computing Machinery,
New York, NY, USA, Article 63, 1–2. 2018.
https://doi.org/10.1145/3281505.3281578[28] A. Ebisu, S. Hashizume, K. Suzuki, A.
Ishii, M. Sakashita, and Y. Ochiai. Stimulated percussions: method to control humanfor learning music by using electrical muscle
stimulation. In Proceedings of the 8th Augmented Human International Conference (AH’17). Association for Computing Machinery,
New York, NY, USA, Article 33, 1–5. 2017.
https://doi.org/10.1145/3041164.3041202[29] 坂名 純太，土田 修平，寺田 努，塚本 昌彦．歌
唱時に高音の発声ができるようになる VR 映像の提案と評価．WISS 第 29 回インタラクティブ
システムとソフトウェアに関するワークショップ.
pp.16–22，2021．
[30] B. Hament, A. Cater and P. Y. Oh, ”Coupling virtual reality and motion platforms forsnowboard training,” 2017 14th International
Conference on Ubiquitous Robots and Ambient Intelligence (URAI), pp. 556-560, 2017. doi:
10.1109/URAI.2017.7992668.
[31] S. C. Michalski, A. Szpak, D. Saredakis, T. J.
Ross, M. Billinghurst and T. Loetscher, ”Getting your game on: Using virtual reality to improve real table tennis skills”, PLoS ONE, vol.
14, no. 9, 2019.

[41] P. Han, Y. Chen, Y. Zhong, H. Wang,
and Y. Hung. My Tai-Chi coaches:anaugmented-learning tool for practicing TaiChi Chuan. In Proceedings of the 8th Aug-- 53 -

Gino .Aiki: 合気道の身体の使い方の習得を支援する MR ソフトウェア

of Ki in Aikido (2), Journal of International Society of Life Information Science. Volume 19. Issue 2. Pages 404-410. 2001.

mented Human International Conference (AH’17). Association for Computing Machinery,
New York, NY, USA, Article 25, 1–4. 2017.
https://doi.org/10.1145/3041164.3041194[53] 高須 公仁, 宮坂 裕之, 富田 豊, 本多 敏．
「折れない腕」における筋協調．国際生命情報科学会
誌． 34 巻, 1 号, p. 7-14, 公開日 2016/08/01,
Online ISSN 2424-0761, Print ISSN 1341-9226.
2016.
https://doi.org/10.18936/islis.34.1-7,
https://www.jstage.jst.go.jp/article/islis/34/1/347/-article/-char/ja[42] C. Sielużycki et al. Can Kinect aid motor learning in sportsmen?
A study
for three standing techniques in judo.
PLOS ONE 14(2):e0210260. 2019.
https://doi.org/10.1371/journal.pone.0210260[43] P. Guo. ”Eﬀectiveness of VR Technology
Based on Artiﬁcial Intelligence and Big
Data in Overcoming Psychological Barriers in Taekwondo Practical Learning”, Security and Communication Networks, vol.
2022. Article ID 3750213, 10 pages, 2022.
https://doi.org/10.1155/2022/3750213[54] Microsoft．HoloLens2.
https://www.microsoft.com/ja-jp/hololens[44] 根木 俊一，島宗 理．行動的コーチングによる合気道の技の改善．行動分析学研究 24（1），pp.59-65，
2010．
[45] A. Corbı́ and O. C. Santos. MyShikko: Modelling Knee Walking in Aikido Practice. In Adjunct Publication of the 26th Conference on
User Modeling, Adaptation and Personalization(UMAP ’18). Association for Computing Machinery, New York, NY, USA, 217–218. 2018.
https://doi.org/10.1145/3213586.3225225[46] Aikido
training-techniques．https://play.google.com/store/apps/
details?id=app.aikido training.course&hl=ja&gl=US 令和 4 年 9 月 21 日閲覧．
[47] K. Vasiliki and L. Margareta. Maintaining close
contact from a distance: digital aikido training under Covid-19 conditions – reﬂections andlessons from an online martial arts course.
Martial Arts Studies (11) , pp. 32-45. 2021.
10.18573/mas.128[48] M. A. Gordon. Awakening to wholeness: Aikido
as embodied praxis of intersubjectivity. In
O. Gunnlaugson, C. Scott, E. Sarath, & H.
Bai (Eds.), Catalyzing the ﬁeld: Second person approaches to contemplative learning (pp.
87–106). New York, NY: State University of
New York Press. 2019.
[49] D. Foster. Fighters who Don t Fight: The
Case of Aikido and Somatic Metaphorism. Qual Sociol 38, 165–183. 2015.
https://doi.org/10.1007/s11133-015-9305-4[50] M. A. Gordon. The Way of the Classroom: Aikido as Transformative and Embodied Pedagogy Through Self-Cultivation.
In: Aikido as Transformative and Embodied
Pedagogy. Palgrave Macmillan, Cham. 2019.
https://doi.org/10.1007/978-3-030-23953-4-5[51] Y. Machi, C. Liu, K. Tohei, T. Ishizaki, T.
Hamaoka, S. Kodato. The Physiological Studyof Ki in Ki Aikido (1), Journal of International
Society of Life Information Science. Volume 19.
Issue 1. Pages 100-106. 2001.
[52] Y. Machi, C. Liu, K. Tohei, T. Ishizaki, T.
Hamaoka, S. Kodato. The Physiological Study- 54 -[55] Unity．https://unity.com/ja 令和 4 年 9 月 25 日
閲覧．
[56] Microsoft
Mixed
Reality
Toolkit2．https://learn.microsoft.com/enus/windows/mixed-reality/mrtkunity/mrtk2/?view=mrtkunity-2022-05
令和 4 年 9 月 25 日閲覧．

WISS 2022

未来ビジョン

アプラットフォームを Gino と名づけ，本ソフ
トウェアはその中でも合気道の身体の使い方に注目したものであるという位置付けで Gino
.Aiki と名付けた．つまり Gino は，MR グラ
ス一つあれば今まで動画などでは学習のしにくかった身体技術が簡単に学習できるような世界を目指すものであり，既存のスマートホンの立ち位置の延長という位置付けである．Gino.Aiki はその具体例であり，他にも Gino .Ski
や Gino .Tennis など他の身体技術を獲得する
ソフトウェアも作成することができるだろう．
この研究を通して MR グラス一つあれば，合気道の身体の使い方からオリンピック選手のスキーの滑り方を学べる時代を目指している．
本稿は，そのための第一歩となる研究である．

今は YouTube などでどのようなことでも学習できる世界だ．スマートホンや PC 一つさ
えあればプログラミングから可愛い絵の描き方まで様々スキルを学ぶことができる．そのような時代において，動画では学べないことの価値は高い．本稿では，動画では学ぶことが難しい身体技能に関する研究を行なった．これは「スマートホンにアプリケーションをイン
ストールするかのように，身体技能というソ
フトウェアを，人間の身体というハードウェアに手軽にインストール可能な世界を実現した
い」というモチベーションにより行われた．誰もが簡単にコツや技能を自身の身体にインストールすることを可能にする MR ソフトウェ- 55 -WISS 2022

振りの理解を助けるためのダンス動画の自動分割
遠藤 輝貴 ∗

土田 修平 †

五十嵐 健夫 ∗概要. ダンサーがダンスの振りを覚える際，振りが短時間の動きに分割されていると理解や習得が容易になる．しかしダンス動画から振りを覚える場合はそのような振りの分割が予め存在しないため，学習者は振りを理解するために適切な分割位置を自分で見つける必要があり，これが振りの習得を困難にしていると考えられる．そこで我々はダンス動画の振りを個々の動きへと自動で分割する手法を提案する．提案手法では動画中のダンサーの身体や手の位置から視覚特徴量を，動画中の音楽から聴覚特徴量をそれぞれ計算し，これらの特徴量を Temporal Convolutional Network (TCN) に入力して，出力として得られる分割可能性のピークを検出することで動画の分割位置を求める．AIST Dance Video Database の動画から作成した学習データを用いた実験の結果，ダンス動画の分割に提案手法の視覚，聴覚特徴量の両方が役立つことを確認した．本論文では提案手法の詳細や実験結果と，自動分割の応用例として開発したダンス学習支援シス
テムについて述べる．

1

はじめに

(TCN) [1] の入力として与え，出力として得られるダンサーがダンスの振りを習得する主な手段として，指導者から直接教わる方法と，ダンス動画の振りを真似する方法とがある．前者の場合は指導者が振りを短時間の動きに分割してそれぞれの動きを 1
つ 1 つ順番に教えていくことが一般的である．例えばダンスの「技」と呼ばれる一連の動きや，切れ目なく滑らかに繋がる動きなどは 1 つの塊として練習すると効率が良く，このように振りの構成要素を考慮して分割することで，学習者は振りの理解や習得が容易になる．これに対し後者の場合，通常のダンス動画ではそのような振りの分割が存在しないため，学習者は自ら踊ることのできるレベルまで振りを理解するために適切な分割位置を自分で見つける必要がある．ダンス経験の浅い人は上述の技や身体の流れに関する知識が少ないため，自分で振りを分割す
ることが難しく，このことがダンス動画からの振りの習得を困難にしていると考えられる．
そこで我々はダンス動画の振りを時系列方向に，個々の動きへと自動で分割する手法を提案する．ダンスは音楽に合わせて身体を動かすため，振りの分割にはダンサーの動きだけではなく動画中の音楽も有用な情報になり得る．そこで提案手法ではまず，入力となるダンス動画から視覚的，聴覚的な特徴量を抽出する．視覚特徴量としては動画内のダンサーの身体や手のキーポイントの位置を推定し，その速度成分を使用する．また，聴覚特徴量としては動画に含まれる音楽からメルスペクトログラムを計算し，CNN で畳み込んだものを使用する．次にこれらの特徴量を Temporal Convolutional Network
∗
†

東京大学
神戸大学

- 56 -

分割可能性のピークを検出することで動画の分割位置を求める．
提案モデルの学習には，ダンス動画に対してその動画の分割位置をアノテーションした学習データが必要となる．我々は AIST Dance Video Database [12]のダンス動画に対して振りの分割位置を手動でアノテーションし，合計 1410 本の学習データを用意した．
この学習データを使い，視覚特徴量と聴覚特徴量の両方を使用した場合とどちらか一方のみ使用した場
合とでモデルの性能を数値的に評価したところ，両方の特徴量を使用するモデルが最も性能が高くなった．この結果から，ダンス動画の分割には視覚的なダンサーの動きの情報と聴覚的な音楽情報の両方が重要であることが分かる．
提案手法の応用例として，自動分割の結果を利用したダンス学習支援システムを作成した．具体的には，推定した分割位置で区切った動画をループ再生
することで，同じ動きの繰り返し練習を支援することができる．ループ再生するセグメント間には重なりを持たせることで，動きのつながりを理解しやすくしている．更にユーザが自動分割の細かさを調節できる機能も追加することで，ユーザの好みや熟練度に合わせた動画分割及び練習ができる．

2

関連研究

2.1 振りの分割の有効性
Rivière ら [9] は，ダンサーが動画から振りを覚える際の行動を調査し，ダンサーは動画の振りを分割して覚えていることを明らかにした．更に彼らは，手作業でダンス動画を分割するためのツールを開発
し，ダンサーや指導者に対する被験者実験を行った．
その結果，経験の浅いダンサーの場合は，自ら分割

WISS 2022

した動画よりも指導者が分割した動画のほうが振りを習得しやすいことを示した．この結果から我々は，
ダンス動画を適切に分割することは振りの習得に有効であると仮定し，動画の分割作業を指導者の代わりにコンピュータで自動化することを目的とする．

2.2

ダンスモーション分割

Shiratori ら [10] は，日本舞踊のモーションデータ
と使用されている音楽情報を入力とし，ルールベー
スでモーション分割を行った．しかし，このルール
は日本舞踊に特有の特徴を使用したものになっており，ヒップホップなどの一般的なダンスジャンルに適用することは難しい．Okada ら [6] は，CG キャ
ラクタのダンスモーションを生成するために，既存のモーションデータをルールベースで分割する手法を考案した．しかし，この手法では音楽の拍の位置は既知でなければならず，拍の位置が分からない通常のダンス動画には適用できない．
ダンス動画の拍の位置を推定するために，Pedersoli と Goto [8] は，ダンス動画の映像情報を用いた手法を考案している．この研究は，動画から推定したダンサーのポーズ情報を TCN の入力に使っている点で我々の手法と類似しているものの，動画中の音楽情報を使用していない点や推定する対象が大き
く異なる．
2.3

るためのツール「MoveOn」を開発した．このツー
ルでは動画を分割して複数のセグメントを作成し，各セグメントに対してループ再生や速度変更の設定ができる．しかし，ダンス動画の分割を人手で行う必要があるため，適切な分割位置が分からないダンス初心者が使用するのは難しい．また，たとえ熟練者であってもセグメントを 1 つ 1 つ作成するのは手間がかかる作業である．
これに対し，我々が 6 章で提案するシステムは，
自動分割した動画セグメントをユーザに表示するため，手動分割の手間が省けるだけでなく，初心者によるシステムの利用やダンスの練習支援ができると考えられる．

3
3.1

ダンス動画からのダンス学習支援システム

ダンス動画からの振りの習得を支援するアプリはいくつか存在する．ウゴトル [14] では，ダンス動画
を閲覧しながら振りを覚えるための左右反転や速度変更の機能が充実しているが，動画を分割して一部だけ再生することができない．SymPlayer [11] は
動画の左右反転や速度変更に加え，ループ再生機能が存在する．但し，ループ区間の始点と終点を手動で設定しなければならない上に，指定できる区間も1 つのみなので，振りを複数の短い動きに分割して順番に練習するには不向きである．
また，ダンス動画に対して処理を行うことで振りの習得を支援する研究も存在する．例えば，斎藤ら [16] は，ダンス動画に対して動きのニュアンスを表すオノマトペを表示することで，学習者が動きのニュアンスを理解してダンスを学びやすくしている．
Zhou ら [15] は，複数人で踊っているシンクロダンスの動画に対して，動画に映る複数人の動きの類似度を推定し，身体部位別，時間別に動きのずれを表す
ヒートマップを表示することで，シンクロダンスの練習を支援するシステムを提案している．Tsuchidaら [13] は，深層学習技術を用いて学習者が手本となるダンスをマスターして踊っている動画を生成し，それを学習者自身に見せることでダンスの学習を支援することを提案している．
Rivière ら [9] は，手作業でダンス動画を分割す- 57 -

提案手法
アルゴリズムの概要

本研究の目的は通常のカメラで撮ったダンス動画
を入力として，その動画の振りの分割位置を推定することである．提案手法の概要を図 1 に示す．はじめに，動画内のダンサーの動きから視覚特徴量を，使用されている音楽データから聴覚特徴量を，それぞれ後述の方法で計算する．次にこれらの特徴量をTCN の入力として使用する．TCN の出力は，動画の各フレーム t に対してそのフレームで動画が分割される可能性の高さを表す t の関数 p(t) であり，この p(t) のピークを検出することで，動画の分割位置を決定する．以降の節ではアルゴリズムの各段階の詳細を記す．

3.2

視覚特徴量の抽出

視覚特徴量は動画内のダンサーの動きから計算される．まず，動画内のダンサーの身体や手のキーポ
イントを AlphaPose [4] を用いて検出する．本研
究で用いるキーポイントは身体が 26 個，左右の手がそれぞれ 21 個の合計 68 個であり，キーポイントの位置は動画の左上が (0, 0)，右下が (1, 1) になる
ように正規化した座標値で求める．さらにダンサーの動きの速度に注目するため，1 フレーム前からのキーポイント位置の変化を求め，これを視覚特徴量とする．即ち，フレーム t で検出した i 番目のキー
ポイントの位置を ki (t) ∈ R2 とすると，視覚特徴
量 v(t) ∈ R68×2 の i 番目の要素 vi (t) ∈ R2 は以下の式で求めることができる．

vi (t) =)1(
ki (t) − ki (t − 1)
2

(1)

但し，最初の 12 は特徴量の値を [−0.5, 0.5] の範囲に収めるための定数である．
提案手法では 1 人のダンサーのみが映っているダ
ンス動画を対象としているが，AlphaPose の誤検出によって動画の 1 フレーム中に複数の人間が検出されてしまうケースや，1 人も検出されないケースも振りの理解を助けるためのダンス動画の自動分割

視覚特徴量
ピーク検出

分割位置

TCN
ダンス動画

聴覚特徴量

分割可能性

図 1. 提案手法のアルゴリズム概要．ダンス動画から抽出した視覚特徴量と聴覚特徴量を TCN の入力とし，出力として得られた分割可能性のピークを検出することで動画の分割位置を決定する．

存在するため，その場合の対策も必要である．前者の場合は AlphaPose がキーポイントの位置と合わせてそのキーポイントの検出の信頼度を出力することを利用し，各フレームに対して全身のキーポイン
トの信頼度の総和が最大となる人間を選択する．後者の場合は，検出されなかったフレームでのキーポ
イントの位置は前後のフレームでのキーポイント位
置から線形補間によって求める．

3.3

ると，過去だけでなく未来の情報も畳み込む点や活性化関数に exponential linear unit (ELU) [2] を使用している点が異なる．TCN による計算は各次元で独立に行い，最後に全結合層で全ての次元をまとめ，活性化関数としてシグモイド関数に通すこと
で出力 p(t) ∈ [0, 1] を得る．

3.5 ピーク検出
TCN から出力された p(t) は，動画がフレーム t

聴覚特徴量の抽出で分割される可能性であるため，最終的な分割位置を決定するために p(t) からピーク値を検出する必要がある．p(t) がフレーム t∗ でピーク値を取ること
は，p(t∗ ) が閾値を超える局所最大値であると言えるため，ピーク検出の条件は以下のように表すことができる．

聴覚特徴量は動画に含まれる音楽データから計算される．まず，動画中の音楽を短時間フーリエ変
換 (STFT) してメルスペクトログラム S を作成する．これは音の各時間での各周波数成分の強さを表す 2 次元配列であり，各要素は dB 単位で求めた後に [−0.5, 0.5] の範囲に正規化している．ここで得られたメルスペクトログラムのサンプル数が動画のフ
レーム数よりも多いため，CNN を用いて情報を圧縮し，フレーム t に対する聴覚特徴量 a(t) ∈ R16 を計算する．具体的には，t に時間的に最も近いスペ
クトログラムのサンプルのインデックスを i とすると，a(t) はa(t) = Conv2d (Si−2,...,i+2 )p(t∗ ) > h ∧ p(t∗ ) =

max

p(s)

(3)

t−w/2≤s≤t+w/2

ここで w は局所最大値を計算する窓サイズ，h はピーク検出の閾値である．この条件を満たす t∗ をp(t) から全て求め，分割位置 [t1 , t2 , . . .] とする．

4

(2)

4.1

で求めることができる．ここで Conv2d は CNN による 2 次元の畳み込みを表す．メルスペクトログラ
ムや Conv2d の計算におけるパラメータは [3] と同様に設定した．

学習データの作成
使用したダンス動画

提案手法のネットワークモデルを学習させるためにはダンス動画と分割位置をペアとする学習デー
タが必要となる．本研究では，AIST Dance Video
Database [12] のダンス動画に対して手動で分割位置を指定することで学習データを作成した．使用した動画は基礎的な動きを行う 23 秒程度の基本ダン
ス 1200 本と様々な振りを含む 52 秒程度のフリーダ
ンス 210 本の合計 1410 本であり，いずれも正面のカメラから撮影されたものである．なお，分割位置の指定作業は約 10 年のダンス経験を持つ第 1 著者が手作業で行い，所要時間は約 50 時間であった．分
割の際は全体的な基準として，技と呼ばれる一連の動きや切れ目なく滑らかに繋がるような動きは 1 つの区間となるように，その動きの開始，終了のタイ
ミングで分割を行った．

3.4

Temporal Convolutional Network
以上で求めた視覚特徴量 v(t) ∈ R68×2 と聴覚特徴量 a(t) ∈ R16 をまとめて 152 次元の特徴量を作成
し，TCN への入力として使用する．TCN は時系列
データに対して CNN を適用するモデルであり，層が深くなるにつれて隣の要素との間隔を広げて畳み込むことで過去や未来の情報を考慮した計算ができる．TCN の構造は Davies と Böck [3] を参考に作成した．[3] では TCN を用いて音楽から拍の位置を推定しており，元々の TCN のモデル [1] と比較す- 58 -WISS 2022(e)

表 1. テストデータに対する分割位置の推定結果．
(a)

(b)

(d)

(c)

適合率

再現率

f値

視覚
聴覚
視覚+聴覚

17.4
29.2
18.6

0.383
0.594
0.696

0.407
0.625
0.682

0.395
0.609
0.689

学習データ作成ツール+ (1 − l(t)) log (1 − p(t))

分割の候補点は少なすぎるとユーザの望み通りに分割できない一方で，多すぎると作業効率が悪くなるため，適切な数を設定することが望ましい．そこで我々は，動画中の音楽の拍の位置とその半分の位置を分割の候補点として設定した．AIST Dance
Video Database で使われている音楽はテンポが既知であり，動画に含まれる音声はノイズのない純粋な音楽データであるため，最初に音が大きくなった
位置を音楽の開始位置としてテンポに従って区切る
ことで分割候補点の位置を容易に計算することができる．ツール上では図 2b のように，拍の位置を大
きい逆三角で，その半分の位置を小さい逆三角で示
している．

評価実験

5.1

実験設定

}

(4)

ここで T は動画の総フレーム数である．正解ラベル l(t) は第 4 章での分割結果から計算され，指定された分割位置に最も近いフレームで 1，その両隣で0.5，それ以外で 0 を取る．α は重みを表す定数であり，ラベルの要素がほとんど 0 であることを考慮して，学習が偏らないように設定している．本実験では α = 100.0 とした．
以上の設定で，訓練データを用いてモデルの学習を行った．訓練時の最適化手法は Adam [5]，バッ
チサイズは 1，学習率は 0.001 とし，検証データによる平均損失が直近 10 エポックで改善されなければ学習をストップし，その時点でのモデルをテストデータで評価した．また比較手法のため，提案手法(視覚特徴量と聴覚特徴量を両方使うモデル) に加えて，視覚特徴量のみ，聴覚特徴量のみを用いたモデルを用意した．但し，視覚のみ，聴覚のみのモデ
ルで実験するときは，提案モデルの実験で用いた訓練，検証，テストデータと同じものを使用した．モデルは PyTorch [7] を用いて実装し，学習は Google
Colaboratory 上で GPU を使用して実行した．

分割候補点の絞り込み

5

1 ∑{α l(t) log p(t)
T t=1
T

L=−

我々は作業効率化のために図 2 のようなツールを作成し，これを用いて動画の分割を行った．このツー
ルでは中央にダンス動画を表示する画面 (図 2a)，その下にシークバーと分割の候補点 (図 2b) が表示され，ユーザは各候補点をクリックすることで分割位置を指定する．分割位置として指定された候補点はオレンジ色で塗りつぶされる．下部中央 (図 2c) には動画の再生ボタンがあり，その両隣には現在の再生位置の 1 つ前または後ろの分割候補点まで再生位
置をスキップするボタンがある．また通常の動画再生だけでなく，指定した分割位置で動画を一時停止する機能を追加している．再生モードは左下のプル
ダウン (図 2d) から変更できる．動画の読み込みや分割結果の登録は左上のボタン (図 2e) から行う．

4.3

訓練終了
エポック

はそれぞれに含まれる基本ダンスとフリーダンスの割合が等しくなるよう注意しながら 3:1:1 の比でランダムに分割し，それぞれ訓練用，検証用，テスト
用データとした．
損失 L は重みつきの binary cross-entropy を採用し，モデルの出力する分割可能性 p(t) と正解ラベル l(t) から以下の式で計算する．

図 2. 学習データ作成ツール．(a) ダンス動画．(b) 分割
候補点．(c) 再生，スキップボタン．(d) 再生モード，速度変更用プルダウン．(e) 動画読み込み，分割結果登録ボタン．

4.2

モデル

5.2 結果と考察
5.1 節の手順で実験を行い，モデルの訓練にかかったエポック数と，訓練後のモデルを用いてテストデー
タから検出した分割位置の適合率と再現率を記録した．この実験を独立に 10 回繰り返し，訓練エポッ
ク数と適合率，再現率の平均値を求め，平均適合率と平均再現率から f 値を求めた結果を表 1 に示す．
ピーク検出時の窓サイズ w は 20 とした．また閾値
h は 0.90 から 0.99 まで 0.01 ずつ変更しながら数値評価を行ったところ，全てのモデルで h = 0.98 の時に f 値が最大となったため，0.98 を採用した．

第 4 章で作成した学習データを用いて提案手法のモデルを学習し，その性能を評価した．学習データ- 59 -

振りの理解を助けるためのダンス動画の自動分割
(a)

(b)

図 3. あるテストデータに対する推定結果の比較．タイ
トルは動画ファイル名，オレンジの縦線は正解の分割位置を示す．視覚+聴覚のモデルで推定した p(t)と分割位置はそれぞれ青線と赤丸，聴覚のみのモデルの推定結果は茶色線と黒丸で示す．

表 1 から，提案手法 (視覚特徴量と聴覚特徴量を両方使うモデル) が適合率，再現率，f 値が最大となった．一方，視覚特徴量のみのモデルでは各指標の値が大きく低下した．聴覚特徴量のみのモデルは提案モデルに近い性能を出しているものの，訓練終了までのエポック数が大きくなる傾向が見られた．
この結果から，ダンス動画の分割には視覚的なダンサーの動きの情報と聴覚的な音楽情報の両方を用いるのが有益であると言える．
また，提案モデルと聴覚特徴量のみを用いたモデ
ルとで，あるテストデータに対する推定結果を比較したものを図 3 に示す．図 3 を見ると提案モデルで推定した分割可能性は聴覚のみのモデルと比べて，正解位置以外での値が小さい．他のテストデータでも同様の傾向が見られたことから，視覚情報は聴覚情報のみでは判断できない不要な候補を削除する役
割を果たしていると考えられる．
さらに提案手法において，テストデータの動画の中で f 値が最大，最小の動画の分割位置を表すグラフを図 4，5 に示す．図 4a のダンス1 は同じ動きの繰り返しになっており，音楽の拍位置に動きのアクセントが来るような振りのため，モデルによる予測が容易であったと考えられる．その一方，図 5b のダンス2 は，はっきりと音楽に合わせるのではなく柔らかく流れるような動きが多いため，分割位置の予測が難しかったと考えられる．

6

応用例

提案手法の応用例として，我々は自動分割の結果を利用してダンスの理解や習得を支援するシステムのプロトタイプを開発した．プロトタイプのインタ
フェースを図 6 に示す．読み込んだダンス動画を表示する画面 (図 6a) やシークバー (図 6b)，再生，ス
キップボタン (図 6c) は，学習データ作成時のツー
ル (図 2) と同様の設計だが，シークバー上に表示
1

https://aistdancedb.ongaaccel.jp/v1.0.0/
video/10M/gLO_sBM_c01_d14_mLO5_ch08.mp4
2
https://aistdancedb.ongaaccel.jp/v1.0.0/
video/10M/gJB_sFM_c01_d07_mJB2_ch03.mp4- 60 -

図 4. テストデータ (基本ダンス) に対する分割位置の推定結果 ((a) f 値が最大，(b) f 値が最小のもの)．
グラフの見方は図 3 と同様．
(a)

(b)

図 5. テストデータ (フリーダンス) に対する分割位置の推定結果 ((a) f 値が最大，(b) f 値が最小のもの)．グラフの見方は図 3 と同様．

される分割位置は自動推定した分割位置となっている．再生モードは 4.2 節で述べた 2 種類に加えてループ再生モード (図 6d) を追加した．ループ再生モードでは，再生開始時の再生位置の前後にある分割位置の間をループ再生することで，ユーザが同じ動きを繰り返し練習することを支援することができる．
ループ再生の範囲はシークバー上に鍵括弧 (図 6e)で表示する．但し，ループ再生の範囲は，分割位置
ちょうどではなく，少し前後にはみ出るように設定している．この理由として，分割したセグメント同士に少し重なりを持たせることで，ユーザがセグメントの境界での動きのつながりや予備動作を理解しやすくなることが挙げられる．現在の実装でははみ出す部分の長さは定数 (0.2 秒) としている．また，学習に最適な分割の細かさはユーザの好みや熟練度
によって変わりうるため，ユーザが分割の細かさを調節できるように，右下部にスライダ (図 6f) を用意した．このスライダを操作することで，3.5 節のピーク検出時の閾値 h の値を変更し，分割位置の数を調整することができる．動画の読み込みは左上のWISS 2022への適応が挙げられる．現在の学習データは第 1 著
者のみで作成しているが，振りの分割位置は絶対的なものではなく人によってある程度の差異がある．
この差異に対応するためには，まず複数のダンス経
験者に動画の分割を行ってもらって学習データを集
め，大多数の人間の好みにある程度沿う「平均的な」正解ラベルを作成する．さらにこの平均的な正解ラベルを出発点として，[17] のように Human-in-theLoop の手法で個々人の好みに沿った分割を生成することが考えられる．
また，現在は学習データの都合によりストリート
ダンスやジャズダンスを対象としているが，提案手法はダンスの種類やジャンルに特有の知識を必要としないため，民族舞踊やコンテンポラリーダンスな
ど他のダンスにも適用できる可能性がある．これらのダンスについて学習データを集め，提案手法の有効性を検証することも今後の発展として考えられる．
性能評価については，提案モデルによる分割の結果をダンス初心者や熟練者が手動分割した結果と比較することも考えられる．更に，提案手法の応用例として開発したダンス学習支援システムのプロトタイ
プに関するユーザテストを実施し，自動分割やプロ
トタイプシステムが実際にダンスの理解や習得に役立つかどうかを検証していく予定である．

(g)
(a)

(b)
(e)

(d)

(c)

(f)

図 6. 自動分割の結果を利用したダンス学習支援システ
ム．(a) ダンス動画．(b) シークバー．(c) 再生，
スキップボタン．(d) 再生モード，速度変更用プル
ダウン．(e) ループ再生の範囲を表す鍵括弧．(f )分割の細かさ調節スライダ．(g) 動画の読み込みボタン．

ボタン (図 6g) で行う．
本システムは学習者が個人で使用し，自力で振りを覚えるための分割動画を作成することを想定している．振りの自動分割機能は主に初心者のダンス習得に役立つと考えられるが，自力で振りを分割できる熟練者が動画の振りを練習する場合でも，動画を手で分割する手間が省けるという点で役に立つと考えられる．現在はプロトタイプ実装のため，事前に提案モデルで分割可能性を推定した動画しか読み込
めないが，将来的にはユーザがアップロードする任
意の動画に対しても自動で分割位置を推定できるよ
うに改善する予定である．

7

謝辞
本研究は JST CREST JPMJCR17A1 の支援を受けたものである．

参考文献

まとめと今後の課題

本研究では，ダンス動画の振りを個々の短い動きへと自動で分割する手法を提案した．提案手法は，動画内から推定したダンサーのキーポイントの速度情報により視覚特徴量を求め，動画の音楽データのメルスペクトログラムを CNN で畳み込むことで聴覚特徴量を取得する．これらの特徴量を TCN に入力して分割可能性を計算し，その中のピークを検出することで分割位置を計算した．我々は，学習デー
タ作成のためのシンプルなアノテーションツールを作成し，AIST Dance Video Database の動画に対して人手で分割位置を指定することで学習データを用意した．このデータを使用した実験の結果，提案
手法 (視覚と聴覚両方の特徴量を組み合わせたモデル) は視覚のみ，聴覚のみの特徴量を使用するモデ
ルよりも適合率，再現率，f 値の項目で優位な結果が得られた．この結果から，ダンス動画の分割には視覚的なダンサーの動きの情報と聴覚的な音楽情報の両方が役に立つことが分かる．
今後の課題として，まず人による分割位置の差異- 61 -[1] S. Bai, J. Z. Kolter, and V. Koltun. An
Empirical Evaluation of Generic Convolutional
and Recurrent Networks for Sequence Modeling.
arXiv:1803.01271, 2018.
[2] D. Clevert, T. Unterthiner, and S. Hochreiter.
Fast and Accurate Deep Network Learning by
Exponential Linear Units (ELUs). In Y. Bengio
and Y. LeCun eds., 4th International Conference on Learning Representations, ICLR 2016,
San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings, 2016.
[3] M. E. P. Davies and S. Böck. Temporal convolutional networks for musical audio beat tracking.
In 2019 27th European Signal Processing Conference (EUSIPCO), pp. 1–5, 2019.
[4] H.-S. Fang, S. Xie, Y.-W. Tai, and C. Lu.
RMPE: Regional Multi-person Pose Estimation.
In ICCV, 2017.
[5] D. P. Kingma and J. Ba. Adam: A Method
for Stochastic Optimization. In Y. Bengio andY. LeCun eds., 3rd International Conference
on Learning Representations, ICLR 2015, San
Diego, CA, USA, May 7-9, 2015, Conference
Track Proceedings, 2015.

振りの理解を助けるためのダンス動画の自動分割法. 情報処理学会 研究会報告グループウェアとネットワークサービス (GN), 2020-GN-109(33):1–8,
Jan. 2020.
[17] 山本 和彦. Human-in-the-Loop 型適応によるイ
ンタラクティブな音楽的拍節解析. 第 29 回インタ
ラクティブシステムとソフトウェアに関するワー
クショップ (WISS2021), pp. 23–29, Dec. 2021.

[6] N. Okada., N. Iwamoto., T. Fukusato., and
S. Morishima. Dance Motion Segmentation
Method based on Choreographic Primitives. In
Proceedings of the 10th International Conference on Computer Graphics Theory and Applications - GRAPP, (VISIGRAPP 2015), pp.
332–339. INSTICC, SciTePress, 2015.
[7] A. Paszke, S. Gross, F. Massa, A. Lerer,
J. Bradbury, G. Chanan, T. Killeen, Z. Lin,N. Gimelshein, L. Antiga, A. Desmaison,
A. Kopf, E. Yang, Z. DeVito, M. Raison, A. Tejani, S. Chilamkurthy, B. Steiner, L. Fang,
J. Bai, and S. Chintala. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett
eds., Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc.,
2019.
[8] F. Pedersoli and M. Goto. Dance beat tracking
from visual information alone. In Proceedingsof the 21st International Society for Music Information Retrieval Conference, (ISMIR 2020),
pp. 400–408, Montreal, Canada, Oct. 2020.
[9] J.-P. Rivière, S. F. Alaoui, B. Caramiaux, andW. E. Mackay. Capturing Movement Decomposition to Support Learning and Teaching in Contemporary Dance. Proc. ACM Hum.-Comput.
Interact., 3(CSCW), Nov. 2019.
[10] T. Shiratori, A. Nakazawa, and K. Ikeuchi. Detecting dance motion structure through music
analysis. In Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004. Proceedings., pp. 857–862, 2004.
[11] M. Tachikawa. SymPlayer -動画ミラー反転でプロの動きをマスター- (最終閲覧日：2022 年 9月 24 日). https://apps.apple.com/jp/app/id1048785434.
[12] S. Tsuchida, S. Fukayama, M. Hamasaki, and
M. Goto.
AIST Dance Video Database:Multi-genre, Multi-dancer, and Multi-camera
Database for Dance Information Processing. In
Proceedings of the 20th International Society forMusic Information Retrieval Conference, (ISMIR 2019), pp. 501–510, Delft, Netherlands,
Nov. 2019.
[13] S. Tsuchida, H. Mao, H. Okamoto, Y. Suzuki,
R. Kanada, T. Hori, T. Terada, and
M. Tsukamoto.
Dance Practice System
That Shows What You Would Look Like If You
Could Master the Dance. In Proceedings of the
8th International Conference on Movement andComputing, MOCO ’22, New York, NY, USA,2022. Association for Computing Machinery.
[14] Ugotoru Inc. ウゴトル (最終閲覧日：2022 年 9月 24 日). https://ugotoru.com/ugotoru.
[15] Z. Zhou, A. Xu, and K. Yatani. SyncUp:
Vision-Based Practice Support for Synchronized
Dancing. Proc. ACM Interact. Mob. Wearable
Ubiquitous Technol., 5(3), Sept. 2021.
[16] 斎藤 光, 徳久 弘樹, 中村 聡史, 小松 考徳. ダンス
動画へのオノマトペ付与によるダンス習得促進手- 62 -WISS 2022

リアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練
田代 優香 ∗
金 太一 †

宮藤 詩緒 ∗
五十嵐 健夫 ‡Hwang Dong-Hyun∗
小池 英樹 ∗

清藤 哲史 †

概要. 脳神経外科の顕微鏡縫合術は習得に時間を必要とする難易度の高い医療技術である．熟練の医師は多忙なため初学者の訓練に長時間付き合うことができず，初学者は単調な作業を単独で訓練する必要がある．そこで本研究は訓練のモチベーション向上のためにスコアリングやリアルタイムフィードバックの表示といったゲーミフィケーションの要素を取り入れたシステムを提案した．本研究では顕微鏡付属のカメラから取得した動画から手術に必要な技術的要素を検出し，その要素を用いてスコアを算出する．脳神経外科医によると縫合に必要な要素は速さ，正確さ，丁寧さの 3 つである．これらの技術的要素を深層学習や画像処理を用いて，器具やガーゼを追跡することによって検出する．本システムを用いて 10 人の顕微鏡縫合術初心者に実験を行った．実験の結果，UEQ(User Experience Questionnaire) と SUS(System Usability
Scale) か本システムはモチベーション向上に寄与することがわかった．

1

はじめに

脳神経外科ではバイパス手術やクリッピング術な
どの高度な顕微鏡縫合術が必要とされる [28]．顕微鏡縫合術とは，顕微鏡を覗きながら 1 ミリ前後の組織を縫合する手術である．この顕微鏡縫合術は，縫合対象となる血管の周囲を傷つけないように [7,15]，
また，術後の影響を最小限にするために 20 分から 30分といった短時間で縫合を終わらせるように [14,15]
注意を払う必要のある高度な技術である．そのため脳神経外科では現在においても手術ロボットではな
く直接術具を操作する手術が主流である．
これまで脳神経外科では，実際の手術を見て学ん
だり手術経験を積んだりすることによって顕微鏡縫合術を習得していた．しかし，近年はカテーテルを使用する血管内手術や放射線治療などの代替治療や患者の権利保護のため，若手脳神経外科医が実際の手術から学ぶ機会が減っている．そのため，少ない
手術経験で難易度の高い手術を成功させなくてはな
らない．この事態に対処するため，普段の練習では，実際の手術で用いるフットペダル式の顕微鏡や卓上顕微鏡を用意し，ラットや手羽先，シリコンチュー
ブ，ガーゼなどを縫合対象とする縫合訓練が行われている [25, 27]．なかでもガーゼ縫合は，忙しい労働時間の間でも，短い時間で簡単に行える練習方法
として，脳神経外科医の中でもよく使われる練習である．高度な顕微鏡縫合術を習得するためには，これらの縫合を約 1 万針分，数百時間練習する必要があると言われている [13,14]．しかし，人手不足の医療現場では，熟練者が常に練習に立ち会うのは困難∗

東京工業大学 情報理工学院
東京大学 医学部脳神経外科‡
東京大学 大学院情報理工学系研究科†- 63 -であるため，練習者はほとんどの時間を個人で練習する必要がある．特に初学者にとっては，自分の成長を測る指標が少ないため，単調な練習を長期間続けるためのモチベーションの維持がより難しくなる．
この課題を解決するために，図 1 に示す顕微鏡縫合術訓練のためのリアルタイムフィードバックシス
テムを提案する．本システムでは深層学習による器具検出や画像処理を用いてユーザの縫合をリアルタイムに分析し，ヘッドマウントディスプレイ (HMD)
を用いて重畳表示によるフィードバックを行う．さらに，ユーザの縫合を採点し，スコアを提供する．これらのリアルタイムフィードバックやスコアリング
といったゲーミフィケーションの技術を顕微鏡縫合に統合することで，ユーザエクスペリエンス (UX)
を向上し，単調な訓練に対するモチベーション維持，効率化を図る．
本論文の貢献は以下の通りである．

• 熟練者の着目点である，「速さ」「正確さ」「丁寧さ」を明確化し，各要素を動画内から検出することを可能とした．
• 可視化を用いたリアルタイムフィードバック
やスコアリングといったゲーミフィケーショ
ンのの要素を取り入れることで，練習者のモ
チベーションの維持を試みた．
• ユーザ実験により，本システムがモチベーショ
ン向上に貢献することを示した．

2
2.1

関連研究
縫合器具や技能の測り方

外科医の技術評価は主観的な評価と臨床結果を用いて行われてきたため，客観性に欠ける問題が挙げられる．これに対し，Doughty ら [4] や Wang ら [26]，
Egi ら [5] はロボットのセンサや，動画から機械学習

WISS 2022

図 1. (a): システム概要．(b) システムを使用している様子．(c) ユーザが装着したヘッドマウントディスプレイに顕微
鏡画像に重畳されたリアルタイムフィードバックが表示される．

を用いて評価するシステムを開発した．彼らのシス
テムでは手術技術の客観的評価を可能にした．しかし，我々がターゲットとしている脳神経外科のガーゼを用いた顕微鏡縫合術訓練である．そのため，ロボット手術ではなく手による手術を行うためセンサ
データを取得できず，訓練動画のデータも少ない．
脳神経外科でも器具の検出と評価をしている例として，Harada ら [8] は実際の医療器具にマーカーなどを装着し縫合技能を客観的かつ定量的に測り，評価する方法を示した．しかし，このシステムでは実際の器具にマーカをつけたり，トラッキングシステ
ムを構築する手間と時間がかかるため，多くの医院で導入することは難しい．
動画内から手術技能の一部を検出する例として，
Sugiyama ら [23] は外科手術における体の内部組織に対する「優しく」扱うこと定量的に測定する方法を提案した．本研究では顕微鏡縫合術に必要な技術的要素としてガーゼの扱いの丁寧さを検出する．

2.2

ゲーミフィケーション

ゲーミフィケーションとは，ゲームの要素を非ゲー
ムに取り入れていることをいう [11]．モチベーショ
ンや学習効率を上げるために，Siemon ら [22] は大学教育のグループ活動におけるゲーミフィケーショ
ンを導入したシステムを提案し，Huang ら [11] やPark ら [20] は個人の学習として修士学生の授業に取り入れた．
医療分野では，Süncksen ら [21] がゲーミフィケー
ションを X 線画像処理トレーニングに取り入れた
VR システムを開発した．彼らのシステムでは VRのコントローラーを用いて仮想空間上の器具を操作できる. しかし，彼らのシステムでは，VR 内の描画と実際の器具に差が生じる，ドメインギャップの問
題が発生する．そこで本システムでは実際の縫合器具を用いることによってドメインギャップを解消し，長時間行う単調な縫合訓練に対するモチベーションの維持のためにゲーミフィケーションを用いる．

2.3

医療における映像の表示方法

医療において臨床現場や訓練における表示方法
として，Ho ら [9] は手術機器から離れていても双- 64 -

眼顕微鏡の映像が立体的に見えるシステム，Chang
ら [3] は球体映像ベース仮想現実を用いた．本研究では HMD を用いて顕微鏡の接眼カメラの画像とフィードバックを重畳表示する．

3

提案手法

本研究ではゲーミフィケーションの要素を導入したリアルタイムフィードバックを行う顕微鏡縫合術
訓練システムを提案する．
提案システムでは, ユーザが図 1 (b) のように
HMD を装着し，顕微鏡と縫合器具を用いて顕微鏡
縫合術訓練を行う．本システムでは，顕微鏡縫合映像を撮影できる顕微鏡カメラを搭載し，カメラの映像から縫合器具や術部の状態をリアルタイムで検出する．検出された器具や術部の情報は，ユーザが装着した HMD 上に図 1 (c) のようにリアルタイムで可視化される．また，縫合終了時に，検出された器具や術部の情報からスコアリングを行うことで，擬似的な客観的評価を行う．本研究では，これらの情報の可視化によるリアルタイムフィードバックや，
スコアリングといったゲーミフィケーションの要素を縫合訓練に取り入れることで，ユーザのモチベー
ション向上 [11, 22] を図る．
本システムを実現するためには，顕微鏡画像上か
ら「技術的要素の検出」を行い，それらを HMD 上に「リアルタイムフィードバック」，さらに「スコアリング」を行う必要がある．以下の章では，各要素に関して詳しく説明を行う．

3.1

技術的要素の検出

これまでの顕微鏡縫合術訓練を単独で行う場合，ユーザは自身の上達を主観的に判断することが困難であった．先行研究での脳神経外科医への聞き取りの結果，顕微鏡縫合術に必要な要素は「速さ」「，正確さ」「，丁寧さ」の 3 点であるとわかった [24]．本研究では，顕微鏡の映像からこれらの要素を自動的に検出し，客観的な評価を行うシステムを実現した．縫合に必要な要素のうち「速さ」については Matsuura
ら [19] で用いられている物体検出ネットワークとフェーズ推定により検出する．本システムでは「正確さ」と「丁寧さ」は深層学習を用いた器具追跡とリアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練

図 2. システム概要とハードウェアのセットアップ．

縫合動画内のオプティカルフローの値から検出する．

3.2

4.2

リアルタイムフィードバック

検出された技術的要素を分析し，ユーザにリアル
タイムでフィードバックするには，リアルタイム解
析と重畳表示技術が必要である．本システムでは，
顕微鏡カメラからの映像を 30fps でリアルタイム解
析すると同時に，顕微鏡の接眼部に設置された別カ
メラをから得られた映像を別 PC でプロセッシングすることで，リアルタイム性を保持したまま，図 1(c) のように HMD での重畳表示を行う．この方法では顕微鏡からの映像をそのまま表示するため，マーカーが不要になり，ドメインギャップが解消される．

3.3

スコアリング

客観的な評価として，本研究では顕微鏡映像を用
いて自動採点を行う．初級，中級，上級の顕微鏡縫合動画を複数用意し，各動画から技術的要素を抽出する．各レベルの動画に 30 点，60 点，90 点を付与
し，技術的要素を引数として回帰分析を行い，自動採点を可能にする．

4

実装

本論文では顕微鏡画像からリアルタイムにスコアを算出し，フィードバックするシステムを実装した．
フィードバックは HMD を用いてユーザにリアルタ
イムで表示される．
本研究ではまず技術的要素の検出方法の策定を行う．次にゲーミフィケーションの要素であるスコアの算出方法を実装する．最後に HMD を用いて，縫合動画とフィードバックの重畳表示を行う．

4.1

微鏡の各接眼部に接眼カメラを 2 台設置し，1080p，
60fps で立体視ができるようにした．
図 2 はデータの流れの概要を示している．顕微
鏡カメラからの画像は，器具検出，ガーゼの動きの検出，フェーズ推定のために計算用 PC にストリーミングされた．この PC はこれらの各値を組み合わせてスコアなどのフィードバックデータを生成
し，UDP 経由でフィードバック用 PC に送信する．
フィードバック用 PC は，接眼カメラからの顕微鏡
画像を HMD の左右のディスプレイそれぞれ描画する．フィードバック用 PC から取得したデータをもとに，顕微鏡画像に重ねて視覚的フィードバックを生成する．これらの画像はリアルタイムで HMD に送信される．

システムの概要

重畳表示をリアルタイムで行うために，システム
は 2 台の PC，3 台のカメラ，HMD で構成する．図 2に示すように，本システムは顕微鏡カメラから器具
位置推定，フェーズ推定，スコアの計算を行う計算用 PC と HMD の画像処理を行うフィードバック用
PC の 2 台を使用する．単眼顕微鏡カメラを計算用
PC に接続し，1080p，60fps で PC に送信した．顕- 65 -

技術的要素の検出

脳神経外科医の意見から熟練の脳神経外科医が重視するポイントは，「速さ」，「正確さ」，「丁寧さ」であることがわかった．顕微鏡の画像からこれらを検出するためには，以下の技術的要素が必要である．

• 速さ: 1 縫合にかかる時間．
• 正確さ: 縫合器具の先端の動く範囲．
• 丁寧さ: ガーゼ全体の動き．
縫合動画に対し深層学習を用いた物体検出ネット
ワーク [19] を使用することで器具位置の推定を行い，縫合フェーズの推定を行うことが可能である．
本研究では，同様の手法で縫合時間や器具の動きの測定を行う．正確さの縫合器具の先端の位置は推定された器具位置のバウンディングボックスの角の座標とする．図 3 (a) の四角形は器具位置の例である．
また，ガーゼ全体の動きの検出には推定された器具
位置にマスクをし，その後オプティカルフロー (OF)を用いて推定を行う．推定された器具位置にマスクをかける理由は，ガーゼ全体の動きの検出時に器具の動きを無視したいからである．図 3 (b), (c) はOF によるガーゼ全体の動きの検出の例である．
初級，中級，上級，各 10 縫合分の縫合動画に対し，左器具の動きとガーゼ全体の動きを検出した結果を述べる．これらの動画は脳神経外科の医師 2 名によって初級，中級，上級のラベル付けされた．左
器具の動きについては，クラスカルウォリス検定では技術レベルによる効果が有意 ( (2) = 10.9, p =0.004 <0.01) であり，ウィルコクソンの順位和検定に Bonferroni 補正を加えた事後検定では初級と上級との間で有意な差（p = 0.0028 <0.01）が確認された．このことから上級者は初級者より動画内の中心に近い位置で左器具を扱うことがわかった．また，ガーゼ全体の動きについては，クラスカルウォ
リス検定では技術レベルによる効果が有意 ( (2) =72.2, p = 3.4e-16 <0.01) であり，ウィルコクソンの順位和検定に Bonferroni 補正を加えた事後検定
では初級と中級 （p = 9.4e-09 <0.01），中級と上WISS 2022

a

b

c

図 3. (a): 器具検出の例． (b), (c): ガーゼ全体の動きの例．(c) の緑線: (b) と (c) の間の OF のベクトル．

後に表示した．

表 1. テストデータで学習させた場合のそれぞれの回帰の MAE の大きさ．
Linear

Huber

Ridge

Poisson

8.96

7.88

11.73

10.07

4.4

級 （p = 1.7e-14 <0.01）それぞれで有意な差が確認された．これらのことから，上級者になるほど縫合中のガーゼの動きが少なくなることがわかった．

4.3

スコアリング

前節で検出した技術的要素から特徴選択と重回帰分析を用いて擬似スコアリングを算出する．特徴選
択によってスコアに必要とされる技術的要素を選択し，重回帰分析によってそれぞれの技術的要素に掛ける係数を決める．特徴選択に用いたデータは速さの指標として 1 縫合にかかった時間，正確さの指標として左右のピンセットの先端の距離，左右それぞれのピンセットの先端と結び目との距離，丁寧さの指標として OF の値を用いた．正確さと丁寧さのそ
れぞれの指標は平均と標準偏差を用いており，合計で 9 個である．用いるデータは脳神経外科医にいた
だいた縫合動画を使用した．縫合動画は初級，中級，
上級それぞれ 2 動画ずつ，合計 6 動画使用した．重回
帰分析は Linear 回帰 [6]，Huber 回帰 [12]，Ridge
回帰 [10]，Poisson 回帰 [18] の 4 つを使用した．擬
似スコアリングは初級，中級，上級のスコアを 30,
60, 90 として重回帰分析によって算出する．これらの 9 個の特徴量，4 つの回帰手法から最もスコアの
平均絶対誤差 (MAE) が小さくなる特徴量とその個数と回帰手法を選択する．
それぞれの回帰手法で最も小さい MAE の時の特徴量を用いてテストデータで擬似スコアを算出した
結果を表 1 に示す．最も MAE が小さいのは Huber
回帰であり，その時の特徴量は時間，OF の平均，左ピンセットの先端と結び目の距離の標準偏差の 3 つである．これらはそれぞれ，時間は「速さ」，左ピンセットの先端と結び目の距離は「正確さ」，OF は「丁寧さ」を代表したパラメータが選択されており，
本研究で目的とした 3 要素が選択されている．よって，本研究ではこの回帰手法と特徴量を擬似スコア
リングに使用する．決定した回帰手法と特徴量を用いて算出したスコアを図 4 (a) に示すように 1 縫合

- 66 -

視覚的フィードバック

ユーザの縫合技術の改善を支援するために，図 4に示すように検出した技術的要素に基づいて縫合中
動画に視覚的フィードバックを提示した．まず速さに対する表示は，図 4 (a) のように，システムは 1
縫合終了後の画面に現在の所要時間が前回と最速の所要時間と共に表示する．システムはスコアも同様に図 4 (a) のように表示する．これによりユーザ自身で過去の記録と比較して振り返ることができ，モ
チベーション向上に繋がることを期待する．次に正確さに対する表示は，図 4 (b), (c) に示すように，器具の先端の位置によって色の変わる円を表示する．
これによりユーザが結び目の位置から離れずに器具を操作することを促す．最後に丁寧さに対する表示は，図. 4 (d), (e) のように，ガーゼ全体が大きく動くほど赤色に近い色で長くなるバーを画面左下に表示する．これにより器具で糸やガーゼを無理に引っ張ってしまったことが視覚的にわかる．

被験者実験

5

本実験はゲーミフィケーションの要素を取り入れた本システムの有用性を評価するために提案システ
ムによってどれだけモチベーションや UX が向上するかを検証する実験を行った．提案システムを表示する条件の表示しない条件の 2 条件での被験者実験
を行った．

5.1

仮説

本実験を通して以下の 3 つの仮説を検証する．

• H1: ゲーミフィケーション要素によってモチベーションが向上する．

• H2: ゲーミフィケーション要素によって練習時間が増える．

• H3: ゲーミフィケーション要素によって UXが向上する．

5.2

実験内容

本システムの対象は縫合初心者である．縫合初心者と医学的背景を持たない学生では長期間の縫合練習に対しるモチベーション維持の難しさは同様と考えられるため，本実験では，医学的背景を持たないリアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練
a

b

c

d

e

図 4. ヘッドマウントディスプレイで見た場合の UI 動作の例．: (a) 時間とスコアが表示された結果画面．(b) ピンセッ
トが範囲内にある場合，円は緑色に変化する．(c) ピンセットが範囲外にある場合，円は赤色に変化する．(d) ガー
ゼ全体が大きく動いていないときは，左下のバーが短くなり，緑色に変化する．(e) ガーゼ全体が大きく動いている
ときは，左下のバーが長くなり，赤色に変化する．

学生を実験参加者とした．参加者は実験を行う大学に通う平均年齢 23.5 歳 (SD = 3.32) の 10 名 (女性
3 名) の学生である．また，HMD を用いた VR の経験は，1 人が経験なし，3 人が年に 1 回程度がそれ未満，2 人が半年に 1 回以上，3 人が月に 1 回以
上，1 人が週に 1 回以上だった．実験 1 時間あたりの参加報酬は 1000 円である．
被験者は図 1 (b) のように HMD を覗いて実験を行う．実験で用いる縫合器具の先端は Matsuura
ら [19] と同様に図 1 (c) のように検出精度を上げる
ために着色されている．実験を行う前に顕微鏡縫合術訓練の事前練習を行った．事前の実験から，初心者であっても安定してくると，3 縫合を 20 分で完了することができるとわかった．そこで，事前練習
では，1 縫合 7 分弱で行えるようになるまで練習してもらい，この事前練習中に VR 酔いを起こした学生や学生自身が上達できないと判断した場合は，実験には参加しないこととした．本実験は被験者内実験であり，各被験者は 1 条件 1 時間ずつ実験を行った．目や手の疲れ，集中力を考慮して練習と 2 条件の実験の間にそれぞれ 2 時間以上空けた．
本研究は以下の 2 つの条件で実験を行った．条件
D: この条件では，提案手法である円，バー，スコア，時間が表示される．円は左ピンセットの先端の位置によって色が変化し，バーはガーゼ全体が動くと長さと色が変化し，スコアと時間は前回値と最高値と共に表示される．条件 N: この条件では円，バー，ス
コア，時間が表示されない．ただし条件間で有利不利が生じないようにするため，最初の数秒間のみ縫合箇所の目標となる円を表示した．
実験の手順は以下である．(1) 条件 N を 1 縫合行う．(2) 無作為に選ばれた条件で飽きると感じるまで最大 1 時間実験を行う．(3) 条件 N で 1 縫合行う．
2 回目の別条件の実験もこの手順で行う．

5.3

評価方法

Questionnaire） [17]1 と SUS（System Usability
Scale） [2] の 2 つのアンケートを実施した．UEQ
は，モチベーションが評価項目に入っている UX を評価するために使用した．また，SUS はシステムの使いやすさを測定するために使用した．さらに 2 つの条件が終わった後に自由記述のアンケートを行った．このアンケートは 5 段階評価とその理由を記述する質問である．

6

実験結果

定量評価の結果
縫合時間 定量評価の指標でとして合計の縫合時間を測定した．合計の縫合時間は長いほどモチベーションの維持が可能であると言える．図 5 に縫合時間の結果を示す．合計の縫合時間を平均した値はそれぞれ条件 D で 2048 秒，条件 N で 2004 秒だった．合計の縫合時間の分析では条件間で有意差は見られな
かった．そのため，H2 を支持する結果は得られな
かった．また，練習の効果を測るために 1 縫合にかかる時間を計測した．1 縫合にかかる時間は短いほど上級者に近づくと言える．図 6 に実験後の 1 縫合の時間についての結果を示す．平均値は条件 D で234 秒，条件 N で 284 秒だった．実験後の時間についての対応のある t 検定を行ったところ，条件間で有意差は見られなかったが，有意傾向が見られた (p= 7.4e-2 <0.1)．

6.1

スコア 図 7 に条件それぞれにおいての実験前後の縫合のスコアの結果を示す．実験前の平均値は条件
D で-11 点，条件 N で-20 点，実験後の平均値は条件
D で 36 点，条件 N で 22 点だった．ウィルコクソンの符号順位検定を用いた結果，どちらの条件でも実験前後の縫合スコアに有意差があった (条件 D： p =9.3e-3 <0.01, 条件 N： p = 1.3e-2 <0.05)．また，
実験後の縫合のスコアの平均は条件 D で 36.22 点，
条件 N で 22.47 点だった．実験後の縫合のスコアを
条件間で分析したところ有意差は見られなかった．

6.2 定性評価の結果
UEQ の結果を図 8 に示す．UEQ の値が大きほど肯定的な値である．不等分散を仮定した 2 標本のt 検定を行ったところ，この図から見栄え，刺激，ノ
ベルティで有意差があることがわかる (p = 1.7e-2

モチベーション維持や練習効果を調べるために，定量評価として合計の縫合時間とスコアを評価した．定性評価として，UEQ（User Experience
1
User Experience Questionnaire, https://www.ueqonline.org/- 67 -WISS 2022

図 5. 合計の縫合時間の結果．

図 6. 実験後縫合時間の結果．

図 7. 実験前後のスコア．

コアの表示がモチベーション向上に役立つと答えた
理由を 2 つ述べる．1 つ目は，現在のスコアと同時に前回のスコアと最高スコアが表示されるため，自分の過去の記録と比較できるからである．2 つ目はピンセットやガーゼの動きと違い，スコアは自分では予想がつきにくいため，スコアがモチベーションに寄与したことがわかる．

図 8. UEQ の結果 (*: p <0.05, **: p <0.01, ***:
p <0.001)．

7

図 9. アンケートの結果．

<0.05, p = 3.8e-3 <0.01, p = 7.7e-4 <0.001)．また SUS スコアの平均は，条件 D の時に 72.25，条件 N の時に 62.25 だった．Bangor ら [1] の指標を参考にすると，各スコアは条件 D では「ACCEPTABLE」，条件 N では「LOW MARGINAL」である．
以上のことから，本システムは次の縫合への意欲を向上させると考えるため，H1 を支持すると考えられる．また，UEQ の結果から条件 D の方が UXが向上しているため，H3 を支持すると示唆される．
アンケートの結果を図 9 に示す．Q1. では 7 人がStrongly agree に近い 4 と 5 を選択した．Q2. では半数の被験者が Strongly disagree の 1 と 2 を選択した．その 5 人中 4 人が選択した理由として見えにくいという回答をした．Strongly agree である 5 を回答した 3 人全員がバーによってガーゼ全体を動かさないように注意できたと回答した．Q3. では被験者全員が Strongly agree の 4 か 5 を選択した．
アンケートの結果から，大半の初心者にとって円の表示はモチベーション向上に役立ったと推察される．また，バーの存在が縫合の邪魔をすることがな
く，注意に寄与したことがわかる．参加者全員がス- 68 -

議論

本論文の提案システムはモチベーション向上のために顕微鏡縫合術訓練にゲーミフィケーションの要素を導入した．
定量評価では仮説 H2 に反して縫合練習時間に有意差がなかった．しかし，UEQ の結果から UX は向上した．特に見栄え，刺激，ノベルティで有意差があった．UEQ の計算ではモチベーションに関する質問肢が刺激の項として計算される 1 ため，提案手法がモチベーション向上に寄与すると言える．
顕微鏡縫合術訓練は本来習得に時間がかかる訓練である．そのため，本提案が長期的なモチベーショ
ン向上に繋がるかどうか，長期の実験を行う必要がある．その際，ユーザごとに表示のカスタマイズが可能な UI を導入することで，長期的なモチベーショ
ン向上 [16] にも対応したい．
また，システムの限界は，HMD の慣れが使いやすさや疲れに大きく影響することである．実験参加者の中には HMD に閉塞感を感じたり酔ってきてしまう人がいた．今回の実験では HMD の慣れの問題を軽くするために顎のせを導入した．ただし，長期的に使う場合，HMD に慣れると考えらえる．

8

まとめ・今後の展望

本論文ではモチベーション向上のため，スコアリ
ングやリアルタイムフィードバックといったゲーミ
フィケーションの要素を顕微鏡縫合術訓練を導入した．提案システムでは顕微鏡縫合術に必要な技術的要素の検出，スコア算出，リアルタイム可視化を行い，実験を通してその有用性を検証した．今後の課題としてモチベーションの向上を評価するために長期的な訓練の実験やユーザによる表示のカスタマイズが考えられる．

リアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練

謝辞[13] T. Inoue, N. Kunii, A. Kumakiri, R. Otani,
A. Tamura, I. Saito, and K. Tsutsumi. The
本研究は JST CREST JPMJCR17A1，JST CREST
Role of 10–0 Suturing Training under Desktype
Microscope for the Mastery of Cerebrovascular
JPMJCR17A3，JSPS 科研費 21K17788 の助成をSurgery: The Eﬀectiveness of 80,000 Stitches.
受けた．
Surgery for Cerebral Stroke, 37(4):247–252,
2009.
参考文献
[14] T. Inoue, K. Tsutsumi, S. Adachi, S. Tanaka,
K. Saito, and N. Kunii. Eﬀectiveness of su[1] A. Bangor, P. Kortum, and J. Miller. Determinturing training with 10-0 nylon under ﬁxed anding What Individual SUS Scores Mean: Adding
maximum magniﬁcation (× 20) using desk typean Adjective Rating Scale. J. Usability Studies,microscope. Surgical Neurology, 66(2):183–187,
4(3):114–123, May 2009.
2006.
[15] T. Ishikawa, J. Moroi, N. Tamakawa, T. Mutoh,[2] J. Brooke. SUS – a quick and dirty usability
and N. Yasui. Technical Tips for Microvascuscale, pp. 189–194. 01 1996.
lar Anastomosis: How We Prepare Appropriate[3] C.-Y. Chang, H.-Y. Sung, J.-L. Guo, B.-Y.
Operative Field and Manage Troubles in Bypass
Chang, and F.-R. Kuo. Eﬀects of spherical
Surgery. Surgery for Cerebral Stroke, 38(2):77–
video-based virtual reality on nursing students
82, 2010.
learning performance in childbirth education[16] I. Kuramoto. An Entertainment-System Frametraining. Interactive Learning Environments,
work for Improving Motivation for Repetitive,
30(3):400–416, 2022.
Dull and Monotonous Activities. In I. Maurtua
ed., Human-Computer Interaction, chapter 18.
[4] H. Doughty, D. Damen, and W. Mayol-Cuevas.
IntechOpen, Rijeka, 2009.
Who’s Better? Who’s Best? Pairwise Deep
Ranking for Skill Determination.
In 2018[17] B. Laugwitz, T. Held, and M. Schrepp. ConIEEE/CVF Conference on Computer Vision
struction and Evaluation of a User Experienceand Pattern Recognition, pp. 6057–6066, 2018.
Questionnaire. Vol. 5298, pp. 63–76, 11 2008.
[5] H. Egi, M. Okajima, M. Yoshimitsu, S. Ikeda,[18] G. S. Maddala. Limited-Dependent and QualY. Miyata, H. Masugami, T. Kawahara, Y. Kuitative Variables in Econometrics. Econometrita, M. Kaneko, and T. Asahara. Objective
ric Society Monographs. Cambridge University
assessment of endoscopic surgical skills by anPress, 1983.
alyzing direction-dependent dexterity using the[19]
M. Matsuura, S. Miyafuji, E. Wu, S. Kiyofuji,Hiroshima University Endoscopic Surgical AsT.
Kin, T. Igarashi, and H. Koike. CV-Basedsessment Device (HUESAD). Surgery Today,
Analysisfor Microscopic Gauze Suturing Train38(8):705–710, Aug 2008.
ing. In Augmented Humans Conference 2021,
AHs’21, p. 169–173, New York, NY, USA, 2021.
[6] D. A. Freedman. Statistical models: theory and
Association for Computing Machinery.
practice. cambridge university press, 2009.
[20]
J. Park, D. Liu, M. Y. Yi, and R. Santhanam.
[7] D. Haga, H. Uekusa, Y. Node, S. Kubota,
GAMESIT:A gamiﬁed system for information
K. Kondo, and N. Sugo. Surgical Tips for STAtechnology training. Computers & Education,
MCA Bypass from Misato Central General Hos142:103643, 2019.
pital. Surgery for Cerebral Stroke, 49(1):64–69,
2021.
[21] M. Süncksen, H. Bendig, M. Teistler, M. Wagner, O. J. Bott, and K. Dresing. Gamiﬁca[8] K. Harada, A. Morita, Y. Minakawa, Y. M.
tion and virtual reality for teaching mobile x-ray
Baek, S. Sora, N. Sugita, T. Kimura,imaging. In 2018 IEEE 6th International ConR. Tanikawa, T. Ishikawa, and M. Mitsuishi.
ference on Serious Games and Applications forAssessing Microneurosurgical Skill with MedicoHealth (SeGAH), pp. 1–7, 2018.
Engineering Technology. World Neurosurgery,
84(4):964–971, 2015.
[22] D. Siemon and L. Eckardt. Gamiﬁcation ofTeaching in Higher Education, pp. 153–164.
[9] D. K.-h. Ho.
Using smartphone-delivered
Springer International Publishing, Cham, 2017.
stereoscopic vision in microsurgery: a feasibility study. Eye, 33(6):953–956, Jun 2019.
[23] T. Sugiyama, T. Nakamura, Y. Ito, K. Tokairin,
K. Kazumata, N. Nakayama, and K. Houkin.
[10] A. E. Hoerl and R. W. Kennard. Ridge ReA pilot study on measuring tissue motion durgression: Biased Estimation for Nonorthogonal
ing carotid surgery using video-based analyses
Problems. Technometrics, 12(1):55–67, 1970.
for the objective assessment of surgical performance. World Journal of Surgery, 43(9):2309–[11] B. Huang and K. Hew. Do points, badges and2319, 2019.
leaderboard increase learning and activity: A
quasi-experiment on the eﬀects of gamiﬁcation.
[24] Y. Tashiro, M. Matsuura, D.-H. Hwang,
12 2015.
S. Miyafuji, S. Kiyofuji, T. Kin, T. Igarashi, and[12] P. J. Huber. Robust Estimation of a Location
H. Koike. Introducing a Concept of GamiﬁcaParameter. The Annals of Mathematical Statistion to Microscopic Suturing Training. In Augtics, 35(1):73 – 101, 1964.
mented Humans 2022, AHs 2022, p. 294–297,- 69 -WISS 2022

New York, NY, USA, 2022. Association for
Computing Machinery.
[25] R. Uranishi, R. Tei, T. Sugimoto, T. Fukuda,
and K. Shinomiya.
Microsurgical Training
Methods for Microvascular Anastomosis in
Our Institute. Surgery for Cerebral Stroke,38(3):153–157, 2010.
[26] Z. Wang and A. Majewicz Fey. Deep learningwith convolutional neural network for objective
skill evaluation in robot-assisted surgery. International Journal of Computer Assisted Radiology and Surgery, 13(12):1959–1970, Dec 2018.
[27] T. Yoshikane, Y. Fujiwara, M. Uchimura,T. Miyazaki, Y. Akiyama, Y. Kimura, and
T. Kagawa. Education in Basic Techniquesof Cerebrovascular Surgery for NeurosurgicalTrainees. Surgery for Cerebral Stroke, 47(1):33–
40, 2019.
[28] 印東 雅大. 顕微鏡手術の技法超入門 - これからの脳神経外科 · 形成外科のための. メディカ出版,
2009.

- 70 -

リアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練

未来ビジョン
本論文が提案するシステムはモチベーション向上のために顕微鏡縫合術訓練にゲーミフィ
ケーションの要素を導入した．我々のシステムをより良いシステムにするために考えらえる
将来像を説明する．実際の顕微鏡縫合術では表示はされないため，スコアの大きさによって表示の有無を変更できるシステムが良いと考えられる．さらに，スコアの計算に用いている
3 つの要素から，ユーザの技術が足りていない箇所のみ表示をすることによってユーザは直すべき場所が明確になり，さらにモチベーショ
ン向上に繋がると考える．我々のシステムのターゲットは初心者であったため，今回の実験
では縫合知識のないユーザが参加者だったが，システムの内容として中級者にも効果があると考えるため，医学知識のある中級者にも効- 71 -果があるのか確かめたい．
今回のシステムではゲーミフィケーションの要素としてスコアリングやフィードバックを行った．本システムではスコアリングとスコ
アリングに用いた要素のデータを保存することができる．そのため，保存した新たなデー
タをもとにスコアリングの精度を上げていきたい．
本研究ではモチベーション向上を主な目的としてシステムを作成した．これに加えて教師側の指導の効率化に役立つポテンシャルがある．
例えば，普段は学習者が本システムを使って練習を行い，特定の点数に達したら教師にアドバイスをもらう，という練習方法にすれば，初期段階の指導を短縮することができ，効率化につながる．この仕組みはゲーミフィケーショ
ンの要素の 1 つである，訓練者への報酬という役割も果たすと考える．

WISS 2022

ユーザ嗜好と栄養摂取基準に基づくレシピ推薦手法の開発
尾関 沙羅 ∗

小寺 正明 †

石黒 勝彦 †

西村 太一 ‡

樋口 啓太 †

概要. 日々の献立作成において，栄養バランスの管理は健康維持のために重要であるが，個人の食に対する嗜好を考慮しつつ栄養バランスを両立することは簡単ではない．本研究では，ユーザの食材嗜好及び，1日の栄養バランスに基づいたレシピの推薦手法を提案する．本手法では，嗜好食材に基づく嗜好スコアと，食事摂取基準に基づく栄養ペナルティを設定する．それらを用いてレシピを推薦することで，ユーザに栄養バランスを考慮したレシピ選択を促す．また，提案手法を用いた，1 日分の献立を作成するアプリケーションを開発した．アプリケーションでは，レシピで使用している食材の入れ替えや，レシピにない食材の追加を可能にする．シミュレーション及びユーザスタディの結果から，既存の食材のみを考慮した推薦手法よりも良い栄養バランスで 1 日分の献立作成が可能なことを確認した．

1

はじめに

毎日の食事は，長年にわたり人々の健康に大きな影響を及ぼす．各国の保健機関（例：日本人の食事摂取基準 [12]）は，食事摂取基準のガイドラインを作成しており，炭水化物，タンパク質，脂質，ビタミンなどの栄養素の摂取基準量を定めている．
近年のレシピサイトでは多くのレシピを収録しており，食材名やレシピ名を用いた検索で，所望のレシピを簡単に見つけることができる．しかし，それらのレシピは食事摂取基準には配慮されていない，
脂質や塩が過多となる場合がある．また，ユーザの多くは，それぞれの食品にどれだけの栄養素が含まれているかを把握していないため，栄養バランスを考慮せず，個人の食に対する嗜好だけがレシピ選びに反映される可能性がある．
嗜好を考慮しながら，健康に配慮した単品レシピの選択を助けるようなレシピ推薦手法はいくつか提案されている [5, 6]．我々は，1 食分の栄養バランスのみに着目するのではなく，1 日を通した栄養バラ
ンスを考慮することで，無理なく健康的な食事を続けることができると考えている．これは，嗜好を重視した結果 1 食の栄養が偏っていたとしても，残りの食事で栄養バランスを改善するレシピを選択することができるからである．しかし，1 日分の献立は1 食分よりも選択するレシピ数が増えるため，毎日レシピを食事摂取基準に従いながらバランスよく組
み合わせ続けることは簡単ではない．
そこで本研究では，ユーザの食材嗜好及び，1 日の栄養バランスに基づいたレシピの推薦手法を提案する．本手法では，嗜好食材に基づく嗜好スコアと，食事摂取基準に基づく栄養ペナルティを設定する．
それらを用いてレシピを推薦することで，ユーザに∗

東京農工大学株式会社 Preferred Networks
‡
京都大学
†

- 72 -

栄養バランスを考慮したレシピ選択を促す．また，
栄養バランスを過度に考慮することで生じ得る満足度の低下を防ぐため，レシピで使用している食材の入れ替えや，レシピにない食材の追加を可能にする．
本研究の主な目的は，食材嗜好と栄養バランスを考慮した 1 日分の献立を作成する，新しいアプリケー
ションを開発することである．我々は，図 1 に示すようなコンポーネントで構成される，1 日分の献立を作成する Web アプリケーションを開発した．このアプリケーションでは，嗜好スコアと栄養ペナル
ティを各レシピで計算し，そのスコアをもとに推薦
レシピの一覧を表示する．ユーザは嗜好食材の選択やレシピの決定，レシピに使用されている食材の置
き換え，追加をすることができる．そのようなユー
ザ入力，スコアの計算，推薦レシピの更新を繰り返し，ユーザに栄養バランスを考慮した献立の作成を促す．
本稿では，提案アルゴリズムが嗜好と栄養バラン
スを両立できるかをシミュレーションによって検証した．また，このアプリケーションを用いて 1 日の献立を作成するユーザスタディを実施し有効性を確
認した．

2

関連研究

個人適応推薦 [8] には，音楽推薦 [17]，スマート通知 [10]，美的画像推薦 [1, 7]，食品推薦 [2, 3] など
多くのアプリケーションで重要な研究分野がある．
多くのレシピ情報がオンラインで公開されるようになり，レシピ推薦が推薦研究の重要なトピックになりつつある．多くの研究は，栄養情報に基づいた健康的なレシピの推薦 [5, 6, 16] に焦点を当てている．
また，個人に合わせてレシピを推薦する個人適応推薦の研究もある [15, 4]．Teng は食材の補完ネット
ワークに基づいて食材の削除，置き換え，追加を考慮した食材ベースレシピ推薦法を提案した [14]．しWISS 2022

図 1. アプリケーションのコンポーネント

かし，これまでの研究は 1 レシピもしくは 1 食分の推薦に着目した研究がほとんどである．そのため，
食事摂取基準に従って複数のレシピを組み合わせな
がら，1 日分の献立を作成することはまだ簡単ではない．本研究では，ユーザの食材嗜好及び 1 日の栄養バランスに基づいたレシピの推薦手法を提案し，献立作成アプリケーションを提供する．

3

定式化とアルゴリズム

各レシピ ri ∈ R に対して推薦スコア scorei を定義し，このスコアによって推薦を行う．scorei を繰
り返し計算することで，推薦レシピを更新する．Rは全 N レシピの集合である．レシピ ri は食材リスト{fri ,1 , fri ,2 , ...} と栄養素リスト {eri ,1 , eri ,2 , ..., eri ,L }を含み，L は基準栄養素数である．Y = {f0 , f1 , ..., fm }は嗜好食材としてユーザが M 個の全食材候補から選択した m 個の食材である．scorei は嗜好スコア
Preference(Y , ri ) と栄養素ペナルティNutrient(ri , ζ)から計算される．

scorei =1 + Preference(Y , ri )1 + Nutrient(ri , ζ)(1)

ζ はユーザが選択したレシピ {rj , rk , ...} のリストである．この推薦は反復的であるため，スコアの計
算とレシピの選択を繰り返す．なお ζ = ∅（例えば，
1 回目の反復）のとき，栄養ペナルティは 0 である．
嗜好スコア Preference(Y , ri ) は，各レシピで使用される食材と嗜好食材 Y との一致 A(Y , r) =|Y ∩ r|，置き換え B(Y , r)，追加 C(Y , r) に基づ
く 3 つの基準の重み付き和である．

- 73 -

Preference(Y , r) = αA(Y , r) + βB(Y , r)(2)
+ γC(Y , r)
ここで，係数 α，β ，γ は定数である．食材の置き換えを表す B(Y , r) は，食材と食材の M × M 隣
接行列 M を用いて求める．Mi,j には，i 番目の食材が j 番目の食材に置き換え可能な場合は 1，そうでない場合は 0 が入っている．M は食材置き換えに関する料理の知識に基づいて手作業で作成した．
また，食材の追加を表す C(Y , r) は，追加可能
な食材リスト P を用いて求める．P は，対象のレ
シピと類似したレシピで使用されている食材を参考にして決まる．レシピ間の類似度は非負行列因子法(NMF [9]) で求めた．i 番目のレシピが j 番目の食材を使用している場合は i, j の要素に 1，それ以外の場合は 0 であるレシピと食材の行列を作成し，この行列に対して NMF を実行する．上位の類似レシ
ピを使用し，類似レシピの食材から追加可能なセットを作成する．全ての実験において，各係数の値を
α = 100, β = 15, γ = 10 とした．
栄養ペナルティ Nutrient(ri , ζ) は，栄養量の過不足があるレシピに対してペナルティを加えるものである．食事摂取基準は，条件式 E = {e1 , e2 , ..., eL }で表され，l 番目の栄養素の基準 el は，摂取量の最小値と最大値を持つ el = {el,min , el,max } で表される．
ただし，栄養素の規格によっては，最小値，最大値のどちらか一方しかとならないものもある（例：ビタミ
ン C は摂取量の上限がない）．栄養素ペナルティは，
これまで選択したレシピに候補レシピを追加したときに過不足が生じた場合のみペナルティを与える．そのため，候補レシピ r の l 番目の基準栄養素量 el,r を

ユーザ嗜好と栄養摂取基準に基づくレシピ推薦手法の開発

Algorithm 1: 嗜好食材と栄養バランスを考慮した 1 日分の献立を作成するためのレシ
ピ推薦アルゴリズム

Input: Y = {f1 , f2 , ...}, R ={r1 , r2 , ...rN }ζ = {}
for t = 1, ..., T do,ri )scores = { 1+Preference(Y} foreach
1+Nutrient(ri ,ζ)ri ∈ Rr = GetSelection(R, scores)ζ←r
Y =Y−Y∩rend
これまでの選択したレシピr̂ ∈ ζ の栄養素値の合計∑に足した値 r̂∈ζ el,r̂l が最大摂取基準
el,max を超え∑た場合には，ペナルティ(el,r + r̂∈ζ el,r̂ )/el,max − 1を返す．一方で，最小基準
el,min を下回った場合に∑は 1 − (el,r + r̂∈ζ el,r̂ )/el,min を返す．

3.1

アルゴリズムアルゴリズム 1 に，提案するレシピ推薦手順を示す．GetSelection(R, scores) はユーザに推薦結果を表示し，ユーザが選択したレシピ r を献立 ζ に追加する（scores は各レシピへのスコア scorei の集
合とする）．また，ユーザはレシピで使用する食材の置き換えや追加が可能である．なお，ユーザは入力リスト Y にいつでも食材を追加することができる．T は 1 日の献立のレシピ数である．

3.2

栄養素・レシピデータ

食材データベースには，日本機構の公式食品成分表「日本食品成分表 2015 版 7 訂 [11]」を使用した．
食品成分表には，成分名（2191 成分・食品）とその栄養データ（61 カテゴリー）が収録されている．レ
シピデータには，キッコーマンホームレシピ1 1,932
件を使用した．レシピごとに食材名や分量，調理手順などが記載されている．各レシピの成分や栄養素を人数分で割って正規化している．今回使用するレ
シピには全部で 290 の食材が使用されている．

4

レシピ作成アプリケーション

我々は，提案アルゴリズムに基づく献立作成 Web
アプリケーションを開発した．図 1 にアプリケーショ
ン画面の各コンポーネントを示す．まず，ユーザが自分の好みに応じて食材を選択すると，図 1(1-2) のように選択された食材が UI 上に表示される．食材
1を入力すると，提案手法のスコアが高い順に推薦レ
シピが表示される（図 1(3))．ユーザは，選択したレシピの材料リストを図 1(4) のように確認することができる．また，レシピ決定後には，選択した嗜
好食材をレシピの食材と置き換えたり，追加したりすることができる．あらかじめ，全てのレシピから
主食（お米，麺類）を削除しているため，ユーザは
1 日分の主食を選択する必要がある（図 1(5))．ユー
ザは決定したレシピを確認し，図 1（6）のようにレシピの詳細ページに移動することができる．赤とグレーのバーはそれぞれ，現在の栄養バランスと食事摂取基準を示している（図 1(7)）．レシピを選択す
ると，図 1(8) のように，そのレシピを作るために必要な食材リストが表示される．
図 2 は 1，4，7 個目のレシピを選択しているときの栄養素のグラフである．赤のバーは，献立の栄養
素を，グレーのバー，は食事摂取基準を示す．黄色のバーは，献立とその時選択しているレシピの総栄
養素を示している．
図 3 はレシピで使用される食材と嗜好食材（図1(2)(4)）の例である．選択した食材リストの ◦ と ×のアイコンは，その食材が献立のレシピ全体で使用済みかもしくは未使用であるかを示している．赤色のハイライトは，直近で選択したレシピで使用する食材であることを示す．緑と青のハイライトは，それぞれ入れ替え，追加を推奨していることを示す．
栄養素のガイドラインとして「日本人の食事摂取基準（2015 年版）[12]」を参照した．このガイドラ
インには 36 種類の栄養素の摂取量が記載されているため，ユーザは 36 種類の栄養基準から自由に対象栄養素をピックアップすることができる．なお，
本アルゴリズムは，あらゆる種類の栄養素の摂取目標に対応可能であり，目標となる栄養素の値を調整することで個人に合わせた栄養素の摂取が可能となる（例：高血圧予防のための減塩）．

図 2. レシピ選択による栄養素の推移

5https://www.kikkoman.co.jp/homecook/index.html(Jan.
4, 2022 Accessed.)- 74 -

シミュレーション評価

提案アルゴリズムが食事摂取基準を満たすレシピを推薦するかどうか，また食材の好みを推薦に反映するかどうかを確認するためシミュレーションによWISS 2022

6. 選択したレシピが 1,2,4 品目の場合，白米 150g
を献立に追加する．

7. 7 つのレシピが決定するまで (2)-(6) を繰り
返す．

5.2

図 3. 選択したレシピで使用される食材る評価実験を行った．シミュレーションでは，提案手法 (proposed) とベースライン (baseline) を比較した．ベースラインでは，嗜好食材とレシピの食材との一致のみを考慮する．このような食材を基にレシピを検索する方法は，は一般的なレシピサイトでも使われる手法である．具体的には，式 2 の A(Y , r)
のみに基づく手法をベースラインとして使用した．
また，食材の入れ替えや追加の有効性を確認するため，(A) 食材の置き換えや追加を許可しない条件と(B) 許可する条件のそれぞれで実施した．
対象栄養素は，タンパク質，脂質，炭水化物，食物繊維，ナトリウムの 5 種類である．表 1 の minと max は，各栄養素の基準摂取量である．シミュ
レーションでは，日本人の栄養摂取基準 [12] における 18-29 歳の男性の食事摂取基準に対応した．

5.1

手順

選択した 7 つのレシピから食事摂取基準に対する各栄養素の過不足値を計算した．栄養が食事摂取基
準範囲内であれば，過不足値は 0 とした．100 回のシミュレーションで，各栄養素の平均値と標準偏差を計算した．また，7 つのレシピ中で使用する嗜好
食材の数 (最大 10) を確認し，アルゴリズムがレシ
ピ推薦における食材の嗜好をどのように反映しているかを確認した．

5.3

1. シミュレータは嗜好食材 (selected ingredients) を野菜 6 種，肉 2 種，きのこ 1 種，魚1 種の計 10 種になるようにランダムに 1 つ選

シミュレーション結果

表 1 は，シミュレーション調査の結果である．上段は (A) 食材の入れ替えと追加を行わない，下段は(B) 食材の入れ替えと追加を行った結果である．いずれも，提案手法ではベースラインよりも全ての栄
養素の過不足の平均値が低くなった．また嗜好食材の使用量については，(A) ではベースラインで多くなり，(B) では提案手法で多くなった．シミュレー
ションの結果，提案手法では，食事摂取基準を満たそうとするレシピを選択することや，食材の入れ替えが許可されることで嗜好食材を多く使用することができることが分かった．

6

シミュレーションでは，ユーザがどのようにアプ
リケーションを利用し，どのようにレシピを選択するかを参考にした．レシピの候補には主食（米，麺）が含まれていないため，1 日 3 食分の主食として白米 150g を 1,2,4 品目のレシピを選択した後に追加する．以下のシミュレーション手順を 100 回実行した．

評価

ユーザスタディ提案手法の効果を調査するため，ユーザスタディを実施した．開発したアプリケーションを用いて，式 2 の A(Y , r) のみに基づくベースラインの検索手法と，提案手法それぞれで 1 日の献立を作成した．
アプリケーションの GUI はどちらも同じである．
ユーザスタディの参加者は 11 名（女性：1 名，男性：10 名，平均年齢 36.5 歳（SD：8.94））であり，料理経験は様々であるが，全員が日常生活における
健康的な食生活に関心を持っている．

択する．

6.1

2. アルゴリズムは全レシピのスコアを算出し推手順

ユーザ調査のセッションは全てオンラインで行った．タスクを開始する前に，アプリケーションの使用方法を説明し，練習をした．全ての参加者は，ベースラインと提案手法の両方でタスクを実行したが，タスクを行う順序は，全ての参加者についてランダ
ムであり，どちらがベースラインでどちらが提案手法なのかやその違いなどはユーザには知らせていな
い．選択する嗜好食材は 10 種類程度とし，どちらの手法でも，食材の入れ替えや追加が可能である．
また．対象となる栄養素は，タンパク質，脂質，炭水化物，食物繊維，塩である．

薦レシピを更新する．

3. シミュレータは推薦されたレシピの中から，最もスコアが高い 5 つのレシピを候補としてランダムに 1 つ選択し，献立に追加する．
4. (B) 条件では，レシピに入れ替えもしくは追加可能食材がある場合，食材を 1 つ 1/2 の確率で入れ替えもしくは追加する．

5. アリゴリズムは選択したレシピで使用した食材を嗜好食材から削除する．

- 75 -

ユーザ嗜好と栄養摂取基準に基づくレシピ推薦手法の開発

表 1. 食事摂取基準とシミュレーション結果(A) 食材の置き換えや追加を許可しない
栄養素名

最小

最大

タンパク質 86g 133g
脂質
59g
88g
炭水化物
331g 431g
食物繊維
20 g N/A
塩
N/A 8.0g
選択食材の平均使用数

平均摂取量 (SD)proposed
97.39g(12.22)
78.88g(18.01)
276.45g(41.92)
27.16g(6.61)
8.98g(1.37)
proposed
8.02 (1.15)

過不足 (SD)baseline
112.88g(28.19)
93.52g(26.44)
267.66g(38.19)
25.54g (5.96)
12.96g (3.02)
baseline
8.15 (1.03)

proposed
0.75 (2.04)
0.64 (2.46)
56.34 (38.89)
0.10 (0.42)
1.08 (1.27)

baseline
6.15 (13.70)
14.21 (17.85)
66.08 (29.11)
0.14 (0.56)
4.96 (3.02)(B) 食材の置き換えや追加を許可
栄養素名

最小

最大

タンパク質 86g 133g
脂質
59g
88g
炭水化物
331g 431g
食物繊維
20 g N/A
塩
N/A 8.0g
選択食材の平均使用数

栄養素名
タンパク質
脂質
炭水化物
食物繊維
塩

6.2

最小

86g
59g
331g
20 g
N/A

最大

133g
88g
431g
N/A
8.0g

平均摂取量 (SD)proposed
97.29g(12.22)
73.89g(10.53)
278.55g(41.92)
28.38g(5.96)
9.05g(1.25)
proposed
8.96 (1.34)

proposed
1.16 (3.03)
1.10 (4.55)
53.93 (32.80)
0.07 (0.45)
1.13 (1.16)

表 2. ユーザスタディの結果
平均摂取量 (SD)proposed
97.27g (11.19)
78.88g (18.01)
336.27g (54.66)
36.60g (4.87)
9.31g (1.50)

baseline
126.24g (17.60)
108.93g (25.61)
328.55g (74.67)
35.82g (9.82)
12.83g (3.06)

評価

選択した 7 つのレシピから食事摂取基準に対する各栄養素の過不足値を計算した．栄養が食事摂取基
準範囲内であれば，過不足値は 0 とした．各栄養素
で参加者の平均値と標準偏差を計算した．また，7 つのレシピ中で使用する嗜好食材の数を確認した．参加者は両手法でタスク終了後アンケートに回答した．
事後アンケートでは，献立や栄養バランスの満足度などを質問項目とした． 参加者は 5 段階評価（そう思わない＝ 1，どちらでもない＝ 3，そう思う＝
5）で質問に回答した．

6.3

過不足 (SD)baseline
107.88g(27.15)
87.71g(24.21)
269.57g(32.88)
27.59g (7.82)
12.77g (2.81)
baseline
8.34 (1.34)

ユーザスタディ結果

表 2 は，レシピ選択タスクの定量的な結果であり，11 人の参加者の各栄養素量の平均と過不足値の平均を含んでいる．提案手法では，タンパク質，脂質，
炭水化物，ナトリウムの過不足値が，ベースライン
条件よりも少なくなっている．食物繊維については，- 76 -

baseline
5.49 (11.84)
10.47 (14.89)
62.19 (30.97)
0.27 (0.93)
4.77 (2.81)

過不足 (SD)

proposed
0.00 (0.00)
4.11 (11.18)
18.45 (30.56)
0.00 (0.00)
1.48 (1.27)

p-valuebaseline
4.68 (7.99)
22.39 (23.96)
35.98 (31.20)
0.00 (0.00)
4.83 (3.06)

0.043∗
0.050†
0.283
N/A
0.006∗∗

表 3. 提案手法とベースラインに対するアンケート結果．
Q1: 選択したレシピへの満足度．Q2: 選択した
レシピの栄養バランスの主観評価

Q1
Q2

対象

平均

標準偏差

中央値

proposedbaseline
proposedbaseline

3.82
3.00
3.36
2.63

1.11
0.95
0.88
0.77

4
3
3
2

両条件とも過不足値はゼロであった．
Wilcoxon 符号順位検定での有意性については，
タンパク質（p < 0.05）とナトリウム（p < 0.01）で有意差が認められた．
表 3 は，参加者 11 名の回答結果である．Q1 では
レシピ選択のユーザ満足度，Q2 ではユーザが感じる栄養バランスについて確認した．Q1 では，提案条件がベースライン条件よりも平均値，中央値が高WISS 2022

図 4. 7 つのレシピを選択した際の栄養バランスの推移くなった．また，Q2 でも提案条件の方がベースラ
イン条件よりも平均値，中央値が高くなった．
実験中，参加者は自由に提案レシピの詳細ページ
を見ることができたため，提案手法を使った方がより多く詳細を見る傾向があり，タスク実施時間は提案条件とベースライン条件でそれぞれ 601.1 秒 (SD:869.8)，421.5 秒 (SD: 463.1) となった．

7

議論

シミュレーションの結果，提案アルゴリズムは食材の一致のみでレシピを推薦するベースラインと比較して，食事摂取基準をより満たすようなレシピを選択できた．食材の置き換えを行わない場合，提案
アルゴリズムは，栄養素の使用量がベースラインよりも少なくなった．しかし，置き換えと追加を行った場合，提案アルゴリズムは，嗜好食材の使用量においてベースラインを上回った．これは，提案アルゴリズムが推薦スコアの計算において，食材の置き換えと追加を考慮するためである．
ユーザ調査の結果，提案手法によるレシピ推薦の有効性が示され，ユーザは栄養バランスの取れた献立を作成できた．特に，塩の測定値は摂取基準を超えないように低塩分レシピが推薦されたことで，ベースラインと比較して大幅に減少した．多くの健康指針で，ナトリウムの過剰摂取は健康に深刻な影響を与えることが報告されているため，日々の食事において摂取基準に従うことが望ましい [13]．図 4 は，提案手法とベースラインにおける献立の栄養素推移を示している．赤が献立栄養素で，青が食事摂取基準である．ベースラインでは，栄養ペナルティを考慮していないため，3 つの栄養素が基準摂取量を超えている．一方提案手法では，食事摂取基準を満たすような献立を作成できた．この結果から，提案手法は栄養バランスの制約に適応し，食事摂取基準に基づいて推薦スコアを更新していることが分かった．

定性的フィードバックでは，表 3 の Q1 より，提案手法の方がベースラインよりもレシピ選択の満足度が高いことが分かった．自由記述では，「栄養バランスを考えてレシピを構成できた」など，提案手法の推薦結果を好意的に受け止めていることが分かった．また，「食材を入れるだけでレシピの提案が見られるのが使いやすい」，「好きな食材をいくつか入れると，それをカバーするようにおすすめレシピが変
わり，栄養素を見ながらレシピを選べるのがうれしい」など機能に対するポジティブな意見が挙がった．
一方で，「減塩メニューを優先的に提案してほしい」，「1 週間など，より長期的なレシピを選択できるようにしてほしい」という要望もあった．

- 77 -

8

まとめと今後の課題

本研究では，ユーザの食材に対する嗜好を考慮した上で，食事摂取基準を満たすように推奨レシピを更新するレシピ推奨アルゴリズムを提案した．また，提案手法を用いて，1 日分の献立を作成することができるアプリケーションを開発した．提案手法による推薦と，アプリケーションによる食材検索を比較するシミュレーションとユーザスタディを実施した．
その結果，提案手法を用いたレシピ推薦により，ユー
ザは栄養バランスの取れた 1 日分の献立を作成できた．さらに，選択したレシピに対する参加者の満足度が向上した．
今後の課題は，ユーザ個人に最適化した情報を利用することである．提案するアルゴリズムは，あらゆる食材，レシピ，栄養基準を適応させることができるが，我々のユーザ研究では，限られた情報のみを使用した．したがって我々は，ユーザに最適化された栄養素接種要件を入力できるように拡張することを計画している．また，食事制限などのユーザ入力に基づいたパーソナライズされた推薦を提供する
追加のユーザ実験の実施を計画している．

ユーザ嗜好と栄養摂取基準に基づくレシピ推薦手法の開発

参考文献

ACM Web Science Conference, WebSci ’12, p.
298–307, New York, NY, USA, 2012. Association for Computing Machinery.
[15] N. Twomey, M. Fain, A. Ponikar, and N. Sarraf. Towards Multi-Language Recipe Personalisation and Recommendation. In Proc. RecSys,
pp. 708–713, 2020.
[16] W. Wang, L. yu Duan, H. Jiang, P. Jing,
X. Song, and L. Nie. Market2Dish: Healthaware Food Recommendation. ACM. TOMM,
pp. 1–19, 2021.
[17] X. Wang, Y. Wang, D. Hsu, and Y. Wang.
Exploration in Interactive Personalized Music
Recommendation: A Reinforcement Learning
Approach. ACM Trans. Multimedia Comput.
Commun. Appl., 11(1), sep 2014.

[1] H. Cramer, V. Evers, S. Ramlal, M. Someren,
L. Rutledge, N. Stash, L. Aroyo, and
B. Wielinga. The Eﬀects of Transparency on
Trust in and Acceptance of a Content-Based
Art Recommender. User Modeling and UserAdapted Interaction, 18(5):455–496, nov 2008.
[2] D. Elsweiler, M. Harvey, B. Ludwig, and
A. Said. Bringing the” healthy” into Food Recommenders. DMRS, 1533:33–36, 2015.
[3] D. Elsweiler, C. Trattner, and M. Harvey. Exploiting Food Choice Biases for Healthier Recipe
Recommendation. In Proceedings of the 40thInternational ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR ’17, p. 575–584, New York, NY,
USA, 2017. Association for Computing Machinery.
[4] J. Freyne and S. Berkovsky. Intelligent foodplanning: personalized recipe recommendation.
In Proc. IUI, pp. 321–324, 2010.
[5] M. Ge, F. Ricci, and D. Massimo. Health-aware
Food Recommender System. In Proc. RecSys,
pp. 333–334, 2015.
[6] E. Gorbonos, Y. Liu, and C. T. Hoàng. NutRec: Nutrition Oriented Online Recipe Recommender. In Proc. WI, pp. 25–32, 2018.
[7] K. Higuchi, H. Tsuchida, E. Ohn-Bar, Y. Sato,and K. Kitani. Learning Context-Dependent
Personal Preferences for Adaptive Recommendation. ACM Trans. Interact. Intell. Syst.,
10(3), nov 2020.
[8] S. Kulkarni and S. F. Rodd. Context Aware
Recommendation Systems: A review of thestate of the art techniques. Computer Science
Review, 37:100255, 2020.
[9] D. D. Lee and H. S. Seung. Learning the Parts of
Objects by Non-Negative Matrix Factorization.
Nature, 401(6755):788–791, 1999.
[10] A. Mehrotra, R. Hendley, and M. Musolesi.
PrefMiner: Mining User’s Preferences for Intelligent Mobile Notiﬁcation Management. In Proceedings of the 2016 ACM International Joint
Conference on Pervasive and Ubiquitous Computing, UbiComp ’16, pp. 1223–1234, New York,NY, USA, 2016. ACM.
[11] S. Ministry of Education Culture Sports andTechnology. STANDARD TABLES OF FOODCOMPOSITION IN JAPAN - 2015 - (Seventh
Revised Version). online, 2015. Jan. 4, 2022
Accessed.
[12] L. Ministry of Health and Welfare. Dietary Reference Intakes for Japanese (2015). online, 2015.
Jan. 4, 2022 Accessed.).
[13] W. H. Organization. Guideline: sodium intake
for adults and children. online, 2012. Jan. 4,2022 Accessed.).
[14] C.-Y. Teng, Y.-R. Lin, and L. A. Adamic.
Recipe Recommendation Using Ingredient Networks.
In Proceedings of the 4th Annual- 78 -WISS 2022

メアンダコイル ++：継続的なウェアラブルコンピューティングのための衣類全面での安全で高効率な無線給電
高橋 亮 ∗

雪田 和歌子 ∗横田 知之 ∗

染谷 隆夫 ∗

川原 圭博 ∗

概要. ライフログやヘルスケアのためのウェアラブル機器の多くは電池容量が小さいため頻繁に充電する必要があり，長期の使用が困難である．そこで，導電糸で実装された布型無線給電器（コイル）を衣服へ内蔵し使用中のウェアラブル機器へ常に給電することで，継続的なウェアラブルコンピューティングを目指す．しかし，人体の至る所にあるウェアラブル機器への給電に向け布型コイルを人体スケールへ拡大すると，電磁界が人体内部まで浸透するため送信電力を制限する必要があり，さらに導電糸の損失が大きいため給電効率が著しく低くなる．そこで，安全で比較的高効率な人体スケールの布型無線給電器，メアンダコイ
ル ++ を提案する．メアンダコイル++は，人体への電磁界浸透を抑制できるコイル構造と液体金属ベースの低損失な導電糸とを用いる．これにより，人体の 70% 程度を覆う広範囲な給電領域を実現し，さらに電磁界ひ曝を抑制しながら最大 2.5 W の電力を約 40% の給電効率でウェアラブル機器へ給電できた．

1

はじめに

スマートウォッチやスマート衣服などのウェアラ
ブル機器が日常生活に浸透しつつある．ウェアラブ
ル機器は，使用用途に応じて身体の適切な場所へ装着することで，行動認識や，パーソナルヘルスケア，
ライフログなど，多種多様なウェアラブルコンピュー
ティングを手軽に実現できる．しかし，多くのウェ
アラブル機器は人体へ違和感なく装着できるよう小型・軽量化が求められるため，搭載する電池のサイズや容量に制限が生じ，数日程度しか機能しない．
Apple Watch [2] や Google Glass [1] などのウェ
アラブル機器は，高性能ゆえに適度な使用で 1 日程
度しか電池がもたない．ゆえに，ウェアラブルコン
ピューティングの性能向上を目指し，ウェアラブル
機器の高機能化や高頻度な使用を行うと，小容量な電池の搭載が前提であるウェアラブル機器では身体外で充電される時間の割合が多くなるため，駆動時間が著しく減る．
この課題の解決に向け，身体に配置されたウェア
ラブル機器への給電パスを衣類上へ実装することが研究されてきた [15]. これにより，大容量のモバイ
ル電源などを繋げた布型給電パスを介して人体上のウェアラブル機器へ給電できるため，ユーザは電池
容量や電池残量，充電管理などを気にせず，ウェア
ラブル機器の高性能化や頻繁な使用が容易にできる．
さらに，ウェアラブル機器に低消費電力で間欠的な駆動を要求する環境発電と比べ [5]，布型給電は比較的大きな電力を継続的にウェアラブル機器へ給電できる．最も単純な方法は，導電布を介してウェア
ラブル機器へ直接給電する布型有線給電であるが，電気的接続のために配線を露出させる必要があり，∗感電などの危険が伴う [13, 14, 15]．そこで，電気的接続が不要な無線給電が布型給電の手法として注目されている．特に，マイクロ波や電界と比べ，比較的人体との干渉が小さい磁界を介して，安全で高効率な給電が可能なコイルが有力である [13, 20]．
しかし，これまでの布型コイルを人体スケールへ拡張すると，1）送信電力が数百 µW を下回り，2）給電効率が 1% ∼ 3% 程度と著しく低くなる．なぜなら，1）無線給電で通常使用される渦巻状コイル
は，人体スケールへ拡張すると強い電磁界が人体内部まで生じるため，送信電力を下げ電磁界ひ曝を抑える必要があり，さらに，2）布型送電コイルは服の着用性を損なわないように柔軟であるが損失の大きな導電糸で構成されるため，人体スケールのコイ
ルでは損失が数百 Ω を超えるほど大きくなるからである．ゆえに現状の布型コイルは人体の数%（約80 cm2 ）のサイズに狭めることで，体内への電磁界
浸透の範囲を狭めつつ，損失を抑えることで給電効率を 10%程度まで向上させ，数 mW 程度の電力を
超低消費電力なセンサコイル（NFC タグ）へ給電するのが限界である [13]．またセンサの配置・数に制約が生じるため，センサの使用用途毎に布型コイ
ルの配置などを設計し直す必要がある．
そこで本論文では，安全で比較的高効率な人体ス
ケールの布型無線給電器，メアンダコイル ++ 1 を紹介する．メアンダコイル ++ は，1）メアンダコイルから着想を得た，人体への電磁界ひ曝を抑制できる
コイル構造と 2）液体金属を利用した損失の小さな導電糸とを用いる．これにより，人体スケールのメア
ンダコイル ++（約 6000 cm2 ，人体上半身の約 70%の範囲）とウェアラブル機器サイズの小型受電コイ
1

東京大学- 79 -

本論文は，ACM CHI 2022 にて発表済である [19]．

WISS 2022

図 2. コンデンサ分散配置手法の概要．

図 1. メアンダコイル ++ の概要．安全で比較的高効
率な送電コイル（メアンダコイル ++）と電源モ
ジュール，受電コイルで構成される．

ル（約 16 cm2 ）のサイズ比が 375 : 1 である状況で，衣服上の様々な場所に配置された複数の受電コイル
へ約 40% の AC-to-AC 給電効率で給電できる．さらに，人体への電磁界ひ曝に関する国際的な安全ガイド
ライン (i.e., ICNIRP: international commission
on non-ionizing radiation protection) [3] に準拠しながら，約 2.5 W の電力を安全に受電コイルへ給電できることを確認した．以下，設計・実装，応用
例，評価，今後の課題を述べる．

2.2

設計と実装

2
2.1

システム概要図 1 で示すように，提案システムは，液体金属入りのシリコンチューブで巻かれた送電コイル（メアンダコイル ++），送電コイルへ接続された電源モ
ジュール，ウェアラブル機器へ接続された受電コイ
ルの 3 つから構成される．電源モジュールは，商用無線給電で使用される周波数の一つである 6.78 MHzの高周波電源と，送電コイルの共振周波数を調整するための可変コンデンサ，受電コイルの接近を検出する制御回路で構成される．無線給電の方式は，Kurs らが提案した磁界共振結合方式である [12]．磁界共振結合方式では，コイルを用いた単純な無線給電と異なり，高い Q 値 2 を備える LC 共振器（ある周波数で共振するように直列接続されたチップ
コンデンサで調整された共振コイル 3 ）を用いるた
2
3め，送受電コイル間の磁気的結合が弱い状況下（送受電コイルのサイズ比が大きい場合）において，効率的に電力を給電できる．本システムでは，人体ス
ケールの送電コイルと小型の受電コイルのサイズ比が 375 : 1√であるため，送受電コイル間の結合係数
k (= M/ LTX LRX , M : 相互インダクタンス) が0.033 であり，一般的なケース（k > 0.1）と比べ小さい．ゆえに，磁界共振結合方式を用いる．
動作原理は以下の通りである．まず，電源モジュー
ルはユーザの体型や姿勢に応じて送電コイルに接続する可変コンデンサの静電容量を調整し，送電コイ
ルの共振周波数を動作周波数（6.78 MHz）へ合わせる．次にモジュールが受電コイルの接近を検出した後，送電コイルは受電コイルへ給電し始める．モジュールは，受電コイルが送電コイルへ接近する際に送電コイルの入力インピーダンスが変化することを検知し，受電コイルの接近を認識する．これにより，無駄な給電を回避できる．受電コイルは，送電コイルからの交流電力を整流器などで直流電力へ変換し，ウェアラブル機器へ供給する．

Q = 2πf L/r ．一般的に Q 値が高いと給電効率も高い．
コイルのインピーダンス，Z = r + j{2πf L − 1/(2πf C)}
が周波数 f0 で Z = r と共振することを意味する．

- 80 -

メアンダコイル ++一般的なコイル（渦巻状コイル）を人体スケールへ拡大すると，人体内部まで電磁界が浸透し人体への熱作用・刺激作用を引き起こす電磁界干渉が生じる．ゆえに，送信電力量を著しく制限する必要があ
る [3]．この電磁界干渉は，1）人体スケールのコイ
ルから生じる浮遊容量などが人体へ及ぼす強い電界と，2）コイルが人体内部へ発生させる強い磁界に起因する．
そこで課題 1 に関しては，長いコイルへ複数のコンデンサを等間隔に配置し，高周波（6.78 MHz）での浮遊容量などの電界結合を抑制するコンデンサ分散配置手法を用いた [7, 17]. 図 2 で示すように，コンデンサで分割された各コイルの配線長は高周波の短波長に対して十分短いため，長い配線に起因する
高周波での浮遊容量の影響を抑制し，各コイルは浮遊容量の小さなコイルとして機能する．具体的には，
N 個のコンデンサにより各コイルの両端の電圧差は，1 個のコンデンサで共振させたコイルより N 倍
小さくなる [7]（図 2 では N = 3) ため，浮遊容量のメアンダコイル ++：継続的なウェアラブルコンピューティングのための衣類全面での安全で高効率な無線給電

図 3. （a）メアンダコイル ++ の電磁界シミュレーショ
ン用モデルと（b）コイルの巻き数に対する Q 値，
すなわち給電性能の結果．

図 4. （a）長さ 5 cm の生地へ内蔵した 4 種類の導電糸の（b）引張試験の結果．

人体に対する誘電損失が 1/N (= 1/N 2 × N ) 倍となり，コイルと人体との電界結合を抑制できる [17]．
次に課題 2 に関しては，メアンダコイルに着想を得たメアンダコイル ++ を提案する．メアンダコイ
ルは，渦巻コイルと異なり，一巻きごとに時計回りと反時計回りと向きを変えながら，コイルを巻く．
さらに，円筒形状のメアンダコイルは，比較的強い磁界を衣服付近に閉じ込め，体内へ浸透する磁界を打ち消す [18]．ウェアラブル機器の多くは，衣服や身体に装着して動作するため，衣服近傍のみに強い磁界を閉じ込めても給電可能である．ただし，一巻
きごとに向きを変えるメアンダコイルでは，同じ向きへ複数巻くことで Q 値を高くする通常のコイルに比べ，Q 値が低くなる．なぜなら，コイルのインダ
クタンス（L）は巻数の 2 乗に比例して増加し，コイルの損失である抵抗（r ）はコイルの線長に線形に比例して増加するため，巻き数が多いほど Q 値が大きいからである．そこで，本論文では複数巻ごとに巻き方向を変えるメアンダコイル ++ を提案
する．メアンダコイル ++ は，コンデンサ分散配置を利用し高周波でコイルの巻き数を増やすことで，Q(= ωL/r) 値を大きくできる．
メアンダコイル ++ の有効性を示すために，電磁界シミュレーション（HyperWorks FEKO）を用いてコイルの巻き数に対する Q 値を調べた．図 6a で示すように，シミュレーションモデルは，１）円柱状の人体モデル（比誘電率：132，導電率：0.66 S/m，
直径: 26 cm） [6] と液体金属で構成されたメアンダ
コイル ++（コイル直径：26.5 cm, 導電糸の直径：
1 mm，間隔：5 cm，抵抗率：29.6 × 10−8 Ω m [10])とで構成される．図 6b に，1 コイルユニットの巻
き数を 1 から 5 まで 1 巻刻みで変化させた時のメア
ンダコイル ++ の Q 値を示す．この結果から，巻き数が増えるにつれて Q 値が大きくなることがわ
かる．ただし，Q 値が 100 を上回るコイルは，呼吸などによるコイルのわずかな変形により共振周波数が大きく変化し給電効率が著しく低下したため，本研究では 1 コイルユニットの巻き数を 2 とした．

- 81 -

表 1. 6.78 MHz での各導電糸の抵抗率（10−8 Ω m）．
フレキシブルステンレス 液体金属入りチューブ
銅線
基板
糸（伸び：0%/10%）

20.5

2.3

20.1

246.6

29.6/40.1

液体金属を利用した導電糸

人体スケールの高効率な布型送電コイルの実現には，布型コイルに使用される導電糸が柔軟かつ低損失である必要がある．ステンレス糸のような一般的な導電糸は，柔軟であるが損失が大きい [11]．また銅線や細いフレキシブル基板などの硬い導電糸は，低損失であるが伸縮性がない．一方で，eGaIn と呼ばれる液体金属は高い導電性と低毒性を持ち，15.7 °C
以上の温度で液体状態を保つ．ゆえに，eGaIn を伸縮性のあるシリコンチューブへを入れることで，柔軟で低損失な導電糸が実現できる [10, 9]．
図 4a に，4 種類の導電糸（フレキシブル基板，銅線，ステンレス糸，液体金属入りチューブ）の引張試
験の結果を示す．フレキシブル基板は幅 5 mm，銅線とステンレス糸の直径は 1 mm，チューブは内径1 mm，外径 2 mm である．銅線とステンレス糸は
生地へ S 字に縫い込み，伸びやすくした．チューブとフレキシブル基板は袋付きの生地へ入れた．引張の参考としてただの生地の引張試験も行った．図 4bから，液体金属入りチューブは生地の伸縮を損なわない一方で，フレキシブル基板や銅線は硬いため生地の伸縮を損なうことが分かる．さらに各導電糸の抵抗率を比較した（表 1）．その結果，1）液体金属
は 6.78 MHz で低損失な銅線などと同程度の抵抗率を備え，2）10%の引っ張り以下では低い抵抗率を示した．衣服着用時に衣類が 10%以上引っ張られることはほぼない．ゆえに，伸縮性があり低損失な導電糸として液体金属入りチューブを用いる．

2.4

実装

ここでは，主に送電コイル（メアンダコイル ++）の作製工程を説明する．送電コイルの作製工程を
図 5a-c で示す．まず，衣服を縫製なしで作製できる編み機（MACH2XS15S，島精機製作所）で衣服

WISS 2022

33.1

図 5. 提案システムの実装の概要．
（a）-（c）送電コイ
ルの作製方法．
（a）チューブを入れるための袋付き服を編んだ後，（b）液体金属入りチューブを袋へ入れ，（c）コイルの共振周波数を 6.78 MHz へ合わせるためにコンデンサを配置する．
（d）電源モジュールの概要．6.78 MHz の高周波電源（EPC9065）とマイコン（Arduino Nano），コンデンサアレ
イなどから成る．
（e）受電コイルの概要．コイルと整流器などから成る．

を編む（図 5a）．チューブを通すための袋を衣服へ実装するが，この袋はツヌーガ（東洋紡）と呼ばれる強靭な糸で実装した．これにより，洗濯などの外的要因によるチューブの破れを防ぐ．袋の編成には多層編みができるジャカード編みを用いた．その後，液体金属（eGaIn）を入れたシリコンチューブ
を袋に通す（図 5b）．チューブの作製では，注射器
で eGaIn を注入しチューブの両端をワイヤで塞いだ．eGaIn の総使用量は 9.8 mL である．最後に，コンデンサ分散配置用に，リジッド基板へはんだ付
けした 16 個の 470 pF のチップコンデンサを等間隔にチューブ間へ挿入し，送電コイルの共振周波数を6.78 MHz に合わせた（図 5c）．送電コイルのインダクタンス，抵抗，Q 値，重さは，18.7 µH，14.5 Ω，55，133 g である．電源モジュール（図 5d）と受電コイル（図 5e）の作製は [19] を参考にしてほしい．

- 82 -

評価
安全性

まず，人体へ浸透する電磁界が神経刺激や熱作用を引き起こす危険があるため，メアンダコイル ++の電磁界ひ曝の影響を評価した．評価には，国際的な電磁界ひ曝制限ガイドライン（ICNIRP）を参照
した [3]．この安全ガイドラインには，基本制限（生物学的影響が予想される閾値）と参考レベル（基本制限より厳しい閾値）の 2 つの制限値が定められている．ここでは，2 つの制限値を下回る最大送信電力を電磁界シミュレーションで調べた．具体的には，6.78 MHz でのある送信電力に対する，参考レベルの閾値の指標である電界強度と磁界強度，基本制限の閾値の指標である全身平均比吸収率（SAR）と局
所 SAR を評価した．より専門的な評価には正式な認定が必要であり，以下の実験は予備評価にとどまる．
基本制限およ参考レベル以下の最大送信電力を求めるために，HyperWorks FEKO を使用した．図 6aで示すシミュレーションモデルでは，線径などを調整することで，モデルのインピーダンスをプロトタ
イプへ揃えた．また，渦巻状コイルはメアンダコイ
ル ++ の寸法に揃えた．図 6b-c に，送信電力が 1 Wの時の各モデルにおける電磁界分布を示す．これから，メアンダコイル ++ は身体を貫く電磁界を抑制する一方で，渦巻状コイルは身体の至る所へ電磁界が浸透することが分かる．さらに，表 2 の SAR に対する最大送信電力から，メアンダコイル ++ の最大送信電力（52 W）は渦巻状コイル（2.6 W）より
20 倍程度大きいことが分かる．ただし，参考レベ
ルに関していずれも人体とコイルの距離がほぼない
ため，数 µW の電力で頭打ちとなる．これらの結果から，メアンダコイル ++ は，一般的なコイルよりも安全に電力を給電できる．今回のアプリケーショ
ン例では，電源モジュール内部の D 級アンプの耐圧を考慮し，最大送信電力を 10 W とした．これは，
図 8 で示すように，数 W 程度の電力で充電される
ウェアラブル機器への送信電力として十分である．

3.2

給電効率

次に，送受電コイル間の AC-to-AC の給電効率を評価した．具体的には，1）受電コイルの位置，2）
送受電コイルの距離，3）ユーザの姿勢，4）人体または発砲スチロールマネキンかどうかの 4 つのパラメータを変えながら，AC-to-AC の給電効率を調べた．ユーザは 30 代の日本人男性 1 名である．ACto-AC の給電効率の算出には，S パラメータからインピーダンス整合下での最大給電効率を導き出す公式を用いた [22]．S パラメータの測定では，図 7aで示すように，メアンダコイル ++（送電コイル）と 4 cm×4 cm の受電コイルをベクトルネットワー
クアナライザ（ZNB20,R&S）へ接続した．

メアンダコイル ++：継続的なウェアラブルコンピューティングのための衣類全面での安全で高効率な無線給電

図 7. （a）AC-to-AC の給電効率の評価環境と（b）
受電コイルの位置，（c）受電コイルとの距離，（d）
ユーザの姿勢に対する AC-to-AC の給電効率．

図 6. （a）メアンダコイル ++ と渦巻状コイルのシミュ
レーションモデルと，送信電力が 1 W の時の（b）磁界分布と（c）電界分布．
表 2. 図 6a のモデルにおける，参考レベル（電界強度と磁界強度）と基本制限（全身平均 SAR と局所
SAR）を超えない最大送信電力．
渦巻状コイル メアンダコイル ++（受電コイル有） （受電コイル有）
電界強度
磁界強度
全身平均 SAR（公衆ひ曝）
局所 SAR（公衆ひ曝）

6.5 W
17 µW

30 W
37 µW

2.6W

59 W

19 W

52W

図 7b に，受電コイルの位置に応じた給電効率の結果を示す．これから，受電コイルをメアンダコイ
ル ++ の配線間に配置すると給電効率が高くなる一方で，受電コイルを配線上へ配置すると，メアンダ
コイル ++ から生じる磁界が受電コイルをほぼ貫くことがないため，給電効率がほぼ 0 となることが分かる．この位置ずれによる給電効率の低下は，位置ずれ・角度ずれに頑強な，受電コイルを正三角形状に並べた受電コイルアレイなどにより回避できる [16]．
次に，図 7c に，受電コイルを 2.5 cm の位置に置いた時の，送受電コイルの距離に対する給電効率の結果を示す．これから，受電コイルが衣服から 1 cm
以上離れると給電効率が最大給電効率の半分以下になることが分かる．数 W の電力をウェアラブル機器へ送るためには，受電コイルを服から 1 cm 以内に配置することを前提とする必要がある．配線間隔を大きくすることで給電距離を伸ばすことができるが，人体への電磁界ひ曝の影響も大きくなる．ゆえに，配線距離と電磁界ひ曝の関係を明らかにし，適- 83 -

切な配線間隔を今後求める必要がある．
図 7d に，ユーザの姿勢が立つ状態から座る状態，
曲がる状態へ変化した時の給電効率を示す．メアン
ダコイル ++ の変形によりインダクタンス，すなわ( √)ち共振周波数（f = 1/ 2π LT X CT X ) が変化するため，ユーザの姿勢が変わると給電効率が低下する（図 7d の W/o tuning を参照）．しかし，電源モ
ジュールに内蔵した可変コンデンサで送電コイルの静電容量（CT X ）を再調整することで，効率の低下を緩和できる（図 7d の W/ tuning を参照）．最後に，人体または発泡スチロールマネキンがメアンダ
コイル ++ を着るに関わらず，給電効率がほぼ同じであることを確認し，メアンダコイル ++ が人体との電磁的干渉を抑制できることを確認した．本稿では詳細な説明を省くが，メアンダコイル ++ は 40
回以上洗濯可能である [19]．

4

アプリケーション例

メアンダコイル ++ の技術的有効性を示すために，様々なウェアラブル機器への給電事例を示す．
従来の布型無線給電器が数十 mW 程度の電力しかウェアラブル機器へ送電できない一方で，メアンダ
コイル ++ は，人体との電磁界干渉を抑制しながら，スマートフォン，ネックファン，スマートウォッ
チなどへ数 W を給電できる（図 8a-c）．そのため，
高機能であるが電池容量の小さいウェアラブル機器
を，ユーザは電池残量を気にせずいつでも使用できる．ゆえに，メアンダコイル ++ がウェアラブル機器のための大容量な電池となることで，ウェアラブ
ル機器は電池容量に制約を受けず，小型軽量化と高機能化を両立できる．スマートフォン，ネックファン，スマートウォッチへの送電コイルからの入力電力は，各々10.0 W，3.6 W，2.1 W 程度である．

WISS 2022

図 8. メアンダコイル ++ のアプリケーション例．

++ を紹介した．メアンダコイル ++ は，伸縮性

さらに，メアンダコイル ++ は，従来のポケット
サイズの布型無線給電器と異なり，人体スケールの布型無線給電器である [13, 20]. そのため，図 1 で示
すように，衣服全体の様々な場所に配置されたウェ
アラブル機器を同時に駆動できる．例えば，衣類上の Arduino Nano 33 BLE を充電しながら，ユーザが望む体の部位での活動状況や周囲の湿度を把握できる（図 8d）．また，ユーザの体を移動する toioのようなウェアラブル機器 [8] を位置によらず給電できる（図 8e）．ゆえに，従来の布型無線給電に比べ，ウェアラブル機器の配置に応じて布型無線給電の設計をし直す必要がない．Arduino と toio への入力電力は，各々1.4 W，1.5 W 程度である．
最後に，メアンダコイル ++ は，布型有線給電と異なり，電気的接続による配線の損傷を回避し，安全に無線で給電できる [14, 21, 15]. ゆえに，ユー
ザは配線の損傷や感電を気にせずとも，機器の配置を何度も変更できる．一例として，複数の LED の点灯配置を自由に変更できる LED 展示を紹介する（図 8f）．LED 展示では，一般的に LED の数が増えるにつれ配線接続の手間が著しく増加する．しかし，メアンダコイル ++ は機器を置くだけで良いので，数十個の LED の点灯パターンを手軽に変更できる．

5

チューブ内に低損失な液体金属を入れた導電糸と，メアンダコイルに着想を得た安全なコイル構造とを用いた．本論文では，プロトタイプを作製し，安全性や給電効率などの評価を行い，アプリケーション例
を数種類紹介した．今後メアンダコイル ++ が，様々なテキスタイル製品に組み込まれることで，日常生
活での継続的かつ高機能なウェアラブルコンピュー
ティングを持続できることを期待する．
メアンダコイル ++ に関する今後の課題は以下の通りである．まず，継続的なウェアラブルコンピュー
ティングの実証に向け，1）体型の違い，2）衣服の種類，3）長期間の使用に対する給電効率の低下を評価する必要がある．1 の予備実験として，電源モ
ジュールが備える共振周波数の再調整機能を利用することで，体格の異なる 3 人の 30 代男性に対して，最大給電効率の低下を 1 ∼ 3% に抑えることを確認した．今後は，より多くのユーザを集め，1−3 の要因による給電効率の変化を評価する．
次に，現状の作製手法は複数の手作業を要するため，手間と時間がかかる．そこで，1）編むと同時にチューブなどの太い糸を生地へ織り込むインレイ編みを活用し，人がチューブを挿入する作業を省くこと [4] と，2）チップコンデンサをあらかじめチュー
ブ内へ入れることで，はんだ付けを不要にすることを目指す．2 により衣類の伸縮性を損なうリジッド
基板を除くこともできる．これらの改良をもとに，
メアンダコイル ++ の完全自動作製を目指す．

まとめと今後の課題

本論文では，人体スケールの無線給電に向け，安全で比較的高効率な布型無線給電，メアンダコイル- 84 -

メアンダコイル ++：継続的なウェアラブルコンピューティングのための衣類全面での安全で高効率な無線給電

謝辞
本研究は JST ERATO 川原万有情報網プロジェ
クト（JPMJER1501）と JST 未来社会創造事業探索加速型（JPMJMI17F1），JST ACT-X（JPMJAX21K9），JSPS 特別研究員奨励費（JP22J11616）との一環として実施されました．本研究の実装を手伝って下さった池内尚史さんと笹谷拓也さんに深く感謝致します．

参考文献[1] Google Glass Enterprise Edition 2 drops to $999
and adds Qualcomm s XR1, 2019.
[2] Apple Watch Battery and Performance, 2020.
[3] ICNIRP GUIDELINES, 2020.
[4] L. Albaugh, L. Yao, and S. Hudson. Digital fabrication of soft actuated objects by machine knitting. Conference on Human Factors
in Computing Systems - Proceedings, 2019.
[5] Y. W. Chong, W. Ismail, K. Ko, and C. Y. Lee.
Energy Harvesting for Wearable Devices: A Review. IEEE Sensors Journal, 19(20):9047–9062,
2019.
[6] A. Christ, M. G. Douglas, J. M. Roman, E. B.
Cooper, A. P. Sample, B. H. Waters, J. R.
Smith, and N. Kuster. Evaluation of wireless resonant power transfer systems with human electromagnetic exposure limits. IEEE
Transactions on Electromagnetic Compatibility,
55(2):265–274, 2013.
[7] B. Cook and I. Lowe. A large-inductance,high-frequency, high-Q, series-tuned coil for
NMR. Journal of Magnetic Resonance (1969),
49(2):346–349, 9 1982.

netic resonances. Science, 317(5834):83–86,
2007.
[13] R. Lin, H. J. Kim, S. Achavananthadith, S. A.
Kurt, S. C. Tan, H. Yao, B. C. Tee, J. K. Lee,and J. S. Ho. Wireless battery-free body sensor networks using near-ﬁeld-enabled clothing.
Nature Communications, 11(1):1–10, 2020.
[14] A. Noda and H. Shinoda. Frequency-divisionmultiplexed signal and power transfer for wearable devices networked via conductive embroideries on a cloth.
IEEE MTT-S International Microwave Symposium Digest, pp. 537–
540, 2017.
[15] E. R. Post and M. Orth. Smart fabric, or‘wearable clothing’. International Symposium
on Wearable Computers, Digest of Papers, pp.
167–168, 1997.
[16] T. Sasatani, Y. Narusue, and Y. Kawahara. Genetic Algorithm-Based Receiving Resonator Array Design for Wireless Power Transfer. IEEE
Access, 8:222385–222396, 2020.
[17] R. Takahashi, M. Fukumoto, C. Han,
T. Sasatani, Y. Narusue, and Y. Kawahara. TelemetRing: A Batteryless and WirelessRing-shaped Keyboard using Passive Inductive
Telemetry. In Proceedings of the 33rd Annual
ACM Symposium on User Interface Software
and Technology, pp. 1161–1168, New York, NY,
USA, 10 2020. ACM.
[18] R. Takahashi, W. Yukita, T. Sasatani,
T. Yokota, T. Someya, and Y. Kawahara. Twin
Meander Coil : Sensitive Readout of Batteryfree On-body Wireless Sensors Using Body-scale
Meander Coils. Proceedings of the ACM on
Interactive, Mobile, Wearable and UbiquitousTechnologies, 5(4), 2021.
[19] R. Takahashi, W. Yukita, T. Yokota,
T. Someya, and Y. Kawahara.
Meander
Coil++:A Body-Scale Wireless Power
Transmission Using Safe-to-Body and EnergyEﬃcient Transmitter Coil. In Proceedings ofthe 2022 CHI Conference on Human Factors
in Computing Systems, CHI ’22, New York,NY, USA, 2022. Association for Computing
Machinery.
[20] X. Tian, P. M. Lee, Y. J. Tan, T. L. Wu, H. Yao,
M. Zhang, Z. Li, K. A. Ng, B. C. Tee, andJ. S. Ho. Wireless body sensor networks basedon metamaterial textiles. Nature Electronics,
2(6):243–251, 2019.

[8] A. Dementyev, H. L. C. Kao, I. Choi, D. Ajilo,
M. Xu, J. A. Paradiso, C. Schmandt, andS. Follmer. Rovables: Miniature on-body robots
as mobile wearables. UIST 2016 - Proceedings of the 29th Annual Symposium on User Interface Software and Technology, pp. 111–120,
2016.
[9] M. D. Dickey. Stretchable and Soft Electronics using Liquid Metals. Advanced Materials,
29(27):1–19, 2017.
[10] M. D. Dickey, R. C. Chiechi, R. J. Larsen, E. A.
Weiss, D. A. Weitz, and G. M. Whitesides. Eutectic gallium-indium (EGaIn): A liquid metalalloy for the formation of stable structures in
microchannels at room temperature. Advanced
Functional Materials, 18(7):1097–1104, 2008.

[21] I. Wicaksono, C. I. Tucker, T. Sun, C. A. Guerrero, C. Liu, W. M. Woo, E. J. Pence, and
C. Dagdeviren. A tailored, electronic textile
conformable suit for large-scale spatiotemporalphysiological sensing in vivo. npj Flexible Electronics, 4(1), 2020.

[11] J. Gong, Y. Wu, L. Yan, T. Seyed, and X.-d.
Yang. Tessutivo. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology, No. 1, pp. 29–41, New
York, NY, USA, 10 2019. ACM.
[12] A. Kurs, A. Karalis, R. Moﬀatt, J. D.
Joannopoulos, P. Fisher, and M. Soljačić. Wireless power transfer via strongly coupled mag-[22] M. Zargham and P. G. Gulak. Maximum
achievable eﬃciency in near-ﬁeld coupled powertransfer systems.
IEEE Transactions on
Biomedical Circuits and Systems, 6(3):228–245,
2012.

- 85 -WISS 2022

未来ビジョン
本研究では，布型無線給電の一つとして衣服型無線給電器を提案した．しかし，この衣服だけではズボンや，顔，手などにあるウェアラ
ブル機器へ給電できない．そこで未来ビジョン
としては，右図で示すように日常空間の至る所にあるテキスタイル製品へのメアンダコイ
ル ++ の実装を提案する．これにより，あらゆるウェアラブル機器がいずれかの布型無線給電器を通して給電されることで，ウェアラブル機器が小さな電池容量の制約から解放され，高機能かつ半永続的に振る舞うことができる．
さらには，現状のウェアラブル機器は専用
ハードウェアを内蔵することで小型軽量化かつある程度の長期動作を実現するが，これでは設計に手間と時間がかかり，ウェアラブル機器の普及は進まない．しかし，メアンダコイ
ル ++ がウェアラブル機器の電池代わりとなることで，専用ハードウェアありきのウェアラ
ブル機器から，電力はある程度消費するが汎用的なハードウェアを内蔵したウェアラブル機器へ移り変わることで，Arduino のように，設計・実装・応用のしやすさが飛躍的に向上する
ことで，ウェアラブル機器の日常空間への浸透が促進されると期待できる．最終的には，アク- 86 -

セサリを自然と身につけるように，ユーザが電池管理不要なウェアラブル機器を自然と身につけている世界を目指したい．

WISS 2022

音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討
雨坂 宇宙 ∗

渡邉 拓貴 †

杉本 雅則 †

志築 文太郎 ∗概要. 次世代のウェアラブルデバイスとしてヒアラブルデバイスが注目されている．ヒアラブルデバイス
は，これまでの音楽鑑賞/通話機能だけでなく，音声ガイドやメッセージ読み上げなど様々な機能が搭載されると考えられる．これらの種々の機能の切り替え，ON/OFF 操作をヒアラブルデバイスから実行するために，多くのデバイス操作手法が研究されてきた．本研究ではヒアラブルデバイスの音漏れが手と耳介で形成される空間内を反響することに着目し，耳介反響音を測定，解析することで現在の手形状を認識する手法を開発した．提案手法はヒアラブルデバイスにて一般的に搭載されているスピーカと外側マイクで実装できる点でヒアラブルデバイスとの親和性が高い．本研究ではプロトタイプデバイスを用いて，5 名の実
験参加者から 5 種類の手形状のデータを収集した．実験の結果，参加者ごとの個人分類モデルによる認識精度が平均 92.7%（F 値）であることを確認した．

1

はじめに

近年の研究/技術開発に伴い，イヤホン型のウェア
ラブルデバイス（ヒアラブルデバイス）が更に注目されている．ヒアラブルデバイスとは従来の音楽鑑
賞や通話としての機能だけでなく，様々な機能が付加された高機能なイヤホン型デバイスを指す．現在も多くの研究や開発が進められており，今後はより多くのアプリケーションがヒアラブルデバイスに搭載されると考えられる．一方，現在市販されている
ヒアラブルデバイスの多くはスマートフォンと連携して使用することを想定しているが，デバイスを操作するために，まずはスマートフォンの画面をタッチする必要があり，ユーザビリティを損う．そのため，ヒアラブルデバイスのみを用いたデバイス操作手法が求められている．市販されているヒアラブルデバイスでは，デバイスに感圧センサや静電容量センサ，物理ボタンを埋め込み，タッチや押し込みを認識する手法が採用されている．これらのセンサの利用は，感圧センサではデバイスデザインの制約が生じ，静電容量センサでは手袋をしたままの利用ができない．また，物理ボタンではボタンの押し込み動作によって外耳への押し込みが生じるため身体負担がある．その他に，これらのセンサ・ボタン押下によるデバイス操作手法は，押下回数や押下時間を変えることでコマンドの指定を行うが，指定できるコマンドに限りがある．そのため，市販されている
AirPods [3] などのヒアラブルデバイスの多くは，1〜3 回の押下回数と長押し，上下スワイプの 6 種類程度のコマンドの利用に限られている．したがって，
例えば音楽鑑賞中に受信メッセージを読み上げる機
能や，時刻/予定を確認する機能を実装するために
∗
†

筑波大学
北海道大学

- 87 -

は，タッチ入力とは異なるデバイス操作手法が追加で必要となる．
ヒアラブルデバイスのための操作手法は，主に手を使わない入力（ハンズフリー入力）と手を使って行う入力（ハンズ入力）にわかれる．ハンズフリー
入力手法は，音声入力手法や慣性/気圧/筋電/赤外線/音響センシング [1, 2, 4, 9, 10] を用いた頭部ジェ
スチャ手法などがこれまで研究されてきた．音声入力の利用は公共の場での発声や騒音環境下での認識精度の低下などの課題がある．頭部ジェスチャの利用は，頭を振るなどの大きな頭部の動きを伴うジェ
スチャは周囲に与える印象の懸念や視線が外れてしまう危険性の課題がある．一方，顎をずらすなどの小さな頭部の動きで実現できるジェスチャは日常生
活で行う動作と混同する課題がある．ハンズ入力手
法ではヘッドホンに回路を追加することでデバイスのタップ検知を行う手法 [13] や，デバイス内蔵マイクを用いて頬や耳に触れながら行うスワイプジェス
チャを認識する手法 [12] がある．前者の手法は追加の回路が必要であるという課題があり，後者の手法
はマスクなどの装着中に一部のジェスチャが利用できない．
本研究ではヒアラブルデバイスが音響信号を再生する時に発生する外部へと漏れる音響信号（音漏れ信号）に着目し，装着者の手形状をジェスチャとして認識する手法を開発した．具体的には，ヒアラブ
ルデバイスから周波数が遷移するチャープ信号を再生することで発生する音漏れ信号を，デバイス外側に搭載されたマイクにて録音する．この時，ユーザがデバイスを手で覆うことにより音漏れ信号は手と耳介で形成された空間内で反響する．我々はこの反響音を耳介反響音と定義する．この時，手の覆い方を変えることで得られる耳介反響音が変化すると考えられる．この変化パターンを機械学習手法を用い

WISS 2022て認識することで手の覆い方をジェスチャとして利用する．提案手法はヒアラブルデバイスに一般的に搭載されているスピーカと外側マイクを利用する点で実装コストが抑えられる．本研究では提案手法の実現可能性を検討するためにプロトタイプデバイス
にてデータの収集を行い，ジェスチャ認識性能の評価を行った．本研究の成果を以下にまとめる．

すハンズ入力手法は片手を使う必要があるが，視認性や社会的受容性が高い動作でデバイス操作が可能となる．また，提案手法はヒアラブルデバイスに一般的に搭載されているスピーカと外側マイクで実装可能である．

• ヒアラブルデバイスのスピーカと外側マイク

ハンズ入力手法に関する研究では，真鍋ら [13] が市販されているヘッドホンに簡単な回路を組み合わせることでヘッドホンのタップ動作を認識することに成功している．また，菊池ら [14] は反射型リフレクタを用いて 5 つの方向ジェスチャの認識に成功している．Xiu ら [12] はデバイス内蔵マイクを用いて頬や耳上で行うスワイプジェスチャ時に発生する音を認識し，8 種類のジェスチャを 95.3%の精度で認識することに成功している．
真鍋らや菊池らの手法はデバイスへの回路の追加やセンサを追加する必要があり，追加のデバイスコ
ストが生じる．また，Xiu らの手法はマスクの装着
中に頬上のジェスチャなどの一部が利用できないという課題がある．提案手法はヒアラブルデバイスで一般的に搭載されているスピーカと外側マイクで実装可能であり，デバイスコストを抑えることができる．また，ユーザはマスクや眼鏡を装着したまま利
用できる．

2.2

で実装可能な手形状認識手法を提案した．

• 5 名の参加者データより，5 種類の手形状を92.7%（F 値）の精度で認識できることを示
した．

2

関連研究

ヒアラブルデバイスの操作を目的としたジェス
チャ認識手法は，ハンズフリー/ハンズ入力手法に
わかれる．

2.1

ハンズフリー入力手法

ハンズフリー入力手法は，主に顔の動きや表情の変化などを頭部ジェスチャとしてデバイスを操作する．Ando [2] らは顔関連の動作時に生じる外耳道
内部の気圧変化を気圧センサで取得し，ユーザごとに 11 種類の顔関連の動作を 87.6%の精度で認識することに成功している．Matthies ら [9] は電極を貼付したイヤーピースを用いて外耳道内部から筋肉の動きを読み取り 5 種類の頭部状態を精度 90.0%（座位状態），85.2%（歩行状態）で認識することに成功している．Taniguchi ら [10] は LED とフォトトラ
ンジスタを用いて舌の特定の動きを外耳道の変形から認識している．また，音楽プレイヤの操作を対象にユーザビリティの調査も行っている．Bedri ら [4]は近接センサを用いて外耳道の変形を読み取り，心拍数，舌・顎の動作，まばたきを認識している．製
品では，Bragi の DashPro が慣性センサを用いて頭部ジェスチャを認識し，電話の応答や音楽プレイヤの曲変更などの簡単なハンズフリー操作を実現している．Amesaka ら [1] は外耳道内部の音を取得できるマイクを用いて，首，顎，顔の状態（頭部状態）にともなって外耳道が変形することに着目し，スピー
カから流した測定信号をもとに，外耳道伝達関数を測定，解析することで頭部状態を認識している．
これらの手法は，ハンズフリーでジェスチャが行えるというメリットがある．一方で，頭を振るなどの大きな動きを必要とするジェスチャは視線が外れる危険性や公共の場での利用が憚られるという課題がある．顎をずらすなどの小さな頭部の動きで実現できるジェスチャは日常生活で行う動作と混同する課題がある．また，これらの手法は追加のセンサや内向きマイクなどが必要なためデバイスコストや導入コストなどの問題も生じやすい．提案手法が目指

3

ハンズ入力手法

提案手法

提案手法の全体の流れを図 1 にまとめた．ユーザ
はデバイスを装着し，耳介を手で覆う．この状態でデバイスから測定信号を再生することでデバイスからの信号が耳介側へと漏れ，手と耳介で形成された空間内で反響する．この反響音をデバイスの外側に搭載されたマイクで録音する．得られる耳介反響音
はユーザの手の形状によって変化する．これらの手形状の違いをジェスチャとして利用することでデバイスの操作手法に用いる．認識システムは得られた
反響音の特徴量を抽出し，機械学習を行うことで手形状認識モデルを作成する．

3.1

特徴量＆機械学習モデル

取得した音響信号からジェスチャの特徴を示す特徴量の抽出を行う．本研究ではフーリエ変換による周波数成分（FFT: Fast Fourier Transform)/メル
周波数ケプストラム係数（MFCC: Mel-Frequency
Cepstrum Coeﬃcients）/線形周波数ケプストラム
係数（LFCC: Linear-Frequency Cepstrum Coeﬃcients）[8] の 3 種類から最も精度の高かった MFCCを特徴量に用いる．選定過程は 5.1 節に後述する．
機械学習モデルには勾配ブースティング決定木アル
ゴリズム（GBM：Gradient Boosting Machine）を用いる．分類モデルを用いて現在の耳介反響音から
手形状の予測を行う．

- 88 -

音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討
耳介反響音の取得

ジェスチャの実行

分類

a

特徴量抽出

b

予測

━ ジェスチャA━ ジェスチャB━ ジェスチャC━ ジェスチャD━ ジェスチャE

音漏れ信号

外側マイク

A

B

C

D

E

MFCCs

図 1. 提案手法の流れ．

ROG Flow X13 (ASUS)

Audio Interface
F1-ZOOM

Earphone
Soundcore Life Note 3S (Anker)

Soundcore Life Note 3S
Earphones

audio-technica AT9904
Microphone

AD
Microphone
AT9904 (audio-technica)

図 3. 実験デバイス．

図 2. デバイス構成．

4
4.1

する．信号の音量は音漏れを発生させるために通常より大きく設定する必要がある．今回の信号音量は
外耳形状を模した模型と騒音計（SANWA SUPPLYCHESD1）を用いて測定したところ，鼓膜部分にて約 80 dB であった．これは地下鉄車内や航空機内と同程度の騒音レベルであり，短時間での使用を想定
すると聴覚健康上問題ないといえる [11]．MFCC
抽出のためのフーリエ変換のウィンドウサイズは
16,384 サンプルとし，8,192 サンプル分のスライドを行った．また，30 分割のメルフィルタバンクを用いて MFCC を 30 次元分抽出し，直流成分である
1 次元目を除いた．機械学習では訓練データを 5 分
割の交差検証を行い，F 値が最も高いパラメータをハイパーパラメータとした．データの測定，特徴量抽出，機械学習のプログラムは Python3.9 で実装
した．

実装
ハードウェア

提案手法はデバイスの外側マイクを利用することを想定しているが，市販のイヤホン型デバイスに搭載されているマイクはローパスフィルタが内部的にかけられており，高周波帯域の周波数の利用が制限されている．提案手法の本来の性能を調査するために，本実験では市販のイヤホンに別のマイクを固定する．また，予備調査よりカナル型イヤホンの音漏
れは小さいことがわかったため，今回の実験ではイ
ンナーイヤー型のイヤホンを用いる．デバイス構成
を図 2 にまとめた．図 3 に実験に用いたデバイスを示す．本デバイスでは，イヤホンに Anker 社のSoundcore Life Note 3S，マイクに audio-technica
社の AT9904 を用いた．マイクから取得した耳介反響音の AD 変換には ZOOM 社の F1 オーディオイ
ンタフェースを使用し，PC（ASUS 社: ROG Flow
X13）へとデータを保存した．

4.2

5

評価実験

本実験では 5 名（20〜27 歳）の参加者から耳介反響音を取得した．手形状の種類は図 4 で示す 5 種類である．実験は研究室内にて座位状態で行った．研
究室の空調の電源は切っていない．実験参加者は測定デバイスを図 5 のように右耳に装着し，右手で手形状を再現してもらう．その間に，チャープ信号を再生し，耳介反響音を 5 秒間録音する．これを 5 種類のすべての手形状で測定したものを 1 ラウンドとソフトウェア

本研究で使用するチャープ信号は 0 から 22 kHz のアップチャープ信号 (4,096 サンプル) を用いた．信号の再生/録音のサンプリングレートは 44.1 kHz である．信号の再生は PC と Bluetooth 接続したイヤホンより Realtek(R) Audio ドライバを用いて再生- 89 -WISS 2022

f-score [%]

100

80.1

86.9

88.6

88.6

84.7

85.4

MFCC_30 MFCC_50 LFCC_30

LFCC_50

80
60
40
20

a. 覆う（空間あり） b. 覆う（空間なし）

c. 手前を覆う

0

FFT_819

FFT_204

特徴量

図 6. 特徴量ごとの認識精度．

d. 後ろを覆う

f-score [%]100

e. ホバー

図 4. 評価した手形状．

92.7

80

88.6
67

60
46.6
40

33.1

30.8

20
0
0-4.4

4.4-8.8

8.8-13.2 13.2-17.6 17.6-220-22周波数帯域[kHz]図 7. 利用周波数帯域ごとの認識精度．

度の差異を評価する．精度の調査には参加者ごとのデータを用いて個人ごとの分類モデルを作成する
leave-one-round-out 交差検証を行った．図 6 に各
特徴量での認識精度（F 値）の平均をまとめた．実験の結果，MFCC の 2 パターン共に F 値が 88.6%で最も精度が高かった．次元数は少ないほうが機械学習の効率が良くなるため，以下の調査では 30 分
割フィルタバンクによる MFCC を特徴量として用いる．

Soundcore3S
図Life
5. Note
実験デバイス装着時の様子．
Earphones

する．ラウンド終了後にデバイスの脱着を挟み，合計で 6 ラウンド分のデータを取得した．参加者はマスクを装着し，眼鏡装着者は装着したまま行っても
らった．

5.1

5.2

利用周波数帯域と認識精度の関係実験で利用したチャープ信号の帯域は 22 kHz 分である．得られたデータより認識性能に有効な帯域を調査するために全体の 20%にあたる 4.4 kHz ごとに信号を帯域制限した場合の各認識精度を調査した．
精度の調査には参加者ごとのデータを用いて個人ごとの分類モデルを作成する leave-one-round-out 交
差検証を行った．各参加者の認識精度の全体平均を
周波数帯域ごとに図 7 にまとめた．実験の結果，0から 4.4 kHz までの周波数帯域を利用した特徴量による認識精度が最も高く，F 値は 92.7%であった．
図 8 はジェスチャの予測分布を示す混同行列である．
最も認識精度の高かった手形状は「覆う（空間なし）」
で，最も認識精度の低い手形状は「覆う（空間あり）」
であった．

audio-technica AT9904
Microphone

特徴量と認識精度の関係

提案手法に有効な特徴量の選定を行う．音響信号の反響・伝播を解析し，物体・人体の状態などを認識するアクティブ音響センシングで一般的に利用される特徴量の FFT/MFCC/LFCC の３種類の特徴量を調査した．各特徴量の抽出に用いられるウィン
ドウサイズは 16,384 サンプルとし，8,192 サンプル分のスライドを行った．そのため，FFT で得られる周波数成分は 8,192 次元となるがデータ数に対して次元数が大きい．したがって，本研究では 10/40
次元ごとの間引きを行い，819/204 次元まで次元圧縮を行った．また，MFCC/LFCC の抽出に用いられるフィルタバンクの分割数は 30 分割と 50 分割で調査する．なお，直流成分である 1 次元目を除くた
め次元数はそれぞれ 29 次元と 49 次元となる．
取得した 5 名のデータを用いて特徴量ごとの精- 90 -

音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討
予測ラベル

f-score[%]Amplitude

89.0
96.9
正解ラベル

ー (●) 手を覆う（空間あり）
ー (■) 手を覆う（空間なし）
ー (★) 手前を覆うー (◆) 後ろを覆うー (■) ホバー

91.5
90.9

0

5

10

Frequency [kHz]

15

20

95.4

92.7(平均)

図 8. 混同行列 (0–4.4kHz)．
Angle1

5.3

一般分類モデルの評価

上記の実験により最も精度の高かった 0 から 4.4 kHzの帯域の信号を用いて，一般分類モデルの評価を行う．テストデータ以外の参加者のデータを訓練デー
タとして作成した分類モデルでテストデータを評価する leave-one-user-out 交差検証を行った．調査の結果，各参加者の F 値の平均は 65.7% (SD=11.7)であった．個人分類モデルの認識精度に比べて，27
ポイントの精度低下が確認された．

6

Angle2t-SNE分布

議論および今後の課題

6.1 ジェスチャ認識性能
5.2 節より，0 から 4.4 kHz に帯域制限したデータによる認識精度が最も高いことがわかった．一方，高周波の信号帯域の認識精度が低いことがわかった．
実験参加者 1 名の各手形状の周波数特性と MFCCの t-SNE 分布を図 9 にまとめた．周波数特性から分かるように，4 kHz 付近までの周波数応答が顕著であり，かつ手形状ごとの特性の変化も大きい．一方で，15 kHz 付近以降の周波数応答は著しく低く，手形状ごとの変化も小さい．周波数応答の不均衡の原因
は，信号の減衰率やマイク特性などが影響していると考えられる．今後は，高周波帯域の信号音量を上げることで，高周波数帯域の応答を高くする改善を行う．高周波帯域の応答改善によって，認識性能が向上するか調査する．また，特徴量に用いた MFCC
は，人間の聴覚の特徴である低周波帯域の音に敏感な聴覚特性に合わせたフィルタ設計が行われている．
したがって，高周波帯域の音響データによる認識には不適であったと考えられる．今後は，周波数帯域に依存しない特徴量を用いた調査を進める予定である．これらの調査をもとに，信号の最適な周波数遷
移帯域や周波数ごとの音量を決定する必要がある．

- 91 -

図 9. 各手形状の周波数特性（上）と t-SNE 分布（下）．

各手形状の認識精度について，最も認識精度の低い形状は「覆う（空間あり）」であったが，「手前/後ろを覆う」のそれぞれと混同する傾向にあった（図 8）．
図 9 の t-SNE 分布からも，黒破線で囲まれた「手を覆う（空間あり）」のデータ群は同ラベルのデータ群よりも「手前を覆う」のデータ群に近いことがわ
かる．これらの手形状は共に手の形は同じで，開放する部分のみが変わる．そのため，開放部分が小さかった場合，得られる周波数特性が似てしまうと考えられる．今回の実験では，実験参加者に手前や後ろを覆う時の開放部分の幅などを指定しなかった．
今後は，開放部分の幅と誤認識率の関係を調査することで，適切な手形状の指示を行うなどの改善を行う予定である．

6.2

ジェスチャ検出/ユーザビリティ

提案手法は可聴域の信号を利用する必要があり，
常に信号を再生し続けるのはユーザビリティを大きく損なう．また，ジェスチャ認識を常に行う場合，生活動作をジェスチャとして誤認識し，意図しない
ジェスチャが発生する問題もある．したがって，提案手法を実環境で利用する場合，ユーザが手形状をジェスチャとして行ったことを検出し，ジェスチャ
認識モードに認識システムを切り替える必要がある．
ジェスチャの検出には，例えば搭載されているタッ
チセンサをトリガーとする方法などが考えられ，これは実装が容易である．しかし，タッチセンサが必
要なうえに入力コマンドを一つ減らすことになる．
提案手法を応用することで，タッチセンサなどを利WISS 2022

用せずに，ジェスチャ検出を行う方法も今後調査する必要がある．例えば，音楽などのユーザが気になりにくい信号や超音波帯域（18 kHz–22 kHz）のみのチャープ信号を利用することで，耳介反響音によるジェスチャ検出を検討している．今後は，これらの調査も行っていく予定である．
また，今回の実験では信号の音量が鼓膜部分でおよそ 80 dB であった．信号音量は大きいほど，音漏れが大きくなり得られる周波数応答も良好になるが，ユーザへの聴覚負担も大きくなる．一般的に，85 dB
以上の音を長時間聴き続けると，騒音性難聴のリスクが高まるとされている [11]．今後は，信号音量と認識精度の関係やアンケートによる聴覚への負担などを調査し，最適な信号音量を決める必要がある．
また，音楽再生時に提案手法を利用するためには，音楽再生を中断する必要があり，ユーザビリティの低下につながる．例えば，測定信号の再生帯域を超音波帯域のみにする手法が考えられるが，超音波信号の再生/録音に対応したデバイスが必要である．他には，ユーザが聴いている音楽の応答を利用して周波数特性を測定する手法 [7] などもある．今後は，これらの手法を提案手法に組み込むことで音楽再生時にも利用可能な手法に改善する予定である．

6.3

7

まとめ

本研究ではイヤホン型デバイスの音漏れ信号を利用した手形状認識手法を提案し，認識システムの実装を行った．利用する特徴量や周波数帯域と提案手法の認識性能の関係などを調査した．実験の結果，5 名の参加者による 5 種類の手形状認識において 0から 4.4 kHz の MFCC を用いることで 92.7%（F値）の認識精度が得られることを確認した．

謝辞
本研究は JSPS 科研費 21J10706/18H04104，JST
さきがけ JPMJPR2138 の助成を受けたものです．

実用環境/オープンイヤーデバイスでの調査

本研究は提案手法の実現可能性の調査が目的であったため，安定環境（静かな部屋/座位状態）で収集したデータを用いた基礎的な性能調査に留まっている．今後の実利用を考慮すると，ノイズ環境や
モバイル環境での調査を進めていく必要がある．また，本実験はインイヤータイプのデバイスによる実験のみであったが，オープンイヤータイプ [5] のデバイスでも耳介反響音は取得できると考えており，
このようなデバイスタイプでは信号音量も小さくできる可能性が高い．今後は，このようなデバイスタ
イプの手形状認識性能も調査していく予定である．

6.4

イスによる個人認証手法も多くの研究 [6] が進められており，デバイスから秘匿性の高い情報にアクセスするための認証や決済アプリケーションなどの応用が考えられる．我々は，現在保持している 5 名の音響データより「手を覆う（空間あり）」のデータを用いて簡易的な個人識別モデルを作成した．その結果，5 名の参加者の個人識別率は 94.5%であることが確認された．したがって，今回我々が測定した耳介反響音は個人識別/認証システムへの応用も期待できる．

認識モデルの一般化と個人認証への応用

5.3 節より，一般分類モデルによる認識精度は個人分類モデルに比べて 27 ポイントも低下することがわかった．これは参加者ごとに耳介や手のサイズ，
形状が大きく異なるため，得られる音響データも異なったことが原因だと考えられる．一般分類モデルの精度を向上させるためには，個人の耳介/手形状に依存しない特徴量を見つけ出す特徴量エンジニアリ
ングなどの認識アルゴリズムの改善が考えられる．
また，動きや手の形状変化を伴うジェスチャを採用することでドップラー効果による周波数変化を利用し，個人に依存しない手の動作を認識に利用する手法などが考えられる．
一方で，これらの個人の差異を利用することで個人認証が実現できる可能性がある．ヒアラブルデバ- 92 -

参考文献[1] T. Amesaka, H. Watanabe, and M. Sugimoto.
Facial Expression Recognition Using Ear Canal
Transfer Function. In Proceedings of the 23rd
International Symposium on Wearable Computers, ISWC ’19, pp. 1–9. ACM, 2019.
[2] T. Ando, Y. Kubo, B. Shizuki, and S. Takahashi.
CanalSense:Face-Related Movement
Recognition System Based on Sensing Air Pressure in Ear Canals. In Proceedings of the
30th Annual ACM Symposium on User Interface Software and Technology, UIST ’17, pp.
679–689. ACM, 2017.
[3] Apple Inc. AirPods, (2022.09.22. accessed).
https://www.apple.com/jp/airpods-pro/.
[4] A. Bedri, D. Byrd, P. Presti, H. Sahni, Z. Gue,and T. Starner. Stick It in Your Ear: Building an In-ear Jaw Movement Sensor. In Adjunct Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2015
ACM International Symposium on Wearable
Computers, UbiComp/ISWC ’15 Adjunct, pp.
1333–1338. ACM, 2015.
[5] BOSE.
WHAT
ARE
OPEN-EARHEADPHONES?,(2022.09.22.
accessed).
https://www.bose.com/en_us/better_with_bose/open-ear-headphones.html.
[6] Y. Gao, W. Wang, V. V. Phoha, W. Sun,
and Z. Jin. EarEcho: Using Ear Canal Echofor Wearable Authentication. Proceedings of音漏れ信号を用いたヒアラブルデバイス向け手形状認識手法の検討

the ACM on Interactive, Mobile, Wearable andUbiquitous Technologies, 3(3), 2019.
[7] H. Kawahara and K. Yatabe. Safeguarding test
signals for acoustic measurement using arbitrarysounds: Measuring impulse response by playing music. Acoustical Science and Technology,
43(3), 2022.
[8] H. Lei and E. L. Gonzalo. Mel, linear, andantimel frequency cepstral coeﬃcients in broad
phonetic regions for telephone speaker recognition. In Proceedings of the 10th Annual Conference of the International Speech Communication Association, INTERSPEECH ’09, pp.
2323–2326. ISCA, 2009.
[9] D. J. C. Matthies, B. A. Strecker, and B. Urban. EarFieldSensing: A Novel In-Ear Electric
Field Sensing to Enrich Wearable Gesture Input Through Facial Expressions. In Proceedingsof the 2017 CHI Conference on Human Factors
in Computing Systems, CHI ’17, pp. 1911–1922.
ACM, 2017.
[10] K. Taniguchi, H. Kondo, M. Kurosawa, andA. Nishikawa. Earable TEMPO: A Novel,
Hands-Free Input Device that Uses the Movement of the Tongue Measured with a Wearable
Ear Sensor. Sensors, 18(3), 2018.
[11] World Health Organization. Safe Listening Devices and Systems, 2019.
[12] X. Xu, H. Shi, X. Yi, W. Liu, Y. Yan, Y. Shi,
A. Mariakakis, J. Mankoﬀ, and A. K. Dey. EarBuddy: Enabling On-Face Interaction via Wireless Earbuds. In Proceedings of the 2020 CHI
Conference on Human Factors in Computing
Systems, CHI ’20, pp. 1–14. ACM, 2020.
[13] 真鍋 宏幸, 福本 雅朗. Headphone Taps：通常のヘッドホンへのタップ入力. 情報処理学会論文誌,
55(4):1334–1343, 2014.
[14] 菊地 高史, 正井 克俊, 杉本 麻樹, B. H. Thomas,
杉浦 裕太. EarTouch: 耳の入力インタフェー
ス化. 日本バーチャルリアリティ学会論文誌,
22(4):477–483, 2017.

- 93 -WISS 2022

車椅子使用者を周囲の人と遠隔介助者に繋ぐ遠隔車椅子システム
高木 瑠名 ∗

宮藤 詩緒 ∗

Jeﬀerson Pardomuan∗

小池 英樹 ∗

概要. 本システムは，全天周映像を用いて，遠隔介助者と車椅子使用者，車椅子周囲の第三者を繋ぐ，遠隔操作・コミュニケーションシステムである．近年車椅子のニーズが高まっている中，多くの車椅子に関する研究は，完全自動運転や遠隔操作等，車椅子の操作に焦点を当てている．だが，車椅子使用者にとっては，操作だけでなく，周りにいる介助者や第三者との会話も生きるために重要な要素である．そこで我々は，全天周カメラを用いて車椅子使用者と遠隔介助者を繋ぎ，遠隔介助者が車椅子使用者とその周囲の状況を観察しながら車椅子を操作し，三者がコミュニケーションを行うシステムを提案する．本システムでは，遠隔介助者側にお椀型ディスプレイ，車椅子側に球体ディスプレイを使用することで，操作だけでなくコミュニケーションにも焦点を当てた．提案システムにより全天周理解が向上することを実証するため，技術的評価・ユーザ実験を行い，最後に考察を行った．

図 1. 遠隔車椅子システム: (左) 遠隔介助者を見る車椅子使用者, (中央) コンセプト, (右) 車椅子使用者とその周囲を観察する遠隔介助者.

1

はじめに

最近の車椅子は，重度障害者だけでなく，移動性向上を目的として使用されることも多く，高齢者においてこのニーズは顕著である．しかし，車椅子使用者の増加に伴い介助者が不足する現状では，介助者が常に隣でマンツーマンサービスを提供することは困難である．この問題を解決するため，介助者の負担を軽減する様々な研究が行われている [2, 10,
14, 22, 26, 29]．このような自動運転は技術が不完
全で危険なため，現代の技術では半自動運転等を伴う，遠隔操作が有効である [7, 8, 9]．しかし，これらの研究では平面ディスプレイやヘッドマウントディ
スプレイ (HMD) を使用しており，全天周映像を観察する場合，一度に見える範囲が限定されてしまい，
危険な操作に繋がってしまう．
車椅子使用者にとって，周囲の第三者との会話は生活や健康に不可欠な要素である．しかし，第三者に介助を頼むのは心理的負担が大きい．また，自立した車椅子使用者にとっても見知らぬ第三者との会話は性格や疲労度等に左右され，難しい問題である．
通常の車椅子上のコミュニケーションでは，介助者が使用者と第三者の間を繋ぐファシリテータとして，∗

東京工業大学 情報理工学院- 94 -

三者間のコミュニケーションの円滑化を促進する．
しかし，既存の遠隔操作の研究は，双方向の遠隔会話ではなく遠隔者による一方的な操作のみ議論されている [7, 8, 9]．また，介助者の隣で会話を行うシステムでは，介助者が常に付き添っていなければならない [11, 12, 13, 24]．これらの問題を解決するため，テレプレゼンスを利用した研究 [6, 23, 25] も存在するが，介助者の顔が見えない，介助者を第三者に提示できないという問題がある．
本論文では，車椅子使用者を周囲の人と遠隔介助者に繋ぐ遠隔車椅子システムを提案する (図 1)．介助者が安全に車椅子周辺を観察するため，DisplayBowl [17, 19] と呼ばれるお椀型ディスプレイを使用する．遠隔介助者は，お椀型ディスプレイの特徴を活用することで，車椅子の全周囲映像だけでなく，車椅子使用者の顔・視線も同時に観察し，使用者と周囲とのコミュニケーションを図る．さらに，車椅
子側では，介助者の存在を車椅子上の球体ディスプ
レイに表示することで，車椅子使用者や第三者が遠隔介助者がそばにいることを実感でき，車椅子使用
者の孤独感や社会的孤立，負担を軽減させ，周囲とのコミュニケーションに繋げる．

2

関連研究

自動運転 自動運転は介助者の負担や立会いを必要とせず，車椅子使用者が行きたいところへ連れて行く．
近年，空港や病院等で車椅子の自動運転が実用化されているが，一時的に発生する興味を反映できない．
これに対し，使用者の視線や頭部等の情報を利用して目的地まで誘導するシステム [2, 10, 14, 22, 26, 29]
は，障害を持つ方にとって有用なシステムだが，倫理的・技術的課題が多く実用化には程遠い．また，操作にのみ焦点があり介助者がいないため，必ず必要となる周囲の第三者へのサポート要求が困難である．

WISS 2022

表 1. 車椅子での外出に必要な要素と発言内容. (C1 と C2，W2 と C5 と C6 はそれぞれグループで行った.)要素
周囲の状況把握周囲の人とのコミュニケーション
車椅子使用者の意思の尊重

W1
1
○
2
○
–

W2
3
○
4
○
5
○

遠隔操作 自動運転の欠点解消のため，人間が車椅子を遠隔操作するシステムも開発されている [7, 8, 9]．
これらのシステムは，介助者がそばにいる必要がな
いが，平面ディスプレイや HMD を用いて車椅子周辺の環境と車椅子使用者を観測するため，車椅子側の状況を全て感知することが難しく，危険を伴う．
この問題を解決するため，衝突回避による半自動運
転システムが提案されているが，動的な環境下での衝突回避は非常に複雑であり [27]，特定シナリオでの実用化に留まっている．また，これら遠隔操作シ
ステムでは，遠隔操作を行う介助者の情報が提供されず，車椅子使用者の恐怖心を煽り [30]，周辺の第三者とのコミュニケーションに支障をきたす．
車椅子でのコミュニケーション 主に車椅子を利用する高齢者や障害を持つ方にとって，周囲とのコミュ
ニケーションは生きるために必要な手段であり，孤独感や社会的孤立感，健康面においても重要な要素である．車椅子使用者の手 [3] や腕 [1] を拡張するシス
テムは，会話に必要な指や腕を活用することで，周囲とのコミュニケーションを支援する．介助者の車椅子を押すという役割をなくすシステム [11, 12, 13, 24]
では，介助者が車椅子使用者の隣を歩きながら，両者が等しく会話を行うが，介助者が常に車椅子の近くにいる必要がある．ロボットを用いて車椅子の周囲や車椅子使用者と対話するシステム [6] では，ロボットが簡単な動作をするものの，人の顔が見えず使用者に不安感や孤独感を与える可能性がある．
タブレット端末に遠隔介助者の顔を表示するシステ
ム [25] は，使用者が介助者の存在を確認し安心感を得ることができるが，平面ディスプレイであるため，第三者が介助者の存在を認識できず，介助者が第三者とのコミュニケーションをサポートできない．

3

車椅子に関わる人の要求

車椅子使用者と介助者を対象に半構造化インタ
ビューを行い，車椅子での外出で直面する課題や介助者が気をつける点について，実体験から潜在的要求事項を引き出すことを試みた．車椅子使用者 3 名(W1-W3) と介助経験者 6 名 (C1-C6) の計 9 名に協力してもらった．インタビューは，参加者情報を調査し，論文掲載の許可を得ることから始まり，参加
者にシステムの簡単な説明を行った．その後，車椅子の遠隔操作やコミュニケーションに関する質問を行い，具体的な体験に基づく意見を求めた．各イン

W3
6
○
7
○
8
○

C1
9
○
10
○
11
○

C2 & C3
12
○
13
○
14
○

C4
15
○
16
○
17
○

C5 & C6
18
○
19
○
–

タビューは 1 時間から 1 時間半程度で終了した．
インタビューから，車椅子外出に必要な要素「周囲の状況把握」「周囲の人とのコミュニケーション」「車椅子使用者の意思の尊重」を明らかにした (表 1)．
周囲の状況把握 車椅子で外出する際に最も重要なことは，安全のために周囲の物理的環境を認識する
6 誰かと会話しながら歩いていことである．
「(W3○)
る際にも，常に周囲の環境に意識を向けなければならない．このような別のことへの意識により，疲労9 操作してい具合が大きくなった気がする」「(C1○)
なくても，周囲を確認して危険を察知してあげたい」
周囲の環境は危険情報だけでなく，視野を広げる
ためにも必要となる．車椅子に乗ると小学校低学年
程の身長となり，周囲や後方が見えにくく，自分よ1
り視野の広い介助者からの提案を求める．
「(W1○)
介助者に知人を見つけてもらったりして，あの人に話しかけてみたらどう？という提案をしてほしい」
これら周囲の環境認識には，ある程度の知識，経験，感覚，体力が必要だ．そのため，普段介助者のサポートを受けている車椅子使用者や使用経験の少ない使用者，W3 のような自立した車椅子使用者にとっても，介助者の支援が必要である．車椅子使用者が行いたい作業と，周囲の環境の認識を切り離すことで，本来の作業に集中することができる [30]．
周囲の人とのコミュニケーション 全ての参加者
が，車椅子での外出には，他者とのコミュニケーシ
ョンが不可欠であると述べた．代表的な意見として
10 コミュニケーションは車椅子使用者にとっ「(C1○)て，生きるための手段であり，普通に生活する人と比較すると，コミュニケーションの負担は大きい」
コミュニケーションにも介助者の存在が必要だ．
一人で外出できない車椅子使用者は，介助者の存在で安心感を得，見知らぬ人との会話が困難な使用者
は，介助者の第一声のサポートが精神的な支えになる (C1)．介助者が遠隔地にいても，その存在が周囲との会話のファシリテータとして機能することで，社会的孤立を回避できると考えられている [5]．
この周囲とのコミュニケーションを車椅子使用者だけに負わせることは余計な負担となる．第三者とコミュニケーションをとる際，本来の目的を達成するためと，車椅子使用のためのコミュニケーションの 2 つが発生する．例えば，買い物の際，欲しい物の情報 (サイズ，色等) は目的のためのコミュニケー
ションだが，動作の制約による情報 (財布の場所，で- 95 -

車椅子使用者を周囲の人と遠隔介助者に繋ぐ遠隔車椅子システム

図 3. お椀型ディスプレイの見え方: (左) 俯瞰視点
(TDV), (右) 擬似三人称視点 (TPV).
図 2. 二つの全天周ディスプレイ: (左) 車椅子側の球体
ディスプレイ, (右) 遠隔側のお椀型ディスプレイ.

きないことの伝達等) は車椅子使用により発生する
コミュニケーションである．前者を車椅子使用者，後者を介助者に割り振ることで，負担軽減に繋がる．
車椅子使用者の意思の尊重 また，車椅子で外出する際，介助者や第三者の行動を車椅子使用者の意思に合わせて修正すべきである．車椅子使用者は過度な心配や助けを被ることが多く，喋りかけられたく
8
17 ．W3 は普通にない場面も存在する (W3○,C4○)
しているだけで，特別な目で見られることが多く，
見えなくなりたいと思うことが多いと言う．
操作に関しても，介助者の操作は介助者の意思だけによってはいけない．車椅子使用者の興味が湧いたときには，その意思を反映させる操作が必要である．C1 の学生 (車椅子使用者) からは，行きたい場
所や意思があるときに，自分の考えと操作の齟齬がストレスになるという意見が複数出された．

4

図 4. システム構成図

われる正距方位図法で，直感的な車椅子周囲の観察に使いやすく，遠隔操作に適している (図 3, 左)．
TPV は，お椀の前面と背面を同時に観察すること
で，遠隔介助者が車椅子使用者と周囲を観察でき，
コミュニケーションに最適な視野となる (図 3, 右)．
車椅子側: 遠隔介助者の顔や一部の映像等を車椅
子使用者や周囲に提示するため，遠隔側の全天周映像も撮影する必要がある．全天周により，複数介助者が会話に参加できる等，柔軟性を持てる．
第三者の介入 周囲とのコミュニケーションを容易にするため，車椅子に球体ディスプレイ (図 2, 左) を導入する．球体ディスプレイ [4, 15, 28] はその形状特徴から，どの位置からでも歪みのない映像を見られる．そのため，車椅子使用者だけでなく，周囲に情報を伝えるディスプレイとして適している．また，球体に顔を表示することでより自然な遠隔コミュニケー
ションが可能になるという従来の考察 [18, 20, 21]から，球体ディスプレイは遠隔介助者の顔を表示し存在感を示すのにも適している．

システム設計本システムの主な目的は，車椅子使用者と遠隔介助者が，離れていても隣にいるように操作やコミュ
ニケーションを行い，車椅子周囲の第三者とのコミュ
ニケーションに繋げることである (図 1, 中央)．しかし，関連研究では前章で述べた 3 つの要求等，遠隔での操作とコミュニケーションの両立を実現していない．そこで，全天周映像を用いてこれら両面を実現し，車椅子使用者と遠隔介助者のコミュニケー
ションに第三者を含めるシステム設計を提案する．

5

全天周操作とコミュニケーション 遠隔介助者側: 車
椅子を操作しコミュニケーションをとるため，遠隔介
助者が車椅子周囲を観察し，車椅子使用者の安全を確保するとともに，話し相手となる第三者を発見する必要がある．遠隔介助者が車椅子使用者の代わりに周囲を認識することで，負担を軽減し，見えない
視界を拡大する．全天周観察には，平面ディスプレイ
や HMD よりも安全な周辺観察を行うことができると実証された [17]，お椀型ディスプレイ (図 2, 右) を使用する．お椀型ディスプレイは，俯瞰視点 (TDV)，
一人称視点 (FPV)，疑似三人称視点 (TPV) という特徴を持ち，前後方向の感覚を失うことなく全天周を観察できる．特に TDV は，地図の観察によく使- 96 -

プロトタイプの実装

遠隔介助者側 天井等不要な情報を排除するため，車椅子全天周映像の正距円筒図法のうち地面から 5/8
部分を取得し，プロジェクタ (BenQ HT3550) から
お椀型ディスプレイ (直径 30cm) に投影することで(図 5, b)，遠隔介助者に対し，車椅子使用者や第三者，周囲の環境の観察を支援する (図 4, 右)．
また，お椀型ディスプレイ中央の全天周カメラ(RICOH THETA V) で撮影した遠隔側環境 (図 5,b) は，USB で遠隔 PC に接続され，WebRTC 通信により車椅子 PC に配信される (図 4, 青)．
車椅子側 車椅子 (WHILL MODEL CR) の操作
では，コントローラ (Nintendo Switch Pro Con-WISS 2022

図 6. 視線共有: (a) 手前に顔, 奥に視線方向を示すお椀型ディスプレイ, (b) 物体を見る車椅子使用者,(c) 車椅子使用者の視線, 顔, 周囲を見る遠隔者.
図 5. ハードウェア設計: (a) 車椅子側, (b) 遠隔側.

troller) のスティックからの操作信号を BluetoothHID プロファイルで遠隔 PC に認識させ，UDP 通
信で車椅子 PC に送信する．そして，RS232C 通信を用いて車椅子を操作する (図 4, 赤)．
車椅子上の全天周カメラ (RICOH THETA V)
で周辺と車椅子使用者を撮影し，WebRTC 通信で遠隔側 PC に映像を配信する (図 4，左)．運転のために車椅子周辺を観察する場合，車椅子使用者が視界の妨げにならないため，カメラの位置は頭上が最適となる．しかし，操作だけでなく車椅子周囲の会話も重視するため，車椅子の背面は若干見にくくな
るが，方向感覚を失わず顔を観察できるよう，カメラは顔の前方上部に設置する (図 5, a)．
また，プロジェクタ (ASUS S1) と魚眼レンズ (OPT0.2X-37) から，遠隔側の映像を加工し，球体ディスプレイ (直径 12 cm) に投影する (図 2, 左)．

5.1

基本機能

視線共有 視線共有は他者の意図を理解する上で重要な役割を担う．安藤ら [1] は，アイトラッカーを使用して車椅子使用者の視線情報を遠隔操作者に共有した．本機能は，全天周映像から車椅子使用者の視線を推定し，コミュニケーション円滑化を目指す．
車椅子上の全天周カメラで暗黙的興味領域を検出し，遠隔ディスプレイに送信する (図 6)．遠隔介助者は，TPV を通して注視点領域 (緑丸: 注視点から一定面積) と顔を同時に観察し，無意識の興味による操作や新たな遠隔コミュニケーションに繋げる．視線位置検出方法は以下の通りである．車椅子上カメラで撮影した全天周映像を Unity の仮想球にマッピングする．球の中心に仮想カメラを配置し，車椅子使用者の顔を MediaPipe 1 により撮影する. 得られた顔のランドマークから，比較的動きの少ない鼻先と両鼻孔の位置を抽出し，3 次元空間に変換し，これらの値の差から方向を求める．そして，顔位置と視線方向から球面との交点 (注視点) を求め，お椀型
ディスプレイに緑丸で表示させる．
対面式コミュニケーション 遠隔介助者が第三者に直接話しかけたいときは，お椀型ディスプレイを回転させ，目の前に第三者を映し出す (図 7, b,d)．そ1

図 7. 対面式コミュニケーション: (a)(b) 遠隔者が車
椅子使用者のみを見て会話をする, (c)(d) 遠隔者
が車椅子使用者と第三者を見て会話をする.

れに伴い，遠隔介助者の顔が第三者の方を向き，対面した会話が可能になる (図 7, c,d)．
お椀型ディスプレイの回転角度は，底面に取り付けた導電プラスチック角度センサー (MIDORI PRECISIONS, CP-2FB) を使って計測される．取得回転角に応じて投影映像を回転させ，全天周映像がお椀型ディスプレイに張り付いた表示，球体ディスプ
レイ上で介助者が方向を変えた表示を可能とする．
対面コミュニケーションやアイコンタクトは，会話の中で相手を理解し心地よく感じるため必要不可
欠であり，遠隔介助者と第三者に対してこの機能を実装することで，両者のコミュニケーションを円滑にできる．特に，車椅子使用者がコミュニケーショ
ンを取りたくない場合や，関わる必要がない場合に有効である．また，遠隔介助者が仲介役となることで，介助者，第三者，車椅子使用者の 3 者の対等コ
ミュニケーションに有効となる (図 7, c,d)．

6

システム評価6.1

技術評価

全天周画像からの視線推定精度を測定するため技術評価を行った．頭部に設置したセンサーで頭部角度を計測し，車椅子上のカメラで車椅子使用者含む
全天周映像を撮影した．人間の頭部の可動範囲や負担を考慮し，ヨー −60◦ ∼ 60◦ ，ピッチ −30◦ ∼ 30◦で測定し，推定角度と実際の角度の差を分析した．
結果と考察 誤差を図 8 に示す．カラースケールは誤差の大きさを可視化したもので，誤差角 0 の青色から，誤差角が大きくなるにつれ黄色に変化する．
ヨー，ピッチ共に端に向く程誤差が大きくなるが，

https://google.github.io/mediapipe/- 97 -

車椅子使用者を周囲の人と遠隔介助者に繋ぐ遠隔車椅子システム

図 10. 各測定の定量的評価: (左) 視線方向の推測のス
コア. ‘*’ は p 値が 0.05 未満であることを示す (p＜ 0.05). (右) タスク完了時間.

図 8. 推定角と実角度の誤差: (左) ピッチ, (右) ヨー.

4. 以上の作業を 10 枚の画像で繰り返す．
1 つ目のディスプレイが終了した後，2 つ目が行われ
図 9. 実験設計: (a) 使用する全天周映像撮影環境, (b)平面ディスプレイ, (c) お椀型ディスプレイ.

る．順番は参加者間でカウンターバランスをとった．

これはカメラから顔が検出できないためである．特に下方向は誤差が大きく，この技術的誤差を何かで補う必要がある．この問題は，お椀型ディスプレイ
を TPV で観察することで解決可能であると考える．
以下のユーザー実験でこの考察を証明する．

6.2

ユーザー実験

測定 車椅子使用者の視線推定に成功した回数を「スコア」として計測した．正解を 1 点，誤答を 0 点とし，10 点満点で計算した．また，最初の画像表示か
ら最後の画像の視線方向に反応するまでの「タスク完了時間」を測定した．さらに，定性的なフィード
バックと主観的な尺度を測定するため，短い半構造化インタビューを実施し，タスク内での各ディスプ
レイの長所と短所を答えてもらった．

方向表示におけるお椀型ディスプレイの有用性を実証するため，平面正距方位図法ディスプレイとの比較ユーザー実験を行った．地元の大学から 21 歳
から 30 歳 (M = 24.6, SD = 2.59) の 10 名 (女性 3名，男性 7 名) の，お椀型ディスプレイの経験のない参加者 (P1-P10) を募集した．

仮説 お椀型ディスプレイの特徴が全天周映像の方
向性理解に役立つと考え，以下の仮説が導かれた．
H1: お椀型ディスプレイの使用は，平面ディスプ
レイ使用時よりも誤差を低減させられる．
H2: お椀型ディスプレイの使用は，平面ディスプ
レイ使用時よりも速度を向上させられる．

実験設計とタスク 参加者は，車椅子使用者の視線を遠隔介助者として判断することを求められた．車椅子の前方に 1〜6 の数字を配置し (図 9, a)，車椅
子上のカメラで画像を撮影した．各画像に大まかな
視線情報 (左右のみ正しい等) を緑丸で描画した．
これらの画像は，被験者が観察した 2 種類のディスプレイに表示された．平面正距方位図法ディスプ
レイ: 全天周映像は正距方位図法により平面にマッピングされ，中央には車椅子足元，上部には車椅子
前方，下部には車椅子後方と車椅子使用者の顔が表示される (図 9, b)．お椀型ディスプレイ: 図 9 (c)は，被験者がお椀型ディスプレイを見ながらタスクを行っている様子で，背面には車椅子正面，前面には車椅子背面と使用者の顔が映し出される．
参加者は全天周画像を観察し，誤差を含む視線情報 (緑丸) と車椅子使用者の顔や表情を考慮し，正し
い注視点を推定するタスクを行った．

定量結果 客観的指標として，スコアと実行時間を記録し，仮説の検討に利用した．
H1: 図 10 (左) に示すように，お椀型ディスプ
レイ条件 (M = 8.9, SD = 1.58) の方が平面ディス
プレイ条件 (M = 7.2, SD = 1.47) より高いスコアを獲得した．Shapiro-Wilk 検定の結果，お椀型ディスプレイ条件では正規性が仮定されていないことが分かった (p = 0.002 < 0.05)．そこで，Wilcoxon
Signed-rank 検定を用いて効果を確認し，条件間で統計的に有意な差があることが分かり [Z = -2.083,
p = 0.042 < 0.05]，仮説 H1 が確認された．
H2: 条件間でタスク完了時間に差があるかどうかを調べるため，paired t-test を実施し，お椀型ディスプレイ (M = 55.25, SD = 28.3) と平面ディスプ
レイの条件 (M = 55.31, SD = 18.6) では，有意差がないことが分かり [t(20) = -0.011, p = 0.99 >0.05] (図 10, 右)，仮説 H2 は棄却された．

1. タスクは，実験者の合図で開始される．
2. 全天周画像と補助点がランダムに表示される．
3. 車椅子使用者の向いている方向を 1〜6 の中から選択したら，キーボード入力を行う．

- 98 -

定性結果 10 人中 9 人が，お椀型ディスプレイの方が平面ディスプレイよりもどこを見ているか推測しやすいと述べていた．また，表示される映像は同じだが，「車椅子使用者の視線の高さと顔の傾きを同じ

WISS 2022

高さで確認できた」(P2) という参加者もおり，視線の共有が起きていることが分かった．
平面ディスプレイでは大まかな方向は分かりやす
いが (P3,P6,P7)，鉛直判断は難しく (P1,P2,P3,P6,
P7,P9)，正しい推測が難しい (10 名中 9 名)．
考察 技術評価で分かったように，システムのシン
プル化のため 1 台の全天周カメラを使用しており，
視線や顔の向きを推定できない場合も存在する．このような際に，お椀型ディスプレイを使用すると，
視線推定スコアが向上することから，より正確な視線推定が可能となる．特にインタビューにより，お椀型ディスプレイは平面ディスプレイよりも空間の上下方向が把握しやすく (10 名中 4 名)，視線を直感的に把握しやすい (10 名中 8 名) ことが分かった．
ユーザー実験の結果，平面ディスプレイとお椀型ディスプレイには，視線推定に時間差は見られなかった．
しかし，インタビューから我々の主張を裏付ける結果が得られた．平面正距方位図法ディスプレイは，視線の移動が少なく画像全体を一度に把握できるが (P6)，
方向性が定まらない (P3,P6,P7,P9)．一方，お椀型
ディスプレイは前面と背面を同時に見る必要があり，初めて使うには難しいが (P3,P5,P6,P8)，ユーザーは上下などの正しい方向感覚や車椅子使用者を直感的に認識することができる (P1,P6,P7,P9)．

7

考察

本研究では，新しい遠隔全天周操作・コミュニケー
ション車椅子システムを提案し，既存研究で実現されなかった，遠隔での会話支援も実現し，車椅子外
出手段のオプションを増やす貢献をした．本章では，インタビューで明らかになった 3 つの要求に関して，
本研究の特徴や利点，制約等について考察する.
周囲の状況把握 本システムは，全天周カメラとお椀型ディスプレイを用いて全天周観察を実現し，車椅子の遠隔操作・コミュニケーションに有用となるシステムとなった．車椅子に全天周カメラを搭載した研究はいくつかあるが [7, 8, 9]，操作とコミュニ
ケーション両面に最適なカメラ位置を考慮し，1 台のカメラで周囲環境，車椅子使用者，第三者を観察できる．ユーザー実験の結果，車椅子遠隔操作時の周囲の一貫観察には TDV，正確な方向認識には TPVが適切であることが分かった．お椀型ディスプレイ
を採用することでこれら両面を実現し，車椅子外出に必要な「周囲の状況把握」のサポートを行う．
本研究では，車椅子周囲の簡単な観察のため，1台の全天周カメラを設置したが，使用者の体が周囲観察の妨げになっている．今後はより視野を広げるため，ドライブレコーダーのように背面に 180 度カメラを搭載したり，1 台の全天周カメラを可動式にする [16] 等の改善を行いたいと考えている．

周囲の人とのコミュニケーション 2 つのディスプレ
イで「周囲の人とのコミュニケーション」に寄与す
る．ユーザー実験の結果，お椀型ディスプレイは周囲位置の正確な理解を促し，第三者の位置等の正確な状況を直感的に感じ取れるため，遠隔側にお椀型
ディスプレイを搭載することで，話しかける相手を決断したり，直接的に介助情報を提示したりと，第三者とのコミュニケーションに有効となる．さらに，全周囲から観察できる球体ディスプレイを車椅子に設置し，車椅子使用者だけでなく，周囲の第三者にも遠隔介助者の存在や情報を提示することで，従来研究では実現できなかった，第三者を含めた三角形のコミュニケーションの実現を可能にする．
本研究では，車椅子外出の要求を探るため，車椅子に関わる人々にインタビューを行い，システムの視線推定に対するユーザー実験を行いフィードバッ
クを得た．今後は，実際にターゲットとするユーザー
が車椅子で遠隔外出するシナリオを想定し，第三者の介入によるコミュニケーションの変化や行動の変化に着目したフィールド実験を行いたい．
車椅子使用者の意思の尊重 ユーザー実験では，お椀型ディスプレイにより車椅子使用者を直感的に見て，使用者と同一の視点で観察できることが実証された．P2 が語ったように，前面に使用者が投影されることで，同じ高さで周囲を観察することができる．
これは，介助者に求められる要素でもある (C4)．このように，車椅子使用者の興味を正確に認識できる
ため，遠隔介助者は意思に気付きやすくなり，「車椅
子使用者の意思の尊重」を考慮しやすくなる．

8

むすびと展望全天周映像を用いて，車椅子使用者と近くにいる
第三者や遠隔介助者を繋いでサポートを行う，新しい遠隔操作・コミュニケーションシステムを提案し，実装した．遠隔介助者はお椀型ディスプレイで車椅子使用者とその周辺を観察し，車椅子側では球体ディスプレイで介助者の存在を車椅子使用者や第三者が認識し，コミュニケーションの促進となりうる．そして，視線情報や対面コミュニケーションの基本機能を実装し，技術評価とユーザー実験を行いシステ
ムの有効性を評価し，考察を述べた．
今回実装したプロトタイプでは，無線通信と投影(583 ms)，スムージングのための回転取得に遅延が発生している．しかし，遅延は操作性や会話の弊害となってしまうため，屋外での実装に 5G 通信，回転のノイズ軽減フィルターにより遅延は軽減できる．

謝辞
本研究は JSPS 科研費 JP20K23321 の助成を受けたものである．

- 99 -

車椅子使用者を周囲の人と遠隔介助者に繋ぐ遠隔車椅子システム

参考文献[11] Y. Kobayashi, Y. Kinpara, E. Takano, Y. Kuno,
K. Yamazaki, and A. Yamazaki.
Robotic
Wheelchair Moving with Caregiver Collaboratively Depending on Circumstances. In CHI ’11
Extended Abstracts on Human Factors in Computing Systems, CHI EA ’11, p. 2239–2244, New
York, NY, USA, 2011. ACM.
[12] Y. Kobayashi, Y. Kinpara, E. Takano, Y. Kuno,
K. Yamazaki, and A. Yamazaki. A Wheelchair
Which Can Automatically Move alongside a
Caregiver. In Proceedings of the 6th International Conference on Human-Robot Interaction,
HRI ’11, p. 407–408, New York, NY, USA, 2011.
ACM.
[13] Y. Kobayashi, R. Suzuki, Y. Sato, M. Arai,
Y. Kuno, A. Yamazaki, and K. Yamazaki.
Robotic Wheelchair Easy to Move and Communicate with Companions. In CHI ’13 Extended
Abstracts on Human Factors in Computing Systems, CHI EA ’13, p. 3079–3082, New York, NY,
USA, 2013. ACM.
[14] M. Kutbi, X. Du, Y. Chang, B. Sun,
N. Agadakos, H. Li, G. Hua, and P. Mordohai.
Usability Studies of an Egocentric Vision-Based
Robotic Wheelchair. J. Hum.-Robot Interact.,10(1), Jul 2020.

[1] R. Ando, K. Minamizawa, and M. Y. Saraiji.
SlideFusion: Surrogacy Wheelchair with Implicit Eyegaze Modality Sharing. In ACM
SIGGRAPH 2020 Emerging Technologies, SIGGRAPH ’20, New York, NY, USA, 2020. ACM.
[2] J. M. Araujo, G. Zhang, J. P. P. Hansen,
and S. Puthusserypady. Exploring Eye-Gaze
Wheelchair Control. In ACM Symposium on
Eye Tracking Research and Applications, ETRA
’20 Adjunct, New York, NY, USA, 2020. ACM.
[3] Y. Asai, Y. Ueda, R. Enomoto, D. Iwai, and
K. Sato. ExtendedHand on Wheelchair. In
Proceedings of the 29th Annual Symposium on
User Interface Software and Technology, UIST
’16 Adjunct, p. 147–148, New York, NY, USA,2016. ACM.
[4] H. Benko, A. D. Wilson, and R. Balakrishnan.
Sphere: Multi-Touch Interactions on a Spherical Display. In Proceedings of the 21st Annual ACM Symposium on User Interface Software and Technology, UIST ’08, p. 77–86, New
York, NY, USA, 2008. ACM.
[5] P. Boissy, H. Corriveau, F. Michaud,
D. Labonte, and M.-P. Royer. A qualitative study of in-home robotic telepresence forhome care of community-living elderly subjects.
Journal of telemedicine and telecare, 13:79–84,
02 2007.
[6] H. Fukuda, K. Yamazaki, A. Yamazaki,
Y. Saito, E. Iiyama, S. Yamazaki, Y. Kobayashi,
Y. Kuno, and K. Ikeda. Enhancing Multiparty
Cooperative Movements: A Robotic WheelchairThat Assists in Predicting Next Actions. In
Proceedings of the 20th ACM International Conference on Multimodal Interaction, ICMI ’18, p.
409–417, New York, NY, USA, 2018. ACM.
[7] R. Gunderson, S. Smith, and B. Abbott.
Applications of virtual reality technology towheelchair remote steering systems. Proceedings of the 1st European Conference on Disability, Virtual Reality and Associated Technologies(ECDVRAT’96), Maidenhead, UK, pp. 8–10, 01
1996.
[8] S. Hashizume, I. Suzuki, K. Takazawa,
R. Sasaki, Y. Hashimoto, and Y. Ochiai. Telewheelchair: A Demonstration of the Intelligent
Electric Wheelchair System towards HumanMachine. In SIGGRAPH Asia 2017 Emerging Technologies, SA ’17, New York, NY, USA,2017. ACM.
[9] S. Hashizume, I. Suzuki, K. Takazawa,
R. Sasaki, and Y. Ochiai. Telewheelchair: The
Remote Controllable Electric Wheelchair System Combined Human and Machine Intelligence. In Proceedings of the 9th Augmented
Human International Conference, AH ’18, New
York, NY, USA, 2018. ACM.
[10] J. B. Hinkel. Head-Guided Wheelchair Control
System. In Proceedings of the 12th International
ACM SIGACCESS Conference on Computers
and Accessibility, ASSETS ’10, p. 313–314, New
York, NY, USA, 2010. ACM.

[15] Z. Li, S. Miyafuji, E. Wu, H. Kuzuoka, N. Yamashita, and H. Koike. OmniGlobe: An Interactive I/O System For Symmetric 360-Degree
Video Communication. In Proceedings of the2019 on Designing Interactive Systems Conference, DIS ’19, p. 1427–1438, New York, NY,
USA, 2019. ACM.
[16] A. Matsuda, T. Miyaki, and J. Rekimoto. ScalableBody: A Telepresence Robot That Supports
Face Position Matching Using a Vertical Actuator. In Proceedings of the 8th Augmented
Human International Conference, AH ’17, New
York, NY, USA, 2017. ACM.
[17] S. Miyafuji, F. Perteneder, T. Sato, H. Koike,and G. Klinker. A Bowl-Shaped Display forControlling Remote Vehicles. In The 17th International Conference on Virtual-Reality Continuum and Its Applications in Industry, VRCAI’19, New York, NY, USA, 2019. ACM.
[18] S. Miyafuji, T. Sato, Z. Li, and H. Koike. Qoom:
An Interactive Omnidirectional Ball Display. In
Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, UIST ’17, p. 599–609, New York, NY, USA,2017. ACM.
[19] S. Miyafuji, S. Toyohara, T. Sato, and H. Koike.
DisplayBowl: A Bowl-Shaped Display for Omnidirectional Videos. In The 31st Annual ACM
Symposium on User Interface Software andTechnology Adjunct Proceedings, UIST ’18 Adjunct, p. 99–101, New York, NY, USA, 2018.
ACM.
[20] O. Oyekoya, W. Steptoe, and A. Steed. SphereAvatar: A Situated Display to Represent a
Remote Collaborator. In Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems, CHI ’12, p. 2551–2560, New
York, NY, USA, 2012. ACM.

- 100 -WISS 2022

Towards Minimally Obstructive Eye-Controlled
Wheelchair Interfaces.
In The 21st International ACM SIGACCESS Conference on
Computers and Accessibility, ASSETS ’19, p.
459–469, New York, NY, USA, 2019. ACM.
[27] C. Wang, A. S. Matveev, A. V. Savkin, T. N.
Nguyen, and H. T. Nguyen. A collision avoidance strategy for safe autonomous navigation of
an intelligent electric-powered wheelchair in dynamic uncertain environments with moving obstacles. In 2013 European Control Conference(ECC), pp. 4382–4387, 2013.

[21] Y. Pan, W. Steptoe, and A. Steed. Comparing
Flat and Spherical Displays in a Trust Scenario
in Avatar-Mediated Interaction. In Proceedingsof the SIGCHI Conference on Human Factors
in Computing Systems, CHI ’14, p. 1397–1406,
New York, NY, USA, 2014. ACM.
[22] N. Sahadat, N. Sebkhi, and M. ghovanloo. Simultaneous Multimodal Access to Wheelchair
and Computer for People with Tetraplegia. In
Proceedings of the 20th ACM International Conference on Multimodal Interaction, ICMI ’18, p.
393–399, New York, NY, USA, 2018. ACM.
[23] M. Sarabia and Y. Demiris. A Humanoid Robot
Companion for Wheelchair Users. In G. Herrmann, M. J. Pearson, A. Lenz, P. Bremner,
A. Spiers, and U. Leonards eds., Social Robotics,
pp. 432–441, Cham, 2013. Springer International Publishing.
[24] Y. Sato, M. Arai, R. Suzuki, Y. Kobayashi,
Y. Kuno, K. Yamazaki, and A. Yamazaki. A
maneuverable robotic wheelchair able to move
adaptively with a caregiver by considering thesituation. In 2013 IEEE RO-MAN, pp. 282–
287, Aug 2013.
[25] J. Shen, B. Xu, M. Pei, and Y. Jia. A lowcost tele-presence wheelchair system. In 2016
IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 2452–
2457, 2016.
[26] C. C. Singer and B. Hartmann. See-Thru:[28] J. Williamson, J. Williamson, D. Sundén, and
J. Bradley. Multi-Player Gaming on Spherical
Displays. pp. 355–358, 04 2015.
[29] I. Yoda, K. Sakaue, and T. Inoue. Development of Head Gesture Interface for Electric
Wheelchair. In Proceedings of the 1st International Convention on Rehabilitation Engineering &amp; Assistive Technology: In Conjunction with 1st Tan Tock Seng Hospital Neurorehabilitation Meeting, i-CREATe ’07, p. 77–80,
New York, NY, USA, 2007. ACM.
[30] B. Zhang, G. Barbareschi, R. Ramirez Herrera,
T. Carlson, and C. Holloway. Understanding
Interactions for Smart Wheelchair Navigation in
Crowds. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems,
CHI ’22, New York, NY, USA, 2022. ACM.

未来ビジョン
本論文では，車椅子使用者と周囲の人，介助者を繋ぐ遠隔車椅子システムを提案した．車
椅子使用者数増加に伴い，介助者数が少なくなり続ける今後の社会において，遠隔での操作性だけでなく，既存研究では取り組まれてこなかった遠隔コミュニケーション性を実現する
ことで，離れていても信頼関係のある介助者，友達，家族等と共に車椅子での生活を過ごす
ことができるようになる．
今後は更なる技術的革新を図り，車椅子社会に貢献していきたい．遠隔ではどうしても伝
わりづらい地面の凹凸や，車椅子周囲の人等の動的な周囲環境等を把握するサポート，実感を感じづらいゲームコントローラーではなく操作のリアルを伝えるコントローラー，自走と他走の最適な切り替え制御，遠隔コミュニ- 101 -

ケーションの質を改善させるための遅延改善，介助者一人で車椅子複数人の対応，車椅子一人に対し介助者複数でのサポート等，更なる技術的改変を行うことで，将来の車椅子社会において，本システムを多様なシナリオで使用できるようになる．
本システムの更なる発展により，車椅子使用による潜在的な課題を解決する手助けになる．
車椅子に関わる人達へ行ったインタビューを通して，車椅子を使用せざるを得ない方達は，現状のシステムや技術，社会環境での生活に適応しなければならないため，認識能力やコミュ
ニケーション，意思の我慢等，車椅子未使用者が抱えなくても良い負担を抱えてしまっている
ことが分かった．提案システムがより進歩すれば，車椅子使用者の「あたりまえ」を覆すきっかけとなり得る．

WISS 2022

Vi-MAP: Visual SLAM と振動子を用いた視覚障害者の歩行支援システム
坂本 祐輝 ∗

福田 大翔 ∗

内原 正一 †

門本 淳一郎 ∗入江 英嗣 ∗

坂井 修一 ∗

概要. 視覚障害者の安全かつ自由な歩行は重要な課題の一つであるが, 視覚障害者が歩行の際に使用する白杖や盲導犬には, 安全面やコストなどで問題がある. 本研究では, コンピュータを用いた視覚障害者の歩行支援システムの提案を行う. システムは, モバイルデバイスの Visual SLAM を使った地図作成および自己位置推定と経路生成, および手持ちデバイスの振動による経路案内から構成される. システム要件は当事者へのインタビューをもとに歩行支援システムに求められる要素を整理した上で決定した. SLAM の精度を評価するための実験では, 本システムの SLAM は屋内での経路案内に十分な測位精度があることがわかった. 視覚障害者を対象とした歩行実験では, 参加者全員が設定されたルートを歩くことが出来, 本手法の有効性が確かめられた. また, 伝達手法の使用感に関しても好意的な反応が得られ, 経路伝達手法として有効であることがわかった.

1

はじめに

用い, RGB カメラを用いた SLAM (Simultaneous
Localization and Mapping) での地図作成および自己位置推定と, 方位センサと振動子を内蔵したデバ
イスを身体の前方で左右に振りながら歩き, デバイ
スを振動させることで進行方向へ誘導する経路案内
を用いる手法を採用する.
提案手法の有効性を評価するために SLAM の精度を評価する実験と, 視覚障害者を対象とした歩行実験を行った. SLAM の精度を評価するための実験では, 本システムの SLAM は屋内での経路案内に十分な測位精度があることがわかった. 視覚障害者を対象とした歩行実験では, 参加者全員が設定されたルートを歩くことが出来, 本システムの有効性が確かめられた. また, 参加者のフィードバックでは好意的な反応が得られ, 本システムの誘導手法は視覚障害者の歩行支援システムにおける経路伝達手法として有効であることがわかった.

視覚障害者の安全かつ自由な歩行は多くの当事者が希望する重要な課題である. 日本における視覚障害者数は約 31 万人であり, その中でも単独歩行が難
しい 1-2 級の障害がある視覚障害者数は約 20 万人にのぼる [18] . 日本では視覚障害者が外出する際に白杖または盲導犬を携帯することが義務付けられているが, これらの歩行支援にも課題が存在する. 白
杖は手軽に手に入る反面, 探知範囲が狭く障害物や段差を察知できなかったことによる衝突事故, 転落事故が数多く発生している [23] . また, 盲導犬は育成に多大な費用と時間が必要とされ, 視覚障害者数に対して盲導犬が不足している現状がある [24] .
コンピュータの小型化によって人が持ち運べる大きさのデバイス上で高度な計算が可能となった. 特に 3 次元形状計測技術の進歩は目覚ましく, 視覚障害者支援への応用として白杖や盲導犬などの既存支援に代わるもの, またそれらと組み合わせるものな
ど, 様々なアプローチでの研究が行われている.
本研究では視覚障害者福祉協会および日本盲導犬協会と連携して歩行支援システムに求められる要素を整理した上で, 視覚障害者の歩行支援システムの実装, 評価を行った. システム全体として, 周囲の環境からの地図作成および自己位置推定, 目的地までの経路生成, 生成した経路に沿った経路案内の 3 要素が整理された. また, 経路伝達手法としては, 聴覚に頼りすぎることなく, 直感的に進行方向を提示する手法が望ましいこと, 取り回しの面から小型軽量な機器を用いる手法が望ましいことが指摘された. こ
れらを踏まえ, 提案システムには, スマートフォンなどに搭載される RGB カメラ, 方位センサと振動子を
∗
†

2
2.1

視覚障害者の歩行の現状
人間の歩行の要素と視覚障害者の歩行の困難

人間は移動の際に, 自分は地図上のどこにいるのか, 目的地は地図上のどこにあるのか, どの経路で目的地に向かうのか, といった事柄を把握している.
これらにはナビゲーション, オリエンテーション, モ
ビリティの 3 要素が関係している [16] .
1 つ目のナビゲーションとは地図上の自分の現在位置を見つけ, 目的地まで進む経路を決定する能力である. 人間は頭の中にメンタルマップを作成し, それをもとにした移動を行うが, 視覚障害者は音や匂いなどを用いてメンタルマップを生成するため, 初
めて訪れる場所へ独力で行くことは困難である.
2 つ目のオリエンテーションとは周囲の環境から現在の自分の位置を把握し, 目的地に向かって次に進む方向を見つける能力である. 視覚障害者は現状

東京大学
新産業創造研究機構 (現在, JSU 支援技術研究所)- 102 -WISS 2022

白杖または盲導犬を携帯することによってオリエン
テーション達成の補助をしているが, 障害物や段差を察知できなかったことによる衝突や転落事故が絶えない現状がある [23]. またそれ以外に, 人間が視覚に頼らず歩行する際に意図しない方向へ曲がってしまう特性である偏軌傾向特性が挙げられる. 視覚障
害者は壁や点字ブロックなどの手がかりがないとこ
ろでは意図しない方向へ曲がってしまう可能性があり, オリエンテーションの達成が困難である [5] [22].
3 つ目のモビリティとは障害物などを避けながら姿勢を保ったまま歩行する能力である. 障害物や段差, 歩行路面などの歩行中の周囲の状態によって歩行中の安全性や効率性は変化するため, 環境に合わせた適切な行動を取ることが安全かつ効率的な歩行には求められる. しかし視覚に障害があるとそれらを一定の水準に保つことが難しくなり, モビリティの達成が困難である [21].

2.2

視覚障害者の歩行支援に求められる要素

視覚障害者福祉協会および日本盲導犬協会の協力のもと, 視覚障害のある当事者および職員を対象に視覚障害者の歩行での困難についてインタビューを行ったところ, 障害物がない場所でまっすぐ歩くことが難しい, 初めて行く場所の周辺地図がわからな
い, 自分がどこにいるのか突然見失うことがある, といった声が挙がった.
障害物がない場所でまっすぐ歩くことが難しいという問題は, オリエンテーション達成の困難として分類できる. 当事者からは周囲に壁などの手がかりがないとまっすぐ歩くことが難しいとの声や, 公園や駐車場などの広く手がかりに乏しい場所では, 本当に目的地の方向に歩けているのか不安になるといった声が挙がった.
また, 初めて行く場所の周辺地図がわからない, 自分がどこにいるのか突然見失うことがあるという問
題は, ナビゲーション達成の困難として分類できる.
当事者からは既存の解決策として, 人に案内してもらう, スマートフォンの地図アプリや施設の案内板などを利用するといったものが挙げられたが, 人に案内してもらうといった解決策に関しては, 特にホテルの自室やトイレへの案内などは, 人に行き先を聞かれたくない, 知らない人に案内してもらうのは不安だといった声が挙がった. また, GPS の活用が難しい屋内では既存の地図アプリの使用が難しく,視覚障害者が利用可能な形での案内システムが整っていない施設も多い問題が指摘された.

3
3.1

1. 周囲の環境のセンシング
2. 目的地までの経路生成
3. 視覚によらない情報伝達
Joao らは自立走行型ロボットを用いた歩行支援システムを提案した. ハンドル付きの自立走行型ロ
ボットにステレオカメラ, および LiDAR を搭載し,周囲のセンシングを行い, ハンドルに取り付けられた複数の振動子の振動とともにロボットが目的地まで移動する形での経路の案内を行う. [4] . また森らは手持ちデバイスを用いた歩行支援システムを提案した. RGB, 深度カメラを搭載したスマートフォン
によって周囲のセンシングを行い, 利用者は方位センサと振動子を搭載した携帯デバイスを身体の前方で左右に振りながら歩き, デバイスの指す方位が進む方向と一致した瞬間にデバイスが振動することにより目的地までの経路を伝達する. 利用者は自由に歩きながら必要に応じてシステムの誘導を利用することができる [20] . 同様に手持ちデバイスを用いた歩行支援システムとして, 栗林らの研究が挙げられる. LiDAR を搭載したスマートフォンによって周囲のセンシングを行い, 主に骨伝導イヤホンからの音声により目的地までの経路を伝達する [17] .
3.2

周囲の環境のセンシング手法

周囲の環境のセンシング手法として, 主にカメラを用いるもの, LiDAR を用いるもの, 深度カメラを用いるものが挙げられる.
カメラを用いるものとして, 山崎らはカメラを用いた SLAM である Visual SLAM を, 類似画像検索と並行に用いることで視覚障害者ナビゲーションを研究している [19] . また Mocanu らは, RGB カメラより取得した画像のフレーム間の関係から障害物を検知する手法を研究している [10] .
LiDAR を用いるものとして, Kayukawa らは LiDAR による 2 次元マップ生成と, ステレオカメラによる障害物検知を並行に用いる歩行支援システムを研究している [6] .
深度カメラを用いるものとして, Zhang は深度カメラを用いて障害物回避のためのローカルマップを生成する手法を研究している [15] . また Brock ら
は, 深度センサを用いて前方の障害物を検知する手法を研究している [1] .
上述の各センシング手法についてセンサごとの特徴とその比較を表 1 に記した [25] .
表 1. 各センシング手法の比較
センサの種類 距離精度 解像度 照明条件
カメラ
△
○
△
LiDAR
◎
△
○
深度カメラ
○
○
×

関連研究
視覚障害者の歩行支援技術

コンピュータを用いた視覚障害者の歩行支援に関連する技術の構成要素は以下の 3 つに整理される.

- 103 -

価格○×△

Vi-MAP: Visual SLAM と振動子を用いた視覚障害者の歩行支援システム

3.3

利用者への情報の伝達手法

利用者への情報の伝達手法は, 主にモバイル・ウェ
アラブルデバイスで触覚提示するもの, モバイル・
ウェアラブルデバイスで聴覚提示するもの, ロボッ
トやドローンで情報提示するものに分類できる.
モバイル・ウェアラブルデバイスで触覚提示する
ものとして, Spiers らは利用者の手に変形する直方体型のデバイスを持たせ, その回転, 伸縮などにより経路を伝える手法を提案した [9] . また Tsukada
らや Cosgun らは, ベルトの周上に等間隔で取り付けられた振動子を用いて, 振動子を振動させる位置
やパターンを変化させることによって情報を伝える手法を提案した [12] [2] .
モバイル・ウェアラブルデバイスで聴覚提示する
ものとして, Brock らはヘッドフォンから 3 次元的な音を生成することで障害物の情報を伝える手法を提案した [1] .
ロボットやドローンで情報提示するものものとして, Wachaja らは様々なセンサを搭載した手押し車のハンドルに振動子を取り付け, その振動により障害物の情報を伝える手法を提案した [13] . また Wei
らは, 盲導犬を模したロボットを用いて誘導する手法を研究している [14] .

4
4.1

提案手法
手法の概要

森らの研究における視覚障害者への事前インタ
ビューでは, 聴覚に頼りすぎることなく, 直感的に進行方向を提示する手法が望ましいこと, 取り回しの面から小型軽量な機器を用いる手法が望ましいことが指摘された. また森らの評価実験における実験参加者からのフィードバックによれば, 安心感がある,
自然な動作で利用できる, 白杖で点字ブロックをなぞって歩いているような感覚が得られたという声があり, 白杖を用いた普段の歩行の動作と親和性の高い動きが当事者からの好意的な評価につながったと分析されている. またリアルタイム経路生成により利用者が自由に歩く方向を決めることができ, 必要
なときにはすぐに経路案内を直観的に受けられることも当事者から高く評価されていた [20] . 一方, 森らの経路案内手法の実用化における課題として, 細
かな方位提示が可能なことに見合った高精度の定位技術が必要であり, 従来の精度では開けた公園などでの適用にとどまっていたことが挙げられる.
本研究では, ウェアラブルデバイスでの Visual
SLAM 導入により当事者が自由な歩行を行うことが可能なまま, 小型軽量な情報機器を用いた屋内での高精度定位の実現が可能となった. SLAM により利用者の歩行に応じた動的な地図の修正が可能とな
る. カメラは安価で一般に普及していること, 画像
は多くの情報を含み解像度が高く, 特に起伏がなく

テクスチャ的特徴がある箇所での使用に適している
ことから, 建物内の屋内の定位に適していると考え,センサとしてはカメラを用いる.
また定位の高精度化に応じ, 森らの手法に振動による複数の通知パターンを状況に応じて変化させる改良を行った, 振動を用いる直感的インタフェース
による経路伝達手法を導入する. 視覚障害者を対象としたものではないが, 類似の通知手法は Pielot らの研究で”Magic wand metaphor”としてまとめられている [8]. 本手法は白杖を左右に振る動きを模し, 視覚障害者の経路案内に最適化したものと位置付けられる. これにより入り組んだ屋内での適切な経路案内を可能とし, 視覚障害者の自力での安全か
つ自由な歩行をサポートするシステムが実現した.

4.2 システムの構成
4.2.1 全体の構成
提案システムの機器は, RGB カメラを搭載した
地図作成, 自己位置推定用のスマートフォン A, 方
位センサと振動子を搭載した経路伝達用のスマートフォン B と, 地図の作成, 経路の計算等の処理を行う
PC によって構成される. システム全体としては図1 のように, まずスマートフォン A の内蔵 RGB カ
メラを用いた Visual SLAM による地図の作成, 自己位置の推定を行う. 次にそれを元に PC 上で目的地に向かう経路生成を行う. 最後に生成された経路情報をスマートフォン B の方位センサと振動子により利用者に伝達する. システムの外観は図 2 である.

図 1. 提案システムの処理の流れ

図 2. システムの外観- 104 -WISS 2022

4.2.2

地図作成および自己位置推定

目的地を把握し, 現在地から目的地に進む経路を作成するために地図作成および自己位置推定を行う.
まず Visual SLAM を用いて周辺のマッピングを行う. Visual SLAM としては特徴点ベースの Visual
SLAM の一種である ORB-SLAM2 を用いる [7]. 図
3 にスマートフォンの画面上での特徴点検出の様子を示す. スマートフォンの画面上にカメラからの画像が映し出されており, 緑色の点でその特徴点として検出された点が描画されている.
次に, 目的地に進む経路を作成するために 2 次元
占有格子地図を作成する [11] . 占有格子地図とは空間を格子状に分割し, 各格子ごとの障害物の存在確率を格納することで表される地図である. 図 4 に作成された 2 次元占有格子地図を示す.

図 5. 地図から生成された直近ウェイポイントまでの経路

載した経路伝達用のスマートフォン B を手に持ち,
身体の前方で左右に振りながら歩く. スマートフォ
ン B の指す方位が進む方向と一致したときに振動させることで利用者に歩くべき方向を通知する. また障害物に衝突する危険性がある場合は利用者に警告音を出すことで停止を促す. 進む方向と一致した瞬間に振動させる命令を送った場合, 命令から実際に振動するまでの遅延のため進むべき方向と利用者が感じる振動した方向との間に角度のずれが生じる.
これを解消するため, 利用者がスマートフォン B を左右に振る際の角速度を計算し補正を行う.
また, 経路上での各ウェイポイントとの距離に応じて振動の周期を 2 段階に変化させることにより,利用者に次のウェイポイントまでの距離を合わせて通知する. ウェイポイントとの距離が十分ある場合
は長い振動を用いて経路の伝達を行う. ウェイポイ
ントとの距離が近づいた場合は短い振動を用いて経路の伝達を行い, 方向転換点が近いことを知らせる.
ウェイポイントを通過し, 次のウェイポイントへと経路が生成された際には, 連続的に振動し, 進行方
向が変わったことを伝達する. 最後のウェイポイン
トへと到達した際には, 連続的振動が 5 回繰り返され, ゴールへと到達したことを伝達する.
図 6 に経路伝達手法の概念図を示す. また伝達する情報と通知パターンの対応について表 2 に記した.

図 3. 屋内での障害物の特徴点検出の例

図 4. ポイントクラウド地図から作成された 2 次元占有
格子地図

4.2.3

経路生成

経路生成モジュールでは作成されたマップを利用して PC 上で現在地から目的地に進む経路を作成す
る. ウェイポイントはゴールおよびゴールへとたどり着くまでの中継地点を指定するものであり, 作成
されたマップ中に指定する. 図 5 に生成された直近
ウェイポイントまでの経路を示す. 緑色の丸で表された現在位置から, 赤色の矢印で表されたウェイポ
イントへ緑色の経路が生成されている.

4.2.4

経路伝達

経路伝達モジュールでは生成された目的地までの経路を利用者に伝達する. 方位センサと振動子を搭

図 6. 経路伝達手法の概念図- 105 -

Vi-MAP: Visual SLAM と振動子を用いた視覚障害者の歩行支援システム

表 2. 伝達する情報と通知パターンの対応
伝達する情報進行方向通知 (通常)
進行方向通知 (方向転換点が近い)
ウェイポイント通過
ゴールに到着衝突する危険性がある場合

5

通知パターン
長い振動 1 回 (0.5 秒程度)
短い振動 1 回 (0.2 秒程度)
連続で振動 (0.2 秒と 0.5 秒程度)
連続で振動 (0.2 秒と 0.5 秒程度)5 回
警告音

評価実験

5.1 晴眼者を対象とした歩行実験
5.1.1 実験方法
本システムで用いた SLAM の測位精度を評価す
る実験を行った. ある一般的な建物内の廊下の床上に目印となるマーカーを設置して晴眼者 1 名が本システムとともにそのマーカーの地点まで歩行し, マー

図 8. 停止した状態 30 フレームの座標データ (座標軸の長さ 0.05 は 25.1 cm に相当)

5.2 視覚障害者を対象とした歩行実験
5.2.1 実験方法

カーの地点で停止した状態での座標データを取得する. これを同じ地点で 10 回行い精度を評価する.

日本盲導犬協会神奈川訓練センターにて視覚障害者 6 名を対象に屋内における歩行実験を行った. 実
験の参加者は盲導犬や白杖を利用した単独歩行の経験がある. 参加者の属性の内訳は, 年齢: 32–65(平均 51) 歳, 男性 4 名, 女性 2 名, うち盲導犬使用者 1名, 白杖使用者 5 名である.
当事者を含めた打ち合わせにより, 初めて訪れる
建物のエレベーターホールから目的地の部屋まで歩行するというシチュエーションを模して, 訓練セン
ター 2 階のエレベーターホールのエレベーター前から目的地となる部屋の入り口まで, 3 つのウェイポ
イントを設けたコースを作成した. 屋内施設管理者が作成した地図を利用者が用いる状況を考え, 地図
は事前に用意されたものを用いた.
本システムの概要とインターフェースの動作について口頭で説明した後, システムの使い方を説明しながら実際のシステムと共にコースを歩行してもら
い, 動作の理解が確認できた段階で実験に移った. 説
明に際しては最大 2 回コースを歩行してもらった.
その後エレベーターホールから設定したウェイポイ
ントを順にたどり, 目的地となる部屋まで本システ
ムと白杖を用いて歩行してもらった. 実験後, 経路伝達手法に関して実験参加者からのフィードバックをもらった. システムが誤作動し予定の経路から外れた場合や障害物に衝突する可能性を考え, 経路外の安全の確保や, 参加者 1 名につき支援者 1 名以上を確保し, 安全面での指導と管理を行うなど安全性には十分注意して行った. 図 9 が歩行実験の様子である.

5.1.2 実験結果
図 7 に SLAM によって取得した 10 回分の歩行経
路の全データについて重ねて示す. また, この全体の歩行のデータのうちマーカーの地点で停止している状態 30 フレームを切り出し, マーカーの地点で停止した状態での座標データとした. 図 8 にマーカーの地点で停止した状態の座標データを示す. 本シス
テムは単眼 SLAM であるため, 3 次元情報は相対的にしか計算できず, 絶対的な距離情報を得ることができないが, 参考として建物の廊下の横幅は 213
cm でありその距離は SLAM により作成した地図上
では 0.424 であった. このことから, SLAM の座標
データ上での距離 1 は 502 cm に相当する.
停止した状態での座標データについて各歩行ごとの平均値を取り, x, y 方向それぞれに対しデータの範囲と分散を計算したところ, x 方向のデータの範囲は 0.00977(4.90 cm に相当), 標準偏差は 0.00344,
y 方向のデータの範囲は 0.00928(4.66 cm に相当),
標準偏差は 0.00270 であった.

5.2.2

実験結果

実験参加者全員が振動のある方向を維持し, 体を回転させることにより探りながら歩くことができた.
特に白状を用いた参加者は, 白杖を用いた普段の歩行の動作を通じて進行方向を把握し, 歩行すること

図 7. SLAM の測位精度を評価する実験における 10
回分の歩行経路の全データ- 106 -WISS 2022

図 9. 視覚障害者を対象とした歩行実験の様子ができた. また, 実験本番では実験参加者全員が設定されたルートを歩き, 目的地で停止することが出来た.
実験参加者からのフィードバックでは, 前方で左右に手を振りながら歩き進行方向へ誘導する手法に関して, 進むべき方向が直感的にわかった, 曲がり
角をどちらに曲がるべきかがよくわかった, といった好意的な声があった一方, 進行方向を振動で伝える手法はそのままに音を併用したほうがわかりやす
いといった声もあった. また, 振動の周期を変化させることで目的地までの距離を伝達する手法に関しては, 直進中にそろそろ曲がるということがわかり身構えることができた, といった好意的な声があった一方で, 振動の使い分けが難しいといった否定的な声もあった. アンケート結果としては, 好意的な評価が多く, 使いたい, 使うのが簡単, すぐに使えるようになるという項目が高い一方で, 否定的な評価
としては事前に多くのことを学ぶ必要があるという項目が高かった.

5.3

考察

図 5.4 より, 停止した状態 30 フレームの座標デー
タはいずれも x, y 方向ともに 15 cm 相当の範囲に収まっている. また, 停止した状態での座標データの各歩行ごとの平均値の範囲は, x, y 方向ともに 5cm 弱に相当する. 視覚障害者の歩行支援においては, 視覚障害者が白杖で確認できる範囲が半径 1mほどであることから, 自己位置推定の際には誤差 1mほどで測位する事が望ましい [3] . よって本システ
ムの SLAM は屋内での経路案内に十分な測位精度があると考えられる.
視覚障害者を対象とした歩行実験では, 目的地まで決められたルートに従い歩行し, 最終目的地で停止できた点で, 本手法のガイダンス精度は十分高く,有効であることが分かった.
練習の際うまく目的地にたどり着けない原因として利用者のシステム理解が口頭の説明だけでは不十分であったことが挙げられる. 練習の際に場所によって SLAM が機能しにくい点があること, 必ずしも振動の方向通りに歩かなくてもシステムがリアルタイ- 107 -

ムで経路作成し案内してくれることを説明し, 利用
者のシステム理解を深めることで, 本番では全員が設定されたルートを歩き, 目的地で停止することが出来た.
また, 前方で左右に手を振りながら歩き進行方向へ誘導する手法と, その振動の周期を変化させることで目的地までの距離を伝達する手法, どちらに対しても好意的な反応が得られ, 視覚障害者の歩行支援システムにおける経路伝達手法として今後も発展が期待される. 一方, フィードバックには振動の使い分けが難しいといった声や, 振動と音を併用した
ほうがわかりやすいといった声があり, 振動パターンの違いだけで情報を伝達することの難しさも明らかになった. 聴覚により情報提示する場合は, 人の声よりは短い音による伝達が望ましいとの声もあり,
今後の改良として現状のシステムに曲がり角に来た,方向が間違ったといった際に音で通知する機能を追加することが考えられる.

6

まとめ

本論文では, まず視覚障害者の安全かつ自由な歩行のためにはいまだに多くの課題があることに注目し, 既存の白杖や盲導犬による視覚障害者の歩行支援の現状についてと, その問題点について述べた. 次に, 人間が歩行する際の要素や視覚障害者およびその支援者を対象としたインタビューから視覚障害者の歩行支援に求められる要素について整理した. また, コンピュータを用いた歩行支援技術に関する先行研究について, 地図作成および障害物検知手法と利用者への情報の伝達手法 2 つの視点から分類し,それらの手法の特徴と長短について比較して論じた.
これらを踏まえて, 地図作成および自己位置推定手法として Visual SLAM を用いて, 経路案内手法として方位センサと振動子を内蔵した手持ちデバイスを用いた森らの手法に, 方向転換点との距離に応じて振動周期を変化させ, 進路変更のタイミングを事前に通知する手法を組み合わせたシステムを実装して, その評価を行った. SLAM の精度を評価するための実験では, 本システムとともに床上に設置したマーカーまで歩行する試行を複数回行い, その誤差から本システムの SLAM は屋内での経路案内に十分な測位精度があることがわかった. 視覚障害者を対象とした歩行実験では, 参加者全員が設定されたルートを歩くことが出来, 本システムの有効性が確かめられた. また, 伝達手法の使用感に関しても参加者のフィードバックから好意的な反応が得られ,本システムの誘導手法は視覚障害者の歩行支援シス
テムにおける経路伝達手法として有効であることがわかった.
今後, より利用者が簡単に使えるシステムとするために, 振動パターンの違いで情報を伝達するだけ
ではなく, 音声等の併用も行っていく.

Vi-MAP: Visual SLAM と振動子を用いた視覚障害者の歩行支援システム

謝辞[9] A. J. Spiers and A. M. Dollar. Design and evaluation of shape-changing haptic interfaces forpedestrian navigation assistance. IEEE Transactions on Haptics, 10:17–28, 2016.
[10] R. Tapu, B. Mocanu, and T. Zaharia. Real time
static/dynamic obstacle detection for visually
impaired persons. In 2014 IEEE International
Conference on Consumer Electronics (ICCE),
pp. 394–395, 2014.
[11] S. Thrun, W. Burgard, and D. Fox. Probabilistic Robotics (Intelligent Robotics and Autonomous Agents). The MIT Press, 2005.

本論文の研究は一部, 三菱財団社会福祉事業・研究助成「ウェアラブルカメラによる 3D スペースセンシングと触覚通知による, 視覚障害者のための屋内ナビゲーションシステムの開発」によるものです.
支援者・当事者による評価では, 神奈川県視覚障害者福祉協会の鈴木孝幸様, 日本盲導犬協会神奈川訓練センターの山口義之様, 多和田悟様にご協力いただ
きました. VSLAM システムの Android 実装につき, 株式会社デジタルハンズの清水敏雄様にサポートいただきました.

[12] K. Tsukada and M. Yasumura. Activebelt:
Belt-type wearable tactile display for directionalnavigation. Lecture Notes in Computer Science,
44, 2004.
[13] A. Wachaja, P. Agarwal, M. Zink, M. R. Adame,
K. Möller, and W. Burgard. Navigating blind
people with a smart walker. 2015 IEEE/RSJ
International Conference on Intelligent Robots
and Systems (IROS), pp. 6014–6019, 2015.

参考文献[1] M. Brock and P. O. Kristensson. Supporting
blind navigation using depth sensing and soniﬁcation. In Proceedings of the 2013 ACM Conference on Pervasive and Ubiquitous Computing
Adjunct Publication, UbiComp ’13 Adjunct, pp.
255–258, 2013.

[14] Y. Wei and M. Lee. A guide-dog robot system research for the visually impaired. In 2014
IEEE International Conference on Industrial
Technology (ICIT), pp. 800–805, 2014.
[15] H. Zhang and C. Ye. A Visual Positioning System for Indoor Blind Navigation. 2020 IEEE
International Conference on Robotics and Automation (ICRA), pp. 9079–9085, 2020.

[2] A. Cosgun, E. A. Sisbot, and H. I. Christensen.
Guidance for human navigation using a vibrotactile belt interface and robot-like motion planning. 2014 IEEE International Conference on
Robotics and Automation (ICRA), pp. 6350–
6355, 2014.

[16] 英雄森. 歩行ガイドロボット実用化への道 視
覚の役割. 情報処理学会研究報告コンピュータビ
ジョンとイメージメディア (CVIM), 2003(2):59–
66, 2003.

[3] N. Fallah, I. Apostolopoulos, K. Bekris, andE. Folmer.
Indoor human navigation systems: A survey. Interacting with Computers,
25(1):21–33, 2013.

[17] 栗林 雅希, 粥川 青汰, J. Vongkulbhisal, 浅川 智
恵子, 佐藤 大介, 高木 啓伸, 森島繁生. CorridorWalker: 視覚障害者が障害物を回避し交差点を認識するためのスマートフォン型屋内歩行支援システム. The 29th Workshop on Interactive
Systems and Software (WISS 2021), 2021.

[4] J. Guerreiro, D. Sato, S. Asakawa, H. Dong,
K. M. Kitani, and C. Asakawa. CaBot: Designing and Evaluating an Autonomous Navigation Robot for Blind People. The 21st International ACM SIGACCESS Conference on Computers and Accessibility, pp. 68–82, 2019.

[18] 厚生労働省. 平成２８年生活のしづらさなどに関する調査（全国在宅障害児・者等実態調査）結果,
2018.
[19] 山崎康平, 宍戸英彦, 北原格, 亀田能成. 類似画像
検索と SLAM による協調的位置推定システムの性能評価. 電子情報通信学会技術研究報告; 信学
技報, 119(222):89–94, 2019.

[5] C. S. Kallie, P. R. Schrater, and G. E. Legge.
Variability in stepping direction explains theveering behavior of blind walkers. Journal of
Experimental Psychology: Human Perception
and Performance, 33(1):183, 2007.

[20] 森 大輝, 入江 英嗣, 内原 正一, 荒川 明宏, 坂井 修一. リアルタイム経路生成と振動通知による視覚障害者の歩行支援システム. The 26th
Workshop on Interactive Systems and Software(WISS 2018), 2018.

[6] S. Kayukawa, T. Ishihara, H. Takagi, S. Morishima, and C. Asakawa. BlindPilot: A robotic
local navigation system that leads blind people
to a landmark object. In Extended Abstracts ofthe 2020 CHI Conference on Human Factors in
Computing Systems, pp. 1–9, 2020.

[21] 大倉元宏, 清水美知子, 田内雅規, 村上琢磨. 視覚
障がいの歩行の科学 - 安全で安心なひとり歩きをめざして -. 2014.
[22] 大倉元宏, 村上琢磨, 清水学, 田内雅規. 視覚障害者の歩行特性と駅プラットホームからの転落事
故. 人間工学, 31(1):1–8, 1995.

[7] R. Mur-Artal and J. D. Tardós. ORB-SLAM2:
an Open-Source SLAM System for Monocular,
Stereo and RGB-D Cameras. IEEE transactions
on robotics, 33(5):1255–1262, 2017.
[8] M. Pielot, B. Poppinga, W. Heuten, and S. Boll.
Pocketnavigator: Studying tactile navigation
systems in-situ. pp. 3131–3140, 2012.

- 108 -WISS 2022

[23] 嶋村幸仁, 山口通智, 片山博. リスク概念と視覚障害者のハザード要因に関する研究. 安全工学,
53(2):108–114, 2014.
[24] 福井良太. 世界から見た日本の盲導犬育成事業.
日本補助犬科学研究, 2(1):22–25, 2008.
[25] 友納正裕, 原祥尭. SLAM の現状と今後の展望.
システム/制御/情報, 64(2):45–50, 2020.

未来ビジョン

視覚障害者のナビゲーションシステムの実現を目指している. これにより屋内でのナビゲー
ションを可能とし, 視覚障害者の単独での外出を後押しする. 具体的には, ホテルなどが貸し出した端末や, 利用者のスマートフォンなどを利用者が身に着け, 目的の部屋などへのルートを自動で生成し, 案内を行う利用法が検討される. そして, どんな人であってもコンピュータ
技術によって不便を克服し, 気軽に社会参画できる未来を見据えている.

本研究では RGB カメラを用いた Visual
SLAM を用いたが LiDAR など別のセンサを使う, あるいは併用してのさらなる安定化と精度の向上が検討される. さらに実際に視覚障害者が単独で用いることを想定したインター
フェースの開発なども挙げられる. 視覚障害者が手軽に使えるシステムとするために今後とも当事者を含めた議論を重ねていく. そして将来的にはホテル・病院など屋内施設内における- 109 -WISS 2022

Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実環境
岸野 泰恵 ∗

白井 良成 ∗

柳沢 豊 ∗菅原 光 †

尾原 和也 ∗

水谷 伸 ∗

概要.
ウイルスが付着している可能性の高いモノの表面に警告を表示し，消毒行為を認識可能な環境
Alertable Surfaces を提案する．接触感染は，感染者から排出されたウイルスがモノの表面などに付着し，それを触れた他者にウイルスが付着することで起こる．Alertable Surfaces はウイルスが付着した可能性の高い場所に対して警告を光学的に表示することで，接触感染を防止することを狙っている．さらに Alertable
Surfaces では消毒の行為を識別し，ウイルスが付着している可能性がなくなった時には警告を消去する．これにより，利用者は，ウイルスのある可能性の高い場所をよけたり，可能性のある場所を集中的に消毒したり，ウイルスが付着した可能性が低いことから安心感を得たり，といったことが可能になる．本稿では，
サーマルカメラを用いて接触と消毒を検知し，プロジェクタを用いて可視化するプロトタイプシステムの実装について述べる．さらに本稿では，画像処理性能を評価した結果とプロトタイプシステムを展示した
際の感想を紹介し，Alertable Surfaces の可能性や課題について議論する．

1

はじめに

2020 年初頭から新型コロナウイルス（COVID19）の感染が拡大し，2 年経った 2022 年現在でも世界で多くの感染者が発生し続けている．新型コロナウイルス（COVID-19）の予防には，ウイルスを減らし感染予防をすることが重要である [11]．ウイ
ルスを減らすためには大きく分けて，手や指などに付着したウイルスへの対策，空気中のウイルスへの対策，モノに付着したウイルスへの対策の 3 つ方法がある．このうち手や指に付着したウイルスに対しては手洗いやアルコール消毒，空気中に浮遊するウ
イルスに対しては換気が有効な方法となる．モノに付着したウイルスに対しては，アルコールや次亜塩
素酸水などでモノの表面を消毒する方法があり，人が多く触れる場所などでは定期的に消毒することでウイルスを減らそうとしている．
しかし，モノの表面を定期的に拭く消毒方法は，最も消毒する必要のある手指に限って消毒する対策
や，窓を開けたりサーキュレータを設置するだけで部屋全体の換気が行える空気に対する対策と比べて多くの労力を要する．また，定期的に拭いて消毒されたとしても，消毒の拭き残しはないか，消毒した
後に他の人が触っているのではないか，といった不安が残る．そこで本稿ではウイルスが付着している可能性の高い場所を可視化して警告可能な環境として Alertable Surfaces を提案する．さらに本稿では，Alertable Surfaces を実現するための画像処理法や，試作したシステムを展示した際の感想を元にシステ
ムの利用場面や情報提示方法についても議論する．
∗†

NTT コミュニケーション科学基礎研究所
豊橋技術科学大学（NTT での実務訓練中に従事）- 110 -

ඡोञᇎ඄

ඡोञᇎ඄
૭ଳ৲

૭ଳ৲

図 1. Alertable Sufaces イメージ図

2

Alertable Surfaces

2.1 警告の表示と消去を可能とする環境の提案
Alertable Surfaces は，実環境の表面（環境表面）
上にウイルスの付着している可能性が高い場所を可視化することを狙って提案している．図 1 にイメージ図を示す．新型コロナウイルスの感染経路の一つに接触感染がある．例えば，患者の体から排出されるウイルスがくしゃみや咳をした際に患者の手に付着し，次にこの手で触れた環境表面（ドアノブや机など）にウイルスが付着する．その後そこを別の人が触れ，その手で口や鼻，目などの粘膜に触れるとそこからウイルスが体内に入り感染してしまう．ウ
イルスを検出するためには，PCR 検査や抗原検査などの医学的な検査を行う必要があるが，数十分から数時間の時間が必要であり，環境表面上にウイルスが存在するかをその場で検出することは現在の技術では困難である．しかし，人の動きは様々な方法で検出することができ，ウイルスは人を介して広がる．人の動きをセンシングすることで，ウイルスがWISS 2022૭ଳ୾઺൸崝嵤嵆嵓઺൸

૭ଳ୾઺൸崝嵤嵆嵓઺൸

冷痕跡

೸ᇎ඄;ĂͿ ೦ࠡ੽͹ྭ;ďͿ ྮࠡ੽͹ྭ

図 2. 熱痕跡と冷痕跡の例

存在する可能性が高い場所を推測することは可能ではないかと考えた．そこで，Alertable Surfaces では，ウイルスそのものではなく，ウイルスが付着している可能性の高い場所を可視化することを考える．
また，消毒を行った際には，その部分のウイルスは死滅したと考えられるため，可視化を終了すればよい．
Alertable Surfaces を使ってウイルスが付着している可能性の高い場所を可視化できると以下のような効果があると考えられる．

• ウイルス付着の恐れのある場所を可視化することで，そこにウイルスがあるかもしれないとユーザに注意喚起が行える．

• ウイルスがあるかもしれないと考えることで消毒をするモチベーションが高まる．

• ウイルスの付着した可能性のある場所のみを消毒することで消毒作業の効率化が図れる．

• 消毒が行われたあと，誰も触れておらずウイ
ルスの付着する可能性が生じていない場所だと可視化によって確認できれば安心できる．
ウイルスの付着の可能性としては，くしゃみや咳
などによって口等から排出された飛沫の付着，ウイ
ルスの付着した人の手を介した付着等いくつかのパターンが考えられる．本研究では，研究の最初のステップとして温度の変化を取得することで比較的容易に検出できる人が環境表面に触れた箇所を可視化するプロトタイプシステムを構築し，ユーザの評価を得て可視化方法などインタフェースデザインについて検討を進めることとする．

2.2

熱に注目した実現方法の検討

人は恒温動物であり，体内での発熱により 37 ℃
前後の熱を維持している．これに対して，人の周りの気温や環境表面の温度は体温より低い．
（酷暑の夏の日中等の例外を除く．
）そのため，人がモノの表面を手で触れるとその表面に人の手の熱が残る．これは熱痕跡 (Heat traces) と呼ばれる．図 2 (a) に例を示す．本研究では，サーマルカメラを用いて環境表面を撮影し，画像処理によって熱痕跡を検出する
ことで，人が環境表面を触れたことを認識する．
サーマルカメラを用いて環境表面を撮影していれば，消毒の検出も可能である．環境表面に対する消毒としては，アルコールや次亜塩素酸水などの消毒液をスプレーで環境表面に吹き付けるか，消毒液で濡らした布などで拭く方法が一般的である．この際，環境表面は消毒液でいったん湿るものの，すぐに消毒液は気化して乾く．液体が気化するときには，気化熱を奪って蒸発していくため，環境表面の温度が一時的に低下する．これを冷痕跡と呼ぶ．図 2 (b)に例を示す．画像処理でこの温度の低下を検出することができれば消毒がどこで行われたかを検出，記録できるようになる1 ．

2.3

熱痕跡が触れたモノの表面に残ることはこれまでも知られており，ヒューマンインタフェースの分野
では壁面ディスプレイにおけるインタラクションの認識に活用したり [3, 6]，スマートフォンやキーボー
ド上の熱痕跡から入力内容を推測できるか調査 [1]した研究例が存在する．また，Iwai らが提案した文書管理支援システムでは，サーマル画像の差分画像を用いて人が書類や本に触れたことを検出し，これをシステム操作に利用している [2]．本研究は，熱痕跡を画像処理によって取得し，人の触れた箇所の可視化に活用しようとするものである．本研究の画像処理のアプローチは Iwai らの手法と似ているが，机上に限らず書類や机以外のものを対象にしている
点，消毒による冷痕跡も扱っている点が異なる．
人が触れた場所を検出する方法としては，サーマ
ルカメラを用いて熱痕跡を取得する方法以外にもいくつかの方法がある．例えばブラックライトで光る塗料を手指に塗り，さまざまな行動をとった後でブラックライトを光らせて触った場所を確認する方法
や，人の三次元の姿勢を取得するセンサを使って人の動きを取得して触れた危険性の高い箇所を可視化する手法 [10] などが提案されている．これらの方法とサーマルカメラを用いる方法を比較すると，塗料を使った方法は日常生活の中で継続的に利用したり
不特定多数を対象とすることは難しく，姿勢を取得する方法では確実に触れてウイルスが付着した可能性が生じているかを判定することは難しい．
サーマルカメラを用いた熱痕跡画像処理に関する研究例 [4] も存在し，深層学習を活用し一定の精度
で熱痕跡を検出することに成功している．この手法
ではサーマル画像のみを使っているのに対し，本研
究ではサーマルカメラと近赤外線カメラを使うこと
1- 111 -

関連研究

厳密にはウイルスに効果のある消毒液を十分な濃度と量で使うことが重要となるが，ここでは対象のウイルスに有効な消毒液を使ったものと仮定し，消毒を可視化することの効果について検討を進める．

Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実環境＊対象はプラスチック製冷蔵庫の扉．⼿の温度を٦として温度を補正

温度（٦‫ك‬


ኵᆮឝആ



;ĂͿ ೦ࠡ੽

૭ଳ୾〜QP

஑஧୲ୡ୩୹




᷊ᵄ࿗ᛅᎸ
ኵᆮᰑᢄ

;ďͿ ྮࠡ੽೸ᇎ඄লਠৎമ‫ق‬ଧ‫ك‬

















遠⾚外︓サーモグラフィ㎛〜ㇲ

੺஧ਗ崓嵉嵑
੺஧ਗ崓嵉嵑崝嵤嵆嵓崓嵉嵑

崿嵕崠崏崗崧

੺஧ਗ嵑崌崰

軽量システムのカメラ










ৎമ‫ق‬ଧ‫ك‬

図 5. 熱痕跡出現時と冷痕跡出現時の温度変化

図 3. システム構成

崝嵤嵆嵓
崓嵉嵑

冷痕跡出現



୯ஶஜ
୥஛ண

3&崟崡崮嵈峘崓嵉嵑

図 4. 実装したシステム

で，実環境の変化に軽量なアルゴリズムで対応し，
リアルタイムに動作するシステムを構築する．

Alertable Surfaces の実現

Alertable Surfaces は実際の環境でリアルタイムに接触を検知し，それを可視化する．以下で設計の方針と実装，画像処理アルゴリズムについて述べる．
3.1





੺஧ਗ
〜QP
ឝആ൹᝞

3



温度（٦‫ك‬᷊ᵄ࿗୥஛ண崓嵉嵑嵄嵤崱



システム構成システムは，サーマルカメラに FLIR Boson640R（解像度：640×512），近赤外カメラに GAZO MCM303NIR（解像度：640 × 480）を用いて Windows
PC で画像処理を行う PC システムと，サーマルカ
メラに FLIR Lepton 3.5（解像度：160 × 120），近赤外カメラに Raspberry Pi NoIR Camera V1.3
（解像度：640 × 480）を用いて ZYNQ7020 で画像処理を行う軽量システムの 2 種類を実装した．プロ
ジェクタはどちらも熱の発生が少ない LED プロジェ
クタ CASIO CX-E1 を用いた．軽量システムのカ
メラボードは [8] で試作したものである．近赤外カ
メラでは可視光を撮影可能なカメラに可視光カット
フィルタを装着した．軽量システムの外観と PC シ
ステムのカメラ部分を図 4 に示す．PC システムで15 fps，軽量システムでは 3 fps 程度の速度で画像処理を行うことができ，接触を検知した結果をすぐに提示できることを確認した．

実際の環境でサーマルカメラを用いて連続撮影を行うと，室温や人の表面体温が変化し，さらにサー
マルカメラ自体の温度キャリブレーションによって，同じ対象を撮影していても異なる温度で撮影されることが起こり得る．そこで近赤外線カメラを用い，2 種類のカメラの画像を相補的に用いた画像処理ア
ルゴリズムによって，人がいなくなった後に残る熱痕跡を軽量な処理で検出することを目指す．可視光
領域を情報提示のプロジェクションに利用するため，
近赤外領域のカメラを用いてプロジェクタからの可視化の結果によらず確実に画像処理が行えるようにする．また，できるだけ軽量な画像処理アルゴリズ
ムを目指すのは，深層学習のような複雑なアルゴリ
ズムを用いると計算力のある計算機を要し，設置可能な場所に制約が出る可能性があるためである．
図 3 にシステム構成を示す．近赤外カメラとサー
マルカメラの 2 種類のカメラで対象物体を撮影する．
近赤外領域は屋内照明では明るさが不十分の場合が多く，近赤外線照明で対象を照射する．近赤外画像とサーマル画像を組み合わせて画像処理を行い，その結果を投影画像として生成する．作成した投影画
像はプロジェクタで対象物体の上に重畳表示を行う．

- 112 -

3.2

サーマルカメラを用いた接触と消毒の検知

次に，サーマルカメラと近赤外線カメラを用いた接触検知アルゴリズムの詳細について述べる．なお，
画像処理開始前に両方の画像が同じ領域に重なるよ
うにキャリブレーションが完了しているものとする．
図 5 に PC システムで取得した熱痕跡と冷痕跡出
現時の温度の時間変化を示す．グラフ中の温度の急激な上昇は人の手など温度が高い物体の通過である．
(a) 熱痕跡は手が離れた直後が一番温度が高く，その後徐々に低下し，数秒から十秒程度で元の温度に戻る．(b) 冷痕跡は，出現時に消毒液の温度が直接撮影されて温度が大きく下がるが，その後は対象物
体の温度が気化熱によって十秒から数十秒をかけて低下する．グラフの範囲外になるが，物体表面の温度は消毒液が揮発した後，徐々に元に戻る．

3.2.1

2 種類のカメラを用いた接触と消毒の検知

接触と消毒の検知は背景差分画像処理を用いて行う．具体的には，カメラを設置した場面の定常状態
を背景画像として保存し，背景画像と現在の画像の差分画像を作成し，そこに生じた変化に対して画像処理を行うことで接触や消毒の有無を判定している．

WISS 2022୯ஶஜឝആଜ଍ଧᄞඋଈ
૾େྑኘ୎ᛒ៏ᵛତඕ᎙
K ᓇ඄ଓଛᛒ៏ᵛ

J ᩶Ꮩᄞඋᕵᶕ

D ᷊ᵄ࿗ឝആ

E ᷊ᵄ࿗᩶Ꮩឝആ

F ᷊ᵄ࿗ឝആପ᩶Ꮩᄞඋ

G ୯ஶஜឝആ

H ୯ஶஜ᩶Ꮩឝആ

I ୯ஶஜឝആପ᩶Ꮩᄞඋ

図 6. 画像処理手順
੺஧ਗ઺൸ 崝嵤嵆嵓઺൸

ହ৥
ూବ઺൸

D

E

੺஧ਗ઺൸峘峩峘૗৲峑岬峴‫؜‬ස৥૗৲峒અ
え，近⾚外の背景画像を更新

F૏্峘઺൸峑૗৲岬峴‫؜‬য岶ৢ峵峔峓঳ৎ৓な変化と考え，背景画像は更新しない．

G

サーマル画像のみ全体的に温度の変化があり，
崝嵤嵆嵓崓嵉嵑峘崕嵋嵒崾嵔嵤崟嵏嵛峔峓岶અ岲峳島‫؜‬
サーマル背景画像を更新する．

H崝嵤嵆嵓઺൸峘峩峕૗৲岶岬峴‫؜‬岽島峙೸ᇎ඄と認識されている．熱痕跡を含む画像は⼀時的な変化と考え，背景画像を更新しない．
ɾ

図 7. 背景画像更新手法の概要

背景画像との差分を算出し，近赤外画像とサーマル
画像の両方に変化があった時は背景の前を人などが通り過ぎたと考え，近赤外画像のみに変化があった
時は照明などの変化とし，サーマル画像のみに変化がある場合を熱痕跡や冷痕跡の出現とみなす．
以下，アルゴリズムの詳細を説明する．図 6 に画像処理のイメージ図を示す．現在画像処理を行う対象の時刻を t とし，時刻 t における近赤外線画像を
It ，サーマル画像を Ht とし，それぞれの背景画像
を Ib ，Hb とする．最初に近赤外の背景差分画像 DI ，
サーマル背景差分画像 DH を作成する．次に，DI とDH を重ね合わせ (g)，それぞれの白色連結領域の重複度合いが一定以上のものを削除し，サーマル画
像 Ht のみに差分が生じている部分を抜き出す (h)．
これを熱痕跡とする．これを温度の低下に対して同じように処理を行えば，冷痕跡を検出できる．なお，
実際には，膨張収縮など基本的なノイズ処理を行っているが，一般的な処理であるため説明を省略する．

3.2.2

背景画像調整アルゴリズム

連続的に画像処理を行っていると前述したような状況の変化や温度キャリブレーションのために，元- 113 -からある背景画像では正しく画像処理ができなくな
る場合がある．安定して接触検知を行い続けるためには，背景画像調整処理が必要となる．背景画像の調整方法としては，事前に撮影した複数の照明条件
下の画像を動的に組み合わせる方法が提案されていたり [9]，画像処理によって背景以外のモノの有無を判定する方法もあり得るが，本研究では 2 種類のカメラ画像を用いていることを活かし，両方の差分画像を使うことで軽量な計算で背景画像の調整を行う
ことを目指す．サーマルカメラと近赤外カメラで同時に撮影する際，画面内でモノが動くとほとんどの場合近赤外領域だけでなく温度にも変化があり，これを前提とする．また，急激な温度変化のない屋内を想定している．
以下，アルゴリズムの詳細を説明する．アルゴリ
ズムは背景画像を更新する部分と，部分的に差分が生じている場合に対応するオフセット法の 2 つからなる．2 つの手法を背景画像更新の状況に応じて切り替える概要を図 7 に示す．人が通り過ぎる等
大きく変化中の画像は背景画像に適さないため，まず一定時間 δt の間画像に大きな変化がないことを
d(It , It−δt ) < ϵ と d(Ht , Ht−δt ) < ϵ で確認する．ここで d(I1 , I2 ) は 2 枚の画像の差であり，例えば全画素値の差分の平均値を計算して算出する．近赤外背景画像 Ib とサーマル背景画像 Hb はあらかじめ撮影されているものとする (a)．
d(It , Ib ) < ϵ かつ d(Ht , Hb ) < ϵ の場合，両方の画像に大きな変化がないため，背景画像処理を行う必要はない．
d(It , Ib ) ≥ ϵ かつ d(Ht , Hb ) < ϵ の場合，照明などが変化したため，近赤外画像のみに差が生じたと考え，背景画像 Ib を It で更新する (b)．
d(It , Ib ) ≥ ϵ かつ d(Ht , Hb ) ≥ ϵ の場合，両方の画像に大きな変化があり，人が前を通り過ぎる等の一時的な変化が起きていると考えられ，背景画像の更新を行えない (c)．しかし，温度キャリブレーショ
ンなどの原因で差分が生じていることを考慮し，オフセット法による背景画像調整を行うため，DI と
DH ，この時点で検出されている熱痕跡と冷痕跡を重ね合わせたマスク画像 Im を作成する．
d(It , Ib ) < ϵ かつ d(Ht , Hb ) ≥ ϵ の場合，サーマ
ル画像のみに差分が発生しているため，温度キャリ
ブレーションや空調による温度変化が生じていると考えられる．このとき，既存の熱痕跡や冷痕跡による一時的な温度変化が生じている可能性もあるため，
熱痕跡と冷痕跡の有無を確認し，両方がない場合のみ Hb を Ht で更新する (d)．痕跡がある場合は，痕跡のある部分をマスク画像 Im としてオフセット法
による背景画像調整の必要性を検討する (e)．
次に，オフセット法による背景画像処理を説明す
る（図 8）．時刻 t の画像全体の平均温度 T̄t と背景画像の平均温度 T¯b を算出する．マスク画像 Im を使Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実環境

D 崝嵤嵆嵓઺൸E 嵆崡崗઺൸ฑ‫ۋ‬Իౕ

ฑ‫ۋ‬Իౕ ƚ੺஧ਗ୷ী઺൸峕峲峵嵆崡崗F 崝嵤嵆嵓઺൸ٔ嵆崡崗઺൸

表 1. 画像処理の評価結果

ƚ೸ᇎ඄峕峲峵嵆崡崗

背景調整(a) 全体の認識率
PC システム 軽量システム
無
有
無
有

適合率
再現率

0.82
0.2

対象

(b) 素材別再現率
冷蔵庫
棚
紙引出

図 8. オフセット法による背景画像調整

い，マスクされていない部分のみの平均温度 T¯t′ とT¯b′ を算出し，差分 dT = T¯t′ − T¯b′ を計算し，δT よ

PC システム
軽量システム

りも大きければ，マスクされていない背景がそのまま映っている部分に変化があると考え，背景画像の調整を行う．背景画像 Hb 全体に dT を加算し，加算後の背景画像を用いて前節の接触検知の画像処理を行う．Ht の方が Hb よりも温度が低い場合も同様に，負の値の dT を加算し，Hb の温度を全体的に下げて処理を行う．

4

画像処理性能の評価

両システムで動画を撮影し，熱痕跡認識の精度を調査した．消毒についても認識は可能であるが，気化熱と消毒の有効性について調査しなければ正しく消毒が行えたかを判定できないため，本稿では人が触れたことを検出する性能のみを調査した．なお，
図 5 に示すように消毒による冷痕跡の方が温度変化の継続時間が長く温度差も同等か大きいことから，
この撮影時に用いた次亜塩素酸水による冷痕跡に対しては，検出は熱痕跡より容易であると推測される．
実験では，冷蔵庫，棚，壁，紙製引き出し，の 4
種類のモノが設置された状況を約 1 時間半撮影し，その間，著者を含む数名が冷蔵庫のドアを開閉する，引き出しを開閉するといった操作を自由に行った．
また，対象に触れずに，カメラの前を通り過ぎたり
立ち止まるといった動作も行った．撮影後，人が触れた後の熱痕跡を手動でラベリングし正解データとした．PC システムで約 120 個，軽量システムで約80 個の熱痕跡をラベリングした．
熱痕跡と正解データが一致しているかの判定には，Dice 係数を用いることとした．Dice 係数は 2 つの領域が重なっていることを評価するための係数の一種であり，2 つの領域が重なった面積の 2 倍を 2 つの領域の和で除算することで求められ，0.1 以上である場合を正解と判定した．熱痕跡は中央に比べて力の加わりにくい周辺部で温度差が小さくなることが多く，幾通りかの値を検討の上，一般的な画像処理より小さい値を採用した．また，各フレームの画像に対して熱痕跡検出を評価するのではなく，正解
ラベルのある区間で 1 回でも熱痕跡を検出できれば対応する熱痕跡の検出に成功したとした．運用上，人が触れた事実を 1 回でも検出できれば十分である- 114 -

0.71
0.72

0.46
0.65

0.5
0.34

0.056
0.79

1.0
0.67

0.37
0.56
壁

0.75
1.0

ためである．
認識精度を評価する実験を行った結果を表 1 に示す．表 1 (a) に示すように軽量システムにおいて背景画像の調整を行ったことで温度変化のノイズを誤認識することが減り適合率が改善したが，熱痕跡を認識できない場合が増加し再現率は低下した．PC
システムでは逆に適合率が下がり，再現率が上がる
結果となった．PC システムでは撮影した期間，部屋の温度が低下し続けていたため，これが補正されて再現率が向上した一方，誤検出の割合も上がったのだろうと考えられる．
素材別の再現率についてさらに調査を行った．結果は表 1 (b) に示す．冷蔵庫の表面はマットな質感のプラスチック，棚はプラスチックや金属等複数種
類の素材，紙引出はダンボール，壁は金属をマットなペンキで塗装した素材である．この中で紙引出や壁は高い再現率であるが，棚は再現率が低かった．
棚は反射のある金属や紙よりも熱が残りにくいプラ
スチック製であり，紙などと同じパラメータでは熱痕跡を検出しにくく，再現率が低下したと考えられる．棚以外での再現率は PC システムで 0.75，軽量システムで 0.73 である．さらに，領域の大きさが小さすぎ，検出が難しくなっている場合もあった．
背景画像の調整は，サーマルカメラがケースに入っておらずより温度変化を受けやすい軽量システ
ムにおいて特に効果があったが，領域のサイズが小さすぎる場合や，固定の閾値では検出できなかった
素材において認識誤りが残った．このように，実験より素材別の閾値を用い，カメラと対象の物体から適した領域の大きさの閾値を設定するといった画像処理の改良に向けた示唆が得られた．

5
5.1

議論
デモ展示に対する感想実装した Alertable Surfaces の PC システムを研究所内に実際の操作を試せるように設置してデモ展示を行い，さまざまな感想を得た．展示では小型冷蔵庫の扉と共用のテーブルを対象の環境表面とした．

WISS 2022

可視化した箇所に対して，他の人が触った跡が表示されていても全く気にせずに振る舞うという人もいれば，気になるので可視化された箇所以外を触れたいという感想の人もいた．新型コロナウイルスに対して，本人の性格や家族のリスクの高さなどさま
ざまな要因によって差が出ていると考えられる．また，社内の知り合いであればあまり気にならないが，不特定多数が触れたと考えると避けたくなるというコメントもあった．これらの感想から，触られた状況に応じて情報を提示することも有益だと考えられる．
また，わかりやすく他の人が触れた場所が可視化されていると，その外側ならば触れても安心だと考える人が多かった．一方で画像処理は認識場所のずれを含む場合があり，わずかに外側を持とうとすると，実際には他の人が触れた場所と重なってしまう
こともあり得る．このことから一定のマージンをもたせて可視化する必要があると言える．
また，消毒による熱痕跡表示の消去は消毒されたことがわかりやすいという感想が多かった．実際に消毒作業を行うとき，必要な箇所に集中して消毒できるというコメントや，スプレーで網羅的に消毒できたことを確認できると助かるというコメントがあった．今後，気化熱の温度の低下とウイルスに対する消毒の効果の関係性について調査を行い，ウイルスが消毒された可能性が高いときにのみ消毒を認識するような仕組みについて検討を進めていきたい．

5.2

認識精度の向上

現在の画像処理は，カメラボードでも動作する程軽量であるが，正確な接触の記録とするには後処理の追加や画像処理精度の向上が必要であると考えている．実際に 3DCNN (3D Convolutional Neural
Network) を用いた 2 チャンネルのカメラ動画を用いた画像処理にも着手している [5]．
また，実験結果が示すように，熱痕跡の残りやす
さは環境表面の素材の熱伝導率によって異なる．熱伝導率の高い金属では熱がすぐに広まってしまい熱痕跡として残りにくく，紙や木材のような熱伝導率の低い素材では熱痕跡が残りやすい．また，表面の質感がざらざらしていれば手との接触点が減るため熱が伝わりにくく，つるつるした表面では接触点が多く熱がよく伝わる．さらに素材の厚さにも影響を受ける．このため，環境表面の材質や部位によって異なる画像処理パラメータを用いることで画像処理精度を向上させられる可能性がある．物体の素材の推定は，深層学習を用いる方法も提案されている [7]．

5.3

利用シーン

提案手法は，近赤外線画像の差分画像を用いているため，直射日光が当たり木漏れ日や雲によって照明条件の変化が激しいような状況では正確な画像処理が難しい．また，サーマルカメラ画像を使って接- 115 -

触検知を行っているため，屋外のような温度変化の激しい状況で利用することも難しい．本システムは，
まずは空調の効いた屋内での利用を想定し，必要とされる場面やユーザインタラクションについて検討を進めようという段階である．
画像処理精度の面からは，高い精度で接触を識別できた紙や木材などに物体の素材が限定され，人の手が物体に触れる部分を大きく撮影できる状況では，一定の精度で熱痕跡を記録，可視化できると見込んでいる．一方で，その他の素材を含む今回の評価実
験のような精度であっても，接触感染の可能性を可視化して啓発したり，消毒のモチベーションを向上させるような目的では利用可能だと考えている．
今回実装したようなプロジェクタによる表示シス
テムはオフィスの共用部のような，複数人で共有する机や冷蔵庫などに対して特に有益だと考えている．
このような場面であれば複数人で触れる箇所が限られ導入も比較的容易だと考えられる．一方で，接触情報の収集のみを行い，可視化をスマートフォンなどの端末で行うシステムもあり得ると考えている．

5.4

接触による感染の可能性に関して

最近では，接触感染が発生するのは限られた状況
下のみであるという報告もある [12]．一方で感染症拡大の予防という観点からは，接触感染の可能性を否定することもできないため，念のためにさまざまな環境表面の消毒を行い続けている．このような状況に対して，提案システムを用いると，人が本当に触れた最小限の消毒にとどめたり，人がよく触れる
場所のログを取りその場所のみを消毒するといった消毒作業の効率化につながる．

6

まとめ

本稿では，Alertable Surfaces を提案し，人が環境表面に触れた箇所や，環境表面への消毒をサーマ
ルカメラと近赤外カメラを用いて認識し，ウイルスが付着している可能性がある場所を可視化するシステムの実装について述べた．
今後は素材の差に対応するなどして画像処理性能の向上を行い，さらに状況に応じて情報を提示する
方法について検討し，またそれに対するユーザの評
価実験などを行う予定である．
また，本アプローチは，軽量なシステムで実現可能であるが，対応する素材に限りがあり，また空調の効いた屋内に限定される．将来的には，画像処理
手法を改良するだけでなく，他のアプローチも併用することで接触箇所検知ができる環境を増やし，飛沫などによる感染防止についても検討を進めたい．
ウイルスの付着した可能性のある場所を可視化することで，ピンポイントに効率よく消毒を行ったり，
少しでも安心して過ごせるようになればよい．

Alertable Surfaces: 人の接触と消毒を認識しウイルスの付着を警告する実環境

参考文献

Systems. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI 14), pp. 3483–3492, 2014.

[1] Y. Abdelrahman, M. Khamis, S. Schneegass,
and F. Alt. Stay Cool! Understanding Thermal Attacks on Mobile-Based User Authentication. In Proceedings of the SIGCHI Conferenceon Human Factors in Computing Systems (CHI17), pp. 3751–3763, 2017.
[2] D. Iwai and K. Sato, Kosuke. Document searchsupport by making physical documents transparent in projection-based mixed reality. Virtual
Reality. Vol. 15, pp. 147-–160. 2011.
[3] E. Larson, G. Cohn, S. Gupta, X. Ren, B. Harrison, D. Fox, and S. Patel. HeatWave: Thermal Imaging for Surface User Interaction. In
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 11),
pp. 2565–2574, 2011.
[4] G. Ma, W. Ross, M. Tucker, P. -C. Hsu,
D. M. Buckland and P. J. Codd. Touch-Point
Detection Using Thermal Video With Applications to Prevent Indirect Virus Spread. In IEEE
Journal of Translational Engineering in Healthand Medicine, Vol. 9, pp. 1–11, 2021.
[5] 野口憲人, 岸野泰恵, 白井良成, 村田正幸. 近赤外
画像とサーマル画像を用いた接触検知におけるマルチバンド画像処理の基礎検討. 画像の認識・理解
シンポジウム 2022（MIRU2022）, IS1-63, 2022.
[6] A. Sahami Shirazi, Y. Abdelrahman, N. Henze,
S. Schneegass, M. Khalilbeigi, and A. Schmidt.
Exploiting Thermal Reﬂection for Interactive[7] G. Schwartz and K. Nishino. Recognizing Material Properties from Images.
https://arxiv.org/abs/1801.03127, 2018.
[8] Y. Shirai, Y. Kishino, T. Suyama, and S. Mizutani. PASNIC: A Thermal Based Privacy-Aware
Sensor Node for Image Capturing. In AdjunctProceedings of the 2019 ACM International
Joint Conference on Pervasive and Ubiquitous
Computing, pp. 202-–205, 2019.
[9] 土田勝, 川西隆仁, 村瀬洋, 高木茂. 背景差分法による物体検出を目的とした逐次モンテカルロ法による背景推定. 電子情報通信学会論文誌, Vol. J87D-II, No. 5, pp. 1062–1070, 2004.
[10] A. D. Wilson. Combating the Spread of Coronavirus by Modeling Fomites with Depth Cameras. In Proceedings of ACM Human-Computerinteraction, Vol. 4, Issue ISS, Article 203, 2020.
[11] 厚生労働省. 新型コロナウイルスの消毒・除菌方法について. https://www.mhlw.go.jp/stf/ seisakunitsuite/bunya/syoudoku 00001.html.（2022 年
9 月 22 日閲覧）
[12] Nature. COVID-19 rarely spreads throughsurfaces. So why are we still deep cleaning? https://www.nature.com/articles/d41586021-00251-4.（2022 年 9 月 22 日閲覧）- 116 -

!"##$%&%%$

自動運転車からの視線提示による交通事故低減の可能性の検討
張家銘*

戸田光紀*

Xinyue Gui*

Stela H． Seo†

五十嵐健夫*

概要． 様々な自動車メーカーや研究者が，自動車に目を追加することで，歩行者とのコミュニケー
ションを円滑にするアイデアを提示している．我々の以前の研究では，自動運転車に視線を提示できる目を付与することにより，歩行者の道路横断の判断の迅速化が可能であることを示した．本研究では，より重要な問題である "視線の提示によって交通事故を減らすことができるのか？"について検討した．歩行者が急いで自動運転車の前を横断しようとしている状況を考える．この時，車が歩行者を見ていないということは，車が歩行者を認識していないことを意味する．したがって，歩行者は道路を渡るべきではないと判断でき，潜在的な交通事故を回避することができる．我々は，モーターで駆動される物理的な目を付与した実験車両を製作し，それを撮影した仮想環境において被験者実験を行った． その結果，視線提示によって危険な道路横断を低減できる可能性があること，歩行者の主観的な安全感・危険感を高めることができることが分かった．また，視線を提示する自動運転車とのイン
タラクションにおいて，男性と女性の行動の間に差異があることも示唆された．

1

ルリアリティ環境に取り込んだ．4 つの条件（図 1）
について，重要な道路横断のシナリオで，目のない
車と目のある車を比較した．参加者は VR の中で歩行者となり，道路横断の判断を行った．参加者の判断の誤り率を計測した．

はじめに自動運転車の課題の 1 つに，自動運転車と歩行者の間のインタラクションの問題が挙げられる [1]．
以前の我々の研究では，歩行者が道路を横断するために立っているシナリオにおいて，自動運転車の目が歩行者の道路横断の判断をより早くすることを示した[7]．しかし，道路横断が少し速くなったり遅くなったりすることは，交通事故（けがや死亡など）ほど重大ではないといえる．交通事故を減らすこと（＝正しい判断をすること）の方が，早く判断できるようにすることよりもずっと重要である．本研究では，「視線の提示によって交通事故を減らすか」という研究課題への解答を試みる．
歩行者が急いで歩いて道路を渡るという重要な道
路横断のシナリオを考える．車（目）が歩行者を見ていない場合，車は歩行者を認識していないことを意味するとする．そのため，歩行者は道路を渡るべきではないと判断し，交通事故の可能性を回避することができる．しかし，車（目）が歩行者を見ている場合は，車が歩行者を認識していることを意味する．そのため，歩行者は横断歩道を渡っても安全かどうかを判断することができる．
18 名の参加者を対象に，視線提示の効果を調べる
実証実験を行った．実車のプロトタイプを製作し，実際の交通環境での 360 度動画を撮影し，バーチャ

図 1．実証研究における参加者の視点． (a) 安全な場合， (b )危険な場合， (c) 安全な場合， (d )危険な場合．

最も注目すべき結果は，目が男性歩行者の潜在的な交通事故を減らす可能性がある点である．本論文
では，実際のモーターで駆動される目のプロトタイ
プ設計と，正確なタイムラインによるシナリオ，さらに，目に対する性別の影響についての考察を行う．
本論文は，ACM AutomotiveUI 2022 で発表された論文の内容をまとめたものである[20]．

Copyright is held by the author(s).
* 東京大学，†京都大学- 117 -WISS 2022

2

関連研究

車両とドライバーの合図は，車両が接近した際に歩行者が道路横断の判断をするのに役立つ 2 種類の情報である[2]．しかし，自動運転車と歩行者のイン
タラクションは，人間が運転する車両とは異なる．
近年，自動運転車と歩行者のインタラクションが広く検討されており，多くの研究が自動運転車と歩行者のインタラクションのための様々なコミュニケー
ション様式を提案している．例えば，自動運転車に外部ディスプレイを搭載することは，自動運転車と歩行者のインタラクションのための一般的なソリューションである [3, 4]．このディスプレイは，歩行者とコミュニケーションをとるために，テキストやシンボルを提示する[8]．また，自動運転車と歩行者のインタラクションのための外部ヒューマンマシン
インタフェース（eHMI）で，光の異なる色やアニメーションについていくつかの研究が行われている[5,6] .また,自動車に搭載された「目」[7, 8, 9, 10, 11]
や「笑顔」[8, 12, 13] を用いて歩行者とインタラク
ションを行うなど，人間らしいコミュニケーション
インタフェースが研究されている．Chang ら[7]は，自動運転車に「目」を搭載するコンセプトを提案し，「目」が歩行者の道路横断の判断をより早くすることを示した．Jaguar Land Rover [11]も同様のコン
セプトを提案し，歩行者の自動運転技術に対する信頼感を調査した．さらに，研究[10]では，複数の視線方向を用いて車の進行方向を示すという概念を提案した．本研究では，先行研究とは異なり，歩行中の歩行者が横断歩道を急いで渡るという重要な交通シ
ナリオに着目し，視線方向を用いて車が周囲の歩行者を認識していることを提示している．
実環境で自動運転車による実証研究を行うことは困難である[14]．多くの研究が，3DCG を使用して，提案した eHMI コンセプトを提示し，VR 環境における自動運転車対歩行者のインタラクションを評価している[15， 16， 17]．しかし，VR 環境における
3DCG の自動車モデルは，実環境における実車とは大きく異なる可能性がある．実環境における実車を用いた実証研究がいくつか行われている[18] ．本研
究では，実環境と VR の混合法によって研究を行った．同様の混合手法は，自動運転車-歩行者間のインタラクションを評価するために使用された[14]．この混合法は，実世界と VR 環境のバランスをとることができると考えている．

3

提案手法

であり，調査[19]によれば，90%以上のドライバーが信号機のない横断歩道で歩行者が横断待ちをしていても停止しないことが分かっている．このような場
合，歩行者は危険な状況（＝傷害や死亡）を回避するために，車両の合図だけを頼りに道路横断の判断をすることになる．我々は，[7]のような歩行者が立っていてこれから道路を渡るという危険でないシナ
リオよりも，すでに歩行者が歩いて渡っているというこのシナリオの方がはるかに重要であると考えている．

図 2．重要な道路横断のシナリオにおける自動車への視線．

図 2 は，急ぎ足の歩行者が道路を渡ろうとしたときに，突然，車の接近に気づくというシナリオである．歩行者は車が止まるかどうかを判断しなければならない．車が止まると判断した場合，歩行者は止
まらずに横断歩道を渡り続けることができる．しかし，車が止まらないと判断した場合，歩行者は安全のために止まらなければならない．(1)車が止まっても歩行者も止まる場合はエラー，(2)車が止まらなくても歩行者が歩き続ける場合はエラーと，2 つの判断をエラーと考える．
提案手法では，歩行者への視線提示によって，自動運転車が停止するかどうかの 情報提示を行う．
歩
行者への情報提示方法としては，ディスプレイやライトなども考えられるが，以下の理由により視線を選択した．まず，手動運転車では，歩行車の 84%が道路を横断するときに，運転者とのアイコンタクトを求めている[21]．よって，自動運転車においてもアイコンタクトを利用することで，歩行者が混乱することなく情報を受け取ることができる．また，ディスプレイやライトでは、個別の歩行者に対して異なる情報を提示することが難しいが，視線では，視線を向けている歩行者と視線を向けていない歩行者にそれぞれ異なる情報を提示することができる．

4

本研究では，歩行者が急ぎ足で信号機のない横断
歩道を渡ろうとする重要な道路横断のシナリオに着目した．これは交通事故が発生する典型的なケース

ユーザー実験

我々は，図 3 に示すように，ゴルフカート上に「制御可能な」目を設置した．
目には 3 つの視線方向（左，- 118 -

自動運転車からの視線提示による交通事故低減の可能性の検討

約 120 ドル）であった．
実証研究では，動画を VR 環境に配置した．参加
者には HMD を装着してもらい，今にも道路を横断しそうな歩行者になりきってもらった．参加者のタ
スクは，周囲の交通状況を観察し，道路横断の判断を行うことである．具体的には，横断歩道を渡る際に危険を感じた場合（衝突を避けるため）には横断を止める判断をする必要がある．しかし，安全に横断できる場合は，何もする必要がない．実証研究では被験者内法を用い，各参加者に 40 回（各条件 10
回，図 6）道路横断の判断をさせた．4 つの条件の順
番は参加者ごとにランダムとした．
参加者を部屋に招き，360 度動画が見られる VR
環境を設置した（図 6）．参加者に対しては，口頭で概要説明と詳細な説明を行った．評価自体は，指示・試行（10〜15 分），VR タスク（15〜25 分），アンケート（5 分）の 3 部構成とした．30〜40 分程度で全ての評価が終了した．

直，右）があり，矢印キー（物理ボタン）を使って手動で操作することができる．このカートは完全な自動運転機能を有しているが，安全性の観点から，
ユーザー調査の際には手動で運転した．フロントガラスとサイドガラスにスモークガラスを貼り，自動運転であることを装った．

図 3．実車のプロトタイプ (左，直，右)．

提案する歩行者用道路横断状況の実環境で 360 度
動画を撮影した．図 5 に歩行者道路横断の環境と状況を示す．図 4(a)：この場所から歩行者は歩道を歩
き始め，歩行者は完全な道路状況を見ることができない． 図 5(b)：歩行者が歩き続けていると，突然，自動車が近づいてくるのが見える．図 5(c): 歩行者
は歩き続け，道路（つまり車線）に出る前に道路を横断するかどうか判断する必要がある．

図 6．ユーザー実験の写真．

VR 実験中の被験者への説明とタスク：“VR，では急いでいる歩行者が道路（信号なし）を渡ろう

図 4．360 度動画を実環境で．

としているところです．まず，障害物（自転車や建物）に阻まれ，道路状況を完全に見ることができません（つまり，車が近づいているのが見えません）．しかし，その障害物を通り過ぎようと歩き続けていると，突然，車が近づいてくるのが見えます．車はあなたに譲るかもしれませんし，
譲らないかもしれません．横断が危険と感じたら「STOP」“
横断の判断をする必要があります．
本実験で実施するタスクの手順：ステップ１：「開始」ボタンを押してタスク開始．ステップ２：(危険を感じたら)「停止」ボタンを押して道路の横断を停止．
図 7 は，VR 環境における車の挙動と歩行者の動きの関連する 3 つの場所を示している．a 地点：タ
スクが開始されると，車と歩行者はこの場所から移動を開始する．この位置では歩行者は車を見ることができない． b 地点：車と歩行者は b 地点まで前進を続け，この地点に到達すると，歩行者は車を見ることができる． c 地点: 車と歩行者がこの場所に到着するまでに 3 秒のカウントダウンが提示される．
参加者はカウントダウン終了直後に道路横断の判断をする必要がある．

映像には，(1)目なし車は歩行者に譲らないつもり（危険な場合），(2)目なし車は歩行者に譲るつもり（安全な場合），(3)目線あり車は歩行者を見ておらず，歩行者に譲らないつもり（危険な場合），(4)目線あり車は歩行者に譲るつもり（安全な場合）の 4 つの車の挙動が収録されている (図 5)．

図 5．車の挙動に関する 4 つの条件．

ユーザースタディのために，18 名（男性 9 名，女性 9 名，18～49 歳）を募集した．ユーザースタディ
は，2022 年 2 月 15 日から 3 月 10 日にかけて実施
した．募集は外部に委託した．手続き費用と謝礼を含めた総費用は約 2，160 ドル（参加者 1 人あたり

- 119 -WISS 2022

Error Rate

Male Participantsno eyeseyes

100%* p < .05

n.s.

*

80%

55.56%

48.89%

60%

35.56%

40%

17.78%

20%
0

Critical cases

Non-critical cases(both car and pedestrian go ahead) (both car and pedestrian stop)

図 9．男性参加者のエラー率. 危険な場合（Critical cases）．目
なし：平均 48.89,SD=31.4，目：平均 17.78,SD=17.87. 安全な場合（Non-critical cases）．目なし：平均＝55.56，SD＝26.03，目あ図 7．VR 環境における自動車の挙動と歩行者の動き．

り：平均＝35.56，SD＝27.44．

道路横断の判断の誤りをカウントした．条件 2，4（安全な場合）では，停止判定をエラーとカウントした．しかし，条件 1，3（危険な場合）では，横断判定をエラーとしてカウントした．

図 10 は，女性参加者のエラー率を示している．
危険のある場合，エラー率は，
目なし車で 25．
56％，
目あり車で 31.11％であった．対応のある t 検定分析の結果，その差は統計的に有意ではなかった（p >0.05）．一方，危険のない場合では，エラー率は目な
し車で 72.22％，目あり車で 34.44％となり，両者の間に統計的に有意な差（p＜0.05）が認められた．これらの結果から，女性参加者にとって目は効率に寄与するが，安全には寄与しないことがわかった．

5

結果

Error Rate

図 8 は，全体のエラー率である．全体のエラー率
は，目なし車で 50.56％，目あり車で 29.44％であった．Paired t 検定による誤り率の解析の結果，両車種間の差は統計的に有意であった（p＜0.01）．このことから，目あり車は一般的に目なし車よりも歩行者の道路横断の判断をより正しく行うことができる
ことがわかった．

100%

no eyeseyes

Error Rate** p < .01

80%

n.s.

60%

25.56% 31.11%** p < .05

72.22%
34.44%

20%
050.56%

40%

100%

40%

**

80%
60%

Female Participantsno eyeseyes

Critical cases

Non-critical cases(both car and pedestrian go ahead) (both car and pedestrian stop)

29.44%

図 10．女性参加者のエラー率. 危険な場合（Critical cases）．目

20%

なし：平均 25.56，SD=20.68,目：平均 31.11，SD=29.77 安全な場

0

合（Non-critical cases）．目なし：平均値＝72.22,SD＝17.87，目
あり：平均値＝34.44，SD＝31.67．

図 8．全体のエラー率.目なし：平均＝50.56,SD＝13.81，目あり：平均＝29.44，SD＝14.54.

図 9 は，男性参加者のエラー率を示している．危険のあるケースにおいて，
男性参加者のエラー率は，目なし車で 48.89％，
目あり車で 17.78％であった．
対応のある t 検定分析の結果，その差は統計的に有意であった（p < 0.05）．しかし，危険のないケース
でのエラー率は，目なし車で 55.56％，目あり車で35.56％となり，統計的に有意な差は見られなかった（p＞0.05）．これらの結果は，男性参加者にとって，目は安全性には寄与するが，効率性には寄与しないことを示している．

- 120 -

男性歩行者と女性歩行者に分けて異なるシナリオ（危険な場合と危険でない場合）の集計を行うとともに，ANOVA により性差（＝エラー率）を分析した．その結果，男女間の差は統計的に有意であった（F(7, 64) = 4.195, p = 0.0007）．このことから，男性歩行者と女性歩行者は，自動運転車と目で対話する際に，異なる道路横断行動をとることがわかった．

6

今後の課題

将来的には，実際の自動運転車のシステム（AI）と目を統合し，AI の内部状態に応じて目の視線を制自動運転車からの視線提示による交通事故低減の可能性の検討御することを目指したいと考えている．例えば，さまざまな交通状況に対応するために，異なるアルゴ
リズムを開発して，異なる視線制御（＝異なる自動運転モード）を行うことが可能である．さらに，本研究では，実際の自動運転車と歩行者の対話において，危険な場合とそうでない場合で興味深い性差が見られたことから，歩行者の性別を認識し，実際の自動運転車の挙動を変更する技術の開発も有用であると考えられる．また，歩行者の性別だけでなく，子供や高齢者など，道路利用者によっても実際の自動運転車との対話方法が異なる可能性があると考え，異なる道路利用者についても調査する予定である．
VR の評価については，VR 環境においてユーザーは現実の交通事故の危険をどのように認識することができるのか，といった点について検証したいと考え
ている．

7

[2]

[3]

結論

目が歩行者の道路横断判断の効率化に役立つとした先行研究[7]とは異なり，本研究では，状況によっては目を使って交通事故を減らすことができる可能性があることを示したものである．我々は，視線を提示できる目を搭載した実車のプロトタイプを製作し，重要な道路横断のシナリオにおいて，目を搭載した車と搭載していない車を比較する実証実験を実施した． その結果，目があることで男性歩行者の潜在的な交通事故を減らすことができ（危険な場合），
女性歩行者の交通効率を高めることができることが示された（危険でない場合）．また，視線の方向によって，道路横断時における歩行者の「安心感」（車が自分を見ている）や「危機感」（車が自分を見ていない）を高められることが判明し．本研究では，実際の自動運転車と歩行者のインタラクションにおいて，危険な場合（車も歩行者も先に進む）とそうでない場合（車も歩行者も止まる）の対応の性差について考察した．これらの知見は，今後の自動運転車-歩行者間インタラクションの開発において有用な知見と興味深い方向性を提供するものである．

[4]

[5]

[6]

謝辞
本研究は JST CREST JPMJCR17A1 の支援を受けたものである．また，車両は株式会社ティアフォーから提供されたものである．

[7]

参考文献
[1] Daniel J. Fagnant, and Kara Kockelman. 2015.
Preparing a nation for autonomous vehicles:
opportunities,
barriers
andpolicy- 121 -

recommendations. Transportation Research Part
A: Policy and Practice 77: 167-181.
Stefanie M. Faas, Johannes Kraus, Alexander
Schoenhals, and Martin Baumann. 2021.
Calibrating Pedestrians' Trust in Automated
Vehicles: Does an Intent Display in an External
HMI Support Trust Calibration and Safe Crossing
Behavior?. In Proceedings of the 2021 CHI
Conference on Human Factors in Computing
Systems (pp. 1-17).
Yeti Li, Murat Dikmen, Thana G. Hussein, Yahui
Wang, and Catherine Burns. 2018. To Cross or Not
to Cross: Urgency-Based External Warning
Displays on Autonomous Vehicles to Improve
Pedestrian Crossing Safety. In Proceedings of the10th International Conference on Automotive User
Interfaces and Interactive Vehicular Applications(AutomotiveUI ’18). ACM, New York, NY, USA,
188–197.
Karthik Mahadevan, Sowmya Somanath, andEhud Sharlin. 2018. Communicating Awarenessand Intent in Autonomous Vehicle-PedestrianInteraction. In Proceedings of the 2018 CHI
Conference on Human Factors in Computing
Systems (CHI ’18). ACM, New York, NY, USA,
Article 429, 12 pages.
Debargha Dey, Marieke Martens, Chao Wang,
Felix Ros, and Jacques Terken. 2018. Interface
Concepts for Intent Communication from Autonomous Vehicles to Vulnerable Road Users. In
Adjunct Proceedings of the 10th International
Conference on Automotive User Interfaces andInteractive
Vehicular
Applications(AutomotiveUI ’18). ACM, New York, NY, USA, 82–
86.
Debargha Dey, Kai Holländer, Melanie Berger,
Berry Eggen, Marieke Martens, Bastian Pfeging,and Jacques Terken. 2020. Distance-Dependent
EHMIs for the Interaction Between Automated
Vehicles and Pedestrians. In 12th International
Conference on Automotive User Interfaces andInteractive Vehicular Applications (Virtual Event,DC, USA) (AutomotiveUI ’20). Association for
Computing Ma- chinery, New York, NY, USA, 192–
204.
Chia-Ming Chang, Koki Toda, Daisuke Sakamoto,and Takeo Igarashi. 2017. Eyes on a Car: an
Interface Design for Communication between an
Autonomous Car and a Pedestrian. In Proceedingsof the 9th international conference on automotive
user interfaces and interactive vehicularapplications (AutomotiveUI ’17), pp. 65-73.

WISS 2022

Riener. 2019. How should automated vehicles
interact with pedestrians? A comparative analysis
of interaction concepts in virtual reality. In
Proceedings of the 11th international conference on
automotive user interfaces and interactive
vehicular applications, pp. 262-274.
[16] Uwe Gruenefeld, Sebastian Weiß, Andreas Löcken,
Isabella Virgilio, Andrew L. Kun, and Susanne Boll.
2019. VRoad: gesture-based interaction between
pedestrians and automated vehicles in virtual
reality. In Proceedings of the 11th International
Conference on Automotive User Interfaces andInteractive Vehicular Applications: AdjunctProceedings, pp. 399-404.
[17] Sebastian Stadler, Henriette Cornet, Tatiana
Novaes Theoto, and Fritz Frenkler. 2019. A tool,
not a toy: using virtual reality to evaluate thecommunication between autonomous vehicles andpedestrians. In Augmented reality and virtual
reality (pp. 203-216). Springer, Cham.
[18] Dirk Rothenbücher, Jamy Li, David Sirkin, Brian
Mok, and Wendy Ju. 2016. Ghost driver: A fieldstudy investigating the interaction between
pedestrians and driverless vehicles. In 2016 25th
IEEE international symposium on robot andhuman interactive communication (RO-MAN), pp.
795-802. IEEE.
[19] The Japan Automobile Federation (JAF), 2016.
JAF finds over 90% of drivers ignore pedestriancrosswalks. Retrieved April 23, 2022 fromhttps://mainichi.jp/english/articles/20161002/p2a/0
0m/0na/015000c[20] Chia-Ming Chang, Koki Toda, Xinyue Gui, Stela H.
Seo and Takeo Igarashi, 2022, Can Eyes on a Car
Reduce Traffic Accidents?. The 14th ACM
International Conference on Automotive User
Interfaces and Interactive Vehicular Applications(AutomotiveUI 2022)[21] Šucha, Matúš. 2014. Pedestrians and drivers: theirencounters at zebra crossings. In Proceedings ofthe Fit to drive: 8th International Traffic Expert
Congress.

[8] Chia-Ming, Chang, Koki Toda, Takeo Igarashi,
Masahiro Miyata, and Yasuhiro Kobayashi, 2018,
September. A Video-based Study Comparing
Communication
Modalities
betweenanAutonomous Car and a Pedestrian. In AdjunctProceedings of the 10th International Conference
on Automotive User Interfaces and Interactive
Vehicular Applications (AutomotiveUI ’18), pp.
104-109.
[9] Yoichi Ochiai and Keisuke Toyoshima. 2011.
Homunculus: The Vehicle as Augmented Clothes.
In Proceedings of the 2nd Augmented Human. 3–6[10] Xinyue Gui, Koki Toda, Stela H. Seo, Chia-Ming
Chang and Takeo Igarashi. 2022. “I am going thisway”: Gazing eyes on a self-driving car show
multiple moving directions. In Proceedings of the
14th International Conference on Automotive User
Interfaces and Interactive Vehicular Applications(AutomotiveUI ’22).
[11] Jaguar Land Rover Automotive Plc., 2018. The
Virtual Eyes Have it. Retrieved June 19, 2022 fromhttps://www.jaguarlandrover.com/2018/virtualeyes-have-it[12] Hiroshi Hayakawa, Paul S. Fischbeck, and Baruch
Fischhoff. 2000. Traffic accident statistics and risk
perceptions in Japan and the United States.
Accident Analysis & Prevention, 32(6), 827-835.
[13] Chia-Ming Chang, Koki Toda, Daisuke Sakamoto,and Takeo Igarashi. 2017. Eyes on a Car: an
Interface Design for Communication between an
Autonomous Car and a Pedestrian. In Proceedingsof the 9th international conference on automotive
user interfaces and interactive vehicularapplications (AutomotiveUI ’17), pp. 65-73.
[14] Marius Hoggenmüller, Martin Tomitsch, Luke
Hespanhol, Tram Thi Minh Tran, Stewart Worrall,and Eduardo Nebot. 2021. Context-based interface
prototyping: Understanding the effect of prototype
representation on user feedback. In Proceedings ofthe 2021 CHI Conference on Human Factors in
Computing Systems, pp. 1-14.
[15] Andreas Löcken, Carmen Golling, and Andreas

未来ビジョン
Society 5.0 において，自動運転は重要な役割を担っている．近年，自動運転技術が高度に発達し，私たちは日常生活の中で自動運転車と出会い，接する機会が増えている．しかし，自動運転技術自体は完成に近づいているかもしれないが，そのような技術を受け入れる社会の準備が整っていない可能性がある．自動運転技術は，信頼性や安全性に関するさまざまな問題をもたらす「ブラックボックス」であり，道路利用者は自動運転車とどう接していいか分からないという問題がある．この点は，もっと慎重に検討されるべき重要なテーマだと考えている．

- 122 -

著者索引
高橋 亮, 79
田代 優香, 63
舘 知宏, 23
谷道 鼓太朗, 23

Sayan Sarcar, 1
雨坂 宇宙, 87
五十嵐 健夫, 56, 63, 117
池松 香, 1, 15
石黒 勝彦, 72
入江 英嗣, 102

張 家銘, 117
張 翔, 15
塚本 昌彦, 31
土田 修平, 31, 56
土田 太一, 1

内原 正一, 102
遠藤 輝貴, 56

寺田 努, 31

太田 彩, 38
尾関 沙羅, 72
小野 哲雄, 8, 46
尾原 和也, 110

戸田 光紀, 117
鳴海 紘也, 23

加藤 邦拓, 15
門本 淳一郎, 102
川原 圭博, 79

西村 太一, 72

岸野 泰恵, 110
岸本 諒大, 31
北村 喜文, 1
清藤 哲史, 63
金 太一, 63

樋口 啓太, 72

野間 裕太, 23

Hwang Dong-Hyun, 63
福田 大翔, 102
藤田 和之, 1
水谷 伸, 110
宮藤 詩緒, 63, 94

Gui Xinyue, 117
日下部 完, 8

柳沢 豊, 110

小池 英樹, 63, 94
小寺 正明, 72

雪田 和歌子, 79

坂井 修一, 102
坂本 大介, 8, 46
坂本 祐輝, 102

横田 知之, 79
脇田 建, 38
渡邉 拓貴, 87

ジェフェルソン パルドムアン, 94
志築 文太郎, 87
白井 良成, 110
菅原 光, 110
杉浦 裕太, 15
杉本 雅則, 87
鈴木 湧登, 46
須藤 海, 23

Seo Stela H． , 117
染谷 隆夫, 79
高木 瑠名, 94
高嶋 和毅, 1vii

⽇本ソフトウェア科学会 研究会資料シリーズ
No. 98 2022年12月14⽇発⾏
第30回

ISSN 1341-870X

インタラクティブシステムとソフトウェアに関するワークショップ（WISS 2022）論⽂集