WISS2021 開催にあたって

WISS 2021

寺田 努 ∗

本論文集は，日本ソフトウェア科学会インタラク
ティブシステムとソフトウェア (ISS) 研究会が主催し，2021 年 12 月 8 日 (水) 〜10 日 (金) にかけて現地とオンラインのハイブリッド開催される「第29 回インタラクティブシステムとソフトウェアに関するワークショップ」 (Workshop on Interactive
Systems and Software: WISS2021) での発表をまとめたものです．
昨年度の WISS2020 は完全オンライン・無料開催というかなりイレギュラーな開催形態となりました．無料開催により，WISS という会議の面白さを多くの人に伝えられたのではないか，という満足感がある一方で，やはり現地でわいわいデモを体験したり，ディスカッションや雑談することの価値を再確認した開催でもありました．WISS2021 の開催方
法を検討するにあたって，未だ多くの会議がオンライン開催をしている状況ではありますが，我々はハ
イブリッド開催，デモ発表は現地発表のみ募集・デモはオンライン配信なし，というかなり現地を優遇した開催を行うことにしました．
現地参加者が極めて少なくなり大赤字の可能性も高いと予測していましたが，開催直前の状況ですと赤字にならなくて済みそうな状況になりました．予想以上の投稿・参加登録をいただき，感謝するとともに WISS 現地開催の力を感じているところです．
WISS2021 の発表形態としては，登壇発表(Archival)，ロングティザー発表 (Non-archival)，
デモ・ポスター発表 (Non-archival) のカテゴリを用意し，登壇発表は 35 件の投稿に対してロング採
択 5 件，ショート採択 15 件となりました．ロング
ティザーは 10 件，デモ・ポスター発表は 48 件を採択しました．デモ・ポスターは現地必須としたにもかかわらず，多数の投稿をいただき投稿者の皆さんに感謝します．
開催日程を大幅に動かしたり，開催形態や論文募集形態を頻繁に見直すなど，WISS はフットワークの軽さが特徴ではありますが，そのために実行委員の皆さんには多大な負荷をかけています．今回も，現地で開催する以上，ワクチン接種の確認や現地での感染対策を含めて多くの作業が必要となりました．
∗

神戸大学, WISS2021 プログラム委員長

今回の開催に関しては，実行委員長の真鍋さんや会
計の瀬川さんを始めとした委員のみなさんに多大な負荷をかけました．ここに深く感謝したいと思います．私は WISS2020 と WISS2021 で委員長を務めさせて頂きましたが，とてもイレギュラーな 2 年間だったと思います．私が初めて WISS に参加したのは学生時代の WISS1999 なのですが，以降，自分にとって特別なワークショップとなりました (宴会芸もたくさんやりました)．この思い入れのある会議で委員長を務め，なんとか次の委員長まで WISS を
引き継ぐことができそうだ，ということで，ホッとすると同時に引き続き WISS に貢献していきたいと考えています．
最後に登壇発表論文を投稿頂いた皆様，デモ・ポスター発表に申込み頂いた皆様，議論に参加し会議の成功に貢献して下さる参加者の皆様，スポンサー
企業の皆様，協賛学会関係者の皆様，査読者の皆様，
そして，WISS2021 プログラム委員/運営委員の皆様に深く感謝いたします．

WISS 2021 プログラム委員長
寺田 努（神戸大）
WISS 2021 実行委員長
真鍋 宏幸（芝浦工業大）WISS 2021 副実行委員長
村尾 和哉（立命館大）
WISS 2021 運営委員
会計

細部 博史（法政大）
瀬川 典久（京産大）

出版・
デザインコンペ

池松 香（ヤフー）
加藤 邦拓（東京工科大）

参加者管理

樋口 啓太（Preferred Networks，
醸燻酒類研究所）

照明・音響

川口 一画（筑波大）

広報・
学会リエゾン

横窪 安奈（青学大）

WISS
チャレンジ

入江 英嗣（東大）

チャット

福地 健太郎（明治大）

動画生中継

阪口 紗季（東大）

デモ・ポスター

土田 修平（神戸大）
塚田 浩二（はこだて未来大）ネットワーク原 貴洋（ヤマハ）
奥本 隼（TwoGate）

Web・
サーバー

小山 裕己（産総研）
福里 司（東大）

投票

鳴海 紘也（東大）

懇親会

倉本 到（福知山公立大）表彰

宮下 芳明（明治大）
栗原 一貴（津田塾大，クーリード）

企業
スポンサー

岩本 拓也（サイバーエージェント）
開原 沙文（チームラボ）

学生
ボランティア櫻井 翔（電通大）
中野 倫靖（産総研）

表紙デザイン
越後 宏紀（明治大）

WISS 2021 プログラム委員
池松 香（ヤフー）
入江 英嗣（東大）
岩本 拓也（サイバーエージェント）
沖 真帆（はこだて未来大）奥本 隼（TwoGate）
開原 沙文（チームラボ）
梶本 裕之（電通大）
加藤 邦拓（東京工科大）
川口 一画（筑波大）
倉本 到（福知山公立大学）
栗原 一貴（津田塾大，クーリード）
小池 英樹（東工大）
小山 裕己（産総研）
阪口 紗季（東大）
坂本 大介（北海道大）
櫻井 翔（電通大）
志築 文太郎（筑波大）
瀬川 典久（京産大）
塚田 浩二（はこだて未来大）
土田 修平（神戸大）
寺田 努（神戸大）
中野 倫靖（産総研）
鳴海 紘也（東大）
原 貴洋（ヤマハ）
樋口 啓太（Preferred Networks，醸燻酒類研究所）
福里 司（東大）
福地 健太郎（明治大）
細部 博史（法政大）
真鍋 宏幸（芝浦工大）
宮下 芳明（明治大）
村尾 和哉（立命館大）
簗瀬 洋平（Unity）
横窪 安奈（青学大）
ISS 研究会連絡先
日本ソフトウェア科学会「インタラクティブシステムとソフトウェア研究会」
主査: 寺田 努
神戸大学 工学部 電気電子工学科
兵庫県神戸市灘区六甲台町 1-1
E-mail: tsutomu (at) eedept.kobe-u.ac.jp
本研究会に関する情報は http://www.wiss.org/
からアクセス可能です．

もくじ

まえがき: WISS2021 開催にあたって
寺田 努 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

セッション 1：現地発表 1!

#

SingDistVis: 多数の歌声から歌い方の傾向を可視化できるインタフェース "ロング採録 $ ロング発表
伊藤 貴之, 中野 倫靖, 深山 覚, 濱崎 雅弘, 後藤 真孝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

%

i

1

本研究は「ある程度条件が統一された膨大なデータを効率的に分析するための可視化方法の模索」を目的とし、その第一歩として、youtube やニコニコ動画に公開されている “歌ってみた動画” の歌い手の傾向を対象とする手法を提案している。アイディア自体はシンプルではあるものの、いずれの査読者も WISS で議論するべき論文として、採録を推薦しました。手法の発展性などについて活発な議論ができると期待している。

'!
#
ダンスフォーメーション作成のための候補提示型インタフェース "ロング採録 $ ロング発表
遠藤 輝貴, 盧 承鐸, 中島 一崇, 楊 溪, 五十嵐 健夫 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
%(9

本研究では、グループダンスのフォーメーションのデザインを支援する「候補提示型」ユーザインタフェースを提案しています。提案するシステムはグループダンスでのフォーメーション作成で有益であると考えられ、WISS においてはルー
ルを増やした場合の想定やコンピューターアニメーションエディットシステムとの関連，ユーザテストの評価方法などについて議論できればと思います。

'

&

!
#
ショート採録"$ ショート発表&(

歌唱時に高音の発声ができるようになる VR 映像の提案と評価
坂名 純太, 土田 修平, 寺田 努, 塚本 昌彦 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16%&
本当に有用かどうか判断できない段階の研究ではありますが、斬新な着眼点に対しての評価は高く、本ワークショップにおいて議論に足るショート採録と判定されました。

'

セッション 2：オンライン発表 1!

#

Human-in-the-Loop 型適応によるインタラクティブな音楽的拍節解析 "ロング採録 $ ロング発表
山本 和彦 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23%

本論文では、楽曲に対して拍の情報を付与するタスク（拍節解析）を実施するための、深層学習による自動化技術とユーザの対話的入力に基づく適応的制御機構を組み合わせた技術的枠組みを提案している。認識の個人差ゆえに定義が難しい問題を human-in-the-loop なアプローチによって解決する点は面白い。また、提案技術には別の問題への応用可能性がある。以上よりロング発表での採択となった。WISS では人間を組み込むことで問題解決を図るという思想についての議論も期待する。

'

(

&

(

!
#
色の修飾語を用いた対話的なイラストの色編集 "ショート採録 $ ショート発表
住田 桃子, Nolwenn Maudet, 福里 司, 五十嵐 健夫 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30%&
論文の質、及びシステムの完成度に基づき、ショート採録としてふさわしいと査読者全員の意見が一致しました。査読では、新規性がありまた有用性が部分的に確認されている点も評価されました。今後の研究のご発展を期待しています。

'

iii

(

!

#

Knowledge ComposTer: 知識断片の再活用による継続的な創造活動支援シ ステム "ショート採録 $ショート発表
生田 泰章, 高島 健太郎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35%

査読者間および PC 委員会での議論の結果，当該システムには [13][14] からの拡張に対して進歩性があることが評価されました．したがって，評価が欠如している欠点はあるものの，その運用の適切性や意義について議論することには参加者にも一定の価値がある結論となりました．これに鑑み，判定はショート採択となりました．

'&(

セッション 3：現地発表 2!
#
実世界と順序型コンテンツを連携した IoT プログラミング学習支援システム "ロング採録 $ ロング発表
川谷 知寛, 塚田 浩二, 栗原 一貴 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43%&
動画教材や PDF 教材に連動して、遠隔地にいる学習者の手元にあるマイコンが動くというシステム面での新規性は大きいです。また有用性の可能性も感じられます。ただし、その検証は行われていません。しかしながら、WISS の査読方針としてユーザ実験は必須ではありません。また、フィジカルなデバイスであるマイコンの遠隔教育というとても重要かつチャレンジングな課題に取り組んでいます。
本研究のシステム面での新規性と、今後更に有用かつ実用的なシステムの構築を進めるための議論を WISS で深めるた
めにも、ロング採録が妥当であると判定されました。

'

(

!
#
部屋の 3 次元縮小モデルを用いた MR 空間内における仮想オブジェクト配置 "ショート採録 $ ショート発表
井原 圭一, 川口 一画 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50%&
本論文は Worlds in Miniature（WiM）手法を AR でのオブジェクト操作に応用したものであり、この点での新規性は認められる。一方で、査読では技術的に新しい点はないこと、評価方法についての懸念があること、また提案手法の具体的な内容についても明確ではないことなどが示された。ただ、評価実験で得られた内容に有益な内容も含まれていることの指摘もあり、ショート採録と判定する。

'

!

#

Color-Path: 手本動作の AR 表示によるヘアアレンジ再現支援システム "ショート採録 $ ショート発表
松井 菜摘, 大西 鮎美, 寺田 努, 塚本 昌彦 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57%

AR を用いてヘアアイロンを用いたヘアアレンジを支援する点に新規性があり、ユーザ実験では手本通りの操作軌道の再現が達成され、一定の成果があった点が評価されました。ただし、髪型の見た目の再現については良い結果ではなく、有用性が限定的であることからショート採録と判定されました。

'

(
&
(

!
#
時間歪曲機能を用いた VR スキートレーニングの拡張 "ショート採録 $ ショート発表
松本 高, Erwin Wu, 小池 英樹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64%&
本研究では、スキーシュミレータと HMD を組み合わせた VR スキートレーニングシステムにおいて、時間経過速度を遅くする時間歪曲を用いた練習手法の提案を行っています。また 4 パターンの時間歪曲方法の比較実験を行い、その効果の検証を行っています。WISS においては、本研究の特徴的な提案である動的倍率変更手法の改善に関する議論や、トレー
ニングシステムとしての長期的な効果に関する議論が出来ればと思います。

'

iv

(

セッション 4：混在発表 1

ドライブレコーダのデータから旅行の思い出動画を自動生成する web サービスの実装
ショート発表%!
#ショート採録"$尾頭 花奈, 石黒 祥生, 椎尾 一郎, 武田 一哉 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

システムの完成度、有用性、新規性ともに認められたが、インタラクティブシステムとしての言及や記述が必要と判断し、ショート採録とする。

'

!

#

TSUGITE: インタラクティブな木工ジョイントの設計・加工システム "ショート採録 $ ショート発表
五十嵐 健夫, 梅谷 信行, 吉田 博則, ラルスン マリア . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78%

木造建築において複数の部材を組み合わせる「継手」技法について，インタラクティブなシミュレーションとファブリケーションを可能にするシステムを提案／実装し，製作事例を紹介している．UIST2020 にフルペーパーとして採録されている論文でもあり，全ての査読者が新規性／有用性ともに高く評価した．一方，投稿時の原稿は記述の質が低く，また既発表論文であり内容が既に認知されていることを勘案して，ショート採録と判定した．

'

&
(
&

(

!
#
空間ラベリング：非専門家による画像注釈のラベル品質を改善するための空間レイアウトの活用 "ショート採録 $ショート発表%張 家銘, 李 佳憲, 五十嵐 健夫 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

CHI の採択論文であることもあり，記述も明確で研究としても重要なテーマであると評価されています．
しかしフルペーパーを 6 ページに圧縮された内容となっており，今回の投稿論文から読み取れる情報からはいくつか疑問点が指摘されていることから，ショート採録が妥当であると判定しました．
しかし，機械翻訳をしたような分かりづらい記述が含まれているとの指摘もあり，最低限読者に誤解を与えないよう記述の修正が必要です．

'

対戦アクションゲームにおけるプレイヤーの挙動観察のためのシーン検索
ショート発表

%

&

(

!
#
"ショート採録（採録条件あり）$

三ツ井 慧太郎, 岡部 誠 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

キャラクタの位置関係に着目した深層学習ベースの映像検索システムによって過去の事例を参照させることで対戦格闘
ゲームのプレイスキル上達を支援する新規の手法を提案しており、有用性は荒削りであるものの、WISS コミュニティにおいて共有する価値のある研究であると考えられる。以上の結果から、ショート採録と判断された。

'&(

Corridor-Walker:
視覚障害者が障害物を回避し交差点を認識するためのスマートフォン型屋内歩行支援シ!
#
ステム "ロング採録（採録条件あり）$ ロング発表
栗林 雅希, 粥川 青汰, Jayakorn Vongkulbhisal, 浅川 智恵子, 佐藤 大介, 高木 啓伸, 森島 繁生 . 97%&
Lider による周辺形状把握と画像認識による交差点検出，音声と振動による情報提示により視覚障害者の歩行支援を行うシステムの提案・評価がされています．事前の地図を必要とせずにスマートフォン 1 台で，障害物回避と交差点の把握を支援するシステムであり，視覚障害者の実際のニーズに合致した実用的な研究であること，また被験者も十分な数の視覚障害者によって構成されていることから，社会的貢献度の高い研究です．

'

v

(

セッション 5：現地発表 3!

#

CircWood: CW レーザー加工機による炭化を利用した木製回路基板 "ショート採録 $ ショート発表
石井 綾郁, 加藤 邦拓, 池松 香, 川原 圭博, 椎尾 一郎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105%

一般的なレーザーカッターでの加工時に意図的にレンズフォーカスをずらすことで，木材などの表面の一部を効率的に炭化させ，センサや回路として利用できる造形手法を提案している．各査読者が共通して，新規性／有用性／正確性ともに十分高いと評価した．一方，支援ツール等は実装されておらず，パラメータ設定等の性能面も一機種に限定され汎用性が不明瞭であるため，アイデアと制作例等を中心としたショート発表が適すると判定した．

'

&

(

!
#
ペイント可能なタイムラインによる対話的なハイパーパラメータ最適化 "ショート採録 $ ショート発表
樋口 啓太, 佐野 正太郎, 五十嵐 健夫 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113%&
機械学習のパラメータチューニングにペインティング手法を応用したシステムの提案で，シンプルなアイデアであるが他の新規性があり，また機械学習専門家による評価実験により有効性を示している．アルゴリズムに関する説明不足や，論文での不十分な記述を修正することを条件として，ショート採録と判定した．

'

(

!
#
液体噴霧混合式の味ディスプレイの試作 "ショート採録 $ ショート発表
宮下 芳明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121%&
すべての査読者が実装と潜在的な有用性を高く評価しており、4〜6 と採択を推すスコアをつけています。実際に発表をしていただいた際には、今後の評価や応用の発展の方向性について面白い議論が可能だと思います。

その一方で、評価とみなせる事項としては著者の過去の研究との比較があるだけで、評価実験や過去の関連研究がほとんど記載されていません。そのため、現段階の原稿に対する発表としては、ロング発表の時間は必要ないと判断しました。
そのため、採録条件のないショート採録という判定とします。
評価のないこの段階ではデモこそがとても輝く研究だと思いますので、ぜひ可能なレベルで実機を紹介していただけると大変有意義な発表になると思います。

'

!

#

UPLIGHT: 全周囲ディスプレイと携帯型ゲームデバイスの融合 "ショート採録 $ ショート発表
中村 俊勝, 加藤 達也, 伊藤 思音, 佐藤 俊樹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128%

本論文は，1 人のユーザを対象に，全周囲ディスプレイの見えない面を能動的に覗き込む行為のエンタテイメント性に着目したデバイス「UPLIGHT」を提案している．本デバイスのエンタテインメント性の議論が弱いという問題はあるものの，本デバイスのデザイン戦略には一定の新規性が認められる点を踏まえ，本論文はショート枠採録と判断する．

'

(
&
(

!
#
能動的音響計測に基づくスタイラスの把持状態識別手法の検討 "ショート採録 $ ショート発表
高倉 礼, 鈴木 健介, 國分 晴利, 志築 文太郎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135%&
本論文は，能動的音響計測をスタイラスに適用し，スタイラスの把持状態を識別する手法を提案しています．把持状態認
識結果に応じてタブレットの機能（鉛筆，筆，消しゴムなど）を切り替えることを狙っています．能動的音響計測を用いて物体の種類や形状，把持状態を認識する研究はこれまでにもありますが，スタイラスに適用し，スタイラスを 3D プリ
ントして充填率を変えるという着眼点には一定の新規性があると判断しました．また，評価実験からも実用的な精度が得られ，深い考察もなされていると判断しました．

'

vi

(

WISS 2021

SingDistVis: 多数の歌声から歌い方の傾向を可視化できるインタフェース
伊藤 貴之 ∗

中野 倫靖

深山 覚

濱崎 雅弘

後藤 真孝 †

1

はじめに大規模データの分布や傾向を理解するための情報可視化技術は従来から活発に研究されている．近年
では単に新しいデータ描画手段を開発するだけでな
く，可視化への要求やタスクの定義，またそのタスクを実現するためのシステムデザインやインタラク
ションデザイン，さらには可視化結果の可読性や視認性の評価なども重要な研究課題である．
そこで本論文では，大規模データの情報可視化の事例として，同一楽曲に対する多数の歌唱データである「同曲異唱コンテンツ」を対象に，歌い方の分
布や傾向を可視化するインタフェース SingDistVisを提案する．人々が自身の歌った既存曲の歌唱（動画）を動画共有サービスやソーシャルカラオケサー
ビス1 へ投稿した同曲異唱コンテンツは，オリジナ
ル曲の鑑賞の楽しみ方を拡張し，新たな好みのコン
テンツやアーティストの発見につながる [6]．さらに，歌唱における声質と歌い方はそれぞれ，歌手の個性や類似性を特徴づける重要な要素であることから [26]，同一曲に対する多様な声質と歌い方の大規模データの分析は，人の歌声知覚・生成や歌唱スタイ
ル等特性の違いを分析・理解する上でも重要である．
本論文では，歌唱における歌い方に着目し，音高として基本周波数（F0）推移の傾向・分布を可視化する．従来，大規模な楽曲データを対象として，そこから 1 曲を選択するために楽曲単位で可視化する
インタフェースは存在したが（例えば，[30, 6] 等），
曲の内容も含めた可視化は研究されてこなかった．
例えば，1 曲分の単独歌唱において F0 推移は折れ線で可視化されることが多いが，多数の F0 を単純に重ね合わせてしまうと図 1 のように違いや傾向を観察できず，また 1 曲を選び出すことは難しい．
「Overview+Detail」[3]
そこで SingDistVis では，
お茶の水女子大学†
産業技術総合研究所
1
ニコニコ動画，YouTube，Sing!カラオケ (Smule) 等．

∗

-1-

周波数

概要. 人々が自身の歌った動画を動画共有サービスへ投稿する機会が増え，同一楽曲を異なる人々がそれぞれ歌った「同曲異唱コンテンツ」を楽しむことができるようになった．このような歌唱群の傾向を理解す
る一手段として，歌い方としての基本周波数（F0）推移の分布をインタラクティブに可視化できる歌声情報可視化インタフェース SingDistVis を提案する．SingDistVis は，曲全体を時間-周波数平面上で概略的に可視化する Overview 機能と，その局所部分をズームアップして歌唱力とともに可視化する Detail 機能の組み合わせにより，F0 分布のマルチスケール可視化を実現する．本論文では，1,000 人の歌唱者による同曲異唱を可視化し，被験者実験による可視化パラメータの最適化と有効性評価を行った結果を報告する．

時間
図 1. 多数の F0 を単純に折れ線集合で表示すると，過密による Visual Cluttering 問題が発生する．

という可視化デザインに沿った，以下の 2 画面の構成によるマルチスケールな可視化を実現する．

Overview: 大域的な F0 分布をヒートマップで概略的に表現する画面（例：曲の 1 番を全て表示）．
Detail: 局所的な F0 分布を細かな粒度で可視化するために，折れ線の集合で表現する画面．歌唱力の違いも色の違いで可視化する．

SingDistVis の操作手順を図 2 に示す．ユーザは
まず Overview 画面から，F0 推移及びその各時刻での分散の 2 種類のヒートマップ表示を用いて，異なる音高で発声している歌唱者がいるフレーズや，F0が幅広く分散するフレーズが，楽曲の中でどのように存在しているかを観察する．続いて，特徴的な歌唱の発見等のため，Overview 画面で特定のフレー
ズを矩形領域として指定することで，Detail 画面でその F0 分布を折れ線集合として詳細に観察できる．
さらに Detail で特定の歌唱を指定すると，その F0
推移を Overview 上で重畳させて観察できる．
本論文は我々自身の先行発表 [27] をインタフェー
ス提案の観点からまとめ直している．歌唱力と F0推移に関する知見から要求定義を検討し，パラメー
タ決定と評価のための被験者実験を追加している．

2

関連研究

同曲異唱を扱う研究事例として，Hamasaki et al.
は，ニコニコ動画の歌ってみた動画を対象に，各歌唱の再生回数や男女度を可視化しながら，各歌唱を

WISS 2021
(1) Overview: 楽曲全体・歌唱声域全体にわたる概略的なF0分布を表示••

あえて異なる音高をとる歌唱者がいるフレーズの発見
幅広い周波数帯域に歌唱が分散するフレーズの発見※多くの歌唱者の音高に対応する音階名の表示※評価の高い（または低い）歌唱者群のF0の分散を赤・青のヒートマップで表示※評価の高い（または低い）
歌唱のF0の推移を
赤・青の折れ線で表示(3) 特定の歌唱者の楽曲全体のF0推移を表示(2) Detail: 数秒間の局所的なF0分布を表示••

微細なF0の分布の観察
歌唱評価とF0変化の関係の観察

図 2. SingDistVis のスナップショットおよび操作手順．(1) Overview：1 曲全体の F0 群と各時刻におけるその分散をヒートマップで可視化．(2) Detail：Overview で指定した矩形領域の F0 分布を，歌唱力の違い（赤＝高評価，
青＝低評価）とともに，折れ線の集合で可視化．(3) Detail で指定した F0 推移の Overview での重畳表示．

自動的につないで一つの楽曲としてリレー再生する Songrium RelayPlay を提案した [6]．都築らは，複数歌唱を同時再生して仮想的な合唱を制作できる
Unisoner を提案し，4,524 人の F0 を活用して F0推定精度を向上させる技術，F0 分布を局所的にヒートマップで可視化する機能も提案した [28]．また近藤及び著者らは，2,024 人の F0 に対し，ヒートマッ
プを用いた大域的な可視化を提案した [25]．
歌唱分析に F0 可視化を用いた研究事例として，
歌唱力向上等を目的として，単一歌唱の F0 推移の可視化は多く対象とされてきた（例えば，[7, 29, 16,
13, 19] 等）．ここで，F0 推移を音符単位にまとめ，音高の楽譜からのずれを色の違いで可視化する研究もある [15, 24]．また，歌唱スタイルの違いを可視化・識別することを目的として，可視化の次元（軸）を増やし，F0 と音量を 2 軸とした可視化 [11]，F0 とF0 差分を 2 軸とした可視化 [9] が報告されている．
これらの研究に対して SingDistVis では，数千人規模の F0 をマルチスケールで同時可視化する点で独自性を有する．近藤及び著者らの研究 [25] を拡張
し，Overview+Detail デザインを導入して，概略と詳細のインタラクティブな可視化を可能とする．

3

大規模 F0 データの可視化方策

歌唱の F0 推移は時系列データとして扱うことができる．K 個の標本が，それぞれ L 個の時刻 tl における実数値 pk (tl ) を有する場合，以下の 3 種類の可視化手法の適用が可能である．
1. 一方の座標軸を tl ，他方の座標軸を pk (tl ) とした折れ線グラフ [22, 18, 23] や散布図 [23]．

-2-2. 1. の折れ線や点群をその密度で表し，それを各画素の明度や色相に変換したヒートマップ．

3. 一方の座標軸を tl ，他方の座標軸を K 個の標
本番号 k とした上で，pk (tl ) を各画素の明度・色相で表現したヒートマップ [8, 17]，もしく
は線分の太さ [10] で表現する可視化手法．
このうち 1. の折れ線グラフや散布図では，Visual
Cluttering と呼ばれる視認性の低下が避けられない（図 1）．3. のヒートマップは，色の識別能力の限界

により数値を正確に読み取ることが難しく，他方，線分の太さの利用では描画に必要な画面サイズに限界があることから大規模データの可視化が難しい．
そこで，SingDistVis の Overview 画面には 2. の「密度のヒートマップ」を採用した．一方で Detail
画面には，微細な違いを視認しやすい 1. の「折れ線グラフ」を採用し，表示対象となる折れ線の本数を制御することで Visual Clutter の影響を抑える．
従来，時系列データの大局的及び局所的な時間変化に注視するマルチスケールな可視化としては，時系列データを同じ視覚表現で拡大縮小するか [4, 20]，
異なる時系列データを視覚表現を切り替えて組み合わせていた [5, 2]．これに対して SingDistVis では，同一の時系列データ（F0）に対して，異なる視覚表
現を適用して歌唱分布を表現した点に特徴がある．

4

SingDistVis の実装

前章での議論に従い，我々が開発した F0 分布の可視化手法の処理手順・操作手順を述べる．なお我々の先行発表 [27] では，より詳細な説明を含む．

SingDistVis: 多数の歌声から歌い方の傾向を可視化できるインタフェース
α=1.0, γ=0.2

α=1.0, γ=0.4

α=3.0, γ=0.2

α=3.0, γ=0.4

α=5.0, γ=0.2

Zthres=0.95

Zthres=0.99

図 4. Zthres の調節に対する折れ線の表示本数の変化．

から，以下のように求める．

前提となるデータ：F0 と歌唱評価結果

本論文では，K 個の歌唱で構成される集合 S において、その要素 sk を以下のように定義する．

S = {s1 , s2 , ..., sK }sk = {pk1 , pk2 , ..., pkL , ek }Iuv = 1.0 − (αruv )γ(1)

ここで L は標本化された時刻の総数であり，pkl は
k 番目の歌唱の l 番目の時刻における F0 の対数，ek
は k 番目の歌唱への評価値（5 章で説明）である．
無音部分の対数 F0 は，便宜上 pkl = 0 とした．
「Deこのようなデータを対象として，「Overview」
tail」の可視化ではそれぞれ以下のタスクを支援する．

Overview: 異なる音高で発声している歌唱のあるフレーズや，幅広い周波数帯域に分散して歌唱が分布するフレーズが，楽曲全体の中でどのように存在しているかを観察する．そして注目に値するフレーズの F0 分布を対話操作
によって指定し，Detail にて表示させる．

Detail: 楽曲中の数秒単位の短時間を対象として，歌唱間のの微小な F0 の差異や，その分布と歌唱評価との関係を観察する．そして注目に値する特定の歌唱者を対話操作によって指定
し，その歌唱者の楽曲全体にわたる F0 推移
を Overview にて表示させる．

4.2

Zthres=0.8

α=5.0, γ=0.4

図 3. α および γ の調節に対する可視化結果の変化．

4.1

Zthres=0.5

Overview: ヒートマップでの大域表示とイ
ンタラクション

Overview では F0 推移の密度分布をヒートマッ
プで表現する．時刻を横軸，周波数の対数を縦軸とした長方形領域を設定し，これを格子状に分割する．
時間方向は，歌唱の開始時刻および終了時刻を長方形領域の左右端に割り当てて N 個に分割する．また周波数領域の上限と下限を上下端にわりあて，これを M 個に分割する．分割してできた各領域を通過する F0 の個数を集計することで，2 次元ヒスト
グラムを生成し，これを M × N 画素のヒートマッ
プ画像として扱う．左から u 画素目，下から v 画素
目の明度 Iuv は，その画素に存在する pkl の個数 ruv

-3-

(2)

ただし α および γ はユーザが調節可能なパラメータとし，その違いによる見た目の変化を図 3 に示す．
α が大きいと ruv が大きい部位での明度が低く（＝黒が濃く）なり，γ が大きいと ruv が大きい画素と小さい画素のコントラストが大きくなる．
Overview ではさらに，各時刻における F0 の分散もヒートマップで表示する．ここでは，歌唱評価
ek の高い（低い）歌唱群の F0 の分散を赤（青）のヒートマップとした．これにより，「高評価な歌唱者が異なる歌い方をしているフレーズ」，「低評価な歌
唱者が音高を正しくとれない傾向があるフレーズ」などを発見しやすくなり，Detail で注目する矩形領域を決定する際の有力なヒントにもなる．
Overview には，時刻と F0 の範囲を示す矩形領
域を重ねて表示する．ユーザは，マウスポインタの移動とともにこの矩形領域を移動させ，興味がある領域でクリックすることで，後述する Detail において局所的で詳細な可視化を観察できる．

4.3

Detail: 折れ線集合での局所表示とインタラ
クション

Detail では Overview の矩形領域内部に対応する F0 推移を折れ線の集合で表現するが，前述した
Visual Cluttering を抑制するために，同時に描画する折れ線の本数を制御する．
サンプリングおよびクラスタリングの 2 種類に基づく本数制御を実装したが [27]，本論文ではサンプ
リングによる折れ線の本数制御のみを説明し，後述の実験でもこれのみを用いる．これは，各々の折れ線 pk に対して，ユーザ指定のタイミングで再計算できる一様乱数 zk (0.0 ≤ z ≤ 1.0) を割り当て，以下を満たす場合のみ描画する．
βek zk > Zthres(3)

ここで，βek は歌唱評価 ek に応じた係数，Zthres はGUI スライダーで調整する閾値であり，いずれもユーザが調節可能なパラメータである．例えば高（低）評価な pk のみを表示したい場合は，その βek

WISS 2021

(6)

(1)
(5)
(2)

(3)

(4)

図 5. Overview と 6 箇所の Detail 例．Detail では，歌唱評価 ek が高いほど赤く，低いほど青い折れ線で表示される．

が大きな値を取るように設定する．ek = 1 は歌っていない歌唱等に付与されたため，歌唱力が高い
ek = 5 と低い ek = 2 の F0 が強調されるように，
βek =2,5 = 1.0，βek =4 = 0.8，βek =1,3 = 0.5 とした．
さらに，折れ線の色と不透明度を ek に応じて変更 [27] することで，歌唱力の違いも可視化した（高いほど赤く，低いほど青い）．また，発声タイミン
グについても，F0 系列の開始と終了を強調した．
図 4 に，Zthres の値と折れ線の可視化結果を示す．
また，局所的な観察結果を大域表示と関連付けるために，Detail で特定の F0 推移をクリック操作で指定すると，Overview にも折れ線で重畳表示される．

5

SingDistVis の実行例

SingDistVis の実行結果を紹介する．著者らは本可視化手法を Java 1.12.0 および JOGL (Java binding for OpenGL) 2.3.2 で実装した．実行例には，DAMP (Let It Go Vocal Performances) [1] に収録された “Let It Go” を 231,278 人が歌った同曲異唱の無伴奏音響データから，1,000 人分を無作為抽出して適用した．これらの歌唱に対して pYIN [12]を用いて音響データから F0 を算出し，その相互相

関最大化によって歌唱間の時間ずれを補正した．
Overview 可視化の画素数は N = 1000, M =480 とし，対象となる周波数を 110Hz〜1760Hz（音階で A1 から A5）の 4 オクターブとした．
Detail で用いる歌唱力評価結果 ek は，1 人の評価
者が各歌唱を 5 段階のリッカート尺度に基づいて主観評価した結果とした．評価者は 12 年間ピアノの指導を受けた経験があり，対象楽曲（英語原曲）を必要に応じて聴取しながら，各歌唱 1 コーラス目のサビ直前からそのサビ終了までを聴取して評価した．

Overview: Detail 表示箇所の探索
楽曲全体を表す Overview と，矩形領域を移動させた 6 箇所の Detail 例を図 5 に示す．図上部のOverview では，F0 分布ヒートマップが黒いほど多5.1

くの歌唱者が同一音高で発声していることを示す．

-4-

ユーザは，Overview の下端に表示される赤と青のヒートマップ（高・低評価の F0 分散）も参考にしながら，Detail を表示する領域を決定する．例えば，分散が大きい箇所は「歌い方が異なる」「難しいので多くの人が間違える」可能性があり，歌唱力が高くて異なった歌い方をしている歌唱者や，重点的に練習すべき箇所の発見等につながると考える．

Detail: 歌唱評価 ek と F0 推移の詳細を観察
図 5(1)(2) は，いずれも音階が下降した後にロングトーンがある．図 5(1) は赤い折れ線が太い帯を形成しており，高評価な歌唱であっても F0 に幅があった．それに対して図 5(2) は，少数の高評価の歌
唱者が半音単位で異なる F0 で発声し，何人かの低評価の歌唱者がそれ以上に大きく F0 を外していた．
図 5(3)(4)(5) は，いずれも音階が大きく上下する

5.2

フレーズである．高評価な歌唱と低評価の歌唱とでは F0 の正確さが異なることが観察できた．また図5(5)(6) では図 5(1) と同様に，フレーズの末尾において，高評価な歌唱者であっても F0 に幅があった．

Detail と Overview の重畳表示
図 5(1) に示す Detail から，特定の折れ線をクリッ
クして，Overview にて重畳表示した例を図 6 に示す．
図 6(1) は図 5(1) 中で赤い折れ線が集中している

5.3

部分から抽出しており，楽曲全体にわたって正確なF0 で歌唱していた．高評価な歌唱の多くに同様な
F0 推移が見られた．それに対して少数ながら，図6(2) のように，多数の歌唱者とは異なる F0 推移を有しながらも高評価を得ている歌唱もあった．このような「多数の歌唱者と異なる F0 推移をとりながらも高評価な歌唱者」の例をいくつか聴取したところ，歌唱技法（ビブラート等）のスタイルや癖，タイミングのずれ，F0 誤推定，等の理由があった．
一方で低評価な歌唱の中には，多数の歌唱者 F0
推移に近い図 6(3) と，多数の歌唱者の F0 推移から大きく離れた図 6(4) が見られた．前者は F0 推移には表れない声質の問題（声が細い，舌足らず）や，

SingDistVis: 多数の歌声から歌い方の傾向を可視化できるインタフェース(1)

図 7. 質問 1(左) と質問 2(右) に対する回答分布．

(2)

(3)

(4)

図 8. 質問 3〜6 に対する回答分布．

図 6. 特定歌唱者の F0 推移の例．(1)(2) 高評価と，(3)(4) 低評価の歌唱例．また F0 推移が多数の歌唱者と (1)(3) 類似するか，(2)(4) 異なる歌唱例．

した．全パラメータ値の可視化を同時に呈示するため，また曲中の場所に応じた影響の考察につなげる
ため，80 秒分のヒートマップを無作為に切り出した
3 箇所とした. 3 箇所それぞれについて，20 通りの画像の中から以下の 2 つの質問に最も該当する画像
を J1 個選択してもらった（J1 = 3）．

声域の狭さ（高音部・低音部に難がある）等が原因
で，低評価につながったと考えられる．

6

実験：被験者主観評価

SingDistVis の可視化パラメータの選定と，可視化デザインの有効性を被験者実験により評価する．
条件統制のため，いずれの評価においても，被験者はインタフェース操作をせず，可視化結果の画像のみがディスプレイ上で呈示されて質問に回答した．
被験者は，ディスプレイによる閲覧が可能で色覚に不安がない，情報科学を専攻する学部学生 18 名であった．音楽経験は問わなかったが，実験前に可視化結果の見方を教示した．
6.1

可視化パラメータ値の選定

可視化結果の視認性向上には，適切なパラメータの設定が重要であることが知られている [23, 21, 14]．
本実験では，Overview におけるヒートマップの明度とコントラストに関する α 及び γ（式 (2)）と，Detail における折れ線の本数制御に関する Zthres（式 (3)）について，パラメータを振って生成した複数画像と質問を被験者に呈示する．後述の質問 1〜
6 と画像の組合せをランダムに呈示した．

6.1.1 Overview：ヒートマップパラメータ
Overview については，後述する図 7 に示す α とγ の組み合わせで 20 通りの画像を生成し，左から右へ α が増加する順，下から上へを γ が増加する順
で全てを同時に配置した 1 枚の画面を被験者に呈示-5-

質問 1: 歌唱の全体表示として回答者が最も使いたい可視化はどれか．
質問 2: ズームアップして確認したい部分を選ぶのに向いた可視化はどれか．

3 箇所の可視化結果に対する被験者の選択結果の集計値を図 7 に示す．この結果から α = 3.0, γ = 0.3
が良好なパラメータ値であると判断し，6.2 節での評価実験でもこの値を採用した．これらは全質問の
全 3 箇所中，常に最多か 2 番目の回答数であった．

6.1.2 Detail：折れ線の本数制御パラメータ
Detail については，後述する図 8 に示す Zthres の値によって，10 通りの画像を生成し，5 × 2 の配置
で左上から右下まで値が増加する順に配置した 1 枚の画面を被験者に呈示した．これを無作為に選んだ
曲中の 4 箇所について，以下の 4 つの質問に最も該当する画像を J2 個選択してもらった（J2 = 2）．

質問 3: 高評価な歌唱者は正確な音高で歌唱しているか，高評価だけどあえて音高をずらしている歌唱者がいるか，正確な音高なのに低評価な歌唱者がいるか，といった点を発見しやす
い可視化結果はどれか．
質問 4: 全体からずれた音高で歌唱している人が，意図的な歌唱技法として音高をずらしているのか，技量不足や練習不足により意図せずに音WISS 2021
5%

5%
5%

5%

0.1%

5%

5%

5%

5%

5%

5%
5%

7

5%

0.5%

0.1%

6
5
4
3
2
1

OH-DH

OL-DL OL-DH OH-DL
質問7
提案手法

OH-DH

OL-DL OL-DH OH-DL
提案手法
質問8*

OH-DH

OL-DL OL-DH OH-DL
提案手法
質問9

OH-DH

OL-DL OL-DH OH-DL
提案手法
質問10*

OH-DH

OL-DL OL-DH OH-DL
提案手法
質問11

図 9. ポジティブな質問 7,9,11 とネガティブな質問 8*,10*に対する回答分布と仮説検定の結果（数字は有意水準）．

高がずれているのか，といった点を議論しやすい可視化結果はどれか．
質問 5: 歌唱評価結果と音高の正確さを比較しながら分析しやすい可視化はどれか．
質問 6: 注目すべき歌唱者を適切に発見できそうな可視化はどれか．

0.5%
7
6
5
4
3
2
1

4 箇所の可視化結果に対する被験者の選択結果の集計値を図 8 に示す．6.2 節での評価実験では，全集計で最多であった Zthres = 0.95 を採用した．

OL

0.5%

5%

0.5%

5%

1%

OH
DL
質問12

DH

OL

OH

1%

0.1%

DL

DH

提案手法
質問13
（Overviewを用いるタスクを想定） （Detailを用いるタスクを想定）

ここで，特定の歌唱を全体傾向と比較する際（質問 3〜5）では，Zthres = 0.9 から 0.97 のいずれかが最多回答となり，選択箇所に応じて多少ばらつきがあった．また，特定の歌唱を発見する際（質問 6）
では，より折れ線数の少ない Zthres = 0.98 が好まれる傾向にあり，全 4 個所で常に最多の回答を得た．

6.2 可視化デザインの正当性評価
SingDistVis の Overview (O) と Detail (D) について，ヒートマップ (H) と折れ線（L）を用いて，視覚表現の組合せ方と個別の評価を実施する．後述の
質問 7〜13 と画像の組合せをランダムに呈示した．

6.2.1 組合せ方の評価
4 通りの組合せ OH-DH, OL-DL, OL-DH, OHDL（提案手法）を生成して比較した．被験者は，以下のポジティブもしくはネガティブ（*）な質問に，それぞれ 7 段階のリッカート尺度で回答した．
質問 7: 頻繁に使いたい
質問 8*: 不必要に複雑である
質問 9: 使いやすい
質問 10*: 使用するには技術的な支援が必要だ
質問 11: 大量の歌唱の同時可視化にふさわしい回答の分布をバイオリンプロットで図 9 に示す．また Wilcoxon の順位和検定を行い，帰無仮説が棄却されたペアを有意水準とともに図中に示す．
この図から，提案手法（OH-DL）は，ポジティブな質問 7,9,11 について他の組合せよりも数値が大きく，ネガティブな質問 8*,10*については数値が小さかった．例外として質問 8 については，OH-DH が高評価（最も低い中央値）であった．

-6-

図 10. 質問 12〜13 の回答分布と仮説検定結果．

6.2.2 個別の評価
OL, OH, DL, DH 4 種類の可視化を生成して比較した（OH と DL が提案手法）．
被験者は，以下の質問について 7 段階のリッカー
ト尺度で回答した．

質問 12: 多くの歌手が同じ音高で歌唱している部分を発見しやすい質問 13: 歌手によって歌い方の差が大きい部分を発見しやすい

回答の分布をバイオリンプロットで，図 10 に示す．
また前項と同様，Wilcoxon の順位和検定の結果も示す．質問 12 は Overview を用いるタスクを想定した質問であり，提案手法（OH）が高評価を得た．
DL も高評価となったが，追加ヒアリングの結果，折れ線の密度で判断しやすいとの回答が多かった．
質問 13 は Detail を用いるタスクを想定した質問であり，これも提案手法（DL）が高評価を得た．

7

まとめ・今後の課題

本報告では大規模な同曲異唱コンテンツの F0 分
布を「Overview+Detail」という可視化デザインに基づいて探索的に可視化する手法を提案し，その実行例と被験者主観評価結果を示した．今後の課題として，6.1 節で選定した可視化パラメータ値の一般化（異なるデータ数への適用等）や，インタフェース操
作に関する評価実験を進めたい．またさらに，先行発表 [27] にも述べた通り，歌唱データ処理の改善，
歌唱支援の実用シナリオに沿った可視化手法の拡張，歌唱以外のデータへの適用も検討していきたい．

参考文献

SingDistVis: 多数の歌声から歌い方の傾向を可視化できるインタフェース[12] M. Matthias and S. Dixon. pYIN: A fundamental frequency estimator using probabilistic
threshold distributions. In Proc. IEEE International Conference on Acoustics, Speech, andSignal Processing (ICASSP 2014), pp. 659–663,
2014.
[13] O. Mayor, J. Bonada, and A. Loscos. Performance Analysis and Scoring of the Singing
Voice. In Proc. AES 35th International Conference, pp. 1–7, 2009.
[14] L. Micallef, G. Palmas, A. Oulasvirta, and
T. Weinkauf. Towards Perceptual Optimization of the Visual Design of Scatterplots. IEEE
Trans. on Visualization and Computer Graphics, 23(6):1588–1599, 2017.

[1] WELCOME TO STANFORD’S DAMP: Stanford Digital Archive of Mobile Performances, arepository of geo-tagged mobile performances
to facilitate the research of amateur practices.
https://ccrma.stanford.edu/damp/.
[2] P. André, M. L. Wilson, A. Russell, D. A. Smith,
A. Owens, and M. C. Schraefel. Continuum:
Designing Timelines for Hierarchies, Relationships and Scale. In Proc. ACM Symposium on
User Interface Software and Technology (UIST2007), pp. 101–110, 2007.
[3] A. Cockburn, A. Karlson, and B. B. Bederson.
A review of overview+detail, zooming, and focus+context interfaces. ACM Computing Surveys, 41(2):1–31, 2009.

[15] F. Moschos, A. Georgaki, and G. Kouroupetroglou. FONASKEIN: An Interactive Software Application for the Practice of the Singing
Voice. In Proc. Sound and Music Computing
Conference (SMC) 2016, pp. 326–331, 2016.

[4] E. Cuenca, A. Sallaberry, F. Y. Wang, and
P. Poncelet. MultiStream: A Multiresolution
Streamgraph Approach to Explore HierarchicalTime Series. IEEE Trans. on Visualization andComputer Graphics, 24(12):3160–3173, 2018.

[16] T. Nakano, M. Goto, and Y. Hiraga.
MiruSinger: A Singing Skill Visualization Interface Using Real-Time Feedback and Music CD
Recordings as Referential Data. In Proc. IEEE
International Symposium on Multimedia (ISM
2007) Workshops, pp. 75–76, 2007.

[5] M. Goto, K. Yoshii, H. Fujihara, M. Mauch,and T. Nakano. Songle: A Web Ssevice for
Active Music Listening Improved by User Contributions. In Proc. 12th International Society for Music Information Retrieval Conference(ISMIR 2011), pp. 311–316, 2011.

[17] G. Oliveira, J. Comba, R. Torchelsen,
M. Padilha, and C. Silva. Visualizing Running
Races through the Multivariate Time-Seriesof Multiple Runners. In Proc. Conference on
Graphics, Patterns and Images (SIBGRAPI2018), pp. 99–106, 2013.

[6] M. Hamasaki, K. Ishida, T. Nakano, and
M. Goto. Songrium RelayPlay: A Web-based
Listening Interface for Continuously Playing
User-generated Music Videos of the Same Songwith Different Singers. In Proc. International
Computer Music Conference (ICMC 2020), pp.
1–4, 2020.

[18] C. Perin, F. Vernier, and J.-D. Fekete. Interactive Horizon Graphs: Improving the Compact
Visualization of Multiple Time Series. In Proc.
ACM CHI Conference on Human Factors in
Computing Systems (CHI ’13), pp. 3217–3226,
2013.
[19] M. Shiraishi, K. Ogasawara, and T. Kitahara.
HamoKara: A System that Enables Amateur
Singers to Practice Backing Vocals for Karaoke.
Journal of Information Processing, 27:683–692,
2019.
[20] K. Sjölander and J. Beskow. Wavesurfer - AnOpen Source Speech Tool. In Proc. International Conference on Spoken Language Processing (ICSLP 2000), pp. 464–467, 2000.

[7] D. Hoppe, M. Sadakata, and P. Desain. Development of Real-time Visual Feedback Assistancein Singing Training: A Review. Journal of computer assisted learning, 22(12):308–316, 2006.
[8] M. Imoto and T. Itoh. A 3D Visualization Technique for Large Scale Time-Varying Data. In
Proc. International Conference on Infomation
Visualisation (IV10), pp. 17–22, 2010.
[9] T. Kako, Y. Ohishi, H. Kameoka, K. Kashino,
and K. Takeda. Automatic Identification forSinging Style Based on Sung Melodic Contour
Characterized in Phase Plane. In Proc. 10th International Society for Music Information Retrieval Conference (ISMIR 2009), pp. 393–398,
2009.
[10] M. Krstajic, E. Bertini, and D. A. Keim. CloudLines: Compact Display of Event Episodes inMultiple Time-Series. IEEE Trans. on Visualization and Computer Graphics, 17(12):2432–
2439, 2011.

[21] S. Smart and D. A. Szafir. Measuring the Separability of Shape, Size, and Color in Scatterplots. In Proc. ACM CHI Conference on Human Factors in Computing Systems (CHI ’19),
pp. 669:1–14.
[22] Y. Uchida and T. Itoh.
A Visualizationand Level-of-Detail Control Techniquefor Large
Scale Time Series Data. In Proc. 13th International Conference on Information Visualisation(IV09), pp. 80–85, 2009.

[11] K. W. E. Lin, H. Anderson, N. Agus, C. So, and
S. Lui. Visualising Singing Style Under Common Musical Events Using Pitch-Dynamics Trajectories and Modified TRACLUS Clustering.
In Proc. 13th International Conference on Machine Learning and Applications (ICMLA’14),
pp. 237–242, 2014.

[23] Y. Wang, F. Han, L. Zhu, O. Deussen, and
B. Chen. Line Graph or Scatter Plot? Automatic Selection of Methods for Visualizing-7-

WISS 2021

Trends in Time Series. IEEE Trans. on Visualization and Computer Graphics, 24(2):1141–
1154, 2018.
[24] C. Weiβ, S. J. Schlecht, S. Rosenzweig, andM. Muller.
Towards Measuring Intonation
Quality of Choir Recordings: A Case Study on
Bruckner’s Locus Iste. In Proc. 20th International Society for Music Information Retrieval
Conference (ISMIR 2019), pp. 276–283, 2019.

[25] 近藤 芽衣, 伊藤 貴之, 中野 倫靖, 深山 覚, 濱崎
雅弘, 後藤 真孝. 同一楽曲に対する多数の歌唱と正解歌唱の音高推移分布の可視化. 情報処理学会
インタラクション 2021 (インタラクティブ発表),
pp. 745–750, 2021.
[26] 齋藤 毅, 榊原 健一. 物真似歌唱の音響特徴とその知覚への影響の調査. 日本音響学会 秋季研究
発表会 講演論文集, 2011, pp. 571–574, 2011.

[27] 伊藤 貴之, 中野 倫靖, 深山 覚, 濱崎 雅弘, 後藤
真孝. 同一楽曲に対する多数の歌唱の基本周波数
分布のマルチスケール可視化. 情報処理学会 研
究報告 音楽情報科学 (MUS), 2021–MUS–132–5,
pp. 1–8, 2021.

[28] 都築 圭太, 中野 倫靖, 後藤 真孝, 山田 武志, 牧野
昭二. Unisoner：様々な歌手が同一楽曲を歌った
Web 上の多様な歌声を活用する合唱制作支援インタフェース. 情報処理学会論文誌, 56(12):2370–
2383, 2015.

[29] 平井 重行, 片寄 晴弘, 井口 征士. 歌の調子外れに対する治療支援システム. 電子情報通信学会論文誌, J84-D-II(9):1933–1941, 2001.

[30] 魚田 知美, 伊藤 貴之. GRAPE: グラデーション
画像による ポータブルビジュアルプレイリスト.
第 41 回可視化情報シンポジウム講演論文集, pp.
299–304, 2013.

未来ビジョン

本論文が提案する SingDistVis は，大規模な同曲異唱データの中から特徴的な歌唱を対話的に発見する新しいインタフェースである．
本論文ではその研究の初期段階として，インタ
フェースの根幹となる可視化手法を示し，ユー
ザ評価実験によりその可視化デザインの妥当性を検証した．一方で，現状では，同曲異唱
データにおける F0 の分布を概観し，特徴的な
F0 推移を有する歌唱を発見するための汎用的な手法を開発した段階であり，今後は歌唱支援のための具体的なタスクを想定した拡張が重要であると考える．
本研究が目指す未来の一つとして，多数の歌唱者の中から自分がお手本としたい歌唱者・歌唱技法を探すことで多様な歌唱技法を理解し，その結果として発見した歌唱にならうことで歌唱力を向上させる，という一連のタスクを支援するインタフェースとしての拡張が考えら-8-れる．あるいは，同一楽曲を反復練習した過程を可視化することで，反復練習によってどのフレーズにおいて歌唱者がどの程度上達したか，
あるいはどのフレーズにおいてなかなか上達していないか，といった点を理解することも可能となる．
さらに大きなビジョンとして，本研究の概念を拡張することで，歌唱に限らず多くのパフォーマンス（例えば楽器演奏，ダンス，スポーツなど）において，お手本としたい「自分だけの先生」の発見，あるいは各自の上達過程の観察などを可視化によって支援するフレームワークを提案し，「レッスン支援可視化(LessonVis)」という研究ジャンルを確立した
い．多様なパフォーマンスに取り組むユーザが各自のパフォーマンスをビジュアルに理解し，着実な上達につなげることで，パフォーマンス
の楽しみ・夢・充実感をさらに向上させる，という環境を提供することが本研究の未来ビジョンである．

ダンスフォーメーション作成のための候補提示型インタフェース
遠藤 輝貴 ∗

盧 承鐸 ∗

中島 一崇 ∗楊 溪∗

WISS 2021

五十嵐 健夫 ∗概要. 集団でのダンス作品において複数人で構成されるフォーメーションや移動は重要な要素であり，振付師は紙に図を書いて様々な案を検討したり説明したりするが，静的な図ではその理解が難しい．解決策としてフォーメーションや移動を可視化するアニメーションを生成することが挙げられるものの，各ダンサーの動きを一つ一つ指定するには時間と手間がかかってしまう．そこで本研究では，ダンスのフォーメー
ションや移動経路を効率的に設計するための「候補提示型」ユーザインタフェースを提案する．具体的には，ユーザが少数のダンサーの移動経路を入力すると，本システムは残りのダンサーの移動経路をルールベースで複数予測する．これらの候補は計算された優先度の高いものから順にサムネイル形式で提示され，ユー
ザはその中から一つを選択することで残りのダンサーの経路をまとめて生成する．本研究では 4 人の参加者に対してユーザテストを実施し，提案システムがフォーメーション移動の作成に役立つことを確認した．

1

はじめに

複数人でのダンスパフォーマンスにおいて，フォー
メーションやその移動は観客を惹きつけるのに重要である．ダンス作品を作る振付師はフォーメーショ
ンや移動を紙に書いて考えることが多いが，紙に書かれた静的な図だけでは各ダンサーがいつ，どのよ
うに動くかの理解が難しい．その結果，振付師は各ダンサーの動きを把握しきれず，ダンサー同士の衝突などを含んだ移動を作ってしまう可能性がある．
また，紙の図だけでは作った移動を各ダンサーに説明することも難しく，全員が移動を理解するために何度も練習をする必要がある．
この問題の解決策として，フォーメーションや移動のアニメーションを作るということが挙げられる．
移動をアニメーションで可視化することにより，振付師やダンサーが移動の仕方を理解することが容易になり，ダンサー同士の衝突の有無も視覚的に確認できるようになる．このような移動アニメーションの作成をするためのアプリケーション [1, 18, 19]や研究 [7, 17] はいくつか存在するが，それらは基本的にユーザが移動を一つ一つ作っていく必要がある．ChoreoGraphics [16] ではダンサーの移動経路を一括で生成できる機能があるが，生成できる移動は単純なものに限られており，さらに移動のルール
をユーザが明示的に指定する必要があった．
そこで我々はダンスのフォーメーションや移動の作成を支援するための，候補提示型インタフェースを備えたシステムを提案する．本システムでは，ユーザはまず移動前後のフォーメーションを指定し，少数のダンサーの移動経路を作成する．すると本シス
テムはヒューリスティックなルールに基づき，移動∗

Copyright is held by the author(s).
東京大学

-9-

前後の位置の対応関係とその間の移動経路を自動で予測する．ユーザの入力に曖昧性があることを考慮して，本システムは移動の候補を複数予測し，それらをサムネイル形式のリストにしてユーザに提示する．ユーザはその中から一つを選択することで，全体のフォーメーション移動をまとめて作成できる．
本システムに備えられた候補提示型のインタフ
ェースには以下の利点がある．まず，ユーザはシス
テムが提示した移動の候補を選択するだけで簡単に全体の移動を作成できる．これは移動するダンサーの数が多くなった時に特に有効である．次に，本シ
ステムはユーザが描いた経路から残りのダンサーの移動経路を自動で予測する．そのため，候補生成のためにユーザが追加で操作を行う必要はなく，簡単に利用できる．また，本システムは複数の移動候補を生成して提示するため，ユーザである振付師の意
図していなかった移動も提示される可能性がある．
このことは振付師が今まで思いつかなかった新しい
移動のアイデアを得るのに役立つ．最後に，本シス
テムは単に移動の候補をユーザに提示するだけであり，その候補を採用することをユーザに強制しない．
そのためシステムがユーザの自由な制作を妨げることはなく，ユーザは必要な時だけ提示された候補を使うことができる．
提案システムの評価のため，4 人の振り付け経験者に対してユーザテストを行い，本システムを用いてフォーメーションや移動を作成してもらった．実験で作られた移動経路のうち約 63%は本システムによって提示されたものであり，さらに参加者から移動のアニメーションを簡単に作成できて便利だという回答を得られたことから，本システムの有効性，有用性を確認した．
なお，本稿は国際会議で採択された内容 [2] をより詳細に記述したものである．

WISS 2021

2
2.1

関連研究

E

ダンスフォーメーション作成

D
G

グループダンスのフォーメーションとその移動を作成するためのアプリケーション [1, 18, 19] や研究 [7, 17] はいくつか存在するが，これらはユーザ
が各ダンサーの位置や移動経路を一つ一つ指定する必要があり，特にダンサーの人数が増えると作成に手間がかかる．ChoreoGraphics [16] ではユーザが移動前後のフォーメーションを作成してその間の移動ルールを指定すると，各ダンサーの移動経路をまとめて作成できる機能がある．ただしどの移動ルールを使用するかはユーザが明示的に指定する必要があり，ルールの種類も限られていて直線的な移動しか作成できない．一方で Lee と Lee [8] はダンスのフォーメーションと移動を全て自動で生成するシス
テムを提案・開発しているが，このシステムではユー
ザが移動を直接制御することはできない．我々のシステムではユーザが自由に移動経路を作成でき，候補の提示によりその作成を支援することを目的としている．ユーザは少数のダンサーの移動経路を作成するだけでシステムが残りのダンサーの経路を自動で予測して作成するため，移動のルールを指定しなくても簡単に移動経路を作成できる．また本システ
ムは移動の候補を一度に複数生成するため，ユーザの意図していない移動候補も提示される可能性があり，新しい移動のアイデアを得ることにも役立つ．
また，集団の動きを制御するための研究はクラウ
ドシミュレーションの分野でも行われている [3, 4,
6, 9, 15, 20]．これらの研究は大人数の集団の全体的な動きを制御することに主眼が置かれているが，我々が扱うダンスのフォーメーション作成では比較的少ない人数を対象とし，各ダンサーの移動を個別に，より精細に制御することを目的としている．

2.2

候補提示型インタフェース

候補提示型インタフェースとはユーザから与えられたヒントをもとにユーザの望む操作を予測して複数の候補を生成しユーザに提示するインタフェース
である．これは Igarashi と Hughes [5] によって提案され，2D [13] や 3D [5] の図形描画，グラフィッ
クデザイン [14]，家具の配置 [10] などに応用されている．これらのシステムはユーザに複数の候補をサ
ムネイル形式で提示するため，ユーザはその中から望みの候補や自分では考えつかないような候補を簡単に見つけることができるという特長があり，本システムでもこの候補提示型の手法を採用している．

3
3.1

提案システムのインタフェース
フォーメーションの作成

HF

図 1. Drawing モードの UI．(a) シーンリスト．(b)モード切り替えボタン．(c) メインキャンバス．(d)ツールボタン．(e) ダンサー数変更ステッパー．

れぞれのフォーメーションを別々のシーンに分けており，ユーザは各シーンに対してダンサーの位置を配置してフォーメーションを作成する．それぞれのシーンはダンスのステージを上から見た図となって
おり，シーン上にある実線の丸は現在のシーンでのダンサーの位置を，点線の丸は 1 つ前のシーンでの位置を表す．なお，現在のシステムではダンサーの向きについては考慮していない．ユーザは左のシーンリスト（図 1a）から編集するシーンを選び，上部のボタン（図 1b）で Select，Drawing，Path の 3
種類のモードを切り替えて，真ん中のメインキャン
バス（図 1c）でシーンを編集していく．
まず，ユーザは Drawing モードでダンサーを配置していく．ここでは，前後のシーンでのダンサーの位置の間に関係はなく，ユーザは位置の対応関係を意識する必要はない．このような実装としたのは，振付師が作品を作る際に移動前後のフォーメーションは決まっているがその間の対応関係や移動を決めていないという場合があり，そのような場合でもシス
テムを利用できるようにするためである．Drawing
モードには図 1d に示すツールボタンがあり，Point
ツールではクリックした位置にダンサーを一つ一つ配置できる．Add Line ツールではドラッグによって直線を引き，新たなダンサーの位置をその直線上に等間隔に配置することができる．描いた直線は MoveLine ツールで位置や長さを変更でき，また図 1e に示
すステッパーで直線上に配置するダンサーの数の変更も可能である．同様に，Add Circle，Move Circle
ツールを使うとドラッグによって楕円を描き，その上に等間隔に新たなダンサーの位置を配置できる．
また，Select モードでは既に配置したダンサーの位置をドラッグにより個別に動かして微調整ができる．

3.2

移動経路の作成

ダンサーの位置を配置して移動前後のフォーメーションを作成したら，ユーザは Path モードに切り本システムのインタフェースを図 1 に示す．本シ
ステムでは PowerPoint [11] のスライドのようにそ- 10 -

ダンスフォーメーション作成のための候補提示型インタフェース
D

D

E

G
H

E

F
F

図 2. Path モードの UI．(a) ツールボタン．(b) 候補
リスト．(c) シークバー．(d) 移動カウント指定用
ステッパー．(e) アニメーション再生ボタン．

替えて間の移動を作成する．このモードでは点線の丸で示される 1 つ前の位置から実線の丸で示される
現在の位置への各ダンサーの移動を編集する．Path
モードの UI は図 2 のようになっており，上部にツールボタン（図 2a），右側に候補リスト（図 2b），下部にシークバー（図 2c）が表示される．
ユーザは以下の手順で移動経路を作成する．まず，シークバーの端にあるステッパー（図 2d）で移動の開始と終了のカウントを指定する．カウントとはダ
ンスにおける音楽の拍を意味し，現在のシステムでは 1 カウントが 0.5 秒に対応している．ダンサーは
8 カウントを 1 つの単位として扱うことが多いため，
デフォルトでは移動にかかるカウント数を 8 としている．ユーザは次にダンサーの移動経路を描く．図
3a のようにユーザが 1 つ前の位置の中の 1 つから
現在の位置の中の 1 つまでドラッグすると，描いた軌跡をシステムが記録して図 3b のように経路を作成する．経路は 1 カウント毎に頂点を持つ折れ線で表され，識別のために経路毎に別の色がついている．
また，折れ線の頂点は端の頂点に近ければその頂点に自動で重なるようになっており，これによって移動開始や終了のタイミングをずらすことができる．
経路の作成後に図 2e の Play ボタンを押すと，移動のアニメーションが再生される．このアニメーショ
ンでは各ダンサーは 1 カウント毎に今いる頂点から次の頂点へと折れ線上を移動する．また，経路上の頂点の位置はドラッグによる微調整が可能である．
以上のようにしてユーザは移動経路を作成することができるが，この方法でダンサー全員の経路を作成するのは時間と手間がかかる．その代わりに，本シ
ステムではコンピュータに経路を予測させることで複数ダンサーの経路をまとめて作ることを可能にしている．これを行うためには，ユーザはまず移動前後で同じ数だけのダンサーの位置を選択する．システ
ムはここで選択された位置に対して経路の予測を行う．図 2a に示す Select Previous，Select Current- 11 -

図 3. 本システムにおける移動経路作成の様子．(a) ユー
ザはドラッグでダンサーの移動経路を描く．(b) シ
ステムはドラッグの軌跡から経路を作成する．(c)システムによって提示された候補を選択するとその候補の移動がメインキャンバスに反映される．

ツールを使うと，それぞれ移動前，後のダンサーの位置の選択と解除をクリックで切り替えられる．選択された位置には 0 から始まる連続した番号がつけられるが，この番号が移動前後の位置の対応関係を表している訳ではなく，対応関係は番号順と関係なくシステムが自動で計算する．候補生成時に番号の順に位置を対応させる特別な場合もあるが，それについては第 4.2 節で述べる．なお，初期状態では配置された全てのダンサーの位置が選択されており，全員分の移動をまとめて作る場合は新たに位置を選択する必要はない．
その後，選択された位置の中の 1 つまたは複数に対してユーザが移動経路を描くと，システムは選択された残りの位置に対して移動経路を予測する．本
システムの経路予測は 2 段階で行われ，まず最初に移動前後の位置の対応関係を計算し，次にダンサーが移動前の位置から対応する移動後の位置へと動く軌道を計算する．システムは移動の候補を複数生成し，図 3c のようにサムネイル形式のリストで提示する．これらの候補はアニメーションで動かすこともできるため，ユーザは各候補の移動の仕方を視覚的に確認できる．最後にユーザはこれらの候補から1 つを選択することでその候補をメインキャンバスに反映し，移動の作成を完了する（図 3c）．ここで，システムによって予測された経路はユーザが描いた経路よりも色が薄くなっており，この経路が未確定であることを表している．ユーザがメインキャンバ
ス上で経路を編集すると，システムは未確定の経路に対して予測を更新し，新たな候補を生成する．例
えば図 4a ではオレンジ色の経路がユーザの描いた

WISS 2021
D 0DLQFDQYDV

6XJJHVWLRQOLVW

E 0DLQFDQYDV

6XJJHVWLRQOLVW

図 5. R1 による候補生成例．青い上三角が f (pi )，緑の下三角が g(qi ) を表し，紫の線が最小マッチング
m を，オレンジの矢印が作成された経路を表す．

図 4. 移動経路修正の様子．(a) ユーザがオレンジの経路を編集すると右側のリスト中で残りの未確定の経路に対する予測が更新される．(b) ユーザが紫の経路を編集すると経路が確定し，右側のリストで予測が更新されなくなる．

経路，残りの経路がシステムによって予測された経路であり，ユーザがオレンジの経路を編集するとそれに合わせて右側の提示候補も更新されている．図4b のようにユーザが未確定である紫色の経路を編集するとその経路は確定状態となり，予測の中で紫の経路は変更されなくなる．

4
4.1

候補生成アルゴリズム
アルゴリズムの概要

本システムはユーザが描いた経路を入力として受け取り，残りのダンサーの移動経路を予測してユー
ザに提示する．システムが経路を予測する際はまず移動前後のダンサーの位置の対応関係を計算し，次いで移動前の位置から対応する移動後の位置へと移動する軌道を計算する．経路の予測は互いに独立な
5 つのヒューリスティックなルールを用いて行われ，各ルールによって 1 つまたは複数の候補が生成される．最後にシステムは生成した候補を整理してサム
ネイル形式のリストとしてユーザに提示する．

4.2

ヒューリスティックルール

本システムでは R1 から R5 の 5 つのヒューリス
ティックなルールを用いて移動経路を予測している．
各ルールはそれぞれ異なる移動の仕方を想定しており，それぞれの想定に従ってダンサーの移動前および移動後の位置を変換し，変換後の位置の間の距離の 2 乗和を最小にするマッチングを求める．その後，マッチング結果に基づいて軌道を求める．以降
では経路を予測するダンサーの数を N ，番号 i の移動前の位置を pi ，移動後の位置を qi とし，それぞれの変換後の位置を f (pi )，g(qi ) とする．さらにσ : {0, . . . , N − 1} → {0, . . . , N − 1} を pσ(i) からqi への移動を表すマッチングとすると，各ルールが計算する最小マッチング m はコスト関数を d(p, q) =|p − q|2 として

m = arg min
σ

N
−1
!
i=0

"
#
d f (pσ(i) ), g(qi )(1)- 12 -と表せる．コスト関数に距離の 2 乗を使うと単純な距離を使うよりもマッチング中の最大移動距離を小さくでき，1 人のダンサーのみが長い距離を動くよ
うな移動を防ぐことができる．なお，実装では最小コストマッチングの計算はハンガリアン法 [12] を用いて効率的に求めており，各候補は対話的な操作に差し支えない速度で生成できる．
R1（図 5）は 5 つの中で最も単純なルールであり，各ダンサーの移動コストの総和が最小になるように
f (pi ) = pi , g(qi ) = qi としてマッチングを求める．
次にシステムは求めたマッチング m を用いて，各i = 0, . . . , N − 1 に対して pm(i) から qi への経路を直線で作成する．R1 だけはユーザの描いた経路を使用していないため，ユーザが経路を 1 つも描いていない場合でも候補を生成できる．
R2 から R4（図 6）はユーザが描いた経路を使用して候補を生成する．もしユーザが複数の経路を描いた場合，システムはそれらの経路を 1 つずつ選び，各経路に対して候補を生成する．このとき f (pi ) = piであり，g(qi ) についてはユーザが描いた経路を残りの移動後の位置に対してコピーし，図 6 のオレン
ジ色の点線の矢印のように経路の終点が移動後の位置に重なるようにした時のコピーした経路の始点となる．システムはマッチングを求めた後，最初にコピーした経路を回転・拡大・移動することで，経路の始点と終点が移動前と移動後の点に一致するように変換する．以上のようにして，R2 から R4 はユー
ザが描いた経路の 1 つ 1 つに対して 1 つの候補を生成する．
R2（図 6a）の場合はユーザが描いた経路の始点と終点をそれぞれ pu ，qu として

g(qi ) = qi − (qu − pu )(2)となる．これは直感的にはダンサー全員が同じ方向に移動することを想定しており，g(qi ) はユーザが描いた経路をそのまま平行移動して残りの移動後の位置にコピーした時の始点に対応する．R3（図 6b）はダンサーの位置の中心を通り水平または垂直な軸に対して対称的な移動をすることを想定しており，ユーザが描いた経路をそのまま平行移動するか，軸を跨ぐ場合は反転してそれぞれの移動後の位置にコピーする．ダンサーの位置の中心 c は全ての pi とダンスフォーメーション作成のための候補提示型インタフェース(a) R2．同一方向への移動を想定する．

図 7. R5 による候補生成例．オレンジの点線が C を表す．その他は図 5，6 と同様．

はユーザが p0 から q0 への経路を描いたときのみ，
候補を 1 つ生成する．R5 の場合はダンサーの位置のマッチングは番号によって既に決まっているが，それでもシステムは 4.4 節で述べる候補整理のためにマッチングコストに相当するものを求める必要があ
る．この場合は g(qi ) = qi とし，f (pi ) は折れ線 C上にあって以下の式を満たすものとして求める．

(b) R3．黒い太線の軸を対称とした移動を想定する．

(c) R4．黒い × 印を中心とした回転移動を想定する．
図 6. R2 から R4 による候補生成例．赤い矢印がユー
ザの描いた経路を，左側のオレンジの点線の矢印がその経路のコピーを表す．その他は図 5 と同様．

qi の平均を取ることで得られ，この点を通る軸を "とし，" に関して pu ，qu と対称な点をそれぞれ p"u ，qu" とすると，g(qi ) は qi と qu が " に関して同じ側のとき (3)，反対側のとき (4) となる．
$
qi − (qu − pu )(3)g(qi ) =""(4)
qi − (qu − pu )R4（図 6c）はダンサーが中心 c の周りを回転する
ような移動を想定しており，ユーザが描いた経路を
c の周りに回転，拡大して移動後の各位置にコピーする．このとき g(qi ) はg(qi ) = kR(pu − c) + c(5)と表される．拡大係数 k と回転行列 R は以下の式から求められる．

k=|qi − c|,|qu − c|qi − c = kR(qu − c).

(6)

以上の 4 つのルールはダンサーの位置に振られた番号の順と関係なくマッチングを求めるので，例えば
図 6c のように 2 番目の移動前位置から 0 番目の移動後位置へ移動することも可能である．
一方，R5（図 7）は各位置に振られた番号の順に一列になって動くような移動を想定するので，移動前後で位置の番号は同じになる．この場合，p0 からq0 へと動くダンサーが列の先頭になるので，ユーザはこの先頭のダンサーの移動経路を描く．するとシ
ステムはこの経路の後ろに，番号順に並んだ pi をつなげることで折れ線 C を作り，C を残りのダンサーの移動経路とする．ただし，経路の終点だけは C 上
でなく各 qi に重なるようにする．このように，R5

f (p0 ) = q0 ,(7)(8)
|f (pi ) − f (pi−1 )| = |qi − qi−1 |.
"#マッチングコストは d f (pi ), g(qi ) の総和とする．
4.3

移動タイミングの予測

4.4

候補の整理

システムはこれらの 5 つのルールで生成された経路に対し，各ダンサーの移動開始や終了のタイミン
グも同時に予測する．ユーザは移動経路描画後，タイムカウントを表す経路上の頂点の場所を変更する
ことで，移動の開始や終了のタイミングを設定することができる．システムは移動カウントが指定された経路をもとに，残りの経路の移動カウントを予測する．移動カウントの指定された経路が 1 本の場合には，そのカウントがそのまますべての経路に適用される．カウントの指定された経路が複数ある場合，移動後の位置の番号 i から移動カウント ci を計算す
る一次関数 ci = ai + b を，指定されたカウントを使った最小二乗線形回帰によって求め，番号 i の位置の移動カウントを ai + b に最も近い整数とする．
例えば図 8a ではユーザが 0 番と 1 番のダンサーの経路を描いており，移動開始はどちらも 1 カウント
目で，移動終了はそれぞれ 2，3 カウント目としている．システムはこれをもとに残りの i 番目のダンサーに対して移動開始が 1 カウント目，移動終了が(i + 2) カウント目であると予測し，経路を生成する．
あまりにも多くの候補を提示されるとユーザが困惑してしまうため，システムは最後に各ルールによって生成された候補を整理する．まず候補の中で同じ移動の仕方を生成しているものを 1 つにまとめ，その重複度が高い順に候補を並び替える．重複度が同じ候補については，計算したマッチングコストが小さい方をより高い順位とする．その後順位が高い 5
つの候補をリストにし，ユーザに提示する．

- 13 -WISS 2021
D

E

D

E

図 8. 移動タイミングの予測例．矢印の色の意味は図 6と同様であり，1 カウント毎に通過する点を丸い頂点で示している．(a) ユーザの描いた経路．(b) シ
ステムが (a) をもとに予測した経路．

55.1

図 9. ユーザテストで用いた課題作品．(a) 課題 A．(b)
課題 B．

ユーザテスト
実験手順

本システムの有効性と有用性を調べるため，P1 から P4 の 4 人の参加者に対してユーザテストを行った．参加者は全員が 10 人から 30 人程度で踊るダンス
作品の制作経験を持ち，実験前のアンケートでは P2と P4 は主に紙を，P1 と P3 は紙と PowerPoint [11]などのアプリケーションを利用してフォーメーショ
ンや移動を考えていると答えた．本システムは Swiftで実装したアプリケーションであり，参加者に事前にアプリケーションを送って各々のパソコンから起動してもらい，使用している様子をビデオ会議ツー
ルで録画することによって，オンラインで実験を行った．所要時間は 1 人当たり約 1.5 時間であった．
実験では参加者に対して本システムの使い方を説明し，練習用に用意したフォーメーションや移動を本システムで作ってもらったのちに，図 9 に示す 2
種類の課題の再現と参加者自身が考えた自由な作品の制作を本システムを使って行ってもらった．自由
制作については最低でも 10 人以上のダンサーが 2回以上移動するような作品を作るよう依頼した．各
作品制作は参加者が満足した時点で終わりとし，実験後にインタビューをしてシステムの感想を聞いた．
なお実験時の実装ではコスト関数 d に距離の 1 乗と 2 乗との 2 種類を用意し，生成する候補数を倍にしていたが，候補整理の処理が複雑な割に距離の 1乗を使った場合の候補はほとんど提示されなかった
ため，本稿では 2 乗のコスト関数のみを基準として説明している．

5.2

表 1. 参加者の制作したフォーメーションの移動における各経路の内訳．

経路数
割合

手描

71
30.34%

修正

14
5.98%

提示

149
63.68%

合計

234
100%

る程度予測，提示できていることが分かる．
また，実験後のインタビューでは全ての参加者が本システムの候補提示機能について，移動経路を手で描く手間が省けて便利だと評価した．個別では，「候補がサムネイル形式で提示されるのが分かりや，複数の経路が提示されるので自分ではすい（P2）」「
思いつかないような移動経路も見つけられる（P4）」などの意見があった．一方で分かりやすさにおいて
は「移動前後の位置に振られた番号が移動の対応を表しているように見える（P2）」という意見があり，他の参加者もそのように誤解して操作しているように見えたため，改善が必要だと考えられる．提示された候補の精度については P1 と P2 は満足していたが，P3 と P4 は思い通りの結果を得られなかったと答えた．P3 はフォーメーションの右半分の移動経路を作成後にその構造を保ったまま左半分に経路をコピーするような候補の生成を望んでいた．

実験結果

参加者が制作したフォーメーションの移動における各経路の数を表 1 に示す．表の中の「手描」はユーザが描いた経路，「提示」は本システムによって提示され，そのまま採用された経路であり，「修正」はシ
ステムに提案された経路を採用したのち，ユーザが編集を加えた経路を指す．この表より，実験で作成された全経路のうち提示経路の割合が 63%を超えていたことから，本システムはユーザの望む経路をあ- 14 -

6

まとめと今後の課題

本研究では候補提示型インタフェースを備えた，ダンスのフォーメーションや移動を作成するためのシステムを提案した．提案システムはユーザが描いた一部のダンサーの移動経路をもとに残りのダンサーの経路を予測し，候補を生成して提示するため，振付師が移動経路を作成する手間と時間を節約することができる．現在の実装では候補の予測をルール
ベースで行っており，予測できる移動の種類や精度が不十分で改善の余地があると考えられる．ダンスのフォーメーションや移動のデータを大量に集めることができれば，機械学習の手法を使うことでよりユーザの意図に合った候補の生成，提示が可能になると考えており，今後の方向性として検討している．

謝辞

ダンスフォーメーション作成のための候補提示型インタフェース[13] S. Murugappan, S. Sellamani, and K. Ramani.
Towards Beautification of Freehand Sketches
Using Suggestions. In Proceedings of the 6th Eurographics Symposium on Sketch-Based Interfaces and Modeling, SBIM ’09, pp. 69–76, New
York, NY, USA, 2009. Association for Computing Machinery.
[14] P. O’Donovan, A. Agarwala, and A. Hertzmann.
DesignScape: Design with Interactive Layout
Suggestions. In Proceedings of the 33rd Annual
ACM Conference on Human Factors in Computing Systems, CHI ’15, pp. 1221–1224, New
York, NY, USA, 2015. Association for Computing Machinery.
[15] S. Patil, J. van den Berg, S. Curtis, M. C.
Lin, and D. Manocha. Directing Crowd Simulations Using Navigation Fields. IEEE Transactions on Visualization and Computer Graphics,
17(2):244–254, Feb. 2011.

本研究は JST CREST JPMJCR17A1 の助成を受けたものである．

参考文献[1] choreotechnology. Dance Designer Choreography Software（最終閲覧日：2021 年 9 月 12 日）.
https://youtu.be/q4k4MAoaFZo, 2009.
[2] K. Endo, S.-T. Noh, K. Nakashima, X. Yang,
and T. Igarashi. A Suggestive Interface for
Designing Dance Formations. In ACM SIGGRAPH 2021 Posters, SIGGRAPH ’21, New
York, NY, USA, 2021. Association for Computing Machinery.
[3] Q. Gu and Z. Deng. Generating Freestyle
Group Formations in Agent-Based Crowd Simulations. IEEE Computer Graphics and Applications, 33(1):20–31, 2013.

[16] A. Schulz, W. Matusik, and L. Velho. ChoreoGraphics: An Authoring Tool for Dance Shows.
Journal of Graphics Tools, 17(4):159–176, 2013.

[4] J. Henry, H. P. H. Shum, and T. Komura. Interactive Formation Control in Complex Environments. IEEE Transactions on Visualization
and Computer Graphics, 20(2):211–222, 2014.

[17] A. Soga. and I. Yoshida.
SIMULATIONSYSTEM FOR DANCE GROUPS USING AGAMEPAD. In Proceedings of the International
Conference on Computer Graphics Theory andApplications and International Conference on
Information Visualization Theory and Applications - Volume 1: GRAPP, (VISIGRAPP
2012), pp. 365–368. INSTICC, SciTePress,
2012.
[18] StageKeep. StageKeep（最終閲覧日：2021 年 9
月 12 日）. https://stagekeep.com.

[5] T. Igarashi and J. F. Hughes. A Suggestive Interface for 3D Drawing. In Proceedings of the
14th Annual ACM Symposium on User Interface Software and Technology, UIST ’01, pp.
173–181, New York, NY, USA, 2001. Association for Computing Machinery.
[6] T. Kwon, K. H. Lee, J. Lee, and S. Takahashi.
Group Motion Editing. ACM Trans. Graph.,27(3):1–8, Aug. 2008.

[19] UGOKU. MO-SIM（最終閲覧日：2021 年 9 月
12 日）. https://mo-sim.com.

[7] J.-s. Lee. An Intuitive Mobile Application
for Notation of Group Dance Floor Plan. In
C. Stephanidis ed., HCI International 2014
- Posters’ Extended Abstracts, pp. 349–354,
Cham, 2014. Springer International Publishing.

[20] B. Ulicny, P. d. H. Ciechomski, and D. Thalmann. Crowdbrush: Interactive Authoring of
Real-Time Crowd Scenes. In Proceedings ofthe 2004 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, SCA ’04, pp.
243–252, Goslar, DEU, 2004. Eurographics Association.

[8] J.-S. Lee and S.-H. Lee. Automatic path generation for group dance performance using a genetic
algorithm. Multimedia Tools and Applications,78(6):7517–7541, Mar. 2019.
[9] C. D. T. Mathew, B. Benes, and D. Aliaga. Interactive Inverse Spatio-Temporal Crowd Motion Design. In Symposium on Interactive 3D
Graphics and Games, I3D ’20, New York, NY,
USA, 2020. Association for Computing Machinery.
[10] P. Merrell, E. Schkufza, Z. Li, M. Agrawala,and V. Koltun. Interactive Furniture Layout
Using Interior Design Guidelines. ACM Trans.
Graph., 30(4), July 2011.
[11] Microsoft.
Microsoft
PowerPoint（ 最 終 閲 覧 日：2021 年 9 月 12 日 ）.
https://www.microsoft.com/ja-jp/microsoft365/powerpoint.
[12] J. Munkres. Algorithms for the Assignment andTransportation Problems. Journal of the Society for Industrial and Applied Mathematics,
5(1):32–38, 1957.

- 15 -WISS 2021

歌唱時に高音の発声ができるようになる VR 映像の提案と評価
坂名純太 ∗

土田修平 ∗

寺田 努 ∗

塚本昌彦 ∗

概要. 歌唱には，音程やリズムなど様々な要素が関わっており，発声もその一つである．良い発声を行う
ためには，音程に合った姿勢を保ちつつ，特定の筋肉に力を入れてその他の筋肉はリラックスさせることが必要となる．しかし，発声する音の種類によって適切な姿勢は変わるため，姿勢への意識が強くなると発声への意識が薄れてしまい効率が下がる恐れがある．そのため，専門知識をもたない人にとって歌唱時の発声練習は難しく，これまでの歌唱指導では「額から声を出すように」などのイメージで歌い方を伝えるような工夫が行われている．そこで本研究では，視覚刺激によって発声者の姿勢やメンタル状態を誘導すれば効果
的な発声練習を実現できると考え，VR(Virtual Reality) 映像を用いた視覚刺激を活用し，歌唱時の発声を暗黙的に支援するシステムの構築を試みる．発声者の高音の発声と発声時の姿勢に注目し，高音の発声がしやすくなると考えられる映像を作成し，映像の内容によってユーザの高音の発声のしやすさ及び発声時の姿勢に生じる変化について調査を行った．

1

はじめに

歌唱には，音程やリズムなど様々な要素が関わっており，発声の仕方もその一つである．良い発声は，声に柔軟性を与え，声帯を効率的に動かすことで少ない力で大きな声を発することができ，歌唱中の喉の負担を軽減できる．フースラーら [1] は，声楽的な発声法について生理学的・解剖学的知見を取り入れ研究し，歌唱中の人体の構造を細部にわたって説明している．その中で，発声器官の能力を十分に発揮するためには，発声器官のすべてが的確な神経支配を受け，またその器官の筋肉が敏速で伸縮自在な張力を最大限に獲得する必要があると述べている．
このことから，正しい発声には特定の筋肉に力を入れて，その他の筋肉はリラックスしていることが同時に求められるなどいくつもの発声に関わる器官を適切に動かすことが求められる．
しかし，発声の際に重要な筋肉は，普段の生活で使う機会が少ない箇所が多く，単に意識するだけでは正しく筋肉を使いこなすのは困難であり，専門的知識のない人には正しく使えているかの判断は難し
い．そのため，発声に重要な筋肉を正しく使うことを補助する目的で，特定の姿勢や特定のイメージを持って練習する手法がよく用いられている．例えば高音を出すためには「額から声を出すイメージで」や「自分が階段を降りているようなイメージで」といった説明がされることがある．ただし，求められる姿勢やイメージは発声パターンごとに異なるため，歌唱時に姿勢やイメージをその都度切り変える必要があり，発声者への負荷が大きい．また，発声者自身の頭の中でリアルなイメージを想起しながらの練習では，発声への意識が薄れてしまい効率が下がる∗

神戸大学大学院工学研究科- 16 -

従来

イメージ

提案

VR 映像

高音

高音

HMD
低音

低音

図 1: システム概念恐れがある．
そこで本研究では，発声者が意識せずとも発声に重要な筋肉を正しく使うことを促せれば，より効
果的な発声練習を実現できると考え，VR(Virtual
Reality) 映像によって視覚刺激を与えることで姿勢等に影響を与えられる [13] ことに着目し，VR 映像
を見せることで意識下でユーザの発声時における身
体機能に影響を与え，良い発声を促す手法を提案する（図 1）．本稿では，発声練習時に見る VR 映像
によって重心位置および発声することのできる音程の上限に差異があるかについて調査した．このような映像効果と歌唱能力の関係が明らかになると，高音が出やすいカラオケ背景が作成できるなどさまざ
まな応用が可能になると考えられる．

2
2.1

関連研究

声楽的な観点からの発声研究

声楽的な観点から見て，歌唱時には発声器官の各役割を理解し，その多くをコントロールすることが求められる．石野 [2] によれば，地声や裏声といった声区は筋肉や呼吸法によって調整でき，声量，母音等によっても声区は変動すると述べている．歌唱

WISS 2021

者は声区を意識しなくなることが理想であるが，そのためにも筋肉のメカニズムを知ることは必須であると述べている．また，理想的な発声は身体全体の筋肉の自然な連携を前提としており，その際に身体の様々な部位は無意識的に連動するとされ，意識した身体動作ではぎこちない発声となってしまう恐れがあると石野は述べている．しかし，現在行われている発声のための姿勢や各器官を適切に動かす練習
は手本を見たり聞いたりしてそれを真似るといった手法が用いられており，練習者は意識的に身体動作を行わなければならない．野口 [3] は意識と無意識という観点から，良い発声に大切なのは発声に関わる筋肉が良好に運動することであるが，発声者からすればそのような客観的な視点を意識すればするほど，筋肉は自然な運動性を失っていくと述べている．
つまり正しい発声には，身体の発声に関わる諸器官
が無意識のうちに適切に機能することが必要である．
本研究では，無意識のうちに発声に関わる器官が正しく機能することを実現するための手法について提
案する．

2.2

発声支援手法歌唱時の発声支援システムとして，発声者の音声
特徴量をフィードバックする方法が多く用いられている．斎藤ら [4] は，歌声に聴感的な響きを与える要因と考えられている 2.4〜3.2kHz 付近の周波数帯域に着目し，歌唱指導前後でその周波数帯域の歌唱
データがどう変化しているか比較することで習熟度を検討できることを示唆した．また，片岡ら [5] は強弱のある発声について，声楽経験の異なる被験者
から音声データを取得し分析することで，習熟度をフィードバックするシステムを提案している．さらに，中野ら [6] は音声の音高を軌跡として可視化す
ることで歌唱への理解を深めさせ，過去のデータやお手本となる歌唱データをゴースト表示することで練習効率を向上させる手法を提案している．
しかし，これらの手法はその時点での発声者の歌声を評価するものであり，直接的に発声練習の効率を上げるようなシステムではない．また，これらのデータをフィードバックしたとしても，有効に利用するためには専門的な知識が必要となり，練習者はこれらのデータから得たアドバイスを意識しながらの発声を行わなければならず，発声そのものへの意識が薄れてしまう恐れがある．本研究では，声楽的な知識を必要とせずに歌唱力の向上が可能となるシ
ステムの構築を目的とする．

置に合わせて拡張現実を用いてバーチャルなアタッ
シュケースを重ねて表示し，形状・大きさを変化させることで重心がどの位置にあると感じられるか調査を行った．その結果，実際のアタッシュケースに比べ取っ手の位置がずれている表示をした場合，ユーザはずらした方向に重心が傾いていると感じる傾向が見られた．岡野ら [8] が行った実験では，LED を用いた周辺視野ディスプレイを被験者に装着させ，ルー
ムランナー上でランニングをさせたところ，LED の光がランナーに向ってくるよう点滅させた際の体感
速度は被験者の走行時の速度よりも速くなる傾向が見られた．また，吉川ら [9] は断面が半円状のレンズを無数に並べられたシートを用いた歩行誘導の実験を行った．レンズに少しずつ絵柄をずらした画像を格納することで，レンズに対して視線を任意方向に動かすアニメーションを呈示でき，被験者は絵柄をずらした方向に誘導されて歩行した．

VR 映像による視覚刺激が与える影響
VR 技術を用いて，身体機能の向上や特定の運動機能の促進を狙うシステム構築に関する研究は多数行われている．小貫ら [10] は生体センシングを用いた VR ゲームの利用が高齢者の運動能力にどう影響するか調査した．その結果，VR ゲームを用いることで被験者の歩行能力やバランス能力が有意に向上
し，アンケート調査でも満足度が高かった．遠藤ら[11] は VR による歩行映像，モニターによる歩行映像，静止立位をランダムで被験者に提示した後に歩行させ，その際の重心動揺を計測したところ，前後方向の重心の移動について，VR 映像とモニター映像を提示した時の移動量は静止時の移動量に比べ有意に大きかった．石井ら [12] は HMD の情報処理を用いて人間の焦点に影響を与え，ユーザの歩行時の進行方向を誘導することを可能にした．このようにVR 技術を用いて運動機能を向上させることや姿勢や重心に影響を与えることが可能であり，本研究ではこれを歌唱時の発声に応用することで練習効率が上がるのではないかと考えた．

3

2.3 視覚情報が与える影響
VR 映像以外による視覚刺激杣田ら [7] は拡張現実技術を用いた周辺視野が人間の重心知覚に与える影響を調べた．この実験では，被験者に実物のアタッシュケースを持たせ，その位- 17 -

提案システム

我々は，ユーザーが良い発声のために意識すべきことを無意識のうちに行わせることで，自然で良い発声が可能になると考えた．そこで本研究では，VR
映像による視覚刺激により身体や知覚を制御し，重心誘導を含めた意識すべきことを意識下で行わせ，ユーザの発声を支援す手法を提案する．提案手法では，被験者に VR 映像を提示可能な頭部装着型ディスプレイ (HMD: Head Mounted Display) を装着させ，作成した VR 映像を見せながら歌唱を行わせる．本論文で提示する映像は主に移動感覚を引き起こすようなものを用いた．没入感のある移動感覚提示により，高音の発声に適しているとされるつま先

歌唱時に高音の発声ができるようになる VR 映像の提案と評価

重心 (前方重心) の姿勢を無意識に促すことを意図している．つまり，本研究では良い発声の例として「高い音を発声できること」，意図する映像視聴効果を「移動感覚の付与による体勢制御」とした．VR 映像の作成には Unity を使用し，VR 提示可能な HMDには HTC 社の Vive(視野角: 110 °，重量: 640g，
以下 HMD) を用いた．

4

評価実験

本実験では，VR 映像を見ながら発声練習を行う
際に，高音の発声と姿勢にあらわれる影響について
調査する．

4.1

映像名
上方向
下方向
後方向
前方向

説明と想定される効果
オブジェクトが上方向に移動
後傾姿勢となり高音が出なくなる
オブジェクトが下方向に移動
前傾姿勢となり高音が出せる
オブジェクトが向かってくる
前傾姿勢となり高音が出せる
オブジェクトが遠ざかってゆく
後傾姿勢となり高音が出なくなる

映像の選定

発声に適した姿勢は，発する声の音程や強弱など
によってわずかに異なる．高音を発声する際はつま先に体重をかける姿勢が適しているとされる [1]．この知見をもとに，高音の発声に適した状態になるよう促す映像を調査するために 4 種類の映像を用意した. 具体的には，高音の発声に適しているとされるつま先重心，前傾姿勢をとるよう促す効果が期待できる映像として，相対的にユーザが上または前方に移動しているかのような感覚を与える映像と，その逆の感覚を与える映像を計 4 種類用意した．具体的には，視界いっぱいに配置された球形オブジェクトが鉛直下向きにスクロールされ，相対的にユーザが上昇しているかのような感覚を覚えることを狙った映像 (下方向)，球形オブジェクトが鉛直上向きにスクロールされ，相対的にユーザが下降しているかのような感覚を覚えることを狙った映像 (上方向)，ユー
ザの両脇に球形オブジェクトが線上に配置されており，それらがユーザの前方から後方へと向かってくるように移動することで，相対的にユーザが前進している感覚を覚えることを狙った映像 (後方向)，後
方向の映像とは逆方向にオブジェクトが前方に移動
し，ユーザが後退している感覚を覚えることを狙った映像 (前方向) である．ここで，作成した映像の種類を表 1 に，上下方向のイメージ画像を図 2 に，前後方向のイメージ画像を図 3 に示す．なお，球形オ
ブジェクトは半径 50cm の大きさに見えるように設定し，イメージ画像中の矢印は球形オブジェクトの移動方向を示している．また，上方向と下方向の映像では被験者とスクロールする球形オブジェクトとの距離は 11m となっており，後方向と前方向ではユーザの左右に配置された球形オブジェクトとの距
離は 5m となっている．これはユーザがオブジェク
トの接近により回避行動をとるような状況が起きないよう設定されている．

4.2

表 1: 作成した映像

図 2: 上下方向のイメージ画像

図 3: 前後方向のイメージ画像

中心 (COP: Center of Pressure) を 100fps で取得す
る．COP は静止立位姿勢の重心動揺の測定において，
重心位置として代替可能である [14]．Wii Balance
Board を用いた足圧中心の測定には，公開されている Wii Balance Board Stabilometry System Ver
2.1[16] を使用する．
被験者に装着した無線ピンマイク (SYNCO-G1
2.4 GHz ワイヤレスオーディオ)[17] から，実験中

計測項目映像が表示されてから各パートが終了するまでの間，Wii Balance Board[15] を用いて被験者の足圧- 18 -WISS 2021に被験者が発声した音声を WAV ファイル形式で保存する．その後，被験者の音声データから F0(基本周波数) を求め，被験者が地声で発声することのできた音程を音声データと F0 から判定する．また，実験中の被験者の様子をビデオカメラで撮影する．計
測用ソフトウェアは Python を用いて作成した．

4.3

イヤホン

ワイヤレスマイク
2.4 GHz
ベースステーション
マイクレシーバ

実験手順

計測時のシステム構成を図 4 に示す．被験者は実
験環境に入室した後，発声練習に用いるピアノ音源を聞く．その後，Wii Balance Board の上に乗り，HMD とイヤホン，ピンマイクを装着する．HMD
は PC に接続されており，被験者の動作のトラッキングのために HMD の位置を計測するためのベース
ステーションを 1 台被験者の正面，2.5m の距離に設置する．また Wii Balance Board 上では，被験者にとって自然な直立姿勢を取ってもらう．被験者に取り付けたデバイスと実験をしている様子を図 5に示す．
被験者は HMD を額に載せて映像を見ない状態と，オブジェクトが移動する 4 種類の映像を見ながらの発声練習をランダムな順番で行う．なお，発声練習にはドミソミドの音を 1 セットとしたピアノの音源を使用し，音程は mid2C(262Hz) から始める．
被験者はピアノの音源を 1 セット聞いた後に，同じ音程のドミソミドを発声する．ピアノの音程は段階的に高くなり，被験者が明らかに発声出来ていない，
もしくは裏声を用いなければ発声できない音階まで達した場合はそのパートの発声練習は終了とする．
この判断は本論文の第一著者が行った．発声練習 1回あたりにかかる時間は約 3 分であり，各発声練習の間には 5 分間の休憩を取る．被験者は 20 代男性
9 名 (声楽経験，VR 経験なし) である. 最後に，口頭もしくはチャットツールを用いてシステムに対するコメントを回答してもらった．
また，今回作成した映像を用いた発声練習に関して，高音の発声に与える影響がその後の本システムを用いない発声においても影響を与えるかどうかを調査するため，1 回目の実験から 1 週間後の同時刻に被験者 1 人当たり 3 回，同じ内容の発声練習をデ
バイスを装着していない状態で行わせた．なお，この実験は神戸大学大学院工学研究科の研究倫理審査委員会の承認を得て行った (受付番号: 03 - 12)．

4.4

HMD

結果と考察

全被験者における，練習パターンごとの足圧中
心の平均座標 (左右方向，前後方向) を箱ひげ図で表したものをそれぞれ図 6，7 に示す．これは Wii
Balance Board の中心を 0 とした時の値であり，単位はいずれも mm である．また，左右方向では右が正，左が負の値であり，前後方向では前が正，後ろが負の値となっている．左右方向，前後方法におい- 19 -Wii Balance BoardPC

図 4: 計測時のシステム構成

図 5: 実験環境てそれぞれ一要因分散分析を行ったところ，提示する映像間に有意な差は見られなかった（p > .10）．
左右方向について，映像なしと前方向での発声練習
では被験者間で足圧中心のばらつきが小さく，下方向で特にばらつきが大きい結果となった．また，前後方向については，後方向の映像を用いた発声練習
中の足圧中心のばらつきが小さく，残りの 4 条件ではばらつきがみられた．この値は，実験における体勢の変化を計測するために行ったものであるが，実験中は VR 空間を把握するため首を振る被験者が多く見られ，その際の重心変化が大きかったため今回の実験では姿勢の違いを表すような値が計測できなかった可能性がある．
また，地声で発声することのできた音声の最大周波数に対して，提示映像ごとに全被験者の平均値を求めた結果を図 8 に示す．なお，被験者の発声した地声と裏声の判定は，声楽経験者に音声データを聞いてもらい，主観的に判断した．提示映像について一要因分散分析を行った結果，有意差が見られた(F (4, 32) = 5.02, p < .05)．また Holm 法による多重比較を行なったところ，後方向と映像なし，後方向と下方向，後方向と前方向においてそれぞれ有意差が見られた (p < .05)．このことから，オブジェ
クトが前方からこちらへ向かってくる映像を見ながらの発声では，仮説の通り被験者が高音の発声に適した姿勢となり，より高い音の発声が出来るように歌唱時に高音の発声ができるようになる VR 映像の提案と評価

上方向

400

基本周波数（Hz）

450

提示映像

映像なし

下方向

後方向

350
300
250

前方向

200
­40

­30

­20

­10

0

10

左右方向における足圧中心の平均位置（mm）

映像なし

前後方向における足圧中心の平均位置（mm）

図 6: 各練習パターンの足圧中心の平均位置 (左右方
向)

­20
­30
­40
­50

下方向

提示映像

後方向

後方向

前方向

らの発声練習を行ってから 1 週間後，同被験者にはHMD を装着せずに，同じ内容の発声練習を 3 回行ってもらい，音声データから最も高い周波数を取得しVR 映像を見ながらの発声練習での最高周波数と比較した．各被験者ごとの，1 回目の実験と 2 回目の実験での最高基本周波数を図 9 に示す．2 回目の発声練習にて，1 回目の発声練習よりも高い音を発声できた，もしくは 1 回目の発声練習時と同程度の音程が発声できた被験者は 4 名 (被験者 E,F,G,I) であった．長期的な効果が期待できると判断できた被験者数が全被験者数の半数に満たないことから．本
システムは繰り返し練習を行うことで長期的な効果が見込める，または映像を見ているときにのみ効果が現れるものであると考えられる．

­10

上方向

下方向

提示映像

図 8: 各練習パターンにおける基本周波数の平均値

0

映像なし

上方向

前方向

図 7: 各練習パターンの足圧中心の平均位置 (前後方向)5なった可能性が示唆された．また前方向の映像よりも後方向の映像で高音の発声ができていたことから，高音の発声にはユーザが前方へ移動している感覚を覚える映像が好ましいと考えられる．以上の結果から，VR 映像を見せることにより高音の発声を促す
ことができるという可能性が示唆されたが，今回用いた手法では，正しい発声に関わる要因のうち重心移動以外に影響を与える効果が存在する可能性が高いと考えられる．今後は他の要因に焦点を当て，提案手法により発声が可能となる原理を解明することが課題である．

4.5 映像を用いた練習効果の持続性
VR 映像を用いた発声練習の効果の持続性を評価するための実験を追加で行った．VR 映像を見なが- 20 -

まとめ

本稿では，高音の発声に適した映像見せることで，発声時に望ましい身体状態を無意識のうちに行わせるシステムの設計とその評価を行った．今回の実験
では，高音に着目し低重心やつま先に重心を持ってゆく姿勢を誘導する効果が期待できる映像と，逆の効果が想定できる物を用意し，それぞれ映像なしの発声練習と比べどのような違いがあるのか調査した．
その結果，オブジェクトが前方からこちらへ向かってくる映像を見ながらの発声では，より高音の発声が出来るようになったという結果が得られた．また，本システムを用いた練習効果の持続性については，
今後の課題として，今回用いた映像よりも重心の移動に影響を与え発声を支援する映像の作成と，実際の歌唱に本システムを導入し，音程に合わせて適切な効果のある映像を切り替えて表示させることが挙げられる．そのためには，提案手法を用いた練習によって発声の質が向上した場合に，発声に関わるどの要因に影響を与えたのか解明することも重要で

WISS 2021

!!#

!%#

!$#

!"#

$&#

$%#

$##

!"#

!!"

"!"

(a) 被験者 A

!!"

"!"

!!"

"!"

(b) 被験者 B!%"!"#$%!"#$&'#!"#$%!"#$

慮した映像の作成も課題としてあげられる．さらに，実験後に被験者から得た感想としては，「オブジェク
トに合わせて視線が移動してしまった」といったものがあり，作成した映像が狙っている重心移動の妨げになっていたということが考えられる．この対策としては，VR 空間内にポインターを表示させ，被験者の視線を一点に固定するなどの処置を行って，自然な重心移動を促すことが有効であると考えられる．加えて，さらに多様な映像，条件を用いてさらに高音が発声しやすくなる映像や，高音以外の歌唱の要素を向上させる映像に必要な要因を調査する．
また，複数の映像の順番と効果の関係を調べること
や，各映像での長期的な練習による上達の程度に違いがあるのかも明らかにし，最終的にはカラオケにおける歌唱時の映像などにこれらの映像を組み込み，歌唱者にとって最も良い歌唱が可能となる環境の構築を目指す．

$!#!"#$%!"#$!"#$%!"#$

!&#

&##

!%#

!$#

!"#

!!"

!$"

!#"

!""

!!"

"!"

(c) 被験者 C(d) 被験者 D!"#$%!"#$!"#$%!"#$

!'#

謝辞

!&#

本研究の一部は，JST CREST (JPMJCR18A3)の支援によるものである．ここに記して謝意を表す．

!%#

!$#

!"#

!!"

"!"

!!"

(e) 被験者 E(f ) 被験者 F[1] フレデリック・フースラー, イブォンヌ・ロッド=
マーリング: うたうこと:発声器官の肉体的特質, 音
楽之友社 (Jun. 1987).

!'#!"#$%!"#$!'#!"#$%!"#$

参考文献

"!"

!&#

!%#

!$#

!"#

!&#

[2] 石野健二: 声楽発声のメカニズム, 宇都宮大学教育学部紀要. 第 1 部, No. 1, pp. 105–119 (Mar.
2015).

!%#!$#[3] 野口雅史: 意識と無意識からみた歌唱の発声法, 新潟青陵大学短期大学部研究報告, Vol. 41, No. 41,
pp. 151–161 (May 2011).

!"#

!!"

"!"

!!"

(g) 被験者 G"!"(h) 被験者 H[4] 齋藤 毅, 後藤真孝: 歌唱指導による歌声中の音響特徴の変化：歌唱ホルマントと F0 動的変動に着目した音響分析, 日本音響学会講演論文集, pp. 457–458(Sep. 2008).

!"#$%!"#$

$$#

$!#

$%#

[5] 片岡靖景, 伊藤一典, 池田 操: 歌唱支援システム構
築のための歌声の分析と評価, 情報処理学会研究
報告音楽情報科学 (MUS), Vol. 1998, No. 74, pp.
23–30 (Aug. 1998).

$##

!"#

!!"

"!"

(i) 被験者 I[6] 中野 倫靖, 後藤真孝, 平賀 譲: MiruSinger: 歌を「歌って/聴いて/描いて」見る歌唱力向上支援イン
タフェース, 情報処理学会 インタラクション 2007
論文集, Vol. 2007, pp. 195–196 (Aug. 2007).

図 9: 各被験者が発声出来た音程上限の比較[7] 杣田明弘, 溝口晃太, 木村朝子: 複合現実型視覚
刺激が重心知覚に与える影響, 情報処理学会全国大会講演文集, Vol. 71, No. 4, pp. 115–116 (Mar.
2009).

ある．また，1 人の被験者から上下方向のオブジェク
ト移動により浮遊感や下降感覚を覚え少し気分が悪くなったという感想があった．この被験者は軽度の高所恐怖症を患っており，これらの感覚に抵抗を感じたと考えられる．2 章であげた LED による視覚刺激に比べ，VR 映像による手法では VR 酔いや，ある状況や感覚に不快感や恐怖感を覚えるユーザを考[8] 岡野 裕, 雑賀慶彦, 橋本悠希: 速度感覚増強のための周辺視野への刺激提示手法の検討, 情報処理学会
研究報告ヒューマンコンピュータインタラクショ
ン (HCI), Vol. 2008-HCI-127, No. 11, pp. 145–150(Feb. 2008).

- 21 -

歌唱時に高音の発声ができるようになる VR 映像の提案と評価[9] 吉川博美, 蜂須拓, 福島政期: ベクション場による歩行誘導手法の提案, 情報処理学会 インタラクショ
ン, Vol. 2011, pp. 457–460 (Mar. 2011).

[13] 市川真澄, 渡邊 悟: 直立姿勢に対する視覚情報の影響 ((特集) 姿勢制御と感覚情報), バイオメカニ
ズム学会誌. Vol. 15, No. 2, pp. 59–64 (Feb. 1991).

[10] 小貫睦巳, 有田元英, 井上悦治: 生体センシング
技術を使った仮想現実によるゲームが高齢者の運動機能に及ぼす影響について, 理学療法科学, Vol.
30, No. 6, pp. 811–815 (June 2015).

[14] 藤原勝夫, 池上晴夫: 足圧中心位置と立位姿勢の安定性との関係について, 体育学研究. Vol. 26, No.
2, pp. 137–147 (Aug. 1981).

[11] 遠藤佳章, 鈴木暁, 糸数昌史: ヘッドマウントディ
スプレイを用いた Virtual Reality 映像とモニター映像が立位重心動揺に及ぼす影響の違い, 理学療法
科学, Vol. 33, No. 3, pp. 457–460 (Jan. 2018).

[15] Wii Balance Board, https://www.nintendo.
co.jp/wii/rfnj/balance/index.html.

[16] バ ラ ン ス Wii ボ ー ド の 重 心 動 揺 計 ソ
https://researchmap.
フ ト ウェア,jp/blogs/blog_entries/view/112495/
5a9c28ee606c50172546b83b5ea9939a?frame_
id=513522.
[17] SYNCO-G1(A1)-2.4 GHz ワ イ ヤ レ ス オ ー ディオ, https://www.syncoaudio.com/products/
sy-g1-a1-wair.

[12] A. Ishii, I. Suzuki, S. Sakamoto and K. Kanai:
Optical Marionette: Graphical Manipulation of
Human’s Walking Direction, Proc. of the 29th
Annual Symposium on User Interface Software
and Technology, pp. 705–716 (Oct. 2016).

- 22 -WISS 2021

Human-in-the-Loop ‫ܕ‬దԠʹΑΔΠϯλϥΫςΟϒͳԻָతഥઅղੳࢁຊ ࿨඙ ∗
֓ཁ.
Իָ৘ใॲཧʹ͓͍ͯഥ (Ϗʔτ) ͷநग़͸࠷΋‫ૅج‬తͰॏཁͳλεΫͷͻͱͭͰ͋Δ. ͔͠͠,͜ͷഥͷଊ͑ํ΍ղऍ͸‫ݸ‬ਓʹΑͬͯେ͖͘ҟͳΓ།Ұͷਖ਼ղͱ͍͏΋ͷ͕ଘࡏ͠ͳ͍. ͦͷͨΊ, ͋Β͔͡Ί‫׬‬ᘳͳΞϧΰϦζϜΛઃ‫ͱ͓ͯ͘͜͠ܭ‬͸ඇৗʹࠔ೉Ͱ͋Δ. ຊߘͰ͸͜ͷ໰୊Λղܾ͢ΔͨΊ,
Human-in-the-Loop ‫ܕ‬ͷϏʔττϥοΩϯάΠϯλϑΣʔεΛఏҊ͢Δ. ຊγεςϜͰ͸Ϣʔβ͸ղੳ݁Ռͷ‫ʹؾ‬ೖΒͳ͍ՕॴΛΠϯλϥΫςΟϒʹमਖ਼͢Δ͕, ͢΂ͯͷमਖ਼ՕॴΛखಈͰमਖ਼͢Δඞཁ͸ͳ͘,࠷ॳʹ‫͍ͨ͘͝෇ؾ‬Ұ෦෼ͷΈΛमਖ਼ͯ͠γεςϜʹϑΟʔυόοΫ͢Δ. γεςϜ͸ͦΕΛ΋ͱʹ಺෦ͷ‫ࢉܭ‬ϞσϧΛϢʔβదԠͤ͞, Ϣʔβ͕௚઀ฤू͍ͯ͠ͳ͍࢒Γͷ෦෼΋ϢʔβͷҙਤʹԊ͏Α͏ʹࣗಈम
ਖ਼͢Δ. ͜ͷϢʔβͱγεςϜͷΠϯλϥΫγϣϯΛ‫܁‬Γฦ͢͜ͱʹΑͬͯϢʔβ͸ޮ཰తʹॴ๬ͷ݁ՌΛಘΔ͜ͱ͕Ͱ͖Δ. ͜ΕΛ࣮‫͢ݱ‬ΔͨΊ, զʑ͸దԠ‫ݾࣗ࣌ߦ࣮ܕ‬஫ҙ‫ߏػ‬Λಋೖ͢Δ. దԠ‫ݾࣗ࣌ߦ࣮ܕ‬஫ҙ‫ߏػ‬ͷΞϧΰϦζϜ͸ϢʔβΠϯλϑΣʔεͱີ઀ʹ౷߹͞Ε͓ͯΓ, Ϣʔβͷ‫ॴہ‬తͳमਖ਼ͷӨ‫ڹ‬Λָ‫ۂ‬શମ΁ޮ཰తʹ఻ൖͤ͞Δ͜ͱΛՄೳʹ͢Δ. ຊߘͰ͸ఏҊख๏͕ॴ๬ͷղੳ݁ՌΛಘΔͨΊͷϢʔβͷ࿑ྗΛܶతʹ࡟‫͢ݮ‬Δ͜ͱΛγϛϡϨʔγϣϯ࣮‫ͱݧ‬Ϣʔβ࣮‫ݧ‬ͷ྆ํͰࣔ͢.

1

入力 (特徴量フレーム)͸͡ΊʹComputer
DNNモデルの更新Իָʹ͓͍ͯഥ (Ϗʔτ) ͸࠷΋ॏཁͳཁૉͷͻ
ͱͭͰ͋Δ. ଟ͘ͷԻָ৘ใॲཧγεςϜ͕࠷ॳʹϏʔτղੳΛͨ͠ͷͪͦΕΛ‫ޙ‬ஈͷॲཧͷͨΊͷҰ୯Ґͱͯ͠࠾༻͍ͯ͠Δ. ͔͠͠, ‫ػ‬ցֶशͷൃలʹΑͬͯԻָ৘ใॲཧΞϧΰϦζϜͷੑೳ͸ܶతʹ޲্ͨ͠ʹ΋͔͔ΘΒͣ, ‫׬‬ᘳͳγεςϜΛ࣮‫͢ݱ‬Δ͜ͱ͸ࠔ೉Ͱ͋Γ, Ͳ͏ͯ͠΋Τϥʔ͸ൃੜͯ͠͠·͏ [1]. ͞Βʹ, Ϗʔτͷଊ͑ํ΍ղऍ͸‫ݸ‬ਓʹΑͬͯҟͳΔ. ͨͱ͑Ϣʔβͷ஌֮͢Δഥָ͕ේ্Ͱ͸࡞‫ʹ࣌࡞੍͕ऀۂ‬૝ఆͨ͠΋ͷͱҰக͍ͯͨ͠ͱͯ͠΋, ͦͷਖ਼֬ͳλΠϛϯά͸ਓʹΑͬͯΘ͔ͣʹલ΍‫ޙ‬ΖʹͣΕ͍ͯΔ͜ͱ΋ଟ͍. ಉҰͷϑϨʔζͰ͋ͬͯ΋Ͳ͜Λഥͱ͢΂͖͔͸ঢ়‫ʹگ‬ΑͬͯͲͷΑ͏ʹͰ΋มԽ͢Δͱ͍͏͜ͱΛҙਤతʹࣔͨ͠Իָ΋ଟ͘ଘࡏ͢Δ [2]. ͜ͷͨΊഥͷղੳʹ͸།Ұͷਖ਼ղͱ͍͏΋ͷ͕ଘࡏͤͣ, Ұҙͷೖྗ͔Βঢ়‫ʹگ‬Ԡͯ͡ҟͳΔ݁ՌΛग़ྗ͢Δ͜ͱ͕‫ٻ‬ΊΒΕΔ. ͜ͷΑ͏ͳ໰୊ʹࣄલֶश͞Εͨ‫ػ‬ցֶशγεςϜ͚ͩͰରԠ͢Δ͜ͱ͸‫ݪ‬ཧతʹࠔ೉Ͱ͋Δ.
ຊߘͰ͸͜ͷ໰୊Λղܾ͢ΔͨΊ, Human-inthe-Loop ͷΞϓϩʔνʹΑͬͯಛఆͷϢʔβͱָ‫ʹۂ‬దԠͨ݁͠ՌΛग़ྗ͢Δ͜ͱͷͰ͖ΔΠϯλϥ
ΫςΟϒͳϏʔττϥοΩϯάΠϯλϑΣʔεΛఏҊ͢Δ (ਤ 1). ຊγεςϜͰ͸, Ϣʔβ͸γεςϜ
ͷҰ࣌తͳग़ྗ݁Ռʹରͯ͠‫ʹؾ‬ೖΒͳ͍෦෼Λमਖ਼͠ϑΟʔυόοΫ͢Δ. γεςϜ͸ͦͷϑΟʔυόοΫ৘ใΛར༻ͯ͠಺෦ͷχϡʔϥϧωοτϫʔΫϞσϧ (DNN) Λ͜ͷϢʔβʹରͯ͠దԠ͠, ࠶∗

DNNによるビート励起尤度の計算
テンポモデルの更新

最適テンポ軌跡の計算
Human in the Loop

Human

一時的な出力ユーザによる部分的な修正

ਤ 1. γεςϜ֓ཁ. Ϣʔβ͸γεςϜͷҰ࣌తͳग़ྗ
ʹରͯ͠Ұ෦෼͚ͩΛमਖ਼ͯ͠ϑΟʔυόοΫ͢
Δ. γεςϜ͸ͦΕΛ΋ͱʹ಺෦ϞσϧΛߋ৽͠ΑΓॴ๬ͷ݁ՌΛग़ྗͰ͖ΔΑ͏ʹͳ͍ͬͯ͘.

౓ग़ྗΛߋ৽͢Δ. ͜ͷϢʔβͱγεςϜͷΠϯλ
ϥΫγϣϯΛ൓෮͢Δ͜ͱͰ, γεςϜ͸ΑΓϢʔβʹͱͬͯॴ๬ͷ݁ՌΛग़ྗͰ͖ΔΑ͏ʹͳ͍ͬͯ͘. ͜͜Ͱॏཁͳ఺͸Ϣʔβ͸͢΂ͯͷमਖ਼ՕॴΛखಈͰमਖ਼͢Δඞཁ͸ͳ͘, ͘͝গ਺ͷ࠷ॳʹ‫෇ؾ‬͍ͨҰ෦෼ͷΈͷमਖ਼Λ͓͜ͳ͏͚ͩͰΑ͍ͱ͍͏
͜ͱͰ͋Δ. γεςϜ͸͜ͷগ਺ͷϢʔβमਖ਼͔Β,࢒Γͷ௚઀ฤू͞Ε͍ͯͳ͍ՕॴΛϢʔβͷҙਤʹԊ͏Α͏ʹࣗಈͰमਖ਼Ͱ͖ΔΑ͏ʹ಺෦ϞσϧΛద
Ԡͤ͞Δ. ͜ΕʹΑΓ, Ϣʔβ͕ॴ๬ͷղੳ݁ՌΛ
ಘΔͨΊͷ࿑ྗΛܶతʹ࡟‫ͤ͞ݮ‬Δ͜ͱ͕Ͱ͖Δ.
͜ͷΦϯϥΠϯͷϢʔβదԠΛ࣮‫͢ݱ‬ΔͨΊ, ຊߘͰ͸৽͍͠ DNN ϞσϧͰ͋ΔదԠ‫ݾࣗ࣌ߦ࣮ܕ‬஫ҙ‫( ߏػ‬Adaptive Runtime Self-Attention, ARSA)
Λಋೖ͢Δ [3]. ARSA ͷ಺෦ύϥϝʔλ͸Πϯλϥ
ΫςΟϒͳϢʔβΠϯλϑΣʔεΛີ઀ʹ౷߹͞Ε͍ͯΔ (5.3 ষ). ARSA ͸Ұൠతͳ஫ҙ‫[ ߏػ‬4] ͷ֦ுͰ͋Γ, ଞͷ஫ҙ‫ͱߏػ‬ಉ༷ʹ͋Δ࣌఺ͷग़ྗΛಘΔͨΊʹೖྗ‫ྻܥ‬શମͷ৘ใΛू໿͢Δ. ARSAϠϚϋ‫ࣜג‬ձࣾ- 23 -WISS 20212ؔ࿈‫ڀݚ‬

Human-in-the-Loop ͷίϯηϓτ͸, ୯ʹΠϯλϥΫςΟϒͰ͋Δ͚ͩͰͳ͘, ਓؒΛγεςϜͷ
൓෮ͷҰ෦ͱͯ͠औΓࠐΉ͜ͱͰ, γεςϜࣗମ͕ΑΓ๬·͍݁͠ՌΛग़ྗͰ͖ΔΑ͏ʹߋ৽͍ͯ͘͠
͜ͱʹ͋Δ. த໺Β [5] ͸ෳ਺ύʔτ͕ϛοΫε͞ΕͨԻ‫͔ݯ‬ΒՎ੠Λ෼཭͢ΔͨΊʹ, ࣄલֶशࡁΈͷ DNN ͷϑΝΠϯνϡʔχϯάΛΠϯλϥΫςΟ
ϒʹ͓͜ͳ͏ख๏ΛఏҊͨ͠. ͜ͷγεςϜͰ͸,Ϣʔβ͕Ұ୴ਪఆ͞ΕͨՎ੠ͷ‫ج‬ຊप೾਺ (F0) ͷ‫੻ي‬Λ GUI ্Ͱमਖ਼͠ϑΝΠϯνϡʔχϯάͷͨΊͷ৽ͨͳֶशσʔλͱ͢Δ͜ͱͰ, ָ‫ͱۂ‬Ϣʔβ΁ͷదԠΛ͓͜ͳ͍ͬͯΔ. ͜Ε͸զʑͷΞϓϩʔνʹ͍͕ۙ, લड़ͨ͠Α͏ʹϢʔβͷ࿑ྗΛߟ͑ͨͱ͖ʹ‫࣮ݱ‬తʹ༩͑Δ͜ͱͷͰ͖Δ‫ॴہ‬త͔ͭগྔ
ͷमਖ਼σʔλ͚ͩͰ͸े෼ͳϞσϧదԠΛ͓͜ͳ͏ʹ͸ෆ଍Ͱ͋ΔՄೳੑ͕ߴ͍ͱ͍͏໰୊͕͋Δ.
Human-in-the-Loop ͷγεςϜͰ͸औΓࠐΉਓ͕ؒ‫ݸ‬ਓͱ͸‫ݶ‬Βͳ͍. HumanGAN [6] Ͱ͸Ի੠߹੒ͷͨΊͷ‫ػ‬ցֶशͷ඼࣭Λ޲্ͤ͞ΔͨΊʹ,ֶशதʹੜ੒͞ΕͨԻ੠͕‫ػ‬ց͕ੜ੒ͨ͠΋ͷͳͷ͔࣮ࡍͷਓؒͷ੠ͷ࿥Ի͔Ͳ͏͔ΛΫϥ΢υιʔγϯάΛ࢖࣮ͬͯࡍʹਓʹ൑ผͤͯ͞ධՁؔ਺ͱͯ͠
ར༻ͨ͠. ͔͠͠ͳ͕Β͜͏ͨ͠ෆಛఆଟ਺ͷਓ

全体表示 (波形)拡大範囲
ツールパレット

推定された
ビート

適応ボタン

テンポ変動許容率スライダー

タップモードへの切り替え修正されたビートロックされたビート

オンセット

再生ヘッド

fast
テンポ範囲上限カーブ

テンポ（BPM）

ͱैདྷͷ஫ҙ‫ͱߏػ‬ͷେ͖ͳҧ͍ͱͯ͠. ARSA ͸·ͬͨ͘ࣄલֶशΛ͓͜ͳΘͳ͍. ARSA ͸࣮ߦ࣌ʹͷΈ, ผʹ༻ҙ͞ΕͨࣄલֶशࡁΈ DNN ͷதʹ૊Έࠐ·Ε, ࣮ߦ࣌ϢʔβదԠͷͨΊ͚ͩʹར༻͞
ΕΔ. ͭ·Γ, զʑͷ DNN Ϟσϧ͸ࣄલֶश࣌ͱ
࣮ߦ࣌Ͱ·ͬͨ͘ҟͳΔߏ଄ΛͱΔ.
զʑͷ DNN ϞσϧͰ͸, ࣄલֶश࣌ʹ͸ָ‫ۂ‬ͷ‫ہ‬ॴతͳ৘ใͷΈΛ͔ͭͬͯͦΕͧΕͷ࣌ࠁͰͷϏʔτྭ‫ى‬໬౓ (ͦͷ࣌ࠁ͕Ͳͷ͘Β͍ϏʔτΒ͍͔͠)Λֶश͢Δ. Ұํ, ࣮ߦ࣌ʹ͸ ARSA Λ૊ΈࠐΉ͜ͱʹΑͬͯ͋Δ࣌఺ͷग़ྗΛಘΔͨΊʹָ‫ۂ‬શମͷ৘ใΛू໿ͯ͠‫ࢉܭ‬Λ͓͜ͳ͍ϢʔβదԠΛ͓͜
ͳ͏. ͜ͷ‫ॴہ‬తͳࣄલֶश͸ֶश࣌ͷ‫ࢉܭ‬ίετΛ࡟‫͠ݮ‬, ͔ͭ࣌‫ྻܥ‬શମΛར༻࣮ͨ͠ߦ࣌దԠ͸Ϣʔβͷ‫ॴہ‬తͳΤϥʔमਖ਼ͷӨ‫ڹ‬Λָ‫ۂ‬શମ΁ޮ཰తʹ఻ൖͤ͞Δ͜ͱ͕Ͱ͖Δͱ͍͏ར఺͕͋Δ.
͜ͷ‫ֶॴہ‬श-શମదԠͷઓུ͸, Ϣʔβ͕‫࣮ݱ‬తʹमਖ਼Մೳͳ‫ॴہ‬తͰগྔͷϑΟʔυόοΫ৘ใྔ͚ͩͰ͸ָ‫ۂ‬શମͷϢʔβదԠΛ͓͜ͳ͏ʹ͸ෆे෼
Ͱ͋Δ, ͱ͍͏Ծఆʹ΋ͱ͍͍ͮͯΔ. ຊߘͰ͸γϛϡϨʔγϣϯ‫Ͱ্ڥ؀‬ͷੑೳධՁʹՃ͑ͯ, Իָฤूιϑτ΢ΣΞʹීஈ͔Β‫׳‬Ε਌͠ΜͰ͍Δඃ‫ऀݧ‬ʹΑΔϢʔβελσΟΛ͓͜ͳ͍, ఏҊख๏͕Ϣʔβͷॴ๬͢Δղੳ݁ՌΛಘΔͨΊͷ࿑ྗΛܶతʹ࡟‫͖Ͱݮ‬Δ͜ͱΛࣔ͢.
ຊߘ͸, ࠃࡍֶձͰ͢ͰʹൃදࡁΈͷ಺༰ [3] Λ؆ܿʹ·ͱΊͨ΋ͷͰ͋Δ.

拡大表示

テンポ範囲カーブ制御点推定されたテンポ軌跡

slow

テンポ範囲下限カーブ

ビート励起尤度可視化

ਤ 2. γεςϜ GUI. ָ‫͕ۂ‬ೖྗ͞ΕΔͱ೾‫ͱͱܗ‬΋ʹਪఆ͞ΕͨϏʔτ৘ใΛදࣔ͢Δ. γεςϜ͸
Ϣʔβʹෳ਺छྨͷϏʔτमਖ਼πʔϧΛఏ‫͢ڙ‬Δ.

ؒΛར༻͢ΔΞϓϩʔνͰ͸ଟ͘ͷਓʑͷฏ‫ۉ‬తͳʮਖ਼ղʯ͸ಘΒΕΔ͕, ຊߘͷ໨తͱ͢Δಛఆ‫ݸ‬ਓͷॴ๬ͷ݁ՌΛಘΔ͜ͱʹ͸޲͔ͳ͍.
Bongjun Β [7] ͸Ի‫ڹ‬ΠϕϯτΛޮ཰తʹΞϊςʔγϣϯ͢ΔͨΊͷख๏ΛఏҊͨ͠. Ϣʔβ͕͋ΔԻ‫ڹ‬ΠϕϯτΛҰՕॴࢦఆͯ͠γεςϜʹ༩͑Δͱ, γεςϜ͸࣌‫ྻܥ‬શମͷத͔Βྨࣅͨ͠Ի‫ڹ‬ΠϕϯτͷՄೳੑ͕ߴ͍৔ॴΛީิ৔ॴͱͯ͠Ϣʔβʹ͍͔ͭ͘ఏࣔ͢Δ. Ϣʔβ͸ͦΕΛνΣοΫ͠,࣮ࡍʹ‫ٻ‬Ί͍ͯΔԻ‫ڹ‬Πϕϯτ͔Ͳ͏͔Λ൑அͯ͠γεςϜʹϑΟʔυόοΫ͢Δ. γεςϜ͸ͦΕΛར༻ͯ͠಺෦ͷྨࣅ୳ࡧϞσϧΛߋ৽͠, ΑΓਫ਼౓ྑ͘Ϣʔβͷ‫ٻ‬Ί͍ͯΔީิ఺ΛఏࣔͰ͖ΔΑ͏ʹͳ͍ͬͯ͘. ͜ͷΞϓϩʔν͸Ұ෦զʑͷఏҊख๏ʹ΋औΓೖΕΒΕ͓ͯΓ, Ϣʔβͷ‫ॴہ‬తͳमਖ਼ͷӨ‫͍ߴ͕ڹ‬Մೳੑ͕ߴ͍৔ॴΛਪન͢ΔͨΊʹར༻
͍ͯ͠Δ.

3

ϫʔΫϑϩʔ

ղੳର৅ͷָ‫͕ۂ‬ೖྗ͞ΕΔͱ, γεςϜ͸·ͣࣄલֶशࡁΈͷ DNN ͰഥઅͷղੳΛ͓͜ͳ͍, ॳ‫ظ‬ঢ়ଶͱͯ͠ը໘ʹ݁ՌΛදࣔ͢Δ (ਤ 2). ָ‫ۂ‬Λ࠶ੜ͢Δͱ, γεςϜ͸࠶ੜϔουͱͱ΋ʹਪఆ͞ΕͨഥͷҐஔͰΫϦοΫԻΛॏͶͯ໐Β͢͜ͱͰϢʔβʹഥҐஔΛఏࣔ͢Δ. Ϣʔβ͸ͦΕΛௌ͖, ͦͷ݁Ռ͕๬·͍͔͠Ͳ͏͔Λ൑அ͠, ΋͠๬·͘͠ͳ͔ͬͨ৔߹ʹ͸ͦΕΛमਖ਼͢Δ. ͜ͷमਖ਼࡞‫ۀ‬ͷͨΊʹ͸಺༰ʹԠͯ͡Կछྨ͔ͷπʔϧ͕༻ҙ͞Ε͍ͯΔ. ಛఆͷഥͷҐஔΛϚ΢εͰҠಈͨ͠Γ, ௥Ճ/࡟আͰ͖Δ‫ج‬ຊతͳૢ࡞ʹՃ͑ͯ, DNN ͷग़ྗ͔Β࠷ऴతͳϏʔτҐஔΛ֬ఆ͢ΔͨΊͷςϯϙ‫੻ي‬ਪఆ (4 ষ) Λ͢Δࡍͷ্Լ‫ݶ‬ͷൣғΛϕδΣ‫ۂ‬ઢͰઃఆͨ͠Γ, ςϯϙมಈ͕ͲΕ͚ͩ‫ڐ‬༰͞ΕΔ͔
ΛεϥΠμʔͰઃఆ͢Δ͜ͱ͕Ͱ͖Δ. ςϯϙ্Լ‫ݶ‬ͷઃఆ͸, ਪఆ͞Εͨഥ͕໌Β͔ʹॴ๬ͷ΋ͷ͔- 24 -

Human-in-the-Loop ‫ܕ‬దԠʹΑΔΠϯλϥΫςΟϒͳԻָతഥઅղੳ
各フレームのビート励起尤度Β֎Ε͍ͯΔ৔߹ (ྫ͑͹ 2 ഒ΍൒෼ͷςϯϙͩͬͨͱ͖) ʹ·ͱΊͯશମΛमਖ਼͢Δͷʹ༗ޮͰ͋Δ.
·ͨςϯϙมಈ‫ڐ‬༰཰͸ϩοΫ΍ϙοϓεͳͲ΄΅ςϯϙ͕Ұఆͷ৔߹͸௿͘, ‫ʹٯ‬ΫϥγοΫͷΑ͏ʹେ͖͘มಈ͢Δָ‫ʹۂ‬ରͯ͠͸ߴ͘ઃఆ͢Δͱॴ๬ͷ݁Ռ͕ಘΒΕ΍͘͢ͳΔ. ·ͨ, ͻͱͭͣͭഥ
ҐஔΛमਖ਼͢ΔͷͰ͸ͳ͘, ࠶ੜΛ͠ͳ͕Βಉ࣌ʹΩʔϘʔυΛλοϓ͢Δ͜ͱͰͦͷ෦෼ͷഥΛ·ͱΊͯ௚઀ࢦఆ͢Δπʔϧ΋༻ҙ͞Ε͍ͯΔ.
Ϣʔβ͸͜ΕΒͷπʔϧΛ࢖ͬͯ͘͝গ਺ͷ‫ʹؾ‬ೖΒͳ͍ՕॴͷΈΛमਖ਼͠, ࢒Γͷ෦෼ʹमਖ਼Օॴ
͕͋Δ͔Ͳ͏͔͸ؔ஌͢Δඞཁ͸ͳ͍. Ϣʔβ͕मਖ਼ͨ͠ͷͪ, ਤ 2 ӈ্ͷదԠϘλϯΛԡ͢͜ͱͰ಺
෦ϞσϧͷదԠϓϩηε͕։࢝͞Ε, ࢒ΓͷϢʔβ͕௚઀ฤू͍ͯ͠ͳ͍Օॴʹ΋ࣗಈमਖ਼͕͓͜ͳΘΕ͍ͯ͘. ͜ͷదԠ͸൓෮͝ͱʹ‫ܦ‬ա͕ը໘ʹදࣔ͞ΕΔͷͰ, Ϣʔβ͸೚ҙͷλΠϛϯάͰదԠϓϩηεΛετοϓ͠, ݁ՌΛௌ͍ͯ֬ೝ͢Δ. ͜ͷ൓෮࡞‫ۀ‬ΛϢʔβ͸ָ‫ۂ‬શମͷਪఆ݁Ռ͕๬·͍͠΋ͷʹͳΔ·Ͱ‫܁‬Γฦ͢.
͜͜Ͱ૝ఆ͠ಘΔ໰୊ͱͯ͠, ୯७ʹϞσϧదԠΛ͓͜ͳͬͨ৔߹, ຊ౰͸मਖ਼ͯ͠΄͘͠ͳ͍ͱ͜
Ζ·Ͱमਖ਼͞Εͯ͠·͏Մೳੑ͕͋Δ. ͜ΕΛ๷͙ͨΊ, ఏҊख๏ʹ͸मਖ਼͕ඞཁͳՄೳੑ͕ߴ͍৔ॴ
ʹ͸େ͖ͳӨ‫ڹ‬Λ, ‫Ͱ͏ͦʹٯ‬͸ͳ͍৔ॴʹ͸ΑΓখ͞ͳӨ‫ڹ‬ͷΈΛ‫͢΅ٴ‬Α͏ͳΠϯλϥΫςΟϒͳదԠϓϩηεΛ૊Έࠐ·Ε͍ͯΔ (5.3 ষ). Ϣʔβ͕͋ΔഥΛमਖ਼͢Δͱ, γεςϜ͸ͦͷमਖ਼ʹΑͬͯӨ‫͕ڹ‬େ͖͍Մೳੑ͕͋Δ৔ॴΛԿՕॴ͔ఏࣔ͢Δ (ਤ 3 ͷʁϚʔΫ). Ϣʔβ͸ͦͷ৔ॴΛ࠶ੜͯ͠,

0.5

0
0

?: 推薦された拍

300

400

500

600

700

800

time

過去のフレーム

未来のフレーム

着目しているフレームt

ਤ 4. ࣄલֶश࣌ʹ͸͋Δ࣌ࠁपลͷ‫ॴہ‬తͳ৘ใΛೖྗͯͦ͠ͷ࣌ࠁͷϏʔτྭ‫ى‬໬౓Λग़ྗ͢Δ.

Λ΋͍ͪͨख๏ʹ‫͍͍ͯͮج‬Δ [1]. ͜ͷख๏͸ 2 ஈ֊ͷϓϩηε͔Β੒Γཱͭ. ·ͣ, ָ‫ۂ‬Λࡉ͔ͳ࣌ؒ
ϑϨʔϜʹ෼ׂ (αϯϓϦϯάप೾਺ 44.1kHz Ͱ૭௕ 4096 αϯϓϧ, Hanning ૭, ϗοϓαΠζ 2048
αϯϓϧΛ࠾༻) ͠ϑϨʔϜ͝ͱͷಛ௃ྔ (48 ࣍‫ݩ‬
MFCC ࣌ؒࠩ෼Λ࠾༻) Λ‫͠ࢉܭ‬ɺ͜ΕΛ DNN ʹ
ೖྗ͢Δ. ͜ͷ DNN ͸֤࣌ࠁͷલ‫ޙ‬໿ 2.4 ඵ෼Λ‫ؚ‬Ίͨ‫ॴہ‬తͳ 91 ϑϨʔϜΛೖྗͱͯ͠, ͦͷ࣌ࠁʹ͓͚ΔϏʔτྭ‫ى‬໬౓ ∈ [0, 1] Λग़ྗ͢Δ. ࣍
ʹ 2 ஈ֊໨ͱͯ͠, ‫ͨͬ·ٻ‬Ϗʔτྭ‫ى‬໬౓ͷ‫ྻܥ‬Λ΋ͱʹָ‫ۂ‬શମΛ௨ͯ͠࠷΋໬΋Β͍͠ςϯϙ‫ي‬੻Λ‫͢ࢉܭ‬Δ͜ͱͰ࣮ࡍͷ཭ࢄతͳϏʔτҐஔΛ֬ఆ͢Δ [8]. զʑͷ DNN ΞʔΩςΫνϟ͸ 3 ஈͷ
TCN ϒϩοΫͱ௚ྻʹ઀ଓ͞Εͨ 3 ૚ͷ ReLU ‫׆‬ੑ૚෇͖ઢ‫ܗ‬૚͔Β੒Δ (ਤ 4). ·ͨ, Ϗʔτྭ‫ى‬໬౓‫͔ྻܥ‬Βͷ࠷໬ςϯϙਪఆʹ͸ӅΕηϛϚϧί
ϑϞσϧ [9] ʹΑΔ Viterbi ΞϧΰϦζϜʹΑͬͯ‫ࢉܭ‬Λ͓͜ͳ͏. ͳ͓ຊߘͷ࣮‫Ͱݧ‬ͷ DNN ͷࣄલֶशʹ͸σʔληοτͱͯ͠ GTZAN [10], RWC
Popular, Genre [11][12] ͱ Amazon Music ͔Βߪೖͨ͠෯޿͍δϟϯϧͷָ‫ ۂ‬400 ‫͔ۂ‬ΒࣗલͰ࡞੒
ͨ͠΋ͷΛ࢖༻ͨ͠.

N: negativeラベル

ਤ 3. मਖ਼ͷӨ‫͕ڹ‬େ͖͍৔ॴͷϥϕϦϯά

5ຊ౰ʹमਖ਼͕ඞཁ͔Ͳ͏͔Λ൑அ͠, ඞཁͳ৔߹͸
positive, ͦ͏Ͱͳ͍৔߹͸ negative ϥϕϧΛׂΓ
౰ͯΔ. ΋͠ఏࣔ͞Εͨഥ͕मਖ਼͕ඞཁͩͬͨͱ͠
ͯ΋Ϣʔβ͸ͦͷՄ൱Λ൑அ͢Δ͚ͩͰΑ͘, ௚઀खͰमਖ਼͢Δඞཁ͸ͳ͍. ͜Ε͸Ϣʔβͷ࿑ྗΛ࡟‫͢ݮ‬Δ͏͑Ͱॏཁͳ఺Ͱ͋Δ. ͳͥͳΒഥͷҐஔͷमਖ਼࡞‫ۀ‬͸, ୯ʹԻΛௌ͍ͯՄ൱Λ൑அ͢Δ͚ͩΑΓͣͬͱίετ͕ߴ͍͔ΒͰ͋Δ. ͜ͷϥϕϦϯά
࡞‫ۀ‬͸ඞਢͰ͸ͳ͘, ·͓ͨ͜ͳ͏৔߹΋ఏࣔ͞Εͨ͢΂ͯͷϏʔτʹ΍Δඞཁ΋ͳ͍. ͔͠͠దԠϘλϯΛԡ͢લʹΘ͔ͣͳ௥ՃλεΫͱͯ͠໨ʹ͍ͭͨਪનϏʔτʹର͓ͯ͜͠ͳ͏͜ͱͰϢʔβ͸ෆ౎߹ͳϞσϧదԠΛආ͚Δ͜ͱ͕Ͱ͖Δ.

4

200

TCN

修正された拍P: positiveラベル

100

線形層+ ReLU活性化関数5.1ϏʔττϥοΩϯά

ຊߘͰѻ͏ϏʔττϥοΩϯάͷΞϧΰϦζϜ͸
‫ج‬ຊతʹ Temporary Convolutional Network (TCN)- 25 -

దԠΞϧΰϦζϜ
Ϣʔβमਖ਼ʹର͢ΔదԠ໨తؔ਺

Ϣʔβ͕ഥҐஔΛमਖ਼͢Δͱ, γεςϜ͸‫ࡏݱ‬ͷղੳ݁Ռͱͷ‫͔ࠩޡ‬ΒϞσϧదԠΛ͓͜ͳ͏ͨΊͷ໨తؔ਺Λ࡞੒͠, ͦΕΛ֬཰తޯ഑๏Ͱ࠷খԽ͢
Δ. ͜͜Ͱ͸ྫͱͯ͋͠ΔഥͷҐஔΛҠಈͨ͠৔߹
Λ૝ఆͯ͠આ໌͢Δ͕, ଞͷπʔϧͰͷमਖ਼ʹ͍ͭͯ΋ಉ༷ͷߟ͑ํΛద༻Ͱ͖Δ. దԠ‫ʹޙ‬໨ࢦ͢΂͖ঢ়ଶͱͯ͠, Ϣʔβ͕मਖ਼‫ޙ‬ͷϏʔτΛ bi , ͦͷલ‫ޙ‬ͷϏʔτΛ bi−1 , bi+1 ͱ͢Δͱ, DNN ͷग़ྗ͕bi ͷҐஔͰ 1 ʹۙ͘ (Ϗʔτྭ‫ى‬໬౓͕ߴ͘), ‫ʹٯ‬
bi +bi−1
bi +bi+1, b+
Ͱ 0 ʹۙ
ഥͱഥͷத఺ b−
i =
i =
2
2
͘ (Ϗʔτྭ‫ى‬໬౓͕௿͘) ͳΔΑ͏ʹ͢Δ (ਤ 5).
Αͬͯ࠷খԽ͢΂͖ଛࣦ L(t) ͸मਖ਼Ґஔपลͷ֤ϑϨʔϜ t (ਤ 5 ͷΦϨϯδͷϑϨʔϜ) ্Ͱ,!
"#!
!
|bc − t| !!
L(t) = !!DN N (t) − 1 − min(1.0,) ! (1)W
2

WISS 2021
ビート励起尤度関数のターゲット形状

ͱͳΔ. α ͸ॏΈ܎਺Ͱ͋Δ (α = 0.5 Λ࢖༻). ͳ
͓, WQ , WK , WV ʹ͍ͭͯ͸୯ҐߦྻͰॳ‫ظ‬Խ͢Δ͜ͱʹΑΓ͜ͷ ARSA ͸ඇదԠ࣌΄΅߃౳ؔ਺ͱͯ͠‫ػ‬ೳ͢Δ.

修正後のビート位置
ビート励起尤度
ユーザがビート位置を移動

bi+1

bi−1 損失を計算するフレーム bi

5.3

frame tࣜ (2) ͷ w t ͸ ARSA ಠಛͷύϥϝʔλͰ͋ΓϢʔβͷΠϯλϥΫςΟϒͳϥϕϦϯάʹΑܾͬͯ
·Δ. 3 ষͰड़΂ͨΑ͏ʹ, Ϣʔβ͕ഥΛमਖ਼͢Δ
ͱγεςϜ͸͔ͦ͜ΒϞσϧదԠΛ͓͜ͳͬͨͱ͖
ʹӨ‫͕ڹ‬େ͖͍Մೳੑ͕ߴ͍৔ॴ͕͍͔ͭ͘ఏࣔ͢
Δ. ͜ͷఏࣔՕॴ͸஫ҙ‫ߏػ‬ຊདྷͷ࢓૊Έʹ‫͍ͮج‬ܾͯఆ͞ΕΔ. ஫ҙϚοϓ d(t → i) ͕େ͖͍ͱ͍͏
͜ͱ͸ϑϨʔϜ t ͸ΑΓϑϨʔϜ i ʹରͯ͠஫໨͠
͍ͯΔͱ͍͏͜ͱͰ͋Δ. ‫͑ݴʹٯ‬͹, ϑϨʔϜ t ্Ͱ༩͑ΒΕͨଛࣦ͸ϑϨʔϜ i ʹΑΓଟ͘‫఻ٯ‬ൖ͢
Δͱ͍͏͜ͱΛ͍ࣔͯ͠Δ. Αͬͯ୯७ʹ஫ҙϚοϓͷ஋͕େ͖ͳՕॴ Ct ෇ۙͷഥ͕Ө‫ڹ‬Λड͚΍͍͢ͱΈͳ͢͜ͱ͕Ͱ͖ΔͨΊ, ͦΕΒΛఏࣔ͢Δ.
ఏࣔ͞Εͨഥʹରͯ͠Ϣʔβ͸ຊ౰ʹमਖ਼͕ඞཁ
͔Ͳ͏͔Λ൑அ͠, positive/negative ϥϕϧΛׂΓ
౰ͯΔ. ϥϕϧࣗମ͸ഥ͝ͱʹׂΓ౰ͯΒΕΔ͕,γεςϜ಺෦Ͱ͸ͦΕΒͷഥपลͷϑϨʔϜʹରͯ͠ϥϕϧ෇͚͕͓͜ͳΘΕΔ. ͜ΕΒͷؔ܎͔Β w t
͸ Fisher’s criterion [7] ͱಉ༷ʹ,ਤ 5. Ϣʔβमਖ਼͔Β DNN ΁༩͑Δଛࣦͷ࡞੒.
修正位置の損失

後段

各フレームのビート励起尤度＋Adaptive Runtime
Self-Attention

逆伝搬

中間特徴量 ft前段

time

ਤ 6. ࣮ߦ࣌ʹ͸ࣄલֶश͞Εͨ DNN Λ෼ׂ͠, ৽ͨʹ ARSA ϒϩοΫΛ૊ΈࠐΉ.

ͷΑ͏ʹఆٛ͞ΕΔ. ͜͜Ͱ, bc ͱ W ͸ͦΕͧΕϑϨʔϜ t ͔Β࠷ۙ๣ͷϏʔτͱ૭௕, DN N (t) ͸ϑϨʔϜ t Ͱͷ DNN ͷग़ྗͰ͋Δ.

5.2

దԠ‫ݾࣗ࣌ߦ࣮ܕ‬஫ҙ‫( ߏػ‬ARSA)զʑͷ DNN Ϟσϧ͸ࣄલֶश࣌ʹ͸͋Δ࣌ؒϑϨʔϜͰͷϏʔτྭ‫ى‬໬౓Λग़ྗ͢ΔͨΊʹͦͷपลͷ‫ॴہ‬తͳ৘ใͷΈΛར༻͢Δߏ଄Λ͍ͯ͠Δ(ਤ 4). Ұํ࣮ߦ࣌ʹ͸, ͦͷࣄલֶशͨ͠ DNN Λલ൒ϒϩοΫ (3 ϒϩοΫͷ TCN) ͱ‫ޙ‬൒ϒϩοΫ(TCN ϒϩοΫҎ߱ͷग़ྗஈଆ) ͷ 2 ͭʹ෼ׂͯ͠,ͦͷؒʹ ARSA Λૠೖ͢Δ (ਤ 6). ͭ·ΓզʑͷϞσϧߏ଄͸ֶश࣌ͱ࣮ߦ࣌ͰҟͳΔ. ARSA ͸ֶश࣌ͷ‫ॴہ‬తͳࢹ໺ͷద༻ͱ͸ҟͳΓ, ָ‫ۂ‬શମΛ௨ͨ͠தؒಛ௃ྔ (લ൒ϒϩοΫͷग़ྗ) Λू໿͠,‫ޙ‬൒ϒϩοΫͷͨΊͷೖྗΛग़ྗ͢Δ. ͜ͷֶश࣌ͱ࣮ߦ࣌ͰҟͳΔߏ଄ΛͱΔ৽͍͠λΠϓͷ DNN
Ϟσϧ͸, ֶश࣌ͷ‫ࢉܭ‬ίετͷ࡟‫ͱݮ‬Ϣʔβͷ‫ہ‬ॴతͳϑΟʔυόοΫͷӨ‫ڹ‬Λָ‫ۂ‬શମ΁ޮ཰ྑ͘
෼഑͢Δ࣮ߦ࣌దԠΛόϥϯεྑཱ྆͘͢Δ.
લ൒ϒϩοΫͷग़ྗͰ͋Δதؒಛ௃ྔΛ f t ∈ RD
ͱ͢Δͱ, ARSA ͸·ͣ௨ৗͷ஫ҙ‫ͱߏػ‬ಉ༷ʹ֤࣌ࠁ t ͷΫΤϦ Qt = WQ · f t , Ωʔ K t = WK · f t ,όϦϡʔ V t = WV · f t , WQ , WK , WV ∈ RD×DΛ‫͢ࢉܭ‬Δ. ͜ΕΒͷϕΫτϧ͔Β ARSA ͷϑϨʔϜ t ʹ͓͚ΔϑϨʔϜ i ΁ͷ஫ҙϚοϓ͸,

wt =

6
6.1

i∈Ct

%

(4)

ධՁ
γϛϡϨʔγϣϯ࣮‫ݧ‬ఏҊख๏ͷੑೳΛධՁ͢ΔͨΊ, ·ͣγϛϡϨʔγϣϯ‫ڥ؀‬ԼͰͷ࣮‫ݧ‬Λ͓͜ͳͬͨ. ͜ͷ࣮‫Ͱݧ‬͸
ARSA ༗Γͱແ͠ͷͱ͖ͷϞσϧదԠΛൺֱ͢Δ.
͜͜Ͱ ARSA ແ͠ͷ৔߹ͱ͸, ୯७ʹࣄલֶशͨ͠
DNN ߏ଄Λͦͷ··࢖͍, Ϣʔβ͕मਖ਼ͨ͠σʔλΛ৽ͨͳֶशσʔλͱͯ͠ϑΝΠϯνϡʔχϯά
͢Δ͜ͱΛҙຯ͠, ͜Ε͸த໺Β [5] ͷख๏ͱ΄΅ಉ༷ͷ΋ͷͱͳΔ. ‫༻ূݕ‬σʔλͱͯ͠͸ࣄલֶशσʔλʹ͸Ұ੾‫·ؚ‬Ε͍ͯͳ͍ SMC MIREX [13]Λ࢖༻ͨ͠. ͜ͷσʔληοτʹ͸ϏʔτҐஔͷΞϊςʔγϣϯ৘ใͱͱ΋ʹ༷ʑͳδϟϯϧͷ 217 ‫ۂ‬͕ऩ࿥͞Ε͍ͯΔ. ·ͨ͢΂ͯͷ‫ۂ‬ͷ௕͞͸ 40 ඵʹଗ͑ΒΕ͍ͯΔ.

Ͱ‫͞ࢉܭ‬ΕΔ. ͜͜Ͱ, wt ∈ RD ͸ϢʔβͷϥϕϦ
ϯάʹΑܾͬͯ·ΔॏΈ, Pe (δt) ∈ RD ͸૬ରҐஔຒΊࠐΈͰ͋Δ [4]. ͜ͷ d(t → i) Λ i ʹ͍ͭͯιʔτ͠஋ͷେ͖ͳ΋ͷ͔Β N ϑϨʔϜ (͜͜Ͱ͸
N=512 Λ࠾༻) αϯϓϦϯάͨ͠ू߹Λ Ct ͱ͢Δ
ͱ ARSA ͷग़ྗ͸,$(avg(At,pos ) − avg(At,neg ))2,
std(At,pos )2 + std(At,neg )2ͷΑ͏ʹ‫ٻ‬ΊΒΕΔ. ͜͜Ͱ, At,pos ͱ At,neg ͸ͦΕͧΕϑϨʔϜ t ʹର͢Δ positive/negative ϑϨʔϜ i Ͱͷ Qt ⊗ Pe (|t − i|) ⊗ K i Ͱ͋Δ. ͜ͷ w t ͸Ϣʔβ͕৽͍͠ϥϕϧΛׂΓ౰ͯΔͨͼʹ࠶‫͞ࢉܭ‬Ε, Ϣʔβͷमਖ਼ʹΑͬͯӨ‫ڹ‬Λड͚ͯ΄͘͠ͳ͍৔ॴ΁ͷӨ‫ڹ‬Λ‫ݮ‬Β͠, ‫ʹٯ‬Ө‫ڹ‬Λड͚ͯ΄͍͠৔ॴʹ͸૿΍͢ޮՌ͕͋Δ.

d(t → i) = (wt ⊗ Qt ) · (Pe (|t − i|) ⊗ K i ), (2)yt = (1 − α) · V t + αΠϯλϥΫςΟϒͳ஫ҙϚοϓ࠷దԽed(t→i)· V i , (3)d(t→j)j∈Ct e- 26 -

Human-in-the-Loop ‫ܕ‬దԠʹΑΔΠϯλϥΫςΟϒͳԻָతഥઅղੳ

6.2

ϢʔβελσΟ6.2.1ηοτΞοϓ

曲全体を通した平均二乗誤差 (含まれる正解拍数で正規化)

Error࣮‫ݧ‬ͷखଓ͖ͱͯ͠͸, ·ͣͦΕͧΕͷ‫͍͓ʹۂ‬ͯղੳΛ͓͜ͳ͍, ࠷΋େ͖ͳΤϥʔ (ഥपลͷϑϨʔϜͷฏ‫ۉ‬ೋ৐‫ )ࠩޡ‬Λ‫؍‬ଌͨ͠ഥΛ‫ۂ‬த͔Β୳͠ग़͠, ͦΕΛࣗಈతʹΞϊςʔγϣϯ͞Ε͍ͯΔ
ਖ਼ղҐஔ΁मਖ਼͢Δ. ࣍ʹγεςϜʹରͯ͠ 100 ൓෮ͷϞσϧదԠΛ࣮ߦ͢Δ. ͜ͷࣗಈͰͷഥमਖ਼ͱϞσϧదԠͷ૊Έ߹ΘͤΛ 5 ճ‫܁‬Γฦ͠, ‫ ܭ‬500 ճͷదԠ൓෮ΛಘΔ. ARSA ͷϥϕϦϯάʹ͍ͭͯ͸ࣗಈͰ֤मਖ਼͝ͱʹϥϯμϜʹબ୒͞Εͨ 5 Օॴ͓ͣͭ͜ͳ͏. ͜͜ͰՄ൱ͷ൑அʹ͍ͭͯ͸, ఏࣔ͞Εͨഥ͕Ξϊςʔγϣϯ͔Β ±70 ms Ҏ಺ʹೖ͍ͬͯΕ͹ positive, ͦΕҎ֎Λ negative ͱΈͳͨ͠.
ਤ 7 ʹ݁ՌΛࣔ͢. ্ஈʹָ֤‫ۂ‬શମΛ௨ͨ͠ฏ‫ۉ‬ೋ৐‫ʹͱ͝ۂ֤( ࠩޡ‬ഥͷ਺Ͱਖ਼‫ن‬Խ‫ )ޙ‬Λ͍ࣔͯ͠Δ. ໌Β͔ʹఏҊख๏͸΄ͱΜͲͷָ‫͍͓ʹۂ‬ͯ, ௥Ճमਖ਼͕༩͑ΒΕΔҎલʹখ͞ͳΤϥʔ΁଎͘ऩଋ͍ͯ͠Δͷ͕Θ͔Δ. Ұํ, ൺֱख๏Ͱ͸ 100൓෮͝ͱʹ͓͜ͳΘΕΔഥमਖ਼ͷλΠϛϯάͰ֊ஈঢ়ʹΤϥʔ͸Լ͕͍ͬͯΔ͕, ‫ۂ‬શମͱͯ͠͸͋·Γ‫͕ࠩޡ‬খ͘͞ͳΒͳ͍͜ͱ͕ΈͯͱΕΔ. ͜Ε͸‫ॴہ‬తͳमਖ਼ͰͷϑΝΠϯνϡʔχϯά͚ͩͰ͸ָ‫ۂ‬શମʹରͯ͠దԠΛ͓͜ͳ͏ʹ͸ෆे෼Ͱ͋Γ,
ARSA ͷಋೖʹΑͬͯͦΕΛେ͖͘վળͰ͖Δ͜ͱ
Λ͍ࣔͯ͠Δ. ਤ 7 Լஈ͸ͲͪΒͷख๏ͷ΄͏͕ͲΕ͚ͩదԠ͕଎͘ਐߦ͢Δ͔ͷൺֱΛ͓ࣔͯ͠Γ,F1 ஋ (ഥઅղੳʹ͓͍ͯ‫ۂ‬શମΛ௨ͨ͠ਖ਼ղ཰ͱ͠
ͯ޿͘࢖ΘΕ͍ͯΔࢦඪ [14]) ͷ஋͕ॳΊͯ 0.8 Λ௒͑ͨͱ͖ͷ൓෮ճ਺Λ N A (ఏҊख๏) ͱ N B (ൺֱख๏) ͱ͢Δͱ, ͦΕΒͷࠩ N B − N A Λ͍ࣔͯ͠Δ. ͭ·Γେ͖ͳਖ਼ͷ஋ (੨) ʹͳΔ΄ͲఏҊख๏ͷ΄͏͕ΑΓ଎͘ਫ਼౓ͷߴ͍ঢ়ଶʹ౸ୡͨ͜͠ͱ
Λ͓ࣔͯ͠Γ, ΄ͱΜͲͷ‫͍͓ͯʹۂ‬ఏҊख๏ͷ΄͏͕ൺֱख๏Λ্ճ͍ͬͯΔ͜ͱ͕ΈͯͱΕΔ. ࣮ࡍ, ౷‫ܭ‬తʹ΋ 156/217 ‫͍͓ͯʹۂ‬ΧΠೋ৐൑ఆͰ༗ҙ (p<0.05) ʹఏҊख๏ͷ΄͏͕଎͘ऩଋ͍ͯ͠
Δ݁Ռͱͳͬͨ. ·ͨ, ‫ࢉܭ‬ίετͱͯ͠͸, ͜ͷγϛϡϨʔγϣϯ࣮‫ ͍͓ͯʹݧ‬217 ‫ͯ΂͢ۂ‬Λॲཧ͢ΔͷʹఏҊख๏Ͱ 5.5 ࣌ؒ, ൺֱख๏Ͱ 5 ࣌ؒΛཁ
ͨ͠. ͭ·Γฏ‫ͯ͠ۉ‬Ұ‫ ۂ‬40 ඵ͋ͨΓ 8 ඵͷࠩͰ͋Γ, ͜Ε͸Ϣʔβ͕࣮ࡍʹमਖ਼Λ͓͜ͳ͏࣌ؒʹൺ΂࣮ͯ༻తʹແࢹͰ͖ΔΦʔόʔϔουͱ‫͑ݴ‬Δ.

0.6

Ours

without ARSA

0.4

0.2

#iteration#iteration

適応速度の比較

#diff
400
200
0
-200
-400
0

20

40

60

80

100

120

140

160

180

200

#Music IDਤ 7. γϛϡϨʔγϣϯ࣮‫݁ݧ‬Ռ. ্ஈ: ൓෮ճ਺ʹͱ΋ͳ͏ָ֤‫ۂ‬શମΛ௨ͨ͠ฏ‫ۉ‬ೋ৐‫ࠩޡ‬ͷਪҠ. Լ
ஈ: ఏҊख๏ͱൺֱख๏ؒͰͷऩଋ଎౓ͷࠩ෼.

ϓ͢Δ͜ͱͰ͋Γ, ͜ͷ࠷୹࣌ؒ͸‫ۂ‬ͷ௕͞෼Ͱ͋
Δ. Αͬͯ͜ͷ࣌ؒΑΓ୹࣌ؒͰඃ‫͕ऀݧ‬मਖ਼Λऴ͑Δ͜ͱ͕Ͱ͖Ε͹, ఏҊख๏ͷ༗ޮੑΛࣔ͢͜ͱ
͕Ͱ͖Δͱߟ͑ΒΕΔ.
ඃ‫ීͯ͠ͱऀݧ‬ஈ͔ΒԻָฤूιϑτ΢ΣΞʹ‫׳‬Ε਌͠ΜͰ͍Δ 5 ໊ΛूΊͨ. ·ͣ࠷ॳʹͦΕͧΕͷඃ‫ʹऀݧ‬զʑͷΠϯλϑΣʔεͷ࢖͍ํΛઆ໌͠,࣮ࡍʹ৮ͬͯ࿅शͯ͠΋Βͬͨ (45 ෼). ࣍ʹຊ൪λεΫͱͯ͠, Ͱ͖Δ‫ݶ‬Γ͢͹΍͘ςετָ‫ؚʹۂ‬·ΕΔղੳΤϥʔΛఏҊΠϯλϑΣʔεΛ࢖ͬͯमਖ਼ͯ͠΋Βͬͨ. ͜ͷςετָ‫ʹۂ‬͸ RWC Jazzσʔληοτ [11] ͔Β 2 ‫( ۂ‬No.40 - 7 ෼ 41 ඵ, ਖ਼ղϏʔτ਺ 481 ‫ݸ‬, No.41 - 6 ෼ 6 ඵ, ਖ਼ղϏʔτ਺
637 ‫ )ݸ‬ΛબΜͩ. ͲͪΒͷָ‫ۂ‬΋ॳ‫ظ‬ঢ়ଶͰͷղੳͰ͸खಈͰ͢΂ͯमਖ਼͢Δʹ͸‫࣮ݱ‬తͰ͸ͳ͍ଟ͘ͷ਺ͷΤϥʔ͕‫·ؚ‬Ε͍ͯͨ. ͢΂ͯͷඃ‫͕ऀݧ‬͜ͷ 2 ‫ۂ‬Λमਖ਼ͨ͠. ·ͨ, ඃ‫ऀݧ‬ґଘʹΑΔָ‫ۂ‬΁ͷղऍͷࠩҟΛආ͚ΔͨΊ, զʑ͸ਖ਼ղϏʔτͷҐஔͰΫϦοΫԻΛॏͶͨʮਖ਼ղԻָϑΝΠϧʯΛ͋Β͔͡Ί࡞੒͓͖ͯ͠, ͜ͷλεΫΛ࢝ΊΔ௚લʹඞͣ͢΂ͯͷඃ‫ʹऀݧ‬ௌ͍ͯ΋Β͍, ͦͷʮਖ਼ղʯΛ໨ࢦͯ͠मਖ਼Λ͓͜ͳ͏Α͏ʹࢦࣔΛͨ͠. मਖ਼
͢ΔͨΊʹ͸ 3 ষͰड़΂ͨ͋ΒΏΔπʔϧΛ࢖༻Մೳͱ͕ͨ͠, λοϓࢦఆͷπʔϧ͚ͩ͸࿈ଓͯ͠ 5ඵҎ্࢖༻͢Δ͜ͱΛ‫ͨ͡ې‬. ͜Ε͸, ‫ۂ‬શମΛҰ౓͚ͩ௨ͯ͠λοϓͨ͠৔߹ͷϕʔεϥΠϯͱ໌֬ʹࠩผԽ͢ΔͨΊͰ͋Δ. ҰՕॴमਖ਼͢Δ͝ͱʹඞͣదԠϘλϯΛԡ͢͜ͱ΋ٛ຿෇͚ͨ. ͜ͷλεΫΛ͓͜ͳ͍ͬͯΔؒ, զʑ͸࣌ؒΛ‫ܭ‬ଌ͢Δͱͱ΋ʹ F1 ஋ͷ࣌ؒมԽΛ‫ه‬࿥ͨ͠. ͦΕͧΕͷλεΫ
͸ F1 ஋͕ 0.9 Λ௒͑ͨஈ֊ (3 ඵؒҎ্‫ܧ‬ଓ. దԠ్தͰॠؒతʹ஋͕ߴ͘ͳΔঢ়ଶΛআ֎͢ΔͨΊ)Ͱͨͱ͑ඃ‫ۂ͕ऀݧ‬શମΛௌ͍ͯ࠷ऴνΣοΫΛ͍ͯ͠ͳ͔ͬͨͱͯ͠΋ଧͪ੾ͬͯऴྃͤͨ͞. ࠷‫ޙ‬ʹ͜ͷຊ൪λεΫΛऴ͑ͨͷͪ, ΠϯλϑΣʔεͷ࢖༻‫͍ͯͭʹײ‬ͷ؆୯ͳΠϯλϏϡʔΛ͓͜ͳͬͨ
(10 ෼).

ఏҊख๏͕ͲΕ͚ͩϢʔβͷमਖ਼ޮ཰Λ޲্͞
ͤΔ͔ΛධՁ͢ΔͨΊ, ϢʔβελσΟΛ͓͜ͳͬͨ. ͜ͷ࣮‫Ͱݧ‬͸, ର৅ָ‫ۂ‬ͷղੳ݁Ռʹ‫·ؚ‬ΕΔΤϥʔΛमਖ਼͢ΔλεΫͰͷ࡞‫ؒ࣌ۀ‬Λ‫ܭ‬ଌ͢Δ.
͜ͷ࡞‫ؒ࣌ۀ‬ͷ‫ج‬४ͱͯ͠, զʑ͸ର৅ָ‫ۂ‬ͷ૯࠶ੜ࣌ؒΛઃఆͨ͠. ͜Ε͸ҎԼͷཧ༝ʹΑΔ΋ͷͰ͋Δ. ‫ط‬ଘͷํ๏Ͱ࠷΋଎͘ϏʔτҐஔΛΞϊςʔγϣϯ͢Δํ๏͸, ‫ۂ‬શମΛ௨ͯ͠Ұ౓Ͱਖ਼֬ʹλο- 27 -WISS 2021

F1値

RWC Jazz .40

RWC Jazz .41

1

1

0.9

0.9

0.8

0.8

0.7

0.7

0.6

0.6

0.5

0.5

0.4

0.4

0.3

0.3

0.2

0.2

0.1

0.1

0
0

50

100

150

200

250

300

作業時間 (秒)

350

400

450

0
500 0

曲の総再生時間

50

100

150

200

250

300

350

400

作業時間 (秒)ਤ 8. ࡞‫ܦؒ࣌ۀ‬ա (ԣ࣠) ʹͱ΋ͳ͏֤ඃ‫ͱ͝ऀݧ‬ͷϏʔτਖ਼ղ཰ (ॎ࣠, F1 ஋). ͷਪҠ.

6.2.2 ݁Ռ
ਤ 8 ʹຊ൪λεΫͰͷ֤ඃ‫ऀݧ‬ͷ F1 ஋ͷਪҠ݁ՌΛࣔ͢. ਨ௚ͷ఺ઢ͸ָ‫ۂ‬ͷ૯࠶ੜ࣌ؒΛࣔͯ͠
͍Δ. ͦΕͧΕͷָ‫ ͍͓ͯʹۂ‬4/5 ਓͱ 3/5 ਓͷඃ‫ۂ͕ऀݧ‬ͷ࠶ੜ࣌ؒΑΓૣ͘λεΫΛऴྃ͢Δ͜
ͱ͕Ͱ͖ͨ. ·ͨ, ࢒Γͷඃ‫ऀݧ‬΋΄΅࠶ੜ࣌ؒͱ
ಉ౳ͷ࣌ؒͰλεΫΛऴ͍͑ͯΔ. ͜Ε͸, ΄ͱΜͲͷඃ‫ۂ͕ऀݧ‬શମΛௌ͍ͯ͸͓Βͣ, λεΫ͕‫׬‬ྃͨ͜͠ͱΛ‫͘෇ؾ‬લ (શମΛνΣοΫ͍ͯ͠ͳ͍ͨΊ) ʹॴఆͷਫ਼౓ʹ౸ୡͯ͠ଧͪ੾ΒΕ͍ͯΔͱ
͍͏͜ͱΛҙຯ͢Δ. ΋ͪΖΜ, ‫࣮ݱ‬తʹఏҊΠϯλϑΣʔεΛ࢖༻͢Δ৔߹͸࠷‫ۂʹޙ‬શମΛௌ͍ͯνΣοΫΛ͢Δඞཁ͕͋ΔͷͰ‫ۂ‬ͷ૯࠶ੜ࣌ؒΑΓ࡞‫ͳ͘୹͕ؒ࣌ۀ‬Δ͜ͱ͸͋Γ͑ͳ͍. ͦΕΏ͑͋
͘·Ͱ৚݅෇͖Ͱ͸͋Δ͕, ఏҊख๏͸ޮ཰తͳΤϥʔमਖ਼Λ͓͜ͳ͏͜ͱ͕Ͱ͖ͨͱ݁࿦෇͚Δ͜ͱͷͰ͖Δ݁ՌΛಘͨͱ‫͑ݴ‬Δ.
ΠϯλϏϡʔʹ͍ͭͯ͸. զʑ͸͋Β͔͡Ί 2 ͭͷ࣭໰Λ༻ҙͨ͠. ͻͱͭΊ͸ʮԻ੍ָ࡞ιϑτʹ͜ͷΠϯλϑΣʔε͕࣮૷͞ΕͨΒ࢖ͬͯΈ͍ͨͰ͔͢ʁʯͰ͋Δ. ͜ͷ࣭໰ʹରͯ͠͸͢΂ͯͷඃ‫ݧ‬ऀ͕ Yes ͱฦ౴ͨ͠. 2 ͭΊͷ࣭໰͸, ʮ͜ͷγεςϜΛ࢖༻্͍ͯͨ͠ͰԿ͔໰୊͕͋Γ·͔ͨ͠ʁʯ
Ͱ͋Δ. ͜ͷ࣭໰ʹରͯ͠͸, Կਓ͔ͷඃ‫ऀݧ‬͸ A:ʮ༷ʑͳछྨͷमਖ਼πʔϧ͕༻ҙ͞Ε͍ͯΔͨΊ, ൃ‫ͨ͠ݟ‬Τϥʔʹରͯ͠ͲͷπʔϧΛ࢖͑͹Α͍ͷ͔Θ͔Βͳ͔ͬͨʯͱ౴͑ͨ. ·ͨ, B:ʮదԠϘλϯΛԡͨ͋͠ͱͷ൓෮Λࣗ෼ͰࢭΊͳ͚Ε͹͍͚ͳ͍͕, Ͳͷ͘Β͍଴ͬͯࢭΊΕ͹Α͍ͷ͔෼͔Βͳ͔ͬͨʯͱ͍͏ճ౴΋͋ͬͨ.

6.2.3

ٞ࿦

ΠϯλϏϡʔʹ͓͚Δίϝϯτ A ʹରͯ͠͸, ඃ‫͕ऀݧ‬ΠϯλϑΣʔεʹΑΓ࣌ؒΛ͔͚ͯ‫׳‬Ε਌͠Ή͜ͱͰղܾ͍ͯ͘͠໰୊ͩͱߟ͑ΒΕΔ. ͔͠͠ͳ͕Β, ΋ͬͱΑΓྑ͍ղܾ๏ͱͯ͠γεςϜ͕‫ݱ‬ࡏͷϢʔβͷ͓͔Ε͍ͯΔঢ়‫گ‬Λ೺Ѳ͠, ࠷దͳमਖ਼πʔϧΛਪન͢Δ͜ͱ͸ࠓ‫ޙ‬ͷ՝୊Ͱ͋Δ. ίϝϯτ B ʹରͯ͠͸, ਺஋‫ࢉܭ‬ͷ൓෮ͱ͍͏֓೦ࣗମ
͕ҰൠͷϢʔβʹ͸ೃછΈ͕ബ͘, ͦ͏ͨ͠Ϣʔβʹ൓෮ճ਺Λ೚ҙͰܾఆͤ͞Δͷ͸‫࣮ݱ‬తͰ͸ͳ͍ͱߟ͑ΒΕΔ. ͦΕΏ͑ʹγεςϜ͕ࣗಈతʹ൓෮Λετοϓͤ͞Δ͜ͱ͕Ͱ͖ΔΑ͏ͳࢦඪΛઃ‫͢ܭ‬Δ͜ͱ͕‫ٻ‬ΊΒΕΔ͕, զʑͷదԠϓϩηε͸Ұҙʹऩଋ͢Δ΋ͷͰ͸ͳ͍ͨΊͦΕ͸؆୯Ͱ͸ͳ͘ࠓ‫ޙ‬ͷ՝୊Ͱ͋Δ. ࣅͨΑ͏ͳ໰୊ͱͯ͠, զʑͷղ
͍͍ͯΔ࠷దԽ໰୊Ͱ͸ָ‫ۂ‬શମͷΤϥʔ཰͕୯ௐ
ʹ‫ݮ‬গͤͣ, ͱ͖ʹ൓෮ͷ࠷தʹ૿େ͢Δ͜ͱ΋͋
Δ. ͜Ε͸ϢʔβʹͱͬͯΈΕ͹Τϥʔͷमਖ਼࡞‫ۀ‬Λͨ͠ʹ΋͔͔ΘΒͣ‫ۂ‬શମͷΤϥʔ͕Ұ࣌తʹͰ΋૿͑ͨΑ͏ʹΈ͑Δ, ͱ͍͏௚‫ʹײ‬൓͢ΔࣄଶͱͳΓ, ‫ʹํͤݟ‬͸ࠓ‫͕෉޻ޙ‬ඞཁͩͱߟ͑ΒΕΔ.
࠷‫ʹޙ‬, ͜ͷ࣮‫Ͱ͚ͩ܈ݧ‬͸ຊߘͷେ͖ͳ໨తͷͻͱͭͰ͋Δ, ϢʔβʹΑͬͯෳ਺ͷղऍ͕Ͱ͖Δָ‫ʹۂ‬ରͯ͠ޮ཰తʹରԠͰ͖Δ, ͱ͍͏͜ͱΛे෼ʹධՁͰ͖͍ͯͳ͍Մೳੑ͕࢒͍ͬͯΔ. Ϣʔβ࣮‫͜Ͱݧ‬ΕΛ͓͜ͳ͏৔߹, ެฏੑΛ֬อ͢ΔͨΊʹಉҰָ‫ۂ‬Λಉ͡൑அ࣌ؒͰҟͳΔղऍΛ͢ΔΑ͏ͳඃ‫ऀݧ‬ΛूΊΔ͜ͱ͕·ͣࠔ೉Ͱ͋Γ, ‫ݱ‬ঢ়γϛϡϨʔγϣϯ࣮‫ʹݧ‬པΒ͟ΔΛಘͳ͘ͳ͍ͬͯΔ. ྫ͑͹γϛϡϨʔγϣϯ࣮‫ ͍ͨ༻Ͱݧ‬SMC MIREX[13] ͸࣮ࡍʹ༷ʑͳղऍ͕Ͱ͖Δࣗಈղੳ͚ͩͰ͸ࠔ೉ͳָ‫ʹۂ‬ରͯ͠ूஂ͔ΒϥϯμϜʹબ͹Εͨඃ‫ऀݧ‬ͷղऍͰΞϊςʔγϣϯͨ͠΋ͷͰ͋Γ, ͦͷ఺Ͱ͸෦෼తʹධՁͰ͖͍ͯΔͱ‫͑ݴ‬Δ. ͔͠͠ͳ͕Β͜ΕͰ͸‫ʹີݫ‬ಉҰָ‫΁ۂ‬ରͯ͠ͷධՁͱ͸‫ݴ‬͑ͳ͍ͨΊ, ϢʔβελσΟͷ࣮‫ํݧ‬๏Λ޻෉͠ΑΓৄࡉͳ෼ੳΛ͓͜ͳ͍ͬͯ͘͜ͱ͸ࠓ‫ޙ‬ͷ՝୊Ͱ͋Δ.

7·ͱΊͱࠓ‫ޙ‬ͷల๬ຊߘͰ͸ಛఆͷϢʔβͱָ‫ ΁ۂ‬Human-in-theLoop ͷΞϓϩʔνͰదԠͰ͖ΔΠϯλϥΫςΟϒ
ͳϏʔττϥΩϯάΠϯλϑΣʔεΛఏҊͨ͠. ͜ΕΛ࣮‫͢ݱ‬ΔͨΊ, ֶश࣌ͷ‫ࢉܭ‬ίετΛ࡟‫͖Ͱݮ‬,͔ͭϢʔβͷ‫ॴہ‬తͳϑΟʔυόοΫͷӨ‫ڹ‬Λೖྗ‫ྻܥ‬શମ΁఻ൖͤͯ͞ޮ཰తͳ࣮ߦ࣌దԠΛ͓͜ͳ͏͜ͱͷͰ͖ΔదԠ‫ݾࣗ࣌ߦ࣮ܕ‬஫ҙ‫ߏػ‬Λಋೖ͠
ͨ. զʑ͸͍͔ͭ͘ͷ࣮‫ݧ‬Λ͓͜ͳ͍ఏҊख๏ͷ࣮ߦՄೳੑͱੑೳΛ‫ͨ͠ূݕ‬. ͜͏ͨ͠‫ػ‬ցֶशϞσϧͷࣄલֶश͸‫ॴہ‬తʹ͓͜ͳ͍, ‫ʹٯ‬ಛఆର৅΁ͷ࣮ߦ࣌దԠ͸‫ྻܥ‬શମͷจ຺Λू໿͢ΔΞϓϩʔν͸, ϏʔττϥοΩϯά͚ͩͰ͸ͳ͘, ίʔυೝࣝ, Վ੠߹੒, Ի‫ݯ‬෼཭ͳͲͱ͍ͬͨଞͷԻָ৘ใॲཧ, ͞Βʹ͸ 3D Ξχϝʔγϣϯͷੜ੒΍ಈըฤू, ͱ͍ͬͨଟ͘ͷ࣌‫ྻܥ‬σʔλΛѻ͏ྖҬͰ༗ޮ
Ͱ͋Δͱࠓ‫ظޙ‬଴͞ΕΔ.

ࢀߟจ‫ݙ‬[1] M. E. P. Davies and S. Bock. Temporal Convolutional Networks for Musical Audio Beat Tracking.
EUSIPCO, 2019.

- 28 -

Human-in-the-Loop ‫ܕ‬దԠʹΑΔΠϯλϥΫςΟϒͳԻָతഥઅղੳ

[2] S. Reich. Clapping music (1972), Pianophase(1967)[3] K. Yamamoto. Human-in-the-Loop Adaptation
for Interactive Musical Beat Tracking. ISMIR,
2021.
[4] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit,
L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin. Attention is All You Need. NeurIPS,
2017.
[5] T. Nakano, Y. Koyama, M. Hamasaki, and
M. Goto. Interactive Deep Singing-Voice Separation Based on Human-in-the-Loop Adaptation.
IUI, 2020.
[6] K. Fujii, Y. Saito, S. Takamichi, Y. Baba, and
H. Saruwatari. Humangan: Generative Adversarial Network with Human-Based Discriminatorand Its Evaluation in Speech Perception Modeling. ICASSP, 2020.
[7] B. Kim and B. Pardo. A Human-in-the-Loop System for Sound Event Detection and Annotation.
IUI, 2018.
[8] F. Krebs, S. Bock, and G. Widmer. An EfficientState-Space Model for Joint Tempo and Meter
Tracking. ISMIR, 2017.
[9] R. Chen, W. Shen, A. Srinivasamurthy, and
P. Chordia. Chord Recognition using DurationExplicit Hidden Markov Models. ISMIR, 2012.
[10] G. Tzanetakis and P. Coo. Musical Genre Classification of Audio Signals. IEEE Transactions on
Audio and Speech Processing, 2002.
[11] M. Goto, H. Hashiguchi, T. Nishimura, R. Oka.
RWC Music Database: Popular, Classical, andJazz Music Databases. ISMIR, 2002.
[12] M. Goto. AIST Annotation for the RWC Music
Database.ISMIR, 2006.
[13] A. Holzapfel, M. E. P. Davies, J. R. Zapata, andJ. L. Oliveira, A. Srinivasamurthy, and P. Chordia. Selective Sampling for Beat Tracking Evaluation. IEEE Trans. Audio, Speech, and Language
Processing, 2012.
[14] S. Dixon. Evaluation of the Audio Beat Tacking
System Beatroot. New Music Res, 2007.

- 29 -WISS 2021

色の修飾語を用いた対話的なイラストの色編集
住田 桃子 ∗

Nolwenn Maudet†

福里 司 ∗

五十嵐 健夫 ∗概要.
イラスト制作の際，色の編集は非常に重要な工程である．しかし，色を調整するには複数のパラメータ（例：RGB 値や HSV 値）を設定しなければならず，特に初心者ユーザにとって，頭の中で想像する色を見つけることは非常に難しい．そこで本研究では，“Lighter” 等の色に関する単語（修飾語）を用いて，効率的に色空間内を探索する手法を提案する．具体的には，ユーザは修飾語を指定することで，修飾語に対するカラースライダを自動生成するものである．また，本システムは複数の領域に対して同時に色の編集を行うことができるため，画像全体の色の関係を維持したまま編集することができる．更に初心者
ユーザとアマチュアアーティストを対象としたユーザテストを実施し，本研究の有用性を検証した．

1

はじめに

Be

アーティストやイラストレータは，カラースライ
ダ等を用いてイラストの色編集を行っている．しかし，色は 3 つ (以上) のパラメータで構成されているため，特に初心者にとってパラメータ値に対する色を把握することは未だに困難である（例：画像加工
においてどのパラメータを変更すれば良いのかの判
断や，シーンにあった新色を追加する際の判断）．
これらの問題を解決するために，パラメータ空間（色空間）を効率的に探索する技術が複数提案されている．Shugrina ら [14] は，アナログの絵具パレットのように，PC 画面上で複数色のブレンドを直接行うためのデジタルパレットを開発した．更に，Shugrina
ら [15] は，ユーザが指定した色に（RGB/HSV 空間で）近い色を可視化する拡張機能も考案している．
これらの手法は，ブレンド操作の時にパラメータ値の直接的な操作（例：スライダ操作）を行う必要がないものの，ユーザは適切な色サンプルを用意しなければならない．更に，「今の色よりもっと薄くしたい」等の色の編集には不向きである．更に，入力イ
ラストの色情報（初期条件）やイラスト全体のバランスを考慮しながら色を調整することも難しい．
そこで本稿では，“lighter” や “greener” 等の色に関する単語（修飾語）を用いて，イラストの色を効率的に編集するための「修飾語スライダ」を提案
する (図 1)．提案手法では，入力イラスト中で「編集したい領域」に対する修飾語スライダを逐次構築作成することで，適切な色を設定することができる．
提案する修飾語スライダを定性的に評価するために，16 名の被験者（素人ユーザ 8 名とアマチュア・
アーティスト 8 名）を対象としたユーザテストを実施した．その結果，提案手法は，ユーザに新しい色をイメージさせやすくする点や，既存のツールと組
∗
†

東京大学
The University of Strasbourg- 30 -

e

Ed

A e

1

1

2

2

"dee e "図 1. システムの概要．ユーザは画像領域と修飾語を選択し（左），生成された修飾語スライダを用いて選択領域の色値を調整する（中・右）．イラストはFLAT ICON DESIGN [17] から引用．

み合わせることで，より色の探索を効率化できる点といったポジティブな回答が得られた．

2
2.1

関連研究

色の編集

市販のペイントツールには，カラースライダや，
プレーン，ホイール，パレットといった色の設定機
能が多数用意されているが，RGB/HSV 色空間（パラメータ値）の中から適切な色を見つけることは依然として難しい．このような問題を解決するために，
色設定をサポートするための手法が数多く提案されている．これらは大きく三つのアプローチに分類される．
一つ目のアプローチは，ユーザが描きたい絵の構
図を考える工程自体を支援する方法である．Meierら [7] や Jalal [5] は，色付きのシンプルな図形（例：
円や四角形）を画面上に配置することで，描きたい絵の構図（イラスト全体の色のバランス）を事前に確認するシステムを考案している．しかし，これらは各図形に対する色の設定は自力で行わなければな
らない課題がある．二つ目のアプローチは，事前に用意された複数の色を基に新たな色を生成する手法である．Shugrina ら [14] は，アナログの絵の具パWISS 2021

レットを参考に，ユーザが画面上で複数の色を直接ブレンドできるデジタルパレットを考案した．しかし，この手法は，ブレンドするための適切なサンプル点（初期の色）を複数用意しなければならず，RGB
空間内の色の設定を効率化することはできない．三つ目のアプローチは，RGB/HSV 空間内での探索をサポートする方法である [5][8]．例えば，Shugrina
ら [15] は，任意の色に対する（RGB/HSV 空間上の）隣接色を視覚化する機能を設計した．しかし，これらの手法はイラストの色編集を行うタスクにおいて，入力イラストの色情報を考慮することができない．これらを踏まえ，我々は入力イラストの色情報を考慮しつつ，より直感的な色の編集手法を検討
する．

2.2

Vector Representation of Modifier

自然言語処理分野における色の表現

任意の色に対して特定の単語（例：“赤” や “青”）が用いられている背景から，自然言語処理の分野では「色情報」と「言語情報」の関係に関する研究が盛んに行われている（例：色記述の生成，色修飾語の役割）．例えば，McMahan ら [6] や Monroe ら [11]は色を説明するための単語や文章をモデル化することで，任意の色に対する説明文を自動生成する手法を提案している．また，Monroe ら [12] は，言語情報を利用し，類似する色の中から各色を識別する方法を提案した．更に，Winn と Muresan [18] は色の修飾語（例：lighter）に対する色の変換ルールを提案し，Han ら [3] によって，このルールが一般化されている（詳細は第 3.1 節参照）．本研究では，色の修飾語による色の変換ルールを利用し，イラストの色の編集を行うタスクに特化した手法を検討する．

2.3

図 2. 提案システムのスクリーンショット．

自然言語の修飾語を用いたパラメータ操作

言語情報を用いてユーザのデザインプロセスを支援する手法が提案されている [2]．Yumer ら [19] は，「よりファッショナブルに」などの自然言語の修飾語を用いて，3D 形状を変形させる手法を提案した．また，Streuber ら [16] は，クラウドソーシングによって得られたデータを用いて 3D アバターを生成する
ツールを設計した．
言語情報を用いた色情報の編集技術としては，主にカラーパレットの設計 [1] や線画イラストへの色
付け [20] 手法が挙げられる．また，Heer ら [4] は，Web アンケートによって集めたデータを基に色の修飾語の確率モデルを構築し，カラーデザイン向けのインターフェース（例：修飾語によるピクセル選択機能）を構築した．これらの手法は，言語から直接色を生成するタスクに適している反面，入力画像の色情報を考慮しながら色値の編集は困難である．そこで本研究では，上記の手法を参考に，自然言語情報を用いたパラメータ操作を検討する．

- 31 -

Target Color

Modifier
9100"bluer"

GloVe
100-d

32

16

3

3
FC2

3

FC1

Reference Color

図 3. 色の修飾語を基に入力の色 !
r ∈ R3 を変換するネッ
トワークの構造.

3

提案手法

本システム（図 2）は，Python 3 と JavaScriptをベースに，Flask フレームワークを用いた Web ア
プリケーションとして実装している．

3.1 色変換モデル
Han ら [3] は，“lighter” などの色の修飾語を用r ∈ R3 を変換するモデルを提案した．
いて入力の色 !
具体的には，Winn と Muresan [18] が提案するルー
ルを RGB 色空間上で一般化するために，以下のモデルを提案した．

!t = M!r + β!

(1)!t ∈ R3 を変換後の色，M ∈ R3×3 は変換行列，β! ∈R3 は変換ベクトルを意味する.
次に，Winn と Muresan のデータセット [18] を! を推定するネット
用いて，色の修飾語から M と β
ワークを構築する（図 3）．但し我々は，色の修飾語を特徴ベクトルに変換する際，Han らが用いた
300 次元の Word2Vec [9][10] の代わりに，GloVe

色の修飾語を用いた対話的なイラストの色編集

acidicbluer
bluishbrighterbrownerbrownishburnt
coolerdarkerdarkishdeeperdirtierdullerdustier
electric

表 1. 色の修飾語のリスト．

faded
goldenergrayishgreenishgrosserhotterlighter
mediummid
more

muddiermurkierofforangepaler

pastelpinkerpinkishredderreddish100-d [13] を用いることで計算コストの削減を行った．本ネットワークには，任意の色の修飾語をテキ
スト入力することができるものの，精度が不十分な修飾語が存在する可能性がある．そこで我々は，良好な結果が得られる修飾語を選別し，リスト化した（表 1）．但し，任意の修飾語を指定できるように，本システムにテキストボックスを用意している（図2(右側)）．
3.2!

対話的な色調整!!"#$%&“violet”

領域選択

入力イラスト（SVG 形式）の領域を直接マウスクリックすることで，一つの領域を選択することができる（過去に選択された領域情報は上書きされる）．また，Shift キーを押しながらマウスクリックをすることで，複数の領域を同時選択することができる．視認性の向上のため，選択された領域にラベル ID (i ∈ {1, · · · , N }) を付与し，1.5 秒に 1 回点滅する機能を追加している．但し，この点滅は，ユーザがスライダ操作を行う際は自動的に OFF になる．
その一方で，Clear Selection ボタンを押すことで，選択された領域情報をリセットすることができる．

3.2.2

truer
ugliervioletweirderyellower

RGB Color Space

本システムを用いたイラストの色の編集の手順は，
入力イラストの (1) 領域を選択，(2) 修飾語の指定，(3) 修飾語に対応したスライダによる選択領域の色の調整，を繰り返すものである．

3.2.1

rich
richerrosiersandiersofter

色の修飾語に対するスライダの生成

本システム下部に表示された修飾語のリスト（表1）をクリック（またはテキスト入力）することで，色変換モデル（式 1）に基づく修飾語スライダを生成する．スライダ操作による色の値 !c ∈ R3 は以下のように計算する．

!c = (1.0 − w)!r + w!t(2)w ∈ [−1.0, 1.0] は重み係数，!r は選択された領域の色， !t は色変換モデルによって推定された色である．
つまり，スライダ操作によって重み係数を変更する
ことで，ユーザは自由に選択した領域の色を変更することができる（図 4）．スライダの右側 (= +1.0)- 32 -“pastel”!

−1+1

図 4. 色の修飾語スライダを用いた RGB 空間内での色探索の一例.

は修飾語に対応する色に近づき，スライダの左側(= −1.0) は修飾語から離れた色を意味する．
また，右上部にあるマイナスボタンをクリックすることで，一度生成した修飾語スライダを削除することができる (図 2).

3.2.3

サポート機能スライダ操作による色の編集を効率化するために，三種類のサポート機能を実装している．

a) プレビュー機能： 各スライダの下部に，選択された領域（ID 番号）に対応する色を直接表示する．

また，ユーザがスライダ値を調整した時，画像上の選択領域の色もリアルタイムに変更する．

b) スライダの範囲拡張機能： Extend ボタンを押すことで，スライダの値 w の範囲を拡張することができる（最大で −3.0 ≤ w ≤ +3.0 まで拡張可能)．

c) スライダの更新機能： 修飾語スライダは，指定r を基にスライダを生成する．そした領域の色情報 !
r = !c
こで，スライダ操作後の色 !c を新たな領域の色 !

WISS 2021

図 5. ユーザテストで使用した SVG 形式のイラスト．

図 6. 修飾語スライダを用いた色編集結果の一例. 左側：“洞窟の中で怒っているような色味”，右側：“海岸で陽気な雰囲気の色味”.

表 2. ユーザテストで用いたアンケート内容．

#
Q1
Q2
Q3
Q4
Q5

質問項目
色空間を把握できた.
適切な色を見つけやすかった.
言葉に合う新しい色を想像しやすかった.
色の微調整がしやすかった.
イラストの色編集が十分にできた.

表 3. アンケート調査の結果．

#
Q1
Q2
Q3
Q4
Q5

に代入することで，修飾語スライダの方向（変換行! ）を更新することができる．
列 M と変換ベクトル β

4ユーザテスト4.1 手順SVG 形式のイラスト（図 5）と編集内容を説明する文章（例：森の中で悲しんでいるような色合い，洞窟の中で怒っているような色合い）を被験者に与え，各手法を用いてイラストの色を編集してもらうタスクを行った．タスク完了後に，7 段階のリッカート
尺度 (1 =“全然満足していない” - 7 =“とても満足している”) を用いたアンケート（表 2 参照）に回答してもらうことで，各手法を評価してもらった．更に，簡単なインタビューを実施し，ユーザ体験に関するコメントや今後どのような拡張が必要なのかといったコメントを収集した．所要時間は，一人当たり約 1 時間である．
結果

図 6 にイラストの色編集結果の一例，表 3 にアン
ケート結果のスコアと Wilcoxon 符号順位検定の結果を示す．Q3 は通常の RGB/HSV スライダと比較し，提案手法のスコアが高いことがわかる．この結果から，修飾語に合うような「新しい色」をイメージするときに有用であったことが予想される．その一方で，Q4 では，通常の RGB/HSV スライダが高いスコアを示している．このことから，RGB/HSV
スライダは色の微調整を行う際に適していることがわかる（但し，アーティストが RGB/HSV スライ
ダによる色編集操作に慣れていた点が影響している4.06 ± 1.83
4.88 ± 2.00
3.44 ± 1.41
5.63 ± 1.28
5.38 ± 2.49

4.94 ± 1.51
5.18 ± 1.41
5.69 ± 1.36
3.44 ± 1.93
5.25 ± 2.39

p値

1.72 × 10−1
5.86 × 10−1
2.63 × 10−3
4.88 × 10−4
7.54 × 10−1

可能性がある）．その他の質問項目については，平均スコアに多少の差があったものの，いずれも有意差は得られなかった．
また，被験者から，修飾語スライダは新しい色を考える時や，色空間の探索に優れているといった回答が「RGB/HSV得られた．例えば，4 名の被験者からは，スライダは色の原理（計算方法）を知らないユーザ
にとって非常に扱いにくい．その一方，修飾語スライダは色値の変化の方向を簡単に設定することができるため，初心者にとても向いている」との意見があった．その他のコメントとして，3 名の素人ユー
ザからは「修飾語スライダ自体が楽しい」，2 名のアーティストからは「色と言葉を結びつける作業自体が新たな楽しみになるかもしれない」「ユーザの好みに合わせてスライダをカスタマイズできること」との意見があった．しかしその一方，6 名の被験者からは「RGB/HSV スライダは色の微調整に適しているため，修飾語スライダと RGB/HSV スライ
ダを併用するとより便利になる」といったシステム
自体の拡張に対する意見も得られた．

本手法の有用性を評価するために，16 名の被験者（デジタルイラスト作成経験のあるアマチュアアー
ティスト：8 名と素人ユーザ：8 名）を対象とし，従来の RGB/HSV スライダ（ベースライン）との比較実験を行った．

4.2

平均 ± 標準偏差ベースライン
提案手法

5

むすび

本研究では，色の修飾語に対するスライダを生成
し，入力イラストの色を効率的に編集する手法を提案した．現実装では，色の修飾語の種類や言語が限定されているため，将来的には修飾語の種類の拡張（例：海，英雄など）や，様々な言語のカスタマイズ可能な機能を検討している．また，修飾語と色の対応についても，まだ不自然な結果が出てくることが多く，改善の余地があると考えられる．任意の修飾語とスライダの組み合わせは，色の調整以外の様々なコンテンツ制作支援に利用することが考えられる
ので，他の応用先についても検討する予定である．

- 33 -

謝辞

色の修飾語を用いた対話的なイラストの色編集

ference of the North American Chapter of the
Association for Computational Linguistics: Human Language Technologies, pp. 746–751. ACL,
2013.
[11] W. Monroe, N. D. Goodman, and C. Potts.
Learning to Generate Compositional Color Descriptions. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language
Processing, pp. 2243–2248, Austin, Texas, 2016.
ACL.
[12] W. Monroe, R. X. Hawkins, N. D. Goodman,
and C. Potts. Colors in Context: A Pragmatic
Neural Model for Grounded Language Understanding. Transactions of the Association for
Computational Linguistics, 5:325–338, 2017.
[13] J. Pennington, R. Socher, and C. Manning.
GloVe: Global Vectors for Word Representation. In Proceedings of the 2014 Conferenceon Empirical Methods in Natural Language Processing (EMNLP), pp. 1532–1543. ACL, 2014.

本研究は JST CREST JPMJCR17A1 の助成を受けて実施されたものである．

参考文献[1] H. Bahng, S. Yoo, W. Cho, D. K. Park,Z. Wu, X. Ma, and J. Choo. Coloring withWords: Guiding Image Colorization ThroughText-Based Palette Generation. In V. Ferrari,
M. Hebert, C. Sminchisescu, and Y. Weiss eds.,
Proceedings of 15th European Conference on
Computer Vision (ECCV), pp. 443–459, Cham,
Switzerland, 2018. Springer.
[2] S. Chaudhuri, E. Kalogerakis, S. Giguere, andT. Funkhouser. Attribit: Content Creation
with Semantic Attributes. In Proceedings ofthe 26th Annual ACM Symposium on User Interface Software and Technology, UIST ’13, p.
193–202, New York, NY, USA, 2013. Association for Computing Machinery.
[3] X. Han, P. Schulz, and T. Cohn. Grounding
learning of modifier dynamics: An application
to color naming. In Proceedings of the 2019
Conference on Empirical Methods in Natural
Language Processing and the 9th International
Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1488–1493. ACL,
2019.
[4] J. Heer and M. Stone. Color Naming Models for
Color Selection, Image Editing and Palette Design. In Proceedings of the SIGCHI Conferenceon Human Factors in Computing Systems, CHI’12, p. 1007–1016, New York, NY, USA, 2012.
ACM.
[5] G. Jalal, N. Maudet, and W. E. Mackay. Color
Portraits: From Color Picking to Interactingwith Color. In Proceedings of the 2015 CHI
Conference on Human Factors in Computing
Systems, CHI ’15, p. 4207–4216, New York, NY,
USA, 2015. ACM.
[6] B. McMahan and M. Stone. A Bayesian Modelof Grounded Color Semantics. Transactions of
the Association for Computational Linguistics,
3:103–115, 2015.
[7] B. J. Meier, A. M. Spalter, and D. B. Karelitz.
Interactive color palette tools. IEEE Computer
Graphics and Applications, 24(3):64–72, 2004.

[14] M. Shugrina, J. Lu, and S. Diverdi. Playful
Palette: An Interactive Parametric Color Mixer
for Artists. ACM Transactions on Graphics(TOG), 36(4):61:1–61:10, 2017.
[15] M. Shugrina, W. Zhang, F. Chevalier, S. Fidler,
and K. Singh. Color Builder: A Direct Manipulation Interface for Versatile Color Theme Authoring. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems,
CHI ’19, p. 1–12, New York, NY, USA, 2019.
ACM.
[16] S. Streuber, M. A. Quiros-Ramirez, M. Q. Hill,
C. A. Hahn, S. Zuffi, A. O’Toole, and M. J.
Black. Body Talk: Crowdshaping Realistic 3D
Avatars with Words. ACM Transactions on
Graphics (TOG), 35(4):54:1–54:14, 2016.
[17] TopeconHeroes. FLAT ICON DESIGN, Online
accessed: 25-january-2021.
[18] O. Winn and S. Muresan. ‘Lighter’ Can Still
Be Dark: Modeling Comparative Color Descriptions. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, Vol. 2, pp. 790–795. ACL, 2018.
[19] M. E. Yumer, S. Chaudhuri, J. K. Hodgins,and L. B. Kara. Semantic Shape Editing Using Deformation Handles. ACM Transactions
on Graphics (TOG), 34(4):86:1–86:12, 2015.
[20] C. Zou, H. Mo, C. Gao, R. Du, andH. Fu. Language-Based Colorization of Scene
Sketches.
ACM Transactions on Graphics(TOG), 38(6):233:1–233:16, 2019.

[8] N. Mellado, D. Vanderhaeghe, C. Hoarau,
S. Christophe, M. Brédif, and L. Barthe.
Constrained Palette-Space Exploration. ACM
Transactions on Graphics (TOG), 36(4):60:1–
60:14, 2017.
[9] T. Mikolov, K. Chen, G. S. Corrado, andJ. Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of theInternational Conference on Learning Representations (ICLR 2013) Workshop Track, 2013.
[10] T. Mikolov, W.-t. Yih, and G. Zweig. Linguistic Regularities in Continuous Space Word Representations. In Proceedings of the 2013 Con-- 34 -WISS 2021

Knowledge ComposTer: 知識断片の再活用による継続的な創造活動支援システム
生田 泰章 ∗

高島 健太郎 †概要. ワードプロセッサやプレゼンテーションツールは，創造活動をするうえで欠かせないものとなっており，これらのツールを使うことで，多くの人は複数のファイルを日々継続的に創造している．このような創造活動において，過去に作り出されたファイルの一部（知識断片）が新たな創造活動時に再活用されることが頻繁に行われている．本稿では，知識断片の再活用を支援することで，継続的な創造活動を支援する
Knowledge ComposTer を提案する．Knowledge ComposTer は，メモの蓄積，思考の整理，プレゼンテー
ションの作成，文書作成をそれぞれ行うことが可能な 4 つのサブシステムが相互に連携し，各サブシステ
ムで作られた知識断片を再活用可能なように一元的に蓄積・管理されている．また，各サブシステムで作り出された知識断片は一度生成されたら漏れなく収集される．さらに，Knowledge ComposTer は知識断片に対する操作をトラッキング可能なようにログを収集するため，知識断片の生成から活用までの一連のプロセスを分析することができる．

1

はじめに

ワードプロセッサやプレゼンテーションツールな
どのいわゆるオフィススイートは，オフィスワーカ
の業務遂行に限らず，学生の課題作成や発表などにも使用され，多くの人にとって創造活動をする上で欠かせないものとなっている．人々はこれらのツー
ルを使いこなし，資料作成やプレゼンテーションなどの創造的な活動を日々継続的に行っている．中でも，文書やプレゼンテーション資料の創造活動では，一から目的のファイルが創造されているだけでなく，製作者が自己または他者が過去に作った文書ファイ
ルやプレゼンテーションファイルの一部（以降，知識断片と呼ぶ）を再活用して作成するということが頻繁に行われている [6][7]．本研究では，このような文書およびプレゼンテーションに関わる創造活動を対象とし，経時的に複数のファイルを創造する行
為を継続的な創造活動と呼ぶ．
従来，これらの創造活動における知識断片の再活用の現状を支援すべく，過去の異なるファイルで作り出された知識断片の再活用を支援するシステムが提案されている [9][11]．また，近年の Microsoft
PowerPoint には，異なるプレゼンテーションファイ
ルに含まれるスライドを再活用可能な機能が実装されている．Google ドキュメントには，Google Keepで作成されたメモを再活用できる機能が実装されており，実サービスにおいても，過去に創造されたファイルに含まれる知識断片をユーザが再活用をすることで，創造活動を支援する機能が実装されている．
Copyright is held by the author(s).
サイボウズ・ラボ株式会社†
北陸先端科学技術大学院大学 先端科学技術研究科∗

これらの取り組み以外にも，創造活動時の知識断片の再活用について，検討すべき事項が多く残されている．例えば，筆者らはこれまで，創造活動の過程には試行錯誤のプロセスが存在することに着目し，文書作成過程で一旦は書き出されたが，最終的に削除された知識断片（不用知）が，別の文書作成に再活用可能であるという実験結果を得ている [13]．
これらの結果から，あるファイルの創造活動過程
中に，一旦は構成要素として作成された知識断片が，その後削除されたかどうかによらず，再活用可能であると推察される．しかし，不用知の活用について
は文書以外のファイルの種別で検証が行われていな
い．また，創造活動で再活用される知識断片の特徴（例えば，生成元となったファイルの内容との関係や文章量など）について明らかとなっていないことが多くあるが，従来，創造活動の種類によって用いられるメディアは異なるため，異なる種類のファイルで作成された知識断片の再活用について，実態を把握することは困難であった．
これらの問題を解決すべく，本研究において創造
活動支援システム Knowledge ComposTer を提案する．Knowledge ComposTer は 3 つの特徴を有す
る．一つ目は，創造活動の種類に応じたメディアが複数連携して構成されている．本稿では，メモの蓄
積，思考の整理，プレゼンテーション作成，文書作成が可能なように，複数のサブシステムが連携している．二つ目は，各創造活動で生成された知識断片をすべて蓄積し，別の創造活動時に活用可能に構成している．三つ目はユーザが知識断片に対して行った操作をログとして記録可能に構成している．これ
らの特徴を有することで，異なる創造活動間で生成された知識断片を活用することができ，かつ，操作- 35 -WISS 2021

ログが記録されることで，これまで実態を把握することが困難であった，知識断片の生成から活用までの一連のプロセスを分析することが可能となる．

2
2.1

関連研究

ファイルの再活用状況の調査

文書ファイルやプレゼンテーションファイルの創造活動時において，別ファイルの一部が再活用されることが調査によって明らかになっている．Mejova
ら [7] は，企業内におけるプレゼンテーションの再活用に関する調査を多角的に行っている. 自己や他者のプレゼンテーションが再活用されることを明らかにしたうえで，プレゼンテーション中の何が再活用されるかや，再活用を妨げる要因等の調査を行った．
この調査では，プレゼンテーション中のどのパーツが再活用されるかについて調査を行っているが，プ
レゼンテーションと異なるファイルへの再活用については対象外である．Jensen ら [6] は，9 人の実験
参加者について，平均 8.6 週間で Microsoft Office
製品をどのように使ったかを調査し，異なるアプリ
ケーション間で情報がやり取りされていることを明らかにした．文献 [6] では，各 Office 製品のファイ
ルに対する操作をトレース可能な TaskTracer というシステムを導入することで，異なる製品間での情報のやり取りをトレースしているが，やり取りされる情報が何であったかの詳細は分析できていない．
本研究では，異なるファイル間における知識断片の再活用をより詳細にトラッキングできるようにシステムの設計・実装を行う．

2.2

ファイルの再活用によって創造活動を支援するシステム

在する．これは，プレゼンテーションの作成のために，Word で作成したアウトラインを活用する機能である．
本研究では，これらの研究を包含すべく，システ
ムの設計・実装を行う．つまり，本研究では，上記のシステム同様，ファイル作成時に異なる種類・内容のファイルで生成された知識断片を余すことなく活用可能な要件を検討する．

2.3

不用知の活用に関する研究

3

Knowledge ComposTer

文献 [13][14] では，文書作成時において，一旦は成果物の候補になったが，最終的には不採用となって削除された文章の活用可能性が検討された. その結果，たとえあるファイルの創造活動時で不採用になった知識断片（不用知）であっても，別のファイ
ルの創造活動時には再活用できることが示唆された.
この不用知は，2.1 節，2.2 節のどの従来研究においても見過ごされてきており，再活用の実態を把握することができれば，不用知を新たな知的資源とすることができる．しかしながら，文献 [13][14] で提案の Text ComposTer は，単一文書で作成された不用知を収集する機能は存在するが，別文書作成時に活用する機能はなく，より包括的に再活用の実態を把握するためには，不用知を含む知識断片を複数文
書間で再活用可能なシステムが必要となる．そのため，本研究では，不用知を積極的に収集し，再活用可能とするように，一旦生成された知識断片を全て蓄積し，ユーザが後に再活用可能なようにシステムの設計・実装を行う．

3.1

創造活動の過程で，別のファイルの内容を再活用する支援によって，創造活動を支援するための取り組みがいくつかある [3][9][10][11]．文献 [3] では，新たな文書作成のために，過去の文書を断片化している．ALOCOM フレームワーク [11] は，文書，SCORM，プレゼンテーション作成のために，過去のこれらの成果物を断片化している．プレゼンテーショ
ンの再活用の機能としては，Microsoft PowerPointのスライド再利用機能や，ConRep[9] がある. これらは，すでに完成しているファイルを断片化して同種のファイルの創造活動時に再活用を促すシステム
である．Scraps[10] は，文書作成のために別の文脈で作成された画像付きメモを再活用する仕組みを提案し，Google ドキュメントは，あらかじめ蓄積された Google Keep のメモ書きをインポートする
ことができ，文書作成の意図の有無を問わず作成されたメモを，文書作成に再活用する機能である．また，Microsoft PowerPoint には，Microsoft Wordで作成したアウトラインをインポートする機能も存- 36 -

設計方針

本節では，提案システムである Knowledge ComposTer を実装するにあたり，複数種のファイルの創造活動時に知識断片を漏れなく収集し，異なるファ
イルの創造活動時に過去に創造された知識断片を再活用可能となるようなシステムの設計について検討を行う．
まず，創造活動時に，その種類に応じて適切なメ
ディアを用意し，創造活動を行う者の思考の外在化を支援することで，より多くの知識断片を収集することができ，後の新たな創造活動時に再活用されやすくなる．そのため，提案システムは，複数のメディアによって外在化を支援し，各メディアで作られた知識断片を収集するというアプローチをとる．また，
本研究では，知識断片の構造化の度合いに応じた次の 3 つの創造活動に焦点を当て，それぞれに適したメディアを連携させる．

(1) 文書・プレゼンテーションの創造活動(2) 思考の整理(3) アイデアや思考の外在化

Knowledge ComposTer: 知識断片の再活用による継続的な創造活動支援システム

!"#$

!"#$%
&'()

0123456*+,-.+/
9:;1<3=>1?@ABC14?23D8EFG%&'()&*+,-./01213456.27896:0;<6=>?

7839

!"#$
%&'(
)*+,
-./0
%12

@ABC

(a) ポータル(b) ホワイトボード
!"#$%
&'()

!"#$%
&'()

780493:;<=<=04>39?@A*+,-.+/*+,-.+/

7809:;301234560123456

23KL;<=

23BC?@A

>?@A1
GHIJ

>?@A1
BCDEF

(c) プレゼンテーション(d) ドキュメント

図 1: Knowledge ComposTer スクリーンショット(1) 文書・プレゼンテーションの創造活動は，文書またはプレゼンテーションの規定のフォーマット
に従うように，知識断片の創造・加工・整形等を行う創造活動である．本稿では，中小路ら [12] のアプ
ローチによってメディアを構築する．つまり，これらの創造活動においては，文書やプレゼンテーショ
ンファイルを様々な粒度の一塊からなる知識断片で構成されているとみなし，ユーザが一塊ごとに編集，再編集したり，順序や全体の置き場所を直感的に操作可能なメディアとする．
(2) 思考の整理は，個人が自己のメンタルワールド内にある思考を知識断片として外在化し，外在化された知識断片の関係性を見出すことによって思考を整理することを指す．(1) の文書・プレゼンテー
ションの構造化とは異なり，所定のフォーマットに従うように知識断片を整形する必要はない．むしろ，
知識断片間の関係を自由に表現できるメディアが望ましい．この思考の整理においては，従来，デジタル
ノートやマインドマップ，アイデアプロセッサ，KJ
法支援システム [15] など，知識断片を二次元空間上に自由配置可能なツールがメディアとして用いられてきた．本研究も，これらに従う．
(3) アイデアや思考の外在化は，特段の構造化を意図しない，個人のメンタルワールド内にある思考の外在化を指す．ブレインストーミングのようなア
イデア創造を意図した活動であってもいいし，ふと思いついた散発的な思考の外在化であってもいい．
この創造活動においては，知識断片間に関係を見出さないインタフェースが用いられてきた．例えば，メモアプリや To Do リストような一覧表示可能な
インタフェースである．本研究も，これに従う．
また，上記の各創造活動において知識断片を削除する操作が行われると，収集する知識断片に漏れが出てしまう．そこで，本研究では，(1)-(3) の創造活
動で一旦外在化された知識断片を全て収集するというアプローチをとる．知識断片に対する各種の操作（編集・分割・統合等）についても，操作前の知識断片とは別の知識断片とすることで，より包括的に知識断片を収集する．
次に，創造活動時に行なわれる知識断片の活用
方法について検討する．収集された知識断片の蓄積場所が，生成元のファイル別に管理されていたとき- 37 -WISS 2021に，再活用したい知識断片を含むファイルを見つけ出す必要がある．しかしながら，多くのファイルが生成された場合，情報の断片化 [4] が生じ，再活用したい内容を見つけ出すのは非常に困難となる．そこで，本研究では，Content Reuse における Single
Sourcing[1][2] に倣い，共通の知識断片の保存領域（以下，共通リソース）に一元的に蓄積・管理するア
プローチをとる．また，創造活動時に，共通リソー
スに蓄積された知識断片を参照可能に構成すること
で，再活用を促進するアプローチを採用する．
以上の設計方針で Knowledge ComposTer の実
装を行うことで，知識断片を漏れなく収集し，収集した知識断片を創造活動時に活用可能にすることを
目指す．

3.2

!"#$%&'(&)*#+,#-.&/()*+,&-.+/'012+$

<=

6:;
!!!

!"#$
89

#$%&'()*+,./012345672

!"

89

<=

6:;
!!!

!"#$%&'

システムの概要

Knowledge ComposTer は，テキスト，手書き画
像，ファイルシステムからインポートした画像を，知識断片として生成・蓄積し，これらを組み合わせることで，二次元空間への配置を可能にし，さらにプレゼンテーションおよび文書を作成可能なシステムである（図 1）．本研究においては，Knowledge
ComposTer は，Electron を用いたデスクトップア
プリケーションとして構成した．また，ユーザが作成した知識断片のデータと，知識断片やファイルに対する操作ログとが，グラフデータベースである Neo4jに蓄積されるように実装した（3.4 節参照）．
Knowledge ComposTer は，ポータル，ホワイト
ボード，プレゼンテーション，ドキュメントの 4 つのサブシステムが相互に連携して構成されている (図2)．ポータルサブシステム（図 1a）では，テキスト，
手書き画像，画像の入力・蓄積をすることができ，付箋状の知識断片を一覧することができる．3.1 節
における，(3) アイデアと思考の外在化のためのメディアに相当する．また，本研究では，ポータルを共通リソースとしても機能させるように実装した．
すなわち，ホワイトボード，プレゼンテーション，ドキュメントで作成・編集された知識断片が全て表示される．また，ポータルは，ホワイトボード，プレゼンテーション，ドキュメントで作成された各ファ
イルを一覧，移動することができる．
ホワイトボードサブシステム（図 1b）では，付箋状の知識断片を生成し，それらを二次元平面上に自由配置，グルーピングすることができる．3.1 節における (2) 思考の整理のためのメディアに相当する．
ユーザはホワイトボードを用いることで，思考を外在化し，それらを空間上に配するインタラクションを行うことで，思考の整理を行うことができる．
プレゼンテーションサブシステム（図 1c）では，
プレゼンテーションファイルの構成要素として知識断片を生成し，スライド内に配置し，そのスライドを線形に並べることが可能である．つまり，プレゼ- 38 -

図 2: Knowledge ComposTer の各サブシステム間の関係（黒矢印はサブシステムの遷移，赤矢印は知識断片の流れ）!"#$%&!'"#$()*+,-./0*12!%
3$456789*:;<=

図 3: ホワイトボードサブシステムでのインポート画
面の表示

ンテーションサブシステムは，複数の知識断片をプ
レゼンテーションのフォーマットに整形し，プレゼンテーションファイルを作成することを支援するメディアであり，3.1 節の (1) 文書・プレゼンテーションの創造活動のためのメディアに相当する．なお，本稿では，作成したプレゼンテーションファイルについて，
スライドショー機能を用いることで，プレゼンテー
ションを行うことができるような実装（Reveal.js を利用）を行った．
ドキュメントサブシステム（図 1d）では，文書ファイルの構成要素として知識断片を生成し，ページ内に配置し，そのページを線形に配置することで文書ファイルを作成することができる．本研究では，
知識断片を配置可能な複数のセクションをページ内に配置し，そのセクション間で知識断片を移動させるようにドキュメントサブシステム構成することで，ナレッジインタラクション [12] を実現可能にしている．プレゼンテーションサブシステム同様，ドキュメ
ントサブシステムは，複数の知識断片を文書のフォー

Knowledge ComposTer: 知識断片の再活用による継続的な創造活動支援システム(a) テキストの知識断片に対する編集操作のログ(b) 知識断片のファイルへの所属を表すログ

図 4: 操作ログを表すグラフ

マットに整形し，文書作成を支援することを可能にするメディアであり，3.1 節の (1) 文書・プレゼンテーションの創造活動のためのメディアに相当する．
また，Knowledge ComposTer は，知識断片を扱う中小路の ART#001[8] や Text ComposTer[14]と同様に，生成された知識断片の編集，分割，統合する機能を，各サブシステム共通で備えており，各作業空間における創造活動を支援している．ここで，ホワイトボード，プレゼンテーション，ドキュメン
トの各サブシステム内の知識断片は削除可能であるが，ポータルは上述のように共通リソースとして機能させているため，知識断片を削除できないように構成している．

3.3 サブシステム間の連携
Knowledge ComposTer は，図 2 に記載のように，対応するサブシステム間で連携し，知識断片を相互にやり取りすることを可能にしている．
ポータルサブシステムは，ホワイトボード，プレゼンテーション，ドキュメントの各サブシステムと連携している．ポータルサブシステムにおいて，ユー
ザは知識断片を複数選択した状態で（図 1a 参照），
各サブシステムに移動することができる．この移動によって，ポータルで選択された複数の付箋をもとに，新たなホワイトボード，プレゼンテーション，文書の作成が可能になる．また，ホワイトボード，プ
レゼンテーション，ドキュメントの各サブシステム
は，インポート画面を重畳表示可能である（図 3）．
インポート画面には，ポータル内の知識断片のうち，表示元のサブシステムに配置されていない全ての知識断片が表示されている．ユーザは，インポート画
面内のインポートボタンによって，ポータル内の知識断片を再活用することが可能となる．また，上述のように，ホワイトボード，プレゼンテーション，ドキュメントの各サブシステムでは，新たに生成された知識断片は全て，共通リソースとして機能しているポータルサブシステムに蓄積される．
Knowledge ComposTer では，ホワイトボードサ
ブシステムで二次元配置された知識断片を，プレゼ
ンテーションサブシステム，ドキュメントサブシス
テムそれぞれに移行させることができる．また，プ- 39 -

レゼンテーションサブシステム，ドキュメントサブ
システムからそれぞれ，ホワイトボードサブシステ
ムに移行させることができる．現段階では，ホワイトボード内のグループが，プレゼンテーションにおけるスライドに，ドキュメントにおけるセクションに相当するように移行させている．

3.4

操作ログの記録

Knowledge ComposTer は，知識断片に対する操
作のログをグラフデータとして記録している．具体的には，知識断片，ファイル，グループ，スライド，ページ，セクションをノードとし，知識断片と知識断片を含むその他のノードとの関係をエッジとして表現している（図 4）．図 4(a) は，テキストの知識断片が複数回にわたって編集操作が行われたログの例であり，「テスト」という文字列から「Merge テ
ストです」という文字列に知識断片が編集された過程が示されている．具体的には，一番左側のノードが起点となり，一度内容が編集（EDIT）され，その後，2 つの知識断片に分割（SPLIT）されている．
そして，分割された一方の知識断片と別の知識断片とが，一つに統合（MERGE）される．
図 4(b) は，ホワイトボードファイルとプレゼンテーションファイル内にある知識断片の関係を表したグラフである．この例では，ホワイトボードに 3
つの知識断片が所属しており，そのうち一つがプレゼンテーションにも所属していることを表している．
つまり，このグラフからは，プレゼンテーション（またはホワイトボード）で生成された知識断片がホワ
イトボード（またはプレゼンテーション）で再活用されたことが分かる．実際は，各知識断片のノードには，複数のプロパティが保存されており，どのファイルで生成されたかが記録されているため，どのファイルで生成された知識断片がどのファイルで再活用されたかということが，ログから判断できる．
以上のようなログを収集することで，例えば，「不用知として削除された知識断片がその後，どのファイルに活用されたか」や，「知識断片それぞれについて，いくつのファイルで再活用されたか」など，知識断片の再活用の状況をトラッキングすることができる．そのため，Knowledge ComposTer を用いて

WISS 2021

あると思われる．

継続的に創造活動が行われる設定の実験を行うこと
で，創造活動時における知識活用について，明らかでなかった知見（例えば，再活用されやすい知識断片の内容の特徴）を得ることが期待できる．

4
4.1

4.2

議論

継続的な創造活動を支援できるか

3 章で述べたように，Knowledge ComposTer は，創造活動の種類によって異なるメディアを有するサブシステムが相互に連携し，各サブシステムで外在化した知識断片を漏れなく収集している．継続的な創造活動では，人間は異なるメディアを使って複数のファイルを創造する．例えば，研究活動を行ってい
ると，研究室内や所属部署内などで進捗報告や関連論文に関する勉強会の資料をプレゼンテーションで作成することはよくある．その後，研究の成果がまとまってきたときに，論文にまとめる作業を行う．このようなケースにおいて，Knowledge ComposTerを使わない場合は，文書作成ツールで論文を執筆しながら，関連するプレゼンテーションファイルを開き，内容を再活用することが想定される．一方，
Knowledge ComposTer を使用する場合，ドキュメ
ントサブシステムで文書作成を行いながら適宜インポート画面を開き，過去にプレゼンテーションサブ
システムで作った知識断片のうち，再活用したいものを探し出してインポートを行う．この例において，Knowledge ComposTer を使用していない場合は，再活用したい内容を含むファイルを探し出す必要があるが，Knowledge ComposTer であれば，その内容をインポート画面で即座に確認することができる．
ここで，従来，Git によるファイルの差分管理やFileWeaver[5] のようなファイル管理システムが提案されており，これらは逐次進捗があるファイル群の関係性を把握可能とし，継続的な創造活動を支援する仕組みであると言える．しかしながら，これらの仕組みであっても，過去の数バージョン前にどのような内容が含まれていたかは，そのファイルを直接参照する必要があり，結局は目的のファイルを探し出す必要がある．また，これらのファイル管理シス
テムでは，各ファイルの編集中に削除された内容が記録されることはない．数バージョン先の未来において，削除された知識断片を活用したいというニーズには応えることができない．つまり，これらの仕組みでは，知識断片の活用機会を失っているかもしれない．Knowledge ComposTer は，一旦生成された知識断片は全て蓄積しており，さらに，バージョン
間の違いによらず，過去の知識断片を一覧表示可能なことから，従来のファイル管理システムでは難し
かった知識断片の活用に関する要求に応えることができる．以上の議論から，Knowledge ComposTerの仕組みとしては，継続的な創造活動支援が可能で- 40 -

想定される課題

知識断片の再活用において，共通リソースによって知識断片を一元管理することがメリットであることを述べた．しかしながら，Knowledge ComposTer
は，現状，知識断片に対する編集・分割・統合を行った場合，それぞれ別の知識断片が生成されたとして，それらを全て蓄積し，ポータルにて表示する実装を行っている．そのため，蓄積・表示すべき知識断片の数が多くなり，活用したい知識断片を探し出すのが困難になるおそれがある．例えば，本稿第一著者
が，Knowledge ComposTer を使って社内の勉強会用に作成したプレゼンテーションファイルについて，
スライド 40 枚に対して知識断片の数は 121 個あった．そして，削除された知識断片は 96 個あった．第一著者は，この資料を作成する際に，あまり試行錯
誤を要さず，一気通貫して資料作成を行ったという印象を持っているが，このファイル作成時に生成された全知識断片のうち，削除された知識断片が約 4割を占めていた．試行錯誤が伴うファイルの作成に関しては，削除された知識断片の方が数が多くなることも想定される．
このことからも，Knowledge ComposTer に蓄積される知識断片数が非常に多くなることが考えられる．その場合，現状のポータル画面やインポート画
面に表示される知識断片数の数が多くなり，再活用が阻害される可能性がある．そのため，今後，知識断片の検索機能や似通った内容の知識断片をまとめて表示するなどのインタフェースの工夫が必要になってくると思われる．

5

まとめと今後の課題

本稿では，創造活動時に一度でも外在化した知識断片を漏れなく収集し，かつ新たな創造活動時に過去に収集した知識断片を再活用可能にすることで，継続的な創造活動を支援するシステム Knowledge
ComposTer を提案した．創造活動の種類に応じて適したメディアを相互連携した Knowledge ComposTer を使用することで，ユーザは，各メディアによって創造活動自体が支援されながら，後に活用可
能な知識断片を自然に収集・蓄積することが可能となる．そして，ユーザが新たな創造活動時に蓄積された知識断片を活用することで，その創造活動が支援される．
今後は，実証実験を行いながら，創造活動に資する知識断片とはどのようなものかを明らかにしていくとともに，4 章で議論したような，潜在的な課題を検討し，Knowledge ComposTer を改良すること
で，知識創造と知識活用のサイクルをより円滑にし，人間の継続的な創造活動を支援するメディアの創造
を目指す．

参考文献

Knowledge ComposTer: 知識断片の再活用による継続的な創造活動支援システム[12] 中小路 久美代, 山本 恭裕. 創造的情報創出のためのナレッジインタラクションデザイン. 人工知能学会論文誌, 19(2):154–165, 2004.

[1] K. Ament. Single Sourcing: Building Modular
Documentation. William Andrew Publishing,
2003.
[2] C. C. Ann Rockley. Managing Enterprise Content: A Unified Content Strategy, Second Edition. New Riders, 2012.

[13] 生田 泰章, 高島 健太郎, 西本 一志. 棄却文章断片の創造的文章作成時における活用可能性の検証. 情報処理学会研究報告. HCI, 研究報告ヒュー
マンコンピュータインタラクション, 2018-HCI176(17):1–8, 2018.

[14] 生田 泰章, 高島 健太郎, 西本 一志. 文書作成
過程で削除された文章断片の効率的収集手段と活用可能性に関する考察. 情報処理学会論文誌,
59(12):2299–2314, 2018.

[3] D. Barta and J. Gil. A System for Document
Reuse. In Proceedings of the 7th Israeli Conference on Computer-Based Systems and Software
Engineering, ICCSSE ’96, p. 83, USA, 1996.
IEEE Computer Society.

[15] 由井薗 隆也, 宗森 純. KJ 法支援グループウェアの現状と今後 (ヒューマンコミュニケーション基礎).
電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, 115(237):61–68, 2015.

[4] O. Bergman, R. Beyth-Marom, and R. Nachmias. The Project Fragmentation Problem in
Personal Information Management, p. 271–274.
Association for Computing Machinery, New
York, NY, USA, 2006.
[5] J. Gori, H. L. Han, and M. Beaudouin-Lafon.
FileWeaver: Flexible File Management with Automatic Dependency Tracking. In Proceedingsof the 33rd Annual ACM Symposium on User
Interface Software and Technology, UIST ’20, p.
22–34, New York, NY, USA, 2020. Association
for Computing Machinery.
[6] C. Jensen, H. Lonsdale, E. Wynn, J. Cao,
M. Slater, and T. G. Dietterich. The Life andTimes of Files and Information: A Study of
Desktop Provenance, p. 767–776. Association
for Computing Machinery, New York, NY, USA,2010.
[7] Y. Mejova, K. De Schepper, L. Bergman, and
J. Lu. Reuse in the Wild: An Empirical andEthnographic Study of Organizational Content
Reuse, p. 2877–2886. Association for Computing Machinery, New York, NY, USA, 2011.
[8] K. Nakakoji, Y. Yamamoto, S. Takada, andB. N. Reeves. Two-Dimensional Spatial Positioning as a Means for Reflection in Design.
In Proceedings of the 3rd Conference on Designing Interactive Systems: Processes, Practices, Methods, and Techniques, DIS ’00, p.
145–154, New York, NY, USA, 2000. Association for Computing Machinery.
[9] M. Sharmin, L. Bergman, J. Lu, and R. Konuru.
On Slide-Based Contextual Cues for Presentation Reuse. In Proceedings of the 2012 ACM
International Conference on Intelligent User Interfaces, IUI ’12, p. 129–138, New York, NY,
USA, 2012. Association for Computing Machinery.
[10] A. Swearngin, S. Iqbal, V. Poznanski, M. Encarnación, P. N. Bennett, and J. Teevan. Scraps:
Enabling Mobile Capture, Contextualization,and Use of Document Resources. In Proceedingsof the 2021 CHI Conference on Human Factors
in Computing Systems, CHI ’21, New York, NY,
USA, 2021. Association for Computing Machinery.
[11] K. Verbert, X. Ochoa, and E. Duval. The
ALOCOM framework : towards scalable content
reuse. Journal of Digital Information, 9(1):1–
24, 2008.

- 41 -WISS 2021

未来ビジョンを持っている（著者がそうありたい）．本研究の Knowledge ComposTer という名は，知識を創り出す（Compose）だけでなく，過去の創り出す過程をたい肥（Compost）に変えて，創造活動の土壌を豊かにしたいという想いを込めて名付けた．本稿で実装した Knowledge
ComposTer は完成形ではなく，研究の進展によって，適宜改良していく．今後は，創造活動のドメインを増やす方向と，活用対象者を増やす方向を検討している．本稿では，文書とプレゼンテーションの成果物を生み出す環境を構築したが，音楽やスケッチなどの創造活
動のドメインを増やした場合に，創造活動がどう変化するのか，もしくはしないのかを明らかにしていきたい．また，個人だけでなく，研究室や，組織単位で創造活動のための知識
活用がどのようになっているかを Knowledge
ComposTer を使用することで，明らかにしていきたい．

（この未来ビジョンは，本稿第一著者が見ているビジョンです．
）

創造活動支援システム研究の方向性として，創り出すことのハードルを下げるための仕掛けを考案し，実装・評価するというのが王道ではないかと思う．一方で，創造活動時の生みの苦
しみは，創造活動のメディアが変わっても, 多かれ少なかれ存在し続けるのではないかとも思っている．その苦しみの過程で創り出されたものは，成果物であろうが，成果物に反映されない中間生成物であろうが，せっかく生み出されたのだから余すところなく活用されてほしい（もったいない！）．その活用を支援することで，今は大変でも，いつかは未来の自分を含む誰かの役に立つはずだと，挫折することなく創造活動を続ける人が増えてほしいという想い- 42 -

IoTeach: 実世界と順序型コンテンツを連携した IoT 学習支援システム
川谷 知寛 ∗

塚田 浩二 ∗栗原

WISS 2021

一貴 †概要. 近年，IoT が一般化している中で，Arduino や M5Stack などの IoT デバイスの動作や仕組みを他者と共有する場面が増えてきている．さらにコロナ禍に伴い，各教育機関においても，チュートリアル動画等を用いたオンデマンド型や，ビデオ会議システム等でのスライド共有を中心とするライブ型のオンライン講義の導入が進められている．一方，こうした手法は実世界のデバイスやソースコードとのリンクに乏しい等の問題があった．そこで本研究は，Web 上で共有される動画やスライドといった順序型コンテンツにスクリプト言語を同期させ，実世界の IoT デバイスや編集可能なソースコードと連携させることで，IoT
プログラミング学習を支援するシステム「IoTeach」を提案・開発する．本稿では，システムのコンセプトと実装を説明し，コンテンツ事例や課題と展望について議論する．

1

はじめに

IoT（Internet of Things）という言葉に代表されるように，身の回りのモノとインターネットを連動したシステムが一般化しつつある．さらに，IoT 機器のプロトタイピングを支える Arduino，Raspberrypi，M5Stack などの要素技術も充実してきており，
その教育ニーズも日増しに高まっている．しかし，試作した IoT デバイスの振る舞いや仕組みを，空間的・時間的にその場にいない他者と共有することは難しく，実世界での振る舞いをわかりやすく示す
ために，チュートリアル動画がしばしば採用されている．例えば，M5Stack 社は自社 IoT デバイスのチュートリアル動画を多数公開している1 ．
一方，チュートリアル動画は従来のドキュメントに比べると，ソースコード等の実際にデバイスを動作させる要素とのリンクに乏しいという問題がある．
ユーザは動画を見てデバイスの振る舞いを理解することはできても，手元の実機で動作を再現するのは容易ではない．ソースコードのどの部分がその挙動を起こしているかは動画では表現しにくいため，従来のドキュメントを改めて参照してソースコードを探し，専用の開発環境から手元のデバイスに転送する必要がある．すなわち，チュートリアル動画は特に初心者のユーザにデバイスの振る舞いを伝える「概要把握」に優れる反面，実機での「動作確認」や仕組みの「詳細理解」には，従来型ドキュメントやソー
スコードをユーザが自力で参照する必要があり，学習プロセスとしてみるとギャップがあった（図 1）．
さらに，コロナ禍に伴い各教育機関ではプログラ
ミング演習のオンライン化が急速に進められており，
オンラインでのプログラミング教育支援の必要性が増加している．オンライン授業は主に，（チュートリ
公立はこだて未来大学
津田塾大学
1
https://www.youtube.com/c/M5Stack/∗†- 43 -

図 1. 本研究の狙い

アル動画の例に近い）動画等を学習者の好きなタイ
ミングで視聴するオンデマンド型と，ビデオ会議シ
ステム等を活用したライブ型に分けられる．ライブ
型の講義においても，講師は学習者の手元にある計算機や IoT デバイスの状態の把握や制御が難しい等の問題を抱えている．
そこで本研究では，Web 上で共有される動画・
プレゼンテーション資料などの順序型コンテンツに対して，進行に対応して実行されるスクリプト言語を同期させることで，スクリプトと視聴者の手元のIoT デバイスとを連携可能なシステム「IoTeach」を構築する．例えば，図 2 のような動画上のデバイスの動きに対応して，実世界のデバイス操作とソース
コードの提示を行うことができる．IoTeach を用いることで，視聴者のデバイスに関する理解度の上昇
やモチベーションの向上といった効果を期待する．

WISS 2021

また，コロナ禍に伴い大学でのプログラミング演
習のオンライン化も急速に進められており，オンラ
インでのプログラミング教育支援の必要性も増えている．Typing.run[9] は，プログラミング学習のタイ
ピング練習と基本命令や関数の理解と定着の支援を行う Web システムである．このシステムによって，利用者のタイピングスコアの上昇やプログラムの理解や定着に良好なことが確認された．Amadeus[8]は，学習者側だけではなく講師側の支援も行ったプ
ログラミング初心者のためのオンラインコンパイラシステムである．学生側の環境構築の手間を省き，同時に講師は学生が困っている時にすぐに気づくことができるようになっている．

図 2. IoTeach の概要．Web 上の動画やスライド等の順序型コンテンツの進行に対応したスクリプトを同期させることで，実世界の IoT デバイスの操作や関連するソースコードの提示を行う．

2
2.1

2.4

このように，順序型コンテンツへのスクリプトの同期や，Web と実世界のデバイスを連動させる仕組みは存在していたが，両者を統合した学習支援の試
みはほとんど行われてこなかった．また，オンライ
ンプログラミング学習支援システムは多数存在する
が，IoT デバイスに焦点を当てた支援はあまり行われてこなかった．本研究では，動画やスライド等の順序型コンテンツにスクリプトを同期させ，コンテ
ンツ内のデバイスの動作を実世界のデバイスやソー
スコードと連携させることで，IoT プログラミング
学習を支援する点で独自性がある．

関連研究

コンテンツにスクリプトを組み込む事例

順序型コンテンツの特定時刻にスクリプトを実行することは，Adobe Flash の時代から広く用いられてきたが，その用途は主にアニメーションへのイン
タラクティブ性の付与等に限定されていた．Sikuli[5]は，プログラムに画像を使用して，自動化補助や検索を行えるようにしたシステムである．
Text Alive[4] は，解析された音楽情報を基にした動画アニメーションの作成を行う Web サービスである．作成された動画はプログラミング要素を含んでおり，字幕の表示設定や図形の描画などをプロ
グラムを書いてユーザ自身が実装できる．
ぴぴつい [6] は PowerPoint のスライドショーに連動して，事前に発表者ノートに記述した内容をツイートする PowerPoint のアドインである．

3
3.1

提案

コンセプト

図 1 をもとに，IoTeach のコンセプトを説明する．
大きく分けて，Web 上の要素である順序型コンテ
ンツ（動画／スライド）とソースコード，実世界の要素である IoT デバイス（マイコン）の 3 つの要素がある．ここで，コンテンツの順序（例: 動画の時間軸）に基づいて，ソースコードの表示や実世界の IoT デバイスの挙動を連携して制御する．ユーザ
は，動画内のデバイスの動作と連動したソースコー
ドを見ることができるため，制御の詳細を理解しやすくなる．また，動画を見るだけで手元のデバイスが動作する体験は，特に初学者ユーザの学習意欲の向上等に繋がると考える．
システムの利用例を図 3 に示す．ここでは，ユー
ザは PC 等で IoT マイコンのチュートリアル動画を視聴している．動画内のマイコンの LED が光ると，ユーザの持つマイコンの LED も連動して光る．さらに，対応するソースコードが画面右側のエディタ上に提示される．

2.2 コンテンツと実世界デバイスを連動する事例
Songle Sync[3] は，音楽を元に作成された動画を実世界の様々なデバイスで制御して，音楽と物理空間が融合した体験を生成する．
また，IoT デバイスと Web を連携する仕組みとしては，obniz Board2 といったプラットフォームがある．これは電気回路と直接接続可能なマイコンであり，クラウドを介して，Web 上からソースコードの記述や実行が可能なソフトウェアを備えている．

2.3 オンラインプログラミング教育支援の事例
Progate[1] やドットインストール [2] は，オンラ

インで様々なプログラミング言語を学ぶことができる Web サービスである．スライドや動画での学習をした後に，サイト上でコードを書いて実践的に学ぶことができる．しかし，これらのサイトで IoT デ
バイスについて学習することはできない．
2

本研究の特徴3.2

システム要件

本研究では，順序型コンテンツ（動画／スライド）の視聴時において，コンテンツとデバイスの連動，https://obniz.com/- 44 -

IoTeach: 実世界と順序型コンテンツを連携した IoT 学習支援システム

は原則一人でシステムを利用するため，一つのアプリ（インスタンス）に対して，一つの IoT デバイ
スが対応する．オンデマンド教材以外にも，個人やハッカソン等で制作した IoT 作品の公開／共有にも活用できると考える．
スライド版システムは，PDF 等のページ単位を持つスライドをオンラインに配置し，ページ遷移に沿って処理を実行するスクリプトを連動させる．主にライブ型オンライン授業でビデオ会議システムと併用し，一人の講師が複数の学習者に対して，スライドを画面共有等で見せながら進行する形態を想定している．よって，一つのアプリ（インスタンス）に対して，各学習者の持つ複数の IoT デバイスが対応する必要がある．

図 3. IoTeach の利用例

及び，コンテンツとソースコードのスムーズな連携ができるシステムの構築を目指す．そこで，以下の3 点のシステム要件を設定した．

3.3 節で述べたとおり，本研究では動画版システ
ムとスライド版システムの 2 種類を開発する．本シ
ステムのシステム構成図を図 4 に示す．両システム
とも，Web アプリとして実装した．大まかな実装技
術としては，HTML，CSS，JavaScript 等を用いてフロントエンドを構築し，Firebase3 を用いて，ホスティングとデータベースの管理を行っている．以下，利用する IoT デバイスとスクリプトについて紹介した後に，動画版／スライド版システムについて述べる．

デバイスの挙動に合わせたソースコードの表示
前述した通り，動画／スライド上のデバイスの動作がソースコードのどの部分で実現されているか確認するのは難しい．そこで，動画上等でデバイスが動いたタイミングで，Web上のテキストエリアに対応するソースコード
をコピー等の編集操作が可能な状態で表示することにより，動画とソースコードのスムー
スな連携を行う．

注目箇所の誘導IoT プログラミング学習では，コンテンツ（動画／スライド），ソースコード，手元のデバイ
ス等，複数の要素を意識して学習する必要があり，どこを見ればよいのか，混乱が生じや
すい．そこで，システムで注目すべき要素を強調表示することで，ユーザの注意を誘導する仕組みを構築する．

3.3

実装

4

ユーザの手元でデバイスが動作
動画／スライド上でデバイスの挙動を見るだ
けでなく，実際に手元のデバイスが同じ挙動をしたり，ユーザによる入力で動くことで，理解を深める．例えば，センサの感度やアクチュ
エータの駆動範囲等を体験的に理解することができる．また，動画を見るだけで手元のデバイスが動くという体験は，特に初学者の学
習意欲の向上につながると考える．

図 4. システム構成図

動画版システムとスライド版システム

4.1

IoT デバイスシステムで利用する IoT デバイスの要件としては，

本研究では，オンデマンド教育／ライブ教育を見据えて，動画／スライドの 2 種類の順序型コンテン
ツに対応したシステムを構築する．なお，学習者は
主に，マイコンや IoT 開発の経験がない初学者を想定する．
動画版システムは，YouTube 等のオンライン動
画を Web アプリ上に埋め込み，動画の時間軸に沿って処理を実行するスクリプトを連動させる．学習者

1. 外部のセンサやアクチュエータを接続する拡張性を持つ．

2. Wi-Fi 等でインターネットに接続できる．

3. インターネット経由でプログラムを実行／書3- 45 -

き換えできるhttps://firebase.google.com/

WISS 2021

といった点が上げられる．これらの要件は，ESP32
マイコンや Arduino+Wi-Fi シールド等でも達成可能であるが，3 点目の実現にはファームウェア開発等の手間が掛かる．
そこで，本研究では obnizOS が導入されたマイコン4 を利用することにした．obnizOS は，IoT マイ
コン上で動作するファームウェアであり，デバイス毎にユニークな ID を備えている．クラウドの API
から ID を指定することで，特定のデバイスに対して，内蔵センサ／アクチュエータの制御や，ポートの入出力制御を行うことができる．また，obniz 系
マイコンの開発言語は，Web アプリで広く利用される JavaScript であり，次節で紹介する動画と同期して実行されるスクリプト言語「srt.js[7]」との相性が良い点も配慮した．
学習者は対応する obniz 系マイコンさえ持っていれば，複雑な準備を必要とせずに，本システムを利
用できる．

4.2

図 5. スクリプトの記述例（上：動画版，下：スライド版）

コンテンツと同期するスクリプト

ここでは，動画版／スライド版システムと同期して動作するスクリプトについて説明する．どちらのスクリプトも，基本的には標準的な JavaScript とobniz ライブラリを用いるが，動画版では「動画上の経過時間」，スライド版では「スライド上のページ遷移」に対する記述方式を備える点が特徴である．
具体的には，動画版では「srt.js」という JavaScriptのフレームワークを使用する．これは，動画の字幕情報を記述するフォーマットである srt 形式のファイルを拡張したものであり，動画上の経過時間に対応して特定のコードを実行できる．例えば，図 5 上部のように動画上の経過時間（例: 10 秒→ 15 秒）を記述して，次にその時間に実行するコードを記述する．ここで，経過時間の直前の通し番号から空行までが一ブロックとして認識される．
スライド版では，図 5 下部のように，関数の配列を用意し，スライドのページ番号をインデックスとして指定して，関数内にコードを記述する．関数は，各ページに遷移した（画面に表示された）タイミン
グで実行される．
これらのスクリプトは，コンテンツと紐付けてFirebase 上のデータベースに保存する．

4.3

動画版システム

動画版システムは，大きく Web アプリ，動画共有サービス（例: YouTube），IoT マイコン（obniz）から構成される．Web アプリとしては，閲覧アプリと作成支援アプリの二つを開発した．以下，詳細について述べる．
4https://obniz.com/ja/products/obnizos- 46 -

図 6. 閲覧アプリのスクリーンショット

4.3.1

閲覧アプリ

4.3.2

作成支援アプリ

閲覧アプリのスクリーンショットを図 6 に示す．
大きく，(1)YouTube から埋め込まれた動画表示部
分，(2) ソースコード表示部分，(3) 字幕表示部分，(4) 出力コンソールの 4 つの要素から構成される．
ソースコード表示部分は，関数／変数等の色付けに対応したエディタライブラリである，CodeMirror
を用いて実装した．コード表示部分は，「リアルタイム」「全体」という二つのタブを備えている．
「リア
ルタイム」では，動画の時間軸（現在のデバイスの挙動）に対応したコードのみを表示する．
「全体」では，一連の処理を行うコードをまとめて表示する．
字幕表示部分は，デバイスの動作の補足説明やユーザに注目してほしい箇所等を表示する．作成者
は，srt.js の記法に沿って，コードと交えて字幕を記述することができる．出力コンソールは，手元のデバイスの動作（例: ボタンや加速度センサ）に対応したセンサデータ等を，リアルタイムに出力する．
また，これら 4 つの要素（動画／ソースコード／
字幕／コンソール）について，注目させたい箇所をハイライト表示させることができる．ハイライト表
示の例と，対応するコードを図 7 に示す．
動画版システムでは，スクリプトに動画の経過時間を入力する必要がある．これを手作業でやる場合，
動画とエディタを並べて開いておいて，動画上でデバイスの動作場面を探し，経過時間をエディタに記

IoTeach: 実世界と順序型コンテンツを連携した IoT 学習支援システム

図 7. ハイライト表示の例（上：動画のみ，下：ソース
コードのみ）

述する必要があり，手間が掛かる．
そのため，動画版システムのコンテンツ作成を支援するシステムを開発した．作成支援アプリのスク
リーンショットを図 8 に示す．大きく，(1) 動画表
示部分，(2) タイムライン，(3) コードエディタ（オリジナル），(4) コードエディタ（タイムライン）の
4 つの要素から構成される．
タイムラインは動画の時間軸と対応しており，タイムライン上の任意の箇所をダブルクリックすることで，動画の経過時間5 を自動的に挿入したコードブ
ロックを作成できる．さらに，コードブロックをダ
ブルクリックすることで，右上のコードディタ（タイムライン）で開いて編集する．コードエディタ（オリジナル）には事前に作成したコードを読み込み，コピー＆ペースト等を用いることで，srt.js 形式のコードを効率的に編集できるように配慮している．
最後に，「アップロード」ボタンを押すことで，Firebase 上のデータベースに srt.js 形式のファイルがアップロードされる．アップロード後には閲覧アプリのURL が提示され，即座に動作を確認できる．

たため，reveal.js6 というライブラリを利用して，独自のスライドショーシステムを構築することにした．
図 9 にシステムのスクリーンショットと利用の流れを示す．まず，作成者（主に講師）は初期画面で，スライド（PDF），スクリプト（JavaScript），講師／学習者のデバイス ID の一覧（CSV）を Web ア
プリに読み込む．前述したように，スライド版シス
テムでは講師の PC と全ての学習者の obniz 系マイコンを接続するため，CSV ファイルでまとめて読み込めるように配慮した．
3 つのファイルを読み込んだら，プレビュー画面に遷移する．プレビュー画面では，各スライドへの遷移時に実行されるコードを確認することができる．
問題がある場合，「戻る」ボタンを押すことで，特定のファイルのみを差し替えることができる．
プレビュー画面から，「プレゼンテーション開始」
ボタンを押すとスライドが全画面表示され，デバイスとの連動が開始される．ここで，特定のスライドが表示される（ページ遷移する）と，ページ番号に対応した関数が実行され，事前に読み込んだデバイ
ス ID に対応する全ての obniz 系マイコンが連動して動作する．講師の負担を軽減するために，コード上では複数のマイコンに対する繰り返し処理は隠蔽され，自動的に補完されるように配慮した．
なお，アップロードされた PDF ／ JavaScript／ CSV は Firebase 上のデータベースで管理され，
PDF ファイル名とタイムスタンプをキーとして後から呼び出すことができる．

図 9. スライド版システム（1．初期画面，2．プレビュー
画面， 3．プレゼンテーション画面）

図 8. 作成支援アプリのスクリーンショット

4.4

5

スライド版システム

5.1

スライド版システムの作成にあたり，ページ遷移
を API 経由で検出できるサービスが見つからなかっ5

議論

コンテンツ事例

ここでは，主に先行して実装した動画版システム
を中心としたコンテンツ事例について述べる．まず，開始時間を動画の現在再生時刻，終了時間を現在再生時
刻から 3 秒後としている

6- 47 -

https://revealjs.com/

WISS 2021

コンテンツを作成するにあたり，基本的な撮影方法を検討した．通常／システム利用中の様子の 2 種類の撮影方法でコンテンツを作成した（図 10）．通常の撮影方法については，動画とソースコードをわか
りやすく見ることができる反面，動画と手元のデバ
イスがいつ連動するのかや，ユーザの入力が必要な場面がわかりにくいといった問題があった．システ
ム利用の様子を撮影した場合については，手元のデバイスがいつ動くのかはわかりやすくなったが，肝心の動画が見づらいという問題点があった．また，動画を二重に撮影する必要があるため，作成者の手間も増えてしまう．このように，それぞれの撮影方
法は一長一短であるが，手間の少なさと動画の見やすさを考慮して，1 点目の撮影方法を基本的に利用し，手元のデバイスに注目させる方法を整理／実装
していく方針とした．

ツに合わせてデバイスが連動する点や，動作に関連するソースコードを提示する点については好印象を得られた．スライド版システムを用いてライブ型の体験をしてもらった際には，スライドの切替に応じて各ユーザの手元のデバイスが連動する際に，「おおっ」という感嘆の声が複数上がっていた．
課題としては，動画版システムでは，現状では時系列通りに動画を閲覧しないと，変数の初期化等が正しく実施されず，予期せぬ動作を起こす可能性がある．よって，体験者にはスキップ等の動画の操作をなるべく利用しないように依頼したが，ストレスであるという声も上がった．対策として，全てのスクリプトの実行前に自動的に実行される初期化用コードを用意したり，スキップした間のコードを自動的に実行するような仕組みを検討している．また，ス
クリプトの埋め込んである時刻をタイムライン上で可視化するような機能の実装も予定している．
次に，著者らがコンテンツ作成を通じて感じた印
象や課題について述べる．動画版では，当初手動で通し番号や動画の経過時間を記述していたため，作成支援システムを開発したことで，こうした労力は大分減ったと感じた．一方，ユーザにコードを提示する場合は実行用／表示用で 2 度同じコードを書く必要があるため冗長であると感じた．また，動作確
認の際に閲覧アプリと作成支援アプリを何度も切り替える必要があり，少々面倒であった．今後は，コードを手軽に表示できる記法や，作成支援システム上での文法チェックや簡易的なデバッグを行えるように改良していきたい．
スライド版では，一人の講師が複数の学習者に対して利用するが，学習者側のデバイスの動作状況が分かりにくい問題があった．今回は，音声やチャット等でコミュニケーションをとったが，今後は学習者側のデバイスの動作状況（例: 入出力ポートの状
態）等を手軽に把握できるような視覚化機能の実装を検討していく．また，現時点では講師のスライドと全ての学習者のマイコンが連動するため，個別のトラブルシューティング等を行う際には不便である．
今後は，スライドとマイコンの接続関係を手軽に変更できるような機能と UI の実装を進めていきたい．

図 10. 2 つの撮影方法 (1．通常，2．システム利用中)

また，m5stickC のような加速度センサ／ジャイ
ロセンサが搭載されているマイコンであれば，セン
サでデバイスの状態を検出して，システムの挙動に反映できる．一例として，ユーザがデバイスを手に取っている時に動画を停止し，手から離すと動画を再生するような機能を実装した．一方，この機能はセンサ搭載デバイスでしか利用できず，意図せぬ動作を引き起こす可能性もあるため，汎用的な手法も併せて検討する必要がある．
「LCD で図形を描
さらに，「LED を点滅させる」，画する」，「加速度センサの値をコンソールに出力する」等といったマイコンの基本的な機能を紹介する
コンテンツや，「ジャイロセンサの値に応じてサーボ
モーターを制御する」，「加速度センサやマイコンのボタンを用いてリモコンのように YouTube 動画を操作する」といった簡単なアプリケーションを提案
システムを用いて作成した．内容の一部については，
デモビデオでも紹介する．

5.2

システムの使用感と課題

本格的な評価実験はまだ行っていないが，これまでに著者らにより複数のコンテンツを作成し，所属研究室内で，動画版システムの予備実験とスライド版システムを用いた簡易ワークショップを実施した．
詳細は紙面の都合で割愛するが，これらの経験に基づくシステムの印象や課題について議論する．
まず，コンテンツ閲覧時の使用感として，動画版システムでは，予備実験のアンケートからコンテン

6

まとめ

本研究は，動画やスライド等の順序型コンテン
ツにスクリプト言語を同期させ，実世界の IoT デバイスや編集可能なソースコードと連携させることで，IoT プログラミング学習を支援するシステム「IoTeach」を提案・試作した．さらに，動画版を中心としたコンテンツ事例や，動画版／スライド版システムの使用感と課題を議論した．今後は議論で述
べたシステムの改善を行った上で，システムの有無での学習効果の変化やモチベーション向上について検証を進めていく．

- 48 -

参考文献

IoTeach: 実世界と順序型コンテンツを連携した IoT 学習支援システム[1] Progate. https://prog-8.com.

[2] ドットインストール-3 分動画でマスターできるプロ
グラミング学習サービス. https://dotinstall.com/.

[3] K. Jun, O. Masa, I. Takahiro, and G. Masataka. Songle Sync: A Large-Scale Web-based
Platform for Controlling Various Devices in Synchronization with Music. In Proceedings of the
26th ACM International Conference on Multimedia, pp. 1697–1705, 2018.
[4] K. Jun, N. Tomoyasu, and G. Masataka. TextAlive: Integrated Design Environment for Kinetic
Typography. In Proceedings of the 33rd Annual
ACM Conference on Human Factors in Computing Systems, pp. 3403–3412, 2015.
[5] Y. Tom, C. T. Hsiang, and M. R. C. Sikuli: Using GUI screenshots for search and automation.
In UIST 2009 - Proceedings of the 22nd Annual
ACM Symposium on User Interface Software andTechnology, pp. 183–192, 2009.

[6] 栗原一貴. 学会イベント支援 2) 放送化の時代のプレゼンテーション支援システム. 56(5):465–471,
2015.
[7] 栗原一貴, 橋本美香. srt.js:映像コンテンツへの IoT
指向拡張プログラム埋め込みフレームワーク. 日
本ソフトウェア科学会 WISS2016 論文集, 2016.

[8] 森田浩平, 松本慎平. 大学でのプログラミング基礎講義における初学者を支援するためのオンライン
コンパイラの開発. 人工知能学会 第 82 回 先進的
学習科学と工学研究会 (SIG-ALST), Vol. B5, No.
03, pp. 63–66, 2017.

[9] 又吉康綱, 中村聡史. typing.run: 初学者のプログ
ラミング学習を支援するプログラムタイピングシス
テムの提案と実践. 研究報告ヒューマンコンピュー
タインタラクション（HCI），Vol. 2020-HCI-189,
pp. 1–8, 2020.

- 49 -WISS 2021

部屋の 3 次元縮小モデルを用いた MR 空間内における仮想オブジェクト配置
井原 圭一 ∗

川口 一画 †

概要. 本研究では，深度カメラを用いて部屋の 3 次元縮小モデルを構築し，MR において WiM 手法を利用可能にする．これにより，オブジェクトを 3 次元空間に自由に配置でき，配置を変更したオブジェクトの位置を即座に確認できるシステムを提案する．我々はまず，システムの基本設計を示すためにプロトタイプを作成した．その後，今後のシステム設計の指針を得るために，実尺オブジェクトのレイキャスト操作と縮小オブジェクトの直接操作を比較する実験を実施し，それらの操作手法の特性とその特性に影響を与える
MR デバイスの特性を調査した．その結果，縮小オブジェクトの直接操作は，オブジェクトの探索，移動，および身体的負担において有効であるが，スケーリング操作が困難であることが示された．また，これらは MR デバイスの視野角およびハンドトラッキングの精度による影響が示唆され，今後のシステム設計における指針が得られた．

1

はじめに

Microsoft 社の Hololens[9] に代表される Mixed
Reality（MR）デバイスは，実空間上に仮想オブジェ

クトを重畳表示することが可能である．さらに，ユー
ザはコントローラやハンドトラッキングを用いた操作によって表示された仮想オブジェクトに対してイ
ンタラクションを行うことも可能である．近年では，
NrealLight[6] ような比較的安価な製品も販売されており，今後 MR デバイスが広く普及し日常的に用いられるようになると考えられる．MR デバイスを日常的に用いる場合，自身の周辺環境に仮想的な情報を重畳し拡張していく用途が考えられる．例えば，ニュースや新着メッセージ，自身の予定等を提示する情報ウィンドウを部屋のいたるところに分散配置することが考えられる．このような用途を想定する
場合，周辺環境の任意の位置に，任意の大きさで仮想オブジェクトを配置できる必要がある．この場合，既存の PC のような 2 次元のインタフェース内でオブジェクトを移動させるのとは異なり，奥行き方向の操作が必要となる．しかし，仮想オブジェクトの
正確な位置の認識は困難であることが分かっている[4] ため，操作に時間がかかり，身体的負担が大きいと考えられる．
これまでの研究では，操作時間の短縮および身体的負担の軽減のため，実空間の特徴（壁やエッジ）を利用した仮想オブジェクトの配置手法 [5][13] や，部屋の奥行き方向のスケールを縮小・復元することによる仮想オブジェクト配置手法が提案されてきた[2]．しかし，前者では 3 次元空間内の特徴点が無い
場所には仮想オブジェクトを配置できない．また後者では，部屋の奥行き方向のスケールを縮小した状
Copyright is held by the author(s).
筑波大学 情報メディア創成学類†
筑波大学 システム情報系∗- 50 -

態で仮想オブジェクトを操作するため，実空間中での仮想オブジェクトの位置を即座に確認することができない．本研究では，3 次元空間の任意の位置に自由に仮想オブジェクトを配置でき，さらに配置位置を即座に確認できる Worlds in Miniature（WiM）
手法 [16] を利用する．
WiM 手法とは，Virtual Reality（VR）における仮想オブジェクト操作手法の 1 つである．WiM 手
法では，仮想環境全体を縮小コピーしたモデル（ミニチュア）を構築し，ユーザの近くに配置する．そしてユーザがミニチュア内で仮想オブジェクトを操作すると，それと連動して縮小前の実尺の仮想環境内でも対応するオブジェクトが操作される．MR を用いて実空間に情報を重畳提示する際，その対象となる空間はユーザの目の届く範囲，すなわち 1 つの部屋の中で完結すると考えられる．そのため，部屋のミニチュアを用いる WiM 手法が有効であると考えた．MR において，WiM 手法を実現するために，
MR デバイスに搭載されている深度カメラから得られる深度データを利用する．得られた深度データより，部屋の 3 次元縮小モデルを生成し，ミニチュアとして利用する．ミニチュアは，ユーザの手元に配置し，その中の仮想オブジェクトを実空間の仮想オ
ブジェクトと連動させる．これにより，ユーザはミニチュア内の仮想オブジェクトを操作することで，実空間の仮想オブジェクトを移動させることができる．実装したプロトタイプの概要を図 1 に示す．
本論文では，まず関連研究について説明し，そこで得られた知見に基づき提案システムの設計指針を示す．次に提示した設計指針に基づき実装したプロ
トタイプについて述べる．その後，MR におけるミニチュアを用いたオブジェクト操作の特性を調査するために実施した評価実験について述べる． 最後に，実験結果に基づき，今後のシステム設計の方針

WISS 2021

図 1. プロトタイプの概要．
（a）部屋に仮想オブジェクト（植木鉢，時計，および絵画）が配置されている．
（b）ミニチュアを表示し，仮想オブジェクトの位置を確認する．
（c，d）直接操作によってミニチュア内にある縮小されたオブジェ
クトの配置を変更する．
（e）ミニチュア内のオブジェクトの位置はリアルタイムに実尺のオブジェクトに反映される．

について述べる．

関連研究

2

本章では，まず MR におけるオブジェクト操作の既存手法および課題について述べる．次に VR におけるオブジェクト操作手法について述べる．最後に，関連研究における知見に基づき，本研究におけるシ
ステムの設計指針について述べる．

MR におけるオブジェクトの操作手法
本研究で着目する MR 空間内でのオブジェクト操

2.1

作に対しては、レイキャストを用いる操作が最も一般的である．しかし，近年，操作時間の短縮および身体的負担の軽減のため，深度情報を利用し，オブジェ
クト操作を行う研究が行われている．Nuernberger
らは，実物体のエッジや平面を利用し，オブジェク
トの配置を行った [13]．Chae らは，壁に重畳表示した仮想の壁を前後に移動させ，仮想的に部屋のスケールを縮小・復元することにより，オブジェクトの配置を補助した [2]．しかし，実物体のエッジや平面を用いた配置では 3 次元空間にオブジェクトを自由に配置できず，壁の移動を行う場合は配置を即座に確認することができないという課題がある．

大きいことが考えられる．また，MR における利用において，一人称視点のみを用いる場合，オブジェ
クトの位置の正確な認識が困難である [4]．
三人称視点を用いた操作である WiM 手法 [16] は，仮想環境のコピーを縮小させたモデルを生成し，そのモデル内のオブジェクトを操作することにより，離れた仮想オブジェクトの操作を行う．WiM 手法
は，操作における手の移動が小さいことから，身体的負担の軽減が可能であると考えられる．また，新たな視点を加えることにより，オブジェクトの位置の認識の補助が可能であると考えられる．
WiM 手法は，VR におけるオブジェクト操作だけ
でなく，ナビゲーション [12] や IoT 操作 [15]，空間
デザイン [17] 等においても用いられている．WiM 手
法は，MR におけるオブジェクト操作においても，有効であると考えられる．しかし，MR における WiM
手法の効果は明らかにされていない．

2.3 本研究における設計指針
MR におけるオブジェクト操作のための既存手法[13][2] は，操作時間の短縮および身体的負担の軽減に有効である一方で，3 次元空間にオブジェクトを自由に配置できない，またはオブジェクトの配置を即座に確認することができないという課題があった．
これらの課題の解決のために，本研究では VR におけるオブジェクト操作のための手法である WiM 手法を MR で実現するシステムの実装を行う．そのための設計指針は以下の通りである．

2.2 VR におけるオブジェクトの操作手法
MR ではなく，VR 空間内でのオブジェクト操作に関する研究が多く実施されている．VR におけるオブジェクト操作は，一人称視点による操作と，三人称視点を用いた操作に分けられ，さらに，一人称視点による操作は手のメタファを用いた操作と，ポインタのメタファを用いた操作に分けられる [1]．
手のメタファを用いた操作である Go-Go Interaction[14] は，ユーザの実際の腕と仮想の腕を非線形にマッピングすることで腕を伸ばし，離れた仮想オ
ブジェクトを操作することを可能にしている．ポイ
ンタのメタファを用いた操作であるレイキャスト操
作は，ユーザの手から放射されるレイを用いて，離れた仮想オブジェクトの操作を行う．手の伸縮やレイキャストを用いる手法は，手をオブジェクトに向けることが必要となるため，ユーザの身体的負担が• ユーザ周囲の環境を 3 次元モデルとして取得
する• 取得した 3 次元モデルを縮小したミニチュアを生成し，ユーザの手元に配置する• ミニチュア内に仮想オブジェクトを配置する機能を実装し，さらにミニチュア内での配置に対応して実空間内でも仮想オブジェクトが配置されるようにする

これらの設計指針によって，WiM 手法を MR で実現するシステムを実現することにより，仮想オブジェクトを 3 次元空間に自由に配置すること，およ- 51 -

部屋の 3 次元縮小モデルを用いた MR 空間内における仮想オブジェクト配置

び配置を変更したオブジェクトの位置を即座に確認することを可能にする．また，このシステムを用いることにより，操作時間および手の移動距離を減らすことが可能であると考えられる．

Sm = t × Sr

縮小オブジェクトへの操作が検知される度に，実尺オブジェクトの位置 P r および大きさ Sr が，縮小
オブジェクトの位置 P m および大きさ Sm に基づいて更新される．

プロトタイプ

3

本章では，2.3 節で示した設計指針に基づき実装
したプロトタイプについての説明を行う．

3.1

(2)

3.4

システム構成ハードウェアは Hololens2[7] を，ソフトウェアは
MixedRealityToolkit（MRTK, バージョン 2.6.2）と Unity（バージョン 2019.4.22.f1）[10] を利用した．

3.2 ミニチュアの生成
Hololens2 では，内蔵された深度カメラを用いた実空間の検知機能である空間マッピング [11] を利用できる．本実装では，空間マッピングにおいて生成される部屋のメッシュを取得し（図 2），大きさを変更した部屋の縮小モデルをミニチュアとして利用した（図 1（b））．そのため，本実装では追加の装置を必要とせず，またリアルタイムにミニチュアを生成できる．

仮想オブジェクトの操作方法

本実装では，縮小オブジェクトの移動操作およびスケーリング操作に，直接操作を用いる．直接操作とは，Hololens2 のデフォルトで利用できる操作であり，人差し指と親指を用いて直接オブジェクトをつまむ動作を用いた操作である．具体的には，移動
操作は片手で縮小オブジェクトをつまみ，ミニチュ
ア内の任意の位置に移動させる．スケーリング操作
は両手で縮小オブジェクトをつまみ，両手間の距離を広げることにより，縮小オブジェクトを拡大させ，狭めることにより，縮小させる.

4

評価実験

4.1

実験条件

MR におけるミニチュアを用いたオブジェクト操
作手法の効果を検証するため，評価実験を行う．ここでは，オブジェクト操作の基礎的特性（操作時間，身体的負荷，ユーザビリティ）を確認するため，空間内に提示された操作対象オブジェクトをターゲッ
ト位置に移動するという単純な操作を実験タスクとする．
実験条件は以下の 2 つの条件とした．

C1. 実尺オブジェクトのレイキャスト操作 部屋に配置された実尺オブジェクトをレイキャストを用いて操作する．

C2. 縮小オブジェクトの直接操作 手元に配置された縮小オブジェクトを直接つまむことで操作する．

図 2. Hololens2 により取得した部屋のメッシュ．

3.3

仮想オブジェクトのリンク

ミニチュア内において仮想オブジェクトを操作す
ると，実空間内の対応する仮想オブジェクトも連動して操作が反映される機能を実装した．部屋の仮想
オブジェクト（実尺オブジェクト）A を縮小させた
仮想オブジェクト（縮小オブジェクト）Am の位置
および大きさは以下のように計算される．実空間上に設定された原点の位置を Xr ，実空間上に配置された実尺オブジェクト A の位置を P r ，大きさを Sr ，ミニチュアの配置位置を Xm, ミニチュア内に配置
された縮小オブジェクト Am の位置を P m，大きさを Sm とおく．ミニチュアの縮小率は t とおく．

Xr Pm = Xr Xm + t × Xr Pr(1)- 52 -

参加者は，大学生および大学院生 12 名（男性 10
名，女性 2 名）であり，右利き 11 名，左利き 1 名であった．参加者内配置の実験計画とし，参加者はそれぞれ 2 つの条件でタスクを実施した．条件の順
序はカウンターバランスをとり，6 名は C1・C2 の順序で，残りの 6 名は C2・C1 の順序でタスクを実
施した．

4.2

実験タスク

部屋の中に操作対象となる白い球体（以後，白球）と，ターゲットとなる赤い球体（以後，赤球）をそれ
ぞれ 1 つずつ表示し，白球を移動およびスケーリン
グさせ，ターゲットの赤球に一致させるタスクを実施した．実験環境は部屋の一画に設けられた 5m ×
5m × 2.5m の空間とした．なお本実験は，オブジェWISS 2021

クト操作の基礎的特性を評価することを目的としたことから，実験環境内には操作対象物とターゲットのみを提示することとし，机などの他のオブジェク
トは配置しなかった．そのためプロトタイプで実装
した空間マッピングを用いたメッシュ取得とミニチュアの作成は行わず，実験環境の範囲を示す床のみを提示した．白球と赤球は実験環境全体をグリッド上に分割した 48 個の候補点（図 3）のうち，タスク毎に無作為に配置された．白球と赤球はどちらも 48 個の候補点に重なることなく一回ずつ出現させ，計 48
回の試行を行った．白球，赤球の大きさは（0.5m，0.4m，0.3m）の 3 通りであり，それぞれを 16 回ずつ出現させた．白球と赤球の中心距離が赤球の半径以下，かつ白球の大きさが赤球の大きさの± 10%となれば，タスクを完了したとみなし，次のタスクに移行する．縮小モデルは部屋の 1/10 スケールであり，部屋の中心（図 3（右）2 つの青点の中点）に固定する．C1 および C2 どちらの条件も，移動操作
は片手で行い，スケーリング操作は両手で行う．各条件の操作の様子を図 4 に示す．タスク終了後，参加者に対し，ユーザビリティ調査のための System
Usability Scale（SUS）[1]，作業負荷調査のためのNASA-TLX[3]，および自由記述アンケートの 3 つを実施した．

次に，本実験のタスク内容について説明を行った．
続いて，参加者にピンチによるオブジェクト操作に慣れてもらうため，Hololens ヒント [8] およびオブジェクトの基本操作の練習を満足できるまで行ってもらった．その後，各条件でタスクを実施した．タ
スクにあたっては，より速くより正確な操作を行う
ように実験参加者に指示した．各条件のタスク終了
後，SUS，NASA-TLX，および自由記述アンケー
トを実施した．

4.4

取得するデータ

4.5

結果

我々は，オブジェクト操作が，オブジェクトを見つけるフェーズ，オブジェクトを移動させるフェーズ，
オブジェクトをスケーリングさせるフェーズに分かれると考えた．そのため，我々は，1 タスクの開始から終了までの時間（全操作時間）だけでなく，探索
時間，移動時間，スケール時間の取得も行った．ここで，探索時間とはタスクが開始されてから，球の位置を把握し球に触るまでの時間として計算した．また，手の移動距離を取得するため，タスク中の手の位
置のログデータを取得した．手の位置は Hololens2のハンドトラッキング機能によって取得した．
まず，タスクの全操作時間，探索時間，移動時間
およびスケール時間に対して，第三四分位数に四分
位範囲の 1.5 倍を足した値より大きい値もしくは，第一四分位数から四分位範囲の 1.5 倍を引いた値より小さい値を外れ値と見なし，破棄した．

4.5.1

各条件の平均操作時間を図 5 に示す．各条件の全操作時間の平均は，C1 条件 20.34 分（SD=3.42），
C2 条件 8.57 分（SD=1.58）であった．ウィルコク
ソンの符号順位検定を実施した結果，有意差が見られた（V=78, p<0.01）．各条件の探索時間の平均
は，C1 条件 11.21 分（SD=2.23），C2 条件 2.93
分（SD=0.73）であった．ウィルコクソンの符号順位検定を実施した結果，有意差が見られた（V=78,
p<0.01）．各条件の移動時間の平均は，C1 条件 7.20
分（SD=1.92），C2 条件 3.82 分（SD=1.35）であった．ウィルコクソンの符号順位検定を実施した結果，有意差が見られた（V=78, p<0.01）．各条件のス
ケール時間の平均は，C1 条件 1.92 分（SD=0.63），
C2 条件 1.82 分（SD=0.56）であった．ウィルコク
ソンの符号順位検定を実施した結果，有意差は見られなかった（V=46, p=0.622）．

図 3. 球の配置候補点（青点はユーザの初期位置のため表示しない）．
（右）下段は床から 0.25m の高さに位置する．

図 4. （a）C1 条件の操作の様子．
（b）C2 条件の操作
の様子．

4.3

操作時間

実験手順

実験では，最初に書面により研究の目的・内容等について説明した後，参加者の同意を取得した．

- 53 -

部屋の 3 次元縮小モデルを用いた MR 空間内における仮想オブジェクト配置

4.5.4

NASA-TLX

各条件の総合的な作業負荷の平均は，C1 条件 72.5
（SD=17.7），C2 条件 39.9（SD=15.3）であった．
ウィルコクソンの符号順位検定を実施した結果，有意差が見られた（V=78, p<0.05）．各条件の身体的要求に関する作業負荷の平均は，C1 条件 84.6
（SD=17.2），C2 条件 36.3（SD=25.1）であった．
ウィルコクソンの符号順位検定を実施した結果，有意差が見られた（V=78, p<0.05）．

4.5.5 自由記述アンケート
C1 条件の探索に関して，「レイキャストは、視野

図 5. 各条件の平均操作時間．エラーバーは標準偏差を示す．なお，エラーバーおよび記号（*）は全操作
時間の平均値についての値を示す．

4.5.2

手の移動距離各条件の手の平均移動距離は，C1 条件 223.7m（SD=49.4），C2 条件 86.1m（SD=13.3）であった（図 6）．対応のある t 検定を実施した結果，有意差が見られた（t（12）=11.34, p<0.05）．

に対して物体の置かれる範囲が広くて、探すのが一番大変だった」，「画角が狭いために、歩き回ってオ
ブジェクトの位置を把握する必要があった」という回答が得られた．それに対し，C2 条件の探索に関しては，「ミニチュアは部屋全体を俯瞰的に観察できる
ため、操作に集中しやすく、とてもつかいやすかった」という回答が得られた．また，C2 条件のスケー
リング操作に関して，「すでに小さいものを両手でつかみ、縮小させるという操作が困難だった．枠などのハンドルがあった方が操作しやすかったと思う．
」，「スケーリング（縮小）の時に両手の指がぶつかり，少々手間取った．
」，「ハンドトラッキングの精度とミニチュアのサイズのトレードオフが存在すると感じた」という回答が得られた．

5
5.1

考察

オブジェクトの探索

まずオブジェクトの探索に関して，C1 条件より
C2 条件の方が探索時間は短かった．また，自由記
述アンケートにおいて，C1 条件では MR デバイスの視野角の狭さから探索が困難であり，C2 条件で

図 6. 各条件の手の平均移動距離．エラーバーは標準偏差を示す．

は部屋を俯瞰できるため，操作が簡単であったとい
う回答が得られた．そのため，MR デバイスの視野角の狭さが，探索に影響を与えた可能性が考えられる．関連して，VR 用デバイスでは視野角 120 度程度の製品が多く存在するのに対して，現在市販されている MR デバイスは視野角が 60 度未満である（Hololens2：54 度）．そのため，MR では広い空間内でのオブジェクト探索が VR よりも困難となることから，ミニチュアを用いる本研究のアプローチは妥当性を有すると考えられる．一方で，このような
MR デバイス特有の視野角の狭さを考慮すると，ミニチュアを用いる場合にも，そのサイズや位置について十分な検討が必要になると考えられる．

5.2 オブジェクトの移動
各条件の SUS の平均得点は，C1 条件 67.7（SD=15.94），
次にオブジェクトの移動に関して，C1 条件より
C2 条件 77.7（SD=9.85）であった．対応のある t
C2 条件の方が移動時間は短かった．また，手の移動検定を実施した結果，有意差は見られなかった（t距離において C1 条件より C2 条件の方が移動距離が（12）=-1.97, p=0.074）．
4.5.3

SUS

- 54 -WISS 2021

短いという結果が得られた．そのため，手の移動距離の差によって，移動時間に差が生じたことが考えられる．関連して，身体的負担については，NASATLX の結果から，C1 条件より C2 条件の方が作業負荷が小さいことが示された．これに関しても，手の移動距離の差によって，身体的負担に差が生じたことが考えられる．

5.3

5.5

オブジェクトのスケーリング

最後に，オブジェクトのスケーリングに関して，

C1 条件と C2 条件のスケーリング時間に差は見られなかった．また，自由記述アンケートにおいて，C2条件において両手の指の衝突が生じたという回答や，ハンドトラッキングの精度が縮小オブジェクトの操作に影響を与えている可能性があるという回答が得られた．本実装では，ミニチュア内のオブジェクトを操作しようとする場合，操作の有効領域（タッチイベントを受け付ける範囲）もミニチュアと同等の倍率で縮小されていた．そのため両手を同時に用いた複雑な操作を要するスケーリングを行う際に，ハンドトラッキングの精度の影響が生じていたと考えられる．今後は，ミニチュア内のオブジェクトの操作を行う際の有効領域を広げる，もしくは両手を用いない別の操作方法を採用する等の検討を行う必要があると考えられる．

5.4

今後のシステムの設計指針

本実験の結果をまとめる．縮小オブジェクトの直接操作は，実尺オブジェクトのレイキャスト操作と比較し，オブジェクトの探索時間が短くなることが示された．また操作のための手の移動距離および移
動時間が短くなり，身体的負担も軽減されることが示された．そのため，MR でのオブジェクト操作にミニチュアを用いる本研究のアプローチは妥当性を有すると考えられる．なお，オブジェクトの探索にあたっては MR デバイス特有の視野角の狭さが影響を与えている可能性が示された．そのため今後のシステム設計においては，ミニチュアが可能な限り視野角内に収まるようにするため，サイズや位置について十分な検討を行っていく．
次にスケーリング操作に関しては，スケーリング
時間に差がなく，また縮小したオブジェクトを直接操作する際にハンドトラッキングの精度が課題となる可能性が示唆された．これはミニチュアを作成する際に，操作の有効領域もミニチュアと同等の倍率で縮小されていたことによるものと考えられる．そのため，今後のシステム設計において，スケーリン
グを含む両手を用いた複雑な操作に対応するため，
ハンドトラッキングの精度に応じて，縮小率の下限を決定する必要がある．もしくは，縮小オブジェク
トに UI を追加する，もしくは縮小オブジェクトより大きなハンドルを設ける等の工夫を行う必要がある．

- 55 -

今後の課題

本論文で実施した実験では，比較を「実尺オブジェ
クトのレイキャスト操作」と「縮小オブジェクトの直接操作」の 2 条件でしか行っていない．本手法の優位性をより正確に示すためには，既存の類似手法との比較を行う必要がある．また，本実験ではオブジェクト操作の基礎的特性（操作時間，身体的負荷，
ユーザビリティ）を確認するため，空間内に提示された操作対象オブジェクトをターゲット位置に移動するという単純な操作を実験タスクとした．そのため既存手法における課題，すなわち 3 次元空間にオ
ブジェクトを自由に配置できないこと，およびオブジェクトの配置を即座に確認することができないことに対する提案手法の効果を検証できていない．そのため今後はこれらの課題に対する提案手法の効果を評価するための実験を行っていく必要がある．具
体的には，オフィスやリビング等でシステムを使用する場面を想定し，ユーザが自分の自由意思で周囲の環境に仮想オブジェクトを配置するタスクを設定
して評価を行う．
上記の実験を実施した後，その結果に基づいて特定の用途に特化したアプリケーションの実装を行い，その効果の検証を行っていく．例えば，オフィス環
境の拡張に特化したアプリケーションや，リビング
等のインテリア検討に特化したアプリケーションを実装し，それらを用いた場合の効果を検証していく．

6

まとめ

我々は，深度カメラを用いた部屋の 3 次元縮小モデルを用い，MR において WiM 手法を利用可能にすることにより，オブジェクトを 3 次元空間に自由に配置でき，配置を変更したオブジェクトの位置を即座に確認できるシステムを提案した．また，MRにおいて WiM 手法を利用することにより，ユーザの操作時間の減少および身体的負担の軽減が可能であると考えた．我々はまず，システムの基本設計を示すためにプロトタイプを作成した．その後，今後のシステム設計の指針を得るために，実尺オブジェ
クトのレイキャスト操作と縮小オブジェクトの直接操作を比較する実験を実施し，それらの操作手法の特性とその特性に影響を与える MR デバイスの特性を調査した．その結果，縮小オブジェクトの直接操
作は，オブジェクトの探索，移動，および身体的負担において有効であるが，スケーリング操作が困難であることが示された．今後は実験によって得られた指針に基づき，示された欠点を補完するための機能を追加し，システム設計を完了させる．また，そのシステムを用いたアプリケーションの開発および評価実験を実施する．

参考文献

部屋の 3 次元縮小モデルを用いた MR 空間内における仮想オブジェクト配置

Mobile Devices. In Proceedings of the International Working Conference on Advanced VisualInterfaces, AVI ’12, pp. 212–215, New York, NY,
USA, 2012. Association for Computing Machinery.
[13] B. Nuernberger, E. Ofek, H. Benko, and A. D.
Wilson. SnapToReality: Aligning Augmented
Reality to the Real World. In Proceedings ofthe 2016 CHI Conference on Human Factors in
Computing Systems, pp. 1233–1244, New York,NY, USA, 2016. Association for Computing Machinery.
[14] I. Poupyrev, M. Billinghurst, S. Weghorst, andT. Ichikawa. The Go-Go Interaction Technique: Non-Linear Mapping for Direct Manipulation in VR. In Proceedings of the 9th Annual ACM Symposium on User Interface Software and Technology, UIST ’96, pp. 79–80, New
York, NY, USA, 1996. Association for Computing Machinery.
[15] D. W. Seo, H. Kim, J. S. Kim, and J. Y. Lee.
Hybrid reality-based user experience and evaluation of a context-aware smart home. Computers in Industry, 76:11–23, 2016.
[16] R. Stoakley, M. J. Conway, and R. Pausch. Virtual Reality on a WIM: Interactive Worlds in
Miniature. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’95, pp. 265–272, USA, 1995. ACM
Press/Addison-Wesley Publishing Co.

[1] J. Brooke. SUS: A quick and dirty usability
scale. Usability Eval. Ind., 189, Nov. 1995.
[2] H. J. Chae, J.-i. Hwang, and J. Seo. WallBased Space Manipulation Technique for Efficient Placement of Distant Objects in Augmented Reality. In Proceedings of the 31st Annual ACM Symposium on User Interface Software and Technology, UIST ’18, pp. 45–52, New
York, NY, USA, 2018. Association for Computing Machinery.
[3] S. G. Hart and L. E. Staveland. Developmentof NASA-TLX (Task Load Index): Results of
Empirical and Theoretical Research. In P. A.
Hancock and N. Meshkati eds., Human Mental
Workload, Vol. 52 of Advances in Psychology,
pp. 139–183. North-Holland, 1988.
[4] E. Kruijff, J. E. Swan, and S. Feiner. Perceptualissues in augmented reality revisited. In 2010
IEEE International Symposium on Mixed andAugmented Reality, pp. 3–12, 2010.
[5] J. H. Lee, S.-G. An, Y. Kim, and S.-H. Bae. Projective Windows: Bringing Windows in Space tothe Fingertip. In Proceedings of the 2018 CHI
Conference on Human Factors in Computing
Systems, pp. 1–8, New York, NY, USA, 2018.
Association for Computing Machinery.

[6] N. Ltd. Nreal Light - ウェアラブル複合現実
グラス. https://www.nreal.ai/light/. (Accessed on 09/20/2021).

[17] Y. Sugiura,
H. Ibayashi,
T. Chong,
D. Sakamoto, N. Miyata, M. Tada, T. Okuma,
T. Kurata, T. Shinmura, M. Mochimaru, andT. Igarashi. An Asymmetric Collaborative
System for Architectural-Scale Space Design.
In Proceedings of the 16th ACM SIGGRAPH
International Conference on Virtual-Reality
Continuum and Its Applications in Industry,
VRCAI ’18, New York, NY, USA, 2018.
Association for Computing Machinery.

[7] Microsoft Corporation. HoloLens 2―Pricing
and Options — Microsoft HoloLens. https://www.microsoft.com/en-us/hololens/buy.
(Accessed on 09/20/2021).
[8] Microsoft Corporation.
HoloLens ヒン ト を 入 手 - Microsoft Store ja-JP.
https://www.microsoft.com/ja-jp/
p/hololens-%E3%83%92%E3%83%B3%E3%
83%88/9pd4cxkklc47?activetab=pivot:
overviewtab. (Accessed on 09/20/2021).

[9] Microsoft Corporation. Microsoft HoloLens —Mixed Reality Technology for Business. https://www.microsoft.com/en-us/hololens. (Accessed on 09/20/2021).
[10] Microsoft Corporation. MRTK-Unity Developer Documentation - Mixed Reality Toolkit— Microsoft Docs. https://docs.microsoft.
com/en-us/windows/mixed-reality/
mrtk-unity/?view=mrtkunity-2021-05.
(Accessed on 09/20/2021).
空 間 マッピ ン グ [11] Microsoft Corporation.
Mixed Reality — Microsoft Docs. https://docs.microsoft.com/ja-jp/windows/
mixed-reality/design/spatial-mapping.
(Accessed on 09/20/2021).

[12] A. Mulloni, H. Seichter, and D. Schmalstieg.
Indoor Navigation with Mixed Reality Worldin-Miniature Views and Sparse Localization on- 56 -WISS 2021

Color-Path: 手本動作の AR 表示によるヘアアレンジ再現支援システム
松井菜摘 ∗

大西鮎美 ∗

寺田 努 ∗

塚本昌彦 ∗

概要. ヘアアイロンは髪に熱を加えることで自由に髪形を変えることのできる道具である．しかし，ヘア
アイロンの操作には回転や前後へ傾ける動きが混在しているため，手本映像を見ながら練習するのみではその操作を理解し再現するのが難しい．そこで本論文では，手本とする巻き髪を作るためのヘアアイロンの動かし方をユーザに直観的に理解させるスマートミラー型のヘアアレンジ支援システム Color-Path を提案する．提案システムでは，カメラとヘアアイロンに装着した加速度センサを用いてユーザのヘアアイロ
ンの操作軌道を取得し，システムが保持する手本の操作軌道をスマートミラー上で AR 表示する．評価実験より，提案システムを使った際にヘアアイロンの操作軌道が再現できることを確認した．しかしシステムを使った際に手本の見た目を再現できるとはいえず，ヘアアイロンで髪に熱を加える時間が見た目の再現に関係する可能性があることがわかった．

1

はじめに

ヘアアイロンは髪に熱を加えることで自由に髪形を変えることのできる道具であり，パーマをかけずにカールスタイルを作ることができる．ユーザはヘアアイロンのクリップ部分で髪を挟み，本体を回して加熱部に髪を巻きつけながら熱を加えて髪の形を変える．近年では男性も使うようになり，ユーザ層が広がりつつある [1]．
ヘアアイロンを用いたヘアアレンジは難しい．ヘアアイロンの操作は回転や前後へ傾ける操作が混在しており複雑で，ユーザが髪を上手く巻くためには練習が必要である．ヘアアレンジの練習ではユーザ
は鏡を見つつ，解説動画や本を見ながらその動きを真似る方法が一般的である．しかし，映像や画像のみで複雑な操作を理解し再現するのは難しく，巻き髪の見た目が不自然になってしまうことも多い．このようにヘアアイロンを用いたヘアアレンジは難し
いが，スタイリングを支援するシステムは提案されていない．
そこで本研究では，ヘアアイロンの操作を再現できれば手本のヘアスタイルを再現できるという仮説をもとに，ヘアアイロンの複雑な操作をユーザに直観的に理解させるスマートミラー型のヘアアレンジ
支援システム Color-Path を提案する．提案システ
ムでは，PC のカメラとヘアアイロンに内蔵した加速度センサを用いてヘアアイロンの通過位置やヘアアイロンの角度，回転方向といった操作軌道の情報を算出し，図 1 のように直観的に理解できるように単純化してミラー型システムの画面上に提示する．
本論文の貢献は以下の 2 つである．

図 1: 提案システムの提示画面と使用時の様子
イロンの操作軌道を単純化して提示し，ユーザに直観的に理解させるスマートミラー型のヘアアレンジ支援システム Color-Path を提案した．

• 提案システムの提示によって手本のヘアアイ

ロンの操作軌道を再現できることを確認した．

本論文では以降，2 章で関連研究を紹介し，3 章で提案システムについて述べる．4 章で評価実験について説明する．5 章で実験結果と考察を述べ，最後に 6 章で本論文をまとめる．

2
2.1

美容に特化したスマートミラー

美容に特化したスマートミラー製品は数多くある．

HiMirror 社のスマートミラー HiMirror Mini には，鏡に映った顔から毎日の肌の状態を分析し，最適な化粧品を提案する機能が実装されている [2]．また，
Mirror Roid 社のスマートミラー Mirror Roid はヘアスタイルやヘアカラーをシミュレーションできる
スマートミラーであり，美容室などですでに導入さ• 美容師のヘアアレンジの観察結果を設計に取り入れ，美容師の巻き方を手本としてヘアア

∗

関連研究

神戸大学大学院工学研究科- 57 -WISS 2021

れている [3]．また，ユーザの化粧技術を支援するス
マートミラーの研究も存在し，コーセー社のスマー
トミラー SnowBeauty では，理想の顔に近づくための最適なファンデーションの色味や質感，テクニッ
クなどを提案し，ユーザに化粧に関する知識を提供する [4]．Iwabuchi らはメイク箇所への自動ズーム
や照明の変化をシミュレーションする機能を実装した Smart Makeup Mirror を提案している [5]．

3

本研究では，手本のヘアスタイルを再現させるためにヘアアイロンの動かし方をユーザに直観的に理解させ，ヘアアレンジを支援することを目的とする．
ユーザは自分の姿と手本を見ながらアレンジを進めるため，鏡のように自分の姿を見ながら使用できるデザインやユーザのアレンジの進み具合に合わせて次に何をすればよいかが分かる指示が行われる必要がある．手本の映像を見ることは手順の大まかなイ
メージをつかむために重要であると考えられるため，映像も参考にできた方が良いと考えられる．毎朝のヘアセットでの使用を想定しており，ユーザがシス
テム使用時に理想の髪形を再現することと未経験の巻き方でも何度も練習せずとも髪形が再現できることを目的とし，これによってユーザが新たなヘアス
タイルに気軽に挑戦できる環境を提供することを目指す．したがって，ユーザのヘアアイロン技術の向上やそれによるシステムからの離脱を目的としない．

これらのようにスマートミラー製品は美容分野やヘアスタイルの提案といった様々な分野に普及しているが，ヘアアレンジの具体的な方法は提示されていない．また，システム使用後のユーザの見た目の変化やヘアアレンジの出来栄えについて評価されていない．そこで本研究では，ユーザにヘアアイロンの操作軌道を提示するスマートミラーシステムによって，ユーザにヘアアイロンの操作軌道を提示し手本のヘアアレンジの見た目も再現できるようにヘアア
レンジ支援を行う．

3.1

2.2

提案システム

指示内容の決定のための予備調査

指示の内容を決定するため，ヘアアレンジに熟練しており，日常的にヘアアイロンを使って髪をセットしている女性美容師 2 名に自分自身の髪をアレンジしてもらい，そのときの動画を観察し，美容師の意見を聴取した．髪の巻き方は普段から行っている
慣れた髪形を形成してもらった．また，美容師でない一般のヘアアイロン使用者 3 名に対して，手本の動画を参考にしながらヘアアレンジを行ってもらい，
そのときの様子をビデオ撮影して観察し，よくある失敗を聴取した．
ヘアアレンジ中の動画では，美容師は 2 名とも常に鏡に映る自分の姿を見てヘアアイロンを操作していた．さらに，美容師は顔の位置に対して常にほぼ一定の距離でヘアアイロンを回転させており，それが回転の安定性などに寄与して見た目の再現性を高めていると考えられたため，顔位置に対するヘアア
イロンの相対位置を提示する必要があるとわかった．
一般のユーザからは髪をアイロンで挟んだ直後に回転方向を間違えてしまうという意見が多数得られたため，回転方向の指示も必要であるとわかった．
加えて，美容師はヘアアイロンの姿勢を常に一定に保って髪を巻いていた．それに対して一般ユーザは髪を挟む位置および角度と回転方向が一致していな
い場合も多く，巻いている途中でヘアアイロンの姿
勢が変化して髪がたわんでしまうことがあった．髪の巻き方は，同じ位置を巻いてもヘアアイロンの姿
勢によって形成される髪の見た目が大きく異なる．
ヘアアイロンの姿勢が横向きであれば外はねや内はねが形成され，姿勢が縦向きであれば螺旋状の巻き髪が形成される．よって，ヘアアイロンの姿勢も見た目の再現に重要であると考えた．
以上より，ヘアアイロンの動かし方は巻き髪の見動作習得支援の研究

スポーツやリハビリにおける目標とする動作を単純化し，動作軌跡を表示しユーザ自身の動きに重ね合わせて提示することでユーザの自主練習を支援するシステムの研究は数多くある．Anderson らは
YouMove という全身の動作習得支援 AR ミラーを提案している [6]．システム内では単純で認知負荷が低くなるようにデザインされた提示が複数用いられている．例として，ユーザの静止時の姿勢が手本の姿勢と異なっているときにフィードバックを与える
姿勢ガイド，動きが止まらない部分はそのまま動画を再生し，止まったところから次の動きのルートをリボン型のガイドで提示する動きガイドというような提示が提案されている．Sousa らは SleeveAR という，腕に装着したマーカをトラッキングしてリハ
ビリテーション時の腕動作を単純なアイコンで表現
し，それらを床に映し出すことでリアルタイムで動作のフィードバックを行うシステムを提案している[7]．従来のビデオを用いたフィードバックと比較した結果，提案システムを用いた方が手本のリハビリテーション動作をうまく再現でき，アンケート調査においても提示が分かりやすかったという意見が多数得られた．

これらの研究から，複雑な動作を単純な提示に置き換えることでユーザが動作を直観的に理解できると考えられる．本論文で提案するシステムでは，ヘアアイロン操作にこれらの手法を適用し，ヘアアイ
ロンの回転動作や姿勢を単純化して提示することで動作再現支援を行う．さらに提案システム使用時に巻き髪の見た目を再現できているかを評価する．

- 58 -

Color-Path: 手本動作の AR 表示によるヘアアレンジ再現支援システム

た目に影響を及ぼすと考えられ，特にヘアアイロ
ンの位置，回転，姿勢の情報が重要であることがわかったため，本論文で提案するシステムではこれらをユーザが直観的に理解できるように指示を与える．

3.2

・カメラによる色検出でカラーシール センサ値 ヘアアイロンの回転情報，位置を算出（赤，青，黄，緑）
・センサ値から姿勢角を算出

加速度センサシステム要件想定環境と予備調査の結果をふまえ，以下の要件を満たすシステムを提案する．

動かし方を提示ユーザ• ヘアアレンジ中の自分自身の姿と指示を同時に見ることができる

図 2: Color-Path のシステム構成• 次に動かすべきヘアアイロンの位置，回転，姿勢の情報が直観的に理解でき，動かし方が再現できる

カラーマーカシステム要件に基づき，本研究ではヘアアイロンの操作軌道をユーザに提示するスマートミラー型のヘアアレンジ支援システムを提案する．PC 画面を鏡のようにして AR 表示で指示を与えることで，ユーザは自分の姿を見つつ，画面上の提示によってヘア
アイロンの動かし方の指示を受けられる．
提示する操作軌道であるヘアアイロンの位置，回転，姿勢の情報は，関連研究 [6]，[7] を参考に単純化することで提示によって認知負荷が高まることを避けて直観的に理解可能なデザインにする．具体的には，ヘアアイロンにカラフルなシールを貼り，同じ色の提示に合わせていくことで位置や回転が合うようにする．姿勢は小型な加速度センサを用いて取得し，ヘアアイロンの傾きに合わせて変化する表示を用意し，それを目標に合わせるようにして一致させる．提示に合わせて動かせたときに提示を次に切
り替える．

3.3

PC

マイコン・加速度センサ

図 3: 提案デバイス

3.4

システム構成図 2 に提案システムの構成を示す．システムはヘアアイロンと PC で構成され，PC 上で鏡のように画面にユーザの顔を映しながら手本の操作軌道を提示する．ヘアアイロンには，図 3 のように先端 1 周に
4 色の位置認識用シールを貼り，持ち手に加速度センサを取り付けてある．PC では Web カメラでシー
ルの色検出を行いヘアアイロンの回転情報と位置を，無線で受信した加速度センサ値からヘアアイロンの傾きを表す姿勢角をそれぞれ算出する．提案システ
ムでは，あらかじめ手本とするヘアアレンジにおけるヘアアイロンの回転や位置などの操作軌跡を保持しておく．システムがユーザの操作軌道と手本の操作軌道との一致を検出し提示を切り替えることで，ユーザのヘアアレンジ進度に合わせて PC 上に手本の操作軌道を提示する．システム画面は Unity[9] で作成し，ヘアアイロンは I-ne 社のセラミックカー
ルアイロン 32mm[10]，マイコンは M5Stack 社のM5StickC[11]，加速度センサは，M5StickC に搭載された mpu-6886[12] を用いた．

- 59 -

ヘアアイロンの位置と回転および姿勢角の算
出方法

ヘアアイロンの位置は，ヘアアイロンの先端に貼ったカラーマーカの画面内の位置とする．カラー
マーカの位置は画面からマーカの色の RGB 値を満たす画素を検出し，その座標から算出する．ヘアア
イロンの回転は検出するマーカの色の変化から算出する．
ヘアアイロンの姿勢角は，加速度センサの値から算出する．提案システムで算出する姿勢角は PC の画面に対するヘアアイロンの左右の傾きと前後の傾
きである．

3.5

提示情報

ヘアアイロンの位置と回転および姿勢角の提示

提案システムの画面を図 4 に示す．2 種類の提示を組み合わせて操作軌道を提示する．
ゲート: ヘアアイロンの位置と回転を提示する．色のついた枠に同色のカラーシールが通るようにヘア
アイロンの先端を合わせるための円状の目印である．
スティック: ヘアアイロンの姿勢角を提示する．ヘア
アイロンの目標姿勢を示す棒状の提示である．左右の傾きは，スティックの傾きで示す．図 5 のように，
ヘアアイロンの左右の傾きが手本に近いとスティッ
ク内の色が変化する．また，前後の傾きは，スティッ
ク内部の着色部分の増減で示す．ヘアアイロンの左
右の前後の傾きが手本に近いとスティックの横にある三角形のアイコンの色が変化する．
提示の切り替えは，ユーザのヘアアイロンが目標
位置と目標姿勢角に一致しているとシステムが判定したときに行う．本システムでは，一連のヘアアレ

WISS 2021
スティック
ゲート

回転方向を
示す矢印

姿勢保持の残り時間を示すアニメーション

顔の大きさガイド
青：手本の顔の大きさ

図 6: 姿勢保持の時間と回転方向の提示

赤：ユーザの顔の大きさ

システム画面図 4: 提案システムの提示画面

左右の傾きを合わせる

手本動画

図 7: 実験の様子

前後の傾きを合わせる

4

図 5: スティックの変化で傾きの一致度を表す提示

4.1

評価実験

実験方法

本実験では，システムによって被験者が手本の操作軌道を再現できているか，手本の操作軌道を再現できたときに見た目も再現できているかを評価した．
被験者はシステムによる提示がない場合とある場合
でヘアアレンジを行った．手本の髪形は 2 つ用意した．それらは美容師が髪全体をヘアアレンジしたものであり，それぞれ異なる髪形である．
被験者は 20 代女性 4 名で，日常的にヘアアイロンを使用している．ヘアアレンジする髪の長さ，髪質を統一するために，被験者はウィッグを装着してヘアアレンジを行った．被験者はシステムの提示なしの場合と提示ありの場合で手本の巻き方を再現するように髪全体をヘアアレンジした．各被験者の提示なしとありの順番と手本の髪形は以下のようにランダマイズした．

ンジ動作を分割し，動作の指示を 1 つずつシステム
画面に提示する．それぞれの動作にヘアアイロンの目標位置と目標姿勢角が設定されており，ユーザのヘアアイロンがそれらに一致しているとシステムが判定したときに次の動作の提示に切り替える．
ヘアアイロンと顔の相対位置を再現するための提示

提案システムでは提示とユーザの顔の相対位置が手本動作のヘアアイロンと顔の相対位置と同じになるように，映像から算出したユーザの顔位置に合わせて提示を移動させる．また画面と顔との距離も手本と同じにするために，図 4 に示す顔の大きさガイドを作成した．青色の枠で提示される手本の顔の大きさに，赤色の枠で提示されるユーザの顔の大きさ
をユーザ自身が合わせることで，画面と顔との距離を調整する．画面に映るユーザの顔の大きさが手本の顔の大きさに合っている場合のみゲートとスティックの提示が画面に表示される．

被験者 A 提示なし髪形 1 → 提示あり髪形 2
被験者 B 提示あり髪形 2 → 提示なし髪形 1

ヘアアイロンの姿勢保持の時間と回転方向の提示

髪に巻き髪の形をつけるには，ヘアアイロンを一定時間静止させ，巻く毛束に熱を加える必要がある．
そこでユーザに髪の加熱時間を示すために，図 6 のようなゲート周辺の強調線の本数でヘアアイロンの姿勢を保持させる時間を示すアニメーションを作成
した. また，ゲート下部に示す矢印でヘアアイロンの回転動作とその方向をユーザに提示した．

- 60 -

被験者 C 提示あり髪形 1 → 提示なし髪形 2

被験者 D 提示なし髪形 2 → 提示あり髪形 1

実験の様子を図 7 に示す．実験中はシステム画面を録画し，実験後に被験者の巻いたウィッグの写真を 4 方向から撮影した．またシステムに関する質問
紙調査を行った．なお，本実験は神戸大学大学院工学研究科倫理委員会の承認を得て行った．

4.2

評価指標

Color-Path: 手本動作の AR 表示によるヘアアレンジ再現支援システム
600px

提案システムによって被験者がヘアアイロンの操作軌道を上手く再現できているときに巻き髪の見た
目が良くなれば，提案システムはヘアアレンジの支援を行うインタフェースとして有効であるといえる．
システムを用いて手本の操作軌道を再現できたか
は，各被験者の手本との操作軌道のずれをシステムの提示がない場合とある場合で比較して評価する．
手本との操作軌道のずれは，顔位置に対するヘアア
イロンの相対座標とヘアアイロンの姿勢角の手本との差から評価する．顔位置に対するヘアアイロンの相対座標の差とヘアアイロンの姿勢角の差がシス
テムの提示がない場合よりもある場合の方が小さければシステムの提示が動作の再現に有効であるといえる．

軌道のずれの算出方法について，カラーマーカのいずれかの色が真正面に向いたときを通過点とし，その通過点での顔位置に対するヘアアイロンの相対座標とヘアアイロンの姿勢角の値の手本との差から軌道のずれを算出する．実験で用いた 2 つの手本では巻く毛束の数や 1 束ごとの巻きの種類がそれぞれ異なりヘアアレンジ全体の操作軌道の比較は難しい．
そのため今回は 2 つの手本動画間で巻き方の種類，
毛束の左右の位置，ヘアアイロンを回す方向が同じである髪 1 束を選ぶ．その 1 束を巻くときの顔位置に対するヘアアイロンの相対座標とヘアアイロンの
姿勢角の手本との差の 1 通過点あたりの平均を算出
して比較を行う．システム画面の座標空間と実験環境でのシステム画面に映る範囲を図 8 に示す．
被験者が手本の操作軌道を再現できたときに見た目も再現できたかは，被験者の操作軌道の再現度と見た目の良さの関係から評価する．巻いた髪の見た目の再現度がシステムの提示がない場合よりもある
場合に高くなっていれば，提案システムの提示が見た目の再現に有効であるといえる．見た目の評価は手本の髪形と実験で被験者が巻いた髪形の写真を見比べて，被験者が巻いた髪形が手本の髪形の再現として許容できるかできないかをヘアアイロンを使ってヘアアレンジをしたことのある，被験者を除く 4名の女性に判定させた．

59cm

100cm

1074px60cm

yx
システム画面

実験環境

図 8: 座標空間の定義(a) 顔位置に対するヘアアイ (b) 顔位置に対するヘアアイ
ロンの x 座標
ロンの y 座標(c) 前後の傾き(d) 左右の傾き

図 9: ヘアアイロンの操作軌道の手本との差

55.1

実験結果と考察
操作軌道の再現

顔位置に対するヘアアイロンの相対座標とヘアア
イロンの前後左右の傾きの手本との差を図 9 に示す．
被験者 4 名の全員が全ての評価項目でシステムの提示ありの場合に手本との差が小さくなっており，シ
ステムの提示なしよりも提示ありの方が手本の操作
軌道を再現できていた．よって，システムの提示が操作軌道の再現に有効であったと考えられる．

5.2

また，提案システムの提示がユーザにとって理解しやすいことも重要であるため，質問紙調査の結果から提示に関する主観的な分かりやすさも評価する．
被験者にはゲート，スティック，顔位置の提示がそれぞれヘアアレンジで役立ったか，提示が顔に合わせて動くことに違和感を感じてヘアアレンジはやり
辛かったかをそれぞれ回答させた．

- 61 -

操作軌道と見た目の関係

被験者が手本の操作軌道を再現できたときに見た目が再現できたかを確かめるために，手本と被験者の試行における操作軌道の差，見た目の差の関係性を調べた．各被験者のそれぞれの試行で巻いた髪形
が手本の再現として許容できるかどうかを実験の被験者と異なる女性 4 名に判定させた．判定する人にはそれぞれの試行で巻いた髪形とその手本の髪形の後ろ姿の写真 2 枚を提示し，手本の再現として許容できるかどうかを逐次回答させた．結果を表 1 に示

表 1: 髪形の写真と許容できるか判定した結果
手本

提示なし

WISS 2021

提示あり

被験者A

被験者B

被験者C

被験者D

2
2

4

3
1

3
1

髪形1

見た目の できる許容(人) できない

手本

0

被験者C

被験者D

被験者A

被験者B

3

0
4

1
3

0

図 10: 髪 1 束を巻くときの手本よりも超過した時間

髪形2

見た目の できる許容(人) できない1

4

す．髪形 1 では提示なしと提示ありで手本として許容できるという回答が同数であった．提示ありの被「緩く巻かれて験者 C，被験者 D の見た目に関して，いるという全体的な雰囲気は一緒だと感じる」「巻き具合が手本に似ている」という意見があった．しかし髪形 2 では提示ありよりも提示なしの方が許容できるという回答が多かった．提示ありの被験者 A，「全体的に強く巻きす
被験者 B の見た目に関して，ぎているように感じる」「全体のシルエットが違う」という意見があった．
そこで，巻きの強さに影響する要素である髪に熱を加える時間について分析した．操作軌道の再現度を調べるために用いた髪 1 束を巻くときの手本よりも超過した時間を図 10 に示す．髪形 1 を提示ありで再現した被験者 C，D より髪形 2 をシステムの提示ありで再現した被験者 A，B が巻き終わるまでの時
間が手本よりも長かった．これは被験者が提示に合わせるのに時間がかかったことで手本動作よりも髪に熱を加える時間が長くなり，これによって巻きが強くなったと考えられる．したがって，今後システ
ム使用時に髪を 1 束巻く所要時間が手本の所要時間に近くなるように提示方法を工夫する必要がある．

5.3

提示に関する質問紙調査

5.4

議論

提示に対する主観的な評価としてゲートと顔位置の提示が役に立ったかという質問に対しては 4 名
とも全ての提示が役立ったと回答した．しかし，ス
ティックの提示が役立ったかという質問に対して 4
名は役立ったと回答したが，1 名が提示に合わせるのが難しかったため役立たなかったと回答した．

手本と異なるため再現度が低くなる可能性がある．
また，見た目の許容について，全体の雰囲気で判定するという意見が多かった．提案システムの提示は
髪 1 束の見た目の再現度を高めるようなものであり，全体の雰囲気やバランスの再現は考慮できていない．
毛束の位置や毛量は巻き髪の仕上がりに影響する要素であり，これらが全体の雰囲気やバランスに影響する可能性がある．今後これらの提示の実装についても検討する．加えて見た目の再現度をより詳細な基準を設けて評価し，髪形のどの部分が雰囲気やバランスの良さに影響するのかを評価する．

6

まとめ

本論文ではヘアアレンジの手本動作を再現できる
ように，ユーザにヘアアイロンの操作軌道を提示するスマートミラー型のシステム Color-Path を提案した．提案システムでは端末のカメラと加速度セン
サからヘアアイロンの位置座標と姿勢角を取得する．
取得した値に基づき，提案システムはユーザのヘアアレンジ進度に合わせて提示を適切に切り替えてヘアアイロンの操作軌道をスマートミラーの画面上にAR 表示する．操作軌道の提示にはヘアアイロンの位置と回転を示すゲート，ヘアアイロンの姿勢角を示すスティックを用いた．ユーザの顔に対するヘア
アイロンの相対座標が手本と同じになるように，操作軌道の提示はユーザの顔に追従させて表示した．
提案システムの提示の有効性を評価した結果，ユー
ザは提案システムを用いてヘアアイロンの操作軌道を再現できた．しかし，提案システムを用いて見た目も再現できるとはいえなかった．今後は，ヘアア
イロンの操作軌道と見た目の再現度の関係について
より詳しく調査し，見た目の再現度を高めるためにシステムを改良していく．

謝辞

本研究の一部は，情報処理推進機構 (IPA) の 2020
年度未踏 IT 人材発掘・育成事業，及び JST CREST(JPMJCR18A3) の支援を受けて実施されたものである．ここに記して謝意を表す．

提案システムでは髪全体のヘアアレンジの操作軌
道を 1 束ずつに分けて提示したが，それぞれの毛束の位置や毛量をユーザに提示できていない．これらが手本と異なるとき，毛束におけるカールの位置も- 62 -

参考文献

Color-Path: 手本動作の AR 表示によるヘアアレンジ再現支援システム

Proc. of the 26th Annual ACM Symposium on
User Interface Software and Technology (UIST
2013 ), pp. 311–320 (Oct. 2013).

[1] 花王: ヘアスタイルとスタイリング技術の歴史,
urlhttps://www.kao.com/jp/haircare/history/142/.

[7] M. Sousa, J. Vieira, D. Medeiros, A. Aesenio, and
J. Jorge: SleeveAR: Augmented Reality for Rehabilitation using Realtime Feedback, Proc. of the
21st International Conference on Intelligent User
Interfaces (IUI 2016 ), pp. 175–185 (Mar. 2016).

[2] HiMirror: HiMirror Mini, https://www.
himirror.com/ja-JP/product/HiMirrorMini.

[8] CREATE ION: ヘ ア ア イ ロ ン メ ー カ ー 公 式 コ
テ・アイロン 巻き方テクニックまとめ, https://createion.jp/column/kote-technique.

[3] Mirror Roid: Mirror Roid, https://www.
mirrorroid.co.jp/products/.

[4] KOSÉ Corporation: 肌 分 析 機 能 内 蔵 の「Snow Beauty Mirror」で デ ジ タ ル 技 術 を活用した最先端のパーソナライズ提案を
開 始 パ ナ ソ ニック と 協 業 へ 向 け た 実 証 実験, https://www.kose.co.jp/company/ja/
content/uploads/2019/12/191206.pdf.

[9] Unity Technologies: Unity, https://unity.
com/ja.

[10] I-ne: SALONIA セ ラ ミック カ ー ル ヘ ア ア イ ロ
ン 32mm, https://salonia.jp/product/hair/iron/curl/.
[11] M5Stack: M5StickC, https://shop.m5stack.
com/collections/stick-series/products/
stick-c?variant=17203451265114.
[12] InvenSense: MPU-6886, https://m5stack.
oss-cn-shenzhen.aliyuncs.com/resource/
docs/datasheet/core/MPU-6886-000193%
2Bv1.1_GHIC_en.pdf.

[5] E. Iwabushi, M. Nakagawa, and I. Siio: Smart
Makeup Mirror: Computer Augmented Mirror to
Aid Makeup Application, Proc. of the 13th International Conference on Human-Computer Interaction (HCI 2009 ), pp. 495–503 (July 2009).
[6] F. Anderson, T. Grossman, J. Matejka, and G.
Fitzmaurice: YouMove: Enhancing Movement
Training with an Augmented Reality Mirror,- 63 -WISS 2021

時間歪曲機能を用いた VR スキートレーニングの拡張
松本 高 ∗

Erwin Wu∗

小池 英樹 ∗

概要. 近年, VR を用いた様々なスポーツのシミュレーションが作成され, 仮想環境でのスポーツのトレー
ニングを行うことが可能になっている. VR を用いる利点として, 非現実的な機能を実装できるということが挙げられる. 時間の経過速度を実際よりも遅くすること (時間歪曲と呼ぶ) によって, 動作に余裕を持たせる, という機能も非現実的な機能の一つである. 本論文では, 屋内用のスキーシミュレータと VR 機器を組み合わせたスキーシミュレーションシステムを作成し, 時間歪曲機能を実装した. 時間歪曲を行う方法にも,一定の倍率で静的に遅くする, ユーザの状況に合わせて動的に遅くする, というように複数の手法が考えられる. 時間歪曲を行わないベースライン条件と 4 つの時間歪曲条件を比較する評価実験を行ったところ, 時
間歪曲がスキーにおいても有効であることが示された. また, 静的な条件の方が動的な条件と比べてより好ましい条件であるという結果が得られた.

1

はじめに

(a)

スキーは人気の高いスポーツであるが, 季節と場所に対する制限が多く, トレーニングを行うための障壁が多い. この問題を解決するため, スキーのシ
ミュレーションシステムを作成し, 屋内でもトレーニングを行えるようにした研究は数多く行われている. 近年では特に, スキーのシミュレーションマシ
ンと VR 機器を組み合わせることで, トレーニング
への没入感を高める研究が盛んである [10, 11, 14].

(b)

Ski Simulator
Vive Tracker

Users View
図 1. システムの概要 (a), 仮想スキーコースのユーザ
視点 (b).

スポーツのトレーニングとして, お手本となる熟練者の動作をよく観察し, その動作を模倣するという練習方法は一般的によく用いられている. ただし,初心者が熟練者の動作を模倣する場合など, 両者の実力の差が大きすぎる場合には, 模倣を効果的に行えない可能性が考えられる. そこで, 様々なスポー
ツのシミュレーションにおいて, 仮想環境内の時間の経過速度を遅くすること (以下, 時間歪曲) によって模倣を行いやすくした研究が行われており, 練習の効果が高まったという実験結果が報告されている

2
2.1

関連研究

スキーシミュレーション

スキーの技術を向上させるための, 様々なシミュ
レーションシステムが提案されている. Kobeissi ら[8] は, バランスボードにモーションセンサを取り付
け, 検知されたバランスボードの回転によって操作を行うスキートレーニングゲームを提案した. Aleshin
ら [2] は, SkyTechSport のスキーシミュレーション
マシンと仮想のスキーコースを表示するスクリーンを組み合わせたトレーニングシステムを提案し, このシステムが初心者だけでなく, プロのアスリートのトレーニングにも用いられ得ると述べた. Ko ら
[7] は, スキーのエクササイズゲームにおいて, VR と
非 VR 環境でのユーザの運動能力や集中力がどのように影響されるかを調査した. 野澤ら [14] は, VR 空間においてユーザの前方にスキー熟練者のモーションデータをコーチとして表示し, ユーザがその動きを模倣することによってスキーのトレーニングを行うことができるシステムを提案した. このシステム
では, 様々な方法を用いてコーチとユーザとの間の差分を可視化している. 一方で, 熟練者の動きが速[12, 13].

これらのことを踏まえ, 本論文では図 1 に示すようなスキーのシミュレーションにおいても, 時間歪曲を行うことがスキーの上達の手助けになることを検証する. また, 速度の変更方法にも一定の倍率で遅くする場合や, ユーザの状況に合わせて, 動的に倍率を変更する方法が考えられる. 評価実験において, 倍率の異なる 2 つの静的な条件, および 2 つの動的な条件で練習を行うことによる, スキー熟練者の滑走との差分や, ユーザの主観評価, シミュレー
タ酔いの観点で比較を行った.
∗

HMD

Copyright is held by the author(s).
東京工業大学- 64 -WISS 2021

Coach

Di
st
an

Curve Center Point
is
D

ce

e
nc
ta

Coach Trail

Motion Indicator

(a)

(b)

Di
sta
n

(c)

ce

Dist
ance

Coach Trail

図 2. HMD に表示される情報 (a), 動的な時間歪曲条件 2 つ (b)(c).
(b) では Coach Trail との距離が大きくなるほど, (c) では Curve Center Point に近づくほど時間の経過速度が遅くなっている (経過速度が遅いほど, MotionIndicator の色が緑から赤に変化する).

すぎることによってユーザが付いていけなくなる問題が指摘されている. Wu ら [10, 11] はこのシステ
ムを拡張し, 差分の可視化機能を追加した上で, どの機能がより高い効果を得られるかを定量的に評価した. Wu らの実験によれば, 差分を画面上のグラフにプロットするような複雑な可視化手法は, ユーザが提示された情報を上手く扱えず, 効果が低くなったことが示唆されている.
本論文のシステムは, VR を用いてコーチの動作を模倣する支援を行っている点で野澤, Wu らのシ
ステムと類似している. 一方で, ユーザが情報を処理する余裕がないという問題点を, 時間歪曲機能を実装することにより解決を図っている点で異なる.

2.2

適用できる可能性を示唆した. Wu ら [12] は, VR
空間での卓球のスピンのかかったボールを打ち返す
トレーニングにおいて, 単に時間の経過速度を遅くするだけでなく, 様々な視覚的フィードバックを提示するシステムを提案している.
これらの関連研究は, 時間歪曲がトレーニングの効果を高める可能性を示している. 一方で, これらのほとんどの研究は, 単一の時間歪曲機能のみを検証しており, 複数の時間歪曲機能を比較した研究は少ない.

システムデザイン

3

本章では, 検証に用いたシミュレーションシステ
ムの構成および実装について説明する.

時間歪曲を用いたトレーニングシステム

様々なスポーツにおいて, 時間歪曲を用いて動作の学習を支援する研究が行われている. 川崎ら [13]は, VR 空間で再現したけん玉において玉の速度を実際よりも遅くし, 徐々に速くしていくことによってけん玉の技を練習できるシステムを提案した. 川崎らの実験により, 多くのシステム体験者が 5 分間程度の練習で今までに成功したことのない技を習得できることが示された. Adolf ら [1] は, VR 環境
でのボールジャグリングにおいて, 重力加速度を小さくすることによるユーザのパフォーマンスやモチベーションへの影響を調査した. 濱西ら [5] は, テニ
スボールなどの高速で移動する物体を VR 空間では認識しにくくなる問題を, ユーザの動きに応じて時間の経過速度を制御することにより解決している.
Bansal ら [3] は, 自身の動きに応じて時間の経過速度が変化するような VR 体験をする前後において,マウスカーソルをお手本と同様に動かす課題をユー
ザに課す実験を行った. その結果, ユーザに動作時間を短く見積もるような時間認識の調整が行われる
ことが示され, この現象をリハビリテーションへと

3.1

ハードウェア

本論文で作成したシミュレーションシステムは,
図 1(a) に示すように, 屋内用のスキーシミュレー
タ1 (PRO-SKI SIMULATOR) 及び HMD(HTC
VivePro), 2 つの Vive トラッカー, 2 つのベースス
テーションから構成される. Vive トラッカーをシミュレータの左右のスキー板の先端に取り付けることで, スキー板の回転を検出できるようにする.

3.2 Unity 上での実装
VR を用いてトレーニングを行うために, Unity
にて図 1(b), 図 2(a) に示すようなスキーの仮想コー
スを作成した. ユーザは HMD を通してこのコースを見て, シミュレータのスキー板を動かすことにより仮想コース内を滑走できる.
操作性を単純にするため, 仮想コース内の移動は
図 3 に示すように, スキー板の地面と垂直な方向に
1- 65 -

https://www.ski-simulator.com/product/
power-ski-simulator/時間歪曲機能を用いた VR スキートレーニングの拡張

(a)

(a)

(b)

(b) Curve Center Point

User
Coach Trail

Radius
User
Center of the circle

図 3. スキー板のロール角が大きい場合は急なターン(a), 小さい場合は緩やかなターン (b) となる.

図 4. (a) では青線の内側を滑走している場合は上手く模倣が行えているとみなされ時間の速度が増加, 赤線の外側では速度が減少する. (b) では同心円の中心に近づくほど時間の速度が減少する.

対するロール角が大きくなるほど回転半径が小さくなるような水平面での円運動とした. より移動をわ
かりやすくするため, ユーザが現在の足の角度を固定した場合に進んでいく軌道を図 2(a) のように画面上に表示した (以下, MotionIndicator).
実際のスキーに近づけるために, ターンの前半部
分 (谷回り) では加速し, ターンの後半部分 (山回り)
では減速が起こるようにした. 後述するスキーの熟練者の意見を参考にし, 仮想コース内での移動の初速度は 63km/h とし, 初速度の 0.8〜1.2 倍の範囲で速度が変動するようにした.

3.3

時に緑色で表示し, TimeScale の値が小さくなるにつれて赤色に変化していくようにした (図 2 参照).
時間の経過速度を変更する方法として, 一度の滑走中には一定の倍率とする方法や, ユーザの状況に合わせて, 滑走中にも動的に速度を変更する方法な
ど, 様々な手法が考えられる. 本論文では, 以下の 4
つの時間歪曲条件を設定した.

Constant0.6 / Constant0.8
それぞれ時間の経過速度を常に 0.6 倍, 0.8 倍にする.
なお, 速度倍率は, 川崎らの”けん玉できた!VR”[13]の例を参考にし, 0.2 倍刻みとした. ただし, 0.4 倍

熟練者データの取得

速以下では一度のカーブに掛かる時間が長すぎることによって, ユーザがカーブをするための姿勢を長時間維持する必要があり, 大きな負担が生じること
が予備実験でわかったため, 今回は 0.6 及び 0.8 倍
速の 2 条件と限定した.

熟練のスキーヤー 1 名にこのシミュレーションシ
ステムを使用してもらい, コーチデータとして記録した. 前述の HMD, 左右のスキー板の Vive トラッカーに加えて, 両手, 腰にトラッカーを装着し, 計
6 点のモーショントラッキングを行った. 記録したモーションデータを 3D モデルとして再生し, コーチが滑走したルート上を動かすことによって, コー
チのリプレイデータとして再現ができる.
実際のスキーでは人々が走ったルート上の雪がかき分けられ, 跡が生じる. 初心者は熟練者の跡をなぞることにより, 適切なルートを滑走することができる. これを仮想コース内にて再現するため, コーチ
が通過するルートを灰色の曲線 (以下, Coach Trail)
として表示した (図 2(a) 参照).

DistanceToCoachTrail
ユーザと Coach Trail との間の距離が大きい場合,

すなわちコーチの滑りを上手く模倣できていない場
合に時間の経過速度を遅くする (図 2(b), 図 4(a) 参照). 毎フレーム時間の経過速度を変更するとシミュ
レータ酔いを激しく引き起こすことが予想されるため, 100 フレーム毎 (90Hz) にユーザと Coach Trailとの間の距離の平均を計算するようにしている.

DistanceToCurvePoints

スキーのコースにおいて, カーブしている部分は直線的な部分と比べてより複雑な操作が必要となり,コーチの動作を模倣する難易度も高くなることが予想される. そのため, この条件では仮想コースのカー
ブの中心部分 (Curve Center Point) に近づくほど時間の経過速度を遅くする (図 2(c), 図 4(b) 参照).
時間の経過速度の倍率が一定である前者 2 つが静的な条件であるのに対し, 後者 2 つは滑走中に倍率が変化していくため, 動的な条件であるといえる. また, 動的な条件 2 つの TimeScale は 0.5 から 1.0 を
0.1 刻みで変動するようにした.

3.4 時間歪曲機能の実装
Unity のパラメータである TimeScale の値を変更することにより, シミュレータ内の時間の経過速度を変更することができる. 通常の速度の TimeScaleの値を 1 として, 1 よりも小さい値に変更すること
で時間の経過速度が遅くなる. これにより, ユーザの移動速度やコーチの姿勢データの再生される速度が遅くなるため, ユーザの動作に余裕が生まれることが期待される. HMD の画面上では時間の経過速度が変化していることを視覚的にもわかりやすくするため, MotionIndicator を TimeScale の値が 1 の- 66 -WISS 2021

4

Q1: 

仮説

Baseline(Constant1.0)

本論文では, 以下の仮説を検証するために評価実験を行った.
H1: 時間歪曲による練習効果
時間の経過速度を遅くして練習することによりス
キーの上達が見込める.
H2: より低い速度倍率による練習効果
時間の経過速度が遅いほどコーチの動作を模倣しやすくなり, 練習効果が高まる.
H3: 動的な倍率変更による練習効果
ユーザの状況に応じて動的に時間の経過速度を変更することにより, 練習効果が高まる.

Constant0.6*

Constant0.8
ToCoachTrail
ToCurvePoints

Q2:

Baseline(Constant1.0)*****

Constant0.6*

Constant0.8
ToCoachTrail
ToCurvePoints

実験手順

Q3: 



Baseline(Constant1.0)

被験者に実験の説明をした後, スキーブーツを履
きシミュレータに乗ってもらった. その後, 以下の手順にて実験を行った.

**

4.2

**

4.1

評価実験

Constant0.6
Constant0.8

1. 事前に VR やシミュレータの動かし方に慣れてもらい, 学習率による影響を緩和するための, 5 分程度の練習を行う. この練習においてのみ, コーチの姿勢と Coach Trail を表示しないことで, 被験者がシミュレータの動かし方に慣れるための練習に集中できるようにした.

ToCoachTrail
ToCurvePoints

Q4: 



!"#$"%&Baseline(Constant1.0)
Constant0.6
Constant0.8

2. ベースライン条件にて計測を行う. 表示されるコーチの姿勢を参考にしながら, できる限
り Coach Trail と同じルートを滑るように被験者に指示した.

ToCoachTrail
ToCurvePoints

Q5: ,+-.$"%&
Baseline(Constant1.0)*

3. ベースライン条件終了後に, 図 5 に記す 5 つの質問 (7 段階のリッカート尺度) 及び任意の自由記述でのコメント, シミュレータ酔いの程度を計測する質問 (SimulatorSicknessQuestionnaire(SSQ)[6]) に回答する.

Constant0.6
Constant0.8
ToCoachTrail
ToCurvePoints

4. 上述した 4 つの時間歪曲条件のうち, 1 つの条
件下での練習を 2 分程度行う.

0%

20%

Disagree

1

40%
'()

2

3

4

60%
*+

5

80%

6

100%

7 Agree

図 5. ユーザの主観評価による 5 つの質問への回答, グ
ラフは 7 段階評価の分布を表す (1:「強く否定する」, 7:「強く同意する」). 右の括弧は各条件間の有意差を表す: * (p < 0.05), ** p < 0.01), ***(p < 0.001)

5. 再びベースライン条件の計測を行う.

6. 練習を行った条件について, 3. と同様の質問に回答する.

7. 手順 4.〜6. を, 条件を変えながら 4 回繰り返
す. 練習を行う条件の順番は被験者ごとにBalancedLatinSquare[4] に従ってカウンター
バランスを行った.

他の条件で行った練習の影響を軽減するため, 手
順 3. と 6. においては質問への回答が早く終わった
場合でも, 5 分以上の間隔を空けてから次の条件での練習に移るようにした. また, 被験者は実験中の任意のタイミングで休憩及び水分補給を行うことができた.

手順 2. 及び 5. にて計測したベースライン条件の結果を比較することにより, 時間歪曲条件による練習効果を検証することができる. また, 4 つの時間歪曲条件の順番を被験者間でカウンターバランスを行い, 結果を比較することにより, 異なる速度倍率での練習効果や, 動的な倍率変更による練習効果の検証が可能となる.

4.3

被験者

主に研究室内の学生 12 人 (年齢 21-32 歳, 平均
23.6, 標準偏差 3.15, 女性 3 名, 男性 9 名) からデー

- 67 -

時間歪曲機能を用いた VR スキートレーニングの拡張

Coach Trail 
6

**

***

**

SSQ Total Score

*

35
30
25

Distance (meter)

5

20

4

15

3

10
5

2

0
Baseline(Constant1.0)

10Baseline(Constant1.0)

Constant0.6

Constant0.8

ToCoachTrail

図 6. 各条件での練習後に計測したベースライン条件におけるユーザと Coach Trail とのフレーム毎の平均距離. 上の括弧は各条件間の有意差を表す: *(p < 0.05), ** (p < 0.01), *** (p < 0.001)

結果は図 5 に示す. Constant0.6 条件については
Q4 以外の質問においてベースライン条件と比べて優位に高い評価が得られており (Q1: p < .01, Q2:
p < .001, Q3: p < .01, Q5: p < .05), 強く否定する回答 (評価 1 と 2) の割合も他の条件と比べて低い. 動的な条件については DistanceToCoachTrail 条件ではパフォーマンスに関する Q1 と Q2 でベースライン条件と比べて有意に高い評価が得られている (Q1: p < .05, Q2: p < .05) 一方, DistanceToCurvePoints 条件では有意な差は得られなかった.

タを収集した. 被験者のうち, 6 人は実際のスキーをした経験が一度もなく, 4 人は 2 年未満の経験があり, 2 人は 5 年以上の経験があった. また, VR の使用頻度についても尋ねたところ, 3 人は年に 1 回程度, 7 人は月に 1 回程度, 2 人は週に 1 回以上の頻度で VR の使用経験があった.

4.4 実験結果
4.4.1 Coach Trail との距離

Constant0.8: p < .001, ToCoachTrail: p < .01,
ToCurvePoints: p < .05). 一方で, 時間歪曲条件の間では有意差が見られなかった.
4.4.2

被験者の主観評価によるアンケート

被験者の主観評価によるアンケートの回答結果を
図 5 に示す. one-way ANOVA を実行したところ,
Q1,Q2,Q3,Q5 において有意差があることがわかった

Constant0.8 ToCoachTrail ToCurvePoints

図 7. 各条件後の Simulator Sickness Questionnaire の Total Score の値

ToCurvePoints

最初に計測したベースライン条件および 4 つの条件で練習した直後に計測したベースライン条件
における被験者と Coach Trail との距離の, フレー
ム毎の平均を図 6 に示す. one-way ANOVA を実行したところ, 条件間に有意差があることがわかった (F4,55 = 6.4275, p < .001). そこで, どの条
件間で有意差があるかを示すために Tukey HSD[9]を行った. 結果は図 6 に示す. どの時間歪曲条件においても, ベースライン条件と比べて有意に高い
パフォーマンスが得られ, Constant0.8 条件では最も強い有意差が得られた (Constant0.6: p < .01,

Constant0.6

4.4.3

シミュレータ酔い

4.4.4

自由記述によるコメント

シミュレータ酔いの程度を表す指標となる SSQ の
TotalScore の結果を図 7 に示す. one-way ANOVAを実行したところ, 各条件間には有意差が得られなかった (F4,55 = 0.0263, p = .9986).
静的な条件について, Constant0.6 は「コーチの姿勢の観察がしやすい」(P4,P7) というコメントがあった一方で, 「簡単すぎて練習にならない」(P1)というコメントがあった. Constant0.8 は「ちょうどよいスピードだと感じた」(P1,P3,P7) というコメントが多く得られた. 動的な条件では, 「滑走中に速度が変化することに対応がしにくい」(P1,P7) や「速度変化によって酔いを感じた」(P2,P6) といったコメントがあった. また, 条件に関わらずシミュ
レータ酔いについて言及したコメントが多く得られた (P2,P5,P8,P10,P12).

5

議論

5.1 仮説の検証
5.1.1 H1: 時間歪曲による練習効果
図 6 に示すように, 最初に計測したベースライン
条件に対し, 4 つの条件下にて練習を行った直後のベースライン条件では被験者と Coach Trail との(Q1: F4,55 = 3.6396, p < .05, Q2: F4,55 = 5.4573,
p < .001, Q3: F4,55 = 3.7942, p < .01, Q4:
F4,55 = 2.4962, p = .05318, Q5: F4,55 = 2.7626,
p < .05). そこで, これらの質問のどの条件間で有意差があるかを示すために Tukey HSD を行った.

- 68 -WISS 2021

距離が有意に小さくなったことから, どの条件下でも, よりコーチと近い滑走が行えていたことがわかる. 図 5 に示すアンケートについて, Constant0.6
では練習へのモチベーションに関する Q4 以外の質問において有意差が得られている. 特に Q5 の総合
評価については評価 5〜7 の回答が 91.7%を占めた
ことから概ね好評であったことがわかる. これらのことから時間の経過速度を遅くすることが被験者のスキーの上達に繋がったと考えられるため, 仮説 H1は支持される.

5.1.2

H2:より低い速度倍率による練習効果

5.1.3

H3: 動的な倍率変更による練習効果

被験者の主観評価によるアンケートでは Constant
0.6 が最も高い評価であったのに対し, 図 6 によれ
ば, Constant0.8 の方が被験者がよりコーチと近い滑走を行えていたのは興味深い結果である. 速度倍率が低いほどコーチの動作の模倣は行いやすくなる
ものの, コーチの動作自体が実際のものと大きく変わってしまうため, 練習としての効果は低くなってしまった, ということが原因として考えられる.
本論文で検証に用いたスキーシミュレーションシ
ステムは, 実際のスキーを忠実には再現ができておらず, これがユーザのパフォーマンスやシミュレー
タ酔いなどに影響を与えた可能性が考えられるため,システムの全体的な改善が必要である. 仮想コース
内のカーブを緩やかにして直線部分を増やすなど,
より現実に近いコースに変更する. スキー板を傾けた場合のユーザの曲がりやすさが, より現実的になるようにパラメータを調整する. などの改善点が挙げられる.
今回の実験では動的な条件がユーザに不評であったが, 速度を変更する方法を改善することによって,静的な条件よりも良い結果が得られる可能性がある.
滑走中に速度変更を行うのではなく, 一度滑り終わった後にその滑走のパフォーマンスを評価し, 評価に応じて次回の速度倍率を決定するような動的条件が考えられ, 今後実装していくことを考えている.
今回の実装では, ユーザとコーチとの間の距離が広がりすぎた場合に, コーチの姿が見えにくく, 模倣が行えなくなる問題があった. コース上だけでな
く, HMD の画面上の固定された位置にコーチの姿勢を表示することにより, 改善が可能であると考えられる.

図 5 に示すアンケートについて, Q4 以外の質問において, Constant0.6 は Constant0.8 と比べて,ベースライン条件とより強い有意差が得られている. 一方で, この 2 つの条件間では有意差が得られておらず, 図 6 の Coach Trail との距離についてはConstant0.8 の方がベースライン条件に対し, より強い有意差を得られていることから, 時間の経過速
度を遅くするほど練習効果が高まるかどうかの検証は不十分であり, 仮説 H2 は支持されない.
図 6 の Coach Trail との距離について, 動的な条
件 2 つはベースライン条件に対して有意差が得られてはいるものの, その有意差は静的な条件 2 つに対して弱いものとなっている. また図 5 に示すアン
ケートについては, いずれの質問でも強く否定する
回答 (評価 1 と 2) が静的な条件よりも多い傾向にあり, 被験者に不評であったことがわかる. よって動的に時間の経過速度を変更することが練習効果を高めるとは言えないため, 仮説 H3 は棄却される.

5.2

今後の課題

5.3

考察

実験の結果をもとに, 4 つの時間歪曲条件の有用性について考察を行う. 我々の予想に反し, 動的な条件の結果が静的な条件に対して良くなかった. 滑
走している間に時間の経過速度の変更を行うことで,被験者は変化後の速度に対応する必要があり, 負担が生じてしまった. これにより練習やコーチの姿勢の観察に集中できなかった可能性が考えられる.
動的な条件では滑走中に速度の変化が生じるため,比較的強いシミュレータ酔いが発生することが予想されていた. しかし, 図 7 に示すように, SSQ の結果としては有意差が得られなかった. 一方で, どの条件においても SSQ のスコアの平均が 20 を超えており, 自由記述のコメントにおいてもシミュレータ
酔いについて言及したものが多く得られている. そのため, 動的な条件が酔いを増加させなかったのではなく, 条件に関わらず一定程度の酔いが引き起こされていたため, 有意差が生じなかったことが可能性として考えられる.

6

まとめ

本論文では, スキーのシミュレータと, VR 機器
を組み合わせたシミュレーションシステムを作成し,時間の経過速度を変更する複数の時間歪曲機能を実装した。評価実験の結果より, 他のスポーツと同様にスキーにおいても時間歪曲が上達の手助けになることが確認できた. 一方で, ベースライン条件との比較以外では有意差を得ることは出来なかったが,ユーザに好まれやすい時間歪曲条件の傾向をつかむことができた.

謝辞

本研究は JST CREST JPMJCR17A3 および JST
ムーンショット型研究開発事業 JPMJMS2012 の支援を受けている.

- 69 -

参考文献

時間歪曲機能を用いた VR スキートレーニングの拡張

of an IoT system for enhancing proprioception
training. In 2017 29th International Conferenceon Microelectronics (ICM), pp. 1–4, 2017.

[1] J. Adolf, P. Kán, B. Outram, H. Kaufmann,
J. Doležal, and L. Lhotská. Juggling in VR:
Advantages of Immersive Virtual Reality in Juggling Learning. In 25th ACM Symposium on
Virtual Reality Software and Technology, VRST
’19, New York, NY, USA, 2019. Association for
Computing Machinery.
[2] V. Aleshin, S. Klimenko, M. Manuilov, and
L. Melnikov. Alpine skiing and snowboard
training system using induced virtual environment. Science and Skiing IV, pp. 137–144, 01
2008.
[3] A. Bansal, S. Weech, and M. Barnett-Cowan.
Movement-Contingent Time Flow in Virtual Reality Causes Temporal Recalibration. Scientific
Reports, 9:4378, 03 2019.
[4] A. L. Edwards. Balanced Latin-Square Designs
in Psychological Research. The American Journal of Psychology, 64(4):598–603, 1951.

[9] J. Tukey. Comparing individual means in theanalysis of variance. Biometrics, 5 2:99–114,
1949.
[10] E. Wu, T. Nozawa, F. Perteneder, and H. Koike.
VR Alpine Ski Training Augmentation using Visual Cues of Leading Skier. In 2020 IEEE/CVF
Conference on Computer Vision and Pattern
Recognition Workshops (CVPRW), pp. 3836–
3845, 2020.
[11] E. Wu, F. Perteneder, H. Koike, and T. Nozawa.
How to VizSki: Visualizing Captured Skier
Motion in a VR Ski Training Simulator. In
The 17th International Conference on VirtualReality Continuum and Its Applications in Industry, VRCAI ’19, New York, NY, USA, 2019.
Association for Computing Machinery.
[12] E. Wu, M. Piekenbrock, T. Nakumura, andH. Koike. SPinPong - Virtual Reality Table Tennis Skill Acquisition using Visual, Haptic and Temporal Cues.
IEEE Transactions on Visualization and Computer Graphics,
27(5):2566–2576, 2021.

[5] N. Hamanishi and J. Rekimoto. TTT: Time
Synchronization Method by Time Distortion for
VR Training Including Rapidly Moving Objects.
In 25th ACM Symposium on Virtual Reality
Software and Technology, VRST ’19, New York,NY, USA, 2019. Association for Computing Machinery.
[6] R. S. Kennedy, N. E. Lane, K. S. Berbaum, andM. G. Lilienthal. Simulator Sickness Questionnaire: An Enhanced Method for Quantifying
Simulator Sickness. The International Journalof Aviation Psychology, 3(3):203–220, 1993.

[13] 川崎 仁史, 脇坂 崇平, 笠原 俊一, 齊藤 寛人, 原口純也, 登嶋 健太, 稲見 昌彦. けん玉できた！VR：
5 分間程度の VR トレーニングによってけん玉の技の習得を支援するシステム. エンタテインメン
トコンピューティングシンポジウム 2020 論文集,
pp. 26–32, 2020.
[14] 野澤 崇行, E. Wu, F. Perteneder, 小池 英樹. 熟練者の動作の可視化による VR スキートレーニン
グシステム. WISS2019 論文集, pp. 19–24, 2019.

[7] J. Ko, S.-w. Jang, H. Lee, H.-K. Yun, andY. S. Kim. Effects of Virtual Reality and
Non–Virtual Reality Exercises on the Exercise
Capacity and Concentration of Users in a Ski
Exergame: Comparative Study. JMIR Serious
Games, 8:e16693, 10 2020.
[8] A. H. Kobeissi, H. Chible, R. Berta, A. De Gloria, and F. Bellotti. Design and implementation

未来ビジョン

本論文では簡易的なスキーシミュレータマシンを用いたため, 足の角度のみを基準として仮
装コース内の移動を決定していたが, 今後はより高度なシミュレータを用いることで, スキー
板を踏み込む強さ等の計測が可能であり, それに応じた仮想コース内の動きを制御すればより現実のスキーに近づけることができると考えられる.
今回の実装では, 時間の経過速度を遅くして練習を行いやすくする, という初心者向けの実装をしたが, 逆に, 経過速度を実際よりも早くすることによって, トレーニングの負荷をより高め, 通常の速度におけるパフォーマンスを向上させる, という中級者や上級者向けの実装も可能である.

本論文では, 場所や季節への制限が多いス
キーを題材として, VR 機器を用いた仮想ト
レーニングシステムの開発を行った. with コ
ロナ, after コロナの時代では, 現地で直接コーチから指導を受けるような他の様々なスポー
ツのトレーニングの代用として, このような仮想トレーニングの需要が増していくと考えられ, 本論文の結果を応用できる可能性が高い.
また, 本論文では, 時間歪曲というシミュレー
ションならではの非現実的な機能を実装する
ことによって, VR を単なる実際の環境でのトレーニングの代用とする以上の効果が得られる可能性についての模索も行った.

- 70 -WISS 2021

ドライブレコーダのデータから旅行の思い出動画を自動生成する web サービスの実装
尾頭 花奈 ∗

石黒 祥生 ∗†

椎尾 一郎 ‡

武田 一哉 ∗†

概要. 本研究では，ドライブ旅行の思い出を楽しく振り返ることを目的に，ドライブレコーダのデータを活用した思い出動画自動作成システムを提案する．最近のドライブレコーダは，車内外の様子を高解像度動画として記録するため，紀行ムービーの素材として最適である．ドライブレコーダで撮影された映像デー
タは，SD メモリカードから簡単に入手できるが，膨大なデータを編集するには多くの時間と労力が必要なため，ほとんど利用されていない．そこで，思い出動画を自動作成するシステムを開発した．提案システム
は名所，会話の盛り上がりなど，旅行において重要だと思われるシーンを判定して動画を要約し，文字テ
ロップ・地図・合成音声の追加を行う．本稿では，自動編集システムの設計に加え，広く一般に使用してもらうために開発した web サービスの実装と評価について述べる．本研究は，今まであまり注目されてこな
かった自動車乗車後の UX 向上に貢献する．

1

はじめに

スマートフォンやウェアラブルカメラの登場により，個人の体験を映像として簡単に記録できるようになった [9, 14]．また，SNS の普及により，体験を他者に共有し，コミュニケーションをとる機会が増えている．自動車にも多数のカメラやセンサ類がついており，自動車乗車中の体験が細かく記録されている． しかし，これらのセンサ情報は自律走行や交通安全以外の目的にはあまり利用されていない．
ここ数年，車両から得られる映像データやセンサ
情報をエンターテイメントシステムに利用しようという試みがなされている [12, 13, 21]．しかし，これらは乗車中の UX 向上を目的としており，乗車後の UX 向上に焦点を当てた研究は極めて少ない．そこで本研究では，旅行の振り返りに焦点を当て，乗車後の UX 向上を目的とした．
本研究では，近年急速に普及しているドライブレ
コーダに着目した [16]．ドライブレコーダの主な用
途は交通事故や煽り運転車との遭遇のような非常事態への対策である．そのため，ドライブレコーダに記録されたデータは通常はほとんど活用されず，記録媒体の容量を超えた内容から廃棄される．最近のドライブレコーダは GPS 機能を搭載したモデルや複数台の高品位カメラを搭載したモデルも多く [10]，ホームビデオや SNS で共有する動画の素材として最適である．
しかしながら，長時間の走行動画を単に再生するだけでは冗長なシーンが多いため，楽しい動画にするには適切な編集が必要である．ドライブレコーダ
名古屋大学
株式会社ティアフォー
‡
お茶の水女子大学∗†- 71 -

から得られる大量の動画ファイルから印象的なイベントが記録された箇所を選択し，結合し，エフェク
トを追加するには多くの時間と労力が必要であるため，これら全てを毎回手作業で行うのは困難である．
そこで本研究では，これらの課題を解決するため，
ドライブレコーダのデータからドライブ時に特化したイベントを検出し，車旅行の思い出動画を自動生成するシステムを開発した．今回作成したシステム
は，自動車から得られる映像データの新しい活用ア
イデアをサポートし，これまであまり検討されてこなかった自動車乗車後の UX 向上に貢献する．
本システムのプロトタイプについては，第 69 回
UBI 研究発表会 [20] と AutomotiveUI ’21[1] で発表した．本稿ではこれを発展させ，一般公開用に開発した web サービス全体の設計について述べる．

2
2.1

関連研究

ドライブレコーダの活用

ドライブレコーダのデータを交通安全に活用する試みは多数存在する．例えば，ドライブレコーダを
交通事故発生予測に活用する研究や [3, 19]，路上駐車のリアルタイム検知に活用する研究 [15]，注意散
漫なドライバーを自動検出する研究 [4] などがされている．本研究では，これらの取り組みとは違い，ドライブレコーダのデータをエンターテインメントに活用することを目的とする．

2.2

動画の自動要約技術

動画の自動要約に関する研究は多数されてきた．
例えば特異値分解 (SVD) とクラスタリングによる映像要約技術や [7]，シーンの変化をグラフのモデル化により検出する動画要約技術 [17]，ビデオフレー

WISS 2021

図 1. 構築した web システムの概要図．

ムからの色特徴抽出と k-means クラスタリングア
ルゴリズムに基づいた動画要約技術 [5] などがある．
これらの研究では主にシーンの変化に着目し，要約を行っている．しかし，車内映像に関しては，自動車に乗車中は人の動きは少ないため，視覚的なシーンの変化はほとんどない．また，旅行においては，全てのシーンを網羅的に切り取る必要はなく，例えば，「目的地や観光名所付近の映像は必要だが高速道路や住宅街の映像は不要である」など，走行位置や周囲の状況によってシーンの重要度が大きく異なる．
そのため，これらの手法はドライブ旅行の映像の要約には適さない．

2.3

身近な製品を利用した体験要約

身近な製品を使用することで，生活シーンの切り取りや要約，記憶支援を実現する研究も多い．ComicDiary は，携帯情報端末 (PDA) やキオスク端末を利用し，個人のプロフィールや行動履歴，他のユー
ザーとの交流記録などから，学術会議参加や博物館
見学の日記を漫画形式で自動生成する [18]．VideoRecording Your Life では，ウェアラブルカメラである GoPro と，スマートフォンの加速度センサを利用し，日常生活を記録した映像から利用者が興味を引くと思われるシーンを自動抽出する [2]．マイ
クロソフトのプロジェクト「MyLifeBits」で使用されたウェアラブルカメラ SenseCam には多数のセン
サが組み込まれており，身につけているだけで光量の著しい変化やカメラの前の体温などを自動で検出して写真を撮影する [11, 6]．身近な製品を利用する
ことは，多くの人に使ってもらう一つのきっかけになると考えられる．本研究では，近年急速に普及しており，手軽に購入可能なドライブレコーダの活用に着目し，要約の対象を自動車乗車中とした．
また，世に広く普及している旅行の自動記録シス
テムとして，Google Maps のタイムライン機能がある．このサービスは，移動経路や滞在場所を地図上にプロットし，滞在時間などの情報と合わせた旅行の記録を自動でまとめる．また，Google photoに保存されている写真を合わせて表示することもで
きる [8]．本研究でも，移動経路，滞在場所，時刻な

どの情報や，ユーザが旅行中に撮影した写真を自動で動画に組み込むように設計した．

3

web システム概要

3.1

システム使用手順

提案する自動編集システムは，ドライブレコー
ダから得られた動画ファイル，GPS のログファイ
ル，ユーザが旅先で撮影した写真をもとにハイライト
シーンを抽出し，サウンドエフェクトやトランジショ
ン効果を加えながら旅の要約動画を自動生成する．また，自動編集システムを広く使ってもらうための web
システムを構築した．本 web システムの概要を図 1に示す．提案システムは https://bitokana.com
から誰でも利用可能である (図 2)．対応ブラウザは
Safari，Chrome，Firefox であり，PC から閲覧することを前提としている．ユーザは本サイトに必要事項を入力し，ドライブレコーダのデータをアップロードするだけで思い出動画を手に入れることができる．web サイトの構築のためにさくら VPS を使用し，SSL 証明書には Let’s Encrypt を用いた．
VPS の CPU は仮想 4Core，メモリは 4GB，SSD
は 400GB，OS は CentOS を選択した．本システム
は Python の Web フレームワークである FastAPIを利用している．
アップロード機能は web サイトのトップページに配置した．ユーザは本システムを利用するにあたって以下の操作をする必要がある．

3.1.1

対応機種

ドライブレコーダは機種によってカメラの撮影範
囲，保存されるデータの拡張子，1 ファイルあたりの撮影時間などが異なるため，使用する機種によって自動編集システムの処理が異なる．本稿では，水平方向に 360 °撮影可能であり，GPS 測位機能が搭載されている Yupiteru 社 Q20-P を使用した際の処理について述べる．このドライブレコーダは動画データと位置情報を，それぞれ MP4 ファイルおよび NMEA(National Marine Electronics Association) ファ- 72 -

ドライブレコーダのデータから旅行の思い出動画を自動生成する web サービスの実装

図 2. 作成した web サイトを通してデータをアップロードする様子．データ送信前の画面 (左)，アップロード中の画面(中央)，データ送信後の画面 (右)．

イルとして SD カードに記録する．いずれも約 1 分
間のデータを 1 ファイルとして (以下，1 分録画ファイル)，複数のファイルが生成される．NMEA ファ
イルには，GPS により検出された位置情報が 1 秒
毎に書き込まれる．MP4 ファイルの映像の記録形
式は魚眼と 2 分割 (上半分が車外，下半分が車内の様子) が選べるが，本システムでは 2 分割の形式で記録していることを前提とした．なお，現段階ではYupiteru 社 Q20，Q20-P 以外の機種では検証していないため未対応となっているが，今後は他の機種にも対応する予定である．

3.1.2

事前準備

ユーザは以下の手順によりアップロード用のファ
イルを事前準備する．
(1) “movie” という名前の空のフォルダを作成する(2) microSD カードに入っている全てのフォルダを
movie フォルダの中にコピーする(3) movie フォルダを圧縮する
また，旅先で撮影した写真 (但し Exif 情報があるものに限る) を要約動画に組み込みたい場合は上記の手順 3 の前に追加で以下の処理を行う必要がある．
(a) “photo” という名前の空のフォルダを作成する(b) photo フォルダの中に要約動画に組み込みたい
写真を入れる(c) photo フォルダを movie フォルダの中に移動する

3.1.3

データの送信ユーザは上記の手順で作成した zip ファイルに加え，以下の 3 つの情報をシステムに送る必要がある．
一つ目は，完成した動画をユーザに送信するためのメールアドレスである．本システムが生成する要約
動画はデータサイズが大きいため，メールに動画をそのまま添付することはできない．そこで，本システムは動画の共有に GoogleDrive のリンクを利用- 73 -

する．そのため，本システムの利用には Google ア
カウントが必要であり，G メールアドレスの入力を必須とした．二つ目はドライブレコーダの機種である．前述のように，ドライブレコーダは機種によって映像の記録形式や保存データのディレクトリ構造が異なる．そこで，ドライブレコーダの機種をユーザに選択してもらうように設計した．三つ目は旅行期間である．通常ドライブレコーダから取り出した
microSD カードの中には要約したい旅行期間以外のデータが含まれている．そこで，アップロードしたデータ全てを要約するのか，それとも一部を要約
動画の素材として使用するのかを選択できるようにし，要約動画に使用したい動画データの期間を設定できるようにした．

以上の 3 項目を入力し送信ボタンを押すと，デー
タがサーバに送信される．データの送信が完了するとユーザに受け付け完了のメールが自動送信される．

3.2

動画処理

サーバにアップロードされた zip ファイルは，以下の手順で要約動画に変換される．まず，アップロードされた zip ファイルを解凍する．そして，システ
ムがデータの管理をしやすいように，解凍したファ
イルのファイル名をユーザのメールアドレスに変更
する．ここで，アップロードされたデータのうち一部の期間のデータのみを要約動画の素材として利用する場合は，NMEA ファイルから取得した日時の情報を用いて，ユーザが指定した時間外のデータを削除する．こうして出来上がったファイルを自動編集システムに読み込むことで，要約動画が生成される．
自動編集システムは，Python3 によって記述され，コマンドラインツールである FFmpeg を利用して動画処理を行なう．自動編集システムの詳細な設計については 4 章で説明する．

WISS 2021

図 3. 自動編集システムによる明るさの調整．調整前(左) と調整後 (右)．

3.3

自動返信機能作成された要約動画は以下の手順で Google ドラ
イブのリンクとしてユーザに共有される．まず，自動編集システムが作成した動画を Google Drive API
を用いて Google ドライブにアップロードし，動画の共有リンクを取得する．この時，ユーザがリンク先の動画を閲覧できるように，ユーザが入力した G
メールアドレスを利用してユーザに動画の共有権を付与する．そして，取得した共有リンクをメールの本文に貼り付け，Gmail API の自動送信機能により，ユーザのメールアドレス宛に自動送信する．
以上の処理により，ユーザは要約動画を取得する．
また，全ての処理を終えたら，アップロードされた全データを自動で消去し，サーバ上に個人情報を残さないようにした．

4

自動編集システム本システムは以下の 7 つの処理を行う．

4.1 動画のサイズの調整
Q20-P ドライブレコーダから得られた動画デー
タは，横縦が 2048×1536 画素，28fps である．1 フ
レームは上下に 2 分割され，それぞれに車内外の映像が記録されている．車外の映像を使用するときは上半分中央部の 1360×765 画素を，車内の映像を使用するときは下半分中央部の 1360×765 画素を切り出し，1280×720 にリサイズして使用する．なお，本システムが最終的に出力するムービーの画素数も1280×720 画素である．

4.2

動画の明るさの調整

4.3

ハイライトカットの自動判定と切り取り

ドライブレコーダの主な目的は車外の様子の撮影であるため，360 °全天球カメラで撮影された映像
は窓から見える景色の光量に合わせた露出となっている．そのため，昼間でも車内の映像は暗く，夜間に至っては暗くてほとんど何も見えない状態であった．そこで，車内の映像に対しガンマ補正，彩度調
整，コントラスト調整を行った (図 3)．
本システムは，ドライブ中に注目すべき事象が発生した際に撮影されるカット (以下，ハイライトカッ- 74 -ト) を自動抽出する．現在実装している事象は以下に示す 6 種類である．
(1) 出発時：車両の ACC(アクセサリー) 電源が ONになったタイミングを出発時と判定し，そのときの車外の映像を 7 秒，車内の映像を 10 秒切り取った．
車外の映像には NMEA ファイルから取得した時刻の情報を用いて，文字テロップと合成音声の挿入を行った．なお，ドライブレコーダは ACC 電源の供給に連動して自動的に記録を開始/終了するため，運転中だけが記録対象である．本研究ではこれを利用し，録画時間が 10 分以上開いた場合，休憩地点もしくは目的地に到着したと判断する．
(2) 到着時：ACC 電源が OFF になったタイミング
を到着時とし，車内の映像を 10 秒，車外の映像を
7 秒切り取った．車外の映像には，NMEA ファイルから取得した時刻と座標の情報，場所情報 API を用いて，到着時の時刻と住所を取得し，文字テロッ
プと合成音声の挿入を行った (図 4)．
(3) 県境を通過したとき：NMEA ファイルから取得した座標情報と場所情報 API を用いて都道府県名を取得した．そして，取得した都道府県名の変化か
ら県境を判定し，県を跨いだ瞬間の車外の映像を 3
秒切り取った．また，都道府県名を文字テロップの挿入と合成音声の挿入により示した (図 4)．
(4) 名所付近を通過したとき：NMEA ファイルから取得した座標情報と場所情報 API を用いて周辺の大規模施設や地名などの地域情報を取得した．そして，取得した情報から名所付近を通過したことを判定し，そのときの車外の映像を 3 秒切り取った．
また，地域情報を文字テロップの挿入と合成音声の挿入により示した．このとき，情報を表示するのは
場所情報 API の Score(取得した地域情報の確信度)
が 99.9 以上の場合に限定し，名所のすぐ近くを通過するときだけ表示を行った (図 4)．
(5) 高速道路の出入り口：NMEA ファイルから速度を取得し，1 分間の平均速度を計算した．本研究では，
1 分間の平均速度が 60km/h 以上なら高速道路と判断し，60km/h 未満なら一般道であると判断する．
また，ETC (Electronic Toll Collection System)
ゲートは 20km/h 以下での徐行が求められていることから，高速道路と一般道の切り替わる箇所のうち，10km/h〜20km/h の箇所を高速道路の出入り口であるとし，その部分を 4 秒切り取った．
(6) 会話が盛り上がっているとき：MP4 ファイルから取得した音声データにバンドパスフィルターを適用し，日本人の音声周波数帯域とされる 300〜
3400Hz の周波数帯域を抽出した．そして，抽出した音声データの振幅が一定の閾値を超えた箇所を会話が盛り上がっているシーンと判定し，そのときの車内の映像を 6 秒切り取った．また，Python のSpeechRecognition ライブラリを利用して会話に字幕を表示した (図 4)．

ドライブレコーダのデータから旅行の思い出動画を自動生成する web サービスの実装

図 4. 自動編集システムが切り出すハイライトカット．左から順に到着時，県境を通過したとき，名所付近を通過したとき，会話が盛り上がっているとき．

4.4

旅先で撮影した写真の追加

スマートフォンやデジタルカメラで撮影された写
真には，撮影日時や位置情報を含む Exif (Exchangeable image file format) 情報が記録されている．そこで，旅先で撮影した写真に Exif 情報が埋め込まれていた場合，そこから撮影日時を取得し，作成動画の適切な位置に表示させる処理を行なった．画像の表示時間は 1.2 秒に設定し，縦長の写真の場合は左右に余白をつけることで 16：9 の比率に合わせた．

4.5

地図の生成

車旅行では，移動経路や滞在場所の地理情報も重要である． そこで，ハイライトカットの対象にならなかった 1 分録画ファイルに対しては，地図を伴った表示を行なった．このために，Python の Folium
ライブラリを用いて取得座標を地図上に可視化する処理を行った．出発してから目的地に到着するまでに通過した道を赤色の線で示し，目的地に到着した
ときには赤色のマーカーをプロットした．そして，再出発時には，これまでに通過した道を赤色の線からピンク色の線に変更し，再出発してから次の目的地に到着するまでに通過した道を新たに赤色の線で示した．この地図を車外映像と組み合わせるために，
2 種類の表現方法を採用した．まず，それぞれの 1 分
録画ファイルの 1 フレーム目を取り出し，一つ前の1 分録画ファイル第 1 フレームの対応画素の RGB
値の差分の絶対値の総和を計算する．この総和を，設定した閾値と比較して以下の処理を行なう．
差分が閾値以上だった場合：周囲の景色の変化が大きいと判断する．地図上に，移動経路，車外の映像から切り取った静止画，車のイラストを載せた静止画を，1 分録画に対して 1 枚作成しこれを 0.3 秒程
度表示する．車外映像領域は 1 秒のコマ落としにした (図 5．以下，地図主体表示)．
差分が閾値未満だった場合：景色の変化が少ないと判断する．1 分録画から切り出した車外映像を 100倍速にして，移動経路を表示した地図をアルファブ
レンディングする (図 5．以下，100 倍速動画)．

4.6

処理の優先順位の調整

切り取り箇所重複の回避：ここまでの手順により作成された動画ファイルを時系列順に繋げることで，- 75 -

図 5. ハイライトシーンがなかった 1 分録画ファイルに対する 2 種類の処理．景色の変化が大きいときの処理 (左) と景色の変化が小さいときの処理 (右)．

思い出動画を作成することができる．しかし，このままでは同じシーンが，複数のハイライトカットの対象となり，重複して切り取られてしまう可能性がある．そこで，ハイライトカットに優先順位を設定
し，同一箇所が複数回切り取られることがないように調整した．
地図表示手法の調整：作成したハイライトカットや地図表示をそのまま繋げると，画面が過剰に切り替わり，見辛い動画になってしまう．そこで，1 分録
画ファイルに対する処理を指定する配列に対して以下の処理を行い，変化を抑えた．

1. 地図主体表示が 100 倍速動画に挟まれている場合，地図主体表示の代わりに 100 倍速動画を表示する．

2. 100 倍速動画が 3 連続未満なら，それら全てを地図主体表示に変更する．

3. 地図主体表示が続かない場合，その地図情報
は使用しない．

4.7

動画の連結とエフェクトの追加

以上の処理によって生成された素材に対して，以下の視覚音響効果とファイルの結合処理を行うこと
で思い出動画が完成する．
吹き出しの拡大・縮小：地図主体表示とその他の動画ファイルの切り替えをスムーズに行うため，吹き出しのエフェクトを使用した (図 6)．
フェードイン・フェードアウト：出発時にはフェー
ドインの処理を，到着時にはフェードアウトの処理を加えることで一旦画面を暗くし，目的地に到着したことを示した．

WISS 2021

旅行期間

5 時間 18 分
8 時間 24 分
8 時間 54 分

表 1. 使用したデータの情報と自動編集処理にかかる時間，手動編集の作業時間．

乗車
時間
98 分
108 分
159 分

ファイル
サイズ

12.42GB
15.61GB
20.1GB

ファイル
圧縮時間
4分
5分
6分

アップロード
時間
35 分
45 分
58 分

手動編集時間(P1)
4 時間 47 分
4 時間 37 分
3 時間 50 分

手動編集時間(P2)
3 時間 48 分
3 時間 08 分
3 時間 45 分

データは，1 時間半程度のドライブで約 10GB と大きいため，アップロードと自動編集システムの処理に時間がかかる．加えて，ユーザはデータのアップ
ロード中はブラウザを閉じることはできない．しかし，今回の実験では，送信ボタンを押してから要約
動画の受信までにかかった時間は，実際の乗車時間よりも短く，手動編集する際にかかる時間に比べて大幅に短かった．また，送信ボタン押下後はユーザの作業は一切不要であるため，実用的であると言える．

図 6. 吹き出しの拡大エフェクトによるトランジション．

図 7. 放射状に広がるワイプエフェクト．

放射状に広がるワイプエフェクト：通常速度の動画と 100 倍速動画の切り替えをスムーズに行うために，放射状のワイプエフェクトを加えた (図 7)．
ジングル：県境と名所付近を通過したとき，吹き出しのエフェクトによるトランジション，放射状に広がるワイプエフェクトにはそれぞれ効果音をつけた．
100 倍速動画にはアップテンポのジングル，地図主体表示にはミディアムテンポのジングルをつけた．
動画ファイルの結合：以上の処理で作成された動画はすべて，切り取り箇所の該当時間に対応した名前がつけられ，完成動画用フォルダに保存される．たとえば，80 ファイル目の 30 秒地点から 4 秒間の映像を切り取った場合，“00000080 30.mp4” という名前がつけられる．そこで，全ての処理完了後に，
完成動画用フォルダにある処理済みの動画を名前順にソートし，全てのファイルを連結して一つの動画を生成した．

5

自動編集
時間
36 分
36 分
50 分

処理時間の評価

6

議論

7

おわりに

多くのドライブレコーダは車外のみを撮影し，車内の様子は記録できないため，今回は旅行ルートの要約と景色の切り取りに重点を置いたシステム設計にした．本システムは，手動編集では難しい周辺地
域情報の取得やルートの可視化が可能である．一方，会話の内容に基づく動画の切り取りは難しく，現在は実装されていない．会話の内容による自動要約を実現するには，システムが会話の内容を適切に理解する必要があるのに加え，人によって面白いと思う会
話や思い出に残したいシーンが大きく異なるといった課題がある．今後，会話の内容に基づくシーンの抽出を行う際には，例えば，システムが表情認識や
音声感情認識を用いてハイライトカットの候補を絞り，その後，ユーザが動画に組み込みたいシーンを選択するなどの半自動化処理を検討したい．なお，
自動編集システムと手動編集の詳細な比較評価，及び被験者アンケートについては [1] を参照されたい．
本研究では，ドライブレコーダのデータを活用
し，旅のハイライトを自動検出して思い出動画を自動生成するシステムの提案と実装を行った．ユーザ
は web サイトにデータをアップロードするだけで，ドライブ旅行の思い出を紀行ムービーとしてまとめることができる．今後はより多くのユーザが利用できるよう，対応機種を増やす予定である．
一方，自動運転の技術が成熟し，急速に普及しつつある．自動運転車に搭載されている多数の高画質
カメラ，センサ類を利用して紀行ムービーを作成することで，現在の手法に比べてはるかに高いユーザ
エクスペリエンスを提供できると考えている．

著者の 1 人が母親と 2 人で実施した 3 回のドライ
ブ旅行のデータを本システムに適用した．また，自動編集と手動編集の違いを検証するため，双方とも
動画編集初心者である，母親 (P1) と兄弟 (P2) に手動で動画編集をしてもらった．

P1： 50 代女性，旅行に参加

P2： 20 代男性，旅行に不参加
編集には iMovie を利用した．本システムに適用した際にかかった時間と 2 人の被験者が手動編集にかかった時間を表 1 にまとめる．ドライブレコーダの- 76 -

参考文献

ドライブレコーダのデータから旅行の思い出動画を自動生成する web サービスの実装[12] Holoride. Holoride. https://www.holoride.com,
2019. (accessed 2021-09-18).

[1] K. Bito, I. Siio, Y. Ishiguro, K. Takeda. Automatic Generation of Road Trip Summary
Video for Reminiscence and Entertainment using Dashcam Video. In 13th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, AutomotiveUI’21, New York, NY, USA, 2021. ACM.

[13] Honda.
Honda
Dream
Drive.
https://www.honda.co.jp/CES/2017/detail/007/,2017. (accessed 2021-09-18).
[14] Insta360.
Insta360
https://www.insta360.com, 2021.
2021-09-18).

[2] D. Buschek, M. Spitzer, and F. Alt. VideoRecording Your Life: User Perception and Experiences. In Proceedings of the 33rd Annual
ACM Conference Extended Abstracts on Human
Factors in Computing Systems, CHI EA ’15, p.
2223–2228, New York, NY, USA, 2015. ACM.

Go
2.
(accessed[15] A. Matsuda, T. Matsui, Y. Matsuda, H. Suwa,
and K. Yasumoto. A Method for Detecting Street Parking Using Dashboard Camera
Videos. Sensors and Materials, pp. 33(1):17–
34, 2021.
[16] Mordor Intelligence. DASHBOARD CAMERA
MARKET - GROWTH, TRENDS, COVID-19
IMPACT, AND FORECASTS (2021 - 2026).
https://www.mordorintelligence.com/industryreports/dashboard-camera-market.
(accessed
2021-09-18).

[3] F.-H. Chan, Y.-T. Chen, Y. Xiang, and M. Sun.
Anticipating Accidents in Dashcam Videos. In
S.-H. Lai, V. Lepetit, K. Nishino, and Y. Satoeds., Computer Vision – ACCV 2016, ACCV
2016, pp. 10114:136–153, Cham, 2017. Springer.
[4] J. Cronje and A. P. Engelbrecht. Training Convolutional Neural Networks with Class Based
Data Augmentation for Detecting Distracted
Drivers. In Proceedings of the 9th International
Conference on Computer and Automation Engineering, ICCAE ’17, p. 126–130, New York,NY, USA, 2017. ACM.

[17] C.-W. Ngo, Y.-F. Ma, and H.-J. Zhang. Automatic video summarization by graph modeling.
In Proceedings Ninth IEEE International Conference on Computer Vision, ICCV 2003, pp.
1:104–109. IEEE, 2003.
[18] Y. Sumi, R. Sakamoto, K. Nakao, and K. Mase.
ComicDiary: Representing Individual Experiences in a Comics Style. In Proceedings ofthe 4th International Conference on Ubiquitous
Computing, UbiComp ’02, p. 16–32, Berlin, Heidelberg, 2002. Springer-Verlag.
[19] Y. Takimoto, Y. Tanaka, T. Kurashima, S. Yamamoto, M. Okawa, and H. Toda. Predicting
Traffic Accidents with Event Recorder Data. In
Proceedings of the 3rd ACM SIGSPATIAL International Workshop on Prediction of Human
Mobility, PredictGIS ’19, p. 11–14, New York,NY, USA, 2019. ACM.

[5] S. E. F. de Avila, A. P. B. Lopes, A. da Luz, andA. de Albuquerque Araújo. VSUMM: A mechanism designed to produce static video summaries and a novel evaluation method. Pattern
Recognition Letters, pp. 32(1):56–68, 2011.
[6] J. Gemmell, G. Bell, R. Lueder, S. Drucker, andC. Wong. MyLifeBits: Fulfilling the Memex Vision. In Proceedings of the Tenth ACM International Conference on Multimedia, MULTIMEDIA ’02, p. 235–238, New York, NY, USA, 2002.
ACM.
[7] Y. Gong and X. Liu. Video summarization using singular value decomposition. In Proceedings IEEE Conference on Computer Vision and
Pattern Recognition, CVPR 2000, pp. 2:174–180. IEEE, 2000.

[20] 尾頭 花奈, 椎尾 一郎. ドライブレコーダを活用
した思い出ムービー自動編集システム. 研究報告
ユビキタスコンピューティングシステム（UBI）,
2021-UBI-69(19), p. 1–8, 2021.

[21] 石黒 祥生, 山田献二朗. 自動運転車両内インフォ
テインメントのための VR ゲーム. エンタテイン
メントコンピューティングシンポジウム 2017 論
文集, pp. 210–216, 2017.

[8] Google.
GoogleMaps
Timeline.
https://www.google.com/maps/timeline.
(accessed 2021-09-18).
[9] GoPro.
HER10Black.
https://gopro.com/en/us/shop/cameras,
2021. (accessed 2021-09-18).
[10] Grand View Research. Dashboard Camera Market Size, Share & Trends Analysis Report By
Technology (Basic, Advanced, Smart), By Product, By Video Quality, By Application, By Distribution Channel, By Region, And Segment
Forecasts, 2020 - 2027, 2020.
[11] S. Hodges, L. Williams, E. Berry, S. Izadi,
J. Srinivasan, A. Butler, G. Smyth, N. Kapur,
and K. Wood. SenseCam: A Retrospective
Memory Aid. In Proceedings of the 8th International Conference on Ubiquitous Computing,
UbiComp ’06, p. 177–193, Berlin, Heidelberg,
2006. Springer-Verlag.

- 77 -WISS2021

TSUGITE: ࢖ࣥࢱࣛࢡࢸ࢕ࣈ࡞ᮌᕤࢪࣙ࢖ࣥࢺࡢタィ࣭ຍᕤࢩࢫࢸ࣒
Maria Larsson

ྜྷ⏣༤๎

ᱵ㇂ಙ⾜

஬༑ᔒ೺ኵ†ᴫせ㸬 ᮏ◊✲࡛ࡣ㸪ࣇ࣮࣒ࣞᵓ㐀⏝ࡢᮌᮦࢪࣙ࢖ࣥࢺࢆタィ࣭〇సࡍࡿࡓࡵࡢ࢖ࣥࢱࣛࢡࢸ࢕ࣈ࡞
ࢩࢫࢸ࣒ࠕTsugiteࠖࢆᥦ᱌ࡍࡿ㸬ࣇ࣮࣒ࣞᵓ㐀⏝ࡢࢪࣙ࢖ࣥࢺࡢタィ㸪ᡭసᴗ࡛ࡢ〇సࡣᐜ࡛᫆ࡣ࡞
ࡃ㸪᫬㛫ࢆせࡍ㸬ᮏࢩࢫࢸ࣒ࡣ㸪ࣔࢹࣜࣥࢢ࣭࢖ࣥࢱ࣮ࣇ࢙࣮ࢫ࡜ࢥࣥࣆ࣮ࣗࢱᩘ್ไᚚ㸦CNC㸧࡟ࡼࡿຍᕤࢆ⤌ࡳྜࢃࡏࡿࡇ࡜࡛㸪࢝ࢫࢱ࣒ࢪࣙ࢖ࣥࢺࡢసᡂࢆᐜ᫆࡟ࡍࡿ㸬タィ✵㛫࡟ࡣ㸪ຠ⋡ⓗ࡞ᗄఱᏛⓗゎᯒ࡜⤌ࡳྜࢃࡏ᳨⣴ࢆྍ⬟࡟ࡍࡿ࣎ࢡࢭࣝࡢ 3D ࢢࣜࢵࢻࢆ᥇⏝ࡋ࡚࠸ࡿ㸬࣮ࣘࢨ࣮ࡣࣜ࢔
ࣝࢱ࢖࣒ࡢࢢࣛࣇ࢕࢝ࣝ࡞ࣇ࢕࣮ࢻࣂࢵࢡࢆཷࡅ࡞ࡀࡽࢪࣙ࢖ࣥࢺࢆ⦅㞟ࡋ㸪ࢫࣛ࢖ࢻ᪉ྥ㸪ຍᕤᛶ㸪᥋ྜ᪉ྥ࡟ᑐࡍࡿ⪏ஂᛶ࡞࡝ࡢᛶ⬟ᣦᶆ࡟ᇶ࡙࠸ࡓᥦ᱌ࢆཷࡅࡿࡇ࡜ࡀ࡛ࡁࡿ㸬᥋ྜ㒊ࡢタィࡀ᏶஢ࡍࡿ࡜㸪3 ㍈ࡢ CNC ࣇࣛ࢖ࢫ┙ࢆ⏝࠸࡚㸪ࢥ࣮ࢼ࣮ࡢ୸ࡳࢆࡘࡅ࡚᥋ྜᛶࢆ☜ಖࡍࡿᑓ⏝ࡢࣃࢫタィ࢔ࣝࢦࣜࢬ࣒ࢆ⏝࠸࡚᥋ྜ㒊ࢆ〇㐀ࡍࡿࡇ࡜ࡀ࡛ࡁࡿ㸬1࡟ᥦ᱌ࡸࣇ࢕࣮ࢻࣂࢵࢡࢆᥦ౪ࡍࡿࡶࡢ࡛ࡣ࡞࠸㸬㏆ᖺࡢ」ᩘࡢ◊✲࡛ࡣ㸪ࢪࣙ࢖ࣥࢺࡸ 3D ࣃࢬࣝࡢࢺ࣏ࣟࢪ࢝ࣝ࡞᭱㐺໬ࢆ⾜࠸㸪ࡉࡲࡊࡲ࡞ືసࢆ
ᐇ⌧ࡋ࡚࠸ࡿ[2㸪 13㸪 14㸪 18]㸬ࡇࢀࡽ࡛ࡣ㸪ᡃࠎࡢ◊✲࡜ྠᵝ࡟㸪࣎ࢡࢭࣝࡢ 3D ࢢࣜࢵࢻࡢࢹࢨ࢖
ࣥ✵㛫ෆ࡟ࢪࣙ࢖ࣥࢺࢆసᡂࡍࡿ㸬ࡋ࠿ࡋ㸪࣮ࣘࢨ࢖ࣥࢱࣇ࢙࣮ࢫࡀ࡞ࡃ㸪
CNC ࡟ࡼࡿຍᕤᛶࡸᮌ┠ࡢ᪉ྥ࡟ᑐࡍࡿ⪏ஂᛶ࡞࡝ࡢᐇ⏝ⓗ࡞ไ⣙ࡀ⪃៖ࡉࢀ࡚࠸࡞࠸㸬⤌❧ྍ⬟࡞ᵓ㐀≀ࢆタィ࣭〇సࡍࡿࡓࡵࡢィ⟬ᶵࢩࢫࢸ࣒ࢆᥦ᱌ࡋ࡚࠸ࡿ◊✲ࡣ㸪ᮌᮦ࠿ࡽ CNC ࣐ࢩ࡛ࣥࢪࣙ࢖ࣥࢺࢆ๐ࡾฟࡍࢩࢫࢸ࣒[7㸪 15㸪 22]ࡸ㸪࣮ࣞࢨ࣮࢝ࢵࢱ࣮ࡸ 3D ࣉࣜࣥࢱ࡛࣮࢜ࢲ࣮࣓
࢖ࢻࡢࢪࣙ࢖ࣥࢺࢆసࡿࢩࢫࢸ࣒[1㸪 4㸪 6㸪 10]࡞࡝㸪ከᩘ࠶ࡿ㸬ࡉࡽ࡟㸪ᶆ‽ⓗ࡞ᮌᕤᕤලࡸ㸪ᶆ‽ⓗ࡞ᕤල࡜ࢹࢪࢱࣝࣇ࢓ࣈࣜࢣ࣮ࢩ࣐ࣙࣥࢩࣥࢆ
⤌ࡳྜࢃࡏ࡚ᐇ⾜࡛ࡁࡿ〇సࣉࣛࣥࢆసᡂࡍࡿ᪉ἲ
ࢆᥦ᱌ࡋ࡚࠸ࡿ◊✲ࡶᏑᅾࡍࡿ [8㸪 19]㸬ࡉࡽ࡟ูࡢ◊✲࡛ࡣ㸪ᐙලࡢ≀⌮ⓗ࡞ጇᙜᛶࢆศᯒࡋ㸪ࣔࢹࣜࣥࢢ୰࡟࣮ࣘࢨ࣮࡟ᥦ᱌ࢆᥦ౪ࡋ࡚࠸ࡿ[16]㸬ࡇࢀࡽࡢࢩࢫࢸ࣒ࡢᑐ㇟ࡣ኱ᒁⓗ࡞᭱㐺໬࡛࠶ࡾ㸪ࢪࣙ࢖ࣥࢺࡑࡢࡶࡢࡢ⮬⏤ᗘࡣ㧗ࡃ࡞ࡃ㸪࠸ࡃࡘ࠿ࡢ
ᶆ‽ࢪࣙ࢖ࣥࢺࢆࣃ࣓࣮ࣛࢱ࡛ㄪᩚࡍࡿ⛬ᗘ࡜࡞ࡗ࡚࠸ࡿ㸬ᮏ◊✲ࡣ㸪ࡇࢀࡽࡢࢩࢫࢸ࣒࡜ࡣ␗࡞ࡾ㸪኱ᒁⓗ࡞ᵓ㐀࡛ࡣ࡞ࡃ㸪ࢪࣙ࢖ࣥࢺࡑࡢࡶࡢࡢࢹࢨ
࢖ࣥ࡟↔Ⅼࢆ⨨࠸࡚࠸ࡿ㸬
CNC ࣇ࢓ࣈࣜࢣ࣮ࢩࣙࣥ࡟≉໬ࡋࡓࢪࣙ࢖ࣥࢺ
ᙧ≧࡟╔┠ࡋࡓ◊✲ࡶ」ᩘ࠶ࡿ㸬Gros ࡣ㸪3 ㍈ࡢ
CNC ࣐ࢩࣥ࡟㐺ࡋࡓࢪࣙ࢖ࣥࢺᙧ≧ࢆタィࡋ㸪ࠕ50
Digital Wood Jointsࠖ࡜࠸࠺࢜ࣥࣛ࢖ࣥࣛ࢖ࣈࣛࣜ
ࢆ࢔ࢵࣉ࣮ࣟࢻࡋ࡚⮬⏤࡟౑࠼ࡿࡼ࠺࡟ࡋࡓ[3]㸬㔠
ᓮ࡜᳿ࡶྠᵝ࡟㸪᪥ᮏࡢఏ⤫ⓗ࡞ᙧ≧ࡢࢪࣙ࢖ࣥࢺ

ࡣࡌࡵ࡟㔥ࢆ౑ࢃ࡞࠸ᮌᮦࡢ᥋ྜ᪉ἲࡣ㸪ఏ⤫ⓗ࡞ᕤⱁᢏ⾡࡛࠶ࡿ㸬ᘓ⠏ࡸᐙලࡢ〇స࡟ᛂ⏝ࡉࢀ࡚࠾ࡾ㸪ぢࡓ┠ࡢ⨾ࡋࡉ㸪ရ㉁ࡢ㧗ࡉ㸪⤌ࡳ❧࡚ࡸࡍࡉ࡜࠸ࡗ
ࡓⅬ࡛ホ౯ࡉࢀ࡚࠸ࡿ㸬ఏ⤫ⓗ࡞᥋ྜ᪉ἲ࡟ࡣ㸪࡯ࡒࡘࡂ㸪┦Ḟࡁࡘࡂ㸪⤌ࡳࡘࡂ࡞࡝ᵝࠎ࡞✀㢮ࡀ࠶ࡾ㸪ࡇࢀࡽࡢᙧ≧ࡣ㸪ᶵ⬟ᛶ࡜ぢࡓ┠ࡢ⨾ࡋࡉࢆවࡡഛ࠼ࡿ㸬ࡇࡢࡼ࠺࡞ࢪࣙ࢖ࣥࢺࡢタィ࡜ゎᯒࡣ㸪ᗄఱᏛⓗ࡞」㞧ࡉ࡜ྠ᫬࡟⪃៖ࡋ࡞ࡅࢀࡤ࡞ࡽ࡞࠸
Ⅼࡀ」ᩘ࠶ࡾ㸪ᐜ࡛᫆ࡣ࡞࠸㸬ࡉࡽ࡟㸪ᡭᕤලࢆ౑ࡗ࡚ࡢ〇సࡣ㸪᫬㛫࡜ປຊࢆከࡃせࡍࡿ㸬ࡑࡇ࡛㸪ᮏ◊✲࡛ࡣ㸪ᮌᕤࢪࣙ࢖ࣥࢺࢆసᡂࡍࡿࡓࡵࡢ࢖ࣥ
ࢱࣛࢡࢸ࢕ࣈ࡞ࢩࢫࢸ࣒ࢆᥦ᱌ࡍࡿ㸬ࡇࡢࢩࢫࢸ࣒
࡛ࡣ㸪ᐇ⏝ⓗ࡞ከᩘࡢ᥋ྜ≉ᛶࢆゎᯒࡋ㸪CNC ࣇࣛ࢖ࢫຍᕤ࡟ࡼࡗ࡚᥋ྜ㒊ࢆࢹࢪࢱࣝฎ⌮ࡍࡿ㸬ࢩࢫ
ࢸ࣒ྡࠕTsugiteࠖࡣ㸪᪥ᮏㄒࡢࠕ⥅ᡭࠖ࡟⏤᮶ࡍࡿ㸬タィ✵㛫࡟ࡣ㸪ྛ࣎ࢡࢭࣝࡀ୍ពࡢᮌᮦ࡟ᒓࡍࡿ㸪つ๎ⓗ࡟㓄⨨ࡉࢀࡓ 3D ࢢࣜࢵࢻࢆ᥇⏝ࡋࡓ㸬ࡇࡢタᐃࡣຠ⋡ⓗ࡞ィ⟬࡟㐺ࡋ࡚࠾ࡾ㸪ࣜ࢔ࣝࢱ࢖࣒ࡢ
ࣇ࢕࣮ࢻࣂࢵࢡ㸪ᥦ᱌㸪⤌ࡳྜࢃࡏ᳨⣴ࢆྍ⬟࡟ࡋ࡚࠸ࡿ㸬ᮏ✏ࡣ ACM UIST2020 ࡛Ⓨ⾲῭ࡳࡢㄽᩥࢆࡲ࡜ࡵࡓࡶࡢ࡛࠶ࡿ[23]㸬

2

㛵㐃◊✲

Yao ࡽࡣ㸪⮬⏤࡞ᙧ≧ࡢ⿦㣭ࢪࣙ࢖ࣥࢺࢆࢹࢨ࢖
ࣥࡍࡿࡓࡵࡢࢶ࣮ࣝࢆᥦ᱌ࡋࡓ[21]㸬ࡇࡢࢶ࣮ࣝࡣ㸪ᗄఱᏛⓗ⮬⏤ᗘࡢ㧗࠸⿦㣭ⓗ࡞ࢪࣙ࢖ࣥࢺࡢタィࢆࢧ࣏࣮ࢺࡍࡿ㸬ࡋ࠿ࡋ㸪ࡇࡢࢶ࣮ࣝࡣࣜ࢔ࣝࢱ࢖࣒
Copyright is held by the author(s)㸬
ᮾி኱Ꮫ†- 78 -WISS 2021ࢆࢹࢪࢱ࡛ࣝຍᕤྍ⬟࡞ᙧ≧࡟ኚ᥮ࡍࡿࡇ࡜ࢆ┠ᣦࡋ࡚࠸ࡿ[5㸪 20]㸬ࡋ࠿ࡋ㸪ᙼࡽࡢᡂᯝࡣ㸪┤஺ࡍࡿ
2 ᮏ௨ୗࡢᮦᮌࡢ㛫ࡢ 1 ࡘ࠿ 2 ࡘࡢࢪࣙ࢖ࣥࢺᙧ≧࡟㝈ࡽࢀ࡚࠸ࡿ㸬ࡲࡓ㸪CNC ࣇࣛ࢖ࢫࡢࢶ࣮ࣝࣃࢫタィࡣ 1970 ᖺ௦࠿ࡽ◊✲ࡉࢀ࡚࠸ࡿ㸬ࢶ࣮ࣝࣃࢫ᭱㐺໬ၥ㢟ࡣ㸪୍⯡࡟㸪ពᅗࡋࡓᙧ≧࡟ษࡾ㎸ࡲࡎ࡟㝖ཤࡉࢀࡿᮦ
ᩱࡢయ✚ࢆ᭱኱໬ࡍࡿࡇ࡜࡜ࡋ࡚ᐃᘧ໬ࡉࢀࡿ[11]㸬
ᮏࢩࢫࢸ࣒ࡢタᐃ࡛ࡣ㸪┦ᡭࡢᮌᮦ࡜ࡨࡗࡓࡾྜ࠺
ࡼ࠺࡟㗦࠸እゅࢆษࡾⴠ࡜ࡍ➼㸪ពᅗࡋࡓᙧ≧࡟ษࡾ㎸ࡴᚲせࡀ࠶ࡿ㸬฿㐩࡛ࡁ࡞࠸㡿ᇦࡀ࠶ࡿࢪࣙ࢖
ࣥࢺࡢࣃࢫタィࡢၥ㢟ࡣ㸪ศ࠿ࡗ࡚࠸ࡿ⠊ᅖ࡛ࡣࡇࢀࡲ࡛࡟᳨ウࡉࢀ࡚࠸࡞࠸㸬␗᪉ᛶᮦᩱࡢᑐ㇟≀ࡢྥࡁࢆά⏝ࡋࡓ౛࡜ࡋ࡚㸪Li ࡜ Barbic [9]ࡣ㸪ᮌᮦ㸪᳜≀㸪➽⫗࡞࡝ࡢ␗᪉ᛶ
ᮦᩱࡢᣲືࢆࢩ࣑࣮ࣗࣞࢺࡍࡿࣔࢹࣝࢆᥦ᱌ࡋ࡚࠸
ࡿ㸬Umetani ࡜ Schmidt [17]ࡣ㸪ࣇ࢕࣓ࣛࣥࢺࢆ⏝࠸ࡓ 3D ࣉࣜࣥࢺ࡛ࡣ㸪xy 㠃࡛ࡢ㐃⥆ࡋࡓᮦᩱࡢ⤖ྜࡼࡾࡶ z ᪉ྥ࡛ࡢᒙ㛫ࡢᮦᩱࡢ⤖ྜࡀᙅ࠸ࡇ࡜ࢆ
ほᐹࡋ㸪ࡇࢀࢆ⏝࠸࡚≀యࡢྥࡁࢆ㐺ᐅኚ᭦ࡋ࡚࠸ࡿ㸬

3

3.1 ᇶᮏⓗ࡞᧯స࣮ࣘࢨ࣮ࡣ㸪
ࢫࣛ࢖ࢻ᪉ྥࡢ㠃ࢆᢲࡋࡓࡾᘬ࠸ࡓࡾ
ࡍࡿࡇ࡜࡛㸪
ࢪࣙ࢖ࣥࢺࢆ⦅㞟ࡍࡿࡇ࡜ࡀ࡛ࡁࡿ㸦ᅗ2a㸧㸬ࡉࡽ࡟㸪ᮦᮌࡢᮏయࢆࢡࣜࢵࢡࡋ࡚ࢻࣛࢵࢢࡍ
ࡿࡇ࡜࡛㸪ᮦᮌࡢ఩⨨ࡸྥࡁࢆኚ᭦ࡍࡿࡇ࡜ࡀ࡛ࡁ
ࡿ㸦ᅗ 2b㸪2c㸧㸬ࡲࡓ㸪x㸪y㸪z ࣮࢟ࢆᢲࡍࡇ࡜࡛㸪┤஺ࡍࡿࢫࣛ࢖ࢻ㍈ࢆ㑅ᢥࡍࡿࡇ࡜ࡀ࡛ࡁࡿ㸦ᅗ2d㸧㸬ࢫࢱࢵࢡࡢࡼ࠺࡟㸪ࡍ࡭࡚ࡢᮌᮦࡀ 1 ࡘࡢࢫࣛ࢖ࢻ㍈࡟ἢࡗ࡚ࢫࣛ࢖ࢻࡍࡿࢹࢨ࢖ࣥ࡟ࡶᑐᛂࡋ
࡚࠸ࡿ㸬஺ᕪࡍࡿᮌᮦࡢᩘࡣ㸪⌮ㄽⓗ࡟ࡣ 6 ᮏࡲ࡛ᑐᛂྍ⬟ࡔࡀ㸪ᐇ㝿ࡢຍᕤሙ㠃ࢆ⪃៖ࡍࡿ࡜㸪4 ᮏ௨ୗࡢᮌᮦࡢ᥋⥆࡟㐺ࡋ࡚࠸ࡿ㸦ᅗ 2e㸧㸬ࢹࣇ࢛ࣝࢺࡢ࣎ࢡࢭࣝゎീᗘ(ࢪࣙ࢖ࣥࢺࡢせ⣲ศ๭ᩘ)㸧ࡣ㸪
3x3x3 ࡛࠶ࡾ㸪2㹼5 ࡢ㛫࡛ኚ᭦ྍ⬟࡟࡞ࡗ࡚࠸ࡿ
㸦ᅗ 2f㸧
㸬ࡲࡓ㸪࣮ࣘࢨ࣮ࡣ㸪㠀┤஺ࡢ஺ᕪゅᗘ㸦ᅗ
2g㸧㸪ᮌᮦࡢ᩿㠃ࡢ㧗ࡉ࡜ᖜ㸦ᅗ 2h㸧ࢆタᐃࡍࡿࡇ࡜ࡀ࡛ࡁࡿ㸬

࣮ࣘࢨ࢖ࣥࢱࣇ࢙࣮ࢫ

ᮏࢩࢫࢸ࣒ࡣ㸪㛗᪉ᙧࡢ᩿㠃ࢆᣢࡘᮌᮦࢆ᥋⥆ࡍࡿࡓࡵࡢ༢୍ࡢᮌᮦࢪࣙ࢖ࣥࢺࢆタィࡍࡿࢶ࣮ࣝ࡜
ࡋ࡚ᐇ⿦ࡉࢀ࡚࠸ࡿ㸬ᅗ 1 ࡟ࡑࡢᴫせࢆ♧ࡍ㸬࣮ࣘࢨ࣮ࡣ㸪ࢫࣛ࢖ࢻ᪉ྥ㸪஺Ⅼࡢ఩⨨㸪ᮦᮌࡢᩘ࡞
࡝ࡢࢪࣙ࢖ࣥࢺࢱ࢖ࣉࡢኚᩘࢆᣦᐃࡍࡿ㸦ᅗ 1a㸧㸬ࡇࢀࡽࡢ᝟ሗࡣ㸪ᵓ㐀≀ࡸᐙලࡢ඲యⓗ࡞タィ࠿ࡽᚓࡽࢀࡿࡶࡢ࡛࠶ࡾ㸪ࡑࡢ⮬ືタᐃࡣᮏ◊✲ࡢ⠊ᅖእ࡛࠶ࡿ㸬࣐ࢽࣗ࢔ࣝ⦅㞟࣮ࣔࢻ࡛ࡣ㸪ࢢࣛࣇ࢕࢝
ࣝ࡞ࣇ࢕࣮ࢻࣂࢵࢡࡸᥦ᱌ࢆཷࡅ࡞ࡀࡽࢪ࣓࢜ࢺࣜ
ࢆ᧯సࡍࡿ㸦ᅗ 1b㸧㸬ࢠ࣮࣮ࣕࣛࣜࣔࢻ࡛ࡣ㸪࣮ࣘࢨ࣮ࡣ᭷ຠ࡞ࢪ࣓࢜ࢺࣜࢆぢ࡚㸪ࡑࡢ୰࠿ࡽ 1 ࡘࢆ㑅ࡪࡇ࡜ࡀ࡛ࡁࡿ㸦ᅗ 1c㸧㸬᭱ᚋ࡟㸪Tsugite ࢩࢫࢸ࣒ࡣ㸪ࣇࣛ࢖ࢫࣅࢵࢺࡢ༙ᚄࢆධຊ࡜ࡋ㸪ࢶ࣮ࣝࣃࢫࢆ CNC ࣇࣛ࢖ࢫ┙࡟࢚ࢡࢫ࣏࣮ࢺࡍࡿ㸬㸦ᅗ 1d㸧

ᅗ 2. ᇶᮏⓗ࡞᧯స㸬

3.2 ࣇ࢕࣮ࢻࣂࢵࢡ
Tsugite ࡣ㸪௨ୗࡢ 8 ࡘࡢᛶ⬟ᣦᶆ࡟ᇶ࡙࠸࡚㸪࣮ࣘࢨ࣮࡟どぬⓗ࡞ࣇ࢕࣮ࢻࣂࢵࢡࢆᥦ౪ࡍࡿ㸦ᅗ3㸧㸬a) Connectivity: ᮌᮦࡢᮏయ࠿ࡽษࡾ㞳ࡉࢀࡓ࣎ࢡࢭࣝࡣ㉥࡛⾲♧ࡉࢀࡿb) Bridging: ᮌᮦࡢ୰࡯࡝࡟ࢪࣙ࢖ࣥࢺࡀ࠶ࡿሙ
ྜ㸦T ࢪࣙ࢖ࣥࢺ㸧㸪ࡑࡢᮌᮦࡢࢪࣙ࢖ࣥࢺࡢ୧➃ࡣ᥋⥆㸦ࣈࣜࢵࢪ㸧ࡉࢀ࡚࠸࡞ࡅࢀࡤ࡞ࡽ࡞࠸㸬ࣈࣜࢵࢪࡉࢀ࡚࠸࡞࠸ሙྜ㒊ศࡀ஧Ⰽ࡛⾲♧ࡉࢀࡿ㸬c) Milling direction: ษ๐ࡣ୍᪉ྥ࠿ࡽࡢࡳ⾜ࢃࢀࡿࡢ࡛㸪ࡑࡢࡼ࠺࡞᮲௳࡛ຍᕤ࡛ࡁ࡞࠸ᙧ≧ࡢሙ

ᅗ 1. ᥦ᱌ࢩࢫࢸ࣒ࡢᴫせ㸬- 79 -TSUGITE: ࢖ࣥࢱࣛࢡࢸ࢕ࣈ࡞ᮌᕤࢪࣙ࢖ࣥࢺࡢタィ࣭ຍᕤࢩࢫࢸ࣒

ྜࡣ㸪ᮌᮦࡢᮏయࡀ࢜ࣞࣥࢪⰍ࡛⾲♧ࡉࢀࡿ㸬ࡇࡢࡼ࠺࡞≧ἣࡣ㸪᥋ྜ㒊࡟ 3 ᮏ௨ୖࡢᮌᮦࡀ࠶ࡿ᫬
ࡢ㸪㛫࡟ᣳࡲࢀࡓᮌᮦ࡟ࡢࡳⓎ⏕ࡍࡿ㸬d) Checkerboard: ᑐゅୖ࡟ 2 ✀㢮ࡢᮦᮌࡀᏑᅾ
ࡋ࡚࠸ࡿࣃࢱ࣮ࣥࡣ⚗Ṇࡉࢀ࡚࠾ࡾ㸪୰ኸ࡟ኴ࠸㉥࠸⦪⥺࡛♧ࡉࢀࡿ㸬⚗Ṇࡉࢀ࡚࠸ࡿ⌮⏤ࡢヲ⣽࡟ࡘ࠸࡚ࡣ㸪ᐇ⿦ࡢ㡯ࢆཧ↷㸬e) Slidability: ࢪࣙ࢖ࣥࢺࡣ୍᪉ྥ࠿ࡽࡢࡳࢫࣛ
࢖ࢻ࡛ࡁࡿࡇ࡜ࡀᮃࡲࡋ࠸㸬⌧≧ࡢࢹࢨ࢖࡛ࣥࢫࣛ
࢖ࢻྍ⬟࡞᪉ྥࡀ㸪ྛᮌᮦࡢ➃࡟࠶ࡿ▮༳࡟ࡼࡗ࡚
♧ࡉࢀࡿ㸬」ᩘࡢࢫࣛ࢖ࢻ᪉ྥࡀ࠶ࡿሙྜࡣ㸪ࡑࡢᮌᮦࡢ࢔࢘ࢺࣛ࢖ࣥࡀ㉥ࡃ⾲♧ࡉࢀࡿ㸬f) Durability: ᮌ┠ࡢ᪉ྥ࡟ᑐࡋ࡚ᆶ┤࡟✺ࡁฟ࡚࠸ࡿ㒊ศࡣ⡆༢࡟ᢡࢀ࡚ࡋࡲ࠺ྍ⬟ᛶࡀ࠶ࡿ㸬ᚑ᮶ࡢࢪࣙ࢖ࣥࢺᙧ≧࡛ࡶࡇࡢࡼ࠺࡞ࣃ࣮ࢶࡣ㑊ࡅࡽࢀ࡚࠸ࡿ㸬ࡑࡢࡓࡵࡑࡢࡼ࠺࡞࣎ࢡࢭࣝࡣ㯤Ⰽ࡛⾲♧ࡉࢀࡿ㸬ᙧ≧࠿ࡽࡢ༢⣧࡞ุᐃ࡛࠶ࡾ≀⌮ⓗ࡞㈇Ⲵࡢィ⟬ࢆ⾜ࡗ࡚࠸ࡿࢃࡅ࡛ࡣ࡞࠸㸬g) Contact area: ᥋╔ࢆ┠ⓗ࡜ࡋࡓ᥋ྜ㒊࡛ࡣ㸪␗࡞ࡿᮌᮦࡢ⣲ᮦྠኈࡀ᥋ゐࡍࡿ᥋ゐ㠃ࡀ኱ࡁ࠸࡯
࡝ᮃࡲࡋ࠸㸬᥋ゐ㠃ࡣࢸࢡࢫࢳ࡛ࣕ⾲♧ࡉࢀࡿ㸬h) Friction area: ᦶ᧿࡛ᅛᐃࡍࡿࡇ࡜ࢆ┠ⓗ࡜ࡋࡓ᥋ྜ㒊࡛ࡣ㸪ᦶ᧿㠃✚ࡀ኱ࡁ࠸᪉ࡀዲࡲࡋ࠸㸬ᦶ᧿㠃࡜ࡣ㸪᥋ゐ㠃ࡢ୰࡛㠃ࡢἲ⥺ࡀࢫࣛ࢖ࢻ᪉ྥ࡜
ᆶ┤࡞ࡶࡢ࡛࠶ࡿ㸬ᦶ᧿㠃ࡣࢸࢡࢫࢳ࡛ࣕ⾲♧ࡉࢀࡿ㸬ᙧ≧࠿ࡽࡢ༢⣧࡞ุᐃ࡛࠶ࡾ≀⌮ⓗ࡞ᦶ᧿ࡢຊ
ࢆィ⟬ࡋ࡚࠸ࡿࢃࡅ࡛ࡣ࡞࠸㸬4ᐇ⿦ᮏࢩࢫࢸ࣒ࡣ㸪3 ㍈ࡢ CNC ࣐ࢩࣥ࡟ࡼࡗ࡚ຍᕤ
ྍ⬟࡞ࢪࣙ࢖ࣥࢺࡢタィࢆᨭ᥼ࡍࡿ㸦4.1㸧㸬ᨭ᥼࡟࠶ࡓࡗ࡚ࡣ㸪㸶✀㢮ࡢᛶ⬟ᣦᶆࡢホ౯ࢆ⾜࠺ (4.2) 㸬タィࡀ᏶஢ࡍࡿ࡜㸪ࢪࣙ࢖ࣥࢺࡢ⤌❧ᛶࢆ☜ಖࡍࡿࡼ ࠺ ࡟ ࣃ ࢫ タ ィ ࢆ ⾜ ࠺ (4.3) 㸬 ࡇ ࡢ ࢩ ࢫ ࢸ ࣒ ࡣ
Python ࡛ᐇ⿦ࡉࢀ㸪OpenGL ࡜ GLFW ࡀ୺࡞౫Ꮡ
㛵ಀ࡟࠶ࡿ㸬
4.1 ຍᕤྍ⬟ᛶࢪࣙ࢖ࣥࢺࡢᗄఱᏛⓗᇶ‽ࡣ㸪〇స᪉ἲ࡟ࡼࡗ࡚
␗࡞ࡿ㸬ᮏ◊✲࡛ࡣ㸪ᡭ㡭࡞౯᱁࡛ᬑཬࡋ࡚࠸ࡿᶆ
‽ⓗ࡞ࣇࣛ࢖ࢫࣅࢵࢺࢆ⿦ഛࡋࡓ 3 ㍈ CNC ࣐ࢩࣥࢆ⏝࠸࡚ࢪࣙ࢖ࣥࢺࢆ〇సࡍࡿ㸬ࡇࡢᶵᲔࡢࢭࢵࢺ
࢔ࢵࣉ࡟ࡣ㸪2 ࡘࡢ኱ࡁ࡞ไ⣙ࡀ࠶ࡿ㸬ࡲࡎ㸪ෆഃ࠿ࡽࡳ࡚พࢇࡔゅࢆ෇⟄≧ࡢࣇࣛ࢖ࢫࣅࢵࢺ࡛ෆഃ
࠿ࡽ๐ࡿࡇ࡜ࡣ୙ྍ⬟࡛࠶ࡿ㸦ᅗ 4a㸧㸬ࡇࡢࡼ࠺࡞
ゅࡣ㸪ࣇࣛ࢖ࢫࣅࢵࢺࡢ༙ᚄ࡛୸ࡳࢆᖏࡧ࡚࠸ࡓᙧ
≧࡜࡞ࡿ㸬➨஧࡟㸪ᶵᲔࡣᮦᩱࡢୖ࠿ࡽࡋ࠿࢔ࣉࣟ
࣮ࢳ࡛ࡁ࡞࠸㸬ࡘࡲࡾ㸪ୖ࠿ࡽࡢ࢔ࢡࢭࢫࡀጉࡆࡽ
ࢀ࡚࠸ࡿࡼ࠺࡞ᙧ≧ࢆຍᕤࡍࡿࡇ࡜ࡣ࡛ࡁ࡞࠸㸦ᅗ
4b㸧㸬

ᅗ 4.

3 ㍈ CNC ࢆ⏝࠸ࡓ㝿ࡢຍᕤࡢไ⣙㸬

ෆഃࡢゅࡢไ⣙(ᅗ 4a)ࡣ㸪ࢩࢫࢸ࣒࡟࡜ࡗ࡚ 2 ࡘࡢព࿡ࢆᣢࡘ㸬୍ࡘ┠ࡢၥ㢟ࡣ㸪࣎ࢡࢭࣝ໬ࡉࢀࡓᙧ
≧ࢆ㸪ࢪࣙ࢖ࣥࢺࡢྛᮌᮦࢆಶู࡟⪃៖ࡍࡿᚑ᮶ࡢ
ࣃࢫࣉࣛࣥࢽࣥࢢࢶ࣮࡛ࣝຍᕤࡋࡼ࠺࡜ࡋࡓሙྜ㸪
1 ᮏࡢᮌᮦࡢෆഃࡢゅࡢవ๫ᮦᩱࡀ㸪௚ࡢᮌᮦࡢᑐ
ᛂࡍࡿ㗦࠸እഃࡢゅ࡜⾪✺ࡍࡿࡓࡵ㸪ࣆ࣮ࢫࢆ⤌ࡳ❧࡚ࡿࡇ࡜ࡀ୙ྍ⬟࡜࡞ࡿ㸦ᅗ 5a㸧㸬ࡇࡢၥ㢟࡟ᑐࡍࡿ୍⯡ⓗ࡞ゎỴ⟇ࡣ㸪ෆഃࡢゅ࠿ࡽࡉࡽ࡟ᮦᩱࢆ
ྲྀࡾ㝖ࡃ㸦ᅗ 5b㸧࠿㸪እഃࡢゅࢆ୸ࡃࡍࡿ㸦ᅗ 5c㸧
࠿ࡢ஧㏻ࡾ࡜࡞ࡿ㸬ࡇࡢ 2 ࡘࡢゎỴ⟇ࡣ㸪᪤Ꮡࡢࢹࢪࢱࣝࢪࣙ࢖ࣥࢺ࡟ࡶぢࡽࢀࡿ㸬ᮏ◊✲࡛ࡣ㸪࢚࢔࣏ࢣࢵࢺࡀ࡞࠸᪉ࡀぢࡓ┠ࡀⰋࡃ㸪ᦶ᧿㠃✚࡜ᙉᗘࡀቑࡍࡓࡵ㸪ᚋ⪅ࡢゎỴ⟇㸦እഃࡢゅࢆ୸ࡵࡿ㸧ࢆ᥇⏝ࡋࡓ㸬ゅࢆ୸ࡵࡿࡇ࡜ࢆ⮬ື໬ࡍࡿࡇ࡜ࡣ㸪ᮏ◊✲ࡢ≉Ṧ࡞ࣃࢫࣉࣛࣥࢽࣥࢢ࢔ࣝࢦࣜࢬ࣒ࡢ㔜せ࡞ᶵ⬟࡛࠶ࡿ㸦ヲ⣽ࡣࠕࣃࢫィ⟬ࠖࡢ㡯ࢆཧ↷㸧

ᅗ 3. どぬࣇ࢕࣮ࢻࣂࢵࢡ㸬

3.3 ຍᕤ
ࢹࢨ࢖ࣥࢆỴᐃࡋࡓᚋ㸪࣮ࣘࢨ࣮ࡣ࣑ࣜࣥࢢࣃࢫ
ࢆࣉࣞࣅ࣮ࣗࡋ㸪ࡑࢀࢆ CNC ࣐ࢩࣥ࡟࢚ࢡࢫ࣏࣮
ࢺࡍࡿࡇ࡜ࡀ࡛ࡁࡿ㸬ࢪࣙ࢖ࣥࢺࢆ〇సࡍࡿ࡟ࡣ㸪
CNC ࣐ࢩࣥࡢ࣋ࢵࢻ࡟ᮦᩱࢆࢭࢵࢺࡋ㸪࣐ࢩࣥࡢ㉳Ⅼࢆタᐃࡋ㸪࣐ࢩࣥࢆ✌ാࡉࡏࡿ㸬- 80 -WISS 2021ࡿ㸬࢝ࣂ࣮ࡉࢀࡓ࣎ࢡࢭࣝࡣ᥋⥆ࡉࢀ㸪࢝ࣂ࣮ࡉࢀ
࡚࠸࡞࠸࣎ࢡࢭࣝࡣ᥋⥆ࡉࢀ࡞࠸㸬b) Bridging㸬ࣈࣜࢵࢪࣥࢢࡣ㸪2 ࡘࡢᅛᐃ➃ࢆᣢࡘᮦᮌ࡟ࡘ࠸࡚ホ౯ࡉࢀࡿ㸬ᮌᮦࡢ 1 ࡘࡢᅛᐃ➃࠿ࡽጞࡲࡿሬࡾ₽ࡋ࢔ࣝࢦࣜࢬ࣒ࢆᐇ⾜ࡍࡿ㸬2 ␒┠ࡢᅛᐃ➃࡟㞄᥋ࡍࡿ࣎ࢡࢭࣝࡀྵࡲࢀࡿሙྜ㸪ࢪࣙ࢖ࣥࢺࡣࣈࣜࢵࢪࡉࢀࡿ㸬c) Milling direction㸬2 ᮏ௨ୖࡢᮦᮌࡀ࠶ࡿሙྜ㸪୰㛫ࡢᮦᮌࡀ〇సྍ⬟࠿࡝࠺࠿ࢆ᳨ドࡍࡿ㸬୰㛫ᮦࡣ㸪ࢫࣛ࢖ࢻ㍈࡟ἢࡗࡓ 2 ࡘࡢ᪉ྥࡢ࠺ࡕࡢ 1 ࡘ㸦ୖ࠿ࡽ࠿ୗ࠿ࡽ࠿㸧࠿ࡽ࣑ࣜࣥࢢࡍࡿᚲせࡀ࠶ࡿ㸬ࢩࢫࢸ࣒ࡣ⮬ືⓗ࡟㐺ษ࡞ຍᕤ᪉ྥࢆỴᐃࡍࡿ㸬୰㛫ᮦࢆ୧᪉ࡢ᪉ྥ࠿ࡽຍᕤࡍࡿᚲせࡀ࠶ࡿሙྜ㸪ࡑࡢᙧ≧ࡣ↓ຠ࡛࠶ࡿ࡜ุ᩿ࡉࢀࡿ㸬d) Checkerboard㸬ෆഃࡢࡍ࡭࡚ࡢ㡬Ⅼ࡟ࡘ࠸࡚㸪〇స㍈࡟ᆶ┤࡞ᖹ㠃ୖࡢ 4 ࡘࡢ㞄᥋ࡍࡿ㡬Ⅼࢆศᯒࡍࡿ㸬஺ᕪࡍࡿᑐゅ⥺ࡀ 2 ᮏ࠶ࡿሙྜ㸪ᕷcheckerboard ࡜ุᐃࡉࢀ㆙࿌ࡀ⾲♧ࡉࢀࡿ㸦ᅗ 8a㸧㸬ᑐゅ⥺ࡀ 1 ࡘࡋ࠿࡞ࡃ㸪௚ࡢ 2 ࡘࡢ࣎ࢡࢭࣝࡀ␗࡞
ࡿᮦᮌ࡟ᒓࡋ࡚࠸ࡿሙྜࡣ㸪checkerboard ࡛ࡣ࡞࠸࡜ุᐃࡉࢀࡿ㸦ᅗ 8b㸧㸬ᅗ 5. ㏻ᖖࡢࣃࢫィ⏬ࡢၥ㢟㸬஧ࡘ┠ࡢၥ㢟ࡣ㸪ᑐゅୖ࡟ 2 ✀㢮ࡢᮦᮌࡀᏑᅾࡍࡿ
Checkerboard ࡟㛵ࡍࡿࡶࡢ࡛࠶ࡿ㸦ᅗ 6㸧㸬ࡶࡋ㸪
㏣ຍࡢ࣮ࣝࣝ࡞ࡋ࡟ Checkerboard ࢆㄆࡵࡿ࡜㸪ᮦᮌࢆ⤌ࡳ❧࡚ࡿࡇ࡜ࡀ࡛ࡁ࡞ࡃ࡞ࡿ㸦ᅗ 6a㸧㸬௦࣮᭰ࣝࣝ࡜ࡋ࡚ࡣ㸪1 ᮏࡢᮌᮦࡢゅࢆእഃࡢゅࡢࡼ࠺࡟୸ࡵࡿࡇ࡜ࡀ⪃࠼ࡽࢀࡿ㸦ᅗ 6b㸧㸬ࡋ࠿ࡋ㸪2 ᮏ┠ࡢᮌᮦࡢ 2 ࡘࡢ✺ฟࡋࡓ㒊ศࡢ㛫ࡢ㝽㛫㸦d㸧ࡣ㸪ࣇࣛ࢖ࢫࡢ┤ᚄࡼࡾࡶ⊃ࡃ࡞ࡾ㸪〇సࡍࡿࡇ࡜ࡀ࡛ࡁ
࡞ࡃ࡞ࡿ㸬3 ࡘ┠ࡢྍ⬟ᛶࡣ㸪ࡇࡢ㝽㛫ࢆࣇࣛ࢖ࢫ
ࣅࢵࢺࡀ㏻㐣࡛ࡁࡿࡲ࡛኱ࡁࡃࡍࡿࡇ࡜࡛࠶ࡿ㸦ᅗ6c㸧㸬ࡇࡢሙྜࡣ㸪ᙧ≧ࢆ〇సࡋ࡚⤌ࡳ❧࡚ࡿࡇ࡜ࡀ
࡛ࡁࡿࡀ㸪ࢩࢫࢸ࣒ࡀ」㞧࡟࡞ࡿࡓࡵ㸪࠶ࡲࡾⰋ࠸
ゎỴ⟇࡛ࡣ࡞࠸㸦࡝ࡢᮌᮦ࡟࡝ࡢ࣮ࣝࣝࢆ㐺⏝ࡍࡿ࠿㸪࣮ࣘࢨ࣮ࡀุ᩿ࡍࡿᚲせࡀ࠶ࡿ㸧㸬ࡉࡽ࡟㸪∦ഃࡢᮦᩱࡀࡶ࠺∦ഃ࡟ẚ࡭࡚࠿࡞ࡾࡢ㔞ࡀ๐ࡽࢀࡿࡓ
ࡵ㸪㞄ࡾྜ࠺ Checkerboard ࡢሙྜ㸪ࣇࣛ࢖ࢫࣅࢵ
ࢺࡀᒆ࠿࡞࠸ࡼ࠺࡞⊃࠸㒊ศࡀ࡛ࡁ࡚ࡋࡲ࠺㸦ᅗ6d㸧㸬ࡑࡇ࡛㸪Checkerboard ࢆ඲㠃ⓗ࡟⚗Ṇࡍࡿࡇ
࡜࡟ࡋࡓ㸬

ᅗ 6.

Checkerboard Pattern㸬ᅗ 8.

᪉ྥไ⣙㸦ᅗ 7㸧࡜ࡋ࡚㸪ྛᮌᮦࡀ༢୍ࡢ᪉ྥࡢࡳ
࠿ࡽຍᕤࡉࢀࡿ࡜࠸࠺ไ㝈ࢆᑟධࡋ࡚࠸ࡿ㸬ࡉࡽ࡟㸪༢୍ࡢ᪉ྥ࠿ࡽຍᕤࡉࢀࡓࢪࣙ࢖ࣥࢺࡣ㸪ᚲࡎࡑࡢ᪉ྥ࡟ࢫࣛ࢖ࢻࡉࡏࡿࡇ࡜ࡀ࡛ࡁࡿ㸦ᅗ 7a㸧㸬
ࡇࡢᛶ㉁ࢆ฼⏝ࡋ࡚ၥ㢟ࢆ⡆༢࡟ࡍࡿࡓࡵ࡟㸪ࢪࣙ࢖ࣥࢺࡢࡍ࡭࡚ࡢᮦᮌࡢࢫࣛ࢖ࢻ㍈ࡣ 1 ࡘࡔࡅ࡛࠶ࡾ㸪〇స㍈࡜ࢫࣛ࢖ࢻ㍈ࡣඹ᭷ࡉࢀ࡚࠸ࡿ࡜࠸࠺
ไ㝈ࢆタࡅࡓ㸬ࡇࢀ࡟ࡼࡾ㸪⤌ࡳ❧࡚ࡽࢀࡓ≧ែ࡛
2 ᮏࡢᮌᮦ㸦᭱ึࡢᮌᮦ࡜᭱ᚋࡢᮌᮦ㸧ࡔࡅࡀࢫࣛ
࢖ࢻࡋ࡚ฟ࡚ࡃࡿࡼ࠺࡞ᙧ≧ࢆᐇ⌧ࡍࡿࡇ࡜ࡀ࡛ࡁ
ࡿ㸦ᅗ 7b㸧㸬

Checkerboard ࡢゎᯒ㸬e) Slidability㸬┤஺ࡍࡿ 6 ࡘࡢࢫࣛ࢖ࢻ᪉ྥࢆࡑ
ࢀࡒࢀಶู࡟ホ౯ࡍࡿ㸬ྛᮌᮦ ID ࡜㸪ࢸࢫࢺࡉࢀ
࡚࠸ࡿ᪉ྥ࡟ᩚิࡋࡓྛ࣎ࢡࢭࣝࡢิ࡟ࡘ࠸࡚㸪ࡑࡢ᪉ྥ࡛␗࡞ࡿ ID ࡢ࣎ࢡࢭࣝࡢᚋ࡟㸪ྠࡌ ID ࡢ࣎ࢡࢭࣝࡀ࠶ࡿ࠿࡝࠺࠿ࢆ☜ㄆࡍࡿ㸬ྠࡌ ID ࡢ࣎ࢡࢭࣝࡀ࠶ࡗࡓሙྜ࣎ࢡࢭࣝࡣ⾪✺ࢆ㉳ࡇࡍࡓࡵ㸪ᮌᮦࡀࡑࡢ᪉ྥ࡟ࢫࣛ࢖ࢻࡍࡿࡢࢆ㜵ࡄ㸬f) Durability㸬ᮦࡢ⧄⥔᪉ྥࢆศ᩿ࡍࡿࡼ࠺࡞ຍ
ᕤࡣ㸪ᮦࡢ⪏ஂᛶࢆపୗࡉࡏࡿ࡜ุ᩿ࡉࢀ࣮ࣘࢨ࡟
ᥦ♧ࡉࢀࡿ㸬࡞࠾ᮦࡢ⧄⥔᪉ྥ࡜㛗ᡭ᪉ྥࡣ୍⮴ࡋ࡚࠸ࡿ࡜௬ᐃࡍࡿ㸦ᅗ 9㸧㸬

ᅗ 7. ຍᕤ᪉ྥไ⣙㸬
ᅗ 9. ⪏ஂᛶࡢゎᯒ㸬

4.2 ᛶ⬟ᣦᶆg) Contact area㸬ྛᮌᮦ࡟ࡘ࠸࡚㸪௚ࡢᮌᮦ࡟㞄᥋ࡍࡿእ㠃ࡢ㠃✚ࡢྜィࢆィ⟬ࡍࡿ㸦ᅗ 10a㸧㸬h)Frication area. ྛᮌᮦ࡟ࡘ࠸࡚㸪௚ࡢᮌᮦ࡟
㞄᥋ࡍࡿእ㠃ࡢ㠃✚࡜㸪㐽᩿ࡉࢀ࡚࠸࡞࠸ࢫࣛ࢖ࢻ
᪉ྥ࡟ᆶ┤࡞㠃࡟࡞࠸እ㠃ࡢ㠃✚ࡢྜィࢆィ⟬ࡍࡿ㸶ࡘࡢᛶ⬟ᣦᶆࡣ௨ୗࡢࡼ࠺࡟ィ⟬ࡉࢀࡿ㸬a) Connectivity㸬ᮌᮦࡢࡍ࡭࡚ࡢᅛᐃ➃࠿ࡽጞࡲࡿሬࡾ₽ࡋ࢔ࣝࢦࣜࢬ࣒ࢆᐇ⾜ࡋ㸪ᮌᮦ࡟ᒓࡍࡿࡍ
࡭࡚ࡢ࣎ࢡࢭࣝࢆ࢝ࣂ࣮ࡋ࡚࠸ࡿ࠿࡝࠺࠿ࢆุ᩿ࡍ

- 81 -TSUGITE: ࢖ࣥࢱࣛࢡࢸ࢕ࣈ࡞ᮌᕤࢪࣙ࢖ࣥࢺࡢタィ࣭ຍᕤࢩࢫࢸ࣒

㸦ᅗ 10b㸧㸬᥋ゐ㠃✚࡜ྠࡌཎ⌮࡛㸪ᦶ᧿㠃✚ࡀ᭱ࡶᑠࡉ࠸ࢫࣛ࢖ࢻྍ⬟࡞ᮌᮦࡀ᥋ྜ㒊ࡢᦶ᧿㠃✚ࢆ⾲ࡍ㸬ࡣ㸪ᮏࢩࢫࢸ࣒ࢆ⏝࠸࡚〇సࡋࡓ᳔Ꮚ࡛࠶ࡿ㸬ࡇࡢ᳔Ꮚ࡟ࡣ 9 ࡘࡢࢪࣙ࢖ࣥࢺࡀ࠶ࡾ㸪ࡑࡢෆヂࡣ 5 ࡘ
ࡢ 2 ᮏ࠿ࡽᡂࡿࢪࣙ࢖ࣥࢺ࡜ 4 ࡘࡢ 3 ᮏ࠿ࡽ࡞ࡿࢪ
ࣙ࢖ࣥࢺ࡛࠶ࡿ㸬ࢪࣙ࢖ࣥࢺࡣᦶ᧿ࡢࡳ࡛ᅛᐃࡉࢀ
࡚࠾ࡾ㸪ேࡀᗙࡗ࡚ࡶᏳᐃࡋ࡚࠸ࡿ㸬ᅗ 14 ࡣࢸ࣮ࣈ࡛ࣝ㸪L Ꮠᆺ㸪ᩳࡵ T Ꮠᆺ㸪X Ꮠᆺ࡞࡝ 14 ಶࡢࢪࣙ࢖ࣥࢺࡀ࠶ࡿ㸬ᅗ 10. ᥋ゐ㠃✚࡜ᦶ᧿㠃✚㸬

4.3 ࣃࢫィ⟬ࢶ࣮ࣝࣃࢫࡣྛᮌᮦࡢ 3 ḟඖࣂ࢖ࢼ࣐ࣜࢺࣜࢡ
ࢫ࠿ࡽ┤᥋⏕ᡂࡉࢀࡿ㸬ࢪࣙ࢖ࣥࢺࡣ㸪࣎ࢡࢭࣝࡢ
᭱ୖᒙ࠿ࡽᒙࡈ࡜࡟๐ࡾྲྀࡽࢀࡿ㸬ࡲࡎ㸪࣎࢖ࢻ㡿ᇦࡀ᳨ฟࡉࢀࡿ㸦ᅗ 11a㸧㸬࣎࢖ࢻ㡿ᇦ࡜ࡣ㸪᥋⥆ࡉࢀࡓ࣎ࢡࢭࣝࡢ࠺ࡕ㸪㝖ཤࡍ࡭ࡁ㡿ᇦࡢࡇ࡜ࢆᣦࡍ㸬࣎࢖ࢻ㡿ᇦࢆᅖࡴᮦᩱ࡟ἢࡗ࡚㸪ෆഃ࡟࢜ࣇࢭࢵࢺ
ࡋࡓ᭱⤊ࣃࢫࢆసᡂࡍࡿ㸦ᅗ 11b㸧㸬࣑࣮ࣜࣥࢢࣅࢵ
ࢺࡢ୰ᚰࡣࣃࢫ࡟ἢࡗ࡚⛣ືࡋ㸪ࡑࡢ༙ᚄࡢ㛗ࡉ࡟ᛂࡌ࡚୧ഃࡢᮦᩱࢆ㝖ཤࡍࡿ㸬ࡋࡓࡀࡗ࡚㸪ࣃࢫࡣᮦᩱࡢ➃࠿ࡽࣇࣛ࢖ࢫࣅࢵࢺࡢ༙ᚄศࡔࡅ࢜ࣇࢭࢵ
ࢺࡉࢀࡿ㸬

ᅗ 13. ᳔Ꮚࡢ〇స౛㸬ᅗ 11. ࣃࢫィ⟬࢔ࣝࢦࣜࢬ࣒㸬ᅗ 14. ࢸ࣮ࣈࣝࡢ〇స౛㸬ࡑࡋ࡚㸪᭱⤊ࣃࢫࡢእഃࡢゅࢆ᮲௳௜ࡁ࡛୸ࡵࡿ
㸦ᅗ 11c㸧㸬ࡇࢀࡀ㸪ࢪࣙ࢖ࣥࢺࡢ⤌❧ᛶࢆ☜ಖࡍࡿ࢔ࣝࢦࣜࢬ࣒ࡢ㔜せ࡞ᶵ⬟࡛࠶ࡿ㸬እഃࡢゅࡣ㸪┦ᡭᮦࡢෆഃࡢゅ࡟఩⨨ࡋ࡚࠸ࡿሙྜ㸪ࡘࡲࡾ㸪㞄᥋
ࡍࡿ 2 ࡘࡢ✵ࡢ࣎ࢡࢭࣝࡀඹ㏻ࡢᮦ࡛༨ࡵࡽࢀ࡚࠸
ࡿሙྜ࡟୸ࡵࡽࢀࡿ㸦ᅗ 12a㸧㸬ࡑ࠺࡛࡞࠸ሙྜ㸪2ࡘࡢ㞄᥋ࡍࡿ✵ࡢ࣎ࢡࢭࣝࡀ␗࡞ࡿᮌᮦ࡛༨ࡵࡽࢀ
࡚࠸ࢀࡤ㸪ゅࡣ୸ࡵࡽࢀ࡞࠸㸦ᅗ 12b㸧㸬᭱⤊ࣃࢫࢆ
సᡂࡋࡓᚋ㸪᭱⤊ࣃࢫ࡛࢝ࣂ࣮ࡉࢀ࡚࠸࡞࠸✵࣎ࢡࢭࣝ㡿ᇦࡢ⠊ᅖࡣ㸪ඹ⥺ⓗ࡞᣺ືⲨຍᕤࣃࢫ࡛㏣ຍ
ษ๐ࡉࢀࡿ㸦ᅗ 11d㸧㸬࣎࢖ࢻ㡿ᇦࡢ᭱⤊ⓗ࡞ࢶ࣮ࣝࣃࢫࡣ㸪᭱⤊ࣃࢫ࡜⢒ຍᕤࣃࢫࢆ⤌ࡳྜࢃࡏࡓࡶࡢ
࡛࠶ࡿ㸦ᅗ 11e㸧㸬ࡑࡋ࡚㸪࢔ࣝࢦࣜࢬ࣒ࡣ㸪ࡍ࡭࡚ࡢ✵ࡢ࣎ࢡࢭࣝࡀ࢝ࣂ࣮ࡉࢀࡿࡲ࡛㸪ḟࡢ㡿ᇦ㸪ࡑࡋ࡚ḟࡢᒙ࡬࡜㐍ࡴ㸬ᵝࠎ࡞⥅ࡂᡭࡢ✀㢮㸪ࣃ࣓࣮ࣛࢱ㸪ᢏ⾡ⓗ≉ᛶࢆ♧ࡍࡓࡵ࡟㸪࠸ࡃࡘ࠿ࡢࢧࣥࣉࣝࢆタィࡋ㸪〇సࡋࡓ㸬ᅗ 15 ࡣ㸪2 ᮏ࠿ࡽᡂࡿࢸ࢕ࣥࣂ࣮ࢪࣙ࢖ࣥࢺࡢ
ྥࡁࡸ఩⨨ࡀࡍ࡭࡚␗࡞ࡿ᥋ྜ㒊ࡢ౛࡛࠶ࡿ㸬ࡉࡽ࡟㸪3 ᮏ㸪4 ᮏࡢᮌᮦࡀ஺ᕪࡍࡿࢪࣙ࢖ࣥࢺࡶ〇సࡋࡓ㸦ᅗ 16㸧㸬ࡲࡓ㸪௚ࡢゎീᗘࢆヨࡍࡓࡵ࡟㸪ࢹࣇ࢛ࣝࢺ࡛ࡣ࡞࠸タᐃ࡛ࢪࣙ࢖ࣥࢺࢆタィ㸪〇సࡋࡓ㸬᭱ࡶప࠸ゎീᗘ࡛࠶ࡿ 2x2x2 ࡛ࡣ㸪ᐇ⌧ྍ⬟ᛶࡀ㠀ᖖ࡟పࡃ㸪᭷ຠ࡞ࢪࣙ࢖ࣥࢺࡶ࡯࡜ࢇ࡝࡞࠸㸦ᅗ17a㸧㸬᭱㧗ゎീᗘࡢ 5x5x5 ࡛ࡣ㸪㠃ᩘࡢከ࠸ࣔࢹࣝ
࡛ࡣᑡࠎᡭ㛫ࡣ࠿࠿ࡿࡀ㸪ࣂ࢚ࣛࢸ࢕࡟ᐩࢇࡔ㧗ᦶ᧿ࡢ㛵⠇ࢆసࡿࡇ࡜ࡀ࡛ࡁࡓ㸦ᅗ 17b㸧㸬ࡲࡓ㸪ᩳࡵ
ࡢ᥋ྜ㒊ࢆసࡿࡇ࡜࡛஺ᕪゅࡢࣃ࣓࣮ࣛࢱࢆᐇドࡋ㸦ᅗ 18a㸧㸪ṇ᪉ᙧ࡛ࡣ࡞࠸᩿㠃ࡢᮌᮦ࡛ࢪࣙ࢖ࣥࢺ
ࢆసࡿࡇ࡜࡛㧗ࡉ࡜ᖜࡢᑍἲࣃ࣓࣮ࣛࢱࢆᐇドࡋࡓ㸦ᅗ 18b㸧㸬ᅗ 12. ᥋ゐ㠃✚࡜ᦶ᧿㠃✚㸬

5⤖ᯝᮏࢩࢫࢸ࣒ࡢ᭷⏝ᛶ࡜⬟ຊࢆ♧ࡍࡓࡵ࡟㸪ᐇ㝿࡟〇సࡉࢀࡓ㸪ࡶࡋࡃࡣࢢࣛࣇ࢕ࢵࢡ࡜ࡋ࡚ᒎ♧ࡉࢀࡓᶵ⬟ⓗ࡞ᐙලࡸࡑࡢ௚ࡢ⤌❧ရࢆ⤂௓ࡍࡿ㸬ᅗ 13- 82 -WISS 2021ࡿࡓࡵࡢ࢖ࣥࢱࣛࢡࢸ࢕ࣈ࡞ࢩࢫࢸ࣒ࠕTsugiteࠖࢆᥦ᱌ࡋࡓ㸬 ᑗ᮶ⓗ࡟ࡣ㸪ࢪࣙ࢖ࣥࢺ༢యࡢࢹࢨ࢖
ࣥࡔࡅ࡛࡞ࡃ㸪ᵓ㐀య඲యࡢタィࣉࣟࢭࢫࢆ⤫ྜࡍࡿࡇ࡜ࡀ᭷ຠ࡛࠶ࡿ࡜⪃࠼ࡽࢀࡿ㸬ㅰ㎡
ᮏ ◊ ✲ ࡣ 㸪 JST ACT-I JPMJPR17UT, JSPS
KAKENHI 17H00752, JST CREST JPMJCR17A1
࡟ࡼࡿᨭ᥼ࢆཷࡅ࡚ᐇ᪋ࡋࡓࡶࡢ࡛࠶ࡿ㸬ཧ⪃ᩥ⊩[1] Patrick Baudisch, Arthur Silber, Yannis Kommana,ᅗ 15. ᵝࠎ࡞㸰ᮏࡢࢪࣙ࢖ࣥࢺࡢ〇స౛㸬

Milan Gruner, Ludwig Wall, Kevin Reuss, Lukas
Heilman, Robert Kovacs, Daniel Rechlitz, andThijs Roumen. 2019. Kyub: A 3D Editor for
Modeling

SturdyLaser-Cut

Objects.

In

Proceedings of the 2019 CHI Conference on Human
Factors in Computing Systems (CHI ’19). ACM,
ᅗ 16.

New York, NY, USA, Article 566, 12 pages.

㸱ᮏ࠾ࡼࡧ㸲ᮏࡢࢪࣙ࢖ࣥࢺࡢ〇స౛㸬

DOI:http://dx.doi.org/10.1145/3290605.3300796[2] Chi-Wing Fu, Peng Song, Xiaoqi Yan, Lee Wei Yang,
Pradeep Kumar Jayaraman, and Daniel Cohen-Or.
2015.

Computational

Interlocking

Furniture

Assembly. ACM Trans. Graph. 34, 4, Article 91(Julyᅗ 17. ␗࡞ࡿゎീᗘࡢ〇స౛㸬2015),

11

pages.

DOI:http://dx.doi.org/10.1145/2766892[3] Jochen Gros. 2020. 50 Digital Wood Joints by
Jochen Gros. (2020). http://winterdienst.info/50digital-wood-joints-by-jochen-gros/[4] Alec Jacobson. 2019. RodSteward: A Design-to-ᅗ 18.

Assembly System for Fabrication using 3D-Printedᩳࡵ࠾ࡼࡧ㠀ṇ᪉ᙧࢪࣙ࢖ࣥࢺࡢ〇స౛㸬

Joints and Precision-Cut Rods. Computer Graphics
Forum (2019).

⤌❧ရࡣ㸪45x45mm ࡢᮌࡢᲬࢆ 10mm ࡢࣇࣛ࢖ࢫࣅࢵࢺ࡛ຍᕤࡋࡓ㸬᥋ྜࢧࣥࣉࣝࡣ㸪30x30mm ࡢ᫂ࡿ࠸Ⰽ࡜ᬯ࠸ⰍࡢᮌࡢᲬࢆ 90mm ࡢ㛗ࡉ࡛ຍᕤࡋࡓࡶࡢ࡛㸪
୍㒊ࡣሬ⿦ࡋࡓ㸬≉࡟⌮⏤ࡢ࡞࠸㝈ࡾ㸪ࣇࣛ࢖ࢫࡣ┤ᚄ 6mm ࡢࡶࡢࢆ౑⏝ࡋࡓ㸬౑⏝ࡋࡓࡢࡣ㸪Pro Spec Tools ♫ࡢ 3 ㍈ CNC ࣇࣛ࢖ࢫ㸪ࣔࢹࣝ PSF240 ࡛࠶ࡿ㸬ࣇࣛ࢖ࢫຍᕤ࡟せࡋࡓ᫬㛫ࡣ㸪᥋ྜ㒊ࡢᙧ≧࡜ᮌᮦࡢᑍἲ࡟ᛂࡌ࡚㸪1 ᮏ࠶ࡓࡾ 12
ࠥ25 ศ࡛࠶ࡗࡓ㸬ᶵᲔࡢཎⅬࢆᡭື࡛タᐃࡍࡿ㝿ࡢㄗᕪࡣ㸪ᐇ㝿ࡢᮦᩱ࡟ẚ࡭࡚ࡸࡸᑠࡉࡵࡢᖜࢆධຊ
ࡍࡿࡇ࡜࡜㸪ࢪࣙ࢖ࣥࢺࢆ⤌ࡳ❧࡚ࡓᚋ࡟ഃ㠃ࢆࡸࡍࡾࡀࡅࡍࡿࡇ࡜࡛ᑐฎࡋࡓ㸬6[5] Kenji

KanasakiTraditional

Wood

and

HiroyaJoint

Tanaka.

Systemin

2013.
DigitalFabrication. Computation and Performance Proceedings of the 31st eCAADe Conference 1(2013),

711–717.

http://resolver.tudelft.nl/uuid:d36152ad-7cfc-44b6bdfe-654f159a3e65[6] Robert Kovacs, Anna Seufert, Ludwig Wilhelm
Wall, Hsiang-Ting Chen, Florian Meinel, Willi
Müller, Sijing You, Yannis Kommana, and Patrick
Baudisch.

2017.

Demonstrating

TrussFab:Fabricating Sturdy Large-Scale Structures on
Desktop 3D Printers. (2017), 445–448. DOI:ࡲ࡜ࡵ

http://dx.doi.org/10.1145/3027063.3050427[7] Maria Larsson, Hironori Yoshida, and Takeoࣇ࣮࣒ࣞᵓ㐀⏝ࡢᮌᮦࢪࣙ࢖ࣥࢺࢆタィ࣭〇సࡍ

- 83 -TSUGITE: ࢖ࣥࢱࣛࢡࢸ࢕ࣈ࡞ᮌᕤࢪࣙ࢖ࣥࢺࡢタィ࣭ຍᕤࢩࢫࢸ࣒
Igarashi. 2019. Human-in-the-loop Fabrication of

Improvisational

3D Surfaces with Natural Tree Branches. In

Proceedings of the 2018 CHI Conference on Human

Proceedingson

Factors in Computing Systems (CHI ’18). ACM,

Computational Fabrication (SCF ’19). ACM, New

New York, NY, USA, Article 149, 12 pages. DOI:

York, NY, USA, Article 1, 12 pages. DOI:

http://dx.doi.org/10.1145/3173574.3173723[16] Nobuyuki Umetani, Takeo Igarashi, and Niloy J.

of

the

ACM

Symposium

http://dx.doi.org/10.1145/3328939.3329000
2019.

Fabricationof

JigFab:Constraints

Fabrication.

Computational

Valid Shapes for Furniture Design. ACM Trans.

toGraph. 31, 4, Article Article 86 (July 2012), 11

Facilitate

Woodworking with Power Tools. In Proceedings ofpages.

the 2019 CHI Conference on Human Factors in

http://dx.doi.org/10.1145/2185520.2185582

Article156,

12

pages.

Cross-sectional Structural Analysis for 3D Printing

DOI:

Optimization. In SIGGRAPH Asia 2013 Technical

http://dx.doi.org/10.1145/3290605.3300386

Briefs (SA ’13). ACM, New York, NY, USA, Article[9] <LMLQJ /L DQG -HUQHM %DUELáF  6WDEOH

5,

Orthotropic Materials. In Proceedings of the ACM
SIGGRAPH/Eurographics

Symposium

Aire-la-Ville,

4

pages.

DOI:http://dx.doi.org/10.1145/2542355.2542361

on[18] Ziqi Wang, Peng Song, and Mark Pauly. 2018.

Computer Animation (SCA ’14). Eurographics
Association,

DOI:[17] Nobuyuki Umetani and Ryan Schmidt. 2013.

Computing Systems (CHI ’19). ACM, New York, NY,
USA,

In

Mitra. 2012. Guided Exploration of Physically[8] Danny Leen, Tom Veuskens, Kris Luyten, and Raf
Ramakers.

Digital

Switzerland,

DESIA: A General Framework for Designing

41–46.

Interlocking Assemblies. ACM Trans. Graph. 37, 6,

Switzerland,

Articlehttp://dl.acm.org/citation.cfm?id=2849517.2849524

191

(Dec.

2018),

14

pages.

DOI:

http://dx.doi.org/10.1145/3272127.3275034[10] Shiran Magrisso, Moran Mizrahi, and Amit Zoran.
2018. Digital Joinery For Hybrid Carpentry. In[19] Chenming Wu, Haisen Zhao, Chandrakana Nandi,

Proceedings of the 2018 CHI Conference on Human

Jeffrey I. Lipton, Zachary Tatlock, and Adriana

Factors in Computing Systems (CHI ’18). ACM,

Schulz. 2019. Carpentry Compiler. ACM Trans.

New York, NY, USA, Article 167, 11 pages. DOI:

Graph. 38, 6, Article Article 195 (Nov. 2019), 14

http://dx.doi.org/10.1145/3173574.3173741

pages.

DOI:

http://dx.doi.org/10.1145/3355089.3356518[11] Saigopal Nelaturi, Gregory Burton, Christian Fritz,[20] Yuan Chieh Yang. 2016. Classical Through Digital.

and Tolga Kurtoglu. 2015. Automatic Spatial
Planning for achining Operations. In Proceedings(2016).

of The eleventh annual IEEE International

through-digital/

https://space10.com/project/classical-

and[21] Jiaxian Yao, Danny M. Kaufman, Yotam Gingold,

Engineering (IEEE CASE 2015). Gothenburg,and Maneesh Agrawala. 2017. Interactive Design

Sweden. nel-bur-fri-kur-case2015.pdf

and Stability Analysis of Decorative Joinery forConferenceonAutomation

Science

Furniture. ACM Trans. Graph. 36, 2, Article 157a[12] Robert J. Ross. 2010. Wood handbook—Wood as an(Marchengineering material. Department of Agriculture,2017).

DOI:http://dx.doi.org/10.1145/3054740

Forest Service, Forest Products Laboratory.

[22] Hironori Yoshida, Maria Larsson, and Takeo[13] Peng Song, Chi-Wing Fu, and Daniel Cohen-Or.
ACM

Igarashi. 2019. Upcycling Tree Branches As

Transactions on Graphics (SIGGRAPH Asia 2012)

Architectural Elements Through Collaborative

31, 6 (December 2012), 128:1–128:10.

Design and Fabrication. In Proceedings of the2012.

Recursive

Interlocking

Puzzles.

[14] Peng Song, Chi-Wing Fu, Yueming Jin, Hongfei Xu,

Thirteenth International Conference on Tangible,

Ligang Liu, Pheng-Ann Heng, and Daniel Cohen-

Embedded, and Embodied Interaction (TEI ’19).

Or. 2017. Reconfigurable Interlocking Furniture.

ACM, New York, NY, USA, 589–593. DOI:
http://dx.doi.org/10.1145/3294109.3295639

ACM Trans. Graph. 36, 6, Article 174 (Nov. 2017),
14[23] Mariapages.

Larsson,Hironori

Yoshida,Nobuyuki

DOI:http://dx.doi.org/10.1145/3130800.3130803

Umetani, Takeo Igarashi. Tsugite: Interactive[15] Rundong Tian, Sarah Sterman, Ethan Chiou,

Design and Fabrication of Wood Joints. UIST 2020.

JeremyWarner,MatchSticks:

and

Eric

Woodworking

Paulos.

2018.

Through- 84 -WISS 2021

空間ラベリング：非専門家による画像注釈のラベル品質を改善するための空間
レイアウトの活用
張家銘*

李佳憲†

五十嵐健夫*

概要． 非専門家による画像注釈において、ラベルの品質は重要な問題である。本研究では、非専門家の画像注釈のラベル品質を改善するために空間レイアウトを活用することを提案する。本システム
では、アノテーターは最初にターゲット画像を空間的にレイアウトし、関連するアイテムを一緒に配置しながらオープンスペースでラベル付けを行う。これは、暫定的なラベリングのための作業スペース（空間組織）として機能する。作業中に、アノテーターはアイテム間の類似点と相違点を観察して整理する。最後に、アノテーターは空間レイアウトの結果に基づいて画像に最終的なラベルを割り当てる。 画像ラベリングタスクを用いて本システムと従来の非空間レイアウトを比較するユーザー調査を行った。結果として、アノテーターは非空間レイアウトインターフェイスよりも空間レイアウトイ
ンターフェイスを使用することで、より正確にラベリングタスクを完了できることを示した。

1

はじめに

非専門家による画像のラベル付けは非常に困難であり、多くのエラーが含まれている可能性がある。
したがって、プロセスをより効率的にし、エラーを減らすためのサポートを提供することが重要である。
例えば、犬の品種に関する十分な知識のないアノテーターが、犬の品種のラベルを犬の画像に割り当てるように求められた場合、ラベルに関連付けられたサンプル画像を参照することができるが、サンプル
画像では類似した品種間の微妙な違いを捉えるには不十分な場合がある。このような場合、アノテータ
ーは、サンプル画像とラベルを割り当てる画像を比較することにより、微妙な違いを観察および整理できる。この観察と整理のプロセスは、非専門家によるラベリングにおいて重要な役割を果たしていると考えられるが、従来の画像ラベリングツールでは十分にサポートされていない。本研究では、アノテー
ターの空間レイアウトを活用して、画像とラベルの類似点と相違点の観察および整理することをサポートする。この空間編成プロセスは、暫定的なラベリングとして機能する。
図 1 は、プロトタイプの実装のスクリーンショットである。概念的な類似性を表す画像とラベルを空間的にレイアウトするためのオープンスペースがア
ノテーターに提示される。アノテーターはターゲッ
ト画像をオープンスペースにドラッグし、可能なラベルを近くに配置する（つまり、画像はラベルの 1
Copyright is held by the author(s).
* 東京大学，†LeadBest Consulting Group- 85 -

つに属している可能性がある）。 このプロセスにより、アノテーターは特定のドメインで画像のラベルをより正確に選択できるようになると考えられる。

図 1．空間ラベリングプロトタイプ実装のスクリーンショット．

本研究の空間レイアウトラベリングと従来の非空間レイアウトラベリングを比較するため、画像ラベ
リングタスクを用いてユーザー実験を行った。結果として、参加者は非空間レイアウトインターフェイ
スよりも空間レイアウトインターフェイスを介して特定のラベリングタスクをより正確に完了したことが示された。 さらに、参加者は、非空間レイアウト
ラベリングタスクよりも空間レイアウトラベリング
タスクで選択したラベルにより自信を持っていた。
これらの調査結果は、空間レイアウトインターフェ
イスが、ラベル付けプロセス中にオープンスペースに画像とラベルをレイアウトすることにより、専門家以外の画像注釈のラベル品質を向上できることを示している。
本論文は、ACM CHI 2021 で発表された論文の内容をまとめたものである[17]。

WISS 2021

2

イアウトは、システムによって作成または解釈はさ
れない。

関連研究

手動の画像注釈（例：VIA [1]、LabelMe [2]、ESP[3]および階層的タスク割り当て[4]）を支援し、非専門家の注釈（例：Revolt [5]）のラベル品質を向上させるために、さまざまな注釈ツールが提案されている(Pairwise HITS [6]、2 ラウンドアノテーションフ
レームワーク[7]）。これらのツールのほとんどは、労働負荷の高いアノテーション作業のプロセスとラベ
ルの品質を向上のために、より支援的で効率的かつ楽しむことができるシステムを提供している。しかし、これらのツールは通常、アノテーターが十分な
ドメイン知識を持っていることを前提としている。
さらに、十分なドメイン知識が不足している専門家
以外のアノテーターのサポートはまだ制限されており、改善する必要がある。クレシャら[8] は、 Web
ページ分類のためのデータラベリングにおける概念
進化という考えを導入し、データラベリング中にア
ノテーターが概念を定義および改良するのに役立つ
2 つの構造ラベリングソリューションを提示した。
本研究とは、データラベリングにおけるアノテータ
ーのコンセプト編成をサポートするという同じ動機を共有している。ただし、クレシャら[8]は主に Web
ページ分類のコンテキストでの時間の経過に伴う概念の変化に焦点を当てている一方、本研究は画像分
類のコンテキストの単一セッションでのアイテムの観察と概念の整理に焦点を当てている。
空間レイアウトの概念は、情報ナビゲーション用のズーム可能なインターフェイスなど、さまざまな研究で使用されてきた[9、10]。バウアーら [11]は、ズーム可能なインターフェイスの概念と「パイル」メ
タファーに基づいて個人情報収集を管理するための空間ツールを提案した。渡辺ら[12]は、「バブルクラスター」という名前のインターフェイスを導入したが、これはオブジェクトのグループ化とグループ化
解除を通じて、グラフィックオブジェクトの空間的集約を操作するための手法である。人々が空間レイ
アウトインターフェイスを介して情報やドキュメン
トをより効果的に管理できる理由の 1 つとして、空間記憶（つまり、環境内の何かを記憶する能力）が挙げられる[13]。空間レイアウトの概念は、アノテーターが画像とラベルの類似点と相違点を観察および整理するためのラベリングインターフェイスデザ
インにも使用できると考えられる。さらに、空間レ
イアウトは、キャンバス上でのユーザーインタラク
ションを活用して検索プロセスを容易にする検索シ
ステムでも使用されている[14、15]。対照的に、本研究では、ユーザーが手動で画像に注釈を付ける際に考えを整理するためのワークスペースとして、空間レイアウトインターフェイスを使用する。空間レ

3

提案手法

本研究のラベリングインターフェイスは、空間レ
イアウトの概念に基づいて設計された。本システム
は、ラベリングプロセス中に概念的な類似性を表す
画像とラベルを空間的にレイアウトするためのオー
プンスペースを提供する。 図 2 に、インターフェイ
スの初期状態を示す。 ラベル（各ラベルにはテキス
トで表示される名前とサンプル画像が含まれている）
がインターフェイスの両側に一覧表示され、ラベル付けされるターゲット画像が中央に 1 つずつ表示される。

図 2．空間ラベリングインターフェイスの初期状態．

図 3 は、インターフェイスの動作状態を示している。アノテーターは、画像のラベルを選択する前に、オープンスペースに画像とラベルを空間的に配置する（たとえば、関連するアイテムを一緒に配置する）。

図 3．空間ラベリングインターフェイスの動作状態．空間レイア
ウトインターフェイスには、アノテーターがラベル付けタスクを完了するための 4 つの主要な機能が含まれている：（a）画像とラベルを空間的にレイアウトする、（b）画像にラベルを割り当てる、（c）確信度を示す、（d）割り当てられたラベルを変更する（ 図
4 を参照）。

（a）画像とラベルを空間的にレイアウトする
オープンスペースでは、アノテーターは概念的な類
似性を表すために画像とラベルをレイアウトする。

- 86 -

空間ラベリング：非専門家による画像注釈のラベル品質を改善するための空間レイアウトの活用より類似した画像がグループ化され、候補となるラベルが近くに表示される。
（b）画像へのラベルの割り当て
オープンスペースに画像とラベルを配置した後、アノテーターは空間レイアウトの結果に基づいて画像に最終的なラベルを割り当てる。
（c）信頼状態を示す
画像にラベルを割り当てた直後（ドラッグアンドド
ロップ操作）、ポップアップウィンドウが表示され、アノテーターにラベル選択の確信度を示すように求められる。
（d）割り当てられたラベルの変更
ラベルをクリックするとそのラベルが割り当てられたすべての注釈付き画像を表示される。アノテータ
ーは、画像を別のラベルまたはオープンスペースに
ドラッグアンドドロップすることで、既に割り当てられているラベルを変更できる。

図 4．空間レイアウトラベリングインターフェイスのユーザーイ
ンタラクション

4

ユーザー実験

16 人の参加者（18〜49 歳の男性 8 人と女性 8 人）
が、ユーザー実験に参加した。 参加者は全員、画像
ラベリングまたは画像分類に関する専門知識の経験はなかった。 また、全参加者がペットとして犬を飼っておらず、犬のカテゴリーについての専門知識を持っていなかった。
ラベル付けタスクには、ImageNet（ILSVRC 2012）[16]の画像データセットを使用した。 まず、犬のラベル（品種）ごとに 100 枚の画像をランダムに選択し、合計 12,000 枚の画像を基本データセットとして使用した。 次に、同等の難易度の 2 つの互いに素なデータセット（データセット A とデータセット B）
を手動で作成した。 各データセットには、20 のラベル（20 の犬種）と 50 の画像（選択した 20 の犬種に属する 50 の犬の画像）が含まれていた。 2 つのデータセットのラベルと画像の間に重複はなかった。 図 5 は、3 つの難易度レベルでデータセット Aとデータセット B 用に選択された 20 の犬種（ラベル）を示している。

- 87 -

図 5．データセット A およびデータセット B で使用される 20 の犬種（ラベル）。レベル 1：明確。 レベル 2：あいまい。 レベル
3：非常にあいまい．

ユーザー評価のために 2 つのオンライン画像ラベ
リングシステムが React.js で開発された。
（a）非空
間レイアウトラベリングシステムと（b）空間レイア
ウトラベリングシステムである。
参加者内比較が採用され、各参加者は、2 つのラ
ベリングシステムを使用して 2 つのラベリングタス
ク（NS タスクと S タスク）をするように求められた。
•NS タスク：非空間レイアウトインターフェイスと条件
ベースライン条件となっている。図 6（a）は、非空
間レイアウトラベリングシステムのスクリーンショットである。インターフェイスの左側には、ラベルがテキストとサンプル画像の両方で一覧表示されている。インターフェイスの右側には、ラベル付けす
るターゲット画像が表示される。参加者は、20 の犬種（20 のラベル）のリストから適切なラベルを選択
し、50 の犬の画像にラベルを付けるように求められた。この非空間レイアウトインターフェイスでは、
一度に 1 つの画像しか表示されない。参加者は、左側のリストをスクロールしてターゲット画像に適切なラベルを探し、暫定的な割り当てとしてラベルを選択した（選択したラベルがターゲット画像の下に表示された）。次に、「次へ」をクリックして割り当てを完了した。その後、選択したラベルについての自信を示すための「選択したラベルに自信があるか？」という質問に答えた。その後、「次へ」をクリックして次の画像に移動した。以前に選択したラベルを変更したい場合は、「前へ」をクリックして前の画像に戻ることも可能であった。
•S タスク：空間レイアウトインターフェイスと条件
本研究の提案手法である。 図 6（b）は、空間レイ
アウトラベリングシステムのスクリーンショットを示している（空間レイアウトインターフェイスについてはセクション 3 で説明した）。 ラベル付けタス
ク（50 匹の犬の画像にラベルを付ける）には、非空
間レイアウトインターフェイスに割り当てられたも

WISS 2021のと同じタスクが含まれていた。 S タスクでは、最終的なラベルを画像に割り当てる前に、最初にすべての画像と概念的な類似性を表すラベルをレイアウトするように参加者に指示した。
本ラベリングシステムは、参加者がラベリングタ
スクを完了するまでに要した時間とエラー率（画像に適切なラベルを選択できなかった）を自動的に記
録および測定した。 タイマーは、参加者が「開始」をクリックすると開始し、「終了」をクリックすると停止した。 システムは、参加者がラベル付けに費やした時間も記録した。 また、自信のあるラベル選択率（参加者がつけたラベルに自信を持っていた画像）も測定した。

トインターフェイスで 37.63％であることがわかった。 対応のある t 検定を使用したエラー率の分析では、2 つのラベリングインターフェイス間に有意差（p <0.05）があることが示された。
この結果は、非専門家のアノテーターが、タスク完了時間を大幅に増加させることなく、従来の非空間レイアウトインターフェイスよりも空間レイアウ
トインターフェイスを使用することで、特定のラベリングタスクをより正確に完了できることを示した。
画像データセットの 3 つの難易度レベルでエラー率を分析した（図 9 を参照）
。 結果は、レベル 1 とレベル 3 で非空間レイアウトインターフェイスと空
間レイアウトインターフェイスの間に有意差（p>0.05）がなかったのに対し、レベル 2 では有意差（p<0.05）があることがわかった。 これは、空間レイ
アウトインターフェイスの利点が、ラベリングタス
クにあいまいな画像が含まれている場合にのみ現れることを示している。 この利点は、ターゲット画像
があいまいでないか、あいまいすぎない場合には得られない。
Time (minute)

n.s.
20

17min 55s

16min 47s

15
10
5
0
Non-spatial

SpatialError Rate

図 7．ラベル付けタスクの完了時間．

図 6．非空間および空間レイアウトラベリングシステムのスクリ

100%

p < .05*80%

43.50%

60%

37.63%

40%

ーンショット．

20%
0SpatialNon-spatial

結果

図 7 は、参加者が平均 16 分 47 秒と 17 分 55 秒を費やして、非空間および空間レイアウトインターフ
ェイスを使用して 50 枚の画像にそれぞれラベルを付けたことを示している。タスク完了時間に関して、対応のある t 検定の結果は、非空間レイアウトイン
ターフェイスと空間レイアウトインターフェイスの間に有意差がないことを示した（p> 0.05）。
図 8 は、非空間および空間レイアウトインターフ
ェイスを使用して参加者が完了したラベリングタス
クのエラー率（画像に適切なラベルを選択できない）
を示している。 結果として、エラー率が非空間レイ
アウトインターフェイスで 43.50％、空間レイアウ- 88 -

図 8．ラベリングタスクのエラー率．

Error Rate

5

100%

Non-spatial
Spatial

*

80%
60%

n.s.

p < .05

64.07%

49.87%
n.s.

63.02%

40.15%

40%
20%

13.23% 10%0Level 1

Level 2

Level 3図 9．難易度のエラー率．

ユーザー実験では、参加者は、選択したラベルの確信度（自信があるかどうか）を示すように求めら空間ラベリング：非専門家による画像注釈のラベル品質を改善するための空間レイアウトの活用

Confidence Rateれた。 図 10 は、参加者が非空間レイアウトタスク
でラベル付けされた画像の 47.13％（24/50 画像）に自信を持っていたのに対し、空間レイアウトタスク
では 59.63％（30/50 画像）であることを示している。 対応のある t 検定の結果、非空間レイアウトイ
ンターフェイスと空間レイアウトインターフェイスの間に有意差（p <0.01）があることがわかった。 これは、空間レイアウトインターフェイスが、手動の
画像注釈に対する非専門家の主観的な自信を高めることができることを示している。

るための代替ソリューションを提供する。本研究の結果は、注釈ツールの将来の開発に使用できる重要な洞察を示している。
．

謝辞
本研究は JST CREST JPMJCR17A1 の支援を受 けたものである．

参考文献

p < .01

**

100%
80%
60%

(30 images)

Non-spatial

Spatial(24 images)[1] Abhishek Dutta, and Andrew Zisserman. 2019.
The VIA Annotation Software for Images, Audioand Video. In Proceedings of the 27th ACM
International Conference on Multimedia, pp. 2276-

59.63%

47.13%

40%
20%

2279.
[2] Bryan C. Russell, Antonio Torralba, Kevin P.
Murphy, and William T. Freeman. 2008. LabelMe:
A Database and Web-Based Tool for Image
Annotation. International journal of computer
vision 77, no. 1-3: 157-173.

0

図 10．ラベリングタスクの信頼率．Non-spatial: mean = 47.13; SE= 4.52; Spatial: mean = 59.63; SE = 4.12; p = 0.0008.

6[3] Luis Von Ahn, and Laura Dabbish. 2004. Labeling
Images with a Computer Game. In Proceedings of
the SIGCHI conference on Human factors incomputing systems, pp. 319-326.
[4] Chia-Ming Chang, Siddharth Deepak Mishra, andTakeo Igarashi. 2019. A Hierarchical Task
Assignment for Manual Image Labeling. In 2019
IEEE Symposium on Visual Languages andHuman-Centric Computing (VL/HCC), pp. 139-143.
[5] Joseph Chee Chang, Saleema Amershi, and Ece
Kamar. 2017. Revolt: Collaborative Crowdsourcing

今後の課題

本研究では、専門家でない画像注釈のラベル改善の本当の理由は明確には示されなかった。改善の理由が自己学習によるものなのか、注釈付け中に空間
レイアウトインターフェイスを介して慎重にラベル付けするためなのかは不明である。 将来的には、ラベルの改善の本当の理由（学習または注意深いラベル付け）を調査したいと考えている．

7

結論

本研究では、専門家以外の画像注釈のラベル品質を向上させるために、空間ラベリングと呼ばれる空間レイアウトラベリングインターフェイスを提案した。このインターフェースは、ラベル付けプロセス
でラベルを選択する前に画像とラベルをレイアウト
するためのオープンスペース（つまり、空間編成プロセス）で構成されていた。本研究の空間レイアウ
トインターフェイスと従来の非空間レイアウトイン
ターフェイスの比較のため、画像ラベリングタスク
を用いてユーザー調査を実施した。結果は、非専門家のアノテーターは、従来の非空間レイアウトイン
ターフェイスよりも本研究の空間レイアウトインターフェイスを使用した時に、画像のラベルをより正確に選択することを示した。さらに、空間レイアウ
トインターフェイスにより、手動の画像ラベリング
中に専門家ではないアノテーターの確信度が向上す
ることが観察された。空間ラベリングは、空間編成を介して非専門家の画像注釈のラベル品質を改善す

for Labeling Machine Learning Datasets. In
Proceedings of the 2017 CHI Conference on Human
Factors in Computing Systems, pp. 2334-2346.
[6] Takeru Sunahase, Yukino Baba, and Hisashi
Kashima. 2017. Pairwise HITS: Quality
Estimation from Pairwise Comparisons in CreatorEvaluator Crowdsourcing Process. In Thirty-FirstAAAI Conference on Artificial Intelligence.
[7] Yi-Li Fang, Hai-Long Sun, Peng-Peng Chen, andTing Deng. 2017. Improving the Quality of
Crowdsourced Image Labeling via Label Similarity.
Journal of Computer Science and Technology 32, no.
5: 877-889.
[8] Todd Kulesza, Saleema Amershi, Rich Caruana,
Danyel Fisher, and Denis Charles. 2014.
Structured Labeling for Facilitating Concept
Evolution in Machine Learning. In Proceedings of
the SIGCHI Conference on Human Factors in- 89 -WISS 2021

Computing Systems. ACM, 3075–3084.
[9] Ken Perlin, and David Fox. 1993. Pad: An

Annual ACM Conference on Human Factors in
Computing Systems, pp. 995-1004.

Alternative Approach to the Computer Interface.
In Proceedings of the 20th annual conference on
Computer graphics and interactive techniques, pp.
57-64.

[16] Olga Russakovsky, Jia Deng, Hao Su, Jonathan
Krause, Sanjeev Satheesh, Sean Ma, Zhiheng
Huang et al. 2015. ImageNet Large Scale Visual[10] Benjamin B. Bederson, and James D. Hollan. 1994.
Pad++: A Zooming Graphical Interface forcomputer vision 115, no. 3: 211-252.
[17] Chia-Ming Chang, Chia-Hsien Lee, and Takeo

Exploring Alternate Interface Physics. In
Proceedings of the 7th annual ACM symposium on
User interface software and technology, pp. 17-26.

Igarashi. 2021. Spatial Labeling: Leveraging
Spatial Layout for Improving Label Quality in
Non-Expert Image Annotation. In Proceedings of[11] Daniel Bauer, Pierre Fastrez, and Jim Hollan. 2005.

the ACM Conference on Human Factors in

Recognition Challenge. International journal of

Spatial Tools for Managing Personal Information
Collections. In Proceedings of the 33th IEEE
Annual Hawaii International Conference on

Computing Systems. ACM.

System Sciences, pp. 104b-104b.
[12] Nayuko Watanabe, Motoi Washida, and Takeo
Igarashi. 2007. Bubble Clusters: An Interface for
Manipulating Spatial Aggregation of GraphicalObjects. In Proceedings of the 20th annual ACM
symposium on User interface software andtechnology, pp. 173-182.
[13] George Robertson, Mary Czerwinski, Kevin Larson,
Daniel C. Robbins, David Thiel, and Maarten Van
Dantzich. 1998. Data Mountain: Using Spatial
Memory for Document Management. In
Proceedings of the 11th annual ACM symposium
on User interface software and technology, pp. 153162.
[14] Nan-Chen Chen, Jina Suh, Johan Verwey, Gonzalo
Ramos, Steven Drucker, and Patrice Simard. 2018.
AnchorViz: Facilitating Classifier Error Discovery
through Interactive Semantic Data Exploration. In
23rd International Conference on Intelligent User
Interfaces, pp. 269-280.
[15] Yanir Kleiman, Joel Lanir, Dov Danon, Yasmin
Felberbaum, and Daniel Cohen-Or. 2015.
DynamicMaps: Similarity-based Browsing througha Massive Set of Images. In Proceedings of the 33rd

未来ビジョン
通常、高品質のデータは専門家のアノテーターに依存している。 ただし、優れた注釈ツールが提供されていれば、専門家でない注釈者も高品質のデータを生成できると考えている。 この研究は、ラベリングインターフェースの設計が非専門家のデータ注釈のラベル品質を改善できるという成功例を示している。 今日、AI の時代では、新しいインテリジェントシステムには常に膨大な数のトレーニングデータが必要である。 専門家ではないアノテーターがアノテーショ
ン中にドメイン知識を構築するのに役立つアノテーションツールを提供できれば、それは大きな貢献になる可能性がある。 将来的には、難しいアノテーション作業でも誰もがアノテーターになれるように願っている。

- 90 -WISS 2021

対 アクションゲームにおけるプレイヤーの 動 察のためのシーン
三ツ井

太

1

岡

1

々は対 型
ゲームのプレイヤーが強くなるためのに取り んでいる 強いプレイヤーになるためのなアプローチの 1 つに 他の強いプレイヤーの 動を 察し 強い 動パターンを学ぶことがある そこで 々は YouTube などの動 共 サイトに上がっている多くの対 動 から 強いプレイヤーの 動を効 よく 察するために ゲームシーンの
を
する
は 対
中のある
の 像をクエリーとして入力すると その 像と似 ったのシーンを対 動 の中からしてする ユーザはを再 することで 強いプレイヤーならクエリーのからどういった 動をとるのかについて 察できる このシーンを実 するために 対 ステージやをし キャラクターの位
係のみを
した
ベクトルを
できるディープニューラ
ルネットワークを学 する シーンの 度については主価を い
8 割の 度でシーンができることをした また ユーザスタディを い 動 で上 プレイヤーの 動を 察しながらCPU 対 を り したときを いることでより いレベルの CPU に勝てるようになることを
した

1

はじめに

近年，競技性の高いビデオゲームをスポーツ競技として捉えて eSports と呼ぶほど，ビデオゲームに注目が集まっている．eSports はファースト・パー
ソン・シューティング(FPS)や，対戦型格闘ゲーム，
サッカーやバスケットボールなどのスポーツゲーム，
レーシングゲームなど，
多種多様なジャンルがあり，それぞれのジャンルに複数のタイトルがある ．
eSports で活躍するためには，プレイヤーたちは各タイトルに特化してゲームを練習し強くなる必要がある．我々は毎年世界大会が開かれているニンテン
ドースイッチの大乱闘スマッシュブラザーズ
SPECIAL（スマブラ）[1]を題材にプレイヤーが効率よく強くなるための支援に取り組んでいる．
スマブラのような対戦型格闘ゲームにおいて，強いプレイヤーになるために重要なことが 2 つある．
1 つはゲームの操作技術を磨くことである．これはキャラクターの移動操作をミス無くこなしたり，技を出す際のコマンド入力を正確にできるようになるなどだが，これらはプレイヤー自身が時間をかけて練習して習得する必要がある．もう 1 つの重要なことは対戦相手を意識した練習をすることである．
eSports はビデオゲームを媒体にしているが，要は人と人との試合であり，相手をだますようなフェイ
ントを掛けたり，相手のミスを誘発するような行動
Copyright is held by the author(s).
1 静岡大学大学院総合科学技術研究科工学専攻
数理システム工学コース- 91 -を仕掛けたりする駆け引きに面白さがある．対戦相手を意識した練習には，YouTube などの動画共有サ
イトに上がっている対戦動画を見て，強いプレイヤーの挙動を観察し，強い行動パターンを学ぶことが有効である．しかしこれは簡単ではない．動画共有
サイト上の動画数が多いため，自分の見たい対戦動
画がなかなか見つからなかったり，また，対戦動画が見つかっても，その中のどこに自分の見るべきシーンがあるかが分からない，といった問題がある．
そこで我々は，多くの対戦動画から強いプレイヤーの挙動を効率よく観察するために，ゲームシーンの検索手法を提案する．提案手法は，対戦中のある瞬間の画像をクエリーとして入力すると，その画像と似通った状況のシーンを対戦動画の中から複数検索して提示する（図 1）．ユーザは検索結果を再生することで，強いプレイヤーならクエリーの状況からどういった行動をとるのかについて観察できる．
この目的を実現するために，既存の画像/動画検索
手法について調査したが，我々の要求に対応するものは存在しなかった．既存の検索手法の大きな問題の 1 つは，我々はゲーム内のキャラクター同士の位置関係のみに興味がある．しかし，既存の画像/動画
検索手法は画像全体の見た目が似たものを検索してしまうため，キャラクター同士の位置関係よりもむ
しろ，戦っているステージや背景が似たものを検索してしまう．そこで我々は入力画像をキャラクター

8*44

同士の位置関係のみの情報を持った特徴ベクトルに変換できるようなディープニューラルネットワーク
を学習することで，シーン検索手法を実現する．
シーン検索の精度については主観評価を行い，約8 割の精度でシーン検索ができることを確認した．
また，ユーザスタディを行い，動画で上級プレイヤーの挙動を観察しながら CPU 対戦を繰り返したとき，提案手法を用いることで平均的に 0.714 回多く勝てることが示された．言い方を変えると，より高いレベルの CPU に勝てるようになることが確認できた．

2
類似画像/動画の検索手法については数多くの関連研究が存在する[2]．基本的な考え方は，画像を大規模な畳み込みニューラルネットワーク(CNN)によってエンコードし，得られた特徴ベクトルの類似度によってデータベース内の画像にランキング付けをすることである[3]．同一クラス内の画像の特徴ベクトル同士は類似するように，逆に，異なるクラス
間の画像の特徴ベクトル同士は異なるようにしたく，
そのような特徴ベクトルを出力できる CNN を学習するために，ネットワークの構造や loss 関数に様々な工夫が提案されてきている．例として，Revaud ら
は画像検索学習モデルの評価指標の１つである
mean Average Precision(mAP)を直接最適化できるランキング学習手法を提案した．その結果，画像集合に対し，そこに写った建物毎にラベル付けしたデータセットを学習することで，クエリー画像に写ったものと同じ建物が写っている画像を高い精度で検索できる手法を提案した[4]．こういった画像検索技術の発展形としては，Vo らは画像と文をクエリ
ーとし，画像を文によって変化させたような画像を検索できる手法を提案した[5]．
しかし，上記の既存手法のいずれも，我々の目的であるキャラクター同士の位置関係のみに着目したシーン検索という問題にそのまま適用できる手法は存在しなかった．そこで，まず動画のセグメンテー- 92 -

ション手法を適用し，動画からキャラクターのみを抽出してから上記の検索手法を適用するというアプローチを試みた．動画からキャラクターのみを抽出するために，SiamMask[6]と STM[7]という 2 つの手法を実験した．共に動画の最初のフレームで追跡したい物体を指定すると，2 フレーム目以降を自動的に追跡し，物体のマスクを生成する手法である．
しかし，実際にスマブラのキャラクターを追跡させてみると，最初の数秒は上手く追跡できても，キャラクター同士の衝突やエフェクト（煙や炎など）が起こってキャラクターが一瞬隠れたり，キャラクタ
ーのポーズが大きく変化するなどすると，その後のフレームを追跡できなくなった．特に STM は動画のセグメンテーションの分野では最も精度の高い手法の 1 つであるため，STM が上手くキャラクター
を抽出できないならば，このアプローチは不可能と判断した．
スマブラに特化した研究として，強化学習によって強い AI プレイヤーを育てる手法がある[7]．こういった AI プレイヤーとの対戦も，人がスマブラに強くなるための 1 つのアプローチかも知れない．

3

ユーザインタフェース

図 1 に提案手法のユーザインタフェースを示す．
図 1-左のウィンドウでは，ユーザは自分の対戦のリプレイ動画を見ているとする．そして，図 1-左のウ
ィンドウに表示されているようなシーンで「こんなふうにマリオの頭上にドンキーコングが浮いている
状況のとき，強いプレイヤーならどういった行動をとるのだろう？」と気になったなら，ここでリプレ
イを一時停止し，「検索」ボタンを押す．すると，強いプレイヤーの対戦動画の中から，類似した 3 つのシーンが検索されて表示される（図 1-右の 3 つのウィンドウ）．
検索結果はいずれもマリオの頭上にドンキーコングが浮いている状況である．ユーザはこれ
らの動画を再生することで，強いプレイヤーがここからどういった行動をとるのかを観察できる．
「検索」ボタンを押してから結果が表示されるま対戦アクションゲームにおけるプレイヤーの挙動観察のためのシーン検索

での時間は，現在の我々の実装では 10 秒未満を要する．また，表示される検索結果の数は，現在は類似性の高いものから順に 4 つまで，としている．
尚、検索対象となる強いプレイヤーの動画は、ユーザが予め収集しておくものとする。動画の収集方
法としては、①「世界戦闘力」という任天堂が公式に定めるプレイヤーの強さの指標に基づいて集める、②ゲーム大会におけるトーナメント上位の対戦動画を集める、③実績のある有名なプレイヤーの動画を集める、などが考えられる。

4

シーン

関 数 は 画 像 を 入力 す ると 特 徴 ベク ト ルを出力するニューラルネットワークであるとする．
入力画像 が図 2-a のような画像であってであるとする．このとき，背景は異なるがキャラクター同士の位置関係が図 2-a と同じような画像集合（図 2-b，正例と呼ばれる）の中の画像 1 つをとすれば，その特徴ベクトルは と似たものであってほしい．逆に，キャラクター同士の位置関係が図 2-a と異なるような画像集合（図 2-c，
負例と呼ばれる）の中の画像 1 つを とすれば，その特徴ベクトルは と異なったものあってほしい．
このような関数 を実現できれば，特徴ベクトルの類似度を使うことで，ステージや背景を無視しキャラクター同士の位置関係のみに着目したシーン検索が実現できる．類似度には内積を用い，検索対象の全対戦動画の各フレームに対し，特徴ベクトルの類似度に基づいたランキング付けをすることでシーン検索ができる．

256×144 ピクセル×3 チャンネルであり，特徴ベク
トル のサイズは 2048 次元である．上記のような関
数 を 実 現 す る た め に Supervised Contrastive
Learning[10]を用いる．損失関数は
1
∈

|𝑃

|

log
∈

exp ∙
∑ ∈ exp/∙/

である．𝐼は全ての画像の添え字の集合，𝑃 は正例の画像の添え字の集合，𝐴 はアンカー画像以外の全ての画像の添え字の集合，は温度と呼ばれるハイ
パーパラメータである． ∙ はベクトルaとベクトルの内積である．上記の損失関数を最小化することによって， と の内積が と の内積よりも大きくなるように関数 を学習することができる．この関数 によってステージや背景を無視しキャラクタ
ー同士の位置関係のみの情報を持った特徴ベクトルを得ることができる．
4.1 学
図 2 に示したように，関数 の学習にはアンカー
画像に対する正例集合と負例集合が大量に必要となる．
動画中のあるフレームをアンカーに選んだとき，それ以外のフレームは全て負例となり得る（キャラクターが移動しており位置関係がアンカーと異なるため）ので，負例集合はアンカー以外のフレームを選ぶことで簡単に用意できる．しかし，正例はキャラクターの位置関係がアンカーと同じで，かつ，背景が異なる画像であるため，通常は簡単に用意できない．そこで我々はスマブラの特徴を生かした正例の大量生成手法を以下に提案する．

図 3 ステージ「75m」を利 した 例の大

図2

データセットの作成にあたり，スマブラの対戦動
画から 2000 フレームを抽出した．
この動画は
「75m」
というステージで対戦されたものだが，このステージに関しては背景に現れるピクセルの色数が少ない（図 3-アンカー画像）．そのために容易に背景部分Supervised Contrastive Learning におけるアンカー像(a)とそれに対する 例(b)と 例(c)関数 に ResNet-50[9]を用いた．
画像 のサイズは- 93 -

8*44

各被験者には上記の評価を 97 枚のクエリー画像に対して行ってもらった．
97 枚のクエリー画像には，青のマリオと白のドンキーコングの対戦動画からランダムに選出したフレームを用いた．97 枚中の 49 枚は「75m」というステージでの対戦動画から選出されたフレームとなり，残りの 48 枚は「75m」以外のステージでの対戦動画から選出されたフレームとなった．検索対象は全て「75m」での対戦動画である．図 5 に主観評価の結果を示す．

のピクセルを特定することができる，即ち，キャラ
クター部分のマスクを作ることができる（図 3-マスク）．
このマスクを用いて背景を別の画像に入れ替えることで，アンカー画像の正例を大量生成することができる（図 3-下段）．
このようにして背景を入れ替えたバージョンを
20 種類作ったため，合計で 2000×21＝42000 枚の画像からなるデータセットとなった．
学習は 2000 フレームから 5 フレームをランダムに抽出し，それらの背景を入れ替えたバージョン（合計で 5×21＝105 枚）を 1 つのバッチとして学習を行う．即ち，このバッチの中であるアンカー画像を1 枚選んだ時，そのアンカー画像に対する正例がこのバッチには 20 枚，負例がこのバッチには 84 枚存
在することになる．このような学習を 400 回繰り返すことで 2000 フレーム全てに対する学習を行ったとし，これを 1 エポックとする．400 回の損失関数の値の平均の推移（図 4）を見ると，学習が上手く進行していることがわかる．

図5 主

図

4.2 シーン

失価の図 5 を見るとレベル 1 の質問においては「75m」と「『75m』以外のステージ」の両方で 8 割の精度を達成できており，つまり，提案手法は上位 4 件の中にキャラクターの位置関係が似ているシーンを約 8割の精度で検索できることが分かる．また，「75m」と「『75m』以外のステージ」の間でほとんど差が無いことから，ステージや背景を無視した検索に成功していることが分かる．レベル２の質問の結果からは，４ ５割の精度でエフェクトも似ているシーンが検索できていることが分かる．レベル３の質問の結果からは，キャラクターのポーズの類似性までを考慮した検索については精度が低いことが分かる．
また，クエリー画像について，背景が単純な「75m」と背景が複雑な「『75m』以外のステージ」の間で精度に 2 倍程度の開きがあることから，キャラクター
のポーズの特徴を捉える際に背景の複雑さがノイズとなって影響を与えていることが分かる．

の値の変化

の 度 価

ステージや背景を無視しキャラクター同士の位置関係のみを考慮した検索が上手くできているかを調べるために主観評価を行った．今回の実験では 9 人の被験者（工学系の大学または大学院に所属する 20代の男性）に協力してもらった．
各被験者には，クエリー画像 1 枚と，そのクエリ
ー画像を入力として提案手法で検索を行って得られた上位 4 枚の検索結果の画像を提示する．クエリー
画像と検索結果を見比べてもらい，以下のレベル１
３の質問に対し，Yes/No で答えてもらった．
z レベル１：4 枚の検索結果の中に，クエリー画
像とキャラクターの位置関係が似ているもの
が 1 枚でもあるかどうか
z レベル２：4 枚の検索結果の中に，レベル１に加え，エフェクト（煙や炎など）までもが似ているものが 1 枚でもあるかどうか
z レベル３：4 枚の検索結果の中に，レベル１＆
２に加え，キャラクターのポーズまでもが似ているものが 1 枚でもあるかどうか

5

ユーザスタディ提案手法を用いて強いプレイヤーの挙動を観察したとき，それがプレイヤーの成長にどう影響を与えるかを調査するため，ユーザスタディを行った．
5.1 実
今回の実験では 14 人の被験者（大学または大学院に所属する 20 代の男性 13 名と女性 1 名）に協力してもらった．14 人のうち 7 人は提案手法を使って強いプレイヤーの挙動を観察するグループ，残りの- 94 -

対戦アクションゲームにおけるプレイヤーの挙動観察のためのシーン検索

7 人は提案手法を使わずに強いプレイヤーの挙動を観察するグループとした．
各被験者にはスマブラの CPU 戦をプレイしてもらった．
プレイするキャラクターは青のマリオとし，敵である CPU のキャラクターは白のドンキーコン
グとした．CPU のレベルは比較的弱い 3 から対戦を始め，勝った場合はレベルを１つ上げ，次のレベ
ルの CPU と対戦してもらう．負けた場合は，負けたレベルの CPU と強いプレイヤー（任天堂公式の「世界戦闘力」の値がランキング上位 5 6％に入っており、VIP の称号を持つ）が対戦している動画が予め用意してあるので，それを見て強いプレイヤーがどうやってその CPU を倒しているかを観察してもらい，その後，再び同レベルの CPU と対戦してもらった．以上を負けた回数が 5 回になるまで繰り返してもらい，最終的にどのレベルの CPU が倒せるかを調べた．尚，CPU のレベルの上限は 9 であり，レベル 9 に勝った場合はそれ以上レベルを上げることができないため，再びレベル 9 と対戦してもらうこととした．
強いプレイヤーの対戦動画を見るとき，提案手法を使うグループの被験者は，まず自分の負けた戦いのリプレイ動画を見る．任意のフレームで一時停止
し，「検索」ボタンを押すことで．強いプレイヤーの対戦動画から 4 つの類似シーンが検索されるので，各シーンを再生してもらい，強いプレイヤーの挙動を観察してもらった．強いプレイヤーの対戦動画を見るとき，提案手法を使わないグループの被験者は，動画再生ソフト(Windows Media Player)で強いプ
レイヤーの対戦動画を自由に見るだけとした．どちらのグループも対戦動画を見て挙動観察をする時間
は 5 分間とした．
各被験者の対戦は全て動画で記録するとともに，
勝敗やゲーム内のスコアなども記録した．

「当初のレベル」とは，各被験者が最初に負けた
CPU のレベルのことである．その平均値を見てみると，提案手法を使ったグループでは 6.14，提案手法
を使わなかったグループでは 6.29 となっており，ほぼ同じ値となっている．つまり，片方のグループに初めから強い人または弱い人が集まった，ということはなかったことを示している．

図7 対「勝った数」とは，「当初のレベル」が決まった後（つまり，CPU に 1 回負けた後），実験が終わるまでの間に CPU に勝った数を示している．即ち，ほとんどの被験者で「勝った数」は「最後に負けたレベル」から「当初のレベル」を引いた値になっている．ただし，被験者 G と L については，彼らが強いプレイヤーであって「当初のレベル」が上限の 9 であったため，異なる値となっている．
「勝った数」を比較すると，提案手法を使ったグ
ループの平均値は 2.571，使わなかったグループの平均値は 1.857 となっており差がついた．これは，提案手法を使った場合の方が，使わなかった場合より，平均的に 2.571－1.857＝0.714 回多く勝っていることを示している．言い方を変えれば，0.714 分の高い CPU レベルに成長できたことを示している．
以上より，グループの間に当初の能力の差はなかったが，提案手法を使った場合では勝った数が多かったことより，
提案手法の有用性が示せたといえる．
5.3 アンケート
上記の実験終了後に，各被験者に下記の 5 つの質問に 5 段階評価で答えてもらった（図 8）．
「提案手法を使って，見たいシーンが検索できましたか？」という項目については，提案手法を使ったグループのみに答えてもらったが，6 割程度の賛同が得られた．シーン検索の精度評価（4.2 章）においては約 8 割の精度で検索ができるという結果が得られていたにも関わらず，「見たいシーン」の検索精度となると 6 割程度の精度になってしまったということになる．この理由としては，キャラクターの位置関係が似ていても，再生してみると，その後の動画の展開が「見たいシーン」のものではなかった，という場合があるためである．今後は動画の展開も考慮した検索手法を模索していきたい．
「スマブラは面白いと感じましたか」という質問

5.2 実
提案手法を使ったグループと使わなかったグルー
プの対戦結果を図 6 と図 7 に示す．

図6 対を使わなかったグループを使ったグループ

上図において，提案手法を使ったグループのメン
バーは A さん G さんとし，提案手法を使わなかったグループのメンバーは H さん N さんとする．

- 95 -

8*44

について，提案手法を使ったグループの方がやや高い評価を得た．提案手法を使うことで，被験者にはやや複雑な検索操作を強いたが，それによってスマブラを面白いと感じなくなる，ということは無いことが分かった．

うようなユーザスタディも今後はやっていきたい．
今後は扱える検索対象を増やしていきたい。今回の実験は青のマリオと白のドンキーコングのみを対象に行ったが、スマブラでは他にも多種多様のキャラクターが存在し、更にそのカラーやスキンも変更可能である。それらも検索対象としたいため、より多くのデータセットを用意し、ニューラルネットワ
ークを学習し直したい。検索対象を増やすと精度が低下するかどうかを調査したり、低下した場合にはニューラルネットワークのサイズを大きくしたり、状況毎に異なるニューラルネットワークを構築したりすることで対応していきたい。

参[1] 大 乱 闘 ス マ ッ シ ュ ブ ラ ザ ー ズ

SPECIAL,https://www.smashbros.com/ja_JP/[2] Shiv Ram Dubey, A Decade Survey of Content
図 8 アンケート

Based Image Retrieval using Deep Learning ,グラフは平均 を すIEEE Transactions on Circuits and Systems forVideo Technology.

提案手法を使ったグループに「システムの使いやすかった点，使いにくかった点，改善点」という項
目で，文章を書いてもらうアンケートも実施した．
「自分が見たい展開と検索されたシーンが異なっていたので展開まで指定したいと感じた．」「自分のみたいシーンが出てこないときがあった．」という意見から，画像レベルでの検索はできていても，ユーザの求める動画が出力できていないことを示すフィー
ドバックが得られた．他には「どこで一時停止して『検索』ボタンを押せば参考になる動画を検索できるのかがわからないので教えてほしい．
」や「動画で強いプレイヤーが入力しているコマンドを知りた
い．
」というような，より高度なサポートをシステムに希望するような指摘も頂いた．このような問題にも対応できるよう，今後も開発を進めたい．

[3] A. Babenko, A. Slesarev, A. Chigorin, and V.
Lempi k , Ne ral code for image re rie al, in
ECCV, 2014, pp. 584 599.
[4] Jerome Revaud, Jon Almazán, Rafael Sampaio deRezende, César Roberto de Souza, Learning with
Average Precision: Training Image Retrieval witha Listwise Loss , ICCV 2019.
[5] Nam Vo, Lu Jiang, Chen Sun, Kevin Murphy, LiJia Li, Li Fei-Fei, James Hays, Composing Text
and Image for Image Retrieval -An Empirical
Odyssey , CVPR 2019.
[6] Q. Wang, L. Zhang, L. Bertinetto, W. Hu, P. H. Torr,
Fastonline object tracking and segmentation: A
unifying approach , CVPR 2019.
[7] S. Wug Oh, J.-Y. Lee, N. Xu, and S. Joo Kim, Video

6

objectsegmentation

今後の

using

space-time

memorynetworks , ICCV 2019.

今回のアンケートを受けて，初心者のプレイヤーに対しては操作方法の補助が有効であるように思われた．例えば，強いプレイヤーの動画に合わせて使っているコマンドを推定して表示するなどができれ
ば，便利ではないかと思われる．また，対戦動画を見て挙動観察をするといっても，見る人のレベルによって，何を見たらいいのかがそもそも分からない，という問題があることが分かった．システム側からもっと積極的に「このシーンは真似する価値があるよ」というような提案ができるようになると面白いのではないかと思う．一方で，eSports に参加しているような上級プレイヤーに提案手法を使ってもら[8] Vlad Firoiu, William F. Whitney, Joshua B.
Tenenbaum, Beating the World's Best at Super
Smash Bros. with Deep Reinforcement Learning ,arXiv:1702.06230 [cs.LG].
[9] Kaiming He, Xiangyu Zhang, Shaoqing Ren, andJian S n.

Deep re id al learning for image

recogni ion , CVPR 2016.
[10] Prannay Khosla, Piotr Teterwak, Chen Wang,
Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron
Maschinot, Ce Liu, Dilip Krishnan, Supervised
Contrastive Learning , arXiv:2004.11362 [cs.LG].

- 96 -WISS 2021

Corridor-Walker: 視覚障害者が障害物を回避し交差点を認識するためのスマートフォン型屋内歩行支援システム
栗林 雅希 ∗
高木 啓伸 ‡

粥川 青汰 ∗†
森島 繁生 ¶

Jayakorn Vongkulbhisal‡

浅川 智恵子 ‡佐藤 大介 §

概要. 本研究では屋内の通路を歩く視覚障害者がスマートフォン 1 台を用いて障害物を回避し，交差点を認識するためのシステム，Corridor-Walker を提案する．屋内の廊下を歩く視覚障害者は，自らの手や白杖の触覚だけを頼りに箱や椅子などの障害物を安全に回避し，曲がるべき交差点を発見する必要がある．提案システムはスマートフォンの LiDAR センサを用いた周囲の床領域の検出結果に基づいて地図を作成し，障害物を回避する経路の生成および交差点の位置と形状の検出を行う．提案システムは骨伝導イヤホンの左右からのビープ音，音声，振動シグナルを用いてユーザへ生成された経路に沿って歩くように指示し，検出された交差点の位置と形状を伝える．14 名の視覚障害者を対象に評価実験を行った結果，提案システムを用いることでユーザは壁伝いに歩かずに障害物を回避し，目的の交差点でその形状を認識したうえで曲がることができた．

1

はじめに

視覚障害者が病院やホテルなどの建物内の通路を歩く際に直面する困難として，障害物との衝突回避と交差点の把握の 2 つがある．視覚障害者が屋内の通路を壁伝いに歩こうとすると，消化器やゴミ箱な
どの壁沿いに配置された障害物と衝突する危険性がある [13]．そのため，視覚障害者は白杖の感覚を頼りに障害物を検出し，回避するための経路を自身で探索する必要がある [17]．また，視覚障害者は壁伝
いに歩くことで通路の交差点を発見できるが，壁沿いの障害物を回避しなければいけない状況では曲がるべき交差点を通り過ぎてしまう可能性がある [8]．
そこで本研究は，屋内の通路を歩く視覚障害者に障害物を回避する経路と交差点の位置および形状を案内するスマートフォン型支援システム（CorridorWalker ）を提案する．壁沿いに配置された障害物を回避するため，システムは周囲の壁や障害物と一定の距離を確保する経路を生成し，ユーザが経路からずれること（ベアリング［veering］と呼ぶ）が無い
ようにその経路に沿って案内する．前方に障害物が現れた場合はその障害物を迂回するような経路を生成する．また，システムはユーザが交差点を通り過ぎないように交差点の位置を事前に伝え，曲がるべき交差点かを確認するためにその形状も伝える．システムは iPhone 12 Pro の LiDAR センサを用いた
周囲の床領域の検出と占有格子地図の作成，および
早稲田大学
日本科学未来館‡
IBM Research§
Carnegie Mellon University¶
早稲田大学理工学術院総合研究所∗†- 97 -

A*経路計画アルゴリズム [10] を用いた障害物を回避する経路の生成をリアルタイムに行う．同時にシステムは占有格子地図の画像と物体検出手法 [23] を組み合わせることで交差点の位置と形状を検出する．
本研究では 14 名の全盲の視覚障害者を対象にシステムの評価実験を行った．実験では交差点を曲がるタスク，複数の障害物が配置された真っすぐな通路を歩行するタスク，複数の交差点と障害物が存在する通路を歩行するタスクの 3 種類のタスクを行い，それぞれにおいて，システムと白杖を併用した時と白杖のみを使用した時でタスク完了時間，交差点形
状の正答率，白杖と壁や障害物との接触回数を比較した．実験から，システムを併用することで白杖のみを使った時と比較して，1）タスク完了時間が伸びたもののユーザはスムーズに障害物回避と歩く方向の修正ができたと評価したこと，2）壁や障害物と白杖の接触回数が減少したこと，3）ユーザは交差点の形状をより正確に把握できたことを確認した．

2

関連研究

視覚障害者向け屋内歩行支援システムとして，事前に地図の準備が必要なもの [9, 15, 18, 25] と必要としないもの [4, 14, 21] が存在する．地図を用いるシ
ステムでは，地図情報とユーザの自己位置推定結果を基に交差点の情報の案内 [18, 25]，また地図情報とセンサを用いたリアルタイムセンシング結果を基に障害物を回避する経路を生成，案内 [9, 15, 18] が可能となる反面，多くの建物では地図が用意されていない問題点がある [26]．またこれまで提案されてきた地図を必要としない歩行支援システム [4, 14, 21]
は障害物回避を主目的としており，交差点の認識を

WISS 2021

図 1. システムの実装の概要図．

支援するシステムは提案されていない．そこで本研
究では，事前に地図の準備を必要としない，障害物
回避と交差点検出の実現を目指す．
障害物の回避を目的として，障害物の位置や種類などをユーザへ伝えるシステム [2, 22] が提案されてきたが，これらはシステムからの指示を基にユーザ自身が障害物を回避する経路を設計する必要があり，ユーザ側の負担が大きくなる．そのため，障害物を回避する経路をシステムが生成しユーザに提示するシステムが研究されている [9, 15, 17, 18, 21]．しかしながらこれらのシステムはウェラブルデバイス[17, 18, 21, 28]，スーツケース型デバイス [15]，ロ
ボット [9] などを使用する必要があり，システムを普及させる面で課題がある [12]．そこで本研究は，多くの視覚障害者が使用しているスマートフォン [19]1
台のみを用いて，障害物を回避する経路に沿ってユー
ザを案内するシステムを提案する．
屋内の交差点検出手法としてロボティクス分野ではレーザセンサを用いた手法 [16, 27] が提案されているが，これらの手法は周囲 180 度をスキャンする
レーザセンサを必要とするため，スマートフォンに搭載された画角の狭い LiDAR センサから交差点を検出することは難しい．また，ロボットに固定された RGB カメラを使用する手法も提案されているが[1, 6, 7]，歩行中の視覚障害者が撮影する画像はモーションブラーがかかっている可能性があるため [24]，交差点を撮影した画像から直接交差点を検出することは難しい．そこで提案システムは，スマートフォ
ンの LiDAR センサを用いて周囲の地図を作成し，その地図に対して交差点検出を行う．

3

いう状況での支援を想定している．

3.1

占有格子地図と経路計画

本研究では，ロボティクス分野で広く使われているコストマップを用いた経路計画アルゴリズム [20]を参考に，スマートフォンの LiDAR センサデータから障害物を回避する経路を生成するシステムを実装
した．システムはまず，スマートフォンの LiDAR
センサから三次元点群を取得し，各点の法線ベク
トルを計算する [11]．次に，平面検出アルゴリズム（RANSAC）[5] を用いて床面の高さを計算し，取得した点群の各点において，高さが床面から閾値 εm 以内かつその法線ベクトルが重力加速度ベクト
ルと平行な点を全て “walkable”，そうでないものを “non-walkable” として分類する．一辺 ω m の占有格子地図上において各点がどの格子（ピクセル）に属するかを計算し，各点の分類結果に基づいて格子を walkable cell（図 1 の白いピクセル），nonwalkable cell（黒）あるいは未占有（灰色）に分類する．
次に，システムは周囲の壁や障害物から一定の距離を確保した経路を生成するために，占有格子地図と同じサイズで各ピクセルにコストを割り当てたコ
ストマップを作成し（図 1–A）[20]，コスト最小の経路を計画する（図 1–B）．各 walkable cell i に割り当てられるコスト costi は以下のように定義する．

Corridor-Walker の実装

本研究では屋内の通路において視覚障害者が障害物を回避し交差点を認識するためのシステムを提案
する．システムは，1）病院やホテルのような道幅が1.5m から 3.5m 程度の通路，2）ユーザは目的地に行くために交差点を曲がる回数が分かっている，と- 98 -

costi =!

β(1 − δiα−1 ),0,

1 ≤ δi ≤ α,
δi > α.

(1)δi は walkable cell から最も近い non-walkable cellとのピクセル距離，α は walkable cell が正のコストを持つ上限のピクセル距離，β は割り当てられるコストの最大値である．壁および障害物の判定精度やスマートフォン上での実行速度を考慮し ε = 0.1,
ω = 0.15, α = 3，β = 50 として実装した．
システムはコストマップを基に，スマートフォンが向いている方向 3.5m 先の通路の中央を目的地とCorridor-Walker: 視覚障害者が障害物を回避し交差点を認識するためのスマートフォン型屋内歩行支援システム

今回学習させた交差点検出モデルは，屋内の通路にある壁の窪みを交差点と誤認識してしまう可能性があるため，システムはユーザが交差点に入った際に検出された交差点が本当に交差点かを確認する．
具体的には占有格子地図において，検出された交差点から右，左または前方へ 1.5m 以上離れた場所にwalkable cell が存在している場合，提案手法はその方向に通路が伸びていると確定する．

3.3

図 2. システムのインタフェースの概要図．

して障害物を避ける経路を A*経路計画アルゴリズ
ム [10] を用いて生成する．ユーザが歩行中，システ
ムは常に前方に障害物があるかを判断する．具体的にはまず，作成した占有格子地図の non-walkable
cell において壁に属している cell を RANSAC アル
ゴリズム [5] を用いて検出する．システムの前方，扇形（中心角 30◦ ，半径 2m）の範囲に，壁に属さなかった non-walkable cell の個数が 30%以上含まれる場合，前方に障害物があると判断する．システム
は障害物を検出した場合もしくはユーザが経路の半分を歩いた場合に新しい経路を計画しなおす．

3.2

交差点検出

システムは占有格子地図の画像を入力として物体検出手法（YOLOv3[23]）を用いて交差点の検出を行う．占有格子地図は交差点を検出する際に必要な
前後左右の情報を持たない．そのため，前処理として現在から 2 秒前までのユーザの平均位置と 2 秒前から 4 秒前までのユーザの平均位置を結んだベクト
ルをユーザの進行方向として計算し，その方向と画像の上方向が一致するように占有格子地図を回転させ，ユーザの位置が画像中央に位置するように画像変換を施す（図 1–C）．本研究では交差点検出モデ
ルを学習させるために，前処理された交差点の占有
格子地図の画像を集め，アノテーションおよびモデルの学習を行った．アノテーション時は交差点領域
を示す矩形（図 1–D の青い四角形）および，交差点
から伸びる通路の方向を全て列挙したラベルを付与した．例えば図 1–D に示した交差点の場合は「Left,
Front, Back」のラベルを与えた．ラベルの組み合
わせは全部で 9 通りである．またシステムでは，矩形領域の底辺とユーザの距離をユーザから交差点までの距離と定義する（図 1–D）．また，矩形領域がユーザの位置を内包する場合，ユーザは交差点内部にいると判断する．学習させた交差点検出モデルを
1215 枚のデータを用いて評価したところ，ユーザから 2.25m 先にある交差点は F 値 0.95，3.25m 先にある交差点は F 値 0.63 の精度で検出できた．

インタフェース

システムは骨伝導イヤホンのビープ音および音声とスマートフォンの振動を用いて生成された経路に沿って歩くようにユーザを案内する．ユーザがベアリングしている間はユーザが向くべき方向から 0.25
秒間隔のビープ音（400Hz のサイン波）が鳴り，ユー
ザが正しい方向を向くとビープ音が鳴り止む．例えば，ユーザが進むべき方向よりも右に向いている場
合には，左側の骨伝導イヤホンからビープ音を鳴らすことで，ユーザへ左を向くように促す（図 2–A）．
ベアリングの判定基準はスマートフォンの向きが目的方向よりも 10◦ 以上ずれたこととした．
ユーザの前方 2m 以内に障害物が検出された場合は迂回すべき方向を指示する．例えば，ユーザの進行方向左側に障害物が検出された場合には「右迂回開始」と指示する（図 2–B-1）．ユーザ前方 1m 以
内に壁を含む障害物が検出された場合は，緊急停止
シグナルとしてスマートフォンが強く長く振動する（図 2–B-2）．
前方に交差点が検出された場合は，スマートフォンが周期的に振動することによって交差点が近いことを伝える（図 2–C）．ユーザが交差点に入った際は，交差点の曲がりうる方向をスキャンするように音声を用いて指示する．スキャンの結果実際に通路が伸びていることをシステムが確認できた場合，システ
ムは交差点の形状を音声を用いて伝える（図 2–D）．

4
4.1

評価実験

実験方法

Corridor-Walker の有用性を検証するために 14
名の全盲の視覚障害者（年齢：21–71（平均 43.9）
歳，男性 5 名，女性 9 名）を対象に評価実験を行った．最初に参加者へシステムの使い方の説明および練習を 30 分行った後，本番タスクで白杖のみを使った場合と白杖とシステムを併用した場合の 2 つのコ
ンディションを比較した．システムの交差点検出機
能と障害物回避機能を評価するために本番タスクでは，1）交差点（図 3 の 4 種類の交差点）を事前に指示された方向へ曲がるタスク，2）複数の障害物が配置された直線の通路（図 4 のルート 2-1 とルート
2-2）において歩行するタスク，3）複数の障害物および交差点を含んだ 40m 程のルート（図 5 のルー- 99 -WISS 2021

図 3. タスク 1 の交差点．

図 5. タスク 3 の通路と障害物の配置．

ト 3-1 とルート 3-2）を歩行するタスク，の 3 種類のタスクを行った．最初の 7 名の参加者（P01–07）
は図 3–図 5 に示した交差点および通路を白杖のみで歩行し，図 3–図 5 を左右反転した交差点および通路をシステムを併用して歩行した．残りの 7 名の参加者（P08–14）は図 3–図 5 の交差点および通路をシステムを併用して歩行し，図 3–図 5 を左右反転した交差点および通路を白杖のみで歩行した．

あった．タスク 2 のルート 2-1 では，白杖のみで平均 18.6 秒，システム併用で 23.5 秒，ルート 2-2 では，白杖のみで 20.9 秒，システム併用で 28.5 秒かかった．タスク 3 のルート 3-1 では，白杖のみで平均 50.7 秒，システム併用で 69.3 秒，ルート 3-2 では，白杖のみで 63.0 秒，システム併用で 85.7 秒かかった．Mann-Whitney の U 検定（有意水準 1%）を用いて白杖のみの場合とシステムを併用した場合を比較したところ，全てのタスクにおいてシステムを併用した方が有意に時間がかかるという結果が得られた．これはシステム併用時にユーザがシステムの指示の確認や自身の歩く方向の修正に時間がかかることが原因として考えられる．

4.2

5.2

交差点の形状の正答率

5.3

白杖と壁および障害物との接触回数

図 4. タスク 2 の通路と障害物の配置．

評価指標

全てのタスクでタスク完了時間を測定した．タス
ク 1 では交差点の 4m 手前から 1m 後の区間を歩く
時間を測定し，タスク 2 とタスク 3 ではルートの開始地点から終了地点の間を歩く時間を測定した．参加者が交差点の形状を把握したうえで曲がれたかを評価するために，タスク 1 では参加者に交差点を曲がった後にその交差点の形状を答えてもらい，その正答率を計算した．また，全てのタスクにおいて障害物を回避し，壁伝いに歩かずに歩行できているかを評価するために白杖と壁および障害物との接触回数を数え，システムを評価した．本番終了後，シス
テムと白杖を比較するために参加者はそれぞれに関して 7 段階（1：全く同意しない，7：強く同意する）の主観評価項目（図 6，Q1–6）に回答した．

5
5.1

結果

タスク完了時間

交差点の形状の正答率は，白杖のみを使用した時は 30.4%，システムを併用した時は 83.9%だった．
システムを併用した際に誤回答した回数は合計 9 回（L 字の交差点で 1 回，T 字で 1 回，X 字で 7 回）であり，理由は以下の 3 つに起因する：1）システムは
交差点の形状を正しく伝えたが，ユーザがシステムのフィードバックに集中していなかったため，誤った形状を答えた（5 回）．2）ユーザがスマートフォンを安定して持つことが出来ず，占有格子地図の構築が不十分であったため，システムが交差点の形状を誤認識した（1 回）．3）システムは X 字の交差点を正しく検出し，左右両方をスキャンするように指示したが，ユーザは曲がるべき方向のみをスキャンしたため，システムがトの字の交差点と誤認識した（3 回）．また，白杖のみを用いた時に交差点を気付
かずに通り過ぎてしまう現象が 3 回見られた．

タスク 1 で各交差点を歩くのにかかった時間は，白杖のみで平均 9.3 秒，システム併用では 15.4 秒で- 100 -

表 1 に各タスクにおける白杖と壁および障害物との接触回数を示した．Mann-Whitney の U 検定を

Corridor-Walker: 視覚障害者が障害物を回避し交差点を認識するためのスマートフォン型屋内歩行支援システム

図 6. 白杖のみを用いた場合とシステムを併用した場合を比較した質問項目．*は有意水準 5%，**は有意水準 1%で認められた有意差を示す．
表 1. 白杖と壁および障害物との接触回数の詳細．*は有意水準 5%，**は有意水準 1%で認められた有意差を示す．
タスク

1

2

3

コンディション

L字
T字
トの字
X字

ルート 2-1
ルート 2-2
ルート 3-1
ルート 3-2

接触対象
壁
壁
壁
壁
障害物
壁
障害物
壁
障害物
壁
障害物
壁

接触回数（白杖のみ）
平均 ± 標準偏差 中央値
3.86±2.35
4.5
3.57±2.3143.42±2.28
4.5
3.71±2.20
4.5
1.28±0.73
13.14±3.61
1.5
2.21±1.42
2.5
1.86±3.18
0.5
3.07±1.49
3.5
12.21±9.67
10.5
3.71±2.34
3.5
15.21±12.75
14

用いて白杖のみを用いた場合とシステムを併用した場合を比較したところ，タスク 2 のルート 2-2 以外
ではシステム併用時に白杖と壁および障害物との接触回数が有意に減少した．ルート 2-2 では障害物が互いにわずか 3m しか離れていなかったため（図 4），
他のタスクと比べ難しかったことが原因だと考えられる．表 1 の壁との接触回数の結果から，システムを併用することで参加者は壁伝いに歩かずに通路を移動できたことが分かった．

5.4

主観評価結果5.5

ユーザフィードバック

図 6 に主観評価結果を示した．システムの各機能について，白杖のみを使用した時（only cane）とシステムを併用した時（system）を Wilcoxon の符
号順位検定（有意水準 5%）を用いて比較したところ，Q2–4 において有意差が認められた．
インタビューを通して，参加者それぞれがシステ
ムの異なる側面を評価していることが判明した．12

接触回数（システム併用）
平均 ± 標準偏差 中央値
0.14±0.36
00.29±0.47
00.14±0.36
00.14±0.36
00.50±0.52
0.5
0.57±0.94
01.35±1.00
10.62±1.0101.28±1.32
11.07±1.27
10.85±1.2901.43±2.10
0p値

0.00007**0.0003**0.0001**0.00007**0.0004**
0.04*
0.1
0.4
0.005**
0.0002**0.0009**0.0008**名の参加者は障害物回避機能を評価し，以下のようなコメントが得られた：A1「迂回シグナルでスムー
ズに障害物を回避できた．白杖を使わなくても通路を歩ける安心感があった．
」（P05），A2「指示を聞くためにゆっくり歩く必要があったが，障害物を回避出来て嬉しい．
」（P01）特に 9 名は以下のように，システムが生成した経路に沿ってベアリングせずに歩くように支援する機能を評価した：A3「このシステムはまっすぐ歩くことの補助になる．最初は必要ないと思っていたが，壁に沿って歩けない所では通路の真ん中をまっすぐ歩く必要があるので，助けになる．
」（P09）また，13 名の参加者は交差点検出機能を評価し，特に 9 名はこの機能をメンタルマップ
作成時に使いたいとコメントした：A4「もうすぐ交差点であるとわかることで，交差点を突っ切ってしまう心配がない．交差点の伸びている方向を全て確認することで，実は他の方向にも道が伸びていたと知れて，新しい発見になる．
」（P01）

13 名の参加者は，システムがスマートフォン 1 台- 101 -WISS 2021

で完結している点を高く評価した：A5「スマートフォンは必ず持ち歩いているので，スマートフォン
1 台で完結していることは良い．
」（P08）一方で 11
名はスマートフォンを持つことによって片手がふさがる事を指摘し，特に 4 名の参加者はスマートフォンの持ち方に否定的なコメントをした：A6「スマートフォンを体と平行に持つのが難しい．
」（P08）
システムを使いたい場所として，病院やショッピ
ングモールがあげられた．本研究では目的地への道
順をユーザが把握している状況での使用を想定してシステムをデザインしたが，6 名の参加者はシステ
ムを他社のオフィスなど目的地への道順が分からない場所でも使いたいと答えた：A7「このシステム
がアプリストア等でリリースされたら視覚障害者によって（実験時の用途に限らず）色々な使用方法が提案されると思う．
」（P13）

6
6.1

議論

Corridor-Walker の有用性

実験の結果，参加者はシステムを使うことで壁伝
いに歩かずに障害物を回避し（表 1），交差点の形状を把握したうえで曲がることができた（5.2 節）ことが分かった．システムを併用した場合，システムからの指示の確認や方向修正によってタスク完了時
間が白状のみの場合よりも長くなったが（5.1 節），
主観評価において参加者は，システムを併用することで白杖のみの時よりもスムーズに障害物を回避し（Q2，A2），自信を持ってスムーズに歩く方向を修正できた（Q3，Q4）とシステムを高く評価した．12
名の参加者からは白杖を使わずに障害物を避けれたこと（A1，A2），9 名から壁に頼らず歩けたこと（A3）を歓迎するコメントが得られた．また，交差点検出機能に関する質問事項（Q5，Q6）に関して有意差は認められなかったものの，13 名から交差点検出機能は交差点の通り過ごしを防止し，特に 9名からはメンタルマップ作成に役立つと評価された（A4）．さらに，P03 以外の全ての参加者はシステ
ムがスマートフォン 1 台で完結していることは強みであると同意した（A5）．

6.2

ムの持ち方は視覚障害者の間で一般的な持ち方でな
いため，システムの普及のためには視覚障害者の歩行訓練（O&M トレーニング）にどのように組み込んでいくか検討する必要がある．

6.3

課題と今後の展望システムの課題としてまず，交差点検出モデルが通路の直交する交差点のみを対象としている点が挙げられる．提案モデルは交差点の通路に対して「Left, Right, Front, Back」の 4 種類のラベルを推定する多クラス分類のタスクとして交差点の種類を判定しているが，実世界においては，五差路や Y 字の交差点など通路が直交せず上述の 4 種類のラベルを付与できない複雑な交差点も存在する．これらの複雑な交差点にも対応するためには，通路の角度を直接推定する交差点検出方法を考案する必要がある．
またシステムは幅が 3.5m 以上ある広い通路やオープンスペースで安定して使用することが難しいという課題がある．これはシステムが目的地を設定するためには通路の両側の壁が LiDAR センサの検出範囲内に入っている必要がある反面，iPhone 12
Pro に搭載された LiDAR センサの検出範囲が 5mに限定されるためである [3]．システムはスマートフォン 1 台で完結していることが利点である一方，使える場所がデバイスのセンサ上の制約によって限定されることがある．
本研究ではユーザが目的地への道順を把握している状況を想定してシステムを開発したが，6 名の参加者から道順がわからない場所でもシステムを使いたいというコメントが得られた．ユーザが日々の生活でシステムを試す中で，我々が意図しなかった様々な使用方法を産み出す可能性があるため（A7），今後はシステムをアプリとして広く配布し，ユーザからのフィードバックを集めていきたい．

システムの持ち方と訓練方法

スマートフォンを用いる利点として，ユーザがス
マートフォンを手にもって，周囲をスキャンするというインタラクションが可能になる点があげられる．
一方で 11 名の参加者はスマートフォンを持つこと
で片手がふさがってしまうことを欠点と感じ，特に4 名はシステムを持つ方法が難しいとコメントした（A6）．評価実験では 30 分ほどの練習時間を確保したが，タスク 1 ではユーザが安定してスマートフォンを持てなかったためにシステムが交差点の形状を誤認識した場合があった（理由 2）．今回のシステ- 102 -

7

まとめ

本研究は屋内の通路を歩く視覚障害者が障害物を回避し，交差点を認識するためのスマートフォン型
歩行支援システムを提案した．システムはスマートフォンの LiDAR センサから周囲の占有格子地図を作成することで，障害物を回避する経路を生成し，交差点の位置と形状を認識する．システムは骨伝導
イヤホンの左右からのビープ音，音声，振動シグナ
ルを用いて生成された経路に沿ってユーザを案内し，交差点の位置と形状を伝える．実験からシステムを併用した参加者は壁伝いに歩かずに障害物を回避し，交差点の形状を認識したうえで曲がることができた．
また，システム併用時にタスク完了時間は伸びたものの，参加者はスムーズに障害物回避と歩く方向の修正ができたとシステムを高く評価した．今後はシ
ステムの配布に向けて，より一般的な交差点の検出方法を検討していきたい．

Corridor-Walker: 視覚障害者が障害物を回避し交差点を認識するためのスマートフォン型屋内歩行支援システム

謝辞

本研究は，JSPS 科研費（JP20J23018）と JST 未
来社会創造事業（JPMJMI19B2）の助成を受けた．

参考文献[1] M. Adachi, S. Shatari, and R. Miyamoto. Visualnavigation using a webcam based on semantic
segmentation for indoor robots. In 2019 15th
International Conference on Signal-Image Technology & Internet-Based Systems (SITIS), pp.
15–21, San Francisco, CA, USA, 2019. IEEE.
[2] A. Constantinescu, K. Müller, M. Haurilet,
V. Petrausch, and R. Stiefelhagen. Bring theEnvironment to Life: A Sonification Module for
People with Visual Impairments to Improve Situation Awareness. In Proceedings of the 2020
International Conference on Multimodal Interaction, pp. 50–59, New York, NY, USA, 2020.
ACM.
[3] A. Developer.
Displaying a Point Cloud
Using Scene Depth.
Retrieved in September, 2021 from https://developer.apple.
com/documentation/arkit/environmental_
analysis/displaying_a_point_cloud_using_scene_depth, 2021.
[4] A. A. Dı́az-Toro, S. E. Campaña-Bastidas, andE. F. Caicedo-Bravo. Vision-Based System for
Assisting Blind People to Wander Unknown Environments in a Safe Way. Journal of Sensors,
2021, 2021.
[5] M. A. Fischler and R. C. Bolles. Random
sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of theACM, 24(6):381–395, 1981.

[10] P. E. Hart, N. J. Nilsson, and B. Raphael. A formal basis for the heuristic determination of minimum cost paths. IEEE transactions on Systems
Science and Cybernetics, 4(2):100–107, 1968.
[11] D. Holz, S. Holzer, R. B. Rusu, and S. Behnke.
Real-time plane segmentation using RGB-D
cameras. In Robot Soccer World Cup, pp. 306–
317, New York, NY, USA, 2011. Springer.
[12] D. Jain. Path-guided indoor navigation for
the visually impaired using minimal building
retrofitting. In Proceedings of the 16th international ACM SIGACCESS conference on Computers & accessibility, pp. 225–232, New York,NY, USA, 2014. ACM.
[13] W. Jeamwatthanachai, M. Wald, and G. Wills.
Indoor navigation by blind people: Behaviors
and challenges in unfamiliar spaces and buildings. The British Journal of Visual Impairment,
37:140 – 153, 2019.
[14] S. Kayukawa, K. Higuchi, J. Guerreiro, S. Morishima, Y. Sato, K. Kitani, and C. Asakawa.
BBeep: A sonic collision avoidance system forblind travellers and nearby pedestrians. In Proceedings of the 2019 CHI Conference on Human
Factors in Computing Systems, pp. 1–12, New
York, NY, USA, 2019. ACM.
[15] S. Kayukawa, T. Ishihara, H. Takagi, S. Morishima, and C. Asakawa. Guiding Blind Pedestrians in Public Spaces by Understanding Walking Behavior of Nearby Pedestrians. Proceedingsof the ACM on Interactive, Mobile, Wearable
and Ubiquitous Technologies, 4(3):1–22, 2020.
[16] G. Lacey and S. MacNamara. Context-aware
shared control of a robot mobility aid for theelderly blind. The International Journal of
Robotics Research, 19(11):1054–1065, 2000.
[17] Y. H. Lee and G. Medioni. Wearable RGBD indoor navigation system for the blind. In European Conference on Computer Vision, pp. 493–
508, New York, NY, USA, 2014. Springer.
[18] B. Li, J. P. Munoz, X. Rong, J. Xiao, Y. Tian,
and A. Arditi. ISANA: wearable context-awareindoor assistive navigation with obstacle avoidance for the blind. In European Conference on
Computer Vision, pp. 448–462, New York, NY,
USA, 2016. Springer.
[19] J. Morris and J. Mueller. Blind and deaf consumer preferences for android and iOS smartphones. In Inclusive designing, pp. 69–79.
Springer, New York, NY, USA, 2014.
[20] M. Nakamiya, Y. Kishino, T. Terada, andS. Nishio. A Route Planning Method Using
Cost Map for Mobile Sensor Nodes. In 2007 2ndInternational Symposium on Wireless Pervasive Computing, Los Alamitos, CA, USA, 2007.
IEEE.
[21] V. Pradeep, G. Medioni, and J. Weiland. Robotvision for the visually impaired. In 2010 IEEE
Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, pp.
15–22, San Francisco, CA, USA, 2010. IEEE.

[6] A. Garcia, E. Mattison, and K. Ghose. Highspeed vision-based autonomous indoor navigation of a quadcopter. In 2015 international conference on unmanned aircraft systems (ICUAS),
pp. 338–347, Los Alamitos, CA, USA, 2015.
IEEE.
[7] A. Garcia, S. S. Mittal, E. Kiewra, andK. Ghose. A convolutional neural network vision system approach to indoor autonomous
quadrotor navigation. In 2019 International
Conference on Unmanned Aircraft Systems(ICUAS), pp. 1344–1352, Los Alamitos, CA,
USA, 2019. IEEE.
[8] J. a. Guerreiro, E. Ohn-Bar, D. Ahmetovic,
K. Kitani, and C. Asakawa. How Context andUser Behavior Affect Indoor Navigation Assistance for Blind People. In Proceedings of the
15th International Web for All Conference, New
York, NY, USA, 2018. ACM.
[9] J. Guerreiro, D. Sato, S. Asakawa, H. Dong,
K. M. Kitani, and C. Asakawa. CaBot: Designing and Evaluating an Autonomous Navigation
Robot for Blind People. In The 21st International ACM SIGACCESS Conference on Computers and Accessibility, pp. 68–82, New York,NY, USA, 2019. ACM.

- 103 -WISS 2021

[22] G. Presti,
D. Ahmetovic,
M. Ducci,
C. Bernareggi, L. Ludovico, A. Baratè,F. Avanzini, and S. Mascetti.
WatchOut:
Obstacle sonification for people with visual
impairment or blindness. In The 21st International ACM SIGACCESS Conference on
Computers and Accessibility, pp. 402–413, New
York, NY, USA, 2019. ACM.
[23] J. Redmon and A. Farhadi. YOLOv3: An Incremental Improvement, 2018.
[24] P. R. Sanketi and J. M. Coughlan. Anti-blurfeedback for visually impaired users of smartphone cameras. In Proceedings of the 12th international ACM SIGACCESS conference on
Computers and accessibility, pp. 233–234, New
York, NY, USA, 2010. ACM.
[25] D. Sato, U. Oh, J. Guerreiro, D. Ahmetovic, K. Naito, H. Takagi, K. M. Kitani, andC. Asakawa. NavCog3 in the wild: Large-scale

blind indoor navigation assistant with semantic features. ACM Transactions on Accessible
Computing (TACCESS), 12(3):14, 2019.
[26] J. Striegl, C. Lotisch, J. Schmalfuss-Schwarz,
and G. Weber. Analysis of Indoor Maps Accounting the Needs of People with Impairments.
In ICCHP, Vol. 12377, New York, NY, USA,
2020. Springer.
[27] J. Yuan, S. Zhang, Q. Sun, G. Liu, and J. Cai.
Laser-based intersection-aware human following
with a mobile robot in indoor environments.
IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2018.

[28] 森 大輝, 入江 英嗣, 内原 正一, 荒川 明宏, 坂井 修一. リアルタイム経路生成と振動通知による視覚障害者の歩行支援システム. Retrieved in
November, 2021 from https://www.wiss.org/
WISS2018Proceedings/oral/04.pdf, 2018.

未来ビジョン

これまで視覚障害者のための移動支援シス
テムが数多く提案されてきたが，多くの研究が地図情報などの事前準備が必要であったり，扱い慣れていない追加デバイスを持ち歩く必要があったりと，視覚障害者が日常的に使用する上でハードルが高いため，実際に視覚障害者の間で使われているものは極めて少ない．
そのため本研究では，視覚障害者に日常的に使ってもらってこそ支援システムを提案する意義が出るという思いから，システムが普及するためのハードルを下げるために「スマートフォ
ン 1 台」かつ「事前準備を必要としない」という 2 つの条件にこだわり Corridor-Walker を提案した．将来的に実際の視覚障害者のコミュニティでシステムが広く使われることで，A7のコメントでも指摘されたように，ユーザ側でもシステムの使い方や新しい使い道に関して検討や議論が行われることも期待している．

- 104 -

また，
「スマートフォン 1 台」という条件にこだわった本研究の究極的な目標として，我々は一般的に普及しているデバイスが視覚障害者にとって白杖に代わるユビキタスな支援シ
ステムとして広く普及する可能性を期待している．白杖は一歩先の危険（障害物や段差など）を確実に検出できるため視覚障害者に広く利用されている．しかしながら，白杖は視覚障害者しか所有しない特殊なツールであり，そのような白杖を携帯して周囲から注目を集めることに抵抗感を感じるユーザも存在している．本研究で提案した「スマートフォン 1 台」という条件にこだわる方針の先には，白杖のような視覚障害者専用の支援ツールではなく晴眼者含め誰もが持ち歩いているデバイスだけを用いて視覚障害者も周囲に溶け込みつつ晴眼者さながら自立して移動できるような未来が実現できると期待している．

CircWood: CW レーザー加工機による炭化を利用した木製回路基板
石井 綾郁 ∗

加藤 邦拓 †

池松 香 ‡

川原 圭博 §WISS 2021

椎尾 一郎 ∗

概要.
本研究では，レーザー加工機で木材表面を部分的に炭化させ，木材に直接センサや回路を作成する手法を提案する．一般的なプリント基板（PCB）の配線と同様，炭化部分は導電性を有する配線として機能する．先行研究として，フェムト秒（fs）レーザーをラスタスキャニングし小規模なグラフェンを作成する手法が提案されているが，fs レーザーは連続波（CW）レーザーと比較するとパーソナルファブリケー
ションに不向きである．また，ラスタスキャンでは配線が主体の回路を作成する場合多くの時間を要する．
そこで我々は，CW レーザーによるベクタスキャニングを利用し，炭による回路の作成に必要なコストと時間を低減する．提案手法では，パーソナルファブリケーションで頻繁に使用される CW レーザー加工機を用いて，タッチセンサ，ダメージセンサ，荷重センサなどのさまざまなセンサや回路を木材表面に直接作成することができる．さらに，作成したセンサや回路は木工 DIY で一般的に使用される金属製のネジや釘を使用し PCB やマイコンなどに容易に接続できる．

1

はじめに

木は有機的な構造を持ち熱伝導率が低く，独特の温もりを有するため，家具や壁掛けボードなどの日常的に触れるようなさまざまな製品の材料として使用されてきた．木材を加工する伝統的な各種工具に加えて，最近ではレーザー加工機による加工が普及しつつある．レーザー加工機ではレーザー光を利用して木材を加工するが，切断と彫刻以外の加工方法は広く探求されてこなかった．我々は，連続波（CW）
レーザー加工機で木材を部分的に炭化させ，木材表面に直接さまざまなセンサや回路を作成する手法を提案する．一般的なプリント基板（PCB）と同様に，炭化した部分は導電性のある配線として機能する．
ラスタスキャン方式（主に彫刻に用いられる方式）のフェムト秒（fs）レーザーを用いて木や葉の表面にグラフェンを生成し，これを使用した回路を作成する手法が提案されている [11]．fs レーザー加工機
は CW レーザー加工機に比べて高価であり，パーソ
ナルファブリケーション（以下，ファブリケーション）に不向きである．また，ラスタスキャンでは，配線を主体とした回路パターンの作成に多大な時間を要する．本論文では，CW レーザーによるベクタ
スキャニング（主に切断に用いられる）を利用することで先行研究の手法を拡張する．導電性を有する
炭を十分に生成させるため，レーザーの焦点をぼかし，繰り返し（8〜15 回）ベクタスキャニングを行う．本手法により，炭による回路の作成時間を先行研究の手法と比べて 1/600 に短縮することができる．
また，回路以外にも，タッチセンサ，ダメージセン
お茶の水女子大学
東京工科大学‡
ヤフー株式会社
§
東京大学

∗

†

- 105 -

サ，荷重センサなどのさまざまなセンサを実装した．
これらのセンサや回路は，一般的な PCB やマイコンなどに，木工 DIY で使用される金属のネジや釘を使って容易に接続することができる．本手法は木に導電性塗料などの人工物を適用することなく，木そのものから生成する物質を利用しセンサや配線パターンを作成する．よって，素材を活かしたインタ
フェースによる自然なインタラクションが可能である．なお，本研究の一部について ACM UIST2021
でデモ発表を行った [6]．

2
2.1

関連研究

回路のファブリケーション

回路やセンサのファブリケーションのために，さまざまな手法が提案されている．その一つに，導電性インクを用いインクジェットプリンタで導電回路パターンを印刷する手法がある．Kawahara らは，
銀ナノ粒子インクを装填したインクジェットプリン
タを使用し，紙に電子回路を印刷するラピッドプロ
トタイピング技術を提案した [8]．低コストなプロ
トタイピングが可能なため，その後の多くの研究でこの手法を利用したセンサ [3, 12, 7, 22, 14]，NFC
アンテナ [16]，積層回路 [21]，ディスプレイ [15] などが作成されている．この手法では焼結などの後処理を行わないため，印刷された回路は耐久性が低いとされている [14]．そこで，印刷面を高温で硬化させることで，伸縮可能な材料の上に堅牢な回路を作成する Soft Inkjet Circuits が提案された [9]．
プリンタの印刷可能領域を超える大きな平面へ回路を実装するために，導電性塗料やスプレーを利用する技術がいくつか提案されている．FlexTouch [24]，Electrick [27]，Sprayable User Interfaces [25] は，
導電性塗料を壁や家具に塗ったり吹き付けたりするこWISS 2021とで，静電容量方式によるタッチ入力を可能にする．
また，抵抗値が低く，容易に切断，折り曲げが可
能で低コストである銅テープや銅箔を使用する手法も提案されている．Midas は，銅テープをカッティ
ングプロッタでカットし，静電容量式のタッチセン
サや配線を作成するツールである [18]．Perumal ら
は，汎用のインクジェットプリンタやレーザープリン
タと汎用のインクを使用した PCB の作成を実現す
る Printem フィルムを開発した [1]．これらの手法には，切断後に不要な材料を除去するのが面倒で時間がかかること，除去する際に細い配線が断線する可能性があることなど，いくつかの欠点がある [18]．
上記以外にも，金箔 [20, 17]，水圧転写技術 [4]，導電性材料を塗布したナイロン繊維 [10]，カーボン
コート紙 [28] などが回路の作成に用いられている．
以上のように，実験室環境での迅速で低コストな回路のファブリケーション手法が多数提案されている．一方，本研究では，レーザー加工によって木材
表面に炭を生成し，これを用いて回路やセンサを作成する．炭による回路配線の抵抗値は既存手法での配線の抵抗値よりも高いが，我々の手法では木そのものから生成する物質を利用しセンサや配線パターンを作成できる．従来手法で木材表面に回路を作成するには，木材に導電性材料を印刷／塗布する必要があり，木の自然な風合いが損なわれてしまう．

2.2

レーザー加工によるファブリケーション

レーザー加工による 3D オブジェクトのファブリケーション手法が盛んに研究されている．例えば，
2D の板材に熱を加えて折り曲げる [13]，または溶接して積層する [23] などして，3 次元のオブジェク
トをラピッドプロトタイピングする手法がある．これらの手法では，我々と同様，レーザーの焦点を意
図的にぼかしてベクタスキャニングすることで，素材を傷つけず特定の領域を加熱し，折り曲げと溶接を実現している．レーザー加工機を利用して電子回路を作成する技術も提案されている．LASEC [5] では，一般的なレーザー加工機で透明な導電シートを切断し，伸縮性を持つ回路を作成している．一方我々は，導電材料を新たに塗布することなく，木材表面に炭による回路を作成する．
レーザーを用いて材料の表面を炭化し，小規模（最大 3×3 cm2 ）のグラフェンを作成する手法がいくつか提案されている [26, 2, 11]．最初期の研究[26] では，不活性ガスを使用して材料の燃焼を防ぐことで，木材表面にグラフェンを作成する手法が提案されている．その後，CW レーザーの焦点をぼかして複数回照射する手法 [2] と fs レーザーを 1 回照射する手法 [11] が提案され，不活性ガス不使用でグラフェンを作成可能になった．我々の手法では，木の表面に電子回路やセンサを作成することを目的とし，ファブリケーションへの適用を目指している．
また，先行研究 [26, 2, 11] では，ラスタスキャン

図 1. (a) タッチスイッチとスライダ搭載の壁掛けボードの設計例．(b) レーザーで木の表面に炭を生成し回路を作成する．木材の温度が上がりすぎない
よう，レーザーの焦点をぼかしている．

方式のレーザーを使用しているが，我々はベクタスキャン方式のレーザーを使用した．配線を主体とした回路パターンを作成する場合，ラスタスキャン方式だとパターンの全領域を走査する必要がある．一方で，ベクタスキャン方式は配線に沿ってレーザーを照射するため，回路作成に必要な時間が短くなる（詳細な比較は 7 節に示す）．fs レーザーを用いた手法の研究 [11] では，小型の回路や温度センサの試作を行っているが，fs レーザーは高価であり1 ，ファブリケーションには不向きである．CW レーザー加工機を利用する我々の手法により，DIY ユーザでも容易に回路を作成することができる．

- 106 -

ファブリケーション手順3

本節では，提案するファブリケーション手法の手順について説明する．使用したレーザー加工機は株
式会社コマックスの VD7050-60W であり，パワーを30–50 %(=18–30 W)，スピードを 25–30 %(=381–
457 mm/s) に設定した．

3.1

回路パターン作成

3.2

レーザーによる炭化まず，一般的な 2D グラフィクスエディタ（Adobe
Illustrator など）や CAD を使用し回路パターンを作成する．図 1 (a) は複数のタッチスイッチとスライダーを搭載した壁掛けボードの設計例である．提案手法ではレーザーをベクタスキャニングするため，導電部のパターンは全て線で構成される．タッチス
イッチや PCB との接続部などの面積の大きい部分には櫛形パターンを使用する．櫛の間隔は，炭配線を生成した際，線同士に隙間や過剰な重なりが生じないよう決定する必要がある．これは焦点をぼかすためにレーザー加工機のステージを下げる距離に依存し，焦点位置から 5 mm 下に下げる場合は 1 mm
間隔，6mm 下げる場合は 1.25 mm 間隔であった．
回路パターン作成が完了したら，レーザー加工機にデータを送信する．一般的なラスタスキャニング
によるレーザー彫刻では，スキャンライン間に隙間が生じ，導電性の高い炭を生成することができない．
1

CW レーザー加工機の価格は数十万円程度であるが，fs
レーザー加工機は一千万円程度である．

CircWood: CW レーザー加工機による炭化を利用した木製回路基板

でタッチセンシングを実現できる．炭で作られた電極を用意し，これに人体が近づくことで変化する静電容量値を利用し，人のタッチ検出ができる．
ダメージセンシング．木の板は大きな衝撃を受け
るとひび割れを起こす．この性質を利用し，割れなどの損傷を検出することができる．試作では，Vccを固定抵抗と炭配線で分圧し，Arduino のデジタル入力端子に接続した．衝撃が加わり炭配線が断線す
ると抵抗値が無限大になるため，破損によるダメー
ジを検出できる．
荷重／曲げセンシング．木板が歪むと板上の炭配線の抵抗値が増減する．固定抵抗と炭配線とを直列接続した分圧回路を用意し，Arduino のアナログ入力端子に接続することで，炭配線にかかる歪みを検出できる．また，レーザ加工機により作成するリビ
ングヒンジの裏に炭配線を作成し，その抵抗値の変化を測定することで，曲げの検出も可能である．
回転角センシング．2 枚の木板に炭の電極を作成し，それらを向かい合わせに重ねることで，2 個の電極間の静電容量値から，重なり合った部分の大きさを検出できる．このとき，2 枚の木板をねじ止めすることで，回転角度の検出が可能である．また，2枚の木板をスライドするよう取り付けることで，摺動量の検出も可能である．例えば，木製の引き戸や窓とその戸袋の縁に炭による電極を作成することで，ユーザが引き戸を開閉する動作を検出できる．

図 2. (a) 一般的なレーザーによる切断で炭配線に穴を開け，ネジとワッシャーで接続する．釘とワッシャーを使用することもできる．(b) マイコンを搭載した PCB と炭配線との接続．

一方，一般的なベクタスキャニングによるレーザー切断を使用すると木は焼けて切断されてしまい，十分な量の炭が生成しない．炭を十分に生成させ導電性のある配線を作成するためには，適度な熱を繰り返し与える必要がある．そこで，先行研究 [2] と同様にレーザー加工機のステージを下げ，焦点をぼかす方法を用いる（図 1 (b)）．適切なぼかし距離は焦点距離から 5–6 mm 下であった．また，レーザー加工機のパワーを通常の切断時よりも低く，スピードを速く設定し繰り返しレーザーを照射した．これにより，導電性の高い炭を十分に生成できることを確認した．レーザーの繰り返し照射回数は 8–15 回が適当であった．以上のレーザーパラメタは，5.2 節
で述べる技術評価の結果に基づいて決定した．

3.3

4.2

PCB との接続

最後に，一般的な金属ねじや釘を使用し，炭配線を電子部品や PCB に接続する．レーザー加工機やボール盤を使用し，炭配線の端子部分の中央に穴を開け，ねじや釘を差し込む．このとき，炭とねじとの接触面積を増やすため，ワッシャーやナットを利用している（図 2）．本論文の試作では，主に M2 のねじとナット，直径 6 mm のワッシャーを使用した．

4

CircWood

本節では，提案手法を用いることで可能となるセンサ機能と入出力について述べる．これにより，木の特性を生かした様々なインタラクションが実現できる．また金属ネジやヒンジなどの木工部品を利用し，通常の電子部品や PCB との接続が可能である．

4.1

センサ機能

タッチ／近接センシング，スライダー．提案手法
は，従来の静電容量式タッチセンサと同様の仕組み- 107 -

木工部品との接続

炭配線のコネクタとして，ねじ，釘，ヒンジ，錠な
どの，DIY で頻繁に使われるさまざまな金属製の木工部品が使用できる．3.3 節で述べたように，PCBを炭配線に接続するためにねじ，釘，インサートナッ
トなどを使用することができる．木板の両面にある2 本の炭配線は，ねじとハトメを使用し接続できる．
絶縁ステープルは，他の炭配線との不要な接触を防
ぐためのジャンパワイヤとして使用できる．また，ヒンジや錠，キャッチなどを使用し，2 枚の木板上の炭配線同士を接続可能である．引き戸に付いている
金属のローラと戸袋の金属レールは，引き戸と戸袋に作成された炭配線同士を接続するために使うことができる．さらに，ドアノブ，取手，ドアノッカー
は，これらの部品に人が接触したことを検出するために使用することができる．

55.1

炭化の最適化

適用可能な木材

提案手法を適用可能な木材を調査するため，さまざまな種類の木材を使用し 3 章の手順で炭を作成した．具体的には，ラワン合板と 8 種類の無垢材（ラワン，ヒノキ，桐，スギ，シナ，ブナ，ナラ，ウォー
ルナット）を使用した．また，燃焼を防ぎ炭素の発生を促す難燃剤を木材表面に塗布した場合の効果に

WISS 2021

図 3. 木材表面に生成した炭配線の例．(a) 本手法が適用可能な木材．ラワンや難燃剤を塗布したヒノキは導電性を持つ炭配線を生成できる．(b) 本手法に不向きな木材．炭の粒同士に間隔があり配線が十分に黒くならず，導電性が低い．

ついても検証した．難燃剤の成分はポリリン酸アンモニウムと硫酸アンモニウムであり，食品添加物なため環境にも人体にも無害である．
結果としては，ラワン材を用いて作成した炭の導電性が最も高く（面抵抗率: 30–75 Ω/sq）2 ，提案手法に適した素材であることがわかった．また，ヒノキの無垢材でも，難燃剤を塗布することで導電性を有する（∼76 Ω/sq）炭配線を作ることができた．
ラワンの無垢材に難燃剤を塗布するとさらに導電性が向上したが（∼25 Ω/sq），ラワン合板に難燃剤を塗布した場合，導電性が低下した（∼150 Ω/sq）．
これは，合板の層の間にある接着剤の影響であると推測される．以上より，最適な木材は，難燃剤を塗布したラワン無垢材，次いでラワン合板，難燃剤を塗布したヒノキ無垢材となった．材料によって木の風合いやさまざまな特性が異なるため，プロジェク
トに適した材料を選択することができる．
図 3 に木材表面に生成された炭配線の例を示す．
図 3 (a) に示すように，導電性を有する炭配線は全
体的に黒く，炭素の粒子で満たされている．一方，図3 (b) に示すように，十分な導電性が得られなかった炭配線（450 Ω/sq–非導通）は茶色っぽく，炭の粒子の間に隙間が見られ，十分な炭が生成できなかった様子が伺われる．導電性が低い炭配線は，ブナ，カシ，ウォールナットなどの硬い木や，スギなどの軟らかい木から生成される傾向があった．一方，導電性を有する炭配線は，ラワンやヒノキなどの中程度の硬さの木材から生成される傾向があった．

5.2

レーザーパラメタ

厚さ 4 mm のラワン合板を用いて，導電性の高い炭を作成するためのレーザー加工機の最適な設定パ
ラメタを調査した．この合板は表層の厚さが約 0.5mm，中間層の厚さが約 3 mm であり，炭は主に中間層に発生した．この合板による炭は，実験したラワン合板の中で最も高い導電性を示した．前節で述
べたように，導電性が低下するため，合板に難燃剤は塗布しなかった．使用したレーザー加工機は 3 節で述べたコマックス社の VD7050-60W である．
まず，焦点をぼかすためにレーザー加工機のス
2

テージを下げる距離の最適値を調査した．その結果，焦点距離から 5 mm 下げたとき，生成する炭配線の抵抗値が最も低くなることがわかった．レー
ザーの照射速度が低速な場合，レーザーのパワーを高くすると木が焼けてしまい，低くすると炭が発生しないなど調整が困難であったため，高速で繰り返し照射した．レーザーの最適な繰り返し照射回数を調査したところ，15 回目までは炭の抵抗値が低下し続けたが，16 回目には炭が焼け落ちて抵抗値が上昇することがわかった．以上までの調査で判明した
焦点ぼかし距離とレーザー照射回数を最適条件（焦点距離から 5mm 下，15 回繰り返し照射）として固定し，レーザーのパワーとスピードの最適値を調査した．結果としては，最も抵抗値が低かったのは 30
Ω/sq で，このときのパワーは 50 %（30 W），ス
ピードは 25 %（381 mm/s）であった．これらの設定値を最適パラメタとしてアプリケーションの実装時に使用した．
木材の種類が変わると最適パラメタにも若干の変化が見られた．厚手のラワン合板（1 mm 厚のベニ
ヤ 3 枚と 3 mm 厚のベニヤ 2 枚が交互に重ねられている）とラワン無垢材では，パワーとスピードの最適パラメタは上述の値と同じであったが，最適なレーザーのぼかし距離は焦点距離から 6 mm 下であった．このとき，ラワン合板上に生成した炭の最小抵抗値は 75 Ω/sq であった．ラワン無垢材は難燃剤を塗布するとさらに抵抗値が下がり，最小抵抗
値は 25 Ω/sq であった．難燃剤を塗布したヒノキを上述のパラメタで加工したところ燃えて切れてしまったため，最適パラメタのさらなる調査を行った．
その結果，最適なぼかし距離は焦点から 5 mm 下であり，パワー 30 %（18 W），スピード 30 %（457mm/s）で 8 回レーザーを繰り返し照射することが最適であることがわかった．このときの最小抵抗値
は 76 Ω/sq であった．以上の調査に基づき，表 1に提案手法の最終的な推奨設定を示す．

6
6.1

応用例

タッチスイッチ付き壁掛けボード

提案手法はベクタスキャン方式のレーザーを使用しており，ラスタスキャン方式より大型の回路を高作成した炭の抵抗値（R）を測定し，面抵抗率（Rs ）を
Rs = R×(線幅/線長) の公式に従い計算した．

- 108 -

CircWood: CW レーザー加工機による炭化を利用した木製回路基板

木材
ラワン無垢
ラワン合板
ラワン無垢
ヒノキ無垢

難燃剤
有
無
無
有

表 1. 提案手法の推奨パラメタ．抵抗値は測定できた最小値を示す．

パワー [W]

30
30
30
18

スピード [mm/s]

繰り返し

381
381
381
457

15
15
15
8

焦点ぼかし [mm]

6
5–6
6
5

抵抗値 [Ω/sq]

25
30–75
65
76

図 5. 衝撃履歴検出ボックス．(a) 箱の底に炭配線が作成されている．配線の破損はスマートフォンアプリ
で容易に検知できる．(b) 炭配線を介したタッチ入力が検出される．(c）衝撃を加えたところ，炭配線が破損し衝撃履歴が検出された．

図 4. (a) 調光ボード（ボード全体のサイズ：255
mm×155 mm）．矢印型のスイッチをタッチして光の色を制御できる．(b) エアコンの制御ボード（ボード全体のサイズ：167 mm×103 mm）．
スライダーに触れることで温度調節が可能である．

速に作成できる．よって，3 節で述べたような家電製品の制御ボードなど，スマートホーム向けのアプ
リケーション実装に適している．そこで，図 4 に示
すように，室内の調光用とエアコンの制御用の 2 種
類の壁掛けボードを実装した．それぞれのボードには Arduino を搭載した PCB が金属ねじで固定され，同時にそのねじにより炭配線との接続が行われている．調光用ボードでは，電球型のタッチスイッチでRGB ランプを点灯・消灯し，矢印型のタッチスイッ
チで光の色を変え，上下のスライダーで明るさを調整できる．エアコン制御ボードには，電源 ON/OFF
用のタッチスイッチと，温度調節用のアナログタッチ
式スライダーが搭載されている．タッチスイッチの実装には Arduino の Capacitive Sensing Libraryを使用した．今回は壁掛けボードとして試作したが，木製の壁全体に適用することで，より大規模な平面でのインタラクションも可能と考えている．

6.2

衝撃履歴検出ボックス

物流の用途に木箱が使われることがある．この木箱に提案手法を適用することで，木箱自体に衝撃履
歴を一度のみ検出する機能を付与できる．そこで，木箱の裏面に炭配線を作成し，大きな衝撃の履歴を検出する応用例を実装した（図 5）．Off-Line Sensing[19] の技術と同様に，スマートフォンのタッチスク
リーンでの静電容量センシングを利用して，炭配線の破損を検出した．配線が切れていない場合は，炭配線の一端を指で触れ，もう一端をタッチスクリー
ンに接触させると，タッチスクリーン上でのタッチ入力が発生する．この機能は木製の建材表面や梯子などにも応用でき，亀裂を検出することで劣化の検知が可能であると考えている．加わる衝撃とそれに応じて破損する配線パターンとの関係については今
後調査したい．

6.3

インタラクティブチェア

6.4

音量コントローラ

提案手法により，木製の椅子の座面や背面に荷重センサを作成可能である．図 6 (a) は，健康に悪影響を及ぼす長時間の静的な着座を防止するインタラ
クティブチェアを示す．この椅子の座面の裏側には
炭配線が作成されており，人の着座により座面が歪むと配線の抵抗値が増加する3 ．この抵抗値の変化を読み取ることで，着座状態を検出することができる．
長時間の着座を検出すると PC アプリケーションを介してユーザに通知し，姿勢を変えることを促す．
提案手法による回転角センサを利用し，ダイヤル式の音量コントローラを実装した（図 6(b)）．半円状の電極が作成された 2 枚の木板を向かい合わせに配置しネジで固定すると，2 個の電極が平行板可変
容量コンデンサとして機能する．ユーザが板を回転させると，2 個の電極の重なる部分の面積が変化し，
静電容量値が変化する．よって，板の回転による連3- 109 -

初期状態では約 26kΩ であり，420N 程度の座面への加圧で約 32 kΩ に変化した．

WISS 2021

図 6. (a) インタラクティブチェア．座面の裏に炭配線が作成されている．長時間の静的な着座を検出す
ると，ユーザに通知を行い姿勢の変更を促す．(b)
木製の音量コントローラ．ダイヤルを回すことでス
マートスピーカの音量を調節できる．

図 7. (a) 木製の収納ボックス．箱の内面に，マグネッ
トキャッチ，ヒンジ，L 字金具を用いて炭配線の閉回路を作成した．ユーザが扉を開けると閉回路が切断され，箱内部の LED が自動的に点灯する．(b)タッチセンシングが可能なドアノブ．

続的な静電容量値の変化を読み取ることで，スマー
トスピーカの音量を制御することができる．

6.5 木工部品を使用した木製品との接続
3.3 節で述べたように，提案手法は多様な木工部

品を炭配線のコネクタとして使用できる．そこで，マグネットキャッチ，ヒンジ，L 字金具をコネクタとして使用し，木製の収納ボックスを実装した（図7 (a)）．これら 3 個の部品は箱の内側の板の境界部分に設置されており，部品を介して異なる板上の炭配線が接続され，閉回路が形成されている．ユーザ
がこの箱を開けると，マグネットキャッチが分離し，閉回路が切断される．この電気的な断線を Arduino
で検出し，扉が開くと箱内部の LED が自動点灯す
るアプリケーションを実装した．この構成により，扉の開閉をネットワーク経由で通知する機能も容易に実装できる．本手法は配線材と電子部品を使用した回路作成と比較し，木材に馴染んだ実装が可能であり，PCB のように複数生産にも向いている．
金属製のドアノブによるタッチセンシングを利用し，ドアの開閉を検知することもできる（図 7 (b)）．
提案手法を木製のドアに適用することで，ドアに直接センシング機能を付加し，ドアノブを介した自然なタッチインタラクションを実現可能である．

7

議論と結論

ラスタスキャン方式のレーザーを用いてグラフェンを作成する既存技術 [2, 11] に比べ，提案手法ではベクタスキャン方式のレーザーを用いることで，大規模な炭による回路を短時間で作成することが可能である．このことを示すために，合計 1,000 mm
長の炭配線がある 100 mm 四方の回路パターン例

を作成する場合に要する時間を計算した4 ．論文に示されている情報によると，この回路を作製するためのレーザーのラスタースキャンラインの全長は，[2]5 では 393,700 mm，[11]6 では 236,200 mm である．[2] では，導電性が最も高い配線の作成に必要なレーザー速度は 150 mm/s で，3 回繰り返しスキャンをしている．よって，回路作成の所用時間は 7,874
秒（393,700/150×3）である．また，[11] では，導電性が最も高い配線の作成に必要なレーザー速度は10 mm/s でスキャン回数は 1 回である．よって，所要時間は 23,620 秒（236,200/10）である．提案手法では，5.2 節で述べたように，最適なレーザー速
度は 381 mm/s で，スキャンは 15 回繰り返される．
よって所要時間は 39.4 秒（1,000/381×15）となる．
したがって，提案手法はラスタスキャンを用いる既存手法 [2] と比べると 200 倍，[11] と比べると 600
倍の高速化を実現した．
以上のように，本研究では，CW レーザー光の焦点をぼかし，繰り返しベクタスキャニングを行う手法を提案し，レーザーによる炭の回路の作成を高速化した．また，DIY で使用される木工部品による接続手法も提案することで，炭による回路やセンサのファブリケーションが可能であることを示した．
さらに，木材やレーザーパラメタなどの最適条件について調査し，ファブリケーションの際の指針を示した．そして，多様なセンサや回路を使用した応用例を実装し，生活空間内での木製品とのインタラク
ションを実現した．今後は配線パターンの設計支援
ソフトウェアを実装予定である．また，異なるレーザー加工機での実現可能性，長期の耐久性，スケー
ラビリティについて調査を行う予定である．
レーザーヘッドの帰線移動時間などは除く．
100 mm 四方を 1000DPI でラスタスキャニング．
6
100 mm 四方を 600DPI 以上でラスタスキャニング（線幅 40 µm として報告されている）．
4
5- 110 -

謝辞

CircWood: CW レーザー加工機による炭化を利用した木製回路基板

of Interactive Textile Prototypes. In Proceedingsof the 2020 CHI Conference on Human Factors
in Computing Systems, CHI ’20, pp. 93:1–93:14,
2020.
[11] T.-S. D. Le, S. Park, J. An, P. S. Lee, and Y.-J.
Kim. Ultrafast Laser Pulses Enable One-Step
Graphene Patterning on Woods and Leaves forGreen Electronics. Advanced Functional Materials, 29(33):1902771, 2019.

本研究の一部は JSPS 科研費 21J13365 の助成を受けたものである．

参考文献[1] V. P. C and D. Wigdor. Printem: InstantPrinted Circuit Boards with Standard OfficePrinters & Inks. In Proceedings of the 28th Annual ACM Symposium on User Interface Software and Technology, UIST ’15, pp. 243–251,
2015.
[2] Y. Chyan, R. Ye, Y. Li, S. P. Singh, C. J.
Arnusch, and J. M. Tour.
Laser-Induced
Graphene by Multiple Lasing: Toward Electronics on Cloth, Paper, and Food. ACS Nano,
12(3):2176–2183, 2018.

[12] H. Manabe and W. Yamada. A Capacitive
Touch Sensing Technique with Series-connected
Sensing Electrodes. In Proceedings of the 30th
Annual ACM Symposium on User Interface
Software and Technology, UIST ’17, pp. 645–
654, 2017.
[13] S. Mueller, B. Kruck, and P. Baudisch. LaserOrigami: Laser-Cutting 3D Objects. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’13, pp. 2585–
2592, 2013.
[14] S. Olberding, S. Soto Ortega, K. Hildebrandt,
and J. Steimle. Foldio: Digital Fabrication ofInteractive and Shape-Changing Objects With
Foldable Printed Electronics. In Proceedings ofthe 28th Annual ACM Symposium on User Interface Software and Technology, UIST ’15, pp.
223–232, 2015.
[15] S. Olberding, M. Wessely, and J. Steimle.
PrintScreen: Fabricating Highly CustomizableThin-film Touch-displays. In Proceedings of the27th Annual ACM Symposium on User Interface Software and Technology, UIST ’14, pp.
281–290, 2014.
[16] W. Pachler, J. Grosinger, W. Bösch, G. Holweg, K. Popovic, A. Blümel, and E. J. W.
List-Kratochvil. A silver inkjet printed ferrite
NFC antenna. In 2014 Loughborough Antennas
and Propagation Conference (LAPC), pp. 95–
99, 2014.
[17] K. Saito, T. Nakamura, K. Kamezawa, R. Ikeda,
Y. Hashimoto, and B. Shizuki. Japanese Patterns as NFC Antennas for Interactive Urushiware. In Proceedings of the Fourteenth International Conference on Tangible, Embedded, andEmbodied Interaction, TEI ’20, pp. 443–451,
2020.
[18] V. Savage, X. Zhang, and B. Hartmann. Midas:
Fabricating Custom Capacitive Touch Sensors
to Prototype Interactive Objects. In Proceedings of the 25th Annual ACM Symposium on
User Interface Software and Technology, UIST
’12, pp. 579–588, 2012.
[19] M. Schmitz, M. Herbers, N. Dezfuli, S. Günther,and M. Mühlhäuser. Off-Line Sensing: Memorizing Interactions in Passive 3D-Printed Objects. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems,
CHI ’18, pp. 182:1–182:8, 2018.
[20] N. Segawa, K. Kato, and H. Manabe. Rapid
Prototyping of Paper Electronics Using a Metal
Leaf and Laser Printer. In The Adjunct Publication of the 32nd Annual ACM Symposium on
User Interface Software and Technology, UIST
’19, pp. 99–101, 2019.

[3] N.-W. Gong, J. Steimle, S. Olberding,
S. Hodges, N. E. Gillian, Y. Kawahara, andJ. A. Paradiso. PrintSense: A Versatile Sensing
Technique to Support Multimodal Flexible
Surface Interaction.
In Proceedings of the
SIGCHI Conference on Human Factors in
Computing Systems, CHI ’14, pp. 1407–1410,
2014.
[4] D. Groeger and J. Steimle. ObjectSkin: Augmenting Everyday Objects with Hydroprinted
Touch Sensors and Displays.
Proc. ACMInteract. Mob. Wearable Ubiquitous Technol.,
1(4):134:1–134:23, 2018.
[5] D. Groeger and J. Steimle. LASEC: Instant
Fabrication of Stretchable Circuits Using a
Laser Cutter. In Proceedings of the 2019 CHI
Conference on Human Factors in Computing
Systems, CHI ’19, pp. 699:1–699:14, 2019.
[6] A. Ishii, K. Kato, K. Ikematsu, Y. Kawahara,
and I. Siio. Fabricating Wooden Circuit Boards
by Laser Beam Machining. In The Adjunct Publication of the 34th Annual ACM Symposium on
User Interface Software and Technology, UIST
’21 Adjunct, pp. 109–111, 2021.
[7] Ç. Karataş and M. Gruteser. Printing multikey touch interfaces. In Proceedings of the 2015
ACM International Joint Conference on Pervasive and Ubiquitous Computing, UbiComp ’15,
pp. 169–179, 2015.
[8] Y. Kawahara, S. Hodges, B. S. Cook, C. Zhang,and G. D. Abowd. Instant Inkjet Circuits: Labbased Inkjet Printing to Support Rapid Prototyping of UbiComp Devices. In Proceedings ofthe 2013 ACM International Joint Conference
on Pervasive and Ubiquitous Computing, UbiComp ’13, pp. 363–372, 2013.
[9] A. Khan, J. S. Roo, T. Kraus, and J. Steimle.
Soft Inkjet Circuits: Rapid Multi-Material Fabrication of Soft Circuits Using a Commodity
Inkjet Printer. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology, UIST ’19, pp. 341–354,
2019.
[10] K. Klamka, R. Dachselt, and J. Steimle. Rapid
Iron-On User Interfaces: Hands-on Fabrication- 111 -WISS 2021

[21] T. Ta, M. Fukumoto, K. Narumi, S. Shino,
Y. Kawahara, and T. Asami. Interconnection
and double layer for flexible electronic circuitwith instant inkjet circuits. In Proceedings ofthe 2015 ACM International Joint Conference
on Pervasive and Ubiquitous Computing, UbiComp ’15, pp. 181–190, 2015.
[22] M. Tsuruta, S. Nakamae, and B. Shizuki. RootCap: Touch Detection on Multi-electrodes using Single-line Connected Capacitive Sensing.
In Proceedings of the 2016 ACM International
Conference on Interactive Surfaces and Spaces,
ISS ’16, pp. 23–32, 2016.
[23] U. Umapathi, H.-T. Chen, S. Mueller, L. Wall,
A. Seufert, and P. Baudisch. LaserStacker:
Fabricating 3D Objects by Laser Cutting and
Welding. In Proceedings of the 28th Annual
ACM Symposium on User Interface Software
and Technology, UIST ’15, pp. 575–582, 2015.
[24] Y. Wang, J. Zhou, H. Li, T. Zhang, M. Gao,
Z. Cheng, C. Yu, S. Patel, and Y. Shi. FlexTouch: Enabling Large-Scale Interaction Sensing Beyond Touchscreens Using Flexible andConductive Materials. Proc. ACM Interact.

Mob. Wearable Ubiquitous Technol., 3(3):109:1–
109:20, 2019.
[25] M. Wessely, T. Sethapakdi, C. Castillo, J. C.
Snowden, O. Hanton, I. P. S. Qamar, M. Fraser,
A. Roudaut, and S. Mueller. Sprayable User
Interfaces: Prototyping Large-Scale Interactive
Surfaces with Sensors and Displays. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, CHI ’20,
pp. 122:1–122:12, 2020.
[26] R. Ye, Y. Chyan, J. Zhang, Y. Li, X. Han,
C. Kittrell, and J. M. Tour. Laser-induced
graphene formation on wood. Advanced Materials, 29(37):1702211, 2017.
[27] Y. Zhang, G. Laput, and C. Harrison. Electrick: Low-Cost Touch Sensing Using Electric
Field Tomography. In Proceedings of the 2017
CHI Conference on Human Factors in Computing Systems, CHI ’17, pp. 1–14. 2017.
[28] C. Zheng, H. Oh, L. Devendorf, and E. Y.-L. Do.
Sensing Kirigami. In Proceedings of the 2019 on
Designing Interactive Systems Conference, DIS’19, pp. 921–934, 2019.

- 112 -

ペイント可能なタイムラインによる対話的なハイパーパラメータ最適化
樋口啓太 ∗

佐野 正太郎 ∗WISS 2021

五十嵐 健夫 †∗概要. 本論文では，ハイパーパラメータの自動最適化システムにインタラクティブ性を持たせ，ユーザのパラメータ分布に関する事前知識を活用する手法を提案する．本手法では，ユーザは自動最適化の進捗状
況を継続的に観察し，パラメータ空間のどこを探索するかを動的に指定する．本手法の実現可能性を示す
ために，最適化システムのためのインタラクティブダッシュボードのプロトタイプを実装した．インタラク
ティブなダッシュボードの主な特徴は「ペイント可能なタイムライン」であり，ユーザは標準的なタイムラ
インのように試行が行われた過去のパラメータ値を観察するだけでなく，簡単なペイント操作でパラメー
タの選択範囲を指定することができる．機械学習の専門家への聞き取りに基づき設計した，ユーザの介入によりパフォーマンスが向上すると考えられる 3 つのパラメータ最適化問題の例を紹介する．また，専門家を対象とした実験を実施し，対象となる問題のパラメータ分布に関する事前知識があれば，インタラク
ティブな最適化は完全な自動最適化と比較して良い結果を得ることができることを示した．

1

はじめに

ハイパーパラメータの最適化は，機械学習を用いたアプリケーションの開発において重要だが，時間と手間のかかる作業である．ディープニューラルネッ
トワーク（DNN）のハイパーパラメータを最適化するには，数時間から数日かかることもあるため，この作業を高速化する手法があれば，実用上大きな価値がある．従来の最適化手法は，手動最適化と自動最適化の 2 つのアプローチに分けられる．自動最適化によって，開発者は試行錯誤から解放される．
しかし，機械学習技術の専門家への聞き取り調査では，いくつかの理由により，自動最適化が手動最適化に完全に取って代わるには至っていないことがわ
かった [12]．第一に，パラメータ最適化では，最適化対象のパラメータ選定や探索範囲など探索空間が大きくなる．専門家がパラメータ最適化をより効率的に行うためには，対象となる問題のパラメータ分
布に関する独自のドメイン知識を活用する必要がある．また，自動最適化を行うためには，対象となる探索空間が明確に定義されている必要がある． しかし，現実の最適化問題では，最適化結果の質，計
算時間，計算コストなど，複数のトレードオフが存在することが多く，適切な探索空間が探索前に明確に定義されているとは限らない．そのため，開発者
は探索を実行した後，中間結果を観察して探索空間を修正する必要があることが多い．
このような自動最適化の限界を解決するために，
本研究では自動最適化システムにインタラクティブ性を取り入れた対話型ハイパーパラメータ最適化を提案する．このアプローチは，ユーザがハイパーパ∗†

Preferred Networks
東京大学- 113 -

ラメータ最適化プロセスを観察したり介入したりすることで，パラメータ分布に関するユーザのドメイ
ン知識を活用することを目的としている．インタラ
クティブ最適化では，ユーザは自動最適化の進行状況を観察し，それに基づいて探索空間（どのパラメー
タ範囲を探索するか）を動的に変更できる．本研究では，対話型最適化の実現可能性と有効性を示すために，対話型ダッシュボードというプロトタイプを開発した．このダッシュボードは，最適化システムのブラウザベースのフロントエンドとして機能する．
このシステムの主な特徴は，「ペイント可能なタイムライン」である．このタイムラインは，既存の最適化システムで最適化プロセスの進捗状況を示す典型
的な可視化に似ているが，それに加えて探索空間をリアルタイムに設定できる機能を備えている．ユー
ザは，対象となる問題に関する事前知識があれば，過去の試行結果から最適解が存在する可能性の高い領域を推定し，今後の試行ではその領域に注目する
ようシステムに指示することができる．その結果，システムは有望な探索空間により多くの時間を費やすことができ，最終的な最適化結果をより向上させることができ得る．

2
2.1

関連研究

自動パラメータ最適化のフレームワーク

ハイパーパラメータ最適化とは，目的関数の値を最大化する最適なハイパーパラメータを求める問題である．自動最適化システムでは，パラメータのサンプリング戦略（ベイジアン，ランダム，進化計算など）を用いてユーザが定義したパラメータ空間を探索する [22, 4, 5])．また，近年の自動最適化システム
では，最適化コードを記述することなく，目標パラ
メータと目的関数を定義するだけで最適化を実行で

WISS 2021

きるフレームワークが提供されている [1, 11, 6]．これらのフレームワークは，機械学習アプリケーションの開発だけでなく，シミュレーションや材料解析などにも利用されている [7, 20, 16, 19] しかし，これらのフレームワークでは，探索中のユーザの介入が制限されている．本研究では，探索中にユーザがパラメータ探索範囲を変更できるようにし，専門家のドメイン知識を活用して探索を効率化する手法を
実現した．

2.2

AutoML への人間の介入はフリーハンドのスケッチを時系列データへのクエ
リとして用いている [13, 17]．Mannino と Azza は人
工的なデータの合成にもスケッチを用いている [18]．
Asai ら は散布図へのスケッチとペイントをデータ合成と編集に用いている [2]．本研究の提案インタラ
クションは，過去の最適化結果を観察しながら，未来のパラメータ探索範囲を制御するためにペイントを使用するという点で新規性がある．

3

2.3

インタラクティブビジュアライゼーション

AutoML とは機械学習モデルの構築や学習を自動化しようとするものである。AutoML は，機械学習の専門家でなくても利用できることを目指して開発されており，先行研究では，AutoML システ
ムへの人間の介入方法が検討されている．Gil らは
Human-Guided 機械学習を提案し，それに適したタスクや要件を検討している [10, 9]．Santos らは，機械学習に不慣れな専門家のための対話型 AutoMLシステム Visus を開発した [21]．また，AutoML シ
ステムのヒューマンファクタを調査した結果，可視化の重要性やユーザと AI の協調の重要性が明らかになった．本研究では，ハイパーパラメータ最適化に着目し，そのプロセスに人間が介在する方法を提案している．
本研究は，機械学習システムの制御のために設計された対話的な可視化技術にヒントを得ている．
ManiMatrix では，ユーザが混同行列を直接操作して分類器の内部パラメータを調整することができる[14]．Dis-function は，ユーザが散布図を直接操作して，距離関数を調整することができる [8]．彼ら
は，本研究と同様に，システムの監視と制御のために可視化を使用している．また，既存のシステムがス
ナップショットの制御を主目的としているのに対し，
本研究ではタイムライン型の可視化を活用すること
で，過去の試行のモニタリングと未来の試行の制御
をシームレスに統合するアイデアを提案している．
本研究は Klau らによる Human-Guided Searchの影響も受けており [15]，HuGS では最適化問題への人間の介入の重要性を強調し，組み合わせ最適化を解くための視覚的なメタファーを提供した．彼ら
は，そのアプローチの有効性を 4 つの事例（グラフレイアウト，経路探索，タンパク質フォールディン
グ，タスクスケジューリング）で実証した．本研究は同じ最適化への人間の介入に着目しているが，ハイパーパラメータ（ブラックボックス）最適化のための技術を提案している．
ペイントやスケッチは，データとのインタラク
ションによく使われる．Baudisch は時間間隔を指定するためにペイントを使用した [3]．Hochheiser と- 114 -

Shneiderman はラバーバンドを，Mannino と Azza

提案システム本研究では，専門家へのインタビューを行い，対話型パラメータ最適化の要件と望ましい機能を明らかにした [12]．その結果，パラメータの範囲に関する専門家の予備知識は重要であるが，それを活用して効率的なパラメータチューニングを実現することは容易ではないことがわかった．
このセクションでは，専門家へのインタビューで明らかになった完全自動最適化の限界を解決するために設計したインタラクティブダッシュボードについて説明する．専門家は，パラメータ分布に関する事前の知識を活用することが重要であると指摘したが，既存のフレームワークではパラメータ探索範囲
を動的に変更する機能が限られていた．そこで本研
究では，ハイパーパラメータ最適化フレームワークに対話的な機能を導入する．この本提案は，ユーザが最適化の進捗状況を観察するだけでなく，最適化
プロセスをその場で制御することができる，対話的な最適化をサポートしている．ユーザは，探索の詳
細なスケジュール（パラメータ空間のどの領域をいつ探索する必要があるか）を探索前に設定することができ，また，探索中にスケジュールを動的に変更することもできる．

3.1

可視化

インタラクティブダッシュボードは，ハイパーパ
ラメータチューニングシステムのフロントエンドとして機能する．現在の実装は，特定のハイパーパラ
メータ探索フレームワーク（Optuna）用に設計されているが，基本的なアイデアは他のフレームワー
クにも適用できるはずである．図 1 に本システムのスクリーンショットを示す．主に，ノブ付きのスケ
ジュールパネル，スコアパネル，パラメータパネルで構成されている．スコアパネルは，一般的なダッシュボードのタイムラインビューに似ている．過去の試行のスコアを可視化し，最適化の進捗状況を示す．スケジュールパネルは，過去と未来の最後までの試行回数を表示する．ノブを使って，ハイパーパ
ラメータ最適化の試行回数を設定・追加することができる．パラメータパネルは，ペイント可能なタイ
ムライン機能を持つ本システムの主要部分である．
過去にどのようなパラメータ値が検討され，将来どペイント可能なタイムラインによる対話的なハイパーパラメータ最適化.QRE

Schedule Panel
Score Panel

Parameter Panel

図 1. プロトタイプシステムのスクリーンショット．

のような値が検討されるかを可視化する．また，将来的にどのようなパラメータ値を検討しなければならないかを簡単に設定することができる．また，パラメータパネルには，集約されたビュー（右）とパラメータの推定重要度（左上）が表示される．パラ
メータパネルでは，高次元のパラメータも扱うことができる．各次元（パラメータ）は，下部の水平パネルで表現され，任意の数の次元を追加することができる．
ペイント可能なタイムラインは，左から順に，過去，現在，未来の試行を表示する．過去のトライア
ルでは，テストされたパラメータ値とそのスコアが可視化される．また，現在のトライアルでは，テストされているがスコアのないパラメータ値が可視化される．トライアルのスコア，パラメータの範囲，選択された値は，縦方向に配置される．スコアパネ
ルはスコアを，パラメータパネルは選択されたパラメータを，それぞれ円で表現する．例えば，図 1 では，最初のトライアルで，スコアが 0.56，パラメー
タ x が 0.01，パラメータ y が 0.00 であることを示している．円の色は，各試行の相対的なスコアを示しており，色が濃いほどスコアが良いことを示している．最良のスコアを得た試行の結果は，黄色の円で表される．未来の試行では，検討すべきパラメー
タ値の範囲をピンクの帯で可視化している．スコアとパラメータのパネルでは，円の後ろにある短い線
が，相対的な一試行あたりの計算時間を示している．

3.2

ユーザインタラクション

ペイント可能なタイムラインは，パラメータ探索
範囲を可視化するだけでなく，ペイント操作により探索範囲を変更できる．現在の実装では，3 種類のペイント操作をサポートしている．一つ目は，空白領域から始めるラバーバンド操作である（図 2 左）．
ユーザがタイムライン上でドラッグ操作を開始すると，システムはラバーバンドを表示する．ユーザは，- 115 -

輪ゴムの境界をドラッグするか，下限値と上限値を数値で入力して，ボックスの位置と大きさを調整す
る．次に，set ボタンを押すと，探索するパラメータの範囲を設定することができる．また，グリッド数を指定することで，指定した領域を分割してグリッド探索を行うこともできる．2 つ目の操作は，パラメータ範囲の境界をドラッグすることである（Fig 2中）．境界線にマウスカーソルを合わせると，境界線がハイライトされる．ユーザはマウスを下にクリッ
クして境界をつかみ，任意の場所にドラッグする．
その後，ユーザは “set” を押して，パラメータの範囲を更新する．3 つ目は，過去の試行の選択である(図 2 右）．ユーザは，ラバーバンドを使って 1 つまたは複数の試行を選択する．すると，システムは，選択された試行から下界と上界をとったラバーバン
ドを表示する．これは，過去の試行に基づいて，ス
コアの高い領域や低い領域を指定することができる．
ペイント可能なタイムラインは，ユーザのドメイ
ン知識や判断を活用して，探索を効率化するように設計されている．図 3 に提案システムを用いたパ
ラメータ最適化の様子を示す．まず，最適化の際に，ユーザはペイント可能なタイムラインを利用して探索空間を徐々に狭めていくことができる． 過去の試行結果やスコアの推定結果を見ながら，どの範囲を探索すれば効率的な探索ができるかを判断することができる．これは，分布が滑らかであり，与えられた範囲内に単一の最適値があることをユーザが知っている場合に有効である．次に，パラメータ値を変えてみる必要がなくなったと判断した場合には，探索中にパラメータ値を固定することができる．このようにして，自動最適化は他のパラメータに集中することができる．3 つ目は，ユーザが，どのパラメー
タ空間をいつ探索するかを指定することで，今後の探索のスケジュールを立てることである．例えば，
ある特定のパラメータ値の組み合わせが有望である
ことがわかっている場合（例：パラメータ X が高い
ときはパラメータ Y も高いはず），ペイント可能なタイムラインを使って特定の領域を探索させることもできるし，半自動のグリッド探索に使うこともできる． ユーザは，ペイント可能なタイムラインを使って，グリッドセルを指定する．すると，システ
ムは各グリッドセル内を探索する．これは，一様に探索を行う必要があることがわかっている場合に有効である．第 4 に，スコアパネルの過去の試行をラバーバンドで選択し，選択した試行のパラメータの範囲を設定することができる． これは，数回の試行を経て，有望なパラメータの範囲に探索を集中させるのに有効である．

3.3

実装

本研究では，ブラックボックス最適化フレームワー
クである Optuna [1] を用いてプロトタイプシステ

WISS 2021

Press-Drag-Release

Press

Press-Drag

Drag-Release

Release

図 4. 例 1: 対角線上の分布

or

ア分布（最適解がどこに分布しているか）について
何らかの事前知識を持っていることを前提としている．この事前知識は，問題の構造に関する既存のドメ
イン固有の知識から得られるものと，類似の問題に対する過去の最適化の経験から得られるものがある．
また，ユーザは，スコア分布は共通しているが，実際の最適スコアやそのパラメータ値が異なる類似の問題に繰り返し取り組むことを想定している．ユー
ザは，インタラクティブな最適化の方法を徐々に学び，その経験を活用して，より効率的な探索を実現する．

図 2. 実装されているペイント操作．左: 矩形を描く．
中: 境界を移動する．右: 過去の試行を選択する．

4.1

図 3. (1) 探索空間を狭める (2) パラメータの固定 (3)グリッド探索 (4) 過去試行の選択

ムを実装した．このフレームワークでは，ハイパーパ
ラメータ候補を自動的にサンプリングするための複数のアルゴリズムを Sampler としてサポートしており，これを拡張してユーザ定義のサンプリングアル
ゴリズムを実装することができる．本研究ではインタラクティブなハイパーパラメータ最適化のバックエンドシステムとして，interactive sampler を開発した．フロントエンドとバックエンドは WebSocket
介してパラメータ範囲や最適化結果などを通信する。
この実装では，ユーザがインタラクティブハイパー
パラメータ最適化を利用するために，オリジナルのコードを大幅に変更する必要はないという利点がある．

4

利用シナリオ

このセクションでは，インタラクティブな最適化の利用例を 3 つ紹介する．専門家へのインタビューで語られた代表的な事例をもとに例題を作成した．
スコア分布の事前知識を用いた対話的な最適化が完
全な自動探索よりも優れていると考えられる 3 つのケースをピックアップし，事前知識を活用して探索を誘導するためのペイント可能なタイムラインの使用方法を説明する．3 つの例とも，操作画面のスクリーンショットは実際のインタラクティブな最適化の結果を示している．
ここでは，ユーザが対象となる最適化問題のスコ例 1: 対角線上の分布最初の例では，パラメータ間に相関があり，最適解が対角線領域の近くに位置する場合を示している．
図 4）． この例ではパラメータ x が小さければ，パラメータ y も小さくなるはずであり．パラメータ xが大きければ，パラメータ y も大きいはずであるという事前知識がある．この例は，DNN の学習では、学習率とバッチサイズに相関関係があることが知られていることから考案した（学習率が大きいときは、
バッチサイズも大きくする必要がある） [23]．探索
空間を対角線付近に限定することで，効率的な探索を行うことができる．図 4 にスコア分布とインタラ
クティブ最適化の結果を示す．ユーザはまず，自動最適化に任せてパラメータ空間全体を探索する．しばらくして，30 回目くらいの試行で，x と y の両方が高いところでは，おおむねスコアが高いことがわ
かってくる．続いて，ペイント可能なタイムラインを使って探索空間を絞り込む．スコアの高いサンプルが集中していることを観察しながら，さらに探索空間を絞り込むことができる．その結果，自動最適化よりも対話型最適化の方が，最も有望な領域を効率的に探索することができるため，高いスコアが得られることがある．

4.2 例 2: 支配的パラメータ
2 番目の例は，パラメータ x が支配的で，パラメータ y のスコアへの影響が限定的な場合である（図 5）．この場合，まず最適なパラメータ x を探索し，次にパラメータ x を固定して最適なパラメー
タ y を探索するのが最適な戦略となる．図 5 にス

- 116 -

コア分布と対話型最適化の結果を示す．ユーザはまペイント可能なタイムラインによる対話的なハイパーパラメータ最適化

図 5. 例 2: 支配的パラメータ

図 6. 例 3: 孤立領域

ず，自動最適化に任せてパラメータ空間全体を探索する．しばらくして，40 回目くらいの試行で，あるパラメータ x の値でスコアが全般的に高くなることが明らかになった．その結果，自動最適化よりも対話型最適化の方が，有望でない領域を無駄に探さずに済むため，高いスコアが得られる可能性がある．

4.3 例 3: 孤立領域
3 つ目の例は，最高スコアが低スコア領域の中央に位置するケースである（図 6）．このような場合，自動最適化では，低スコアの周辺にある高スコアの領域（平地）に焦点を当て，低スコアの領域を無視することが多いため，特に難しい．しかし，このよ
うな予備知識があれば，意図的に低スコア領域を探索することで最適解を得ることができる．図 6 に
この例のスコア分布と対話型最適化の結果を示す．
ユーザはまず，自動最適化にパラメータ空間全体を探索させる．しばらくして，試行回数 30 回目くらいになると，ある領域でスコアが全体的に低くなっている．そこで，ペイント可能なタイムラインを使って，スコアの低い領域を探索するように指示する．
最終的には，孤立した島を見つける．これは，完全な自動探索では難しいことである．

5

ユーザ実験

本研究では提案手法であるペイント可能なタイム
ラインを用いたインタラクティブな最適化の効果を検証するために，ユーザ実験を実施した．本実験の目的は，スコア分布に関する事前知識を用いたイン
タラクティブな最適化が，いくつかの特定ケースにおいて自動最適化よりも優れているかどうかを確認することである．

- 117 -

5.1

仮定

5.2

実験条件

ユーザ実験のシナリオとして，2 つの重要な前提を置いている．第一に，ユーザは対象となる問題タ
イプにすでに精通しており，何度か取り組んだことがあると仮定する．具体的には，スコアの全体的な分布特性や，効率的な探索のための対話型最適化の際の探索範囲の絞り込み方などをすでに知っている．
理想的には，研究参加者に何度もその問題タイプに取り組んでもらい，自分で戦略を見つけてもらうのがベストである．しかし，ユーザ実験としてはかなりの時間を要するため，分布と探索戦略を参加者に教えている．
次に，探索には数時間から数日といった相応の時間がかかることを想定している．自動探索で数秒から数分で最適解が見つかるのであれば，ユーザの介入は必要ないかもしれない．インタラクティブな最適化が有効になるのは，全体の探索時間が対話時間
よりもはるかに長い場合である．理想的には，最適化に数時間から数日かかるような問題を研究対象とするのがベストである．しかし，ユーザ実験としてはかなりの時間を要するため，1 分以内に終わるよ
うな小さな最適化問題を大きな問題の代用としている．参加者には，何時間も何日もかかる問題が前提なので，ユーザとの対話の時間を最短にしようとする必要はないと伝えている．より良いスコアを見つけることは，インタラクションの時間を短くすることよりも重要であると伝えた．
この研究には 7 人の機械学習の専門家が参加した．
参加者の数が限られているのは，手動および自動最適化を用いたハイパーパラメータチューニングに十分な経験を持つ専門家が必要だからである．参加者
は全員，著書の所属する社内から協力を得たエンジ
ニアもしくはリサーチャーである，7 名のうち 5 名
は仕事の一環としてハイパーパラメータチューニン
グに取り組んでいる．彼らは全員，事前の専門家インタビューに参加している．すべてのユーザ実験のセッションは，オンラインで行われた．各参加者は，3 種類の問題からなる 15 のインタラクティブ最適化
タスクに取り組み，それぞれの問題には 5 つのバリ
エーションがあった．この 3 つのタイプは，4 章で示した例から取られている．各タイプの問題には，ランダムに 5 つのバリエーションを用意し，参加者全員に同じセットを使用した．参加者が与えられたタスクを完了するのに約 1 時間かかった．
まず，参加者に提案システムの使い方を説明し，UI 利用の練習をしてもらった．その後，問題の種類ごとに 1 つずつ取り組んでもらった．問題の種類ごとに，探索の誘導方法をデモで説明し，参加者は練習として同じ問題に取り組んだ．説明は口頭で行い，スコア分布の可視化は見せなかった．

WISS 2021

参加者は説明を受けた後，メインタスクとして 15の課題に取り組んだ．参加者は課題中にいつでも説明を読むことができた．5 つのバリエーションは，一般的な特徴は共通しているが，実際の最適なスコアや場所は参加者にはわからないようになっている．
そのため，同じ探索戦略を用いても，試行の結果を見て，探索範囲をどこに設定するかを決める必要がある．

最適化の試行回数（パラメータのサンプリング回数）80 回の内で最高スコアを獲得してもらい，その結果を提案手法の interactive 条件とした．7 人の実験参加者が，1 つの問題タイプにつき 5 つのバ
リエーションに取り組むため，3 種類のタイプそれぞれに 35 の最適化結果が得られた．また，ベース
ラインとして，TPE アルゴリズムによりパラメー
タ探索を行った auto 条件を採用した． 80 回イテレーションの自動最適化を 5 つのバリエーションごとに 7 回行っているので，interactive 条件の場合と同様に，3 種類のタイプごとに 35 個のスコア結果が得られた．両条件とも最初は同じパラメータ範囲を使用しているが，対話型最適化では探索中に参加者が自由にパラメータ範囲を変更した．参加者には，最初の範囲内にベストスコアがあることを伝えた．
また，十分に細かいグリッド（1000 × 1000）でグ
リッドサーチを行い，その結果を真の最適値とした．
手動探索と自動探索の性能は，それぞれのスコアを対応する真の最適値で割ることで測定する．また，interactive 条件では，80 試行中の介入時間を測定
した．

5.3

結果

図 7 は，ユーザ実験の最適化結果（ 得られたス
コア/最適値 ）を示している．1 つ目のタイプでは，
auto 条件と interactive 条件の平均性能は，それぞれ 0.931（SD：0.134），0.964（SD：0.104）となって
いる．2 つ目のタイプでは，auto 条件と interactive
条件の平均性能は，それぞれ 0.990（SD：0.007），
0.993（SD：0.005）であった．3 つ目のタイプでは，
auto 条件と interactive 条件でそれぞれ 0.859（SD：0.044），0.940（SD：0.070）となった．Shapiro–
Wilk 検定ではすべての結果に正規性が認められなかったため，Mann–Whitney U 検定を用いて両条
件での有意性を観察した．また，多重比較のために
Benjamini-Hochberg 法を用いて p 値を調整した．
検定の結果，すべての機能タイプで条件間に有意な差が見られた．interactive 条件における介入時間の平均は，第 1，第 2，第 3 のタイプで，それぞれ
100.8 秒（SD：58.0），54.7 秒（SD：30.6），114.9秒（SD：129.6）であった．

- 118 -

図 7. 実験結果．∗(p < 0.05) および ∗ ∗ (p < 0.001) はMann–Whitney U test における統計的有意差を示す．ここに示す相対スコアは，最適スコアをグ
リッドサーチで探した最適値で割ったものである．

5.4

議論

6

むすび

ユーザ実験の結果，3 つの具体的なケースにおいて，適切な探索戦略を用いたインタラクティブな最適化が自動最適化を上回ることが実証された．すべてのタスクにおいて，対話型の interactive 条件は自動最適化の auto 条件よりも高い平均性能を達成した．利用シナリオで説明したように，3 つの機能タ
イプでは，事前のドメイン知識が役立つことが予想された．特に，1 番目と 3 番目のタイプは，局所最適領域が大きいため，完全な自動最適化による探索には難しい問題だった．参加者は，説明から得た知識を利用して，パラメータの探索範囲を制御することに成功したことが観察された．このように，ユー
ザ実験では我々の予想が確認された結果となった．
今回の結果は，インタラクティブ最適化が多くの問題において有効だと示したものではない。今後より広範な実験によりインタラクティブ最適化がどのような問題に有用であるかを確認したい．
本研究では，対話型のハイパーパラメータ最適化を提案し，インタラクティブダッシュボードのプロ
トタイプを開発した．機械学習の専門家へのインタ
ビューをもとに，最適化の進行状況を観察したり，
ペイント操作でパラメータ探索範囲に介入できる機能を設計した．また，インタラクティブな最適化が効果的であると思われる 3 つの例を示した．インタ
ラクティブなハイパーパラメータ最適化の実現可能性を示すために，7 人の専門家を対象にユーザ実験を実施した．その結果，3 つの具体的な事例において，適切な探索戦略を用いた対話型最適化が完全な自動最適化よりも優れていることが示された．

参考文献

ペイント可能なタイムラインによる対話的なハイパーパラメータ最適化[1] T. Akiba, S. Sano, T. Yanase, T. Ohta, andM. Koyama. Optuna: A Next-Generation Hyperparameter Optimization Framework. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery andData Mining, KDD 19, p. 2623–2631, New
York, NY, USA, 2019. Association for Computing Machinery.
[2] K. Asai, T. Fukusato, and T. Igarashi. Integrated Development Environment with Interactive Scatter Plot for Examining Statistical Modeling. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems,
CHI ’20, p. 1–7, New York, NY, USA, 2020. Association for Computing Machinery.
[3] P. Baudisch. Don’t Click, Paint! Using Toggle Maps to Manipulate Sets of Toggle Switches.
In Proceedings of the 11th Annual ACM Symposium on User Interface Software and Technology, UIST ’98, p. 65–66, New York, NY, USA,1998. Association for Computing Machinery.
[4] J. Bergstra, R. Bardenet, Y. Bengio, and
B. Kégl. Algorithms for Hyper-Parameter Optimization. In Proceedings of the 24th International Conference on Neural Information Processing Systems, NIPS’11, p. 2546–2554, Red
Hook, NY, USA, 2011. Curran Associates Inc.
[5] J. Bergstra and Y. Bengio. Random Searchfor Hyper-Parameter Optimization. J. Mach.
Learn. Res., 13(null):281–305, Feb. 2012.
[6] J. Bergstra, B. Komer, C. Eliasmith, D. Yamins,
and D. D. Cox. Hyperopt: a Python libraryfor model selection and hyperparameter optimization. Computational Science & Discovery,
8(1):014008, jul 2015.
[7] J. Bergstra, D. Yamins, and D. D. Cox. Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for
Vision Architectures. ICML’13, p. I–115–I–123.
JMLR.org, 2013.
[8] E. T. Brown, J. Liu, C. E. Brodley, and
R. Chang. Dis-function: Learning distancefunctions interactively. In 2012 IEEE Conference on Visual Analytics Science and Technology (VAST), pp. 83–92. IEEE, 2012.
[9] Y. Gil, J. Honaker, S. Gupta, Y. Ma,
V. D’Orazio, D. Garijo, S. Gadewar, Q. Yang,
and N. Jahanshad. Towards Human-Guided
Machine Learning. In Proceedings of the 24th
International Conference on Intelligent User Interfaces, IUI ’19, p. 614–624, New York, NY,
USA, 2019. Association for Computing Machinery.
[10] Y. Gil, K.-T. Yao, V. Ratnakar, D. Garijo, G. V.
Steeg, P. Szekely, R. Brekelmans, M. Kejriwal,
F. Luo, and I.-H. Huang. P4ML: A Phased
Performance-Based Pipeline Planner for Automated Machine Learning. In Proceedings of Machine Learning Research, ICML 2018 AutoML
Workshop, 2018.
[11] D. Golovin, B. Solnik, S. Moitra, G. Kochanski,
J. Karro, and D. Sculley. Google Vizier: A Service for Black-Box Optimization. In Proceedingsof the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD 17, p. 1487–1495, New York, NY,
USA, 2017. Association for Computing Machinery.
[12] K. Higuchi, S. Sano, and T. Igarashi. Interactive
Hyperparameter Optimization with Paintable
Timelines. In Designing Interactive Systems
Conference 2021, DIS ’21, p. 1518–1528, New
York, NY, USA, 2021. Association for Computing Machinery.
[13] H. Hochheiser and B. Shneiderman. Dynamic
Query Tools for Time Series Data Sets: Timebox Widgets for Interactive Exploration. Information Visualization, 3(1):1–18, 2004.
[14] A. Kapoor, B. Lee, D. Tan, and E. Horvitz.
Interactive Optimization for Steering Machine
Classification. In Proceedings of the SIGCHI
Conference on Human Factors in Computing
Systems, CHI ’10, p. 1343–1352, New York, NY,
USA, 2010. Association for Computing Machinery.
[15] G. W. Klau, N. Lesh, J. Marks, M. Mitzenmacher, and G. T. Schafer. The HuGS Platform: A Toolkit for Interactive Optimization. In
Proceedings of the Working Conference on Advanced Visual Interfaces, AVI ’02, p. 324–330,
New York, NY, USA, 2002. Association for
Computing Machinery.
[16] T. Ko.
A Tendon-Driven Robot Gripper
With Passively Switchable Underactuated Surface and its Physics Simulation Based Parameter Optimization. IEEE Robotics and Automation Letters, 5(4):5002–5009, 2020.
[17] M. Mannino and A. Abouzied. Expressive Time
Series Querying with Hand-Drawn Scale-Free
Sketches. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, CHI ’18, p. 1–13, New York, NY, USA,2018. Association for Computing Machinery.
[18] M. Mannino and A. Abouzied. Is This Real?
Generating Synthetic Data That Looks Real. In
Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology, UIST ’19, p. 549–561, New York, NY, USA,2019. Association for Computing Machinery.
[19] K. Oono and T. Suzuki. Graph Neural Networks
Exponentially Lose Expressive Power for NodeClassification. In International Conference on
Learning Representations, 2019.
[20] Y. Ozaki, Y. Suzuki, T. Hawai, K. Saito, M. Onishi, and K. Ono. Automated crystal structure
analysis based on blackbox optimisation. npj
Computational Materials, 6(1):1–7, 2020.
[21] A. Santos, S. Castelo, C. Felix, J. P. Ono,
B. Yu, S. R. Hong, C. T. Silva, E. Bertini, and
J. Freire. Visus: An Interactive System for Automatic Machine Learning Model Building andCuration. In Proceedings of the Workshop on
Human-In-the-Loop Data Analytics, HILDA’19,
New York, NY, USA, 2019. Association for
Computing Machinery.

- 119 -WISS 2021

[22] B. Shahriari, K. Swersky, Z. Wang, R. P.
Adams, and N. De Freitas. Taking the humanout of the loop: A review of Bayesian optimization. Proceedings of the IEEE, 104(1):148–175,
2015.

[23] S. L. Smith, P.-J. Kindermans, C. Ying, andQ. V. Le. Don’t Decay the Learning Rate, Increase the Batch Size. In International Conference on Learning Representations, 2018.

- 120 -

液体噴 混合式の味ディスプレイの 作
宮下

明*

概
本稿では 液体を噴 混合する味ディスプレイを 作した 塩化ナトリウムやスクロースな
ど 味を提示する液体が入ったタンク及びスプレーを 10 基搭 しており明なフィルム上に噴 する フィルムは手前に巻き取られ その下には液晶画 で料理コンテンツが再生されている これにより 画 を直接舐めることで味を体 できる「味ディスプレイ」を気味 的な技 を一切利用せずに実現できた 使用する液体はである必 がなくなったため 渋味
味 アルコール
味 脂肪味など これまで 気味 技 で再現できなかった味の再現の可能性を秘めており 舐めた
ときのみならず
み むまで味が継続される 混合液と再現したい料理の味の差を 味センサ自体で再測定することで 味の再現がうまくいったかどうかを 価できるメリットもある

1

2

はじめに

提案システム2.1 機構筆者は 味を再現するイオン泳動式の味ディスプ
レイ Norimaki Synthesizer[1]を 発し それを味センサと 動させ[2] 画 を舐めることで 聴 のみならず味も 体 できる味ディスプレイとして提案した[3] これは 5 本のゲル中に基本五味を呈す
るが溶かされ極が刺さったもので
体に 極を接 させながらゲルを舌に当てると 舌にれるそれぞれのの を変えることができ
基本五味のバランスを 整して味を作り出すことができる 味センサで取得した値に基づいて制御することで物の味を 味蕾にある五種の受容体によって知 される狭義の味 の範囲で再現して味わうことができるようになった
狭義と書いたのは 痛 である 味や 収斂作用である渋味 ときには 嗅 である りすらも一般社会において「味 」とよばれることがあるからである
本稿は それと同じく味センサと 動する味ディ
スプレイに する研究である しかし
気味 ど
ころかイオン泳動も用いず 単に液体を噴 混合して再現する仕組みとして提案するものである
似のコンセプトとしては Edible bits[13]や SUSHITELEPORTATION[14]がある 本稿は UIST2021
でポスター発 予定の原稿[15]に明やをより加えたものである

図 1. 提案する味ディスプレイ及びエアコンプレッサ

図 1 のように 提案する味ディスプレイは 横幅420mm
さ 500mm 奥 き 800mm のサイズでは約 20Kg である システム上 には 10 個の噴置がついており明 OPP シートに液体を噴 ・混合する このシートはロール状になっており 手前に巻き取られていく シートの下には液晶
画 があり 映像が けて える 画 を舐めるとCopyright is held by the author(s).
* 明治大学- 121 -WISS 2021

シートに噴 された混合液の味を感じることができ映っているコンテンツに応じて う味を感じることができる これにより 画 に映っている べ物の味を 画 を直接なめることで感じられるような体を提供できる 図右下にあるのは空気圧を るため の エ ア コ ン プ レ ッ サ (EARTH MAN ACP13SLA)である 圧力がたまっていれば 味ディスプ
レイ動作時に作動させる必 はない

図 3. 噴 ユニット

図 4 は OPP シートの巻取 置である シートには厚さ 0.04mm 30m 巻 OPP ロールを使っており使用済みのロールは使い捨てる 噴置および巻取 置は Arduino Mega 2560 と本体内の小型
Windows PC のシリアル 信 UART 115200bps
で制御している PC には 13.3 インチの液晶モニタ
タッチ機能なし を HDMI 接続し シートの下に置している OPP シートの横幅は手作業で切って整しているため 右側のシートが乱れているが液晶画 の 示 よりも外側であるため特に影 はない
液体を吹き付けた様子は図 5 のようになっている
用いる液体はすべて無色 明であるため 映像は
し えているが 吹き付けられた箇所においては水滴によって 像感が下がっている また 水滴で光が屈折し虹色を生じさせてしまっているのがわか
る とはいえ この図のように濡れている物の写真であれば和感は少ない

図 2. 味ディスプレイ側 図

図 2 はシステムを横から たときの側 図である
カセットテープのようにり出しと巻き戻し用のモータがあり また ロータリーエンコーダも搭することでその り・戻し を得ることができる
側 にはスタンドアロンでも動作・ 整できるボタンがついており シートの り・戻し 各噴 ユニ
ットからの出力に加え 全噴 ユニットからの出力
ボタンなどがある これは特に メンテナンスに有用であり ぬるま湯を入れて出しっぱなしにすることで噴 ユニット内を洗浄するときに用いる
図 3 は噴 ユニットである エアブラシとソレノイドを接合させた構 となっている タンク容 は
1 種 につき 40ml である エア圧を固定し ソレノ
イドで噴 時 を制御することによって吐出 を節している 最小吐出 は 0.01ml 以下である 10
種 のポンプを少 ずつスプレーすることにより撹拌のプロセスを わずとも意図した比率で混合することができている 各ソレノイドの尾 には LED
がついており動と同時に点灯する

図 4. OPP シート及び巻取- 122 -

液体噴

混合式の味ディスプレイの作

2.2 味センサとの 携タンクに充填する味提示溶液は 以下の 1 にある 7 種 の溶液+精 水の合 8 種 である 現時
点でタンクが 2 つ余っているが その拡張について
は展望で べる
1 味提示溶液提示される味
塩味
味
旨味
苦味 医薬品
苦味
品
渋味
甘味アルコール味味
無味

図 5. 液体が噴 されたシート下に映像を映したところ
度など無加工の写真

噴 を うスペースには 皿を置ける余地を けた 図 6 シートを巻き取らずに動作させることで混合噴 のテストやデモに活用している OPP
ロールが巻き取られて廃棄されるとはいえ コロナ
禍において 数の人に画 を舐めてもらうのは心理抵抗が大きいが 紙皿に噴 し るというやり方であれば 比 的受け入れられやすいと考えている
また クラッカーや可 紙などを置くことで 噴されたものをそのまま べてしまうこともできる
ごはんやパンに ふりかけやピザソースなどの味を吹き付けることもできる

噴 する溶液300mM 塩化カリウム水溶液
0.3mM 石 水溶液
10mM グルタミン ナトリウム水溶液
0.1mM キニーネ水溶液
0.01vol% イソα 水溶液
0.05wt%タンニン 水溶液
スクロース水溶液
エタノール水溶液
カプサイシンポリピレングリコール溶液

精 水

これらの液体は 味センサ TS-5000Z[4][5][6]の各センサのキャリブレーションで用いられている基本
味サンプル溶液と同一である それぞれの味 において人の知値のおよそ 10 倍の濃度となっており 人が口にするほとんどの料理や み物の味は
この味の濃さを えることがない
味料を直接なめる場合をのぞく したがって これらの溶液を最大値とした組み合わせを えば 原理上ほとんどの物の味を再現できると うことができる 味の基本味は 5 つだが 味センサ TS-5000Z はこれに含まれない「渋味」も測定できるうえ さらに医薬品の苦味と 品の苦味の 2 種 を測定でき 合 7 味のデータを出力する 提案システムは そのデータの再現を 7 種の溶 の混合で担っている
味センサとの 携は[2][3]と同様のやり方をとっている 味センサは比 対 の液体と比べたときの相対値を出力する 提案システム用のデータを得る
ためには 7 つの溶 を全て溶かした水溶液を比対 として物の味を測定すればよい 各 7 味の強度として測定された値から 算すると それぞれ上 の基準液に換算した濃度が出せる 提案シス
テムは この値に基づいた噴 混合を って味を再現することができる
なお 佐藤らの研究[7]では原材料をブレンドする
比率で 伝的アルゴリズムを使う仕組みを提案しているが 本システムでは それぞれのパラメータの値を再現するための濃度のみを出している
2.3 コンテンツおよび提示方法

図 6.

提案システムにおいては 混合比を噴 時 で制御している もしタンク 1 10 の混合比率を 1 : 2 :3 : … : 9 : 10 として噴 したいなら 10ms, 20ms,

上 ステージ上に皿を いたところ
下 クラッカーへのトッピング- 123 -WISS 2021

30ms, …, 90ms, 100ms ずつ噴 すればよい このように・制御が簡単なのと 図 6 の皿によって簡単に出力と味 を えることから 料理における味のように 味センサに らず人力で味を作り出すことも可能である 塩味と 味は塩分 と pH メータの値を参考に決めつつ あとは少しずつ噴を増減させながら 再現したい物と交互に味することでそれなりに い味にまでもっていくことができる こうした「レシピ」まで取り むことができると かなり多くの物の再現データがそろうことになる
提案システムでは 中に USB マイクも取り付けることで これらの味 データを スマートスピー
カーのように 声入力で呼び出せるようにした ソ
フトウェアの実 は Processing で っており
声には Windows の System.Speech 機能を用いた
登 されている
物の名前のみの文法ファイルを用意することでを大幅に減らすことができる 味わいたい物の名前を声に出すと その物に対応するフォルダ内の動画ファイルが再生され 同一名で保存されたテキストファイル内のデー
タ 10 個の値 ミリ秒 に基づいて噴 が われる
物データの 加や修正が容易であ るうえ
dropbox 等のサービスでフォルダを同期すればデータの共同編 もできる
さらに 「濃いめで」「薄めで」といった修によって全体の味の濃さを指示したり「 味を弱めで」といった指示によって味イコライザ[2][3]として機能させたりできるようにした

図 9. 盤で味を混ぜるもの
べているものが市 品の場合の味 ビデオチャットなどである

図 8. 味 ガチャ

図 9. 味 ピアノ

3
本 稿 で の 提 案 シ ス テ ム はNorimaki
Synthesizer[1]を味センサと 動させたシステム[2][3] 以下 イオン泳動式味ディスプレイ と比して 多くの いがあり 所も多い 以下 それぞれの 点においてを う
3.1

現できる味の強度 囲

まず現できる味の強度範囲が異なる イオン
泳動式味ディスプレイは ゲル内に溶けているを 気で動かすことによって味の濃さを 現する
気をかけていないときにはそのゲルの味の濃さを感じ気をかけるほど無味に づいていく しかし ゲルの味を濃くしていくと どれほど 流をかけてもある程度はイオンが舌に れてしまうため無味にもっていくことができず 味が残って感じられる このため イオン泳動式味ディスプレイはゲルの味の濃さに制 がある 実 [1][2]では塩味のゲルは 1 の NaCl を用いており 一般的な物の塩味を再現するには物 りない塩味であるが かといって 上 制約のためこれ以上濃くするのがしいという現状がある
これに対し 本稿で提案する噴 混合式の場合
噴 しなければ「無味」が 現でき 一方で濃い味についてもほとんど上 がない
1 に した濃度

図 7. 外 をつけた状態

さらに 外 (図 7)を施し 多くのアプリケーショ
ンを 作している 味 できるメニュー ソムリエ
練アプリ ワインの 別
理 程を 中で味できる料理アプリ 味 クイズ お菓子の味がどちらかを当てる 味 相性 断 どちらの味が好みかをきくことによってその 似度を判定 味 ゲーム
同じ味のアイテムをキャッチする 味 スロットマシン そろった絵柄の味が楽しめる 味 ガチャ
図 8. 各溶液の出力 を乱数で混合 味 ピアノ- 124 -

液体噴

混合式の味ディスプレイのがとりあえずの上 にはなるが これも暫定で決めた値に ぎず もっと 現域を上げたいのならタン
ク内の溶液を濃くするだけでよい
和水溶液であっても問 ない ただし 結晶等ができないよう
使用後の洗浄は不可欠となる
また 噴 混合式は原理上 味
気刺激が一切ないので その 和感がない
気味 研究の分
ではノイズ 去やフェードインなどで刺激を 減する研究がなされている[10]が それでも原理上刺激を生じさせない本手法のほうが有利であろう
3.2

味を再現したい物と それを再現すべく噴 混合された液体をともに味センサに入れ その 2 つが同じ味になっているかどうかを客 的な数値として比 できる これにより さらなる再現精度の向上を実現する 算方法を考えることもできる なお
味センサは脂 膜 極の 位差を測定するため このようなことはイオン泳動式では えない
3.5 味の時 的変化
イオン泳動式と比べて 噴 混合式のほうが劣る
点もある まず 噴 混合式は イオン泳動式と異なり 即時的な味変化ができない 噴 混合式の場
合は 噴 混合およびシートの巻き取りを含めると1 秒程度の 延が けられない また 「味のクロスフェード」など 動的な味変化を噴 混合で うことがやや しい 将来的には 制御精度を め き
れいな「味のグラデーション」を実現することで克服できる可能性はあるものの この点においてはイ
オン泳動式のほうが優れていると考えられる

現できる味の種 の 囲

イオン泳動式では基本五味にとどまっていた味を噴 混合式では 渋味を含む 7 味に拡張することに成功している イオン泳動式では「を用いなくてはならない」という制約があり たとえば甘味を 現するにはグリシンを用いるなどの工夫が必であった しかし噴 混合式ではこうしたことが不で たとえば甘味の 現ではシンプルにスクロースを用いることができる グリシンとスクロースの味の いを考えても 実 に物によく使われるスクロースが有利であるし 甘味の強度の点でも格段の差がある3.3

作

3.6 味エフェクタ・味イコライザへの対応
イオン泳動式と噴 混合式が同等な点もある 基
本五味 あるいは 7 味のバランスを変える味エフェ
クタや味イコライザ[2][3]はどちらの方式でも機能する 個人ごとの嗜好に合わせた強弱 整を うこ
とも 方式によらず実現可能である

体 としての い

イオン泳動式では ゲルを舌にあてたときの接でしか味の制御ができなかったが 噴 混合式では 実 に舐めたあと 「 み むところまで」その味がする イオン泳動式でも のに 極を ることで嚥下時の味を多少制御できるが それでも全ての味が混ざった状態であり 個別に制御することはできない 提示された味がそのまま み めるのは 味 の体 を え
体 に づいている

3.7 画 への影
画 に対する影 は 両方式ともにあると考えられる 噴 混合式は 映像が曇り 水滴がついて像感が下がる イオン泳動式でもゲルを画 上にせる必 があり これによって映像が曇ったり 像
感が下がったりする 両者とも今後改良が必 と考えられる

3.4 味再現の正確性
味の再現がより正確と考えられることも噴 混合式の強みである イオン泳動式では 人 がどのような濃さに感じるかという 価実 のデータを用いて味をそろえていた しかもそれには個人差がありがそのデバイスを用いるかによってパラメータを変更しないといけなかった イオン泳動 を実 した 山らの 文[11]でも データを正 化すること
によって線形回帰できているがに うと個人ごとの事前測定・事前 定がであることを示している 塩味のリアルタイムな伝 を みた小林らの文[12]には者ごとの事前キャリブレーションのデータが掲 されているが いかに個人ごとに傾きや切片が異なることが てとれる
一方で 噴 混合式の場合はそうした問 は こらない 加えて 強力なメリットは「混合された液体の味を 再び味センサで測定できる」
ことにある

4

展望

現在の提案システムは 一カ所に噴 混合を っているが 今後 インクジェットプリンタのような仕組みでヘッドを左右に動かせるようにしたい そうすれば 映像の中の 2 次元的な 置や分布に基づく味提示が えるようになる
さて1 に括弧付きで示しているように 噴
混合式の味ディスプレイには さらに 味センサでも測定できないアルコール味や 味を加えることができる余地が備わっている エタノール濃度 [8]を入・使用したところ 精度の い測定ができたので 同じ度数になるようにエタノールを噴 混合することは可能である たとえば カクテルの味の再
現や ワインの味比べといったことができるようになるはずである
また
味は学 的分 としては痛 ということ- 125 -WISS 2021

[5] Kiyoshi Toko. Taste sensor with global selectivity,になっているが体 の再現という意味では味のうちに加えたいと考えている 実
べ物の味を測定できる Scoville Meter[9]が市 されているので その値に応じて カプサイシンを噴 混合するように改良したいと考えている エスニックな料
理などの味の再現には不可欠だと考えているので狭義の味 の定義にこだわらずに改良していきたい
このほかにも 脂肪味やコク味といった概念があり これも狭義の味 に入ってはいないが 体 としてはであると考えている 粘性の低い油などを利用することを検 していきたい
そして もはやこれを う場合には 10 タンクでは りないが 嗅 にうったえる 料 フレーバーを加えることも検 したい 実
嗅 の 体 に大きく影 を及ぼすと考えている
この展望の章でされていることはどれも気味 技 では 常に実現が しい事柄であったが噴 混合であればそれほど しいことではない 味
ディスプレイの可能性を 拓するためにも ぜひ挑
戦したいと考えている

Materials Science and Engineering: C, 4(2), 69-82,
1996.
DOI: https://doi.org/10.1016/0928-4931(96)00134-8[6] Kiyoshi Toko. Taste sensor, sensors and actuators
B: Chemical, 64(1--3), 205 215, 2000.
DOI: https://doi.org/10.1016/S0925-4005(99)005080[7] Masako Satoh, Hideki Satoh, Hidekazu Ikezaki,
Optimization of Food Ingredients and their Blend
Ratios Based on Taste Sensor Output, IEEJ
Transactions on Sensors and Micromachines, 2015,
Volume 135, Issue 2, Pages 57-64, Online ISSN
1347-5525, Print ISSN 1341-8939, 2015.
DOI: https://doi.org/10.1541/ieejsmas.135.57[8] ATAGO Digital Hand-held PEN Ethyl alcohol
Refractometer PEN-Ethanol V
https://prolab.id/product/atago-digital-hand-heldpen-ethyl-alcohol-refractometer-pen-ethanol-v/[9] FoodSense, Hotness of Chillies (ChilliPot

Scoville

Meter )
https://www.tms-lab.com/product/foodsense-

本研究は、総務省戦略的情報 信研究 発推 事
業 SCOPE の独創的な人向け特別枠「異能 vation」
プログラムの支援を受けた[10]

hotness-of-chillies-chillipot-scoville-meter/
治慶亘 宮下芳明 TasteSynth
気味 のための刺激波形デザインシステム エンタテインメント
コンピューティングシンポジウム 文

Vol.2021

pp.266 - 275 2021

参 文献

[11] Kazuma Aoyama, Kenta Sakurai, Satoru Sakurai,[1] Homei Miyashita. Taste Display that Reproduces

Makoto Mizukami, Taro Maeda, Hideyuki Ando.

Tastes Measured by a Taste Sensor. Proceedings ofGalvanic Tongue Stimulation Inhibits Five Basic

the 33rd Annual ACM Symposium on User

Tastes Induced by Aqueous Electrolyte Solution.

Interface Software and Technology. Association for

Frontiers in Psychology. 8:2112, 2017.
[12] 小林未侑 宮下芳明 TeleSalty:リアルタイムで塩味Computing Machinery, New York, NY, USA, 1085
1093, 2020.

を伝える

DOI: https://doi.org/10.1145/3379337.3415852

ューティングシンポジウム 2021

信システム

エンタテインメントコンピ
文Vol.2021

pp.276-280 2021.

[2] Homei Miyashita. Taste Display that Reproduces
Tastes Measured by a Taste Sensor. Proceedings of[13] Maynes-Aminzade, D. Edible Bits: Seamlessthe 33rd Annual ACM Symposium on User

Interfaces between People, Data and Food, in theInterface Software and Technology. Association forExt. Abstracts CHI 05, 2005.

Computing Machinery, New York, NY, USA, 1085

[14] OPEN

1093, 2020.

MEALS,SUSHI

TELEPORTATION.

SXSW2018, 2018.

DOI: https://doi.org/10.1145/3379337.3415852[3] 宮下芳明. 画 に映っている 品の味を再現して味[15] Homei Miyashita. TTTV (Taste the TV): Taste

わえる味ディスプレイの 発, 第 28 回インタラクテ

using a Rolling Transparent Sheet and a Mixtureィブシステムとソフトウェアにof Liquid Sprays. In the Adjunct Publication of the

プ (WISS2020)

文

Presentation Display forするワークショッ2020

Licking the Screen

34th Annual ACM Symposium on User Interface[4] Yusuke Tahara and Kiyoshi Toko. Electronic

Software and Technology (UIST '21 Adjunct),

tongues--A review, IEEE Sensors Journal, 13(8),Virtual Event, USA, 2021.

3001 3011, 2013.

DOI: https://doi.org/10.1145/3474349.3480223

DOI: https://doi.org/10.1109/JSEN.2013.2263125- 126 -

液体噴

混合式の味ディスプレイの

未来ビジョン作

えたとき 味 メディアというビジョンを実現する「 気味 以外の方式」はないのだろ
うかと考えた「液体を 明なシートに噴 し ベルトコ
ンベアさながら液晶画 の上にスクロールさせる」という提案は 極めて原始的な みのように思える しかしながら 本稿でイオン
泳動式の味ディスプレイと比 したをっていくと優れた点も多く その対比のおかげで イオン泳動式の味ディスプレイに何がりないのかをより浮き彫りにできたと考えている
味ディスプレイに求められるな機能はは結局何なのか イオン泳動式でもなく液体噴 でもない他の方式はないだろうか このようなを 本ワークショップで いたいと考えている

気味 研究には 2 つのビジョンがある
ひとつは事の味を濃く感じさせることで美味しさと健康を両立するというビジョン
もうひとつは 味 の再生を う味メデ
ィアとしてのビジョンである
筆者も 10 年にわたり
気味 研究の意義や性を主張するためにこれらのビジョン
を強 してきた そうした中で最 気づいた
ことは これらのビジョンは多くの共感をめるほどに正しく それぞれのビジョンが実現するならむしろ手段は 気味 でなくてもかまわないのではないか ということである
テレビにはブラウン管や液晶など様々な方式がある プリンタにもインクジェットやレーザーなど様々な方式がある このように考- 127 -UPLIGHT: 全周囲ディスプレイと携帯型ゲームデバイスの融合
中村 俊勝 ∗

加藤 達也 †

伊藤 思音 ‡WISS 2021

佐藤 俊樹 ∗

概要. 我々は，立方体や球などの高さと側面を持つ構造物の隠れた部分に着目し，この隠れを身体を動かして能動的に見に行く行為がエンタテインメント性を持っていると仮説を立てた．本研究では，このエンタテインメント性を，携帯ゲーム機のプレイスタイルに落とし込むことで生まれた新たな全周囲ディスプレ
イデバイス「UPLIGHT」を提案する．本研究では内蔵する小型短焦点プロジェクタと超広角魚眼レンズを用いた全周囲投影技術に加え，自由に交換可能な様々な形状の全周囲ディスプレイで，全周囲連続的な映像
表現のゲームコンテンツを実現した．更に全周囲ディスプレイの左右下部にコントローラを取り付けることにより，伝統的な携帯型ゲーム機のプレイスタイルを取り入れた．本論文では，開発したプロトタイプ及び操作可能なゲームコンテンツ，展示活動中に得た知見を基に行った考察について述べる．

きた．また，この死角を複数人同時使用時の各ユー
ザのプライベート領域として積極的に活用する研究[2] もある．しかし，従来の研究ではこの死角によって生じた見えない領域を，ユーザに身体動作を用いて能動的に見に行かせることに着目し，「見えない部
分を見に行く」動作のエンタテインメント性について深く議論した研究は少ないといえる．

図 1. プロトタイプの外観とユーザによる試遊の様子(a)UPLIGHT，(b)UPLIGHT を遊ぶ様子

1

はじめに

全周囲ディスプレイは，立方体や球体などの立体物の表面全周囲に映像を表示するデバイスである．
全周囲ディスプレイには，壁や天井をディスプレイ
とし，映像を内側から見るもの [4, 1] と，直径 6mの大きな球体 [7] や，手のひらに収まる小さな筒をディスプレイとし，映像を外側から見るもの [5] がある． 全周囲ディスプレイには，一般的な平面形状のディスプレイ内や HMD 等を通して見た 3D グラ
フィックスや入力デバイスを介した間接的な対話手法とは異なり，映像を伴った立体的な形状を直接目で見て，直接手で触れることができるという高い現実感のある対話が可能な利点がある．
このような全周囲ディスプレイには，立体的な形
状の全周囲に映像を表示させるがゆえに，ユーザの頭部位置に応じた「死角」が存在する．例えば，ユー
ザがある角度からディスプレイ手前側の側面に表示された映像を見ているとき，このユーザは反対側の側面に表示された映像を同時に見ることはできない．
このようなディスプレイの死角を全周囲ディスプレイの制限とみなし，ディスプレイの一部に死角を補う映像を映したり，タッチ操作等で映像をスクロー
ルさせることでこれを回避する手法 [6] が研究されてCopyright is held by the author(s).
北陸先端科学技術大学院大学†
電気通信大学‡
Delft University of Technology∗- 128 -

そこで本研究では，これまで全周囲ディスプレイ
の死角をユーザに積極的に「見に行かせる」ことで，ゲーム体験のエンタテインメント性を高める試みに着目する．これまでにも，大形の全周囲ディスプレ
イを複数人で囲んで用いるシステムの提案 [12] を行ってきたが，本研究では新たにシングルユーザに着目し，両手で保持した全周囲ディスプレイを両手・
上半身の動作を用いて様々な角度から閲覧する手法
を提案する．さらに，これを誰もが親しんできたシ
ングルユーザ向けの小型ゲームデバイスの操作メタ
ファと融合させる試みも行い，新しく提案する全周
囲ディスプレイ搭載のゲームデバイス「UPLIGHT」(図 1) のインタラクション手法について述べる．

2

目的

本研究の目的は，両手で持つことが可能な小型の全周囲ディスプレイを用いて，全周囲ディスプレイ
の隠れた部分をユーザが自発的に見にいくインタラ
クションが持つエンタテインメント性を活かし，人が楽しむことができる新たな小型全周囲ディスプレ
イデバイスを開発することである．これを達成する
うえで，本論文では，デバイスに適した形状や入力手法，必要な機能などの提案デバイスの設計についての考えと，提案デバイスによってユーザが体験するであろう楽しさについての考え，そして，ディスプレイ部の隠れへのユーザの興味を高めるために必要な機能についての考えを以下に述べる．

WISS 2021

図 2. 上下が定まっている立体構造物の隠れの閲覧方法(a) ひっくり返し，(b) 覗きこみ，(c) 手回し

2.1

図 3. 全周囲ディスプレイに上下を作り出すための着目(a) ティーカップ，(b) 把持可能な平面部の付加

閲覧方法の分析と UPLIGHT の要件

まず，我々は，両手で持てるサイズの人形や，側面に柄の描かれたコップ等の，ユーザにとって上下が定まっている立体構造物を両手で把持し，閲覧するスタイルに着目した．これは，机に置くときや，
両手で把持するときの姿勢が，置きやすさや持ちやすさから，ほぼ一姿勢に定まる立体構造物を両手で把持し，様々な方向から眺める閲覧スタイルだといえる．このような構造物の隠れた部分を閲覧すると
きに，ユーザは主に以下の３つの見にいき方をする．
１つ目は，図 2(a) のように，両手の手首をひねって，対象物の裏側を見るために，ひっくり返して見る方法である．この見にいき方は，両手の手首をひねるだけで行うことができ，極短時間で対象物の裏側の隠れを，ユーザの真正面に持ってきて見ることができるという特徴をもっている．また，この方法は，主に，ユーザが座って対象物を目線と同じ高さの水平な位置に保持していたり，対象物の隠れた部分の情報の反転や，対象物自体の姿勢の変更を気にする必要がなかったり，対象物の裏側の情報をすぐに観察したかったり，対象物自体がユーザにとって軽かったりするときに行われやすいと考えられる．
２つ目は，図 2(b) のように，対象物のユーザが見たい部分の隠れが見えるように，ユーザ自身の上半身と対象物をそれぞれ逆向きに傾けて覗き見る方法である．この見にいき方には，ユーザ自身と対象物
それぞれの姿勢の傾け方を変えることで，対象物の全周囲側面を連続的に見ることができるという特徴がある．また，この方法は，主に，ユーザが立って対象物を見下ろす位置で保持していたり，対象物の隠れの情報の反転を気にする必要がなかったり，対象物自体の姿勢を出来るだけ維持したかったり，対象物の隠れの情報を即座に，かつ，連続的に観察したかったりするときに行われやすいと考えられる．
３つ目は，図 2(c) のように，利き手で対象物の下部を持って，利き手と逆の手で対象物の頭部を掴
み回転させて，対象物の裏側の上下を反転させずにユーザの真正面に持ってきて見る方法である．この見にいき方には，対象物の隠れの裏側の情報を上下をひっくり返すことなく，じっくりと真正面から観察することができるという特徴や，対象物の側面全周囲を連続的に真正面から眺めることができるという特徴がある．また，この方法は，主に，対象物の隠れた部分の情報が上下が反転した状態では理解す- 129 -

ることや捉えることが難しいものであったり，隠れを観察する時間が十分に存在したり，隠れにユーザが興味を持っていたりするときに行われやすいと考えられる．
これらの閲覧方法は，身体的な動きを多く含み，能動的な情報探索行為の能動性をより高めることができると考えた．そして，高められた能動性は，能動的な情報探索行為の結果によってユーザにもたらされる驚きや興奮，発見といった感情の起伏をより大きなものに変えることができるとも考えている．
そのため，提案デバイスに適した形状は，以上の閲覧方法を行いやすく，加えて，自然とユーザがこれ
らのインタラクションを行うような物である必要があると我々は考えた．以上の条件を満たすためには，
主に，以下の要件を考慮した全周囲ディスプレイデ
バイスを設計する必要があると考える．
要件 1. デバイス全体の上下が定まっていて，その上下がユーザにとって認知しやすいこと．

要件 2. デバイスを両手で把持しやすくて，両手で持ちながらでも手首がひねりやすいこと．

要件 3. 全周囲ディスプレイは，どの角度から眺めても隠れが存在し続ける形状であること．

要件 4. デバイスを把持しながら入力を行えること．

要件 5. ディスプレイを見ながら入力を行えること．
要件 6. ディスプレイ部の底面以外で，全周囲連続的な映像が表示できること．

要件 7. ディスプレイ部が容易に片手で回せること．

2.2

UPLIGHT に適した形状

まず，我々は，全周囲ディスプレイに上下を作りだす必要がある．そこで，我々は，図 3(a) のティー
カップとソーサーのような，立体構造物と平面の関係に着目した．すなわち，図 3(b) のように，全周
囲ディスプレイの底面に横長の平面を付加すること
で，全周囲ディスプレイ部が上部，平面部が下部とユーザに認識されると考えたのである．これによって，要件 1 を満たすことができると考えた．さらに，その平面部は，両手で把持することができる十分な
大きさとすることで，要件 2 を満たすことができると考えた．

UPLIGHT: 全周囲ディスプレイと携帯型ゲームデバイスの融合

図 4. 携帯ゲーム機の伝統的なプレイスタイルの継承(a)Nintendo Switch，(b)UPLIGHT

次に，全周囲ディスプレイ部の形状について考える．詳しくは考察の章にて述べるが，前提として，
全周囲ディスプレイには，ユーザがどんな角度から見ても，隠れが存在し続ける必要がある．そのため，
全周囲ディスプレイ部は，立方体や，球，三角柱などの柱体といった，どの角度からもその全周囲を一覧することができない形状である必要がある．また，
全周囲ディスプレイ部のどの部分を底面として，両手で把持可能な平面部と接合するのかを考える必要がある．立方体や球といった形状であれば，どの部分を底部としようが問題ないが，三角柱といった形
状であれば，側面を底部とすると，頭上から一覧できてしまう．そのため，柱体形状の場合は基本的には底面をそのまま底部とする必要がある．以上のよ
うに，ディスプレイ形状を決定することで，要件 3を満たすことができると考えた．

2.3

UPLIGHT に適した入力手法

まず，我々は，提案デバイスの平面部の左右を両手で把持し，全周囲ディスプレイ部を目前に保持して閲覧するというスタイルが携帯ゲーム機のプレイス
タイルに類似していることに注目した．小型のゲー
ム機本体を両手で把持し，目の前で保持しながら，
右手・左手用に分かれて配置されたボタンを両手で操作して遊ぶのが携帯ゲーム機のプレイスタイルである．この携帯ゲーム機のプレイスタイルは，1980
年前後に発売されたエポック社のゲームポケコンや，
任天堂のゲーム＆ウォッチ，ひいては 2017 年に発売された任天堂の Switch(図 4(a)) に至るまでほぼ一貫している．スマートフォンやタブレットが急速に普及しタッチスクリーンによる入力が浸透した今日においても，このスタイルの携帯型ゲーム機はゲー
ムファンの間では根強い人気があり，もはや確立されたプレイスタイルであると言っても過言ではない．
そこで，本研究では，提案デバイスの入力手法として，図 4(b) のように，携帯ゲーム機と同様の左右に分かれた 1 組のボタンコントローラを取り入れることにした．このような伝統的な携帯ゲーム機の操作手法を取り入れることで，提案デバイスが携帯ゲーム機の延長線上にあるものと認識され，特別な操作説明を必要とせず，誰でも使用可能なデバイスとなることを期待している．
また，以上のような入力手法を採用することで，要件 4 と要件 5 を満たすことができると考えられる．

- 130 -

2.4

UPLIGHT に必要な機能

2.5

UPLIGHT がもたらす楽しさ

はじめに，ディスプレイ部の全周囲連続的な映像表現を実現する手法について考える．これには様々な実現方法が存在するが，本提案デバイスに適した手法を考える必要がある．まず，OLED を複数枚組み合わせた手法 [8] では，OLED 間に映像の断裂が起きてしまうため要件 6 を満たすことができない上に，様々なディスプレイ形状を実現するためのハードルが高いという問題がある．また，深度カメラと外部プロジェクタを用いた手法 [11] では，ユーザが両手でデバイスを把持した状態で扱うため，上半身や両腕に投影を遮られ，ユーザの真正面の部分に投影が届かないことが起こる可能性がある上に，その解決にはプロジェクタを数多く必要とするという問題がある．加えて，赤外線カメラと小型プロジェク
タをヘルメットと一体化させたデバイスを頭部にかぶる手法 [3] では，ディスプレイ部のユーザが見ている部分にしか投影ができない上に，ディスプレイ部を掴む際に手に投影が重なってしまうという問題があり，要件 7 を満たすことができない．更に，HMDを用いた手法にも言えるが，頭に装置を付けるため頭部が重くなってしまい，ディスプレイ部の全周囲を閲覧する際に身体を動かしにくくなってしまうという問題もある．そこで本研究では，プロジェクタ
をデバイスに内蔵し，ディスプレイ部の下部からのリアプロジェクションを行った．そのため，プロジェ
クタは小型で短焦点なものを採用し，ディスプレイ
下部に配置した魚眼レンズによって投影範囲を広げた全周囲投影ユニットを用いた．これにより，全周囲連続的な映像表現が常に可能で要件 6 を満たせると考えられ，かつ，様々なディスプレイ形状を実現しやすいという利点や，投影対象であるディスプレイ
部とプロジェクタを一体化していることで，ユーザが激しく動いても投影がぶれないという長所もある．
次に，ディスプレイ部の水平回転機構を実現する手法について考える．まず，前述のように，ディスプレイ部はリアプロジェクションによって実現する
ため，投影する映像の角度と実際のディスプレイ部の回転角を正確，かつ，リアルタイムに同期させる必要がある．そこで，詳しくは実装の章で述べるが，タイミングプーリとタイミングベルト，ロータリエ
ンコーダを用いた機構で，これを実現する．これにより，要件 7 を満たすことができると考えられる．
まず，楽しさには多くの種類があるが，我々が提案する手法によってもたらされる楽しさは，能動的な情報の探索行為による驚きや発見，興奮といった感情の起伏によって得られる楽しさが主なものであると考えている．また，その発見によって，ユーザ
自身の知的好奇心が満たされるという楽しさもある．
加えて，情報探索行為を身体を動かして行うために

WISS 2021発生する，身体を動かすことそれ自体による楽しさも得られると考えている．さらに，身体を動かしながら能動的に情報探索行為を行う場合，その能動性は身体を大きく動かすほど強くなると考えている．
そして，能動性が高まった分だけ，能動的な情報探索行為による感情の起伏は大きくなり，その結果として，ユーザはより強く楽しさを感じられたり，より大きくなった知的好奇心を満たせたりするのではないかと考えている．

2.6

隠れへ視線を誘導するための工夫や機能

ここでは，全周囲ディスプレイの見えない部分に対するユーザの好奇心をくすぐり，ユーザの能動性をより高めるために考案した三つの工夫や機能について述べる．
はじめに，ディスプレイ形状の工夫について述べる．まず，前述したように，本研究において，全周囲
ディスプレイの形状には隠れが必要である．よって，制限はあれど，球や立方体や柱体などの様々な形状が採用可能である．しかし，よりユーザの視点を隠れへ誘導するには，曲面よりも，平面で構成された形状の方が適しているのではないかと考えている．
実際に，平面で構成されたディスプレイ部の隠れを見にいった際に，一定角度を越えるとそれまで見えていなかった映像が一気に見えるようになる．そのため，一度に発見や驚きがより多く起こるようになり，感情の起伏が大きくなる．こういった理由から，立方体や柱体といった形状の方がより隠れへユーザの視点を誘導できるのではないかと考えている．
次に，アプリケーション側の制御によるディスプ
レイ部の自動回転を用いた視覚的な誘導機能について述べる．まず，詳しくは考察の章にて述べるが，ディスプレイ部の自動回転がユーザによって制御できる状態は本研究においては望ましくない．しかし，
アプリケーション側の制御で自動回転機能を用いることで，ユーザが見たい情報がユーザの視界から隠れるように，ディスプレイ部自体が自動回転するといった要素を実装でき，ユーザの隠れへの好奇心を高める要素になると考えている．
最後に，異なる位置に設置した複数の音源を用いた聴覚的な誘導機能について述べる．これは全周囲
ディスプレイ部下部に円周上に等間隔で外側に向けてスピーカを配置し，キャラクタがアクションを行ったディスプレイ上の位置に対応したスピーカから，
アクションに応じた効果音を発生させるという手法である．これを活用することで，全周囲ディスプレ
イの隠れから聞こえてくる音にユーザが誘導されるといった効果が期待できる．
以上のようなコンセプトのもと，本研究では全周囲ディスプレイデバイス「UPLIGHT」の設計と開発を行った．本論文では以下に，本研究の立ち位置を示した後，実際に開発したプロトタイプの実装方- 131 -

法や，有効だと考えられるアプリケーションの構成
要素と，実際に開発したアプリケーションの詳細，展示活動などを経て得た知見と考察について述べる．

3

関連研究

4

実装

これまでにも，全周囲ディスプレイにユーザから見て隠れた部分が存在するという特徴を活かした，エンタテインメントへの応用がなされてきた．まず，Julie らは，球状全周囲ディスプレイの側面のプラ
イベート性と上部のパブリック性を活用したマルチユーザによる対戦ゲームと協力ゲームを提案している [10]．そして，Ryouta は，円筒形全周囲ディスプ
レイの自分の見えていない部分は対戦相手に見えているという特徴を活かした，ワイヤレスコントロー
ラを用いた対戦ゲームを提案している [9]．しかし，これらの全周囲ディスプレイの隠れの応用はどれもマルチユーザへのものであり，シングルユーザのイ
ンタラションに着目したものはなかった．
また，平面ディスプレイ上で遊べる Polytron Corp.
の Fez は視点の横回転機能を持ち，これまでの視点だと見えていなかった情報が，視点の横回転によって見えるようになり，驚きや発見を生み出すゲーム
デザインが為されている．しかし，情報探索行為である重要な視点の横回転機能が指先を動かすことで操作可能なボタンなどによって行われている．我々は，この情報探索行為を身体を動かしていればそれ自体がより楽しくなり，更に，情報探索行為によって発見や驚きがあったとき，能動的に身体を動かしているからこそ，より強い楽しさを生むことができると考えている．

4.1

システム概要図 5 にプロトタイプのハードウェア構成を示す．
提案デバイスは小型プロジェクタ (Smart Beam
Laser) と広角レンズから成る全周囲投影ユニットと，その上部に配置された 10cm 四方の取り替え可
能な全周囲ディスプレイ，ステッピングモータとロー
タリエンコーダ (PKP214U06A-R2EL-L)，タイミ
ングベルトおよびプーリから成るディスプレイ回転機構，ボタンコントローラ，回転制御用のマイクロコ
ントローラ，ディスプレイの下部に円周上に配置されたスピーカ，および映像投影用の計算機から成る．

4.2

広角レンズとプロジェクタを使った全周囲投影

広角レンズとプロジェクタを使った全周囲投影シ
ステムの概略を図 5 に示す．小型プロジェクタから照射された映像は直上の広角レンズを通り，全周囲
ディスプレイの内部からディスプレイ上面および 4つの側面にリアプロジェクションされる．
全周囲ディスプレイに沿った映像を投影するため

UPLIGHT: 全周囲ディスプレイと携帯型ゲームデバイスの融合

図 6. (a) 立方体形ディスプレイ，(b) 球形ディスプレイ

角度を Unity 上で指定し，音声の再生は，指定された角度に最も近い角度にあるスピーカを使用する．
また，ディスプレイの回転角度を取得し，再生角度を補正することで，ディスプレイの回転に追従した
音声の出力が可能である．

55.1

図 5. システム構成図に，まずプロジェクタキャリブレーションを行いプ
ロジェクタの内部・外部パラメータ，およびレンズの歪みパラメータを求めている．これらを Unity 内のカメラに適用することで，3DCG 空間上に再現したディスプレイと同形状のメッシュモデルに適用されたゲームのシーンを投影したテクスチャがそのま
ま全周囲ディスプレイに投影されるようになる．
全周囲ディスプレイは，今回の実装では立方体形状 (図 6(a)) に加え，直径 10cm のくびれのある球体
形状 (図 6(b)) も用意した．立方体ディスプレイについては板厚 2mm のアクリルキューブの内側からトレーシングペーパを張り付けることで制作した．また球体ディスプレイについては直径 10cm の LED
電球のシェード部分を用いて制作した．

4.3

全周囲ディスプレイ回転システムの設計

全周囲ディスプレイ回転システムを図 5(左上) に示す．ディスプレイは輪状のタイミングプーリに装着されステッピングモータとタイミングベルトで接続されている．そのため，ディスプレイは手で掴んで直接回転させることが可能なほか，必要に応じてマイクロコントローラを介して Unity から自動回転させることも可能である．ディスプレイの回転角度は，ロータリエンコーダでリアルタイムに読み取り，マイクロコントローラから計算機に送信される．
Unity 上でこれを受け取り，メッシュモデルに同じ回転を適用することで，回転に追従した映像を投影することが可能である．

4.4 360 度スピーカシステムの設計
360 度スピーカシステムを図 5(右上) に示す． 音

声はプロジェクタに内蔵されたディスプレイ下部のスピーカに加え，ディスプレイの周囲に円周上に配置した 8 個のスピーカから出力する．音声の再生角
度は，回転していない状態のディスプレイにおける- 132 -

アプリケーション

本提案を達成するうえで必要な要素について

本インタラクションを達成するうえで，ゲームア
プリには以下の要素が必要だと考えられる．まず，ディスプレイ関連では，全周囲に映るゲーム映像の連続的な繋がり，ユーザから隠れている部分も含めた全周囲表面上の形状に沿ったキャラクターの移動といった要素が考えられる．そして，デザイン関連
では，立体形状の隠れをユーザが見にいったときに驚きや発見が生まれるようなゲームデザイン，様々な面をユーザに沢山見たいと思わせるようなゲーム
デザイン，常にユーザに確認してもらうことが必要な情報の天面への配置といった UI デザイン，隠れがあることによるゲームの高難易度化の予測と適切なレベルデザインといった要素が考えられる．
以上の要素を複数持ったゲームアプリ例として，
UPLIGHT 用のアクションゲームとブロック崩し
ゲームを制作したため，その内容について述べる．

5.2

サイドビューアクション for UPLIGHT

これは，一般的なサイドビューアクションゲーム
を元に開発したものである (図 7 (a))．これは，側面で 360 度繋がったステージ上を，移動やジャンプ，弾の発射などが行えるキャラクタを操作しながら，隠れた部分に潜む敵や障害物を倒したり，かわした
りして，次のステージに続くはしごを目指し，奥に進んでいくゲームである．操作キャラクタは，ユー
ザから隠れた部分を含めてディスプレイの側面全周囲を移動でき，隠れた部分に移動した操作キャラク
タを姿勢を変えて見に行き，そこに敵やジャンプで越えないといけない壁等の発見を用意することで，ユーザに発見や興奮，驚きを与えることができると考えている．更に，キャラクタは全周囲を短時間で移動するため，上記の体験を短時間で繰り返し体験できる良さがある．そして，本ゲームでは，天面も利用している．まず，ユーザのヒットポイント等の基本的なパラメータや，メニューなどの UI を表示している．また，敵がディスプレイの隠れた部分か

WISS 2021

レイ上方からの視界を維持したまま，能動的に動く
ことなく遊ぶようになってしまうと考えた．そのため本デバイスのディスプレイ形状には，立方体や，くびれのある球形状といった，どの角度から見ても一覧できないものが適切だと考えている．

図 7. (a) アクションゲーム，(b) ブロック崩しゲーム

ら弾を発射したときに，側面だけではなく，天面を通過して操作キャラクタに降りかかるなどといったギミック上の利用も行っている．加えて，ユーザが操作するキャラクタも，向こう側に存在する敵を天面越しに狙うことができる．

5.3

ブロック崩し for UPLIGHT

これは，一般的なブロック崩しゲームを元に開発したものである (図 7 (b))．これは，全周囲ディスプレイに沿って飛ぶボールを，ディスプレイ底部に達しないように，全周囲側面を移動するバーを操作して跳ね返し，天面部に配置されたブロックをボー
ルを当てて全て破壊することを目指すゲームである．
ユーザはディスプレイ形状に沿って飛ぶ特殊な弾道のボールを用いたブロック崩しゲームが楽しめる．
また，ゲーム中のボールは立体形状を変えるごとに異なる弾道となり，楽しみ方や体験を変えることができる．更に見えないところに飛んでいったボールの軌道を完全に予測することは難しく，ユーザは見えない部分を身体を動かして見にいき，意外な位置や軌道を描くボールに驚きや発見を見出し，全周囲
ディスプレイの隠れがもたらす面白さを体験できる．

6
6.1

考察

ディスプレイ部の自動回転操作の問題点

本提案デバイスの，初期のプロトタイプでは，モータによるディスプレイ部の左右への回転をユーザの手元のボタン操作でも行えるようにしていた．しかし，これは展示活動を通して得た知見であるが，自動回転操作ができることを知らずに遊んでいたユー
ザはディスプレイの隠れを身体を動かして能動的に見にいきながらアプリを楽しんでいたにも関わらず，
自動回転操作ができることを伝えた途端，身体を動かすことなく，自動回転操作のみで隠れを見るようになってしまった．これでは，本研究が提案する楽しさをユーザは体験することができないと考え，ディスプレイ部の自動回転機能は，ユーザの操作ではな
く，アプリ側の制御のみで使用できるように現在は設定している．

6.2

隠れのないディスプレイ形状の問題点

隠れのないディスプレイ形状として，半球形状ディ
スプレイについての検討を行った．しかし，ユーザ
はディスプレイの映像を一覧できるため，ディスプ- 133 -

6.3

操作における制限について

6.4

プロトタイプの制限

ユーザが反対側の面を覗き込んだ場合等で，キャラクタの左右の移動方向とユーザの操作が意図と異なってしまう問題がある．この問題は，固定型ゲー
ムコントローラの特性上，慣れることによって解決すると考え，実際ある程度プレイを続けると，反転操作にも慣れ，問題なくプレイできる傾向がみられた．また，一般的なトップビューのゲームではフィールドの全体が見えており，かつ，キャラクタが平面上に存在することから，直線的な弾道予測は難しくない．うってかわって，全周囲ディスプレイ上においては立体形状や隠れた部分の存在によって弾道予測の難易度が高くなっている．しかし，適切なゲー
ムバランスの設定を行えば，ゲームのやりがいに繋げられる長所だと我々は捉えている．
使用したプロジェクタの遅延により，自動回転中にディスプレイに対して映像が遅れ，表示がずれてしまう問題がある．これを解決するためには，低遅延の投影が可能なプロジェクタを用いるか，プロジェク
タの投影遅延と回転速度を考慮した予測投影を行う必要があると考える．また，レンズ周辺部の解像度・画質の低下も顕著である．実装を行ったゲームでは，
背景とキャラクタの色をコントラストの高い配色にし，キャラクタのグラフィックスもシンプルにすることで視認性の向上を図っている．また UPLIGHT
は携帯ゲーム機のように，デバイスを目の前まで持ち上げて遊ぶプレイスタイルであり，加えて覗き込
みなどの手や上半身を動かす運動を頻繁に行う必要がある．そのため，出来るだけ軽量で取り回しやすいのが望ましい．ただ，プロトタイプは 2.5kg と，
市販の携帯ゲーム機 (0.2〜0.4kg 程度) と比べて重く，また，筐体外部の計算機とケーブルで繋がれ，取り回しにくい．そのため，より良い体験を実現するためには軽量化や無線化が必要だと考えられる．

7

結論と今後の展望

本論文では，全周囲ディスプレイの隠れに着目した，シングルユーザのインタラクションに基づいた
新たな全周囲ディスプレイデバイスを開発・提案した．今後は，本インタラクションのエンタテインメン
ト性を実験により検証していく．また，視覚や聴覚だけでなく，触覚や嗅覚を組み合わせるなど，ユー
ザの情報探索行為の能動性をより高める手法を検討
していく．

参考文献

UPLIGHT: 全周囲ディスプレイと携帯型ゲームデバイスの融合[12] 東海林 和, 中村 俊勝, 三村 巧, 佐藤 俊樹. ユー
ザの自発的移動を促進させる全周囲ディスプレ
イ. WISS2017 予稿集. 日本ソフトウェア科学会
インタラクティブシステムとソフトウェア研究会,
2017.

[1] H. Benko and A. D. Wilson.
Pinch-theSky Dome: Freehand Multi-Point Interactions with Immersive Omni-Directional Data, p.
3045–3050. Association for Computing Machinery, New York, NY, USA, 2010.
[2] H. Benko, A. D. Wilson, and R. Balakrishnan.
Sphere: Multi-Touch Interactions on a Spherical Display. In Proceedings of the 21st Annual ACM Symposium on User Interface Software and Technology, UIST ’08, p. 77–86, New
York, NY, USA, 2008. Association for Computing Machinery.
[3] G. Cortes, E. Marchand, G. Brincin, andA. Lecuyer. MoSART: Mobile Spatial Augmented Reality for 3D Interaction With Tangible Objects. In Frontiers in Robotics and AI.
Association for Computing Machinery, 2018.
[4] C. Cruz-Neira, D. J. Sandin, T. A. DeFanti,
R. V. Kenyon, and J. C. Hart. The CAVE:
Audio Visual Experience Automatic Virtual Environment. Commun. ACM, 35(6):64–72, June
1992.
[5] A. Gomes, L. L. Priyadarshana, A. Visser, J. P.
Carrascal, and R. Vertegaal. Magicscroll: A
Rollable Display Device with Flexible Screen
Real Estate and Gestural Input. In Proceedingsof the 20th International Conference on HumanComputer Interaction with Mobile Devices andServices, MobileHCI ’18, New York, NY, USA,2018. Association for Computing Machinery.
[6] Z. Li, S. Miyafuji, T. Sato, H. Kuzuoka, andH. Koike. OmniEyeball: Spherical Display
Equipped With Omnidirectional Camera And
Its Application For 360-Degree Video Communication. In The 31st Annual ACM Symposium on
User Interface Software and Technology AdjunctProceedings, UIST ’18 Adjunct, p. 33–35, New
York, NY, USA, 2018. Association for Computing Machinery.
[7] T. Machida. GEO-COSMOS: World’s First
Spherical Display. In ACM SIGGRAPH 2002
Conference Abstracts and Applications, SIGGRAPH ’02, p. 189, New York, NY, USA, 2002.
Association for Computing Machinery.
[8] P. Pla and P. Maes. Display Blocks: Cubic
Displays for Multi-Perspective Visualization, p.
2015–2020. Association for Computing Machinery, New York, NY, USA, 2012.
[9] K. Ryota. loopScape. Japan, 2003.
[10] J. R. Williamson, J. Williamson, D. Sundén,
and J. Bradley. Multi-Player Gaming on Spherical Displays. In Proceedings of the 33rd Annual
ACM Conference Extended Abstracts on Human
Factors in Computing Systems, CHI EA ’15, p.
355–358, New York, NY, USA, 2015. Association for Computing Machinery.
[11] Y. Zhou, S. Xiao, N. Tang, Z. Wei, and X. Chen.
Pmomo: Projection Mapping on Movable 3D
Object, p. 781–790. Association for Computing
Machinery, New York, NY, USA, 2016.

- 134 -

能動的音響計測に基づくスタイラスの把持状態識別手法の検討
髙倉 礼 ∗

鈴木 健介 †

國分 晴利 ∗WISS 2021

志築 文太郎 ‡概要. 本稿では，能動的音響計測および機械学習を用いて，ユーザによるスタイラスの把持状態を識別する手法を示す．特に，スタイラスの内部構造の違いにより音響信号の伝わり方が異なることに着目し，我々は 3D プリント時の充填率を変えることによりスタイラスの内部構造を変え，把持状態の識別精度がどのように変わるか調査した．結果，充填率が 25%，50%，および 75%のスタイラスにおいて 6 つの把持状態を95%程度にて識別できること，および充填率 100%のスタイラスでは把持状態の識別精度が 89.8%となることがわかった．この結果に基づき，能動的音響計測に基づく把持状態が識別可能なスタイラスを作製する
場合における設計指針を述べる．

1

はじめに

タブレット端末を用いてメモをとる時，およびイ
ラストを描く時には主にスタイラスが用いられる．
多くのスタイラスは筆圧および傾きを検知し，実世
界における鉛筆や筆のように描く線の太さおよび濃さを調節できる．しかし，マーカや消しゴムといった描画ツールを変更する時，および描画色を変更する時には，アプリケーション内にある多くのメニュー群の中から目的の描画ツールおよび色を選択する必要があり，操作に時間がかかる．Apple Pencil [1]はスタイラスにてダブルタップジェスチャを行うことにより，Bamboo Fineline [22] はスタイラスに設けられているボタンを押すことにより，描画ツー
ルを高速に切替えられる．しかし，ユーザは現在使用している描画ツールを把握しておく必要があるた
め，描画作業を再開する時には適宜メニューを確認
しなければならない．
我々はこの課題に対して筆記用具の把持方法に着目した．筆記用具にはそれぞれ特有の把持方法がある．例えば，鉛筆を持つ時は 1 本掛け，習字にて筆を持つ時は 2 本掛け（双鉤法とも呼ばれる）といった把持方法が挙げられる．また，消しゴム付きの鉛筆を利用するときは逆さ持ちをすれば消しゴムが使える．これらの把持方法のメタファに基づいて，把持状態に応じた描画ツールを使用できれば，ユーザはアプリケーション内のメニューを確認せずとも現在使用しているスタイラスの描画ツールを把握できると考えられる． そこで我々は，ユーザによるス
タイラスの把持状態に着目し，指の 1 本掛けでスタイラスを把持すれば鉛筆，2 本掛けで把持すれば筆，逆持ちで把持すれば消しゴムといったように，描画ツールを把持状態によって切替えられる手法を考案
Copyright is held by the author(s).
筑波大学 情報理工学位プログラム†
筑波大学 情報科学類‡
筑波大学 システム情報系∗- 135 -

図 1. 把持状態およびその周波数応答．左から順に 1 本
掛け，2 本掛け，握り持ち．

図 2. スタイラス把持状態識別システム．

した．既存のスタイラスの筆圧および傾きを検知する機能をそのまま活かすために，我々はスタイラスの物理的な形状を制限しない能動的音響計測 [6,16,24]を利用することより，把持状態を識別できるか検討した．本手法の概念実証を示すために，今回我々はオーディオインタフェースを用いた試作システムを．
作成した（図 1 および図 2）
能動的音響計測とは，物体に振動を与え，物体を伝搬した振動を解析し，その周波数応答に基づき物体の状態を識別および推定する手法である．特に物体の材質および内部構造の違いにより周波数応答は異なる [12]．そのため，スタイラスの材質および内部構造が把持状態の識別精度へ影響を与えると考えられる．しかし，市販のスタイラスは材質および内部構造が多様なため，どの要因が把持状態識別へ影響を与えるのか特定することが難しい．したがって，

WISS 2021

我々は同じ材質および大きさにて異なる内部構造の物体を作成できる 3D プリンタを使用してスタイラ
スを作成した．これにより，内部構造の違いのみに着目してスタイラスの把持状態識別への影響を検証できる． 本稿ではまず，能動的音響計測を用いてス
タイラスの把持状態を識別する手法を述べる．その後，充填率の異なるスタイラスにおける把持状態の識別精度の評価および結果を述べたのち，能動的音
響計測に基づく把持状態識別を行う場合におけるスタイラスの設計指針を示す．
本研究の貢献を以下に示す．

Kubo ら [12, 13, 25] は能動的音響計測を用いる
ことにより，同じ外見を持つ内部構造が異なる物体を識別できることを示した．物体の内部構造の違い
により周波数応答が変化することから，物体の内部構造により周波数応答の把持状態ごとの変化も異なると考えられる．そのため，この周波数応答の変化の違いが把持状態の識別精度に影響を与えると考えられる．したがって，本研究はスタイラスの内部構
造（本稿では充填率）の違いにより把持状態の識別
精度がどのように変わるか調査する．

• 3D プリントしたスタイラスを用いて，能動的音響計測により最大 95.7%の精度にて 6 種類

2.2の把持状態を識別できることを示した．

• 把持状態の識別精度が，充填率 25%の時に最大 95.5%，充填率 100%の時に最大 89.8%であることから，充填率の違いにより把持状態の識別精度へ影響があることを示した．

• 能動的音響計測により把持状態が識別できる
スタイラスを作製する場合における設計指針
を示した．

2

関連研究

本手法は能動的音響計測により，ユーザによるス
タイラスの把持状態を識別する手法である．本節では関連研究として，能動的音響計測により物体の状態を識別する手法，およびスタイラスの入力を拡張する手法をそれぞれ述べる．

2.1

能動的音響計測により物体の状態を識別する
手法

能動的音響計測とは，物体に振動を与え，物体を伝搬した振動を解析し，その周波数応答に基づき物体の状態を識別する手法である [6, 13, 16, 17, 23–28]．
Ono ら [16] は能動的音響計測を用いて，物体上の触れている場所および把持力を識別できることを示した．岩瀬ら [24] は能動的音響計測を用いて，ス
ピーカとマイクとの間に置かれた物体の位置を推定できることを示した．Hiraki ら [6] は能動的音響計
測によりタッチ点を推定する手法を示し，プロジェ
クタが壁に投影した映像に対してタッチ入力ができるシステムを示した．これらの研究から，能動的音響計測を用いることによりスタイラスに触れている
指の位置が推定できると考えられるため，ユーザによるスタイラスの把持状態が識別できると考えられる．しかし，スタイラスの 1 本掛けおよび 2 本掛け
は近い姿勢であり，また人によって指の掛け方は異なる．したがって本研究では，スタイラスの指の掛け方および人ごとの握り方の違いが，把持状態の識別へどのように影響を与えるか調査する．

- 136 -

スタイラスの入力を拡張する手法

スタイラスに追加のセンサを搭載することより，
スタイラスの入力を拡張する手法が多く研究されてきた [2,3,5,7,8,14,15]．Matulic ら [14] はスタイラ
スの後端に取り付けた魚眼カメラにて両手を含む周囲の様子を撮影し，ジェスチャ認識によりスタイラ
スの入力を拡張する手法を示した．Hwang ら [7] はスマートフォンに搭載された磁気センサ，およびス
タイラスに取り付けた永久磁石を利用し，Hinckley
ら [5] は慣性センサおよび静電容量センサを用いて，タブレット端末およびスタイラスの状態を識別し，状況に応じたインタラクションができる手法を示した．これらの研究では，センサを決められた場所へ取り付ける必要があり，既存のスタイラスの物理的な形状を維持することが難しい．
一方，追加のセンサを用いず受動素子のみを用いてスタイラスの入力を拡張する手法が研究されてきた [9,20]．Ikematsu ら [9] は，スタイラスと静電容量式タッチディスプレイとの間に抵抗を介在させ，ス
タイラスの入力を拡張する手法を示した．Schmitz
ら [20] は，底面に導電性素材のパターンを形成した物体を作成し，異なるパターンを有する物体をタッ
チディスプレイ上にて識別する手法を示した．これ
らの研究は，追加のセンサを必要とせず安価にスタ
イラスの入力語彙を拡張できる．ただし，スタイラ
スの把持状態を識別する場合，受動素子のみを用いたスタイラスでは厳密な内部構造の設計が必要とな
り，スタイラスのデザインの自由度を制限する．
本節にて述べた研究では，把持状態を識別するにあたり，スタイラスの物理的な形状を制限する．能
動的音響計測ではセンサを自由に配置できるため，
これらの研究と比較して物理的な形状に対する制限が小さい点にて優れる．

3実装

本節では，本手法を実現するシステムの実装方法を述べる．本システムは，音響信号を送波および受波するハードウェア，ならびに音響信号を生成および解析するソフトウェアからなる．システムの全体の構成図を図 3 に示す．なお，Python および Qt ラ
イブラリを用いてソフトウェアを開発した．ソフト

能動的音響計測に基づくスタイラスの把持状態識別手法の検討
ソフトウェアオーディオインタフェース

音響信号生成（18kHz-22kHz, 25ms）

FFT解析

音響信号 ⇔ 電気信号
相互変換

（4096点，48kHz）

ຌֽ͜

ຌֽ͜

ѴΕ࣍ͬ

‫ͬ࣍ٱ‬ຌֽ͜‫ͬ࣍ٱ‬ຌֽ͜ඉ೼࣍

バンドパスフィルタ（6kHz-24kHz）

推論器（1536特徴点, 6状態）
推定

圧電素子

図 4. 提案手法にて識別する 6 つの把持状態．

図 3. 能動的音響計測に基づくスタイラスの把持状態識
別システムの構成図．

ウェアを実行するコンピュータには MacBook Air（CPU: Intel Core i7-1060NG7, RAM: 16GB）を用いた．
先行研究に倣い [10, 28]，音響信号には 18 kHz–
22 kHz を 25 ms にて掃引するアップチャープ信号を用いた．使用する音響信号の周波数帯は人間が聞こえづらい周波数帯であり [21]，またスタイラスを触った時の雑音および環境音（4 kHz 以下）の影響を受けづらい．ソフトウェアにて生成された音響信号
は，オーディオインタフェース（Steinberg UR24C）
を介して，スタイラス後端に貼り付けられた圧電素
子（THRIVE K2512BS1）からスタイラスへ送波される．スタイラスの内部を伝播した音響信号はスタイラス先端に取り付けられた圧電素子にて受波され，オーディオインタフェースを介してソフトウェアへ送られる．得られた音響信号はサンプリング周波数
48 kHz，4096 点の高速フーリエ変換（FFT: Fast
Fourier Transformation）により周波数パワースペ
クトルへ変換される．なお，抽出後の標本データには窓関数としてハニング窓を掛ける． その後，周波数パワースペクトルからサンプリング定理に基づき 24 kHz 以上の周波数特徴点を，外乱の影響を除くために 6 kHz 以下の周波数特徴点をそれぞれ取り除くバンドパスフィルタを適用する．最後に，得られた 1536 点の特徴点を持つ周波数パワースペク
トルが機械学習アルゴリズムを用いた推論器にて処理され，把持状態の識別が行われる．本研究において，機械学習アルゴリズムは scikit-learn ライブラ
，およリ [18] の Support Vector Classifier（SVC），ならびに LightGBM ラ
び Random Forest（RF）
イブラリ [11] の Gradient Boosting Decision Tree
（GBDT）から選択された．なお，上記の一連の処理は約 50 ms の時間にて完了する．

- 137 -

25%

50%

75%

100%

図 5. スタイラスの内部構造．左から充填率 25%，50%，
75%，100%．充填構造は全て Grid．

4

評価実験

4.1

設計

提案手法による把持状態の識別精度を評価するた
めに，データの収集を行った．把持状態には順持ちの
1 本掛け，2 本掛け，逆持ちの 1 本掛け，2 本掛け，な．
らびに握り持ちおよび非把持の 6 つを選んだ（図 4）
実験には，4 名の大学生および大学院生（22 歳–25
歳，平均 23.5 歳，全員男性，右利き）がボランティ
アにて参加した．我々は 3D プリンタ（Ultimaker
3 Extended）を用いて，実験に使用するスタイラスを作製した．なおスタイラスを使用してタッチパネ
ルの画面をタッチできるように，導電性フィラメン
ト（ProtoPasta Conductive PLA [19]）を用いた．
圧電素子を直接スタイラスへ貼り付けると電気的に圧電素子間が短絡してしまうため，圧電素子には厚さ 0.5 mm のアクリル板を貼り付けた．
スタイラスの内部構造の違いによる把持状態の識
別精度への影響を調べるために，本研究ではまず充填率の違いによる内部構造の違いに着目した．そのため，我々は充填率の異なる 4 種類のスタイラス（図 5，
それぞれ充填率 25%, 50%, 75%, 100%, すべて内部充填構造は Grid，長さ 150 mm× 幅 10 mm× 奥
行き 10 mm）を作成し，それぞれ評価を行った．
参加者は実験全体を通して，椅子に着席した状態
にて実験を行った．まず，実験者は 4 種類のスタイラスのうち 1 つのスタイラスを選んだのち，そのスタイラスの先端および後端へ両面テープ（3M，2477P-WISS 2021ैలི

ैలི

ैలི

ຌ 269

8

2

0

0

1

ຌ

18

250

9

1

2

0

5

262

0

13

ਜ਼
̏ຌ
մ ‫ͬ࣍ٱ‬
ϧ
ຌ
ϗ
ϩ
ѴΕ࣍ͬ

0

0

270

7

1

2

0

4

273

3

0

1

11

255

13

0

0

17

0

0

0

0

0

280

0

0

2

0

ඉ೼࣍

0

1

0

0

0

279

2
14
8
0
0 256
ॳ࣍ ॳ
‫ ٱ ࣍ٱ‬ѴΕ ඉ࣍࣍ͬ ͬ̐ ͬ ͬ̐ ࣍ͬ ೼࣍
ຌ
ຌ ຌ
ຌ

ॳ࣍ͬ

ॳ࣍ ॳ
‫ٱ‬
‫ ٱ‬ѴΕ ඉͬ ࣍ͬ̐ ࣍ͬ ࣍ͬ̐ ࣍ͬ ೼࣍
ຌ
ຌ ຌ
ຌ

265

13

2

ैలི

0

278

2

0

0

0

0

242

30

2

5

1

0

0

0

3

251

10

7

9

0

1

210

2

65

1

1

0

0

0

0

250

30

0

0

3

0

262

15

0

0

261

2

0

2

1

5

271

1

0

3

10

21

246

0

0

2

276

0

1

1

0

0

278

0

0

10

1

1

268

0

0

0

0
0
0
0
0 280
ॳ࣍ ॳ
‫ ٱ ࣍ٱ‬ѴΕ ඉ࣍࣍ͬ ͬ̐ ͬ ͬ̐ ࣍ͬ ೼࣍
ຌ
ຌ ຌ
ຌ

2
1
0
1
0 276
ॳ࣍ ॳ
‫ ٱ ࣍ٱ‬ѴΕ ඉ࣍࣍ͬ ͬ̐ ͬ ͬ̐ ࣍ͬ ೼࣍ຌຌ ຌຌ図 6. 充填率が異なるスタイラスそれぞれにおける，Gradient Boosting Decision Tree を用いた把持状態識別の混
同行列．
表 1. スタイラスの充填率ごとの把持状態識別精度（試行間 5 分割交差検証）．

充填率

25%
50%
75%
100%

SVC
84.3%
92.5%
89.1%
69.2%

RF
93.1%
94.9%
95.6%
89.8%

表 2. スタイラスの充填率ごとの把持状態識別精度（leave-one-participant-out 交差検証）．

充填率

GBDT
95.5%
94.8%
95.7%
84.5%

25%
50%
75%
100%

S）を用いて圧電素子を取り付ける．このとき，先端側がマイク，後端側がスピーカとなるように圧電素
子を取り付ける．その後，実験者は参加者へ圧電素
子を取り付けたスタイラスを手渡す．実験者は 6 種
類の把持条件から 1 つの把持条件を選択し，その把持条件にてスタイラスを右手で把持するように参加者へ指示する．なお，非把持条件では，スタイラス
を木製の机の上に横向きに置くように指示する．実
験者は参加者が指定した把持条件にてスタイラスを把持したことを確認した後，スタイラスへ音響信号を送波し 3 秒間録音する．その後，実験者は参加者
へスタイラスを一度机の上に置き，持ち替えるように指示する．これを同じ把持条件にて 5 試行行う．
5 試行の計測後，実験者はスタイラスから圧電素子を取り外す．
上記の手順を 4 種類のスタイラスおよび 6 種類の把持条件それぞれ 2 セットずつ行ったため，参加者
1 人あたりスタイラス 4 種類 × 把持条件 6 種類 ×
5 試行 × 2 セット = 240 試行分の波形データが得られた．なお，スタイラスおよび把持条件の選択順
序は参加者ごとにラテン方格法を用いて決定され，順序効果が取り除かれた．圧電素子の貼替え時に 1分程度の時間を要したため，実験全体にて参加者 1人あたりが要した時間は 60 分程度であった．
4.2

結果

実験にて得られた波形データは 4096 点（約 85 ms）
ごとにスペクトルデータへ変換されたため，各スタイラスの各把持姿勢ごとに 1400 個のスペクトル- 138 -

SVC
29.6%
36.9%
28.4%
28.6%

RF
24.9%
39.8%
22.9%
23.5%

GBDT
24.2%
38.9%
30.3%
25.1%

データが得られた．このスペクトルデータを用いて，Google Colaboratory [4] にて把持状態の識別精度を評価した．なお，学習時にはライブラリのデフォ
ルトのハイパーパラメタを使用した．それぞれのス
タイラスごとに学習および推論を行い，識別精度を算出した．
能動的音響計測により把持状態が識別できるか評価するために試行間にて 5 分割交差検証を行った．
加えて，未知のユーザにて推論モデルが適用できるか評価するために leave-one-participant-out 交差検証を行った．各スタイラスにおける把持状態の識別
精度を表 1 および表 2 に示す．
試行間の交差検証において，どの充填率のスタイラスにおいても高い精度にて把持状態を識別できる
ことがわかった．しかし，充填率 75%以下のスタ
イラスと比較して，充填率 100%のスタイラスはどのアルゴリズムでも識別精度が低かった．一方で，leave-one-participant-out 交差検証においては識別精度が低く，既存のモデルを用いて未知のユーザの把持状態を識別することが困難であることがわかった．
試行間の交差検証において，GBDT アルゴリズ
ムの最も精度が高かったモデルにおける混同行列を
図 6 に示す．混同行列より，全てのスタイラスにおいて，把持状態が近いもの（例えば，1 本掛けと 2 本掛け）にてしばしば誤識別をしていることがわかった．加えて，充填率 100%のスタイラスでは，同じ指の本数の持ち方，特に 2 本掛けおよび逆持ち 2 本
掛けにてよく誤識別していることがわかった．

能動的音響計測に基づくスタイラスの把持状態識別手法の検討
0

0

-10

-10

-20

-20

-30
0

6000

12000

18000

24000

-30
0

表 3. スタイラスの充填率ごとのユーザ識別精度（試行
間 5 分割交差検証）．

充填率

6000

12000

18000

25%
50%
75%
100%

24000

図 7. 充填率 25%のスタイラスにおける周波数パワー，横スペクトル．縦軸は音の強さ（dB：デシベル）
軸は周波数（Hz：ヘルツ）を表す．左が 1 本掛け，
右が 2 本掛け．
0

0

-10

-10

-20

-20

-30
0

6000

12000

18000

24000

-30
0

6000

12000

18000

24000

図 8. 充填率 100%のスタイラスにおける周波数パワー，横スペクトル．縦軸は音の強さ（dB：デシベル）
軸は周波数（Hz：ヘルツ）を表す．左が 1 本掛け，
右が 2 本掛け．

5
5.1

議論および今後の課題
充填率の影響実験の結果より，どの充填率のスタイラスにおいても高い精度にて把持状態を識別できることがわかった．特に，充填率が 75%以下のスタイラスは識別精度が 95%程度ととても高い．一方で，充填率が100%のスタイラスは最大識別精度が 89.8%であり，他のスタイラスと比較して識別精度が低くなることが示された．そこで，充填率が 25%および充填率
100%のスタイラスにおいて，1 本掛けおよび 2 本掛けそれぞれの周波数パワースペクトルの変化を観察．充填率 25%のスタイラスおした（図 7 および図 8）
いては 1 本掛けの時に周波数 8 kHz–18 kHz にかけてなだらかな山があり，かつ周波数 18 kHz–22 kHz
まで強さが一定の山が観察できる．一方，2 本掛けの時は周波数 8 kHz–18 kHz の山が全体的に小さくなり，かつ周波数 22 kHz 付近の強さが小さくなると．
いう大きなスペクトルの変化が観察できた（図 7）
充填率 100%のスタイラスは，充填率 25%のスタイラスと比較し，1 本掛けと 2 本掛けのスペクトルの変化が小さいことが観察できた（図 8）．
これは充填率が高いほど内部空間の変形余地が小さくなるために，スペクトルの変化が小さくなったからであると考えられる．内部空間がある場合，物体はしなりやすく変形余地がある．把持により押さえられた箇所は変形余地が小さくなり振動が伝わりづらくなる．その結果，充填率 25%のスタイラスにおいて，1 本掛けよりも 2 本掛けのスペクトルが全

SVC
88.1%
99.6%
99.2%
99.6%

RF
90.6%
97.6%
99.7%
98.5%

GBDT
89.2%
98.0%
99.4%
97.9%

体的に大きく減衰するように変化したと考えられる．一方で，内部空間が小さいまたは無い場合，（図 7）
物体は硬くなり変形余地が小さくなる．把持により押さえられた箇所はさらに変形余地が小さくなるものの，十分に内部空間がある場合よりもその変形余
地の変化の程度は小さいものとなる．そのため，充填率 100%のスタイラスはスペクトルの変化が小さくなったと考えられる．
なお，本稿ではスタイラスを用いて描いている最中の把持状態は学習していない．描くときにペン先がタッチパネルに触れることにより境界条件が変化すること，および描画時の筆圧により指とスタイラ
スの接触状態および把持力が変化することから，音響スペクトルも変化すると考えられる．そのため，描画中の把持状態の変化も考慮した推論モデルを作成することは今後の課題である．

- 139 -

5.2 ユーザの識別leave-one-participant-out 交差検証の結果から，学習したモデルから未知のユーザの把持状態を識別することは困難であることがわかった．これは，ユー
ザごとにスタイラスの持ち方が大きく異なるためであると考えられる．一方で，試行間の把持状態の識別精度が 95%程度と高いことから，利用するユーザの把持状態を学習させれば，スタイラスを把持しているユーザがどのユーザであるのかを識別できると考えられる．ユーザが識別できれば，ユーザごとにスタイラスの把持状態による描画ツールの割り当てを変更するなどの機能が実装できるため有用である．
そこで，実験にて収集したデータを用いて，能動的音響計測にてスタイラスを把持しているユーザを識別できるか検証した．
試行間の 5 分割交差検証を行ったユーザ識別精度を表 3 に示す．充填率 25%以外では識別精度が99%を超える結果となった．したがって，スタイラ
スを把持しているユーザの識別ができるといえる．
一方で，充填率 25%のスタイラスにて識別精度が低く，充填率 100%のスタイラスにて識別精度が高いという把持状態識別とは異なる傾向となった．このことから，充填率 25%のスタイラスでは，ユーザごとの持ち方よるスペクトルの変化よりも把持状態によるスペクトルの変化が大きく反映されると考えら

WISS 2021

れる．そのため，ユーザ識別および把持状態識別を両立させるためには，どちらも識別精度が高い充填
率 50%および 75%の構造が良いと考えられる．しかし，今回は実験参加者が 4 人と少ないことから，
より多くのユーザのデータを収集し検証する必要が
ある．

5.3

スタイラスの設計

今回は 3D プリントした物体の充填率を変えた場
合のみを検証した．5.1 節にて述べたように，能動的音響計測を用いてスタイラスの把持状態を識別する場合は，例えば，変形しづらい硬い素材を使うのではなく変形させやすいプラスチックを用いるといった，内部空間に変形余地を残すように設計することがより望ましいと考えられる．ただし，先行研
究 [16, 17, 24, 28] にて述べられているように，振動を吸収してしまう素材には本手法は適用できない．
そのため，スタイラスが変形しやすいように外装を薄くするといった，設計上の工夫が必要であると考えられる．また，充填率だけでなく，スタイラスに穴を設ける，または一部外装を薄くするなどの工夫をすることにより，把持状態ごとのスペクトル変化が大きくできるため，より多くの把持状態を識別できる可能性がある．一方で，本手法はスタイラスの内部空間さえあれば内部構造を問わずに高い精度にて把持状態を識別できる．そのため，物体内部には市販のスタイラス同様の回路および機能を設けられる．したがって，本手法によりさらに多くの把持状
態を探究するよりも，本手法と既存のスタイラス機
能を組み合わせて利用することが望ましいと考えられる．
今回，提案手法の概念実証のために据え置き型のオーディオインタフェースを使用した．ただし，今回使用したオーディオインタフェースが為す役割
は音響信号および電気信号の相互変換に留まっており，より小型な Analog Digital Converter および
Digital Analog Converter でもこの役割をこなせる．また，音響処理に要する計算量は小さく，計算資源に乏しいマイクロコントローラでも特別な電子部品なしに実行可能である．さらに，本システムにて使用しているケーブルの役割は電気回路の導線の役割に留まっており，細いケーブルを使用する，または導線にて直接マイクロコントローラに接続する
ことにより，ケーブル部をスタイラスに内蔵できる．
これらのハードウェアの設計の工夫により，システ
ムをスタンドアロン化できると考えられる． そのため，スタンドアロン化し実使用に即したシステム構成にすることは今後の課題である．

6

応用例

本手法の応用例として，ペイントアプリケーションが考えられる．我々はタッチパネルを有するコン- 140 -

図 9. 本手法のペイントアプリへの応用．1 本掛けにて把持すれば細い線を描くことができ，2 本掛けにて把持すれば太い線を描くことができる．

ピュータ（ThinkPad T14 Gen2）にて本手法を導入．
したペイントアプリケーションを実装した（図 9）
このアプリケーションではスタイラスの把持状態に応じて，1 本掛けなら鉛筆のように細い線，2 本掛
けなら筆のように太い線，逆持ち 1 本掛けなら消し
ゴムと描画ツールを切替えられる．試作システムは使用時にケーブルが干渉し描画を妨げてしまうことがあるため，使用に向かない．そのため，圧電素子
およびケーブルをスタイラスの内部に入れるなどの工夫が必要である．加えて，より携帯性を高めるた
めに，システムを小型化しタブレット端末にて使えるようにすること，およびユーザ実験から本アプリ
ケーションの使用感を評価することが今後の課題で
ある．

7

おわりに

本稿では，能動的音響計測および機械学習を用いて，ユーザによるスタイラスの把持状態を識別する手法を示した．加えて我々は，スタイラスの内部構造の違いにより音響信号の伝わり方が異なることに着目し，3D プリント時の充填率に基づきスタイラ
スの内部構造を変えることによって，把持状態の識別精度がどのように変わるか調査した．結果，充填率が 25%，50%，および 75%のスタイラスにおいて
6 つの把持状態を 95%程度にて識別できること，および充填率 100%のスタイラスでは把持状態の識別
精度が 89.8%程度と低くなることがわかった．このことから，内部に空間を設けられたスタイラスにて本手法を用いることが望ましいと考えられる．
なお，leave-one-participant-out 交差検証の結果，
どのスタイラスにおいても識別精度が 30%程度であったことから，未知のユーザに対する識別可能性が低いことが示された．一方，追加の調査にて，把持姿勢から 4 名のユーザを最大 99.7%の精度にて識別できた．このことから，本手法を用いて，スタイラスを利用するユーザごとに異なる描画ツールの割り当てを提供するなどのシステム設計が可能であると考えられる．
今後は本手法を用いて，市販のスタイラスにおける把持状態識別の精度を調査する予定である．

謝辞

能動的音響計測に基づくスタイラスの把持状態識別手法の検討[11] G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen,
W. Ma, Q. Ye, and T. Liu. LightGBM: A Highly
Efficient Gradient Boosting Decision Tree. In
Advances in Neural Information Processing Systems, Vol. 30, pp. 1–9. Curran Associates, Inc.,
2017.
[12] Y. Kubo, K. Eguchi, and R. Aoki. 3D-Printed
Object Identification Method Using Inner Structure Patterns Configured by Slicer Software. In
Proceedings of Extended Abstracts of the 2020
CHI Conference on Human Factors in Computing Systems, CHI EA ’20, pp. 1–7. ACM, 2020.
[13] Y. Kubo, K. Eguchi, R. Aoki, S. Kondo,
S. Azuma, and T. Indo. FabAuth: Printed Objects Identification Using Resonant Propertiesof Their Inner Structures. In Proceedings of Extended Abstracts of the 2019 CHI Conference on
Human Factors in Computing Systems, CHI EA’19, pp. 1–6. ACM, 2019.
[14] F. Matulic, R. Arakawa, B. Vogel, and D. Vogel.
PenSight: Enhanced Interaction with a Pen-Top
Camera. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, CHI ’20, pp. 1–14. ACM, 2020.
[15] F. Matulic, B. Vogel, N. Kimura, and D. Vogel. Eliciting Pen-Holding Postures for General
Input with Suitability for EMG Armband Detection. In Proceedings of the 2019 ACM International Conference on Interactive Surfaces andSpaces, ISS ’19, pp. 89–100. ACM, 2019.
[16] M. Ono, B. Shizuki, and J. Tanaka. Touch &Activate: Adding Interactivity to Existing Objects Using Active Acoustic Sensing. In Proceedings of the 26th Annual ACM Symposium on
User Interface Software and Technology, UIST
’13, pp. 31–40. ACM, 2013.
[17] M. Ono, B. Shizuki, and J. Tanaka. Sensing
Touch Force Using Active Acoustic Sensing. In
Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction, TEI ’15, pp. 355–358. ACM, 2015.
[18] F. Pedregosa, G. Varoquaux, A. Gramfort,
V. Michel, B. Thirion, O. Grisel, M. Blondel,
P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher,
M. Perrot, and E. Duchesnay. Scikit-learn: Machine Learning in Python. Journal of Machine
Learning Research, 12:2825–2830, 2011.
[19] Proto-pasta. Conductive PLA Technical Data
Sheet Rev 1. - Proto-pasta, 2021. https://cdn.shopify.com/s/files/1/0717/9095/
files/TDS__Conductive_PLA_1.0.1.pdf（ 最終参照日：2021 年 11 月 16 日）.
[20] M. Schmitz, F. Müller, M. Mühlhäuser, J. Riemann, and H. V. V. Le. Itsy-Bits: Fabrication
and Recognition of 3D-Printed Tangibles with
Small Footprints on Capacitive Touchscreens.
In Proceedings of the 2021 CHI Conference on
Human Factors in Computing Systems. ACM,
2021.
[21] The Physics Factbook.
Frequency Rangeof Human Hearing - The Physics Factbook,

本研究は JSPS 科研費 JP18H04104 の助成を受けたものです．

参考文献[1] Apple Inc. Apple Pencil - Apple, 2021. https://www.apple.com/jp/apple-pencil/（最終参
照日：2021 年 11 月 16 日）.
[2] D. Cami, F. Matulic, R. G. Calland, B. Vogel,and D. Vogel. Unimanual Pen+Touch Input Using Variations of Precision Grip Postures. In
Proceedings of the 31st Annual ACM Symposium on User Interface Software and Technology, UIST ’18, pp. 825–837. ACM, 2018.
[3] N. Fellion, T. Pietrzak, and A. Girouard.
FlexStylus: Leveraging Bend Input for Pen Interaction. In Proceedings of the 30th Annual
ACM Symposium on User Interface Software
and Technology, UIST ’17, pp. 375–385. ACM,
2017.
[4] Google LLC. Colaboratory - Google, 2021.
https://colab.research.google.com/（最終参照日：2021 年 11 月 16 日）.
[5] K. Hinckley, M. Pahud, H. Benko, P. Irani,
F. Guimbretière, M. Gavriliu, X. A. Chen,
F. Matulic, W. Buxton, and A. Wilson. Sensing
Techniques for Tablet+Stylus Interaction. In
Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology, UIST ’14, pp. 605–614. ACM, 2014.
[6] T. Hiraki, M. Fukumoto, and Y. Kawahara. Touchable Wall: Easy-to-Install TouchOperated Large-Screen Projection System. In
Proceedings of the 2018 ACM International
Conference on Interactive Surfaces and Spaces,
ISS ’18, pp. 465–468. ACM, 2018.
[7] S. Hwang, A. Bianchi, M. Ahn, and K. Wohn.
MagPen: Magnetically Driven Pen Interactions
on and around Conventional Smartphones. In
Proceedings of the 15th International Conference on Human-Computer Interaction with Mobile Devices and Services, MobileHCI ’13, pp.
412–415. ACM, 2013.
[8] S. Hwang, A. Bianchi, and K. Wohn. MicPen:
Pressure-Sensitive Pen Interaction Using Microphone with Standard Touchscreen. In Proceedings of Extended Abstracts of the 2012 CHI Conference on Human Factors in Computing Systems, CHI EA ’12, pp. 1847–1852. ACM, 2012.
[9] K. Ikematsu and I. Siio. Ohmic-Touch: Extending Touch Interaction by Indirect Touch throughResistive Objects. In Proceedings of the 2018
CHI Conference on Human Factors in Computing Systems, pp. 1–8. ACM, 2018.
[10] S. Katakura and K. Watanabe. ProtoHole: Prototyping Interactive 3D Printed Objects Using
Holes and Acoustic Sensing. In Proceedings ofExtended Abstracts of the 2018 CHI Conferenceon Human Factors in Computing Systems, CHI
EA ’18, pp. 1–6. ACM, 2018.

- 141 -WISS 2021

2003.
https://hypertextbook.com/facts/
2003/ChrisDAmbrose.shtml（最終参照日：2021
年 11 月 16 日）.
[22] Wacom Co., Ltd. Bamboo Fineline - Wacom, 2021. https://www.wacom.com/ja-jp/
products/stylus/bamboo-fineline（最終参照日：2021 年 11 月 16 日）.
[23] K. D. D. Willis and A. D. Wilson. InfraStructs:
Fabricating Information inside Physical Objects
for Imaging in the Terahertz Region. ACM
Transactions on Graphics, 32(4):1–10, 2013.

[24] 岩瀬大輝, 伊藤雄一, 秦秀彦, 尾上孝雄. SenseSurface：アクティブ音響センシングによる物体識別と位置推定. 情報処理学会論文誌, 60(10):1869–
1880, 2019.
[25] 久保勇貴, 江口佳那, 青木良輔, 近藤重邦, 東正造,
犬童拓也. 内部構造パターンの差異を利用した
3D プリントオブジェクト識別手法. 第 27 回イ
ンタラクティブシステムとソフトウェアに関する
ワークショップ（WISS2019）論文集, pp. 43–48.
日本ソフトウェア科学会, 2019.

[26] 西井遥菜, 双見京介, 村尾和哉. アクティブ音響
センシングを用いた食材認識カトラリー. 第 28
回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2020）論文集, pp.
55–60. 日本ソフトウェア科学会, 2020.

[27] 川崎祐太, 伊藤雄一, 藤田和之, 尾上孝雄. アクティブ音響センシングを用いた物体情報識別における環境温度変化に関する一検討. ヒューマンイ
ンタフェース学会研究会研究報告集, 22(6):55–60,
2020.
[28] 大野誠, 志築文太郎, 田中二郎. アクティブ音響センシングを用いた把持状態認識. 第 17 回一般社
団法人情報処理学会シンポジウムインタラクショ
ン 2013 論文集, pp. 56–63. 情報処理学会, 2013.

- 142 -

著者索引

塚田 浩二, 43
塚本 昌彦, 16, 57
土田 修平, 16

Jayakorn Vongkulbhisal, 97
Nolwenn Maudet, 30
浅川 智恵子, 97

寺田 努, 16, 57

五十嵐 健夫, 9, 30, 78, 85, 113
生田 泰章, 35
池松 香, 105
石井 綾郁, 105
石黒 祥生, 71
伊藤 思音, 128
伊藤 貴之, 1
井原 圭一, 50

中島 一崇, 9
中野 倫靖, 1
中村 俊勝, 128
盧 承鐸, 9濱崎 雅弘, 1

樋口 啓太, 113
尾頭 花奈, 71

Erwin Wu, 64
梅谷 信行, 78

深山 覚, 1
福里 司, 30

遠藤 輝貴, 9

大西 鮎美, 57
岡部 誠, 91

松井 菜摘, 57
松本 高, 64

加藤 邦拓, 105
加藤 達也, 128粥川 青汰, 97
川口 一画, 50
川谷 知寛, 43
川原 圭博, 105

三ツ井 慧太郎, 91
宮下 芳明, 121
森島 繁生, 97
山本 和彦, 23
楊 溪, 9吉田 博則, 78

栗林 雅希, 97
栗原 一貴, 43

ラルスン マリア, 78

小池 英樹, 64
國分 晴利, 135
後藤 真孝, 1

李 佳憲, 85

坂名 純太, 16
佐藤 大介, 97
佐藤 俊樹, 128
佐野 正太郎, 113

椎尾 一郎, 71, 105
志築 文太郎, 135
鈴木 健介, 135
住田 桃子, 30

高木 啓伸, 97
高倉 礼, 135
高島 健太郎, 35
武田 一哉, 71
張 家銘, 85vii

঩ম९ইॺक़ख़॔ఐ৾ভ ଢ଼஢ভৱમ३জ‫ش‬६
1Rফ月঩৅ষ,661;ਸ਼৚ ॖথॱছॡॸॕঈ३५ॸ঒ध
९ইॺक़ख़॔पঢ়घॊড‫ش‬ॡ३ঙॵউ‫ق‬:,66‫ك‬૛ધૐ