芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

Fab KUI :KUI とスマートフォン AR を用いた実空間における共同 3D モデリング手法の提案
菊池康太 1) (学生会員)

尼岡利崇 1) (正会員)

1) 明星大学大学院情報学研究科

Fab KUI : Proposal of Collaborative 3D Modeling Method in RealSpace by using KUI and Smartphone AR
Kouta Kikuchi1)

Toshitaka Amaoka1)

1) Graduate School of Information Science, Meisei University{19dj001@stu, amaoka@is}.meisei-u.ac.jp

概要
近年の 3D モデリング環境の動向として，ネットワークを通じて複数人での同時編集がサポートされ，オンラインや VR 空間でコ
ミュニケーションを取りながら 3D モデリングを行うことが可能になってきている．しかし，実空間を共有しモデリングを行う場
合では，ディスプレイの指向性についての考慮や複数の作業環境が必要となる．本研究では，実空間において複数人で単一のモデ
リングインタフェースを共有し，スマートフォン AR を用いて共同で 3D モデリングを可能にするモデリング手法，Fab KUI を提案する．提案手法では，影をインタフェースとして物体を操作する影ユーザーインタフェースの概念を応用し，影への操作から物体の３次元移動を可能にする事で，物体が移動した３次元的な軌跡から 3D モデルを生成し，ドローイングする様に 3D モデルを作成する事を可能とする．また，スマートフォン AR を用いて実空間に作成する 3D モデルを重畳表示させる事で，複数人で3D モデルを観察する事が可能となる．本稿では，これら提案手法の実装方法について述べ，評価実験の結果からシステムの有効性を示す．

Abstract
As a recent trends in 3D modeling environments, they implement simultaneous editing through network by multiple
people. Furthermore, multiple people are able to create 3D model with communicating online or in VR space by using
these 3D modeling environments. On the other hand, in the case of modeling by collaborating with some users in real
space, users need to share the display or multiple work environments are required. In this study, we propose FabKUI, amodeling method that enables multiple people to share a single interface in real space and collaborate on 3D modelingby using smartphone AR. In the proposed method, the concept of shadow user interface enables to control 3D movementof the entity by manipulation of shadows. And 3D models can be generated from 3D trajectories of the movement of
the entity. Because of the application of KUI, FabKUI enable to create 3D models as if handwriting. In addition, by
superimposing the 3D model generated in the real space using smartphone AR, it is possible for multiple people toview the 3D model. In this paper, we show the way of implementation of the proposed method and demonstrate theeﬀectiveness of the system from the results of evaluation experiments.

– 23 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

作業を行う場合，1 つの PC 画面をディスプレイやプロ

1 はじめにジェクタなどで共有するか各々の PC からオンライン上

デジタルファブリケーションにおける電子工作やプで共同制作するケースが想定される．1 つの PC 画面を

ログラミング，3D モデリングにおいて初学者にも扱共有する場合，ディスプレイモニタ形状や画面サイズにいやすいツールや環境が増えてきている．Arduino や

よって指向性の制限があり，オンライン上でモデリング

Raspberry Pi，micro:bit などの安価なマイコンボード

結果を共有する場合，複数の PC と開発環境が必要となは電子回路やプログラミングの教材としても使用されてり，対面的なコミュニケーションを阻害する一因となる

おり，Pure Data や Touch Designer は，ノードを繋ぐと考えられる．

事で直感的に音や CG 制作を可能にする環境を提供してそこで本研究では，実空間において複数人で単一のモいる．また，Tinker CAD や Sketch UP は，3D モデリ

デリングインタフェースを共有し，スマートフォン AR

ング初学者でもアイディアを形にできるユーザーインタを用いて共同で 3D モデリングを可能にするモデリング

フェースを提供している．さらに，クリエイティブコー

手法，Fab KUI を提案する．また，本研究では著者らがディングという分野で代表的な開発環境に Processing

これまで提案してきた KUI(Kage User Interface) の概があるが，公式サイト冒頭に “Processing is a ﬂexible

念 [5] を用いる事で，スケッチを描くような感覚で直感的

software sketchbook and a language for learning howに 3D モデルを作成可能なインタフェースを実装し，モとデリング経験のない一般ユーザーでも容易に共同制作がいう文章があるように，プログラミングをクリエイショ可能になるシステムを提案する．そして，図 1 のようにンに利用する上でスケッチを描くかのように簡単で直感

Fab KUI に 360 度フリーアクセス可能な設計とスマー的な開発環境を提供している．クリエイティブコーディ

トフォン AR を用いる事で，対面にて複数人で 3D モ

ングに代表される考え方によって提案されてきたこれら

デルを多角的に観察しながらコミュニケーションを図る

簡易的な機能や直感的な UI を提供するツールにより，事が可能になる．これによりディスプレイモニタを隔て専門知識を有していない人でもデジタルファブリケー

ずに対面でのコミュニケーションを阻害する事なく，共ションによって，ものつくりを楽しむ事が出来るように

同での 3D モデリングが可能になる．本稿では，関連研なってきたと言える．

究として従来の実世界指向モデリング研究との差異を示

to code within the context of the visual arts. [1]また，近年のデジタルファブリケーションの動向とし，本研究の新規性について述べる．そして，Fab KUI

して FabCafe や FabLab，ものつくり教室などで参加が提供するモデリング手法の実装方法を述べ，評価実験者が共同作業を通してものつくりを楽しむ機会が増えで得られた結果を示す．

ている．ものつくりの空間を共有する事で，参加者相互のディスカッションが可能となり，さらには，互いに交流することで新しいアイディアが生まれるきっかけを与えている．その結果，コラボレーション作品が生まれる可能性も高くなると考える．3D モデリング環境の

TinkerCAD や Blender のアドオン Mixe では，ネットワークで繋がりリアルタイムで共同編集可能な機能が追加され，オンライン上で複数人により 1 つの作品を制作することが可能である．また，VR 空間内で共同モデリ
ング可能なアプリケーション [2][3][4] も多数存在し，VR
空間にて空間や作品を共有しコミュニケーションを取りながら共同で 3D モデリングが可能になっている．このように VR 空間内での 3D モデル制作のための共同作業
環境は整いつつあるが，実空間で 3D モデル制作の共同– 24 –

図 1: Fab KUI のシステムイメージ

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)のような複雑なマウス操作やキーコマンドを用いずに2 Fab KUI について
2.1

3D 形状を作成する事が可能である．また，AR によってこれまでの KUI

複数視点から観察可能なため，マウスによるカメラ視点

KUI とは著者らがこれまで提案してきた影を操作すの変更も不要となる．そして，360 度フリーアクセス可

る事で物体とのインタラクションを可能にするユーザー

能な設計にする事で，AR を用いて複数人がそれぞれのインタフェースの概念である [5]．物体が変化する事で独立視点から 3D モデルの観察が可能となり，その場で影も変化するという，実世界の影と物体の物理的関係性

ディスカッションを行いながら直接モデルへアクセスすを逆説的に捉え，影が変化する事で物体も変化する事象

る事が可能である．

へと変換しインタフェースの概念として応用する．KUI
では，影と同じ二次元平面であるスマートフォンのジェ
スチャ操作に準拠した操作方法を提供し，影をドラッグ

3 関連研究3.1

AR を用いたモデリング手法

する事で物体を水平移動させ，影に対してピンチジェス

HMD(Head Mounted Display) を用いる AR モデリ

チャを行う事で垂直移動させる．また，KUI を応用し影ングの手法として，五十嵐らの SituatedModeling[9] でのメディア的性質を拡張する研究 [6][7] や，ディスプレ

は AR マーカデバイスを用いて指定した位置に 3D モデイ空間で 3D ドローイングを可能にする応用手法 [8] をルを配置可能とし，Patrick らが提案する DesignAR[10]

提案してきた．

では，HMD による AR 表示とペンタブレットやタッ

2.2

Fab KUI の設計方針

チジェスチャ入力によって 3D デザインを支援する．

著者らが考える Fab KUI のモデリング概念では，コ

Huaishu らが提案する RoMA[11] では，HMD とコント

ミュニケーションを中心とした空間共有型のモデリン

ローラを用いて空間上に仮想ワイヤーメッシュモデルをグ体験を提供するものである．例えるなら，実空間で 1

作成し，ロボットアームが 3D ペンを操作しモデルを出本のペンを共有しながら 1 枚の画用紙にアイディアス

力する．これらの手法は HMD を用いることで，マウケッチを書いていくかの様に 3D モデルを作成できるモスでカメラを操作せずとも 3D モデルを多視点から観察

デリング手法である．インタフェースとなるペンを 1 本することが可能である．しかし，専用のコントローラをにすることで，試し書きをする際には必ずアイディアを必要とすることや，高度なモデリングを行うにはコント共有するため，思考を共有する頻度も増え，より密接な

ローラ操作を習得する必要がある．

コミュニケーションを図る事が可能になると考える．まスマートフォン AR を用いたモデリングの手法とした，操作が交代制になることで作業分担できない分、互て，Huo らは実空間の物体のスケールに合わせた 3D モいの作業に意識が集中されることで，協力して一緒に作デルを空間に配置する Window-Shaping[12] を提案し，ることの意識が生まれるとも考える．

Kin らはスマートフォンのタッチ入力や加速度センサにこれらを実現するために，本提案手法は初心者でもア

よる入力など複数入力によって空間に 3D モデルを生成

イディアをスケッチに描くかのように 3D モデルを作成する Mobi3DSketch[13] を提案している．スマートフォ

できるインタフェースである点，そのインタフェースをン AR を用いたモデリング手法では，従来のモデリン

共有しながら実空間でコミュニケーションを図りながらグアプリケーションのようにディスプレイモニタに正対モデリングを行える点を考慮したインタフェースを設計して作業せず，空間上に 3D モデルを重畳表示可能なた

する．Fab KUI では，KUI の影に対するジェスチャ操め，作業空間上の制限が少なく，対面でのコミュニケー

作によって物体を操作し，物体の移動した軌跡から 3D

ションを図る上で有意であり，共同でモデリングを行う

モデルを作成し AR を用いて実空間に重畳表示する事には有効な手法であると考える．Fab KUI では，スマー

で，複数人が多視点から 3D モデルを観察しながらモデ

トフォン AR による複数人での 3D モデル観察を可能にリングを可能とする手法を提案する．影に対するドラッ

する点に加え，複雑なコントローラ操作や高度なモデリ

グジェスチャとピンチジェスチャだけで，物体を三次元ングを行うためのインタフェースは用いず，KUI を使用

的に移動させる事が可能なため，従来のモデリング手法

した単一のインタフェースを共有する．それにより，ス– 25 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

マートフォン AR 単体では，モデリング空間に各々自由

現や，二段構造のような表現は不向きであると考える．

に 3D モデルを作成する体験であるのに対し，Fab KUI

これら共同作業可能な実世界指向モデリング手法に対では同じモデリング空間を共有し協力して 3D モデリン

し Fab KUI では，入力インタフェースがディスプレイとグを行う体験を提案する．また，スマートフォン AR でしても機能する事で複数人で出力結果を観察可能な点ではモデリングアプリケーションにおけるマウスによるカ

共通している．加えて本研究では，単一のインタフェー

メラの操作がなく，空間に配置された 3D モデルを ARスによってドローイングのような操作を可能にする事

越しに実際に観察できる．Fab KUI では，スマートフォで，曲線的な表現が容易となり，影に対する操作から物

ン AR による 3D モデルの観察が可能な点に加え，ペン体は三次元移動が可能なため，空中にオブジェクトを配先となる実空間の物体がモデル生成位置を示す事で，ス置する表現や二段構造の表現も可能となる．

マートフォン画面と実空間の物体の 2 つの多次元的な情報から 3D モデルの生成位置を把握することができる．

4 提案手法それらを複数人で 360 度多視点かつユーザーそれぞれの本研究では，影に対する操作から物体の三次元位置を独立した視点から観察できる点で 3D モデルの空間的な変化させ，物体の移動した軌跡から 3D モデルを生成し，位置の把握が容易になると考える．

AR によって複数人で共同観察可能な 3D モデリング手

3.2

共同作業可能な実世界指向モデリング法，Fab KUI を提案する．本章では，Fab KUI のシス

実世界指向インタフェースを用いるモデリング手法とテムについて影から物体を操作し 3D モデルを生成する

して，永井らは積木を積み上げる事で建築物の 3DCG

KUI モデリングシステムと，KUI モデリングシステム

を生成する手法として TSUMIKI CASTLE[14] を提案の操作方法，生成された 3D モデルの AR 表示を行う

している．また，Anderson らは LEGO ブロックのようKUI-AR システム に分けて述べる．図 2 に提案手法のにブロックを組み合わせる事で建築物の 3DCG を生成システム構成図を示す．

する手法 [15] を提案している．さらに，北村らは連結式のブロックを用いてリアルタイムな３次元形状モデリン
グとインタラクション手法として Active Cube [16] を提案している．これらブロックを使った 3D モデリング
手法では，ブロックを実空間で積み上げることで複数人による作業が可能となる．しかし，ブロックの形状は連結可能箇所が限られているため，曲線など，より自由度の高い形状を表現するためには多くのブロックを用いる
か，専用のブロックが必要になる．
上下するピンマトリックスの高さを変更する事で3DCG の形状を変形させる手法として，Follmer らのinFORM[17] や，Siu らの ShapeCAD[18] がある．また，石井らは砂場の形状をスキャンする事で 3D の地形を生成する Illuminating clay[19] を提案している．この

図 2: システム構成図

ような物体の高さを変更する事で 3D モデルを生成する
手法では，入力インタフェース自体がディスプレイとしての役割を果たし，テーブルトップ形状になってい4.1

KUI モデリングシステムの概要ることから，複数人で囲んで作業する事が可能となり，

KUI モデリングシステムでは主に，影へのタッチ検出

CSCW 分野での活用も期待される．しかし，個々のピとジェスチャ判定，ジェスチャによる物体の移動，物体

ンがボクセルを表現し，インタフェース下部からピンが移動を用いた 3D モデル生成を行う．影へのタッチ検出

出ているため，空中にオブジェクトを配置するような表にはタッチパネルフレームを使用し，フレーム内に影を– 26 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

投影させる事で，影に対するマルチタッチジェスチャをによる影へのドローイングのようなスムーズな操作から検出可能にする．図 2 のように操作面となるテーブル上

球体の三次元移動を可能にし，その球体の移動した軌跡にタッチパネルフレームを配置し，その上部に影を生成

によって 3D モデルを作成可能にする．片手操作を採用する光源と光を遮蔽する球形状の物体 (以降，球体とすする事で，もう片方の手でスマートフォンを覗きながらる) を垂直かつ同一線上に配置する．これにより，ユー操作が可能となり，KUI を操作しながら生成される３ D

ザーの影で球体の影を隠す事なく操作が可能となり，どモデルを確認する事ができる．

の方向からでも同じ形状の影を操作する事が可能になる．影の範囲と指の当たり判定は，あらかじめ影の大きさを計測し，仮想の影領域としてプログラム内に設定し，その範囲内にタッチパネルフレームで検出された指の座標が入っていれば，ユーザーの操作を受け付け，指の本数によってジェスチャの識別を行う．
ジェスチャによる球体移動は，タッチパネルフレームにて検出された指の位置とジェスチャの種類によって球
体の 3 次元位置を変化させる．球体の 3 次元位置の移動を可能にするため，XY プロッターとラックアンドピニ
オン方式の垂直移動機構を組み合わせ XYZ プロッター

図 3: 4 つのジェスチャ操作を制作する．図 2 のように球体と光源を垂直に連なる設計にする事で，垂直の位置関係を保ったまま移動が可能となり，インタフェースとなる影の大きさや形状を一定に保ったまま変化させる事ができる．

4.3

KUI-AR システムの概要

3D モデルの生成は，実際の操作空間を 3D 空間に再KUI-AR システムでは，スマートフォンとマーカ型

現し，球体と同形状，同スケールの 3D オブジェクトを

AR を用いて，KUI モデリングシステムによって 3D 空

実空間の球体と同じ位置になるように 3D 空間に配置す

間に生成される 3D オブジェクトを実空間に重畳表示

る．球体の移動と連動し，3D オブジェクトも移動させ，させる．操作面となるタッチパネルフレーム枠内に AR移動した位置に 3D オブジェクトと同様の 3D モデルを

マーカを配置し，影への操作によって生成される 3D オ

生成する事で球体の移動した軌跡を 3D 空間に 3D モデ

ブジェクトをスマートフォンに写る AR マーカ上に重ルとして再現する．ユーザーの操作終了時に，生成され畳表示させる．また，実空間における球体の移動可能範

た 3D モデルを STL 形式で書き出す事で，球体の軌跡の

囲と 3D オブジェクトを重畳させる AR 空間の位置やス

3D モデルを出力する事が可能となる．

ケールを合わせる事により，AR 表示上では球体が動い

4.2 提案手法の操作方法

た位置に 3D オブジェクトが生成される．本手法の構造提案手法の操作方法として，これまで提案してきたは図 2 のように操作面となる AR マーカを中心に開けた

KUI の応用システム [6][8] に準拠し，球体の水平方向移設計にする事で，ユーザの立ち位置に関わらず AR によ

動には，図 3A のように一本指でのドラッグジェスチャ

る 3D オブジェクトの観察と影への操作が可能になり，を，そして垂直方向の移動には，図 3B のような二本指スマートフォンを複数台用意する事で，実空間におけるでのピンチイン・ピンチアウトジェスチャを採用する．

複数人同時観察も可能となる．

また，図 3C のようにドラッグとピンチジェスチャを同時に行う事で，垂直移動と水平移動を同時に実行可能と

5 実装

し，図 3D のように，三本指でのドラッグジェスチャと本章では，図 4 に示す Fab KUI の実装方法について，

ピンチジェスチャを 3D モデルを生成せずに球体を移動

KUI モデリングシステムと KUI-AR システム に分けてさせる操作として採用する．これらの操作により，片手述べ，2 つのシステムを統合させた動作の様子を示す．

– 27 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

ロッタは，各軸にステッピングモータ (MakeBlock 社製-

42BYG) とステッピングモータドライバ (MakeBlock 社
製-A4988) を用意し，1 つの Arduino Uno マイコンボー
ドでモータの回転方向やスピードを制御する．影領域のXY 座標は XYZ プロッタの XY 軸のモータ制御値に変換し，影領域の直径は Z 軸のモータ制御値に変換する．
変換された XYZ 各軸のモータ制御値を PC から XYZ
プロッタを制御する Arduino へシリアル通信にて送信
し，Arduino から各軸のステッピングモータを動作させ，球体の移動を行う．
図 4: 実装した Fab KUI(mm)

5.1 KUI モデリングシステムの実装
タッチパネルフレーム (Zhanchu Technology 社) は

PC と USB 接続し，TUIO(Tangible User Interface Ob-

図 6: XYZ プロッタ

jects) 通信 [20] にて指の座標を最大 10 点まで取得することが出来る．図 5 のようにメインプログラム内にあらかじめ仮想の影領域を設定し，領域内部で検出された指のジェスチャによって影領域の位置や大きさを変化させる．メインプログラムは C++ のフレームワークである

openFrameworks(ver.0.11.0) を使用する．

KUI モデリングシステムでは，ヘッド位置を推定するためのリミットスイッチが各軸に取付けられている．各
モータにおける動作速度を表 1 に示す．計測ではプロッタのヘッドが端から端まで移動した際の速度を計測す

影領域の位置変更には指の中心座標の移動量を用いる
ため，図 5 左のように指が二本以上検出される場合は，
図 5 右のように指同士の中心座標 (図 5 右の center) の移動量を位置変更に用いる．影領域の位置や大きさが変る．x 軸，y 軸におけるヘッドの移動はタイミングプー
リとゴムベルトによって移動を行い，z 軸ではラックア
ンドピニオン方式によって移動を行うため速度差が生まれている．

更されると共に，実空間の球体の位置も変更するために

XYZ プロッタを動作させる．XYZ プロッタは，図 6 の

表 1: 各モータの動作速度

ように XY プロッタの中央にラックアンドピニオン方式の垂直 (Z 軸) 移動機構を取り付け制作する．XYZ プ

5.2

x軸

y軸

z軸

距離 (mm)

380

320

300

時間 (s)

1.75

1.49

0.54

速度 (mm/s)

216.08216.89545.85KUI-AR システムの実装

球体の移動によって生成される 3D オブジェクトを

AR を 用 い て 実 空 間 に 重 畳 表 示 さ せ る ．生 成 さ れ る
3D オブジェクトの座標を PC 側のプログラムから，
図 5: 影の判定領域

OSC(Open Sound Control) 通信にて AR で使用するス
マートフォンへ WiFi 経由で送信する．スマートフォ– 28 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

ンで受信した座標を AR マーカ上の座標に変換し，3D
オブジェクトを重畳表示させる際に実空間の球体の位置と一致させる．AR 用のスマートフォンアプリケー
ションは Unity 3D(ver.2019.4.20f1) と Vuforia Engine

AR(ver.8.1.12) を用いて実装する．実機への書き出し
は iOS または Android OS にて書き出し可能であるが，AR に使用するスマートフォンは画面が大きく片手で持てる大きさであることから，iPhone11 Pro と iPhone12

Pro Max を実機として使用する．AR 用のマーカは図 4のように，操作面となる中央の領域は影が視認しやすい
ようにシンプルなデザインを採用する．また，球体の移動可能範囲がタッチパネルフレームの操作可能範囲より小さいため，操作が行われない領域には特徴量の多い画像を使用し，影の視認性とマーカ検出精度を上げるデザインを採用する．

5.3

動作実験の様子

実際に制作したシステムを動作させ，意図した 3D モ

図 8: 作成した 3D モデルと 3D プリントの結果

デルを生成できるか動作実験を行なった．3D モデリン
グ中のスマートフォン画面をキャプチャした様子を図7 に示す．また，著者らが実際にモデリングした 3D モ
デルと 3D プリンタで印刷した結果を図 8 に示す．図 8のように立体形状や，平面的な形状，キャラクタや文字など意図した形状をモデリングする事が可能である．また，図 9 にスマートフォンを複数台使用した共同制作中の様子を示す．従来のディスプレイに正対してモデリン
グを行う手法とは異なり，Fab KUI の 360 度自由にア
クセスできる設計により，共同制作者同士が異なる位置
図 9: スマートフォン画面のキャプチャ画像に移動しても AR を用いる事で中央のモデルを同時に観察可能となり，アイディアを共有しながら 3D モデリン
グを行う事が可能となる．

6 評価実験
6.1

実験概要

Fab KUI の提案する 3D モデリング手法は，初心者でもアイディアをスケッチに描くかのように 3D モデルを作成できるインタフェースである点，そのインタフェー
スを共有しながら実空間でコミュニケーションを図りながらモデリングを行える点を設計方針としている．そこ
図 7: 3D モデル作成中の様子

で本手法の操作特徴である，影と球体の動きを用いたイ
ンタフェース，360 度フリーアクセス可能な設計，AR による複数人での 3D モデル観察の 3 点から有効な効果が– 29 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

得られるか評価を行う必要があると考える．本稿では，を評価する．また，影から球体を移動させるという概念

これら 3 つの特徴に対し，インタフェースの操作性，共の理解度が操作に影響すると考え Q3 の項目を加えた．

同作業性，AR の視認性の 3 項目に分けてアンケートに

表 3 の項目は共同作業性として，360 度フリーアクセス

よるユーザー評価を行う．また，定量的なアンケート評

可能な設計により、お互いに多角的に移動しモデルを観価に加え，実験後にインタビュー形式による聞き取り調

察し，情報の共有が行われたかを評価する．共同で制作査を行い定性的な評価を得る．

する上で，意思の疎通や意見交換を行ったかを測るため

評価方法として，2 人 1 組となり本手法を用いて共同

Q3 を設定した．Q5 は 4 段階評価で行うが，それぞれ

で 3D モデリングを行なってもらう．まず初めに，被験操作した場所を評価 1「常に同じ方向」，評価 4「別方向者に対し KUI の操作や AR 表示について説明を行い，1かつ複数箇所」として，360 度フリーアクセス可能な設人ずつ操作練習を 5 分程度行なってもらう．AR 表示に計にが生かされたか評価を行う．表 4 の Q1 は，操作を使用するスマートフォンは 1 人に 1 台用意し，2 人同時行う際に AR の他にどこを見て操作を行っているか調査に AR による観察ができるようにする．次に，2 人共同するために設定した．インタフェースとなる影はもちろ

で自由制作を行なってもらい，完成後に評価アンケート

ん，実世界のカーソル的役割を持つ球体など，複数要素の回答を行なってもらう．最後にインタビュー形式で意を確認しながら操作を行っていると予想される．また，見や感想などのヒアリングを行い，その様子を撮影し会実験を行う部屋には AR に表示される 3D モデルの確認話から特徴的な意見を抽出する．明星大学にて情報学部用として，OSC 通信を行うメイン PC 上に生成されるの学生 (以下，情報系学生)14 名 (内 1 名は大学院生)，人

3D モデルを表示しているため，ディスプレイの項目を

文学部の学生 (以下，人文系学生)6 名 (内 1 名は大学院

設定している．

生) の計 20 名に協力してもらい，同じ学部生同士で 2 人

1 組のペアを作り計 10 ペアに対し評価実験を行なった．

表 2: インタフェースの操作性に関する評価項目
Q1 影をうまく操作する事ができたか

人文系学生を対象とした理由は，評価実験から得られた

Q2

アンケートの回答データを評価者全体のデータと，人文実体 (球体) を思い通りに動かす事ができたか
影への操作と球体の動きは理解する事ができたか

Q3

系学生と情報系学生で比較したデータ，モデリング経験

Q4の有無で比較したデータに分けてグラフ化し評価するた(ドラッグで横移動，ピンチアウトで上昇など)
思い通りの 3D モデル，形状を作る事ができたかめである．モデリング経験の有無で比較することで経験の無い被験者でも操作を行うことができたかを評価し，人文系学生と情報系学生で回答データを比較する事で，表 3: 共同作業性に関する評価項目

普段から AR などの情報技術に触れる機会の多い被験者

Q1

二人で協力して制作する事ができたかと，機会の少ない被験者間でも回答に差異が生まれるか

Q2

話し合いながら制作を行うことができたかを評価する．3D モデリング経験があるか調査した結果

Q3

交代しながら操作を行なったか

20 名中 3 名がモデリング経験があり，これら 3 名は同ペQ4

共同で作業するとき，操作し易いと思ったか

アにならないように振り分けを行なった．

Q5

操作するとき相方と同じ方向から操作したか

6.2

評価項目

インタフェースの操作性，共同作業性，AR の視認性を評価する項目を表 2，表 3，表 4 にそれぞれ示す．回

表 4: AR の視認性に関する評価項目

答は中央値を無くすため 4 段階評価で行い，それぞれの操作している時，どこを見ながら操作したか

Q1

質問に対し 1 が低評価，4 が高評価となるように回答を設定した．表 2 の項目は，インタフェースの操作性に関する評価であり，Q1，Q2 のようにインタフェースとな
る影や，球体を意図して動かす事ができたか，言い換え
ると思い描いた位置に 3D オブジェクトを生成できたか– 30 –(影・球体・AR・ディスプレイ (複数選択可))Q2

AR を使って 3D モデルの形を観察できたか

Q3

共同で作業する時，3D モデルは見易かったか

Q4

AR を使って様々な角度から 3D モデルを観察できたか

Q5目の前の空間に 3D モデルがあるかのように，制作できたか

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

6.3

評価実験アンケート結果

る．このことから，本システムにおける AR による複数

被験者全体 (人文系学生 6 名，情報系学生 14 名）のア

人でのモデル観察は有効であると言う事ができる．

ンケート評価結果をまとめたグラフを図 10，図 11，図

12，図 13 に示す．図 10 のグラフはインタフェースの操作性に関する全体評価を示し，評価 3，評価 4 を肯定的回答として算出すると Q1 は 80 ％，Q2 は 70 ％，Q3
は 100 ％，Q4 は 80 ％が肯定的回答を得る事ができた．

Q1，Q2 の結果から影を操作し球体を任意の位置に移動させる事ができた被験者が多い事がわかる．これは Q3の結果が示すように，操作の理解が容易であることも関係していると考える．その結果 Q4 の回答は，思い通り図 10: インタフェースの操作性に関する全体評価の 3D モデルを作成する事ができたと肯定的回答を多く得る事ができたと考える．図 10 の結果から，影と球体の動きを用いるインタフェースは直感的な操作であり，意図した位置に球体を移動させ，3D オブジェクトを作成する事ができたと言える．図 11 のグラフは共同作業
性に関する評価結果を示し，肯定的回答が Q1，Q2 は

100 ％，Q3，Q4，でも 85 ％以上と高い回答を得る事ができた．Q2 の結果が示すようにどのペアもディスカッ
ションを行いながら共同作業をしている事がわかる．ま図 11: 共同作業性に関する全体評価

た，Q3，Q4 の結果から，互に交代しながら操作を行うペアが多い事がわかる．そして，Q5 の「操作するとき相方と同じ方向から操作したか」の回答では評価 4 の「別方向かつ複数箇所から操作した」と回答した割合が70 ％と高いことから，本システムを中心に多角的に移動しながら操作が行われた事がわかる．図 12 のグラフは，

AR の視認性 Q1 に関する全体評価を示し，図 13 のグ
ラフは，AR の視認性 Q2 から Q5 に関する全体評価を示す．Q1 の回答は複数回答可能であり，回答数としては AR が一番多かったが他の回答と大きな差は見られな
かった．このことから，ユーザーは AR や他の視覚的情図 12: AR の視認性 Q1 に関する全体評価

報を複数用いてモデリングを行っていたと考えられる．
図 13 の結果のように，肯定的回答が Q2 から Q5 全ての回答において 95 ％以上と高い評価を得る事ができた．

Q2，Q3 の結果から AR を用いて 3D モデルを観察する事ができた事がわかり，Q4 の結果から多角的にモデルの観察を行えた事がわかる．これは，システムの 360 度
フリーアクセス可能な設計と操作面に対し AR マーカを配置した事で，どの角度からでも 3D モデルを確認できたからだと考えられる．また，これらの結果から Q5 では全ての回答で肯定的回答を得る事ができたと考えられ– 31 –

図 13: AR の視認性 Q2 から Q5 に関する全体評価

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

図 14 から図 16 のグラフは，回答の平均値を人文系学
生と情報系学生に分け比較した図であり，エラーバーは標準偏差を示す．同様に図 17 から図 19 のグラフは回答の平均値をモデリング経験有りとモデリング経験無しの被験者に分け比較した図である．インタフェースの全体
評価 (図 10) では，全体的に良い評価を得ることができたが，人文系学生と情報系学生で比較した図 14 では人文系の平均回答値が少し低い値となり，Q2 では互いに平図 15: 人文系学生と情報系学生による共同作業性に

均回答値が 3 以下の結果となり，一定数の被験者がうま

関する評価 (人文 [6 名]，情報 [14 名])

く操作出来なかった事がわかる．また，共同作業性の全体評価 (図 11) からは，全体的に操作を交代しながら多角的に移動し操作している事が分かったが，図 15 では

Q3，Q4，Q5 における人文系学生の平均回答値が情報系学生に比べて少し低い値となり，Q1，Q2 では平均回答
値 3.7 以上と高い値となった．モデリング経験の有無で分けた図 18 でも Q1，Q2 は平均回答値 3.6 以上と高い値である．AR の視認性に対する全体評価 (図 13) では，
全体的に良い評価を得る事が出来た．人文系学生と情報

図 16: 人文系学生と情報系学生よる AR の視認性に系学生で比較した図 16 やモデリングの有無で比較した関する評価 (人文 [6 名]，情報 [14 名])

図 19 でも平均して良い評価を得ることができた．しかし，人文系系学生と情報系学生間，モデリング経験の有無間でアンケート結果に統計的有意差があるかマン・ホ
イットニーの U 検定 (ウィルコクソン・マン・ホイット
ニー検定) を用いて操作性，共同作業性，AR の視認性の質問ごとに検定を行った結果，有意水準値 0.05 に対してどの質問でも水準値を下回る結果は得られなかったため，人文系学生と情報系学生，モデリング経験の有無で有意な差があるとは言えないことがわかった．
図 17: モデリング経験の有無によるインタフェースの操作性に関する評価 (経験有 [3 名]，経験無 [17 名])

図 14: 人文系学生と情報系学生によるインタフェースの

図 18: モデリング経験の有無による共同作業性に操作性に関する評価 (人文 [6 名]，情報 [14 名])関する評価 (経験有 [3 名]，経験無 [17 名])– 32 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

図 19: モデリング経験の有無による AR の視認性に関する評価 (経験有 [3 名]，経験無 [17 名])

6.4

評価実験インタビューから得られた意見

評価実験後にインタビュー調査を行い，感想や意見などヒアリングを行なった．感想として多く上がったのが，「楽しかった」や「影を操作する体験が新鮮だった」など影の操作体験が面白いという意見が多かった．操作性に対しては，「スマートフォンを普段使っているから操作が分かり易かった」や「曲線の操作がし易かった」「一
本指の操作が簡単だった」など肯定的意見が得られた．
しかし，「服が反応してしまって誤作動した」や「操作が反応しない時があった」，「三本指操作が難しかった」な
どの今後の課題となる意見も得られた．これはタッチパ
ネルフレームに服の袖や掌が反応し誤作動したためであり，このことからタッチ検出の方法を検討する必要もあると考える．また，三本指での操作はロングタップなど

図 20: 被験者が制作した作品

他の操作に置き換えることを検討する．
共同作業に対する意見として，「奥側 (対角) の操作は

図 20 は，評価実験に参加した被験者 (10 グループ) が相方に任せた」や「一緒に作ってる感じがした」，「片方

実際に制作した作品である．一本指の直線的な操作が容が見ながら指示出すのも司令塔みたいで面白かった」な易である事から 4 グループが立方体を制作しているが，どの意見を得る事ができた．また実験の様子から，お互4 グループとも立方体の内外に装飾を加えた造形がなさ

いが対角線上に向かい合い、交互に操作するペアや，1れている．また，立方体を制作したグループでは，実験つのスマートフォンで一緒に観察するペア，一人は AR

時に被験者同士が対角線上に位置して操作を交互に行うを使って指示を出すペアなど，様々な協力の仕方が見ら様子が多く見られた．これは，立方体はどの方向から観れた．

察しても概ね同じ形状に見えることや，被験者の正面にAR に対する意見として，「見易かった」，「いろんな方モデルを作成すると反対側が隠れてしまうため，対角位向から見るのが楽しかった」などの肯定的意見が得られ置の被験者の方が操作し易いためであると予想される．

た．しかし，「柱に被ると見えなくなった」や「3D モデ

図 20 の 4，5 番目の作品は，階層を成した曲線の表現をルが被って手元が見えなかった」などの改善すべき点を行なっている．5 番目の作品は，三層の円が重なった形

指摘する意見も得られた．

状であり，制作時には一層事に操作を交代している様子が見られた．図 20 の 6，7 番目の作品では，斜め縦方向に線を描いている作品であるが，線が少し歪んでいるの– 33 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)が確認できる．実験時の様子からも斜め操作でやり直す

ルージョンの機能を用いる事で，手元を隠す事なく表示場面が見られ，斜め縦方向の操作 (ピンチ&ドラッグ) はする事ができると考える．さらに，現在のシステム設計

難易度が高い事がわかった．

上 KUI による単一のインタフェースを共有し交互に操作を行う必要があるため，二人同時の操作は行えないが，7 考察と今後の課題

小型ドローンを球体として用いて影を操作する事で，複提案する Fab KUI の特徴である，影と球体の動きを数人で同時にモデリングを行う事ができると考える．

用いたインタフェース，360 度フリーアクセス可能な設

今後の課題として，インタフェースの操作精度を向上

計，AR による複数人での 3D モデル観察の 3 点から有する点に加え．モデリング手法としての機能を充実させ効な効果が得られるか評価実験を行い，アンケート評価

る事で，より汎用性の高いモデリングインタフェースとの結果とインタビュー調査で得られた意見を示した．イ

しての活用が望まれる．また，インタビュー調査では「楽ンタフェースの操作性に関して，評価実験に参加した被しかった」「新鮮だった」などの意見が多かったことか

験者の多くがモデリング未経験者であったが図 10 の全ら，エンタテインメント性に特化させたモデリング体験

体評価では肯定的回答を多く得る事ができた．この結果を提供することもできると考える．現在 3D プリンタでから，本手法の KUI に基づくインタフェースは，片手で印刷する事を想定し，モデリング時には単色でのモデル

ドローイングするような操作により，モデリング経験をを表示しているが，色彩豊かなモデルを生成可能とする

有さないユーザーでも意図した 3D モデルを作成する事

事で，複数人で絵具で遊ぶようなモデリング体験を提供が可能であると言える．しかし，人文系学生と情報系学できるのではないかと考える．そして，本稿では，遮蔽

生，モデリング経験の有無で分けた図 14 と図 14 のグラ

物に球体を使用しているが，遮蔽物を付け替えることで，

フ Q2 からもわかるように，平均評価が 3 以下であり，一3D オブジェクトの最小構成要素の形状を変更すること

定数の被験者は球体を思い通りに操作出来なかったことも可能である．さらに，提案手法では，遮蔽物を回転さがわかる．これはインタビュー調査で回答された誤動作せる機能を実装していないため，遮蔽物の形状を球体とや三本指操作の難易度などが原因として考えられる．こしたが，遮蔽物を回転させられるようにする事で，様々れらの解決方法として，静電容量方式のタッチパネルをな形状の遮蔽物の使用とそれに合わせた 3D オブジェク使用する案や，ロングタップやダブルタップなどのジェトの最小構成要素を用いたモデリングが可能になると考スチャを改めて選定する事で改善できると考える．

える．

共同作業性に関するアンケート結果では，図 11 が示すように 85 ％以上の肯定的回答を得ている．この結果か

8 終わりにら Fab KUI では，インタフェース特性である 360 度フ

本研究では，影への操作と球体の移動した軌跡から 3D

リーアクセス可能な設計により実空間で共同してモデリモデルを生成し，スマートフォンを用いた AR 表示にングを行う事が可能であると言える．そして，図 13 のよって，実空間における複数人共同 3D モデリングの手

AR による視認性のアンケート結果からも 95 ％以上の法 Fab KUI を提案した．そして，提案手法に基づくシス

肯定的回答を得られたことから，実空間において複数人テムを実装し，評価実験の結果を示した．その結果，提で多角的に 3D モデルの観察を行いながら共同してモデ案手法ではモデリング経験を有さない一般のユーザーでリングする事ができたと言える．しかし，インタビュー

も，ドローイングのような操作から 3D モデルを生成す

調査の結果からは，「柱に被ると見えなくなった」や「3Dる事ができ，360 度フリーアクセス可能な設計とスマーモデルが被って手元が見えなかった」など AR マーカ検

トフォン AR によって，実空間において複数人で共同し出の課題やオクルージョンの課題も見つかった．

て 3D モデリングを可能にする結果を示した．今後の展

AR マーカ検出について XYZ プロッタを支える設計

望として，機能の追加や色の要素を加える事で，FabKUIを改善するか，AR マーカを複数枚四角に配置しマーのエンタテインメント分野での利用や，KUI を 3D モデ

カ検出の精度を上げる事で改善できると考える．また，リング以外の用途で活用することを検討する．

現在 Apple 社が提供している ARKit4 のピープルオク– 34 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

ference on Interactive Surfaces and Spaces, p.

参考文献

29–41, New York, NY, USA, 2019. Association[1] Casey Reas and Benjamin Fry. Procesing, 2001.
https://processing.org/(参照 2021-12-01).
[2] Rendever.inc.

Multibrush, 2021.

for Computing Machinery.
[11] Huaishu Peng, Jimmy Briggs, Cheng-Yao Wang,
Kevin Guo, Joseph Kider, Stefanie Mueller,

https://www.oculus.com/experiences/quest/

Patrick Baudisch, and François Guimbretière.

3438333449611263/(参照 2021-12-01).

Roma: Interactive fabrication with augmented[3] NTT docomo.

Virtual design atelier, 2017.

reality and a robotic 3d printer. In Proceedings ofhttps://www.nttdocomo.co.jp/biz/service/the 2018 CHI Conference on Human Factors in

vda/(参照 2021-12-01).

Computing Systems, CHI ’18, p. 1–12, New York,[4] Brinx Software. Masterpiecevr, 2017. https://

NY, USA, 2018. Association for Computing Ma-

masterpiecestudio.com/(参照 2021-12-01).

chinery.

[5] 菊池康太, 尼岡利崇. 影ユーザーインターフェース :[12] Ke Huo, Vinayak, and Karthik Ramani. Window-

影をインタフェースとした実体とのインタラクショ

shaping: 3d design ideation by creating on, bor-

ン手法の提案. 芸術科学会論文誌, Vol. 16, pp. 130

rowing from, and looking at the physical world.

– 137, 2017.

In Proceedings of the Eleventh International Con-

[6] 菊池康太, 尼岡利崇. Augmented shadow media :ference on Tangible, Embedded, and Embodied In-

KUI を応用した影のメディア的性質を拡張するイ

teraction, p. 37–45. Association for Computing

ンタラクティブメディアの提案. 芸術科学会論文誌,

Machinery, 2017.

Vol. 18, pp. 134 – 142, 2019.
[7] Kouta Kikuchi and Toshitaka Amaoka.

[13] Kin Chung Kwan and Hongbo Fu. Mobi3dsketch:
KUI

3d sketching in mobile ar. In Proceedings of theBased Puppet. In 2020 Nicograph International,

2019 CHI Conference on Human Factors in Com-

pp. 95–95, 2020.

puting Systems, p. 1–11. Association for Comput-[8] Kouta Kikuchi and Toshitaka Amaoka.
Based Modeling:

KUI

ing Machinery, 2019.

a study for real world ori-

[14] Junnosuke Nagai, Tsuyoshi Numano, Takafumi

ented modeling using real shadow as an interface.

Higashi, Matthieu Tessier, and Kazunori Miyata.

In International Workshop on Advanced Imaging

Tsumiki castle: Interactive vr system using toy

Technology (IWAIT) 2021, Vol. 11766, pp. 352–

blocks. In Proceedings of the Virtual Reality In-

357. SPIE, 2021.

ternational Conference: Laval Virtual, New York,[9] Manfred Lau, Masaki Hirose, Akira Ohgawara,

NY, USA, 2013. Association for Computing Ma-

Jun Mitani, and Takeo Igarashi. Situated modeling: A shape-stamping interface with tangible
primitives.

chinery.
[15] David Anderson, James L. Frankel, Joe Marks,

In Proceedings of the Sixth Inter-

Aseem Agarwala, Paul Beardsley, Jessica Hod-national Conference on Tangible, Embedded andgins, Darren Leigh, Kathy Ryall, Eddie Sulli-

Embodied Interaction, p. 275–282, New York, NY,van, and Jonathan S. Yedidia. Tangible inter-

USA, 2012. Association for Computing Machin-action + graphical interpretation: A new ap-

ery.

proach to 3d modeling.

[10] Patrick Reipschläger and Raimund Dachselt.
Designar:

In Proceedings of the27th Annual Conference on Computer Graphics

Immersive 3d-modeling combining

and Interactive Techniques, p. 393–402. ACM

augmented reality with interactive displays. In

Press/Addison-Wesley Publishing Co., 2000.

Proceedings of the 2019 ACM International Con-[16] Yoshifumi Kitamura, Yuichi Itoh, and Fumio– 35 –

芸術科学会論文誌 Vol. 21, No. 1, pp. 23 – 36 (2022)

Kishino. Real-time 3d interaction with active-

菊池 康太

cube. In CHI ’01 Extended Abstracts on Human
Factors in Computing Systems, p. 355–356. Association for Computing Machinery, 2001.
[17] Sean Follmer, Daniel Leithinger, Alex Olwal,
Akimitsu Hogge, and Hiroshi Ishii.

Inform:Dynamic physical aﬀordances and constraints
through shape and object actuation. In Proceedings of the 26th Annual ACM Symposium on User
Interface Software and Technology, p. 417–426.
Association for Computing Machinery, 2013.
Shapecad:

大学院情報学研究科情報学専攻博士前期課程修了．現
在，同大学大学院情報学研究科情報学専攻博士後期課程
在学．芸術科学会学生会員，情報処理学会学生会員，バー[18] Alexa F. Siu, Son Kim, Joshua A. Miele, andSean Follmer.

2017 年明星大学情報学部情報学科卒業．2019 年同大学

An accessible 3d

チャルリアリティ学会正会員.

ヒューマンコンピュー

タインタラクションの研究に従事．

modelling workﬂow for the blind and visuallyimpaired via 2.5d shape displays. In The 21st

尼岡 利崇

International ACM SIGACCESS Conference on
Computers and Accessibility, p. 342–354. Association for Computing Machinery, 2019.
[19] Hiroshi Ishii. Illuminating clay: a tangible interface with potential grass applications. In GRASS
Users Conference, 2002.
[20] Martin Kaltenbrunner and Florian Echtler. The
TUIO 2.0 Protocol: An Abstraction Framework

1992 年北海道大学大学院地球環境科学研究科修士課程

for Tangible Interactive Surfaces.

Proc. ACM修了．2003 年ニューヨーク大学 Tisch School of the

Hum.-Comput. Interact., Vol. 2, No. EICS, 2018.

Arts, Interactive Telecommunication Program 修士課
程修了. 2010 年東京工業大学博士 (学術) を取得. 2003
年別府大学専任講師. 2005 年より明星大学情報学部情報科学科専任講師. 2017 年より同大学教授となり，現在に至る. ACM 会員，芸術科学会会員，情報処理学会会員.

– 36 –