WISS 2023

スマートフォンを台座として用いた 3 次元スケッチシステムの実装
武山 侑輝 ∗

西川 宜利 ∗

志築 文太郎 †概要. 我々は，スマートフォンを台座として用いることによって，3D モデリングおよび平面的なスケッチ技術に熟練していないユーザに向けた新しい 3 次元スケッチシステムを実装した．本システムは，キャラクタデザインおよび建築などのデザイン作業，教育現場，プレゼンテーション，ならびに日常の対話における情報伝達において効果的である．また，スマートフォンの画面ではなく，PC の画面を見ながら操作を行うことによって，モバイルデバイスを用いた AR 空間においてユーザの視界が遮られる問題，およびVR 空間における協調作業において人数分のゴーグルが必要になる問題を解決する．さらに，スマートフォンを台座として使用することにより，描画と回転を同時に行える 3 次元インタラクションを実現する．

1

はじめにゲーム制作，映画，建築，および製造業などの多くの産業において，3D オブジェクトを試作することは一般的な作業である．その場合，3D モデリン
グまたは平面的なスケッチを用いて自分の思い描いた 3D オブジェクトを表現することが多い．しかし，それらの技術を使いこなすことは難しい．特に，平面的なスケッチにおいては遠近感および立体的な形状の表現は難しく，3D モデリング技術を習得するには時間がかかる．
そのため本研究では，3D オブジェクトの手軽な作製を可能にするシステムを実装した．本システム
は，携帯性に優れたスマートフォンを活用することにより，3D モデリングおよび平面的な技術に長けていないユーザに向けた新しい 3 次元スケッチシステ
ムである．これにより，画力および 3D モデリング技術に自信がない人も，自分の考えている 3 次元形状を相手に伝えることができると期待される．本システムの利点は，携帯性，共同編集性，描画と回転を同時に行うことができること，および AR インタラクションを伴わないことである．AR インタラクションを伴わないことによって，両手を用いた操作が可能となる．また，ユーザの視界が遮られることがないため，描画の正確性が向上する．さらに，複数人の協調動作を行う場合であっても人数分のゴーグルおよびディスプレイが不要である．そのため，コストの削減および携帯性の向上が期待できる．また，スマートフォンを台座として用いることにより，描画と回転の同時操作を実現できる．

Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗筑波大学 情報理工学位プログラム†筑波大学 システム情報系

2関連研究

PC 上で 3D モデリングを行うことは，一般的な3 次元コンテンツ制作手法である．Blender [2] および Zbrush [7] といった 3D モデリングソフトウェア
は，3D モデルを作製するためのツールである．しかし，これらのソフトウェアは，複雑な形状の描写において専門的な知識が必要であるため，ユーザは操作手法を学習する必要がある．
それらの問題を解決するため，VR を用いた 3 次
元描画手法 [4] および VR 空間において描画効率を上げる手法 [5] が存在する．VR 空間上における描画は 3 次元空間上における描画を可能にする．しかし，ユーザはゴーグルを装着する必要がある．そのため，協調作業を行う場合，複数のゴーグルが必要となり人数が増えるほどコストおよび携帯性の問題が大きくなる．
そのため，モバイルデバイスを用いた AR における 3 次元描画手法 [6, 8, 10] が研究されている．これらの研究は，ゴーグルが必要ないため携帯性が高い．しかし，AR インタラクションを前提としているため，ユーザはモバイルデバイスを片手で持ち，もう片方の手を用いて描画を行う．そのため，描画には片方の手しか使えない．また，モバイルデバイ
スを持つことによりユーザの視界が遮られるため，描画の正確性が低下する．
以上のことを踏まえて，我々は AR インタラクションを伴わない 3 次元スケッチシステムを実装した．

3

スマートフォンを台座として用いた 3 次
元スケッチシステム

本研究では，スマートフォンを台座として使用し，描画オブジェクトの座標系をスマートフォンが保持することにより，描画と回転の同時操作を行える 3次元インタラクションを実現する方法を実装した．

WISS 2023
bac

図 3. 本システムを用いて作製した例．a: アイスクリー
ムのイラスト，および「アイス」という文字の作例．
b:2 人で描いた花の作例．c: 平面を縦に 4 枚重ねた 3D オブジェクト．平面を伴う複雑なオブジェク
トを描画することはまだ困難である．

3.2
図 1. 本システムを用いて線を描画している様子．

図 2. システム構成．

3.1

システム構成ユーザは，スマートフォンのディスプレイ側の空間において，特定のインタラクションを行うことにより，3D オブジェクトを作製および編集できる．図1 に本システムを用いている様子を示す．
スマートフォンは PC に有線にて接続され，ユーザは作製した 3D オブジェクトを PC のディスプレ
イを用いて確認できる．また，ユーザはスマートフォンを回転させることにより，ディスプレイに表示された 3D オブジェクトを回転できる．3D オブジェク
トを作製するには，以下の 2 つのインタラクションを用いる．

• スマートフォンのディスプレイ側の空間において人差し指の先端および親指の先端を接触させ，そのまま人差し指の先端を動かすことにより，線を描画する．

• 最新の 2 つの線を用いて近似される平面を描画する．
システムの構成を図 2 に示す．図 2 に示すように，スマートフォンにおいて，IMU センサ値の取得，RGBD 画像の取得を行う．RGBD 画像は，スマートフォンの RGB カメラと TrueDepth カメラから取得する．取得したデータは PC にリアルタイムで送信する．PC 上では，送信されたデータを用いて，手の検出および追跡を行い，3 次元空間上における線，面および回転の描画を行う．

実装

スマートフォンには深度センサ (TrueDepth センサ) が搭載されている iPhone 12 mini を用いる．
iPhone 12 mini から Record3D [9] を用いて，RGBDデータを PC に送信する．そのデータから，PC にて手の検出および追跡を行い，3 次元空間上における線および面の描画を行う．手の検出および追跡は，MediaPipe [3] を用いて実装した．また，検出および追跡を行った人差し指の先端の 3 次元座標を結ぶことにより線を描画する．さらに，描画された 2 つの線に対して最小二乗法を用いて平面を求めて，面を描画する．回転の検出は，CMMotionManager [1]を用いてバックグラウンドにてオイラー角として取得し，リアルタイムに PC に送信する．送信されたデータを用いて，PC 上にて 3 次元座標系の回転を行う．
図 3 に，本システムを用いて作製した例を示す．

4

議論および今後の予定

本システムは，AR インタラクションを伴わないことによって，視覚フィードバックに関しては別途システムの用意が必要となる．今後は，携帯性を損なわずに視覚フィードバックを提供するシステムの開発，または既存のディスプレイ技術との統合を検討し，本システムの実用性と利便性をさらに向上させる予定である．また，描画できるオブジェクトの種類を増やすことによって，より素早く目的のオブジェクトを描画できるようにする予定である．

5

終わりに

本研究では，3D モデリングまたは平面的なスケッチ技術に熟練していないユーザ向けに，新しい 3 次
元スケッチシステムを開発し，実装した．本システ
ムは，携帯性と共同編集の機能を提供し，低コストにてアクセス可能な 3D コンテンツ制作の新しい可能性を示す．今後の研究では，視覚フィードバックを提供するためのシステムの開発，および本システ
ムのさらなる利便性と実用性の向上を目指す．

スマートフォンを台座として用いた 3 次元スケッチシステムの実装

参考文献[1] Apple.
CMMotionManager.
https://developer.apple.com/documentation/coremotion/cmmotionmanager（ 最 終 閲 覧 日:2023 年 10 月 31 日）.
[2] B. Foundation.
Blender.
https://www.
blender.org/（最終閲覧日: 2023 年 10 月 31日）.
[3] Google. MediaPipe. https://developers.
google.com/mediapipe （最終閲覧日: 2023 年10 月 31 日）.
[4] Google. Tilt Brush. https://www.tiltbrush.
com/（最終閲覧日: 2023 年 10 月 31 日）.
[5] Y. Jiang, C. Zhang, H. Fu, A. Cannavò, F. Lamberti, H. Y. K. Lau, and W. Wang. HandPainter- 3D Sketching in VR with Hand-Based Physical
Proxy. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems,
CHI ’21, New York, NY, USA, 2021. Association
for Computing Machinery.
[6] K. C. Kwan and H. Fu. Mobi3DSketch: 3D
Sketching in Mobile AR. In Proceedings ofthe 2019 CHI Conference on Human Factors
in Computing Systems, CHI ’19, pp. 1–11, New
York, NY, USA, 2019. Association for Computing Machinery.
[7] MAXON. ZBrush. https://www.maxon.net/en/zbrush（最終閲覧日: 2023 年 10 月 31 日）.
[8] J. Qian, J. Ma, X. Li, B. Attal, H. Lai, J. Tompkin, J. F. Hughes, and J. Huang. Portal-Ble: Intuitive Free-Hand Manipulation in Unbounded
Smartphone-Based Augmented Reality. In Proceedings of the 32nd Annual ACM Symposium
on User Interface Software and Technology,
UIST ’19, pp. 133–145, New York, NY, USA,2019. Association for Computing Machinery.
[9] Record3D. Record3D. https://record3d.
app/（最終閲覧日: 2023 年 10 月 31 日）.
[10] R. Suzuki, R. H. Kazi, L.-y. Wei, S. DiVerdi,W. Li, and D. Leithinger. RealitySketch: Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching. In
Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology, UIST ’20, pp. 166–181, New York, NY,USA, 2020. Association for Computing Machinery.