情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-062024/2/28

遠隔コミュニケーションの共有画像に対する
3D 付加情報の操作 UI の検討
福島寛之†

鈴木雄介†

概要：Web 会議システムのように，カメラ映像や資料画像を共有しながら遠隔コミュニケーションを行う機会が増えてきている．このような遠隔コミュニケーションでは，2 次元の共有画面に対して，文字や図形，マウスポインターといった 2 次元的な視覚情報を付加することでユーザの意図伝達や表現拡張を行うことができる．付加情報として身振りなど，身体の一部や話題に関係する 3D モデルデータ等の 3 次元的な情報を扱う事例も現れてきているが，3D 付加情報の操作は 2D 付加情報を扱う場合よりも複雑になる等の課題も多い．本検討では，共有画像のような 2D 画像に対する 3D 付加情報をマウスやキーボードを介した簡易な入力により操作できるようにし，遠隔コミュニケーションを円滑にするために利用できる 3D オブジェクト操作手法および，ユーザインタフェース案を提案する．また，その手法を評価するための実験計画について述べる．

1. はじめに
COVID-19 の影響による直接コミュニケーション回避の流れの中，Web 会議システムなどの映像と音声による遠隔コミュニケーション技術の利用が急速に浸透した．状況が落ち着いた後も遠隔コミュニケーション技術は様々な場面，目的で利用されるようになり，例えば，これまでは実際に現場に出向いて行っていた機器の保守や修理作業に対する作業指示等を遠隔から行う事例等も増えている．
現場の作業者に遠隔地から映像と音声を用いて指示や支援を行う遠隔作業支援技術は，以前から Kuzuoka ら[1]図1

2D 共有画像に対する付加情報等により研究が行われてきた．現場と遠隔地とで共有する資料画像や現場映像に対して，文字や図形といった 2 次元用する産業現場等ではコストの面で導入しづらいといった的な視覚情報を重畳表示するといった提案[2]も行われて課題がある．そこで，我々は遠隔コミュニケーションを行きた．我々も先行研究で，モーションセンサで取得したユ

いながらマウスやキーボードによる操作入力でこのようなーザの手の動きを 3D モデルデータで重畳表示するといっ指示に用いられる 3D オブジェクトを操作する新たな手法た特徴を持つ遠隔作業支援システム[3]を開発してきていについて提案する．また最後に，提案手法の妥当性を評価る．

するための実験概要についても述べる．

これらの研究の多くは，現場の空間で実際に撮影した2D 映像上に，システム利用者（作業者，指示者共に利用の可能性がある）の操作によって描画された付加情報を，2. コンテンツ空間での 3D モデルデータ利用の従来手法空間的に関連付けて表示することで，作業指示等のコミュ

本節では，本論でコンテンツ空間と呼ぶ仮想的な空間用ニケーションを行っている．このようなシステムでは，遠いた遠隔コミュニケーションを行うシステムの基本的な挙隔地と 2D 画像を共有する仮想的な空間（以降コンテンツ動を確認する．具体的には手や，作業に使う道具など，コ空間と呼ぶ）が利用されることが多い．コンテンツ空間はンテンツ空間内で 3D 物体として表示される，3D モデルデ

図 1 に示すようにテキストや描線，画像といった 2D 情報ータを利用する場合には，を付加するレイヤー（以下 2D 付加情報レイヤー）と 3D

1.

加情報レイヤーに読み込む（読み込んだ 3D モデルデオブジェクトを用いた情報を付加するレイヤー（以下 3Dータを以降 3D オブジェクトと呼ぶ）付加情報レイヤー）とに分けられ，作業指示は主に 3D オ
ブジェクトに対する操作を通して行われる．3D オブジェ
クトの操作にはモーションセンサやゲームコントローラの利用が考えられるが，マウスやキーボードによる操作入力

コンテンツ空間に使用する 3D モデルデータを 3D 付

2.

3D オブジェクトを 3D 付加情報レイヤー内の任意の位置に配置し，必要に応じて動かすといった流れとなる．

を基本とした従来の遠隔コミュニケーションシステムを利† 沖電気工業株式会社 技術本部 研究開発センター
プラットフォーム研究開発部© 2024 Information Processing Society of Japan1089

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-06
2024/2/28のパラメータ（変位量）を調整することができる．
この XYZ 軸の向きはコンテンツ空間の座標系（以降ワールド座標系と呼ぶ）に従う，あるいは，操作対象の 3D オブジェクトのモデル座標系に従う場合が考えられるが，2D共有画像に対して動かしたい方向と一致するとは限らない．
2D 共有画像に対する付加情報として利用する場合，3Dオブジェクトに対して回転操作を行い，モデル座標系を動
図2

D モデルデータのモデル座標系かしたい方向と一致させる事は可能であるが，この場合 2D共有画像に対して望む姿勢を維持することができなくなってしまう．

3. 提案手法
我々は，3D オブジェクトを 2D 共有画像に対する付加情報として利用する場合に生じる課題に対して，図 4 に示す
図3

ギズモを用いた 3D オブジェクトの操作ように，3D 付加情報レイヤー内に 3D モデルデータの読み込み及び 3D オブジェクトの操作を行うための「操作領域」

2.1 3D モデルデータの読み込みを導入することを提案する．

3D モデリングツール等を利用して作成される 3D モデル「操作領域」を導入，設定することで，3D モデルデータデータには，例えば図 2 に示すように，それぞれ独自の 3読み込み時の初期姿勢やスケール：拡大・縮小率が任意に次元直交座標系（以降モデル座標系と呼ぶ）およびサイズ設定できる，あるいは，幾つかの初期状態から選択できるが設定されている．

機能，ワールド座標系，モデル座標系とは独立した移動操

3D モデルデータをコンテンツ空間に読み込む際に明示

作用ギズモの XYZ 軸方向を設定できる機能を実現できる．

的な指定を行わない場合，モデル座標系がコンテンツ空間

これらの 3D モデルデータの取り扱い手法について以下での座標系（以降ワールド座標系と呼ぶ）と一致する姿勢で，説明する．

3D オブジェクト A：B：C = 1：1：3 のサイズ比で読み込まれる．3 種の 3D オブジェクトを，例えば，同等のサイズか

3.1 操作領域

つ 1 の目がワールド座標系の Y 軸方向を向くように配置し操作領域は，3D 付加情報レイヤーに属する直方体形状のたい場合は，それぞれの 3D オブジェクトのスケール：拡

3D オブジェクトの 1 種であり，以下のような性質を持つ．

大・縮小率および姿勢を個別に調整する必要がある．



直方体の中心位置を操作領域の原点とする



操作領域の中心位置を原点とする 3 次元直行座標系

2D 共有画像に対する付加情報として利用する場合，画像（以降，操作領域座標系と呼ぶ）を持つの内容に応じて 3D オブジェクトの姿勢やスケール：拡大・縮小率を調整する必要があるため，使用する 3D オブジェ



操作領域の形状（幅，高さ，奥行き）は変更可能

クトの数に応じて調整量が増大してしまう．

操作領域内に複数種の 3D モデルデータを読み込む事が可能

2.2 3D オブジェクトの操作システムの利用者は操作入力により，3D オブジェクトを

操作領域内の 3D オブジェクトは，親：操作領域－子：3D オブジェクトの親子関係をもつ

コンテンツ空間内の任意の位置・姿勢で配置，移動することができる．ここでは 3D オブジェクトに重畳表示される操作用 GUI と利用者のマウス入力を介したインタラクシ
ョンによる一般的な操作方法について説明する．
操作したい 3D オブジェクトをマウスクリックにより選択すると図 3 のようなギズモと呼ばれる 3D オブジェクト操作用の GUI が表示される．ギズモには XYZ 軸方向向きの移動操作用 3 入力，XYZ 軸周りの回転操作用 3 入力，XYZ 軸方向向きのスケール：拡大・縮小操作用 3 入力の計9 つの操作入力受付部位があり，これらの入力受付部位のうち 1 つを選択し，マウスドラッグ操作を行うことで対象© 2024 Information Processing Society of Japan

図4

操作領域1090

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

操作領域内の 3D オブジェクトは個別に操作可能

複数の独立した操作領域を設定可能



移動，回転，スケール：拡大縮小率操作の計 9 つの操

3A-06
2024/2/28

作入力受付部位を持つギズモ＋形状変更操作用 GUI
により，位置，姿勢，スケール：拡大縮小率，形状の変更操作が可能


スケール：拡大縮小率の変更は操作領域の形状に影響せず，操作領域内の 3D オブジェクトに影響を与える

3.2 操作領域内の 3D オブジェクト

図5

コンテンツ空間内の操作領域，3D オブジェクト

操作領域内の 3D オブジェクトは，以下のような性質を持つ．


読み込まれた操作領域と親：操作領域－子：3D オブジ
ェクトの親子関係を持つ

読み込み時の初期姿勢（モデル座標系の姿勢）は，親：操作領域の操作領域座標系の姿勢と一致



親：操作領域のスケール：拡大縮小率倍される



親：操作領域の位置，姿勢，スケール：拡大縮小率の操作に連動する（親：操作領域との相対位置・姿勢を維持）移動，回転，スケール：拡大縮小率操作の計 9 つの操

図6

3D オブジェクトの移動操作用ギズモ

作入力受付部位を持つギズモにより位置，姿勢，スケール：拡大縮小率の変更操作が可能

クト A，B を子に持ち，スケール：拡大縮小率が 1 の操作



移動操作時のギズモの X

領域 2 を設定することが出来る．



YZ 軸は親：操作領域の操作領域座標系の姿勢と一致

このとき，各オブジェクト A， B， C は，親：操作領域



回転操作，スケール：拡大縮小率操作時のギズモのに読み込まれた段階で親のスケール：拡大縮小率倍される

XYZ 軸はモデル座標系と一致ためコンテンツ領域内でのサイズは同等となっている．
また，移動操作用ギズモを操作する際に A，B，C どのオ

コンテンツ空間内の操作領域とその操作領域を親とすブジェクトを選択した場合でも同様のドラッグ操作によりる 3D オブジェクトの関係，および，ワールド座標系，操オブジェクトを作業対象機器に取り付ける動作となるよう

作領域座標系：cx-cy-cz，3D オブジェクトのモデル座標系：にそれぞれの操作領域の姿勢，およびオブジェクト A，B，mx-my-mz の例を図 5 に示す．

C の姿勢を調整している．

また，3D オブジェクトの移動操作時に表示される移動操

2D 共有画像を，作業対象機器を異なるアングルから撮影

作用ギズモの例を図 6 に示す．移動操作時のギズモ mx’-した画像に差し替えた場合でも，操作領域 1，2 の位置・姿

my’-mz’の軸は親：操作領域の操作領域座標系：cx-cy-cz の勢・拡大縮小率を調整するだけで対応可能となる．

姿勢に一致している．

本提案手法を利用する事で指示者は作業に利用する機器，部品等の姿勢や動きを言葉に変換して伝える必要がな

3.3 提案手法の適用

くなり，対応する 3D オブジェクトの配置や動きにより視遠隔コミュニケーションにおいて 2D 共有画像に対する覚的に支援情報を伝えることができるようになるため，指付加情報として本提案手法による 3D モデルデータを利用示者の指示と作業者の理解の齟齬発生を軽減できるようにする例について説明する．

なる．

例えば，作業者－指示者間で図 7 に示すような作業対象

また，操作領域を導入することにより，3D モデルデータ

機器が映る画像を共有していて，図 2 のオブジェクト A，読み込み時，変更時の設定変更が容易になり，利用時の 3D

B，C のような取り付け部品を作業対象機器の 4 つの凹みオブジェクトの操作がマウス，キーボード等の操作で容易に取り付ける作業を遠隔から支援する状況を想定する．に行える等，コンテンツ空間における表現力が向上するこ

指示者はこの 2D 共有画像に対する付加情報として，図とで，遠隔コミュニケーションの課題が解決できることに8 に示すような，例えば，2 つのオブジェクト C を子に持加え，3D モデルデータの利活用促進，利用領域拡大にもつ

ち，スケール：拡大縮小率が 1/3 の操作領域 1 とオブジェながるため，本提案は有効性が高いと考えている．

© 2024 Information Processing Society of Japan1091

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-06
2024/2/28

評価を行う予定である．また，本提案の操作領域は，領域内の 3D オブジェクトに対して個別にルールを設定する仕組みと捉えることができるため，物理演算機能を付与する等の機能拡張についても検討していきたい．

参考文献

図7

図8

2D 共有画像[1] Kuzuoka, H., Spatial workspace collaboration: a Shared-View
video support system for remote collaboration capability, CHI
1992, pp.533-540, 1992.
[2] Susan R. Fussell, Leslie D. Setlock, Jie Yang, Jiazhi Ou, Elizabeth
Mauer, and Adam D. I. Kramer. 2004. Gestures over Video Streams
to Support Remote Collaboration on Physical Tasks. Human–Computer Interaction (2004).
[3] 市原, 鈴木, “ハンドジェスチャ送信機能を有する遠隔作業支援システムの開発と課題”, IPSJ Interaction 2019, (2019)

提案手法を用いた 3D モデルデータよる付加情報

4. 提案手法の評価実験
2D 共有画像に対する本提案手法を用いた 3D モデルデー
タの取り扱いについて，その使用感を確認することを目的とした簡易的な操作を対象とした検証実験を行う計画である．
対象とする操作については，コンテンツ空間への 3D モ
デルデータの読み込みから，2D 共有画像に対して設置するまでを対象とした空間配置操作と，コンテンツ空間に配置されている 3D オブジェクトを移動完了時に移動開始時と同じ姿勢となるようにある地点へ移動するまでを対象とした空間移動操作の 2 種類の想定している．
これらの操作について提案手法を用いた操作 UI と従来の 3D モデルデータ利用手法を用いた操作 UI のそれぞれで行ってもらう．
目標とする配置の完了あるいは目標地点までの移動完了までに要する時間などの客観的指標とアンケートにより使用感を聞くなどの主観評価を組み合わせた評価を行う．
実験の結果は後日報告する．

5. おわりに遠隔コミュニケーションにおいて 2D 共有画像に対する付加情報として 3D モデルデータを利用する手法について新たな提案を行った．
今後は，4 章で述べた評価実験を実施し，本提案手法の© 2024 Information Processing Society of Japan1092