日本ソフトウェア科学会第 36 回大会 (2019 年度) 講演論文集

AR 技術に基づく共創支援のための行動分析システムの試作
高田 智紀

大囿 忠親

新谷 虎松

多人数で討議し新たなアイデアや価値観を創造する共創活動において，短い時間で結論を出すことは困難である．そのため，ユーザの興味度や討議の状況を推定し新たなアイデアの生成や推薦を行うシステムが求められている．しかし，ユーザの興味や討議の主題は刻々と変化するため，常に適切なアイデアの生成や推薦を行うことは困難である．
共創活動の一つとして，付箋を用いたアイデア出し会議 (ブレインストーミング) がある．本研究では AR 技術に基づくブレインストーミングにおける共創活動支援を目的とし，ユーザの視線や行動を記録し分析するシステムの試作を行なった．

AR) を利用することで，現実空間における共創ワー

1 はじめにクショップと仮想空間における共創ワークショップを新たなアイデアや価値観を創造するために，専門性統合することを可能にした [1]．ここでは，iPad 等のや価値観の異なる複数人による討議の場として，共AR 機能に対応したモバイル端末を利用することで，創ワークショップが期待されている．ここでの共創

現実と紙のカードを利用可能な共創ワークショップ支ワークショップとして，カードを用いた討議を想定す援環境を実現した．

る．これまで，拡張現実感技術 (Augmented Reality;共創ワークショップ支援環境における知的なサービAR) を利用することで，現実の紙のカード (実カース (推薦など) を実現するためには，ユーザの行動をド) と計算機上の仮想のカード (仮想カード) を併用分析することが有益であると考えた．ここで，AR に可能な，共創ワークショップ支援環境を実現してきた．

おける自己位置推定機能を利用することで，ユーザのここで本研究では，AR を用いることでユーザの行位置および視線を推定するための方法が実現可能に動情報の取得が可能になる点に着目した．本稿では，なると着想した．ユーザの行動を分析することが可能

AR を利用したユーザの行動分析のための情報収集手になれば，推薦等の知的なサービスを構築するため法として，行動追跡手法および視線推定手法の実現方の知見を得るのみならず．ファシリテーション技能の法について説明する．

修得のための振り返りにも利用可能であり，有益であ実際の紙のカード (付せん等) を利用する共創ワー

る．本研究の目的は，共創ワークショップ支援環境のクショップと仮想のカードを利用する共創ワークショッ

ためのユーザ行動分析に必要な機能として，AR を利プの双方に利点があり，双方を統合した共創ワーク用した行動追跡手法および視線推定手法を開発する

ショップ支援環境の実現が望まれている．本研究の先ことである．

行研究では，拡張現実感技術 (Augmented Reality;
Development of Behavior Analysis System for Cocreation Support Based on AR Technology.
Tomonori Takada，Tadachika Ozono，Toramatsu Shintani, 名古屋工業大学工学研究科情報工学専攻, Dept. ofComputer Science, Nagoya Institute of Technology.

本稿では，AR を利用した行動追跡手法および視線推定手法の実現方法について説明する．以降，本稿では，2 章で新たな行動分析システム必要性と研究背景について述べる．4 章でシステムの概要について述べる．5 章ではシステムの構成について述べ，最後に 6

章で本稿をまとめる．

2 共創ワークショップ支援環境
本章では，最初に本研究で想定する共創ワークショップについて説明し，次に本研究の先行研究で開発した，共創ワークショップ支援環境について説明する．
最後に，共創ワークショップにおける行動分析について議論する．

2. 1 共創ワークショップ
共創ワークショップのユーザは，ファシリテータと討議者である．ファシリテータは，参加者によるカー

図1

ホワイトボード上に電子ボードをプロジェクタにより重畳表示ドを用いた討議の議事進行等を行うユーザであり，通常の共創ワークショップでは 1 名である．討議者は，録したデータから，共創ワークショップ中のユーザのファシリテータの議事進行に従って討議を行う複数名

行動を，AR 技術を利用し仮想オブジェクトを現実空のユーザである．討議にはカードを用いる．現実の間に配置することで再現する機能である．

カードの場合は，壁やテーブルなどに置かれた台紙の上に配置される．仮想のカードの場合は，端末の画面

4 章ではこれらの機能について，さらに詳しく述
べる．

内に配置される．もしくは，AR を用いて現実空間内

共創ワークショップ支援環境において，新たな行に配置される．このとき，カードが壁などに配置され動分析システムを実現する必要がある．共創ワーク

ることもあれば，空中に配置されることもある．

ショップに関する研究はこれまでにも行われているが，このとき背景が意味を持つことがある．

ユーザが発想したアイデアや Web 上のデータのみをファシリテータは，議事進行に関連して，背景に描扱うもの [2] であった．そのため，ユーザの考えを反かれた情報を利用して，カードを配置することがあ映した支援を行うことは困難であり，ユーザの求めてる．例えば，背景に未来と付記された円があれば，そいる支援を行うことができないことも考えられる．一の円の中に未来に関する話題に関連するカードを配方で，共創ワークショップでは多数のアイデアが発想置する．

されるが，清河ら [3] の研究では，アイデアの多様性が極端に高い場合には，新たに生成されるアイデアの2. 2 共創ワークショップ支援環境質が低下することが示されている．

システムの概要を述べる．本システムは，1) 行動

これらのことから，ユーザが求める支援を行うため追跡と記録，2) 視線推定，3) 行動情報の可視化 の 3には，共創ワークショップの状況の推定やアイデアのつの機能を持つ．以下，これらの機能について説明重要度の推定を行うための，新たな行動分析システムする．

が必要であると考えた．

1) の行動追跡と記録の機能は，AR 技術を用いて本研究では共創活動の中でもブレインストーミン

ユーザの行動を追跡し，共創活動を行なっている間のグに注目し，研究および開発を行なってきた．ブレイユーザの移動経路を記録する機能である．

ンストーミングでは，アイデアを表現したイラストや

2) の視線推定の機能は，端末の位置や向きからユー文字が描かれた紙の付箋を利用する．これらの付箋をザの視線を推定し，ユーザが視線を注いでいる仮想オ壁やホワイトボードなどに貼り付け，参加者間で共有ブジェクトを特定し記録を行う機能である．

し新たなアイデアの発想を目的として議論を行う．

3) の行動情報の可視化の機能は，1) および 2) で記

実世界型電子付箋システム Mahoca [4] をこれまでに開発してきた．Mahoca はブレインストーミングで利用する紙の付箋を電子化し，簡易に利用することを可能にする．図 1 は Mahoca で電子化したデータをホワイトボード上に重畳表示した様子である．Mahocaの利点として電子化に特別なデバイスを必要としない点があげられる．スマートフォンのみを利用し，紙の付箋に描かれている内容を画像として読み取り，付箋の回転角や付箋の色，付箋が貼られている位置を取得することができる．また，スマートフォンから電子付箋を編集することもできる．Mahoca では電子化された付箋の情報を利用して，過去の議論事例を提示し再利用の支援を行う．

Mahoca には発想支援を目的とした関連情報を提示する機能を開発し導入してきた．提示する情報はMahoca が所有する電子付箋から得ている．ユーザ

図2

AR 技術を利用した付箋の表示が必要とする情報は議論の状況に応じて変化するため，システムが議論の状況を理解する必要がある．

低下してしまう．一方でカメラを付箋に近づけると，Mahoca では関連情報を提示した際にユーザの選択複数の付箋を同時に撮影することが困難になり，付箋から，ブレインストーミングの状況を推定する．推間の位置関係を抽出することができなくなる．この問定された状況を考慮し，類似性の高い情報や意外性

題は ARKit の自己位置推定を利用することで解決すの高い情報をユーザに提示する．Mahoca が提示することができた．自己位置推定を利用することで撮影る情報はテキスト情報に限定しており，この情報は電時の端末の位置と向きを認識することが可能になる．

子付箋から得ている．電子付箋のテキスト情報から，これにより，複数の付箋を同時に撮影せずとも付箋間Mecab を用いて名詞のみを抽出し，TF-IDF などのの位置関係を抽出することが可能になった．

単語共起頻度に基づき，ユーザにとって必要な情報かどうかを判断する．

共創ワークショップで AR 技術を活用することが有意であることが示されている [7]．ブレンストーミン

共創活動において議論されるテーマは，時間とともグでも AR 技術を活用する研究を行なってきた．ARに変化する．ブレインストーミングでは，アイデアが技術をブレインストーミングに導入することで，付箋表現された付箋の配置も，議論の進行とともに変化すを空中に貼るなどの新しい表現が可能になり，場所をる．そこで付箋間の距離を考慮することで話題の移り問わずブレインストーミングを行うことが可能になっ変わりを理解し，情報推薦に利用するシステム [6] のた．AR 技術を用いて表現する仮想の付箋オブジェク開発を行なってきた．アイデアが持つ要素として位置トを利用することで，遠隔での共創活動も可能にな座標と大きさ，および内容の三つを考慮し，位置座標る．図 2 は付箋を AR 技術を用いて表示している様を利用した推薦の方が精度が高いことが示された．

子である．

ARKit を利用し，iOS 端末で付箋を撮影するだけで，付箋に描かれている内容と付箋間の位置関係を同

これまでの研究で，共有されたアイデアなどのデー時に抽出するシステムの開発を行なってきた．通常付タを容易に電子化することが可能になった．これによ箋間の位置関係を抽出するには，カメラを付箋から離り過去の事例を再利用した情報推薦が可能になった．

し複数の付箋を同時に撮影する必要がある．しかし，しかし，ユーザの心中の考えを推薦に利用することがカメラを付箋から離すと得られる付箋の画像の画素はできなかった．ブレインストーミングをはじめとする

共創活動では，多数のアイデアが発想されるため，アイデアによってユーザの興味度が大きく異なる．ユー

3 AR に基づく行動分析システム

ザの興味が薄いアイデアを元に推薦する情報を決定

本行動分析システムは，AR の自己位置推定機能をする場合には，ユーザが求める情報を提示することが用いた行動情報収集機能と，得られた行動情報を可視困難であると考えられる．このことから，情報推薦に化する行動情報可視化機能を持つ．行動情報収集機能利用するアイデアの取捨選択が必要であると言える．

は，さらに行動追跡機能および視線推定機能に分割さそこで本研究では，共創活動におけるユーザの行動をれる．行動情報可視化機能は，行動追跡機能および視記録および分析することを考える．これにより各アイ

線推定機能により収集された情報を可視化する機能

デアの重要性を推定し，重要度の高いアイデアを情報である．これらの機能は，AR の自己位置推定機能に推薦に利用することで，より精度の高い推薦を行うこ基づいている．以降，AR の自己位置推定機能，行動とが可能になると考える．

追跡機能，視線推定機能，および行動可視化機能につ

上記の試行を通じて，討議者の行動を分析するシス

いて説明する．

テムの開発が必要であると認識した．

4 システム概要
2. 3 共創ワークショップにおける行動分析
共創ワークショップ支援環境において，新たな行動分析システムを実現する必要がある．

本章ではシステムの概要を述べる．本システムは，iPad 等の AR 機能に対応したモバイル端末上で動作するアプリケーションとして開発した．本システム

次の 3 つの機能を実現する．

は，1) 行動追跡と記録， 2) 視線推定， 3) 行動情報

共創活動では多数のアイデアが創造され共有されの可視化 の 3 つの機能を持つ．以下，これらの機能る．そのため，中にはユーザの興味度が低いアイデアについて説明する．

も存在する．興味度の低いアイデアは議論に上がらない可能性もあり，これらのアイデアを元にしてシス

4. 1 行動追跡と記録

テムが提案を行なったとしても，ユーザが欲している

1) の行動追跡と記録の機能は，AR 技術を用いてものを提供することは難しいと考えられる．清河らユーザの行動を追跡し，共創活動を行なっている間の[3] の研究でも，アイデアの多様性が極端に高い場合ユーザの移動経路を記録する機能である．本システムには，新たに生成されるアイデアの質が低下することは Apple 社が提供する ARKit を用いて開発を行なっが示されている．

た．ARKit では，端末のカメラから取得した映像や一方で共創活動をはじめとする協調作業に AR 技

速度センサ，ジャイロセンサなどを用いた自己位置推術を取り入れる研究 [5] も行われている．AR 技術を定を行っている．端末を動かすと，端末の移動距離や用いることでペーパーレスに会議を行えるほか，三次回転量が予測される．本システムでは一定時間間隔ご元的に情報を配置することが可能になる．これによとに端末の座標や回転量のデータを取得し記録を行り，表現の幅が広がりユーザ支援の手段も増える．

なっている．通常 ARKit では，アプリケーションを

本研究では AR 技術に基づく共創活動支援を目的起動した時の端末の位置が座標原点として扱われる．とし，ユーザの視線や行動を追跡し記録を行うシステ

本システムでは，端末のカメラを用いてマーカー検出

ムを開発した．本システムは，記録したデータを ARを行い，マーカーが検出された座標を座標原点として技術を用いて視覚的に確認する機能も備えている．

扱う機能を搭載している．これにより，複数人が同時現実の物体の周りにカードを配置することも可能に本システムを利用する場合でも，同じマーカーを検である．その物体を移動すれば，その周りのカードも出させることで座標原点の共有を行い，ユーザごとの一緒に移動するようにできる．

位置関係を記録することが可能になっている．

4. 2 視線推定
2) の視線推定の機能は，端末の位置や向きからユーザの視線を推定し，ユーザが視線を注いでいる仮想オブジェクトを特定し記録を行う機能である．仮想オブジェクトとは，AR 技術を用いて現実空間に配置されたオブジェクトである．仮想のカードもこの仮想オブジェクトの一つである．本研究では，ユーザは常にモバイル端末の画面の中央を見ていると仮定し，システムの実装を行なった．つまり本システムでは，モバイル端末の画面の中央に映されている仮想オブジェクトを，ユーザが視線を注いでいるオブジェクトとして扱う．この仮想オブジェクトの特定には，ARKit

図3

共創ワークショップの様子の再現の hitTest メソッドを利用した．hitTest メソッドを利用することで，端末の画面の任意の位置に映されている仮想オブジェクトを特定することができる．さらに hitTest メソッドでは，仮想オブジェクトのどの部位が映されているか特定することも可能である．ここでは，仮想オブジェクトの座標から，対応するオブジェクトの表面の座標までの相対座標で表される．本システムでは，一定時間間隔ごとにユーザが視線を注いでいるオブジェクトとその部位を特定し，記録を行なっている．
本システムではさらに，モバイル端末の画面に映っている範囲を，ユーザの視界の範囲として記録を行なっている．ここでの hitTest を用いている．モバイ
ル端末の画面の左上・右上・右下・左下の画面端 4 箇所に映されているオブジェクトおよびその部位を特定し記録している．これら 4 つの座標を結ぶことで囲まれる範囲が，モバイル端末の画面に映っている範囲となる．

4. 3 行動情報の可視化
3) の行動情報の可視化の機能は，1) および 2) で記

図4

視界の可視化録したデータから，共創ワークショップ中のユーザの行動を，AR 技術を利用し仮想オブジェクトを現実空よびユーザの視界の再現を行う．図 3 は，ユーザの位間に配置することで再現する機能である．

置の再現およびユーザの視線の経路の再現を行なった

この機能では，共創ワークショップ中に現実空間に配置されていた仮想オブジェクトを，同様に生成お様子を示している．図 4 は，これら 3 つの再現を同時に行なった様子を示している．

よび配置することで再現を行う．さらにこれに加え，まずユーザの位置の再現について説明する．ここユーザの位置の再現，ユーザの視線の経路の再現，おでは，1) で記録した端末の座標と回転量のデータを用いて再現を行う．モバイル端末を模した箱状の半透明な仮想オブジェクト (以降，端末ノードと記す) を，記録されたデータを元に座標と向きを設定して配置する．1) で述べた通り，本システムでは一定時間間隔ごとにデータを記録している．このデータ通りに端末ノードを移動および回転させることで，ユーザの行動を再現する．本システムではユーザの体を模した仮想オブジェクト (以降，ボディノードと記す) も同時に配置する．本システムでは，記録するデータには端末の位置および回転量の情報しか含まれていないが，端末の情報からユーザの体の位置を推定し，ボディノードを配置する．端末の初期座標より 20cm高い位置がユーザの頭の高さとしている．端末から水平方向 30cm の距離の位置にユーザがいると仮定し，

図5

システム構成図

端末ノードの移動に合わせて，ボディノードを移動させている．図 3，図 4 のそれぞれ右下に写っている，けることで，視界の範囲を可視化している．画像の作

半透明なオブジェクトがボディノードである．ボディ

成には，2) で記録したユーザの視界の範囲のデータノードの左側にある，箱状の半透明なオブジェクトがを利用する．図 4 では，灰色の平面のオブジェクト端末ノードである．の正面に，透明な巨大な仮想オブジェクトを配置し，次にユーザの視線の経路の再現について説明する．

この透明な巨大な仮想オブジェクトに注がれた視線

ここでは，2) で記録したモバイル端末の画面の中央のデータを利用して，視界の範囲を可視化している．に映されていた仮想オブジェクト，およびその部位の視界のデータは，端末の画面端に仮想オブジェクトがデータを利用する．仮想オブジェクトの部位の座標を映っていなければ記録することができない．そこで，時間系列の順で結んで行くことで，ユーザの視線の軌透明な巨大な仮想オブジェクトを配置することで，常跡の可視化を行う．座標を結ぶために，赤色の円柱のに端末の画面にオブジェクトが映っている状態を維仮想オブジェクトを用いた．円柱の両端が，連続した持している．そして，透明な巨大な仮想オブジェクト

時間の仮想オブジェクトの部位の座標にくるように配と縦横比率が同じ画像を作成し，2) で記録したデー置を行うことで，現実空間上に赤色の軌跡を再現しタを元に，視界に含まれていた範囲を着色していく．

た．図 3，図 4 の赤色の線が，ユーザの視線の軌跡を時間系列順に重ね塗りをしていくことで，色が濃い示している．ここでは，ユーザの位置の再現で配置し部分ほど長時間端末の画面に映っていたことになる．

た端末ノードおよびボディノードの動きに合わせて，こうして生成された画像をオブジェクトのテクスチャ円柱の仮想オブジェクトを順に生成および配置していとして貼り付け，透明な巨大な仮想オブジェクトが配る．端末ノードの向きおよび座標に対応した視線の置されていた位置に配置することで，視界の可視化を先の座標には，赤色の球状のオブジェクトを配置して行なっている．

いる．端末ノードの動きに合わせて，この球状のオブジェクトを移動させることで，ユーザの視線の動きも5 システム構成可視化している．

図 5 が本システムの構成図である．4 章の 1) およ

最後にユーザの視界の再現について説明する．視び 2) で説明した記録を行う際は，記録コントローラ

界の範囲を元に着色した画像を作成し，現実空間にが起動する．同 4 章の 3) で説明した行動情報の可視配置した仮想オブジェクトにテクスチャとして貼り付化を行う際は，再生コントローラが起動する．起動

に円柱のノードを生成し，対応した場所に配置している．視界描画ノードは視界を可視化した画像を描画するたのオブジェクトであり，描画する画像は視界描画機構で生成されている．視界描画機構はログノードから視界範囲のデータを受け取るたびに，画像の対応した部分に着色を行い画像の更新を行なっている．
画像が更新されるたびに，ログノードは視界描画機構から画像を受け取り，視界描画ノードの更新を行う．

6 おわりに
図6

再生機構構成図

本研究では，共創ワークショップにおける新たな行動分析システムの開発を行なった．共創ワークショッ

されたコントローラがユーザのジェスチャ入力を受けプにおける，ユーザの行動や視線の情報の記録を行取る．

い，記録したデータを利用した，行動情報の可視化が記録コントローラはユーザの操作に応じて，記録可能になった．本システムにより得られたデータを活機構に起動や停止および保存の指示をだす．記録機構用することで，共創ワークショップにおける支援の精では，端末の位置や画面の中心に映っているオブジェ度の向上が見込まれる．

クトを取得し記録を行う．記録コントローラから保存の指示を受けた場合は，記録したデータを Json 形式

参 考 文 献の文字列に変換し，端末のドキュメントに保存する．

[ 1 ] 伊藤栄俊，大囿忠親，新谷虎松． 実世界型電子付箋のための ARKit を用いた自己位置認識による紙付
箋認識について インタラクション 2018，pp.244-248，
2018．
[ 2 ] 伊藤淳子，東孝行，宗森純． 単語共起度の低い単語を提示する発想支援システムの提案と適用 ．情報処理学会論文誌，Vol.56，No.6，pp.1528-1540，2015．
[ 3 ] 清河幸子，鷲田祐一，植田一博，PENG Eileen， 情報の多様性がアイデア生成に及ぼす影響の検討 ．認知科学，Vol.17，No.3，pp.635-649，2010．
[ 4 ] 大囿忠親，丹羽佑輔，藤江翔太郎，渡邊正人，鈴木智也，伊藤栄俊，岩田知，新谷虎松， Mahoca: 議論事
例の再利用を可能にする実世界型電子付箋システム ．
電子情報通信学会 人工知能と知識処理研究会，Vol.116，No.350，pp.33-38，2016．
[ 5 ] 伊藤栄俊，大囿忠親，新谷虎松， コンテンツ間の位置関係を考慮した話題推定に基づく情報推薦の実現 ．
日本ソフトウェア科学会第 35 回大会，No.35，pp.1-6，
2018．
[ 6 ] 三浦元喜，丹生隆寛． グループ発想支援システム
における拡張現実感技術の適用とその効果 ．情報処理学会論文誌，Vol.55，No.4，pp.1256-1263，2014．
[ 7 ] 清川清，マーク・ビリングハースト，ダニエル・ベルチャ，アルナブ・グプタ． 拡張現実感インタフェー
スを用いた対面協調作業のコミュニケーション過程 ．
日本バーチャルリアリティ学会論文誌，Vol.7，No.2，pp.159-168，2002．

再生コントローラが起動した直後には，ドキュメントから保存されているデータのリストを受け取り，ユーザに提示する．再生を行うデータをユーザが選択すると，再生コントローラから再生機構に再生するデータの指定が行われる．再生機構ではドキュメントからデータをロードし，各オブジェクトを生成・配置し記録を行なった時の様子を再現する．
図 6 は再生機構の構成について，さらに詳しく示した図である．外部とのやり取りはログノードが行なっている．ログノードは再生コントローラからファイルの指定を受け，ドキュメントから該当するファイルデータをロードする．以降データを順番に読み取り，表示の更新をしていく．ユーザノードはユーザを模したオブジェクトの生成や更新を行なっている．ロ
グノードから座標や回転量のデータを受け取り，受け取るたびにオブジェクトの更新を行なっている．視線ノードは視線を示す円柱のオブジェクトの生成や更新を担当しており，ログノードから座標を受け取るたび