情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C382015/3/7

メタ認知支援のための 3D 自己鏡像提示手法
藤田 至一1,a)

概要：幼児の認知発達、エキスパートの暗黙知、グループによる創作活動などといった創造的認知過程を研究対象とする場合、統制のとれた実験環境が必要な実験的手法の適用が難しく、被験者の生活環境をそのまま利用した観察的手法を併用する事が多い。昨今ではライフ・ログ技術を用いた新しい観察的手法が様々に提案されている。今後は、被験者のメタ認知を支援するためのライフ・ログ視覚化手法が課題となってくると予想される。本論では、モバイル拡張現実ディスプレイへの映像配信を用いた 3D 自己鏡像提示手法を提案し、また、この手法が被験者のメタ認知をどの様に支援できるかを考察する。

3D Mirror Self Image Display as a Metacognitive Support Device
Fujita Yoshikaz1,a)Abstract: Creative cognition research, such as cognitive development and tacit-knolwedge of experts, rely
more on observational method rather than experimental one since it is diﬃcult to fully control the environmental variables. Therefore, as the life-log technology becomes more accesible, various innovative observational
methods for such resarch had been proposed. While, at the same time, eﬀective life-log visualization methods to help examinee’s metacognition became an object of concern. This paper proposes a novel method for
displaying 3D mirrored self-image utilizing augmented reality and depht camera and argues how this method
could help examinee’s metacognition.

1. はじめに化し、体験を経験化する思考過程はメタ認知 [2] と呼ばれる。メタ認知を分析対象とする事には古くから様々な問題幼児の認知発達や、状況に埋め込まれた暗黙知、また、が指摘されているが、「記録」と「記憶」の対応関係を明グループによる創作活動など、時空間的、社会的な広がりらかにするのが研究の目的の場合、被験者に当時の状況をを持った認知プロセスを研究対象とする場合、実験的手法振り返ってもらう作業を省略する事はできない。しかし、の適用は難しく、観察的手法が併用されることが多い。観

観察的実験が長期間で広範囲なものになるにつれて、被験察的手法には、昨今のライフ・ログ技術が応用可能で、例者のメタ認知は困難となる。また、伝えようとする状況のえばロイ等の HouseFly[1] の様な手法が提案されてきてお構成要素が複数あり、それらの空間的位置関係が複雑な場り、実験者を支援する環境は整いつつある。

合、関係者間で認知的な視点を共有する事は非常に難しく他方、実験には被験者の協力が欠かせないが、現在のとなる。

ころ被験者を支援する環境はあまり考慮されていないよう

本論は、これらの困難を緩和する事を目的とし、拡張現に思われる。ライフ・ログは物理的事象の継起を羅列した実と距離画像を用いた視覚化手法を提案する。また、メ「記録」であり、「誰から見て」という意図や視点を伴ったディア・アート展示への応用事例を紹介し、提案手法の定「記憶」とは異なる。一般に、人が記憶を辿り、自己を客体性的評価を試みる。具体的な議論に入る前に、観察的実験における二つの困難をまとめておく事にする。

1a)

東京芸術大学 大学院 映像研究科
Graduate School of Film and New MediaTokyo University of the Arts
Naka-ku Honmachi 4-44, Yokohama 231-0005, Japanfujita@tacit-knowledge-lab.com© 2015 Information Processing Society of Japan(1)

過去の自身の思考を詳細に振り返ること。

(2)

関係者間で認知的視点を共有すること。

863

2. モバイル拡張現実ディスプレイへの距離画像配信を用いた視覚化手法の提案
2.1 先行研究との比較
提案手法は、モバイル拡張現実ディスプレイを用いる。
この技術自体は古くからあり、筆者の知る限り、その起源は NaviCam[3] であり、昨今のスマート・フォンの普及によって再び注目を集めるようになった。提案手法のユニー
クな点は、このディスプレイに深度カメラからの距離情報が付加された画像を配信し、ディスプレイ側で画像から３D モデルを構築するところにある。
2.2 システム構成と、想定される利用形態
図 1 が実験環境全体の青写真である。被験者達はテスト・ルームを自由に移動する情報機器ユーザーである。実験は数週間から数ヶ月に及び、被験者が何かしら興味深い情報機器利用を始めた瞬間を捉える事を目的とする。複数の深度カメラからの距離画像は、ユーザーの情報機器に対する入力情報と共にアーカイブされ、HouseFly[1] の様に行動パターンの抽出やイベント検索タグの自動生成を行う。
ある時点で、関係者がモニタリング・ルームに集合し、実験

図 1

システム構成Fig. 1 System Configuration

者が注目するイベントの前後で、被験者が何を考えていたのかを回想してもらう。この際、当時の状況が拡張現実空難しくなると予想される。一方、提案手法では、視点移動間に立体的に再現され、関係者はモバイル拡張現実ディスと身体動作との間に人為的な約束がないため、視点移動にプレイを手にモニタリング・ルームを歩き回り、当時の状心的イメージ操作が介在しない。また、自己受容感覚 [5]況を様々な角度から振り返る。以下、このシステムによっと呼ばれる身体感覚をもたらす関節の角度や筋肉の負荷とて、どの様に問題が緩和されるかを考察する。

いった情報が空間認識に動員される事になり、自身の空間認識はもとより、他者の姿勢から視点を推測することも容2.3 メタ認知の支援
一般に、映像化された身体の存在感 [4] は映像と鑑賞者との関係性がよりインタラクティブであるほど高くなるとされる。提案手法では、被験者が被写体であると同時に鑑易になると考えられる。

3. 応用事例紹介と定性的評価
3.1 提案手法を実現するシステムの実装賞者であり、さらに撮影者でもあるというインタラクティ

筆者は、創造的認知研究の観点から、芸術家とのメディブな映像体験をもたらす。そのため、映像化された自己のア・アート作品制作を実践している。提案手法を、自己身体の存在感が高まり、より多くの被験者の注意を促すと言及をテーマとしたメディア・アート作品 (図 2 参照) に考えられる。これにより、メタ認知の精度が上がる事が期応用し、展覧会 [7] に出品展示する機会があった。１０日

待される。

間の展示期間中におよそ 3,000 人が来場し、広く一般に作品を体験してもらう事が出来た。この作品では、スマー

2.4 認知的視点共有の支援

ト・フォンで床におかれた円形の拡張現実用マーカーを撮

例えば、先述の HouseFly[1] では固定されたモニターに影すると、マーカー上にリアルタイム表示される自身の表示される実験環境の３ D モデル内部を、マウス操作で鏡像を様々な角度から見る事ができるようになっている。

視点移動する視覚化手法がとられている。しかし、マウス(図 3 参照) 深度カメラには Microsoft 社の Kinect、映像操作と視点移動の関係性は人為的約束であり、しばしば習配信サーバーには Apple 社の MacMini、拡張現実ディス熟を要する。また、マウスを操作していない人物は映像のプレイには Samsung 社の Note3 を用いた。メディア処理変化のみから空間を脳内復元する必要がある。これは心的には openframeworks[6] を、映像配信には ZeroMQ[6] を、イメージ操作として知られ、一般に認知的負荷が高く、個拡張現実には Vuforia 社の SDK[6] を用いてそれぞれ実装

人差も大きい認知過程である。この手法では、表現対象のした。この構成で、解像度６４０ x ４８０の距離画像を毎位置関係が複雑になるにつれ、他者との空間的視点共有が秒平均２０フレームで２台の Note3 に配信し、Note3 上で© 2015 Information Processing Society of Japan864

図 2 「 You See You Look at You. 」藤田至一 + 藤幡正樹

Fig. 2 “You See You Look at You.” Y.Fujita + M.Fujihata
図 3

拡張現実用マーカー上に立つ鑑賞者の鏡像

Fig. 3 Mirror Self Image Displayed on the AR Marker

参考文献
は毎秒３０フレームで距離画像を３ D モデル化し、拡張現[1]実空間に表示している。

3.2 鑑賞者の反応を元にした定性的評価[2]

鑑賞者には、手を振る、マーカーの上に乗る、といった自己探索行動が多く見られ、提案手法がもたらす「被写体[3]であり、鑑賞者であり、撮影者でもある」という映像体験に新規性がある事が伺えた。その際、鑑賞者が身体と映像とのマッピングに苦心する様子はなく、実装したシステム[4]は必要なリアルタイム性を確保しているといえる。

[5]

また、
「気持ちが悪い」「怖い」といった、通常のリアルタイム鏡像では見られない様な感情的な拒否反応を示す鑑[6]

賞者もおり、これは、提案手法によって映像化された身体の存在感が高い事を示唆すると考えられる。
また、知り合い同士で来場した鑑賞者たちには、マーカーの周りを歩き回り、お互いが見ている映像を報告し合いながら、作品の仕組みを理解しようとする行動がよく見られた。その際、極短時間のうちに、相手のスマートフォ[7]

P. DeCamp, G. Shaw, R. Kubat and D. Roy: An Immersive System for Browsing and Visualizing SurveillanceVideo, Proceedings of ACM Multimedia 2010, pp. 371380, ACM(2010).
R. Finke, T. Ward, and M. Smith: 創造的認知 –実験で探るクリエイティブな発想のメカニズム–, 小橋靖明 [訳],pp.192–194, 森北出版株式会社 (1999).
J. Rekimoto and K. Nagao: The World through theComputer: Computer Augmented Interaction with RealWorld Environments, Symposium on User Interface
Software and Technology 1995, ACM(1995)
日本ヴァーチャルリアリティ学会 [編]: バーチャルリア
リティ学, pp.198, コロナ社 (2011).
開一夫/長谷川寿一 [編]: ソーシャルブレインズ –自己と他者を認知する脳–, pp.56, 東京大学出版会 (2009).
各種ライブラリの URL,
http://www.openframeworks.cc/
http://www.zeromq.org/
https://developer.vuforia.com/「Accidental Tools ―予測不可能な文房具―」
東京藝術大学大学院映像研究科オープンラボ
GALAXY Lab. 2014.
http://www.hikarie8.com/cube/2014/08/accidentaltools-galaxy-lab-2014.shtml

ンを覗き込む事なしに、相手が見ている映像を正確に把握できるようになっていた。固定されたモニターとマウス操作による視点共有と比べ、視点共有に身体の位置や姿勢といった暗黙的なコミュニケーション要素が利用できる提案手法の優位性が指摘できる。

4. まとめと展望
観察的実験における問題を議論し、被験者のメタ認知支援を目的とした視覚化手法を提案した。提案手法のメディア・アート展示への応用事例を紹介し、被験者の様子から提案手法を定性的に評価した。当面の課題は、視点共有に関わる認知負荷と映像の存在感を定量的に評価する実験のデザインである。また、システム自体も、距離カメラの性能向上やバスと無線の高速化を踏まえ、距離カメラ複数台同時使用を視野にいれて改良を続ける。

© 2015 Information Processing Society of Japan865