情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C0-9
2014/3/1

擬似的三次元コピーとインタラクションの提案
上原 悠永1,a)

水野 慎士1,b)

概要：本論文では三次元物体をコピーして複製を制作することを擬似的に体験するとともに，そのコピー物体とのインタラクションを行うことができる CG システムを提案する．ユーザが三次元物体をシステムのスクリーン上にセットすると，システムは上方から物体をスキャンして三次元形状と色を取得する．そして物体を取り除くと，システムはスキャンデータに基づいて三次元物体の CG を生成してスクリーンに表示する．このときシステムはユーザの視点位置を認識して運動視差立体視による三次元 CG を生成しており，取り除いた三次元物体のコピーがそのまま残っているような三次元 CG 映像を様々な位置から観察することができる．そして静止している物体だけでなく，動いている物体に対してもデータのスキャンと三次元 CG アニメーションの生成して，様々な位置から観察することができる．さらにユーザが三次元CG のコピー物体に手を近づけることで変形などの操作を対話的に行うことができる．

Making Virtual 3D Photocopies and Interaction with them
Uehara Yuto1,a)Mizuno Shinji1,b)

Abstract: In this paper, we propose a novel CG system in which users can make 3D photocopies of physicalobjects simulatively and execute an interaction with them. A user puts 3D objects on a screen of the system,and the system scans the 3D objects to get their 3D shapes and colors. After taking away the 3D objects,
the system generates a 3DCG image of the 3D objects based on their scan data. The system can create
a stereoscopic 3DCG image based on motion parallax by following a viewpoint of the user, and the user
could feel the removed objects being left as they were, and the user can observe the 3DCG image from anypositions. It is possible to use our system for moving 3D objects and can see a 3DCG animation from anypoints. It is also possible to execute an interaction with the 3DCG objects such as deformation by bringing
the user’s hand close to the 3DCG objects.

1. はじめにて記録したり，3D 写真を作成することもできる．さらに
最近は 3D プリンタ技術の進化と普及が進んでおり，実世

近年のコンピュータ技術や映像技術の発達は，現実世界界を三次元的に記録したり映像で確認するだけでなく，実の三次元データとしての記録や，それらのデータを用いた際の物として作り出すことも可能となり，工業，医療，広現実世界の三次元 CG 映像再現などを実現して，その活用告，教育など様々な分野で活用されるようになってきた．

が多いに注目を浴びている．例えばレーザスキャナを用いこのように現実世界の三次元データの取得とそのデータのて遺跡や文化財の三次元形状を取得してデジタル保存する

様々な提示方法やインタラクション方法の提案・実現は一

研究 [1][2] や，複数ビデオによる多視点映像やモーション層重要なトピックになってくると思われる．

キャプチャを用いて舞踊データを保存する研究 [3][4] など

そこで本研究では現実世界の三次元物体の記録と映像提が報告されている．一般大衆向けの 3D カメラや 3D ビデ示を行う新しい CG システムを提案する．ユーザが三次元オも開発されており，家族の思い出などを三次元映像とし物体をシステムのスクリーン上にセットすると，システム

1a)b)

は物体を上方から瞬時にスキャンして三次元形状と色を愛知工業大学, Aichi Institute of Technology
1247, Yachigusa, Yakusa-cho, Toyota 470–0392, Japanue.to120@gmail.com
s mizuno@aitech.ac.jp© 2014 Information Processing Society of Japan取得する．そして物体を取り除くと，システムはスキャンデータに基づいて三次元物体の CG を生成してスクリー

568

RGB-D カメラユーザ

ユーザ

ユーザ

ユーザ
左から見た様子

テーブルトップ
スクリーン

スキャン物体配置/3DCG 表示プロジェクタ移動

移動

右から見た様子

中央から見た様子

処理用 PC図 2 運動視差の概要

まるで取り除いた物体のコピーがスクリーン上に残って図 1 システム構成いるように感じることができる．動きのある物体の場合には，スクリーン上で動いている物体の三次元 CG アニメーンに表示する．このときシステムはユーザの視点位置を認ションを様々な位置から観察することが可能である．さら識して運動視差立体視による三次元 CG を生成する．そのにユーザがコピー物体に手を近づけた場合には，RGB-D

ため，ユーザは取り除いた三次元物体がそのまま立体映像

カメラの情報を用いてその位置を認識して，手の位置とコとして残っているように感じ，それを様々な位置から観察

ピー物体との接触判定を行って，接触していると判定したすることができる．すなわち，現実世界の三次元物体をコ場合にはコピー物体を変形させたり効果音を再生したりす

ピーしてその場でコピー物体を制作することを擬似的にる．これによりユーザは擬似的にコピー物体にふれること体験できる CG システムである．そして，このシステムでが可能である．

は静止した三次元物体だけではなく，動きのある三次元物体のデータ取得と提示も可能である．さらにユーザが三次元 CG のコピー物体に手を近づけることで，変形などのコピー物体とのインタラクションを行うことができる．
本論文では，提案システムの概要，運動視差立体視の詳
細，システム実現法，実験と考察について述べる，

2. 提案システムの概要

3. 運動視差立体視と三次元 CG への適用
3.1 運動視差立体視の概要
立体視は人間の三次元知覚の仕組みを利用して，映像中の物体の立体感を感じさせる手法である．人間の三次元知
覚には，物体の大きさや重なり，輻輳，焦点距離，視差など様々なものがあるが，一般的な立体視コンテンツでは両眼視差を用いて三次元知覚させるものが多い．両眼視差は提案システムはデスクトップスクリーン，処理用 PC，プ両眼の位置の違いから左右の目に映る映像が微妙に異なるロジェクタ，そしてスクリーン上方に設置された RGB-D

ことであり，人間の脳はその画像の違いに基づいて奥行きカメラで構成される．図 1 にシステム構成を示す．

感を認識する．両眼視差を用いた立体視コンテンツでは右

システムはスキャンモードとディスプレイモードを切り目用と左目用の映像を用意しておき，立体視対応ディスプ替えて動作する．スキャンモードでは，ユーザがスクリー

レイなどを用いてそれぞれの目に各映像を同時に送ること

ン上に三次元物体を置くとシステムは RGB-D カメラで三で両眼視差を実現して奥行き感を知覚させている．

次元物体の色データと深度データを取得する．提案システ

一方，人間は運動視差によっても三次元知覚を行う．運ムは動きのある三次元物体の場合でもデータを継続的に取動視差は立体物を観察するときに観察者または立体物が移得することで対応可能である．そして取得したデータに基動することで生じる見え方の変化である．図 2 に運動視差づいて物体の三次元データを生成する．の概要を示す．運動視差ではユーザの移動に伴って今まで次にディスプレイモードでは，スクリーン上の物体を取見えなかった部分が見えるようになったり，近くの物体がり除くとその物体の三次元データを CG としてスクリーン遠くの物体に比べて見え方が大きく変化する．Rogers らの上に表示する．このとき，システムは RGB-D カメラの情研究では，運動視差のみで三次元形状と奥行きに関する十報を用いてユーザの視点位置を追跡する．そしてユーザの分な情報が得られることを示している [5]．

視点位置の移動に応じて三次元 CG をリアルタイムで更新していく．これにより運動視差に基づく立体視 CG を実現して，ユーザは三次元 CG を様々な位置から観察しながら，© 2014 Information Processing Society of Japan

3.2 三次元 CG での運動視差立体視の実現
三次元 CG においても，ユーザの視点に合わせて運動視569

実空間 / 仮想空間

ユーザ
yユーザ

実物体 / 仮想物体
x投影→三次元 CG

スクリーン(a) 色データz

図 3

運動視差立体視に対応した三次元 CG 生成差と同様の映像を生成することで，生成される CG 映像から立体感を得ることができる．この運動視差立体視では(b) 深度データ

専用のディスプレイやメガネ等は必要ではなく，ホログラフィックのように CG で表示された物体が実際にその場に存在するような感覚となる．そして運動視差立体視を利用した応用研究もいくつか報告されている [6][7][8]．
本研究ではこの原理を応用して，運動視差による立体視を用いた三次元 CG を生成する．図 3 に仕組みを示す．まず CG 生成のための仮想空間の座標を実空間の座標と一致させる．本研究ではスクリーン中心を原点とし，x − z 平面がスクリーン面，y 軸が鉛直上向き方向となっている．

(c) 三次元点群データの CG 表示
図 4

Kinect で取得した色データと深度データ，および三次元 CG

そしてスクリーン上に表示対象となる仮想物体を配置する．ユーザはスクリーン上に表示された仮想物体を観察すのための仮想空間の座標を実空間の座標と一致させているが，見る位置によって見え方が変化するという運動視差る．そのため，三次元点群データや三角形メッシュデータを実現するためにユーザの視点位置を常に追跡する．そしは三次元物体が置いてあったスクリーン上の場所にそのまて，ユーザの視点位置からスクリーン上に仮想物体を投影ま配置される．

した三次元 CG をリアルタイムで生成することで，運動視差立体視が実現して仮想物体がまるでスクリーン上に存在するような感覚を得ることができる．

4. 提案システムの実現方法
4.1 三次元物体のデータ取得

4.2 視点位置の推定と映像生成
ディスプレイモードでは，スクリーン上方に設置したKinect はユーザの視点位置の推定に用いる．図 5 にユー
ザ視点位置の決定の様子を示す．ユーザはスクリーンの周囲で映像を観察するため，Kinect から見てユーザの頭部が本研究では RGB-D カメラとして Microsoft Kinect を用最も高い点となる (図 5(a))．そこで，スクリーン上方からいており，システムのスクリーン上方に設置している．ス

取得した深度データの中で最も大きな高さ hmax を求めてキャンモードでは，Kinect はスクリーンに置いたコピー対(図 5(b))，hmax との差がしきい値 ht 以下の高さを持つ領象三次元物体をスキャンして，図 4 に示すような色データ域をユーザの頭部として抽出する．そして頭部領域の高さおよび深度データを取得する．動きのある三次元物体に対の平均値 havg を求めてから，頭頂部から目までの高さのしては色データと深度データを連続的に取得することで時差 e を考慮して (havg − e) を視点の y 座標とする．そして系列データとして取得する．そして，取得したデータから頭部領域の中心を x，z 座標としてユーザの視点位置を決図??(a) のような色情報を持つ三次元点群データを生成す定する (図 5(c))．なお，ht の値および e の値は実験的にそる．また x − z 平面上に配置した三角形メッシュ平面の各

れぞれ 100(mm)，50(mm) としている．

頂点の y 座標を深度データに基づいて変化させることで，視点位置が決定すると，第 3 章で述べた手法に基づいて三次元物体の形状を表現する三角形メッシュデータを生成

三次元点群データや三角形メッシュデータをユーザの視点する．第 3 章で述べたように，提案システムでは CG 生成

位置からスクリーンに向けて投影して，コピー物体の三次© 2014 Information Processing Society of Japan570

(a) ユーザとシステムの位置関係

図 6

提案システムの外観で手の中心座標を決定する．なお，hts の値および hth の値(b) 深度データから最も大きな高さの値を取得

は実験的にそれぞれ 100(mm)，300(mm) としている．また，現時点では片手操作にのみ対応している．
そして，手の中心に仮想的に半径 r の球を配置して，三次元コピー物体を表す点群の各点との距離を調べることで接触判定を行う．距離が r 以下の場合には，その点が手に触れていると判断して点を球の外側方向に移動させ，同時に効果音も再生する．これにより，コピー物体の三次元CG が変形して，まるでユーザがコピー物体を触って変形させているようの感覚となる．

5. 実験と考察(c) 頭部領域の抽出と視点座標決定
図 5

Kinect 深度データに基づくユーザ視点位置の推定5.1 実験
提案システムを実装して実験を行った．使用した機材
は MacBookPro(Core i7, 2.7GHz)，Kinect，超単焦点プロ

元 CG 映像を生成する．そのため，スクリーンに映されたジェクタで，スクリーンの大きさは 1220×725(mm) となっ

コピー物体はユーザ位置からは実際に物体が置いてあったている．Kinect はスクリーン直上の 1800(mm) の位置に場合と同様に観察される．映像生成はユーザの移動に対し設置して，640×480(画素) で色データおよび深度データをてリアルタイムで行っており，視点位置によって見え方が取得する．データの取得および三次元 CG の表示は 30(フ変化する運動視差を実現している．また動きのある三次元レーム/秒) で行う．図 6 にシステムを設置した様子を示す．

物体から得られた時系列データの場合には，データを逐次実験結果を図 7 に示す．初めにシステムをスキャンモー変更しながら三次元 CG アニメーションを生成する．

ドにして，ユーザはスキャンしたい三次元物体をスクリーン上に配置する (図 7(a))．物体の大きさはユーザが実際に4.3 手の位置の推定とコピー物体とのインタラクション観察できる程度であれば特に制限はない．スキャンは瞬時

スクリーン上方の Kinect はユーザの手の位置の推定にに終わり，自動的にディスプレイモードに移行する．そしも用いる．ユーザがコピー物体を観察しながら手を差し出て物体をスクリーンから取り除くと，ユーザの位置からはした場合，手の位置はスクリーン面よりも上にある物体のコピー物体がそのまま残像のように残っているような三次中で最も低い位置となることが多い．そこで，スクリーン元 CG 映像を観察することができた (図 7(b))．その後ユー上方から取得した深度データの中で，スクリーン面よりもザが移動すると，ユーザの視点位置を推定しながらリアルしきい値 hts 以上上方かつ，頭部位置 hmax よりしきい値

タイムで三次元 CG を更新することで，コピー物体の三次hth 以上下方にある点のうち，最も小さな高さ hmin を求め

元 CG 映像を様々な位置から観察することができ，運動視て，hmin との差がしきい値 ht 以下の高さを持つ点をユー差の効果によってコピー物体がまるでそこにあるような立ザの手領域として抽出する．そして，頭部領域と同じ手法体感を得られることも確認した (図 7(c)(d))．三次元 CG© 2014 Information Processing Society of Japan571

は三次元点群データまたは三角形メッシュデータに基づい

今後の課題としては，高精細の RGB-D カメラを複数台て生成され，表示方法はいつでも切り替えることができる

使用することで正確で死角の少ない三次元形状の擬似的複(図 7(e)(f))．その他の三次元物体に対する実験例を図 8 に製を行うことや，より安定した視点位置の推定，表示物体示す．の移動などのインタラクションの実現，提案手法を拡張し

図 9 にコピー物体を手で仮想的に触って変形させる例を示す．ユーザが表示されているコピー物体に手を近づけると，手の位置付近に表示されている点群が移動して，コピーた遠隔コミュニケーションなどが挙げられる．
謝辞 本研究の一部は科研費基盤研究 (C)(23500139) による．

物体を対話的に変形できることを確認した．効果音も付加することで，触感はないものの視覚と聴覚の効果によって参考文献

コピー物体を触っているような感覚が得られた．

[1]

動きのある三次元物体に対する時系列データの取得と映像生成の例を図 10 に示す．現状は最大 4 秒 (120 フレーム)[2]のデータ取得と映像生成が可能である．そしてユーザは動きのある三次元物体の三次元 CG アニメーション映像を物体がそこに存在しているような感覚で様々な方向から観察することができた．

[3]

5.2 考察実験では，提案システムは三次元物体の大まかな形状を[4]

立体視 CG で再現することはできるが，詳細な形状を再現するのは困難であった．Kinect で得られる深度データは 640×480(画素) であり，詳細形状を表現するには解像度[5]が不足している．また，スクリーン上方に設置した 1 台のKinect のみで三次元物体のデータを取得しており，データ[6]が取得できない死角が多く存在する．これらの問題を解決するためには，より高精細なデータを取得できる RGB-D[7]カメラの利用や複数台の RGB-D カメラの利用などが必要である．
また，視点位置や手の位置の推定には三次元物体スキャン用の Kinect をそのまま用いており，上方から得られた[8]

大石岳史, 増田智仁, 倉爪亮, 池内 克史: 改創建期奈良大仏及び大仏殿のデジタル復元, 日本バーチャルリアリティ
学会論文誌, Vol. 10, No. 3, pp. 429–436 (2005).
西村正三, 原健司, 木本啓介, 松田浩: 3D レーザ・デジタ
ル画像を用いた軍艦島計測と損傷図作成 –3D 点群のレン
ダリング・ひび割れ描画支援システム–, 日本写真測量学
会誌・写真測量とリモートセンシング, Vol. 51, No. 1, pp.
46–53 (2012)徐建鋒, 山崎俊彦, 相澤清晴: 極座標表現を用いた形状特徴ベクトルによる 3 次元ビデオのセグメンテーション, 情報処理学会論文誌. コンピュータビジョンとイメージメ
ディア, Vol. 47, SIG 10(CVIM 15), pp. 208–217 (2006).
吉村ミツ, 甲斐民子, 黒宮明, 横山清子, 八村広三郎: 赤外線追跡装置による日本舞踊動作の解析, 電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 J87-D-II(3),pp. 779–788 (2004).
Rogers, B. J., Graham, M.: Motion Parallax as an Independent Cue for Depth Perception, Perception, No. 8,
pp. 125–134 (1979).
原田一馬, 菅野祐介, 佐藤洋一: 運動視差を用いたマルチ
タッチインタラクション, Interaction 2012 論文集, pp.
795–800 (2012).
玉井康之, 末永剛, 栗田雄一, 松本吉央, 小笠原司: 運動視差提示による実画像 3 次元ディスプレイの提案, 第 25 回
日本ロボット学会学術講演会論文集, 1H-12 (2007).
塚田真未, 川島卓也, 水野慎士: 運動視差を用いた立体視 CG システムの構築と科学館での活用の検討, 情報処
理学会研究報告, デジタルコンテンツクリエーション,
2013-DCC-4, No. 3, 6 pages (2013).

深度データに基づいて行った．これにより，スクリーン周辺であればユーザが左右どの位置からどの方向を向いて映像を観察した場合でも比較的安定して視点位置や手の位置を推定することができた．ただし，ユーザが大きく首や腰を曲げた場合には，最も高い位置が首や背中になる場合があり，適切に視点位置が推定できなかったり，手が頭で隠れて認識できない場合があった．

6. おわりに本研究では現実世界の三次元物体の記録と映像提示を行う新しい CG システムを提案した．提案システムを用いることで，任意の三次元物体を動作を含めて瞬時にコピーして，三次元映像として再現しながら任意の位置から立体感を感じながら観察することが可能となった．またコピー物体を手で仮想的に触れて対話的に変形させることも可能となった．現在は提案システムを科学館の展示物として使用したり，教育やエンターテイメントの分野で活用することを検討している．

© 2014 Information Processing Society of Japan

572

(a) スキャン対象三次元物体(b) スキャンデータ表示 (点群)(1)(c) スキャンデータ表示 (点群)(2)(d) スキャンデータ表示 (点群)(3)(e) スキャンデータ表示 (メッシュ)(1)(f) スキャンデータ表示 (メッシュ)(2)

図 7

三次元物体のスキャンとコピー物体表示の実験例 (1)(a) スキャン対象三次元物体(b) スキャンデータ表示 (メッシュ)(1)

図 8(c) スキャンデータ表示 (メッシュ)(2)三次元物体のスキャンとコピー物体表示の実験例 (2)(a) コピー物体(b) 手による変形例 (1)図 9(c) 手による変形例 (2)コピー物体を手で仮想的に触って対話的に変形させる実験例

(a)

(b)

(c)

(d)

(e)

(f)

(g)

(h)

図 10

© 2014 Information Processing Society of Japan

動作する三次元物体のスキャンと表示の実験例

573