情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-37
2020/3/9

積み木を利用した複合現実コンテンツにおける点群処理
長田 一馬†1

小林 桂†1

益子 宗†2

星野 准一†1

概要：積み木遊びは子供の知覚や数学的能力において影響を及ぼすと考えられている．しかし，現代においてはタブレット端末等の普及により，物理的な体験の薄いコンテンツに触れる機会が増えている．そこで本来の積み木の遊びにおける物理的体験を残したまま，魅力的に見せるためのMixed Realityコンテンツを提案する．具体的には，RGB-D
カメラを利用して積み木の配置，形状を分析し，モニターに表示されるカメラ映像に対してCGを重畳描画するMRシステムを提案する．本システムでは積み木の積まれ方によってCGに変化を与えるため，深度データより得られた法線に基づく積まれた積み木の分類を行う．

1. はじめに3. 制作システム

積み木遊びは子供の空間知覚や数学的能力において影響

積み木遊びにおける実際に重さを感じ，重心を感じながを及ぼすと考えられている[1]．積み木遊びにおいて積む，ら積み木を積むという体験を崩すことなく，映像的に拡張崩すといった行為の中に，重心を意識すること，バランスすることを目指す．そのため，積み木およびユーザーに特をとることを学んでいく様子が見られる[2]．幼児教育にお殊な機材を付けることなく体験できるシステムとする．本

いて積み木遊びは重要な意味を持っているといえる．2011

システムは，RGB-DカメラにIntel RealsenseD435を使用し，年の日本小児保健協会による調査報告[3]では，幼児におけディスプレイの前の机上で積み木遊びをする形とした(図るテレビ，テレビゲームの利用が増加しているとある．現1)．映像は実際の積み木の形状に合わせて，テクスチャが代ではタブレット端末の普及によって動画視聴や，アプリ張られたCGモデルが実際の色画像に合成されたものとなの使用が予想される．そういった魅力的ではあるが，物理る．RGB-Dカメラによって取得された3次元点群情報を積的な体験の薄いコンテンツだけでなく，物理的な体験も含

み木の形状に合わせてテクスチャが張れるよう，前処理をめ魅力的なコンテンツを用意することが必要と考える．そしてメッシュ化する．

こで本研究では積み木遊びにMixed Reality(MR)技術を用いることで，実際の積み木遊びをそのままにコンテンツとしてより魅力的にすることを提案する．

2. 関連研究
積み木に関する研究として加速度センサ[4]を内蔵することで積み木の回転や，積層状態を把握する研究や，同様にスマートウォッチ[5]を内蔵することで接触の判定も行

図1 システム概要図

えるようにした研究がある．また，積み木を用いたコンテンツとして積み木を積み上げることで画面上に積み上げた

3.1 平面化処理

積み木に応じたCGの城が構築されるシステム[6]がある．

RGB-Dカメラより取得された深度画像および色画像か

しかしこのシステムでは格子状に区切られたケース内でのら色付き点群の作成を行い，それをもとに3次元メッシュの配置となるため，一度積んだ積み木を積みなおすことが出作成を行う．この過程において，3次元点群を積み木の平面来ない点や，ケースの支えによって必ず積めてしまうため，上に投影する．これによりノイズの多い点群からエッジの重心を考えて積む必要がないなど，本来の積み木遊びからはっきりとしたメッシュの作成をすることができる．

は離れてしまう．子供の現実の触覚を重視したVRシステム

3.1.1 面領域の取得[7]もあるが，これはおもちゃ，ユーザー，HMD全てに再帰点群の平面化をするにあたり，投影先の平面の方程式を反射マーカーの取り付けが必要であり，準備及び実行にお必要とする．その為色画像から輪郭を取得し，輪郭に囲まけるコストが非常に高い．本研究では積み木やユーザー対れた部分を１つの平面として扱う．Canny法[8]によって検して非侵襲なMRシステムを提案する．
†1 筑波大学†2 楽天株式会社 楽天技術研究所© 2020 Information Processing Society of Japan626

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-37
2020/3/9

出した輪郭に対しモルフォロジー変換のクロージング処理

𝑡= −を行い，途切れた輪郭の接続および，2重となっている線の

𝑑𝑎𝑉𝑥 + 𝑏𝑉𝑦 + 𝑐𝑉𝑧結合を行う．一部の輪郭線は2ピクセル以上の太さを持つた

以上の処理をすべての領域に行うことでピクセル画像を変め，これらの細線化処理を行う．各領域を膨張させていくえない点群の平面化を行う．

ことで輪郭を細線化するが，背景との輪郭線は移動をさせ3.2 メッシュ生成

ない．これにより分けられた領域を平面とする．
3.1.2

平面化処理済みの点群に対しメッシュ生成を行う．RGBDカメラから取得される点群は画素の順番に並んだ点群の平面化処理

深度画像および色画像から求められた3次元点群を先ほOrganizedと呼ばれる配置になっているため各メッシュのどの領域単位で平面化する．各領域の点群に対し順番を点群のインデックスから判断することができる．3.1

RANSAC[9] に よ る 平 面 方 程 式 の 推 定 を 行 う ． 3 次 元 点での平面への移動をした場合でもピクセル位置が保存され𝑉(𝑥, 𝑦, 𝑧)を平面の方程式(𝑎𝑥 + 𝑏𝑦 + 𝑐𝑧 + 𝑑 = 0)に投影するているため，Organized点群によるメッシュ化が適用できる．

ことで点群の平面化が可能である．しかし，投影される平これは非Organized点群をメッシュ化する場合に比べ高速面には2つの問題が生じる．1つは求められた平面は推定結に処理することができる．床面を除いた点群を点群の距離果であり，正確でないため，本来隣接している面が離れてが近いものを1つのメッシュとして作成する．

しまうということ．2つ目はMRコンテンツとしてこの点群

3.3 コンテンツ部を利用する際に，色画像と位置がずれてしまうことにある．

取得されたメッシュにテクスチャの貼り付けを行う．メ

この2つの問題への対策として以下のように平面化処理をッシュの形状から種類の割り当てと，メッシュの法線から行う．

テクスチャの割り当てを行い，カメラ画像と合成を行う．

1. 床面から順に下から上の領域に処理を行う．

組み替えた形状に合わせてテクスチャが張られるため，自2. 先に平面化を行った領域と隣接している輪郭部分を由な組み合わせのモデルを作成することができる．現段階

固定し，最も面の方程式と近い部分まで面を移動させでは木及び家の種類分けによるテクスチャの貼り付けが行る．

うことができる(図2)3. 点群を面へ投影する際，元の色画像のピクセル位置を変化させない方向に移動させる．
1.では領域分けを行った色画像に対して，画像右下から順にピクセルの走査をおこない，その順に領域の平面化を行う．画像上では隣接しているが，3次元空間では隣接していない領域も存在するため，必ずしも正しい順序とはならないが，2の処理の際に3次元空間距離の離れている輪郭は無視されるため大きな問題とならない．

図2 合成の結果(左：カメラ画像，右：コンテンツ画面)

2.では平面の方程式の係数dの値を変更する．すでに固定されている輪郭点と平面の方程式との距離をもとめ，最小値 と な る 輪 郭 点 を 通 る 𝑑́ を 決 め る ． 輪 郭 の 点 群
𝐶𝑁 (𝑉1 , 𝑉2 , … , 𝑉𝑁 )に対し以下の式で求められる．
𝑉́ = argmin|𝑎𝑉𝑥 + 𝑏𝑉𝑦 + 𝑐𝑉𝑧 + 𝑑|

√𝑎2 + 𝑏 2 + 𝑐 2𝑑́ = −𝑎𝑉́𝑥 − 𝑏𝑉́𝑦 − 𝑐𝑉́𝑧
𝑉∈𝐶

4. まとめ・今後の展望
本稿では，実際の積み木の体験を生かしたMRコンテンツを制作し，積み木の形状を保持したままメッシュ化して取り込む方法について述べた．
今後の展望としては，形状によって変化するモデルの種

3.では平面への投影ではなく，2次元画像のピクセル位置類の追加や，CGキャラクターとのインタラクションを可能を変えずに平面への移動を行う．投資投影モデルにおいてにするなどのアップデートを行いたいと考える．また，実3次元点𝑉(𝑥, 𝑦, 𝑧)から画像ピクセルP(x,y)を求める式は，焦験を行い既存の積み木遊びとの比較を行えるようにしてい点距離(𝑓𝑥 , 𝑓𝑦 )及び光学中心(𝑝𝑝𝑥, 𝑝𝑝𝑦)を用いて，以下の式できたいと考える．

表される．
𝑃𝑥 =

𝑓𝑦 𝑉𝑦
𝑓𝑥 𝑉𝑥+ 𝑝𝑝𝑥, 𝑃𝑦 =+ 𝑝𝑝𝑦𝑉𝑧𝑉𝑧

このとき平面上の3次元点𝑉̃ においてピクセル位置が変わらない条件は以下であり，𝑡𝑉 = 𝑉̃
よって，𝑉̃を平面上の点とするためのtを求めればよい．

© 2020 Information Processing Society of Japan

参考文献
[1]

鎌野 智里. 保育遊具としての積み木の教育的意義. 美術教育, (1998). 277, 66-73.
[2] 伊藤智里・高橋敏之. 一幼児の積み木遊びに見られる多様な発達的特徴. 美術教育学, (2011). 32, 41-53.
[3] 衞藤隆 編. 日本小児保健協会, 幼児健康度に関する継続的比較研究: 平成22年度総括・分担研究報告書 : 平成22年度厚生労働科学研究費補助金成育疾患克服等次世代育成基盤研究事627

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

[4]

[5]

[6]

[7]

[8]
[9]

2B-37
2020/3/9

業,政府刊行物 (2011).
Hosoi, T., Takashima, K., Adachi, T., Itoh, Y., & Kitamura, Y.
Ablocks: recognizing and assessing child building processes
during play with toy blocks. Proc. of SIGGRAPH Asia 2014
Emerging Technologies, No. 1 (2014).
永井淳之介, 沼野剛志, 東孝文, Matthieu Tessier, 宮田一乘,TSUMIKI CASTLE : 積み木を用いたインタラクティブなVR
システム.芸術科学会論文誌, 13(1), (2014), 67-75.
石川美笛, 高嶋和毅, 中島康祐, 北村喜文, 積み木遊び認識のためのスマートウォッチを活用した積み木型インタフェー
ス, 情報処理学会シンポジウムインタラクション論文集,(2017), pp.59-66.
L. Shapira, J. Amores, X. Benavides. TactileVR: Integrating
Physical Toys into Learn and Play Virtual Reality Experiences.
IEEE International Symposium on Mixed and Augmented Reality.
(2016).
J. Canny. 1986. A Computational Approach to Edge Detection.
IEEE Trans. PAMI8, 6 (Nov 1986), 679–698.
M. A. Fischler and R. C. Bolles: Random sample consensus: aparadigm for model fitting with applications to image analysis andautomated cartography, Communications of the ACM, Vol. 24, No.
6, pp.381-395, 1981.

© 2020 Information Processing Society of Japan628