情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A11
2018/3/5

PTAM を用いた AR 落書きシステム
箭野裕己†1河野恭之†1

概要：本研究ではユーザ視野内にある建物の壁のような平面に対して，ユーザが指を用いて文字や絵を仮想的に描画するシステムを提案・実装する．ユーザが指を用いて描いた軌跡を提示するためにビデオシースルー型 HMD を使用する．ユーザの目線位置にカメラを装着することでユーザに違和感がない視界を提示する．また指先をポインティン
グデバイスに用いるために，カメラ画像中のユーザの指先を検出し座標を得る．同時に PTAM によって現実空間の平面を検出・追跡し，指先の軌跡を平面上に重畳させる．手によるオクルージョンが生じた場合でも安定した描画が行えるようなウェアラブルなシステムの実装を目指す．

AR graffiti system using PTAMYUKI YANO†1YASUYUKI KONO†1

Abstract: In this research, we propose and implement an AR graffiti system that virtually draws characters and pictures using
fingers with respect to a plane like a wall of a building in the user's visual field. A video see-through HMD is used to present thetrajectory drawn by the user using a finger. By wearing the camera at the eye position of the user, we present the visibility that theuser feels comfortable. Also, in order to use the fingertip as a pointing device, we detect the fingertip of the user in the camera
image and obtain the coordinates. Simultaneously, the plane of the physical space is detected and tracked by the PTAM, and thetrajectory of the fingertip is superimposed on the plane. We aim to implement a wearable system that enables stable drawing evenwhen occlusion by hand occurs.

1. はじめに
ユーザ視野内にある建物の壁のような平面に対して，ユーザが指を用いて文字や絵を仮想的に描画するシステムを提案する．近年，計算機の小型化・処理速度の向上に伴い，デスクトップ PC だけではなく，身体に小型計算機を装着するウェアラブルコンピュータでの画像処理が現実的になってきた．これにより，コンピュータグラフィックスで生成した仮想物体を現実の環境に重畳して表示する拡張現実感 (Augmented Reality，AR) の研究が盛んになっている．

図 1

本システムを装着したユーザ

2. 関連研究

一方, 世界中の観光名所には訪問した人が残した落書きが藤井らは，Web カメラをペンに取り付けたデバイスを用ある．ローマの観光名所であるコロッセオでは，落書きをいて空中に文字を書くことで文字を認識するシステムを構した観光客に罰金の支払いが命じられた例があり，法律に築している[1]．カメラから得られる動画像により局所画像反しても落書きを行う人がいる．そこで初めて訪れるよう間での動きベクトルを求める．文字を描画中に得られるベな場所で周囲を気にせずに落書きをするシステムを提案す

クトル群とあらかじめ用意しておいた辞書コードを比較しる．本研究では，図１のように頭部に HMD と単眼カメラて，ユーザが空中で書いた文字の認識を行う．しかしウェを装着したユーザが指を用いて建築物の壁などの平面上にブカメラを取り付けたペン型デバイスを持つ煩わしさがあ

文字や絵を仮想的に描画することで，周囲を気にせずに落る．またペンの動き方向のみを推定しているため，ユーザ書きができるウェアラブルなシステムを作成する．また将が文字の描画中に筆跡を確認することができない．本研究

来的には訪れた場所にメモを残すことで，備忘に利用する

ではユーザの指をポインティングデバイスにすることで，ことや，他者と共有することで遠隔地からの操作支援など

より直感的なインタフェースを実装する．に役立つと考えられる．

３次元空間認識の手法では，距離情報を取得することが†1 関西学院大学大学院 理工学研究科
Graduate School of Science and Technology
Kwansei Gakuin University© 2018 Information Processing Society of Japan900

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A11
2018/3/5

できる RGB-D カメラを使用する方法がある．しかし，RGB-枚目のキーフレームを取得する．この 2 枚のキーフレ

D カメラは赤外線センサによって距離情報を取得するため，ームをもとにエピポーラ幾何と三角測量を用いて，特屋外での使用が困難である．そこで本研究では単眼カメラ

徴点を 3 次元空間上へとマッピングする．次に，得らを用いて屋外でも使用可能な AR システムを作成する．

れ た 3 次 元 空 間 中 の 特 徴 点 を 用 い て RANSAC（Random sample consensus）のアルゴリズムにより平PTAM （ Parallel Tracking and Mapping for Small ARWorkspaces）[2]は，Georg Klein らが構築したマーカレス AR手法の１つであり，処理が高速であり，精度が安定してい面検出を行う．


シーン解析によって得られた 3 次元空間中の点群をることが特徴である．カメラを搭載した自走式ロボットのもとに平面の追跡を行う．その際に一度点群を 2 次元

自 己 位 置 推 定 手 法 に よ く 取 り 入 れ ら れ る Visual SLAM

画像中へ投影し，その投影した点とカメラからの入力（Visual Simultaneous Localization and Mapping）と比べると，画像で得られる 2 次元の特徴点の対応のマッチングによって追跡を行う．

カメラを人間が動かすような場合は，Tracking にかかるコストが大きいという問題を Georg Klein らは指摘している．



ポインティングデバイスであるユーザの指を検出・追その解決方法として，点群の Tracking と Mapping の処理を跡する．まずカメラ画像から肌色領域を抽出する．得分割して平行動作させ，Tracking のためのパフォーマンスられた肌色画像から手の領域の候補を選び，指先検出を常に一定以上確保できるようにすることを提案している．

処理により手領域と指先の決定を行う．次に，時系列

本研究はこのシステムを利用して，ユーザ視野中の建物の画像で考えたときに前フレームで得られた指先座標壁などの描画するための平面を検出・追跡することでマーをもとに周辺を探索し，指先の追跡を行う．本システ

カレスな AR システムの作成を目指す．

ムは，ユーザが指先をポインティングデバイスにして指差しジェスチャに関連した研究には，指を差したとき描画を行うので，描画時にジェスチャを指定することの人間の指と身体上の部位を結ぶ直線を調べる研究や，そで，カメラ画像中で検出した指先の描画状態を判別すの直線と対象物との誤差を測る研究などがある．例えば森る．

らはロボットとのインタフェースに人間の指差しジェスチ

検出した 2 次元のウィンドウ座標上の指先座標を座

ャを利用することに着目し，調査・実験を行っている．モ

標変換によって 3 次元のオブジェクト座標に変換し，ーションキャプチャシステムを用いていくつかの方位と距追跡している平面上にオブジェクトを生成する．時系

離におけるターゲットに対して指さしの実験を行い，指先列の指先座標データに線形補間処理・平滑化処理を施と身体上のどの部位の点を選択することが最適な指差し直し，描画結果をユーザに提示する．ユーザが描画を行線となるかを調査し，同時に各ターゲットからの誤差を調う際，追跡中の平面上に手を掲げることになるのでオべている[3]．しかし本研究での人差し指を立てたジェスチクルージョンが発生する．本システムでは描画直前フャは，このような指示のジェスチャとは異なる．描画を行レームや，安定して平面が追跡できているキーフレー

うときのジェスチャにおいては，ユーザは指先をペン先のムから現在のオクルージョンが発生しているフレーようにして描画を行うので，指先より遠方にある部分ではムの手領域を補完することで描画中も安定した平面なく，指先の位置がポインティングしたい場所になると考追跡を可能にする．

えられる．よって本研究での人差し指ジェスチャがさす部分は目と指先を結んだ先と考えられる．

3. 研究概要
本研究は，ユーザの頭部に装着させた単眼カメラの画像から，ユーザ視野内にある建築物の壁のような平面を検出・追跡し，ユーザが指を用いて描画をしたオブジェクトをその平面上に重畳させ，HMD に提示するという AR 落書きシステムの作成である．本システムの流れを図２に示す．処理を開始すると PTAM によるシーン解析を一度だけ行い，その後 3 つの処理を毎フレーム行う．
図 2

本システムの流れ

4. PTAM を用いた平面検出

まず始めに PTAM によるシーンの解析を行い，ユーザPTAM によるシーン解析では，エピポーラ幾何を用いた視野内にある平面を検出する．PTAM では 1 枚目のキ運動からの形状復元（Structure from Motion）によってシーーフレームを取得した後，カメラを平行に動かして 2ン内の特徴点を 3 次元空間へとマッピングする．運動から© 2018 Information Processing Society of Japan901

情報処理学会 インタラクション 2018
IPSJ Interaction 2018の形状復元とは，異なる視点から撮影された画像の対応点をもとに，3 次元構造とカメラの姿勢を同時に復元する手法である．これによって求められた 3 次元空間中の点群を元に，シーン内で最も特徴的な平面（支配的平面）の検出を行う．しかし，このようにして求まった平面が，ユーザの描画したい平面であるとは限らない．そこでユーザと描画する平面は概ね対面している状況であると仮定すると，検出した平面の天頂角 φ はおよそ 45°から 135°の範囲に収まっている．検出した面のパラメータから角 φ を求め，範囲外であれば平面を構成する点群以外の，その他の点群に再度 RANSAC による平面検出を行うことで，より適切な平面を検出する．

3A11
2018/3/5

6. 軌跡の描画
本節では 5 節によって得られた指先座標が描く軌跡を 4節によって得られた平面上に重畳させる方法を述べる．そのためにまず，指先座標を平面上のオブジェクト座標に変換する．しかし，フレーム毎に得られる指先座標は離散的なデータである．本研究では，一続きの軌跡をユーザに提示するために，線形補間を用いて点と点を直線で結ぶ．またより滑らかな描画を可能にするために軌跡データを平滑化させてユーザに提示する．6.1，6.2 でそれぞれ座標変換，線形補間と平滑化について述べる．
6.1 座標変換
5 節によって得られた指先座標が描く軌跡を 4 節によって得られた平面上に重畳させる．具体的には，ウィンドウ座標の（xwin，ywin）に対応するオブジェクト座標（xobj, yobj,

5. 指先追跡
頭部に装着したカメラ画像から指先を検出する．まずカメラ画像中の肌色領域を抽出する．頭部に装着したカメラからユーザの指先までの距離は腕の長さ程度であるため，ユーザ自身の手の領域はカメラ画像における肌色の物体領域で最も大きくなると仮定し，抽出した肌色領域画像の中で最大の領域を手の領域候補とする．次に得られた手領域候補がポインティングデバイスであるか判別する．本シス
テムでは，指を使って空中に描く動作には，図 3 のように人差し指と親指を上げて“レ”の字を左右反転にしたジェスチャを適用する．これにより手領域候補の左上端に位置する点が検出すべき指先である可能性が高い．指先候補点を中心として時計回りに探索して見つけた肌色領域を新たな中心点に円探索を繰り返す．このとき中心と新たな点を結ぶベクトルを保持しておき，新たに得られたベクトルとの位置関係が指先に沿う境界と手の甲に沿う境界の位置関zobj）を求める．一般にオブジェクト座標系に生成された CG物体は，モデリング変換，ビューイング変換，投影変換，ビューポート変換を経て画面に描画される．よって，ウィンドウ座標系からオブジェクト座標系への変換は，これらの逆変換を考える．画面上の点に対応する 3 次元空間中の点は，画面上の点と焦点を結ぶ直線上に無数に存在するが，描画されたオブジェクトは 4 節によって得られた平面上に必ず存在することから求めることができる．図 4 は指先座標がカメラ画像の中心にあると仮定し，カメラを動かすことで本の表紙に描画を行った出力画像である．青色で示した描画オブジェクトはウィンドウ座標系からオブジェクト座標系に変換して配置しているので図 5 のように頭部の位置・姿勢を変化させると，オブジェクトもそれに伴い変化する．図中の緑色の描画領域が現実世界の平面領域と対応づけられると落書きをしている感覚が増すと考える．

係に類似するとき，ジェスチャと判定してポインティングデバイスであるべきユーザの指先とする．時系列に指先を検出することで指先の軌跡を得て指先検出を行う．時系列上で連続する画像において対象物体のフレーム間での移動距離は大きくないと考え，前フレームの指先位置の座標を基準にして探索する範囲を限定した．また探索窓は誤検出を防ぎ，処理速度向上にも役立つ．指先検出の欠落を考慮して探索窓範囲内でジェスチャが見つからない場合は，指図 4先の軌跡の終点とみなして新たな指先軌跡の始点を検索す

描画した出力画像

る．

図 3

描画ジェスチャ© 2018 Information Processing Society of Japan

図 5

頭部の位置・姿勢を変化させたときの出力画像

902

情報処理学会 インタラクション 2018IPSJ Interaction 2018

3A11
2018/3/5

度の高かった箇所から手領域部分を補完する．補完画像を6.2 線形補間と平滑化
6.1 節によって得られる描画結果は指先座標をオブジェ特徴点マッチングの入力画像とすることで安定した平面追跡を可能にする．

クト座標系上にプロットしたものであり，離散的な点群となる．そこで一続きの軌跡をユーザに提示するために線形補間を行う．得られた指先座標の点と点を直線で結ぶことで，離散的な点群データから一続きの描画オブジェクトを形成する．また，ユーザが手を掲げて描画を行うことから発生する手ぶれや，指先座標の細かなズレなどから描画オブジェクトが振動することが考えられる．そこで一続きの軌跡データ毎に移動平均フィルターを施すことで滑らかな描画結果をユーザに提示する．線形補間と平滑化処理を施
図 7し，実際に指を用いてポスターに“AR”と描画した結果をオクルージョン解決手法

図 6 に示す．

8. おわりに
本研究は，単眼カメラ映像をもとにユーザ視野内の建物の壁のような平面をリアルタイムで検出し，ユーザが指を用いてその平面上に文字や絵を仮想的に描画するシステムの作成した．平面の検出において方位角の制限を設けなかったのは，同じ建物の 2 面の平面を検出して角度の異なる
図 6

本システムを使用してポスターに“AR”と描画したときの出力画像

7. オクルージョン解決手法

平面にひとつながりのオブジェクトを描画できるようにするためであり，実装が可能になれば建物に落書きをしているような感覚がより増すと考える．また，本システムでは描画するための平面を検出するために 1 枚目のキーフレー

本研究はビルなどの建築物の壁にユーザが自身の指をムを取得した後にカメラを平行移動させ，2 枚目のキーフポインティングデバイスにして仮想的な描画を行う AR シレームを取得する作業がある．現在のシステムでは PTAMステムの作成である．ユーザが描画を行う際，ユーザは検の仕様と同様に，スペースキーを押下することでキーフレ出した平面上に手を掲げることになるので，建物の壁がユームを取得しているが，この作業はユーザにとって煩わしーザの手によって遮蔽され，オクルージョンが生じる．オい作業であると考えられる．この問題を解決するためにはクルージョンが生じると，平面上の特徴点を追跡できず，5 節のようなユーザの手のジェスチャや音声による入力な安定した描画を行うことは困難である．

ど，より簡易的な方法でキーフレームの取得を行う必要がそこで，本システムではオクルージョンが発生しているある．

フレームの手領域を，オクルージョンが発生していないフレームから補完する方法を考える．図 7 はその手法を図示参考文献したものである．描画直前の状態では平面が安定して追跡[1]できていると仮定する．また，描画直前の状態から描画をし始める状態に移ったとき，ユーザの頭部の位置・姿勢は大きく変動しないものと仮定する．すると描画直前のフレームと描画し始めたときのフレームを比べるとユーザの手領域以外の部分は似た景色になり，手領域を描画直前フレームから補完すれば安定して平面を追跡することが可能であると考える．描画途中に頭部の位置・姿勢が変動することが考えられるが，描画状態以前に取得したキーフレームから補完すれば平面を追跡することが可能であると考える．
まず入力画像を手領域の前景とそれ以外の背景に分離する．
背景画像をテンプレートにして，描画直前フレームやキーフレームデータからテンプレートマッチングを行い，類似© 2018 Information Processing Society of Japan藤井祐介，竹沢恵，真田博文，渡辺一央．“空中手書き文字入力システムの構築に関する一考察”，情報処理学会，モバ
イルコンピューティングとユビキタス通信研究会研究報告,
Vol 6, 2009-MBL-50, pp.1-4, 2009.
[2] 森健広，“人の指差し動作の分析とその支持物体認識への応用”，埼玉大学，修士論文，2004，
http://www.cv.ics.saitamau.ac.jp/research/thesis/thesis2004/2005M322.pdf(2017/12/20 アクセス)[3] Georg Klein, David Murray, “Parallel Tracking and Mapping for
Small AR Workspaces,” ISMAR’07, pp. 225–234, Nov.2007.
[4] Jamie Sherrah , Shaogang Gong, “Skin Colour Analysis.”,University of Edinburgh, 2001,
https://scholar.google.com/citations?view_op=view_citation&hl=ja&user=1l_6_yMAAAAJ&citation_for_view=1l_6_yMAAAAJ:ufr
VoPGSRksC(2017/9/26 アクセス)903