情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT009
2016/3/3

CapacitiveMarker: 接触認識可能な 2 次元コードを用いたインタラクション手法
池田 昂平†1

沖 真帆†2

塚田 浩二†2

概要：現在広く普及している 2 次元コードは，読み取り時に入力部となるカメラとの間に一定の距離を作らなければ認識されないという空間的制約がある．一方，近年タブレット端末等の静電容量式マルチタッチディスプレイの普及に伴い，導電性パターンを接触させ，マーカーのように扱う研究事例が多く報告されている．そこで本研究では，両者を統合し，2 次元コードを印刷した紙と導電パターンを印刷した透明フィルムの 2 枚を重ね合わせる事で，カメラ／静電式タッチディスプレイのどちらからも認識可能な新しい 2 次元コード「CapacitiveMarker」を提案する．さらに，CapacitiveMarker を用いた様々なインタラクション手法について応用アプリケーションを通して紹介する．最後に，評価実験を通して CapacitiveMarker の基礎的な性能を調査した．

CapacitiveMarker: Novel Interaction Method
using Visual Marker Integrated with Conductive Pattern
KOHEI IKEDA1

MAHO OKI†2

KOJI TSUKADA†2

Abstract: The visual markers have spatial limitations to require certain distances between a camera and markers. Meanwhile, as
capacitive multi-touch displays on mobile devices have become popular, many researchers proposed interaction techniques using
conductive patterns and a capacitive display. In this study, we propose a novel visual marker, “CapacitiveMarker”, which can berecognized both by a camera and capacitive display. The CapacitiveMarker consists of two layered markers: a visual marker
printed on a seal and a conductive pattern on a plastic lm. In addition, we propose a new interaction method using
CapacitiveMarker through several applications. Finally, we performed evaluation to confirm the performance of the
CapacitiveMarker.

1. はじめに「CapacitiveMarker」を提案する（図 1）．これにより，端末（カメラ）から一定距離離れている状態と，端末（タッチ

近年，スマートフォンやタブレット等のモバイル端末とパネル) に接触した状態の双方でマーカーの ID／位置／

実世界を連携させたインタラクションの研究が盛んに行わ

向き等を用いたインタラクションを行うことができる（図れている．特に端末内蔵カメラを用いて 2 次元コードを認2）．本稿では，CapacitiveMarker を使って操作するアプリ

識させるインタラクション手法 [1][2][3][8] は古くから盛ケーションの実装を行い，応用方法を検討する．また，

んに取り組まれている．こうした 2 次元コードを用いたイ

CapacitiveMarker の操作性と認識精度，認識範囲を検証する

ンタラクションは安価で手軽に実現できる反面，カメラのための実験とその評価を行う．

画角の制約を受ける欠点があり，例えば，カメラを近づけすぎると認識できなかった．一方，近年では静電容量式マ
ルチタッチディスプレイ（以下，タッチパネル）に着目し，物理的なモノに銅箔等の複数の導電素材を取り付け，静電式マーカーとして扱う研究も多数提案されている[4][9][10][11][13]．これらの手法は，タッチパネル上でのモノの ID 認識や位置検出を実現するが，タッチパネルから

図 1

CapacitiveMarker の構成．

離れると認識が困難であった．本研究では，導電性インク

AR マーカーと静電マーカーを 2 層に重ねている．

によるパターンを 2 次元コードに内包させることにより，Figure 1

カメラによる認識だけでなく，タッチディスプレイに接触させても認識させることができる 2 次元コード

The configuration of the CapacitiveMarker

2. 関連研究
本研究に関連する研究事例について，「タッチパネルを用い†1 東京大学大学院
The University of Tokyo†2 公立はこだて未来大学
Future University Hakodate© 2016 Information Processing Society of Japanたインタラクション」，「2 次元コードを用いたインタラクション」，「導電性インクを用いたプロトタイピングの支援」という領域から紹介する．

72

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT009
2016/3/3

2.1.2 赤外光反射方式
タッチパネルの認識方法では静電容量式の他に，タッチパ
ネルの背面に赤外線カメラを設置して，赤外線を反射する
マーカーをトラッキングする手法が多数提案されている．
SLAP Widgets[5] は，アクリルやシリコン製の半透明な物
理ウィジェットの複数部に反射材を取り付け，ディスプレ
イ下の赤外光 LED とカメラの組み合わせによりウィジェットの位置を認識する．さらにディスプレイ下に設置したプロジェクターから映像を投影する事により，ユーザは仮
想ウィジェットと物理ウィジェットを混合した操作を行うことができる．Lumino[6] は，物理的なブロックの内部にガラスファイバーを入れることで，2 次元マーカーから反図 2

CapacitiveMarker の特徴．端末から一定距離離れている状態と接触した状態の双方でマーカーを検出できる．
Figure 2

The basic concept of the CapacitiveMarker.

射した赤外線をタッチパネル下のカメラへ送り，画像のパターン認識を行う．
前述した静電容量方式のマルチタッチ検出手法の多くは，
タッチパネルから離れると認識が困難になるという問題が2.1 タッチパネルを用いたインタラクションの研究ある．SmartSkin はユーザの手指がタッチパネルから離れ

タッチパネルを用いたインタラクションの研究は数多く行た状態でもタッチパネル表面からの距離を計測できるが，われている．ここでは，「静電容量方式」と「赤外光反射方

現在普及している iPad の様な携帯端末のタッチパネル上式」の 2 つの認識方法から研究事例を紹介し，それらの研で接触していない手指や物体を認識する事は困難である．

究と本研究の差分を述べる．

赤外光方式については，タッチパネル下部に赤外光を発す

2.1.1 静電容量方式

る LED とカメラを設置する必要があり，静電容量式タッ

近年，手指の検出だけでなく，物理的なモノに銅箔等の複チディスプレイと比べて環境構築の負担が大きい．

数の導電素材を取り付けて静電式マーカーとして扱うイン本研究では，現在普及している一般的な静電容量式タッチ

タラクション研究が多数提案されている．

パネル搭載型の携帯端末上で，端末（カメラ）から一定距

Rekimoto は，ユーザの手指が触れた位置の静電容量変化を

離離れている状態と，端末（タッチパネル）に接触した状計測し，複数の手指の位置や形状，センサ表面からの距離

態の双方でマーカーの ID／位置／向き等を用いたインタを検出する SmartSkin を提案している[4]．さらに，物体にラクションを行うことができる．

銅箔を取り付け，センサ上での物体認識を可能にしている．

2.2 2 次元コードを用いたインタラクションの研究

紙窓[11] は，カードに複数の導電部を配置し，タッチパネ

2 次元コードを用いたインタラクションは古くから取り組

ル上に置くことで，導電性パターンに対応したアプリケー

まれており，特に，端末内蔵カメラを用いて認識させるイ

ションを起動できる．カードに空けられた穴に沿ってタッ

ンタラクション手法は盛んに研究されている．Rekimoto らチする事により，操作を行うことができる．くるみる[9] は，は，CMOS や CCD 等の安価なカメラを利用して認識でき

複数導電部を持つ枠型の物理オブジェクトをディスプレイ

る 2 次元コード「CyberCode」と，それを利用した拡張現上で回し，操作に対応した表示を枠の中から見るインタフ

実環境を提案している[3]．CyberCode は，ID 認識ととも

ェースを提案している．池松ら[10] は，タッチパネル接触に 2 次元コードを貼り付けた実物体の 3 次元位置も計測時に得られる情報の一つとして指等の接触面積を利用し，することができ，マーカー上に 3D オブジェクトを表示さマルチタッチインタラクションの拡張を提案している．タせる事ができる．綾塚らは，コード内の可変部分を手や指ッチパネル上における複数本の指やタッチペン等の接触面で隠すことにより 2 次元コードを拡張した操作を行う

積を利用し，そこから指とペンの判別，接触状態や疑似押Active CyberCode を提案している[8]．AR マーカーを使っ

下圧力の推定を行うことで，アプリケーション中の入力をたアプリケーションを開発するためのソフトウェアライブ

切り替える事ができる．PUCs は，電気的に接続した 2 つ

ラリ「AR-ToolKit」を用いた研究も多く行われている．例のマーカーのうち，一方のマーカーのタッチ領域を接地点

えば，頭部に装着したヘッドマウントディスプレイを通しとして利用し，もう一方のマーカー直下にある電極の格子て，AR マーカーの上に重ねて表示される仮想オブジェク

点に静電容量の変化を与えることで，タッチパネル上でユトに対する操作を可能にしたり，遠隔ビデオ会議を支援すーザが非接触状態において継続的なウィジェットのトラッ

る研究が行われている[1][2]．

キングを可能とする．[13]．

既存の 2 次元コードは，カメラに対して一定の距離までマーカーを近づけると認識が困難になるという欠点がある．

© 2016 Information Processing Society of Japan73

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT009
2016/3/3

本研究では，マーカーがカメラに対して認識できない近い

3.2 実装距離にある場合，タッチパネルによって認識を補足する．

本研究では，CapacitiveMarker の認識を行う端末に iPad2

2.3 導電性インクを用いたプロトタイピングの支援を採用し，iOS で動作するアプリケーションをプログラミ

安価で素早いラピッドプロトタイピングを支援するために，

ング言語 Objective-C で開発する．

家庭用複合機と導電性インクを用いて導電性パターンを生

3.2.1 マーカーの構成成する手法が Kawahara らによって提案されている[7]．こマーカーのサイズは全体を 40mm × 40mm とした．前述

れにより，タッチパネル上でイベント検出が可能な電極パしたように，マーカーは 2 層構造であり，AR マーカーは

ターンの開発を容易に行うことができる[12]．本研究では，

通常のインクジェットプリンターで，静電マーカーはこの手法を用いて静電マーカーを制作し，大量かつ手軽に

Kawahara らの提案手法[7] を用いて，銀ナノインクを用い製作できるマーカーを提案する．

たインクジェットプリンターで出力する．AR マーカーは，

3. CapacitiveMarker

厚 さ 約 0.07mm の シ ー ル 紙 に ， 静 電 マ ー カ ー は 厚 さ 約0.13mm の透明プラスチックフィルムに印刷した．

本研究で提案する CapacitiveMarker の概要と，実装として

次に，静電マーカーの詳細について説明する．静電マーカ「マーカーの構成」，「静電マーカーの認識方法」，「2 次元ーは，タッチパネル上で検出可能な 4 点の円形導電部（以コードの認識方法」について述べ，応用例を紹介する．

下，タッチポイント）を中心に構成される．タッチポイン

3.1 提案

トは，マーカーの周辺部に直径 10.0mm の固定点を 3 点，

CapacitiveMarker は，2 次元コードを印刷したシール紙と，中央部に直径 8.0mm の可変点を 1 点配置し，それぞれを

導電性インクで特定のパターンを印刷したプラスチックフ

導電性の接続線（太さ 1.0mm）でつなぐ．これにより，ユィルムの 2 枚を重ね合わせた構造を持つ（図 3）．パターン

ーザがマーカーの周辺部を持ってタッチパネル上に置くと，作成の自由度と手軽さを重視して ARToolKit [a]準拠の 2 次

全てのタッチポイントにおいてタッチイベントが検出され

元コード（以下，AR マーカー）を採用する．導電性のパる．ここで，周辺部 3 点の固定点を認識することで，マーターン（以下，静電マーカー）は，周辺部に 3 点の固定点

カーの位置と向きを検出する．次に，固定点と可変点の相を，中央部に 1 点の可変点を設置する．固定点の位置はど対位置を元に，マーカーの ID を検出する．なお，固定点のマーカーでも変化しないが，可変点の位置はマーカーにの位置は AR マーカーの黒枠部分の 3 つの頂点に合わせてよって変動し，固定点からの相対位置の変化で ID 認識をいる（図 1 右）．また，可変点の位置は AR マーカーの内行う（図 1 右）．この静電マーカーを印刷したフィルムを枠に収まる範囲で変動させ，図 4 のように 9 つのパターン

AR マーカーが印刷されたシール紙で隠すように上から貼を作成した．

り合わせることで，見た目は通常の AR マーカーであるが，タッチパネル上での ID ／位置／向き等の認識を行う事ができる．CapacitiveMarker は，スマートフォンやタブレッ
トのようなカメラとタッチパネルが取り付けられた端末上で利用する．端末を机等に水平に置いた状態で，マーカーを端末から一定の高さに持ち上げると，端末カメラから
AR マーカーとして認識され，そこから垂直方向に下げてタッチパネルの上に置くと静電マーカーとして認識される．

図 4
Figure 4製作した 9 種類のマーカー
Examples of the CapacitiveMarker

3.2.2 静電マーカーの認識方法
静電マーカーの認識は，マーカー領域の認識と，ID 認識の 2 段階に大きく分けられる（図 5）．マーカー領域の認識は，一定の間隔で配置した周辺部の固定点 3 点を検出する．
まず，マーカーが接触すると各タッチポイントに対応して
図 3

CapacitiveMarker の階層構造．静電パターンの印刷面

4 つのタッチイベントが生成される．次に，これらの座標

がシール紙の粘着面と合わさるように重ねる．

間の直線距離を計算し，そのうち距離が最大となる 2 点を

Figure 3

The layered configuration of the CapacitiveMarkera http://www.hitl.washington.edu/artoolkit/© 2016 Information Processing Society of Japan

対角線上の固定点とする（図 6 の 1）．さらに，対角線上にある固定点 2 点からの距離が等しい１点を残りの固定点と74

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT009
2016/3/3

する．この時，距離が等しい座標が 2 つある場合は，距離が長い方を固定点とする（図 6 の 2）．以上の固定点 3 点を検出し，最初に静電マーカーの領域を認識する．ID 認
識は，4 点のうち残りの 1 点を中央の可変点として特定し，
2 つの固定点からの距離によって，マーカーの ID を判別する（図 6 の 3）．
マーカーの位置は，固定点 2 つ以上の座標から特定できる．
今回は，対角線上の固定点 2 点の座標から求めたマーカー

図 6の中心座標 (x, y) を，マーカーの位置とする．各タッチポ(1) まず，対角線上の固定点 2 点を検出．(2) 残りの固定

イントの座標は，マーカーがタッチパネルに接触した時（タ点 1 点を検出．(3) 可変点の相対位置を計測．

ッチイベント時）又は，接触した状態でタッチパネル上を

静電マーカーにおけるタッチポイントの認識順序

Figure 6

The detection procedures of the conductive patterns.

移動した時（ドラッグイベント時）に更新される．この際，プログラムで取得する各点の座標情報は不規則に並べ替えられてしまうため，イベント発生毎に固定点 3 点を再度検出し，特定し直す必要がある．そこで，直前に保存した固定点 3 点の座標と，新たに更新された 4 つの座標を比較し，固定点 3 点を推定する．すなわち，直前の各固定点の座標から最も近い座標の点をそれぞれ同一の固定点とする．これにより，マーカーの位置検出を安定化する（図 7）．また，

図 7

時系列上の複数の座標情報を用いる事により，前後左右のーカーの位置が変動した時に，直前の座標から最も近い座

静電マーカーの時系列による同一点の検出方法．マ

移動方向も検出する．
マーカーの回転角の計測は，回転角の大きな分類と，細か標の点をそれぞれ同一点とする．
Figure 7

The calibration method of conductive patterns.

な回転角の測定に分けられる．まず，マーカーの向きを
0 °，90 °，180 °，270 °の 4 種類に大きく分類する．
対角線上にない固定点と中央の可変点の位置関係からマー
カーの回転角は 4 種類に分類される（図 8）．回転角の分類
は，対角線上の固定点 2 点（図 9 の p1 と p2）を判別するために行う．次に，細かな回転角の測定を行う．対角線上の固定点 p1 と対角線上にない固定点 p3 の 2 つの座標から，

図 8

回転角を測定する．p3 を原点とし，p1 の座標から角度をに挟まれた固定点 1 と，中央の可変点の位置関係で判定．
Figure 8決定する（図 9）．

図 5

静電マーカーの回転角の大きな分類．2 つの固定点
Rough classification of rotation angle

静電マーカーの認識．マーカー領域の認識（図左）と ID の認識（図右）に分けられる．画面中の「Degree」の数値は，マーカーの回転角を示している．
Figure 5

The detection of the CapacitiveMarker.

図 9

静電マーカーの細かな回転角の計測．対角線上で対にならない固定点 p3 を原点とし，対角線上の固定点 p1 の座標から回転角度を求める．
Figure 9© 2016 Information Processing Society of Japan

Detailed calculation of rotation angle

75情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT009
2016/3/3

3.2.3 2 次元コードの認識方法

る．マーカーを浮かせた状態ではカメラによる認識を行い，

2 次元コードの認識は，metaio 社が提供している metaio

マーカーの ID ／位置／向き／カメラからの奥行きを検出

SDK[b]を利用する．Metaio SDK は，スマートフォンアプ

する．これにより，Google マップの移動／回転／拡大縮小

リに画像認識／重畳等の AR（Augmented Reality）用の機等の操作をすることができる（図 12）．さらに，マーカー能を追加できるライブラリである．さらに，AR マーカー

を端末に近づけてカメラからの奥行きが一定距離以下に小の自動生成，トラッキング設定ファイルの自動生成を行う

さくなった時は，俯瞰視点の操作を停止し，誤動作を軽減ため，専用アプリケーション metaio Creator を利用する．

するよう配慮した．

トラッキング設定ファイルは，端末に AR マーカーを登録

タッチパネルによる認識時は，静電マーカーの向きを検出するための，マーカー情報を保持したファイルである．上し，Google ストリートビューのパノラマ写真上で視線方向

記の metaio SDK と metaio Creator を使用する事により，端を 360°回転させる操作を行うことができる．マーカーを

末のカメラから AR マーカーを認識させる事ができる．マ

回転させると，パノラマ写真の風景も水平方向に回転し，ーカーの ID に加えて，カメラから見たマーカーの 3 次元

視線方向が変化する（図 13）．

座標や回転角，カメラからの奥行きを検出する事ができる

このように，本アプリケーションでは 1 つのマーカーの接（図 10）．位置の計測は，まずカメラを基点とした座標系

地状態に応じて直感的に 2 タイプの地図の操作を行うこで 3 次元座標を取得し，ディスプレイ幅のピクセル数に合とができる．

わせて，3 次元座標から 2 次元座標へ変換を行っている．
この時取得した 3 次元座標の z 軸成分をカメラからの奥行きとする．

図 11

視点の切り替えが可能な地図アプリケーション．

マーカーを浮かせた状態と接地させた状態で，Google マップと Google ストリートビューを切り替える．
Figure 11

図 10

Map application using the CapacitiveMarker

AR マーカーの認識．ID／位置／向きが検出される．

Figure 10

Detection of the AR marker: ID / position / direction

4. 応用
本章では，CapacitiveMaker の展開例として，地図アプリケーションへの適用，物理的なハードウェアの工夫，その他の応用可能性について示す．
4.1 視点切り替え機能付き地図アプリケーション
CapacitiveMarker を使った応用例の一つとして，マーカー
をタッチパネルから浮かせた状態と接地させた状態で視点を切り替える地図アプリケーションの実装を行った（図11）．ユーザがマーカーを端末から一定の高さに持ち上げると，俯瞰視点の Google マップを表示し，マーカーを下ろ
して端末表面に接地させると，地図上の接触部分の緯度／図 12

俯瞰視点モード．マーカーを浮かせた状態で水平／

垂直方向に移動させることで，地図を移動させる．
Figure 12

The control method of overhead view

経度に対応する場所を Google ストリートビューで表示すb http://www.metaio.com/products/sdk/© 2016 Information Processing Society of Japan76

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT009
2016/3/3

ーカーに立体形状のつまみを取り付ける（図 14, 15）．つまみは，CAD ソフトで設計した 3 次元モデルを 3D プリン
タから出力し，つまみ下部から持ち手までを銅テープで配線した上で，CapacitiveMarker の静電マーカー側とつまみ下部を密着させる．これにより，マーカーをつまんで持ち上げたり，回転させる動作が容易となる．この他にも，カードと一体化したり，日用品に張り付けたりといった，ア
プリケーションに合わせた様々な形状を検討する．
4.3 その他の応用例
本稿では，応用例として視点を切り替える地図アプリケー
ションを提案／実装したが，他に応用例の一つとして，マ
図 13

地上視点モード．静電マーカーを接地させた状態で，ーカーを浮かせた状態と接地させた状態で操作キャラクタ

マーカーの向きに応じて，Google ストリートビューの視線

ーを切り替えるゲームを検討している．例えば，見下ろし

方向が回転して変化する．

型のシューティングゲームにおいて，ユーザがマーカーを

Figure 13

The control method of street view.

タッチパネルに接触させている時は，地上視点で歩兵を操作し，マーカーを持ち上げている時は，空中視点で航空機を操作するような内容である．歩兵が航空支援を受けながら戦うような状況を想定し，両者を素早く切り替えながら操作できるよう工夫したい．

5. 実験と評価
図 14

立体形状のつまみ．左：底面，中央：俯瞰した面，

右：側面．底面に 2 次元コードを接着させていない状態．
Figure 14

Physical knob for the CapacitiveMarker

本章では，CapactiveMarker の基礎的な性能を評価する．
5.1 目的
本実験の目的は，「静電マーカーの認識精度」と，「AR マーカーの認識可能範囲」を明らかにする事である．まず，
静電マーカーの認識精度の評価は，タッチパネルに接地した時にマーカー領域が認識される確率と，マーカーの ID
が正しく識別される確率を調査する．AR マーカーの認識
可能範囲の測定は，マーカーを浮かせた時に端末内蔵カメラから認識が可能な空間を調査する．ここでは，端末に対して垂直方向の高さと，水平方向の縦軸，横軸の認識可能な最大距離をそれぞれ調査する．
5.2 手法CapacitiveMarker を取り付けた立体形状のつまみ．

本実験では，静電容量式タッチディスプレイとカメラが内

つまみ周囲の導電テープが静電マーカーの導電部に触れる

蔵されたタブレット端末（iPad2）を使用し，端末を机等のように接着させた．

上に水平に置いた状態にする．さらに，前章で紹介した立図 15

Figure 15

The CapacitiveMarker attached on the physicalknob.

体形状のつまみの底面に CapacitiveMarker を接着させ，つまみを持った状態でマーカーの操作を行う．これは，マーカーを直接手で持った状態で操作すると，AR マーカーの4.2 CapacitiveMarker の形状に関する検討面の一部が手指で隠れたり，タッチパネルにマーカーを接提案・実装の章で述べた通り，CapacitiveMarker は薄いシ

地させた時に手指が直接タッチパネルに触れて認識に影響

ール紙とプラスチックフィルムを重ね合わせた 2 次元コを与える可能性があるためであるードであるため，そのまま使用するとマーカーの端を直接

5.2.1 静電マーカー認識精度の評価手で持った状態で操作を行うことになる．このため，カメ

静電マーカーの評価実験では，マーカー領域の認識と ID

ラに対してマーカーの一部分が隠れたり，マーカーを端末

認識の精度評価を同時に行う．マーカーを接着させた立体に接地させるときに，マーカーを持った手指が直接タッチ

形状のつまみを指で挟み持ち上げた状態から，垂直方向にパネルに触れて，誤認識が起こる要因となり得る．そこで，下ろしてタッチパネルの表面に接地させる．この時のマー

CapacitiveMarker の物理的操作性を向上させるために，マカー領域認識の有無と，ID の誤認識の有無を調べる．な© 2016 Information Processing Society of Japan77

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT009
2016/3/3

お，マーカー領域のみ認識され，ID が認識されない場合あった．さらに，高さが約 60cm の状態で，端末の上端かは，ID の誤認識と見なす．実験では第 3 章で述べた仕様

ら約 30cm，下端から約 7cm，左右端から約 11cm 離れた位に基づく 5 種類のマーカー（図 16）を用意し，試行回数は置までマーカーが認識された（図 18）．

各マーカーにつき 20 回とする．

図 16
Figure 16

実験に使用する 5 種類の導電パターン
Conductive patterns used in the evaluation

図 17
Figure 17

静電マーカー認識精度評価の実験結果
Recognition accuracy of conductive markers

5.2.2 AR マーカー認識範囲の測定
AR マーカーの認識範囲の測定は，静電マーカーの実験手法と同様に CapacitiveMarker を接着させたつまみを持って測定を行う．まず，マーカーがカメラから認識される最大の高さを調べる．マーカーを端末から垂直方向に持ち上げ，カメラから認識されなくなる位置の直前で止め，端末表面からの高さを計測する．この時，マーカーが常時安定して認識されている事を確認する．
次に，端末の水平方向で認識可能な範囲を調べる．水平方
向では，端末上下の縦軸と左右の横軸で，端末の端から認識可能な最大距離をそれぞれ調べる．1 つ前の手順で計測した高さを保った状態で，端末水平方向の縦軸，又は横軸

図 18

AR マーカーの認識範囲の測定結果にマーカーを移動させ，マーカーが認識されなくなる位置

Figure 18

Detectable area of the AR markerの直前で止め，端末の端から距離を測定する．この時，マ5.4 考察ーカーが常時安定して認識されている事を確認する．

実験結果に基づき，CapacitiveMarker の性能を考察する．

5.3 結果5.4.1 静電マーカーの認識精度

本実験で行った「静電マーカー認識精度の評価」と「AR実験結果から，静電マーカーのマーカー領域の認識精度は

マーカー認識可能範囲の測定」の実験結果について述べる．

高く，安定していると考えられる．さらに，ID の認識成5.3.1 静電マーカー認識精度の評価

功率は 5 種類のマーカーで異なり，最も高いマーカーID 1

本実験では，5 種類のマーカーを用意し，マーカー領域との認識成功率と最も低いマーカーID 3 の認識成功率の差はID の認識成功率を調査した．実験結果を図 17 に示す．マ25%ある．最も認識率が低い（75%）マーカー3 のケース

ーカー領域の認識成功率は，全てのマーカーにおいて 100%

では，2 つの認識エラーが発生した．すなわち，異なる IDであった．ID の認識成功率は，最も高いマーカー1（図 17として誤認識される事と，一致する ID をシステムが検出の 1）が 100%となり，最も低いマーカー3（図 17 の 3）がしないケースである．

75%，全体の平均が 86%となった．また，静電マーカー認

前者は，静電マーカーの固定点がタッチパネル上の実際の識時の描画の処理時間について計測したところ，平均処理位置からずれた位置で検出されるために起こる．マーカー3

時間が約 0.019 秒であった（SD 0.040）．

が持つ中央の可変点は丁度マーカーの中央に位置している

5.3.2 AR マーカー認識範囲の測定が，固定点検出のずれにより，マーカー1 として ID が誤AR マーカーの認識可能範囲は，垂直方向の高さ距離が最認識される場合があった．

大約 60cm であった．また，高さ距離の最小はカメラから

後者は，システム側で ID を認識する際の閾値を狭く設定の水平距離によって差が生じ，画面の端末の上端，中央，

しているために起こると考えられる．前述のように，本シ下端でそれぞれの位置で約 8.5cm，約 22.5cm，約 38.5cm でステムでは ID を認識する際に，固定点と可変点の間の距© 2016 Information Processing Society of Japan78

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT009
2016/3/3

離を計測し，この数値に基づいて ID を判別している．したが，マーカーの種類を 5 つに限定した評価実験で，ID 認

かし，他のマーカーID との誤認識を防ぐために，判別の識成功率の全体平均が 86%であった．よって，まず 5 種類

基準となる閾値の範囲を狭くする事で，実際の値が正しいのマーカーの認識精度を向上させ，次第に認識率が安定す

ID に近い数値を示しても認識されないという事が起こる．

るマーカー数を増やしていく必要がある．ID の認識精度を

この閾値はマーカー毎に設定可能で有り，特にマーカー3向上させるにあたり，「ID を認識するアルゴリズムの改善」の場合は，可変点がマーカーの中央にあり，他のマーカーと，「静電マーカーの可変部の配置改善」の両面からアプロと誤認識されやすいため，閾値を他のマーカーより狭く設ーチして解決を目指す．さらに，静電マーカーにおける導定していた．今後は認識アルゴリズムの改善を中心とした電部の可変点を 1 点から 2 点に増やす事により，製作可能

認識精度の向上を目指す必要がある．

なマーカーの種類を増やす事も検討する．

5.4.2 AR マーカーの認識可能範囲

後者については，議論の中で前述した見下ろし型シューテ

AR マーカーの認識範囲は，垂直方向の認識可能な最大のィングゲームの他に，より実用性を考慮した応用例を検討

高さが約 60cm である．この事から，垂直方向の認識可能

し，浮遊操作と接触操作の組み合わせを活用できるアプリ

範囲は広く，マーカーの高さの変化を活かした応用例が考ケーションを構築しつつ，ユーザ評価を行っていきたい．

えられる．また，水平方向の縦軸で端末上端から認識可能な最大距離が約 30cm，下端からの認識可能な最大距離が謝辞

本研究は JSPS 科研費 25700019 の支援を受けた．

7cm で，その差が約 23cm ある．さらに高さ距離の最小は，カメラに最も近い端末の上端で約 8.5cm，カメラから離れ

参考文献

た下端で約 38.5cm で，約 30cm の差がある．この事から，

1) H. Kato and M. Billinghurst. Marker Tracking and HMD
Calibration for a video-based Augmented Reality Conferencing System.
In Proceedings of the IEEE and ACM IWAR'99, pp. 85-94, 1999
2) H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto and K. Tachibana.
Virtual Object Manipulation on a Table-Top AR Environment. In
Proceedings of the IEEE and ACM ISAR'00, pp. 111-119, 2000.
3) Jun Rekimoto and Yuji Ayatsuka. CyberCode: Designing
Augmented Reality Environments with Visual Tags. In Designing
Augmented Reality Environments (DARE'00), pp. 1-10, April 2000.
4) Jun Rekimoto. SmartSkin: an infrastructure for freehand
manipulation on interactive surfaces. In CHI'02, pp. 113-120, April
2002.
5) Malte Weiss, Julie Wagner, Yvonne Jansen, Roger Jennings, Ramsin
Khoshabeh, James D. Hollan and Jan Borchers. SLAP Widgets:
Bridging the Gap Between Virtual and Physical Controls on Tabletops.
In Proceedings of ACM CHI'09, pp. 481-490, April 2009.
6) Patrick Baudisch, Torsten Becker and Frederik Rudeck. Lumino:
Tangible Blocks for Tabletop Computers Based on Glass Fiber Bundles.
In Proceedings of ACM CHI'10, pp. 1165-1174, April 2010.
7) Y. Kawahara, S. Hodges, and B. S. Cook, and C. Zhang, and G.
D.Abowd. Instant Inkjet Circuits: Lab-based Inkjet Printing to Support
Rapid Prototyping of UbiComp Devices. In Proceedings of ACM
UbiComp'13, pp. 364-372, 2013.
8) 綾塚祐二, 暦本純一. Active CyberCode：直接操作できる二次元
コード. 日本ソフトウェア科学会 WISS2005 論文集, pp. 3-8, 2005.
9) 青木良輔, 宮下広夢, 井原雅行, 大野健彦, 千明裕, 小林稔, 鏡慎吾. くるみる：複数導電部をもつ枠型物理オブジェクトを用いたタブレット操作. 情報処理学会研究報告, HCI-144, pp. 1-8, 2011.
10) 池松香, 椎尾一郎. Multi-Press Interaction: 疑似押下圧力を用いたマルチタッチ技法. 情報処理学会インタラクション 2014 論
文集, pp. 401-404, 2014.
11) 加藤邦拓, 宮下芳明. 紙窓：そこに置くだけで操作可能なカードインタフェース. 日本ソフトウェア科学会 WISS2013 論文集,
pp. 163-164, 2013.
12) 加藤邦拓，宮下芳明． 導電性インク複合機を用いたマルチ
タッチパターン生成手法． 情報処理学会研究報告，pp.1-6，2014．
13) 中島康祐，伊藤雄一，Simon Voelker，Christian Thoresen，Kjell
Ivar Overgard，Jan Borchers． PUCs：静電容量方式マルチタッチパ
ネルにおけるユーザの接触を必要としないウィジェット検出手法．
情報処理学会インタラクション 2014 論文集，pp.108-113，2014．

縦軸においてカメラ側とその反対側で認識範囲に大きな差があり，マーカーがカメラと反対方向へ遠ざかる程（すなわち，端末下端の方向へ遠ざかる程），視野角から外れやす
いと考えられる．このように上下方向の操作可能範囲に対称性がないため，ユーザが違和感を感じる可能性がある．
今後は，こうした問題に配慮した操作方法を検討していきたい．

6. 結論と今後の展望
本研究では，カメラ／タッチパネルのどちらからも認識可
能な 2 次元コード「CapacitiveMarker」を提案し，従来のタッチパネルや 2 次元コードを用いたインタラクションの課題であった「認識空間の制約」の改善を試みた．
CapacitiveMarker は，AR マーカーを印刷したシール紙と導電性パターンを印刷したプラスチックフィルムを重ね合わせて製作した．カメラによる認識時は，画像認識を用いて AR マーカーの ID／3 次元位置／向きの検出を行い，タッチパネルによる認識時は，導電性のパターンに含まれる
3 点の固定タッチポイントと 1 点の可変タッチポイントから，タッチパネル上に置いたマーカーの ID／3 次元位置／向きの検出を行った．さらに，CapacitiveMarker を使った応用例の一つとして，マーカーの状態に応じてなめらかに視点を切り替える地図アプリケーションの実装を行うとともに，マーカーの背面に立体的なつまみを取り付けて，手に持つ時の物理的な操作性を向上させる事を試みた．さらに，静電マーカーの認識精度と AR マーカーの認識可能範囲を調査する基礎的な評価実験を行った．
今後は，「静電マーカーの ID 認識精度の向上」，および「応用アプリケーションの開発」を中心に行う．
前者については，現状では最大 9 種類のマーカーを製作し© 2016 Information Processing Society of Japan79