情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A16
2018/3/5

実世界型電子付箋のための ARKit を用いた
自己位置認識による紙付箋認識について
伊藤 栄俊†1,a)

大囿 忠親†1,b)

新谷 虎松†1,c)

概要：我々は，実世界型電子付箋システム Mahoca を開発している．Mahoca では，物理付箋と電子付箋の双方を用いた会議の支援を行っている．本稿では，Mahoca における物理付箋の電子化の際に，物理付箋の位置に電子付箋を自動で配置するシステムの開発を行った．本研究の特色は，付箋の位置合わせの際に，ARKit を利用した現実空間にもとづき行った．これにより，簡便な方法で現実空間と仮想空間の位置合わせを実現した．タッチパネル等のセンサーを含む特殊なディスプレイ上に投影された画面に対して行うわけではない．水平な机の上にプロジェクターで投影した画面の枠内に存在する物理付箋に対して，物理付箋の置かれた位置に変換された電子付箋を配置する．位置合わせの評価を行ったところ，水平方向に対して平均 0.9cm，垂直方向に平均 2.0cm ほどの誤差が生じる結果となった．よって，本手法により，物理付箋の置かれた位置に電子付箋を配置することが可能であることが示された．

On Sticky Note Extraction using World Tracking by ARKit for a
Reality-based e-Sticky Notes System
Ito Eishun†1,a)Ozono Tadachika†1,b)

Shintani Toramatsu†1,c)

Abstract: We are developing a reality-based e-sticky notes system, named Mahoca. Mahoca supports conferences using both physical notes and e-sticky notes. In this paper, we developed a system that automaticallyrecognizes e-sticky notes at the position of physical sticky notes when importing physical sticky notes into
Mahoca. The feature of this research was based on the real space using augmented reality technology at thetime of aligning the notes. As a result, the real space and the virtual space were aligned in a simple way.
We did not use a special purpose display based on specialized sensors. Our system can extract e-sticky notes
with absolute positions in the real world by using limited sights on a horizontal desk. When the alignment
was evaluated, an error of 0.9cm on the average in the horizontal direction and 2.0cm on the average inthe vertical direction resulted. Therefore, our method can arrange e-sticky notes at the position where thephysical sticky notes are placed.

1. はじめに箋のグループといった情報は，現在の会議の参考にするときに有益である．しかし，再利用を考えた場合，電子化さ会議を行う際に，付箋の紙を用いられることがある．ア

れた付箋の方が，過去の状態を保存，管理できる点で優れイディアを付箋に書き出し，ホワイトボードなどに貼りている．我々は実世界型電子付箋システム Mahoca?を開付ける．付箋は自由に記述，配置ができ，チーム内でアイ発した．Mahoca は，物理付箋を取り込み，電子付箋に変ディアを共有しやすいという利点がある．過去に行われた換したり，直接電子付箋を作成したりするシステムである．

会議における，紙の付箋の内容だけでなく，配置方法や付電子化された付箋情報をもとに関連情報の推薦などを実現†1a)b)
c)

している [2] [3]．
現在，名古屋工業大学
Presently with Nagoya Institute of Technology
ashun@toralabj.org
ozono@toralabj.org
tora@toralab.org© 2018 Information Processing Society of Japan

本研究で課題としているのが，物理付箋と電子付箋の境界をできるだけ小さくし，電子付箋も物理付箋と同じように扱えることである．物理付箋を電子化する際，物理付箋244

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A16
2018/3/5

をカメラで撮影し，付箋の情報を抽出する機構はこれまでプロジェクターに開発している．しかし，現実空間の座標系とシステム上の座標系が異なるため，物理付箋の置かれた位置に電子付箋を配置することができていなかった．そのため，電子化された付箋を取り込まれた後，再配置する必要がある．そ物理付箋

こで，本研究では，ARKit による現実空間と仮想空間の位スクリーン置合わせを行うことで，実世界型電子付箋システムにおける付箋抽出の際の位置合わせの問題の解決を行う．本研究で使用する付箋の大きさは，縦横ともに 7.5cm のものを使用する．故に，物理付箋を電子化した際に，電子付箋が物理付箋を重なる程度，つまり，水平方向および垂直方向の位置合わせの誤差が 7.5cm 以下になることを目的とする．
また，本研究において特筆すべき点として，提案手法では，タッチパネル等のセンサーを含む特殊なディスプレイ上にクライアント

投影された画面に対応した位置に付箋を置くのではなく，水平な机の上にプロジェクターで投影した画面の枠内に存
図 1

在する物理付箋に対して，物理付箋の置かれた位置に変換された電子付箋を配置する．

2. 実世界型電子付箋システム Mahoca
実世界型電子付箋システム Mahoca は，アイデアの再利

Mahoca を使用している様子

Fig. 1 Usecase of Mahoca.

電子付箋で他者の意見を確認し，議論をすることで会議を進行できる．

用のために電子付箋にアイデアを入力し，会議参加者間でクライアントでは，物理付箋を取り込むための付箋取り共有するためのシステムである．Mahoca では，会議参加込み機構が存在する．付箋取り込み機構では，スマート者が「スクリーン」と「クライアント」の二つのアプリケーフォンやタブレットで撮影された画像を元に付箋情報をションを利用することで，電子付箋を利用した会議を行抽出し，スクリーン上に投影することができる．付箋情報

う. 図 1 に Mahoca を使用している様子を示す．スクリーを取り込む際は，内容を抽出するために取り込みたい付箋ンは，公開された電子付箋を画面に表示し，会議参加者にのみが画面に写ることが望ましい．そのため，画像中に取共有するアプリケーションである．スクリーンでは，会議り込みたい付箋の周囲の状況が映らない．物理付箋がスクに対応する「ベースボード」と呼ばれる画面を全面に表示

リーン上のどの位置に置かれたのか把握するためには，取する．ベースボード上には会議参加者が公開した電子付箋り込んだ付箋がある基準点に対してどの位置に存在していが表示される．スクリーンは，水平な面に対してプロジェるのかを知らせなければならない．

クターで投影する状況を想定している．図 1 におけるスク

電子付箋を物理付箋の位置に自動で配置するためには，リーンでは，物理付箋と電子付箋の両方が置かれている．

物理付箋がスクリーン上のどの位置に置かれたのか推定

物理付箋と電子付箋の境界をできるだけ小さくし，同じよする必要がある．しかし，付箋の内容が読み取れる程度にうに扱えるようにすること目的としている．

カメラを近づけた場合，周囲の位置情報がカメラで捉えら

クライアントは，電子付箋を作成，または編集してベーれないため，スクリーン上のどこに物理付箋が置かれたのスボードに公開するために利用されるアプリケーションでか分からなくなってしまう．物理付箋の取り込みの際の課ある．クライアントは，各会議参加者が持つスマートフォ

題をまとめると，一つ目は現実空間に存在する付箋と投影ンやタブレット端末上で動作する．電子付箋には，付箋にされたスクリーンの認識することである．二つ目は，スク入力したテキストや手書きメモの他に，メタ情報としてテリーンが投影された平面を認識し，スクリーンを基準としキストのメモと任意の URL を入力して付加できる．また，た平面上の座標系を取得することである．三つ目は，現実物理付箋を電子化する際は，クライアントのカメラから物空間の座標系と Mahoca のスクリーン上の座標系，つまり理付箋の撮影を行い，撮影画像から付箋情報を抽出し，付ベースボードにおける位置とのキャリブレーションである．

箋の電子化を行う．

これらの課題を解決するために，本研究では ARKit を採

Mahoca では，会議参加者は，クライアントを利用して用した．拡張現実とは，現実空間の情報をもとにした仮想自分の意見を書いた電子付箋を作成する．作成した電子付空間に，三次元モデルなどの情報を付加することで現実空箋をスクリーンで表示したベースボード上に公開すること間の情報を拡張する技術である．本研究では，拡張現実ので，他の会議参加者に意見を共有する．ベースボード上の実現のために使われる平面検出をもとにした仮想三次元空© 2018 Information Processing Society of Japan245

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A16
2018/3/5間を用いて問題の解決を図る．本研究では，平面検出を行

Algorithm 1 A region extraction of an e-sticky note

い，現実の三次元空間を認識し，スクリーンや付箋の三次

1: plane = detectP lane()
2: result = hitT est(plane, touch.position)
3: point = result.position
4: if X0 ! = null then5:
if X1 ! = null then6:
if X2 ! = null then7:
if screen.isCollision(point) then8:
position = projection(screen, point)
9:
image = captureImage(camera)10:
post(image, position, screen)11:
end if12:else
13:
X2 = result.position
14:
screen = createScreen(X0 , X1 , X2 )15:
end if16:else
17:
X1 = result.position18:
end if
19: else
20:
X0 = result.position
21: end if

元情報を取得し，投影されたスクリーン上のどこに物理付箋が置かれたのかを検出する．3 節で詳細を述べる．

3. 紙付箋認識
紙付箋認識を行うために，本研究では，平面検出，衝突判定，平面領域の生成，電子付箋の作成，キャリブレーションの手順で処理を行うことにした．それぞれの処理について述べる．現実空間の認識のために，ARKit の一つである平面検出を利用する．カメラ映像をもとに平面検出を行い，鉛直方向を z 軸とした，右手座標系の三次元空間にもとづく，スクリーンの位置と付箋の位置の認識を行う．センサーデバイスには，スマートフォンやタブレット付属のカメラ利用する．水平な平面上にスクリーンが投影されている状況を想定する．プロジェクターを用いて，平面上に投影されたスクリーン画面の位置と大きさを取得する．平
面上に存在する領域を定義するために，ユーザの指定した平面との衝突判定により，取得した World 座標系における点を V2 ，とする．{X1 − X0 , X2 − X0 } からなる矩形と，3 点の三次元座標 {X0 , X1 , X2 } を用いる．ユーザはスマー{V1 − V0 , V2 − V0 } からなる矩形が相似になるとすると，電トフォンもしくはタブレットのカメラ画像に対してタッチ

子付箋の位置ベクトル Vc = (vcx , vcy ), は次のようになる．

された地点をもとに衝突判定は行う．X0 は基準点として用いる．スクリーンの縦方向の成分 ex と横方向の成分 eyは次の式の通りに定める．

X1 − X0|X1 − X0 |X2 − X0ey =|X2 − X0 |ex =|V1 − V0 | ′x
|X1 − X0 | cx|V2 − V0 | ′vcy =x|X2 − X0 | cyvcx =物理付箋の横幅と縦幅をそれぞれ wr , hr とすると，電子付
箋の横幅と縦幅 wv , hv は次の式のとおりに定まる．

まっているならば，付箋の抽出と配置を行う．まず，付箋|V1 − V0 |widthr
|X1 − X0 ||V2 − V0 |heightrheightv =|X2 − X0 |の位置が定義した領域内であるか衝突判定を行う．付箋がAlgorithm 1 に紙付箋認識のアルゴリズムを示す．ま領域内である時，スクリーン上の指定位置に電子化した付ず，detectPlane 関数により平面を検出する．検出した平箋を配置する処理を行う．付箋の位置は，スクリーン領域面をもとに，ユーザの指定した位置との hitTest で衝突判の各成分 ex と ey に対する値から決める．ex と ey はそれ定を行い，現実空間上における座標を取得する．取得したぞれ単位ベクトルであるため，付箋のスクリーン領域の基座標を順に，X0 , X1 , X2 に代入していく．X2 が代入され現実空間上における，スクリーン上の付箋の位置の取得について述べる．スクリーンが投影されている領域が定準点に対する相対的な位置ベクトル Xc′ = (x′cx , x′cy ) は次

widthv =た段階でスクリーンを示す領域を生成する．領域が生成さの式の通りとなる．ただし，World 座標系における付箋のれたら，衝突判定を行う．領域内に付箋が置かれ選択され位置ベクトルを Xc とする．

た時，付箋の画像を撮影し，サーバに位置情報と，位置情x′cx = Xc · exx′cy = Xc · ey
キャリブレーションについて述べる．現実空間の座標系

報を現実空間のスクリーンのデータとともに post にて送信する．

4. システム構成と，スクリーン上での座標系は異なるため，キャリブレー

図 2 にシステム構成図を示す．本システムは，クライアションを行う必要がある．本研究では，以下の環境に限定ント，サーバ，スクリーンから構成される．クライアントした条件のもとにキャリブレーションを行う．ここで，スでは，スマートフォンやタブレットを用いて，付箋の位置クリーンの領域を矩形と仮定する．付箋が正面見える方向情報と画像を取得する．本研究で想定しているクライアンに対して，左上の頂点を V0 ，右上の頂点を V1 ，左上の頂トの端末は iPad である．紙付箋認識，及び付箋を含む画© 2018 Information Processing Society of Japan246

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A16
2018/3/5

サーバ

付箋抽出機構

データベース

電子付箋生成機構

基準点
位置情報
付箋画像

26cm

電子付箋

クライアント

12cm

スクリーン

プロジェクター図 2

システム構成図Fig. 2 System configuration.
図 3

紙付箋認識の様子．左上の図がスクリーン上の物理付箋をタブレットで撮影している様子．右下の図が，タブレットの画面像の撮影はクライアントで行う．取得した情報は，サーバの拡大図．左下の図が，物理付箋の置かれた位置を定規で測定に送られ，画像情報から矩形を検出し付箋部分のみを抽した様子．

出する．付箋の位置情報と抽出された画像データは，付箋Fig. 3 A region extraction of an e-sticky note: The figure on

データとしてデータベースに送られ記録される．付箋デー

the upper left shows a tablet shooting a physical sticky

タをもとに，電子付箋作成機構で電子化を行う．電子化をnote on the screen. The figure on the bottom right is

行う際に，現実空間に投影されているスクリーンの大きさとシステム上の大きさをもとに，電子付箋のキャリブレー

an enlarged view of the screen of the tablet. The figurein the lower left shows the position where the physicalsticky notes is placed measured with a ruler.

ションを行う．キャリブレーションされた電子付箋は，スクリーンに送られ，プロジェクターから投影される．

vertical はスクリーンに対して垂直方向，縦方向を表す．表

図 3 に紙付箋認識の実行例を示す．左上の図がスクリー

1 より，horizontal 方向のズレの平均値は 0.9cm，verticalン上の物理付箋をタブレットで撮影している様子である．

方向のズレの平均値は，2.0cm であった．スクリーンの横右下の図が，タブレットの画面の拡大図．左下の図が，物幅が 67.0cm，縦幅が 41.5cm であってので，誤差は，水平理付箋の置かれた位置を定規で測定した様子を示してい方向に 1.4%，垂直方向に 4.8% と言う結果になった．これる．左上の図に示されているように，実行例では，基準点は，本手法により，物理付箋の置かれた位置に電子付箋をから物理付箋までの距離を推定している．図 3 では，本手配置することが可能であることが示された．また，基準点法により紙付箋認識を行い，付箋の位置推定を行ったとこに近い物理付箋はほど正しい位置を推定することができた．

ろ，右下の図に示されているように，基準点から水平方向評価実験より，horizontal 方向，vertical 方向ともにズレに 26cm，垂直方向に 12cm の位置に配置されていることが生じることが確認された．これは，基準点や付箋の位置が示された．左下の図に示されているように，基準点からを選択する際に，ユーザの指定した位置に誤差があること定規で測定したところ，基準点から水平方向に 26cm の位が原因であると考えられる．基準点をユーザに指定しても置に物理付箋があることが確認された．

らう際に，指定位置をタッチすることによって座標点の指5. 評価と考察定を行っている．タッチの際に ±0.5cm 程度の誤差が生じていることが推測される．水平方向の指定，垂直方向の指提案手法の妥当性を示すために，紙付箋認識に関する定，それぞれも同様にタッチした座標点で指定しているた評価実験を行った．評価実験では，物理付箋を置いた位め，同様に誤差が生じることが推測される．これにより，置と，作成された電子付箋の位置との誤差を測定した．

最大で 1.0cm 程度の誤差が生じる．また，付箋の位置の推60 回付箋の取り込み操作を行い，その平均値と分散値を定の際，撮影画面上の物理付箋の左上をユーザにタッチし評価した．単位は cm である．実行環境は，クライアンてもらう仕様となっている．その時にも，タッチによる誤トでは iPad Pro，iOS 11.2 を使用している．プロジェク差が生じている可能性がある．改善策として，画像処理に

ターは RICOH PJ WX4152，スクリーンは Google Chrome

よるイメージ画像からの付箋領域の位置情報の推定があげVersion 63.0.3239.84 を使用した．表 1 に結果をまとめる．

られる．現在，イメージ画像から付箋の領域を抽出する処

horizontal はスクリーンに対して水平方向，横方向を表し，理はサーバで行っているが，これを付箋の位置情報が決ま© 2018 Information Processing Society of Japan247

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

表 11A162018/3/5

物理付箋を電子化した際の位置ズレの平均値と分散

Table 1 Average value and variance of positional shift when
digitizing physical sticky notes

垂直方向に平均 2.0cm ほどの誤差が生じる結果となった．
よって，本手法により，物理付箋の置かれた位置に電子付箋を配置することが可能であることが示された．また特筆

horizontal

vertiacal

すべき点として，タッチパネル等のセンサーを含む特殊なaverage[cm]0.9(1.4%)

2.0(4.8%)

ディスプレイ上に投影された画面に対応した位置に付箋をvariance[cm]

0.9

2.7

置くのではなく，水平な机の上にプロジェクターで投影した画面の枠内に存在する物理付箋に対して，物理付箋の置る際に利用することで，タッチによる誤差の問題は解決さかれた位置に変換された電子付箋を配置した．今後の課題

れる．

として，鉛直方向に対する平面検出が可能となった時に，もう 1 つ誤差が生じる原因として，現実空間を想定した三次元仮想空間の精度の問題がある．例えば，実験を行う中で，基準点の位置ずれが生じた．基準点や付箋の位置は，現実空間を想定した仮想空間上で把握されている．現実空

液晶ディスプレイなどに投影したスクリーンで同様に位置合わせを行った場合の結果と比較したい．
謝辞

本 研 究 の 一 部 は JSPS 科 研 費 JP15K00422，JP16K00420 の助成を受けたものです．

間と仮想空間と位置合わせは，スマートフォン，タブレッ
トのセンサー情報に依存している．そのため，端末の急激参考文献

な移動や向けの変更，カメラを付箋に近づけすぎたことに[1]よる周囲の位置情報の欠落により，座標系のズレが生じてしまう．付箋の抽出を行う際は，物理付箋にカメラを近づけるため，座標系のズレが生じやすい．そのため，長時間に渡り連続して付箋抽出を続けると，位置ずれの問題が発[2]生しやすくなる．クライアント上で想定している三次元空間が，現実空間と生じている誤差がある場合，紙付箋認識の際に位置情報のズレとして現れることは十分にあり得る．

horizontal 方向に比べ，vertical 方向の方が位置合わせ[3]

大囿忠親，丹羽佑輔，藤江翔太郎，渡邊正人，鈴木智也，
伊藤栄俊，岩田 知，新谷虎松：Mahoca: 議論事例の再利用を可能にする実世界型電子付箋システム，平成 27 年度
電気情報通信学会 人工知能と知識処理研究会，Vol.116,
No.350, pp.33-38 (2016).
鈴木智也，大囿忠親，新谷虎松: 実世界型電子付箋システ
ムにおける連想支援のための関連情報提示機構について，
インタラクション 2017，pp.388–392，(2017)．
伊藤栄俊，鈴木智也，丹羽佑輔，大囿忠親，新谷虎松: ブ
レインストーミング事例の再利用のための関連情報推薦機構の試作，2017 年度人工知能学会全国大会（第 31 回）
講演論文集，Vol.31，pp.1–4，(2017)．の際の誤差が大きい結果となった．これは，vertical 方向の縮尺が最適ではないということを示している．原因として，スクリーンを投影しているプロジェクターにあると考えられる．プロジェクターが垂直な平面に対して投影しているため，台形補正を加えて画面を投影している．そのため，垂直方向の長さが，スクリーンの画面設定と異なっている可能背が高い．プロジェクターの他に，平面に対して水平なディスプレイで実験できる環境がなく，また，壁などの鉛直方向に対する検出は行えなかったため，確認することが出来なかった．今後の課題として，鉛直方向に対する平面検出が可能となった時に，液晶ディスプレイなどに投影したスクリーンで同様に位置合わせを行った場合の結果と比較したい．

6. おわりに
本稿では，ARKit による現実空間と仮想空間の位置合わせを行うことで，実世界型電子付箋システムにおける付箋抽出の際の位置合わせの問題の解決を行なった．平面検出を行い，現実空間にもとづく座標系を生成し，電子付箋が投影されているスクリーンの位置と物理付箋の位置を取得し，検出を行った．取得した付箋情報とスクリーンの座標系のキャリブレーションを行い，物理付箋の置かれた位置に電子付箋を自動で配置することに成功した．位置合わせの評価を行ったところ，水平方向に対して平均 0.9cm，© 2018 Information Processing Society of Japan248