AR 白板：実空間情報のコピー＆ペースト機能による拡張ホワイトボードの提案
塚田裕太†

牛田啓太‡

鶴見智‡

本稿では，ホワイトボードでの作業，特に板書作業を拡張する「AR ホワイトボード」を提案する．
コンピュータ操作に基づいたものでなく，従来の作業形態を拡張する方針でインタフェースを設計した．AR ホワイトボードの機能として，拡張現実感のアプローチによって，ホワイトボードにペンで書かれた「実空間情報のコピー＆ペースト」を実装した．磁石とイレイサーを用いたインタフェースで，磁石の貼り付けによって囲んだ領域のコピー，磁石での紙の張り付けを模した動作でペーストが行える．また，イレイサーは，コピーした情報を削除・整理することができる．本稿では，
AR ホワイトボードの提案，試作システムの実装と考察について報告する．

AR White Board: Propose of an Augmented White Board System witha Copy and Paste Function of Information in the Real WorldYUTA TSUKADA†

KEITA USHIDA‡SATOSHI TSURUMI‡In this paper the authors propose AR white board which extends work with a white board. Its interface isbased on usage of traditional white boards, not of computers. AR white board implements a copy and paste
function of information in the real world, i.e. information written on the white board. Magnets and eraser areused as interface devices to access the enhanced function. Indicating the region by putting magnets on thewhite board triggers the copy function. Copied information is pasted by putting magnets on the white board by
the similar way of tacking a poster on it. And, the eraser is used to delete and arrange the copied information. In
this paper the authors report on the concept and the prototype system of AR white board.

1.

表示など，コンピュータの操作に基づいているものがはじめに多い．

学校での授業やオフィスでの会議の場面で，黒板やここで，筆者らは，板書を中心とした従来形態の授ホワイトボードによる板書が行われている．近年では，業，ホワイトボードに縦横無尽に書き込みを行うブレ黒板（ホワイトボード）の機能を持つ電子機器である

インストーミング会議といった，板書を中心とした，電子黒板（インタラクティブホワイトボード）が登場

これまでの黒板・ホワイトボードの利用形態を拡張すし，授業や会議に導入しようという動きもみられる．

ることに着目した．すなわち，従来の，手書きで板書

電子黒板登場の背景には，大型タッチスクリーンの登する黒板・ホワイトボードという装置を拡張し，そこ場，プロジェクタの低廉化といったディジタル技術のに書かれた情報にディジタルな性質を与え，自然なイ発展があり，それが授業や会議のありかたを変えようンタフェースで活用しようというものである．
実装には，拡張現実感（Augmented Reality：AR）としている．
電子黒板は，用意したコンテンツを表示したり，書のアプローチを用いた．黒板・ホワイトボードが元来画カメラと連携させたりした上で，その上に重ねるよ持つ機能はそのままに，板書情報がコンピュータに読うに板書を行うスタイルで利用されるものが多い．こみ込まれ，ディジタル化され，そして板書面に融合さこで，板書機能は電子黒板のいわば副次的な機能であれる．ディジタル情報を扱うインタフェースデバイス

り，そのインタフェースも，（コンテンツの提示などの役割は，磁石や黒板消し（イレイサー）といった黒も含めて）アイコンの選択による機能の切換や写真の板・ホワイトボードに付随する道具に付加されている．
ユーザは普段どおりの方法で，チョークまたはペンで† 群馬工業高等専門学校

専攻科

Advanced Engineering Course of Gunma National College ofと同じようにディジタル情報を扱う．本稿では，実装

Technology‡ 群馬工業高等専門学校

電子情報工学科

Dept. Information and Computer Engineering, Gunma National
College of Technology

板書し，磁石・黒板消しで，紙を張り，板書を消すのにプロジェクタカメラシステムを用いた．
提案する，拡張された黒板・ホワイトボードが備え情報処理学会 インタラクション 2011

る機能として，「コピー＆ペースト機能」を選んだ．

タは，カメラで撮影され，保持された板書内容を，ユ

黒板・ホワイトボードに書かれた，実世界の情報であーザの要求するタイミングでホワイトボードに投影する板書内容を，ディジタル化して取り込み，板書面にる（図 1）．これにより，コピー＆ペーストが実現さ再現させる．そのためのインタフェースデバイスとしれる．これらの機能へのインタフェースデバイスとして磁石を使用し，「ホワイトボードに磁石で紙を張て，磁石とイレイサーを使用する．磁石はその配置にる」かのようにこの操作を行えるようにした．

よって作られる領域にコピー・ペーストを実行するた

以降，本稿では，この拡張ホワイトボードの機能と実装，および動作の様子について報告する．

2.

めに，イレイサーはコピーされた情報を削除・整理するのに用いる．

関連研究コンピュータを使って机・黒板などの作業空間およびそこでの作業を拡張する研究には，さまざまなアプローチのものがある．
小池らが提案する EnhancedDesk [1]では，机に投影された印刷物を，手や指を使って直接操作することができる．暦本の InfoRoom [2]では，カタログのような非電子物体の情報を，ディジタル情報に変換して取り出すことができる．また，酒井らのガリバー[3]では，
図1

専用のペン型デバイスを使い，板書内容を再利用するAR 白板のプロトタイプシステム

電子黒板システムを提案している．細谷らが提案する実装システムは図 2 のように，一般のホワイトボー

ミラーインタフェース[4]は，鏡像画像を使い，ユードと，カメラ（USB 接続のウェブカメラでよい）・プザがそこに映る実物体を指さししてその実物体を操作

ロ ジ ェ ク タ が 接 続 さ れ た PC （ 実 装 シ ス テ ム で はする統一的なインタフェースを実現する．

Windows 機を使用）からなる．また，マーカとしてこれらの研究では，ディジタル情報の扱いに係るイも機能する磁石・イレイサーを用いている．

ンタフェースは，コンピュータで用いられるそれと同じか，それに対応する実作業（たとえばジェスチャ）に読み替えたものである．したがって，これらの操作体系はコンピュータを中心に構築されていると考えることができる．すなわち，わたしたちが普段使っている机・黒板その他の装置を，コンピュータの操作体系のもとで捉え直すことが，これらの研究例を含む機器を扱うにあたっての障壁となっている一面がある．
一方で，筆者らは，元々ある黒板・ホワイトボードの作業環境とその作業方法を前提とし，これにディジタル機能を追加する．ユーザは，従来のチョーク・ペンを使った手書きの板書に加え，黒板・ホワイトボードに付加されたディジタル機能を直感的なインタフェースを通じて利用できる．

3.

システム

本稿では，一般的なホワイトボードを，板書した内容のコピー＆ペースト機能を備えるものに拡張した．
実装システムは，前述のようにプロジェクタカメラシステムである．カメラは，ホワイトボードの板書面を撮影して，その内容を保持するために用いるとともに，後述のようにマーカ検出にも用いる．プロジェク

図2

3.1

実装システムプロジェクタとカメラの役割

カメラはホワイトボード面を撮影するように設置し，その撮影範囲をプロジェクタの投影範囲と一致させておく．このカメラは後述する実物体マーカ（磁石など）の色をコンピュータビジョンによって検出し，マーカのホワイトボード上の貼り付け位置を取得する．
それと同時に，このカメラは板書内容も撮影している
ので，スキャナなどの読み取り装置をホワイトボード

AR 白板：実空間情報のコピー＆ペースト機能による拡張ホワイトボードの提案に取り付ける必要はない．
プロジェクタでは，コピーして保持しておいた過去の板書内容を，ホワイトボードに重ねて投影する．ユーザは，一度消してしまった板書内容を再利用したい役割を担っている．

拡張ホワイトボードとその使用手順

4.

本節では，実装システムとその動作手順について説

とき，板書内容を移動させたいときなどに，その部分明する．

をコピーしておけば，ペーストして表示させることが4.1稼働準備でき，再度書き直す必要がなくなる．また，あらかじ実装システムでは，プロジェクタカメラシステムをめ図や写真を PC に用意しておけば，これを張り付け用いるため，起動時にカメラキャリブレーションを行ることができる．

う．起動時のシステムの指示に従い，プロジェクタの

3.2

実物体マーカ

投影領域の四隅に磁石を貼ればよい．

前述のように，実装システムでは磁石とイレイサー

また，表示させておきたいディジタル画像がある場を使用する（図 3）．これらは本来の機能も持つとと合，事前に PC にデータを用意しておくと，その画像もに，カラーマーカとして機能する．

を読み取って，板書内容をコピーしたものと同様にペーストすることができる．
実空間情報のコピー

4.2

実空間情報のコピーは，ユーザがホワイトボードに貼り付ける 2 つの磁石が作る矩形領域に対して行う．
図 4 のように，同色の 2 つの磁石を，コピーして取り込みたい矩形領域に対して，その左上と右下の 2 頂点に貼り付ける．その領域の枠が表示される．磁石によってコピー領域が確定されると，「COPY」とメッセージが投影され，コピー処理が完了する．コピーされた領域は，サムネイルとしてホワイトボードの上部
図3

実物体マーカ（磁石とイレイサー）

コピーとして画像を取り込む領域と，ペーストとして画像を投影する範囲は，ユーザがホワイトボードににリストされていく．これでコピーの結果を確認できるとともに，これを通じてペースト操作を行うことになる．

貼り付ける磁石の位置によって指定される．磁石は，一般に入手できるものを使用した．
磁石は，同色のものを 3 つ 1 組で使用する．コピー＆ペーストは，同じ色の磁石の組み合わせで矩形領域をつくることによって行う．磁石の色ごとの機能の区別はなく，同じ組み合わせの磁石ならばどの色でも同じように機能する．
一方で，カラーマーカとして検出されない色の磁石も使用することができる．これは，通常のホワイトボードの場合と同じく，実際に紙を張ったりするのに使図4用できる．
同様に，実物のホワイトボード用品のイレイサーは，4.3磁石で矩形を作って板書面の情報をコピー

実空間への情報のペースト

誤ってコピーした画像を削除するツールとして機能すペースト機能には，同色の磁石を 3 つ用いる．コピる．このイレイサーも，磁石と同様にカラーマーカとーの際に作られたサムネイルの上に，磁石を 1 つ重ねして機能し，その色で磁石と区別している．なお，こることでペーストする画像を選択する．サムネイルをのイレイサーで，実際に板書した内容を消去すること選択したら，残り 2 つの磁石をホワイトボードに紙をもできる．

張ることを模した動作，すなわち左上と右上の 2 頂点

こういった実物体を用いたインタフェースは，ユーに貼り付ける．すると，サムネイルの画像が矩形領域ザに従来の板書作業と同様の操作感・使用感を提供し，に表示される．また，2 つ磁石を動かすと，その位置拡張された機能を従来の板書作業の延長に位置づけるに応じてリアルタイムにペースト画像の位置・縮尺を

情報処理学会 インタラクション 2011

変えることができる（図 5）．

プローチによるものであり，かつ，それらをシームレスにつなぐインタフェースシステムを構成している．

5.

まとめと今後の課題

本稿では，一般的なホワイトボードを AR のアプローチで拡張し，実空間の情報をコピー＆ペーストできる AR ホワイトボードシステムを提案した．実装には，プロジェクタカメラシステムを用いた．また，システ
ムのインタフェースには，「磁石でホワイトボードに紙を張る」や「書かれたものをイレイサーで消す」といった実作業の動作を取り入れ，実世界からのアプロ
図5

磁石で紙を張るようにコピーした情報をペースト

4.4

コピーされた情報の削除・整理

ーチでホワイトボードに付加されたディジタル機能を扱えるようにした．これらにより，新しい作業形態やコピーした板書内容が不要になったとき，また，誤コンピュータの操作体系を導入するのではなく，従来った部分をコピーしてしまった際には，イレイサーをの作業形態を延長した操作による「ディジタル機能を使ってサムネイルを消去することにより，画像を削除持つホワイトボード」が実現した．

できる．実装システムでは民生品の黄色いホワイトボード用イレイサーを認識している．

今後は一層の実作業とディジタル機能の自然な融合を図り，ペーストした過去の板書内容と現在板書したサムネイルが表示されている部分をイレイサーでこ内容をより自然に溶け込ませていく．また，磁石やイすると，サムネイルが「消去」されていく．サムネイ

レイサーのインタフェースの使いやすさの向上も行っルが一定の割合以上が消されると，その画像が破棄さていく．そして，システムの実証実験を行い，実際のれ，サムネイルが表示されなくなる（図 6）．

授業やゼミなどでの有効性を検討する．また，提案システムの枠組みを用いた他のアプリケーションも検討したい．

参

図6

4.5

イレイサーによるサムネイルの削除

考察

実装システムでは，ユーザはディジタル機器，特にコンピュータの操作を意識せずに，カメラキャリブレーション，板書，コピー＆ペースト，表示する情報の管理を行うことができる．板書作業は従来と同じであり，拡張機能も従来の板書作業の延長のような操作で使用できる．
本システムが行う実空間情報のコピー＆ペーストは，ディジタル世界と実世界とが混ざり合う作業空間を実現する．フィジカルな状態で存在する板書情報は，カメラでディジタルなデータとして PC に取り込まれ，プロジェクタによって，画像というディジタルな形態を維持しながら実空間に登場する．これは，AR のア考文献

1) 小池英樹，小林貴訓，佐藤洋一： 机型実世界指向システムにおける紙と電子情報の統合および手指による実時間インタラクションの実現 ，情報処理学会論文誌，Vol. 42，No. 3，pp. 577–585（2001）
2) 暦本純一： InfoRoom 実世界に拡張された直接操作環境 ，インタラクション 2000，pp. 9–16
（2000）
3) 酒井慎司，三末和夫，田中二郎： ガリバー：板
書内容の再利用環境 ，第 5 回知識創造シンポジ
ウム，pp. 119–126（2008）4) 細谷英一，北端美紀，佐藤秀則，原田育夫，野島久雄，森澤文晴，武藤伸一郎： 実世界インタ
ラクションのためのミラーインタフェース ，インタラクション 2003，pp. 95–96（2003）