WISS2006

壁型ディスプレイを用いた非接触対話型電子広告システム
A Vision-based Non-contact Interactive Advertisement with a Display Wall

深澤 哲生

福地 健太郎

小池 英樹∗

Summary. We developed an advertising system that enables users to interact with advertisements ona large display wall without any physical contact. The system recognizes positions of bodies or handsof users in front of the display by stereo cameras. The recognition of body tracking uses the depth
information from the camera, and the recognition of user’s hand uses background subtraction at a partof the image. The system recognizes a distance between a user and the display as the user’s interests inthe advertisement, and changes two display modes according to the distance. One of the modes showsadvertisements as many as possible to attract interests of passers-by. The other allows a user to interact
with the advertisement on the display by recognizing a gesture of the user. User can get information
temporarily with touching gesture, and user can select the interested advertisement with peeping gesture.
In our advertising system, user can get the information from this system by using QR-code.

1

はじめに

広告は企業の宣伝やアピールの為には欠かせない物である．広告主は自分達のメッセージを効果的に消費者に届ける為，様々な方法で広告を見せようとしている．近年では，壁型ディスプレイに投影された電子広告が増えてきている．しかし，電子広告は画像を切り替えたり，動画を流し続ける等，情報を一方的に提示するだけで，人と対話するような物は殆ど無い．これでは，紙を媒体とした看板やポスターとあまり変わらず、電子的である利点が生かせていない．また，このようなディスプレイにおける対話手法としてタッチパネル等の技術が知られているが，画面に接触しなければならないという欠点がある．
また，従来のディスプレイとの対話手法として，特別なマーカーや装置を体に身に付ける事で人の体や手の位置等を認識し，それらの位置をコンピュータへの入力とする研究が行われている．しかし，このような手法ではユーザにあらかじめ装置を身に付けさせなければいけないという煩わしさがあるといった問題点が挙げられる．
そこで本研究では，特別な装置をユーザに身に付けさせる事なく画像認識技術を用いて，人物の体や手の位置を認識する事により，ユーザがディスプレイの前で，ジェスチャーを用いて表示されている広告を操作する事ができ，ユーザの興味に応じて広告の情報を提示するインタラクティブな広告システムを構築する．本システムの特徴は，ユーザの体で情報を操作する事ができ，ユーザとディスプレイとの∗Copyright is held by the author(s).
Tetsuo Fukasawa, Kentaro Fukuchi and Hideki Koike
電気通信大学大学院 情報システム学研究科 情報システム運用学専攻

距離で提示手法を変える等，人物の体の位置で様々な対話ができる点が挙げられる．また，携帯電話を用いてシステムから情報を取得する事が可能である．
人物の体や手の認識は，環境光にあまり左右されないようにシンプルな処理となっている．

2

関連研究

JR 東日本は，Suica と駅ポスターを連動させた
Suica ポスター SuiP o を開発した [3]．これは，Suicaやモバイル Suica でポスターの横にあるリーダーにタッチすると，クーポンやキャンペーン情報を登録したメールアドレスに送信するというものである．
携帯電話のメールで情報を受けとれるという点から，いつでもどこでも情報を見れるという利点がある．
しかし，SuiP o はカードをかざす等の行為は，ポスターの横にあるリーダで行うので，ポスターの貼ってある空間を有効利用していないように思われる．
また，情報を選択できないという事から，欲しい情WISS 2006

報を取得できないといった点も挙げられる．我々のシステムでは，広告の表示されている空間でユーザがインタラクティブに情報を操作でき，興味のある情報だけをシステムから取得する事ができる．
Vogel らは，公共の場における大きな壁型ディスプレイとの対話手法として，公向けの概要的な情報から個人向けの詳細な情報までをユーザの行動に応じて適切に提供する為，いくつかの情報提示の段階を設定し，またそれらの切り替えをスムースに行えるような状態の遷移手法をまとめた [4]．情報提示の段階は，眺める事で無意識的に情報を得る事ができる Ambient display phase，側を通る人が概略的な情報を得る事ができる Inplicit interaction phase,興味を示した人により詳細な情報を提供する subtle
interaction と更に詳細な情報が必要なユーザには個人に特化した情報を提供する Personal interaction
phase がある．これらの段階をユーザとディスプレイとの距離や顔や体の方向等を判断して適切に切り替えている．
しかし，彼らの開発したプロトタイプシステムでは，特殊な装置を身に付ける事により体の位置や方向を得る事で，これらの手法を実現している．我々のシステムは，Daniel らの提唱した提示手法を踏まえ，特殊な装置を身に付ける事なくディスプレイと対話できる設計となっている．

3

システムの設計理念

本研究では，ユーザが壁型ディスプレイに表示された広告と対話する事により，情報を効果的に閲覧・操作できるシステムを構築する．

3.1

問題点

上記のようなシステムを実現する為には次のような問題点が挙げられる．タッチパネルの技術では，巨大なディスプレイと対話しようとしても，画面に接触しなければならない．巨大なディスプレイの場
合，接触する為に画面に近づくと，ディスプレイの全体を見渡せなくなり，更に手が届かない場所が出てくる等，様々な問題点が挙げられる．
また，このようなディスプレイと非接触で対話する手法として，体や手に特殊な装置を身に付ける事によって，それらの位置を画面への入力として用いる研究がなされている．しかし，我々は公共の場でのシステムを想定しているので，ユーザ（通行人）に特殊な装置を身に付けさせたり，あらかじめ知っていないと出来ない様な複雑なジェスチャーを行わせる事は期待できない．

3.2

システムデザイン

そこで，覗き込むような動作や手をかざす等の普段人間が行うような簡単なジェスチャーを認識する事で，ユーザがこのシステムについて知識が無くて図 1. システム構成も，直感的に広告と非接触で対話できるシステムを構築する．本システムでは，ユーザとディスプレイとの距離を広告への興味の度合いとし，距離が近ければ広告に興味があり，距離が遠ければ興味が余りないものとする．
このようなシステムを実現する為に，人物の体や手の位置を認識する必要がある．我々は、画像認識技術を用いてユーザに特別な装置を身に付けさせる事なく，体や手の位置を認識している．ユーザの興味の度合いであるディスプレイとの距離を取得する
為に，ディスプレイとユーザの位置関係を把握できるようにカメラをスクリーンの上方に地面を向くように設置した．人物や手の位置の認識には，従来の研究で行われている特定の色情報を用いた認識では，環境光で認識精度が左右されてしまう事があるので，カメラからの距離情報や背景差分を用いることで特定の色に依存しない認識を行っている．

4

システム構成本研究のシステムは図 1 のように，計算機３台，IEEE1394 カメラ２台，スクリーン（100 インチ）2 基，プロジェクタ 2 台から構成されている．カメラは PointGrey 社製 Bumblebee を使用している．
Bumblebee は，ステレオビジョン技術を用い，カメラとの距離情報を計算し，３次元画像を取得する事が可能である．壁に設置された 2 つのスクリーンの上方には、２台のカメラを、地面に向けて設置した．
カメラは地面から高さ 250cm の場所に設置しており，スクリーンの上部とは 30cm 程度離れている．
2 台のカメラから得られた画像から人物や手のリアルタイム認識を行う為に 2 台の PC で処理し，位置データをネットワークを通してアプリケーションPC に送信している．その位置データを用いて広告アプリケーションを描画し，プロジェクタを通して巨大壁型ディスプレイに表示する事により，人物と広告が非接触に対話するシステムを構築した．

A Vision-based Non-contact Interactive Advertisement with a Display Wall

図 2. 左図 : カメラから得られたソース画像 , 右図 :距離情報
距離情報の図では，ピクセルが白に近づけば近づくほどカメラとの距離が近い状態を表し，黒に近づけばカメラとの距離が遠い状態を表す．

5

認識処理

本システムでは，人物の位置や手を認識する事によって，それらの位置データを入力として用いている．本研究で用いた認識の技術は，マーカー等のデバイスを用いることなく人物の数，及び位置を算出する事ができる．認識の際に用いる画像処理には，OpenCV（Intel Computer Vision Library）を用い，一つの入力画像から人物の体や手の認識処理をリアルタイムで行っている．手の認識は入力画像の上部だけに注目し，画像内上部で背景差分を用いる事で手を認識している．また，人物の認識では，ステレオカメラから得られる距離情報を用いて人物を認識している．この距離情報をマッピングしたものが図 2 の右図である．この図では，ピクセルの色が白に近ければカメラに近い状態を表し，黒に近ければカメラから遠い状態を表している．また，真っ黒の場所は距離情報が取れていない事を示す．図 2 の左図のソース画像と比較すると，手や指等の輪郭は正確にとれていない事がわかる．距離情報の図の腕の領域を見ると，領域の中に黒い場所即ち距離情報が取れていない場所が幾つか存在している．ステレ
オ視の原理では，二つのカメラの画像のズレを考慮して距離情報を計算するので，距離を求めようとしている物体に特徴となるような模様がないと距離情報を取得できないといった問題点がある為である．
この距離情報を用いて，人物の位置を認識する．認識処理の詳細な過程を以下に示す．

5.1

人物追跡

カメラからの距離情報を用いて人物を認識する事により，色情報を使わずに安定した認識を行っている．初めに，カメラからの入力画像内の全てのピクセルにおいて，カメラからの距離を計測する．地面からの高さが 140cm 以上の範囲内に物体がある場
合，その物体を人物と見なしピクセルを白い点に置き換え，それ以外は黒い点に置き換える．この処理を全てのピクセルに行うと，人物を白い領域とした２値画像が生成される．
（図 3 : 左下図）
しかし，ステレオカメラから得られる距離情報は，
図 2 の右図のように，全てのピクセルにおいて距離情報を取得出来るわけではないので，この２値画像
では白の領域に黒のノイズが入ってしまっている．
白の領域にノイズが混じっていると，後の処理である重心の計算に悪影響を及ぼす．そこで，距離情報を用いて得られた 2 値画像の白い部分を膨張させる事で、細かいノイズを消去した．
（図 3 : 右下図）
そして，得られた２値画像を用いて，白い領域の重心を求める．ある程度の面積がある白の領域部分を人物と見なし，それ以外の領域は処理から省く．
白の領域が画像内に複数個存在する場合，領域を一つずつ分割する事で，複数人の認識を可能としている．この処理の際に黒のノイズが２値画像に入っていると，一つの白の領域が２つの領域と判断されてしまう事がある．領域分割された後，それぞれの領域に対して重心の計算処理を行う．求められた重心の位置データをアプリケーション PC に送信する．
人物追跡では，前フレームと現在のフレームの人物の位置を比較し，近ければ同一人物とみなす処理を行っている．これにより，複数人を認識している
場合でも，それぞれの人物を特定する事ができる．

5.2

手の認識

ここでは手を認識する手順を説明する．前述の理由で特定の色を用いた認識は行わない．本システム
では，手を使った簡単なジェスチャーしか用いないので，正確な手の認識までは行わない．
まず，カメラからの入力画像の上部に対して背景差分を行う．入力画像の上部はディスプレイからの距離が 10〜20cm 程度の範囲を指し，その領域内で背景差分を行う．差分で得られた領域が，手のような大きさであればその領域を手と判断している．認識処理としては，入力画像の上部だけの画像を作成し，上部画像内で背景の画像とリアルタイム画像を比較し，異なるピクセルがあれば，そこを白にする．
この処理を全ピクセルに行う事により，２値画像が生成される．
（図 4）この際に背景差分だけで２値画像を生成してしまうと，地面に映った体や腕の影が白い領域を生成してしまう．そこで，距離情報を用いて明らかに高さが低い場所の差分はとらないようにした．上部画像における背景差分によって得られた２値画像を用いて，人物追跡の時と同様に重心を計算する．求められた手の位置データもアプリケー
ション PC に送信する．

6

インタラクティブな広告システム

本研究では，人物と壁型ディスプレイとの非接触対話手法として，インタラクティブな広告システムを構築した．このシステムでは，ユーザの体や手の位置を用いる事で，広告を効果的に閲覧・操作する

WISS 2006の目の前にある半透明の広告が不透明になり，インタラクティブ性を持たせる事で，人の興味を惹く提示手法となっている．
（図 5:上図）

Tower view
Chaos view により，興味を惹かれたユーザが壁型ディスプレイの前にいる場合、広告に十分興味があると判断し，Tower view と呼ばれる提示手法になる．Tower view は，広告の効果的な閲覧，操作を可能とする提示方法である．この提示方法では，図 5:下図のように半透明の２つの六角柱があり，六角柱の全ての側面に広告が貼られている．各々の柱はアー
ティスト情報やグルメ情報等，カテゴリ別に分類されており，柱の中央にはカテゴリ名が表示されている．この広告の柱は６つの面全てを見せるように，一定の速度で回転している．本アプリケーションでは，Tower view の際に直感的なジェスチャーで広告の柱を回転させたり，興味のある広告を一時的に取得する事ができ，両端にある情報表示エリアで，広告の詳細情報を表示する事が可能である．

図 3. 人物追跡の様子：上図がカメラからの入力画像で，左下図はノイズ消去を行っていない場合の２値画像，右下図は修正を行った場合の２値画像

6.2

図 4. 手認識の様子：入力画像の上部で背景差分を行い，生成された２値画像を用いる事により手の認識を行っている事ができる．また，ディスプレイと人の距離に応じて情報の提示手法を変化させる事で，ユーザの興味の度合いに適した情報の提供を行う．

6.1

2 つの提示手法本システムではユーザとディスプレイとの距離によりユーザの広告への興味の度合いを判断し，２つの提示手法を使い分ける事により広告の効果的な提示を可能としている．

Chaos view
壁型ディスプレイの前に人物がいない時，又はいても離れた場所にいる時に，ユーザは表示されている広告に興味が無い，又は多少気になっている状態と判断し，Chaos view と呼ばれる提示方法になる．Chaos view は，広告の全体的な情報を提示する．半透明の広告がそれぞれ画面内をランダムに動き回る事により，ここには何かあると思わせる．また，ユーザがディスプレイの前を通り過ぎるとユーザ情報の選択から取得までの流れ

本システムには，Tower view の際にジェスチャーを用いた様々な機能がある．これらの機能は情報の選択から取得までの一連の流れをスムースに行えるように設計されている．人物の位置で興味のある情報を選択し、情報の取得や表示には手のジェスチャーを用いている。情報の選択から取得の流れは以下のようになる。
1. カテゴリ別に分かれた広告の柱を選択

2. 広告の柱から興味のある一枚の広告を探す
3. 興味のある広告を一時的に取得
4. 取得した広告の詳細な情報を閲覧
5. システムから情報を取得し、持ち歩く。
これらの詳細な説明を以下に示す．

6.3

システムの機能

１，広告の柱の選択
左右 2 つある広告の柱のどちらかの前にユーザが立つと，その柱は半透明だったのが不透明になり，サイズも大きく表示され，選択された状態になる．この選択された状態では，一定の速度で回転していた柱が回転を止め，その柱のメインページとなる広告が手前に来るように設定されている．そして，メインページの両隣にある広告が少し見えている状態になる．
（図 6 : 左上図）
２，任意の広告の探索
広告の柱が選択された状態で，六角柱の隣のA Vision-based Non-contact Interactive Advertisement with a Display Wall

面を覗くジェスチャーを行うと，覗いた方の面をユーザに見せるように広告が回転する．
（図6 : 右上図）この覗き込むジェスチャーの認識は，特に難しい処理をしているのではなく，広告の柱に近づいた状態で，ある程度の速度で横に動くとその動作を動いた方向を覗き込んだと判断する事でジェスチャーを認識している．この覗き込みの機能により、ユーザは自分の興味のある広告を探す事が可能である。
３，広告の一時的な取得
柱を選択した状態で，興味のある広告に手をかざすジェスチャーを行うと，その広告のサイズの小さい物がユーザの動きに合わせて付いてくる．
（図 6 : 左下図）この機能により，ユーザ自身が今どのような情報を持っているかを自分の目の前に付いてきている追尾広告を見る事で確認する事ができる．手をかざす
ジェスチャーは，ユーザの体の位置の前方に手が認識された場合に，そのユーザが手をかざしたと判断する事で認識している．この付いてくる広告は，最大で３枚の広告を所有する事が可能で，４枚目の広告を取得した時、所有している３枚の広告の中で最も以前に取得した広告が解放される．
４，詳細情報表示
ユーザが広告を取得すると、画面両端にある情報表示エリアが点滅し、情報表示を促す。そのエリアで手をかざす事で，ユーザは興味のある広告の詳細な情報を閲覧する事が可能である．
（図 6 : 右下図）情報表示エリアでは，一時的に取得した広告の詳細情報を縦一列に表示する．詳細情報では，広告に関連したサイトの名前と URL，URL の情報が埋め込まれた QR コードを表示する．
５，システムからの情報取得
情報表示エリアで表示された QR コードを携
帯電話のバーコードリーダ機能を用いて読み取る事で、ユーザはシステムから情報を取得する事ができる．携帯電話にバーコードリーダ機能が無い場合は，表示されている URLを携帯電話に直接打ち込むといった形で補う．
これにより，取得した情報を携帯電話を用いてどこでも閲覧する事が可能である．
広告の一時的な取得からシステムからの情報取得までの流れを図 7 にまとめた．

7

考察

我々は研究を通して，壁型ディスプレイとの非接触対話手法において様々な可能性を見出す事ができた．

図 5. 上図 : Chaos view , 下図 : Tower view
Chaos view では全体の情報を表示し，Towerview ではコンテンツを閲覧，操作する事が可能である．

図 6. システムの機能
左上図：選択，右上図：回転，左下図：広告の一時的な取得，右下図：詳細情報の表示

7.1

人物追跡と手の認識に関して

人物追跡では，非常に良い精度で人を認識する事ができた．しかし，設置場所の天井があまり高くないという理由でカメラの撮影範囲が狭くなってしまった為に，人物を追跡する範囲が小さくなってしまった．そのため，一つのカメラの視野に入る人物の数は多くても 3 人程度となっている．もう少し高い天井に設置する事ができれば，より広い範囲での追跡が可能となる．手の認識では，入力画像の上部でしか処理を行っていない為に，認識処理の負担を減らす事ができた．
人物と手を認識する事により，手だけのジェスチ
ャーでは手を挙げ続けながら作業しなければならないというコストを減らす事ができた．このコストの減少により，ユーザはディスプレイとの長時間の対話も苦になる事は無く，より長い時間情報を操作・

WISS 2006

本システムでは，フロントプロジェクションの為，ユーザの前には常に自身の影が投影されてしまうといった問題点が挙げられる．これはディスプレイへの投影方法を変える等して，改善すべきである．

8

図 7. 情報の取得までの流れ：一時的に取得した広告は，上図のようにシステム内で持ち歩く事ができる．広告を所有した状態で両脇にある情報表示エリアでタッチするジェスチャーを行うと，下図のように所有している広告の詳細な情報が参照できる．詳細な情報には，QR コードを表示しているので，携帯電話のバーコードリーダ機能を用いてシステムから情報を取得する事が可能である．

閲覧する事が期待される．

7.2

広告システムに関して付いてくる広告に関しては，利点も欠点も感じられた．広告が自分と同じ動きをするという点から，まず興味を惹かれるという点が挙げられる．しかし，今回のハードウェアの配置では，２つのディスプレイの継ぎ目の部分にはカメラが設置されていないので，その部分では追尾広告は，認識データを受け取っていない為に動きが止まってしまい，不自然な動きをしてしまう．これを改善する為には，ディスプレイの継ぎ目の真上にカメラを設置する必要がある．
本研究を通して，覗き込みのジェスチャーは少々直感的ではないジェスチャーであるように思われた．
実世界に本システムのような六角柱の広告があった場合，覗き込むような仕草をするのかという事がまず疑問である．広告が回転するといった情報を事前に知らされた状態であれば，ユーザは手で柱を回そうとするのが自然であろう．覗き込みのジェスチャーの必要性を検討しなければならない．

まとめと今後の展望

本研究では，壁型ディスプレイに投影された広告と非接触に対話するシステムを構築した．本システ
ムでは，人物の体と手の位置を用いたアプリケーションを作成した．人とディスプレイとの距離に応じて広告の表示形態を変えたり，簡単なジェスチャーで広告を操作する等，効果的な情報提示手法を実現した．
本システムの人を惹きつける提示手法である Chaosview は，画面内を小さな広告が動き回るという手法であったが，今後は人を惹きつける様々な提示手法を設計し，どのような提示手法が一番良く人を惹きつけるのかを評価実験する必要がある．
このようなシステムが複数あった場合に，システム間の連携を取る事ができれば，更に便利なシステムになると考えている．あるシステムで取得した情報が他のシステムでも扱えれば，ユーザは様々な場所で情報のやり取りが可能になる．しかしこれを実現するためには，システム間のユーザ認証が必要になる．ユーザ認証に関しては，関連研究で述べた
SuiPo のように携帯電話や Suica 等に用いられ，身近になってきている Felica の使用を考えている．
本システムは現在一人用であるが，これだけ大きなディスプレイと対話するのであれば，複数人で行いたい．複数人で対話をできるようになれば，より多くの機能を持たせる事ができると考えている．

参考文献[1] Tetsuo Fukasawa, Kentaro Fukuchi, Hideki
Koike, “A Vision-Based Non-contact Interactive
Advertisement with a Display Wall” In Proceedings of ICEC 2006, pp.394-397, 2006.
[2] 深澤 哲生, 福地 健太郎, 小池 英樹, “壁型ディスプ
レイとの非接触対話手法に関する研究” 情報処理学会研究報告 2006-HI-119, pp.47-54, July 2006.
[3] “Suica ポスター：SuiPo”
http://www.poster.suica.jp/[4] Daniel Vogel, Ravin Balakrishnan , “Interactive
Public Ambient Displays: Transitioning from Implicit to Explicit, Public to Personal, Interaction
with Multiple Users” In Proceedings of UIST’04,
pp.137-146, 2004.
[5] Azam Khan, George Fitzmaurice, Don Almeida, Nicolas Burtnyk, Gordon Kurtenbach , “A Remote Control Interface for Large Displays” In
Proceedings of UIST’04, pp.127-136, 2004.