歩行者の顔向き情報と移動軌跡を利用したデジタル広告の効果測定, 表示支援ツール
南竹俊介†

高橋伸†

田中二郎†

A gaze information and movement trace acquisition toolkit
to the digital advertisement
Shunsuke Minamitake,† Shin Takahashi† and Jiro Tanaka†

1. は じ め にによって、大画面広告への注目状況を取得するツールキットである。

近年、駅前やショッピングセンターなどの公共の場

SignageTracker は、SignageGazer から取得した顔にプラズマディスプレイや、プロジェクタなどを設置向き情報に加えて天井付近に設置したカメラから歩行し、広告などの情報の提示を行うデジタル広告デジタ

者の移動軌跡の取得を行うことによってより精度の高いルサイネージが普及してきた。デジタルサイネージは、広告の効果を測定を行う（図 1）。また、SignageGazer

広告情報などをデジタル情報で提示するため、一括しと SignageTracker から取得した情報を反映した広告て最新情報への差し替えを行うことや、設置された場の表示も可能である。今回は取得した歩行者の情報に所ごとのターゲット層や地域性にあわせて、 異なる基づく 3 つの広告の表示方法の実装を行った。

情報を提示することができる新しい広告提示媒体として注目を集めている。
デジタルサイネージは既存の看板や掲示板などの屋外広告と比較し歩行者に対して強い働きかけが可能な媒体であると期待されているが、デジタルサイネージの効果を測定するための手法が歩行者の数による手法しか確立されていない点が問題となっている1) ,2) 。また、現在利用されているデジタルサイネージの多くは動画や静止画などを一方的に提示するのみで、歩行者と実際にインタラクションを行うデジタルサイネージは少ない。
そこで我々は、デジタルサイネージへの効果測定とインタラクションを行うことのできるツールキット

SignageGazer3)

図 1 デモイメージと SignageTracker の実装を行った。

これらのツールは歩行者を観測するためのカメラを設置し、その画像を解析することにより、歩行者の大画

2. SignageTracker

面の前にいる歩行者の情報を取得する。SignageGazer

広告への効果測定を行う上で歩行者がどこから来たは大画面の前を通るユーザの顔の向きを解析すること

か、広告を見た時にどのような動きをしたのかという† 筑波大学システム情報工学研究科コンピュータサイエンス専攻
Department of Computer Science, University ofTsukuba

情報の取得を行うことができれば広告への評価を行う上での助けになると考えられる。

SignageTracker では、SignageGazer で利用する歩情報処理学会 インタラクション 2010

行者の注視情報を取得するためのカメラに加えて、天井付近に移動軌跡を取得するためのカメラを新たに設域の抽出(2)抽出した身体領域が現在追跡を行っている領域置し（図 1）、動的背景差分法による身体領域の抽出でない場合、その領域の色相情報を初期条件とと、Mean-shift トラッカ4) を利用した色相情報に基して Mean-shift トラッカで追跡づく人物追跡を行う SignageTracker の実装を行った。

(3)

SignageGazer から取得した注視情報と顔の位

2.1 SignageTracker 実行画面

置情報とを統合し、追跡を行っている人物が大図 2 は SignageTracker によって取得した軌跡と注画面広告を注視しているか判定し結果を出力視情報である。注視を行っていないときの移動軌跡はする

赤く表示され注視を行っているときの移動軌跡は緑色でカメラ画像上に重畳表示される。移動軌跡の色の変化で歩行者がどこで広告への注視を行ったか知ることができる.
また, 移動軌跡中に表示された矩形の大きさから歩行者の動きを推定することも可能である。トラッキングを行っている人物の直前数フレームと比較し一定距離以上移動するごとに矩形が表示される。注目を行っていないときの矩形は青で描画され、注目を行っているときの軌跡は緑で描画が行われる。トラッカに大きな移動が見られない場合、軌跡上に以前描画した矩形
図3より一回り大きい矩形が新たに表示される

システム構成図2.3 身体領域の抽出
Mean-shift トラッカで人物を追跡するためにはまず初期条件として追跡対象の色情報を指定する必要がある。SiganageTracker では、まずカメラ画像に対し動的背景差分を行い背景と人物領域とをを切り離す。ラベリング処理を施し一定以上の大きさの領域が一定フレーム以上存在した場合、それを人物の領域であるとみなす。

2.4 Mean-shift トラッカによる人物追跡
抽出した人物領域から色相情報の分布の取得を行った後に Mean-shift トラッカによる追跡を開始する。
図 2 実行画面

Mean-shift トラッカは現在位置の周囲で色相分布の近似している領域の探索を行い、類似した領域の重心位

図 2 では、画面の中央付近で 2 つの緑色の大きな矩形が表示されている。SignageTracker では滞留時間に応じて軌跡上に矩形の表示を行う。この矩形から、歩置まで現在位置を移動することを繰り返すことによって領域の追跡を行う。

2.5 移動軌跡と注視情報の統合

行者は大画面に表示されている情報に気づいた後に一トラッキングを行っている人物の位置情報と服の色定時間注視を行い、その後その情報に興味をもったた

彩情報を基に、追跡を行っている人物の大画面への注め画面に一度近づいてじっくりと注視を行った後に立目状況とを対応づける。注視情報との対応付けを行っ

ち去ったことが軌跡と矩形から推定することができる。

た時の移動軌跡を図 4 に示す。大画面広告への注目を

2.2 システム構成行っていないときの軌跡は赤で描画され、注目を行っ

SinageTracker のシステム構成を図 3 に示す。Sig-ているときの軌跡は緑で描画が行われる。

nageTracker では以下の流れで大画面の前を歩いてい

2.6 計測結果の保存る人物の追跡を行う。

計測を行った移動軌跡と注視情報は計測を行った時(1)

動的背景差分とラベリング処理を用いた身体領

刻とカメラ画像と対応付けられ計算機上に保存され歩行者の顔向き情報と移動軌跡を利用したデジタル広告の効果測定, 表示支援ツール

を行うことができる。入力可能な方向は上下左右の 4方向である。現在の実装ではユーザがうなずく、または首を振ることによって Yes、No の入力や (図 5)、上下左右に設置された質問項目を注視することによって、簡単な質問に答えることが可能となっている。

図 4 移動軌跡と注視情報の統合る。プライバシに配慮した設定を行った場合、カメラ画像は保存されず軌跡データと注視データのみが保存される。

図 5 interactive view イメージ

3. 顔向きと移動軌跡を利用した広告表現
SignageTracker では取得した注視情報や移動軌跡に従い、表示する広告の表示を変更することが可能である。今回実装を行った広告の表示表現は

4. 実

験

SignageTracker を用いて、人物の移動軌跡の取得• detail viewと注視情報の取得を行うことが可能であるか、実験を• trace view

行った。

• intaractive viewの三種類である。

4.1 実 験 内 容
研究室内にデジタルサイネージを模した縦置きプラ

3.1 detail view

ズマディスプレイ (図 1 参照) を設置し広告のかわりユーザの興味を引きやすい広告は、必ずしもユーザに他の研究室をライブカメラで撮影した画像を表示しの取得したい情報が多く含まれているとは言い難い。

た。天井付近には歩行者観測用のカメラを、ディスプ

detail view はユーザの注目状況にあわせて表示する

レイ上部に注視情報取得用カメラを設置し、ディスプ情報を変更することによってこれを解決する。detail

レイ付近を通過する歩行者の移動軌跡と注視情報の取view では、歩行者が一定時間以上広告に注視したら得を 3 日間行った。研究室の利用者には実験があるこ新たに別の情報を表示することができる。余り詳細なとを意識せず普段通りの生活を送ってもらった。

情報がないが人の目を引きやすい広告を最初に表示しておき、歩行者が一定時間その広告に注目した後、人目を引きにくいが詳細な情報が分かる広告を表示することが可能になる。

3.2 trace viewtrace view は歩行者の移動に合わせて広告が移動する広告の表示手法である。広告を注視しなかった、または広告を注視した時間が一定時間以下であった人物の移動軌跡から移動先を予測し広告が移動する。広告

5. 実 験 結 果
実験を行った結果出力された移動軌跡の画像について、カメラ画像と比較を行い以下のような分類を行った。
表 1 正しい推定ができている画像の枚数／システムが推定した画像の枚数注視を行っていない人物の移動軌跡
61/83
注視を行った人物の移動軌跡

23/25に余り興味をもたなかったユーザに対してもう一度働きかけを行うことができる。ユーザが移動する広告に出力された画像を観察したところ、カメラに一定時気づく、この場合は広告への注視を行うか追跡範囲外

間人物が映るようであれば、おおむね正しい移動軌跡に歩行者が移動した場合広告の移動は停止し元の位置の取得と注視情報の推定ができることが分かった。しに戻る。

かし、照明条件の急激な変化や人物の影などを誤ってinteractive view では、広告に注目しているユーザ歩行者として検出してしまう場合が多々見られた。前の顔の動きに応じて、大画面広告とインタラクション者に関しては研究室中から人がいなくなったときに、

情報処理学会 インタラクション 2010
表 2 誤検出の内訳
照明条件の変化による誤検出
影の誤検出
追跡の途中で異なる場所をトラッキング軌跡が画像と対応していない
注視情報と画像とが対応していない

11
5332

部屋の照明が全て落ちてしまい照明条件が急激に変化することが原因であった。また、人物ではなく人物の影を背景差分で取得してしまい、人物と認識してしまう場合も散見された。現在の実装では画像中の輝度情報に大幅な変化があった場合と注視情報取得用カメラに人物らしき映像が撮影されていない場合はトラッキングを行わないように実装を変更したため、これらのエラーは起こりづらくなっている。

6. 関 連 研 究
公共大画面の前に立つ人物の位置情報を大画面上に表示する情報に反映する研究として Vogel らの inter-active ambient display が挙げられる5) 。大画面と歩行者の立ち位置によって表示する情報やインタラクションが変化する。本研究とは異なり人物位置の特定のために歩行者が赤外線マーカを装着する必要がある。
井上ら6) は天井付近に設置したステレオカメラからデジタルサイネージの前に立つ人物同士の距離関係や身長などといった情報の取得を行い、大画面の前に立つそれぞれの集団が家族や恋人であるかなどの関係性の推定を行った。
また、上記２つの研究は人物の位置情報の取得は行っているがその人物の大画面への注視情報の取得は行っていない点が大きく異なる。

7. まとめと今後の課題
大画面広告を視聴する人物の移動軌跡と注視情報を測定する SignageTracker の実装を行った。Signage-Tracker は背景差分と mean-shift トラッカを利用して人物追跡を行い人物の移動軌跡の取得を行う。また、大画面上の広告を見る歩行者の状態に応じて、大画面上に表示する情報を変更することができる。今回はdetail view、trace view、interactive view の 3 つの手法の実装を行った。
今後の課題として、より照明条件などに頑強な追跡システムの実装を行うことが挙げられる。また、現在の注視情報による情報の変更は大画面の前にいる人物が一名であるときのみを想定して実装を行っているので、今後は複数名に対応した表示手法の研究も行っていく。

参 考文献

1) 屋外広告調査フォーラム. http://www.okugaiforum.jp/.
2) 清水公一. アメリカの屋外広告事業と日本の効果測定指標. 国際文化研究所紀要 第 8 号, pp. 53–72,
2002.
3) 南竹俊介, 高橋伸, 田中二郎. 公共大画面への注視情報取得システム. DICOMO 2008, July 2008.
4) L.Fukunaga, K.Hostetler. The estimation of
the gradient of a density function, with applications in pattern recognition. IEEE Transactions on Information Theory (IEEE), January
1975.
5) Daniel Vogel, Ravin Balakrishnan. Interactivepublic ambient displays: Transitioning from implicit to explicit, public to personal, interactionwith multiple users. UIST2004.
6) 井上智雄, 瓶子和幸. グループに適応する公共空間向け公告システム gas. 情報処理学会論文誌 vol50, pp. 1234–1241, 2009.