入り込み広告：閲覧者を引き付ける自分入りムービー
黒羽 光生†

井上智雄†,††

Jump-in-Ad: Attractive commercial film with viewer’s own face
MITSUO KUROHA†TOMOO INOUE†,††

1. はじめにかのような印象を持つことになる．閲覧者は自己の顔画像が広告映像の登場人物の顔部分に埋め込まれた状

屋外のさまざまな場所にポスターやビルボード，大態をリアルタイムで見ることができる．そうすること型ディスプレイなどがあり，人々の注目を喚起するよ

で広告映像のコンテンツによっては，登場人物の動きうなイメージやメッセージを見ることができる．しかに合わせてその様子を仮想的に体験することになる．

し，その中のどれだけの情報が自分にとって有用であ

そのようなインタラクティブな広告システムを実現すり，興味を持って見ることがあるだろう．家の外を意るために，本システムはリアルタイムで広告映像に閲味する OOH(Out of Home)での広告メディアは，時と覧者の顔画像を取り込み表示する広告システムを開発

して送り手からの一方的なメッセージや宣伝と感じらし，参加意識を持って見てもらうことを提案するのでれるものが多い．それらは受け手にとって関係性が薄ある．

いものであったり，その広告が情報過剰と見られたりすることもある．また，広告の中には，設置することで場所を占有してしまうものや，周囲の景観を損ねるようなものもあり，そこを通勤・通学で利用する人や近所の住民の迷惑になることも考えられる．そこで本
研究では，そのような従来の広告メディアとは異なる，入り込み広告を提案する．ディスプレイで流れている広告映像の閲覧者のうち，1 人の顔をその広告映像に取り込こまれ．見ている人が広告の中に入り込んでしまうシステムである．また，複数人でその広告を見る場合に，その広告や顔画像が入り込んだ閲覧者の反応を見ることにより，その人の表情や動きに見られる感図 1 システムの概要

2.2

システム概要と設置について情を共有できるきっかけを提供する広告を目指してい本システムは大型プラズマディスプレイとカメラとる．本研究では，このようなデジタル技術を用いるこPC という構成で実現する．システムの概要を図 1 にとで，従来の広告にない驚きや発見を見つけることができるような広告システムを提案する．

2. 顔部分の動画像を用いた参加型広告
この章では，入り込み広告の概要について述べる．
2.1 本研究の目的
本研究では閲覧者の顔を広告映像に取り込み登場人物の顔として表示するシステムを開発する．それより，閲覧者はあたかも自分が主人公である広告を見ている† 筑波大学大学院図書館情報メディア研究科
Graduate School of Library, Information and Media Studies,
University of Tsukuba†† 国立情報学研究所
National Institute of Informatics

示す．今回のシステムでは，キャスター台付きのスタンドがついたプラズマディスプレイを用いた．ＰＣはそのスタンドの足の上に配置し，Web カメラはディスプレイの上にセットする構成とした．すべてのシステムがスタンドに乗っているため，一度セッティングを行なえば，容易に搬送が可能であり，短期間の展示の際に有用であると考えられる．このように比較的小規模なスペースでインタラクティブな広告システムを実装することができること設置場所という点でも望ましい場合が多い．例えは，設置場所として，ショップウィンドウの中に展示をしたり，駅の地下通路などの人通りが多い場所に設置したりすることが考えられる．
待ち合わせ場所や移動途中の休憩場所で情報提供やち情報処理学会 インタラクション 2010

ょっとした自由時間に遊ぶことができる広告メディアとしての活用が期待できる．
2.3

基本動作

本広告システムの基本動作として，広告映像が数種類用意されていて，順番に繰り返し流れるようになっている．通常，その映像の中の登場人物は撮影時の状態で顔部分に加工はされていない．ディスプレイの前に閲覧者の顔が一つも認識されない場合，単純に広告映像が繰り返し流れることになる．
閲覧者が画面の前に立つと，ディスプレイの上部に設置されている Web カメラが閲覧者の顔を自動的に認識し，その人の顔部分の画像をリアルタイムでシステムに取り込む．閲覧者はカメラのほうを向いている

図 2 入り込み広告システムの外観

か，また，カメラで顔を認識できる距離と範囲にいる
場合，その人の顔画像が広告映像の登場人物の顔部分を使用した．8）事前に用意した．広告映像用のデモムに埋め込まれる．もし閲覧者が，カメラから顔をそむービーは処理速度を高めるために 320ｘ240 の解像度

けるか，カメラで顔を認識できる距離と範囲から外れで使用している．Web カメラからも解像度 320ｘ240

ると，元の広告映像の顔に戻る．そのため閲覧者は選の画像を取り込むことで，少しでも処理のための負荷択的に自ら広告システムの前から離れたり，ディスプを軽減することに努めた．顔部分の検出には OpenCVレイから顔をそむけたりすることもできる．に用意されている分類機から，正面を向いている顔の2.4

顔部分の動画像を広告映像へ埋め込む抽出を行うための XML ファイルを使用した．それら入り込み広告では，閲覧者の顔をリアルタイムで広はカスケード構造の分類機で，弱い分類機から段階的告映像に埋め込むことを特徴としている．その理由とに検出を行うことにより，迅速に比較的高い確率で目して，以下のことがあげられる．一つ目は，閲覧者自的とするパターンの検出が可能になるアルゴリズムで身の顔が取り込まれている広告映像を見ることになり，ある．6)， 7) 今回はそれにより検出される，顔の数とその内容に応じて顔の表情が変えられることである．

顔座標の位置と大きさのデータを使用した．これらを登場人物の身体の動きに合わせて，体験者自身の表情利用して，カメラ画像と広告映像の両方で連続的に処が変化することは従来の広告にはない効果である．二理を行い，閲覧者の顔画像の広告映像への埋め込みをつ目は，複数人で広告映像を見ている場合，同じ場に実現した．

いる一人の人があたかも広告映像に出演しているよう3.2 処理の流れなものを見ることになる．このことで，閲覧者たちが処理全体の概略を図 3 に示す．本システムでは，カ顔を取り込まれている人の動きや表情を見ることで，感情や状況を共有できることが考えられる．これらのことは従来の広告には前例がなく，新しい広告メディアの提案であると言える．

メラからの映像や広告映像が 1 フレーム進むごとに顔検出を行い，それぞれの顔位置を検出している．
カメラ側の映像と広告映像が 1 フレーム進むごとに，顔検出のアルゴリズムにそれぞれの画像データを送り処理を行っている．戻り値として，顔の個数，顔のサ3. 実装
本章では入り込み広告のプログラム上の実装について述べる．
3.1 入り込み広告の詳細
本システムでは，カメラから取り込まれた画像から，画像処理により閲覧者の顔部分の検出と広告映像への合成を行なっている．プログラムは Visual C++で書かれ，OpenCV という画像処理ライブラリの version1.2

イズ（幅，高さ），そして顔の位置座標（X,Y）がそれぞれ検出される．そしてそれらを検出された個数分，用意してある変数の配列に格納する．その時，閲覧者の中でディスプレイを向いていて，画面に一番近い距離にいる人を顔のサイズから特定する．なぜならカメラを支店とした場合，遠近法の特徴の一つとして，同じサイズのものであれば，視点から近くにあるものが大きく描かれるからである．顔が 2 つ以上検出された
場合，顔サイズを変数格納する前に比較を行う．そし入り込み広告：観覧者を引き付ける自分入りムービーて，最大サイズの顔の時は，そのサイズと位置座標を3.4 顔画像の埋め込み処理変数に保存する．このようにして，ディスプレイを向顔検出の後に，画像の合成を実現するための処理をいている人の中で，画面に一番近い距離にいる閲覧者

行う．まずは，カメラ画像から抽出した顔の目，鼻，を顔のサイズから特定し，顔の抽出と埋め込みのため口の部分が残るように楕円形に切り取る準備をするこのデータとして使用する．とである．初期設定で，背景が黒に，白で楕円形に塗3.3 顔部分のデータ検出

りつぶしたマット用の画像ファイルを読み込んでおく．

次に，検出された顔の個数と大きさと座標を元に，その画像を，広告映像で検出された顔のサイズに合わ閲覧者の顔部分の画像を切り出す．前述のように，検せて調整する．

出時に顔部分座標(X,Y)と大きさ（幅，高さ）のデー

次に検出した閲覧者の顔画像を，広告映像の顔画像タが変数に格納されているので，それを元に顔部分ののサイズに合うように拡大または縮小することである．

切り出しを行う．これらの処理はフレームごとに行っ埋め込まれた顔画像の大きさを調整し，広告映像の登ているため，閲覧者がシステムの前で前後左右に移動

場人物の顔のサイズに拡大または縮小させる．

した場合でも，顔がカメラの方向を向いていれば認識

そしてカメラからの顔映像と，広告映像の両方の顔され，顔部分がトラッキングされ，画像の抽出が行わ画像が検出された場合のみ，顔の合成を行うことであれる．そして，フレームごとの表情の変化をとらえ，る．合成時には，広告映像の顔サイズに調整した，マ動画として更新するのである．

ット画像とカメラからの顔画像を使用し，広告映像の顔位置に顔部分が埋め込まれるように合成する．ここ
で，マット画像が白の部分のみにカメラからの顔画像が合成される．よって，顔の眼，鼻，口の部分が広告映像に埋め込まれるように合成されるのである．
以下の図 4，5，6 に，広告映像と，マット画像を用いた顔の部分合成，そして閲覧者の顔画像を入り込み後のサンプル画面を示す．

図 4 元の映像

図 5 マット画像と重ね合わせた顔イメージ

図 3 処理の流れ図

情報処理学会 インタラクション 2010

離を測ることで，人々の関係性を判別し，最適な広告を提示するものである．このシステムではステレオカ
メラを天井に設置して，リアルタイムで対人距離を測り広告を選択して表示するという特徴がある．GAS
では人々の属性に対して提示する広告を変化させているが，入り込み広告では閲覧者を取り込んで広告映像を変化させている点が異なる．

5. おわりに図 6 閲覧者入り込み広告

閲覧者の顔部分の動画像がリアルタイムで広告映像

4. 関連研究の登場人物の顔に埋め込まれるシステムを提案し，実これまでにも消費者や公共空間の通行者を参加させ判断して，常にディスプレイに一番近い人の顔動画がる広告システムの研究が行われてきた．みらいチュー表示されるようにした．また,それらをリアルタイム

ブ 1) は,複数のセンサでコンコースの通行者を検知し，でサイズ調整などの画像処理を行い，広告映像に埋めそれらの人の動きに応じた広告を提示するものである．

込むことで広告映像の内容に応じた閲覧者の表情が反

この研究は通行者の動きに反応して広告を提示すると映されるシステムができた．そうすることで，従来のいう点では，人々の動きを広告表示する際のトリガーメディアにはない，閲覧者の顔が主人公となるようなとして利用しているが，映像をリアルタイムで加工し広告システムを実現した．ている本研究とは視点が異なる．SIKUMI DESIGN装した．システムの実装では，閲覧者の顔の大きさを2）

今後は，広告映像のコンテンツを充実することや，は閲覧者の顔位置にイラスト画像が追従する，インタ複数人の顔動画を同時に処理するシステムを実装する

ラクティブシステムを開発した．これは閲覧者の動き予定である．そして，広告システムの場に居合わせたに反応して静止画像が動いたり，広告映像にエフェク人々の注視度や反応を評価し，今後の改善へとつなげトを加えるたりできるが，閲覧者のイメージを広告映ていきたい．

像に合成させるものではない．森島 3）は FCS（FutureCast System）において，観客の顔を 3 次元データとし謝辞

本研究の一部は，平成 21 年度筑波大学大学て取り込み，用意しておいた 3 次元ムービーに当ては院図書館情報メディア研究科萌芽的プロジェクト研究めることで，登場人物になれるシステムを実現してい費による．

る．この研究では 7 台の USB カメラが設置されてい参考文献

る場所で顔をスキャンすることで，高精度な 3 次元顔

1) 篠原章夫，富田準二，木原民雄，公共の場でのインタラクテ
ィブメディア実証実験「みらいチューブ」実験報告，情報処理学会研究報告，Vol.2006， No.14， pp.163-168 (2006)
2) SIKUMI DESIGN（http://www.shikumi.co.jp）Last access Nov.
13, 2009
3) Shigeo Morishima: "Dive into the Movie" Audience-Driven
Immersive Experience in the Story. IEICE Transactions 91-D(6):1594-1603 2008
4) FOG BAR TV! (http://fogbar.jp/) Last access Nov. 13, 20095) 瓶子和幸， 井上智雄: グループに適応する公共空間向け広告システム GAS， 情報処理学会論文誌， Vol.49， No.6，
pp.1962-1971， 2008
6) Paul Viola and Michael J. Jones， "Rapid Object Detection using a
Boosted Cascade of Simple Features"， IEEE CV 広告， 2001.
7) Rainer Lienhart and Jochen Maydt， "An Extended Set of Haarlike Features for Rapid Object Detection"， IEEE ICIP 2002， Vol.
1， pp. 900-903， Sep. 2002.
8) OpenCV- Intel Open Computer Vision Library，
http://sourceforge.net/ojects/opencvlibrary/

データの取得に成功している．しかし，観客の顔をスキャンする特別な場所が必要なことや，後ほどムービーに顔を埋め込んだ完成作品を見てもらうことから，本研究と趣向が 異 なる ．大 手 化 粧 品メ ー カ による
FOG BAR TV! 4）では，ユーザーが顔の静止画を Webサイトにアップロードし，ＣＭの登場人物に顔をあてはめたものを見ることができる．静止画を取り込んでいることから，ＣＭで見られる表情は一定である．また，こちらも Web 広告のためにアップロードしてから完成作品を見るまで，処理の時間を要するので本研究の趣旨とは異なる．
一 方 ， 瓶 子 ら 5 ） に よ る GAS （ Group-AdaptiveAdvertising System）では，複数人のグループに対する属性に応じた広告を提示する研究がなされた．それは大型ディスプレイに近い距離にいるグループの対人距