AI を活用したインタラクティブなプロジェクションマッピング制作
斎藤一
安田杉澤光孝

愛美
向田長尾茂

光悦

北海道情報大学

On Constructing an Interactive Projection Mapping using AI
Hajime SAITO, Manami SUGISAWA, Mitsuyoshi NAGAO
Mitsutaka YASUDA and Shigeru MUKAIDA
Hokkaido Information University

2019年12月

北海道情報大学紀要

第31巻第１号別刷

北海道情報大学紀要

47

第31巻第１号：47～53，2019〈報〈報告〉
告〉AI を活用したインタラクティブなプロジェクションマッピング制作
斎藤 一* 杉澤 愛美†

長尾 光悦‡ 安田 光孝* 向田 茂*

On Constructing an Interactive Projection Mapping using AI
Hajime Saito*

Manami Sugisawa†

Mitsuyoshi Nagao‡

Mitsutaka Yasuda*

Shigeru Mukaida*

要旨近年，プロジェクションマッピングは，単なるアート作品としてだけではなく，観光振興のコンテンツとして重要性が増している。また，近年，Artificial Intelligence（以下AI）が再注目されており，プロジェクションマッピングにおいても，AI を活用し，参加者の動作や操作が加わることを前提とした参加型アートが増えてきている。本研究は，AI を活用した動的に内容が変化するプロジェクションマッピングの実現を目指し，観光地プロモーションツールである「顔はめパネル」に着目したコンテンツを制作した。本稿では，その制作，展示と評価について報告する。

Abstract
In recent years, projection mapping has become more important not only as a work of art but also
as a content for tourism promotion. On the other hand, as artificial intelligence (AI) has been
refocused, participatory art and exhibitions are also increasing using AI. The purpose of this researchis to realize projection mapping to change contents dynamically using AI. We created a new content
focusing on the “Comic Foreground” which is a tourist destination promotion tool. In this paper, we
report on its production, exhibition and evaluation.

キーワード
観光情報学（Tourism Informatics）
エンターテイメントコンピューティング（Entertainment Computing）
人工知能（Artificial Intelligence）

情報メディア学部情報メディア学科 教授， Professor, Department of Information Media, Facultyof Information Media† 情報メディア学部情報メディア学科 講師， Lecturer, Department of Information Media,Faculty of Information Media‡ 経営情報学部システム情報学科 教授, Professor, Dept. of Systems and Informatics*－1－－１－48斎藤一・杉澤愛美・長尾

光悦・安田光孝・向田茂

会社ランハンシャが制作し，2017 年 3 月 4 日

1． はじめにから 2017 年 3 月 20 日まで展示されていた参

近年，プロジェクションマッピングは，単加型デジタルコンテンツである。顔がはめらなるアート作品としてだけではなく，観光振れると用意された 154 パターンの映像がラン興のためのコンテンツとして重要性が増してダムで切り替わる。

いる。雲プロジェクト「DAIKIN☓Team Lab
2-2（2013）」は，チームラボとダイキン工業株式

カオハメ・ザ・ワールド

会社が，「空に浮かぶ雲に，自由に映像を映しカオハメ・ザ・ワールドは，アーティストたい」という想いから制作されたプロジェクの髙橋匡太が制作した顔はめパネルをモチーションマッピングである。「さっぽろ雪祭り」

フにした参加型コンテンツであり，スマートでは，雪像に映像を投影するプロジェクショ

イルミネーション横浜 2017 で展示されたンマッピングが行われることが定例化しつつ「SMART ILLUMINATION 横浜（2017）」。

ある「神奈川（2018）」。

顔はめパネルから利用者が顔を出すと，リアルタイムに顔が横浜税関に映し出される。

また，近年，AI が再注目されており，プロジェクションマッピングにおいても，AI を活

3． AI デジタル顔はめパネル用し，参加者の動作や操作が加わることを前提とした参加型アートや展示が増えてきている「熊谷・向田・隼田・斎藤・安田（2014）」

本研究では，従来の顔はめパネルに，AI に「小田島・柳（2017）」。視線で花咲くアート

よる顔認識技術を導入し，利用者によって投展「日本電機株式会社（2017）」では，人の視影内容が変化する新しい観光プロモーション

線を AI により推定し，視線に合わせて映像が用のコンテンツを制作した。本研究では，こ動的に変化する体験型アートが公開されていのコンテンツを『AI デジタル顔はめパネル』

る。キャナルシティ博多では，投影されたキと呼ぶ「斎藤・杉澤・長尾・安田・向田（2018）」。

ャラクタにリアルタイムで対話が可能なプロ
3-1

ジェクションマッピングが公開されている制作の留意点

制作に際し，一般的な顔はめパネルではで「鶴田（2017）」。

きないこととして，次のことに留意した。

本研究では，AI を活用した，動的に内容が変化するプロジェクションマッピングの実現

1. 顔をはめた人以外の人だけではなく，はを目指し，古くから活用されてきた観光地プめた本人も同時に楽しむことができる。

ロモーションツールである「顔はめパネル」

2. 利用人数を最大２人とし，相互の認識しに着目したコンテンツを制作した。本稿では，た情報のマッチングで，映像が変化する。

その制作，展示と評価について報告する。

ただし，１人でも使えるようにする。また，踏み台も用意し，子供も利用できる

2． 先行事例ようにする。
3. コンテンツ利用者による情報の拡散を狙

本章では，観光プロモーションツールとしい，SNS を意識する。て活用されている，顔はめパネルと映像を組み合わせた先行事例を紹介する。
2-1

武雄温泉駅「顔はめっぴんぐ」

JR 武雄温泉駅「顔はめっぴんぐ」は，株式－2－－２－AI を活用したインタラクティブなプロジェクションマッピング制作

49

行うことが目的の従来型の顔はめパネルと異なり，その観光地を知らない，訪れたことがない人への気付きを与えることが AI デジタ
ル顔はめパネルの目的である。そのため，特定の観光地に置かれるのではなく，観光誘致のハブとなる大都市での展示を想定している。
3-2-1 構成
本コンテンツは 450cm×180cm の投影用パネルと顔はめ用パネルが利用者にとっての図 1

インターフェースとなる。顔はめ用パネルの最初の投影物の形状案

前方には顔認識用の Web カメラが設置されている(図 2)。利用者の顔はリアルタイムに認識され，性別と年齢を 3 段階（子ども，成人，老人）で判別する。5 秒間の間に最も多く認識された結果を最終的な認識結果とし，利用者の属性と一致した観光地の動画が投影パネルに再生される。動画には認識された顔画像が合成され，利用者は自身の顔がはまった動画を閲覧及び撮影することができる。
図 2

作品の構成

3-2-2 AI による顔認識

図１は最初に考えた投影物の形状案を示し

本 研 究 で は ， TensorFlow 「 Google Inc.ている。円形にすることで顔をはめた本人も，（2015）」を使用し，CNN（畳み込みニュー同時に作品を楽しめるというアイデアである。

ラルネットワーク）により顔認識の実装を行

しかしながら，展示予定のイベント「Nomapsっている。認識のカテゴリは，上述した性別実行委員会（2018）」の開催に間に合わせるたと年齢の 3 段階の組み合わせで，「おとこのこ」

め，投影物の制作に時間が掛かり過ぎてしま「おんなのこ」「おにいさん」「おねえさん」うという理由から，最終的には，平らなスク「おじいちゃん」「おばあちゃん」の計 6 種類

リーンとし，Web カメラとプロジェクターをである。学習用顔画像はインターネットの画２台使用する次章で示す構成（図 2）とした。

像検索で約 6,000 枚を収集し，年齢の判別は目視で行うものとした。画像はカラー画像の3-2みを使用した。サイズは 64px×64px を最低

作品の詳細

AI デジタル顔はめパネルでは，利用者の顔サイズとし，顔部分のみトリミングした上で，画像を AI 認識し，判定されたステータス（年２層の畳込みを行った。

齢・性別）によって図柄が変化する。図柄はその顔の人におすすめの観光地が表示される。

3-2-3 投影する観光地の選定

顔はめ用の穴は２つあり，個人の年齢性別だ

AI デジタル顔はめパネルは，道内（主に札けではなく，どのような組み合わせで顔はめ幌市）でのイベントでの展示を想定しているを行ったかによっても表示結果が変化する。

ため，利用者に推薦される観光地は，北海道特定の観光地の図柄に顔をはめて写真撮影を内の地域に限定した。観光地は，活動内容別－3－－３－50

斎藤一・杉澤

愛美・長尾

光悦・安田

光孝・向田茂

参加回数因果構造モデル「尾高・日比野・森地（2011）」を元に選定を行った。このモデル
は，旅行者の属性（年齢・性別・配偶者の有無），旅行志向（旅行形態・実施日・観光地）
を元に，8 つに分類した主な観光活動に１人あたりどれだけ参加しているかを数値で表しているものである。この結果を参考に，北海

図 4

出力例

道で各活動内容に該当する観光地を選定した（表１）。

3-2-4 映像のデザイン
メインビジュアルは，北海道観光地をプロ

表 1 選定リスト

モーションするコンテンツであることが伝わるよう，青空・海産物・寒さを想起させる青と，自然・牧場・広大な原野を想起させる緑を使用した。本コンテンツは老若男女問わず利用されることが想定されるため，個人の好みが分かれにくいフラットな絵柄を採用した。
利用者の観光地への期待を高めるため，イメージを固定しすぎないようイラストのディテールはできるだけ省略している(図 3)。作成したイラストを元に，各観光地のアニメーション動画を作成した。観光地アニメーション動
画には観光地名とその見どころをテキストで表示している。図 4 は，AI による年齢層と性別の識別結果と合わせて表示した例である。
3-3

学生プロジェクトによる開発共著者の教員指導の下，以下の学生によるプロジェクトにより開発を進めた。
• プログラミング：稲船愛望• AI 用顔画像準備：金和輝• 映像・ポスターデザイン：田中海夕• Web 開発：中村翔太，阿部範之，鏡山大地
また，次章に述べる展示については，上記学生に加えて，以下の学生にも補佐を依頼した。
• 展示補佐：神戸竜人，木村拳，中島爽喜

4． 「No Maps」での展示と評価
本研究で制作した「AI×顔はめパネル ココ
図 3イコ！北海道」は，札幌市内中心部で 2018制作した観光地イラスト

年 10 月 10 日～14 日まで行われたクリエイテ－4－－４－

AI を活用したインタラクティブなプロジェクションマッピング制作

51

ィブコンベンション「No Maps」にて展示を行った。図 5 は展示の様子である。展示期間中，許可を得た参加者の認識結果を SNS に公開し，それと連動して結果を後から見ることができるサイト「中村・阿部・鏡山（2018）」を開発した（図 6）。ただし，このサイトは現在，2019 年度の改良版の展示に向けて調整中である。
図8

提案された観光地への興味関心の有無

本コンテンツの利用者は 5 日間の会期中374 名となり，内 83 名がアンケートに回答した。アンケート回答者の年齢層は 20～40 代が主で，男女比はほぼ同じ割合であった（図 7）。
居住地は道内の利用者が 7 割を占めた。これはイベント開催地が札幌市であることが影響している。
「ココイコ！北海道は楽しめましたか？」という質問に対しては，「とても楽しめた」「やや楽しめた」と回答したのは全体の図 5 展示の様子94％に上った。
「提案された観光地に興味をもちましたか？」という質問に対しては，「とても興味をもった」「やや興味をもった」と回答したのが全体の 74％となったが，「どちらでもない」と回答した利用者が全体の 22%という結果となった(図 8)。
比較的良い結果が得られたものの，エンターテインメントとしては楽しめたが観光地への興味・関心を抱くことはできていない一部の利用者が存在していることが分かる。原因
図 6の仮説として，年齢・性別の表示と観光地のSNS(Tumbler)と連携した Web サイト

アンケート調査とAI認識率の結果
䎃룳➿劢弫➿ 0㽿⡝㖑➿

➿



2040➿

性別にしか注目しておらず，自分がどこを推➿ ➿



薦されたのかが分からなくなってしまうとい‫➭ך׉‬ ➿



6080

う点が考えられる。年齢・性別表示と観光地推薦のタイミングを分けて表示させるという100

演出面の改善を行い，再検証を行う。また，麣ⰻ  0

紹介が同時に行われるため，利用者が年齢・Result4020麣㢩 6080

道内の利用者が多いことから，すでにその観光地を訪問しており，「新たな観光地への気付

100،ٝ‫؛‬٦‫ز‬㔐瘶 せ図 7き」を創出することが難しい例もあった。それとは対照的に道外の利用者については，知回答者の年齢層と居住地らない地名がでると非常に興味を持ち，その－5－－５－

52

斎藤一・杉澤愛美・長尾光悦・安田光孝・向田茂

地域の場所やどんな観光地があるかを知りた

ジェクションマッピングぬり絵ツールのがっている様子だった。対象となる地域の出開発」『ヒューマンインタフェースシンポ

身者ではない利用者をターゲットとした場所

ジウム 2014 講演論文集』, 第 2014-EC-32

での展示も視野に入れるべきである。

巻, 第 3 号, pp.1-4。

アンケートに回答された年齢・性別と AI[4] 小田島慧・柳英克（2017）「インタラクテの判定結果を比較し判定成功率を算出したとィブなプロジェクションマッピングによころ，成功率は約 30%という結果に留まった。

る文化財展示の提案」『情報処理学会イン判定結果が「おねえさん」と認識されるパタタラクション 2017』，pp.366-370。

ーンが多く，原因としては学習用の顔画像の[5] 日本電気株式会社（2017）「特別企画〜人内容や画像サイズが小さかったことが影響しの視線を AI がアートに〜「視線で花咲くているのではないかと考えられる。

アート展」」『NEC the WISE』
https://jpn.nec.com/ai/hanasakuart/

5． まとめ（2019 年 8 月 29 日）。
[6] 鶴田知子（2017）「人工知能搭載！リアル本研究では，AI を活用し，動的に内容が変に対話ができる最新プロジェクションマ化するプロジェクションマッピングの実現をッピングがキャナル博多に登場」『九州ウ目指して，「AI デジタル顔はめパネル」を制ォーカー』

作した。また，札幌市内のイベントにおいてhttps://news.walkerplus.com/article/122377/

展示を行い，アンケートによる効果検証を行（2019 年 8 月 29 日）。

った。その結果，エンターテインメントとし[7] スマートイルミネーション横浜実行委員ては楽しめたが観光地への興味・関心を抱く会（2017）「カオハメ・ザ・ワールド | SMART

ことはできていない一部の利用者が存在した。

ILLUMINATION スマートイルミネーショ

原因を年齢・性別に注目しすぎる点であるとン横浜」仮定し，観光地推薦を表示させるタイミング

http://smart-illumination.jp/program/kaohame

をずらすことで，再検証を行う予定である。

_the_world/（2018 年 9 月 20 日）。

また，認識率の向上の為，TensorFlow の構成[8] 杉澤愛美・斎藤一・長尾光悦・安田光孝・の見直しや，他の API（Microsoft 社の Azure向田茂（2018）「AI デジタル顔はめパネル

FaceAPI）の使用の検討も行う。

を用いた観光地プロモーションイベントの実施と評価」『観光情報学会第 18 回研究

参考文献発表会講演論文集』，pp.31-34。
[9] NoMaps 実行委員会（2018）「SAPPORO[1] ダイキン工業株式会社，チームラボ株式会社（2013）「雲プロジェクト」

CREATIVE CONVENTION NoMaps」

https://kumoproject.jp（2019 年 8 月 29 日）。

https://no-maps.jp（2019 年 8 月 29 日）。

[2] 神奈川はな（2018）「迫力満点！さっぽろ[10] Google Inc.（2015）「TensorFlow エンドツ

雪まつり「ファイナルファンタジー」のプーエンドのオープンソース機械学習プラロジェクションマッピングに行ってみた」

ットフォーム」https://www.tensorflow.org『ねとらぼ』，（2019 年 8 月 29）。
[11] 尾高慎二・日比野直彦・森地茂（2011）

http://nlab.itmedia.co.jp/nl/articles/1802/07/ne
ws127.html （2019 年 8 月 29 日）。

「観光統計の個票データを用いた旅行者[3] 熊谷賢二・向田茂・隼田尚彦・斎藤一・安属性と観光行動の特性に関する研究」『土田光孝（2014）「奥行き情報を用いたプロ

木学会論文集(D3, 土木計画学)』，第 67 巻，－6－－６－

AI を活用したインタラクティブなプロジェクションマッピング制作

第 5 号，pp. I_727-I_735。
[12] 中村翔太・阿部範之・鏡山大地（2018）「AI 顔はめパネル・ココイコ！北海道記念館」https://wine.do-johodai.ac.jp/aipm/（2018 年 10 月 14 日）。
謝辞

本研究は，平成 30 年度北海道情報大学学
内共同研究『AI を活用したインタラクティ
ブなプロジェクションマッピング制作』として行われました。

－7－－７－53