公立はこだて未来大学 2016 年度 システム情報科学実習
グループ報告書
Future University Hakodate 2016 System Information Science PracticeGroup Report

プロジェクト名
もえもえデジタルサイネージ 2045
〜人を動かすためのデザイン×認知心理×コミュニケーション〜

Project Name
MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

グループ名
グループ AGroup NameGroup A
プロジェクト番号/Project No.

9

プロジェクトリーダ/Project Leader
1014234

類家怜央

Reo Ruike

グループリーダ/Group Leader
1014055

名畑皓正

Terumasa Nahata

グループメンバ/Group Member
1014022

生櫻涼

1014055

名畑皓正

Terumasa Nahata

1014076

高村志穂

Shiho Takamura

1014099

樋口梨花

Rika Higuchi

1014234

類家怜央

Reo Ruike

Ryo Ikizakura

指導教員平田圭二，竹川佳成，田柳恵美子，寺井あすか

AdvisorKeiji Hirata，Yoshinari Takegawa，Emiko Tayanagi，Asuka Terai

提出日
2017 年 01 月 18 日

Date of Submission
January 18， 2017

概要
もえもえデジタルサイネージ 2045〜人を動かすためのデザイン×認知心理×コミュニケーション〜は，人を動かすためのサイネージを作成するプロジェクトである．本プロジェクトにおける「もえもえ」とは，「もっとエモーショナル，もっとエンターテイメント」の略語である．我々は「プロジェクションマッピング班」として，プロジェクションマッピングの技術とインタラクティブ性を取り入れたデジタルサイネージの開発を行った．研究目的や個人利用のために設置された未来大 3 階エレクトロニクス工房の電子グランドピアノに注目し，そのピアノにインタラクティブな映像を投影するシステムを開発した．まず，エレクトロニクス工房のピアノの利用状況について調査し，学生の利用がほとんど見受けられないという現状の問題を把握，ピアノの音とプロジェクションマッピングの映像との連動演出によって人を惹きつける
デジタルサイネージの開発を目的とした．システム開発にあたり，ピアノの投影に必要である
ホワイトボードシートを購入し，必要な投影部分の面に合わせてシートを切り，貼り付ける作業を行った．ピアノの各鍵盤の MIDI 信号を読み込み，弾いた鍵盤の位置情報をプログラム上で管理できるシステムを構築することで，連動演出を実現した．また，このシステムの有用性を確かめるべく，実証実験として実際のピアノ演奏による演示会とアンケート調査を行った．
その際に投影する映像内容は，演奏者との打ち合わせから曲のジャンル分けを行い，曲調と雰囲気に合う大まかなイメージをメンバーで話し合い決定した．投影映像は，PC のスペックと動作処理の関係から Processing で制作した．アンケート調査の結果，73% の来場者が利用したいと回答し，好評であった．より良くするための改善案を考えるため，利用したくないと回答した人の意見などを参考に班内で議論を行い，「演奏参加に対する精神的ハードルの低減」や「投影対象空間全体の参加者が魅力を感じられるシステムの考案」，「ラグや画質改善のためのシステム面の強化」，「継続的なコミュニティを形成させる方法の考案」という今後の展望がまとめられた．これらの展望を実装したシステムの開発を今後の課題とし，将来的にはエレクト
ロニクス工房のピアノが人々の新たな交流の場となることを目指す．
キーワード

デジタルサイネージ，プロジェクションマッピング，インタラクティブシステ

ム，公立はこだて未来大学，エレクトロニクス工房，ピアノ（※文責: 生櫻涼）

-i-

Abstract
Moe Moe Desigtal Signage 2045 〜Design for moving people × Cognitive psychology ×
Communication〜 is project to product signage for moving people. ”Moe Moe” in thisproject stands for More Emotional, More Entertainment. We as ”a projection mappinggroup,” developed the digital signage which adopted a technique of projection mapping
and an interactivity. We paid attention to the piano of future University Hakodate third
floor Electronics studio is put for purposes of study and personal use, and developed
the system which reflected an interactive image to a piano. At first, we investigated thesituation of utilization of the piano of the Electronics studio, and grasped that use of thestudent aren’t almost seen, and were aimed for development of the digital signage which
attracted a person by the interlocking performance direction with the sound of the piano
and the image of the projection mapping. Upon developing a system, we purchased thewhite board seat which was necessary for the projection of the piano and cut the sheet in
the aspect of the necessary projection part and worked to stick it on. We read the MIDI
signal of each keyboard of the piano and realized interlocking performance direction
by building the system which could manage the positional information of the keyboard
which played on a program. In addition, we carry out concert by demonstration byquestionnaire survey and playing the piano as a proof experiment in order to check theusefulness of this system. The image contents to reflect, we distributed a genre from themeeting with the player, and talked with melody about a rough image in accord withan atmosphere in our members and decided music. We produced the projection image
from specifications of our PC and relations of the operation process in Processing. 73%
of audiences wanted to use it as a result of questionnaire survey, we thought that it has
a good reputation. We argued our members in reference to the opinions of the person
who replied that they don’t want to use it to think about improvement plan to makea system better, the future prospects formed ”Reduction of the mental hurdle for theparticipation of the performance” and ”Conception of the system that fascination is felt
a participant of the whole space targeted for a projection”, ”Reinforcement of rags andthe system for picture improvement”, ”Conception of the method to form continuous
community”. We aim for the piano of the Electronics studio that becomes the place ofthe new interchange of people in the future.
Keyword Digital Signage，Projection Mapping，Interactive System，Future University Hakodate，Electronics Studio，Piano（※文責: 生櫻涼）

- ii -

目次
第1章

はじめに

1

1.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

現状における問題点と目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

課題設定

2

2.1

ピアノプロジェクションマッピングに至るまで . . . . . . . . . . . . . . . . . . .

2

2.2

昨年のプロジェクト内容を踏まえた考察 . . . . . . . . . . . . . . . . . . . . . . .

2

2.3

現状調査 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

第2章

2.3.1

設備担当の事務局員へのヒアリング. . . . . . . . . . . . . . . . . . . . .

3

2.3.2

ピアノの責任者である竹川准教授へのヒアリング . . . . . . . . . . . . . .

4

2.4

背景と目的の確立. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.5

スケジュールの決定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.6

プロジェクタの設置場所と設置方法，ピアノの位置の検討 . . . . . . . . . . . . .

5

課題解決のためのプロセス

7

作業過程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.1.1

6月 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.1.2

8月 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.1.3

9月 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

3.1.4

10 月 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

3.1.5

11 月 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

3.1.6

12 月 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

各自の課題割り当て . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.2.1

ベースシステムとコンテンツ内容の制作 (生櫻，高村，名畑，樋口，類家) .

10

3.2.2

動画制作 (名畑，類家). . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.2.3

A1 ポスターの作成 (生櫻，高村，名畑，樋口) . . . . . . . . . . . . . . . .

10

第3章

3.1

3.2

第4章

各人のコンテンツ制作における担当分課題とその評価

11

4.1

生櫻涼 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.2

名畑皓正 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

4.3

高村志穂 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

4.4

樋口梨花 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

4.5

類家怜央 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

成果

18

制作物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

5.1.1

設置方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

5.1.2

ピアノの加工 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

5.1.3

システム概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

第5章

5.1

- iii -

5.2

5.3
第6章

6.1

6.2

5.1.4

コンテンツ概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

5.1.5

コンテンツの切り替え . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

実証実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

5.2.1

演示内容・アンケート調査内容 . . . . . . . . . . . . . . . . . . . . . . . .

21

5.2.2

アンケート調査結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

課題と今後の展望

25

課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

6.1.1

制作システムに関する課題 . . . . . . . . . . . . . . . . . . . . . . . . . .

25

6.1.2

制作プロセスに関する課題 . . . . . . . . . . . . . . . . . . . . . . . . . .

25

今後の展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

6.2.1

制作システムに関する今後の展望 . . . . . . . . . . . . . . . . . . . . . . .

26

6.2.2

制作プロセスに関する今後の展望 . . . . . . . . . . . . . . . . . . . . . . .

26

付録 A

演示会紹介ポスター

28

付録 B

来場者（鑑賞者）向けアンケート

30

付録 C

演奏者（実証実験演示協力者）向けアンケート

31

付録 D

来場者（鑑賞者）向けアンケート結果詳細

32

付録 E

演奏者（実証実験演示協力者）向けアンケート結果詳細

34- iv -

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

第1章
1.1

はじめに

背景

我々のグループは，昨年のプロジェクトで扱われていたピアノプロジェクションマッピングに取り組みたいという考えのもとに結成された．活動内容については，前期の課題点やメンバーの意見をもとに，新しく考えることとした．前期に行ったサイネージ習作の取り組みでは，サイネージの前を通る人に対し情報を一方的に訴えかけるコンテンツであったため，後期では鑑賞者とデジタ
ルサイネージが相互にやり取りできるコンテンツを作りたいと考えた．また，対象となる環境の事
前調査を入念に実施し，正確な現状把握を行うということが課題であったため，ピアノプロジェク
ションマッピングの開発を始めるにあたり，投影の対象となる未来大エレクトロニクス工房内にある電子グランドピアノの設置状況について，設備担当の事務局員の方から話を伺うこととした．メンバーの意見から，立体的に投影できるプロジェクションマッピングとインタラクティブ性を融合した新しい用途を探究したいということ，人を惹き付けるような空間を作りたいということが技術的な背景として挙げられた．上記で挙げられた背景と「エレクトロニクス工房のピアノ使用者がいない」という問題点とのニーズが合致したため，ピアノプロジェクションマッピングのシステムを開発することに決定した．
（※文責: 生櫻涼）

1.2

現状における問題点と目的

現状の問題点は以下のことが挙げられる．エレクトロニクス工房のピアノの認知度を上げるために学生にピアノを知らせる機会を設ける必要があるということ，学生に利用したいと思わせるための魅力的な要素をピアノやエレクトロニクス工房に与える必要があるということ，システムを利用してもよいということを学生に知らせるため，気軽に体験できるようなアプローチを仕掛ける必要があるということの三つである．
上記の問題を解決させ，エレクトロニクス工房のピアノ利用者を増加させるための手段として，
ピアノプロジェクションマッピングは有効であると我々は考えた．プロジェクションマッピングによる魅力的な映像で人目を惹きつけ，ピアノとのインタラクティブ性による音と映像の連動という新たな楽しみを体感させることで，ピアノ利用者を増加させることができると考えたからである．
以上より我々は，ピアノの音とプロジェクションマッピングの映像の連動演出で，人を惹きつけるデジタルサイネージの開発を行うことを目的とした．また，システムの存在を認知してもらう，システムを体験してもらう機会を与えるため，ピアノプロジェクションマッピングを用いた実証実
験及び演示会を行うことを設定した．この演示会を通じて，学生に「エレクトロニクス工房のピアノを利用しに行こう」という行動変容を引き起こし，将来的にはエレクトロニクス工房のピアノを学生にとっての新たな交流の場にすることを目指した．
（※文責: 生櫻涼）

Group Report of 2016 SISP

-1-Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

第 2 章 課題設定
2.1

ピアノプロジェクションマッピングに至るまで

まず，我々は，プロジェクションマッピングを用いて課題解決を図ろうと考えた．これから取り組むべき案として最初に挙がったのが，ピアノプロジェクションマッピングであった．ピアノプロ
ジェクションマッピングは昨年のピアノ班「萌えぴっぴ」に引き続き，班のメンバー全員が取り組みたいと意見が一致した．その他に、本学１階スタジオ前の正面ガラスのブラインドを閉鎖し，巨大なゲームをプロジェクションマッピングするなど様々な案が出ていたが，まずはピアノプロジェ
クションマッピングについて考えることにした．
（※文責: 樋口梨花）

2.2

昨年のプロジェクト内容を踏まえた考察

ピアノプロジェクションマッピングに取り掛かるにあたって，まず，昨年のピアノ班の発表資料
内容を全員で共有しながら内容の理解を図った．
昨年のピアノ班では，研究利用，ピアノ部発足，学生利用という３つの理由で，ピアノがエレク
トロニクス工房に設置されたが，学生利用が少ないという背景であった．そして，ターゲットを「通行者」「演奏者」の２つに分けており、通行者には，通行者のピアノ利用への不安を払拭するピ
アノサイネージの提案を，演奏者には，工房内のピアノを弾いた演奏者をリピーターにするコンテンツの提案という目的をあげていた．この内容について，メンバー全員で話し合いを行ったとこ
ろ，昨年とは少し違った内容にしたいとの意見があがり，新たに背景や目的から見直していくことになった．また，昨年のプログラムについて，先生方や先輩方にお話を伺ったところ，最終発表に使用したプログラムが消失してしまっていたため，背景や目的を見直すと同時に，ピアノプロジェ
クションマッピングのシステムの基礎となる，ピアノからの MIDI 入力とプログラムの連携に関する作業を一から制作することになった．
（※文責: 樋口梨花）

2.3

現状調査

背景と目的の見直しのため，まずは，エレクトロニクス工房の現状を把握するべく，設備担当の事務の方と，竹川准教授に実際にヒアリングをすることになった．
（※文責: 樋口梨花）

Group Report of 2016 SISP

-2-Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

2.3.1

設備担当の事務局員へのヒアリング

日付は 2016 年 6 月 8 日 (水)，時間は約 90 分，場所は未来大の事務局入口付近のミーティング
スペースで行った．参加者は事務局員 2 名と班のメンバー 5 名であった．主な質問の内容は，以下の五つを事前に用意しておいた．

(1) なぜエレクトロニクス工房にピアノが設置されているのか(2) ピアノをエレクトロニクス工房から出すことは可能か(3) 現在の学生の利用状況はどうなのか(4) 施設担当者としては学生に使って欲しいか(5) どうしてこのピアノを選んだのか
事務局員 2 名の方に上記の質問をし，有意義な内容を得ることができた．

(1) なぜエレクトロニクス工房にピアノが設置されているのか，という問いに対しては，- 緊急時の避難経路などの問題で，現在の場所に置かざるを得ない- 可能な範囲で出入口に比較的近い所に設置した結果，現在の場所になったという回答を得ることが出来た．

(2) ピアノをエレクトロニクス工房から出すことは可能か，という問いに対しては，- 場所の移動は可能であるが，工房ミュージアムワーキンググループの審査などが必要になるため，数週間などの長い時間ではなく，何時から何時のように短い時間だと現実的である- エレクトロニクス工房の外に出す事は大変なので，移動するにしても工房内でモールから見える
位置が最善ではないかという回答を得ることが出来た．

(3) 現在の学生の利用状況はどうなのか，という問いに対しては，- 現状学生のピアノ利用はほぼゼロに等しい(4) 施設担当者としては学生に使って欲しいか，という問いに対しては，- 学生のピアノ利用が増える事は，ピアノを購入した側としてはピアノをもっと使って欲しいし，
工房ミュージアムワーキンググループ側としてはエレクトロニクス工房自体をさらにオープンな場
所にしてもっと使って欲しいという回答を得ることが出来た．

(5) どうしてこのピアノを選んだのか，という問いを事務局員 2 名にお伺いしたところ，ピアノを買うまでの経緯は，竹川准教授に伺うことを勧められたため，後日，竹川准教授にもお話を伺うことにした．

(6) また，事前に用意した質問事項以外に，現在のピアノの利用にあたっての遵守事項について- 新たなルールを提案したり，作り直す案を考えることは可能である- 授業のない放課後しか音は鳴らせない- 管理は必ず必要であるため，ピアノ使用時の工房職員の代わりを決めることが必要であるという回答を得ることができた．
事務局員へのヒアリングより，エレクトロニクス工房のピアノの設置位置は，現在の場所に置かざるを得ない理由があるため，演示の際に毎回移動しなければならないということがわかった．また，現在の学生の利用状況はゼロに等しいため，エレクトロニクス工房を有効に活用する企画に賛成との意見を得られた．

Group Report of 2016 SISP

-3-Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜（※文責: 樋口梨花）

2.3.2

ピアノの責任者である竹川准教授へのヒアリング

事務局員の方々へのヒアリングを終え，次に竹川准教授へのヒアリングを行った．内容は事前に以下の質問を用意した．

(1) ピアノの購入に至った理由は何か(2) 現在のピアノを選んだ理由は何か(3) ピアノをどのように使用してもらいたいか
日付は 2016 年 6 月 8 日 (水)，時間は約 30 分，場所は竹川研究室で行った．参加者は竹川准教
授と班のメンバー 5 名であった．

(1) ピアノの購入に至った理由は何か，という問いに対しては，- ピアノを使った研究の利用のため- ピアノや音楽が好きな人が多いため(2) 現在のピアノを選んだ理由は何か，という問いに対しては，- 未来大にはグランドピアノがなかったため，テクノロジーが活かされた現在の電子グランドピアノを購入したという回答を得ることが出来た．

(3) ピアノをどのように使用してもらいたいか，という問いに対しては，- 公開レッスンや，ミュージックキャンプの企画に活かしたい- 多くの学生に使ってほしい- 未来大のシンボルとなる常設展示にしてほしいという回答を得ることが出来た．
竹川准教授へのヒアリングより，テクノロジーを活かした未来大らしいピアノの使い方で，ピアノ利用の促進を目指したシステムの提案をすることになった．

（※文責: 樋口梨花）

2.4

背景と目的の確立

我々は，現状調査をもとに，目的を「ピアノの音とプロジェクションマッピングの映像の連動演
出で，人を惹きつけるデジタルサイネージの開発」とし，エレクトロニクス工房のピアノを使用したプロジェクションマッピングのシステムの開発を行うこととした．
（※文責: 樋口梨花）

Group Report of 2016 SISP

-4-Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

スケジュールの決定

2.5

スケジュールの調整に関しては，昨年のプログラムが消失してしまっていたため，一から制作することも考えに入れ，話し合いのもと，大まかに以下の日程で進行していくことになった．
〔9 月〕
・投影方法を考える．
・プロジェクタを真上に固定するのに必要な材料を集めて制作し，土台を完成させる．
〔10 月〕
・システム完成を目指す．
・21 日に高校生へのプレゼンを行う．
〔11 月〕
・ピアノ演示会の宣伝のための紹介動画制作
・11 日に，ピアノサークルと協力したピアノプロジェクションマッピング演示会を実証実験として行う．
〔12 月〕
・9 日に成果発表会．
（※文責: 樋口梨花）

プロジェクタの設置場所と設置方法，ピアノの位置の検討

2.6

我々は，ピアノの鍵盤，天板，床，脚，側面への投影を考えていた．投影個所を多く取るために，２台のプロジェクタを用いての投影を計画した．鍵盤への投影のためには，投影する鍵盤の形と実際の鍵盤の位置をぴったり合わせるため，できる限りプロジェクタをピアノの真上に設置しなければならなかった．真上からの投影は，当初，三脚を用いて行おうとしたが，高さが足りず，影が映りこんでしまうため，別の方法を考えることになった．そこで我々が考えた解決案は以下の四つである．

(1) キャンプ用テントを組み立てて，骨組みの真ん中に設置する (図 1)(2) ラックをピアノを覆うように組み立て，ラックに取り付ける (図 2)(3) エレクトロニクス工房の天井に吊るす (図 3)(4) 角研究室の一角をお借りし，柱にプロジェクタを固定する (図 4)
この解決案のうちどれが実現可能かについて竹川准教授に相談した．
まず，キャンプ用テントの案 (1) は，見た目が美しくないとの意見を頂いた．ラックをピアノを覆うように組み立てる案 (2) については，人とプロジェクタの位置が近くなってしまうため，熱に注意しなければいけなかった．また，エレクトロニクス工房の天井に吊るす案 (3) は，建物の構造上不可能であった．そこで，角研究室の一角をお借りし，プロジェクタを固定する案 (4) が現実的であるため，角研究室に交渉を行い，プロジェクタを固定させて頂くことになった．

Group Report of 2016 SISP

-5-Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

図1

テントの骨組みに取り付ける

図3

天井から吊るして取り付ける

図2

図4

ラックに取り付ける

角研究室の柱に取り付ける（※文責: 樋口梨花）

Group Report of 2016 SISP

-6-Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

第3章

課題解決のためのプロセス

3.1

作業過程

3.1.1

6月

• プロジェクションマッピング班の結成
後期の活動に向けて三つの班を作ることにした．我々のグループはプロジェクションマッ
ピングに興味・関心があるメンバーで結成された．グループリーダーは名畑，サブリーダー
は高村となった．

• コンテンツの案出しアイデア出しを行う中で，ピアノへのプロジェクションマッピングが全員一致の取り組み
たいテーマであったため優先的に行うことに決定した．

• 背景と目的の再検討のための事務局員へのヒアリング
昨年のピアノ班の発表資料内容を踏まえつつ，新たに背景や目的から見直していこうと考えた．現状を把握するため設備担当の事務局員へのヒアリングを行った．結果，学生のピア
ノ利用はほぼゼロに等しいこと，ピアノを購入した側としてはもっと学生に使って欲しいこと，事務局側としてはエレクトロニクス工房自体をさらにオープンな場所にして欲しいことが分かった．

• 竹川准教授へのヒアリング
事務局員へのヒアリング結果をもとに，購入責任者でもある竹川准教授にヒアリングを行った．結果，研究の一環として学生にも積極的にテクノロジーの活かされたグランドピア
ノを使ってほしいことが分かった．

3.1.2

8月

• オープンキャンパスへの参加
8 月 7 日にオープンキャンパスが行われ，本プロジェクトも参加した．三脚付きのプロ
ジェクタ 1 台を用いてピアノの鍵盤と天井に映像を投影した．プロジェクタは演奏者の真後ろに設置し，鍵盤への影が少なくなるように十分な高さを考慮した．高校生を中心にプロジェクトの概要や技術の説明と体験をさせた．

Group Report of 2016 SISP

-7-Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

3.1.3

9月

• 前期の振り返り
プロジェクト全体での振り返りを行った．前期を踏まえての課題点として，スケジュール
管理の徹底や設計前の分析・調査を行うこと，メンバー間での情報共有が挙げられたので後期はそれらの点を意識しながら活動することにした．

• プロジェクションマッピング班の方向性とスケジュール管理
班の方向性として昨年との相違点を考えながら，引き継ぐプログラムがないため 1 から制
作を行うこと，提案するだけではなくシステムを実装すること，検証実験としての発表の場を設けることの三つを今後の活動として決定した．これらの活動内容から，9 月から 12 月までの日付ごとのスケジュールを決定した．

• プロジェクタの設置場所と設置方法，ピアノの位置を検討
プロジェクタ 2 台を用いてピアノ天井と鍵盤，側面と床に投影したときに人影ができない
ことや光が映えやすいことを重点に場所を決定した．角研究室の一角を借りてプロジェクタを設置するにあたり竹川准教授を通して交渉を行った．

3.1.4

10 月

• プロジェクションマッピング班の活動目的
6 月に行ったヒアリングを考慮し，問題点と我々の目的を改めて整理した．結果，ピアノの音とプロジェクションマッピングの映像の連動演出で，人を惹きつけるデジタルサイネー
ジの開発を行うことを目的にした．その一例として，今回はピアノ設置場所のエレクトロニ
クス工房の利用者増加を計った．

• ベースシステムの完成
ピアノの各鍵盤の MIDI 信号を読み込むことで，PC 画面上に Processing で描写した鍵盤にも対応して変化させるシステムが完成．鍵盤を押すと，押した場所から画像が表示されるシステムも実装した．

• ホワイトボードシートの購入と貼り付け作業
ピアノ投影に必要であるホワイトボードシートを購入した．どのくらいの長さが必要かを検討するため，実際にピアノの表面積を調査した所，約 28412 平方センチメートルであることが分かった．予備としての長さも考慮し，縦幅 10 メートル，横幅 90 センチメートルのものを購入した．ピアノの必要な投影部分の寸法を一面ずつ測り，その面のサイズにホワイト
ボードシートを切り貼り付ける作業を行った．

• 演示会の具体化と演奏者との打ち合わせ
演示会での演奏者はピアノサークルの数名とし，時間帯はプロジェクションマッピングにGroup Report of 2016 SISP

-8-Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜
要する暗さと講義とかぶらないことを考慮した．10 月 26 日に演奏者 5 名と打ち合わせを行
い，演奏曲とリハーサルと本番の日程を決定し，時間帯の確認を行った．

• 市立函館高校の生徒への発表
10 月 21 日に市立函館高校の学生に向けたプロジェクト学習の発表を行った．スライドやデモンストレーションにより，活動内容や制作しているシステムの紹介をした．

3.1.5

11 月

• コンテンツ内容決定と制作
演奏者との打ち合わせで決定した演奏曲のジャンル分けを行った．クラシック系 3 曲，ポピュラー系 2 曲と分類し，それに伴って班内でも 1 人 1 曲を担当するようにクラシック系 3
名・ポピュラー系 2 名とグループ編成を行った．コンテンツ内容は曲調と雰囲気に合う大まかなイメージをメンバーで話し合い決定した．制作手法については Processing と After

Eﬀects が候補に挙がったが，PC のスペックと動作処理の関係から Processing で映像を作ることに決定した．

• 演示会リハーサルと本番
11 月 18 日に演示会リハーサルを行い，演奏者の見え方や演奏のしやすさの確認，曲の長さの計測を行った．本番までの課題として，演奏者の鍵盤の弾きづらさを改善すること，楽譜の設置場所を設けること，5 曲分のプログラムの合成，効率的な司会進行を考えることが挙げられた．11 月 25 日の放課後に演示会本番を行った．評価アンケートを傍観者に配り，後日集計した結果をメンバーで共有し今後の展望へとつなげた．

3.1.6

12 月

• 成果発表会の準備
成果発表会に向けて，A1 ポスターを 2 枚作成し，そのポスターに対してプロジェクショ
ンマッピングを行うためのプログラムを Processing で作成した．前期と同じように，全体でのスライド発表の後にポスターセッションという形式であったため，どのように説明するかを考え練習を行った．

• ビジネスプラン発表会への参加
北の 4 大学（公立はこだて未来大学，室蘭工業大学，小樽商科大学，帯広畜産大学）が集
まり，ピアノプロジェクションマッピングをビジネスプランとして考えた発表が札幌の赤れんが庁舎で行われた．本グループからは生櫻，高村，樋口が参加した．

（※文責: 高村志穂）

Group Report of 2016 SISP

-9-Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

3.2

各自の課題割り当て

3.2.1

ベースシステムとコンテンツ内容の制作 (生櫻，高村，名畑，樋口，類家)

ベースシステムとコンテンツ内容は Processing で制作した．ベースシステムにおいては類家が主に担当し，コンテンツ内容を作るうえでの土台となった．コンテンツ内容として，5 曲分の曲調・イメージに合わせてピアノの天板・鍵盤と側面・床に投影する映像を，各自の担当部分がかぶらないように連絡をこまめに取り合い制作した．

3.2.2

動画制作 (名畑，類家)

演示会中に再生し，システムの説明を行うための動画を作成した．撮影した動画を After Eﬀects
で編集し，技術や手法についての説明をテロップで表示させた．

3.2.3

A1 ポスターの作成 (生櫻，高村，名畑，樋口)

成果発表会で使用するため, Illustrator で A1 ポスターを 2 枚作成した．
（※文責: 高村志穂）

Group Report of 2016 SISP

- 10 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

第 4 章 各人のコンテンツ制作における担当分
課題とその評価
4.1

生櫻涼

6月
事務局員や竹川准教授へのヒアリングを行い，エレクトロニクス工房のピアノの現状や問題点を調査した．システム開発の前に，取り組む対象の現状や問題点をしっかりと調査したことで，背景や目的の他に，システムの対象となるユーザの決定につながる情報を得られた
ため，事前調査は非常に重要だと感じた．また，事前に質問内容を準備しておいたため，聞きたい要点をまとめられスムーズにヒアリングを行えた．

8月
オープンキャンパスで，サンプルプログラムを用いてピアノプロジェクションマッピングの演示を行った．大学に訪れた来場者をエレクトロニクス工房に誘導するため，チラシを配り，来場者に直接声をかけ演示について説明した．人を呼び込むのは非常に大変だったた
め，事前に予行練習を行い，イメージを持っておくことが重要だと感じた．演示では，ピア
ノプロジェクションマッピングの魅力を知ってもらうため，実際に体験してもらう機会を設けたが，演奏のハードルをなるべく下げるために自ら体験して見せることが必要だと学んだ．

9月
後期の活動スケジュールを全員で考え決定した．しかし，スケジュールの管理が甘く，多くの工程で予定よりも遅れがでてしまった．その原因として，おおまかな流れしか計画していなかったためと考えた．今後は具体的な内容を踏まえて計画を練るなど，事前に活動内容をより明確化しておくことが必要だと考えた．

10 月
活動目的や背景の決定に重点を置いた．担当教員との対談や班内での相談の場を多く設
け，早期決定に努めた．しかし，目的の候補が幾つかあり，どれを重視して目的を決定するか非常に難しく，かなりの時間がかかってしまった．この場面のように，なかなか進展が生まない場合は他の作業に切り替え，先に進む必要があると考えた．プロジェクタの投影がピアノに映るようにするため，ピアノの天板や側面などの形や長さに合わせてホワイトボード
シートを切り，貼っていく作業を行った．綺麗に映像が映るようにはなったが，活動にプロ
ジェクトの時間や放課後など多くの時間を割いてしまい，システム開発の時間が短くなってしまったのが反省である．

11 月
ピアノプロジェクションマッピングのコンテンツを作成した．ピアノの天板部分と側面部分の映像を，Processing を用いて作成した．鍵盤を弾いた際に発生する MIDI 信号をプログラム上で読み取り，新しい物体を書く，または映像を変化させるプログラムを書いた．メ
ンバーのプログラムを参考にすることができたため，スムーズに作業を行うことができた．
アンケート結果の鑑賞者の意見を分析し，システムの有用性や今後の課題を洗い出しまとめGroup Report of 2016 SISP

- 11 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜
た．事前にまとめておくことで，ポスター作成において結果を容易に書くことができ，非常に役にたった．

12 月
アンケートの結果と分析した課題をポスターにまとめた．前期の中間成果発表会では，途中言葉に詰まり上手く説明できなかったため，成果発表会の原稿とピアノプロジェクション
マッピングの発表練習をしっかりと行った．本番では原稿の流れに沿って発表でき，スムー
ズにかつ要点を踏まえながら説明することができた．途中，ジェスチャーを織り交ぜ説明
し，人の目を見て発表を行うことを意識することで，より聴衆者に伝わる発表になったと考えている．
（※文責: 生櫻涼）

名畑皓正

4.2
6月

グループリーダーとして今期はどのように進めていくかを考えた．しかし，漠然とした雰
囲気で進めてしまったので，はっきりさせるべきであった．
また，エレクトロニクス工房のピアノ利用の現状やピアノの設置目的などを知る必要があると考え，設備担当の事務局員や竹川准教授へのヒアリングを提案・実施した．結果的に，「エレクトロニクス工房のピアノ利用者の増加」という課題に対し，下調べを行ったことでよりはっきりと問題意識を持つことができ，解決方法を探りたいというモチベーションの向上に繋がった．

8月
オープンキャンパスで，数回ピアノを弾き演示を行った．見学に来た高校生などの来場者が弾きたいと言った場合には，実際に弾いてもらいながら仕組みを簡単に説明した．自分で演示を行う際には，来場者のリクエストにできるだけ応じて演奏するなどの工夫をしたため，親しみを感じてもらうことはできたように思う．

9月
大まかな役割分担を設定したが，負担がメンバー内で偏る結果となってしまったため，
もっと慎重に考慮し設定すべきであった．
昨年からどのように発展したのかをはっきりさせることを重要視しながら，目的や開発内容を考えていった．まずは，検証実験として演示会を行うことを設定した．
またこの時点では，ピアノ以外にもプロジェクションマッピングをするなど，更に先に進んだ内容にも踏み込みたいと考えていたが，以降それらを実装するまでの余裕は無く，結果的にそれらのアイデアは果たせなかった．

10 月
ピアノに貼るためのホワイトボードシートを切り，丁寧に貼っていった．数ミリ程度ずれてしまった箇所があったが，そこよりも投影プログラム制作の方が優先度が高かったためその修正は最小限しか行わなかった．
実証実験協力者であるピアノサークルの 5 名との話し合いを実施，演示会の全体概要の説
明や，日程，演奏曲の設定などを行った．基本的には話し合いはスムーズに進行したが，もう少し丁寧に目的などの詳細を説明したほうが親切であった．

Group Report of 2016 SISP

- 12 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜
11 月
実際にピアノに映像を投影する段階で，丸みのあるピアノ天板に合った形の映像にするプ
ログラムを，Processing の PGraphics でマスクを利用し少しずつ調整しながら制作した．
これは，ぴったりと形を合わせることができた．
そして，RPG ゲームをモチーフにしたパターン，星空をイメージしたパターンの 2 パ
ターンの投影映像を制作した．どちらもできるだけ多くの投影面をインタラクティブに動くようにしたため，好評であった．
また，リハーサルで新たに見出された課題である演奏者が楽譜を見たい場合について考え，天板に白い四角を投影しそこに楽譜を置いてもらうことで対処するという方法を提案し実装した．しかし，演奏者にとっては提案方法でも楽譜が見えにくいため，更なる工夫の余地が大いにある．
次に，アンケート内容を考え，制作し印刷した．アンケート調査から得られた結果は，目的と噛み合わず成果発表会においてあまり効果的に利用できなかったため，何が調べたいのかをもっとはっきりとさせておくべきであった．
演示会当日の休憩時間に流しておくためにこのシステムを説明する動画を After Eﬀectsで制作した．素材は自作の音楽とスマートフォンで録画した投影テスト時の映像である．また，会場の出入り口付近に貼るための演示概要紹介ポスターを PowerPoint で制作した．これらにより，来場者や会場周辺を通過した人に，何を演示しているのかをより伝えられた．
演示会当日には，アンケートの配布・回収や映像調整を行った．実際の投影はズレが発生してしまったため，悔いの残る結果となった．WindowsPC でぴったり投影位置を決めておいたプログラムであったが，本番で使用した MacPC では少し違う位置に表示されてしまった
ため，PC の違いに原因があるのではないかと考えられる．

12 月
成果発表会に向けたポスターを制作した．まずは一枚目の背景・目的・システム概要の原案を，伝えたいことは何かを意識しながら作っていった．文字数が多くなってしまったが，最終的には他のメンバーがその内容を簡潔にまとめてくれた．次に二枚目の実証実験・今後の展望について考えた．アンケート結果と目的達成との関係があまりはっきりしていなかったため，実証実験アンケートについては，本システム体験願望の有無と自由記述で多かった意見をまとめた．そして，その自由記述で多かった意見や実証実験後のメンバー内での議論
から，大きく課題を四つ設定し，それぞれに対応した今後の展望を考え記述していくスタイルをとった．少し文字数は多いが，伝えたいことは見やすくまとまった．
また，効果的な発表を行うために，ポスター自体へのプロジェクションマッピングを考案
し，実装した．具体的には，ポスターの縁を様々な色に変化させる映像を Processing で描
画，タイトルロゴの一部であるピアノの鍵盤の色が変化するという映像を After Eﬀects で作成し Processing で表示させた．結果，ポスターの読みやすさは少しだけ下がってしまっ
たが，インパクトがあって綺麗と好評であった．
成果発表会では，発表の補足と，発表を見に来た人の中に体験希望者が居なかった場合の実演を行った．また，足元に配線が多くあったため，転倒防止にテープを貼るなどして対処
し，プロジェクタの位置が変わると映像がずれてしまうため，人が触れないように椅子を置
くなどの工夫をした．それらのことは，当日ではなく事前に考慮しておくべきであった．
（※文責: 名畑皓正）

Group Report of 2016 SISP

- 13 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

4.3

高村志穂

6月
事務局員や竹川准教授へのヒアリングで背景や目的，ユーザー設定の決定につながる情報が得られた．どのような質問をすれば我々が考える上でヒントになる情報がもらえるのか，
会話をスムーズに進めるためには何を行えばいいかを考えた．事前に質問内容を準備することや思いついた疑問を話題が終わらないうちに聞くことが，会話を円滑に進めたり新たな情報を得る際に重要だと感じた．

8月
オープンキャンパスでは当日作成したチラシを配って来場者を誘導したり，聞きに来た人への活動説明を行った．多くの人にピアノプロジェクションマッピングの魅力を知ってもらうために，積極的に声をかけにいき高校生・保護者に体験してもらうように心がけた．製作者側が楽しさを身振り手振りで伝えること，その後ユーザー側に触れさせ体験させることが知ってもらうための最適な流れであると感じた．

9月
前期の反省を活かし，後期ですぐにスケジュールを全員で考え管理した．しかし，内容をあまり具体化せずに大まかな流れだけ決めてしまったため，最終的にスケジュールを無視して作業を行っていた．我々でやるべきことの明確化をしっかりしてからスケジュールを立て，管理をすることをサブリーダーとして行うべきだったと感じた．

10 月
活動目的や背景を考えること，調査分析に重きを置いた．担当教員との話し合いや相談の場を多く設け，我々の理解を深めていった．前期での反省を踏まえて調査分析に力を注いでいたが，その後の作業効率を考えると時間を取り過ぎたと感じた．目的と照らし合わせながら全体把握に努めるべきだと考えた．ホワイトボードシートを使用したピアノへの加工も予定したスケジュールより時間を割いてしまい，放課後などの各自の空き時間を使って貼り進めていった．積極的に貼る場所を考え，各面の寸法を測り丁寧に貼ることを心がけた．結果
として，満足のいく出来栄えになったため達成感を感じた．

11 月
コンテンツ内容はピアノの側面・脚・床を担当した．私は多様なジャンルを表す側面・脚の部分を 5 つ，床の部分を 5 つ，合計 10 個のプログラムを Processing で制作した．他のメンバーが考えたピアノの天井・鍵盤と合成する際には雰囲気が似通っているプログラムを使用し，まとまりのあるものに仕上げた．Processing は苦手であったため，人より早くコンテンツ制作に取り掛かった．コードの書き方が上手な人を調べて参考にし，自分のコードにどのように応用できるかを考え作成した．結果的に，班内で自分の書いたコードが参考として使用された．

12 月
成果発表会に向けてポスター制作を担当した．Photoshop を用いて画像処理や画像生成を行ったり，Illustrator を用いてポスターのレイアウトを整えたり図解を行った．また，ピ
アノプロジェクションマッピングをモチーフとして「MOEMOE」のロゴマークを制作した．ポスター素材として画像を使用するため解析度を高めたりコントラストをはっきりさせたり，見ている人にとって違和感のないようなレイアウトに努めた．ブラッシュアップをGroup Report of 2016 SISP

- 14 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜
繰り返して，全体として見やすくはなったが強調したい箇所をもっと強調できたと感じた．
発表当日のポスターには訂正箇所が見受けられたため，入念にチェックを行うべきだと学んだ．
（※文責: 高村志穂）

4.4

樋口梨花

6月
6 月にプロジェクションマッピング班が結成された．昨年のプロジェクトで扱われていた
ピアノプロジェクションマッピングに興味を持ったメンバーが集まった．私は，昨年のピア
ノプロジェクションマッピングと少し異なり，インタラクティブで視覚的に美しいと感じる
演出にこだわった制作を行いたいと考えていた．全員で話し合いを行い，やりたい内容が一致し，今年度は昨年と背景や目的を変えて，ピアノプロジェクションマッピングを一から制作にあたった．また，背景と目的の再検討のため，事務局員や竹川准教授へのヒアリングを行った．そのヒアリングを通して，エレクトロニクス工房の学生の利用が少ないことや，その施設内のピアノも利用されていないことを知った．エレクトロニクス工房は，学生の研究や制作の場所として十分な設備が整っている施設であるため，私はこのプロジェクトを通して，エレクトロニクス工房の有効な活用方法の一つとして提示できると考えた．

8月
8 月 7 日のオープンキャンパスでは，実際にピアノを弾き演示を行った．高校生を中心にプロジェクトの概要や技術の説明と体験を行ったところ，実際にピアノに触れる生徒や，システムの仕組みに興味を持つ生徒など，良い反応を得ることが出来た．このオープンキャン
パスを通して，我々のプロジェクトの意義をさらに実感することが出来た．

9月
後期のプロジェクト活動が始まってすぐに，作業分担と，スケジュール調整を行った．しかし，日程の差し迫った中で，一から基となるプログラムの制作を行わなくてはならず，その制作の分担を正しく行えないまま一人に負荷をかける形になってしまった．後に話し合いの末，各自の分担を見直すことが出来た．ここでの自分の反省点は，周りを見渡す目をもつべきであったこと，メンバー一人ひとりへの声掛けが足りなかったと実感した．今後同じよ
うな事が起こらないようにするには，作業を必ず複数人で請け負い，作業ごとの責任者を決めて全体の状況を全員で把握できるようにすることであると学んだ．

10 月
ピアノにホワイトボードシートを貼る作業を行った．プロジェクト時間内に作業を終わらすことが出来なかったため，時間外もこの作業に追われることになった．また，ピアノサー
クルの 5 名の演奏者との打ち合わせを行い，演示会の全体概要の説明や，日程，演奏曲の設定などを行った．

11 月
投影内容制作にあたって，当初，私は After Eﬀects を使用した，コンテンツの背景映像の制作に取り掛かっていた．映像制作は初めてであったため，参考動画で学びながら，星空をイメージした映像や，文字のエフェクトを取り入れた映像を作っていた．しかし，PC のスペックと，動作処理の関係より，途中から Processing での動画制作に参加した．制作し，Group Report of 2016 SISP

- 15 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜
使用されたプログラムは，打鍵に対応して色々な色の光が鍵盤の部分から天板へと流れるものであった．私はもともとプログラムを書くことに苦手意識があったが，今回のプロジェク
トで少しでも前向きに向き合うことが出来たと感じている．しかし，自分の力不足によって思うように貢献が出来なかった．他のメンバーの力になれず，不甲斐なさを感じた．これはしっかりと吟味し，今後の自分の課題としていきたい． 演示会当日には，司会進行，アン
ケートの配布・回収を行った．司会進行は，プレゼン発表などで大勢の前で話をした経験が多かったため，当日の急な役決めであったが，役目を果たすことが出来た．

12 月
成果発表会に向けたポスターを制作した．背景・目的・システム概要の原案を，もとにポスターを制作した．文字数が多かったため，文字の大きさや配置などの見やすさと情報をいかに詰め込むか苦戦した．情報デザインコースで学んできたことを活かしたかったため，
フォントサイズや図解など些細な部分まで配慮し，本番直前まで細部の調節を行った．
（※文責: 樋口梨花）

4.5

類家怜央

6月
工房のピアノの利用状況について事務局員や竹川准教授にヒアリングを行った．利用状況はあまり良くないこと，利用者が増えることは好ましいと考えていること，利用希望者が増えることによって利用する際のルールを見直す可能性があることなどを聴くことができたた
め，背景，目的，対象が明確になったと考えた．また，並行して Processing でプロジェク
ションマッピングの基礎となるシステムの制作を開始した．Processing は使用したことがあったが，プロジェクションマッピングは行ったことがないため，インターネットで動画を見るなどしてどのようなものか理解を深め，実際に行うために必要な物や仕組みを調査した．

8月
オープンキャンパスへ参加し，竹川准教授の模擬授業の一環としてプロジェクションマッ
ピングをしたピアノでのデモ演奏を担当した．模擬授業の開始前からピアノに興味を持った
来場者は多かったが，実際にピアノに触れる人の割合はあまり多くなかった．模擬授業の終了後にはより多くの人がピアノに触れていたので，デモ演奏の効果はあったと考えた．

9月
Processing で MIDI の取得方法の調査，実装をした．MIDI の取得はライブラリを使用することによって手軽に行えることが分かった．しかし，Processing のバージョンによって対応しているライブラリとしていないライブラリがあり，どのライブラリを使用するかを調査するために多くの時間を要してしまった．ライブラリを使用することで，MIDI の取得は完了したが，プロジェクションマッピングの部分と統合させる際にエラーが発生し，エラーの原因の解明と訂正までは終わらせることができなかったため，調査を続行した．

10 月
9 月に発生したエラーの原因が判明し，修正をした上で MIDI 取得部分とプロジェクショ
ンマッピング部分の統合を行った．これにより，ベースシステムが完成した．また，ピアノの天板と鍵盤以外に側面と床にもプロジェクションマッピングを行うことになったため，完Group Report of 2016 SISP

- 16 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜
成したベースシステムを流用し修正を加えることで側面と床への投影に対応させた．また，
市立函館高校見学に伴う発表にて，プロジェクト全体とプロジェクションマッピング班の発表を担当した．デモが多いことから，プロジェクト全体の発表時間と各グループの発表時間のバランスを考え本番に臨んだが，少し時間が余ってしまったため，もう少しプロジェクト全体の説明に時間を多く使用するべきだったと感じた．

11 月
プロジェクションマッピングにおける各コンテンツごとの切り替えを実装した．しかし，コンテンツごとの差異への対応が難しかったために切り替えはうまく行かず，失敗した．差異への対応方法を調査，提案したが実装までの時間が足りず，コンテンツの切り替えはプロ
グラムごと切り替えることで対応することとなった．また，演示会では，プロジェクション
マッピングに使用するコンピュータの操作を担当した．

12 月
プロジェクトの内容と成果発表会について，FM いるかのラジオ番組に出演し，広報活動を行った．また，PowerPoint を用いて，成果発表会で使用するスライドを作成した．これは中間発表で使用したスライドを改良する形だったが，前期の内容と後期の内容が大きく異なるためにほぼ作り直すこととなった．成果発表会では，プロジェクト全体の発表とピアノのデモ演奏を担当した．
（※文責: 類家怜央）

Group Report of 2016 SISP

- 17 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

第 5 章 成果
5.1

制作物

後期で我々は，Processing を用いたピアノへのプロジェクションマッピングシステムの制作を行った．実際に制作したシステムをエレクトロニクス工房に設置した．
（※文責: 類家怜央）

5.1.1

設置方法

プロジェクタ 1 を用いてピアノの鍵盤と天板に投影を行った．設置方法として，プロジェクタを
ピアノの真上の天井にある柱へ固定することを考えていたが，プロジェクタを支えるだけの強度があるか，また固定するための金具の取り付けが困難であるということから断念した．最終的に，2.6 で述べた検討を踏まえ，エレクトロニクス工房の中の角研究室の研究スペースの柱にプロジェ
クタを取り付け，固定する形となった．この柱はプロジェクタを取り付けるための専用の金具を用いることで，手軽かつ頑丈に取り付けることができる特殊なものとなっている．我々は専用の金具を購入し，柱に取り付けようとした．しかし，プロジェクタ側に取り付ける金具が欠損していた．
追加で入手するためには多くの時間がかかってしまうことから，手持ちの金具を組み合わせ，プロ
ジェクタの下側にやぐらを組む形で取り付けて代用した．柱の真下にピアノは設置不可能であるため，ピアノを動かしてプロジェクタから斜め上から投影することとなった．床と脚と側面に投影するプロジェクタ 2 は，三脚に取り付けて床に設置した．（図 5）

図5

機材配置

（※文責: 類家怜央）

Group Report of 2016 SISP

- 18 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

5.1.2

ピアノの加工ピアノは鏡面仕上げとなっているため，そのままでは投影した映像を反射してしまう．そこで我々はピアノの側面に白いシートを貼り付けることで対応した．最初は静電気で貼り付くシートを使用した．これはピアノへの貼付けは容易であるが，皺ができてしまう．次は粘着タイプのシートを使用した．これはピアノへの貼付けは少し難しいが，皺は少ない．貼り付ける際は，貼り付ける
幅よりも少し大きめに切り出し，はみ出た部分を内側に折り込むようにした．しかし，数日後に折り込んだ部分から剥がれ始めたため，貼り付ける幅よりも少し小さめに作り直した．これにより剥がれることはなくなった．
（※文責: 類家怜央）

5.1.3

システム概要プロジェクションマッピングシステムの概要は，大きく分けて以下のような流れになる．（図 6）

1. ピアノから MIDI 信号を取得
2. MIDI 信号を Processing に入力
3. 入力された信号に応じて処理
4. プロジェクタからピアノへ投影

図6

システムの流れ（※文責: 類家怜央）

MIDI 信号の取得
MIDI 信号の取得は，最初はピアノの MIDI 端子とパソコンの USB 端子を YAMAHA 社のUX16 という USB-MIDI インターフェースと MIDI 分配器で接続することで行っていた．しかし，それではプロジェクションマッピングをした際にケーブルの部分が影になってしまい，外観を損なっていた．そこで我々は，YAMAHA 社の MD-BT01 という，MIDI 端子に接続することにより Bluetooth 通信で MIDI 信号を送信できるアダプタを使用することにした．これは iOS かMacOS のみの対応となっていることから，類家が所有している MacBook Pro を使用した．
Group Report of 2016 SISP

- 19 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜（※文責: 類家怜央）

Processing への入力
Processing への MIDI 信号の入力は，MidiBus というライブラリを使用した．Processing でMIDI を扱えるライブラリは proMIDI など複数あるが，Processing3 のバージョンに対応しているものは少ない．このライブラリは対応していたため，使用することとした．
（※文責: 類家怜央）

Processing の処理
Processing に入力された MIDI 信号に応じて，画面内の鍵盤を光らせる，画面内のピアノの天板に画像を映し動かす等の効果を設定した．これは複数の鍵盤を同時に押した場合は複数の効果が同時に発生するようにした．またピアノの各部位の形に合わせた形にするため，keystone というライブラリを使用して射影変換を行った．このライブラリを使用することで，射影変換後の座標の保存が可能となり，ピアノを移動させた際に再度調整を行う手間が減り，負担の軽減に繋がった．
（※文責: 類家怜央）

ピアノへ投影ピアノへの投影は，HDMI ケーブルで接続したプロジェクタと VGA ケーブルで接続したプロ
ジェクタの二台で行った．HDMI ケーブルで接続したプロジェクタはピアノの鍵盤と天板，VGA
ケーブルで接続したプロジェクタはピアノの側面と床に投影した．コンピュータのディスプレイ拡張機能を使用することで，それぞれ別々のコンテンツを投影した．また，HDMI ケーブルで接続したプロジェクタは上下反対に固定されているため，画面を反転させることで対応した．
（※文責: 類家怜央）

5.1.4

コンテンツ概要

コンテンツはピアノの鍵盤と天板，側面と床の二種類一組で構成されている．これを合計五組用
意した．
鍵盤と天板のコンテンツ
鍵盤と天板への投影はグループの結成時から予定されていた．このコンテンツは主に演奏者が目にする機会が多い．特に鍵盤は演奏する際に大きく関わるものなので，視界を妨げないように大きな動きや派手な色使いを使用しないようにした．当初は鍵盤を押していない状態でも光り，押した
鍵盤の色が変わるようにしていたが，実際に使用した際には光と鍵盤の形との微妙な違いから演奏し辛くなってしまったため，押した鍵盤のみ光るようにした．天板は，ピアノの中でも最も特徴的な形であり，天板の形に沿ってコンテンツを表示することが困難であった．そこで天板の写真を撮り，天板の形にあわせたマスク画像を作り，プログラムでマスキング処理を行うことで対応した．
（※文責: 類家怜央）

Group Report of 2016 SISP

- 20 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

側面と床のコンテンツ
側面と床への投影は，鍵盤と天板の投影用のプログラムの基礎が完成してから決定した．MIDI
信号への対応，複数箇所への投影の部分は実装が完了していたので，プログラムを流用する形で制作した．当初は側面に文字を表示することで，宣伝や演奏会の際には曲の情報を表示させる予定だった．しかし，文字に注目することで他のコンテンツが見づらくなってしまうことから側面も映像等のコンテンツを表示することとした．鑑賞者は演奏者の手元が見づらいという点から，鍵盤を床にも投影し，演奏者が押している鍵盤と同じ場所を光らせることで，指先の動きの代わりに見えるようにした．またピアノの下の床は円形の光を表示するなど，床以外のコンテンツとの親和性を高めるようにした．
（※文責: 類家怜央）

5.1.5

コンテンツの切り替え

コンテンツの切り替えは，パソコンのキーボードやピアノの鍵盤を特定の順番で操作するなど，手軽な形で切り替える事ができるようにする予定だった．切り替えの実装は完了したが，コンテン
ツごとに投影する箇所や数に微妙な差異があり，それに対応するには時間がかかってしまうことから断念した．最終的にはプログラムを切り替えることでコンテンツを切り替えることとなった．
（※文責: 類家怜央）

5.2

実証実験

制作したシステムの実証実験として，2016 年 11 月 25 日の 18 時 30 分から 20 時の間，公立はこだて未来大学 3 階エレクトロニクス工房にて，演示会とアンケート調査を実施した．日程は，後述する演示協力者との話し合いと，制作の進捗具合から設定した．時間は，エレクトロニクス工房
での音出しが可能な 18 時以降で，学生の講義終了時間や実装準備時間を考慮し 18 時 30 分開始，帰宅のためのバスの最終時間や演示時間を考慮し 20 時終了と設定した．
（※文責: 名畑皓正）

5.2.1

演示内容・アンケート調査内容

実証実験では，未来大ピアノサークルの有志 5 名に演示協力者としてピアノを演奏していただいた．一人一曲ずつ，合計 5 曲を演奏してもらい，それぞれの曲にあわせた 5 パターンのピアノプロ
ジェクションマッピングの演示を行った．投影する映像内容は，演奏曲の一つである「小犬のワルツ」の映像では犬の足跡をモチーフにするなど，それぞれの曲調や曲の背景に合うイメージをメンバーで話し合い決定したものである．演奏中はエレクトロニクス工房内を消灯し，投影を見やすくした．一曲終了ごとにプログラムの切り替えや投影調整を兼ねた数分の休憩を設け，その間は電灯を点けた．また，休憩時間中はシステムを説明する動画をピアノプロジェクションシステムには使用しない他の PC の画面で再生した．なお，演示中の会場の出入りは自由とした．出入り口付近に掲示した演示会概要や演奏曲を紹介するポスターは，付録 A としてこの報告書の巻末付録に掲載

Group Report of 2016 SISP

- 21 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜
している．開始数分はピアノの近くに来場者が座るための椅子を設置していたが，その位置で椅子に座ると天板を真横から見ることになり内容が伝わりにくいと判断したため，途中からピアノ近くの椅子を撤去し，立ち見形式にした．演示終了後には，来場者が誰でも自由にピアノに触れてもらいシステムを体験できる企画を設けたが，その時間になると人が少なくなっており参加者は 2，3名程度だった．また，演示と並行して来場者と演奏者にアンケート調査を行った．アンケート内容は以下の通りである．実際に配布したアンケートを付録 B，C として巻末に掲載している．
来場者（鑑賞者）向けアンケート

1. 今回の発表会について知る以前に，エレクトロニクス工房にピアノがあることを知っていたか（知っていたし利用したことがある，知っていたが利用したことはなかった，知らなかったの三つから選択）

2. エレクトロニクス工房のピアノに限らず，ピアノを弾きたい・弾いてみたいと思うか（そう思う，ややそう思う，どちらともいえない，あまりそう思わない，そう思わないの 5 段階から選択）

3. 今回の発表会を観て，エレクトロニクス工房のピアノを今後は利用してみたい，または，今以上に利用したいと思ったか（そう思う，ややそう思う，どちらともいえない，あまりそう思わない，そう思わないの 5 段階から選択）また，その理由は何か（自由記述）

4. エレクトロニクス工房のピアノに今回の発表会で使われていたプロジェクションマッピングが常設されたとしたら，利用してみたいか（そう思う，ややそう思う，どちらともいえない，
あまりそう思わない，そう思わないの 5 段階から選択）また，その理由は何か（自由記述）

5. その他の意見（自由記述）

演奏者（実証実験演示協力者）向けアンケート

1. 今回の発表会について知る以前に，エレクトロニクス工房にピアノがあることを知っていたか（知っていたし利用したことがある，知っていたが利用したことはなかった，知らなかったの三つから選択）

2. 今回の発表会で演奏して，エレクトロニクス工房のピアノを今以上に利用したい，または，今後は利用してみたいと思ったか（そう思う，ややそう思う，どちらともいえない，あまりそう思わない，そう思わないの 5 段階から選択）また，その理由は何か（自由記述）

3. エレクトロニクス工房のピアノに今回の発表会で使われていたプロジェクションマッピングが常設されたとしたら，利用してみたいか（そう思う，ややそう思う，どちらともいえない，
あまりそう思わない，そう思わないの 5 段階から選択）また，その理由は何か（自由記述）

4. 今回の発表会で使われていたプロジェクションマッピングは演奏に支障をきたしていたか（そう思う，ややそう思う，どちらともいえない，あまりそう思わない，そう思わないの 5 段
階から選択）また，その理由は何か（自由記述）

5. その他の意見（自由記述）（※文責: 名畑皓正）

Group Report of 2016 SISP

- 22 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

5.2.2

アンケート調査結果

来場者アンケートは 30 名，演奏者アンケートは 3 名からの回答を得られた．結果を大まかにまとめると以下のようになった．また，付録 D，E として結果の詳細を掲載している．
来場者（鑑賞者）向けアンケートの結果

1. 今回の発表会について知る以前に，エレクトロニクス工房にピアノがあることを知っていたかとの質問では，67% の 20 名が知っていたと回答したが，利用したことがある人は一人もいなかった．

2. エレクトロニクス工房のピアノに限らず，ピアノを弾きたい・弾いてみたいと思うかの質問
では，64% の人がそう思う，ややそう思うと前向きな回答をした．

3. 今回の発表会を観て，エレクトロニクス工房のピアノを今後は利用してみたい，または，今以上に利用したいと思ったかについては，そう思う 3 名，ややそう思う 8 名，どちらともい
えない 9 名，あまりそう思わない 7 名，そう思わない 3 名と，回答が分かれた．あまりそう思わない・そう思わないと回答した人の理由としては，ピアノを弾けないからというものが多かった．

4. エレクトロニクス工房のピアノに今回の発表会で使われていたプロジェクションマッピングが常設されたとしたら，利用してみたいかとの質問では，そう思う 7 名，ややそう思う 15
名と，73% の人が前向きに回答した．前向きな回答をした人の理由は，綺麗，面白そう，楽しそうなどといった，このシステムに魅力を感じるというものが多かった．

5. その他の意見としては，エレクトロニクス工房自体に入りやすければピアノを弾く気になる
人が多そう，座って見せてしまうとピアノ側面の映像しか見えずもったいない，また開催して欲しい，などがあった．

演奏者（実証実験演示協力者）向けアンケートの結果

1. 回答した 3 名は，今回の発表会について知る以前に，エレクトロニクス工房にピアノがあることを知っており，利用したこともあった．

2. 今回の発表会で演奏して，エレクトロニクス工房のピアノを今以上に利用したい，または，今後は利用してみたいと思ったかに関しては，ややそう思うが 1 名，どちらともいえないが2 名であった．
3. エレクトロニクス工房のピアノに今回の発表会で使われていたプロジェクションマッピングが常設されたとしたら，利用してみたいかとの質問では，そう思うが 1 名，ややそう思うが

1 名，どちらともいえないが 1 名という回答だった．
4. 今回の発表会で使われていたプロジェクションマッピングは演奏に支障をきたしていたかに
ついては，3 名ともややそう思うと回答した．打鍵と映像とのラグや，楽譜を使いたい場合の対処方法，鍵盤の見づらさが理由であった．

5. その他には，緊張したが楽しかったとの回答も得られた．
（※文責: 名畑皓正）

Group Report of 2016 SISP

- 23 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

5.3

評価

実証実験でのアンケートでは過半数の人が前向きな回答を寄せた．また，演示会の最中にも来場者から前向きな意見をもらったり，この演出に魅力を感じるという内容の感想を直接聞くことができた．よって，ピアノの音とプロジェクションマッピングの映像の連動演出で人を惹きつけるデジ
タルサイネージの開発を行うという当初の目的は概ね達成されたと言えるだろう．来場者や演奏者からは今後の建設的な活動に繋がる意見が多く寄せられたため，このプロジェクトはさらに発展・拡張させていくべきだと考えている．これからより良いものにしていくために，今回の活動から現状での課題を見つけ，それぞれ今後の展望を考えた．
（※文責: 名畑皓正）

Group Report of 2016 SISP

- 24 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

第6章
6.1

課題と今後の展望

課題

アンケート結果や実証実験後の話し合いから，制作物に関する四つの課題と，制作プロセスに関する三つの課題が挙げられた．
（※文責: 名畑皓正）

6.1.1

制作システムに関する課題

一つ目は，今回制作したシステムでは，実際にピアノを演奏しシステムを体感するにはハードルが高いと感じる人が多くいたという点である．ただでさえ演奏できないのに映像の演出は敷居が高いと感じたり，そもそもエレクトロニクス工房へ入ることに勇気がいると思ってしまう学生が多かった．
二つ目は，打鍵と映像の変化にタイムラグがあること，投影画質が悪く見づらいことなどの技術的な点である．特にタイムラグは，インタラクティブ性を感じにくくしてしまう大きな要因の一つとなった．
三つ目は，会場内で投影映像の演出が伝わりにくい位置があるという点である．今回制作したプ
ログラムの中には，ピアノ天板の映像はインタラクティブに動くが側面は打鍵に関係なく動きがループするだけのものがあり，鑑賞者の視点からではインタラクティブな演出がわかりにくい部分があった．また，今回のプロジェクタの投影範囲によって決定されたピアノの位置では，鑑賞者から演奏者の手や鍵盤が非常に見づらい角度になっていたため，押した鍵盤が光るという演出が鑑賞者にあまり伝わらなかった．
四つ目は，一時的な集客だけでなく，動員数を維持する工夫がないという点である．今回の集客システムでは，今後も継続して人を引き寄せ，そこに新たなコミュニティを生みだすまでのアイデ
アは実装されていなかった．
（※文責: 名畑皓正）

6.1.2

制作プロセスに関する課題

一つ目は，話し合いがうまく進行せずに同じ話題の繰り返しになったり，停滞することが多かった点である．これは特に今期の目的設定や背景を考える時に顕著であった．
二つ目は，一人の作業負担を大きくしてしまうことがあった点である．大まかな役割分担が，基本となる大枠のシステム面をプログラムの得意な一人が担当し，その他のメンバーで下調べや目的・目標設定，具体的なデザインの考案等を担当するというような形になってしまい，システム担
当の一人に多くの作業量，負担を掛けてしまうことがあった．
三つ目は，アンケートの質問内容が設定目標と噛み合っていなかったという点である．アンケー
トから制作物について考察する際，それぞれの質問ごとの因果関係が複雑になってしまい，うまくGroup Report of 2016 SISP

- 25 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜
評価に繋げられなかった．
（※文責: 名畑皓正）

6.2

今後の展望

得られた課題から，それぞれより良く改善していけるように今後の展望を考えた．
（※文責: 名畑皓正）

6.2.1

制作システムに関する今後の展望

一つ目は，このシステムの利用に対する精神的ハードルを低減することである．そのためには，
ピアノ利用や，エレクトロニクス工房の利用への敷居の高さを解消するコンテンツの考案が必要になるだろう．例として，演奏者のレベルに合わせた投影コンテンツの制作が挙げられる．具体的には，光る鍵盤を順に押していくと曲が演奏できるというような初心者向けのシステムや，楽譜を表示する機能などが考えられる．また，エレクトロニクス工房・ピアノの利用方法をわかりやすく伝えるためのデジタルサイネージを設置したり，事務局や工房ミュージアムワーキンググループと話し合い，利用方法を今よりも容易にするなどの案も考えられる．
二つ目は，技術的な面を強化することである．プログラム描画ラグを解消するために，プログラ
ムをブラッシュアップし軽くするなどの対策をとりたい．
三つ目は，投影対象空間全体の参加者が魅力を感じられるシステムを考案することである．演奏者だけでなく，鑑賞者がどの位置にいても演出の魅力を維持できるサイネージにしていきたいと考えている．ピアノの配置はプロジェクタの投影範囲により決定されたものであるが，この位置では鑑賞者の視点から演奏者の手や鍵盤がほぼ見えない．その問題を解消するためには，鍵盤周辺に小さなカメラを設置し，リアルタイムで鑑賞者から見やすい場所に投影するなどの工夫が必要である．また，鑑賞者にとって更に魅力的な演出にするために，鑑賞者の動きにもインタラクティブに反応させるシステムの制作を進めたい．具体的には，Kinect 等のセンサを用いて，ピアノ演奏者の打鍵に合わせて表示された映像を鑑賞者が変化させられるシステムを作るなどの案がある．
四つ目は，投影対象空間に継続的なコミュニティを形成させる方法を考案することである．そのためには，定期演示会を開催し定期的に集客することが考えられる．また，投影する描画プログラ
ムの簡単なテンプレートを用意して誰でも自由に改変・作成して楽しめるシステムを制作したり，専用のサーバを立て，描画プログラムを自由にダウンロード・アップロードして使用できるシステ
ムを構築することで，対象空間に新たなコミュニティを生むことができると考えた．
（※文責: 名畑皓正）

6.2.2

制作プロセスに関する今後の展望

一つ目は，話し合いが停滞せず進んでいくように，その時何が重要で話し合いの対象は何なのか
を一つ一つ順序立ててはっきりさせることである．そのためには，今までの本学の講義で習得したブレーンストーミングや KJ 法，フィッシュボーンなど，様々なグループワークディスカッションの問題解決技法を活かし進めていくなどの，様々な工夫ができる．

Group Report of 2016 SISP

- 26 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜
二つ目は，作業の負担が平等になるようにしっかり考慮して役割分担をすることである．得意分
野・不得意分野はあるにせよ，一人に任せきりになることのないように，全員で情報共有をしっかり行い，最低限の知識を共有して進捗を生むべきである．特に，プログラミングに関しては苦手意
識を持つメンバーが多かったため，少しずつでも全員が内容を理解していけるように，メンバー間で積極的にコミュニケーションを取りながら考えていきたい．
三つ目は，アンケート項目を考える時には，達成したい目標や目的をはっきりさせるべきということである．適切な評価項目を設けるための目的や目標が最初から一貫していれば，回答から得られる結果の有用さが高まるはずだと考えた．
（※文責: 名畑皓正）

Group Report of 2016 SISP

- 27 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

付録 A

演示会紹介ポスター

Group Report of 2016 SISP

- 28 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

Group Report of 2016 SISP

- 29 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

付録 B 来場者（鑑賞者）向けアンケート

Group Report of 2016 SISP

- 30 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

付録 C 演奏者（実証実験演示協力者）向けア
ンケート

Group Report of 2016 SISP

- 31 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

付録 D
詳細

来場者（鑑賞者）向けアンケート結果

Group Report of 2016 SISP

- 32 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

集計結果

Group Report of 2016 SISP

- 33 -

Group Number 9

MOE MOE Digital Signage 2045 〜Cogntion， Design and Communication〜

付録 E 演奏者（実証実験演示協力者）向けア
ンケート結果詳細Group Report of 2016 SISP

- 34 -

Group Number 9