情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-505-24
2017/3/2

水族館における魚の動きを入力としたリアルタイム音楽生成システムの提案
佐々木大輔†1中島武三志†1

菅野由弘†1

概要：水族館などのエンタテイメント施設において，近年プロジェクションマッピングなどデジタルコンテンツを用いた新しい空間演出の手法が発表されているが，生き物などを扱う展示においては展示空間に対して予め作り込まれたコンテンツを付加したものが多い．デジタルコンテンツの没入感，臨場感をより高めるために展示空間の状態を入力としてコンテンツを生成するシステムの開発も行われているが，入力の際の環境に制限があるため実際に展示するにはもともとの施設設備や演出内容に適応できるシステムが求められる．本研究では水族館の水槽で泳ぐ魚の位置と動きを画像処理によって認識し，対応した音を生成するシステムを開発するために，オプティカルフローを用いた画素ごとの動きを検出するアプローチを採った．実際の水族館で展示を行うため，様々な種類の水槽に対して本システ
ムが適応することができるかをシミュレーションによって検証した結果を報告する．

The real-time processing for generating musical tone from themotions of fishes displayed in aquarium.
DAISUKE SASAKI†1 MUSASHI NAKAJIMA†1 YOSHIHIRO KANNO†1Abstract: Recent years, spatial producing by digital contents such as projection mapping has been increasingly adopted inentertainment facilities represented by aquariums. Nevertheless, existing digital contents are appended in some facilities
exhibiting living things, regardless of the transition of their exhibits. Preceding investigations have been developed system use
information of exhibits as inputs for contents. However, system is required to adapt original environment and condition of exhibit
space because preceding investigations reported that systems contain limitation of exhibition space. This research developed
system to produce musical tone from motion of swimming fished in the aquarium adopting optical-flow. Simulations of system
had been held to investigate adaptability for variety environment of aquarium, the results for exhibiting the system in aquariums
will be indicated.

1. 背景

館や展望台のように刻一刻と変化していく展示空間と予め作り込まれたコンテンツとの間に関係性を持たせることが近年，プロジェクションマッピングを始めとしたデジタできず，それぞれが独立して鑑賞者に届いてしまうおそれ

ルコンテンツによる空間演出型エンタテイメントが多く発がある．より臨場感や没入感の高い展示空間と一体となっ表されている．それに伴い，openFrameworks を始めとしたたコンテンツを作成するために，空間のもつ動きや状態をオープンソースによる開発環境の普及も進み[1]，人々にと入力としたインタラクティブシステムとして小山内らの研ってデジタルコンテンツが身近なエンタテイメントの一つ

究[3]では水槽で泳ぐ魚の位置と動きを画像処理によってとなりつつある．このような現実空間に映像などを付加す検出し，映像を付加する試みが行われている．これら現実る形の演出方法が持つ利点として，現実空間がもともと持空間の状態をリアルタイム入力する際の大きな課題として，っている個性や設備，そして歴史をコンテンツに組み込む

動きの検出を行うためにある程度環境を限定しなければなことができる上，空間への影響は最小限に留めた演出を行らないことがあげられる．システムを水族館のような施設えることも挙げられる．実際に，文化財など演出のためにがもともと演出している空間で実際に展示を行うためには，手を加えることのできない空間や展示物に対し，プロジェ展示空間の環境に適応できる入力方法が必要である．そこ

クションマッピングで新しい展示方法の提案もなされていで，本研究では実際に水族館で展示することを目標に水槽る[2]．の種類や環境に縛られることなく，泳ぐ魚の動きと位置を一般的に従来の空間演出型エンタテイメントでは現実入力に音を生成するシステムを開発した．以下ではそのシ空間に対して，音や映像を付加する手法が取られることがステムの概要と，実際に 5 種類の異なる水槽の映像を用い多い．しかしこの手法では，近年盛んに行われている水族てシミュレーションを行いシステムの水槽の種類に対する汎用性を検証した結果を報告する．

†1 早稲田大学
Waseda University© 2017 Information Processing Society of Japan190

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2. 魚と音のインタラクションデザイン
2.1 システムのコンセプト
一般的に水族館の水槽は密閉されている場合が多い．水槽の中で鳴っている音は鑑賞者には届かない上，水族館で展示されている生き物には鳴き声を発するものは少なく，展示から直接的に鑑賞者に届く音情報は非常に少ない．そのため従来の水族館では展示空間で BGM を流すことにより，音に関する演出を行ってきた．しかし，現状用いられている BGM はあくまで展示空間の雰囲気を補強するものであり，鑑賞者が見ている水槽とは同期していない．そのため水槽という展示に対する鑑賞体験は視覚によるものにほぼ限定されてしまっている．そこで本研究では水槽で泳ぐ魚の動きに同期した音楽を付加することによって鑑賞者が水槽を目だけではなく耳でも楽しめるような新しい鑑賞体験を提案できると考えた．鑑賞者に積極的に水槽から鳴っている音へ耳を傾けてもらうため，生成される音は音楽的にも聞いていて楽しめるものである必要がある．音楽と動きの両方を鑑賞者に楽しんでもらうために，水槽中に仮想的な発音装置(本研究の場合は仮想弦)を設置し，魚が仮想弦にあたる水槽中の位置を横切ることを魚が弦を弾いたと見立て，水槽の魚達が泳ぎ回ることによって仮想弦を演奏しているような音の演出を試みた．本システムの概念図

1-505-24
2017/3/2

呈示している．これら魚の位置や動きの情報をもとに映像を付加する先行研究が抱える課題点は入力に用いることができる水槽の環境に制限があることであり，どちらも魚の検出のためには背景が無地，もしくは定常的な環境であることが求められる．また，水槽内で泳ぐ魚の数も多くなるほど検出の精度が下がってしまうため，実際の水族館のような複数の魚達が泳ぎ回る大規模な水槽で魚の動きに正確なインタラクションを設けることは難しい．これらの研究に対し，本研究ではまず個々の魚の状態をユーザーに提示するのではなく，水槽の状態を音のコンテンツに変換して，聴覚情報としてユーザーに提示することを目的にオプティカルフローを用いたピクセルごとの画像処理を行った．これにより，魚の数や背景の制限を減少させ，汎用性のあるシステムを開発した．
水 族 館 で の 魚 の 動き に 音を 付 加 す る 先 行 研 究と し てWalker 氏らの研究[5][6][7]では水族館のサウンドスケープとして視覚障害者が水族館を楽しめるように，魚の動き，大きさ，色，形などの情報を音楽パラメータに適切に振り分けることによって水槽の可聴化を図っている．Walker 氏
らの先行研究では魚の情報に対して，予め準備されたフレーズや音色を割り当てることによって魚の情報を音としてユーザーに届けることを目的としているのに対し，本研究
では音の発生するタイミングに魚の移動情報を入力としてを図 1 にしめす．

用いている．このため出力される音楽が常に流動的で，全く同じ音楽は二度と生成されないという点から時間と空間を共有したユーザー同士のみがコンテンツも共有することができるという限定性をコンテンツに与えることができる．

3. システム実装
本システムの実装はすべて Visual Studio2015 上で行った．
C++のフレームワークの一つ openFrameworks を用いて，画像の入力には ofxCV，音の出力には ofSoundplayer のライブラリーを元に実装した．また，システム動作中に各種パラメータを変更するために ofxGui を用いて表示画面上にス
図 1
Figure 1

システム概念図Conceptual diagram of system.

2.2 関連研究
水槽を泳ぐ魚の動きを入力に映像を付加した研究例として上述の小山内らの研究[3]や磯川らの研究が挙げられる[4]．小山内らの研究では魚の動きを背景差分によって抽出した魚の 3 次元情報をもとに魚の重心や移動方向を求め，移動方向に合わせた吹き出しの描画や，魚の移動の軌跡に対応した演出などを行っている．また，磯川らの研究では分類器による機械学習と色情報をもとにしたトラッキングを組み合わせて魚の位置情報や状態を検出し，空腹や活発さなど観賞魚の状態をユーザーに伝えるための吹き出しを© 2017 Information Processing Society of Japan

ライダーを表示した．以下にシステムの内容を示す．
3.1 入力画像に対する処理
本システムでは水槽で泳ぐ魚の状態を包括的に検出するために，画像中の物体の動きをピクセルごとのベクトルで表したオプティカルフローを用いた．USB カメラで取得した水槽内の映像を解析し，水平方向に 320 ピクセル×垂直方向に 240 ピクセル分のオプティカルフローを算出した．
時刻 t における画像 I 上の(x,y)点の明度を I(x,y,t)とおき，単位時間∆𝑡での x,y の移動量を速度ベクトル v(∆𝑥 ∆𝑦,∆𝑡 ∆𝑡)と置くと，微小時間で画素の明度は変化しないと言う仮定から以下の式が導くことができる．
∆𝐼𝑇 𝑣 = −𝐼𝑡(1)(1)の方程式を空間的整合性の仮定のもとに速度ベクトル v

191

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-505-24
2017/3/2を求める手法を Lucas-Kanade 法とよび，本研究ではさらにのを避けることができる．

この Lucas-Kanade 法をもとに画像中の全画素における密なオプティカルフローを算出する Gunnar-Farneback 法を用

表 1

いて水槽の中を泳ぎ回る魚の動きを検出した．(x,y)の画素

Table 1

画面上の座標と生成される音の対応
Correspondence between position of fish andproduced sound.

が時刻 t で(𝑥𝑡 , 𝑦𝑡 )に移動していたとし，この移動量を音生y<120

y >120Panning(-1<Pan＜1)

x =80E-64E-76-0.75(正面左側)

本システムでは入力画像に対し，仮想的な発音装置とし

x=160

G-67

G-79

Centerて x=80，160，240 の位置に仮想的な弦を配置した．この

x =240D-72

D-840.75(正面右側)

成のパラメータとして用いた．
3.2 音の出力

直線上のピクセルにおける水平方向の移動量 Δを求め，この移動量が予め設定した閾値を超えたピクセルの数が一定

このように,入力画像から取得したオプティカルフローを数を超えた時に音が生成される．移動量およびピクセル数もとに,魚の動きに対応した音を生成することで，魚と音のの閾値は GUI により調整可能で，それぞれ閾値の範囲はインタラクションを実現した．

0.5~3.0 ピクセル(初期値 1.5)，5~20 個(初期値 10)とした．
音の生成を模式的に表した図を以下に示す．

4. 水槽の映像を使ったシミュレーション実験
実際の水族館では水槽の規模，展示されている魚や生物の種類など多様な水槽が展示されている．そこで本システ
ムが実際の水族館での展示を目指すにあたり，展示されている魚の種類，水槽の規模，展示方法(照明や魚の密度)など状態の異なる水槽に対して，汎用性を持っているかを検証するために，数種類の水槽の映像を用いて動作実験を行った．映像は HD 画質で実際の水槽を定点撮影されたものを 5 種類用いた．使用した映像に撮影された水槽の規模や魚の種類，そして水槽中で泳ぐ魚の数，つまり水槽の密度は以下の表 2 の通りである．

図 2Figure 2

表 2

魚の動きと音の生成

Motion of fishes and sound producing.

Table 2実験に用いた水槽の映像

Aquarium movies used in the investigation.
規模

魚の種類

魚の密度

発音される音は 3 本の仮想弦(x=80，160，240)それぞれを(1)Coral Garden

小熱帯魚,

疎

垂直方向に二等分し，計 6 音を発音する．また，左右のパ(2)Ocean Tank大海水魚

中

ンニングに仮想弦の位置を，再生音のボリュームに閾値を(3)Jellyfish aquarium

中クラゲ

疎

超えたピクセルの数をパラメータとして割り振ることによ(4)Green bubble tank

小淡水魚

密って，音と魚の動きの相互関係性を高めた．ofSoundplayer(5)Eternal Shoal

大海水魚

密において音のパンニングの値の範囲は−1 ≤ 𝑝𝑎𝑛 ≤ 1，ボリ
ュームの値は0 ≤ 𝑣𝑜𝑙𝑢𝑚𝑒 ≤ 1となり，ピクセルの数と音のボリュームの関係は以下の式で表すことができる．

4.1 結果
表 2 上の 5 つの映像をディスプレイに表示し，USB カメラによる撮影でシステムに対する入力に用いたシステム動𝑣𝑜𝑙𝑢𝑚𝑒 = 0.5 ×

閾値を超えたピクセル数
40(2)そして，画面上の位置と生成される音の対応は表 1 の通りである．音の素材は事前にピアノの MIDI ノートを wav フ
ァイルに出力したものを再生し，魚が弦に接触して音が鳴ったことを表現するために音が生成されてから 1 秒以上経作の結果をシステム動作時の表示画面と共に以下に示す．
(1) Coral Garden
この水槽は，カクレクマノミやハギといった，熱帯魚が中心に展示されており，背景には海の中を模したサンゴやイソギンチャクが展示されていた．システム動作中の画面を図 3 に示す．この映像に対してシステムを動作させたところ，魚が仮想弦を通過したり，往復したりすると音が生たないと同じ音が再び生成されないようにタイマーを設け成された．しかし，水槽の規模が小さいので比較的サイズた．これによって同じ場所で魚が動いていた場合や，面積の大きい魚が短時間で弦をまたぐような移動，つまりオプの広い魚が弦を横切った場合に連続して音がなってしまう© 2017 Information Processing Society of Japan192

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-505-24
2017/3/2

ティカルフローの移動量が水平方向に 80 ピクセルを超え魚の背景で動いているものがノイズとして本来抽出すべきるような場合はピクセルが更新されず，音の生成がされな魚の動きを上回ってしまう結果になった．定常的に動いてい時があった．

いる気泡がノイズとして検(2)Ocean Tank

多くの水族館でメイン展示となるような大規模な海水魚の水槽である．システムの表示画面を図 4 に示す．魚の数も水槽のサイズも大きいことから，個々の魚の動きを取得するのは難しいが，本システムはオプティカルフローを用いて音の発生を制御しているため，魚のサイズにばらつきがあっても泳ぐ魚の動きに合わせて音を生成することができた．

図 4

Ocean Tank でのシステム表示画面

Figure 4

System screen for the Ocean Tank.

出され，画面全体が常に動いていると判定されてしまうことにより魚の動きと音の相互作用性が損なわれてしまった．

図 3

Choral Garden でのシステム表示画面

Figure 3

System screen for the Choral Garden.

しかし，本システムでは音の遠近を表現する具体的な実装がされておらず，移動量の閾値を超えたピクセル数に対応させた音量だけではこのような大規模な水槽で音の遠近を表現するには限界がある．今後は魚の 3 次元情報の取得や立体音響含め，音の提示方法について立体的なシステムの実装を考慮していく必要がある．
(3) Jellyfish Aquarium
この水槽は青い背景に半透明のクラゲが浮遊している映

図 5

Jellyfish Aquarium でのシステム表示画面

Figure 5

System screen for the Jellyfish Aquarium.

像である．入力時の表示画面は図 5 のようになる．クラゲの動きが緩やかなためオプティカルフローの移動量の閾値

(5) Eternal Shoalをピクセルあたり 0.5~1.0，音が生成されるためのピクセルシステムの動作画面を図 7 に示す．魚の群れが常に円を数を 5~10 と他の水槽より小さくすることによって緩やか描いて移動している水槽であり，魚の動き自体が定常的かな動きでも仮想弦の上をクラゲが移動することによって音つ密集している．ノイズの影響は少ないが常に画面全体でを生成することができた．しかし，閾値を小さくすること動きが検出されてしまい，閾値を最大に設定しても 6 つのによって水中の小さなゴミなどノイズに当たるものを検出

音が常に 1 秒間隔で生成され続けるだけの単調な音の生成してしまうようになり，今後このようなノイズと対象となになってしまった．このような群れをなして移動する魚にる生き物の動きや座標の識別が必要である．

対しては今回用いたオプティカルフローとは異なったアル(4) Green bubble tank

ゴリズムで動きの検出を行う必要がある．

図 6 のシステム画面に表されるようにこの水槽は，水槽4.2 考察全体に緑の照明が当てられ，さらに背後で常に気泡が湧き今回の実験の結果から，本システムは展示されている水上がっていた．魚の密度も多く，背景の気泡が動きをもっ槽の規模や魚の種類が変化しても音を生成できることが示ていることから，魚と気泡の動きが分離できない．つまり，された．映像の種類によって音生成の閾値をユーザーが© 2017 Information Processing Society of Japan193

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-505-24
2017/3/2

GUI で設定することにより，水族館でメインとなるような館での実践のために 5 種類の水槽映像を使ったシミュレー

熱帯魚や大規模水槽，そしてクラゲの展示に対しては適切

ション実験を通して魚の数や水槽環境に左右されずに魚のに音生成が行うことができた．

動きを検出し適切な音生成が行えるかを評価した．その結果，魚の種類や水槽の規模に対しては汎用性が認められたが，同時にノイズや定常的に大きな動きのある水槽に対する脆弱性もわかった．今後はこれらの課題に向けてより多くの魚の情報を正確に抽出すると同時に，実際の水槽を用いてシステムを動作させ，ユーザーからのシステムの評価実験を行いながら，最終目標である水族館の展示に向けてシステムを調整していきたい．また，本システムは魚の動きという視覚情報を音に変換していることから，前述した
Walker 氏らの先行研究のように視覚障害者や小さい子供に対する水族館の展示方法の一つとしても可能性を持っていると考えられる．今回のシステムでは視覚と聴覚の相互作用により鑑賞者によりよい鑑賞体験を届けることをシステ

図 6Green bubble tank でのシステム表示画面

Figure 6

System screen for the Green bubble tank.

ムデザインの根本的な目標に掲げたが，システムと人とのインタラクションデザインを考えることによってエンタテイメントだけではなく，鑑賞体験支援や教育に向けたシステムデザインも行っていきたい．

6. 謝辞
システムデザインや構築を始め様々なアドバイスを頂いた早稲田大学基幹理工学部表現工学科菅野研究室の皆様にこの場を借りて謝意を表します．

参考文献
[1]

図 7

Eternal Shoal でのシステム表示画面

Figure 7

System screen for Eternal Shoal.

しかし，オプティカルフローを用いた現状のシステムは動[2]
[3]

[4]

いているもの全てに反応してしまうため，魚と，ノイズとなる魚以外の動きの識別ができない．このため，背景に魚以上に大きい動きをする物体があると，ノイズの移動量に[5]よって音が生成されてしまう課題も明らかになった．また，定常的に大きな動きが検出されるような映像の場合常に音が生成される条件が満たされてしまい，音が定期的になり[6]続けるだけでシステムの持つ音楽性が失われてしまった．

5. まとめ本研究では実際の水族館で展示されている水槽中を泳ぐ魚の位置や動きを検出し，対応して音を生成することによって目と耳で楽しめるより没入感や臨場感の高い水族館展[7]

古郡唯希，Campana Rojas Jose Maria，小林孝浩，平林真実，“プロジェクションマッピングのコンテンツにおける視覚的認知効果を用いた演出技法の体系化”，情報処理学会，インタラクション，2014
迎山和司，小林真幸，“文化財プロジェクションマッピング その展示と評価”，映像情報メディア学会技術報告，2015
小山内晴紀，鈴木啓太，澤野弘明，土屋健，小柳 恵一“魚の位置と動きに対応した映像演出システムの提案”，情報処理学会研究報告，2014
礒川直大， et al． "Aqua Mapping: 水槽を介した観賞魚とのインタラクションシステム." 情報処理学会研究報告， UBI，
[ユビキタスコンピューティングシステム] 2015.5 (2015): 1-8.
Bruce N.Walker, Mark T. Godfrey, Jason E. Orlosky, Carrie Bruceand Jon Sanford,“Aquarium Sonification: Soundscapes forAccessible dynamic informal learning environments”, International
Community on Auditory Display,2006
Walker, Bruce N., Jonathan Kim, and Anandi Pendse. "Musicalsoundscapes for an accessible aquarium: Bringing dynamicexhibits to the visually impaired." Proceedings of the International
Computer Music Conference (ICMC 2007), Copenhagen, Denmark.
2007.
Pendse, Anandi, Michael Pate, and Bruce N. Walker. "Theaccessible aquarium: identifying and evaluating salient creaturefeatures for sonification." Proceedings of the 10th international
ACM SIGACCESS conference on Computers and accessibility.
ACM, 2008.

示を実現するためにオプティカルフローを用いて水槽の状態を入力に音を生成するシステムを開発した．さらに水族© 2017 Information Processing Society of Japan194