情報処理学会 インタラクション 2019
IPSJ Interaction 20193D-65
2019/3/6

Kinect を使用した空間呈示型オルゴール"Relgo"の提案
加藤泰生†1尾崎晴信†1

細川愛美†1 栗原渉†1 串山久美子†1

概要：近年、人の動きや物体検知などの空間情報に作用するシステムも多く見られるようになった。しかし、空間を楽器として扱い、既存の楽器を新しく空間に落とし込み、その楽器の魅力と空間を利用する利点を組み合わせた楽器は少ない。本論文は、Kinect を使用した空間認識技術を用いて、空間内の人の動きや物の配置情報にリアルタイムで作用し、音として反映させ、空間と人、画像と音楽を同時に体感できる空間呈示型オルゴールのシステム Relgo について述べる。

1. はじめに

2. 関連研究

近年、コンピュータや電子楽器などの普及により、楽器人の動きや空間情報をインタラクションさせ、直感的に音を物理的に演奏しなくても音楽を作成できるツールが普及楽を生成、演奏することを目的とした様々なシステムの研している。また、デジタルのテクノロジーの発展により、究がされている。中村ら[1]はカメラから連続画像として人人の動きや物体検知などの空間情報に作用する楽器、シスの動きを読み取り、その座標位置に対して音を鳴らす「神テムも多く見られるようになった。しかし、空間を楽器と楽-KaGuRa-」を制作した。誰でも思いのままに身体を動かして扱い、演奏スタイルの新規性を唱えるツールは存在す

すことのみで楽器の形状や動作に制限をされることがなくるが、既存の楽器を新しく空間に落とし込み、その楽器の断続した音楽を奏でることができる。この特色によって、魅力と空間を利用する利点を組み合わせた楽器は少ない。

身体的なアートを披露する人と音楽を奏でる演奏者の間のそこで、本論文では、あらかじめ音のデータを入力し、そ隔たりなく舞台上の誰もが音楽の中でダンスをするといっれを自動で演奏するミュージックシーケンサ技術と、た新しいアートを展開することも可能としている。

Kinect による空間情報認識の技術を用いることで、自動演

また、岩井、西堀ら[2]は誰もが音楽を直感的かつ視覚的奏楽器であり、決まった音楽しか再生することができないに演奏できる楽器として TENORI-ON を開発した。インタ

オルゴールをリアルタイムに空間と人と作用し、変化するーフェースとして発光するスイッチを 16×16 のマトリックことを可能にし、音楽と人と空間を一体とした音と映像のスで配置し、縦軸に音階を、横軸に時間を設定している。

空間呈示型オルゴールとして作り上げ、オルゴールの表現横に進行するスキャンバーがあらかじめスイッチが押され、の拡張を目的としたシステム、Relgo を提案する。オルゴ

光っている所と重なった時に音を発するという仕組みで音ールは、ゼンマイを回すことでシリンダーという円筒状の楽を奏でる。奏でられた音楽に違和感や不快感などを感じ部品が回転し、シリンダーの外面にあるピンと呼ばれる突させないために、いくつかの音階から任意の音階を選択し、起が、音を奏でる振動板を弾くことで音を鳴らす。ゼンマ縦軸における音階を指定することができる。これによって、イを回し続けると延々と音楽が繰り返される。このシリン奏でられた音楽の違和感、不快感を生じにくくさせている。

ダーに付いているピンがミュージックシーケンサにおけるミュージックシーケンサと呼ばれる類の楽器において、こあらかじめ入力された音のデータの役割に近いものを担っのインターフェースによる、スイッチを実際に見て、押すており、ゼンマイは演奏される音楽の速さのインターフェという動作と音階のシステムを組み合わせることで直感的ースと考えると、この２つの音の鳴る仕組みは類似しておかつ視覚的に演奏できる目的を果たしている。

り、ミュージックシーケンサ型の楽器の一種としても考えミュージックシーケンサのインターフェースは、2 次元られる。しかし、ミュージックシーケンサ型のデジタル楽的なものが多い。金井らは、ハードウェア形状が変化する器は、その形状に対して、新たなインターフェースやデザことのないタッチパネルデバイスによってアプリケーショインが研究されることが少ない。そこで、本論文では、デンを操作する機会が多くなったことに対して、ハードウェザインや表現の可能性を拡げたいと考える。この音楽が鳴アの形状変化を利用したインターフェースのミュージック

り続ける仕組みに体験者の表現する余地を与えることで、シーケンサ型のデバイス「PocoPoco」を制作した。立方体回転するシリンダーを模した空間と人の感性が作用するこ型のハードウェアに、ソレノイドアクチュエータに数種のとをオルゴールの表現の拡張として考える。

センサを搭載したソレノイドユニットを作成し、搭載することで、｢押す｣、｢掴む｣、｢回す｣インターフェースを制作した。

†1 首都大学東京

システムデザイン学部© 2019 Information Processing Society of Japan948

情報処理学会 インタラクション 2019
IPSJ Interaction 20193D-65
2019/3/6

本システムでは、Kinect を利用した空間提示型オルゴールであり、プロジェクターを使用し、投影する。その際空間はオルゴールのシリンダーを模した空間設計をしている。
曲面におけるプロジェクションマッピングの研究として、株式会社リコー[3]は、新たなプロジェクションマッピングの手法として一枚の大きな画像を複数台のプロジェクターを用いることで、円筒型に投影する研究を行なっている。

3. システム設計
3.1 システム概要
本システムでは、ミュージックシーケンサをベースとし図１

システム概要図たものになっている。ミュージックシーケンサとは、あらかじめ入力しておいた音情報を決まったテンポで自動的に3.2 インターフェースの設計鳴らすものである。
自動演奏楽器であるオルゴールのようにミュージックシーケンサにおけるあらかじめ打ち込まれた音符が持つ役割を、空間に落とし込むため空間情報に置き換えている。しかし、本システムでは空間情報をリアルタイムで取得するため空間情報がリアルタイムで変化し得る。この空間情報が変わる偶然性を用いて音楽を生成し、空間と音の一体感を生むことが１つの目的である。
本研究では、openFrameworks を用いたミュージックシー
ケンサを作成する。打ち込まれる音符となる空間情報は、
Kinect の 赤 外 線 セ ン サ を 通 し て 物 体 を 検 出 し 、

図２ 画像処理システム図openFrameworks に取り込む。インターフェースとして、空間情報である深度画像をドット状に変換し、出力した映像をプロジェクターで壁面上に投影する。これを円状に並べたプロジェクターで行うことで、本システム Relgo による音を奏でることのできる空間を作り出す。

本項では図 2 に示した Relgo のインターフェースとなる画像処理システムについて述べる。
始めに Kinect によって撮影したグレースケールの深度画像を openFrameworks で取得する。その後、縦 48*横 64 の打ち込まれた音を鳴らすタイミングとして縦に並んだ一配列に基づいて取得された映像上のピクセルを格子状に指本のドット状ラインが水平方向に進行する。そのラインが定した上で各濃度を検出する。その濃度情報で塗りつぶさ空間情報のドットと重なるタイミングで音が鳴る。

れたドットをアウトプットすることによって、ドット化さ映し出される空間情報は絶えず更新され続けるため、ユーザーは静止したポーズをとるだけでなく、歩いたり跳ねたりと、動いてみることでもそれに対応した音を鳴らすことができる。

れたグレースケールの深度画像を投影する仕組みになっている。
設定した閾値にあたる距離を超えて接近している部分のドットは明るい白色で表示され、実際のオルゴールにおけ想定する空間は、図１のような円筒状の壁面に囲まれたる、金属板を弾くピンにあたる譜面上の音符として認識さ空間を考える。円筒状の壁面は、オルゴールのシリンダーれる。このことにより、Kinect の画角内の空間に存在する部分を意識したものであり、その中の空間情報がオルゴー物体の形状にを元にした音程、タイミングで音を鳴らすこルのピンの役割として考える。この形状にすることでミュとが可能になっている。

ージックシーケンサの水平方向に進行するラインがオルゴールの音と鳴らす振動板の役割を果たし、円筒状の投影面がシリンダーを表している。ラインが投影面を止まることなく回り続け、鳴り止まぬオルゴールのように音楽が続いていく空間を作ることを可能にする。これにより、ミュージックシーケンサに囲まれた空間がその中にいる人および奏でられる音楽と一体になる。

© 2019 Information Processing Society of Japan949

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

3.3 音を鳴らすための設計

3D-65
2019/3/6

4.1 空間設計
今回作成したプロトタイプの空間設計を図 4 に示す。プ
ロジェクター は単焦点型の縦に投影するものを使用した。
2 枚の投影面は直角に並べられており、Kinect とプロジェクターはそれぞれの投影面に対し垂直に配置されている。

図３

音の鳴るシステム図

本システムでは音を鳴らすシステムに MIDI を用いている。MIDI とは、外部の音源に接続する際の通信で使用される、音の大きさや高低、タイミングや長さを指定することが可能な多くの機器間で互換性を持つ信号である。
openFrameworks 内部で完結させる音響合成よりも、安定性および拡張性があると考え、上で示した図 3 のように、本システムではサウンドの再生を、ドットの x 座標を再生
図４

されるタイミング、y 座標を音の高低に対応させた midi 規格の信号として出力している。

空間設計図

4.2 検証・考察

一般的なシーケンサーと同様に、y 軸上の直線を再生バーとし、時間の経過に合わせて横へ移動していくのと同時に、白色ドットに触れた際に対応した音程のサウンドが再生される仕組みとなっている。
プロトタイプでは MacbookPro にプリインストールされている作曲ソフトである GarageBand と内部通信を行うことでサウンドの再生を行った。
これにより、外部の音源モジュールへ MIDI In 端子経由で接続することによって、より豊富な音色やエフェクトを利用することが可能である。
3.4 空間を囲うための複数台での Kinect 通信設計
本システムでは複数の映像を取得しつつ全てを同期さ

図５

プロトタイプ実装時せるために、複数台の Kinect の接続が必要不可欠となっている、そのために１つの PC に複数接続することができるKinect v1 を使用している。

Kinect の画角から、人の全身が写り作用するために、人から 2m～3m の距離の場所に置く必要があった。また短焦処理速度の安定を考慮して 1 台の PC には接続する点の縦置き型プロジェクターが占める面積が大きいたため、

Kinect の数は 2 台を上限とし、それ以上の場合は 2 台の PC

人や物体を利用する空間としては、狭く、視覚的にも閉塞間で通信をしながらプログラムを動作させる。

感を感じた。

その際に、同一のネットワークを経由した本システム及び空間設計に求められる改善点としては、OpenSoundControl(OSC)通信によって、再生バーの位置をKinect の取得範囲の限界とプロジェクターが床に占める面PC 間で同期させる事を想定している。

積の二点に起因する閉塞感が挙げられる。そこで考察する

4. プロトタイプ

策として、前者は、天吊り型のプロジェクターへと変更し、人の動きの妨げにならない高さに設置をする、後者は、上記のシステムを実装したプロトタイプを設計し、本シス

Kinect による物体検知に必要な距離を確保しつつ中央に設テムの検証を行った。

置できるような空間を用意することによって解決が可能なのではないかと考える。

© 2019 Information Processing Society of Japan950

情報処理学会 インタラクション 2019
IPSJ Interaction 20193D-65
2019/3/6

5. おわりに
本論文では、音楽と人と空間を一体とした空間呈示型オルゴールとして作り上げ、オルゴールいうものの表現の拡張を目的とし、それを制作するための基礎としてシステムの構築と空間設計を行なった。
今後は、音色や音階、テンポ、色、録音と再生といった機能面において、体験者がそれに変化を加えることができるインターフェースを実装し、Relgo の体験実験を行い、それを元に Relgo の体験設計を行っていく。

参考文献[1]中村俊介, “身体の動きを音楽と映像に変える『神楽-KaGuRa-』” ,日本ソフトウェア科学会 ISS 研究会(2005).
[2] Yu Nishibori, Toshio Iwai,“TENORI-ON”, Proceedings of the 2006
International Conference on New Interfaces for MusicalExpression (NIME06), Paris, France[3]金井隆晴,菊川裕也,鈴木龍彦,馬場哲晃,串山久美子, “PocoPoco:
実物体の動きを利用した楽器演奏インタフェース” ,情報処理学会論文誌 Vol.53 No.3 1050-1060 (Mar.2012)[4]株式会社リコー, “円筒プロジェクションマッピング -株式会社
リコー-,https://jp.ricoh.com/technology/tech/074_projection.html© 2019 Information Processing Society of Japan951