情報処理学会 インタラクション 2014
IPSJ Interaction 2014

B3-2
2014/2/28

ミックスダウンの視覚化による支援システムの開発
北谷光浩†1

上松大輝†2

根上生也†1

概要：視覚的に捉えながらミックスダウン作業を行うための，Mix-Down Visual Controller の提案と実装を行った．ミックスダウンは音楽制作において，聴きやすい音源を作るために非常に重要な工程であるが，適切に行うには高い技術や熟練した耳が必要であるため，従来は経験を積んだエンジニアが行う専門性の高い作業であった．近年，機材・ソフトウェアの低価格化や，作品発表の場が増えたことで，アマチュアの制作者がミックスダウンを行うケースが非常に多くなっている．しかし，既存のミックスダウン環境は熟練者が行うことを想定して作られているため，経験の浅いミックスダウン初心者にとっては敷居が高く，簡単に行えるものではない．本論文では，聴覚に依存した作業であるミックスダウンを，視覚化することでより分かりやすく全体像を把握しながら行うシステムについて，背景と構成を述べる．

Mix-Down System with Visualization
MITSUHIRO KITADANI†1 HIROKI UEMATSU†2SEIYA NEGAMI†1
Abstract: In this paper, we propose a system "Mix-Down Visual Controller". In music creation, the mix-down is an importantpart for it affects whether the song will be popular or not. However, it is hard for beginners to do mix-down. So our system
makes mix-down easy by visualization in VR. Our system consists of parameter converter, visual interface, NUI(Natural UserInterface)and OSC(Open Sound Control).We show what "Mix-Down Visual Controller" is and why it is needed.

1. はじめに化をもたらすのかが分かりづらく，適切な調整が行えない．
また，ミックスダウンで扱うパラメータの多さも，初心者近年，音楽機材・ソフトウェアの低価格化や，インターにとってはミックスダウンを分かりづらくする要因である．

ネットで手軽に作品を公開できるようになったことで，全本研究では，このような問題を解決するために Mix-Down

くの初心者が音楽を始めるきっかけになるほど，気軽にVisual Controller システムを提案する．Mix-Down Visual

DTM を 楽 し め る よ う に な っ て き て い る ． 特 に 最 近 で はController は，音のバランスを聴覚だけでなく視覚的にもYouTube やニコニコ動画のように気軽に投稿できるサービ表現することで，より全体像を把握しながらのミックスダ

スが普及したことや，「初音ミク」に代表される VOCALOIDウンを可能にすることを目的としている．また，複数あるがブームになったこともあり，自作の楽曲を公に発表するパラメータを厳選することでパラメータの多さによる煩雑機会が非常に増えた．その結果，数多くの音楽作品がインさを軽減することも目的としている．本稿では Mix-Down

ターネット上に溢れることになったが，例えばメロディやVisual Controller のインターフェースとパラメータの割アレンジは素晴らしいものの音のバランスが悪いため聴きり当て，システム構成について述べる．

づらくなってしまっているような作品も少なくない．
音楽制作の工程は大きく分けて，メロディラインの構築

2. 要件定義

や，楽器や音色の選択を行う「作曲・編曲」と，複数の楽初心者のミックスダウン支援に関連する研究としては谷器同士のバランスを取る「ミックスダウン」に分かれる．

井章夫らの「事例を利用したミックスダウン支援インター作曲・編曲に比べて，ミックスダウンは初心者にとって抵フェース」が挙げられる．前章でも述べたように，ミック抗がある．そのため，各楽器の定位がセンターに集中し過スダウンの作業は初心者には難しいため，初心者がプロのぎて広がりがなくなってしまっていたり，音のバランスがエンジニアにミックスダウンを依頼する際に，事例を用い悪くメインのパート（例えばボーカル）が埋もれてしまっる事でより正確なイメージを伝えるための試みも行われてている，といったようなケースに初心者は陥りやすい．ミいる．谷井らによると，プロのエンジニアがミックスダウックスダウンは本来，プロのエンジニアが熟練された耳をンした事例を初心者とエンジニアの間での意思疎通に用い頼りに行う作業であるため，経験の浅い初心者が耳だけをる事で，より正確に楽曲の仕上げのイメージを伝達するこ頼りに行うと，どのパラメータを操作すればどのような変とが可能だと述べられている．事例を用いることで，次の３つのケースに対応したミックスダウン支援インターフェ†1 横浜国立大学
Yokohama National University†2 株式会社木星ラヂヲ
Jupiter Radio Inc.

© 2014 Information Processing Society of Japanースを実現できるとしている．
ⅰ)クライアントが持ち込んだ好みの事例を楽曲に適用する

435

ⅱ)数ある事例の中から類似度で検索を行いクライアントージの位置や大きさを操作することでミックスダウンを行に提案を行う

う．どのパートをどの位置に配置するかを図 2 のようにイⅲ)典型的な事例を提案しクライアントの好みのものを探メージすると，音質や音量の変化を考える際の助けとなり，す例えば「バランスが悪く聴こえるのはここに隙間があるか谷井らの研究のように事例を用いる必要があるのは，初らだ」といったようなことを視覚的に把握しやすくなる．

心者がミックスダウンのイメージを具体的なパラメータにそのため，「位置を右の方に配置すると定位が右寄りにな変換する技術を持ち合わせていないからだと推測される。

る」「体積を大きくするほど Volume も大きくなる」といっそのため，初心者がパラメータの操作を行ってイメージ通た具合に各パートの配置を動かすことで音の調整を行えば，りに音のバランスを作り上げることは難しく，システムにミックスダウンの状態を常に視覚的に把握できるため，非よってミックスダウンのイメージをパラメータに変換する

常に分かりやすくミックスダウンが行えると考えた．

補助を行う必要がある．
そこで，本研究ではパラメータを視覚的に表現することで問題を解決する．ミックスダウンの状態を視覚的に把握するためには，次の要件を考慮する必要がある．
ⅰ)視覚化した結果と音のイメージが一致する
ⅱ)全パートの状態が，一つの画面内に表現されている
ⅰは視覚化において非常に重要である．例えば，ギターパートが画面上で右寄りにあったとき，スピーカーから発せられるギターの音が左から聴こえてきてきたら，視覚情報による正しい把握を行う事ができない．また，ミックスダウンは個々のパートに注目して行うものではなく，全体を見通して行うものであるため，ⅱのようなインターフェ

図 1ースである必要がある．

Figure 1

本 要 件 を 満 た す シ ス テ ム で あ る ， Mix-Down VisualController について以下の章で述べる．

3. Mix-Down Visual Controller の構成
3.1 インターフェース
Mix-Down Visual Controller は，パート毎に録音された歌や楽器などの音声に対応したオブジェクトを，VR 空間上で操作してミックスダウンを行うシステムである．
ミックスダウンで用いられる一般的なインターフェースは図 1 のようなものである．①の領域ではパート毎の基本的なパラメータを，②の領域ではトラックにインサートさ

図 2れている個々のエフェクトのパラメータをコントロールすFigure 2

る．実際の PA 卓を元にデザインされたこのようなインターフェースでは，耳でバランスを聴きながらツマミやフェーダーを操作してパラメータを調整することでミックスダウンを行う．プロのエンジニアのように熟練した耳の持ち主であれば，視覚的な情報がなくとも耳で聴くだけで適切なミックスダウンが行えているかどうかの判断が可能であるが，初心者はその判断を行うことが難しい．そのため，
DTM 関連書籍の初心者向けに書かれたミックスダウン講
座等では，各パートのバランスを分かりやすく示すために
図 2 のような配置図が使われることが多い．
Mix-Down Visual Controller では，図 3 のようなミックス

図 3

ダウンインターフェースを作成した．３次元空間上に各パFigure 3ート間のバランスを立体イメージで表現し，その立体イメ© 2014 Information Processing Society of Japan436

3.2 パラメータの割り当て
本節では，VR 空間とミックスダウンのパラメータとの紐付けについて述べる．パラメータはよく使われるものだ
けでも 1 パートにつき十数項目，場合よっては数十項目ものパラメータがあるため，全てを割り当てようとするとVR 空間上の数値が足りなくなる．そこで，図 2 を参考に必要最低限のパラメータに絞り，VR 空間上の数値に割り当てる．パラメータを絞って簡略化することで，ミックスダウンに不慣れな初心者が混乱しにくくなることが期待できる．
今回作成した Mix-Down Visual Controller では，Pan と

図 4

Equalizer の周波数帯域，Reverb，Volume をパラメータとしFigure 4て使用する．以下に，各々の項目について割り当てられる
VR 空間上の数値と合わせて述べる．また項目ⅰ，ⅱ，ⅲにおけるパラメータの割り当てを図 4 に示す．

4. システムの実装ⅰ）PanPan は音が聴こえる位置を意味し，定位と訳される．今回は 2ch のステレオミックスを対象とし，Right と Left の音量バランスを調整するパラメータとして扱う．オブジェ
クトの x 座標が+方向に移動すると Pan は R 方向に，-方向に移動すると L 方向に増加するように割り当てた．また，
Pan は標準的な MIDI の定義に基づき 0～127 の値をとるものとする（0:最左翼,64:中心,127:最右翼）．
ⅱ）Equalizer で増幅される周波数
Equalizer は音声の特定の周波数の増幅や，減衰を行う音響装置である．今回は操作の簡略化のために増幅のみを扱う．オブジェクトの y 座標が+方向に移動すると増幅する周波数が高く変化し，-方向に移動すると低く変化するように割り当てた．また，増幅する周波数の範囲はミックスダ

図 5

ウンで処理される事の多い 50hz～12khz とする．

Figure 5ⅲ）Reverb
Reverb は入力された原音に対して残響音を付加する音

Mix-Down Visual Controller のシステム構成を図 5 に示す．

響装置であり，奥行き感を演出することができる．一般的本システムは，データ入力部・データ解釈部・パラメータな Reverb は複数のパラメータを持つこと多いが，本システ変換部・音声出力部から構成される．

ムでは簡略化のために原音と残響音の音量比のみを調整対

データ入力部では，VR 空間に表現された３次元空間上象とし，その他のパラメータは一定とする．z 座標が+方向のオブジェクトを直感的に操作するために，Leap Motionに移動すると原音の割合が増加し，-方向に移動すると残響を用いて手や指の動きを取得する．Leap Motion は認識範囲音の割合が増加するように割り当てた．にある 2 本の手と，手に付随する 5 本の指を認識し，それⅳ）Volumeらの位置・角度・ジェスチャ等のデータを取得する．本シ

Volume は各パートの音量である．オブジェクトの大きさ

ステムでは，Leap Motion で取得可能な以下の 3 つのデータに比例して音量も大小するように割り当てた．物体が大きを使用する．

いほど音も大きくなるというのは感覚的に結びつき易いたⅰ)検出されている手と指の数．

め，感覚的な調整を行う事ができる．また Volume は 0～100ⅱ)1 番目に検出された手とその手の指の Position（Positionの値を取るものとする．

は手や指の座標情報を値として返し，xyz の値を持つ）．
ⅲ)2 番目に検出された手の sphereRadius（sphereRadius は手の屈曲に適当な球体の半径を値として返す）．
なお，Leap Motion では，左右の手，及び各指が実際の手や指と連動して認識されず，デバイス内で認識された順に© 2014 Information Processing Society of Japan437

ID が割り当てられるため，本稿では便宜的に 1 番目に検出された手を「手 A」，2 番目に検出された手を「手 B」として述べる．
データ解釈部では，データ入力部から送られたⅰ，ⅱ，ⅲのデータを解釈して，VR 空間上でのオブジェクトの位置・大きさに変換する．オブジェクトの位置は手 A のPosition に，オブジェクトの大きさは手 B の sphereRadiusに対応し，以下の 3 つの操作により変換が行われる．
1 つ目は，手 A の親指と人差し指の Position がほぼ重なり，かつその手において検出されている指の数が１である

図 8時（Leap Motion は重なった 2 本の指を 1 本として認識する），

Figure 8つまり図 6 のように親指と人差し指の先でつまむようなポーズを取った時，選択を行う．選択を行った時，親指と人差し指が重なる座標にオブジェクトがある場合，そのオブジェクトは選択された状態になる．検出されている指の数が 2 本になった時，つまり図 7 のように親指と人差し指の先が離れた時，オブジェクトは選択された状態から解除される．
2 つ目は，オブジェクトが選択されている状態で，図 8のように手 A の Position を変化させると，オブジェクトの位置は３次元直交座標系の x,y,z の座標軸で-64～63 に収ま図 9る範囲内を移動する．

Figure 9

3 つ目は，同様にオブジェクトが選択されている状態で
図 9 のように手 B の sphereRadius が変化すると，オブジェクトの大きさは 0～100 の値で変化する．

パラメータ変換部では，データ解析部から送られたオブジェクトの位置・大きさ情報を 3.2.で述べたパラメータに上記の 2 つ目，3 つ目の操作が行われた時，位置・大き変換する．3 章で述べたように，今回作成したシステムでさは画面に反映されると共にパラメータ変換部に送られる．

は使用するパラメータを固定しているが，パラメータ単位で設定ファイルの記述を変更することで，変換処理の増減や，変換される閾値を変更可能としている．
音声出力部では，パラメータ変換部から送られてきたパラメータ情報を DAW を通して音に反映させる．音声出力部との通信方法として今回は実装の容易さから OSC を用いた．また DAW へ情報を送るには，電子楽器間の通信方法として用いられる MIDI を使用する必要があるため．OSCを MIDI に変換するソフトウェアを使用した．

図 6
Figure 6

5. おわりに
本稿では，視覚情報を用いて音のバランスを把握しながらミックスダウンを実現するシステムとして，Mix-Down
Visual Controller を開発した．本システムは，ミックスダウン関連書籍で頻繁に用いられる配置図を参考に視覚化を行うことで，ミックスダウンにおける音のバランスを把握する難しさを軽減し，さらに直感的にパラメータを操作することを可能とした．
今後，様々なユーザーに Mix-Down Visual Controller と既

図 7

存のミックスダウン環境の両方でミックスダウンを行ってFigure 7

もらい．音のバランスの把握のしやすさ等を比較するアン© 2014 Information Processing Society of Japan438

ケートを実施し，ミックスダウンにおける視覚化の有用性を評価する．さらに，より分かりやすい視覚化の方法や，より直感的なパラメータの操作についても模索していく．
また，本システムでは視覚化を行うにあたってパラメータを絞ったために，簡易なミックスダウンしか行えず細かい調整を行うことができない．パラメータを位置や大きさだけではなく，色・輪郭の明瞭さ等の他の視覚的要素に割り当てることで，高度なミックスダウンにおいても視覚的な分かりやすさや操作の直感性を実現し，初心者から熟練者まで幅広いユーザーの使用に耐えうるツールとなることが可能であると考えられる．

参考文献
1) 谷井章夫，後藤真孝，片寄晴弘：事例を利用したミックスダウ
ン支援インターフェース．情報処理学会インタラクション 2005．
20052) 杉山勇司：”レコーディング／ミキシングの全知識”，リットーミュージック，2004．
3) Leap Motion Developer：<https://developer.leapmotion.com/>，ア
クセス日：2013/11/24© 2014 Information Processing Society of Japan439