電子音色辞書のデスクトップアプリケーション化および携帯端末アプリケーションの実装

斎藤佳紀†

恩田大河†

根本翔多†

小坂直敏‡

われわれは，マルチメディアコンテンツ制作のための音素材データベースとその検索システム，「電子音色辞書」を構築している．本稿では，システムの概要を述べる．最初に Web アプリケーシ
ョン型でシステムを構築し，さらにデスクトップアプリケーション型へ拡張したため，これらについて報告する．また，システムの使用機会を増加させ，利便性を向上させるため，音録音機能を有している携帯端末を用いアプリケーションを構築した．

The Implementation of desktop application version
of Electronic Timbre Dictionary and mobile application
YOSHINORI SAITO†TAIGA ONDA†

SHOTA NEMOTO†

NAOTOSHI OSAKA‡

Sound material database and it’s search system “Electronic Timbre Dictionary,” for multi-media contentcreation, is being constructed. Firstly the system was build as a web application and extended to a desktop
application type. Moreover, it’s iPhone application was build in order to increase the chance of the system
usage and improve convenience. Some of the functions transformed from PC to iPhone and some intrinsic to
iPhone were described.

1.

はじめにネットワーク上で音を共有するデータベースシステ
ムの先行研究として，freesound[3]がある．freesound

近年，マルチメディアコンテンツ制作の環境が整と電子音色辞書の特徴的な違いとして，検索方法が挙い，一般の人が容易に制作できるようになった．コンげられる．freesound は，音源分類に基づいたメタデ

ピュータ音楽，アニメーション，ゲームなどのコンテータを入力とする検索方法（順引き検索）に対して，ンツ制作において，重要な位置を占める音素材を管理，電子音色辞書は順引き検索に加え，音色記号からの逆検索，合成，加工等ができるツールは，そのニーズが引き検索がある．また，音合成機能や，より質の高い高まっている．

音素材データベースの実現が本研究の狙いである．

われわれは，マルチメディアコンテンツ制作の支援

これまでのシステムは，Web アプリケーションとしツールとして，音素材を音色記号で検索できる「電子て実装してきたが，今回ユーザがプライベートなデー音色辞書」を構築している．電子音色辞書は，音データベースの管理や，ネットワーク上の共有のデータベタベースをネットワークを介してユーザ同士が共有でースとの音色の比較ができるように，デスクトップアき，これらを管理，検索，合成することができる．こプリケーションとして新たに実装した．それに加え録れまでに，Web アプリケーション型のシステムの全音機能を保持する再生インタフェースを高機能携帯端体構想やその実装について報告した[1]．また，人の末のアプリケーションとして実装した．

聴覚的印象に基づき３次元上に音素材を球体のオブジ

本稿では，まず電子音色辞書の概要について紹介し，ェクトとして配置し，ユーザはそのオブジェクトの距新たに実装した，電子音色辞書のデスクトップアプリ

離を基に探索を行う，３次元音色表示インタフェース

ケーション版や，携帯端末アプリケーションについて[2]を提案した．

述べる．

† 東京電機大学未来科学研究科
Graduate School of Science and Technology for Future Life
‡ 東京電機大学
Tokyo Denki University

情報処理学会 インタラクション 2011

2.

音色記号
2.1 音色記号の概要
膨大な環境音データベースからユーザが望む音色の検索は困難な問題である．これを解決するため，音色記号[4]を提案した．音色記号は聴覚的分類であり，音色を粒度の大きな順に，巨視的音色，擬音語，微視的音色の三種類に分類して記号を定義するものである．
現在これらの定義や表記法は別途検討中で，システム
では，擬音語のカタカナ表記と巨視的音色が用いられている ．擬 音語は 近い 将来， 国際 音声記 号で あるIPA(International Phonetic Alphabet) に準ずる記法に置き換える予定である．
巨視的音色は，音色が類似したものを分類し，包括図１化したものである．例えば，専門家のみがわかる同一のエンジン音の異音を A 音と記すなど，共通の聞こえをくくるための記号である．
2.2 音色の分類と階層化
巨視的音色や擬音語を用いた音色記号は，聴覚分類でデータ整理後の区分であり，ユーザが音色を管理するためには不便である．
そこで音色を生成的，発生的要因から分類を行い，これに基づいた階層化を行った．これにより，ユーザは階層を見れば今選択している音がどのような経緯で収録された音色なのかが把握しやすくなる．今回の検討では，環境音＞交通＞車＞ブレーキ音などのように４階層までの分類，階層化を行った．
2.3 音色記号データベースの構築
音色記号を電子音色辞書のツールにおいて，アノテーションとして利用するために，XML（ExtensibleMarkup Language）で記述した．これを音色記号 XMLとして設計した．音色記号 XML には，各音色ごとにid 番号，音色の階層，音波形のファイルパス，ファイルの再生時間，音量，キーワード，コメント，更新日時が付与されている．再生時間の単位は sec，音量の単位は dB である．
XML を用いる理由として，ネットワーク上でのシステム運用が容易であること，多くのツールやプログ
ラミング言語が対応していること，データベースの仕様の変化にもすぐに対応ができることが挙げられる．
また，キーワードや特徴を付与するアノテーションを取り出すことができるので，それらを用いた検索が容易にできる．図１に音色記号 XML の一例を示す．
timbre タグを一つの音色とし，タグ内に様々な属性を表している．

3.

音色の階層化例

電子音色辞書3.1 電子音色辞書の概要
電子音色辞書は，ネットワーク上で音色データベースを共有し，マルチメディアコンテンツ制作時に音素材を提供することが，第１義的な目的である．あらゆるユーザが電子音色辞書にアクセスし，音色記号の追加、編集を行うことができる．この結果，電子音色辞書の音データベースは膨大になっていき，これらの中からユーザが必要とする音色を探し出すための，検索機能や探索ツールを提供する．
3.2 電子音色辞書システム構成
電子音色辞書は，まず Web ブラウザ上で動く Webアプリケーションとしてシステムを実装した．Web
ブラウザに URL を入力すれば，あらゆるユーザが容易に利用することができる．一方，電子音色辞書の利用法の中で，「自分の PC にある音ファイルと電子音色辞書のデータベースにある音ファイルを比較した
い」，「音ファイルを公開したくないが音色記号利用して管理をしたい」という要望がある．このため，システム，データベースともにユーザ内に閉じた，デスクトップアプリケーションを実装した．
図 2 に電子音色辞書のシステム構成図を示す．ユー
ザは，GUI を操作することによって，音色記号 XMLにアクセスし音色記号の登録，編集，検索を行う．またサーバ内の波形合成エンジンにアクセスすることによって，音合成を行い新たな音色として音色記号データベースに登録することができる．

電子音色辞書のデスクトップアプリケーション化および携帯端末アプリケーションの実装

図３
図２ 電子音色辞書のシステム構成図

4.

電子音色辞書のツール
4.1 電子音色辞書の基本的機能
電子音色辞書 GUI では，音色の一覧表示，登録，電子音色辞書 GUIある音色と自分の管理しているプライベートな音色を同じ MyTimbreList に登録することができるので，音色の比較が容易にできる．
4.3 3 次元音色表示インタフェース編集ができる．また，検索機能として文字列検索と階ユーザが望む音色を探す場合，前途に述べたキーワ

層型検索を実装した．文字列検索は，キーワードや音ードや，音源分類を入力とした，検索方法では，膨大色記号入力とし，音色を検索することができる．階層なデータベースから検索を行う場合，望む音を絞り込

型検索では，音源分類をファイル構造で表し，任意のめない場合や検索効率が低いという問題が起こる．まファイルを選択することによって検索結果を表示する．

た，音色記号を用いた検索においても，あらゆるユー

電子音色辞書の文字列検索機能として，オープンソ

ザが音色記号を登録できるための，同一音に対する音ース全文検索エンジンである Apache Solr[5]を組み込

色の多義性の問題が生じ，ユーザが自分の考える音色んだ．Apache Solr は，論理演算子やあいまい検索な記号から必要とする音色を探すことが困難になりやす

ど種々の検索式を扱え，検索結果を検索対象データのい．そこで，3 次元空間上にひとつの音色を球体のオ持つ要素を利用しクラスタリングする，ファセットナブジェクトとして配置し，マウスカーソルを操作する

ビゲーションの機能を持ち，ユーザは目的の音色を素ことで，インタラクティブに音色を検索できる 3 次元早く検索できる．また，Apache Solr は XML と HTTP

音色表示インタフェースを実装した[2]．本システムで制御でき，電子音色辞書の構築言語である

は，Web アプリケーションとして実装されており，Actionscript との親和性のよさや， Apache License 2.0

ユーザの「PC 内に格納されている音色を参照して，のため，使用に際する権利上の懸念が少なくてすむ利サーバに登録されている音色を検索する」という機能点がある．

はなかった．そこで，デスクトップアプリケーション

図３に電子音色辞書 GUI の画面例を示す．各音色として実装することによって，自分の PC 内に格納すがグリッド上に，音色記号 XML のアノテーションにる音色とサーバ側の音色を比較し検索することを実現

基づいて，一覧表示されている．ユーザは任意の音色させた．また，自分の PC 内で格納するファイルに対に対して，グリッドの上でマウスクリックすることにして，音色表示インタフェースを利用することによっ

よって，音が再生され，音色を確認することができる．て新たな発見があると考えられる．

音が再生されると，画面下に波形が表示される．画面

Web アプリケーションの場合，3 次元上の球体の位左上には検索窓があり，そこから文字列検索すること置計算をサーバ側で処理するので，複数のユーザが同ができる．画面左下は階層型検索である．

時に利用すると，サーバに負担がかかることや，複数

4.2 MyTimbreList

ユーザのシステム同時使用によりデータの整合性が失

MyTimbreList は，音楽プレーヤのプレイリストとわれるという問題点が起こりうる．しかし，デスクト同等な機能である．制作工程上互いに操作の関連しあップアプリケーションの場合，クライアント側で計算う音色を MyTimbreList としてまとめておけば，作業処理を行うことができるので，整合性が取れなくなる効率が飛躍的に向上する．

問題は起こらない．

デスクトップアプリケーション版では，サーバ側に

情報処理学会 インタラクション 20115.

高機能携帯端末の音色辞書アプリケーション「オトマトメ」
5.1 オトマトメの概要
オトマトメは，録音機能や複数の音色を制御し再生することができる機能を保持するシステムである．このシステムを，iPhone アプリケーションとして実装した．タッチパネル，加速度センサなどの機能を利用することによりインタラクティブな操作性をユーザに提供する．画面のタップや，携帯端末を振る所作により，映像と音を制御することが可能になる．
5.2 再生インタフェース
音色を iPhone 上で再生し，音の比較できる機能を実装した．図４に再生インタフェースの画面例を示す．
ここでもデスクトップアプリケーションの 3 次元音色表示インタフェース同様，一つの音色を球体のオブジ

図４

ェクトとして可視化し，ここでは２次元上に配置を行った．球をタップすることで，音色を再生することができる．また，文献[1]の蛇道試聴機能を実装した．
指で線を描くことで，線上にある音を連続再生することができる．また，iPhone をシェイクすることで，画面上のオブジェクトが動いて反応し，音の同時再生をすることができる．これらの所作と再生機能は，身体動作と発音という楽器の関係ともいえ，新たな楽器としての可能性もある．
5.3 オトマトメの応用
オトマトメを 4.3 節で述べた，PC 上の 3 次元音色表示インタフェースとの連携について述べる．3 次元
音色表示インタフェース側では主に映像を，オトマトメではコントローラとしてシステムの制御を行う．連

まとめ

6.

マルチメディアコンテンツ制作のための音素材を提供する，「電子音色辞書」のデスクトップアプリケーション化，携帯端末アプリケーション｢オトマトメ｣を実装した．デスクトップアプリケーション化により，ユーザのプライベートなデータベースへのアクセスが可能になり，実用性の幅が広がった．
オトマトメの実装においては，新たな再生インタフ
ェースの提案，既存のシステムとの連携を行った．
今後は，今回実装したシステムの評価や，電子音色辞書のデータベースの充実，オトマトメの新たな応用を行いたい．

携方法は，Bluetooth を用いてワイヤレスでシリアル通信を行った．
二つのシステムを連携することによって，映像，操参[1]

作性ともに表現方法の幅が広がる．映像においては，階層を表現することができる．３次元音色表示インタ[2]

フェースの一つの球体オブジェクトを，音色群として表現させ，そのオブジェクトを選択することで，オトマトメで選択した音色群の一つ一つを確認できる．また，多次元ある特徴量のうち，PC 上の 3 次元とは別の 2 次元のマッピングを表現することができる．また，iPhone のタッチパネルを利用することにより，3 次元音色表示インタフェースの空間移動の制御，加速度センサを用いた，音のエフェクト制御を可能にした．

再生インタフェースの画面例

考文献

小林洋平，小坂直敏：音色記号による環境音検索のための電子音色辞書編集システムの構築,音講論（春），pp. 449–452 (2008)
吉岡靖博, 石塚慎也, 斎藤佳紀, 高橋奈緒子,
小坂直敏：電子音色辞書における音色探査シ
ステムおよび 3 次元音色表示インタフェース,
情報処理学会音楽情報科学研究会 MUS-79-

11 (2009)[3]

Music Technology Group, “The freesound Project”
http://www.freesound.org/index.php[4] 小林洋平，小坂直敏：楽曲制作のための音色理論の構築にむけて, 音日本音響学会講演論
文誌(春), pp. 3–7–15 (2005)[5] “Apach Solr”
http://lucene.apache.org/solr/