この曲、何だっけ？ 歌で音楽を探す「歌声検索」

音楽情報処理最前線 !

第12回
未来の音楽の楽しみ方、作り方はどう変わるのか ?
コンピュータは音楽を理解できるようになるのか ?
コンピュータを使って音楽を研究する「音楽情報処理」という研究分野が、世界的に注目を集めています。
本連載では、そうした最先端の研究事例を紹介していきます。

iPhone / iTouchを振るだけでメロディが変化する「ShakeGuitar」
メロディを聞いていて、自分なりのニュアンスを加えてみたいと感じたことはないでしょうか？ そんな望
みをかなえるメロディモーフィング技術について紹介します。

フィング結果が表示されています。

メロディのモーフィングとは？

ギターの激しさを調整できるインタフェース

図 2は、我々が現在構築中の、初心者のメロディ生成を支援するシステムです。黒く反転表示しているのが現在編集中のメロディで、その横には、付加するニュアンスの量を変えた複数のモー「モーフィング」と聞いて、みなさんの多くは画像のモーフィ

図 3は、一見グラフィックイコライザーのように見えるかもしングを思いつくでしょう。マイケルジャクソンの曲「Black Or

れませんが、これもメロディモーフィングを利用したシステムでWhite」の 3 分 38 秒以降で、男性の顔が女性の顔に滑らかに変化す。以下のURLにある動画で動作中の様子を見ることができます。

するのを思い出した人もいるでしょう。もしくは、本誌 9 月号のhttp://music.iit.tsukuba.ac.jp/mmjp.html

音楽情報処理最前線！を読まれた方は、音の特徴を変化させるモーフィングを思い出したかもしれません。
今回ご紹介するメロディモーフィングは、画像や音の特徴では横にならんでいるスライドバーはモーフィングレベルを調節するためのもので、これを動かすことによって付加するニュアンスの量を変更することができます。スライドバーが複数あるのは、なく、「メロディ」そのものを滑らかに変化させる手法です。いま横軸が時間軸になっていて、1拍ごとにモーフィングレベルを調

図1のように、メロディAとメロディBという2つのメロディがあっ節できるようにしているためです。

たとします。このときメロディモーフィングは、メロディA にメ

ホームページにあるサンプルでは、モーフィングレベルを全てロディB のニュアンスを付加して少しずつ Bに近づけていくよう一番下にすると、滝廉太郎作曲の荒城の月の原曲をギターで演奏な操作です。たとえば、付加してできたメロディCが、メロディしたものが再生されます。一方、すべて一番上にすると同じコー

A のニュアンスとメロディB のニュアンスをそれぞれ同じぐらいド進行でのギターソロが再生されます。そして、モーフィングレ含んでいるとすると、メロディCはメロディAとBを足し合わせて、ベルをその中間（4 段階ある）にすると、原曲とソロをモーフィン2で割ったものと考えることができます。

グした結果のメロディが再生されます。

メロディ生成への利用て、たとえば「前半は抑えめで、後半次第に盛り上がる」のように、したがって、モーフィングレベルを上下に調節することによっメロディのモーフィングはどんなことに使えるでしょうか。まギターソロのメロディの激しさを自分の好みに調節することができます。

ず、初心者のメロディ生成の支援ができるでしょう。
たとえば、ユー
ザがシステムに対し「メロディAにメロディBのニュアンスを3 割付加せよ」という指示ができれば、メロディの生成が苦手だった人にもメロディ生成の楽しみを味わってもらえるでしょう。

図 1 メロディのモーフィング
画像のモーフィングでは、2 つの画像の、目、口、鼻や輪郭など、特徴的な部分の関連付けをしたあと、各画像に重みをつけて合成します。メロディのモーフィングでも同じようなしくみでモーフィングが実現できます。

98

DTMmagazine 11 2009

ShakeGuitarを無料で公開
図 4は、iPhone/iTouchに搭載されている加速度センサーから

図 2 メロディ生成支援システム
メロディモーフィングを利用すると、あるニュアンスを付加したいメロディをマウスで選択するだけで、そのニュアンスを加えたメロディを自動的に計算できるので初心者はメロディ生成が容易になるでしょう。

浜中雅俊「音楽情報科学研究会」へ参加してみませんか ?

（はまなか まさとし）
2003 年筑波大学大学院工学研究科博士課程修了。博士（工学）。同年日本学術振興会特別研究員 PD、JST さきがけ研究員（専任）等を経て 2007 年より筑波大学 大学院システム情報工学研究科 知能機能システム専攻講師。
同専攻に音楽情報処理研究室を立ち上げ、約 10 名の学生と共に、楽曲構造分析、音楽情報検索、メロディ予測、音楽鑑賞インタフェース、ジャムセッションシステムなど多岐に渡るテーマに取り組んでいる。

情報処理学会 音楽情報科学研究会（SIGMUS）
は、コンピュータと音楽とが関わり合うあらゆる場面を活動対象とする学際的研究会で、年 5 回の研究発表会を開催しています。研究会に会員登録
すると、研究発表会の参加費が無料になるだけでなく、過去の全研究発表会の論文のダウンロードなどの特典があります。研究会の登録方法や研究発表会の開催に関する最新情報などは http://
www.sigmus.jp/ をご覧ください。

得られる値によってギターソロの激しさを調整できるアプリケーます。木の各枝は音符に接続されています。このとき、簡約レベションです。iPhone/iTouchを激しく振るほど、激しいギターソ

ルBと書かれた直線より先端にある枝に接続された音符を省略（簡ロが出力されます。ソロの激しさに応じて、ギターの色も変化す約）
すると、メロディBが得られます。これなら1音づつミュートるようになっています。現在 App Storeでの無料公開に向けて作しながら余裕を持って弾けそうです。

業を行っているところですが、本号が発売になるころには、もしさらに、簡約レベル Cと書かれた直線より先端の枝に接続されかしたらダウンロードができるようになっているかもしれません。

た音符を簡約すると、メロディCが得られます。これは、クラシッ

興味のある方は、App Storeで検索いただくか、以下のホームペー

クやフラメンコなどで良く使うハーモニック・マイナー・パーフェジからどうぞ。

クト5thビロウ・スケールの上昇・下降のメロディです。おそら

http://music.iit.tsukuba.ac.jp/ShakeGuitar.html

くインギーは、この本質的なメロディを基に、装飾的な音符を追加していってメロディを完成させたのではないでしょうか。

メロディの計算？
〜計算論的音楽理論〜

計算論的音楽理論を用いると、メロディモーフィング以外にも、メロディの予測やメロディの要約など様々なことが可能になります。それらについては、また別の機会にご紹介したいと思います。

さて、ここまでメロディモーフィングのアプリケーションを中心に紹介してきましたが、では、どのようにすればメロディのモーフィングが実現できるのでしょうか。まず、音楽的に近いメロディがデータとして近くなるように表現されている必要があります。
また、メロディを表すデータに対してなんらかの演算が定義できることも必要です。
これらの条件を満たすものとして、計算論的音楽理論という方法論があり、メロディモーフィングは、それに基づき構築しています。ここでは計算論的音楽理論を使うとどんなことができるか

図 4 iPhone/iTouch 用アプリ ShakeGuitar
iPhone/iTouch を 振 る 激 し さ に 応 じ て、 ギ
ターソロが激しくなるアプリです。激しく振りすぎて、みなさんの iPhone/iTouch を投げ飛ばさないように気をつけましょう。という一例を紹介したいと思います。
図5のメロディAは、スェーデンの速弾きギタリスト、イングヴェ
イ J. マルムスティーン（通称 インギー）が良く弾く定番のフレーズです。私でも弾けないことはないのですが、弦移動時のミュートが甘くなってしまいそうです。
（ちなみに私は速弾き「ベーシスト」
です。
）
さて、このメロディAを計算論的音楽理論を用いて分析すると、メロディA の上にある木を上下逆さまにしたような構造が得られ

図 3 グライコ風モーフィングインタフェース
音楽鑑賞中に動的にメロディを変更することができるインタフェースです。たとえば、ギターソロのメロディの激しさ（音符の数の多さ）を各拍ごとに調節することができます。

グライコ風モーフィングインタフェース
図図5 3 計算論的音楽理論に基づく音楽分析
音楽鑑賞中に動的にメロディを変更することができるインタフェースで
計算論的音楽理論に基づき楽譜を分析すると木構造が得られます。木構造を直線で分割し、その直線より先す。たとえば、ギターソロのメロディの激しさ（音符の数の多さ）を各拍端の枝に接続している音符を省略（簡約）すると、本質的なメロディが得られます。
ごとに調節することができます。

DTMmagazine 11 200999