WISS2014

ピアノ演奏による楽譜検索システムの提案
高瀬 凌平

足達 花絵

岡部 正幸

吉田 光男

梅村 恭司∗

概要. ピアノの演奏は楽譜を確認しながら行うことが多い. 楽譜を確認しながら演奏を行うには, 自身の楽譜棚から目的の楽譜を探し, それをピアノの前に置いた後に, 演奏を始めるのが一般的である. この場合,多くの楽曲を演奏するには, 楽譜を探しピアノの前に置くという行為をその楽曲の数だけ繰り返さねばならない. このような状況下では, ピアノの演奏によって楽譜を検索及び表示できれば便利である. しかし, ピアノを演奏している演奏者が「これまでの演奏で楽譜を検索する」という指示を出すのは難しい. そこで本稿は, ピアノ演奏による楽譜を検索できるシステムを提案する. 本システムは, ピアノの演奏を入力とする.
また, システムは明示的な検索指示を必要とせず, 自動的に楽譜を表示する. これにより演奏者は, 検索を指示することなく, ピアノの演奏のみを行うことで楽譜を確認することができる.

1

はじめにピアノの演奏は楽譜を確認しながら行うことが多い. 楽譜を確認せずに演奏できる楽曲であっても,続きが思い出せず, 手が止まってしまうことがある.
演奏者が楽譜を確認しながら演奏を行うには, 自身が所有している楽譜棚から目的の楽譜を探し, それをピアノの前に置いた後に, 演奏を始めるのが一般的である. この場合演奏者が多くの楽曲を演奏するには, 楽譜を探しピアノの前に置くという行為をその楽曲の数だけ繰り返さなければならない. この状
況下では, 楽譜を探しピアノの前に置くという行為を省略できれば便利であると考えられる.
本稿は, ピアノ演奏によって楽譜を検索し, 同時に演奏者へ表示するシステムを提案する. 本システ
ムは, ピアノの演奏を入力とする. これにより演奏者は, 楽譜を探すという行為を省略できる. また, システムは「これまでの演奏で楽譜を検索する」という明示的な指示を必要とせず, 自動的に楽譜を表示する. これは, 楽譜をピアノの前に置くという行為を省略するためである. 例えば, 検索ボタンを設置することで演奏者からの検索指示を仰ぐようなシス
テムでは, 演奏者は楽譜をピアノの前に置く代わりに検索ボタンを押さねばならず, これでは根本的な省略には至らない. これらにより, 楽譜を確認しながら演奏を行いたい演奏者は, 楽譜を探しピアノの前に置くという行為を省略し, 楽譜を確認したい楽曲の一部を演奏することで楽譜を確認できる.

2

関連研究

石原らは, ハミングによるクラシック音楽の検索を提案している [1]. また, 橋口らはハミングという∗Copyright is held by the author(s).
Ryohei Takase, Kae Adachi, Masayuki Okabe, MitusoYoshida, Kyoji Umemura, 豊橋技術科学大学

図 1. システム構成

音楽情報に歌詞という音楽情報が加わった場合の楽曲検索を検討している [2]. 楽曲の印象という音楽情報に目を向ければ, 三好らが楽曲の印象を数値化し, 音楽検索のキーとする手法を提案している [3].
楽曲名や作曲者名以外の音楽情報から楽曲を検索する試みは盛んに行われている. 本稿が提案するシステムは, 「ピアノを演奏する」という状況を活かし, ピアノ演奏という音楽情報から楽曲ではなく楽譜を検索する. 同時に, たった今楽譜を確認したい演奏者に対して, 明示的な検索の指示を要求することなく, その楽譜を表示する.

3

システム構成及び実装にあたっての問題点

本システムの構成を図 1 に示す. 本システムでは,電子ピアノの演奏が入力となる. その入力は MIDI形式でコンピュータへと渡され, 楽譜を検索するキーとなる. コンピュータは受け取ったキーを検索エンジンへ与え, 検索結果を得る. その後, 得られた楽譜をディスプレイへと出力する.

WISS 2014

本システムの実装にあたって, 解決しなければいけない問題点及びその解決指針を述べる.

3.1

検索を指示する難しさ

システムへの入力は電子ピアノの演奏であるから,演奏者はその入力を演奏と並行して行える. 一方で,演奏者はピアノ演奏以外の動作を同時に行うことは困難であり, 「これまでの演奏で楽譜を検索する」という検索の指示を並行して行うことは難しい.
この問題を解決するために, 本稿では演奏者からの指示が不要な検索インターフェイスを設計する.
このインターフェイスは, 新たな音が入力されるたびにその音を蓄積し, 同時に, それまでの蓄積内容で検索を行う. 得られる検索結果は検索エンジンが算出する類似度の高い順に並んでおり, このうちの1 位をディスプレイへと出力する.

3.2

MIDI 上での和音問題

人間が和音として弾く複数の音はどれほど小さ
くとも数 ms 程度のずれを伴っており, このずれはMIDI 上で順序を生む. そのため, 人間にとってのある 1 つの和音が, MIDI 上では順序の異なる複数のパターンで表現され得るという問題が生じる. 例
えば, 演奏者が do, mi, so という三つの音を和音として弾いたとする. この和音を MIDI データに変換
すると, そこには “do mi so ”, “do so mi ”, “mi doso ”, · · · という 3! = 6 通りのパターンが存在する.
この問題を解決するために, 本稿では音の順序を矯正する. MIDI データ内の音は, 入力された時刻順に並んでいる. インターフェイスは, これらのうち 50ms よりも短い時間間隔で隣り合う音をまとめ, そのまとまりを音の高さ順に並び替える. なお,50ms という基準は演奏のテンポを考慮しておらず,この基準の自動調整は今後の課題である.

4提案方式

本稿が提案するシステムは, 電子ピアノの演奏を入力とし, ディスプレイへ楽譜を出力する. なお, 本
稿では出力前に行う検索処理にテキスト検索エンジンを採用している. そのため本システムは, MIDIのハンドル時, 検索データベースの構築時においてテキストへの変換という処理を行っている.

4.1

MIDI のハンドルある 1 つの音が入力されたとき, インターフェイ
スはその音の高さと入力時刻を求め, 3.2 節に従い和音問題の解消を図る. その後, 入力された音を一意な一文字に変換し, 検索クエリに蓄積する.

4.2

検索データベースの構築

検索データベースには透明 PDF 形式の楽譜を登録する. この透明 PDF は, 画像の上に透明な文字を配置することで, 目で見る分には画像でありながらもテキストとして扱うことができる. 透明 PDF
形式の楽譜の作成には以下の手順を取った. なお,ノートナンバーとはピアノの鍵盤 1 つ 1 つに割り当てられた通し番号である. また, 手順 4 においては,3.2 節に従い和音問題を解消している.
1. 楽譜を画像形式で用意する
2. 楽譜を見ながら電子ピアノを演奏し, その演奏情報を MIDI データとして保存する
3. MIDI データを解析することで, 演奏に現れたノートナンバーを全て抽出する
4. 得られたノートナンバーを一意な一文字に変換し, 入力された時刻順に一行に並べる
5. 得られた一行のテキストと用意した画像形式の楽譜で透明 PDF を作成する

検索の実行

4.3

新しい MIDI 入力がハンドルされるたびに検索を行う. 同時に, 得られた検索結果のうち一位の楽譜のみを常にディスプレイへ出力する.

5

おわりに

本稿は, ピアノ演奏による楽譜を検索するシステ
ムを提案した. 本システムを利用する演奏者は, ピアノを演奏することで楽譜を検索し, 確認することができる. この際, 演奏者は「これまでの演奏で楽譜を検索する」という指示を出す必要がない. さらに
本稿は, ある 1 つの和音が MIDI 上で複数のパターンで表現され得る問題を解決した.

謝辞
本研究は JSPS 科研費 26330396 の助成を受けた.

参考文献[1] 石原 健司, 木村 文則, 前田 亮. 擬音語入力によるクラシック音楽検索手法の提案. 第 4 回データ工学と情報マネジメントに関するフォーラム. E3-1.
2012.
[2] 橋口 博樹, 西村 拓一, 矢部 博明, 赤坂 貴志, 岡 隆
一. 鼻歌による音楽検索と歌詞音声検索の統合処理の検討. 音楽情報科学, 情報処理学会研究報告. 16号. pp.57-62. 2001.
[3] 三好 真人, 柘植 覚, Choge Kipsang Hillary, 尾山匡浩, 伊藤 桃代, 福見 稔. 音楽検索のための楽曲
印象値の自動付与手法. 音楽情報科学, 情報処理学会研究報告. 89 巻 23 号. pp. 1-6. 2011.