計測自動制御学会東北支部第265回研究集会（2011．6．28）
資料番号265−13

自動採譜装置を用いた点字楽譜変換に関する研究
ResearchoftheautomaticmusicscoringsystemforBrai11e−Score○工藤裕太朗、小坂谷専一
OHirotaroKudo，JuichiKosakaya
八戸工業大学大学院工学研究科電子電気・情報工学専攻

Graduate SchoolofElectrical，Electronic andInformation Engineering，
Hachinohe Institute of Technology

キーワード：自動採譜装置（automaticscoringsystem），伝統楽器（traditionalinstrument），点字楽譜（Braille・Score）、ABC記譜法（ABCnotation）
連絡先：〒031−8501青森県八戸市大字妙字大開88・1
八戸工業大学工学部システム情報工学科 小坂谷善一
TEL：0178−25−8034FAX：0178・25−1691E−mail：kosakaya＠hi・teCh．ac．jp

1．はじめに生成」出来れば、視覚障害者にとって一層音楽が身近に現在、全国の視覚障害者の数は約40万人と言われてなり、この分野の音楽教育に画期的な進歩がもたらされいる。先天的に視覚障害を持つ人は、盲学校等におけるる事が予想される。この「視覚障害者に優しい点字楽譜音楽教育で何らかの楽器に触れる機会が与えられてい自動生成装置の実現」を目指し、本研究開発を行った〔る。しかし、この視覚障害者向け音楽教育において、圧2．研究概要

倒的に点字楽譜の専門家が少ない為に教育環境が整わ演奏した楽曲が自動的に電子譜面に変換されるには、ず、優れた素質がありながら音楽に深く触れることが出装置と繋がれた楽器から入力された音源が、装置内部で来ず、専門家への道を断念する人が多いとされている。

適切に処理される必要がある〔ノ今回実際に演奏した音源

一方、近年のヴァン・クライバーン国際ピアノコンクーから楽譜を出力する為に、［1］に示す自動採譜手法を導ルにおいて日本の視覚障害者が優勝するなど、多くのハ入した。本研究での自動採譜とは、楽曲の入力・解析・ンディを乗り越え文化や芸術面において非健常者が優譜面化までの流れの事を示し、この処理を行う装置のこれた素質を開花させ、様々な分野で活躍している事も事とを自動採譜装置と呼ぶ。自動採譜装置では、専用の楽実である。このような背景において、「専門の点字楽譜器を演奏するだけで、一般的な楽譜を出力することが可知識」が無くとも、「楽器を弾けば自動的に点字楽譜が能となっている。

自動採譜処理の流れは、音源が入力されてから、周波今回音源の入力に用いているエレクトリック三味線

数分析処理によって音源の周波数解析を実行し、三味線では、写真1に示すように、弦毎にピックアップマイク用音階判読処理によって予め登録してある音階周波数ロフォンを取り付けることによって独立した音階が抽と解析した周波数との比較、周波数が一致した部位を音出できるようになっている。′ また、弦同士の共振を避け階として特定し、採譜処理によって西洋譜面または三味るため、胴体を演奏にあたって必要な部分を除き空洞構

線用文化譜面として出力を行うというものである′J解析造としている。

された音源の演奏情報の出力をMIDIデータ生成という形で行った。
本研究では、譜面化を行う際に自動採譜装置が出力するMIDIデータを変換して点字楽譜を出力することを目的としている。以下の機能の実装に向け研究を行った。
（1）MIDIデータをテキストデータに変換
自動採譜装置から出力されたMIDIデータを点字変換処理用のテキストデータに変換する。
（2）点字記号データベース

写真1エレクトリック三味線

MIDIテキストデータの内容に対応した点字記号の出力を行う為に必要であると考えた〔（3）点字記号出力処理部変換されたⅣⅢDIテキストデータの情報を元に、点字3．点字での表現方法
点字の代表的な表現について記す。

点字楽譜は、他の点字表記と同様に、6つの点の組み合記号データベースから画像を選択し、配置する。

わせによる記号を左から右へ横1列に表記する記号譜で本研究の装置構成を図1に示すある。昔の高低や長さを表す際に、譜面上の音符の上下や形によって表現する西洋譜面とは全く異なった表記法で書かれている。

例として、図2に4分音符と64分音符のドの音を挙げる。
●●●●

図2 4分音符、64分音符：卜
図1自動採譜及び点字音符変換装置構成

上から一段目と二段目で音の高さを表現し、下の一段で音の長さを表現している。図2の点字記号が4分音符で2．1エレクトリック三味線についてあるか64分音符であるかは、通常は1小節内の音符と入力に際し、一般的な三味線を使用した場合、弦同士休符の長さや数によって判断する「ただし、区別がつかでの共振が起こる、頼で楽器を打つために不要な青までない場合には分別記号を用いて判断する′ 休符について入力されてしまう等の録音上の不都合が確認されていも同様である、る。

音の高さについての対応は図3の通りである。

ch＝1n＝60v＝100」という情報が使用されている。これは、音の始まりが480の位置にあり、この音を演奏する楽器が使用するチャンネルが1番で、音階nが60（一般的なドの音）、である事を示している。＼FlOOはベロシ

図3 点字による音階の表現

ティ（音の強さ）を表しており、0が無音で128が最大音

図3の左からド、レ、ミ、フア、ソ、ラ、シとなってい量を表すしノ位置の右隣のOnは音を鳴らすことを示してる〔ノ これら七つを幹音と呼ぶ。この幹音がどの音域に属いる。この音は次の音の情報が読み込まれるまではひたするのかを示す為の音列記号が存在し、音階の判別を可すら音を出し続ける 音を止めるためには『0の音情報

能にしている二を加えるか、Onの代わりに0仔を用いる必要があり、実西洋譜面によく用いられる記号として、以下の点字記際に最初に示した音の後ろには②「9600n ch＝1n＝60v＝0」という情報が書き込まれている。480と960の差号を図4に示す。
●●

である480だけ音を伸ばしていることを示している。こ●の曲では、480という数値が四分音符を表しており、①で音が始まってから②で終了するまでにちょうど四分音符一つ分の時間がかかっていることが示されている。
図4 臨時記号と調号

また、③のテキストでは、二段目に記述してある位置これらを臨時記号として扱う場合は、音符を表す点字3840から三段目の位置4320まで音が無い状態を示して記号の前（音列記号がある場合は音列記号の前）に置く。

いる。この差である480が無音であることから、この区西洋譜面と同様に臨時記号の有効範囲は1小節内である。

間を四分休符にあてることができると考える〔ノ点字楽譜

調号として扱う場合、♯なら♯の点字記号を必要な数に使用される記号のデータベースから、nの数値が一致だけ並べて記述する。ただし、4つ以上調号が並ぶ場合している位置の差を音符に置き換え、全ての音がv＝0まは、調号の前に4〜6の数字を添えて表現する。

たは0仔の情報を加えられたことで無音状態であることを判別し、次の音が鳴るまでの区間の長さから休符の種

4．加ⅢDIデータのテキスト化と点字の対応
楽曲の典型的なMIDIテキストデータ例を図5に示す。

類を選択していけば、点字楽譜での音符と休符の表示が可能であると考えられる

80 PrCh ch＝1p＝0480 0n ch＝1∩＝60 v＝100960 0n ch＝1n＝62 v＝1001440 0n ch＝11440 0n ch＝1
1920 0n ch＝1
1920 0n ch＝1
2400 0n ch＝1
2400 0n ch＝12880 0n ch＝12880 0n ch＝1n＝64 v＝100n＝62 v＝0∩＝65 v＝100
n＝64 v＝O
n＝67 v＝100
n＝65 v＝0∩＝69 v＝100
n＝67 v＝0h＝1∩＝71v＝1003360 0n ch＝1n＝69 v＝03840 0n ch＝ln＝71v＝04320 0n ch＝1n＝72 v＝1005280 P「Cト1Ch＝1p＝05280 Meta TrkEnd
TrkEnd

図5 MIDIテキストデータ

この曲では、1つの音を表現するために①「4800n5．譜面変換方法考察

5．11対1対応法
点字記号データベースを作成し、テキストデータとの対応付けによって点字楽譜を表現する方法。MIDIテキ
ストデータと点字記号をひとつひとつ照らし合わせて点字楽譜を生成する
現状の自動採譜装置の運用範囲では致命的な判断ミスは生じないと考えられるが、楽曲のトラック数の増加と共に音符や休符の処理において判断ミスが生じてくる可能性があるしl ll ll

5，2 Pythonスクリプト利用法

uyPondというオープンソースの楽譜組版ソフトがこのP）仙onスクリプトを用いている【3】r、このソフトは、ソースにテキストデータを利用して楽譜を生成するも● l ll●●］：：：：□・：・：［；・
図7点字楽譜出力例

この方法を用いることによる最大のメリットは、実際ので、今回のMIDIテキストを用いた点字楽譜表示に関の演奏とのズレが生じた場合、MIDIテキストデータのして有効であると考えられる′ 西洋楽譜で用いられる記書き換えを行い、再度Ⅰ．己yPondに読み込ませることに号から点字楽譜で用いられる記号への画像の差し替え

よって簡単に修復が行えることである（、6．1で示した1を行い、MIDIテキストデータを用いてソフト側に対応

対1対応法では、元になっているMIDIテキストデータ付けをさせるようにするといった手法を取ることが可の音階情報が数値に依存しているために、修復すべき点能で、複雑な譜面の生成にも利用できる．二の発見がし辛くなる。さらに、高音や低音になればなる実装に際して、点字楽譜フォーマットの整備、MIDIテキストデータがそのままソフト側に流用できないことにより生じるテキストの翻訳作業等、元になるソフトに大幅な変更が必要になる。
楽譜情報の入力から西洋譜面、点字譜面への変換例をほど、数値によって音階を判別するのに時間を費やすことになることも予想される。

uyPondが楽譜情報として読み込める形式に変換されているテキストデータでは、CやGといったコードを元に音の判別が可能である。）音階が大きく変わる場合でも、Cが一般的なドの音であるとした場合、オクターブ以下に示す。
（1）uyPondでの楽譜情報入力

上のドの音はCで表される。

以下のような情報が書き込まれたテキストデータ

数値で音階を表す場合には0から128の数字全ての音を（test．txtとする）の拡張子を書き変えてuyPondに読み込把握する必要があるが、文字によるコードで音階を表すませる形勾tesLly）とし、変換を実行する。と幹音であるc，d，e，鯨a，bの他に、音の高さを表す記号2種類、臨時記号である♯と♭を表す記号2種類があれば（￥time2／4／4分の2拍子

良く、音階を表現するには十分であると判断した。

￥clefbass／ヘ音記号

c4cggaag2／音階と音の長さの指定

6，テキストデータ変換
当初、図5で示したMIDIテキストデータから音符の）（2）上記のテキストデータ入力を受けて、図6のような西洋譜面をp∬形式で出力する。

長さや休符の有無等の情報を得ることを想定していたが、非常に困難であったため、図5のようなテキストデータではなく、ABC記譜法によるテキストデータを出力する方法に切り替えることにした［4］。

図6西洋譜面出力例

ABC記譜法は文字譜を表現する際に用いられる方法の一つであるMIDIデータからABC記譜法に従って点字記号データベースを組み込むことによって、結果的に得られる点字楽譜を図7に示す。

文字で表現された楽曲の例を図8に示す′二今回の例では図8の最下段にある8つの音符を表すテm

キストデータを図11のように変換した（縮羞ほ）書式拉）

S
■︑▲LU

￥header（title ＝ test3′′∩／・＞′JUbト〜一ノ1ヽ

e︵ノ・）＝y︶￥reative（︑■ヽトghミ∨′

c4 d8 e8 f4 g2 alb8．c4
1ハ穴じ

1yAT

04

P／／

X耽川監川．M﹂璧川

P＝羊t．hSgt

相しnuレハy川Vル／一− ∩︸・−−・﹁し†1C十︵し■h▼1 一 U＝〃血口41⁚l．−﹁／／4里川fC：￥］ser班1くOSakaya．Lab‡Desレtop‡mf2t［l］￥test2．mLdて・l￥verson ′′2．Ⅷ．0

図8ABC記譜法による文字譜表現例
このテキストデータを西洋譜面にすると図9のよう
図11uyPond用に変換したテキストデータになる。

このテキストデータをtest3．bにリネームし、

froユrlC：Userskosakaya．labDcsktopmf2t［1］est2．1rLid

J＝128

uyPondで出力すると図11のような西洋譜面が得られた
図9 西洋譜面

uyPondに読み込ませるテキストデータと比べて音符の表現の仕方に大きな差が見られず、テキスト変換が容易である。
今回は、テキスト変換を行うプログラムを利用し、ABC記譜法で記述されたテキストデータをLi1yPond用のテキストデータに変換する際のルールを定め、変換を行った。ABC記譜法での「cl」と、Li1yPon用の記述法での「cl」では音の長さが正反対になる。ただし、符点
図12 uyPondから出力された西洋譜面のついた音符を表す数字はこの限りでないため、個別に対応させた。作成した変換ルールの一部を図10に示す。，

図9と比較して相違無いことが確認できた。

g ab Cdef g ab
CJuef g ab
Cd e

GABCDEFGABCDEFGA巨CDE111︹∠︵∠2︹∠22︵∠︹OR︶R︶R︶OUR︶︵0︹○︹○︹O︵D︵D︵Dl ll−OUOUR︶OUnO︵臼R︶つ︶3333つ︶3222

7．点字記号変換

7節でLilyPond用に変換されたMIDIテキストデー
タから点字記号への変換処理を行うにあたって、点字記号画像とテキストデータとの間で対応付けを行った。対
応付けは、MIDIテキストデータ内の（）で囲まれた部
分中から音符を表す文字列を検索し、対応する音階の点字記号画像を並べていく手法を取った′ テキストデータを受け取り、点字楽譜の出力までの動作の流れを以下に示す
図10 変換ルール表

（1）変換済みテキストデータ内の文字列「￥relative」の回は音符を表す記号の出力のみに留まったが、加ⅡDIテ
キストデータの翻訳のルールの追加と共に、休符や臨時検知（2）変換対象である文字列の検索記号の表現等も実装していく予定である。

（3）変換対象があれば、その文字列とデータベースを照会し、対応画像の配置を繰り返す（4） ） を検出することで、変換対象がこれ以上ないこ

8．まとめ
本研究では、自動採譜装置によって録音した音源を点字楽譜に変換する手法を考案した、また、P沖onスクリとを判別（5）終了処理を行う

プトを利用した点字記号配置によって点字楽譜を表現するという手法の提案と、テキストデータ変換を経た西図11で示したテキストデータから出力された点字楽洋楽譜の出力を可能にした。〕今回は採譜した楽曲のMIDlデータを適切に変換し、点字楽譜化を行うことができた

譜を図13に示￣れが、前後の音の高低差表現の問題や、拍子への対応ができていないという課題が残った。今後は、自動採譜装置から得たMIDIデータをテキストデータへ変換する処理の精度向上、変換したテキストデータを用いて点字記号の出力を行う処理部の充実、点字記号データベースから適切な点字記号の選出を行う処理の実現、適切な拍子に対応した譜面作成処理部の実装を行っていく予定であ
図13 出力された点字楽譜る。

①の部分ではこの音が第4音列の音であることを示す音列記号と音階名cに対応したドを表す点字が出力された。②から⑧までは音列が同じ音であるので音列記号は省略されている。⑨の部分では、①と音階名はcで同一であるが、①よりオクターブ高い音列の音と認識されたために第5音列を表す音列記号が出力され、音階を正しく示していることが確認できた。
全体の変換処理の流れは以下の通りとなった。
（1）エレクトリック三味線からの演奏入力を受けて自動採譜装置がMIDIデータの出力を行う∧ノ（2）れ打DIデータをテキストデータ変換処理部が受け取り、（）で囲まれている文字列部分の翻訳を行う（3）テキストデータの翻訳が終了したら、拡張子を．レに変換し、uyPondに渡し、点字記号データベースに登録してある画像パスを参照し、点字記号の配置を行う。
（4）点字楽譜の表示をpdf形式で行う′ノ

図13の点字楽譜は以上の流れを受けて出力された｛、今参考文献［1］小坂谷蓑一，・・伝統音楽（津軽三味線）保存用自動採譜装置に関する研貯．IEICE信学技報、EA−2008−142（2009）［2］文部科学省点字楽譜の手引 2009．
【3］LilyPondMusicnotation丘）reVeryOne
http：〟川ypond．org／［4］実用めc譜
http：〟1VWW・aSahトnet．orjp／〜mf4n−nmr／abc＿nOtation．h血1