情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-407-83
2017/3/2

協調編曲におけるコミュニケーション支援のための同期Web 型楽譜エディタ
天野 雅也1,a)

大囿 忠親2,b)

新谷 虎松2,c)

概要：特定の楽器に偏った知識を持つユーザ同士の協調編曲は，楽器知識をユーザ同士で補完し合うことで，個人ではできないような楽曲を生み出すのに有用である．音楽には感覚的な要素が多いため，協調編
曲を行う際，曖昧な指示が多くなってしまい，ユーザ同士のコミュニケーションが難しい．そこで，本研
究では, ユーザ間でリアルタイムに共同編集できるように楽譜内のデータを同期させた，次の 3 つの機能を持つ同期型楽譜エディタの試作を行った．1 つ目は，楽譜エディタ上で対象を指し示すためのポインティング機能，2 つ目は楽曲のイメージを共有するための文書と音声を楽譜上に残すメモ機能，および 3 つ目
は，以前の楽譜の状態と現在の楽譜の状態を比較するための楽譜の状態の履歴を保存する機能である．本
稿では，3 機能の実装について述べる．

A Synchronous Web Music Score Editor for Communication Support in
Cooperative Arrangement
Masaya Amano1,a)Tadachika Ozono2,b)Toramatsu Shintani2,c)Abstract: Cooperative arrangement is valuable for creating songs that cannot be composed by individuals
because users with biased knowledge on specific musical instruments complement knowledge on various musical instruments each other. However, it is diﬃcult for supporting users to communicate with each otherbecause of ambiguity of communication on music. We are developing a synchronous web music score editor for communication support in cooperative arrangement, which has trhee functions; poiting, memo, andhistory functions. This paper presents how to implement the functions.

1. はじめに作曲された楽曲をバンド形体で演奏するためや，より完成度が高い楽曲にするために，編曲作業は行われる．しかる協調編曲が行われる．特定の楽器に偏った知識を持つユーザ同士の協調編曲は，楽器知識をユーザ同士で補完し合うことで，個人ではできないような楽曲を生み出すのに有用である．

し，全楽器のパートの編曲を個人で行うには，様々な楽器音楽にはその性質上，感覚的な要素が多いため，協調編の知識が必要である．そのため，特定の楽器に偏った知識曲を行う際，曖昧な指示が多くなってしまい，ユーザ間のを持つユーザが集まったバンドでは，各楽器パートの演奏認識に齟齬が生じ，ユーザ同士のコミュニケーションが難者が自分のパートの編曲を担当し，組み合わせて編曲をすしい．また，編曲者は曖昧性を含む楽曲イメージから自身

12a)
b)
c)

名古屋工業大学 情報工学科
Department of Computer Science, Nagoya Institute of Technology
名古屋工業大学 工学研究科 情報工学専攻
Department of Computer Science, Graduate School of Engineering, Nagoya Institute of Technology
amanom@toralab.org
ozono@toralab.org
tora@toralab.org© 2017 Information Processing Society of Japanの音楽知識や経験に基づいて意識的または無意識的に音の強さといった表情付けを行いながら楽曲を編曲していく．
そのため，音楽知識や経験を他者へ正確に言語化し表現するのは困難である．協調編曲では，編曲者間の指示や，発言の指している部分をユーザ全員が同じ認識を得ることは，円滑に作業を進めることに置いて重要である．また，660

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-407-83
2017/3/2

他のユーザの意見を正しく理解することは，楽曲イメージを一つにまとめあげるのに必要なことである．
共通認識を得る方法として，楽曲イメージを外在化し，他ユーザと共有することで，考えられる．個人のイメージとして内在する楽曲イメージを外在化する方法として，楽譜の作成がある．しかし，ただ楽譜を作成するだけだと，楽譜の修正，変更が多く行われる編曲過程の場合，高頻度で変更される楽譜を他ユーザに共有するには多大な手間と労力がかかる．
本研究では協調編曲に際のコミュニケーションで発生するユーザ同士の認識に齟齬が生じてしまう問題を解決するために，Web 上で共同編集ができる楽譜エディタの開発を行った．

2. 関連研究
情報技術を用いた，楽曲の作曲，編曲を支援する研究は多く行われており，大きく二つにわけられる．一つは計算機に人間が行う創造活動のすべて，または一部を代行してもらう自動作曲の研究, もう一つは計算機を利用して人間が行う創造活動を支援し，効率を良くしたり，高度化を目指す研究がある．さらに，後者の研究には，個人の創造活動を支援する研究は多くあるが，複数人の創造活動を支援する研究は多くない．複数人による創造活動は，個人では解決できない問題を，それぞれの人が持つ知識を補完しあうことで解決でき [1]，グループ全体として発揮される創造性 [2] を活用できたりするなど，有用であり，今後の研究成果が期待されている領域である．本研究は，計算機が編曲を行うのではなく，ユーザの編曲作業を支援することが目的なので，後者の研究に含まれる．
複数人による創造活動を支援する研究として，アノテーションが付加された楽曲断片をユーザが加工し，それらをユーザ間で共有することで協調作曲を支援するシステム [3]や，ユーザ間で議論しながら二次元チャット上に楽曲断片を配置し楽曲を完成させていくインターフェース [4] などが提案されている．しかし，楽曲断片を基礎に楽曲を完成させていく研究アプローチには協調創造作業の簡便化には有用だが，曖昧性を含む楽曲イメージを徐々に完成させていくというプロセスにとっては，粒度が粗い．この課題に対して，木村らは遠隔協調楽曲編集による作曲システム

Marble[5] を開発した．Marble は楽譜内のデータを同期させて，リアルタイムに共同編集を行なうという点で，本研究と類似点があるが，Marble は協調作曲を行う遠隔地間のグループを支援対象としており，遠隔地で協調作曲を行う際の課題を解決するためのシステムである．それに対し，本システムは実際に編曲者が同じ場所に集まり，協調編曲を行う際のコミュニケーションにて発生する問題を解決することを目的にしているため，明確な差異がある．

© 2017 Information Processing Society of Japan

3. 協調編曲における問題
協調編曲は楽曲の一部分のフレーズに対して議論を行い，変更案が出た場合は，実際に演奏をし，現在の案との比較を行う．再度その部分に対して議論を行い，また別案が出た場合は比較を行うというプロセスを，編曲者全員の納得がいくまで繰り返し，楽曲を完成させていく．
このプロセス中では，楽曲のどの部分に対して作業，発言しているかを示す必要がある．その際，楽曲の楽譜がない場合は，口頭で対象部分を示したり，実際に対象部分を演奏して示したりすることが多い．しかし，編曲過程中では楽曲全体がまだ未完成で，次々と修正，変更が行われるので，他パートのフレーズを把握しておくことは難しい．
そのため，他パートの演奏を聞いても作業対象の認識がユーザ間で食い違うことが多くなってしまう．また，楽譜があった場合でも，楽曲の修正，変更が高頻度で行われる
ので，楽曲の現在の状況を編曲者全員が共有することも難
しく，対象箇所を指し示す際にも，指し示した箇所を他編曲者に直接見てもらう必要があり労力がかかる．
協調編曲作業での議論では，口頭で楽曲イメージを伝えることもあるが，言語化しにくい楽曲イメージを，実際に自身が担当する楽器で短いフレーズを演奏し，伝えることがある．その演奏したフレーズに対して意見をだして，作業を進めていく．演奏してもらったフレーズを再度確認す
るには，確認を行うたびに演奏をしてもらう必要があり，時間と労力がかかってしまう．案の比較を行う際にも同様に，何度も演奏を行う必要があり，時間と労力がかかる．
また，楽曲の一部分に対しての議論が長く続き，多数のフレーズの案が出た場合，フレーズの案がどのような意向で発案されたかを把握するために，議論で出た意見を確認したい場面があるが，確認するには，発言者に一々聞く必要があり，労力がかかり，作業も止まってしまう．
楽曲全体の再考や調整をする際に，変更前の状態と，変更後の状態を比較したい場面がある．そのためには，ある時点での楽曲がどのようになっていたかを覚えておく必要があるが，様々な時点の楽曲の状況を完璧に覚えておくことは難しい．編曲作業を中断し，時間をおいて再開した場
合は，現状の楽曲より前の状態の楽曲を覚えておくことは困難である．
本研究では，これらの問題を解決するために，楽譜内のデータを同期させ，共同編集ができる楽譜エディタイン
ターフェースを試作し，指示対象を共有するためのポイン
ティング機能，編曲者の発案内容と意向を再度確認するための文書，音声を残すメモ機能，楽譜エディタの状態を比較するために楽譜エディタの状態の履歴を保存する機能を搭載した．次節にて問題解決のために考えられる機能について詳述する．

661

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-407-83
2017/3/2示すことができるので，ユーザ間での議論対象の齟齬がなくなると期待できる．ポインティング方法として考えられるのは，他のユーザのマウスポインタの位置を表示させたり，タブレットなどのタッチデバイスでは，長押ししたときにポインタを表示させたりなどがある．全てのポインタを同じ表示にすると，誰が指し示しているのかが分らなくなるため，ユーザごとにポインタの色分けや，各ユーザのパートでポインタの種類を変えるなど表示方法の工夫が必要である．また，指示の対象には小節単位や，一つの和音，複数のパートなど様々なものが考えられる．そのため，楽曲の小節単位でポインティングや，複数のノーツに対してのポインティング，複数パートに対してのポインティングなども，指示対象を正確に共有するために有効だと期待で
図 1 本システムを使用している様子

きる．

Fig. 1 Use Case.

4.2 文書と音声を楽譜上に残すメモ機能

4. 問題解決のための提案手法

協調編曲作業での議論の際には，作っていきたい楽曲のイメージを編曲者間で共有することが必要である．そこで，編曲者間で楽曲イメージを共有するために，楽曲イメー意見を述べるための文書と，実際に演奏した音声を楽譜エジを楽譜として外在化をさせる．その際に，楽譜内のデーディタ上に残すメモ機能を考えた．楽譜上にメモを残すこ

タを編曲者間で同期させリアルタイムに共同編集を行えとによって，他の編曲者の意向を，一々聞くことなく，メるようにすることで，現在の楽譜の状態を編曲者間で共有

モを閲覧することで，容易に確認が行えるようになる．まできるようになるインターフェースを提案する．このインた，メモを楽譜エディタ上の任意の位置に残せるようにす

ターフェースに，上記で述べた協調編曲におけるコミュニることで，実際に口頭で聞くよりも，楽曲のどの部分へのケーションで発生する問題を解決するために以下の，3 つ意見なのかが把握しやすくなっている．さらに，実際の演の機能を定義する．

奏の音声を残すことによって，言語化しにくい感覚的な楽• ポインティング機能

曲イメージをユーザ間で共有することが可能となった．演

• 文書と音声を楽譜上に残すメモ機能

奏してもらったフレーズを確認したいたびに，楽譜エディ• 楽譜の状態の履歴を保存する機能

タ上で残された音声データを聞くことによって，他のパー各機能の詳細と問題に対してどのような改善が期待される

トに何度も演奏してもらう必要が無くなり，議論の進行がか述べていく．本研究では，特定の楽器に偏った知識を持円滑になると考えられる．また，他のパートの演奏に対しつ編曲者が実際に同じ場所に集まり，協調編曲を行う際のて，自分のパートの編曲をどのように進めていくかを決めコミュニケーションを支援対象にしている．本システムをる際の指針にもなり，より効率的な作業が行えると期待さ使用している様子を図 1 に示す．ユーザはそれぞれが担れる．

当している楽器を持ち寄り，編曲作業を行う．本システムの楽譜エディタに入力をし，楽譜の作成をする．楽譜内のデータは，各ユーザの端末間で同期され，共同編集が行えるようになっている．

4.3 楽譜の状態の履歴を保存する機能
協調編曲作業では，楽曲全体の再考や調整をする際に，変更前の状態と，変更後の状態を比較したい場面がある．
そこで，楽譜の状態の履歴を保存する機能を考えた．ある4.1 ポインティング機能時点での楽譜エディタの状態を保存しておくことで，現状協調編曲で行われるプロセスで，楽曲のどの部分に対しの楽譜と，変更前の楽譜とを目で見て比較が行えるようにて作業，発言しているかを示す必要がある．そこで，同期なる．編曲者間で変更前の楽曲の方が良かったとなった場

している楽譜エディタ上で対象を指し示すためのポイン

合，履歴を保存しておくことで，変更前の状態に復元するティング機能を考えた．楽譜エディタ上でポインティングことが容易となり，編曲者の負担が軽減できる．また，作することができれば，現在どこの部分の編曲作業を行って業再開の際にも，以前の作業の過程が把握できるため，実いるかが，目で見て把握しやすくなり，ユーザの着目して現したい楽曲イメージの想起がしやすくなると期待される．

いる箇所を簡単な指示語で他のユーザに共有することがまた，比較を行う方法として，変更前の状態をすべて表示可能となる．楽曲のどの部分に対する発言かを，楽譜上でさせ見比べる方法や，変更がある箇所のみを同一エディタ© 2017 Information Processing Society of Japan662

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-407-83
2017/3/2

図 2 ピアノロールインターフェース

Fig. 2 Piano Roll Interface.

上に表示させ差異を見やすくする方法など様々な方法が考えられる．
図 3 システム構成図

5. 実装

Fig. 3 System Architecture.

本節では，本研究で協調編曲におけるコミュニケーションのための同期型楽譜エディタインターフェースの実現のために，実際に実装した機能について述べる．本システム
は，ユーザが各端末で共同編集を行う Web アプリケーションである．楽譜の形式として DTM（DeskTop Music）ソフトウェアで一般的に使われているピアノロールを採用した．図 2 にピアノロールインターフェースを示す．ピアノ
ロールは，縦軸が音階，横軸が発音タイミングと音の長さを表すインターフェースであり，これを用いることで，音階や音の長さを視覚的に把握することができ，楽譜データとして楽曲イメージを外在化し，共有することができる．

図 4

メモの入力及び表示

Fig. 4 Imput Form and Annotation Style.

さらに，ノーツの入力方法も直感的でわかりやすいため，随時入力を行っていく本システムではピアノロールを採用した．

せるようになった．タッチデバイスを用いる場合は，マウ

図 3 は本システムの構成図である．ユーザが楽譜エディスポインタがないため，楽譜上の一点を長押しすること

タに音符の追加や編集，削除，テンポの変更などの操作をで，ポインタを表示させるようにした．こちらのポインタ行うたびに，サーバを通して，操作内容を逐次送受信するもユーザごとのノーツの色に合わせた．タッチデバイスでことで楽譜上の情報を同期させる．同期させるデータは，も，この機能を用いることで容易に指示対象を示すことが音符に関するデータ，トラックに関するデータ，楽譜全体できるようになった．

に関するデータである．パートの判別の混乱を避けるため，ノーツの色はユーザごとに分けた．各ユーザの操作を5.2 文書と音声を楽譜上に残すメモ機能の実装反映させることで，互いの編曲過程をリアルタイムに閲覧

図 4 に，メモの入力フォームと表示のユーザーインター可能となる．同期型楽譜エディタインターフェースに搭載

フェースを示す．楽譜エディタ上でダブルクリックするこ

した協調編曲におけるコミュニケーションを支援するためとで入力フォームを表示させ，文書と音声のメモを小節単の機能の実装の説明を詳述する．

位で残すことができる．全てのユーザの楽譜エディタ上に，メモが残された小節の上部に吹き出しアイコンを表

5.1 ポインティング機能の実装

示させ，ユーザはそのアイコンを選択することで，楽譜エ本システムでは，他ユーザのマウスポインタ位置の共有

ディタ上にメモ内容が小窓で表示され，内容を閲覧すること，タッチデバイスのためのポインティング機能の実装をとができる．アイコンを上部に表示させたのはノーツを追行った．各ユーザのマウスポインタの位置を表すテレポイ

加する際にメモのアイコンが邪魔になるのを防ぐためであンタを表示させる．テレポインタの色はユーザごとのノーる．すでにあるメモに対してチャット形式で意見を追加す

ツの色に合わせた．これにより，作業箇所の把握がしやすることができ，メモが追加された時刻も表示させる．これ

くなり，簡単な指示語とマウスポインタで，指示対象を示により，議論の過程が把握しやすくなる．

© 2017 Information Processing Society of Japan663

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-407-83
2017/3/2

今後の課題として，楽曲の質や，出来上がった楽曲へのユーザの満足度を評価することが挙げられる．また，本システムは音符を一つ一つ入力する必要があり，音数の多いパートの場合，楽譜エディタに入力するのに労力がかかってしまう．そのため，MIDI キーボードなどの外部機器か
図 5 履歴機能のユーザーインターフェース

Fig. 5 User Inerface of History Funcion.

らの入力に対応したり，実際に演奏するだけで，採譜を行うことができるようにしたりするなど，システムの機能の拡張を行う必要がある．

5.3 楽譜の状態の履歴を保存する機能の実装
今回のシステムでは，楽譜エディタに対する入力と変更

7. おわりには高頻度で行われるため，一定の間隔で保存を行うのでは本研究では，協調編曲におけるコミュニケーションで発なく，ユーザの好きなタイミングで保存を行える仕様にし生する問題の解決を目的とした，同期型楽譜エディタイン

た．履歴を保存するには楽譜エディタのヘッダー部分にあターフェースを試作した．本インターフェースに，コミュる履歴保存ボタンを押すことで可能とした．保存する際にニケーションを支援するために，ポインティング機能，文は，保存する楽譜エディタの状態の内容に関するメッセー

書と音声を楽譜上に残すメモ機能，楽譜の状態の履歴を保ジの入力が行える．履歴が保存されると，ヘッダー部分に存する機能を実装を行った．ユーザはこれらの機能を使用ある履歴一覧に，保存された時刻とメッセージで表示されすることで，ユーザ間の認識を共有することができ，協調る．図 5 に履歴保存，一覧のユーザーインターフェースを編曲における作業の労力を減らし，コミュニケーションの示す．表示履歴一覧から比較を行いたいものを選択するこ支援を実現することが期待される．とで，その履歴のデータを呼び出すことができる．履歴の楽譜データには存在するが，現在の楽譜エディタ上には存

参考文献

在しないノーツは，元のノーツの色より薄く表示させ，現[1]

在の楽譜エディタ上にのみ存在するノーツは元のノーツの色より濃く表示を行う．これにより，履歴との差異が把握[2]しやすくなっている．

6. 考察と今後の課題[3]

本研究で試作した，協調編曲におけるコミュニケーションのための同期型楽譜エディタインターフェースについて考察を行う．本研究では，実際に同じ場所に集まって行う[4]

協調編曲の作業過程に行われるコミュニケーションで発生する問題を解決することを目的とした．この目的に対して，ポインティング機能，文書と音声を楽譜上に残すメモ機能，楽譜の状態の履歴を保存する機能を搭載した共同編集ができる楽譜エディタを提案した．ポインティング機能[5]Gerhard Fischer．“Symmetry of Ignorance,Social Creativity,and Meta-Design”, Journal of Knowledge BasedSystems,Vol.13,No.7-8,pp.527-2537(2000).
Gerhard Fischer．“Social creativity:Turning Barriers
into Opportunities for Collaborative Design”, Proceedings of the 8th Conference on Participatory
Design(PDC’04),pp.152-161(2004).
Keiji Hirata, Shu Matsuda, Katsuhiko Kaji, and Katashi
Nagao. “Annotated Music for Retrieval, Reproduction,and Sharing”, Proceedings of the 2004 International
Computer Music Conference, pp.584-587(2004).
味方秀樹，魚井宏高．“二次元チャットシステムを用いた作曲インターフェース”, 第 13 回インタラクティブシス
テムとソフトウェアに関するワークショップ（WISS’05）
予稿集，CD-ROM(2005).
木村昌樹，大平雅雄，松本健一．“Marble:遠隔協調楽曲編集による作曲支援システム”, 情報処理学会 研究報告 グループウェアとネットワークサービス (GN)，(2010).

は，同期されている楽譜エディタ上で直接指示対象をポインティングすることで，ユーザ間の指示対象の認識の齟齬を減らすことにつながった．文書と音声を楽譜上に残すメモ機能は，発案者への意向の確認や実際のフレーズを何度も演奏するといった，協調編曲の進行を妨げる行為をなくすことに貢献し，作業を円滑に進めることができると考えられる．楽譜の状態の履歴を保存する機能は，編曲者が全ての時点の楽曲状況を把握しておくという非常に困難な行為をなくし，編曲作業で行われる比較作業の労力を少なくし，編曲者の負担を減らすことにつながった．複数人の感覚的なイメージをすり合わせて楽曲を作っていくといった，認識の齟齬が起きやすい協調作業では，コミュニケーションを支援することは非常に有意であると考えられる．

© 2017 Information Processing Society of Japan664