情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B51
2018/3/5

コンピュータによる情報表現を支援する入力デバイスの提案
高居 貞成1

柳 英克1

美馬 義亮1

概要：作曲や書などの情報表現は，昨今ではコンピュータ上で行われることも多い．作者は，自らの表現を他者に伝えるために，線や音色などの情報に変換して具現化する．従来の情報表現では，筆や楽器などを用い，腕の力加減や呼気のコントロールといった身体的な感覚によって繊細に制御してきた．このような情報表現の制御は，コンピュータ上では複数のパラメータを個別に編集することで再現する．しかし，マウスやキーボードのような従来の入力デバイスでは，筆や楽器を制御するときのような身体性が伴わないため，繊細な身体的パラメータを入力することは困難である．そこで，本研究では腕の力加減や呼気といった人間の身体的感覚による繊細な表現力に着目し，身体的感覚を利用した自由で繊細なパラメータ入力が可能な新しい入力デバイスの形態を提案する．

Proposal of Input Device to Support Information Representation By aComputer
Takai Sadayoshi1

Yanagi Hidekatsu1

Mima Yoshiaki1

Abstract: Representation of information such as composition and writing is often done on computers inrecent years. In order to convey his / her expression to others, the author converts it into information suchas lines and tone colors and embodies it. In traditional information representation, we have used brushes
and musical instruments and have delicately controlled it by a physical sensation such as adjustment ofarm’s force and control of exhalation. Such information expression control is reproduced on a computer byediting a plurality of parameters individually. However, conventional input devices such as a mouse and a
keyboard do not involve physicality as when controlling brush or musical instruments, so it is diﬃcult toenter delicate physical parameters. Therefore, in this research, we focus on the delicate expressiveness due
to human physical sensation such as arm power adjustment and expiration, and propose a new input device
form that allows free and delicate parameter input using physical sensation.

1. 背景
作曲や描画などといった人間がもつ感情や意思を情報化して表現するような活動は，昨今ではコンピュータ上で行うことが一般的になっている．これらの活動をコンピュータ上で行う利点としては，以下が考えられる（図 1）．
しかし，元となるデータを創作することそのものに関しては未だに非効率的である．とりわけ，作曲でいうなら音の・データの長期保存・データの複製・データの出力・データの移行・共有
・実物では不可能な表現
・編集履歴保存によるデータの即時修正
・情報分割によるデータの部分的な修正
図 1

コンピュータによる情報表現を行う利点

Fig. 1 Advantages of computer information representation.

強弱や緩急などの演奏表情付け，描画でいうなら線の濃淡・強弱・線幅などの線の表現といった，表現者の個性に強くなら，これらの情報を入力するために用いられる入力デバ関わってくる要素の入力が大変困難かつ複雑である．なぜイスが，ほとんどの場合はマウスとキーボードであり，作曲または描画ソフトウェアも基本的にはマウスとキーボード

1

公立はこだて未来大学
Future University Hakodate© 2018 Information Processing Society of Japanを使用することを前提に設計されているからである．本来
演奏表情付けや線の表現は専用の道具と手指の感覚によっ727

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B51
2018/3/5て多元的に定義されるものである．また，当然ながら実物による表現の場合は，楽器や筆と手の感触によって入力した表現は，直後に音や線として出力されるリアルタイム性がある．しかし，マウスとキーボードを用いてコンピュータ上で表現を再現するためにはそれらの曖昧な情報を個々の要素に分解して，個別に定義し調整しなければならない．
そして，意図した表現を行うために必要な数値をすべて入力した後に演奏を開始するかあるいは線を配置することでようやく出力結果が得られる．この実物とコンピュータ上における入力の差異を解消するための研究や機器開発は積極的に行われている．描画に関しては，一般的なペンタブレットを用いて実際の筆に近い描画を可能にする物理モデ
ル [1] や，それに付随して，絵の具の性質を再現するモデル [2] に関する研究が存在する．現在では，ペインティン
グツールにおけるブラシツールの発達や，ペイント 3D に代表されるような OS に備え付けのペインティングツールに絵の具・インク・鉛筆の性質を模した着色ツールが実装されているなど改善が進んでいる．一方で，作曲における演奏表情付けについては，描画と異なりコンピュータ側で自動処理する方法が主流である [3], [4]．また，演奏表情付けの情報をデータベース化して蓄積する活動も行われている [5]．人間による任意の方法で演奏表情付けを行う研究
としては指揮棒による入力で実時間に音楽演奏を制御するものが存在している [6]．しかし，既存の演奏表情付けに関する研究の大半は人工知能の技術を用いた自動処理であり，加えて演奏表情付けだけでなくそれを行う対象である旋律も自動で生成するものも多く本来の作曲とはかけ離れている．また，指揮棒システムも，それによって表情付けられた音のデータを保存する機能については言及しておらず作曲に用いることは不可であると考えられる．このことから，現状のコンピュータによる作曲において，作曲者が自身の手で直感的に演奏表情付けを行う方法は未だ存在

2. 目的
コンピュータ上の作曲における演奏表情付けが直感的かつリアルタイムで連続的に行えるような入力デバイスを開発する．デバイスからの情報を受け取るためにはソフトウェア側も設計する必要がある必要があるが，今回は入力デバイスとしての機能を検証する目的に絞る．また，演奏表情付けは楽曲全体に渡って行うべき作業であるが，まずは基本単位である単音の表情付けに取り組む．この単音について，音程と長さは既に入力済みの内容で決定している前提とする．なお，本デバイスはマウス・キーボードではなくシンセサイザーに取って代わるものを想定している．
よってマウス・キーボードと併用でき，かつシンセサイザーの難点である機器使用のための知識及び技術習得はなるべく不要となることを目指す．これは同時に，開発するデバイスは実際の楽器の形をとるべきではないことを意味する．

3. 入力デバイスの考察
3.1 一般的な標準 MIDI ファイル編集 I/F の分析
コンピュータによる演奏表情付けは標準 MIDI ファイル編集時に行う（以下，smf 編集と書く）．そこで，入力デバ
イスが持つべき機能を考察するために，まず一般的な既存の smf 編集のインタフェースを分析することにした．一般的な smf 編集インタフェースに採用されている入力方式はピアノロールである．これはマウスによる入力を基本とした GUI で，主にクリック，ドラッグアンドドロップで音階と長さを指定して音符を配置していく．そして，配置した音符に対して個別に表情付けを入力していく．音符に対して加えることができる表情付け入力の項目の代表的なものを列挙する（図 2）．これらは smf 編集上では使いたいしないといえる．そのため，現状コンピュータによる作曲活動を行っている人々の多くは，実機による生演奏を録音する，シンセサイザーを用いて音を合成するなどの手法をとっている．また，シンセサイザー自体も実機に近い構造を持たせるために，一般的なピアノ鍵盤型以外にもギター型や笛型といったタイプが製造されている．これらを用いればコンピュータによる演奏表情付けの難しさはある程度解消されるものの，今度はそれらの道具を扱うための専門的な知識や技術が別に必要となってしまい，図 1 に挙げた

図 2 音符に対して可能な演奏表情付け項目の一部

Fig. 2 A part of possible performance expressing items fornotes.

コンピュータ作曲の利点が損なわれてしまう問題が残る．
以上より，コンピュータによる演奏表情付けにおいては専機能と，その程度を示す数値をイベントリストに登録して門的な知識および技術はなるべく必要とせず，直感的かついくことで使用する表 1．ここで注目したいのは，楽器のリアルタイムに情報が入力できるデバイスが必要であると場合は演奏表情付けを行う際に演奏技法を利用することが考えられる．

基本となるが，その演奏技法の名前に該当する数値はどこにも存在しないことである．たとえば，smf 編集においてビブラートにあたる表現を入力したい場合は，図 2 にある© 2018 Information Processing Society of Japan728

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

表 12B51
2018/3/5

ビブラートを表現するイベントリストの例

Table 1 Example of event list representing vibrato.

するまでどのような音が鳴るか想像するのは困難であり，さらに出力してもそれが狙い通りの音色である保証もな
く，狙い通りの音色を表現するためには時に総当りで原因TickStepEvent

2790

5

CC:99

1

次に，楽器による演奏表情付けについて考察する．楽器27955

CC:988の場合は，種類によって音の出る原理が異なるため多少の2800

5DataEntryMSB

64

2805

5

CC:99

12810

5

CC:98

9

間の感覚によってコントロールされる．smf 編集における

2815

5

DataEntryMSB

64

演奏表情付けの項目は楽器における演奏技法および音の物

2820

5

CC:99

1

理的な基本情報を細分化して個別に編集しているにすぎな

2825

5

CC:98

10

いため，楽器による演奏の場合はこれらのパラメータが全

2830

5

DataEntryMSB64

2900—-End of Trackて一括に編集されるといえる（図 4）．編集に使われる入Mea

Gate

Vel/Value…

を探る必要がある．

違いは出るが，いずれにせよ楽器による演奏表情付けは人モデュレーションを使う方法と，ピッチベンドを使う方法の２種類が存在する．また，音量ひとつとっても調整できる数値がボリューム・ベロシティ・エクスプレッションの３種類存在するため，たったひとつの表情付け入力でも大変複雑である．これにさらにエフェクトやフィルターを適用する場合は調整すべき数値の数が膨大になる．このように，smf 編集における演奏表情付けはいわばプログラミング的であり，パラメータを複数組み合わせることで楽器による演奏技法を再現するものであるといえる．演奏表情付
けの大まかな手順をまとめた図を以下に示す（図 3）．実図 4 ギターにおける演奏表情付けの大まかな方法

Fig. 4 A rough way of expression in guitar.

力は，打楽器および弦楽器の場合は手指の感覚，管楽器の場合は呼気である．これら楽器の場合は，smf 編集と違い入力を行った直後に音色が出力されるほか，音色だけでなく弦や管の振動，あるいは弾く直前の抵抗などといった音色を構成するための音以外のフィードバックも多分に存在している．そのため，狙い通りの音色が表現できなかった場合でも smf 編集と比べて原因の特定が容易である．
このことから，smf 編集と楽器における演奏表情付けの図 3 smf 編集における演奏表情付けの大まかな手順

決定的な差異は，

Fig. 3 Rough steps of performance expression in MIDI editing.

１．リアルタイム性
２．フィードバック量行して音色を確認した際に，目指していた音色と齟齬が生であると予想される．

じていた場合は前工程に戻って表情付けの再調整を行うこ

以上より，smf 編集における演奏表情付けの真の難しさとになるが，この再調整の方針は主に以下が考えられる．

は，入出力時において情報の分断が起きていることに集約• 狙いの表現をするために必要な機能が足りていないされると考えられる．いいかえるなら，smf 編集時のどの• 余分な機能を使っているパラメータが音色のどの部分にどの程度影響を及ぼしてい• イベントリストへの登録順が間違っているるかが直感では理解しにくいことであるといえる．もっと• 代入する数値に過不足があるいうならば，修正の際にどこから手を付ければいいかの指もし，このとき再調整が必要な箇所に見当がつかない場合

標が入出力時に発生する情報分断によって曖昧になっていは図 3 における１〜３のどれかの工程にランダムに戻ってるということである．

手探りで調整を繰り返さなければならないため，膨大な時間がかかる．また，smf 編集における落とし穴として，処3.2 入力デバイスの機能についての考察

理上問題がなければ人力では不可能な表現でさえも実行でここでは，試作する入力デバイスにどのような機能をもきてしまう点が挙げられる．このため，実際に音色を出力たせるべきかを考察する．これまでの考察により，現状の© 2018 Information Processing Society of Japan729

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B51
2018/3/5

smf 編集における演奏表情付けの問題点は入出力のリアルタイム性が低く，かつ楽器から伝わってくるフィードバックのほとんどが削ぎ落とされてしまい，本来あるべき情報のやりとりが分断されていることであるとした．その結果，狙い通りの表情付け入力を行うためにはどの要素をどの程度適用させるべきかの指標が曖昧となり，調整作業が困難になっていると予想した．よって，試作する入力デバイスに持たせるべき機能は，人間と楽器とのインタラクションを擬似的に補完するような機能であると考えられる．今回は機能としての完成よりも新たな手法の提案が目的である
ため，入力デバイスの機能は基本的な要素のみに絞ることにする．
図 2 にある音の基本要素をさらに大まかに分類すると，ほとんどが音量に集約されている．ピアノのような打弦楽器の場合は調整可能な部分はほぼこの音量のみであるが，それ以外の弦楽器・打楽器・管楽器の場合はここに振動や意図的あるいは無意識な音階のブレが加わる．すなわち，音量と振動を操作することができればよい．加えてこの２つの数値を，物理的フィードバックをもって連続的かつリ

図 5

アルタイムに操作することができることが望ましい．そこ

試作したプロトタイプの外観

Fig. 5 Appearance of Prototype.

で，我々は音量を圧力，振動を加速度にマッピングできるのではないかという仮説に至った．圧力を指圧で，加速度を手首の動作によって入力できれば要求が達成されるのではないかと考えた．

4. デバイスの試作
4.1 デバイスのプロトタイピング
音量・振動を握る・振る動作によってコントロールするにさしあたって，入力デバイスには握る・振る動作をアフォードする形状をもたせることが望ましい．よってデバイスの外形はボール型か缶型のどちらかが適当である．今回は，プロトタイプの生産性や使用を中断したときのシーンを想定して，缶型を採用する（図 5，図 6）．
筐体に使用した缶は，一般的なスチール缶である．ス

図 6 缶の内部に配置されている回路

チール缶の天面を開け，その中に基盤を挿入した．マイコ

Fig. 6 Circuit located inside the can.

ンには Arduino Micro を使用し，PC に USB デバイスとして認識させた．圧力センサは，実際にスチール缶を握った的フィードバックの補完などの機能検討を行ったが，機能ときに指が自然に来る位置に設置した．なお，本入力デバ

拡張と使用感の検証はこれから本格化させる予定である．

イスはマウスとの併用を考慮して左手用に試作している．

現時点では詳細な検証までには至っていないが，しかし既そして，操作感を簡単に確認するために，常時サイン派ににいくつか検討すべき要素が得られている．以下はその概よる音を出力し続け，圧力センサの数値によって振幅を，略である．

加速度センサの時間あたりの変位の絶対値によって角周波• 圧力センサの数値はどうしても初期値周辺が低く計測数を操作できる単純なソフトウェアを Processing で記述されてしまうため，数値をそのまま利用するのでは音した．

量の急激な変化の表現に弱い．

• 大音量を維持し続けるためには缶をその分強く握りし
4.2 試作開発で得た知見と今後の発展
本デバイスはまずコンピュータでの演奏表情付けを本物の楽器を用いずに直感的に入力できることを重視し，物理© 2018 Information Processing Society of Japan

め続けなければならないが，当然常に同じ指圧の維持はできないし，指圧が強くなれば強くなるほど困難になっていく．

730

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B51
2018/3/5• 加速度によるビブラートの表現は現状縦軸と横軸のみで奥行きは無視することにしているが，缶を振る際には奥行きの数値がかなり変化する．利用機会の多い数値であることが予想されるため，別の利用方法を検討する価値がある．

• 人間の指の数だけ圧力センサを取り付けたが，テスト用のソフトウェアで実際に数値を利用したのは親指側のセンサのみである．残りの圧力センサによりさらに複雑な表情付け入力を認識できないか検討する予定である．

5. まとめコンピュータによる情報表現の難しさを解消するための提案として，入力デバイスが持つべき機能についての構想を述べた．また，smf 編集における演奏表情付けに焦点を合わせ，演奏を表現するための根底の要素について検討した．そして，検討した仮説の正当性を検証するために，圧力センサと加速度センサを内蔵した入力デバイスを試作した．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

齋藤豪，中島正之：インタラクティブペインティングのための力学的三次元筆モデル，情報処理学会論文誌，Vol.41，
No.3，pp.606-615 (2000).
渡邉賢悟，宮岡伸一郎，渕上季代絵，：ディジタルペイ
ンティングのための絵の具モデル，図学研究，37 巻，Supplement2 号，pp.17-20 (2003).
平田圭二，平賀瑠美：ハーヒーフン：2 段階演奏表情付け法によるインクリメンタルな演奏生成システム，音楽情報科学，39-4，pp.19-26 (2001.2.22).
橋田光代，長田典子，河原英紀，片寄晴弘：複数旋律音楽に対する演奏表情付けモデルの構築，情報処理学会論文
誌，Vol.48，No.1，pp.248-257 (2007).
橋田光代，松井淑恵，北原鉄朗，片寄晴弘：ピアノ名演奏の演奏表現情報と音楽構造情報を対象とした音楽演奏表
情データベース CrestMusePEDB の構築，情報処理学会
論文誌，Vol.50，No.3，1090-1099 (2009).
宇佐聡史，持田康典：HMM とファジィを使った指揮認識システム，音楽情報科学，21-7，pp.37-44 (1997.7.21).

© 2018 Information Processing Society of Japan731