情報処理学会 インタラクション 2014
IPSJ Interaction 2014

B1-1
2014/2/28

光学文字認識による音楽演奏インタフェースの提案
卯田駿介†1

馬場哲晃†1

串山久美子†1

光学画像認識技術の発展により，実物体と画像認識を組み合わせた“AR”によるアプリケーションが多く報告されている．このようなアプリケーションの開発において，光学マーカには，2 次元コード，イラスト，五線譜，実物体の矩形や色などが利用されるが，これらは実物体の物理特徴や印刷パターンであるため，ユーザによって作りだすことはできない．そこで著者らは，ユーザによって手軽に AR マーカを作ることができれば，より多くのユーザにとってAR システムにおけるユーザビリティの向上につながると考えた．具体的な手法としては，光学文字認識を利用して，文字を光学マーカのように扱うことを検討している．本稿ではそれらの実験段階として，実物体に印刷された文字を利用して制作したシーケンス型電子楽器「Character Sequencer」のシステムを詳述する．将来的には演奏パフォーマン
スと音楽教育の観点から ABC 記譜法を用いた演奏インタフェースの開発を検討している．

Proposal of Music Interfaceusing Optical Character Recognition
SHUNSUKE UDA†1

TETSUAKI BABA†1KUMIKO KUSHIYAMA†1

Recently， many applications by AR(Augmented Reality) have been reported by improvement in image recognition technology．
The form of a two-dimensional marker or an object， the color， etc． made a system producer's and cannot make many real
objects used for AR by a user． Then， authors think that if AR marker can be easily made by a user， AR system becomesfamiliar for more people． So， we focus on using OCR(Optical Character Recognition) to make a character as an AR marker．
This time， authors try using OCR in the electronic instrument field， and made tangible music sequencer "Alphabet Sequencer"
as a prototype system which can sound sequence performance． This paper reports research progress of the present condition of“Character Sequencer".

1. はじめに

2. 関連研究

画像処理技術の発展により，実物体と光学画像処理を組

AR によるテーブルトップ型の音楽演奏インタフェース

み合わせたシーケンス演奏可能な AR による音楽演奏イン開発において，様々な光学マーカが利用されている．利用

タフェースが多く報告されている．これら音楽演奏インタされている光学マーカには，2 次元マーカ，イラスト画像，フェースは，従来ディスプレイやマウスなどを利用した五線譜，実物体の矩形認識，実物体の色の認識などがある．

GUI(Graphical User Interface)上で操作していた楽器の多重2 次元コードを利用した音楽演奏インタフェースとして演奏などを，実世界にある実物体で行うことを可能とし，Reactable[1]や Noteput[2]が挙げられる．Reactable は立方体

コンピュータ操作が不慣れなユーザにとっても，複雑な作の実物体オブジェクトをテーブル上で操作することでピッ曲・演奏操作を容易にしたインタフェースと言える．

チや音高を操作する演奏インタフェースである．Noteput

一方，これら AR による音楽演奏インタフェースで利用は実物体を使った五線譜演奏システムで，ユーザは音符のされている光学画像処理のための光学マーカの多くは，2形をした実物体を五線の描かれたテーブル上に並べること次元コード，実物体の矩形や色といった抽象的なマーカがで演奏する事ができる．イラスト画像を光学マーカに利用使われてきた．そのような背景から，イラストや五線譜をした例として d-touch[3]が挙げられる．d-touch は Reactable

光学マーカとして利用した音楽演奏インタフェースが報告

同様，立方体をテーブル上で操作，演奏を可能で，光学マされている[3][4][5]．

ーカにイラストを利用することで，ユーザとシステムとの本研究では，AR を用いた音楽演奏インタフェースで使間での視覚的コミュニケーションを容易としている．演奏用する新たな光学マーカとして，人々がコミュニケーショパフォーマンスに加え，システムとユーザの視覚的コミュンするために利用している記号である「文字」に着目した．

ニケーションの観点から，より音楽学習効果を目標とした文字を光学マーカに用いることによって，ユーザにとってシステムとして onNote[4]や著者らが制作した Gocen[5]なの実物体の持つ音色の役割理解向上につながると同時にユ

ど，五線譜を光学マーカに利用したシステムが報告されてーザ自ら光学マーカを作り出すことによる楽しさを提供でいる．実物体にマーカをつけず，実物体の矩形や色の情報きるのではないかと考えた．

を使った演奏インタフェース[6][7][8]も多く報告されている．本システムでは，ユーザが任意で容易に制作でき，理解できるマーカとして文字に着目し，音楽演奏インタフェ†1 首都大学東京システムデザイン研究科
Graduate School of System Design, Tokyo Metropolitan University© 2014 Information Processing Society of Japanースを制作した点が特徴的である．

375

図1
Figure 1

図2

システム外観System overview

3. システム概要

カードを配置する台座について

Figure 2 Information about Instrument’s base

4. 展望

システム外観を図 1 に示す．本システムは文字列の記述

本稿では文字を光学マーカとして利用することを試みされたアクリル樹脂製のカード型オブジェクト，カード型た，光学画像処理を利用した音楽演奏インタフェースを提オブジェクトを配置するアクリル樹脂製の台座，200 万画案した．現状では音名と楽器名を使った音色の操作と，レ素のスタンド型書画カメラ，演奏情報を描画するディスプイヤーを用いた多重演奏操作を可能とした．今後は音楽理レイ，コンピュータからなる．

論学習支援と演奏パフォーマンスの観点から，ABC 記譜法

カード型オブジェクトは，音名用，楽器名用，演奏情報のレコード・リセット用の 3 種類ある．3 種類それぞれ英に適した実装とディスプレイ上での動的な五線譜描画を検討している．

語表記とカタカナ表記を用意し，音名用カードはイタリア
音名のカタカナ表記と英語音名の英語表記の 2 種類を用意した．
カードを配置する台座は，大きく分けて 3 つの領域からなっており，音名の記述されたカードを配置する 4*4 格子状の領域，楽器名の記述されたカードを置く領域，演奏情報のレコード・リセットカードを置く領域がある（図 2）．
4*4 の格子状の領域はループ演奏の一小節分を表しており，このエリアに音名の記述されたカードを載せることで，どの音高をどのタイミングで鳴らすかが決まる．発音のタイムラインは図 2 のように，左上から右下に向かって進行する．
ディスプレイには現在のカード型オブジェクトの配置の様子，選択中の楽器，演奏のテンポ，楽器ごとの記録した演奏情報が描画される．
ユーザは音名用カードを 4*4 格子状領域に並べることで発音のタイミングと音高を操作し，楽器名カードを用いて音色を変えることができる．また，本システムは楽器ごとに演奏情報をレコードやリセットできる機能を実装しており，ユーザはレコード・リセットカードを操作して，多重演奏することができる．
コンピュータソフトウェアは Xcode 上で作成し，主にopenframeworks[9]ライブラリを使用した．openCV ライブラ
リをベースに光学画像処理を行い，アルファベット文字列認識には Ocrad[10]，日本語文字列認識には nhocr[11]ライブラリを利用した．本システムにおいては Native Instrument

参考文献
1) Sergi Jordà. 2010. The reactable: tangible and tabletop musicperformance. In CHI '10 Extended Abstracts on Human Factors in
Computing Systems (CHI EA '10). ACM, New York, NY, USA,2989-2994. DOI=10.1145/1753846.1753903
2) Noteput | Jonas Friedemann Heuer - portfolio.
http://www.jonasheuer.de/index.php/noteput/(last accessed, Nov, 2013)3)d-touch.org home page. https://d-touch.org/(last accessed, Nov, 2013)
4) Yusuke Yamamoto, Hideaki Uchiyama, and Yasuaki Kakehi. 2011.
onNote: a musical interface using markerless physical scores. In ACM
SIGGRAPH 2011 Posters (SIGGRAPH '11). ACM, New York, NY,USA, , Article 49 , 1 pages. DOI=10.1145/2037715.2037771
http://doi.acm.org/10.1145/2037715.2037771
5) 馬場 哲晃,菊川 裕也,串山 久美子,青木 允 簡易な手書き譜面を利用した演奏システム Gocen の設計, 情報処理学会論文誌
03875806, 一般社団法人情報処理学会 2013-04-15, 54 巻, 4 号
1327-1337, http://ci.nii.ac.jp/naid/110009579543/
6) Markus Bischof， Bettina Conradi， Peter Lachenmaier， Kai Linde，
Max Meier， Philipp Pötzl， Elisabeth André ，"XENAKIS –Combining tangible interaction with probability-based musicalcomposition"，Proceedings of the Second International Conference on7) Levin， G． "The Table is The Score: An Augmented-Reality
Interface for Real-Time， Tangible， Spectrographic Performance．"
Proceedings of the International Conference on Computer Music 2006
(ICMC'06)． New Orleans， November 6-11， 2006．
8) Guido Lorenz，"Lego Step Sequencer"， ADVANCE HACKATHON，
20109) openFrameworks community. openframeworks. www.
openframeworks.cc (last accessed, Nov, 2013).
10) Ocrad - the gnu ocr -. www.gnu.org/software/ocrad/(last accessed, Nov, 2013).
11) nhocr - OCR engine for Japanese language - Google Project Hosting
https://code.google.com/p/nhocr/ (last accessed, Nov, 2013)12) Native Instruments - Software And Hardware For Music Production
And Djing. http://www.native-instruments.com/en/ (last accessed, Nov,2013).

社の Kontakt Player[12]を MIDI デバイスとして使用した．

© 2014 Information Processing Society of Japan376