AR による「紙のピアノ」の提案
丁 慶松†

笠原 信一†

安藤大地†

音楽に興味のある人々に手軽に楽器を演奏する機会を与えるため、AR 技術を利用した「紙のピアノ」を提案する．「紙のピアノ」というのは、ARToolKit を応用することによって、ただ普通の紙にピアノの鍵盤を印刷し、紙に印刷された鍵盤を指でたたくことで音が鳴り、実際のピアノのように演奏できる仕組みである．Web カメラの映像から多数の鍵盤の on/off を識別することが必要であり、そのためのマーカーの様々なデザインを考案し、プログラム実装してそれらの性能を比較検討した．

The“PaperTEI KEISHOU†

Piano”

byAugmented Reality

SHINICHI KASAHARA†DAICHI ANDO†

This paper proposes “paper piano” using AR technology in order to be able to play and enjoy music easily.
“Paper piano” is a system to play music like an actual piano by playing keyboard printed on usual paper using
ARToolKit technology. It is necessary to recognize on or off of a lot of keys by video through Web camera. Assolution for the problem, the authors design many types of marker methods, implement these methods toprogram and compare these performances.

1. はじめに
現在社会の発展に随い、人々は単に物質上の追求だけではなく、豊かな精神の世界にも憧れている．音楽は最も歴史のある人類文化の一つとして世界中で盛んである．しかし、楽器を演奏したいと思っても、一般に楽器は高価であることなどから、誰でもが簡単に手に入れられるものではない．音楽の才能がありながら、楽器に触れるチャンスがないために、その才能にきづかない人もいるだろう．音楽に興味のある人や、音楽の才能が隠れている人に、手軽に楽器に触るチャンスを与えたいため、価格や置き場所を気にせずに、誰もが手に入れられて演奏できる楽器が必要である．
近年、ハイテクの急速な発展とともに、現実の空間

図1 紙のピアノと仮想の空間を融合する AR（Augmented Reality）技

2. AR に関する現状術が注目を集めている．AR 技術を応用することによAR は、４０年も前に研究が始まった技術である 1)．って、実際のピアノを持っていない人でも、「紙のピアノ」によってピアノを演奏することができ、音楽がさらに広く身近になることを目指した．
「紙のピアノ」というのは、ただ普通の紙にピアノの鍵盤を印刷し、紙に印刷された鍵盤を指でたたくことによって音が鳴り、実際のピアノのように演奏できる仕組みである．

そして現在、電子製品のマクロ化、高精度化によって、再び注目されている．AR は、拡張現実や強化現実とも呼ばれ、現実の環境（の一部）に付加情報としてバーチャルな物体を電子情報として合成し提示することを特徴とする．AR の応用の最も典型的なプロセスは、WEB カメラでマーカーを認識したり、GPS データを取り込むことによって、現実環境と仮想環境の位置関係を解析し、現実の映像の中にバーチャルな物体を配† 首都大学東京大学院 システムデザイン学部
TOKYO METROPOLITAN UNIVERSITY, FACULTY OF
SYSTEM DESIGN置して、ディスプレー画面に表示するものである．

情報処理学会 インタラクション 2011

4．「紙のピアノ」の実装「紙のピアノ」は、鍵盤ごとに別々のマーカーを対応させ、指の動きに合わせてマーカーを識別することで音が奏でられる．したがって、実際のピアノと同じような演奏が実現できるかどうかのポイントは、マーカーの識別であり、そのためにマチュルマーカーのデ図2 典型的な AR プロセスサインが重要である．本研究では、マーカーのデザインを 3 種類考案し、それぞれについて応答性や正確性

現在、AR を利用したシステムを開発するライブラなどの弾き具合について比較検討する．

リとして、奈良先端科学技術大学院大学の加藤博一教
授 が ワ シ ン ト ン 大 学 の HITLab で 開 発 し た2.1

「ARToolKit」がある．このライブラリは、白黒のマ

ARToolkit での一般的なマーカーは、黒く太い輪郭ーカーを使って、AR 空間が実現する．AR の空間で、マーカーのデザイン－方法一の正方形に中に図形がある形式で構成される．

マーカーを移動したり、遮ったりすることによって、バーチャルな物体をコントロールすることができる．

3．AR による「紙のピアノ」の提案「ARToolKit」2),3)を活用した「紙のピアノ」を提案する．「紙のピアノ」とは、紙に鍵盤を描き、その鍵盤上で演奏すると、指の動きに合わせて音階が発生する仕組みである．
その実現方法は、鍵盤ごとに別々のマーカーを対応

図3 マーカーさせ、指で鍵盤を押さえるとマーカーが遮られることによって、どの鍵盤が押されたかを認識し、その情報このマーカーをどうピアノの鍵盤と対応させればよ
いだろうか．ピアノの黒鍵と白鍵ごとに普通にマーカを音に反映させる、というものである．
「紙のピアノ」は、文字通り、紙に描いたピアノであるので、購入費用がかからないばかりか、ノートパーを対応させれば、マーカーは小さくなり過ぎて、認識し難くなる（図 4）．

ソコンだけあれば、ピアノをどこにも持っていくことができる．そして、ソフトウエアにより、パソコン画面上に様々な指示などを同時に表示することで面白さも付加し、初心者や子供のピアノレッスンに効果的である．この仕組みは、ピアノも弾けるし、様々な応用が可能になる．
「紙のピアノ」のアイデアと同類の仮想のピアノの既往ツールとして、「iPhone アプリ」

4）のピアノや5）「ハンドロールピアノ」 がある．これらと比較して「紙のピアノ」の特徴を表１に示す．
表1

既往のピアノツールとの比較

IPAD/IPHONE

ハンドロール

ピアノアプリ

ピアノ

鍵盤ﾞ

一部

フル

フル

ﾋﾟｱﾉ機能ソフトによる機械によるソフトによる付加機能

一部豊富

なし

豊富

「紙のピアノ」

図4 マーカーの普通の配置

もし、マーカーの図形がもっと簡単になれば、遠距離でも、小さくても、認識できると考えられる．繰り返し実験した結果、マーカーを黒いブロックにすると（図 5）、最も認識し易く、距離にも影響されず、小さくできることがわかった．
この場合、複数のマーカーの形状がすべて同じであるので、マーカーを別々に認識するために、鍵盤の左AR による「紙のピアノ」の提案

端に基準マーカーを配置し（図 6）、複数のマーカーマーカーの認識がより正確になり、そして弾く時にの識別を、形状ではなく、基準マーカーからの距離にリアルな感覚が得られるようにするために、WEB カ

よって行う．

メラの置き場所と高さをいろいろ試行錯誤した結果、
図 8 のような配置にした．

図5 黒いブロックのマーカー
図8 WEB カメラの置き場所と高さ

2.2

マーカーのデザイン－方法二

方法一はリアルに鍵盤を弾くことができるが、ある場合に欠点が発生する．もし黒鍵と白鍵を同時に押したい時に、音が一つしかでない．そこでこの問題を解
図6 基準マーカー決するために、カメラに映る画像にあわせて、マーカーを変形することを考案した（図 9）．

基本的には、この方法によって紙に描かれた鍵盤を押すことで音階を出力することができた．しかし、これだけでは解決すべき問題が残っている．黒鍵を押す
時に白鍵のマーカーも指で隠れる場合が生じる（図．この場合二つの鍵盤が押されていると認識するこ
7）とになり、正しい音階の判断ができなくなる．

図9 マーカーの変形

図7 マーカーの不都合な遮りこの問題は、黒鍵を押す時に、白鍵の音を出ないようにすれば解決できる．マーカーの状態を判断する時

図10 変形マーカーの鍵盤に、短い時間差を利用し、黒鍵を押すと、白鍵の音が

図 8 のようにカメラは低い位置に置いて使用するた一切でないようにする．優先順位で音を決めるようにめに、正方形のマーカーでもカメラに映る画面では平した．

行四辺形になる．逆に、平行四辺形のマーカーにして情報処理学会 インタラクション 2011

おけばカメラには正方形に近い形で認識できる．この

ラを使う方法を今後検討する．さらに、マーカーの認ことを利用して、各鍵盤の形状を細長い平行四辺形に識だけではなく、指の動きの識別も今後の重要な課題

変形した斬新なデザインのピアノを考案した（図 10）．

である．

これにより、黒鍵ーを押したときに白鍵が隠れることがなくなり、この方法で、黒鍵や白鍵を複数同時に押しても、すべての音を出すことができる．
2.3

マーカーのデザイン－方法三

方法三は、方法一においてマーカーの遮断の仕組みを改良したものである．
図 11 に示す要領で紙を折ることによって、マーカーを指で直接遮るのではなく、鍵盤を押すことで紙のアームが伸びて上部のマーカーを隠す仕組みになっている．この方法は、方法一より紙の鍵盤の制作に手間がかかるが、認識の精度が上がるとともに、鍵盤が立体的になり鍵盤を押す感覚が得られ長所もある．

図11 紙折の構造

3. 結果及び考察
ピアノとしての操作性の面では、方法三が最も良いが、紙を折るという細工が必要になり「紙のピアノ」という当初考えていた紙の簡便さの利点が損なわれている．紙折りの手順書を用意して、簡単に作れることが出来れば方法三が「紙のピアノ」として総合的に最も良い実現方法である．
方法一は紙の便利さを持っていて、鍵盤は真実のピアノと同じ形である．しかしマーカー認識の正確性が高くない．精度を高めるために WEB カメラの位置の設定などの検討が必要である．
方法二は、ユーザにとってキーの形は違和感があり．
ピアノとして受け入れられ難い．
WEB カメラの制限によって、マーカーの距離が長くなると、端の方に位置するマーカーが識別しにくくなる．この問題を解決するために、複数の WEB カメ

参考文献

1) 「本当の「AR」とは？ AR の歴史と未来の姿を追う！」,
http://ascii.jp/elem/000/000/514/514146/．
2) 谷尻豊寿: 拡張現実感を表現する ARToolKit プ
ログラミングテクニック，株式会社カットシス
テム，(2008)．
3) 橋本直: 3D キャラクターが現実世界に誕生
ARToolKit 拡 張 現 実 感 プ ロ グ ラ ミ ン グ 入 門 ，(2009)．
4) iPhone/iPad ピ ア ノ ア プ リ 「 Live Piano 」，
http://geoquake.jp/iphone/livepiano．
5) 週刊アスキー，ハンドロールピアノ，発行 アスキー・メディアクークス Page134(2010.4) ．