(57)【要約】【課題】操作性および可搬性が高いペン型楽譜記号入力装置を提供すること。【解決手段】媒体上における位置を示す位置情報と、五線譜とが印刷された印刷媒体（対応用紙３０）に楽譜記号を書き込むためのペン先１２と、印刷媒体に対してペン先によって所定の楽譜記号が書き込まれる際に、位置情報を光学的に読み取る読取手段（Ｃ−ＭＯＳカメラ１４）と、読取手段によって読み取られた位置情報を参照し、印刷媒体に書き込まれた楽譜記号を認識する認識手段（ＣＰＵ２０）と、認識手段によって得られた楽譜記号を再生可能な楽曲データに変換する変換手段（ＣＰＵ２０）と、楽曲データを音として再生する再生手段（音源部２６）とを有する。【選択図】図２
2008089812.tif 000002
【特許請求の範囲】
【請求項１】
媒体上における位置を示す位置情報と、五線譜とが少なくとも印刷された印刷媒体に楽譜記号を書き込むためのペン先と、
上記印刷媒体に対して上記ペン先によって所定の楽譜記号が書き込まれる際に、上記位置情報を読み取る読取手段と、
上記読取手段によって読み取られた位置情報を参照し、上記印刷媒体に書き込まれた楽譜記号を認識する認識手段と、
上記認識手段によって得られた楽譜記号を再生可能な楽曲データに変換する変換手段と、
上記楽曲データを音として再生する再生手段と、
を有することを特徴とするペン型楽譜記号入力装置。
【請求項２】
前記認識手段によって認識された楽譜記号を表示する表示手段をさらに有することを特徴とする請求項１記載のペン型楽譜記号入力装置。
【請求項３】
前記楽曲データを構成する個々のデータと、当該データに対応する楽譜記号が書き込まれた前記印刷媒体上の位置を示す位置情報とを対応付けて記憶する記憶手段をさらに有することを特徴とする請求項１記載のペン型楽譜記号入力装置。
【請求項４】
前記印刷媒体に書き込まれた楽譜記号上もしくはその近傍または予め定められた所定の領域が前記ペン先によってなぞられた場合には、前記再生手段は、前記記憶手段を参照して、対応する楽曲データを取得し、対応する音を再生することを特徴とする請求項３記載のペン型楽譜記号入力装置。
【請求項５】
前記ペン先に印加される筆圧を検出する筆圧検出手段と、
前記ペン先によって前記印刷媒体の所定の領域が所定の間隔で叩打された場合には、上記筆圧検出手段の検出情報を参照して当該間隔を検出することにより、楽曲のテンポを決定するテンポ決定手段と、
をさらに有することを特徴とする請求項１記載のペン型楽譜記号入力装置。
【請求項６】
前記楽譜記号には、楽器の種類を指定するための記号が含まれ、
前記変換手段は、上記楽器の種類を指定するための記号を検出した場合には、対応する楽器の楽曲データに変換することを特徴とする請求項１記載のペン型楽譜記号入力装置。
【請求項７】
外部の装置へ前記楽曲データを転送する転送手段をさらに有することを特徴とする請求項１記載のペン型楽譜記号入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ペン型楽譜記号入力装置に関する。
【背景技術】
【０００２】
特許文献１には、簡略化された所定の手書き図形をタッチタブレットに書き込むことにより、音符や休符その他の楽譜記号を入力することが可能な装置が記載されている。
【０００３】
【特許文献１】特開２００３−３０２９６７号公報（特許請求の範囲、要約書）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に示す技術では、手書き図形をユーザが記憶する必要があるため、入力操作に習熟するまでに時間を要するという問題点がある。
【０００５】
また、タッチタブレットはある程度の面積が必要であることから、装置自体のサイズがある程度大きくなる。このため、例えば、楽器の傍らにこのような装置を置いて楽譜を入力したり、あるいは屋外で楽譜を入力したりするような場合に、操作性および可搬性が低いという問題点もある。
【０００６】
さらに、入力された楽譜を印刷用紙に印刷する場合には、例えば、プリンタ等に接続して印刷の手続きを行う必要があることから、操作が煩雑となるという問題点もある。
【０００７】
本発明は、上記の事情に基づきなされたもので、その目的とするところは、操作性および可搬性が高いペン型楽譜記号入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的を達成するため、本発明のペン型楽譜記号入力装置は、媒体上における位置を示す位置情報と、五線譜とが少なくとも印刷された印刷媒体に楽譜記号を書き込むためのペン先と、印刷媒体に対してペン先によって所定の楽譜記号が書き込まれる際に、位置情報を読み取る読取手段と、読取手段によって読み取られた位置情報を参照し、印刷媒体に書き込まれた楽譜記号を認識する認識手段と、認識手段によって得られた楽譜記号を再生可能な楽曲データに変換する変換手段と、楽曲データを音として再生する再生手段と、を有する。
【０００９】
また、他の発明のペン型楽譜記号入力装置は、前述の発明に加えて、認識手段によって認識された楽譜記号を表示する表示手段をさらに有するようにしている。
【００１０】
また、他の発明のペン型楽譜記号入力装置は、前述の発明に加えて、楽曲データを構成する個々のデータと、当該データに対応する楽譜記号が書き込まれた印刷媒体上の位置を示す位置情報とを対応付けて記憶する記憶手段をさらに有するようにしている。
【００１１】
また、他の発明のペン型楽譜記号入力装置は、前述の発明に加えて、印刷媒体に書き込まれた楽譜記号上もしくはその近傍または予め定められた所定の領域がペン先によってなぞられた場合には、再生手段は、記憶手段を参照して、対応する楽曲データを取得し、対応する音を再生するようにしている。
【００１２】
また、他の発明のペン型楽譜記号入力装置は、前述の発明に加えて、ペン先に印加される筆圧を検出する筆圧検出手段と、ペン先によって印刷媒体の所定の領域が所定の間隔で叩打された場合には、筆圧検出手段の検出情報を参照して当該間隔を検出することにより、楽曲のテンポを決定するテンポ決定手段と、をさらに有するようにしている。
【００１３】
また、他の発明のペン型楽譜記号入力装置は、前述の発明に加えて、楽譜記号には、楽器の種類を指定するための記号が含まれ、変換手段は、楽器の種類を指定するための記号を検出した場合には、対応する楽器の楽曲データに変換するようにしている。
【００１４】
また、他の発明のペン型楽譜記号入力装置は、前述の発明に加えて、外部の装置へ楽曲データを転送する転送手段をさらに有するようにしている。
【発明の効果】
【００１５】
本発明によれば、操作性および可搬性が高いペン型楽譜記号入力装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施の形態について図に基づいて説明する。
【００１７】
図１は、本発明の実施の形態のペン型楽譜記号入力装置１０の外観を示す図である。この図１に示すように、ペン型楽譜記号入力装置１０は、例えば、略円柱形状を有するハウジング１１を有している。ハウジング１１の底部の一部には、例えば、鉛筆の芯材である黒鉛、ボールペン先、または、万年筆等の筆記部材によって構成されるペン先１２が設けられている。なお、ペン先１２の一端はハウジング１１の内部で、後述する筆圧センサ２１に接触されている。ハウジング１１の底部のペン先１２の近傍には、後述する対応用紙３０に印刷された光学パターンを読み取るための読み取り手段の一部としての赤外線ＬＥＤ（Light Emitting Diode）１３と、同じく読み取り手段の一部としてのＣ−ＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラ１４が設けられている。
【００１８】
ハウジング１１の側面部の下部（図の下）には、入力された楽譜記号から生成された楽曲データを再生する際に操作される再生ボタン１５が設けられている。また、側面部の上部（図の上）には、入力された楽譜記号を確認するための表示手段としてのＬＣＤ（Liquid Crystal Display）１６が設けられている。ＬＣＤ１６の上部には、楽曲データを音として出力するためのスピーカ１７が設けられている。ハウジング１１の天部には、例えば、パーソナルコンピュータその他の機器と通信するためのアンテナ１８が設けられている。なお、アンテナ１８は、後述する通信部２５に接続されている。
【００１９】
なお、ユーザは、ハウジング１１のＬＣＤ１６と再生ボタン１５の中間部分に親指が位置する状態で把持し、ペン先１２を対応用紙３０に接触させることで、対応用紙３０に任意の情報を書き込むことができる。このとき、ペン先１２による対応用紙３０上の軌跡は、後で詳述するように赤外線ＬＥＤ１３とＣ−ＭＯＳカメラ１４によって読み取られた光学パターン（対応用紙３０に印刷されているパターン）に基づいて取得され、対応する楽譜記号が認識されてＬＣＤ１６に表示される。ユーザは、認識結果が正しいか否かをＬＣＤ１６に表示される情報により判断できる。また、親指等によって再生ボタン１５を操作することにより、入力された楽譜記号から生成された楽曲データを音としてスピーカ１７から出力させて確かめることもできる。
【００２０】
図２は、図１に示すペン型楽譜記号入力装置１０の電気的な構成例を示すブロック図である。この図に示すように、ペン型楽譜記号入力装置１０は、赤外線ＬＥＤ１３、Ｃ−ＭＯＳカメラ１４、再生ボタン１５、ＬＣＤ１６、スピーカ１７、ＣＰＵ（Central Processing Unit）２０、筆圧センサ２１、画像処理部２２、メモリ２３、タイマ２４、通信部２５、および、音源部２６を主要な構成要素としている。
【００２１】
ここで、赤外線ＬＥＤ１３は、ＣＰＵ２０の制御に基づいて、印刷媒体としての対応用紙３０に赤外線を照射する。図３は、対応用紙３０に印刷された光学パターンの詳細を説明する図である。この図に示すように、対応用紙３０には、五線譜とともに、中央に拡大して示すように、０．３ｍｍ間隔で赤外線を吸収するドットが印刷されている。これらのドットは、図中の右にさらに拡大して示すように、格子の中心から上下左右のいずれかの方向に所定量だけずれて印刷されている。６×６＝３６ドットが集まって、１つの光学パターンを構成しており、１ドットは４通りの組み合わせを有することから、１．８ｍｍ×１．８ｍｍサイズの１つの光学パターンには４の３６乗通りの組み合わせが存在する。１つの光学パターンには、対応用紙３０上の当該位置を示す位置情報が含まれており、当該位置情報を検出することにより、対応用紙３０上におけるペン先１２の位置を検出できる。
【００２２】
図４は、対応用紙３０の一部の断面構造を示す図である。この図に示すように、対応用紙３０のベースとなる紙３０ａ上には、赤外線を吸収するドットインク３０ｂによって、図３に示すドットパターンが印刷されている。また、その上には、赤外線を透過する通常インク３０ｃによって、五線譜等のパターンが印刷されている。赤外線ＬＥＤ１３から射出された赤外線のうち、ドットインク３０ｂに照射された部分は吸収されてＣ−ＭＯＳカメラ１４には入射されない。また、通常インク３０ｃに照射された部分は透過して紙３０ａにより反射され、Ｃ−ＭＯＳカメラ１４に入射される。これにより、光学パターンに応じた強度分布を有する赤外線がＣ−ＭＯＳカメラ１４に入射される。
【００２３】
画像処理部２２は、Ｃ−ＭＯＳカメラ１４に入射された赤外線による光学パターンに対応する画像データを入力して画像処理を施すことにより、光学パターンに含まれている情報（位置情報）を抽出し、ＣＰＵ２０に供給する。
【００２４】
筆圧検出手段としての筆圧センサ２１は、例えば、印加される圧力に応じて抵抗値が変化する感圧センサ等によって構成され、ペン先１２が対応用紙３０に接触されて所定の内容が書き込まれる際の筆圧を検出する。
【００２５】
記憶手段としてのメモリ２３は、例えば、フラッシュメモリ等によって構成されており、ＣＰＵ２０が実行する基本的なプログラムを格納している。また、メモリ２３は、ＣＰＵ２０が演算処理を実行する際に、演算途中のプログラムまたはデータを一時的に格納する。さらに、メモリ２３は、画像処理部２２から供給された位置情報に、タイマ２４から供給された時刻情報を付加して読取データとして格納する。
【００２６】
タイマ２４は、時刻情報を生成し、ＣＰＵ２０に供給する。ＣＰＵ２０は、タイマ２４から供給される時刻情報を、画像処理部２２から供給される位置情報に対応付けしてメモリ２３に読取データとして格納する。なお、時刻ではなく、ペン型楽譜記号入力装置１０の電源が投入されてからの経過時間等を生成するようにしてもよい。
【００２７】
転送手段としての通信部２５は、例えば、ブルートゥース（Bluetooth）等の規格に基づいて、図示せぬ他の機器との間で、アンテナ１８を介して情報を授受する。なお、無線通信の代わりに、例えば、ＵＳＢ（Universal Serial Bus）等のケーブルを用いて、他の機器と有線接続し、情報を授受するようにしてもよい。
【００２８】
音源部２６は、楽曲データとしてのＭＩＤＩ（Musical Instruments Digital Interface）データを再生する機能を有しており、ＣＰＵ２０から供給されたＭＩＤＩデータを対応する音声信号に変換した後、図示せぬアンプで増幅し、スピーカ１７に供給する。
【００２９】
図５は、図２に示すメモリ２３に格納されているソフトウエアとしてのプログラム（不図示）が実行された場合に、ハードウエアとしてのＣＰＵ２０その他とソフトウエアとが協働することにより実現される処理モジュールの一例を示している。なお、メモリ２３に格納されるプログラムは、予めインストールした状態で出荷したり、ユーザが購入した後にインストールしたりしてもよい。また、その一部のみを予めインストールした状態で出荷し、後から他の部分をインストールしてもよい。後からインストールする場合には、例えば、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記憶媒体からインストールしたり、例えば、インターネット等のネットワークからダウンロードしてインストールしたりしてもよい。
【００３０】
図５に示すように、プログラムが実行された場合に実現される機能ブロックとしては、軌跡再現モジュール５０、解析モジュール５１、記号認識モジュール５２、楽譜記号用ＤＢ（Data Base）５３、コアモジュール５４、表示処理モジュール５５、ＭＩＤＩデータ変換モジュール５６、ＭＩＤＩデータ変換用ＤＢ５７、ＭＩＤＩデータ記憶モジュール５８、および、出力処理モジュール５９が存在する。
【００３１】
ここで、軌跡再現モジュール５０は、メモリ２３に格納されている読取データを取得し、ペン型楽譜記号入力装置１０のペン先１２によって対応用紙３０上に描かれた軌跡を再現し、記号認識モジュール５２に供給する。
【００３２】
解析モジュール５１は、記号認識モジュール５２によって解析された楽譜記号が描かれた対応用紙３０上の位置等を解析するモジュールである。
【００３３】
認識手段としての記号認識モジュール５２は、軌跡再現モジュール５０によって再現された軌跡を含むデータと、楽譜記号用ＤＢ５３に格納されている楽譜記号のパターンとを照合することにより、対応用紙３０に書き込まれた楽譜記号の種類を認識し、認識結果をコアモジュール５４に供給する。
【００３４】
楽譜記号用ＤＢ５３は、音符（四分音符等）、休符（四分休符等）、変化記号（シャープ等）、音部記号（ト音記号等）、拍子記号（四分の四拍子等）、強弱記号（フォルテ等）、速度記号（ａｄａｇｉｏ等）、および、その他の楽譜記号に関するパターン情報その他を記憶しており、記号認識モジュール５２が記号を認識する際に利用される。
【００３５】
テンポ決定手段としてのコアモジュール５４は、コア（核）となるモジュールであり、各モジュールを制御する機能を有する。また、記号認識モジュール５２、楽譜記号用ＤＢ５３、および、解析モジュール５１の解析結果等に基づいて、読取データに含まれている楽譜記号を特定する機能も有する。
【００３６】
表示処理モジュール５５は、コアモジュール５４から供給された情報に基づいて描画処理を行い、得られた画像をＬＣＤ１７に表示させる。
【００３７】
変換手段としてのＭＩＤＩデータ変換モジュール５６は、コアモジュール５４から供給された楽譜記号を、ＭＩＤＩデータ変換用ＤＢ５７を参照し、対応するＭＩＤＩデータに変換して、ＭＩＤＩデータ記憶モジュール５８に格納する。
【００３８】
ＭＩＤＩデータ変換用ＤＢ５７には、楽譜記号をＭＩＤＩデータに変換するための情報が格納されている。
【００３９】
ＭＩＤＩデータ記憶モジュール５８は、ＭＩＤＩデータ変換モジュール５６による変換によって得られたＭＩＤＩデータを記憶する。なお、ＭＩＤＩデータ記憶モジュール５８には、後述するように、ＭＩＤＩデータを構成する各情報に対応する楽譜記号が記載されている対応用紙３０上の位置を示す位置情報が併せて記憶されている。
【００４０】
再生手段としての出力処理モジュール５９はＭＩＤＩデータ記憶モジュール５８に記憶されているＭＩＤＩデータを取得し、音声信号に変換して、スピーカ１７を駆動する。
【００４１】
つぎに、本発明の実施の形態の動作について説明する。
【００４２】
図６は、本発明の実施の形態に係るペン型楽譜記号入力装置１０によって、対応用紙３０上に所定の楽譜記号を書き込む際に実行される処理の一例である。この処理が開始されると、以下のステップが実行される。
【００４３】
ステップＳ１０：ＣＰＵ２０は、筆圧センサ２１の出力を参照し、ペン型楽譜記号入力装置１０によって入力がなされたか否かを判定する。具体的には、ユーザがペン型楽譜記号入力装置１０を把持して、図７に示す対応用紙３０にペン先１２を接触させ、何らかの情報を書き込んだ場合には、筆圧センサ２１が筆圧の変化を検出するので、ＣＰＵ２０は、筆圧センサ２１による検出があったと判定してステップＳ１１に進む。
【００４４】
ユーザがペン型楽譜記号入力装置１０を把持して、図７に示す対応用紙３０に何らかの情報を書き込んだ場合、ペン先１２により痕跡が対応用紙３０上に刻まれる。また、このとき、赤外線ＬＥＤ１３からは、赤外線が射出され、対応用紙３０のペン先１２の先端部付近に照射される。対応用紙３０には、図７に示すように、五線その他の情報が印刷されているが、これは図４に示すように、通常インクであるので、赤外線を透過する。一方、ドットインクによって印刷されている光学パターンは、赤外線を反射する。光学パターンによって反射された赤外線は、Ｃ−ＭＯＳカメラ１４に入射され、光の強弱のパターンが対応する画像信号に変換される。
【００４５】
Ｃ−ＭＯＳカメラ１４から出力された画像信号は、画像処理部２２に供給され、６×６ドットの集合としての光学パターンが、位置情報（紙面上における位置を示す情報）に変換されてＣＰＵ２０に出力される。ＣＰＵ２０は、タイマ２４から供給される時刻情報を、位置情報に付加し、読取データとしてメモリ２３に格納する。以上のような動作は、筆圧センサ２１によって筆圧が検出されている期間に、所定の頻度で繰り返されるので、メモリ２３には、図８に示すような情報が格納される。この例では、位置情報として、対応用紙３０のｘ，ｙ座標を示す値と、時、分、秒を示す時刻情報とが対応付けされて格納されている。また、位置的または時間的に連続する一連の情報は、第１の軌跡、第２の軌跡として格納されている。第１の軌跡、第２の軌跡は、通常は、それぞれ、１つの楽譜記号に対応している。なお、入力された複数の位置情報を、軌跡毎に分割する方法としては、例えば、時刻情報を参照して、取得された時刻が２秒以上開いている場合には、別々の軌跡であると判定することができる。また、位置情報を参照し、座標上において距離が例えば１００以上開いている場合には別々の軌跡であると判定することができる。なお、位置と時間の双方に基づいて判断することも可能である。
【００４６】
ステップＳ１１：解析モジュール５１は、メモリ２３に格納されている、前述した読取データを取得する。具体的には、解析モジュール５１は、例えば、図８に示す最初の行に示す位置情報を取得する。
【００４７】
ステップＳ１２：解析モジュール５１は、位置情報を参照し、ペン型楽譜記号入力装置１０による入力がなされた位置が、図７の右上に示すテンポ入力部３１であるか否かを判定し、テンポ入力部３１であると判定された場合にはステップＳ１３に進み、それ以外の場合にはステップＳ１４に進む。ここで、テンポ入力部３１は、ペン型楽譜記号入力装置１０のペン先１２によって、当該部分を所望するテンポで叩打することで、楽曲のテンポを入力する部分である。なお、テンポ入力部３１が叩打されたか否かを判定する方法としては、楽譜記号用ＤＢ５３に、テンポ入力部３１の座標（例えば、対向する２つの頂点の座標）の範囲を格納しておき、当該座標の範囲に位置情報が入っている場合には、テンポ入力部３１内であると判定することができる。
【００４８】
ステップＳ１３：解析モジュール５１は、メモリ２３に格納されている読取データ（テンポ入力部３１から入力されたデータ）を取得し、時刻情報からテンポを計算する。具体的には、テンポ入力部３１が叩打された場合、筆圧センサ２１が押圧されるタイミング（ペン先１２が対応用紙３０に接触するタイミング）で、位置情報が読み込まれ、時刻情報とともにメモリ２３に格納される。解析モジュール５１は、テンポ入力部３１の領域（矩形領域）に属している位置情報の時刻情報を取得し、隣接する時刻情報同士の差分を算出し、平均値を求める。例えば、時刻情報同士の差分の平均値が１秒である場合には、楽曲のテンポは、４分音符が１分間に６０回打たれるテンポであると判定される。そして、計算が終了すると、ステップＳ２３に進み、後述するように認識結果がＬＣＤ１６に表示される。
【００４９】
ステップＳ１４：ステップＳ１２において、テンポ入力部３１からの入力でないと判定した場合には、軌跡再現モジュール５０が読取データをメモリ２３から取得し、軌跡の再現を行う。具体的には、図８に示す一連の位置情報を取得し、それぞれの位置情報によって特定される位置を相互に線分によって結ぶことにより、軌跡を再現する。例えば、図８の第１の軌跡の場合では、第１行目の位置情報（１２５，２５６）に対応する位置と、第２行目の位置情報（１２６，２５８）に対応する位置とが相互に線分によって結ばれて軌跡が再現される。同様にして、全ての位置情報に対応する位置が線分によって結ばれて、軌跡が再現される。なお、図８の例では、位置情報と時刻情報だけが格納されているが、これに筆圧情報を付加し、筆圧に応じて軌跡の線分の太さを変えるようにしてもよい。すなわち、筆圧が高い場合には線分を太くし、筆圧が低い場合には線分を細くする。このようにして再現された軌跡は、記号認識モジュール５２に供給される。
【００５０】
ステップＳ１５：記号認識モジュール５２は、軌跡再現モジュール５０から供給された軌跡と、楽譜記号用ＤＢ５３に格納されている各楽譜記号のパターンを示す情報とを比較することにより（パターンマッチング処理により）、軌跡が示す楽譜記号を特定する。例えば、楽譜記号用ＤＢ５３には、楽譜記号を示す複数のテンプレートが格納されており、記号認識モジュール５２は、軌跡とそれぞれのテンプレートとの相関性を計算し、相関性が最も高いテンプレートに対応する記号が該当する記号であると判定する。なお、コアモジュール５４には、特定された記号を示す情報が供給される。
【００５１】
ステップＳ１６：コアモジュール５４は、認識された記号が音符であるか否かを判定する。その結果、音符であると判定した場合には、ステップＳ１８に進み、それ以外の場合にはステップＳ１７に進む。例えば、図７に示す対応用紙３０において、四分音符が入力された場合にはステップＳ１８に進み、それ以外の記号が入力された場合にはステップＳ１７に進む。
【００５２】
ステップＳ１７：コアモジュール５４は、ステップＳ１５における認識結果の情報を、ＭＩＤＩデータ変換モジュール５６に供給する。ＭＩＤＩデータ変換モジュール５６は、認識によって特定された楽譜記号を、ＭＩＤＩデータ変換用ＤＢ５７を参照して、対応するＭＩＤＩデータに変換する。
【００５３】
具体的には、図７の下に拡大して示すプログラムチェンジ部３２内に、例えば、「Ｐｉａｎｏ」と記載された場合には、ＭＩＤＩデータ変換モジュール５６は、当該五線に対応するチャンネルの音色をピアノに変更するためのＭＩＤＩデータを生成する。一例として、「Ｃ０Ｈ  ００Ｈ」（チャンネル０を００（ピアノ）の音色に変更する）が生成される。また、音部入力部３３にト音記号が記載された場合には、五線の第２線が中央ハ音より５度上のト音として音符の音程が決定される。また、拍子入力部３４に「４／４」が記載された場合には、それ以降に入力される音符の拍子が４分の４拍子となるように決定される。
【００５４】
ステップＳ１８：特定された記号が音符である場合には、コアモジュール５４は、解析モジュール５１に対して指令を送り、音符の符頭（たま）の重心位置を検出させる。具体的には、解析モジュール５１は、図９に示すように、符幹７１、符頭７２、および、符尾７３等によって構成される音符７０の符頭７２を検出し、検出した符頭７２の重心８０の位置（対応用紙３０上における位置）を求める。なお、重心を求める方法としては、例えば、符頭７２を構成するドット（軌跡）のｘ座標とｙ座標の平均値の座標を求めればよい。このようにして求められた符頭７２の重心の位置情報は、コアモジュール５４に供給される。
【００５５】
ステップＳ１９：コアモジュール５４は、ステップＳ１８で求められた音符７０の符頭７２の重心８０の位置と、音部入力部３３に入力された記号とに基づいて、当該音符の音程を決定する。なお、音符７０の近傍に変化記号（シャープ、フラット等）が記入されている場合には、それも考慮して音程を決定する。
【００５６】
ステップＳ２０：コアモジュール５４は、音符のベロシティ（音の強弱）を検出する。例えば、図７の下に拡大して示すように、音符の近傍に強弱を示す記号（この例ではｍｆ（メゾフォルテ））が記入されている場合には、これを検出する。
【００５７】
ステップＳ２１：コアモジュール５４は、検出した情報をＭＩＤＩデータ変換モジュール５６に供給し、音符を対応するＭＩＤＩ情報に変換させる。具体的には、ＭＩＤＩデータ変換モジュール５６は、図１０（Ａ）に示すようなデータを生成する。なお、生成されたデータはＭＩＤＩデータ記憶モジュール５８に記憶される。
【００５８】
図１０の例では、Ｌ１は小節（Measure）を示し、Ｌ２は拍（Beat）を示し、Ｌ３はティック（Tick）を示し、タイプ（Type）はイベントの種類を示し、Ｖａｌｕｅ１は音程を示し、Ｖａｌｕｅ２は音の長さを示し、Ｖａｌｕｅ３は音の強さを示す。例えば、１行目のデータは、図７に示す第１番目の音符（四分音符のＦ）に対応している。このデータは、第１小節の第１拍の音であるので、Ｌ１は０００１であり、Ｌ２は０１であり、Ｌ３は０００である。また、イベントは音を発生するのでＴｙｐｅはＮｏｔｅである。さらに、Ｆ３の音を四分音符分だけｆｆで出力するので、Ｖａｌｕｅ１〜Ｖａｌｕｅ３は、それぞれ、Ｆ３［６５］、［００：４３０］、ｆｆ［１００］となっている。
【００５９】
ステップＳ２２：コアモジュール５４は、ステップＳ１８において検出された音符の重心の位置情報に基づいて、音符の位置データを生成する。具体的には、コアモジュール５４は、図１０（Ｂ）に示すような情報を生成する。なお、生成された情報はＭＩＤＩデータ記憶モジュール５８に記憶される。
【００６０】
図１０（Ｂ）の例では、各音符の符頭の重心位置を示す情報（対応用紙３０の位置を示す情報）が格納されている。例えば、第１行目の情報の場合、図７に示す第１番目の音符の符頭の重心位置が（３２，５０）であることが示されている。なお、図１０（Ａ）に示すＭＩＤＩデータと、図１０（Ｂ）に示す位置情報とは１対１の関係となっている。
【００６１】
ステップＳ２３：コアモジュール５４は、認識結果の情報を表示処理モジュール５５に供給し、認識結果をＬＣＤ１７に表示させる。例えば、図７に示す第１番目の音符が対応用紙３０に書き込まれて認識された場合には、「四分音符  ファ」のような情報が表示される。なお、このとき、出力処理モジュール５９を通じて、認識された音符に対応する音をスピーカ１７から出力するようにしてもよい。
【００６２】
ステップＳ２４：コアモジュール５４は、楽譜記号の入力が終了したか否かを判定し、終了していないと判定した場合にはステップＳ１０に戻って同様の処理を繰り返し、それ以外の場合には処理を終了する。例えば、再生ボタン１５が操作されたり、図示せぬ電源スイッチがオフの状態にされたりした場合には処理を終了する。
【００６３】
以上の処理により、ユーザがペン型楽譜記号入力装置１０を把持して、対応用紙３０に楽譜記号を記入した場合には、ペン先１２による軌跡が対応用紙３０に記録されるとともに、ペン先１２が通過した位置に存在する光学パターンがＣ−ＭＯＳカメラ１４によって読み取られる。読み取られた光学パターンからは、軌跡再現モジュール５０によって軌跡が再現され、記号認識モジュール５３によって記号の種類が認識される。そして、ＭＩＤＩデータ変換モジュール５６によって対応するＭＩＤＩデータに変換されてＭＩＤＩデータ記憶モジュール５８に格納される。
【００６４】
なお、以上のようにして入力された楽曲データ（ＭＩＤＩデータ）は、通信部２５を介して、他の装置（例えば、パーソナルコンピュータ）に転送することができる。そして、転送を受けた他の装置では、ＭＩＤＩデータを表示装置に表示したり、オーディオシステムにより再生したりすることができる。
【００６５】
つぎに、以上のようにして入力された楽曲データを再生する場合、および、新たに書き込まれた音符の音を再生する場合の動作について説明する。
【００６６】
図１１は、ＭＩＤＩデータ記憶モジュール５８に記憶されている楽曲データを再生する場合、および、新たに書き込まれた音符の音を再生する場合の動作の一例を説明するためのフローチャートである。このフローチャートが開始されると、以下のステップが実行される。
【００６７】
ステップＳ３０：コアモジュール５４は、再生ボタン１５が操作されたか否かを判定し、再生ボタン１５が操作されたと判定した場合にはステップＳ３１に進み、それ以外の場合には同様の処理を繰り返す。
【００６８】
ステップＳ３１：コアモジュール５４は、筆圧センサ２１による検出があったか否かを判定し、検出があった場合にはステップＳ３２に進み、それ以外の場合にはステップＳ３０に戻って前述の場合と同様の処理を繰り返す。具体的には、コアモジュール５４は、筆圧センサ２１の出力値が所定の値以上になった場合には、筆圧の検出があったとしてステップＳ３２に進む。
【００６９】
ステップＳ３２：解析モジュール５１は、メモリ２３に格納されている、前述した読取データを取得する。
【００７０】
ステップＳ３３：解析モジュール５１は、図７に示す再生バー３６内がペン先１２によってなぞられたか否かを判定し、再生バー３６内である場合にはステップＳ３４に進み、それ以外の場合にはステップＳ３８に進む。より詳細には、楽譜記号用ＤＢ５３には、図７に示す対応用紙３０に印刷されている各再生バー３６の対向する２つの頂点の座標情報が格納されており、解析モジュール５１は、これらの座標情報と、読取データの位置情報とを比較することにより、読取データがいずれかの再生バー３６の範囲内にある場合にはステップＳ３４に進み、それ以外の場合にはステップＳ３８に進む。
【００７１】
なお、再生バー３６の範囲内に含まれていない場合であっても、再生バー３６から所定の範囲内に含まれている場合には、再生バー３６がなぞられたと判定するようにしてもよい。再生バー３６を正確にトレースすることは困難であるため、再生バー３６からある程度はみ出すことも許容するためである。
【００７２】
ステップＳ３４：コアモジュール５４は、解析モジュール５１から供給される読取データに含まれている位置情報を取得する。
【００７３】
ステップＳ３５：コアモジュール５４は、ＭＩＤＩデータ変換モジュール５６を介してＭＩＤＩデータ記憶モジュール５８からなぞられた位置に対応するＭＩＤＩデータを取得する。より詳細には、コアモジュール５４は、現在のペン先１２の位置を示す位置情報を解析モジュール５１より取得し、そのｙ座標の値を抽出する。そして、抽出されたｙ座標の値に対応する音符のｙ座標の値の範囲を特定する。例えば、図７の例では、最上部に存在する再生バー３６は、その上に存在する五線上に記入された音符を再生するためのものであるため、再生の対象となる音符のｙ座標の値の範囲が特定される。つぎに、コアモジュール５４は、現在のペン先１２の位置を示す位置情報からｘ座標の値を抽出する。そして、コアモジュール５４は、ｙ座標の値の範囲に属し、かつ、ｘ座標の距離が最も近い位置情報を図１０（Ｂ）に示す、音符の重心の位置情報から検索する。例えば、取得されたペン先１２の位置情報が（４０，６０）であるとすると、ｙ座標の値である６０を参照して、対象となる音符のｙ座標の値の範囲として、４８〜５８が特定される。つぎに、ｘ座標の値である４０に最も近い値を有する重心の位置情報が検索される。図１０（Ｂ）の例では、第２行目の位置情報（４２，５０）が最も近いので特定され、これに対応する図１０（Ａ）の２行目のＭＩＤＩデータがＭＩＤＩデータ記憶モジュール５８から取得される。
【００７４】
ステップＳ３６：コアモジュール５４は、取得されたＭＩＤＩデータをＭＩＤＩデータ変換モジュール５６を介して出力処理モジュール５９に供給する。これにより、ステップＳ３５において取得されたＭＩＤＩデータが再生され、スピーカ１７から音として出力される。
【００７５】
ステップＳ３７：コアモジュール５４は、処理を終了するか否かを判定し、処理を終了しない場合にはステップＳ３４に戻って同様の処理を繰り返し、それ以外の場合には処理を終了する。具体的には、読取データの入力が所定の時間（例えば、３秒）以上なされない状態が継続した場合には処理を終了し、それ以外の場合にはステップＳ３４に戻って同様の処理を繰り返す。
【００７６】
ステップＳ３４〜ステップＳ３７の処理が繰り返されることにより、再生バー３６に対応する五線上に存在する音符であって、ペン先１２のｘ座標に最も近い音符に対応するＭＩＤＩデータが順次再生される。したがって、例えば、ユーザがペン先１２によって所定の再生バー３６をなぞると、ペン先１２の位置に応じて楽曲が再生されることになる。
【００７７】
なお、以上の処理では、ペン先１２の移動に応じて楽曲が再生されるようにしたが、ユーザがペン型楽譜記号入力装置１０を一定の速度で移動させることは困難であるので、例えば、再生バー３６の一部が指定された場合には、対応する五線に存在する全ての音符を、定められたテンポで再生するようにしたり、あるいは、定められたテンポよりも速い速度でなぞられた場合には定められたテンポで再生し、定められたテンポよりも遅い速度でなぞられた場合にはその速度で再生したりするようにしてもよい。
【００７８】
ステップＳ３８：軌跡再現モジュール５０は読取データをメモリ２３から取得し、軌跡の再現を行う。具体的には、図８に示す一連の位置情報を取得し、それぞれの位置情報によって特定される位置を相互に線分によって結ぶことにより、軌跡を再現する。
【００７９】
ステップＳ３９：記号認識モジュール５２は、軌跡再現モジュール５０から供給された軌跡と、楽譜記号用ＤＢ５３に格納されている各楽譜記号のパターンを示す情報とを比較することにより（パターンマッチング処理により）、軌跡が示す楽譜記号（この場合には音符の種類）を特定する。例えば、楽譜記号用ＤＢ５３には、楽譜記号を示す複数のテンプレートが格納されており、記号認識モジュール５２は、軌跡とそれぞれのテンプレートとの相関性を計算し、相関性が最も高いテンプレートに対応する記号が該当する記号であると判定する。特定された記号は、コアモジュール５４に供給される。
【００８０】
ステップＳ４０：コアモジュール５４は、解析モジュール５１に対して指令を送り、音符の符頭の重心位置を検出させる。具体的には、解析モジュール５１は、音符７０の符頭７２を検出し、検出した符頭７２の重心８０の位置（対応用紙３０上における位置）を求める。なお、重心を求める方法としては、前述したように、例えば、符頭７２を構成するドット（軌跡）のｘ座標とｙ座標の平均値の座標を求めればよい。このようにして求められた符頭７２の重心の位置情報は、コアモジュール５４に供給される。
【００８１】
ステップＳ４１：コアモジュール５４は、ステップＳ１８で求められた音符７０の符頭７２の重心８０の位置と、音部入力部３３に入力された記号とに基づいて、当該音符の音程を決定する。なお、音符７０の近傍に変化記号（シャープ、フラット等）が記入されている場合には、それも考慮して音程を決定する。
【００８２】
ステップＳ４２：コアモジュール５４は、音符のベロシティ（音の強弱）を検出する。例えば、図７の下に拡大して示すように、音符の近傍に強弱を示す記号（この例ではｍｆ（メゾフォルテ））が記入されている場合には、これを検出する。
【００８３】
ステップＳ４３：コアモジュール５４は、検出した情報をＭＩＤＩデータ変換モジュール５６に供給し、音符を対応するＭＩＤＩ情報に変換させる。
【００８４】
ステップＳ４４：コアモジュール５４は、取得されたＭＩＤＩデータをＭＩＤＩデータ変換モジュール５６を介して出力処理モジュール５９に供給する。これにより、対応用紙３０に書き込まれた音符に対応するＭＩＤＩデータが再生され、スピーカ１７から音として出力される。なお、終了する指示がなされるまで、ステップＳ３８〜ステップＳ４４の処理を繰り返すようにしてもよい。
【００８５】
以上に説明したように、本発明の実施の形態によれば、対応用紙３０に対して、ペン型楽譜記号入力装置１０によって楽譜記号を書き込むことにより、対応用紙３０上にペン先１２による軌跡を描くとともに、書き込まれた記号に対応する楽曲データをメモリ２３に記憶することができる。このため、楽譜記号以外の新たな入力用の記号を憶える必要がないので、ユーザの利便性を向上させることができる。
【００８６】
また、ペン先１２によって対応用紙３０に書き込まれた情報は、通常の紙に書き込まれた情報と同様に保存することが可能である。したがって、装置をプリンタに接続し、新たに用紙に印刷するといった手間を省略することができる。
【００８７】
また、本発明の実施の形態によれば、対応用紙３０に書き込んだ楽譜記号の認識結果をＬＣＤ１６に表示して確認するようにしたので、認識結果が正しいか否かを判断することが可能になる。さらに、認識結果を音として再生するようにしたので、認識結果が正しいか否かを音によっても判断することが可能になる。
【００８８】
また、本発明の実施の形態によれば、テンポ入力部３１を叩打することにより、テンポを入力できるようにしたので、数字を入力する場合に比較して、より感覚的な入力を行うことができる。ユーザの操作性を向上できる。
【００８９】
また、本発明の実施の形態によれば、プログラムチェンジ部３２に楽器の種類を示す情報を書き込むことにより、楽曲データの楽器の種類を指定することができるようにした。これにより、ユーザフレンドリーな入力を実現することができる。
【００９０】
また、本発明の実施の形態によれば、再生バー３６をペン先１２でなぞることにより、対応する楽曲データを再生するようにしたので、例えば、入力済の楽曲の一部を再生して確認することができる。また、ペン先１２の移動速度を調整することにより、楽曲をゆっくり再生したり、はやく再生したりすることができるので、ユーザの目的に応じた速度で楽曲を再生することができる。
【００９１】
また、本発明の実施の形態によれば、入力された楽曲データは、通信部２５によって他の装置に転送することができるので、他の装置によっても楽曲データを使用することが可能になる。
【００９２】
なお、上述の実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。
【００９３】
例えば、以上の実施の形態では、図２に示す機能ブロックをハウジング１１内に全て内蔵するようにしたが、例えば、これらの一部をハウジング１１内に内蔵し、それ以外については他の機器に内蔵するようにしてもよい。一例として、ペン先１２、赤外線ＬＥＤ１３、Ｃ−ＭＯＳカメラ１４、および、筆圧センサ２１についてはハウジング１１内に内蔵し、それ以外については他の筐体内に内蔵し、当該筐体とハウジング１１とを無線または有線で接続するようにしてもよい。このような実装方法によれば、ペン型楽譜記号入力装置１０の重さを軽くすることができるので、操作性を向上できるとともに、消費電力を低減することができることから、ペン型楽譜記号入力装置１０の電池の使用時間を延長することができる。
【００９４】
また、以上の実施の形態では、入力済の楽譜記号を削除または変更する場合については説明していないが、入力済の楽譜記号を削除または変更することも可能である。具体的な方法としては、例えば、削除または変更を行うためのボタンをハウジング１１に設けるか、または、対応用紙３０の一部に削除または変更を行うためのコマンド部を設ける。そして、これらのボタンが操作されるか、または、コマンド部がペン先１２によって指定された後に、目的の楽譜記号が指定された場合には、コアモジュール５４は、図１０（Ｂ）に示す位置情報に基づいて目的の楽譜記号を特定する。そして、削除の場合には、当該楽譜記号に対応するＭＩＤＩデータを削除する。一方、修正の場合には、当該楽譜記号に代わる新たな楽譜記号が記入されるのを待ち、記入された場合には対応する楽曲データを書き換える。そして、ユーザは、消しゴム等によって、対応用紙３０に記入されている古い記号を消去するか、例えば、斜線等を記入することによって古い記号を消去する。このような方法によれば、記入済の記号を削除または変更することが可能になる。
【００９５】
なお、ペン型楽譜記号入力装置１０の底部のペン先１２の近傍に消しゴムを設けるとともに当該消しゴムにも筆圧センサを具備し、当該筆圧センサに検出があった場合には、楽譜記号の消去がなされていると判定し、Ｃ−ＭＯＳカメラ１４等によって検出された位置情報に基づいて対応する楽曲データを削除するようにしてもよい。
【００９６】
また、以上の実施の形態では、対応用紙３０が１枚だけの場合について説明したが、例えば、対応用紙３０を複数枚綴じてノートのような形態とすることも可能である。そのような場合、例えば、光学パターンに対して、位置情報とともにページ情報も併せて格納しておき、書き込みがなされたページを特定できるようにしてもよい。あるいは、全てのページを網羅することができる大きな座標系を準備しておき、当該座標系の一部を各ページに割り当てるようにしてもよい。そして、例えば、楽曲の終了を示す楽譜記号である「ｆｉｎｅ」が記入された場合には曲の最後であると判定し、それ以外の場合には曲がページを跨って継続していると判定する。そのような方法によれば、１ページを超える長い楽曲の入力も可能になる。
【００９７】
また、以上の実施の形態では、入力された楽譜記号をＭＩＤＩデータに変換するようにしたが、これ以外の楽曲データに変換するようにしてもよい。
【００９８】
また、以上の実施の形態では、再生ボタン１５を操作した後に、再生バー３６がなぞられた場合に、対応する楽曲データが再生するようにしたが、例えば、再生バー３６がなぞられた場合には再生ボタン１５の操作の有無によらず、対応する楽曲データを再生するようにしてもよい。あるいは、再生ボタン１５が操作された場合には、入力済の楽曲を最初から全て再生するようにしてもよい。
【００９９】
また、以上の実施の形態では、再生バー３６を設け、当該再生バー３６がなぞられた場合に、楽曲を再生するようにしたが、例えば、再生バー３６を設けずに、音符上またはその近傍がなぞられた場合に、対応する楽曲データを再生するようにしてもよい。
【０１００】
また、以上の実施の形態では、認識結果をＬＣＤ１６に表示する際には、文字情報として表示するようにしたが、画像情報として表示するようにしてもよい。例えば、五線をＬＣＤ１６に表示し、当該五線上に認識結果を示す楽譜記号を重ねて表示するようにしてもよい。そして、入力済の楽曲データを再生する際には、ＬＣＤ１６に楽譜記号を複数表示し、再生中の楽譜記号については強調表示する等して、再生位置を明示するようにしてもよい。
【産業上の利用可能性】
【０１０１】
本発明は、例えば、携帯用の楽譜記号入力装置に適用することができる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施の形態に係るペン型楽譜記号入力装置の外観を示す図である。
【図２】本発明の実施の形態に係るペン型楽譜記号入力装置の電気的な構成例を示すブロック図である。
【図３】対応用紙に印刷された光学パターンを説明する図である。
【図４】対応用紙の断面形状と光学パターンの読み取りの方法を説明する図である。
【図５】図２に示す実施の形態においてプログラムが実行された際に実現される機能ブロックを示す図である。
【図６】図２に示す実施の形態において対応用紙に書き込みがなされた場合に実行される処理の流れを説明するフローチャートである。
【図７】対応用紙の詳細を説明するための図である。
【図８】読取データの一例を示す図である。
【図９】音符の重心を決定する処理の流れを説明する図である。
【図１０】ＭＩＤＩデータと位置情報とを説明する図である。
【図１１】図２に示す実施の形態において楽曲データを再生する場合または新たに記入された楽譜記号を再生する場合に実行される処理の流れを説明するフローチャートである。
【符号の説明】
【０１０３】
１０  ペン型楽譜記号入力装置
１２  ペン先
１３  赤外線ＬＥＤ（読み取り手段の一部）
１４  Ｃ−ＭＯＳカメラ（読み取り手段の一部）
１６  ＬＣＤ（表示手段）
２１  筆圧センサ（筆圧検出手段）
２３  メモリ（記憶手段）
２５  通信部（転送手段）
３０  対応用紙（印刷媒体）
５２  記号認識モジュール（認識手段）
５４  コアモジュール（テンポ決定手段）
５６  ＭＩＤＩデータ変換モジュール（変換手段）
５９  出力処理モジュール（再生手段）
【図１】
2008089812.tif 000003
【図２】
2008089812.tif 000004
【図３】
2008089812.tif 000005
【図４】
2008089812.tif 000006
【図５】
2008089812.tif 000007
【図６】
2008089812.tif 000008
【図７】
2008089812.tif 000009
【図８】
2008089812.tif 000010
【図９】
2008089812.tif 000011
【図１０】
2008089812.tif 000012
【図１１】
2008089812.tif 000013