(57)【要約】【課題】続け字で手書き入力された文字や記号を、膨大なデータを保持することなく、より単純な形の認識処理を行うだけで正確に認識できるようにする。【解決手段】入力手段が画面に触れてから離れるまで、前記入力手段が移動するごとにその位置情報を取得するタッチ情報取得手段と、前記入力手段の移動を示すベクトル情報を作成し、前記入力手段が画面に触れてから完全に離れるまでの一連のベクトルを１つのストローク情報として記憶するストローク情報記憶手段と、前記ベクトル情報から、隣り合うベクトルどうしの接続タイプを求め、接続タイプ配列に記憶する接続タイプ記憶手段と、前記接続タイプにおける鋭角点の前後でベクトルを分割する分割手段と、前記分割されたベクトル配列のストロークの形状を認識するストローク形状認識手段と、認識されたストロークの形状と、その位置関係に基づいて、記号を判定する記号判定手段とを有する。【選択図】図３
2015191584.tif 000002
【特許請求の範囲】
【請求項１】
入力手段が画面に触れてから離れるまで、前記入力手段が移動するごとにその位置情報を取得するタッチ情報取得手段と、
前記タッチ情報取得手段から得た位置情報から前記入力手段の移動を示すベクトル情報を作成し、前記入力手段が画面に触れてから完全に離れるまでの一連のベクトルを１つのストローク情報として記憶するストローク情報記憶手段と、
前記ストローク情報記憶手段により作成されるベクトル情報から、隣り合うベクトルどうしの接続タイプを求め、接続タイプ配列に記憶する接続タイプ記憶手段と、
前記接続タイプ記憶手段により求められた接続タイプにおける鋭角点の前後でベクトルを分割する分割手段と、
前記分割手段により分割されたベクトル配列のストロークの形状を認識するストローク形状認識手段と、
ストローク形状認識手段により認識されたストロークの形状と、その位置関係に基づいて、記号を判定する記号判定手段とを有することを特徴とする手書き音楽記号認識装置。
【請求項２】
前記ベクトル情報は、ベクトルの傾きをもとに、点、下→上、左下→右上、左→右、左上→右下、上→下、右上→左下、右→左、右下→左上、の９種類に分類され、そのＩＤを含んでいることを特徴とする請求項１に記載の手書き音楽記号認識装置。
【請求項３】
ストローク特徴量を算出するストローク特徴量算出手段を有し、
前記ストローク特徴量算出手段は、少なくとも、始点から終点の距離、ストロークが内接する矩形の４点の座標と中心座標、当該ベクトルと次のベクトルの角度が示す接続タイプ、接続タイプが鋭角であるベクトルのインデックス、当該ベクトルから次のベクトルへの回転方向、当該ベクトルから次のベクトルへの回転角、左右への移動方向、上下への移動方向、最左点、最右点、最上点、最下点にあたるインデックス、のうち１乃至は全てを含んでおり、ストローク情報に記憶することを特徴とする請求項１に記載の手書き音楽記号認識装置。
【請求項４】
前記ストローク特徴量のうち、当該ベクトルから次のベクトルへの回転方向とは、回転方向が時計回りか、反時計回りか、どちらでもないかを示すことを特徴とする請求項３に記載の手書き音楽記号認識装置。
【請求項５】
前記ストローク特徴量と、記号の特徴とを比較し、そのストロークが何の記号なのか認識するストローク認識手段をさらに備えることを特徴とする請求項３に記載の手書き音楽記号認識装置。
【請求項６】
入力手段が画面に触れてから離れるまで、前記入力手段が移動するごとにその位置情報を取得するタッチ情報取得処理と、
前記タッチ情報取得処理から得た位置情報から前記入力手段の移動を示すベクトル情報を作成し、前記入力手段が画面に触れてから完全に離れるまでの一連のベクトルを１つのストローク情報として記憶するストローク情報記憶処理と、
前記ストローク情報記憶処理により作成されるベクトル情報から、隣り合うベクトルどうしの接続タイプを求め、接続タイプ配列に記憶する接続タイプ記憶処理と、
前記接続タイプ記憶処理により求められた接続タイプにおける鋭角点の前後でベクトルを分割する分割処理と、
前記分割処理により分割されたベクトル配列のストロークの形状を認識するストローク形状認識処理と、
ストローク形状認識処理により認識されたストロークの形状と、その位置関係に基づいて、記号を判定する記号判定処理とをコンピュータに実行させることを特徴とする手書き音楽記号認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は手書き音楽記号認識装置及び手書き音楽記号認識プログラムに関し、特に、タブレット端末（タッチ対応ＰＣを含む）などで、手書き（ペン使用を含む）で楽譜を作成する場合に、手書きした記号を認識するために用いて好適な技術に関する。
【背景技術】
【０００２】
手書き入力に対応するタブレット端末は、指などの入力手段がタッチパネルを走査した軌跡情報を検出し、検出した情報に基づいて記号あるいは図形などを認識するようにしている。
【０００３】
手書き入力された文字や記号の認識方法として、文字のストローク座標を辞書情報と比較するものや、文字の筆記方向を辞書と比較するもの等がある。
しかし、前述の方法では、大きな記憶容量を必要としたり、書き順が正規のものと相違したりすると、誤認識となってしまう問題点があった。
【０００４】
また、手書き入力された文字が続け字で書かれたような場合に、続け字の書かれ方に応じて不規則な屈曲点が発生するため、文字の屈曲位置を正しく検出できなくなってしまい、文字認識の精度が低下するといった問題があった。
【０００５】
前述のような問題点を解決するために、特許文献１には、筆記ストロークの始点と終点とを仮想線分で連結し、その場合に発生する屈曲箇所の特徴量を検出し、これを辞書情報と比較して、文字認識を行う文字認識方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１３３９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１で提案された文字認識方法は、筆記文字の屈曲個所と認識候補文字の屈曲個所が相応するようになり、ユーザーが続け字で筆記しても精度良く文字認識できる。しかし、文字を変換するための特定の記号あるいは図形をあらかじめ辞書に登録しておく必要がある。このため、認識可能な文字、記号あるいは図形の個数分だけデータを保持しておく必要があるので、大きな記憶容量の記憶媒体が必要であった。
【０００８】
また、入力された文字と、記憶媒体に大量に記憶されている文字候補とを１対１に対応付ける必要があるので、複雑で大掛かりなプログラムを必要とする問題点があった。
本発明は前述の問題点に鑑み、膨大なデータを保持することなく、より単純な形の認識処理を行うだけで正確に認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の手書き音楽記号認識装置は、入力手段が画面に触れてから離れるまで、前記入力手段が移動するごとにその位置情報を取得するタッチ情報取得手段と、前記タッチ情報取得手段から得た位置情報から前記入力手段の移動を示すベクトル情報を作成し、前記入力手段が画面に触れてから完全に離れるまでの一連のベクトルを１つのストローク情報として記憶するストローク情報記憶手段と、前記ストローク情報記憶手段により作成されるベクトル情報から、隣り合うベクトルどうしの接続タイプを求め、接続タイプ配列に記憶する接続タイプ記憶手段と、前記接続タイプ記憶手段により求められた接続タイプにおける鋭角点の前後でベクトルを分割する分割手段と、前記分割手段により分割されたベクトル配列のストロークの形状を認識するストローク形状認識手段と、ストローク形状認識手段により認識されたストロークの形状と、その位置関係に基づいて、記号を判定する記号判定手段とを有することを特徴とする。
本発明の手書き音楽記号認識プログラムは、入力手段が画面に触れてから離れるまで、前記入力手段が移動するごとにその位置情報を取得するタッチ情報取得処理と、前記タッチ情報取得処理から得た位置情報から前記入力手段の移動を示すベクトル情報を作成し、前記入力手段が画面に触れてから完全に離れるまでの一連のベクトルを１つのストローク情報として記憶するストローク情報記憶処理と、前記ストローク情報記憶処理により作成されるベクトル情報から、隣り合うベクトルどうしの接続タイプを求め、接続タイプ配列に記憶する接続タイプ記憶処理と、前記接続タイプ記憶処理により求められた接続タイプにおける鋭角点の前後でベクトルを分割する分割処理と、前記分割処理により分割されたベクトル配列のストロークの形状を認識するストローク形状認識処理と、ストローク形状認識処理により認識されたストロークの形状と、その位置関係に基づいて、記号を判定する記号判定処理とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、手書き入力された文字や記号のベクトル角度が鋭角的に変化する点でストロークを分割し、分割されたそれぞれを認識するようにしたので、手書き入力された記号が複雑であっても、膨大なデータを保持することなく、より単純な形の認識処理と、その位置関係とを関連付ける処理を行うことによって、正確に認識することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における手書き音楽記号認識装置の構成例を示すブロック図である。
【図２】１つのストロークを複数のストロークに分割して認識する例を示す図である。
【図３】音楽記号認識処理の手順を説明するフローチャートである。
【図４】ベクトルを９つの種類に分類する例を示す図である。
【図５】Ｓ字ベクトルの内接矩形と中心座標の例を示す図である。
【図６】当該ベクトルから次のベクトルへの回転角度の変化例を示す図である。
【図７】接続タイプの決め方を示し、当該ベクトルのＩＤと次のベクトルのＩＤとの関係を示す図である。
【図８】回転方向の決め方を示し、当該ベクトルのＩＤと次のベクトルのＩＤとの関係を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本発明の実施形態における手書き音楽記号認識装置の全体を説明する。
図１は、手書き音楽記号認識装置１０の概略構成を示すブロック図であり、手書き音楽記号認識装置１０はタブレット端末（タッチ対応ＰＣを含む）により構成されている。
【００１３】
図１において、１１はバス、１２はＲＯＭ、１３はＲＡＭ、１４はＣＰＵ、１５はフラッシュメモリ、１６はネットワークインターフェイス、１７はタッチディスプレイ、１８はオーディオ出力装置、１９はＭＩＤＩ出力装置である。
【００１４】
手書き音楽記号認識装置１０の全体動作を制御するプログラムはフラッシュメモリ１５に記憶されており、これを読み出してＲＡＭ１３に展開し、ＣＰＵ１４が実行することにより動作する。
タッチ情報取得手段は、タッチディスプレイ１７、ＲＡＭ１３、ＣＰＵ１４、フラッシュメモリ１５などにより構成され、タッチ位置が移動するごとにその位置情報を取得する。
【００１５】
ストローク情報記憶手段、オブジェクト情報記憶手段は、ＲＡＭ１３で構成される。
ストローク特徴量算出手段、ストローク認識手段、オブジェクト認識手段は、ＲＡＭ１３、ＣＰＵ１４、フラッシュメモリ１５、で構成される。ストローク情報記憶手段は、タッチ情報取得手段から得た位置情報から、指やタッチペンなどの入力手段の移動を示すベクトル情報を作成し、入力手段が画面に触れてから完全に離れるまでの一連のベクトルを１つのストローク情報として記憶する。
ストローク認識手段は、ストローク特徴量と、記号の特徴とを比較し、そのストロークが何の記号なのか認識する。
【００１６】
ネットワークインターフェイス１６は、認識した音楽記号情報をファイルとして他のハードウェアに保存、または保存済の音楽記号情報ファイルを読み込むためのものである。
オーディオ出力装置１８は、認識した音楽記号から音楽演奏情報を作成し、音響出力できるようにするために設けられている。
ＭＩＤＩ出力装置１９は、認識した音楽記号からＭＩＤＩ情報を作成し、ＭＩＤＩ出力できるようにするために設けられている。
【００１７】
本実施形態におけるベクトルＩＤのつけ方を説明する。
本実施形態においては、処理を簡略化するために、ベクトルを下→上、左下→右上、左→右、左上→右下、上→下、右上→左下、右→左、右下→左上、点の９種類に分類する。
図４に示すように、ベクトルの始点（x1,ｙ1）、終点（x2,ｙ2）から傾きａを式（１）より求める。
そして、x1,ｙ1,x2,ｙ2の位置関係を考慮してベクトルＩＤを決める。ｙ軸は下側が「＋」である。
【００１８】
【数１】
2015191584.tif 000003
【００１９】
|ａ|＞２
ｙ２＜ｙ１：下→上
ｙ２＞ｙ１：下→上
−２≦ａ＜−０．５
ｘ２＜ｘ１：左下→右上
ｘ２＞ｘ１：右上→左下
|ａ|≦０．５
ｘ２＞ｘ１：左→右
ｘ２＜ｘ１：右→左
０．５＜ａ≦２
ｘ２＞ｘ１：左上→右下
ｘ２＜ｘ１：右下→左上
ｘ１＝ｘ２
ｙ２＜ｙ１：下→上
ｙ２＞ｙ１：下→上
ｘ１＝ｘ２  かつ  ｙ１＝ｙ２
点
となる。
【００２０】
各特徴量の説明をする。
（始点終点距離）
この距離が規定値よりも小さい場合は、円のように閉じた図形と考えられ、大きい場合は弧線のように閉じていない図形と考えられる。
先頭ベクトルの始点座標を（x1,ｙ1）、最終ベクトルの終点座標を（x2,ｙ2）とすると、始点終点距離Ｄseは、次の式（２）で求める。
【００２１】
【数２】
2015191584.tif 000004
【００２２】
（ストロークが内接矩形の４点の座標と中心座標）
この値は、互いのストロークの位置関係を得るために使用される。
図５に、Ｓ字ベクトルの内接矩形と中心座標の例を示す。
矩形座標左は、全ベクトルの始点または終点の中で最も左のＸ座標。
矩形座標右は、全ベクトルの始点または終点の中で最も右のＸ座標。
矩形座標上は、全ベクトルの始点または終点の中で最も上のＹ座標。
矩形座標下は、全ベクトルの始点または終点の中で最も下のＹ座標。
中心座標は、矩形座標左と矩形座標右の中間のＸ座標、矩形座標上と矩形座標下の中間のＹ座標で表される。
【００２３】
（接続タイプ）
記号が滑らかどうか、角はあるかどうか、などを判断するために用いる。
当該ベクトルのＩＤと次のベクトルのＩＤから決める（図７を参照）。本実施形態においては、鈍角か、直角か、鋭角か、いずれでもない場合、として決めている。
【００２４】
（回転方向）
回転方向が変わった点は、記号を特定する手がかりとして重要である。
例えば、「ｆ」の１画目は、「Ｓ」のように滑らかにベクトルが連続しており、始点と終点が離れているが、「Ｓ」には回転方向が変わる点が１か所あるので、区別することができる。これも、当該ベクトルのＩＤと、次のベクトルのＩＤより決定する（図８を参照）。回転方向変化数が０の場合、回転角度の合計を求め、それにより記号判定を行う。
【００２５】
回転角度≦１８０°
弧線の判定を以下の条件で行う。
・左右移動方向に「右」が有り、「左」が無い。
・最上点が始点および終点以外→上弧線
・最上点が始点または終点→下弧線
【００２６】
・左右移動方向に「右」が無く、「左」が或る。
・最上点が始点および終点以外→上弧線
・最上点が始点または終点→下弧線
【００２７】
・上下移動方向に「下」が有り、「上」が無い。
・最左点が始点および終点以外→左弧線
・最左点が始点または終点→右弧線
【００２８】
・上下移動方向に「下」が無く、「上」が有る。
・最左点が始点および終点以外→左弧線
・最左点が始点または終点→右弧線
・上記以外→該当記号なし。
【００２９】
回転角度＞３６０°→多重円
【００３０】
それ以外
円、楕円の判定を以下の手順で行う。
１．最左点―最右点を結ぶ直線（長径とする）の方程式を求める。
２．各点から前記直線に下した垂線の足を求める。
３．各点とその垂線の足の長さが最も大きいものを楕円の半短径とする。
４．半短径×２（短径とする）の長径の比を求める。
・前記求めた比がほぼ１：１→円
・それ以外→楕円
【００３１】
（回転角度）
図６に、当該ベクトルから次のベクトルへの回転角度の変化例を示す。この累計で、記号が円であるか多重円であるかを判別できる。
当該ベクトルの始点を（x11,ｙ11）、終点を（x12,ｙ12）とし、次のベクトルの始点を（x21,ｙ21）、終点を（x22,ｙ22）とすると、２つのベクトルのなす角Ｄｅｇ（°）は、以下の式で求まる。
【００３２】
【数３】
2015191584.tif 000005
【００３３】
（左右移動方向及び上下移動方向）
単純に上から下、左から右にかかれた線分のような記号かどうかを判定する。
ベクトルＩＤより求める。ベクトルＩＤが下→上であれば、左右移動方向はなし、上下移動方向は上である。また、ベクトルＩＤが右下→左上であれば、左右移動方向は左、上下移動方向は上となる。
【００３４】
（最左点、最右点、最上点、最下点のインデックス）
例えば、最左点Ｉｎｄｅｘが０（最初のベクトルの始点）、最右点ＩｎｄｅｘがＮ（最終のベクトルの始点）とした場合、最上点ＩｎｄｅｘがＮ／２付近であれば、下が開いた山形の記号と判断できる。
【００３５】
＜第１の実施形態＞
以下、本発明の手書き音楽記号認識装置の第1の実施形態を説明する。
手書きに対応したタブレット端末は、指が画面に触れてから離れるまで、指の移動がある度にその位置情報を取得するAPIを備えている。一連の位置情報の変化を複数のベクトルとして記憶し、そのベクトルから指の動きの特徴を抽出し、描かれた記号を認識する。
【００３６】
指の動きの特徴の１つとして、ベクトルと次のベクトルの接続タイプがある。前述の特徴量の接続タイプで説明したとおり、接続タイプは、鋭角、直角、鈍角に分けられる。
本実施形態では鋭角の所で、１つのストロークを複数のストロークに分割し、分割したそれぞれを認識することで、より単純な形の認識と、その位置関係によって記号を簡単に、かつ正確に認識できる。
【００３７】
図２に具体例を示す。
図２（ａ）に示す文字「２」においては、１番目のベクトルａ１から５番目のベクトルａ５までの接続タイプは鈍角であり、５番目のベクトルａ５と６番目のベクトルａ６の接続タイプは鋭角である。
そこで、１〜５番目のベクトルａ１〜ａ５と６番目のベクトルａ６を別のストロークとして認識すると、図２（ｂ）に示すように、弧線ｂ１と直線ｂ２となり、単純な形の認識のみを行えばよいことが分かる。
【００３８】
次に、図３のフローチャートを参照しながら本実施形態の処理手順を説明する。
Ｓ３１では、隣り合うベクトルどうしの接続タイプを求め、接続タイプ配列に記憶する接続タイプ記憶処理を行う。文字「２」の場合は、鈍角、鈍角、鈍角、鈍角、鋭角と順番に記憶される。
【００３９】
Ｓ３２では、接続タイプ配列を基に、鋭角点の前後でベクトル配列を新しく作成する。ベクトル配列は、鋭角点＋１個作成される。文字「２」の場合は、ベクトル配列は２個作成される。
ベクトル配列１には、ベクトルａ１〜ａ５までが記憶され、ベクトル配列２にはベクトルａ６が記憶される。
【００４０】
Ｓ３３では、各ベクトル配列（＝ストローク）の形状を認識するストローク形状認識処理を行う。
ベクトル配列１について
・回転方向の変化が時計回りか反時計回りかどちらでもないかを調べる。この場合、回転方向は時計回り一定である。
・また回転角の合計を調べる。この場合、180°未満であり、回転方向が一定であることから弧線と判断できる。
【００４１】
さらに
・右へ向かうベクトルの数
・左へ向かうベクトルの数
・下へ向かうベクトルの数
・上へ向かうベクトルの数
・および
・最も上のポイントのインデックス
・最も下のポイントのインデックス
・最も左のポイントのインデックス
・最も右のポイントのインデックス
を求め、それらからどのような弧線か判断する。
【００４２】
この場合
・上から下へ向かうベクトルの数が１以上、かつ、下から上へ向かうベクトルの数が0
・最も左のポイントのインデックスが0ではない、かつ、最も左のポイントのインデックスが最後のポイントではない
以上の条件より、左に開いた弧線であることがわかる。
【００４３】
ベクトル配列２について
・ベクトル数が１であること
・ベクトルの傾きと始点、終点の関係より得られるベクトルIDが左→右であることにより、横の直線であることがわかる。
【００４４】
Ｓ３４では、各ベクトルの形状とその位置関係より、１つのオブジェクトを生成するオブジェクト生成処理を行う。図２（ｂ）の場合には、右に開いた弧線ｂ１の下に、横直線ｂ２があるので、文字「２」を生成する。
【００４５】
前述した実施形態においては、文字「２」を認識する例を示したが、１つのストロークを鋭角的な変化点で分割し、それぞれを認識することが可能な種々の文字や記号を認識することが可能である。
【００４６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４７】
１０  手書き音楽記号認識装置
１１  バス
１２  ＲＯＭ
１３  ＲＡＭ
１４  ＣＰＵ
１５  フラッシュメモリ
１６  ネットワークインターフェイス
１７  タッチディスプレイ
１８  オーディオ出力装置
１９  ＭＩＤＩ出力装置
【図１】
2015191584.tif 000006
【図２】
2015191584.tif 000007
【図３】
2015191584.tif 000008
【図４】
2015191584.tif 000009
【図５】
2015191584.tif 000010
【図６】
2015191584.tif 000011
【図７】
2015191584.tif 000012
【図８】
2015191584.tif 000013