(57)【要約】【課題】楽譜が容易に作成でき、作成した楽譜をカメラ等で読み取って得られた画像データから音楽記号を正確に認識でき、修正等を行うことなく直ちに音として再生できるようにする。【解決手段】音楽記号シール２０が五線紙４０に貼り付けられた楽譜５０を読み取った楽譜画像データを取得する楽譜画像データ取得部１１と、音楽記号シール画像データを記憶する音楽記号シール画像データ記憶部１２と、楽譜画像データ取得部１１が取得した楽譜画像データから音楽記号の画像データの抽出して、音楽記号シール画像データとの形状のマッチングを行い、楽譜５０に表された音楽記号の種類と音符の五線紙上の位置を認識する音楽記号認識部１３と、音楽記号認識部１３が認識した音楽記号の種類と五線紙上の位置に基づいて楽音データを生成する楽音データ生成部１４とを備えた楽譜認識装置１０。【選択図】図１
2020035017.tif 000002
【特許請求の範囲】
【請求項１】
音符を含む一定種類の音楽記号の種類毎に同一の大きさ・形状で音楽記号が表された音楽記号シールが五線紙に貼り付けられた楽譜を読み取った楽譜画像データを取得する楽譜画像データ取得手段と、
前記一定種類の音楽記号シールに表された音楽記号の画像データである音楽記号シール画像データを記憶する音楽記号シール画像データ記憶手段と、
前記楽譜画像データ取得手段が取得した楽譜画像データから、音楽記号の画像データの抽出と該音楽記号中の音符の前記五線紙上の位置を特定し、抽出した前記音楽記号の画像データと前記音楽記号シール画像データ記憶手段に記憶された音楽記号シール画像データとの形状のマッチングを行い、前記楽譜に表された音楽記号の種類と前記音符の前記五線紙上の位置を認識する音楽記号認識手段と、
前記音楽記号認識手段が認識した前記音楽記号の種類と前記五線紙上の位置に基づいて楽音データを生成する楽音データ生成手段と、
を備えたことを特徴とする楽譜認識装置。
【請求項２】
前記音楽記号シールは、一定種類の音楽記号の種類毎に同一の色で音楽記号が表されており、
前記音楽記号認識手段は、さらに前記音楽記号の画像データと前記音楽記号シール画像データ記憶手段に記憶された音楽記号シール画像データとの色のマッチングを行い、前記楽譜に表された音楽記号の種類を認識すること
を特徴とする請求項１記載の楽譜認識装置。
【請求項３】
前記一定種類の音楽記号は、一定種類の音符と休符からなり、前記五線紙は、所定のパターンで五線が表された五線シールがシートに貼り付けられたものであることを特徴とする請求項１又は請求項２記載の楽譜認識装置。
【請求項４】
楽譜画像データ取得手段が、一定種類の音楽記号の種類毎に同一の大きさ・形状で音楽記号が表された音楽記号シールが五線紙に貼り付けられた楽譜を読み取った楽譜画像データを取得し、
音楽記号認識手段が、前記楽譜画像データ取得手段が取得した楽譜画像データから、音楽記号の画像データと該音楽記号の前記五線紙上の位置データを抽出し、該音楽記号の画像データと音楽記号シール画像データ記憶手段に記憶された音楽記号のシール画像データとの形状のマッチングを行い、前記楽譜に表された音楽記号の種類と五線上の位置を認識し、
楽音データ生成手段が、前記音楽記号認識手段が認識した前記音楽記号の種類と五線上の位置に基づいて楽音データを生成する
ステップを備えたことを特徴とする楽譜認識方法。
【請求項５】
前記音楽記号シールは、一定種類の音楽記号の種類毎に同一の色で音楽記号が表されており、
前記音楽記号認識手段が、さらに前記音楽記号の画像データと前記音楽記号シール画像データ記憶手段に記憶された音楽記号のシール画像データとの色のマッチングを行い、前記楽譜に表された音楽記号の種類を認識する
ステップを備えたことを特徴とする請求項４記載の楽譜認識方法。
【請求項６】
前記一定種類の音楽記号は、一定種類の音符と休符からなり、前記五線紙は、所定のパターンで五線が表された五線シールがシートに貼り付けられたものであることを特徴とする請求項４又は請求項５記載の楽譜認識方法。
【請求項７】
請求項４乃至請求項６のいずれかに記載した楽譜認識方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音符等の音楽記号を表した音楽記号シールで作成された楽譜を読み取って楽音データを生成する楽譜認識装置、楽譜認識方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年、幼児の音楽教育用等に、楽譜を作成するための種々の音楽記号シール等が提案されている。
例えば、特許文献１（特開平６−１９５０２６号公報）には、フィルム状基材の裏面の所定の文字又は図画の部分だけに、所定の色の顔料と、粘着性が高くなくかつ反復使用が可能な感圧粘着剤との混合物を塗布し、さらにその裏面を剥離紙で覆ってなる仮貼着用ラベルが開示され、文字又は図画として音譜符号等を記載した仮貼着用ラベルを、黒板に記載した五線の上に貼り付けて使用することが開示されている。
また、特許文献２（実用新案登録第３１０６１１１号公報）には、音符部と、前記譜面に着脱可能に付着する付着層とを積層した音符シールと、♯マークを表示した透明層と、前記譜面に着脱可能に付着する付着透明層とを積層した♯シールと、♭マークを表示した透明層と、前記譜面に着脱可能に付着する付着透明層とを積層した♭シールと、音部記号を表示した透明層と、前記譜面に着脱可能に付着する付着透明層とを積層した音部記号シールとを有する音符練習用の補助具が開示され、この音符練習用の補助具を五線譜シートに貼り付けて使用することが開示されている。
しかしながら、特許文献１の仮貼着用ラベルや特許文献２の音符練習用の補助具では、仮貼着用ラベルや音符練習用の補助具を五線譜シート等に貼り付けて楽譜を作成するに留まり、作成した楽譜を音として再生することができないという問題がある。
【０００３】
一方、楽譜を読み取って得られた楽譜画像データから音楽記号を認識し、認識された音楽記号を基に演奏データや楽譜表示のための楽譜データを生成する楽譜認識装置がある。
この楽譜認識装置においては、楽譜を読み取って得られた楽譜画像データに対して、記号認識用辞書を用いたマッチング処理やベクトル量を特徴量とした認識処理、さらには記号部品や記号連結等を行って音楽記号が認識されるが、音楽記号の認識率を高めるために種々の工夫がなされている。
例えば、特許文献３（特開２００９−８６９７３号公報）には、互いに接触又は接近している音楽記号を、従来よりも容易に且つ確実に分離できるようにすることを目的として、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する取得手段と、前記取得手段により取得された画像に含まれるラベルから、認識対象となる所定の音楽記号に対応する大きさの領域を抜き出す抜き出し手段と、前記抜き出し手段により抜き出された領域を、予め設定されている辞書とマッチングするマッチング手段と、前記マッチング手段によりマッチングされた結果に基づいて、前記抜き出し手段により抜き出された領域に含まれる音楽記号を認識する認識手段と、前記抜き出し手段で抜き出された領域に含まれる情報を、前記ラベルから消去する消去手段とを有する楽譜認識装置が開示されている。
この特許文献３の楽譜認識装置においては、楽譜に記載された各種の音楽記号（楽譜記号）の種類に適した方式で、音部記号・拍子認識、音符認識、定型記号認識、文字列認識、スラー・タイ認識の順に認識処理が行われ、音符認識処理では、画像データを縦細線、横細線、及び太線画像に分離し、各画像から記号や記号の部品を検出し、それらを総合して音符等の記号を認識することが行われる。
しかしながら、特許文献３の楽譜認識装置では、音楽記号の認識に際し、画像読み取り手段が取得する楽譜の画像データ中の認識対象となる音楽記号の画像データと、この画像データとマッチング等が行われる記号や記号の部品等を記憶した辞書のデータとが同一ではないことから、音楽記号の種類によって認識処理が異なり、処理が複雑となるばかりか、誤認識が生じやすく、利用者による修正が必要となり、楽譜を読み取ってから楽音を再生するのに時間がかかり、利用者の操作も煩雑になるという問題がある。
【０００４】
また、特許文献４（特開２０１２−２１５９６０号公報）には、カメラ搭載の携帯端末により、手軽に楽譜を撮影し、その場で直ぐに演奏したり、旋律や音程を確認したりすることが可能なツールとして、楽譜画像を撮像する撮像手段と、前記楽譜画像を所定時間ごとにサンプリング画像として記録するサンプリング画像記録手段と、前記サンプリング画像から五線を簡易的に検出する簡易五線検出手段と、五線が簡易検出されたサンプリング画像について五線、音符音部記号等の音楽記号情報の検出を指示する音楽記号検出スイッチと、前記サンプリング画像から音楽記号情報を検出する音楽記号検出手段と、前記音楽記号情報を表示する楽譜表示手段と、前記楽譜表示手段で表示された音楽記号情報に基づき楽音を再生する楽音再生手段とを備えた音再生装置が開示されている。
さらに、非特許文献１には、iPhone（登録商標）カメラで取った音符を自動認識し、印刷した楽譜に加え手書きの楽譜も認識可能で、認識に誤りがあった場合の修正が行えるiPhone（登録商標）アプリ「楽譜カメラ」についてその機能等が記載されている。
しかしながら、特許文献４の音再生装置や非特許文献１のiPhone（登録商標）アプリでは、特許文献３の楽譜認識装置と同様に、カメラで撮影された音符等の画像データと、マッチングを行う辞書等のデータが同一ではなく、音符等の誤認識が生じやすく、利用者による修正が必要となり、楽譜を読み取ってから楽音を再生するのに時間がかかり、利用者の操作も煩雑になるという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許文献１（特開平６−１９５０２６号公報）
【特許文献２】特許文献２（実用新案登録第３１０６１１１号公報）
【特許文献３】特許文献３（特開２００９−８６９７３号公報）
【特許文献４】特許文献４（特開２０１２−２１５９６０号公報）
【非特許文献】
【０００６】
【非特許文献１】“楽譜を撮ればメロディーを奏でるiPhoneアプリ”，［online］，平成２５年４月２４日，［平成２９年１０月２３日検索］，インターネット，＜URL：https://www.hiraganatimes.com/ja/past-articles/business/1677/＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、楽譜が容易に作成でき、作成した楽譜をカメラ等で読み取って得られた画像データから音楽記号を正確に認識でき、修正等を行うことなく直ちに音として再生できるようにすることである。
【課題を解決するための手段】
【０００８】
請求項１の発明は、音符を含む一定種類の音楽記号の種類毎に同一の大きさ・形状で音楽記号が表された音楽記号シールが五線紙に貼り付けられた楽譜を読み取った楽譜画像データを取得する楽譜画像データ取得手段と、前記一定種類の音楽記号シールに表された音楽記号の画像データである音楽記号シール画像データを記憶する音楽記号シール画像データ記憶手段と、前記楽譜画像データ取得手段が取得した楽譜画像データから、音楽記号の画像データの抽出と該音楽記号中の音符の前記五線紙上の位置を特定し、抽出した前記音楽記号の画像データと前記音楽記号シール画像データ記憶手段に記憶された音楽記号シール画像データとの形状のマッチングを行い、前記楽譜に表された音楽記号の種類と前記音符の前記五線紙上の位置を認識する音楽記号認識手段と、前記音楽記号認識手段が認識した前記音楽記号の種類と前記五線紙上の位置に基づいて楽音データを生成する楽音データ生成手段とを備えた楽譜認識装置を提供して、上記課題を解決するものである。
【０００９】
請求項２の発明は、前記音楽記号シールは、一定種類の音楽記号の種類毎に同一の色で音楽記号が表されており、前記音楽記号認識手段は、さらに前記音楽記号の画像データと前記音楽記号シール画像データ記憶手段に記憶された音楽記号シール画像データとの色のマッチングを行い、前記楽譜に表された音楽記号の種類を認識する楽譜認識装置を提供して、上記課題を解決するものである。
【００１０】
請求項３の発明は、前記一定種類の音楽記号は、一定種類の音符と休符からなり、前記五線紙は、所定のパターンで五線が表された五線シールがシートに貼り付けられたものである楽譜認識装置を提供して、上記課題を解決するものである。
【００１１】
請求項４の発明は、楽譜画像データ取得手段が、一定種類の音楽記号の種類毎に同一の大きさ・形状で音楽記号が表された音楽記号シールが五線紙に貼り付けられた楽譜を読み取った楽譜画像データを取得し、音楽記号認識手段が、前記楽譜画像データ取得手段が取得した楽譜画像データから、音楽記号の画像データと該音楽記号の前記五線紙上の位置データを抽出し、該音楽記号の画像データと音楽記号シール画像データ記憶手段に記憶された音楽記号のシール画像データとの形状のマッチングを行い、前記楽譜に表された音楽記号の種類と五線上の位置を認識し、楽音データ生成手段が、前記音楽記号認識手段が認識した前記音楽記号の種類と五線上の位置に基づいて楽音データを生成するステップを備えた楽譜認識方法を提供して、上記課題を解決するものである。
【００１２】
請求項５の発明は、前記音楽記号シールは、一定種類の音楽記号の種類毎に同一の色で音楽記号が表されており、前記音楽記号認識手段が、さらに前記音楽記号の画像データと前記音楽記号シール画像データ記憶手段に記憶された音楽記号のシール画像データとの色のマッチングを行い、前記楽譜に表された音楽記号の種類を認識するステップを備えた楽譜認識方法を提供して、上記課題を解決するものである。
【００１３】
請求項６の発明は、前記一定種類の音楽記号は、一定種類の音符と休符からなり、前記五線紙は、所定のパターンで五線が表された五線シールがシートに貼り付けられたものである楽譜認識方法を提供して、上記課題を解決するものである。
【００１４】
請求項７の発明は、上記楽譜認識方法をコンピュータに実行させるプログラムを提供して、上記課題を解決するものである。
【発明の効果】
【００１５】
請求項１に記載の発明の楽譜認識装置においては、楽譜が容易に作成でき、作成した楽譜をカメラ等で読み取って得られた画像データから音楽記号を正確に認識でき、修正等を行うことなく直ちに音として再生できるデータが生成できるという効果を奏する。
【００１６】
請求項２に記載の発明の楽譜認識装置においては、さらに、楽譜に表された音楽記号が大きく傾く等して形状だけではその種類が認識できない場合であっても、音楽記号を正確に認識できるという効果を奏する。
【００１７】
請求項３に記載の発明の楽譜認識装置においては、さらに、楽譜がより容易に作成できという効果を奏する。
【００１８】
請求項４に記載の発明の楽譜認識方法は、楽譜が容易に作成でき、作成した楽譜をカメラ等で読み取って得られた画像データから音楽記号を正確に認識でき、修正等を行うことなく直ちに音として再生できるデータが生成できるという効果を奏する。
【００１９】
請求項５に記載の発明の楽譜認識方法においては、さらに、楽譜に表された音楽記号が大きく傾く等して形状だけではその種類が認識できない場合であっても、音楽記号を正確に認識できるという効果を奏する。
【００２０】
請求項６に記載の発明の楽譜認識方法においては、さらに、楽譜がより容易に作成できという効果を奏する。
【００２１】
請求項７に記載の発明のプログラムは、請求項４乃至請求６に記載した楽譜認識方法と同様の効果を奏する。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態の楽譜認識装置を備えた楽音再生装置の構成を示すブロック図である。
【図２】音楽記号シール、五線シールの平面図である。
【図３】五線紙と楽譜の平面図である。
【図４】音楽記号シール画像データ記憶部１２が記憶する音楽記号シール画像データを説明するための説明図である。
【図５】楽譜認識装置１０の動作の示すフローチャートである。
【図６】表示操作部３の表示画面に表示される楽譜画像を説明する説明図である。
【図７】譜画像データ取得部１１が取得した楽譜画像データを説明する説明図である。
【発明を実施するための形態】
【００２３】
［楽譜認識装置の構成］
図１は、本発明の実施形態の楽譜認識装置を備えた楽音再生装置の構成を示すブロック図であり、図中、１は楽音再生装置、２はカメラ、３は表示操作部、４は楽音データ出力部、１０は楽譜認識装置、１１は楽譜画像データ取得部、１１ａはデータ処理部、１１ｂはデータ保存部、１２は音楽記号シール画像データ記憶部、１３は音楽記号認識部、１３ａは音楽記号画像データ抽出部、１３ｂは音符位置データ算出部、１３ｃは形状・色マッチング部、１４は楽音データ生成部である。
楽音再生装置１は、カメラ２、表示操作部３、楽音データ出力部４及び楽譜認識装置１０を備え、画像読み取り装置、楽音出力装置を有するコンピュータ機器、例えば、スマートフォン等の携帯端末で構成される。
カメラ２は、スマートフォン等の楽音再生装置１が搭載しているデジタルカメラであり、楽譜を撮影して（読み取って）楽譜画像データを生成する。
表示操作部３は、スマートフォン等の楽音再生装置１が搭載している液晶ディスプレイ装置であり、カメラ２が撮影する楽譜の画像や各種操作画面等を表示する。
楽音データ出力部４は、スマートフォン等の楽音再生装置１が搭載しているスピーカであり、楽音データ生成部１４から送られてくる楽音データに基づいて楽音を出力する。
【００２４】
楽譜認識装置１０は、楽譜画像データ取得部１１、音楽記号シール画像データ記憶部１２、音楽記号認識部１３及び楽音データ生成部１４を備え、アプリケーションソフト（アプリケーションプログラム）等で構成される。
楽譜画像データ取得部１１は、データ処理部１１ａとデータ保存部１１ｂを備え、データ処理部１１ａは、カメラ２が撮影する（読み取る）楽譜画像を表示操作部３の表示画面に表示する処理をし、表示操作部３からの操作に基づいてカメラ２が撮影した（読み取った）楽譜画像データを取得し、取得した楽譜画像データをデータ保存部１１ｂに保存（記憶）する。
音楽記号シール画像データ記憶部１２は、音楽記号シール（後述する）に表された音楽記号の画像データである音楽記号シール画像データをその種類毎に記憶している。
音楽記号認識部１３は、音楽記号画像データ抽出部１３ａ、音符位置データ算出部１３ｂ及び形状・色マッチング部１３ｃを備えている。
音楽記号画像データ抽出部１３ａは、データ保存部１１ｂに保存されている楽譜画像データから、音符、休符等の音楽記号の画像データを抽出する。
音符位置特定部１３ｂは、データ保存部１１ｂに保存されている楽譜画像データのから、音楽記号中の音符の画像データと五線紙の画像データを抽出し、音符の五線紙上の位置を特定する。
形状・色マッチング部１３ｃは、音楽記号画像データ抽出部１３ａが抽出した音楽記号の画像データと、音楽記号シール画像データ記憶部１２が記憶している音楽記号シール画像データとの形状と色のマッチングを行い、音楽記号画像データ抽出部１３ａが抽出した音楽記号の画像データに表された音楽記号の種類を特定する。
楽音データ生成部１４は、形状・色マッチング部１３ｃが特定した音楽記号の種類と、音符位置特定部１３ｂが特定した音符の五線紙上の位置、すなわち、音楽記号認識部１３が認識した音楽記号の種類と五線紙上の位置に基づいて楽音データを生成し、生成した楽音データを楽音データ出力部４に送る。
【００２５】
［音楽記号シール、五線シール、五線紙、楽譜］
図２は、音楽記号シール、五線シールの平面図であり、同図（ａ）は音楽記号シールを表し、同図（ｂ）は五線シールを表している。
図中、２０は音楽記号シール、２１ａ〜２１ｆは音楽記号（２１ａは２分音符、２１ｂは４分音符、２１ｃは８分音符、２１ｄは１６分音符、２１ｅは４分休符、２１ｆは８分休符）、３０は五線シール、３１は五線、３１ａは第一線、３１ｂは第二線、３１ｃは第三線、３１ｄは第四線、３１ｅは第五線、３２ａ〜３２ｃは補助線、３３は音部記号（ト音記号）である。
音楽記号シール２０は、楕円形状の半透明のシールであり、紙等からなるシール基材の表面には音楽記号２１ａ〜２１ｆ（以下適宜総称して「音楽記号２１」という）が印刷され、シール基材の表面全体は表面保護層（剥離層）で被覆され、シール基材の表面には粘着剤が塗布された粘着層が形成されている。
音楽記号シール２０は、同一種類の音楽記号２１を表したものが多数存在し、その種類毎に同一の大きさ・形状で表され、その種類毎に色が異なっており、例えば、２分音符２１ａは黒、４分音符２１ｂは青、８分音符２１ｃは赤、１６分音符２１ｄは橙、４分休符２１ｅは紫、８分休符２１ｆは赤橙で表されており、音楽記号２１以外の背景部分は白で表されている。
すなわち、２分音符２１ａを表した音楽記号シール２０は、同一の大きさ・形状の２分音符が黒で表され、４分音符２１ｂを表した音楽記号シール２０は、同一の大きさ・形状の４分音符が青で表され、８分音符２１ｃを表した音楽記号シール２０は、同一の大きさ・形状の８分音符が赤で表され、１６分音符２１ｄを表した音楽記号シール２０は、同一の大きさ・形状の１６分音符が橙で表され、４分休符２１ｅを表した音楽記号シール２０は、同一の大きさ・形状の４分休符が紫で表され、８分休符２１ｆを表した音楽記号シール２０は、同一の大きさ・形状の８分休符が赤橙で表されている。
本実施形態では、音楽記号２１の種類毎にその色を変えているが、すべての音楽記号２１を同じ色で表してもよく、音楽記号２１のうちの音符を表す音楽記号２１ａ〜２１ｄをある特定の色で表し、休符を表す音楽記号２１ｅ、２１ｆを別の特定の色で表すというように、音符、休符で色を変えてもよい。
なお、音楽記号シール２０に表される音楽記号の種類は、図２（ａ）に示すものに限定されるわけではなく、全音符、付点２分音符、付点４分音符等の音符、全休付、１６分休符等の休符、♯、♭等の変化記号、その他の音楽記号を含むものであってもよい。
【００２６】
五線シール３０は、ロール状に巻き取った帯状のシールであり、紙等からなるシール基材の表面には五線３１、補助線３２ａ〜３２ｃ、音部記号（ト音記号）３１が印刷され、シール基材の表面全体は表面保護層（剥離層）で被覆され、シール基材の表面には粘着剤が塗布された粘着層が形成されている。
五線３１と補助線３２ａ〜３２ｃは長手方向（左右方向）に連続し、隣り合う各線の間隔、すなわち、第一線３１ａ、第二線３１ｂ、第三線３１ｃ、第四線３１ｄ、第五線３１ｅ、補助線３２ａ、補助線３２ｂ、補助線３２ｃの間隔は同じであり、音部記号３１は、五線３１上に一定間隔で配置されている。
【００２７】
図３は、五線紙と楽譜の平面図であり、図中、３４は小節線、４０は五線紙、４１はシート、５０は楽譜である。
五線紙４０は、紙等のシート４１の表面に五線シール３０の粘着層を重ねて貼り付けたもので、シート４１の大きさに対応して、巻き取り状の五線シール３０を繰り出して適当な長さに切断し、複数列にしてシート４１に貼り付け、複数列の五線が表された五線紙４０が形成される。
楽譜５０は、五線紙４０の五線シール３０が貼り付けられた部分に音楽記号シール２０が貼り付けられたもので、図３においては、２分音符２１ａ、４分音符２１ｂ、８分音符２１ｃ、４分休符２１ｅ、８分休符２１ｆの６種類の音楽記号２１を表した８個の音楽記号シール２０が五線紙４０に貼り付けられ、小節の区切りを示す小節線３４が描かれ、４分の４拍子の曲の最初の２小節（第１小節、第２小節）が示されている。
この場合、音楽記号シール２０は半透明であるため、五線３１上に音楽記号シール２０を貼り付けても音楽記号シール２０の下の五線３１が透けて見えるようになっている。
そして、音楽記号シール２０の裏面は粘着層となっており、五線シール３０の表面は表面保護層（剥離層）となっているため、音楽記号シール２０を五線シール３０上に容易に貼り付けることができ、貼り付けた音楽記号シール２０を五線シール３０から容易に剥がして別の位置に貼り付けることができる。
このため、年少者や楽譜の作成が得意でない者等にとっても、音楽記号シール２０と五線シール３０を使用して、容易に楽譜を作成することができる。
【００２８】
［音楽記号シール画像データ］
図４は、音楽記号シール画像データ記憶部１２が記憶する音楽記号シール画像データを説明するための説明図であり、図中、６０は音楽記号シール画像データ、６１ａは２分音符画像データ群、６１ａ１〜６１ａｎは２分音符画像データ、６１ｂは４分音符画像データ群、６１ｂ１〜６１ｂｎは４分音符画像データ、６１ｃは８分音符画像データ群、６１ｃ１〜６１ｃｎは８分音符画像データ、６１ｄは１６分音符画像データ群、６１ｄ１〜６１ｄｎは１６分音符画像データ、６１ｅは４分休符画像データ群、６１ｅ１〜６１ｅｎは４分休符画像データ、６１ｅは４分休符画像データ群、６１ｅ１〜６１ｅｎは４分休符画像データ、６１ｆは８分休符画像データ群、６１ｆ１〜６１ｆｎは４分休符画像データである。
図４に示すように、音楽記号シール画像データ６０は、２分音符画像データ群６１ａ、４分音符画像データ群６１ｂ、８分音符画像データ群６１ｃ、１６分音符画像データ群６１ｄ、４分休符画像データ群６１ｅ及び８分休符画像データ群６１ｆから構成され、２分音符画像データ群６１ａは２分音符画像データ６１ａ１〜６１ａｎから構成され、４分音符画像データ群６１ｂは４分音符画像データ６１ｂ１〜６１ｂｎから構成され、８分音符画像データ群６１ｃは８分音符画像データ６１ｃ１〜６１ｃｎから構成され、１６分音符画像データ群６１ｄは１６分音符画像データ６１ｄ１〜６１ｄｎから構成され、４分休符画像データ群６１ｅは４分休符画像データ６１ｅ１〜６１ｅｎから構成され、８分休符画像データ群６１ｆは８分休符画像データ６１ｆ１〜６１ｆｎから構成されている。
２分音符画像データ６１ａ１〜６１ａｎのうち２分音符画像データ６１ａ１は、基準となる２分音符画像データであり、２分音符画像データ６１ａ２〜６１ａｎは、２分音符画像データ６１ａ１を少しずつ角度を変えて傾けた２分音符画像データである。
４分音符画像データ６１ｂ１〜６１ｂｎ、８分音符画像データ６１ｃ１〜６１ｃｎ、１６分音符画像データ６１ｄ１〜６１ｄｎ、４分休符画像データ６１ｅ１〜６１ｅｎ、８分休符画像データ６１ｆ１〜６１ｆｎも、同様に、基準となる画像データとこれを少しずつ角度を変えて傾けた画像データである。
【００２９】
音楽記号シール画像データ６０は、音楽記号シール２０に表された各音楽記号２１ａ〜２１ｆをカメラ等で撮影する（読み取る）等して作成されたものである。
具体的には、２分音符画像データ６１ａ１〜６１ａｎのうち、２分音符画像データ６１ａ１は、音楽記号（２分音符）２１ａが表された音楽記号シール２０をカメラ等で撮影して作成されたものであり、２分音符画像データ６１ａ２〜６１ａｎは、作成した２分音符画像データ６１ａ１からコンピュータの画像処理によって作成されたものであり、４分音符画像データ６１ｂ１〜６１ｂｎ、８分音符画像データ６１ｃ１〜６１ｃｎ、１６分音符画像データ６１ｄ１〜６１ｄｎ、４分休符画像データ６１ｅ１〜６１ｅｎ、８分休符画像データ６１ｆ１〜６１ｆｎも４分音符画像データ６１ｂ１〜６１ｂｎも同様にして作成されたものである。
また、音楽記号シール画像データ６０を構成する各画像データは、カラー画像データであり、例えば、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３原色に分解されて、Ｒ、Ｇ、Ｂ毎の階調値（濃度値）を持ったデータとなっている。
なお、音楽記号シール２０に表された音楽記号２１が同じ色で表されている場合は、音楽記号シール画像データ６０は、モノクロの階調データあるいは２値データとなる。
【００３０】
［楽譜認識装置の動作］
次に、楽譜認識装置１０の動作について説明する。
図５は、楽譜認識装置１０の動作の示すフローチャート、図６は、表示操作部３の表示画面に表示される楽譜画像を説明する説明図、図７は、楽譜画像データ取得部１１が取得した楽譜画像データを説明する説明図である。
図中、３ａは表示画面、７０、８０は楽譜画像データ、７１〜７５、７４ａ〜７４ｅ、８１〜８８、８７ａ〜８７ｅは要素画像データである。
以下、図に基づいて楽譜認識装置１０の動作を説明する。
まず、楽譜画像データ取得部１１のデータ処理部１１ａが、カメラ２が撮影する（読み取る）楽譜画像を表示操作部３の表示画面３ａに表示する（Ｓ１）。
図６（ａ）には、表示画面３ａに表示される楽譜画像の例として、楽譜５０の第１小節の楽譜画像が表示されている。
この場合、操作者は、楽譜５０の第１小節の楽譜画像が表示画面３ａに表示されるように表示操作部３を操作することとなる。
次いで、操作者がカメラ２の撮影ボタン（図示せず）を押すことにより、表示画面３ａに表示された楽譜５０の第１小節が撮影され、データ処理部１１ａが撮影された楽譜５０の第１小節の楽譜画像データを取得し、取得した楽譜画像データをデータ保存部１１ｂに保存（記憶）する（Ｓ２）。
次いで、データ処理部１１ａが、楽譜画像データの取得を継続するか終了するかを選択するボタン（図示せず）を表示画面３ａに表示して、どのボタンが選択されたかによって楽譜画像データの取得・保存が終了したか否かを判断する（Ｓ３）。
楽譜画像データの取得を継続することを選択するボタンが選択された場合、ステップＳ１に戻り、データ処理部１１ａが、カメラ２が撮影する次の楽譜画像を表示操作部３の表示画面３ａに表示する。
図６（ｂ）には、楽譜５０の第２小節の楽譜画像が表示されている。この場合、操作者は、楽譜５０の第２小節の楽譜画像が表示画面３ａに表示されるように表示操作部３を操作することとなる。
そして、操作者がカメラ２の撮影ボタンを押すことにより、楽譜５０の第２小節が撮影され、データ処理部１１ａが撮影された楽譜画像データを取得し、取得した楽譜画像データをデータ保存部１１ｂに保存する（Ｓ２）。
このように楽譜画像データの取得を継続することを選択するボタンが選択された場合は、ステップＳ１、Ｓ２の処理が繰り返して行われる。
なお、ステップＳ２においては、操作者がカメラ２の撮影ボタンを押すことにより、楽譜５０の第１小節が撮影されることとしているが、カメラ２に自動撮影機能を設け、表示画面３ａに表示された撮影対象物（楽譜５０の第１小節等）に対するカメラ２のピントが合えば自動的に撮影対象物（楽譜５０の第１小節等）が撮影されるようにしてもよい。
【００３１】
図７には、楽譜画像データ取得部１１が取得した楽譜画像データが示され、同図（ａ）には楽譜５０の第１小節の楽譜画像データ７０が示され、同図（ｂ）は楽譜５０の第２小節の楽譜画像データ８０が示されている。
図７（ａ）に示すように、楽譜画像データ７０は、楽譜５０の第１小節に表された音楽記号２１ａ、２１ｂ、２１ｅ、五線３２（第一線３１ａ、第二線３１ｂ、第三線３１ｃ、第四線３１ｄ、第五線３１ｅ）、補助線３２ａ（図６（ａ）参照）を読み取った要素画像データ７１〜７５、７４ａ〜７４ｅから構成されている。
また、図７（ｂ）に示すように、楽譜画像データ８０は、楽譜５０の第２小節に表された音楽記号２１ｃ、２１ｄ、２１ｄ、２１ｆ、２１ｃ、２１ｂ、五線３２（第一線３１ａ、第二線３１ｂ、第三線３１ｃ、第四線３１ｄ、第五線３１ｅ）、補助線３２ｂ（図６（ｂ）参照）を読み取った要素画像データ８１〜８８、８７ａ〜８７ｅから構成されている。
この場合、音楽記号シール２０の音楽記号２１以外の背景部分は白で表されていることから、音楽記号シール２０の音楽記号２１以外の部分の画像データは、画像処理の対象から除外される背景データとなっている。
【００３２】
次に、ステップＳ３において、楽譜画像データの取得を終了することを選択するボタンが選択されて、データ処理部１１ａが楽譜画像データの取得・保存が終了したと判断した場合、音楽記号画像データ抽出部１３ａが、データ保存部１１ｂに保存されている楽譜画像データから、音符、休符等の音楽記号の画像データを抽出する（Ｓ４）。
具体的には、楽譜画像データ７０を構成する要素画像データ７１〜７５について、横線を表すものであるかを判断し、横線を表すものでない要素画像データ７１、７２、７３を音楽記号の画像データとして抽出する。
要素画像データが横線を表すものであるか否かの判断は、多数の画素が横方向（左右方向）に連続するか否かで判断し、多数の画素が横方向（左右方向）に連続する場合、横線を表すものと判断する。
楽譜画像データ８０を構成する要素画像データ８１〜８８についても、同様に判断して横線を表すものでない要素画像データ８１〜８６を音楽記号の画像データとして抽出する。
次いで、形状・色マッチング部１３ｃが、音楽記号画像データ抽出部１３ａが抽出した音楽記号の画像データと、音楽記号シール画像データ記憶部１２が記憶している音楽記号シール画像データとの形状と色のマッチングを行い、音楽記号画像データ抽出部１３ａが抽出した音楽記号の画像データに表された音楽記号の種類を特定する（Ｓ５）。
【００３３】
具体的には、音楽記号画像データ抽出部１３ａが抽出した要素画像データ７１、７２、７３、８１〜８６と、音楽記号シール画像データ記憶部１２が記憶している音楽記号シール画像データ６０の各画像データ群６１ａ〜６１ｆを構成するすべての画像データとの形状のマッチングを行い、形状がマッチする画像データを特定する。
この場合、音楽記号シール画像データ６０を構成する画像データと要素画像データ７１、７２、７３、８１〜８６とは、共に、音楽記号シール２０に表された音楽記号２１をカメラ等で読み取って作成された画像データである。
また、音楽記号シール画像データ６０を構成する画像データは、音楽記号２１をカメラ等で読み取って作成された画像データとこの画像データから角度を少しずつ変えて傾けた多数の画像データから構成される。
このため、通常は、音楽記号シール画像データ６０の中に、要素画像データ７１、７２、７３、８１〜８６と形状がマッチする画像データが存在する。
すなわち、要素画像データ７１は、２分音符画像データ６１ａ１〜６１ａｎのいずれかの画像データと形状がマッチし、要素画像データ７２、８６は、４分音符画像データ６１ｂ１〜６１ｂｎのいずれかの画像データと形状がマッチし、要素画像データ７３は、４分休符画像データ６１ｅ１〜６１ｅｎのいずれかの画像データと形状がマッチし、要素画像データ８１、８５は、８分音符画像データ６１ｃ１〜６１ｃｎのいずれかの画像データと形状がマッチし、要素画像データ８２、８３は、１６分音符画像データ６１ｄ１〜６１ｄｎのいずれかの画像データと形状がマッチし、要素画像データ８４は、８分休符画像データ６１ｆ１〜６１ｆｎのいずれかの画像データと形状がマッチする。
これより、要素画像データ７１は２分音符と特定され、要素画像データ７２、８６は４分音符と特定され、要素画像データ７３は４分休符と特定され、要素画像データ８１、８５は８分音符と特定され、要素画像データ８２、８３は１６分音符と特定され、要素画像データ８４は８分休符と特定される。
【００３４】
ステップＳ５では、要素画像データ７１、７２、７３、８１〜８６と音楽記号シール画像データ６０との色のマッチングも行われるが、これは、形状のマッチングを補助するものである。
すなわち、楽譜５０の中に五線３２に対して大きく傾いた音楽記号２１があり、楽譜画像データを構成する要素画像データの中に音楽記号シール画像データ６０中のいずれの画像データとも形状がマッチしない要素画像データがある場合、この要素画像データについて、音楽記号シール画像データ６０と色のマッチングが行われる。
例えば、音楽記号シール画像データ６０中に要素画像データ７３と形状がマッチする画像データがない場合、要素画像データ７３の色データと、２分音符画像データ群６１ａ、４分音符画像データ群６１ｂ、８分音符画像データ群６１ｃ、１６分音符画像データ群６１ｄ、４分休符画像データ群６１ｅ及び８分休符画像データ群６１ｆの色データのマッチングが行われ、要素画像データ７３の色データと最もマッチする色データを有する画像データ群、この場合は４分休符画像データ群６１ｅが特定され、要素画像データ７３は４分休符と特定される。
【００３５】
一方、音楽記号画像データ抽出部１３ａによる音楽記号の画像データの抽出処理（Ｓ５）と並行して、音符位置特定部１３ｂが、データ保存部１１ｂに保存されている楽譜画像データのから、音楽記号中の音符の画像データと五線紙の画像データを抽出し、音符の五線紙上の位置を特定する（Ｓ６）。
具体的には、楽譜画像データ７０を構成する要素画像データ７１〜７５について、横線を表す要素画像データ７４、７５が五線紙の画像データとして抽出され、横線を表すものでない要素画像データ７１、７２、７３のうち、楕円形状部分を含んでいる要素画像データ７１、７２が音楽記号の画像データとして抽出される。
そして、音楽記号の画像データとして抽出された要素画像データ７１、７２の楕円形状部分が、五線紙の画像データとして抽出された要素画像データ７４（７４ａ〜７４ｅ）、７５のうちのどの画像データ上にあるか、あるいは、どの画像データの間にあるかが特定される。
この場合、要素画像データ７１の楕円形状部分は、要素画像データ７４ａ上に位置し、要素画像データ７２の楕円形状部分は、要素画像データ７４ｂ上に位置すると特定される。
また、楽譜画像データ８０を構成する要素画像データ８１〜８８についても、同様に横線を表す要素画像データ８７、８８が五線紙の画像データとして抽出され、横線を表すものでない要素画像データ８１〜８６のうち、楕円形状部分を含んでいる要素画像データ８１、８２、８３、８５、８６が音楽記号の画像データとして抽出される。
そして、音楽記号の画像データとして抽出された要素画像データ８１、８２、８３、８５、８６の楕円形状部分が、五線紙の画像データとして抽出された要素画像データ８７（８７ａ〜８７ｅ）、８８のうちのどの画像データ上にあるか、あるいは、どの画像データの間にあるかが特定される。
この場合、要素画像データ８１の楕円形状部分は、要素画像データ８７ｂ上に位置し、要素画像データ８２、８３の楕円形状部分は、要素画像データ８７ｄ上に位置し、要素画像データ８５の楕円形状部分は、要素画像データ８７ｃ上に位置し、要素画像データ８６の楕円形状部分は、要素画像データ８７ａと要素画像データ８７ｂの間に位置すると特定される。
【００３６】
このようにステップＳ５で、形状・色マッチング部１３ｃが、音楽記号画像データ抽出部１３ａが抽出した音楽記号の画像データに表された音楽記号の種類を特定し、ステップＳ６で、音符位置特定部１３ｂが音符の五線紙上の位置を特定することにより、音楽記号認識部１３が楽譜５０に表された音楽記号の種類と五線紙上の位置を認識する。
最後に、楽音データ生成部１４が、形状・色マッチング部１３ｃが特定した音楽記号の種類と、音符位置特定部１３ｂが特手した音符の五線紙上の位置、すなわち、音楽記号認識部１３が認識した音楽記号の種類と五線紙上の位置に基づいて楽音データを生成し、生成した楽音データを楽音データ出力部４に送信し（Ｓ７）、処理を終了する。
この後、楽音データ出力部４が、楽音データ生成部１４から送られてくる楽音データに基づいて楽音を出力する。
【産業上の利用可能性】
【００３７】
本発明の楽譜認識装置、楽譜認識方法は、楽譜が容易に作成でき、作成した楽譜をカメラ等で読み取って得られた画像データから音楽記号を正確に認識でき、修正等を行うことなく直ちに音として再生でき、音符等の音楽記号を表した音楽記号シールで作成された楽譜を読み取って楽音データを生成する楽譜認識装置、楽譜認識方法に利用することができる。
【符号の説明】
【００３８】
１  楽音再生装置
２  カメラ
３  表示操作部
３ａ  表示画面
４  楽音データ出力部
１０  楽譜認識装置
１１  楽譜画像データ取得部
１１ａ  データ処理部
１１ｂ  データ保存部
１２  音楽記号シール画像データ記憶部
１３  音楽記号認識部
１３ａ  音楽記号画像データ抽出部
１３ｂ  音符位置データ算出部
１３ｃ  形状・色マッチング部
１４  楽音データ生成部である。
２０  音楽記号シール
２１ａ〜２１ｆ  音楽記号
３０  五線シール
３１  五線
３１ａ  第一線
３１ｂ  第二線
３１ｃ  第三線
３１ｄ  第四線
３１ｅ  第五線
３２ａ〜３２ｃ  補助線
３３  音部記号（ト音記号）
３４  小節線
４０  五線紙
４１  シート
５０  楽譜
６０  音楽記号シール画像データ
６１ａ  ２分音符画像データ群
６１ａ１〜６１ａｎ  ２分音符画像データ
６１ｂ  ４分音符画像データ群
６１ｂ１〜６１ｂｎ  ４分音符画像データ
６１ｃ  ８分音符画像データ群
６１ｃ１〜６１ｃｎ  ８分音符画像データ
６１ｄ  １６分音符画像データ群
６１ｄ１〜６１ｄｎ  １６分音符画像データ
６１ｅ  ４分休符画像データ群
６１ｅ１〜６１ｅｎ  ４分休符画像データ
６１ｅ  ４分休符画像データ群
６１ｅ１〜６１ｅｎ  ４分休符画像データ
６１ｆ  ８分休符画像データ群
６１ｆ１〜６１ｆｎ  ４分休符画像データ
７０、８０  楽譜画像データ
７１〜７５、７４ａ〜７４ｅ、８１〜８８、８７ａ〜８７ｅ  要素画像データ
【図１】
2020035017.tif 000003
【図２】
2020035017.tif 000004
【図３】
2020035017.tif 000005
【図４】
2020035017.tif 000006
【図５】
2020035017.tif 000007
【図６】
2020035017.tif 000008
【図７】
2020035017.tif 000009