(57)【要約】【課題】利用者が選択した絵柄等からコードマークを使用することなく音の情報を生成でき、手軽に生成した音を聞いて楽しめるようにする。【解決手段】組合せ絵柄画像データを取得する組合せ絵柄画像データ取得部１１と、原絵柄画像データを記憶する原絵柄画像データ記憶部１２と、組合せ絵柄画像データ取得部１１が取得した組合せ絵柄画像データから、個々の絵柄画像データを抽出し、抽出した個々の絵柄画像データと原絵柄画像データ記憶部１２に記憶された原絵柄画像データとの形状のマッチングを行い、組合せ絵柄シートに表示された組合せ絵柄を構成する絵柄の種類と組合せ順序を認識する絵柄認識部１３と、絵柄認識部１３が認識した絵柄の種類と組合せ順序に基づいて音データを生成する音データ生成部１４とを備えた組合せ絵柄認識装置１０。【選択図】図１
2020086066.tif 000002
【特許請求の範囲】
【請求項１】
一定種類の絵柄からなる絵柄群の種類毎に同一の形状で表された絵柄を組み合わせた組合せ絵柄が表示された組合せ絵柄シートを読み取った組合せ絵柄画像データを取得する組合せ絵柄画像データ取得手段と、
前記絵柄群を構成する絵柄の画像データである原絵柄画像データを記憶する原絵柄画像データ記憶手段と、
前記組合せ絵柄画像データ取得手段が取得した組合せ絵柄画像データから、個々の絵柄画像データを抽出し、抽出した前記個々の絵柄画像データと前記原絵柄画像データ記憶手段に記憶された原絵柄画像データとの形状のマッチングマッチングを行い、前記シートに表示された前記組合せ絵柄を構成する絵柄の種類と組合せ順序を認識する絵柄認識手段と、
前記絵柄認識手段が認識した前記絵柄の種類と組合せ順序に基づいて音データを生成する音データ生成手段と、
を備えたことを特徴とする組合せ絵柄認識装置。
【請求項２】
前記組合せ絵柄シートは、前記絵柄群の種類毎に同一の形状及び同一の色で表された絵柄を組み合わせた組合せ絵柄が表示されたものであり、
前記絵柄認識手段は、さらに前記個々の絵柄画像データと前記原絵柄画像データ記憶手段に記憶された原絵柄画像データとの色のマッチングを行い、前記シートに表示された前記組合せ絵柄を構成する絵柄の種類と組合せ順序を認識することを特徴とする請求項１記載の組合せ絵柄認識装置。
【請求項３】
前記組合せ絵柄シートは、前記絵柄群の種類毎に同一の形状で絵柄が表された絵柄シールが組み合わされて貼り付けられて形成された組合せ絵柄が表示されたもの又は前記絵柄群の種類毎に同一の形状及び同一で絵柄が表された絵柄シールが組み合わされて貼り付けられて形成された組合せ絵柄が表示されたものであることを特徴とする請求項１又は請求項２記載の組合せ絵柄認識装置。
【請求項４】
組合せ絵柄画像データ取得手段が、一定種類の絵柄からなる絵柄群の種類毎に同一の形状で表された絵柄を組み合わせた組合せ絵柄が表示された組合せ絵柄シートを読み取って組合せ絵柄画像データを取得し、
絵柄認識手段が、前記組合絵柄画像データ取得手段が取得した組合せ絵柄画像データから、個々の絵柄画像データを抽出し、抽出した前記絵柄画像データと原絵柄画像データ記憶手段に記憶された前記絵柄群を構成する絵柄の原画像データである原絵柄画像データとの形状のマッチングを行い、前記シートに表示された前記組合せ絵柄を構成する絵柄の種類と組合せ順序を認識し、
音データ生成手段が、前記絵柄認識手段が認識した前記絵柄の種類と組合せ順序に基づいて音データを生成する
ステップを備えたことを特徴とする組合せ絵柄認識方法。
【請求項５】
前記組合せ絵柄シートは、前記絵柄群の種類毎に同一の形状及び同一の色で表された絵柄を組み合わせた組合せ絵柄が表示されたものであり、
前記絵柄認識手段が、さらに前記個々の絵柄画像データと前記原絵柄画像データ記憶手段に記憶された原絵柄画像データとの色のマッチングを行い、前記シートに表示された前記組合せ絵柄を構成する絵柄の種類と組合せ順序を認識するステップを備えたことを特徴とする請求項４記載の組合せ絵柄認識装置。
【請求項６】
前記組合せ絵柄シートは、前記絵柄群の種類毎に同一の形状で絵柄が表された絵柄シールが組み合わされて貼り付けられて形成された組合せ絵柄が表示されたもの又は前記絵柄群の種類毎に同一の形状及び同一で絵柄が表された絵柄シールが組み合わされて貼り付けられて形成された組合せ絵柄が表示されたものであることを特徴とする請求項４又は請求項５記載の組合せ絵柄認識方法。
【請求項７】
請求項４乃至請求項６のいずれかに記載した組合せ絵柄認識方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シートに表示された文字を含む絵柄を読み取って音データを生成する組合せ絵柄認識装置、組合せ絵柄認識方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年、幼児教育用等に、各種印刷物等に幼児等の利用者が興味を持つような絵等を印刷し、関連する音等を発生させるようにした装置が提案されている。
例えば、特許文献１（特開平５−２９７８８６号公報）には、基材に文字、絵柄など所望の印刷部領域を設け、この印刷部領域等に言語、音楽など音情報又は画像記録媒体の適宜フレーム画像のアドレス情報をコード化したコードマークとを記録し、光学読取手段によってコードマークを読み取り、印刷絵柄などに関連する音又は画像を発生させる装置が開示されている。
特許文献２（特開２００１−１１３０５５号公報）には、文字と絵柄を表示した複数のブロックと何も表示されていない複数のカーブブロックが連設されて所定の軌道が形成され、各ブロックには、例えばひらがなの５１音、アルファベットの２６音、動物の鳴き声、乗り物の音、楽器音などの音や音声を示すバーコードが印刷等され、軌道上を移動しながら各ブロックに示されたバーコードを読み取り、読み取ったコード信号に応じた音声を出力する発音玩具が示されている。
【０００３】
しかしながら、特許文献１の装置は、予め文字、絵柄が印刷された印刷物において、文字や絵柄と共に記録したコードマークを読み取って音を発生するものであり、幼児等の利用者が適宜選択等した絵柄等に応じて音を発生するものではなく、特許文献１の装置では、利用者が絵柄を選択等して音を作成することができない。
しかも、特許文献１の装置では、文字、絵柄の他にコードマークを印刷しなければならないという手間が生じ、印刷物としての見栄えも悪くなる。
特許文献２では、軌道を作るためのブロックと軌道を移動してブロックに印刷されたバーコードを読み取る発音玩具といった特殊な器具や装置が必要となり、また、音声を出力するためには、ブロックを組み立てて軌道を作り、発音玩具を軌道上に置いて移動させる必要があり、手間がかかり、幼児等の利用者が手軽に音を作成することができない。
しかも、特許文献２の発音玩具は、ブロックに印刷されたバーコードを移動しながら読み取って発音することから、ブロックに文字と絵柄の他にバーコードを印刷しなければならない手間が生じ、印刷物としての見栄えも悪くなる。
【０００４】
この点、特許文献３（特開２００８−１２２４８２号公報）には、カードリーダでカード（語学学習カード）の表面に印刷された英単語、または、裏面に印刷された絵柄等が読み取られ、処理装置で、挿入されたカードの英単語を認識し、記憶装置に格納されたその英単語に関する音声付動画情報を、スピーカ及びディスプレイに音声付動画として出力させる語学学習システムが開示されている。
しかしながら、特許文献３のシステムは、語学学習カードに印刷された英単語や英単語が意味する絵柄等を読み取って、読み取った情報に基づいて英単語に関する音声付動画として出力する語学学習システムであり、利用者が適宜選択等した絵柄等に応じて音を発生するものではなく、特許文献３のシステムでは、利用者が絵柄を選択等して音を作成することができない。
しかも、特許文献３には、技術的にどのようにしてカードリーダ１３で読み取った情報に基づいて英単語に関する音声付動画情報を出力させるのか何ら開示されていない。
また、特許文献４（実用新案登録第３１０６１１１号公報）には、音楽用の譜面に着脱可能に付着する音符シール、♯シール、♭シール、音部記号シールとを有する音符練習用の補助具が開示され、この音符練習用の補助具を五線譜シートに貼り付けて使用することが開示されている。
しかしながら、特許文献４の音符練習用の補助具では、五線譜シートに音符シール等を貼り付けて楽譜を作成する必要があり、楽譜の知識ない幼児等には使用できないばかりか、作成した楽譜を音として再生することができないという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−２９７８８６号公報
【特許文献２】特開２００１−１１３０５５号公報
【特許文献３】特開２００８−１２２４８２号公報
【特許文献４】実用新案登録第３１０６１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、利用者が選択した絵柄等からコードマークを使用することなく音の情報を生成でき、手軽に生成した音を聞いて楽しめるようにすることである。
【課題を解決するための手段】
【０００７】
請求項１の発明は、一定種類の絵柄からなる絵柄群の種類毎に同一の形状で表された絵柄を組み合わせた組合せ絵柄が表示された組合せ絵柄シートを読み取った組合せ絵柄画像データを取得する組合せ絵柄画像データ取得手段と、前記絵柄群を構成する絵柄の画像データである原絵柄画像データを記憶する原絵柄画像データ記憶手段と、前記組合せ絵柄画像データ取得手段が取得した組合せ絵柄画像データから、個々の絵柄画像データを抽出し、抽出した前記個々の絵柄画像データと前記原絵柄画像データ記憶手段に記憶された原絵柄画像データとの形状のマッチングを行い、前記シートに表示された前記組合せ絵柄を構成する絵柄の種類と組合せ順序を認識する絵柄認識手段と、前記絵柄認識手段が認識した前記絵柄の種類と組合せ順序に基づいて音データを生成する音データ生成手段とを備えた組合せ絵柄認識装置を提供して、上記課題を解決するものである。
【０００８】
請求項２の発明は、前記組合せ絵柄シートは、前記絵柄群の種類毎に同一の形状及び同一の色で表された絵柄を組み合わせた組合せ絵柄が表示されたものであり、前記絵柄認識手段は、さらに前記個々の絵柄画像データと前記原絵柄画像データ記憶手段に記憶された原絵柄画像データとの色のマッチングを行い、前記シートに表示された前記組合せ絵柄を構成する絵柄の種類と組合せ順序を認識する組合せ絵柄認識装置を提供して、上記課題を解決するものである。
【０００９】
請求項３の発明は、前記組合せ絵柄シートは、前記絵柄群の種類毎に同一の形状で絵柄が表された絵柄シールが組み合わされて貼り付けられて形成された組合せ絵柄が表示されたもの又は前記絵柄群の種類毎に同一の形状及び同一で絵柄が表された絵柄シールが組み合わされて貼り付けられて形成された組合せ絵柄が表示されたものである組合せ絵柄認識装置を提供して、上記課題を解決するものである。
【００１０】
請求項４の発明は、組合せ絵柄画像データ取得手段が、一定種類の絵柄からなる絵柄群の種類毎に同一の形状で表された絵柄を組み合わせた組合せ絵柄が表示された組合せ絵柄シートを読み取って組合せ絵柄画像データを取得し、絵柄認識手段が、前記組合絵柄画像データ取得手段が取得した組合せ絵柄画像データから、個々の絵柄画像データを抽出し、抽出した前記絵柄画像データと原絵柄画像データ記憶手段に記憶された前記絵柄群を構成する絵柄の原画像データである原絵柄画像データとの形状のマッチングを行い、前記シートに表示された前記組合せ絵柄を構成する絵柄の種類と組合せ順序を認識し、音データ生成手段が、前記絵柄認識手段が認識した前記絵柄の種類と組合せ順序に基づいて音データを生成するステップを備えた組合せ絵柄認識方法を提供して、上記課題を解決するものである。
【００１１】
請求項５の発明は、前記組合せ絵柄シートは、前記絵柄群の種類毎に同一の形状及び同一の色で表された絵柄を組み合わせた組合せ絵柄が表示されたものであり、前記絵柄認識手段が、さらに前記個々の絵柄画像データと前記原絵柄画像データ記憶手段に記憶された原絵柄画像データとの色のマッチングを行い、前記シートに表示された前記組合せ絵柄を構成する絵柄の種類と組合せ順序を認識するステップを備えた組合せ絵柄認識方法を提供して、上記課題を解決するものである。
【００１２】
請求項６の発明は、前記組合せ絵柄シートは、前記絵柄群の種類毎に同一の形状で絵柄が表された絵柄シールが組み合わされて貼り付けられて形成された組合せ絵柄が表示されたもの又は前記絵柄群の種類毎に同一の形状及び同一で絵柄が表された絵柄シールが組み合わされて貼り付けられて形成された組合せ絵柄が表示されたものである組合せ絵柄認識方法を提供して、上記課題を解決するものである。
【００１３】
請求項７の発明は、前記組合せ絵柄認識方法をコンピュータに実行させるプログラムを提供して、上記課題を解決するものである。
【発明の効果】
【００１４】
請求項１に記載の発明の組合せ絵柄認識装置においては、利用者が選択した絵柄等からコードマークを使用することなく音の情報を生成でき、手軽に生成した音を聞いて楽しめるという効果を奏する。
【００１５】
請求項２に記載の発明の組合せ絵柄認識装置においては、さらに、形状及び色により絵柄の種類が特定でき、絵柄の種類の容易に増やして音の種類を増やすことができるとともに、形状のマッチングだけでなく色のマッチングを行うため、より正確に絵柄の種類を認識して音の情報を生成できるという効果を奏する。
【００１６】
請求項３に記載の発明の組合せ絵柄認識装置においては、さらに、利用者が、絵柄シールを適宜組み合わせて貼り付けることにより、音の組合せを表現できるという効果を奏する。
【００１７】
請求項４に記載の発明の組合せ絵柄認識方法においては、利用者が選択した絵柄等からコードマークを使用することなく音の情報を生成でき、手軽に生成した音を聞いて楽しめるという効果を奏する。
【００１８】
請求項５に記載の発明の組合せ絵柄認識方法においては、さらに、形状及び色により絵柄の種類が特定でき、絵柄の種類の容易に増やして音の種類を増やすことができるとともに、形状のマッチングだけでなく色のマッチングを行うため、より正確に絵柄の種類を認識して音の情報を生成できるという効果を奏する。
【００１９】
請求項６に記載の発明の組合せ絵柄認識方法おいては、さらに、利用者が、絵柄シールを適宜組み合わせて貼り付けることにより、音の組合せを表現できるという効果を奏する。
【００２０】
請求項７に記載の発明のプログラムは、請求項４乃至請求項６の発明と同様の効果を奏する。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態の組合せ絵柄認識装置を備えた音再生装置の構成を示すブロック図である。
【図２】絵柄群とそれを構成する絵柄の平面図である。
【図３】図２に示す絵柄が表された絵柄シールの平面図である。
【図４】日本語の５０音を表した絵柄群、絵柄及び絵柄シールの平面図である。
【図５】図２に示す絵柄を組み合わせた組合せ絵柄が表された組合せシートの平面図である。
【図６】図４に示す絵柄を組み合わせた組合せ絵柄が表された組合せシートの平面図である。
【図７】図２（ａ）に示す絵柄群２０の絵柄２０ａ〜２０ｈについて、原絵柄画像データ記憶部１２が記憶する原絵柄画像データを説明するための説明図である。
【図８】組合せ絵柄認識装置１０の動作の示すフローチャートである。
【図９】表示操作部３の表示画面に表示される組合せ絵柄画像を説明する説明図である。
【図１０】組合せ絵柄画像データ取得部１１が取得した組合せ絵柄画像データを説明する説明図である。
【発明を実施するための形態】
【００２２】
［組合せ絵柄認識装置の構成］
図１は、本発明の実施形態の組合せ絵柄認識装置を備えた音再生装置の構成を示すブロック図であり、図中、１は音再生装置、２はカメラ、３は表示操作部、４は音データ出力部、１０は組合せ絵柄認識装置、１１は組合せ絵柄画像データ取得部、１１ａはデータ処理部、１１ｂはデータ保存部、１２は原絵柄画像データ記憶部、１３は絵柄認識部、１３ａは絵柄画像データ抽出部、１３ｂは形状・色マッチング部、１４は音データ生成部である。
音再生装置１は、カメラ２、表示操作部３、音データ出力部４及び組合せ絵柄認識装置１０を備え、画像読み取り装置、音出力装置を有するコンピュータ機器、例えば、スマートフォン等の携帯端末で構成される。
カメラ２は、スマートフォン等の音再生装置１が搭載しているデジタルカメラであり、絵柄が組み合わせて表示された組合せ絵柄シートを撮影して（読み取って）組合せ絵柄画像データを生成する。
表示操作部３は、スマートフォン等の音再生装置１が搭載している液晶ディスプレイ装置であり、カメラ２が撮影する組合せ絵柄シートの画像や各種操作画面等を表示する。
音データ出力部４は、スマートフォン等の音再生装置１が搭載しているスピーカであり、音データ生成部１４から送られてくる音データに基づいて楽音、擬音、音声等の音を出力する。
【００２３】
組合せ絵柄認識装置１０は、組合せ絵柄画像データ取得部１１、原絵柄画像データ記憶部１２、絵柄認識部１３及び音データ生成部１４を備え、アプリケーションソフト（アプリケーションプログラム）等で構成される。
組合せ絵柄画像データ取得部１１は、データ処理部１１ａとデータ保存部１１ｂを備え、データ処理部１１ａは、カメラ２が撮影する（読み取る）組合せ絵柄画像を表示操作部３の表示画面に表示する処理をし、表示操作部３からの操作に基づいてカメラ２が撮影した（読み取った）組合せ絵柄画像データを取得し、取得した組合せ絵柄画像データをデータ保存部１１ｂに保存（記憶）する。
原絵柄画像データ記憶部１２は、絵柄シール等（後述する）に表される絵柄の原画像データである原絵柄画像データをその種類毎に記憶している。
絵柄認識部１３は、絵柄画像データ抽出部１３ａ、形状・色マッチング部１３ｂを備えている。
絵柄画像データ抽出部１３ａは、データ保存部１１ｂに保存されている組合せ絵柄画像データから、個々の絵柄画像データを抽出すると共に、抽出した個々の絵柄画像データの組合せ順序を特定する。
形状・色マッチング部１３ｂは、絵柄画像データ抽出部１３ａが抽出した個々の絵柄画像データと、原絵柄画像データ記憶部１２が記憶している原絵柄画像データとの形状と色のマッチングを行い、絵柄画像データ抽出部１３ａが抽出した個々の絵柄画像データに表された絵柄の種類を特定する。
音データ生成部１４は、絵柄画像データ抽出部１３ａが特定した絵柄の組合せ順序、形状・色マッチング部１３ｂが特定した絵柄の種類、すなわち、絵柄認識部１３が認識した絵柄の種類と組合せ順序に基づいて音データを生成し、生成した音データを音データ出力部４に送る。
【００２４】
［絵柄群、絵柄、絵柄シール］
図２は、絵柄群とそれを構成する絵柄の平面図であり、図中、２０、２１、２２は絵柄群、２０ａ〜２０ｈ、２１、２１ａ〜２１ｈ、２２ａ〜２２ｈは絵柄である。
図２（ａ）に示す絵柄群２０は、８種類の絵柄２０ａ〜２０ｈからなっている。
絵柄２０ａ〜２０ｈは、ネコの足の裏（肉球）を表した外形に異なる模様を付した絵柄であって、その種類毎に外形と模様を組み合わせた形状が異なっており、例えば、絵柄２０ａには縦線模様、絵柄２０ｂには横線模様、絵柄２０ｃには網点模様、絵柄２０ｄは波線模様、絵柄２０ｅに斜め煉瓦模様、絵柄２０ｆには煉瓦模様、絵柄２０ｇには市松模様、絵柄２０ｈには菱形模様が付されている。また、各絵柄は色も異なっており、例えば、絵柄２０ａは黒色、絵柄２０ｂは紺色、絵柄２０ｃは紫色、絵柄２０ｄは茶色、絵柄２０ｅは青色、絵柄２０ｆは赤色、絵柄２０ｇは緑色、絵柄２０ｈは黄色で表されている。
図２（ｂ）に示す絵柄群２１は、８種類の絵柄２１ａ〜２１ｈからなり、絵柄２１ａ〜２１ｈは、ネコの足の裏（肉球）を表した同一形状（外形）の絵柄であって種類毎に色が異なっており、例えば、絵柄２１ａは黒色、絵柄２１ｂは紺色、絵柄２１ｃは紫色、絵柄２１ｄは茶色、絵柄２１ｅは青色、絵柄２１ｆは赤色、絵柄２１ｇは緑色、絵柄２１ｈは黄色で表されている。
図２（ｃ）に示す絵柄群２２は、８種類の絵柄２２ａ〜２２ｈからなっている。
絵柄２２ａ〜２２ｈは、ネコの足の裏（肉球）を表した形状であって、種類毎に上側の４個の肉球の配置が異なった形状であり、例えば、絵柄２２ａは上側の４個の肉球がすべてそろった形状、絵柄２２ｂは上側の左端の肉球が欠けた形状、絵柄２２ｃは上側の左から２番目の肉球が欠けた形状、絵柄２２ｄは上側の左から３番目の肉球が欠けた形状、絵柄２２ｅは上側の右端の肉球が欠けた形状、絵柄２２ｆは上側の左側の２個の肉球が欠けた形状、絵柄２２ｇは上側の中央の２個の肉球が欠けた形状、絵柄２２ｈは上側の右側の２個の肉球が欠けた形状となっており、各絵柄はすべて同じ色で表されている。
このように絵柄群２０（２１、２２）を構成する絵柄２０ａ〜２０ｈ（２１ａ〜２１ｈ、２２ａ〜２２ｈ）は、その種類毎に形状、色の少なくとも一方が異なっている。
そして、絵柄群２０、２１、２２は、音程付きの動物の鳴き声を表し、例えば、絵柄２０ａ〜２０ｈは、それぞれド、レ、ミ、ファ、ソ、ラ、シ、ドの音程でネコの鳴き声「ニャン」の音を表し、絵柄２１ａ〜２１ｈと絵柄２２ａ〜２２ｈも同様である。
【００２５】
図３は、図２に示す絵柄が表された絵柄シールの平面図であり、図中、３０ａ〜３０ｈ、３１ａ〜３１ｈ、３２ａ〜３２ｈは絵柄シールである。
図３に示す絵柄シールは、楕円形状の半透明のシールであり、紙等からなるシール基材の表面には絵柄が印刷され、シール基材の表面全体は表面保護層（剥離層）で被覆され、シール基材の表面には粘着剤が塗布された粘着層が形成されている。
そして、図３（ａ）に示す絵柄シール３０ａ〜３０ｈのシール基材の表面には、図２（ａ）に示す絵柄２０ａ〜２０ｈが印刷して表され、図３（ｂ）に示す絵柄シール３１ａ〜３１ｈのシール基材の表面には、図２（ｂ）に示す絵柄２１ａ〜２１ｈが印刷して表され、図３（ｃ）に示す絵柄シール３２ａ〜３２ｈのシール基材の表面には、図２（ｃ）に示す絵柄２２ａ〜２２ｈが印刷して表され、絵柄２０ａ〜２０ｈ以外の背景部分は白で表されている。
【００２６】
図４は、日本語の５０音を表した絵柄群、絵柄及び絵柄シールの平面図であり、図中、２３は絵柄群、２３ａ１〜２３ａ５、２３ｂ１、２３ｂ５、２３ｊ１、２３ｊ５は絵柄、３３ａ１〜３３ａ５、３３ｂ１、３３ｂ５、３３ｊ１、３３ｊ５は絵柄シールである。
図４において、絵柄群２３を構成する絵柄２３ａ１〜２３ｊ５は、横の列と縦の段からなり、横の列は、５０音の「あ行」〜「わ行」の各行を表し、縦の列は「あ段」〜「お段」の各段を表し、行毎に絵柄の形状（模様）が異なり、段毎に絵柄の色が異なり、５０音の音毎に絵柄の形状又は色が異なっている。
具体的には、絵柄２３ａ１〜２３ａ５は、「あ行」の「あ」〜「お」の音を表し、くつ下の外形に同じ水玉模様を付したもので同一の形状を有し、水玉模様の色が異なり、「あ」の音を表す絵柄２３ａ１は黒色、「い」の音を表す絵柄２３ａ２は青色、「う」の音を表す２３ａ３は赤色、「え」の音を表す２３ａ４は緑色、「お」の音を表す２３ａ５は黄色で表され、水玉以外の部分（背景）は白で表されている。
また、絵柄２３ｂ１は、「か行」の「あ段」の「か」の音を表し、くつ下の外形に水玉模様の丸に代えて三角の模様を付した形状を有し、三角の模様は黒色で表されている。他の「か行」の「き」〜「こ」の音は、絵柄２３ｂ１と同一形状の絵柄に三角の模様の色を変えた絵柄、すなわち、「き」の音は青色の三角の模様、「く」の音は赤色の三角の模様、「け」の音は緑色の三角模様で表され、「こ」の音を表す絵柄２３ｂ５は、黄色の三角模様が付され、三角以外の部分（背景）は白で表されている。ている。
同様にして、「さ行」〜「わ行」の各音を表す絵柄も、行毎にくつ下の外形に他の行とは異なる形状の模様を付した同一の形状を有し、各段毎に模様の色を変えた絵柄で表し、「わ」の音を表す絵柄２３ｊ１は、くつ下の外形に黒色の星形の模様を付した形状で表され、「を」の音を表す絵柄２３ｊ５は、くつ下の外形に黄色の星形の模様を付した形状で表され、背景は白で表されている。
そして、５０音を表す絵柄２３ａ１〜２３ａ５等は、絵柄シールとしてシール基材の表面に印刷されるが、この場合、絵柄シール自体がくつ下の外形を備え、くつ下の形状（外形）からなる絵柄シール３３ａ１〜３３ａ５、３３ｂ１、３３ｂ５、３３ｊ１、３３ｊ５のシール基材の表面には、絵柄２３ａ１〜２３ａ５、２３ｂ１、２３ｂ５、２３ｊ１、２３ｊ５が印刷されて表されている。
また、図４に示していない濁音、半濁音等についても、くつ下の外形を有し、行、段毎に模様の形状、色を異ならせた絵柄が、くつ下の形状（外形）からなる絵柄シールのシール基材の表面に印刷して表されている。
また、図４に示す絵柄群２３では、各行の絵柄は同一の形状（模様）となっており、段毎に色を変えているが、各行の絵柄の色を同じにして各段の形状（模様）を変えてもよく、各行の絵柄の形状（模様）と色の両方を段毎に変えてもよい。例えば、くつ下の形状（外形）に付す水玉模様等における水玉等の数を変えて各段の形状を変えることができる。
このように５０音を表す絵柄群２３を構成する絵柄（各音を表す絵柄）は、その種類（音）毎に形状、色のいずれか一方または両方が異なっている。
なお、本発明における絵柄や絵柄シールは、本実施形態に示した音程付きの動物の鳴き声や日本語の５０音を表すものに限定されるわけではなく、ピアノ等の各種楽器の音、虫の音等の生物が発する音、雨音等の自然界の音、アルファベット等の各種言語の音を表すものであってもよい。
【００２７】
［組合せ絵柄、組合せ絵柄シート］
図５は、図２に示す絵柄を組み合わせた組合せ絵柄が表された組合せシートの平面図であり、図中、４０は組合せ絵柄、４１は組合せ絵柄シート、４２はシートである。
組合せ絵柄シート４１は、無地の用紙等からシート４２に絵柄シール３０ａ〜３０ｈが、利用者によって図５に示す順序で貼り付けられたものであり、貼り付けられた絵柄シール３０ａ〜３０ｈの絵柄２０ａ〜２０ｈにより組合せ絵柄４０が形成されている。
すなわち、組合せ絵柄シート４１には、左から順に絵柄２０ａ、絵柄２０ｃ、絵柄２０ｅ、絵柄２０ｈ、絵柄２０ｂ、絵柄２０ｄ、絵柄２０ｆ、絵柄２０ｇを組み合わせた組合せ絵柄４０が表されている。
この場合、絵柄２０ａ、絵柄２０ｃ、絵柄２０ｅ、絵柄２０ｈ、絵柄２０ｂ、絵柄２０ｄ、絵柄２０ｆ、絵柄２０ｇは、それぞれネコの鳴き声「ニャン」をド、ミ、ソ、ド、レ、ファ、ラ、シの音程で発することを表しているから、組合せ絵柄４０は、ネコの鳴き声「ニャン」を順にド、ミ、ソ、ド、レ、ファ、ラ、シの音程で発することを表現している。
また、図２（ｂ）、（ｃ）に示す絵柄シール３１ａ〜３１ｈ、絵柄シール３２ａ〜３２ｈについても絵柄シール３０ａ〜３０ｈの場合と同様にして、シート４２に貼り付けつることにより、組合せ絵柄が表された組合せシートを形成することができる。
このように、利用者は、絵柄シール３０ａ〜３０ｈ（３１ａ〜３１ｈ、３２ａ〜３２ｈ）を適宜組み合わせてシート４２に貼り付けることにより、ネコの鳴き声「ニャン」に音程をつけて組み合わせた一種の旋律を表現することができる。
【００２８】
図６は、図４に示す絵柄を組み合わせた組合せ絵柄が表された組合せシートの平面図であり、図中、２３ｄ５、２３ｇ４、２３ｍ４は絵柄、３３ｄ５、３３ｇ４、３３ｍ４は絵柄シール、５０は組合せ絵柄、５１は組合せ絵柄シート、５２はシートである。
組合せ絵柄シート５１は、無地のカード用紙等に画像等（図６の楕円）が印刷されたシート５２の下部に絵柄シール３３ａ５、絵柄シール３３ｇ４、絵柄シール３３ｍ４、絵柄シール３３ｄ５、絵柄シール３３ａ３がこの順序で貼り付けられたものであり、貼り付けられた各絵柄シールの絵柄２３ａ５、絵柄２３ｇ４、絵柄２３ｍ４、絵柄２３ｄ５、絵柄２３ａ３により組合せ絵柄５０が形成されている。
この場合、前述のように絵柄２３ａ５は、「あ行」の「お段」の「お」の音を表し、絵柄２３ａ３は、「あ行」の「う段」の「う」の音を表している。
絵柄２３ｇ４は、くつ下の外形にひし形の模様を緑色で付したものであり、「ま行」の「え段」の「め」の音を表している（ひし形の模様は「ま行」の音を表している。）。
絵柄２３ｍ４は、くつ下の外形に五角形の模様を緑色で付したものであり、「だ行」の「え段」の「で」の音を表している（五角形の模様は「だ行」の音を表している。）。
絵柄２３ｄ５は、くつ下の外形にハート形の模様を黄色で付したものであり、「た行」の「お段」の「と」の音を表している（ハート形の模様は「た行」の音を表している。）。
これより、組合せ絵柄５０は、日本語の「おめでとう」を表現していることとなる。
このように、利用者は、日本語の５０音を表した絵柄シールを適宜組み合わせてシート５２、例えば、グリーティングカードに貼り付けることにより、お祝いの言葉等の音を表現することができる。
なお、本発明における組合せ絵柄が表された組合せシートは、シートに絵柄シールが貼り付けられたものに限定されるわけではなく、プリンタ等で絵柄２０ａ〜２０ｈ等がシートに直接印刷されたものであってもよい。
【００２９】
［原絵柄画像データ］
図７は、図２（ａ）に示す絵柄群２０の絵柄２０ａ〜２０ｈについて、原絵柄画像データ記憶部１２が記憶する原絵柄画像データを説明するための説明図であり、図中、６０は集合体としての原絵柄画像データ、６１ａは絵柄２０ａの原絵柄画像データ群、６１ａ１〜６１ａｎは絵柄２０ａの原絵柄画像データ、６１ｂは絵柄２０ｂの原絵柄画像データ群、６１ｂ１〜６１ｂｎは絵柄２０ｂの原絵柄画像データ、６１ｃは絵柄２０ｃの原絵柄画像データ群、６１ｃ１〜６１ｃｎは絵柄２０ｃの原絵柄画像データ、６１ｄは絵柄２０ｄの原絵柄画像データ群、６１ｄ１〜６１ｄｎは絵柄２０ｄの原絵柄画像データ、６１ｅは絵柄２０ｅの原絵柄画像データ群、６１ｅ１〜６１ｅｎは絵柄２０ｅの原絵柄画像データ、６１ｆは絵柄２０ｆの原絵柄画像データ群、６１ｆ１〜６１ｆｎは絵柄２０ｆの原絵柄画像データ、６１ｇは絵柄２０ｇの原絵柄画像データ群、６１ｇ１〜６１ｇｎは絵柄２０ｇの原絵柄画像データ、６１ｈは絵柄２０ｈの原絵柄画像データ群、６１ｈ１〜６１ｈｎは絵柄２０ｈの原絵柄画像データである。
図７に示すように、集合体としての原絵柄画像データ６０は、原絵柄画像データ群６１ａ、６１ｂ、６１ｃ、６１ｄ、６１ｅ、６１ｆ、６１ｇ、６１ｈから構成され、原絵柄画像データ群６１ａは原絵柄画像データ６１ａ１〜６１ａｎから構成され、原絵柄画像データ群６１ｂは原絵柄画像データ６１ｂ１〜６１ｂｎから構成され、原絵柄画像データ群６１ｃは原絵柄画像データ６１ｃ１〜６１ｃｎから構成され、原絵柄画像データ群６１ｄは原絵柄画像データ６１ｄ１〜６１ｄｎから構成され、４原絵柄画像データ群６１ｅは原絵柄画像データ６１ｅ１〜６１ｅｎから構成され、原絵柄画像データ群６１ｆは原絵柄画像データ６１ｆ１〜６１ｆｎから構成され、原絵柄画像データ群６１ｇは原絵柄画像データ６１ｇ１〜６１ｇｎから構成され、原絵柄画像データ群６１ｈは原絵柄画像データ６１ｈ１〜６１ｈｎから構成されている。
原絵柄画像データ６１ａ１〜６１ａｎのうち原絵柄画像データ６１ａ１は、基準となる原絵柄画像データであり、原絵柄画像データ６１ａ２〜６１ａｎは、原絵柄画像データ６１ａ１を少しずつ角度を変えて傾けた原絵柄画像データである。
原絵柄画像データ６１ｂ１〜６１ｂｎ、６１ｃ１〜６１ｃｎ、６１ｄ１〜６１ｄｎ、６１ｅ１〜６１ｅｎ、６１ｆ１〜６１ｆｎ、６１ｇ１〜６１ｇｎ、６１ｈ１〜６１ｈｎも同様に、基準となる画像データとこれを少しずつ角度を変えて傾けた画像データである。
【００３０】
原絵柄画像データ６０は、絵柄シール３０ａ〜３０ｈやシート等に表された絵柄２０ａ〜２０ｈをカメラ等で撮影する（読み取る）等して作成されたものである。
具体的には、原絵柄画像データ６１ａ１〜６１ａｎのうち、原絵柄画像データ６１ａ１は、絵柄２０ａが表された絵柄シール３０ａやシートをカメラ等で撮影して作成されたものであり、原絵柄画像データ６１ａ２〜６１ａｎは、作成した原絵柄画像データ６１ａ１からコンピュータの画像処理によって作成されたものであり、原絵柄画像データ６１ｂ１〜６１ｂｎ、６１ｃ１〜６１ｃｎ、６１ｄ１〜６１ｄｎ、６１ｅ１〜６１ｅｎ、６１ｆ１〜６１ｆｎ、６１ｇ１〜６１ｇｎも４原絵柄画像データ６１ｂ１〜６１ｂｎと同様にして作成されたものである。
また、原絵柄画像データ６０を構成する個々の原絵柄画像データは、カラー画像データであり、例えば、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３原色に分解されて、Ｒ、Ｇ、Ｂ毎の階調値（濃度値）を持ったデータとなっている。
原絵柄画像データ６０を構成する各原絵柄画像データが同じ色で表されている場合は、原絵柄画像データ６０は、モノクロの階調データあるいは２値データとなる。
【００３１】
図２（ｂ）に示す絵柄群２１の絵柄２１ａ〜２１ｈ、図２（ｃ）に示す絵柄群２２の絵柄２２ａ〜２２ｈ、図４に示す絵柄群２３の絵柄についても、絵柄群２０の絵柄２０ａ〜２０ｈの場合と同様にして、原絵柄画像データ記憶部１２に各絵柄の原絵柄画像データが記憶されることとなる。
ただし、図２（ｂ）に示す絵柄２１ａ〜２１ｈのように、形状が同じで色のみが異なる絵柄の場合、基準となる原絵柄画像データを少しずつ傾けた画像データは、１種類の絵柄、例えば、絵柄２１ａについて作成すればよく、他の絵柄２１ｂ〜２１ｈは、基準となる原絵柄画像データだけ作成すればよい。
また、図４に示す絵柄群２３の場合も、同じ行の絵柄は形状が同じで色のみが異なるため、基準となる原絵柄画像データを少しずつ傾けた画像データは、各行の１種類の絵柄、例えば「あ段」の絵柄について作成すればよく、他の「い段」から「お段」の絵柄は、基準となる原絵柄画像データだけ作成すればよい。
【００３２】
［組合せ絵柄認識装置の動作］
次に、組合せ絵柄認識装置１０の動作について説明する。
図８は、組合せ絵柄認識装置１０の動作の示すフローチャート、図９は、表示操作部３の表示画面に表示される組合せ絵柄画像を説明する説明図、図１０は、組合せ絵柄画像データ取得部１１が取得した組合せ絵柄画像データを説明する説明図である。
図中、３ａは表示画面、４０ａ、４０ｂは組合せ絵柄画像、７０、８０は組合せ絵柄画像データ、７１〜７４、８１〜８４は絵柄画像データである。
以下、図に基づいて組合せ絵柄認識装置１０の動作を説明する。
まず、組合せ絵柄画像データ取得部１１のデータ処理部１１ａが、カメラ２が撮影する（読み取る）組合せ絵柄画像を表示操作部３の表示画面３ａに表示する（Ｓ１）。
図９（ａ）には、表示画面３ａに表示される組合せ絵柄画像の例として、図５に示す組合せ絵柄４０の左半分の絵柄２０ａ、２０ｃ、２０ｅ、２０ｈの組合せ絵柄画像４０ａが表示されている。
この場合、操作者は、組合せ絵柄画像４０ａが表示画面３ａに表示されるように表示操作部３を操作することとなる。
次いで、操作者がカメラ２の撮影ボタン（図示せず）を押すことにより、表示画面３ａに表示された組合せ絵柄画像４０ａが撮影され、データ処理部１１ａが撮影された組合せ絵柄画像４０ａの組合せ絵柄画像データを取得し、取得した組合せ絵柄画像データをデータ保存部１１ｂに保存（記憶）する（Ｓ２）。
次いで、データ処理部１１ａが、組合せ絵柄画像データの取得を継続するか終了するかを選択するボタン（図示せず）を表示画面３ａに表示して、どのボタンが選択されたかによって組合せ絵柄画像データの取得・保存が終了したか否かを判断する（Ｓ３）。
組合せ絵柄画像データの取得を継続することを選択するボタンが選択された場合、ステップＳ１に戻り、データ処理部１１ａが、カメラ２が撮影する次の組合せ絵柄画像を表示操作部３の表示画面３ａに表示する。
図９（ｂ）には、組合せ絵柄４０の右半分の絵柄２０ｂ、２０ｄ、２０ｆ、２０ｇの組合せ絵柄画像４０ｂが表示されている。この場合、操作者は、組合せ絵柄画像４０ｂが表示画面３ａに表示されるように表示操作部３を操作することとなる。
そして、操作者がカメラ２の撮影ボタンを押すことにより組合せ絵柄画像４０ｂが撮影され、データ処理部１１ａが撮影された組合せ絵柄画像データを取得し、取得した組合せ絵柄画像データをデータ保存部１１ｂに保存する（Ｓ２）。
このように組合せ絵柄画像データの取得を継続することを選択するボタンが選択された場合は、ステップＳ１、Ｓ２の処理が繰り返して行われる。
なお、ステップＳ２においては、操作者がカメラ２の撮影ボタンを押すことにより、組合せ絵柄画像４０ａが撮影されることとしているが、カメラ２に自動撮影機能を設け、表示画面３ａに表示された撮影対象物（組合せ絵柄画像４０ａ等）に対するカメラ２のピントが合えば自動的に撮影対象物（組合せ絵柄画像４０ａ等）が撮影されるようにしてもよい。
【００３３】
図１０には、組合せ絵柄画像データ取得部１１が取得した組合せ絵柄画像データが示され、同図（ａ）には組合せ絵柄画像４０ａの組合せ絵柄画像データ７０が示され、同図（ｂ）は組合せ絵柄画像４０ｂの組合せ絵柄画像データ８０が示されている。
図１０（ａ）に示すように、組合せ絵柄画像データ７０は、組合せ絵柄シート４１の絵柄シール３０ａ、３０ｃ、３０ｅ、３０ｈの絵柄２０ａ、２０ｃ、２０ｅ、２０ｈ（図９（ａ）参照）を読み取った絵柄画像データ７１〜７４から構成されている。
また、図１０（ｂ）に示すように、組合せ絵柄画像データ８０は、組合せ絵柄シート４１の絵柄シール３０ｂ、３０ｄ、３０ｆ、３０ｇの絵柄２０ｂ、２０ｄ、２０ｆ、２０ｇ（図９（ｂ）参照）を読み取った絵柄画像データ８１〜８４から構成されている。
この場合、絵柄シール３０ａ〜３０ｈの絵柄２０ａ〜２０ｈ以外の背景部分は白で表されていることから、絵柄シール３０ａ〜３０ｈの絵柄２０ａ〜２０ｈ以外の部分の画像データは、画像処理の対象から除外される背景データとなっている。
【００３４】
次に、ステップＳ３において、組合せ絵柄画像データの取得を終了することを選択するボタンが選択されて、データ処理部１１ａが組合せ絵柄画像データの取得・保存が終了したと判断した場合、絵柄画像データ抽出部１３ａが、データ保存部１１ｂに保存されている組合せ絵柄画像データ７０、８０から、個々の絵柄画像データを抽出し、その組合せ順序を特定する（Ｓ４）。
具体的には、組合せ絵柄画像データ７０から背景データを除いた４個の絵柄画像データ７１、７２、７３、７４を個々の絵柄画像データとして抽出し、組合せ絵柄画像データ８０から背景データを除いた４個の絵柄画像データ８１、８２、８３、８４を個々の絵柄画像データとして抽出する。
この場合、抽出した絵柄画像データ７１〜７４、８１〜８４の、組合せ絵柄画像データ７０、８０中の位置と撮影順序も特定されることから、絵柄画像データ７１〜７４、８１〜８４の組合せ順序、すなわち、組合せ絵柄画像データ７０、８０は、絵柄画像データ７１、７２、７３、７４、８１、８２、８３、８４がこの順序で組み合わされていることが特定される。
次いで、形状・色マッチング部１３ｂが、絵柄画像データ抽出部１３ａが抽出した個々の絵柄画像データと、原絵柄画像データ記憶部１２が記憶している原絵柄画像データとの形状と色のマッチングを行い、絵柄画像データ抽出部１３ａが抽出した個々の絵柄画像データに表された絵柄の種類を特定する（Ｓ５）。
【００３５】
具体的には、絵柄画像データ抽出部１３ａが抽出した絵柄画像データ７１、７２、７３、７４、８１、８２、８３、８４と、原絵柄画像データ記憶部１２が記憶している原絵柄画像データ６０の各原絵柄画像データ群６１ａ〜６１ｈを構成するすべての原絵柄画像データとの形状のマッチングを行い、形状がマッチする原絵柄画像データを特定する。
この場合、原絵柄画像データ６０を構成する画像データ（個々の原絵柄画像データ）と絵柄画像データ７１、７２、７３、７４、８１、８２、８３、８４とは、共に、絵柄シール３０ａ〜３０ｈ等に表された絵柄２０ａ〜２０ｈをカメラ等で読み取って作成された画像データである。
また、原絵柄画像データ６０を構成する画像データ（個々の原絵柄画像データ）は、絵柄２０ａ〜２０ｈをカメラ等で読み取って作成された画像データとこの画像データから角度を少しずつ変えて傾けた多数の画像データから構成される。
このため、通常は、原絵柄画像データ６０の中に、絵柄画像データ７１、７２、７３、７４、８１、８２、８３、８４と形状がマッチする画像データ（個々の原絵柄画像データ）が存在する。
すなわち、絵柄画像データ７１は、原絵柄画像データ６１ａ１〜６１ａｎのいずれかの画像データと形状がマッチし、絵柄画像データ７２は、原絵柄画像データ６１ｃ１〜６１ｃｎのいずれかの画像データと形状がマッチし、絵柄画像データ７３は、原絵柄画像データ６１ｅ１〜６１ｅｎのいずれかの画像データと形状がマッチし、絵柄画像データ７４は、原絵柄画像データ６１ｈ１〜６１ｈｎのいずれかの画像データと形状がマッチする。
また、絵柄画像データ８１は、原絵柄画像データ６１ｂ１〜６１ｂｎのいずれかの画像データと形状がマッチし、絵柄画像データ８２は、原絵柄画像データ６１ｄ１〜６１ｄｎのいずれかの画像データと形状がマッチし、絵柄画像データ８３は、原絵柄画像データ６１ｆ１〜６１ｆｎのいずれかの画像データと形状がマッチし、絵柄画像データ８４は、原絵柄画像データ６１ｇ１〜６１ｇｎのいずれかの画像データと形状がマッチする。
これより、絵柄画像データ７１は絵柄２０ａと特定され、絵柄画像データ７２は絵柄２０ｃと特定され、絵柄画像データ７３は絵柄２０ｅと特定され、絵柄画像データ７４は絵柄２０ｈと特定され、絵柄画像データ８１は絵柄２０ｂと特定され、絵柄画像データ８２は絵柄２０ｄと特定され、絵柄画像データ８３は絵柄２０ｆと特定され、絵柄画像データ８４は絵柄２０ｇと特定される。
【００３６】
ステップＳ５では、絵柄画像データ７１、７２、７３、７４、８１、８２、８３、８４と原絵柄画像データ６０との色のマッチングも行われるが、これは、形状のマッチングを補助するものである。
すなわち、組合せ絵柄シート４１（組合せ絵柄４０）の中に大きく傾いた絵柄があり、組合せ絵柄画像データを構成する絵柄画像データの中に原絵柄画像データ６０中のいずれの画像データとも形状がマッチしない絵柄画像データがある場合、この絵柄画像データについて、原絵柄画像データ６０と色のマッチングが行われる。
例えば、原絵柄画像データ６０中に絵柄画像データ７１と形状がマッチする画像データ（個々の原絵柄画像データ）がない場合、絵柄画像データ７１の色データと、原絵柄画像データ群６１ａ〜６１ｈの色データのマッチングが行われ、絵柄画像データ７１の色データと最もマッチする色データを有する画像データ群、例えば、原絵柄画像データ群６１ａが特定され、絵柄画像データ７１は絵柄２０ａと特定される。
また、図６に示す組合せ絵柄５０のように、形状と色により絵柄の種類を特定するものでは、形状のマッチングによって、絵柄の種類を絞り込み、色のマッチングにより絵柄の種類が特定される。
具体的には、絵柄２３ａ５の絵柄画像データについては、形状のマッチングによって「あ行」の音を表す絵柄であることが特定され、色のマッチングによって「お段」の音である「お」を表すものであることが特定される。
【００３７】
このようにステップＳ４で、絵柄画像データ抽出部１３ａが、個々の絵柄画像データを抽出してその組合せ順序を特定し、ステップＳ５で、形状・色マッチング部１３ｂが、絵柄画像データ抽出部１３ａが抽出した絵柄画像データに表された絵柄の種類を特定することにより、絵柄認識部１３が組合せ絵柄シート４１（組合せ絵柄４０）に表された絵柄の種類と組み合わせ順序を認識する。
具体的には、絵柄認識部１３は、組合せ絵柄シート４１には、絵柄２０ａ、絵柄２０ｃ、絵柄２０ｅ、絵柄２０ｈ、絵柄２０ｂ、絵柄２０ｄ、絵柄２０ｆ、絵柄２０ｇがこの順序で表されていることを認識する。
最後に、音データ生成部１４が、絵柄認識部１３が認識した絵柄の種類と組み合わせ順序に基づいて音データを生成し、生成した音データを音データ出力部４に送信し（Ｓ６）、処理を終了する。
具体的には、音データ生成部１４は、絵柄認識部１３が認識した絵柄の種類と組み合わせ順序、すなわち、絵柄２０ａ、絵柄２０ｃ、絵柄２０ｅ、絵柄２０ｈ、絵柄２０ｂ、絵柄２０ｄ、絵柄２０ｆ、絵柄２０ｇがこの順序で組み合わされていることに基づいて、ネコの鳴き声「ニャン」を順にド、ミ、ソ、ド、レ、ファ、ラ、シの音程で発するデータを生成する。
この後、音データ出力部４が、音データ生成部１４から送られてくる音データに基づいて音を出力する。具体的には、ネコの鳴き声「ニャン」を順にド、ミ、ソ、ド、レ、ファ、ラ、シの音程で発する。
【産業上の利用可能性】
【００３８】
本発明の楽譜認識装置、楽譜認識方法は、楽譜が容易に作成でき、作成した楽譜をカメラ等で読み取って得られた画像データから音楽記号を正確に認識でき、修正等を行うことなく直ちに音として再生でき、音符等の音楽記号を表した音楽記号シールで作成された楽譜を読み取って楽音データを生成する楽譜認識装置、楽譜認識方法に利用することができる。
【符号の説明】
【００３９】
１  音再生装置
２  カメラ
３  表示操作部
３ａ  表示画面
４  音データ出力部
１０  組合せ絵柄認識装置
１１  組合せ絵柄画像データ取得部
１１ａ  データ処理部
１１ｂ  データ保存部
１２  原絵柄画像データ記憶部
１３  絵柄認識部
１３ａ  絵柄画像データ抽出部
１３ｂ  形状・色マッチング部
１４  音データ生成部
２０、２１、２２、２３  絵柄群
２０ａ〜２０ｈ、２１、２１ａ〜２１ｈ、２２ａ〜２２ｈ  絵柄
２３ａ１〜２３ａ５、２３ｂ１、２３ｂ５、２３ｊ１、２３ｊ５  絵柄
２３ｄ５、２３ｇ４、２３ｍ４  絵柄
３０ａ〜３０ｈ、３１ａ〜３１ｈ、３２ａ〜３２ｈ  絵柄シール
３３ａ１〜３３ａ５、３３ｂ１、３３ｂ５、３３ｊ１、３３ｊ５  絵柄シール
３３ｄ５、３３ｇ４、３３ｍ４  絵柄シール
４０  組合せ絵柄
４１  組合せ絵柄シート
４２  シート
５０  組合せ絵柄
５１  組合せ絵柄シート
５２  シート
６０  原絵柄画像データ
６１ａ  絵柄２０ａの原絵柄画像データ群
６１ａ１〜６１ａｎ  絵柄２０ａの原絵柄画像データ
６１ｂは絵柄２０ｂ  原絵柄画像データ群
６１ｂ１〜６１ｂｎは絵柄２０ｂの原絵柄画像データ
６１ｃ  絵柄２０ｃの原絵柄画像データ群
６１ｃ１〜６１ｃｎ  絵柄２０ｃの原絵柄画像データ
６１ｄ  絵柄２０ｄの原絵柄画像データ群
６１ｄ１〜６１ｄｎ  絵柄２０ｄの原絵柄画像データ
６１ｅ  絵柄２０ｅの原絵柄画像データ群
６１ｅ１〜６１ｅｎ  絵柄２０ｅの原絵柄画像データ
６１ｆ  絵柄２０ｆの原絵柄画像データ群
６１ｆ１〜６１ｆｎ  絵柄２０ｆの原絵柄画像データ
６１ｇ  絵柄２０ｇの原絵柄画像データ群
６１ｇ１〜６１ｇｎ  絵柄２０ｇの原絵柄画像データ
６１ｈ  絵柄２０ｈの原絵柄画像データ群
６１ｈ１〜６１ｈｎ  絵柄２０ｈの原絵柄画像データ
７０、８０  組合せ絵柄画像データ
７１〜７４、８１〜８４  絵柄画像データ
【図１】
2020086066.tif 000003
【図２】
2020086066.tif 000004
【図３】
2020086066.tif 000005
【図４】
2020086066.tif 000006
【図５】
2020086066.tif 000007
【図６】
2020086066.tif 000008
【図７】
2020086066.tif 000009
【図８】
2020086066.tif 000010
【図９】
2020086066.tif 000011
【図１０】
2020086066.tif 000012