(57)【要約】【課題】楽譜を元に入手できる模範演奏データの品質を向上し、使い勝手のよい演奏データ提供システム、方法、サーバ、携帯端末およびコンピュータプログラムを提供する。【解決手段】演奏データ提供システムは、携帯端末１００と、サーバ２００と、を備え、携帯端末１００は、カメラ部１０２と、撮影した楽譜の画像データを、サーバ２００が楽譜を認識可能な画質に最適化する画像処理部１１０と、最適化された楽譜の画像データをサーバ２００に送信し、楽譜に対応する演奏データの検索を指示するとともに、検索の指示に呼応してサーバ２００が楽曲データベースから検索した結果として、サーバ２００に送信した画像データの楽譜に対応する演奏データをサーバ２００からネットワークを介して受信するネットワーク通信部１３４と、受信した演奏データを電子楽器４００に転送して自動演奏させる赤外線通信部１３２と、を備える。【選択図】図２
2012155219.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末と、
前記携帯端末にネットワークを介して接続されるサーバと、を備え、
前記携帯端末は、
電子楽器に自動演奏させたい楽譜を撮影する撮影手段と、
前記撮影手段により撮影された前記楽譜の画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する画像処理手段と、
最適化された前記楽譜の前記画像データを前記サーバに前記ネットワークを介して送信し、前記楽譜に対応する演奏データの検索を指示する送信手段と、
前記検索の指示に呼応して前記サーバが楽曲データベースから検索した結果として、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する受信手段と、を備える演奏データ提供システム。
【請求項２】
請求項１に記載の演奏データ提供システムにおいて、
前記サーバが前記楽譜を認識可能な画質に最適化するための認識条件を前記携帯端末に通知する通知手段をさらに備え、
前記携帯端末の前記画像処理手段は、前記認識条件に従って、前記撮影手段が撮影した前記楽譜の前記画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する演奏データ提供システム。
【請求項３】
請求項１または２に記載の演奏データ提供システムにおいて、
前記サーバは、
前記楽譜の前記画像データを前記携帯端末から前記ネットワークを介して受信する受信手段と、
受信した前記画像データから前記楽譜を認識する認識手段と、
前記認識手段の認識結果に基づいて、前記楽曲データベースから前記楽譜に対応する演奏データを検索する検索手段と、
前記検索手段により検索された前記演奏データを前記携帯端末に前記ネットワークを介して送信する送信手段と、を備える演奏データ提供システム。
【請求項４】
請求項３に記載の演奏データ提供システムにおいて、
前記サーバは、
前記認識手段が認識した前記楽譜を転調して、前記検索手段に転調された前記楽譜に対応する演奏データを検索させる転調手段をさらに備える演奏データ提供システム。
【請求項５】
請求項４に記載の演奏データ提供システムにおいて、
前記サーバは、
転調された前記楽譜に対応する前記演奏データとして前記検索手段により検索された前記演奏データを逆転調し、転調前の前記楽譜に対応する演奏データを生成する逆転調手段をさらに備え、
前記サーバの前記送信手段は、前記逆転調手段により生成された前記演奏データを前記携帯端末に前記ネットワークを介して送信する演奏データ提供システム。
【請求項６】
携帯端末が、電子楽器に自動演奏させたい楽譜を、撮像装置を用いて撮影して、得られた画像データを、サーバが前記楽譜を認識可能な画質に最適化し、
前記携帯端末が、最適化された前記楽譜の前記画像データを前記サーバにネットワークを介して送信し、前記楽譜に対応する演奏データの検索を指示し、
前記携帯端末からの前記指示に呼応して、前記サーバが楽曲データベースから前記楽譜に対応する演奏データを検索し、
前記サーバが、前記演奏データを前記携帯端末に前記ネットワークを介して送信し、
前記携帯端末が、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する演奏データ提供方法。
【請求項７】
サーバにネットワークを介して接続する接続手段と、
電子楽器に自動演奏させたい楽譜を撮影する撮影手段と、
前記撮影手段により撮影された前記楽譜の画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する画像処理手段と、
最適化された前記楽譜の前記画像データを前記サーバに前記ネットワークを介して送信し、前記楽譜に対応する演奏データの検索を指示する送信手段と、
前記検索の指示に呼応して前記サーバが楽曲データベースから検索した結果として、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する受信手段と、を備える携帯端末。
【請求項８】
携帯端末から楽譜の画像データをネットワークを介して受信する受信手段と、
受信した前記画像データの前記楽譜に対応する演奏データを楽曲データベースから検索する検索手段と、
検索した前記演奏データを前記ネットワークを介して前記携帯端末に送信する送信手段と、を備えるサーバ。
【請求項９】
撮影装置を備えるコンピュータに、
サーバにネットワークを介して接続する手順、
電子楽器に自動演奏させたい楽譜を、前記撮影装置を用いてユーザに撮影を促す手順、
撮影して得られた前記楽譜の画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する手順、
最適化された前記楽譜の前記画像データを前記サーバに前記ネットワークを介して送信し、前記楽譜に対応する前記演奏データの検索を指示する手順、
前記検索の指示に呼応して前記サーバが楽曲データベースから検索した結果として、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する手順、を実行させるためのコンピュータプログラム。
【請求項１０】
携帯端末から楽譜の画像データをネットワークを介して受信する手順、
受信した前記画像データの前記楽譜に対応する演奏データを楽曲データベースから検索する手順、
検索した前記演奏データを前記ネットワークを介して前記携帯端末に送信する手順、をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏データ提供システム、方法、サーバ、携帯端末およびコンピュータプログラムに関し、特に、楽譜を元に演奏データを提供する演奏データ提供システム、方法、サーバ、携帯端末およびコンピュータプログラムに関する。
【背景技術】
【０００２】
音楽コンテンツを電子楽器に配信して自動演奏させるサービス提供システムの一例が特許文献１に記載されている。
特許文献１に記載された電子音楽装置に対するサービス提供システムは、携帯端末を用いてネットワーク上のデータ提供システムの配信サーバに認証処理後に接続し、音楽コンテンツ検索画面でキーワードや曲名といった入力操作によって音楽コンテンツの検索要求を行い、検索結果から所望の音楽コンテンツを特定し、チケットを購入する。そして携帯端末から電子楽器に購入したチケットを転送することで電子楽器は配信サーバに音楽コンテンツを要求しダウンロードする。
【０００３】
しかしながら、上述した特許文献１に記載されたサービス提供システムにおいては、曲名に基づいて検索を行うため、自分が取得したい楽曲の曲名をはっきりと認識していることが必要であった。そのため、もしも手元の楽譜に外国語であるロシア語の曲名が書かれていた場合でも曲名の母国語である日本語訳を調べるなど自力で解決して検索する必要があるという問題点があった。また、電子音楽楽器が、配信サーバから音楽コンテンツをダウンロードするために、ネットワーク機能を有する必要があった。
【０００４】
このような問題点を解決する技術として、手書きや印刷された楽譜の認識機能を用いて、パーソナルコンピュータなどにスキャナを接続し、楽譜を読み取り、読み取った楽譜の画像データに基づいて楽譜情報を認識し、ＭＩＤＩ（Musical Instrument Digital Interface）コードを生成するものがある。このような技術の一例が特許文献２に記載されている。この特許文献２に記載された楽譜自動認識装置は、水平密度を測定して五線譜を捕らえ、不要なノイズを除去して認識精度を上げている。また、特許文献３に記載された楽譜認識装置は、五線譜の五線を消去してから、音楽記号などを認識することで認識精度を上げている。これらの技術を使えば曲名が不明であっても演奏データを入手することが可能であった。
【０００５】
また、特許文献４に記載された電子楽器は、楽器にスキャナを直結し、曲の楽譜情報に加えて、楽譜の演奏に関連するエフェクトやリズム、ボイスなどの設定情報を文字などで記載して楽譜に含めて印刷したものを用いて、楽譜と設定情報をスキャナで読み込み、楽譜を認識し、さらに設定情報も用いることで演奏データの品質を上げている。
【０００６】
しかしながら、特許文献４に記載された設定情報の内容は詳細に設定されているため、このレベルまで認識させようとすると、認識対象の楽譜画像データは巨大なサイズになってしまう。もともと認識処理は非常に複雑であるが、認識処理対象となる画像データのサイズも大きくなるため、楽器のＣＰＵは、より高い情報処理能力が要求されてしまう。さらに、認識辞書データなどの大量のデータを使用するために大容量のメモリを搭載する必要も出てしまうため、楽器が高価になってしまうといった問題点があった。さらに、電子楽器に含まれる情報処理を行う装置からの発熱を冷却するために必要となる冷却ファンのノイズが出るなどの楽器演奏にとって致命的な不都合も抱え込んでしまう。
【０００７】
また、スキャナなどの装置の設置は楽器の本来の機能とは無関係なために非常に邪魔な存在であった。さらに、現在演奏を練習している場所から離れてスキャン作業する必要があるので非常に手間がかかっていた。
【０００８】
このような問題点を解決するためには認識処理をネットワークで接続した外部サーバで行うことが考えられる。その場合、特許文献４に記載された電子楽器において示される品質レベルの認識を行うには巨大な画像のサーバへの転送が必要となり、データの転送に時間がかかる。そのため、軽快な操作感を得ることができず、ユーザの使い勝手の劣化を招いてしまうという問題点があった。また、認識対象となる撮影画像のサイズを小さくすると、認識に失敗して撮影しなおしになる可能性が高くなるので、やはり軽快な操作感を得ることができないという問題点があった。
【０００９】
このような問題点を解決する技術が特許文献５に記載されている。
特許文献５記載された携帯型文字認識装置は、楽譜ではなく文字の認識であるが、端末で画像から文字の切り出しのみを行い、サーバで文字認識を行う。また、特許文献６に記載された抽出文字列辞書検索装置は、カメラで文字を撮影して、文字が記載された場所を色と明るさで判断して切り出し、辞書を引いて返す。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−２５６６５３号公報
【特許文献２】特開平０５−０３５９２４号公報
【特許文献３】特開平０６−３３２４４３号公報
【特許文献４】特開２００７−２６４５０９号公報
【特許文献５】特開２００５−０４４０５２号公報
【特許文献６】特開２００４−１１８２８１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した特許文献２および３に記載された楽譜認識装置では、認識した楽譜の音高、音長、発音位置（タイミング）は読み取れるものの、認識の結果作成されたＭＩＤＩデータは機械的な音になってしまい、音の強弱、微妙なタイミングのずらし方など模範演奏データとして必要な情報が不足しており、演奏の手本として役に立たないデータであるという問題点があった。
【００１２】
一方、上述した特許文献４に記載された電子楽器では、演奏者が目にする設定情報として書かれた演奏指示情報を楽譜の認識結果のデータに含めることができるため、演奏データの質は上げられる可能性が出てくる。しかしながら、同じ楽譜を見て演奏しても、その演奏に良し悪しがあるように、人間による楽曲の解釈が入らなければ、やはり模範演奏データとしては不十分であった。
【００１３】
また、上述した特許文献５および６に記載された技術では文字が対象であるので、誤認識を除けば、認識品質は１００％となる。そのため、演奏データのように品質レベルを向上させる必要性がない。演奏データでは、演奏の品質レベルを向上させるためには認識後の演奏データの表現方法に人間の解釈が必要となるが、特許文献５および６に記載された技術では、文字が認識対象であるため楽譜の認識のような人間の解釈は必要なく、特性が異なる。すなわち、たとえこの特許文献５に記載された技術を導入して特許文献４に記載されたレベルの認識を行ったとしても、結局は人間の解釈が入らないものになってしまう問題は解決されない。
【００１４】
本発明の目的は、上述した課題である楽譜を元に入手できる模範演奏データの品質の向上および操作性の改善を解決する演奏データ提供システム、方法、サーバ、携帯端末およびコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明の演奏データ提供システムは、
携帯端末と、
前記携帯端末にネットワークを介して接続されるサーバと、を備え、
前記携帯端末は、
電子楽器に自動演奏させたい楽譜を撮影する撮影手段と、
前記撮影手段により撮影された前記楽譜の画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する画像処理手段と、
最適化された前記楽譜の前記画像データを前記サーバに前記ネットワークを介して送信し、前記楽譜に対応する演奏データの検索を指示する送信手段と、
前記検索の指示に呼応して前記サーバが楽曲データベースから検索した結果として、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する受信手段と、を備える。
【００１６】
本発明の演奏データ提供方法は、
携帯端末が、電子楽器に自動演奏させたい楽譜を、撮像装置を用いて撮影して、得られた画像データを、サーバが前記楽譜を認識可能な画質に最適化し、
前記携帯端末が、最適化された前記楽譜の前記画像データを前記サーバにネットワークを介して送信し、前記楽譜に対応する演奏データの検索を指示し、
前記携帯端末からの前記指示に呼応して、前記サーバが楽曲データベースから前記楽譜に対応する演奏データを検索し、
前記サーバが、前記演奏データを前記携帯端末に前記ネットワークを介して送信し、
前記携帯端末が、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する演奏データ提供方法である。
【００１７】
本発明の携帯端末は、
サーバにネットワークを介して接続する接続手段と、
電子楽器に自動演奏させたい楽譜を撮影する撮影手段と、
前記撮影手段により撮影された前記楽譜の画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する画像処理手段と、
最適化された前記楽譜の前記画像データを前記サーバに前記ネットワークを介して送信し、前記楽譜に対応する演奏データの検索を指示する送信手段と、
前記検索の指示に呼応して前記サーバが楽曲データベースから検索した結果として、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する受信手段と、を備える。
【００１８】
本発明のサーバは、
携帯端末から楽譜の画像データをネットワークを介して受信する受信手段と、
受信した前記画像データの前記楽譜に対応する演奏データを楽曲データベースから検索する検索手段と、
検索した前記演奏データを前記ネットワークを介して前記携帯端末に送信する送信手段と、を備える。
【００１９】
本発明の第一のコンピュータプログラムは、
撮影装置を備えるコンピュータに、
サーバにネットワークを介して接続する手順、
電子楽器に自動演奏させたい楽譜を、前記撮影装置を用いてユーザに撮影を促す手順、
撮影して得られた前記楽譜の画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する手順、
最適化された前記楽譜の前記画像データを前記サーバに前記ネットワークを介して送信し、前記楽譜に対応する前記演奏データの検索を指示する手順、
前記検索の指示に呼応して前記サーバが楽曲データベースから検索した結果として、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する手順、を実行させるためのコンピュータプログラムである。
【００２０】
本発明の第二のコンピュータプログラムは、
携帯端末から楽譜の画像データをネットワークを介して受信する手順、
受信した前記画像データの前記楽譜に対応する演奏データを楽曲データベースから検索する手順、
検索した前記演奏データを前記ネットワークを介して前記携帯端末に送信する手順、をコンピュータに実行させるためのコンピュータプログラムである。
【００２１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００２２】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【００２３】
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障しない範囲で変更することができる。
【００２４】
さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【発明の効果】
【００２５】
本発明によれば、楽譜を元に入手できる模範演奏データの品質を向上するとともに、使い勝手のよい演奏データ提供システム、方法、サーバ、携帯端末およびコンピュータプログラムが提供される。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態に係る演奏データ提供システムの全体構成を示すブロック図である。
【図２】本発明の実施の形態に係る演奏データ提供システムの携帯端末の構成を示す機能ブロック図である。
【図３】本発明の実施の形態に係る演奏データ提供システムのアプリケーションサーバの構成を示す機能ブロック図である。
【図４】本発明の実施の形態に係る演奏データ提供システムの楽曲データベースサーバの構成を示す機能ブロック図である。
【図５】本発明の実施の形態に係る演奏データ提供システムの楽譜の読取画像を説明するための図である。
【図６】本発明の実施の形態に係る演奏データ提供システムの楽譜の読取画像を説明するための図である。
【図７】本発明の実施の形態に係る演奏データ提供システムのアプリケーションサーバで生成されるＭＩＤＩデータの構造の例を示す図である。
【図８】本発明の実施の形態に係る演奏データ提供システムの動作の一例を示すフローチャートである。
【図９】本発明の実施の形態に係る演奏データ提供システムにおける携帯端末の動作の一例を示すフローチャートである。
【図１０】図９の携帯端末の送信画像データ生成処理の手順の一例を示すフローチャートである。
【図１１】本発明の実施の形態に係る演奏データ提供システムにおけるアプリケーションサーバの動作の一例を示すフローチャートである。
【図１２】図１１のアプリケーションサーバのデータベースサーバ問い合わせ処理の手順の一例を示すフローチャートである。
【図１３】本発明の実施の形態に係る演奏データ提供システムのアプリケーションサーバの構成を示す機能ブロック図である。
【図１４】本発明の実施の形態に係る演奏データ提供システムにおけるアプリケーションサーバのデータベースサーバ問い合わせ処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
図１は、本発明の実施の形態に係る演奏データ提供システム１の構成を示すブロック図である。同図に示すように、演奏データ提供システム１は、ユーザの携帯端末１００と、携帯端末１００からの要求に呼応して楽曲データベース３１０から演奏データを検索し、検索された演奏データを携帯端末１００にネットワーク（第１ネットワーク３）を介して提供するサーバ（アプリケーションサーバ２００）と、を備える。
【００２８】
本実施形態の以下の説明において、楽曲データとは、楽曲データベース３１０に格納されている電子楽器４００で自動演奏可能な楽曲データ全般を指し、演奏データとは、特に、本システムのユーザが電子楽器４００で模範演奏を行わせたい楽譜に対応する、楽曲データベース３１０から選択された楽曲データを指すものとする。いずれも、たとえば、電子楽器４００に自動演奏を行わせることが可能なＭＩＤＩ形式などのデータとすることができる。
【００２９】
本実施形態において、演奏データ提供システム１は、携帯端末１００と、アプリケーションサーバ２００と、を備える。
同図において、携帯端末１００とアプリケーションサーバ２００は、第１ネットワーク３、たとえば、図示されない基地局を介した移動体通信網、ＬＡＮ（Local Area Network）、またはインターネット、あるいは、これらを組み合わせたネットワークにより接続される。第１ネットワーク３への接続は、無線または有線のいずれでもよい。
【００３０】
携帯端末１００は、撮影機能を有し、第１ネットワーク３に接続可能な情報処理装置とすることができ、たとえば、携帯電話機、ＰＨＳ（Personal  Handyphone  System）、スマートフォン、タブレット型情報端末、ＰＤＡ（Personal  Digital  Assistants）、ノートＰＣ（Personal Computer）、携帯型ゲーム機などを含むことができる。本実施形態では、携帯端末１００は携帯電話機として説明する。
【００３１】
図１において、携帯端末１００は１台のみ図示されているが、本実施形態の演奏データ提供システム１が提供するサービスを利用するユーザは、複数存在するものとし、実際は、複数のユーザの携帯端末１００が第１ネットワーク３を介してアプリケーションサーバ２００に接続するものとする。
【００３２】
なお、本実施形態の演奏データ提供システム１では、携帯端末１００のユーザは、予め演奏データ提供システム１のサービスを受けるために、事前にユーザ登録などを行い、ユーザ認証処理などを行った後、本システムのサービスを受けているものとする。
【００３３】
また、アプリケーションサーバ２００は、楽曲データベースサーバ（図１では、「データベースサーバ」と示す）３００に、第２ネットワーク５、たとえば、ＬＡＮ（Local Area Network）、またはインターネット、あるいは、これらを組み合わせたネットワークを介して接続される。
【００３４】
アプリケーションサーバ２００および楽曲データベースサーバ３００は、たとえば、図示しないＣＰＵやメモリ、ハードディスク、および通信装置を備え、キーボードやマウス等の入力装置やディスプレイやプリンタ等の出力装置と接続されるサーバコンピュータやパーソナルコンピュータ、またはそれらに相当する装置により実現することができる。そして、ＣＰＵが、ハードディスクに記憶されるプログラムをメモリに読み出して実行することにより、上記各ユニットの各機能を実現することができる。
【００３５】
また、図１では、アプリケーションサーバ２００と楽曲データベースサーバ３００は異なる装置により構成されているが、同じ装置に含まれてもよい。あるいは、アプリケーションサーバ２００または楽曲データベースサーバ３００は、仮想マシンによって構成されてもよく、所謂クラウドコンピュータによってユーザにサービスが提供されてもよい。なお、楽曲データベースサーバ３００および楽曲データベース３１０は、本システムとは別の独立したシステムのものであってもよい。たとえば、楽曲データベースサーバ３００は、演奏データ提供システム１のアプリケーションサーバ２００からの問い合わせに応じて楽曲データベース３１０から楽曲の検索処理を行うものであればよい。
【００３６】
電子楽器４００は、ユーザが練習を行っている最中の電子楽器であり、楽器の種類は特に限定されない。電子楽器４００は、楽曲データ、たとえば、ＭＩＤＩ形式データに従い、自動演奏を行うことができる楽器である。本実施形態では、ユーザはまさに楽器の前に座って練習を行っているとする。その練習途中で、弾き方がわからない楽譜１０がユーザの目の前にある場合に、演奏データ提供システム１により楽譜１０に対応する演奏データを検索し、電子楽器４００に模範演奏を行わせることができる。
【００３７】
ユーザが、本システムの携帯端末１００を使用して楽譜１０を撮影すると、携帯端末１００からアプリケーションサーバ２００に楽譜１０の画像が無線通信７にて送信される。アプリケーションサーバ２００が楽譜１０に対応する演奏データを検索して携帯端末１００に返信し、携帯端末１００から電子楽器４００に演奏データを赤外線通信９にて送信して模範演奏を行わせることで、ユーザが楽譜１０を理解できるようになっている。
【００３８】
本実施形態の演奏データ提供システム１では、次のように処理を各構成要素に分散させている。すなわち、携帯端末１００は、楽譜１０の撮影とその画像処理を担い、楽譜１０の画像データをアプリケーションサーバ２００に送信する。一方、アプリケーションサーバ２００は、楽譜１０の認識処理と楽曲データベース３１０への問い合わせという負荷の重い処理を担う。楽曲データベースサーバ３００は、多数の楽曲データの保持と楽譜１０に対応する演奏データの検索処理を担う。
【００３９】
一般に、携帯端末１００には楽譜の認識処理を行うだけの処理能力も、多数の演奏データを保持するだけの記憶容量も無い場合が多い。そのため、本実施形態の演奏データ提供システム１では、携帯端末１００で撮影した楽譜の画像データをアプリケーションサーバ２００に転送して、楽譜の認識処理などをアプリケーションサーバ２００に行わせるようにしている。その場合、もし、楽譜の画像データを大きなサイズのまま転送しようとすると、データ転送に時間がかかり、軽快な操作感を得ることができない。また、逆に、画像データのサイズが小さい場合は、楽譜の認識に失敗する確率が高まり、撮影し直すことになるので、やはり軽快な操作感を得ることができない。
【００４０】
そこで、本発明では、高負荷な楽譜認識処理をサーバに行わせるとともに、携帯端末側で楽譜の画像データの最適化処理を行わせるようにして、処理を分散させることで、全体的な処理速度が速くなるようにしている。さらに、サーバに送信する楽譜の画像データの画質を最適化することで、サーバと携帯端末間の通信量を少なく抑えることができ、通信速度を速くすることができるので、レスポンスがよく使い勝手もよい演奏データ提供システム１を提供できるようにしている。さらに、演奏データを希望する部分の楽譜を、ユーザが携帯端末１００のカメラ機能を使用して撮影するだけで、楽譜を元に、豊富な楽曲データを有する楽曲データベース３１０から演奏データを検索して取得するので、楽譜に対応した高品質な演奏データを入手できるようにしている。
【００４１】
まず、本実施形態の演奏データ提供システム１の携帯端末１００の構成について説明する。
図２は、本実施形態の演奏データ提供システム１の携帯端末１００の構成を示す機能ブロック図である。
携帯端末１００は、電子楽器に自動演奏させたい楽譜を撮影する撮影部（カメラ部１０２）と、カメラ部１０２により撮影された楽譜の画像データを、サーバ（アプリケーションサーバ２００）が楽譜を認識可能な画質に最適化する画像処理部１１０と、最適化された楽譜の画像データをアプリケーションサーバ２００にネットワーク（第１ネットワーク３）を介して送信し、楽譜に対応する演奏データの検索を指示する送信部（通信機能部１３０のネットワーク通信部１３４）と、検索の指示に呼応してサーバ（楽曲データベースサーバ３００）が検索した結果として、サーバ（アプリケーションサーバ２００）に送信した画像データの楽譜に対応する演奏データをサーバ（アプリケーションサーバ２００）からネットワーク（第１ネットワーク３）を介して受信する受信部（通信機能部１３０のネットワーク通信部１３４）と、を備える。
【００４２】
具体的には、本実施形態の携帯端末１００は、カメラ部１０２と、画像記憶部１０４と、画像処理部１１０と、アプリケーションメモリ１２０と、通信機能部１３０と、を備える。
【００４３】
携帯端末１００の各構成要素は、図示されない任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
【００４４】
なお、以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、たとえば、携帯端末１００の構成であるユーザの操作を受け付けるキー、スイッチ、タッチパネル等の操作部、画面表示を行うディスプレイやＬＥＤ表示器等の表示部、スピーカやマイクなどの音声の入出力機能部、およびバイブレーション機能部などは図示されていない。なお、携帯端末１００の操作部は、マイクを用いて入力された音声による指示を受け付けるものであってもよい。
【００４５】
以下、携帯端末１００の各構成要素について説明する。
カメラ部１０２は、撮影機能を有する。ユーザは、カメラ部１０２を用いて楽譜を撮影することができる。画像記憶部１０４は、カメラ部１０２により撮影された楽譜の画像データを格納する。カメラ部１０２により撮影される画像データは、動画像または静止画のいずれでもよい。たとえば、動画像の場合は、後述する画像処理部１１０で処理されるとき、事前にキャプチャして静止画に加工して画像データとして取り扱えばよい。
【００４６】
画像処理部１１０は、画像記憶部１０４に記憶された楽譜の画像データを画像処理する。画像処理部１１０は、画像データを縮小する縮小部１１２と、画像データを回転する回転部１１３と、画像データの密度を測定する密度測定部１１４と、画像データを減色する減色部１１５と、画像データを圧縮する圧縮部１１６と、を有する。
画像処理部１１０の上記機能は、撮影機能を有する携帯端末１００が一般的に備えている機能を用いることができる。
【００４７】
たとえば、携帯端末１００にはカメラ部１０２のピントをあわせるために、画像のコントラストが高いかどうかを調べる機能を有している。これは画像処理部１１０の密度測定部１１４の機能を使用して行われる。
また、携帯端末１００のカメラ部１０２はこの密度測定部１１４の機能を使用して、ビジネス文書の図表や電車の時刻表を撮影すると、傾きを補正して見やすい図表として保存する機能を有している。
【００４８】
本実施形態において、画像処理部１１０は、上記縮小部１１２、回転部１１３、密度測定部１１４、減色部１１５、および圧縮部１１６の機能を用いて、アプリケーションサーバ２００の楽譜の認識能力に応じて画像データの最適化を行い、アプリケーションサーバ２００における楽譜の認識処理に必要十分な画質の画像データを生成する。後述するように、画像処理部１１０は、アプリケーションサーバ２００の画像認識能力を示す認識条件に従って、画像データを、アプリケーションサーバ２００が楽譜を認識可能なサイズや解像度などの画質に最適化する。
【００４９】
また、画像の画質の最適化処理は、たとえば、画像のシャープネスの品質を、アプリケーションサーバ２００が認識可能なレベルまで下げる処理、すなわち、画像の輪郭をぼやけさせる処理や、画像のコントラストをアプリケーションサーバ２００が認識可能なレベルまで弱める処理、すなわち、画像の明るい部分と暗い部分との明度の差を大きくする処理などを行うことも含むことができる。
【００５０】
アプリケーションメモリ１２０は、演奏指導プログラムをアプリケーションサーバ２００から取得して記憶する演奏指導プログラム記憶部１２２と、そのプログラムが動作するための制御データを記憶するとともに作業領域を含む制御データ記憶部１２４と、アプリケーションサーバ２００から受信し、電子楽器４００に転送する演奏データを記憶する楽曲データ記憶部１２６と、を含む。演奏指導プログラム記憶部１２２に格納された演奏指導プログラムをＣＰＵが読み出して実行することで、本実施形態の演奏データ提供システム１を実現することができる。
【００５１】
なお、楽曲データ記憶部１２６に格納された演奏データは、電子楽器４００に転送された後、自動的に楽曲データ記憶部１２６から削除される構成としてもよい。あるいは、表示部がユーザに演奏データを削除するか否かを問い合わせる画面または楽曲データ記憶部１２６に格納されている演奏データのリストを画面に表示し、操作部が削除する指示または削除する演奏データの選択を受け付け、指示または選択された演奏データを楽曲データ記憶部１２６から削除できる構成としてもよい。
【００５２】
なお、後述するように、本実施形態の演奏指導プログラムは、アプリケーションサーバ２００上で動作する演奏データ検索プログラムと、携帯端末１００上で動作するユーザインタフェースプログラムが含まれる。すなわち、本実施形態において、携帯端末１００では、ユーザインタフェースプログラムがＣＰＵにより実行され、本システムを利用するためのユーザインタフェース機能を実現する。一方、演奏データを検索する機能を実現するための演奏データ検索プログラム自体はアプリケーションサーバ２００が実行する。携帯端末１００の演奏指導プログラム記憶部１２２に記憶される演奏指導プログラムは、本演奏データ提供システム１を利用するための起動要求処理およびアプリケーションサーバ２００とのデータ通信処理などを行う起動プログラム、およびユーザインタフェースプログラムとなる。
【００５３】
上記の起動プログラムは、たとえば、携帯端末１００のユーザが本演奏データ提供システム１のサービスを利用するためにユーザ登録を行ったときに、アプリケーションサーバ２００から携帯端末１００にダウンロードして、携帯端末１００の演奏指導プログラム記憶部１２２に予めインストールしておくことができる。演奏データ検索プログラムは、携帯端末１００の演奏指導プログラム記憶部１２２に記憶される演奏指導プログラムには含まれなくてよい。
【００５４】
本実施の形態の携帯端末１００およびアプリケーションサーバ２００は、コンピュータプログラムを各ＣＰＵが実行し、対応する各種の処理動作を行うことにより、各装置の各種ユニットが各種機能として実現される。
本実施形態のコンピュータプログラム（ユーザインタフェースプログラム）は、携帯端末１００を実現させるためのコンピュータに、アプリケーションサーバ２００に第１ネットワーク３を介して接続する手順、電子楽器に自動演奏させたい楽譜を、カメラ部１０２を用いてユーザに撮影を促す手順、撮影された楽譜の画像データを、アプリケーションサーバ２００が楽譜を認識可能な画質に最適化する手順、最適化された楽譜の画像データをアプリケーションサーバ２００に第１ネットワーク３を介して送信し、楽譜に対応する演奏データの検索を指示する手順、検索の指示に呼応してアプリケーションサーバ２００が楽曲データベース３１０（図１）から検索した結果として、アプリケーションサーバ２００に送信した画像データの楽譜に対応する演奏データをアプリケーションサーバ２００から第１ネットワーク３を介して受信する手順、を実行させるように記述されている。
【００５５】
さらに、本実施形態のコンピュータプログラム（ユーザインタフェースプログラム）は、アプリケーションサーバ２００が楽譜を認識可能な画質に最適化するための認識条件を含み、最適化する手順は、認識条件に従って、撮影して得られた楽譜の前記画像データを、アプリケーションサーバ２００が楽譜を認識可能な画質に最適化し、このコンピュータプログラムは、アプリケーションサーバ２００から携帯端末１００に第１ネットワーク３を介して送信され、アプリケーションサーバ２００から受信したこのコンピュータプログラムを携帯端末１００が実行する。
【００５６】
また、本実施形態のコンピュータプログラム（演奏データ検索プログラム）は、アプリケーションサーバ２００を実現させるためのコンピュータに、携帯端末１００から楽譜の画像データを第１ネットワーク３を介して受信する手順、受信した画像データの楽譜に対応する演奏データを楽曲データベース３１０（図１）から検索する手順、検索した演奏データを第１ネットワーク３を介して携帯端末１００に送信する手順、を実行させるように記述されている。
【００５７】
さらに、本実施形態のコンピュータプログラム（演奏データ検索プログラム）は、アプリケーションサーバ２００を実現させるためのコンピュータに、携帯端末１００から受信した画像データから楽譜を認識する手順、認識する手順で、画像データから楽譜を認識するための認識条件を携帯端末１００に通知する手順、をさらに実行させるように記述されている。
【００５８】
本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。
【００５９】
ユーザインタフェース機能の詳細については後述するが、ユーザインタフェースプログラムは、たとえば、以下の機能を実現することができる。たとえば、アプリケーションサーバ２００上で演奏データ検索プログラムを起動および動作指示の操作を行うのに必要な各種操作画面を携帯端末１００の表示部に表示させる機能、アプリケーションサーバ２００に送信する画像を生成して送信し、演奏データを取得する機能、および取得した演奏データを電子楽器４００に転送する機能を含む。
【００６０】
図２に戻り、通信機能部１３０は、赤外線通信部１３２と、ネットワーク通信部１３４と、を有する。
ネットワーク通信部１３４は、第１ネットワーク３（図１）に接続し、アプリケーションサーバ２００と通信し、アプリケーションサーバ２００と各種のデータをやり取りする。たとえば、ネットワーク通信部１３４は、アプリケーションサーバ２００から演奏指導プログラムを第１ネットワーク３（図１）を介して受信し、アプリケーションメモリ１２０の演奏指導プログラム記憶部１２２にアクセスして記憶する。
【００６１】
なお、後述するように、本実施形態では、アプリケーションサーバ２００が、ユーザからの起動要求に応じて、ユーザ毎にユーザプロセスを生成して、演奏データ検索プログラムを起動する。そして、携帯端末１００には、アプリケーションサーバ２００から携帯端末１００上で動作するユーザインタフェースプログラムが送信される。すなわち、演奏データ検索プログラム本体は、携帯端末１００上ではなく、アプリケーションサーバ２００のユーザプロセス内で起動され、動作する。携帯端末１００にダウンロードされたユーザインタフェースプログラムを起動することによって、携帯端末１００では、演奏データ検索プログラムをあたかも実行しているかのように画面表示し、操作指示を行うことができることとなる。
【００６２】
アプリケーションサーバ２００で動作している演奏データ検索プログラムの画面が携帯端末１００に送信され、携帯端末１００の表示部に表示され、携帯端末１００の操作部を用いて行った操作指示がアプリケーションサーバ２００に送信され、送信された操作指示に従って、アプリケーションサーバ２００で演奏データ検索プログラムが動作する。これらの動作を実現するための具体的な方法については、特に限定されず、様々な手法が考えられ、本発明の本質に関わらないので、詳細な説明は省略する。
【００６３】
また、ネットワーク通信部１３４は、画像記憶部１０４にアクセスし、画像記憶部１０４に記憶された楽譜の画像データをアプリケーションサーバ２００に第１ネットワーク３（図１）を介して送信する。さらに、ネットワーク通信部１３４は、アプリケーションサーバ２００から模範演奏を含む演奏データを第１ネットワーク３（図１）を介して受信し、アプリケーションメモリ１２０の楽曲データ記憶部１２６にアクセスして記憶する。
【００６４】
赤外線通信部１３２は、電子楽器４００と赤外線通信を行い、アプリケーションメモリ１２０の楽曲データ記憶部１２６にアクセスし、楽曲データ記憶部１２６に記憶された演奏データを電子楽器４００に転送する。本実施形態の演奏データ提供システム１では、ユーザは携帯端末１００から電子楽器４００にこの通信機能を用いて演奏データを転送して、電子楽器４００に模範演奏を行わせることができる。
この赤外線通信部１３２の赤外線による通信は、同等の機能、すなわち、携帯端末１００と電子楽器４００間の無線通信を行う機能を持つ他の手段と置き換えることも可能であり、たとえば、ブルートゥースの微弱電波通信機能や、無線ＬＡＮ通信機能などを使用したものであってもよい。
【００６５】
本実施形態の携帯端末１００では、表示部（不図示）が、電子楽器４００に送信する演奏データをユーザに選択するよう促すメッセージを画面表示し、操作部が、電子楽器４００に送信する演奏データの選択を受け付ける。ユーザによる演奏データの選択に呼応して、通信機能部１３０の赤外線通信部１３２が、選択された演奏データを電子ピアノ等の電子楽器４００に赤外線通信で転送する。
【００６６】
また、携帯端末１００が演奏データを受信した後、取得した演奏データを自動的に電子楽器４００に転送し、指示して自動演奏させてもよい。また、携帯端末１００では、自動演奏の一時停止、早送り、巻き戻し、終了、リピートなどの操作指示を受け付ける操作画面を表示部に表示してユーザの操作を受け付け、操作部が受け付けたユーザの操作に従って、電子楽器４００の演奏を制御してもよい。
【００６７】
次に、本実施形態の演奏データ提供システム１のアプリケーションサーバ２００の構成について説明する。
図３は、本実施形態の演奏データ提供システム１のアプリケーションサーバ２００の構成を示す機能ブロック図である。
アプリケーションサーバ２００は、楽譜の画像データを携帯端末１００から第１ネットワーク３を介して受信する受信部（通信インタフェース部２０２）と、受信した画像データから楽譜を認識する認識部（ユーザプロセス部２１０の楽譜認識部２１４）と、楽譜認識部２１４の認識結果に基づいて、楽曲データベースから楽譜に対応する演奏データを検索する検索部（ユーザプロセス部２１０の検索処理部２１６）と、検索処理部２１６により検索された演奏データを携帯端末１００に第１ネットワーク３を介して送信する送信部（通信インタフェース部２０２）と、を備える。
【００６８】
具体的には、アプリケーションサーバ２００は、通信インタフェース部（図中、「Ｉ／Ｆ」と示す）２０２と、リソース管理部２０４と、プログラム記憶部２０６と、ユーザプロセス部２１０と、ユーザワークメモリ２２０と、を備える。
【００６９】
通信インタフェース部２０２は、第１ネットワーク３（図１）に接続し、携帯端末１００と通信し、携帯端末１００と各種データをやり取りする。
【００７０】
リソース管理部２０４は、携帯端末１００からの要求に呼応して、仮想サーバ環境を割り当て、携帯端末１００のユーザ毎に設けられるユーザプロセス部２１０を生成し、管理する。このようにリソース管理部２０４により、複数のユーザの要求に動的に対応できるようになっている。これらの管理方法については、特に限定されず、様々な手法が考えられ、本発明の本質に関わらないため、詳細な説明は省略する。
【００７１】
プログラム記憶部２０６は、上述した演奏データ検索プログラムとユーザインタフェースプログラムを記憶する。
ユーザプロセス部２１０は、ユーザの要求に応じて起動された演奏データ検索プログラムを実行することで以下の各機能モジュールが実現される。ユーザプロセス部２１０の機能モジュールは、楽譜認識部２１４と、検索処理部２１６と、データベース通信部（図中、「ＤＢ通信部」と示す）２１８と、を含む。
【００７２】
楽譜認識部２１４は、携帯端末１００から送信された楽譜の画像データから、楽譜が示す楽曲の音高および音長を認識する。楽譜認識部２１４が楽譜を認識する際に、楽譜の画像データのサイズや解像度などの画質によって認識結果の精度に差がでてしまう。たとえば、画像データのサイズが小さいと認識できなかったり、間違った認識をすることが多くなったりする。楽譜認識部２１４の画像認識の処理能力に応じて、認識に必要な画像の画質などの条件は、予め決まっている。したがって、アプリケーションサーバ２００における認識処理能力に応じて、携帯端末１００で画像の最適化処理が行えるように、アプリケーションサーバ２００では、携帯端末１００に事前にアプリケーションサーバ２００の認識処理能力を認識条件として携帯端末１００に通知しておく。このようにすることで、本実施形態では、楽譜画像の認識精度を高品質に保つことができる。
【００７３】
本実施形態では、携帯端末１００が画像処理を行うためのプログラム（ユーザインタフェースプログラム）に、この認識条件、たとえば、画像データ内の楽譜の五線譜の最小線間ドット数ＫＲなどを記述することで、携帯端末１００に通知することができる。また、アプリケーションサーバ２００は、もし、アプリケーションサーバ２００で認識の失敗が続くような場合に、画像データの最適化処理時に使用する認識条件を変更する指示を携帯端末１００に第１ネットワーク３を介して通知する通知部（不図示）を有するようにすることもできる。
【００７４】
データベース通信部２１８は、第２ネットワーク５（図１）に接続し、楽曲データベースサーバ３００と通信し、楽曲データベースサーバ３００と各種データをやり取りする。
【００７５】
検索処理部２１６は、楽譜認識部２１４が認識した楽曲の音高および音長を元に、検索クエリを生成する。そして、検索処理部２１６は、データベース通信部２１８を駆動して、生成した検索クエリを楽曲データベースサーバ３００に送信して問い合わせ、楽曲データベースサーバ３００に検索クエリに基づく楽曲データの検索処理を行わせる。検索処理部２１６は、楽曲データベースサーバ３００から検索クエリに対する検索結果として、対応する楽曲データをデータベース通信部２１８により受信する。
【００７６】
ユーザワークメモリ２２０は、楽譜画像データ記憶部２２２と、ＭＩＤＩ記憶部２２４と、作業領域部２２６と、を有する。ユーザワークメモリ２２０は、ユーザプロセス部２１０の各機能モジュールからアクセス可能な作業領域である。図３ではユーザプロセス部２１０とユーザワークメモリ２２０は説明の簡略化のために一つのみ示されているが、実際には、複数のユーザが本システムのサービスを同時に利用した場合には、複数のユーザの複数のユーザプロセス部２１０が起動され、複数のユーザプロセス部２１０が利用する複数のユーザワークメモリ２２０がそれぞれユーザ毎に確保される。
【００７７】
楽譜画像データ記憶部２２２は、携帯端末１００から受信した楽譜の画像データを格納する。ＭＩＤＩ記憶部２２４は、楽曲データベースサーバ３００から受信した演奏データを格納する。作業領域部２２６は、ユーザプロセス部２１０が動作および制御する際に使用される作業領域であり、たとえば、各種動作制御の変数群や、検索処理部２１６で生成された検索クエリ等を保持する。
【００７８】
次に、本実施形態の演奏データ提供システム１の楽曲データベースサーバ３００の構成について説明する。
図４は、本実施形態の演奏データ提供システム１の楽曲データベースサーバ３００の構成を示す機能ブロック図である。
楽曲データベースサーバ３００は、複数の楽曲データ３１２を格納する楽曲データベース３１０に接続され、通信インタフェース部（図中、「Ｉ／Ｆ」と示す）３０２と、制御部３０４と、検索条件格納部３０６と、検索結果格納部３０８と、を備える。
【００７９】
本実施形態では、楽曲データベース３１０は、楽曲データベースサーバ３００に直接接続される構成としているが、これに限定されない。楽曲データベース３１０は、楽曲データベースサーバ３００に含まれてもよいし、ＬＡＮやイントラネットなどのネットワークを介して楽曲データベースサーバ３００またはアプリケーションサーバ２００に接続されてもよい。
【００８０】
通信インタフェース部３０２は、第２ネットワーク５（図１）に接続し、アプリケーションサーバ２００と通信し、各種データをやり取りする。
制御部３０４は、楽曲データベースサーバ３００の全体の制御を担う。制御部３０４は、アプリケーションサーバ２００から検索要求を受け付け、楽曲データベース３１０から検索クエリに合致する楽曲データを検索し、検索結果をアプリケーションサーバ２００に通信インタフェース部３０２を介して返信する。
【００８１】
演奏データは、楽曲データベース３１０に多数の楽曲データ３１２として保持されており、検索キーとなる音高や音長のほか、演奏のニュアンスを保持する発音タイミングや強弱のデータを保持している。検索が行われるとき、音高は完全一致を必要とするが、音長に関してはミリ秒などの絶対値ではなく、たとえば、四分音符を１とした量子化された値で保持されていて検索を容易なものとすることができる。
【００８２】
検索条件格納部３０６は、通信インタフェース部３０２によりアプリケーションサーバ２００から受信した検索クエリを問い合わせ毎に格納する。検索結果格納部３０８は、楽曲データベース３１０から得られた検索結果を問い合わせ毎に検索クエリと対応付けて格納する。
【００８３】
そして、制御部３０４は、検索条件格納部３０６に格納された検索結果を、問い合わせに対応する返信として、通信インタフェース部３０２によりアプリケーションサーバ２００に第２ネットワーク５を介して送信する。このとき、どの問い合わせ（検索クエリ）に対応する返信であるかの識別情報なども含めてアプリケーションサーバ２００に送信する。
【００８４】
このように構成された本実施形態の演奏データ提供システム１の動作について、以下に説明する。
図８は、本実施形態の演奏データ提供システム１の動作の一例を示すフローチャートである。以下、図１乃至図３、および図８を用いて説明する。
図８の左側のフローチャートは、携帯端末１００における本実施形態の演奏データ提供システム１の起動処理の手順を示している。そして、図８の右側のフローチャートは、アプリケーションサーバ２００における本実施形態の演奏データ提供システム１の携帯端末１００の要求に応じた起動処理の手順を示している。
【００８５】
まず、ユーザが、携帯端末１００を操作して本システムを起動する（ステップＳ１０１）。具体的には、携帯端末１００で利用可能なアプリケーションプログラムのメニュー画面などで演奏指導プログラムを選択して起動する。
【００８６】
演奏指導プログラムが選択され、起動指示を受け付けると、携帯端末１００は、通信機能部１３０のネットワーク通信部１３４（図２）を用いて、第１ネットワーク３（図１）を介してアプリケーションサーバ２００に接続する（ステップＳ１０３）。そして、アプリケーションサーバ２００に対し、上述した演奏データ検索プログラムの起動を要求する（ステップＳ１０５）。
【００８７】
なお、上記ステップＳ１０１〜ステップＳ１０５の手順は、これらに限定されるものではなく、携帯端末１００は、先に第１ネットワーク３を介してアプリケーションサーバ２００に接続して（ステップＳ１０３）、演奏データ提供システム１のサービスを提供するサイトにアクセスし、サイトで提供されているプログラムの選択画面から起動するプログラムを選択し（ステップＳ１０１）、起動の要求を行う（ステップＳ１０５）こともできる。
【００８８】
アプリケーションサーバ２００では、リソース管理部２０４（図３）が、第１ネットワーク３を介して通信インタフェース部２０２が受信した、アプリケーションサーバ２００に接続した携帯端末１００からの演奏データ検索プログラムの起動要求を受け付ける（ステップＳ２０１）。ここで、携帯端末１００のユーザの本サービス利用のためのユーザ登録およびユーザ認証処理は、事前に済んでいるものとする。
【００８９】
そして、演奏データ検索プログラムの起動要求に呼応して、リソース管理部２０４が、演奏データ検索プログラムの起動要求を受け付けたユーザのユーザプロセスを生成して起動し、ユーザのユーザプロセス部２１０（図３）が生成される（ステップＳ２０３）。このとき、対応するユーザワークメモリ２２０（図３）の領域もメモリ上に確保される。
【００９０】
ユーザプロセスの生成および起動に成功した場合（ステップＳ２０５のＹＥＳ）、起動したユーザプロセス部２１０から携帯端末１００に、携帯端末１００で動作する演奏データ検索プログラムのユーザインタフェースプログラムが通信インタフェース部２０２により送信される（ステップＳ２０９）。一方、ユーザプロセスの起動が成功しない場合は（ステップＳ２０５のＮＯ）、リソース管理部２０４が携帯端末１００に起動失敗（ＮＧ）のステータスを、通信インタフェース部２０２を介して返す（ステップＳ２０７）。以上で、アプリケーションサーバ２００では、起動処理を終了する。
【００９１】
携帯端末１００では、通信機能部１３０のネットワーク通信部１３４がアプリケーションサーバ２００からユーザインタフェースプログラム（図中、「ユーザＩ／Ｆプログラム」と示す）を第１ネットワーク３を介して受信し、アプリケーションメモリ１２０の演奏指導プログラム記憶部１２２（図２）に記憶する（ステップＳ１０７）。また、アプリケーションサーバ２００から起動失敗のステータスが送信された場合は、ここで、そのステータスを受信する。
【００９２】
そして、携帯端末１００は、ユーザインタフェースプログラムを受信に成功した場合は（ステップＳ１０９のＹＥＳ）、そのプログラムをＣＰＵが起動する（ステップＳ１１１）。一方、プログラムの受信に成功しなかった場合、または、ステップＳ１０７でアプリケーションサーバ２００から起動失敗のステータスを受信した場合は（ステップＳ１０９のＮＯ）、表示部がプログラムの起動失敗をユーザに通知するメッセージを画面表示して処理を終了する（ステップＳ１１３）。以上で、本実施形態の演奏データ提供システム１のアプリケーションプログラム（演奏指導プログラム）の起動処理が終了する。
【００９３】
なお、ステップＳ１１１のプログラムの起動は、自動的に行ってもよいし、表示部がユーザに起動指示を仰ぐ画面を表示し、操作部がユーザの指示を受け付けてから起動してもよい。また、ステップＳ１０７では、プログラムまたはステータスを受信するものとし、受信後、または、受信時にタイムアウトなどによるエラー検出後に、ステップＳ１０９に進むものとする。
【００９４】
次に、本実施形態の演奏データ提供システム１において、このようにしてユーザインタフェースプログラムが起動された携帯端末１００を用いて、楽譜から演奏データを入手し、電子楽器４００に模範演奏させる手順について、以下に説明する。
図９は、本実施形態の演奏データ提供システム１における携帯端末１００のユーザインタフェースプログラムの処理手順を示すフローチャートである。以下、図１、図２、および図９を用いて説明する。
【００９５】
まず、携帯端末１００では、カメラ部１０２（図２）が起動され、楽譜の撮影存在をユーザに促すメッセージが画面に表示される（ステップＳ１２１）。ユーザは、メッセージに従って、カメラ部１０２を操作して、楽譜の中で、演奏方法を知りたい箇所、すなわち、模範演奏指導の演奏データが欲しい箇所を撮影する。撮影指示は、携帯端末１００の操作部（不図示）を操作して行うことができ、携帯端末１００では、操作指示を受け付け、カメラ部１０２が楽譜の一部分を撮影し、楽譜の画像データを生成し、画像記憶部１０４（図２）に格納する（ステップＳ１２３）。
【００９６】
そして、携帯端末１００の画像処理部１１０（図２）が、画像記憶部１０４に格納された楽譜の画像データを画像処理して、アプリケーションサーバ２００（図１）に送信する画像データを作成するための送信画像データ生成処理を実行する（ステップＳ１２５）。このステップＳ１２５における、画像データを、アプリケーションサーバ２００が楽譜の認識に必要十分な画質に最適化する処理を行う送信画像データ生成処理の手順については、さらに後で詳細に説明する。
【００９７】
そして、ステップＳ１２５で最適化された画像データを、携帯端末１００の通信機能部１３０のネットワーク通信部１３４（図２）が、第１ネットワーク３（図１）を介してアプリケーションサーバ２００に送信する（ステップＳ１２７）。
【００９８】
後述するように、アプリケーションサーバ２００が、画像データから楽譜を認識する処理と楽譜に対応する楽曲データの検索処理を行った後、携帯端末１００にアプリケーションサーバ２００から第１ネットワーク３を介して演奏データを含む検索結果が送信される。携帯端末１００の通信機能部１３０のネットワーク通信部１３４が、第１ネットワーク３を介してアプリケーションサーバ２００から演奏データを含む検索結果を受信する（ステップＳ１２９）。
【００９９】
携帯端末１００において、検索結果の受信に成功し、受信した検索結果に少なくとも一つの演奏データが含まれる場合は（ステップＳ１３１のＹＥＳ）、携帯端末１００の表示部（不図示）が、電子楽器４００（図１）に送信する演奏データをユーザに選択するよう促すメッセージを画面表示し、携帯端末１００の操作部が、電子楽器４００に送信する演奏データの選択を受け付ける。そして、携帯端末１００の通信機能部１３０の赤外線通信部１３２（図２）が、選択された演奏データを電子ピアノ等の電子楽器４００に赤外線通信で転送する（ステップＳ１３３）。
【０１００】
電子楽器４００では、携帯端末１００から送信された演奏データを受信し、受信した演奏データに従い模範演奏の自動演奏を行う。このようにして、電子楽器４００が演奏した音楽を聴くことで、ユーザは演奏方法を理解することができるようになる。
【０１０１】
一方、検索結果の受信に成功しなかった場合や検索結果に演奏データが含まれなかった場合（ステップＳ１３１のＮＯ）、携帯端末１００の表示部が、受信の失敗、または楽譜に該当する演奏データがみつからなかったことを示すメッセージを画面表示して、ユーザに通知する（ステップＳ１３５）。以上で、携帯端末１００における楽譜から演奏データを入手して模範演奏指導を受けるための一連の動作が終了する。この後、再びステップＳ１２１に戻り、別の楽譜の撮影を行い、対応する演奏データを得ることももちろん可能である。
【０１０２】
次に、図９のフローチャートのステップＳ１２５の送信画像データ生成処理の詳細手順について説明する。図１０は、図９のフローチャートのステップＳ１２５の送信画像データ生成処理の詳細手順を示すフローチャートである。以下、図２、図５、図６および図１０を用いて説明する。
まず、携帯端末１００（図２）において、画像処理部１１０（図２）が、画像記憶部１０４（図２）にアクセスし、格納されている画像データを読み出し、画像の傾きを検出し、回転させることで画像の傾きの修正を行う（ステップＳ１４１）。
【０１０３】
上述したように、携帯端末１００の画像処理部１１０の密度測定部１１４（図２）の機能を用いることで、画像の傾きを検出することができる。
図５に、この機能を利用して楽譜の傾きを補正する様子を例示した。図５（ａ）に示すように、楽譜が傾いている撮影画像５０２では、グラフ５０４に示すように、ドット濃度を水平方向に加算すると濃度の変化が全体としてほぼフラットになる。一方、図５（ｂ）に示すように、楽譜が傾いていない撮影画像５１２の場合、または、傾いていた画像が水平に補正されると、グラフ５１４に示すように、五線譜にあたる部分の濃度が全体の中で比較的高くなるため、濃度の変化（高低差）が大きくなる。
【０１０４】
携帯端末１００では、画像処理部１１０が画像を回転しながら、濃度の変化（差）が最も大きくなる角度を探すことで傾きの補正を行うことができる。
この処理は既存の技術で達成できるものであり、本発明の本質に関わらないので詳細な説明は省略する。また、楽譜の画像の補正処理は、これに限定されるものではなく、五線譜の最小線間ドット数ＫＲを特定できるように、画像データを補正できれば他の方法を用いても構わない。
【０１０５】
図１０に戻り、次に、携帯端末１００において、画像処理部１１０がこの濃度の変化の値を利用して、五線譜の間隔を調べる（ステップＳ１４３）。
本実施形態において、携帯端末１００のカメラ部１０２（図２）のカメラの解像度は一定とすると、ユーザが撮影した演奏方法を知りたい部分が小さければ、カメラを近づけて撮影することになるために相対的に五線譜の間隔は広がる。一方、ユーザが長めの範囲の演奏方法を知りたい場合は、撮影範囲は大きくなり、カメラを離して撮影することになるため、相対的に五線譜の間隔は狭まる。
【０１０６】
図６（ａ）は、カメラを近づけて撮影した１小節分の楽譜の撮影範囲５２０の例を表しており、図６（ｂ）は、カメラを離して撮影した２小節分の楽譜の撮影範囲５３０の例を表している。それぞれの場合の撮影後の画像においては、これら図６（ａ）と図６（ｂ）の各画像の横方向の幅Ｗ１＝Ｗ２、および縦方向の幅Ｈ１＝Ｈ２であって、かつ、図６（ａ）と図６（ｂ）の各画像の五線譜の間隔Ｄ１＞Ｄ２という関係になっている。
【０１０７】
たとえば、図６（ａ）の縦方向の幅Ｈ１＝１０００ドットであった場合、図６（ａ）の画像の五線譜の間隔Ｄ１は１００ドットであり、一方、図６（ｂ）の画像の五線譜の間隔Ｄ２は７０ドット程度になる。
アプリケーションサーバ２００における楽譜の認識には、五線譜の間隔Ｄｎが２０ドットもあれば十分であるため、図６（ａ）の画像は５分の１に縮小しても楽譜の認識には支障がない。
【０１０８】
図１０に戻り、携帯端末１００の画像処理部１１０の縮小部１１２（図２）が、傾き補正後の濃度分布測定値を用いてこの五線譜の間隔Ｄを調べ、縮小率ＳＲを以下の式（１）を用いて算出する（ステップＳ１４５）。
ＳＲ＝ＫＲ／Ｄ          ・・・式（１）
ここで、たとえば、五線譜の間隔Ｄ＝１００、認識で必要とされる五線譜の最小線間ドット数ＫＲ＝２０ならば縮小率ＳＲ＝０．２となる。
【０１０９】
画像処理部１１０の縮小部１１２が、この値を以下の式（２）および式（３）を使用して画像を縮小する（ステップＳ１４７）。
ＨＲ＝Ｈ＊ＳＲ          ・・・式（２）
ＷＲ＝Ｗ＊ＳＲ          ・・・式（３）
たとえば、画像の縦方向の幅Ｈ＝１０００であったなら、縮小後の画像の縦方向の幅ＨＲ＝１０００＊０．２＝２００ドットに縮小する。そして、横方向の倍率もそれに合わせ、縮小後の画像の横方向の幅ＷＲに縮小する。
これにより、たとえば、画像の面積は２５分の１に縮小され、データ量もそれに比例して減少する。
【０１１０】
さらに、画像処理部１１０の減色部１１５（図２）および圧縮部１１６（図２）が、画像から色データを除去して圧縮する（ステップＳ１４９）。たとえば、白黒の圧縮画像データにすることで、色差データが不要になるのでさらにデータ量を半減することが可能となる。
画像の圧縮自体は特定の形式に縛られる必要はなく、たとえば、ＪＰＥＧ形式を利用すればよい。ステップＳ１４９の後、図９のフローに戻る。
【０１１１】
以上のように最適化処理された圧縮画像データは、アプリケーションサーバ２００への送信画像データとして画像記憶部１０４（図２）に格納される。また、画像記憶部１０４に画像データを格納するとき、撮影画像と送信用画像は、異なるファイル名にしたり、他のフォルダに格納したりして、両方の画像を画像記憶部１０４に保存してもよいし、補正後の送信用画像のみを残すようにして、撮影画像は削除または撮影画像に補正後の画像を上書き更新してもよい。また、楽譜に対応する演奏データがアプリケーションサーバ２００から転送された後、自動的または手動でこれらの画像は、画像記憶部１０４から削除されてもよい。
【０１１２】
画像処理部１１０により生成された送信用画像データは、アプリケーションサーバ２００における楽譜の認識処理に必要十分な画質に最適化されている。これにより、アプリケーションサーバ２００に画像データを送信する際の通信データ量を削減することができ、通信にかかる時間を短縮でき、通信処理の負荷を低減できる。
【０１１３】
なお、図１０の送信画像データ生成処理を行うユーザインタフェースプログラムは、上述したように、アプリケーションサーバ２００から携帯端末１００に転送された後、携帯端末１００が実行するので、たとえば、アプリケーションサーバ２００が認識に必要とする最小線間ドット数ＫＲの値は、アプリケーションサーバ２００だけで認識条件として管理することができる。もし、アプリケーションサーバ２００の認識プログラムを改良した場合などには、携帯端末１００に送信するユーザインタフェースプログラムを変更することにより、改良された認識プログラムの認識条件をプログラム中に記述して携帯端末１００に通知することで、対応することができる。このようにして、アプリケーションサーバ２００のメンテナンスだけで改良を行うことができる。
【０１１４】
次に、アプリケーションサーバ２００において、携帯端末１００から送信された楽譜画像から演奏データを取得する処理の手順について、以下に説明する。図１１は、本実施形態の演奏データ提供システム１のアプリケーションサーバ２００の演奏データ検索処理の手順を示すフローチャートである。以下、図１、図３、図７および図１１を用いて説明する。
【０１１５】
まず、アプリケーションサーバ２００のユーザプロセスとして起動された演奏データ検索プログラムにより、携帯端末１００（図１）のユーザのユーザプロセス部２１０（図３）が生成され、対応するユーザワークメモリ２２０（図３）の領域がメモリ上に確保される。そして、携帯端末１００のユーザプロセス部２１０に対応するユーザワークメモリ２２０の楽譜画像データ記憶部２２２（図３）に、携帯端末１００から転送された画像を格納する（ステップＳ２１１）。そして、ユーザプロセス部２１０の楽譜認識部２１４（図３）が、その画像を楽譜認識して音高（ドレミまたはＣＤＥ）、音長データ（４分、８分、または付点等）に変換する（ステップＳ２１３）。
なお、この変換処理自体は既存のものであるので詳細な説明は省略する。
【０１１６】
そして、ユーザプロセス部２１０の検索処理部２１６（図３）が、この音高および音長データを用いて、楽曲データベースサーバ３００（図１）に演奏データを問い合わせる処理を行う（ステップＳ２１５）。この処理については、図１２を用いて、後述する。
【０１１７】
楽曲データベースサーバ３００への問い合わせの結果、演奏データがあった場合は（ステップＳ２１７のＹＥＳ）、検索処理部２１６がユーザワークメモリ２２０のＭＩＤＩ記憶部２２４（図３）に格納されたデータを、通信インタフェース部２０２を介して携帯端末１００に送信する（ステップＳ２１９）。一方、演奏データが無い場合は（ステップＳ２１７のＮＯ）、検索処理部２１６がその旨のメッセージを、通信インタフェース部２０２を介して携帯端末１００に送信して通知する（ステップＳ２２１）。このステップＳ２２１の動作は、携帯端末１００に返信するデータ（後述）の先頭のタイトルをＮＵＬＬとして送信することで代替してもよい。
【０１１８】
ステップＳ２１９またはステップＳ２２１での送信処理が終了したら、携帯端末１００のユーザに対応するアプリケーションサーバ２００のユーザプロセス部２１０は不要となるのでサーバから削除する（消滅させる）（ステップＳ２２３）。さらに、ユーザのユーザワークメモリ２２０の領域もメモリから削除して解放する。これにより、アプリケーションサーバ２００のリソースを空けることができ、サーバ側の処理は終了となる。
【０１１９】
携帯端末１００では、受信した演奏データが複数あった場合、上述したように、ユーザが選択して電子楽器４００に送信することができ、自分が望むニュアンスの演奏データを得ることができるので、検索結果が複数あるのは好ましい結果である。
【０１２０】
なお、電子楽器４００に送信する前に、携帯端末１００内のＭＩＤＩデータ再生機能で聞き比べてから電子楽器４００に送信する仕様も考えられるが、本発明の本質には関わらないので説明は省略する。
【０１２１】
次に、アプリケーションサーバ２００における、図１１のステップＳ２１５の楽曲データベースサーバ３００への問い合わせ処理の手順について説明する。図１２は、本実施形態の演奏データ提供システム１の楽曲データベースサーバ３００への問い合わせ処理の手順を示すフローチャートである。以下、図１、図３、および図１２を用いて説明する。
【０１２２】
まず、アプリケーションサーバ２００のユーザプロセス部２１０（図３）において、検索処理部２１６（図３）が、ステップＳ２１３で生成された音高および音長データを元に、楽曲データベースサーバ３００（図１）への問い合わせクエリを展開する（ステップＳ２３１）。そして、ユーザプロセス部２１０のデータベース通信部２１８（図３）が、楽曲データベースサーバ３００に第２ネットワーク５（図１）を介して接続し、生成された問い合わせクエリを使用して楽曲データベースサーバ３００に楽曲データの問い合わせを実行する（ステップＳ２３３）。データベースサーバ３００でのマッチングの動作は、既存の技術で実現でき、本発明の本質に関わらないので、詳細な説明は省略する。
【０１２３】
楽曲データベースサーバ３００への問い合わせの結果、該当する楽曲データがある場合は（ステップＳ２３５のＹＥＳ）、ユーザプロセス部２１０の検索処理部２１６が、楽曲データベース３１０（図１）からデータベース通信部２１８が受信した楽曲データを取得するとともに、取得した楽曲データ数を取得する（ステップＳ２３７）。取得した楽曲データは、ユーザワークメモリ２２０の作業領域部２２６（図３）に格納される（ステップＳ２３９）。
そして、ユーザプロセス部２１０の検索処理部２１６が、取得した楽曲データの中から、認識に指定された楽譜に対応する範囲の部分を模範演奏データとして抜き出す。
この抜き出す処理を行うとき、該当するデータの前または後数小節、たとえば、２小節を追加して抜き出してもよい。このようにすると、ユーザが演奏のつながりを理解しやすくなるので、模範演奏データとしてより優秀なものにすることができる。
【０１２４】
一般的に、ＭＩＤＩには、テンポ、楽器の指定、拍子の指定などを含むヘッダ部分と、楽曲データ部分とがあるので、ユーザプロセス部２１０の検索処理部２１６が、楽曲データから認識範囲に対応して抜き出した部分とヘッダ部分を組み合わせて再構成する（ステップＳ２４１）。そして、図７（ａ）に例示したようなＭＩＤＩデータ５４０の書式を整え、それにタイトル、演奏者やアレンジャー名などの補足説明、ＭＩＤＩデータ長といった補足データを付加してアプリケーションサーバ２００内のユーザワークメモリ２２０のＭＩＤＩ記憶部２２４に格納する（ステップＳ２４３）。
【０１２５】
もし、複数の演奏データが検索により該当し、再構成されていないデータがある場合は（ステップＳ２４５のＮＯ）、検索処理部２１６が続けてデータを再構成してユーザワークメモリ２２０のＭＩＤＩ記憶部２２４に格納する（ステップＳ２３９〜ステップＳ２４３）。一方、最終の演奏データの再構成が終了していれば（ステップＳ２４５のＹＥＳ）、検索処理部２１６が、データの最後（次の曲のタイトルデータ位置）に、ＮＵＬＬデータ（文字ではない、数値としての０）を追加して（ステップＳ２４７）、ユーザワークメモリ２２０のＭＩＤＩ記憶部２２４に格納し、本処理を完了する。
なお、ステップＳ２３５で、該当する楽曲データがなかった場合（ステップＳ２３５のＮＯ）、ステップＳ２４７に進む。ステップＳ２４７の後、図１１のフローに戻る。
【０１２６】
このときのデータ例を図７（ｂ）に示す。たとえば、データ５５０を受け取った携帯端末１００で表示部に曲目リスト表示を行う場合は、タイトルや補足説明の文字列を表示した後に、図７（ｂ）の矢印Ｒで示すように演奏データ長に従って演奏データをスキップすることで次のタイトルにアクセスできる。
もし、タイトルがＮＵＬＬデータであった場合はそこでデータは終了である。
そのようにして、携帯端末１００の表示部に表示された曲目リストの中からユーザは電子楽器４００に自動演奏させたい楽曲を選択して、電子楽器４００に転送することで、電子楽器４００に自動演奏させることができる。
【０１２７】
上述したように、本実施形態の演奏データ提供方法は、携帯端末１００が、電子楽器に自動演奏させたい楽譜を、カメラ部１０２（図２）を用いて撮影し、得られた画像データを、アプリケーションサーバ２００が楽譜を認識可能な画質に最適化し（図９のステップＳ１２５の送信画像データ生成処理）、携帯端末１００が、最適化された楽譜の画像データをアプリケーションサーバ２００に第１ネットワーク３（図１）を介して送信し（図９のステップＳ１２７）、楽譜に対応する演奏データの検索を指示し、携帯端末１００からの指示に呼応して、アプリケーションサーバ２００が楽曲データベースから楽譜に対応する演奏データを検索し（図１１のステップＳ２１５のデータベースサーバ問い合わせ処理）、アプリケーションサーバ２００が、演奏データを携帯端末１００に第１ネットワーク３を介して送信し（図１１のステップＳ２１９）、携帯端末１００が、アプリケーションサーバ２００に送信した画像データの楽譜に対応する演奏データをアプリケーションサーバ２００から第１ネットワーク３を介して受信する（図９のステップＳ１２９）。
【０１２８】
以上説明したように、本発明によれば、以下に記載するような効果を奏する。
第１の効果は、携帯端末１００に搭載された画像処理機能を利用して、アプリケーションサーバ２００に送信前に画像を最適化しているので、画像の認識精度は維持しながら、携帯端末１００とアプリケーションサーバ２００との間の通信データ量を削減でき、携帯端末１００における本発明の演奏データ提供システム１の軽快な動作を実現できることである。
【０１２９】
第２の効果は、システムを処理の負荷と装置の処理能力に合わせて端末とサーバに分散させて構成しているので、操作端末を小型化でき、練習中にその場で目的の場所の模範演奏データを取得することができることである。すなわち、高い処理能力を持つサーバに、高負荷な楽譜の認識処理と楽曲データの検索処理を担わせることで、端末の処理の負荷を低減することができる。
第３の効果は、楽曲データベース３１０を独立した要素で構築しているので、ユーザのソフト（たとえば、ユーザインフォーションプログラム）やアプリケーションサーバ２００の動作と独立して任意のタイミングで演奏データの追加ができることである。
【０１３０】
（第２の実施の形態）
本実施形態の演奏データ提供システム１は、上記実施の形態とは、楽譜から得られるデータを転調して楽曲データを検索することで、ヒット効率を向上させる点で相違する。
本実施形態の演奏データ提供システム１は、上記実施形態と同じ、携帯端末１００を備えるとともに、アプリケーションサーバ６００をさらに備える。また、アプリケーションサーバ６００は、上記実施形態と同様に、楽曲データベースサーバ３００に第２ネットワーク５を介して接続される。
【０１３１】
練習用の楽譜というものは演奏を簡易にするために（たとえば、変ホ長調をハ長調に）移調されているものが多い。これは、初心者は♯（シャープ）や♭（フラット）が多く付いた楽譜を嫌うため、ハ長調などの♯や♭が付かない調に原曲から転調してある可能性があるためである。そのため、ユーザの手元にある練習用の楽譜が原曲通りの調で記載されている保証がないという特徴があり、その手元にある楽譜のまま、検索しても求める演奏データを見つけることができないことがあることに対応するものである。
【０１３２】
図１３は、本実施形態の演奏データ提供システム１のアプリケーションサーバ６００の構成を示す機能ブロック図である。
本実施形態のアプリケーションサーバ６００は、図３の上記実施形態のアプリケーションサーバ２００と同じ、通信インタフェース部２０２と、リソース管理部２０４と、プログラム記憶部２０６と、ユーザワークメモリ２２０と、を備えるとともに、ユーザプロセス部６１０をさらに備える。
ユーザプロセス部６１０は、図３の上記実施形態のアプリケーションサーバ２００のユーザプロセス部２１０と同じ、楽譜認識部２１４と、検索処理部２１６と、データベース通信部２１８と、を有するとともに、さらに、転調処理部６０２を有する。
【０１３３】
転調処理部６０２は、上記実施形態の演奏データ検索プログラムに機能モジュールとして追加することで実現される。転調処理部６０２は、楽譜認識部２１４により認識された音高データを所定の音階幅で転調し、そのデータを元に、楽曲データベースサーバ３００に問い合わせを行うためのクエリを検索処理部２１６に生成させる。
転調処理部６０２による転調処理は、たとえば、半音ずつ順に、数オクターブ分にわたって繰り返し転調することで、様々な調の楽曲の楽譜の音高データを生成することができる。
さらに、その結果、楽曲データベースサーバ３００から得られた楽曲データを、転調前の元の音高データに戻すように逆転調して、検索処理部２１６に受け渡し、携帯端末１００に送信する演奏データを生成させる。
【０１３４】
このように構成された本実施形態の演奏データ提供システム１の動作について、以下に説明する。図１４は、本実施形態の演奏データ提供システム１のアプリケーションサーバ６００の動作の一例を示すフローチャートである。
【０１３５】
この図１４のフローチャートは、上記実施形態の図１２のアプリケーションサーバ２００における楽曲データベース３１０への問い合わせ処理の手順を示したフローチャートに換わるものである。それ以外の他のフローチャートを用いて説明した処理については、上記実施形態と同様とすることができる。
【０１３６】
図１４において、アプリケーションサーバ６００の処理手順は、図１２のフローチャートと同じステップＳ２３１〜ステップＳ２４７を有するとともに、さらに、転調処理および逆転調処理を行うステップＳ６０１〜ステップＳ６１１を有する。以下、図１３および図１４を用いて説明する。
【０１３７】
本実施形態のアプリケーションサーバ６００（図１３）の処理手順は、認識して得られた音高データを、楽曲データベースサーバ３００（図１３）への問い合わせ前にまず１オクターブ下げてクエリを生成して問い合わせを行い、その後、音高データを半音ずつ上げながら同様の問い合わせを繰り返す。
【０１３８】
具体的には、まず、転調処理部６０２（図１３）が、楽譜認識部２１４（図１３）により得られた音高データを、１オクターブ下げる（ステップＳ６０１）。そして、転調処理部６０２が、この音高データを下げた量の指標としてシフト量に−１２を保持する（ステップＳ６０３）。これは、半音を１として１オクターブ下げたことを表す数である。なお、シフト量はユーザワークメモリ２２０の作業領域部２２６（図１３）に一時的に記憶される。
【０１３９】
そして、検索処理部２１６（図１３）が、ステップＳ６０３で補正された音高データと音長データを用いてクエリを生成して（ステップＳ２３１）、データベースサーバ３００に問い合わせを行う（ステップＳ２３３）。
そして、該当するデータが見つかった場合は（ステップＳ２３５のＹＥＳ）、ステップＳ２３７、ステップＳ２３９の後、転調処理部６０２がシフト量の正負を逆転した値で、得られた演奏データの音高を変化させて転調前の調に戻す、すなわち、逆転調する（ステップＳ６０５）。このようにして、演奏データをもとの楽譜の音高に合わせ、あたかも楽譜に該当する演奏データが存在していたかのように動作することが可能となる。
【０１４０】
一方、該当するデータが見つからなかった場合（ステップＳ２３５のＮＯ）または、検索の結果を受けて一連の動作を行った後、すべての演奏データの再構成が終了していれば（ステップＳ２４５のＹＥＳ）、転調処理部６０２が１オクターブ下げてあった音高データを半音上げ（ステップＳ６０７）、ユーザワークメモリ２２０の作業領域部２２６（図１３）に記憶していたシフト量に１を加える（ステップＳ６０９）。
【０１４１】
ステップＳ６０９で算出されたシフト量が１２（原音から１オクターブ上）まで達していなければ（ステップＳ６１１のＮＯ）、ステップＳ２３１に移行して、再度、ステップＳ６０７で半音転調されたデータを用いて問い合わせを行う処理を行う。一方、シフト量が１２に達していたら（ステップＳ６１１のＹＥＳ）、ステップＳ２４７の後、本処理が終了し、図１１のフローに戻る。
その他の動作は図１２の上記実施形態と同様であるので、詳細な説明は省略する。
【０１４２】
上記の例では、ステップＳ６０１で１オクターブ下げて処理しているが、これは一例であり、特に限定されるものではない。半オクターブ、数オクターブ下げてもよい。また、シフト量も１２までとしたが、これに限定されるものではなく、転調させたい階調数分シフトさせればよい。また、ステップＳ６０１で元の音高データを下げて、ステップＳ６０７で音高データを半音上げているが、これに限定されない。たとえば、ステップＳ６０１で元の音高データを１オクターブ上げて、ステップＳ６０７で音高データを半音下げる構成とすることもできる。
【０１４３】
本実施形態の上記処理は、練習用の楽譜が往々にして初心者にも読みやすいようにハ長調やイ短調などに原曲から転調されていることがある場合に対応するものである。このように、本実施形態の演奏データ提供システム１によれば、上記実施形態の効果を奏するとともに、演奏データ検索プログラムの機能モジュールとしてユーザプロセス部２１０に転調処理部６０２を設けることで、楽譜を認識した音高データを、たとえば、自動的に半音ずつ移調した後に、その音高データを用いて検索を行うことができるので、本来の調と違った楽譜であっても検索でヒットすることとなる。これにより、原曲から転調された楽譜であっても模範演奏データを入手する可能性を高めることができる。
【０１４４】
また、検索でヒットする楽曲数が多くなることで、模範演奏の選択肢を広くすることができるようになるという効果が得られる。ユーザは様々な模範演奏の中から自分の好みの演奏方法を選ぶことができるようになる。そして、検索して得られた演奏データを、再度、転調し直すことで認識に用いた楽譜の調と合致する音高データになるようにすることで、楽譜そのままの演奏データを取得することが可能となる。
【０１４５】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、上記実施形態の演奏データ提供システム１のアプリケーションサーバ６００では、転調処理部６０２は、検索処理部２１６で得られた演奏データの音高データを楽譜の調に合わせるための逆転調の処理を行い、逆転調の処理後の演奏データのみを検索結果としてユーザに提示し、得られた原曲の演奏データは検索結果としてユーザに提示しない構成としたが、これに限定されない。逆転調の処理後の演奏データとともに、検索処理部２１６で得られた原曲の演奏データも検索結果としてユーザに返信する構成としてもよい。
【０１４６】
その場合、原曲の楽曲と楽譜に対応した転調後の楽曲の区別は、携帯端末１００に返信する図７の演奏データの楽曲タイトルや補足説明でユーザが識別できるようにすればよい。携帯端末１００では、表示部が、検索結果を、楽曲のタイトルとともに補足説明も含む一覧表示を画面表示してユーザに提示することができる。ユーザは一覧表の中から楽曲を選択することができる。
【０１４７】
あるいは、画像処理部１１０において、画像データが、アプリケーションサーバ２００が楽譜を認識するのに必要なサイズや解像度の条件を満たさない場合、画像データの画質を上げるためにユーザにその旨を報知する報知部（不図示）を設けてもよい。報知部は、たとえば、ユーザにもう少し楽譜の撮影範囲を狭くするよう指示するメッセージを表示または音声出力などによりユーザに知らせることができる。また、カメラ部１０２の撮影画像サイズの設定を自動的に大きく変更したり、必要に応じて、フラッシュの駆動や、露出時間やシャッタ速度の設定などを自動的に変更する補正部（不図示）をさらに備えてもよい。
【０１４８】
また、上記実施形態のアプリケーションサーバ６００の転調処理部６０２において、元の楽譜の音高データを自動的に半音ずつ転調して検索する構成としたが、他の実施形態において、携帯端末１００の操作部がユーザが指定する調を受け付け、アプリケーションサーバ２００に指示して、転調処理部６０２が指定された調で転調する構成としてもよい。
【０１４９】
本発明の演奏データ提供システム１は、たとえば、携帯電話のクラウド機能サービス、楽曲データのネットワーク配信事業、電子楽器の機能展開、または楽器の演奏指導スクールなどに適用することができる。
【０１５０】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１５１】
本発明は以下の態様も含む。
（付記１）
携帯端末と、
前記携帯端末にネットワークを介して接続されるサーバと、を備え、
前記携帯端末は、
電子楽器に自動演奏させたい楽譜を撮影する撮影手段と、
前記撮影手段により撮影された前記楽譜の画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する画像処理手段と、
最適化された前記楽譜の前記画像データを前記サーバに前記ネットワークを介して送信し、前記楽譜に対応する演奏データの検索を指示する送信手段と、
前記検索の指示に呼応して前記サーバが楽曲データベースから検索した結果として、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する受信手段と、を備え、
前記携帯端末の前記画像処理手段は、
前記画像データの前記楽譜の五線譜間隔を認識し、
前記楽譜の前記五線譜間隔と前記サーバの前記楽譜の認識に必要な五線譜間隔に基づいて、前記画像データを縮小する倍率を算出し、
算出された前記倍率で前記画像データを縮小して最適化する演奏データ提供システム。
【０１５２】
（付記２）
付記１に記載された演奏データ提供システムにおいて、
前記サーバは、
前記楽譜の前記画像データを前記携帯端末から前記ネットワークを介して受信する受信手段と、
受信した前記画像データから前記楽譜を認識する認識手段と、
前記認識手段の認識結果に基づいて、前記楽曲データベースから前記楽譜に対応する演奏データを検索する検索手段と、
前記検索手段により検索された前記演奏データを前記携帯端末に前記ネットワークを介して送信する送信手段と、を備え、
前記サーバの前記検索手段は、
前記認識手段により認識された前記楽譜の音高および音長を元に、前記楽譜を検索するための検索クエリを生成する生成部と、
生成された前記検索クエリを用いて、前記楽曲データベースに前記楽譜に対応する前記演奏データを問い合わせる問い合わせ部と、
前記演奏データの問い合わせに対する前記楽曲データベースからの検索結果を受信する受信部と、を含む演奏データ提供システム。
【０１５３】
（付記３）
サーバにネットワークを介して接続する接続手段と、
電子楽器に自動演奏させたい楽譜を撮影する撮影手段と、
前記撮影手段により撮影された前記楽譜の画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する画像処理手段と、
最適化された前記楽譜の前記画像データを前記サーバに前記ネットワークを介して送信し、前記楽譜に対応する演奏データの検索を指示する送信手段と、
前記検索の指示に呼応して前記サーバが楽曲データベースから検索した結果として、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する受信手段と、を備え、
認識条件を含み、
前記画像処理手段は、前記サーバが前記楽譜を認識可能な画質に最適化するための認識条件に従って、撮影して得られた前記楽譜の前記画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する携帯端末。
【０１５４】
（付記４）
携帯端末から楽譜の画像データをネットワークを介して受信する受信手段と、
受信した前記画像データの前記楽譜に対応する演奏データを楽曲データベースから検索する検索手段と、
検索した前記演奏データを前記ネットワークを介して前記携帯端末に送信する送信手段と、
前記携帯端末から受信した前記画像データから前記楽譜を認識する認識手段と、
前記認識手段で、前記画像データから前記楽譜を認識するための認識条件を前記携帯端末に通知する通知手段と、を備えるサーバ。
【０１５５】
（付記５）
撮影装置を備えるコンピュータに、
サーバにネットワークを介して接続する手順、
電子楽器に自動演奏させたい楽譜を、前記撮影装置を用いてユーザに撮影を促す手順、
前記サーバが前記楽譜を認識可能な画質に最適化するための認識条件に従って、撮影して得られた前記楽譜の画像データを、前記サーバが前記楽譜を認識可能な画質に最適化する手順、
最適化された前記楽譜の前記画像データを前記サーバに前記ネットワークを介して送信し、前記楽譜に対応する前記演奏データの検索を指示する手順、
前記検索の指示に呼応して前記サーバが楽曲データベースから検索した結果として、前記サーバに送信した前記画像データの前記楽譜に対応する前記演奏データを前記サーバから前記ネットワークを介して受信する手順、を実行させるためのコンピュータプログラムであり、
前記コンピュータプログラムは、前記サーバから前記携帯端末に前記ネットワークを介して送信され、
前記サーバから受信した前記コンピュータプログラムを前記携帯端末が実行するコンピュータプログラム。
【０１５６】
（付記６）
携帯端末から楽譜の画像データをネットワークを介して受信する手順、
受信した前記画像データの前記楽譜に対応する演奏データを楽曲データベースから検索する手順、
検索した前記演奏データを前記ネットワークを介して前記携帯端末に送信する手順、
前記携帯端末から受信した前記画像データから前記楽譜を認識する手順、
前記認識する手順で、前記画像データから前記楽譜を認識するための認識条件を前記携帯端末に通知する手順、をコンピュータに実行させるためのコンピュータプログラム。
【符号の説明】
【０１５７】
１  演奏データ提供システム
３  第１ネットワーク
５  第２ネットワーク
７  無線通信
９  赤外線通信
１０  楽譜
１００  携帯端末
１０２  カメラ部
１０４  画像記憶部
１１０  画像処理部
１１２  縮小部
１１３  回転部
１１４  密度測定部
１１５  減色部
１１６  圧縮部
１２０  アプリケーションメモリ
１２２  演奏指導プログラム記憶部
１２４  制御データ記憶部
１２６  楽曲データ記憶部
１３０  通信機能部
１３２  赤外線通信部
１３４  ネットワーク通信部
２００  アプリケーションサーバ
２０２  通信インタフェース部
２０４  リソース管理部
２０６  プログラム記憶部
２１０  ユーザプロセス部
２１４  楽譜認識部
２１６  検索処理部
２１８  データベース通信部
２２０  ユーザワークメモリ
２２２  楽譜画像データ記憶部
２２４  ＭＩＤＩ記憶部
２２６  作業領域部
３００  楽曲データベースサーバ
３０２  通信インタフェース部
３０４  制御部
３０６  検索条件格納部
３０８  検索結果格納部
３１０  楽曲データベース
３１２  楽曲データ
４００  電子楽器
５２０  撮影範囲
５３０  撮影範囲
６００  アプリケーションサーバ
６０２  転調処理部
６１０  ユーザプロセス部
Ｄ  五線譜の間隔
ＫＲ  最小線間ドット数
ＳＲ  縮小率
【図１】
2012155219.tif 000003
【図２】
2012155219.tif 000004
【図３】
2012155219.tif 000005
【図４】
2012155219.tif 000006
【図５】
2012155219.tif 000007
【図６】
2012155219.tif 000008
【図７】
2012155219.tif 000009
【図８】
2012155219.tif 000010
【図９】
2012155219.tif 000011
【図１０】
2012155219.tif 000012
【図１１】
2012155219.tif 000013
【図１２】
2012155219.tif 000014
【図１３】
2012155219.tif 000015
【図１４】
2012155219.tif 000016