(57)【要約】  再生制御方法であって、コンテンツの一部に対応する画像を取得する第１のステップと、前記第１のステップにて取得された画像に対応する前記コンテンツを特定する第２のステップと、前記第２のステップにて特定された前記コンテンツの再生を再生装置に指示する第３のステップと、を含むことを特徴とする。
2017057318.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツの一部に対応する画像を取得する第１のステップと、
前記第１のステップにて取得された画像に対応する前記コンテンツを特定する第２のステップと、
前記第２のステップにて特定された前記コンテンツの再生を再生装置に指示する第３のステップと、
を含むことを特徴とする再生制御方法。
【請求項２】
前記コンテンツは、音データであり、
前記画像は、楽譜または楽譜を表す画像を撮像したものであることを特徴とする請求項１に記載の再生制御方法。
【請求項３】
前記再生制御方法は、更に、前記画像が表す音データを取得し、
前記第２のステップは、前記コンテンツが表す音データと、前記画像が表す音データとに基づいて、前記画像に対応する前記コンテンツを特定することを特徴とする請求項２に記載の再生制御方法。
【請求項４】
前記第２のステップは、前記コンテンツが表す音データのスペクトルと、前記画像が表す音データのスペクトルとに基づいて、前記画像に対応する前記コンテンツを特定することを特徴とする請求項３に記載の再生制御方法。
【請求項５】
前記第３のステップは、前記画像に基づいて特定される再生開始点から前記コンテンツの再生を再生装置に指示することを特徴とする請求項２乃至４のいずれかに記載の再生制御方法。
【請求項６】
前記再生制御方法は、更に、前記画像内において指定された位置情報を取得し、
前記第３のステップは、前記位置情報に基づいて特定される再生開始点から前記コンテンツの再生を再生装置に指示することを特徴とする請求項５に記載の再生制御方法。
【請求項７】
前記位置情報の取得は、端末の表示部に表示された前記画像の一部の指定に基づいて行われることを特徴とする請求項６に記載の再生制御方法。
【請求項８】
前記再生制御方法は、更に、前記楽譜の演奏者を識別する演奏者識別情報を取得し、
前記第２ステップは、更に、前記演奏者識別情報に基づいて前記コンテンツを特定することを特徴とする請求項２乃至７のいずれかに記載の再生制御方法。
【請求項９】
前記第３のステップでは、前記コンテンツの再生と同期させつつ、表示装置に前記コンテンツの再生の位置を表す再生位置表示を行わせることを特徴とする請求項２乃至８のいずれかに記載の再生制御方法。
【請求項１０】
前記第２のステップは、前記コンテンツに対応する楽譜の画像を表す楽譜データと、前記第１のステップが取得された画像に基づいて、前記画像に対応する前記コンテンツを特定することを特徴とする請求項２乃至９のいずれかに記載の再生制御方法。
【請求項１１】
コンテンツの一部に対応する画像を取得する取得部と、
前記取得された画像に対応する前記コンテンツを特定する特定部と、
前記特定された前記コンテンツの再生を再生装置に指示する指示部と、
を含むことを特徴とする再生制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生制御方法及び再生制御システムに関する。
【背景技術】
【０００２】
詩歌や小説などの文芸作品を収録した書籍、或いは楽譜など、従来は紙媒体で出版されていたコンテンツの電子化が普及している。電子化されたコンテンツは、紙媒体のコンテンツにはない長所を有する場合がある。例えば、スマートフォンに表示された電子楽譜を見ながら楽曲の演奏練習を行う場合、「ここはどのように弾いたら良いのだろう？」といった演奏方法についての疑問が生じた場合に、予め録音しておいた模範演奏音を再生ソフトウェアで再生し、上記疑問を即座に解消できる、といった具合である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１５６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、電子化された楽譜に対するタップ操作等により指定された再生開始点から模範演奏音を再生するような再生制御を実現するには、以下のような事前準備を行っておく必要がある。すなわち、楽譜画像上の複数の位置（例えば、音符の位置など）の各々と当該位置に対応する時刻（模範演奏音の先頭を起算点とする時刻：以下、オフセット）とを予め対応付けておき、両者の対応関係を示すデータを電子化された楽譜のデータに予め埋め込んでおくのである。しかし、このような事前準備を行わねばならないことは煩雑である。また、電子化されたコンテンツの場合、視認性（見易さ）がコンテンツを表示する表示装置の性能（解像度やリフレッシュレート、表示面の大きさなど）に大きく依存するといった問題もある。このため、紙媒体で出版された楽譜を用いて上記のような再生制御、すなわち、楽譜上で指定された再生開始点から模範演奏音を再生することができると便利である。特許文献１には、楽譜の紙面を撮像することで得られた画像データを、その楽譜に記された音符列に対応するＭＩＤＩ（Musical Instrument Digital Interface）データに変換する技術が開示されており、この技術を用いれば、煩雑な作業を行うことなく、紙媒体の楽譜を用いて上記模範演奏音の再生制御を実現できるかに見える。【０００５】
しかし、同じ楽譜であっても演奏者が異なれば演奏テンポが異なる等、楽譜から一意に模範演奏音が得られる訳ではない。これは、楽曲の模範演奏音や歌唱曲の模範歌唱音とそれらの曲の楽譜との関係に限らず、文芸作品の朗読音声（所謂オーディオブック）とその文芸作品の書籍との関係においても同様である。つまり、楽曲の模範演奏音とその楽曲の楽譜の関係、或いは文芸作品の模範朗読音声とその文芸作品の書籍の関係のように、１つの紙媒体のコンテンツに対して音の時系列（演奏音や朗読音声）が１または複数関連付けられる場合には、当該コンテンツの頁毎の画像を用いて、音の再生制御を簡便に実現する技術は従来無かった。【０００６】
本発明は、例えば、上記課題に鑑みて為されたものであり、煩雑な作業を行うことなく、画像を用いて音等のコンテンツの再生制御を行えるようにする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の再生制御方法は、ある態様において、コンテンツの一部に対応する画像を取得する第１のステップと、前記第１のステップにて取得された画像に対応する前記コンテンツを特定する第２のステップと、前記第２のステップにて特定された前記コンテンツの再生を再生装置に指示する第３のステップと、を含むことを特徴とする。【０００８】
本発明の再生制御システムは、コンテンツの一部に対応する画像を取得する取得部と、前記取得された画像に対応する前記コンテンツを特定する特定部と、前記特定された前記コンテンツの再生を再生装置に指示する指示部と、を含むことを特徴とする。【０００９】
また、本発明は他の態様において、少なくとも１つの画像を取得する第１のステップと、第１のステップにて取得された画像に対応するコンテンツを特定する第２のステップと、第２のステップにて特定されたコンテンツの再生を再生装置に指示する第３のステップと、を含むことを特徴とする再生制御方法、を提供する。コンテンツの具体例としては、楽曲の演奏音や歌唱曲の歌唱音、或いは文芸作品の朗読音声などの音の時系列を表す音データが挙げられる。また、上記画像の具体例としては、当該音データの表す音の時系列を構成する各音に対応する記号（音符や文字）がその発音順に記された紙面（楽譜や文芸作品を収録した書籍）の頁毎の画像が挙げられる。例えば、上記第１のステップの具体的な態様としては、上記紙面の何れかの頁を撮像装置により撮像することで画像を取得する態様が考えられる。【００１０】
上記コンテンツは、画像に関連付けられた音データそのものであっても良く、当該音データの表す音の時系列（例えば、楽曲等）に関する書誌情報を表す文字列や他の画像であっても良い。例えば、上記音データが楽曲の演奏音を表し、上記画像が当該楽曲の楽譜の撮像画像である場合には、当該楽曲の名称や作曲者名を表す文字列を上記コンテンツとしても良く、当該作曲者の肖像画や写真の画像を上記コンテンツとしても良い。さらに、当該作曲者により作曲された他の楽曲の名称を上記コンテンツに含めても良い。なお、上記コンテンツが音データである場合には、上記再生装置として音再生装置を用いれば良く、上記コンテンツが文字列又は画像である場合には上記再生装置として表示装置を用いれば良い。【００１１】
上記コンテンツとして楽曲の演奏音の音データを採用するとともに上記画像として当該楽曲の紙媒体の楽譜の撮像画像を用いる場合には、上記第２のステップでは、音データのスペクトルと第１のステップにて取得された画像を解析して得られる電子楽譜を記述するためのデータのスペクトルとから音の再生開始点を特定し、上記第３のステップでは当該再生開始点からの音データの再生を再生装置に指示するようにしても良い。このような態様によれば、以下の効果が奏される。すなわち、紙媒体の楽譜を見ながら上記楽曲の演奏練習を行っている間に「ここはどのように弾いたら良いのだろう？」といった演奏方法についての疑問が練習者に生じたとしても、該当箇所を撮像して本発明の再生制御方法を利用することで、例えば、練習者は該当箇所の模範演奏音を即座に聴くことができ、上記疑問を解消することができる。【００１２】
本発明の別の態様としては、画像と対応づけてコンテンツを記憶したデータベースを構築しておく態様が考えられる。当該コンテンツが楽曲の演奏音等の音データであり、上記画像が当該楽曲の楽譜の画像である場合には、このデータベースについては既存技術を用いて簡便に（煩雑な作業を行うことなく）作成することができる。この点については本発明の実施形態の説明において明らかにする。また、上記再生開始点の特定についても既存技術を用いて簡便に（煩雑な作業を行うことなく）実現することができる。このため、本発明によれば、例えば、電子化された楽譜を用いる場合のように、各種データを予め埋め込むといった煩雑な事前準備を行うことなく、音の時系列が関連付けられる画像を用いて音の再生制御を行えるようになる。【００１３】
また、本発明の再生制御方法の利用者が、上記データベースに自由にデータを登録できるようにしても良い。例えば、ある楽曲の演奏音データと自身の所有する紙媒体の楽譜の各頁を撮像して得られる画像データとを上記データベースに登録するといった具合である。このような態様によれば、現時点までに紙媒体で出版された楽譜を有効に利用することが可能になる。俳優等による文芸作品の朗読音声とその文芸作品の書籍についても同様である。【００１４】
より好ましい態様においては、第１のステップにおいては画像内で指定された位置を取得し、第２のステップでは、第１のステップにて取得された画像および位置から再生開始点を特定する態様が考えられる。このような態様によれば音データの再生開始点をきめ細かく指定することが可能になる。さらに別の好ましい態様としては、第３のステップにおいて、音再生装置による音の再生と同期させつつ、第１のステップにて取得された画像以降の画像を表示装置に表示させる態様や、上記画像が、楽譜や文芸作品を収録した書籍の頁毎の画像である場合には音の再生に同期させて各音を表す記号のワイプ表示を行わせる等の音の再生位置を表示する態様が考えられる。【００１５】
本発明の別の態様としては、上記再生制御方法を実行する音の再生制御装置を提供する態様が考えられる。具体的には、以下の画像取得手段、特定手段および再生制御手段を電子回路等で構成し、これら３つの手段を組み合わせて構成した再生制御装置を提供する。画像取得手段は、少なくとも１つの画像を取得する。特定手段は、画像取得手段により取得された画像に対応するコンテンツを特定する。そして、再生制御手段は、特定手段により特定されたコンテンツの再生を再生装置に指示する。【００１６】
また、本発明のさらに別の態様としては、上記第１〜第３のステップをコンピュータに実行させるプログラム、或いはコンピュータを上記画像取得手段、上記特定手段および再生制御手段として機能させるプログラムを提供する態様が考えられる。このような態様によれば、一般的なコンピュータに本発明の再生制御方法を実行させること、すなわち当該コンピュータを本発明の再生制御装置として機能させること、が可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明の再生制御方法により音の再生を行う再生制御システム１の構成例を示す図である。
【図２】再生制御システム１の管理装置２０に予め記憶されている管理データベース２００の一例を示す図である。
【図３】管理装置２０の処理内容を説明するための図である。
【図４】本実施形態における再生制御方法の流れを示すフローチャートである。
【図５】再生制御システム１のユーザ端末１０の構成例を示す図である。
【図６】ユーザ端末１０の表示部１２０ａに表示される再生可否選択画面の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しつつ本発明の実施形態について説明する。
【００１９】
図１は本発明の再生制御方法により音の再生を行う再生制御システム１の構成例を示す図である。再生制御システム１は、紙媒体の楽譜を見ながらピアノ等の楽器の演奏練習を行うユーザを支援するための再生制御システムである。このような演奏練習の過程で「ここはどのように弾いたら良いのだろう？」といった演奏方法についての疑問が生じる場合があることは前述した通りである。本実施形態の再生制御システム１は、このような疑問を即座に解決するためのものである。再生制御システム１は、演奏練習を行うユーザの使用するユーザ端末１０と、インターネットなどの電気通信回線（図１では図示略）を介して当該ユーザ端末１０と通信する管理装置２０とを有する。
【００２０】
ユーザ端末１０は、例えばスマートフォンであり、画像撮像機能、音再生機能および通信機能を有する。管理装置２０は、パーソナルコンピュータやワークステーションなどのコンピュータ装置である。図１では、ユーザ端末１０が１台だけ図示されているが、複数のユーザ端末１０が再生制御システム１に含まれていても良い。同様に複数の管理装置２０が再生制御システム１に含まれていても良い。また、本実施形態では、ユーザ端末１０と管理装置２０とが無線通信を行う場合について説明するが、有線通信であっても良い。
【００２１】
管理装置２０は、楽譜に関する情報を格納した管理データベース２００を有する。図２は、管理データベース２００の格納内容の一例を示す図である。図２に示すように、管理データベース２００には、楽曲識別子２１０に対応づけて演奏音データ２２０が格納されているとともに、楽曲識別子２１０と演奏音データ２２０の組み毎に、楽譜画像データ２３０＿ｎ（ｎ＝１〜Ｎ：Ｎは１以上の整数）とオフセットデータ２４０＿ｎとが格納されている。
【００２２】
楽曲識別子２１０は、楽曲を一意に示す識別子である。楽曲識別子２１０としては、楽曲の名称を表す文字列や、楽曲の名称とその作曲者の氏名とを表す文字列を用いることが考えられる。また、楽譜の型番や出版コードを表す文字列を楽曲識別子２１０として用いても良い。本実施形態では楽曲識別子２１０として、楽曲の名称および作曲者の氏名を表す文字列が採用されている。演奏音データ２２０は、楽曲識別子２１０の示す楽曲の模範演奏音の音波形を表すＷＡＶＥデータである。楽譜画像データ２３０＿ｎ（ｎ＝１〜Ｎ）の各々は、上記楽譜の第ｎ頁をデジタルカメラ等により撮像して得られる画像の画像データであり、オフセットデータ２４０＿ｎは、第ｎ頁の先頭小節の先頭の音符に対応する音のオフセットを示すデータである。なお、楽譜画像データおよびオフセットデータの個数Ｎは楽曲毎に異なる場合がある。
【００２３】
オフセットデータ２４０＿ｎについては既存技術を用いて作成すれば良い。例えば特許文献１に開示の技術を用いる場合には、楽譜画像データ２３０＿ｎ（ｎ＝１〜Ｎ）の各々を当該技術を用いてＭＩＤＩデータに変換し、それらＭＩＤＩデータの各々について、そのＭＩＤＩデータの表す音高変化と演奏音データの表す音高変化とを対比して当該演奏音データに占める時間範囲を特定する。このようにして楽譜画像データ２３０＿ｎについて特定された時間範囲の先頭時刻が上記オフセットデータ２４０＿ｎとなる。
【００２４】
管理装置２０は、何れかの楽譜の何れかの頁の画像を表す画像データ（以下、検索対象データ）と当該頁内で指定された発音開始点を示す位置情報とを電気通信回線を介して受け取ったことを契機として以下の処理を実行する。すなわち、管理装置２０は、検索対象データに対応する演奏音データを管理データベース２００の格納内容を参照して特定するとともに、上記位置情報に対応するオフセットを算出する。そして、管理装置２０は、上記オフセットを示すオフセットデータと上記演奏音データとを検索対象データの送信元へ返信する。本実施形態における上記位置情報は、上記検索対象データの表す画像の左上隅を原点とし、水平走査方向を一方の座標軸、垂直走査方向を他方の座標軸とする二次元座標において指定された位置の座標を示す情報である。
【００２５】
より詳細に説明すると、管理装置２０は、電気通信回線を介して受信した検索対象データの表す画像（図３では、点線で当該画像を明示：なお、図３では図面が煩雑になることを避けるため音符の表記を省略し、五線のみを図示）と少なくとも一部が一致する画像を表す楽譜画像データを特定する。この画像比較についても既存の技術を適宜用いるようにすれば良い。図３では、検索対象データの表す画像と少なくとも一部が一致する画像を表す楽譜画像データとして、楽譜画像データ２３０＿Ｋ（Ｋは１〜Ｎの範囲の自然数）が特定された場合について例示されている。
【００２６】
次いで、管理装置２０は、位置情報の示す座標位置Ａ１（図３参照）と、楽譜画像データ２３０＿Ｋに対応するオフセット２４０＿Ｋとから、上記位置情報に対応するオフセットを算出する。このオフセットの算出については例えば下記の技術を用いるようにすれば良い。例えば、楽譜画像データ２３０＿Ｋを解析して上記位置情報の示す座標位置Ａ１を含む小節を特定し、さらに当該小節が楽譜画像データ２３０＿Ｋの示す楽譜の先頭から何小節目であるかを特定した後に、オフセット２４０＿Ｋに当該小節に至るまでの演奏時間を加算して上記位置情報に対応するオフセットを算出する、といった具合である。また、楽譜画像データ２３０＿ｎ（ｎ＝１〜Ｎ）の各々について、楽譜画像データ２３０＿ｎの表す画像に含まれている小節（或いは音符）毎に当該画像における位置座標とオフセットとを予め対応付けておき、両者の対応関係を参照して上記位置情報に対応するオフセットを算出するようにしても良い。このようにしてオフセットの算出を完了すると、管理装置２０は、上記の要領で算出したオフセットを示すオフセットデータ、楽譜画像データ２３０＿Ｋに対応付けて管理データベース２００に格納されている演奏音データ２２０および楽曲識別子２１０を、上記検索対象データの送信元へ返信する。
【００２７】
ユーザ端末１０のユーザは、紙の楽譜を見ながら楽器の演奏練習を行う過程で「ここはどのように弾いたら良いのだろう？」といった演奏方法に疑問が生じた場合に、本実施形態に特有の再生制御方法を以下の要領でユーザ端末１０および管理装置２０に実行させることで、その疑問を即座に解消することができる。図４は、本実施形態の再生制御方法の流れを示すフローチャートである。図４に示すように、本実施形態の再生制御方法はステップＳＡ１００〜ステップＳＡ１５０の６つのステップで構成されている。ステップＳＡ１００〜ステップＳＡ１２０およびステップＳＡ１５０はユーザ端末１０において実行されるステップであり、ステップＳＡ１３０およびステップＳＡ１４０は管理装置２０において実行されるステップである。
【００２８】
ユーザ端末１０のユーザは、楽譜を構成する各頁のうち演奏方法に疑問を感じた箇所を含む頁の画像をユーザ端末１０の撮像機能により撮像する。これにより、ユーザ端末１０は、検索対象データを取得する（ステップＳＡ１００）。次いで、ユーザは、上記撮像画像における該当箇所（ユーザが演奏方法に疑問を感じた箇所）を指先等で指定する。これにより、ユーザ端末１０は上記位置情報を取得する（ステップＳＡ１１０）。ユーザ端末１０は、ステップＳＡ１００にて取得した検索対象データとステップＳＡ１１０にて指定された位置を示す位置情報とを管理装置２０へ上記通信機能により送信する（ステップＳＡ１２０）。前述したように、管理装置２０は、検索対象データと位置情報とを受信すると、管理データベース２００の格納内容を参照して該当する演奏音データを特定するとともに上記位置情報に対応するオフセットを算出し（ステップＳＡ１３０）、オフセットデータ、演奏音データおよび楽曲識別子をユーザ端末１０へ返信する（ステップＳＡ１４０）。ユーザ端末１０は、管理装置２０から返信されてくる演奏音データおよびオフセットデータを上記通信機能により受信し、上記音再生機能により当該オフセットデータの示すオフセット以降の演奏音を再生する（ステップＳＡ１５０）。この演奏音を聴くことで、ユーザ端末１０のユーザは上記演奏方法の疑問を解消することができる。
【００２９】
以下ではユーザ端末１０を中心に説明する。なお、本実施形態では、ユーザ端末１０としてスマートフォンを用いるが、ユーザ端末１０としてタブレット端末や携帯型ゲーム機等を用いても良い。要は、撮像機能、通信機能および音再生機能を備えたコンピュータ装置であれば、本実施形態のユーザ端末１０として用いることができる。
【００３０】
図５は、ユーザ端末１０の構成例を示す図である。図５に示すように、ユーザ端末１０は、制御部１００、無線通信部１１０、ユーザインタフェース（以下、「ユーザＩ／Ｆ」）部１２０、撮像部１３０、記憶部１４０、およびこれら構成要素間のデータ授受を仲介するバス１５０を有する。
【００３１】
制御部１００は、例えばＣＰＵ（Central Processing Unit）である。制御部１００は記憶部１４０（より正確には不揮発性記憶部１４４）に記憶されている各種プログラムを実行することでユーザ端末１０の制御中枢として機能する。
【００３２】
無線通信部１１０は、アンテナと、当該アンテナを介して無線区間へ送出するデータの変調および当該無線区間を介して受信したデータの復調を行う変調・復調回路（何れも図示略）を含んでいる。無線通信部１１０は、上記無線区間から受信したデータを変調・復調回路により復調して制御部１００に引き渡す一方、制御部１００から受け取ったデータを変調・復調回路により変調して上記無線区間へ送出する。
【００３３】
ユーザＩ／Ｆ部１２０は、ユーザ端末１０を使用するための各種操作の入力をユーザに促すとともにその操作に応じた処理結果を出力する。ユーザＩ／Ｆ部１２０は、表示部１２０ａ、音再生部１２０ｂ、および操作入力部１２０ｃを含んでいる。
【００３４】
表示部１２０ａは例えば液晶ディスプレイとその駆動回路（図５では何れも図示略）である。表示部１２０ａは、制御部１００による制御の下、ユーザ端末１０の利用を促す各種画面を表示する。
【００３５】
音再生部１２０ｂは、制御部１００から引き渡さる音響データにＤ／Ａ変換を施してアナログ音響信号に変換するＤ／Ａ変換器と当該アナログ音響信号を音として放射するスピーカとを含んでいる（図５では何れも図示略）。音再生部１２０ｂは通話音声の再生に利用される他、模範演奏音の再生に利用される。
【００３６】
操作入力部１２０ｃは例えば透明な感圧シートであり、表示部１２０ａの表示面に貼り付けられている。操作入力部１２０ｃは表示部１２０ａの液晶ディスプレイとともにタッチパネルを形成する。このタッチパネルのタッチ面の何れかの位置がタップされると、操作入力部１２０ｃはそのタップ位置を示す位置情報を制御部１００に引き渡す。本実施形態では、当該位置情報として、タッチパネルのタッチ面（換言すれば、表示部１２０ａの表示面）の左上隅を原点とし、水平走査方法を一方の座標軸とし、垂直走査方向を他方の座標軸とする二次元座標における上記タッチ位置の座標を示す情報が用いられる。
【００３７】
撮像部１３０は例えばＣＣＤ（Charge-Coupled Device）イメージセンサである。撮像部１３０はユーザの操作に応じて撮像した画像の画像データを制御部１００に与える。
【００３８】
記憶部１４０は、図５に示すように揮発性記憶部１４２と不揮発性記憶部１４４を有する。揮発性記憶部１４２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１４２はプログラムを実行する際のワークエリアとして制御部１００によって利用される。不揮発性記憶部１４４は例えばフラッシュＲＯＭ（Read Only Memory）である。不揮発性記憶部１４４には、ＯＳ（Operating System）プログラム（図５では図示略）と練習支援プログラム１４４ａとが予め格納されている。
【００３９】
ＯＳプログラムは、制御部１００にＯＳを実現させるためのプログラムである。本実施形態では、ユーザ端末１０の電源（図示略）の投入或いはリセットを契機として制御部１００は不揮発性記憶部１４４から揮発性記憶部１４２へＯＳプログラムを読み出し、その実行を開始する。ＯＳプログラムにしたがって作動している制御部１００には、操作入力部１２０ｃを介して他のプログラムの実行指示を与えられたこと（他のプログラムを示すアイコンのタップ等）を契機として、当該他のプログラムの実行を開始する機能が付与される。
【００４０】
練習支援プログラム１４４ａには、管理装置２０を一意に示す情報（ＵＲＬやＩＰアドレス）が通信先識別子として予め埋め込まれている。制御部１００は、操作入力部１２０ｃを介して当該練習支援プログラム１４４ａの実行指示を与えられたことを契機として、不揮発性記憶部１４４から揮発性記憶部１４２に当該練習支援プログラム１４４ａを読み出し、その実行を開始する。練習支援プログラム１４４ａの実行を開始した制御部１００は、まず、前述したステップＳＡ１００およびステップＳＡ１１０の各処理の実行契機となる操作の実行をユーザに促す。
【００４１】
本実施形態では、練習支援プログラム１４４ａの実行を開始した制御部１００は、ステップＳＡ１００の実行契機となる操作を促すために「わからない箇所の楽譜を撮像して下さい」といったメッセージを表示部１２０ａに表示させる。ステップＳＡ１００の処理を完了すると、制御部１００は、ステップＳＡ１１０の実行契機となる操作を促すために「わからない部分をタップして下さい」というメッセージを表示部１２０ａに表示させる。このように、本実施形態では、ユーザ端末１０のユーザの視覚に訴えることで、ステップＳＡ１００およびステップＳＡ１１０の各処理の実行契機となる操作を促すが、上記メッセージを音声出力する等、上記ユーザの聴覚に訴える態様であっても良い。
【００４２】
ステップＳＡ１１０の処理を完了すると、制御部１００は、前述したステップＳＡ１２０の処理を実行する。上記通信先識別子はステップＳＡ１２０における検索対象データの送信先を示す情報として使用される。そして、制御部１００は、管理装置２０から返信されたデータの受信を契機としてステップＳＡ１５０の処理を実行する。前述したように、本実施形態では、管理装置２０から、演奏音データと楽曲識別子とオフセットデータとが返信されてくる。制御部１００は、これらのデータを受信すると、まず、図６（ａ）に示す再生可否選択画面を表示部１２０ａに表示させ、模範演奏音の再生の可否をユーザに問い合わせる。
【００４３】
図６（ａ）に示すように、本実施形態の再生可否選択画面には、楽曲識別子（図６（ａ）では、ＸＸＸＸと表記）と、再生許可を指示する仮想操作（図６（ａ）に示す例では、Ｙｅｓボタン）と、不許可を指示する仮想操作子（図６（ａ）に示す例では、Ｎｏボタン）とが表示されている。図６（ａ）に示す再生可否選択画面を視認したユーザは、楽曲識別子を参照することで、これらから再生しようとする模範演奏音が自身の練習中の楽曲のものであるか否かを把握することができる。そして、ユーザは、練習中の楽曲のものであれば再生許可を指示（本実施形態では、Ｙｅｓボタンのタップ）し、練習中の楽曲のものでなければ不許可を指示（本実施形態では、Ｎｏボタンのタップ）する。
【００４４】
制御部１００は、再生許可を指示する操作が為された場合には、前述したステップＳＡ１５０の処理を実行する。これにより、前述したタップ操作により指定した再生開始点以降の模範演奏音が再生され、ユーザ端末１０のユーザは演奏方法の疑問を即座に解消することができる。これに対して、不許可を指示する操作が為された場合には、制御部１００は、ステップＳＡ１５０の処理を実行することなく、練習支援プログラム１４４ａの実行を終了する。図６（ａ）に示す再生可否選択画面を表示部１２０ａに表示させて模範演奏音の再生の可否をユーザに問い合わせるのは、管理装置２０における特定内容が誤っていた場合に、誤って特定された模範演奏音が再生されることを回避するためである。なお、再生選択画面の表示は必須の処理ではなく、省略しても勿論良い。再生可否選択画面の表示を省略する態様では、管理装置２０からの返信データの受信を契機として即座にステップＳＡ１５０の処理を制御部１００に実行させれば良い。
【００４５】
本実施形態では、ユーザ端末１０から受信した画像データおよび位置情報に対する返信データとして、楽曲識別子と演奏音データとオフセットデータとを管理装置２０に返信させた。しかし、上記返信データとして、上記演奏音データおよびオフセットデータを示すデータ識別子（例えば、ＵＲＬ）と楽曲識別子とを管理装置２０に返信させるようにしても良く、この場合、図６（ａ）に示す再生可否選択画面に代えて図６（ｂ）に示す再生可否選択画面をユーザ端末１０に表示させても良い。図６（ｂ）に示す再生可否選択画面には、前述のＹｅｓボタンおよびＮｏボタンに代えて上記データ識別子（図６（ｂ）では、ＹＹＹＹと表記）が表示されている。
【００４６】
図６（ｂ）ではデータ識別子に下線を付与することで当該データ識別子にハイパーリンクが設定されていることが表されている。図６（ｂ）に示す再生可否選択画面を視認したユーザは、当該データ識別子をタップすることで当模範演奏音の再生許可を指示することができ、当該データ識別子をタップせずに再生可否選択画面を閉じることで再生不許可を指示することができる。上記データ識別子がタップされると、ユーザ端末１０の制御部１００は、上記データ識別子に対応するデータを管理装置２０からダウンロードし、当該データにしたがってステップＳＡ１５０の処理を実行する。このような態様によれば、誤って特定された演奏音データが管理装置２０からユーザ端末１０へダウンロードされることを未然に防ぐことができる。
【００４７】
以上説明したように、上記実施形態の再生制御方法においては、ユーザ端末１０に練習支援プログラム１４４ａが予めインストールされていること、および管理装置２０に管理データベース２００が予め記憶されていることが前提となる。しかし、練習支援プログラム１４４ａのインストールや管理データベース２００の作成は、電子化された楽譜のデータを改変する作業に比べれば煩雑な作業ではない。つまり、本実施形態によれば、煩雑な作業を行うことなく、音の時系列（楽曲の模範演奏音）に関連付けられた画像（紙媒体で出版された当該楽曲の各頁の画像）を用いて当該音の時系列の再生制御を行えるようになる。
【００４８】
また、電子化された楽譜を用いて演奏練習を行う場合、楽譜の視認性（見易さ）が表示装置の性能（解像度やリフレッシュレート、表示面の広さ）に依存するため、性能の低い表示装置では練習に支障が生じる場合がある。しかし、本実施形態では、紙に印刷された楽譜を用いるため、このような問題が発生することはない。
【００４９】
以上本発明の一実施形態について説明したが、この実施形態を以下のように変形しても良い。
【００５０】
（１）上記実施形態の管理データベース２００には、楽曲の楽譜を表す１または複数の画像データ（楽譜画像データ２３０＿ｎ（ｎ＝１〜Ｎ：Ｎは１以上の整数））に対応付けて演奏音データが１つだけ格納されていた。しかし、同じ楽譜であっても、演奏者が異なれば演奏音が異なることは前述した通りである。そこで、楽譜画像データ２３０＿ｎ（ｎ＝１〜Ｎ）に対して、各々異なる演奏者による演奏音を表す複数の演奏音データ２２０を対応付けておいても良い。この場合、各演奏音データ２２０にその演奏者を一意に識別す演奏者識別子（例えば、演奏者の名称を示す文字列）と、その演奏者による演奏音におけるオフセットを示すオフセットデータ２４０＿ｎ（ｎ＝１〜Ｎ）とを対応付けて格納しておくことが好ましい。このような態様においては、検索対象データの送信の際にユーザ端末１０のユーザに予め演奏者識別子を指定させ、ステップＳＡ１２０では、検索対象データおよび位置情報とともに当該演奏者識別子をユーザ端末１０に送信させる。一方、ステップＳＡ１３０では、上記演奏者識別子に対応する演奏音データ２２０を選択し、当該演奏者識別子に対応するオフセットデータ２４０＿ｎを用いて再生開始点のオフセットを算出する処理を管理装置２０に実行させるようにすれば良い。
【００５１】
（２）上記実施形態における音の時系列は楽曲の模範演奏音であったが、歌唱曲の模範歌唱音声であっても良い。音の時系列として模範歌唱音声を採用すれば、歌唱練習支援に本発明の再生制御方法を利用できる。また、本発明における音の時系列は曲の演奏音や歌唱音声には限られず、文芸作品の朗読音声（所謂オーディオブック）であっても良い。音の時系列としてオーディオブックを用いる場合には、当該音の時系列に関連付けられる１または複数の画像として当該文芸作品を収録した書籍の頁毎の画像を用いるようにすれば良い。
【００５２】
また、音の時系列を表す時系列データに対応付けられる１または複数の画像は、楽譜の頁の画像や書籍の頁の画像のように、音の時系列を構成する各音に対応する記号（楽譜であれば音符、文芸作品等の書籍であれば文字）がその発音順に記された紙面の頁毎の画像に限定される訳ではない。例えば映画やコンピュータゲームのゲーム画面などの動画、或いは各シーンのスクリーンショットの配列を当該映画やゲームの音声、或いはＢＧＭと対応付けても良い。このような態様によれば、映画やゲーム画面の１シーンを検索キーとして、そのシーンにおける音声やＢＧＭを再生すること（すなわち、シーンを検索キーとしたＢＧＭ等の頭出し再生）が可能になる。
【００５３】
（３）上記実施形態における管理データベース２００には、管理装置２０の運営元によって楽譜についてのデータが予め登録されていた。しかし、ユーザ端末１０のユーザが自身の所有する紙の楽譜についてのデータを管理データベース２００に登録できるようにしても良く、紙の楽譜を出版する企業が自身の出版した楽譜或いはこれらか出版する楽譜についてのデータを管理データベース２００に登録できるようにしても良い。このような態様によれば、紙媒体で既に出版された楽譜或いは今後紙媒体で出版される楽譜を利用して音の再生制御を行うことが可能になる。
【００５４】
ユーザ端末１０のユーザによる管理データベース２００へのデータの登録を許容する態様の場合、模範演奏音を表す演奏音データではなく当該ユーザの演奏音を表す演奏音データを楽曲識別子に対応付けて管理データベース２００に格納するようにしても良い。このような態様によれば、遠隔地にいる教師の指導の下で上記ユーザが演奏練習を行う場合において、上記教師は上記実施形態のユーザ端末１０を用いて、難度の高い箇所など指導を要すると推測される箇所を指定し、当該箇所のみの演奏音を確認することができ、指導を効率良く行うことができる。また、ユーザの演奏音を表す演奏音データを管理データベース２００に格納する態様においては、検索対象データに対応する演奏音データ等を当該検索対象データの送信元へ返信するのではなく、予め定められた送信先へ送信するようにしても良い。上記のように遠隔地にいる教師の指導の下で演奏練習を行う場合には、当該教師の使用するユーザ端末１０を上記送信先としておくのである。このような態様によれば、ユーザは自身の演奏音を管理データベース２００に登録し、演奏方法に疑問が生じた箇所の楽譜の画像データを検索対象データとして管理装置２０へ送信する。上記教師のユーザ端末１０には、上記ユーザが演奏方法に疑問を感じながら演奏した箇所を含む演奏音データが管理装置２０から送信され、上記教師はこの演奏音データの表す演奏音を聴くことで上記ユーザの疑問点を具体的に把握し、的確なアドバスを与えることができる。
【００５５】
（４）上記実施形態では、ユーザは、演奏練習の対象曲の楽譜のうちの何れかの頁を撮像し、さらにその撮像画像内の何れかの位置をタップすることで、演奏音の再生開始点を指定した。しかし、上記の要領で撮像された画像内の予め定められた位置（例えば、左上隅や中央）を再生開始点としても良く、このような態様であれば上記タップ操作は不要である。また、ユーザ端末１０の不揮発性記憶部１４４に管理データベース２００を記憶させておき、ステップＳＡ１３０の処理をユーザ端末１０の制御部１００に実行させるようにすれば、ステップＳＡ１２０およびステップＳＡ１４０の処理も不要である。すなわち、図４におけるステップＳＡ１１０、ＳＡ１２０およびＳＡ１４０の各処理は何れも省略可能であり、本発明の音の再生制御方法は、以下の第１〜第３のステップを最低限含んでいれば良い。
【００５６】
第１のステップは、音の時系列が関連付けられる１または複数の画像のうちの１の画像を取得するステップであり、図４におけるステップＳＡ１００が当該第１のステップに対応する。第２のステップは、音の時系列と当該音の時系列が関連付けられる１または複数の画像とを対応付けて記憶したデータベース（上記実施形態では管理データベース２００）の記憶内容と第１のステップにて取得された画像とから音の再生開始点を特定するステップであり、図４におけるステップＳＡ１３０が当該第２のステップに対応する。そして、第３のステップは、再生開始点からの音の時系列の再生を音再生装置（上記実施形態では、音再生部１２０ｂ）に指示するステップであり、図４におけるステップＳＡ１５０の処理が当該第３のステップに対応する。
【００５７】
（５）再生開始点からの音の再生に同期させて、音の時系列が関連付けられる１または複数の画像を表示装置に表示させても良い。具体的には、音の再生と同期させて、上記再生開始点に対応する画像以降の画像を表示装置に表示させるのである。上記実施形態のように楽器の演奏練習支援や歌唱演習支援に本発明を適用する場合には、模範演奏音や模範歌唱音の再生と同期させて再生開始点に対応する頁以降の楽譜の画像を表示装置に順次表示させれば良く、さらに音の再生に同期させて音の再生位置の表示（例えば、音符や歌詞を表す文字のワイプ表示）を行わせても良い。本態様によれば、視覚を通じて楽譜を確認しつつ模範演奏音を聴くことができるため、演奏方法に疑問を感じた箇所についての理解が一層深まると期待される。
【００５８】
（６）上記実施形態では、ユーザ端末１０の不揮発性記憶部１４４に練習支援プログラム１４４ａが予め記憶されていた。しかし、練習支援プログラム１４４ａをＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、また、電気通信回線経由のダウンロードにより配布しても良い。このようにして配布される練習支援プログラム１４４ａにしたがって一般的なコンピュータを作動させることで、当該コンピュータを上記実施形態のユーザ端末１０として機能させることが可能になるからである。
【００５９】
（７）上記実施形態では、楽曲識別子に対応付けてその楽曲識別子の表す楽曲の楽譜の第１〜第Ｎ頁の各頁の画像を表す楽譜画像データ２３０＿ｎ（ｎ＝１〜Ｎ）とオフセットデータ２４０＿ｎとが管理データベース２００に格納されていた。しかし、オフセットデータ２４０＿ｎを用いずに以下のようにしても良い。まず、制御部１００は、取得した画像を解析し、電子楽譜を記述するためのデータ（例えば、MusicXML形式のデータ）を記憶部１４０に格納する。さらに楽譜の画像座標と電子楽譜を記述するためのデータの位置関係を対応付けておく。一方、制御部１００は、前記電子楽譜に対応する演奏音データ２２０を管理データベース２００から取得する。そして、特開２０１５−７９１８３号公報等に記載の技術を利用して、制御部１００は電子楽譜を記述するためのデータのスペクトルと演奏音データ２２０のスペクトルデータとを対比することで、ユーザ指定の楽譜の画像座標に相当する再生開始位置を算出し、演奏音を再生するようにしても良い。このような態様によれば、予め管理データベース２００に楽譜画像データ２３０＿ｎ（ｎ＝１〜Ｎ）とオフセットデータ２４０＿ｎとを格納しておかなくても、任意の楽譜の画像座標から演奏音の再生を行うことが可能になる。
【００６０】
また、上記スペクトルデータをオフセットデータ２４０＿ｎ（ｎ＝１〜Ｎ）の生成に利用しても良い。具体的には、楽曲識別子の表す楽曲の演奏音データにスペクトル解析を施すことで得られたスペクトルデータと各楽譜頁のスペクトルデータとの対比により、各楽譜頁に対応するオフセットを特定するといった具合である。また、上記実施形態の管理データベース２００には楽曲識別子に対応付けてその楽曲識別子の示す楽曲の演奏音データが格納されていたが、演奏音データを省略しても良い。楽曲識別子が特定できれば、その楽曲識別子を用いて他のコンピュータ等から演奏音データを取得することが可能だからである。なお、上記実施例において、コンテンツとしては音データだけではなく、演奏方法を示す動画データを用いても良い。また、楽譜の画像から特定した楽曲名を表示するだけでも良いし、音データや演奏方法を示す動画データへのリンク先を表示するコンテンツであっても良い。
【００６１】
（８）また、例えば、上記実施形態は、下記変形例のように変形してもよい。当該変形例における再生制御システム１は、管理装置２０、ユーザ端末１０を有する。当該変形例においては、管理装置２０は、例えば、音楽データを取得する。当該音楽データは、例えば、管理装置２０のデータベース２００に記憶されていてもよいし、外部のデータベース等に記憶されていてもよい。なお、下記においては、理解の容易化のため、一例として、コンテンツが音データであって、楽譜の一部を撮像して楽譜に対応する音データを特定する場合について説明するがこれに限られるものではない。
【００６２】
ユーザ端末１０は、上記実施形態と同様に、撮像部１３０、ユーザＩ／Ｆ部１２０を有する。撮像部１３０は、ユーザのユーザＩ／Ｆ部１２０への操作指示に応じてコンテンツに対応する楽譜（例えば、紙媒体である楽譜の１ページの一部やディスプレイに表示された楽譜の１ページの一部等）を撮像し、当該撮像部１３０により取得された撮像画像は、ユーザ端末１０の表示部１２０ａに表示される。ユーザ端末１０は、ユーザの指定に応じて、当該表示部１２０ａに表示された画像を管理装置２０に送信する。具体的には、例えば、ユーザは、ユーザ端末１０を楽譜に対し、移動することにより、所望の楽譜の一部を表す画像を取得する。そして、当該所望の楽譜の一部を表す画像は、ユーザの指示に応じて、管理装置２０に送信される。ここで、ユーザ端末１０は、当該楽譜の演奏進行方向に多くの情報が含まれるように撮像するよう、つまり、撮像画像が矩形形状の場合、横長の画像をユーザが撮像するよう、ユーザに対し促すように構成してもよい。例えば、横長の画像をユーザが撮像するメッセージを表示する等である。これにより当該撮像画像に含まれる連続する複数の音符を取得することができ、後述する音データの比較をより容易に行うことができる。
【００６３】
また、ユーザは、例えば、表示部１２０ａに表示された画像内の位置を指定し、ユーザ端末１０は、当該位置を表す位置情報を取得するように構成してもよい。当該位置は、例えば、コンテンツの再生開始位置（例えば、楽譜に対応する音データの再生を開始する位置）や再生終了位置（例えば、楽譜に対応する音データの再生を終了する位置）に相当する。そして、当該位置情報は、ユーザの指示に応じて、管理装置２０に送信される。なお、当該位置情報は、上記画像と同時に送信されるように構成してもよいし、異なるタイミングで送信されるように構成してもよい。
【００６４】
管理装置２０は、ユーザ端末１０から取得した画像（楽譜の一部を表す画像）に基づいて、当該楽譜の一部に対応する音データを取得する。具体的には、例えば、当該画像（楽譜の一部を表す画像）に複数の小節で構成される段が複数含まれる場合、そのうちの一つの段または複数の段に対応する音データを取得する等である。そして、管理装置２０は、データベース２００に記憶されている音データと、当該取得した音データを比較することにより、データベース２００に記憶されている音データのうちから、上記楽譜に対応する音データを特定するとともに、当該特定された音データにおける当該画像に対応する位置を特定する。具体的には、当該音データの特定は、例えば、上記楽譜の一部をMusic XMLデータに変換し、当該変換したMusic XMLデータと、データベースに記憶されている１曲分のMusic XMLデータとをマッチングすることにより行う。
【００６５】
そして、管理装置２０は、当該特定された音データと特定された位置を表す位置情報をユーザ端末１０に送信する。当該送信された音データ及び位置情報に基づいて、ユーザ端末１０は、当該音データを再生する。具体的には、例えば、ユーザ端末１０は、取得した音データのうち、当該位置情報の表す部分から再生するように構成する。また、例えば、上記のようにユーザが再生開始位置や、再生終了位置を指定するように構成する場合には、当該再生開始位置や再生終了位置に基づいて、上記音データを再生及び停止するように構成してもよい。
【００６６】
なお、管理装置２０は、特定された音データの全部をユーザ端末１０に送信するように構成してもよいし、上記位置情報、再生開始位置、再生終了位置等に応じて再生に必要な部分のみの音データをユーザ端末１０に送信するように構成してもよい。
【００６７】
本発明は、上記実施形態及び変形例（１）乃至（８）に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。また、上記実施の形態及び変形例（１）乃至（８）は互いに矛盾しない限り、組み合わせて用いてもよい。
【００６８】
なお、上記においては主に、特許請求の範囲における取得部が、例えば、撮像部１３０に相当し、特定部、指示部が、管理装置２０に含まれる場合について説明したが、取得部、特定部、指示部は再生制御システム１に含まれていれば異なる構成であってもよい。
【図１】
2017057318.tif 000003
【図２】
2017057318.tif 000004
【図３】
2017057318.tif 000005
【図４】
2017057318.tif 000006
【図５】
2017057318.tif 000007
【図６】
2017057318.tif 000008
【手続補正書】
【提出日】平成29年12月28日(2017.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンテンツの一部に対応する画像を取得する第１のステップと、
前記第１のステップにて取得された画像に対応する前記コンテンツを特定する第２のステップと、
前記第２のステップにて特定された前記コンテンツの再生を再生装置に指示する第３のステップと、
を含み、
前記画像内において指定された位置情報を取得するステップを更に含み、
前記コンテンツは、音データであり、
前記画像は、楽譜または楽譜を表す画像を撮像したものであり、
前記第３のステップは、前記位置情報に基づいて特定される再生開始点から前記コンテンツの再生を再生装置に指示し、
前記位置情報の取得は、端末の表示部に表示された前記画像の一部の指定に基づいて行われる、
ことを特徴とする再生制御方法。
【請求項２】
前記再生制御方法は、更に、前記画像が表す音データを取得し、
前記第２のステップは、前記コンテンツが表す音データと、前記画像が表す音データとに基づいて、前記画像に対応する前記コンテンツを特定することを特徴とする請求項１に記載の再生制御方法。
【請求項３】
前記第２のステップは、前記コンテンツが表す音データのスペクトルと、前記画像が表す音データのスペクトルとに基づいて、前記画像に対応する前記コンテンツを特定することを特徴とする請求項２に記載の再生制御方法。
【請求項４】
前記再生制御方法は、更に、前記楽譜の演奏者を識別する演奏者識別情報を取得し、
前記第２ステップは、更に、前記演奏者識別情報に基づいて前記コンテンツを特定することを特徴とする請求項１乃至３のいずれかに記載の再生制御方法。
【請求項５】
前記第３のステップでは、前記コンテンツの再生と同期させつつ、表示装置に前記コンテンツの再生の位置を表す再生位置表示を行わせることを特徴とする請求項１乃至４のいずれかに記載の再生制御方法。
【請求項６】
前記第２のステップは、前記コンテンツに対応する楽譜の画像を表す楽譜データと、前記第１のステップが取得された画像に基づいて、前記画像に対応する前記コンテンツを特定することを特徴とする請求項１乃至５のいずれかに記載の再生制御方法。
【請求項７】
コンテンツの一部に対応する画像を取得する取得部と、
前記取得された画像に対応する前記コンテンツを特定する特定部と、
前記特定された前記コンテンツの再生を再生装置に指示する指示部と、
を含み、
前記画像内において指定された位置情報を取得する位置情報取得部を更に含み、
前記コンテンツは、音データであり、
前記画像は、楽譜または楽譜を表す画像を撮像したものであり、
前記指示部は、前記位置情報に基づいて特定される再生開始点から前記コンテンツの再生を前記再生装置に指示し、
前記位置情報取得部は、前記位置情報の取得を、端末の表示部に表示された前記画像の一部の指定に基づいて行う、
ことを特徴とする再生制御システム。
【国際調査報告】
2017057318.tif 000009
2017057318.tif 000010
2017057318.tif 000011
2017057318.tif 000012
2017057318.tif 000013
2017057318.tif 000014