(57)【特許請求の範囲】
【請求項１】
複数の画面を有する表示装置を備え、譜面の連続するページを並べて該複数の画面に順に表示する譜面表示システムであって、
前記譜面および前記譜面の示す楽曲の演奏を再生する際の基準ペースを生成する再生データを取得する譜面取得手段と、
前記譜面の示す楽曲の演奏の開始を検出すると、前記取得した譜面に含まれる所定のページの譜面を表示し、前記再生データにより生成された基準ペースに基づいて、前記表示されたページの再生されている位置を示す標示を出力する表示手段と、
前記再生データにより生成された基準ペースに基づいて、前記表示されたページの半分まで再生が進むと、次に演奏するページを更新するページ更新手段と
を備え、
前記ページ更新手段は、前記譜面に含まれる反復記号の指定にしたがって演奏する場合、現在演奏しているページの先頭と当該ページに含まれる反復終了記号との間の中間まで進行したとき、次に演奏するべきページとして反復開始記号を含むページを表示し、現在演奏しているページに含まれる反復開始記号と当該ページの最後との間の中間まで進行したとき、次に演奏するべきページを表示することを特徴とする譜面表示システム。
【請求項２】
前記再生データは、前記譜面の示す楽曲を再生させるための再生コードであることを特徴とする請求項１に記載の譜面表示システム。
【請求項３】
前記再生コードはＭＩＤＩ形式であることを特徴とする請求項２に記載の譜面表示システム。
【請求項４】
前記再生データは、前記譜面の示す楽曲を演奏した動画の音声データであることを特徴とする請求項１に記載の譜面表示システム。
【請求項５】
前記標示は、前記基準ペースに同期して点滅することを特徴とする請求項４に記載の譜面表示システム。
【請求項６】
前記譜面に含まれる反復記号の指定にしたがって、実際に演奏されるページの順番を生成するページ順生成手段をさらに備えることを特徴とする請求項１ないし５のいずれかに記載の譜面表示システム。
【請求項７】
前記譜面および前記再生データはデータベースに格納されており、
前記譜面取得手段は、前記データベースから、格納された前記譜面および前記再生データを読み出すことにより取得することを特徴とする請求項１ないし６のいずれかに記載の譜面表示システム。
【請求項８】
前記表示装置とネットワークを介して接続されるサーバを備え、
前記表示手段は、所定のページおよび該所定のページから前記複数の画面の数分のページの譜面画像データを前記表示装置に送信して表示させ、
前記更新手段は、前記表示されたページの半分まで再生が進むと、次に演奏するページの譜面画像データを前記表示装置に送信してページを更新させることを特徴とする請求項１ないし７のいずれかに記載の譜面表示システム。
【請求項９】
複数の画面を有する表示装置を備る譜面表示システムにおいて、譜面の連続するページを並べて該複数の画面に順に表示する譜面表示方法であって、
前記譜面および前記譜面の示す楽曲の演奏を再生する際の基準ペースを生成する再生データを取得する譜面取得ステップと、
前記譜面の示す楽曲の演奏の開始を検出すると、前記取得した譜面に含まれる所定のページの譜面を表示する表示ステップと、
前記再生データにより生成された基準ペースに基づいて、前記表示されたページの半分まで再生が進むと、次に演奏するページを更新するページ更新ステップと
を備え、
前記ページ更新ステップは、前記譜面に含まれる反復記号の指定にしたがって演奏する場合、現在演奏しているページの先頭と当該ページに含まれる反復終了記号との間の中間まで進行したとき、次に演奏するべきページとして反復開始記号を含むページを表示し、現在演奏しているページに含まれる反復開始記号と当該ページの最後との間の中間まで進行したとき、次に演奏するべきページを表示することを特徴とする譜面表示方法。
【請求項１０】
複数の画面を有する表示装置を備る譜面表示システムにおいて、譜面の連続するページを並べて該複数の画面に順に表示する譜面表示方法を実行するプログラムであって、該譜面表示方法は、
前記譜面および前記譜面の示す楽曲の演奏を再生する際の基準ペースを生成する再生データを取得する譜面取得ステップと、
前記譜面の示す楽曲の演奏の開始を検出すると、前記取得した譜面に含まれる所定のページの譜面を表示する表示ステップと、
前記再生データにより生成された基準ペースに基づいて、前記表示されたページの半分まで再生が進むと、次に演奏するページを更新するページ更新ステップと
を備え、
前記ページ更新ステップは、前記譜面に含まれる反復記号の指定にしたがって演奏する場合現在演奏しているページの先頭と当該ページに含まれる反復終了記号との間の中間まで進行したとき、次に演奏するべきページとして反復開始記号を含むページを表示し、現在演奏しているページに含まれる反復開始記号と当該ページの最後との間の中間まで進行したとき、次に演奏するべきページを表示することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は譜面表示システム、方法およびプログラムに関し、より具体的には、楽譜データに基づいて順次譜面の各ページを表示装置に表示する譜面表示システム、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット端末、あるいは専用端末などに楽譜データに基づいて譜面を表示させて利用することにより、楽譜の持ち運びを容易にし、多くの楽譜を任意の場所で利用することができるようになっている。ここで、譜面を見開き画面で表示する場合、紙の楽譜と同様の態様で表示させつつ、より使い勝手の良い表示システムが提案されている（例えば、特許文献１参照）。特許文献１は、よりユーザにとって楽譜と当該楽譜を実際の演奏した場合における楽曲全体の長さを表す時間軸との関係がわかりやすい楽譜表示方法等を実現することを目的とし、楽譜画像情報生成部により、楽譜を表す楽譜データに基づいて、前記楽譜を表示する楽譜画像情報を生成し、第１の時間軸情報生成部により、前記楽譜における反復部分を展開した、実際の演奏に応じた時間軸を表示する第１の時間軸情報を生成し、表示制御部により、前記第１の時間軸情報において前記反復部分に対応する位置を示す第１の複数の反復部分識別情報を表示する、ことを特徴とする楽譜表示方法を開示している。
【０００３】
一方、譜面に記載された楽曲を再生する音源としては、楽譜データに含まれるＭＩＤＩ音源に加え、Ｙｏｕｔｕｂｅなどの投稿サイトをはじめとする種々の動画配信サイトから様々な動画が配信されており、視聴者はインターネット等に接続してこのようなサイトから動画をストリーミングあるいはダウンロードして楽しむことができる。例えば、引用文献２には、動画像と楽譜を関連させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１８１７２５号公報
【特許文献２】特開２００４−２３３６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の楽譜表示方法は、反復記号の処理は行われているものの、演奏の目安となる再生位置の表示があくまで楽譜の下部に表示した時間スケールで表示されるだけであり、具体的にどの小節まで音楽が進行しているかを認識することができない。また、見開きの２画面に２ページずつ楽譜を表示する場合、演奏の進行に合わせて自動的に表示が更新されるが、２ページずつ更新されると、次に演奏する部分が確認できないため、演奏し難いという問題がある。
【０００６】
本発明は上記従来の問題に鑑みてなされたものであり、２画面以上を有する表示システムにおいて譜面を表示する場合に、再生データに基づく所定のペースで楽譜上の再生位置を表示させつつ、演奏者にとって最適な位置で１ページずつ譜面を更新することにより、従来の紙の譜面の良さを残しながら、利便性の高い譜面表示システム、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、複数の画面を有する表示装置を備え、譜面の連続するページを並べて複数の画面に順に表示する譜面表示システムであって、譜面および譜面の示す楽曲の演奏を再生する際の基準ペースを生成する再生データを取得する譜面取得手段と、譜面の示す楽曲の演奏の開始を検出すると、取得した譜面に含まれる所定のページの譜面を表示し、再生データにより生成された基準ペースに基づいて、表示されたページの再生されている位置を示す標示を出力する表示手段と、再生データにより生成された基準ペースに基づいて、表示されたページの半分まで再生が進むと、次に演奏するページを更新するページ更新手段とを備え、ページ更新手段は、前記譜面に含まれる反復記号の指定にしたがって演奏する場合、現在演奏しているページの先頭とページに含まれる反復終了記号との間の中間まで進行したとき、次に演奏するべきページとして反復開始記号を含むページを表示し、現在演奏しているページに含まれる反復開始記号と当該ページの最後との間の中間まで進行したとき、次に演奏するべきページを表示することを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の譜面表示システムにおいて、再生データは、譜面の示す楽曲を再生させるための再生コードであることを特徴とする。
【０００９】
請求項３に記載の発明は、請求項２に記載の譜面表示システムにおいて、再生コードはＭＩＤＩ形式であることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項１に記載の譜面表示システムにおいて、再生データは、譜面の示す楽曲を演奏した動画の音声データであることを特徴とする。
【００１１】
請求項５に記載の発明は、請求項４に記載の譜面表示システムにおいて、標示は、基準ペースに同期して点滅することを特徴とする。
【００１２】
請求項６に記載の発明は、請求項１ないし５のいずれかに記載の譜面表示システムにおいて、譜面に含まれる反復記号の指定にしたがって、実際に演奏されるページの順番を生成するページ順生成手段をさらに備えることを特徴とする。
【００１４】
請求項７に記載の発明は、譜面および再生データはデータベースに格納されており、譜面取得手段は、請求項１ないし６のいずれかに記載の譜面表示システムにおいて、データベースから、格納された譜面および再生データを読み出すことにより取得することを特徴とする。
【００１５】
請求項８に記載の発明は、請求項１ないし７のいずれかに記載の譜面表示システムにおいて、表示装置とネットワークを介して接続されるサーバを備え、表示手段は、所定のページおよび所定のページから複数の画面の数分のページの譜面画像データを表示装置に送信して表示させ、更新手段は、表示されたページの半分まで再生が進むと、次に演奏するページの譜面画像データを表示装置に送信してページを更新させることを特徴とする。
【００１６】
請求項９に記載の発明は、複数の画面を有する表示装置を備る譜面表示システムにおいて、譜面の連続するページを並べて該複数の画面に順に表示する譜面表示方法であって、譜面および譜面の示す楽曲の演奏を再生する際の基準ペースを生成する再生データを取得する譜面取得ステップと、譜面の示す楽曲の演奏の開始を検出すると、取得した譜面に含まれる所定のページの譜面を表示する表示ステップと、再生データにより生成された基準ペースに基づいて、表示されたページの半分まで再生が進むと、次に演奏するページを更新するページ更新ステップとを備え、ページ更新ステップは、前記譜面に含まれる反復記号の指定にしたがって演奏する場合、現在演奏しているページの先頭とページに含まれる反復終了記号との間の中間まで進行したとき、次に演奏するべきページとして反復開始記号を含むページを表示し、現在演奏しているページに含まれる反復開始記号と当該ページの最後との間の中間まで進行したとき、次に演奏するべきページを表示することを特徴とする。
【００１７】
請求項１０に記載の発明は、複数の画面を有する表示装置を備る譜面表示システムにおいて、譜面の連続するページを並べて複数の画面に順に表示する譜面表示方法を実行するプログラムであって、譜面表示方法は、譜面および譜面の示す楽曲の演奏を再生する際の基準ペースを生成する再生データを取得する譜面取得ステップと、譜面の示す楽曲の演奏の開始を検出すると、取得した譜面に含まれる所定のページの譜面を表示する表示ステップと、再生データにより生成された基準ペースに基づいて、表示されたページの半分まで再生が進むと、次に演奏するページを更新するページ更新ステップとを備え、ページ更新ステップは、前記譜面に含まれる反復記号の指定にしたがって演奏する場合、現在演奏しているページの先頭とページに含まれる反復終了記号との間の中間まで進行したとき、次に演奏するべきページとして反復開始記号を含むページを表示し、現在演奏しているページに含まれる反復開始記号と当該ページの最後との間の中間まで進行したとき、次に演奏するべきページを表示することを特徴とする。
【発明の効果】
【００１８】
本発明によると、譜面および譜面の示す楽曲の演奏を再生する際の基準ペースを生成する再生データを取得する譜面取得手段と、譜面の示す楽曲の演奏の開始を検出すると、取得した譜面に含まれる所定のページの譜面を表示し、再生データにより生成された基準ペースに基づいて、表示されたページの再生されている位置を示す標示を出力する表示手段と、再生データにより生成された基準ペースに基づいて、表示されたページの半分まで再生が進むと、次に演奏するページを更新するページ更新手段とを備え、ページ更新手段は、前記譜面に含まれる反復記号の指定にしたがって演奏する場合、現在演奏しているページの先頭とページに含まれる反復終了記号との間の中間まで進行したとき、次に演奏するべきページとして反復開始記号を含むページを表示し、現在演奏しているページに含まれる反復開始記号と当該ページの最後との間の中間まで進行したとき、次に演奏するべきページを表示するので、良好な演奏体験を得ることができ、例えば初見で演奏する場合でも、円滑な演奏を支援することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態の全体のシステム構成図である。
【図２】本発明の一実施形態のサーバの機能ブロック図である。
【図３】本発明の一実施形態で譜面上の小節とそれに対応する再生位置の関連付けを示す図である。
【図４】本発明の一実施形態で譜面上の小節をハイライト表示する様子を示す図である。
【図５】本発明の一実施形態の処理を示すフローチャートである。
【図６】本発明の一実施形態の見開き２画面で譜面を表示する際の譜めくりを説明するための図である。
【図７】本発明の一実施形態の反復記号がある場合の譜めくりを説明するための図である。
【図８】本発明の一実施形態で譜面上の演奏の進行を示す標示としてのマーカの一例を示す図である。
【図９】本発明の別の実施形態の譜面上の小節とそれに対応する再生位置の関連付けを示す図である。
【図１０】本発明の別の実施形態の処理を示すフローチャートである。
【図１１】本発明の一実施形態で譜面上の小節とそれに対応する再生位置とを対応付ける変換表を示す図である。
【図１２】本発明の別の実施形態で譜面上の小節とそれに対応する再生位置の関連付けを示す図である。
【図１３】本発明のさらに別の実施形態の処理を示すフローチャートである。
【図１４】本発明の一実施形態で譜面上の座標とそれに対応する再生位置とを対応付ける変換表を示す図である。
【図１５】本発明の別の実施形態の譜面上の小節とそれに対応する再生位置の関連付けを示す図である。
【図１６】本発明のさらに別の実施形態の処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の動画再生管理方法、システムおよびプログラムについて図面を参照して実施形態を説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。
【００２１】
本実施形態では、楽譜データに含まれるＭＩＤＩデータを再生したときのテンポを利用して、あるいはインターネット等を介して提供される動画投稿サイトに投稿された楽曲の演奏動画等の演奏ペースに基づいて、譜面上で演奏が進行するものとしてその位置を小節ごとに示すとともに、現在の演奏位置の小節を含むページの次のページを予め定めたタイミングで更新するものであり、以下の実施形態では譜面、あるいは総譜を用いて行うが、これに限られず、演奏の進行を示す何らかの図面を端末に表示させることができれば、いずれの形態でも対応することができる。また、演奏動画等と譜面との関係は予めサーバに設定しておくことを前提として、以下実施形態の説明をするがこれに限られず、演奏されている楽曲と譜面とがほぼ一致していれば本実施形態を実施することができる。例えば、任意の投稿者により配信されていている動画を、演奏されている楽曲に対応する譜面と関連付けて予めサーバに設定してくこともでき、その他本技術分野で知られた方法により譜面と動画とを関連付けておくことができる。
【００２２】
また、本実施形態で用いる楽譜データは、ＭｕｓｉｃＸＭＬであり、サーバ内では基本的にはＭｕｓｉｃＸＭＬのデータフォーマットで保持している。ＭｕｓｉｃＸＭＬで記述された譜面はそのまま端末に送信してブラウザで表示させることもできるし、サーバで他の表示用のフォーマット、例えばＰＤＦに変換して端末に送信し端末のブラウザで表示させることもできる。以上のように、本実施形態の楽譜データはＭｕｓｉｃＸＭＬを用いるが、これに限られず、何らかの変換や処理を行って、表示用の譜面を生成できるものであればいずれのフォーマットも用いることができる。
（システム構成）
本発明の一実施形態で用いる動画再生管理方法の具体的なシステムの動作及び処理を以下に説明する。図１は、本発明の一実施形態の全体のシステム構成図である。本システムでは、楽譜データを配信したり、システム全体を制御したりするためのサーバとして、楽譜管理サーバ１０１を備えている。表示装置である端末１０２は、基本的に無線でネットワーク１０３に接続されており、２画面を有する専用端末を想定しているがこれに限られず、本実施形態でネットワーク１０３との接続は、携帯電話の回線や、Ｗｉ−ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）等の無線ネットワークにより行うことができる。ここで端末１０２は、例えばタブレット端末を２台並べて２画面とすることもでき、スマートフォン、あるいはモバイルパソコン等を複数台使用することができるが、基本的に楽譜データ等をサーバから受信して画像を表示、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。
【００２３】
本実施形態ではサーバとして、楽譜管理サーバ１０１を備え、端末１０２から譜面等の画像の表示や再生開始などの指示を楽譜管理サーバ１０１に送信すると、楽譜管理サーバ１０１は楽譜データを送信したり、ＭＩＤＩデータに基づいて演奏テンポを指示したり、演奏動画等と譜面とを関連付ける再生位置と譜面上の位置との対応表を用いて譜面上の位置の指定を行うが、これに限られず、楽譜管理サーバ１０１と端末１０２とで様々に機能分担させることもできる。
【００２４】
図２は、本発明の一実施形態のサーバの機能ブロック図である。楽譜管理サーバ１０１は、図示しないサーバ等から楽譜データを受信して記憶し、管理する楽譜データ管理モジュール２０１、受信した楽譜データに必要な処理を行って端末に送信する楽譜データ送信モジュール２０２およびＭＩＤＩデータあるいは演奏動画において現在再生されている位置を端末に表示された譜面のどこに対応するかを算出し、ハイライトを出力するようにするハイライト出力モジュール２０３を備える。
（第１実施形態）
以下に、図２〜図５を参照して本発明の一実施形態の動画再生開始処理を説明する。一般に、楽譜データ、例えばＭｕｓｉｃＸＭＬフォーマットのデータでは、各小節ごとに音符データが規定されており、端末では楽譜データを受信すると、ブラウザ上で五線譜を表示して、各小節の音符データに基づいて譜面を描画していく。したがって、ブラウザ上で指でタッチ、あるいはマウスでクリックする等により、ある小節が指定されるとそれが第何小節かを認識することができる。以下の第１実施形態では、このように楽譜データに基づいて端末のブラウザ上に譜面を表示し、その表示された譜面上の所定の小節を指定することにより、開始位置を指定する。一方、楽譜データに含まれるＭＩＤＩデータに基づき、再生ペースを取得し、演奏開始の指示を検出すると、開始位置の小節から、取得した再生ペースで演奏が進行するものとして、譜面上の対応する小節をハイライト表示する。また、その変形例として、動画投稿サイトなどを提供する動画配信サーバから演奏動画の情報を取得して、動画の再生ペースを使用して譜面上のハイライト表示を行う。さらに、プラグイン等がないため、楽譜データを端末でそのまま表示できない場合、楽譜管理サーバ１０１から画像データ、例えばＰＤＦ形式のデータとして送信し、ブラウザで表示することもできる（第２実施形態）。第１実施形態の後に詳述する第２実施形態では、このような楽譜管理サーバ１０１において楽譜データからＰＤＦの譜面データを生成し、端末１０２はＰＤＦデータに基づいて譜面を表示する。
【００２５】
（第１実施形態でＭＩＤＩを使用する例）
以下、楽譜データに基づく第１実施形態の処理を説明するが、まず再生位置を譜面上にハイライト表示する処理を説明し、その後本実施形態の自動譜めくりについて説明する。
【００２６】
図３は、本発明の一実施形態で譜面上の小節とそれに対応する再生位置の関連付けを示す図であり、図４は本実施形態で譜面上の小節をハイライト表示する様子を示す図である。図５は、本発明の一実施形態の処理を示すフローチャートである。
【００２７】
上述の通り本実施形態では、ＭｕｓｉｃＸＭＬフォーマットのデータを楽譜管理サーバ１０１で管理し、端末１０２に送信してブラウザ上で譜面として表示される。この際、本実施形態ではＭＩＤＩデータの再生ペースで演奏が進行するものとして譜面上の位置を端末１０２でハイライト表示する。これにより、演奏者は譜面の更新タイミングをおおよそ予測することができるので、本実施形態の譜めくりが自動で行われても、安心して演奏に集中することができる。
【００２８】
より具体的に図５のフローチャートを参照して、本実施形態の処理を説明すると、先ず図３の矢印３０１で示すように、楽譜端末１０２において、演奏を開始する小節番号を取得すると（ステップＳ５０１）、矢印３０２で示すように、取得した小節番号からＭＩＤＩ音源で設定されたピッチで現在再生していると考えられる小節をハイライト表示する。これにより、端末１０２は図４に示す第２小節４０１のようにハイライト表示となる（ステップＳ５０２）。具体的な処理については、ハイライト表示の制御の本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜管理サーバ１０１で、判定された小節番号の譜面の表示をハイライトに変更して端末１０２に送信することによって、端末１０２のブラウザがこれを解釈し、ハイライト表示にするようにすることもできるし、端末１０２がサーバからハイライト表示への切り替え指示を受けると、指定部分をハイライト表示に変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節番号を指定してハイライト表示の指示を受信すると指定された小節をハイライト表示にすることもできるが、これに限られない。さらに、端末１０２において、再生ペースを用い、ハイライト表示を更新することもできる。
【００２９】
以上の処理により、現在再生されているＭＩＤＩデータに対応する譜面上の位置が小節単位で算出され、算出された小節がハイライト表示される。これにより、算出された再生ペースにしたがって、対応する小節をハイライト表示させ、譜面上を移動しているように表示することができる。なお、本実施形態では再生位置に対応する小節をハイライト表示することにより示したが、これに限られず、何らかのマーカで示したり、その他その小節を他の小節と区別する何らかの方式で表示したりすることができる。
【００３０】
ここで、ＭＩＤＩデータを再生する場合、再生速度を任意に設定できるが、本実施形態ではそのように予め設定されたピッチに基づいて再生ペースを算出し、ハイライト表示の移動位置を計算する。したがって、ハイライトの移動により演奏者は再生の進行を把握できるので、後述する譜めくりのタイミングを計りつつ安心して演奏することができる。また、本処理は楽譜管理サーバ１０１のハイライト出力モジュール２０４が行って、端末１０２に表示を指示してもいいし、端末１０２側で処理することもできる。
【００３１】
さらに時間が経過し、ハイライト位置、すなわち再生位置が譜面のページの中間、つまり通常は譜面の１ページには複数の小節が存在するが、例えば２ページ目に反復記号がない譜面では、２ページ目の小節数が２０の場合、１０小節過ぎたところでページめくりを行う。演奏中のページに反復記号がある譜面では、反復記号からそのページ最後の小節まで小節数が１０の場合、５小節分過ぎたところでページめくりを行う。即ち、ハイライト位置が演奏に必要な小節数の半分を経過したら、ページめくりするようにする。したがって、ページめくりをすると判定された場合（ステップＳ５０３のＹｅｓ）は、次に演奏する譜面を表示する画像の表示を次に演奏するページに更新する（ステップＳ５０４）ようにして、自動譜めくりを行う。
【００３２】
（本実施形態の自動譜めくりと反復処理）
図６を参照して、本実施形態の譜めくり処理を説明する。図６は、本発明の一実施形態の見開き２画面で譜面を表示する際の譜めくり処理を説明するための図である。図６に示すように、先ず例えば１ページから表示される場合、演奏を開始する段階では、見開きの左画面に第１ページを表示し、右画面に第２ページを表示する。表示された段階では、再生が第１ページの中間の段６０１に到達しても、右の画面には既に次に演奏すべきページが表示されているので、更新は行わない。さらに演奏が進行し、第２ページの中間の段６０２に到達すると、左画面の表示を更新し第３ページとする。さらに、演奏が進行し、第３ページの中間の段６０３に到達すると、右画面の表示を更新し第４ページとし、以上を繰り返すことにより演奏者は自ら譜面を更新する操作をすることなく、演奏を続けることができる。
【００３３】
一般に譜めくりのタイミングは演奏者により異なり、現在演奏中の箇所を記憶しておいて、早めに譜めくりをする場合もあり、また、逆に予め次のページを記憶しておいて遅めに譜めくりする場合もあるが、いずれにしても通常演奏者は現在演奏している小節のみではなく、その前後の小節を確認しつつ演奏することで、安心して安定した演奏が可能になる。特に、初見で演奏する場合これから演奏する小節を確認できないことは、不安要素になるので、ある程度早めに確認できるように表示を更新しておく必要がある。本実施形態では、ＭＩＤＩデータのピッチに基づいて譜めくりを行うので、上述の様にハイライト等の表示によりある程度はタイミングを把握できるものの、演奏者の意図するペースと完全に一致するわけではないので、余裕をもって現在演奏しているページの概ね半分を経過した時点で次に演奏するページを更新する。
【００３４】
ここで、一般に譜面には所謂反復指定があり、譜面上のページと、実際に次に演奏すべき小節を含むページとは一致しない場合が発生する。本実施形態では、反復指定を予め考慮に入れたページのシーケンスを作成しておいて、このシーケンスに沿って譜面のページを更新する。すなわち、例えば、図７に示すように第４ページに反復指定Ｂ７１４があり、第２ページＡ７１２に戻って演奏を１回だけ繰り返すものとする。第１ページから第３ページまでは、これまでと同じ譜めくりを実施する（７０１〜７０３）。第４ページを演奏する時（７０４）には、反復指定Ｂ７１４まで演奏に必要な小節数の半分をハイライト位置が経過したら、繰り返し先の第２ページを左画面に表示する。続けて、第２ページの反復指定Ａ７１５から演奏する時（７０５）は、反復指定Ａから演奏に必要な小節数（この場合、反復指定Ａから第２ページ最後までの小節数）の半分をハイライト位置が経過したら、第３ページを右画面に表示する。第３ページから第４ページは、反復指定による演奏が終わっているので、これまでと同じ譜めくりを実施する（７０６）。以上により、本実施形態では、１回に限定せず複数回の反復指定においても、同様の処理で譜めくりが可能となり、演奏者が楽譜の構成を意識しなくても円滑な演奏をすることができる。
【００３５】
また、本実施形態は２画面見開きの画面に譜面を表示する例を説明したが、本発明は３画面以上のシステムにも適用することができる。すなわち、２画面と同様に、譜面の各ページが左から順に表示されるものとすると、第１ページから表示する場合は、第１画面、第２画面、第３画面にはそれぞれ第１ページ、第２ページ、第３ページが表示される。再生が進行し、第１ページの中間の段および第２ページの中間の段まで到達しても既に第２ページおよび第３ページが表示されているので、最初に表示されたページは更新されない。第３ページの中間の段まで進行したときに、第１画面の表示が更新され第４ページとなる。さらに、第４ページの中間の段まで再生が進行すると、第２画面が更新され、第２ページに代わり第５ページが表示され、以下同様に表示が更新される。３画面表示について説明したが、これ以上の画面数でも同様に適用することができる。
【００３６】
（本実施形態のマーカ表示）
上述の様に、本実施形態では演奏あるいは再生の進行を小節単位で譜面上に表示するために、図３や図４に示すように小節全体をハイライト表示させることができるが、これに限られず図形や文字を用いたマーカで表示させることもできる。図８は、本発明の一実施形態で譜面上の演奏の進行を示す標示としてのマーカの一例を示す図である。図６に示すように譜面３０３上、進行に合わせて対応する小節をハイライト表示するのではなく、小節の先頭の部分を指し示すように逆三角形のマーカ８０１を表示することができる。図８に示すように、最初、譜面３０３の最上段の２小節目８０２をマーカ８０１が指示しているが、楽曲が進行すると、３小節目８０３を指すようにマーカ８０１が移動する。
【００３７】
本例では、マーカによる表示は演奏または再生が次の小節に移るときに移動するように表示を変更するが、具体的な表示方法は本技術分野で知られたいずれの方法も用いることができる。例えば、マーカを適宜連続的に移動させて次の小節の先頭に移動させたり、小節の先頭ではなく中間付近を指すようにしたりすることもできる。また、マーカ自体、円形や四角など任意の図形を使用することもでき、文字や記号を用いることもできる。
【００３８】
本実施形態のマーカは以上に加え、再生ペースに合わせマーカを変化させて演奏者にテンポを認識させることができる。例えば、所定のリズムでマーカの濃淡や色彩、形状を変化させることにより、メトロノームが刻むリズムと同様に演奏者に再生ペースを認識させることができる。以上により、マーカによる再生または演奏箇所の提示に加え、再生ペースを認識させることができ、より直感的に譜めくりタイミングを認識することができ、演奏体験をより良好なものとすることができる。
【００３９】
（第１実施形態で演奏動画を使用する例）
以下、楽譜データに基づく第１実施形態で演奏動画を使用する例の処理を説明するが、まず動画再生開始処理につき説明し、その後動画の再生位置を譜面上にハイライト表示する処理を説明する。
【００４０】
（動画再生開始処理）
図９は、本発明の別の実施形態の譜面上の小節とそれに対応する再生位置の関連付けを示す図であり、図１０は、本実施形態の処理を示すフローチャートである。
【００４１】
本実施形態では、図９に示すように端末１０２に、楽譜データ送信モジュール２０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示して再生位置を指定させ、指定された小節をサーバに知らせることにより、サーバはその小節から演奏が開始されるものとして、本例では演奏動画の対応する箇所の再生時間を算出し、指定された演奏動画について、その位置から動画を再生するように動画配信サーバ９１０に指示する。再生箇所の指示やハイライト表示における端末１０２および楽譜管理サーバ１０１の処理は、上述したＭＩＤＩを使用する例と同様であるので説明を省略するが、動画配信サーバ９１０に再生を指示した後は、定期的に再生の進行状態を受信して、端末１０２の譜面上の対応する位置の小節をハイライト表示させる。
【００４２】
具体的に図１０のフローチャートを参照して説明すると、まず図９に示すように端末１０２に表示された譜面３０３の最上段の第２小節をユーザが指３０４でタッチして指定すると、端末１０２は動画を再生開始する小節番号を取得する。小節番号が取得されると、端末１０２は、取得した小節番号、ここでは第２小節を楽譜管理サーバ１０１に送信して通知する。楽譜管理サーバ１０１は、取得した小節番号から対応する動画の再生時間を算出する。
【００４３】
本実施形態では、図１１に示すように予め動画の再生時間１１１１と譜面の小節番号１０２１とを対応付けておき、小節時間変換表１１０１を作成しておく。この小節時間変換表１１０１を参照することにより例えば小節番号（２）（第２小節）は動画の再生時間ｔ２に対応すると判定できるから、これにより再生時間ｔ２を算出することができる。動画の再生時間は動画の最初の画像を基準とする再生経過時間の長さであり、その動画の最後の画像の再生時間は動画全体の長さとなる。
【００４４】
本実施形態では、予め小節時間変換表１１０１を作成して必要な再生時間を算出（変換）するが、各小節の時間を一定とみなすことができる場合は、演奏時間と小節数とで１小節の演奏時間を算出して、小節番号から再生時間を算出することができる。また、通常は、動画には演奏前後に演奏をしない余白の部分があるので、動画の最初の画像から開始して、一定の音量の音声が再生された位置から演奏を開始し、音量が一定以下になったところで演奏が終了したものとして、全体の演奏時間を算出することもできる。
【００４５】
楽譜管理サーバ１０１は、小節番号から再生時間を取得すると、図９の矢印９０２で示すように再生時間を動画配信サーバ９１０に通知して、動画の再生を指示する。すなわち、図９の矢印９０３で示すように予め設定してある動画配信サーバ９１０に再生開始位置を指定して動画の配信を指示する。動画の配信を指示された動画配信サーバ９１０は、指定された動画を指定された再生位置ｔ２から再生し、矢印９０４で示すように再生中の経過時間を送信する（ステップＳ１００１）。楽譜管理サーバ１０１のハイライト出力モジュール２０３は、送信された再生時間に基づいて、図１１に示す小節時間変換表１１０１を用いて、対応する楽譜の位置として小節番号を取得する（ステップＳ１００２）。図示しないが、本例で取得した再生時間ｔがｔ２以上ｔ３未満とすると、小節時間変換表１１０１により、第２小節に対応すると判定される。このように、取得した再生時間が小節時間変換表１１０１の再生時間のどの時間間隔の範囲に含まれるかにより対応する小節番号を判定する。
【００４６】
（譜面ハイライト表示処理）
小節番号が判定されると、ハイライト出力モジュール２０３は、端末１０２に判定された小節番号の表示をハイライトにするように小節番号を通知し（ステップＳ１００３）、端末１０２は図４に示す第２小節４０１のようにハイライト表示とする（ステップＳ１００４）。具体的な処理について、ハイライト表示の制御は本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜管理サーバ１０１で、判定された小節番号の楽譜の表示をハイライトに変更して端末１０２に送信することによって、端末１０２のブラウザがこれを解釈し、ハイライト表示にするようにすることもできるし、サーバからハイライト表示への切り替え指示を受けると指定部分をハイライト表示に変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節番号を指定してハイライト表示の指示を受信すると指定された小節をハイライト表示にすることもできるが、これに限られない。
【００４７】
以上の処理により、現在再生されている画像の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節がハイライト表示される。ここで、楽譜管理サーバ１０１は、上述の再生時間の取得を一定間隔で実行し、それ以降のハイライト表示処理までを行うことにより、動画の再生にしたがって、対応する小節をハイライト表示させ、楽譜上を移動しているように表示することができる。一定間隔を各小節間の時間より十分に小さくすることにより、滑らかにハイライトを楽譜上で移動させるように表示ことができる。あるいは、一定間隔を用いなくても、本実施形態では図１１に示すように各小節に対応する再生時間が予め記憶されているので、楽譜管理サーバ１０１は、各再生時間に実際にその再生時間にあるかを動画配信サーバ９１０に確認して、ハイライトさせる小節を変更する処理を実行することができる。
【００４８】
さらに時間が経過し、ハイライト位置、すなわち再生位置が譜面のページの中間、つまり通常は譜面の１ページには複数の小節が存在するが、例えば２ページ目に反復記号がない譜面では、２ページ目の小節数が２０の場合、１０小節過ぎたところでページめくりを行う。演奏中のページに反復記号がある譜面では、反復記号からそのページ最後の小節まで小節数が１０の場合、５小節分過ぎたところでページめくりを行う。即ち、ハイライト位置が演奏に必要な小節数の半分を経過したら、ページめくりするようにする。したがって、ページめくりをすると判定された場合（ステップＳ１００５のＹｅｓ）は、次に演奏する譜面を表示する画像の表示を次に演奏するページに更新する（ステップＳ１００６）ようにして、自動譜めくりを行う。演奏動画を用いて再生ペースとする例のハイライト表示の処理について説明したが、上述のＭＩＤＩデータを用いた処理と同様、３画面以上のシステムやハイライトではなくマーカを使用する場合も同様に処理することができる。
【００４９】
特にマーカの表示を変化させる場合、ＭＩＤＩデータと異なり演奏動画を用いると、再生ペースが一定ではなく、演奏者により大きく変化したりすることもあるので、マーカを見た演奏者は動画の演奏を体感しつつ演奏を続けることができる。
【００５０】
（第２実施形態）
本実施形態は、基本的には上述の第１実施形態と同様の構成を有し、各端末の機能や、構成も同様である。特に、楽譜端末１０２は構成も処理も同一である。第１実施形態では、譜面を端末に表示させる際、楽譜データを（ＭｕｓｉｃＸＭＬフォーマットで）端末に送信し、端末ではＭｕｓｉｖＸＭＬとして楽譜データを解釈して譜面を表示していたのに対し、本実施形態では、楽譜データに基づいて譜面のＰＤＦデータを生成して端末に送信し、端末側ではＰＤＦファイルとしてブラウザで表示する点が異なる。本実施形態と第１実施形態との主な差異は以上であるが、この差異によりユーザに指定された譜面上の開始位置の判定処理や、ハイライト表示の処理が異なってくる。以下、図１２〜１６を参照して本実施形態の処理を説明するが、上述の通り基本的に差異点以外は第１実施形態の処理を用いることができる。
【００５１】
(第２実施形態でＭＩＤＩを使用する例）
本実施形態で楽譜管理サーバ１０１は、予め楽譜データ管理モジュール２０１が楽譜データを、図示しないサーバ等から受信して管理しており、この楽譜データから生成されたＰＤＦ形式の譜面画像を楽譜データ管理モジュール２０１が、ページごとの画像に分離しておき記憶、管理しておく。楽譜管理サーバ１０１に譜面あるいは動画を指定して画像データ送信の指示が端末１１１からなされると、画像データ送信モジュール２０２が指示された譜面の画像を読み込み、図１２の矢印１２０１で示すように端末１０２に送信する。
【００５２】
図１２は、本発明の別の実施形態で譜面上の小節とそれに対応する再生位置の関連付けを示す図であり、図１３は、本発明のさらに別の実施形態の処理を示すフローチャートである。
【００５３】
本実施形態では、図１２に示すように端末１０２に、楽譜データ送信モジュール２０２が、ＰＤＦ形式の譜面画像を送信してブラウザ上に表示して再生位置を指定させ、指定された位置座標をサーバに知らせることにより、サーバはその座標位置がどの小節に対応するかを判定して、その小節から再生ペースに基づいて再生するように通信サーバ１０２に指示する。その後の処理は第１実施形態と同じである。
【００５４】
具体的に図１３のフローチャートを参照して説明すると、まず図１２に示すように端末１０２に表示された譜面３０３の最上段の第２小節をユーザが指３０４でタッチして指定すると、ステップＳ１３０１において、端末１０２は演奏を開始する座標を取得する。端末１０２の画面に表示された譜面を指でタッチあるいはマウスでクリック等した場合そのタッチあるいはクリックされた座標をサーバに送信する手法は本技術分野で知られたいずれの方法も用いることができる。例えば、指でタッチあるいはマウスでクリック等すると、タッチあるいはクリックされた座標をサーバに送信するようなスクリプトを予めデータに埋め込んでおくこともできるし、そのような処理を端末上で行うソフトウェアをインストール或いは逐次ダウンロードして使用することもできる。
【００５５】
座標が取得されると、端末１０２は、取得した座標を楽譜管理サーバ１０１に送信して通知する（ステップＳ１３０２）。楽譜管理サーバ１０１は、取得した座標から図１４に示す座標小節変換表１４０１を用いて、対応する小節番号を判定する（ステップＳ１３０３）。
【００５６】
本実施形態では、図１４の座標小節変換表１４０１に示すように、楽譜データからＰＤＦ形式で端末に表示させたときの各小節の位置を予め判定しておき、座標が指定されるとそれがどの小節内の座標であるかを特定できるようにしている。具体的には、本実施形態では各小節の左上の座標を基準としてその小節の領域の最下点までの長さを高さＨ、音楽進行方向の隣接する小節との境界までの長さを幅Ｗとして、この領域内に座標が含まれるときは、その小節番号であると判定する。このようにして、端末１０２から通知されたユーザが指定した座標から対応する小節番号を判定した後の処理は、第１実施形態と同様である。すなわち、演奏を開始する小節番号を取得すると、矢印１２０２で示すように、取得した小節番号からＭＩＤＩ音源で設定されたピッチで現在再生していると考えられる小節をハイライト表示する。これにより、端末１０２は図４に示す第２小節４０１のようにハイライト表示となる（ステップＳ１３０４）。
【００５７】
具体的な処理について、ハイライト表示の制御は本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜管理サーバ１０１で、取得した小節の領域の譜面の表示をハイライトに変更したＰＤＦ形式の譜面画像を端末１０２に送信することによって、端末１０２のブラウザがこれを解釈し、現在再生中の演奏に対応する小節の領域をハイライト表示にするようにすることもできるし、サーバからハイライト表示への切り替え指示を受けると指定された領域をハイライト表示に変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節に対応する領域を例えば座標等により指定してハイライト表示の指示を受信すると指定された領域をハイライト表示にすることもできるが、これに限られない。また、そのような処理を端末１０２上で行う専用のソフトウェアをインストール或いは逐次ダウンロードして使用することもできる。この場合、例えばハイライト表示する領域のデータは、譜面の画像データとは別に管理しておき、専用のソフトウェアに譜面の画像データとともに送って、ハイライト表示させることができる。
【００５８】
以上の処理により、第１実施形態と同様に、再生ペースに基づいて進行する演奏に対応する譜面上の位置が小節単位で判定され、判定された小節がハイライト表示される。ハイライト表示を動画の再生に合わせて譜面上を移動させていく処理についても第１実施形態と同様なので、ここでは省略する。さらに、端末１０２において、再生ペースを用い、ハイライト表示を更新することもできる。
【００５９】
さらに時間が経過し、ハイライト位置、すなわち再生位置が譜面のページの中間、つまり通常は譜面の１ページには複数の小節が存在するが、例えば２ページ目に反復記号がない譜面では、２ページ目の小節数が２０の場合、１０小節過ぎたところでページめくりを行う。演奏中のページに反復記号がある譜面では、反復記号からそのページ最後の小節まで小節数が１０の場合、５小節分過ぎたところでページめくりを行う。即ち、ハイライト位置が演奏に必要な小節数の半分を経過したら、ページめくりするようにする。したがって、ページめくりをすると判定された場合（ステップＳ１３０５のＹｅｓ）は、次に演奏する譜面を表示する画像の表示を次に演奏するページに更新する（ステップＳ１３０６）ようにして、自動譜めくりを行う。
【００６０】
（第２実施形態で演奏動画を使用する例）
以下、ＰＤＦデータに基づく第２実施形態で演奏動画を使用する例の処理を説明するが、まず動画再生開始処理につき説明し、その後動画の再生位置を譜面上にハイライト表示する処理を説明する。
【００６１】
（動画再生開始処理）
図１５は、本発明の別の実施形態の譜面上の小節とそれに対応する再生位置の関連付けを示す図であり、図１６は、本発明のさらに別の実施形態の処理を示すフローチャートである。
【００６２】
本実施形態では、図１５に示すように端末１０２に、楽譜データ送信モジュール２０２が、ＰＤＦ形式のデータを送信してブラウザ上に表示して再生位置を指定させ、指定された座標をサーバに知らせることにより、サーバはその座標が含まれる小節から演奏が開始されるものとして、本例では演奏動画の対応する箇所の再生時間を算出し、指定された演奏動画について、算出された位置から動画を再生するように動画配信サーバ９１０に指示する。再生箇所の指示やハイライト表示における端末１０２および楽譜管理サーバ１０１の処理は上述したＭＩＤＩを使用する例と同様であるので説明を省略するが、動画配信サーバ９１０に再生を指示した後は、定期的に再生の進行状態を受信して、端末１０２の譜面上の対応する位置の小節をハイライト表示させる。
【００６３】
具体的に図１６のフローチャートを参照して説明すると、まず図１５に示すように端末１０２に表示された譜面３０３の最上段の第２小節をユーザが指３０４でタッチして指定すると、端末１０２は動画を再生開始する小節を含む座標を取得する。座標が取得されると、端末１０２は、取得した座標、ここでは第２小節内のいずれかの座標を楽譜管理サーバ１０１送信して通知する。楽譜管理サーバ１０１は、取得した座標から小節番号を座標小節変換表１４０１を用いて判定し、判定された小節番号から対応する動画の再生時間を算出する。上記第１実施形態と同様に、小節時間変換表１１０１を参照して、図１５の矢印１５０２で示すように再生時間を動画配信サーバ９１０に通知し、動画の再生を指示する。動画の配信を指示された動画配信サーバ９１０は、指定された動画を指定された再生位置ｔ２から再生し、矢印１５０１で示すように再生中の再生時間を送信する（ステップＳ１６０１）。送信された再生時間に基づいて、図１４に示す小節時間変換表１１０１を用いて、対応する楽譜の位置として小節番号を取得する（ステップＳ１６０２）。楽譜管理サーバ１０１は、小節時間変換表１１０１から小節番号に変換座標小節変換表１４０１から座標に変換し、取得した座標の領域をハイライト表示にして送信し（ステップＳ１６０３）、端末１０２は図４に示す第２小節４０１のようにハイライト表示とする（ステップＳ１６０４）。
【００６４】
以上の処理により、現在再生されている画像の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節がハイライト表示される。ここで、楽譜管理サーバ１０１は、上述の再生時間の取得を一定間隔で実行し、それ以降のハイライト表示処理までを行うことにより、動画の再生にしたがって、対応する小節をハイライト表示させ、楽譜上を移動しているように表示することができる。さらに時間が経過し、ハイライト位置、すなわち再生位置が譜面のページの中間、つまり通常は譜面の１ページには複数の小節が存在するが、例えば２ページ目に反復記号がない譜面では、２ページ目の小節数が２０の場合、１０小節過ぎたところでページめくりを行う。演奏中のページに反復記号がある譜面では、反復記号からそのページ最後の小節まで小節数が１０の場合、５小節分過ぎたところでページめくりを行う。即ち、ハイライト位置が演奏に必要な小節数の半分を経過したら、ページめくりするようにする。したがって、ページめくりをすると判定された場合（ステップＳ１６０５のＹｅｓ）は、次に演奏する譜面を表示する画像の表示を次に演奏するページに更新する（ステップＳ１６０６）ようにして、自動譜めくりを行う。演奏動画を用いて再生ペースとする例のハイライト表示の処理について説明したが、上述のＭＩＤＩデータを用いた処理と同様、３画面以上のシステムやハイライトではなくマーカを使用する場合も同様に処理することができる。
【００６５】
特にマーカの表示を変化させる場合、ＭＩＤＩデータと異なり演奏動画を用いると、再生ペースが一定ではなく、演奏者により大きく変化したりすることもあるので、マーカを見た演奏者は動画の演奏を体感しつつ演奏を楽しむことができる。
【要約】
【課題】  良好な演奏体験を得ることができ、例えば初見で演奏する場合でも、円滑な演奏を支援すること。
【解決手段】  楽譜端末１０２において、演奏を開始する小節番号を取得すると、取得した小節番号からＭＩＤＩ音源で設定されたピッチで現在再生していると考えられる小節をハイライト表示する。時間が経過し、ハイライト位置、すなわち再生位置が譜面のページの中間、つまり通常は譜面の１ページには複数の段が存在するが、例えば中間の段の最終小節まで到達したか否かを判定し、到達したと判定された場合は、次に演奏する譜面を表示する画像の表示を次に演奏するページに更新するようにして、自動譜めくりを行う。
【選択図】  図３【図１】
0006712695.tif 000002
【図２】
0006712695.tif 000003
【図３】
0006712695.tif 000004
【図４】
0006712695.tif 000005
【図５】
0006712695.tif 000006
【図６】
0006712695.tif 000007
【図７】
0006712695.tif 000008
【図８】
0006712695.tif 000009
【図９】
0006712695.tif 000010
【図１０】
0006712695.tif 000011
【図１１】
0006712695.tif 000012
【図１２】
0006712695.tif 000013
【図１３】
0006712695.tif 000014
【図１４】
0006712695.tif 000015
【図１５】
0006712695.tif 000016
【図１６】
0006712695.tif 000017