(57)【要約】      （修正有）【課題】楽曲の印象に対応したモーショングラフィックスを歌詞と共に表示する表示制御システム及び表示制御方法を提供する。【解決手段】楽曲再生システム１は、スピーカ５４により再生される楽曲の歌詞データＤＬを取得するように構成された取得ユニットと、歌詞データに基づき再生される楽曲の進行に合わせて楽曲の歌詞を含むモーショングラフィックスをディスプレイ５５に表示させるように構成された表示制御ユニットとを備える。表示制御ユニットは、歌詞データを解析して複数種類のモーショングラフィックスの中から再生される楽曲の歌詞内容に応じた種類のモーショングラフィックスを選択し、選択した種類のモーショングラフィックスを用いて楽曲の歌詞を含むモーショングラフィックスをディスプレイに表示させる。【選択図】図１
2018128529.tif 000002
【特許請求の範囲】
【請求項１】
音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、
前記取得ユニットにより取得された前記歌詞データに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、前記楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、
を備え、
前記表示制御ユニットは、前記歌詞データを解析して、複数種類のモーショングラフィックスの中から、前記再生される楽曲の歌詞内容に応じた種類のモーショングラフィックスを選択し、選択した種類のモーショングラフィックスを用いて、前記楽曲の歌詞を含むモーショングラフィックスを、前記表示デバイスに表示させる表示制御システム。
【請求項２】
前記複数種類のモーショングラフィックスの夫々は、前記歌詞を装飾する装飾用モーショングラフィックスを含み、
前記歌詞内容に応じた種類のモーショングラフィックスの選択は、前記歌詞内容に応じた装飾用モーショングラフィックスの選択を含む請求項１記載の表示制御システム。
【請求項３】
前記複数種類のモーショングラフィックスの夫々は、１以上の単語と対応付けられており、
前記表示制御ユニットは、前記複数種類のモーショングラフィックスの中から、前記楽曲の歌詞に含まれる単語と対応付けられた種類のモーショングラフィックスを選択する請求項１又は請求項２記載の表示制御システム。
【請求項４】
前記表示制御ユニットは、前記楽曲の歌詞を少なくとも部分的に、予め機械学習された分類器に入力し、前記入力に対応する前記分類器の出力として、前記入力に対応する歌詞内容の分類情報を前記分類器から取得し、取得した前記分類情報に基づき、前記複数種類のモーショングラフィックスの中から、前記再生される楽曲の歌詞内容に応じた種類のモーショングラフィックスを選択する請求項１又は請求項２記載の表示制御システム。
【請求項５】
前記表示制御ユニットは、前記楽曲の歌詞全体を分割して定義される区間毎に、前記複数種類のモーショングラフィックスの中から、前記区間の歌詞内容に応じた種類のモーショングラフィックスを選択する請求項１〜請求項４のいずれか一項記載の表示制御システム。
【請求項６】
前記表示制御ユニットは、前記歌詞データから特定される前記楽曲の再生長と、前記楽曲の再生に用いられる楽曲データから特定される楽曲の再生長との誤差を判定し、前記誤差が基準より大きい場合には、前記誤差が基準より小さい場合よりも変化の緩やかな種類のモーショングラフィックスを選択するように、前記複数種類のモーショングラフィックスの中から、前記歌詞内容に応じた種類のモーショングラフィックスを選択する請求項１〜請求項５のいずれか一項記載の表示制御システム。
【請求項７】
前記表示制御ユニットは、前記再生される楽曲の歌詞言語に基づき、前記選択するモーショングラフィックスを切り替えるように構成される請求項１〜請求項６のいずれか一項記載の表示制御システム。
【請求項８】
前記表示制御ユニットは、前記再生される楽曲のリリース時期に基づき、前記選択するモーショングラフィックスを切り替えるように構成される請求項１〜請求項７のいずれか一項記載の表示制御システム。
【請求項９】
音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、
前記取得ユニットにより取得された前記歌詞データに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、前記楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、
を備え、
前記表示制御ユニットは、前記再生される楽曲の歌詞言語に基づき、前記表示デバイスに表示させる前記モーショングラフィックスの種類を切り替える表示制御システム。
【請求項１０】
音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、
前記取得ユニットにより取得された前記歌詞データに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、前記楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、
を備え、
前記表示制御ユニットは、前記再生される楽曲のリリース時期に基づき、前記表示デバイスに表示させる前記モーショングラフィックスの種類を切り替える表示制御システム。
【請求項１１】
請求項１〜請求項１０のいずれか一項記載の表示制御システムにおける前記取得ユニット、及び、前記表示制御ユニットとして、コンピュータを機能させるためのプログラム。
【請求項１２】
音響デバイスにより再生される楽曲の歌詞データを取得することと、
前記歌詞データに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、前記楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させることと、
を含み、
前記モーショングラフィックスを前記表示デバイスに表示させることは、
前記歌詞データを解析して、複数種類のモーショングラフィックスの中から、前記再生される楽曲の歌詞内容に応じた種類のモーショングラフィックスを選択し、選択した種類のモーショングラフィックスを用いて、前記楽曲の歌詞を含むモーショングラフィックスを、前記表示デバイスに表示させることを含む表示制御方法。
【請求項１３】
音響デバイスにより再生される楽曲の歌詞データを取得することと、
前記歌詞データに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、前記楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させることと、
を含み、
前記モーショングラフィックスを前記表示デバイスに表示させることは、前記再生される楽曲の歌詞言語に基づき、前記表示デバイスに表示させる前記モーショングラフィックスの種類を切り替えることを含む表示制御方法。
【請求項１４】
音響デバイスにより再生される楽曲の歌詞データを取得することと、
前記歌詞データに基づき、前記音響デバイスにより再生される楽曲の進行に合わせて、前記楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させることと、
を含み、
前記モーショングラフィックスを前記表示デバイスに表示させることは、前記楽曲のリリース時期に基づき、前記表示デバイスに表示させる前記モーショングラフィックスの種類を切り替えることを含む表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示制御システム及び表示制御方法に関する。
【背景技術】
【０００２】
楽曲の再生に合わせて、歌詞を含むモーショングラフィックスを表示する楽曲再生システムが既に知られている。例えば、出願人は、楽曲のジャンルデータをサーバから取得し、楽曲のジャンルに応じたモーショングラフィックスによって歌詞を表示デバイスに表示させるシステムを既に開示している（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／１４３９０７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したモーショングラフィックスの表示に係る技術は、楽曲の印象に合わせて多様なモーショングラフィックスを表示デバイスに表示させるために改善の余地がある。
本開示の一側面によれば、楽曲の印象に対応したモーショングラフィックスを用いて歌詞を表示デバイスに表示させることが可能なシステム及び方法を提供できることが望ましい。
【課題を解決するための手段】
【０００５】
本開示の一側面によれば、音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、取得ユニットにより取得された歌詞データに基づき、音響デバイスにより再生される楽曲の進行に合わせて、楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、を備える表示制御システムが提供される。
【０００６】
本開示の一側面によれば、表示制御ユニットは、歌詞データを解析して、複数種類のモーショングラフィックスの中から、再生される楽曲の歌詞内容に応じた種類のモーショングラフィックスを選択し、選択した種類のモーショングラフィックスを用いて、楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させる。
【０００７】
この表示制御システムによれば、歌詞データを解析して表示デバイスに表示させるモーショングラフィックスを選択するので、歌詞が与える楽曲の印象に対応したモーショングラフィックスを用いて歌詞を表示デバイスに表示させることが可能である。
【０００８】
本開示の一側面によれば、上記複数種類のモーショングラフィックスの夫々は、歌詞を装飾する装飾用モーショングラフィックスを含み得る。この場合、歌詞内容に応じた種類のモーショングラフィックスの選択は、歌詞内容に応じた装飾用モーショングラフィックスの選択を含んでいてもよい。装飾用モーショングラフィックスは、歌詞の背景画像として表示されるモーショングラフィックスであり得る。
【０００９】
本開示の一側面によれば、上記複数種類のモーショングラフィックスの夫々は、１以上の単語と対応付けられてもよい。表示制御ユニットは、複数種類のモーショングラフィックスの中から、楽曲の歌詞に含まれる単語と対応付けられた種類のモーショングラフィックスを選択するように構成されてもよい。
【００１０】
本開示の一側面によれば、表示制御ユニットは、楽曲の歌詞を少なくとも部分的に、予め機械学習された分類器に入力し、当該入力に対応する分類器の出力として、当該入力に対応する歌詞内容の分類情報を分類器から取得するように構成されてもよい。表示制御ユニットは、取得した分類情報に基づき、複数種類のモーショングラフィックスの中から、再生される楽曲の歌詞内容に応じた種類のモーショングラフィックスを選択するように構成されてもよい。
【００１１】
本開示の一側面によれば、表示制御ユニットは、楽曲の歌詞全体を分割して定義される区間毎に、複数種類のモーショングラフィックスの中から、区間の歌詞内容に応じた種類のモーショングラフィックスを選択するように構成されてもよい。歌詞には、ストーリが含まれる場合がある。上記区間毎のモーショングラフィックスの選択によれば、こうした種類の楽曲の再生時に、歌詞のストーリに合わせて適切にモーショングラフィックスを切り替えて表示デバイスに表示させることが可能である。
【００１２】
本開示の一側面によれば、表示制御ユニットは、歌詞データから特定される楽曲の再生長と、楽曲の再生に用いられる楽曲データから特定される楽曲の再生長との誤差を判定し、誤差が基準より大きい場合には、誤差が基準より小さい場合よりも変化の緩やかな種類のモーショングラフィックスを選択するように、複数種類のモーショングラフィックスの中から、歌詞内容に応じた種類のモーショングラフィックスを選択するように構成されてもよい。変化の緩やかなモーショングラフィックスを表示デバイスに表示させることによっては、利用者に対して楽曲再生とモーショングラフィックスの表示とがずれている印象を与える可能性を抑えることができる。
【００１３】
本開示の一側面によれば、音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、取得ユニットにより取得された歌詞データに基づき、音響デバイスにより再生される楽曲の進行に合わせて、楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、を備え、表示制御ユニットが、再生される楽曲の歌詞言語に基づき、表示デバイスに表示させるモーショングラフィックスの種類を切り替える表示制御システムが提供されてもよい。
【００１４】
歌詞言語の違いは、表示すべき歌詞の文字量や表示速度に影響する。場合によって、歌詞言語は、利用者が感じる楽曲の印象に影響を及ぼす。従って、歌詞言語に基づくモーショングラフィックスの選択は、楽曲に応じた多様なモーショングラフィックスの表示に役立つ。
【００１５】
本開示の一側面によれば、音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、取得ユニットにより取得された歌詞データに基づき、音響デバイスにより再生される楽曲の進行に合わせて、楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、を備え、表示制御ユニットが、再生される楽曲のリリース時期に基づき、表示デバイスに表示させるモーショングラフィックスの種類を切り替える表示制御システムが提供されてもよい。
【００１６】
リリース時期が古い楽曲と、リリース時期が新しい楽曲とでは、利用者に与える楽曲の印象が異なる。従って、リリース時期に基づくモーショングラフィックスの選択は、楽曲に応じた多様なモーショングラフィックスの表示に役立つ。
【００１７】
本開示の一側面によれば、上述した表示制御システムにおける取得ユニット、及び、表示制御ユニットの少なくとも一つとして、コンピュータを機能させるためのプログラムが提供されてもよい。当該プログラムを記録したコンピュータ読取可能な非遷移的実体的記録媒体が提供されてもよい。
【００１８】
本開示の一側面によれば、上述した表示制御システムに対応する表示制御方法が提供されてもよい。この表示制御方法は、コンピュータが実行する方法であってもよい。
本開示の一側面によれば、音響デバイスにより再生される楽曲の歌詞データを取得することと、歌詞データに基づき、音響デバイスにより再生される楽曲の進行に合わせて、楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させることと、を含む表示制御方法が提供されてもよい。
【００１９】
モーショングラフィックスを表示デバイスに表示させることは、歌詞データを解析して、複数種類のモーショングラフィックスの中から、再生される楽曲の歌詞内容に応じた種類のモーショングラフィックスを選択し、選択した種類のモーショングラフィックスを用いて、楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させることを含み得る。
【００２０】
本開示の一側面によれば、音響デバイスにより再生される楽曲の歌詞データを取得することと、歌詞データに基づき、音響デバイスにより再生される楽曲の進行に合わせて、楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させることと、を含み、モーショングラフィックスを表示デバイスに表示させることが、再生される楽曲の歌詞言語に基づき、表示デバイスに表示させるモーショングラフィックスの種類を切り替えることを含む表示制御方法が提供されてもよい。
【００２１】
本開示の一側面によれば、音響デバイスにより再生される楽曲の歌詞データを取得することと、歌詞データに基づき、音響デバイスにより再生される楽曲の進行に合わせて、楽曲の歌詞を含むモーショングラフィックスを、表示デバイスに表示させることと、を含み、モーショングラフィックスを表示デバイスに表示させることが、楽曲のリリース時期に基づき、表示デバイスに表示させるモーショングラフィックスの種類を切り替えることを含む表示制御方法が提供されてもよい。
【図面の簡単な説明】
【００２２】
【図１】楽曲再生システムの概略構成を表すブロック図である。
【図２】携帯通信端末及び音響再生装置の概略構成を表すブロック図である。
【図３】歌詞データの構成を表す図である。
【図４】モーショングラフィックスデータの構成を表す図である。
【図５】携帯通信端末及び音響再生装置の制御ユニットにおいて実現される機能を表すブロック図である。
【図６】再生計画作成部が実行する命令受付処理を表すフローチャートである。
【図７】モーショングラフィックスの例を表す図である。
【図８】第一変形例の命令受付処理を表すフローチャートである。
【図９】第二変形例の命令受付処理を表すフローチャートである。
【図１０】第三変形例の楽曲再生システムの概略構成を表すブロック図である。
【図１１】第三変形例の命令受付処理を表すフローチャートである。
【図１２】第四変形例の楽曲再生システムの概略構成を表すブロック図である。
【図１３】第四変形例の命令受付処理を表すフローチャートである。
【図１４】モーショングラフィックスの例を表す図である。
【発明を実施するための形態】
【００２３】
図１に示す本実施形態の楽曲再生システム１は、携帯通信端末１０と、音響再生装置５０と、第一サーバ装置７０と、第二サーバ装置９０と、を備える。携帯通信端末１０は、例えばスマートフォン又はタブレット端末であり得る。
【００２４】
この楽曲再生システム１では、携帯通信端末１０が楽曲データＤ１を再生処理して、楽曲データＤ１の再生用信号及び再生位置信号を音響再生装置５０に送信する。携帯通信端末１０は、この再生処理に先駆けて、楽曲データＤ１に基づいて再生される楽曲を識別可能な情報を含む曲情報データＤＦを音響再生装置５０に送信する。
【００２５】
音響再生装置５０は、携帯通信端末１０から受信した曲情報データＤＦに基づき、再生処理対象の楽曲データＤ１に対応する歌詞データＤＬを第一サーバ装置７０から取得し、対応する楽曲のジャンルを表す曲ジャンルデータＤＧ、及び、この楽曲の曲構造を表す曲構造データＤＳを、第二サーバ装置９０から取得する。ここで言う楽曲のジャンル（以下、曲ジャンルと称する）は、歌詞内容に基づかない、ポップ、ロック、レゲエなどの楽曲の分類であると理解されてよい。曲構造データＤＳの詳細については後述する。
【００２６】
音響再生装置５０は、携帯通信端末１０からの再生用信号に基づき、対応する楽曲をスピーカ５４から出力し、携帯通信端末１０からの再生位置信号に基づき、楽曲の再生に合わせてモーショングラフィックスをディスプレイ５５に表示させる。モーショングラフィックスには歌詞が含まれる。音響再生装置５０は、このモーショングラフィックスの表示形態を、第一サーバ装置７０から取得した歌詞データＤＬ、並びに、第二サーバ装置９０から取得した曲ジャンルデータＤＧ及び曲構造データＤＳに基づいて決定する。
【００２７】
携帯通信端末１０と音響再生装置５０との間の通信は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）に代表される近距離無線通信、及び、無線ＬＡＮ通信の少なくとも一方によって実現される。音響再生装置５０と、第一サーバ装置７０及び第二サーバ装置９０と、の間の通信は、広域ネットワークを通じて実現される。広域ネットワークは、例えばインターネットである。
【００２８】
図２に示すように、携帯通信端末１０は、制御ユニット１１と、記憶ユニット１３と、ユーザインタフェース１５と、通信ユニット１７と、を備える。制御ユニット１１は、ＣＰＵ１１Ａと、ＲＡＭ１１Ｂと、を備える。ＣＰＵ１１Ａは、記憶ユニット１３が記憶するプログラムに従う処理を実行する。ＲＡＭ１１Ｂは、ＣＰＵ１１Ａによる処理実行時に作業領域として使用される。以下では、ＣＰＵ１１Ａがプログラムに従って実行する処理を、携帯通信端末１０又は制御ユニット１１が実行する処理として説明する。
【００２９】
記憶ユニット１３は、各種プログラム及びデータを記憶する。記憶ユニット１３が記憶するデータには、一つ又は複数の楽曲データＤ１が含まれる。記憶ユニット１３は、例えばフラッシュメモリによって構成される。
【００３０】
ユーザインタフェース１５は、ディスプレイ及びタッチパネルを備える。ユーザインタフェース１５は、制御ユニット１１に制御されて、各種画面をディスプレイに表示し、タッチパネルを通じたユーザからの操作信号を制御ユニット１１に入力する。通信ユニット１７は、上記近距離無線通信及び無線ＬＡＮ通信可能な構成にされる。制御ユニット１１は、この通信ユニット１７を介して音響再生装置５０と無線通信する。
【００３１】
音響再生装置５０は、制御ユニット５１と、記憶ユニット５３と、スピーカ５４と、ディスプレイ５５と、通信ユニット５７と、を備える。制御ユニット５１は、ＣＰＵ５１Ａ及びＲＡＭ５１Ｂを備え、ＣＰＵ５１Ａは、各種プログラムに従う処理を実行する。ＲＡＭ５１Ｂは、ＣＰＵ５１Ａによる処理実行時に作業領域として使用される。以下では、ＣＰＵ５１Ａがプログラムに従って実行する処理を、音響再生装置５０又は制御ユニット５１が実行する処理として説明する。
【００３２】
記憶ユニット５３は、各種プログラム及びデータを記憶する。記憶ユニット５３が記憶するデータには、曲ジャンル毎のモーショングラフィックスデータＤ２（図４参照）が含まれる。音響再生装置５０は、これらのモーショングラフィックスデータＤ２を、広域ネットワークを通して外部のサーバ装置から取得可能に構成されてもよい。
【００３３】
スピーカ５４は、異なる複数の音域に対応した複数のスピーカユニット及びアンプを備え、制御ユニット５１から入力されるオーディオ信号を音に変換して出力する。ディスプレイ５５は、例えば液晶ディスプレイとして構成される。ディスプレイ５５は、制御ユニット５１に制御されて、楽曲再生中に、歌詞を含むモーショングラフィックスを表示する。ディスプレイ５５で表示されるモーショングラフィックスは、文字画像の変化、及び、背景画像の変化を含む。背景画像は、文字画像の背景に位置し、文字画像の周りで文字画像を装飾する。
【００３４】
通信ユニット５７は、携帯通信端末１０と同様に、近距離無線通信及び無線ＬＡＮ通信可能に構成される。制御ユニット５１は、この通信ユニット５７を介して携帯通信端末１０と近距離通信又は無線ＬＡＮ通信を行う。制御ユニット５１は、この通信ユニット５７を介して、広域ネットワークに配置された第一サーバ装置７０及び第二サーバ装置９０と通信する。
【００３５】
第一サーバ装置７０は、音響再生装置５０からの要求信号に従って、音響再生装置５０から要求された歌詞データＤＬを、音響再生装置５０に送信するように構成される。歌詞データＤＬは、楽曲の歌詞が少なくとも行毎に分けて記述された構成にされる。この歌詞データＤＬは、楽曲の歌詞全体における複数地点に、その地点の歌唱開始時刻を表すタイムコードＴＣが所定の記述方式で埋め込まれた構成にされる。タイムコードＴＣは、再生される楽曲の先頭を原点としたときの上記地点の再生位置又は再生時刻に対応する。図３には、タイムコードＴＣが付された歌詞データＤＬの構成を、概念的に示す。図３によれば、歌詞データＤＬは、歌詞の各行頭にタイムコードＴＣを有し、更に、各行の中間地点にも、タイムコードＴＣを有する。
【００３６】
第二サーバ装置９０は、音響再生装置５０からの要求信号に従って、音響再生装置５０から要求された楽曲の曲ジャンルデータＤＧ及び曲構造データＤＳを音響再生装置５０に送信するように構成される。
【００３７】
第二サーバ装置９０としては、楽曲が有する音楽的要素を、楽曲のリピート構造や変調を理解しながら自動解析し、この解析結果に基づく曲構造データＤＳを曲ジャンルデータＤＧと共に蓄積するサーバ装置が知られている。例えばポップミュージックの曲構造データＤＳは、楽曲が有する「イントロ」「Ａメロ（バース）」「Ｂメロ（プレコーラス）」「サビ（コーラス）」「Ｃメロ（ブリッジ）」「アウトロ（エンディング）」「間奏」等のセクションを特定可能な情報を含む。「Ａメロ」「Ｂメロ」「サビ」「Ｃメロ」は、日本市場での表現である。括弧書きで示したように「Ａメロ」「Ｂメロ」「サビ」「Ｃメロ」は、夫々順に、「バース」「プレコーラス」「コーラス」「ブリッジ」に対応する。
【００３８】
この曲構造データＤＳは、楽曲を構成するセクションとして、曲調が変化する地点を境界とするセクション、反復性を示すセクション、及び、盛り上がりを示すサビ（コーラス）等に対応するセクションを特定可能な情報を含む。
【００３９】
続いて、音響再生装置５０の記憶ユニット５３が記憶するモーショングラフィックスデータＤ２の構成を、図４を用いて説明する。本実施形態によれば、記憶ユニット５３は、曲ジャンル毎にモーショングラフィックスデータＤ２を記憶する。モーショングラフィックスデータＤ２の夫々は、楽曲再生時にディスプレイ５５に表示させるべき文字画像及び背景画像のモーショングラフィックスを定義する。
【００４０】
モーショングラフィックスデータＤ２は、図４に示すように、複数のコンポーネントデータＤ２１と、セクション毎の条件データＤ２２と、を有する。複数のコンポーネントデータＤ２１は、択一的に用いられる。条件データＤ２２の夫々は、対応するセクションにおいて使用すべきコンポーネントデータＤ２１を定義するデータである。
【００４１】
コンポーネントデータＤ２１の夫々は、当該コンポーネントデータＤ２１の識別コード（ＩＤ）と共に、ディスプレイ５５に表示させるべき文字画像（例えば歌詞）のモーションを定義するテキストモーション定義データＤ２１１と、ディスプレイ５５に表示させるべき背景画像のモーションを定義する背景モーション定義データＤ２１２と、を有する。
【００４２】
テキストモーション定義データＤ２１１は、文字画像のフォントタイプ、フォントサイズ、並びに、動きのパターン及び速度を定義する。テキストモーション定義データＤ２１１は、文字それ自体を定義するものではないことを理解されたい。モーショングラフィックスにおいて表示される文字は、歌詞又はその他の楽曲に関する文字である。背景モーション定義データＤ２１２は、背景画像のタイプ、並びに、動きのパターン及び速度を定義する。
【００４３】
コンポーネントデータＤ２１の一群には、背景画像のみのモーショングラフィックスを定義するコンポーネントデータＤ２１が含まれると理解されてもよい。このコンポーネントデータＤ２１は、テキストモーション定義データＤ２１１を有さないか、あるいは、形式的にはテキストモーション定義データＤ２１１を有するがテキストモーション定義データＤ２１１が実質的に空のコンポーネントデータであり得る。
【００４４】
図４に示される条件データＤ２２の夫々は、対応するセクションにおいて使用すべきコンポーネントデータＤ２１を、歌詞内容の種類毎に定義する。以下では、歌詞内容の種類のことを単に歌詞分類と表現する。図示されるように、条件データＤ２２は、歌詞分類毎に、歌詞分類の識別コードである分類コードＤ２２１に関連付けて、歌詞内容の特徴を表す特徴データＤ２２３、及び、この歌詞分類に属する歌詞を含むモーショングラフィックスの表示に使用すべきコンポーネントデータＤ２１の識別コード（ＩＤ）を有する。
【００４５】
特徴データＤ２２３は、１以上のキーワードを含むキーワード群により歌詞内容の特徴を表すデータであり得る。この場合、特徴データＤ２２３が示すキーワード群に属する単語を一つ以上含む歌詞が、この特徴データＤ２２３に対応する歌詞分類に属すると判定され得る。特徴データＤ２２３は、キーワードの分布により歌詞内容の特徴を表すデータであってもよい。この場合、特徴データＤ２２３が示すキーワード分布に合致する単語分布を有する歌詞が、この特徴データＤ２２３に対応する歌詞分類に属すると判定され得る。
【００４６】
条件データＤ２２には、歌詞が存在しないときに使用すべきコンポーネントデータＤ２１を定義する情報が含まれると理解されてもよい。即ち、条件データＤ２２は、歌詞分類「歌詞なし」の分類コードＤ２２１に関連付けて、歌詞が存在しないときに使用すべきコンポーネントデータＤ２１の識別コードを有した構成にされ得る。
【００４７】
条件データＤ２２には、歌詞内容が不明であるときに、換言すれば歌詞内容の適切な分類が困難であるときに使用すべきコンポーネントデータＤ２１を定義する情報が含まれると理解されてもよい。即ち、条件データＤ２２は、歌詞分類「その他」の分類コードＤ２２１に関連付けて、歌詞内容が不明であるときに使用すべきコンポーネントデータＤ２１の識別コードを有した構成にされてもよい。
【００４８】
続いて、携帯通信端末１０の制御ユニット１１及び音響再生装置５０の制御ユニット５１により実現される機能の詳細を、図５を用いて説明する。制御ユニット１１は、プログラムの実行により、主制御部１１１、第一送信制御部１１３、及び、第二送信制御部１１５として機能する。
【００４９】
主制御部１１１は、記憶ユニット１３が記憶する楽曲データＤ１の一つに対する再生指示が、ユーザインタフェース１５を通じてユーザから入力されると、再生指示により指定された再生処理対象の楽曲データＤ１に対応する曲情報データＤＦを付した動作命令を、音響再生装置５０に、通信ユニット１７を介して送信する。
【００５０】
楽曲データＤ１は、楽曲データ本体にメタデータＤ１１（図１参照）が付された構成にされる。メタデータＤ１１は、曲名、曲アルバム名、及び歌手名（アーティスト名）等の曲情報を有する。主制御部１１１は、このメタデータＤ１１を参照して、再生処理対象の楽曲データＤ１に対応する曲情報データＤＦを付した動作命令を、音響再生装置５０に送信する。曲情報データＤＦは、メタデータＤ１１に含まれる曲情報の全て又は一部を有することができる。この曲情報データＤＦは、音響再生装置５０が再生処理対象の楽曲データＤ１に対応する歌詞データＤＬ、曲ジャンルデータＤＧ及び曲構造データＤＳをサーバ装置７０，９０から取得するために用いられる。
【００５１】
主制御部１１１は、この動作命令に応じて、音響再生装置５０から送信される準備完了通知を受信すると、第一送信制御部１１３及び第二送信制御部１１５に対して処理開始を指示する。
【００５２】
第一送信制御部１１３は、上記処理開始の指示に従って、楽曲データＤ１に対する再生処理を実行することにより、楽曲データＤ１の再生用信号を、通信ユニット１７を介して音響再生装置５０に送信する。第一送信制御部１１３が実行する再生処理は、音響再生装置５０が楽曲をスピーカ５４から出力可能な形態まで、楽曲データＤ１をデコードする処理であり得る。本実施形態では、上記再生処理として、楽曲データＤ１のストリーム再生を実現するための処理が、第一送信制御部１１３により実行される。
【００５３】
第二送信制御部１１５は、上記処理開始の指示に従って、第一送信制御部１１３により再生処理される楽曲データＤ１の再生位置を表す再生位置信号を、通信ユニット１７を介して音響再生装置５０に送信するように動作する。第二送信制御部１１５は、第一送信制御部１１３が管理する再生位置の情報を、第一送信制御部１１３から取得して、その再生位置を表す再生位置信号を送信する構成にされ得る。
【００５４】
一方、音響再生装置５０の制御ユニット５１は、プログラムの実行により、再生計画作成部５１１、再生制御部５１３、及び、表示制御部５１５として機能する。
再生計画作成部５１１は、携帯通信端末１０からの動作命令に応じて、第一サーバ装置７０から歌詞データＤＬを取得し、第二サーバ装置９０から曲ジャンルデータＤＧ及び曲構造データＤＳを取得して、これらの取得データに基づき、モーショングラフィックスの再生計画を作成するように構成される。
【００５５】
作成される再生計画は、楽曲の先頭から終端までの当該楽曲の再生に合わせてディスプレイ５５に表示させるモーショングラフィックスの表示制御用データである。再生計画は、再生位置信号により特定される楽曲の各再生位置で表示すべきモーショングラフィックスを具体的に定義する。表示制御部５１５は、この再生計画に従って、ディスプレイ５５を制御し、再生計画に従うモーショングラフィックスをディスプレイ５５に表示させる。再生計画は、表示制御部５１５が解釈可能な制御命令で記述され得る。
【００５６】
再生計画の作成のために、再生計画作成部５１１は、図６に示す命令受付処理を繰返し実行するように構成される。この命令受付処理によれば、再生計画作成部５１１は、携帯通信端末１０から送信される動作命令を、通信ユニット５７を介して受信するまで待機する（Ｓ１１０）。
【００５７】
動作命令を受信すると（Ｓ１１０でＹｅｓ）、再生計画作成部５１１は、携帯通信端末１０から受信した動作命令に付された曲情報データＤＦに基づき、携帯通信端末１０が再生処理しようとする楽曲データＤ１に対応する歌詞データＤＬを、第一サーバ装置７０から取得する（Ｓ１２０）。
【００５８】
更に、再生計画作成部５１１は、上記曲情報データＤＦに基づき、携帯通信端末１０が再生処理しようとする楽曲データＤ１に対応する曲ジャンルデータＤＧ及び曲構造データＤＳを、第二サーバ装置９０から取得する（Ｓ１２５）。
【００５９】
その後、再生計画作成部５１１は、取得した曲ジャンルデータＤＧを参照して、再生される楽曲の曲ジャンルを判別し、複数のモーショングラフィックスデータＤ２の内、再生楽曲に対応する曲ジャンルのモーショングラフィックスデータＤ２を、参照対象のモーショングラフィックスデータＤ２として選択する（Ｓ１３０）。
【００６０】
モーショングラフィックスデータＤ２の選択後、再生計画作成部５１１は、Ｓ１４０〜Ｓ１７０の処理を繰返し実行することにより、取得した曲構造データＤＳから特定される楽曲のセクション毎に、参照対象のモーショングラフィックスデータＤ２が有する当該セクションの条件データＤ２２を参照し、このモーショングラフィックスデータＤ２が有する複数のコンポーネントデータＤ２１からモーショングラフィックスの表示に使用するコンポーネントデータＤ２１を選択する。具体的には、セクション毎に、当該セクションの歌詞内容に対応した歌詞分類のコンポーネントデータＤ２１を、使用するコンポーネントデータＤ２１として選択する。
【００６１】
Ｓ１４０において、再生計画作成部５１１は、楽曲に含まれる複数セクションの一つを処理対象セクションに選択する。そして、処理対象セクションの歌詞部分を、歌詞データＤＬから抽出し（Ｓ１５０）、抽出した歌詞部分を解析して、処理対象セクションの歌詞分類に対応するコンポーネントデータＤ２１を、処理対象セクションで使用するコンポーネントデータＤ２１として選択する（Ｓ１６０）。
【００６２】
例えば、再生計画作成部５１１は、抽出した歌詞部分を解析して、その歌詞内容の特徴を表す特徴データを生成することができる。歌詞部分を解析する処理は、歌詞部分から一つ又は複数のキーワードを抽出する処理であり得る。特徴データは、抽出されたキーワードのリスト又は分布を表すデータであり得る。
【００６３】
再生計画作成部５１１は、処理対象セクションの歌詞部分から生成した特徴データと、処理対象セクションの条件データＤ２２が示す各歌詞分類の特徴データとを比較して、最も特徴が合致する特徴データの歌詞分類を、処理対象セクションの歌詞分類と判定し、その歌詞分類に関連付けられたコンポーネントデータＤ２１を、使用するコンポーネントデータＤ２１として選択することができる（Ｓ１６０）。
【００６４】
例えば、再生計画作成部５１１は、処理対象セクションの歌詞部分から抽出されたキーワードを有する特徴データＤ２２３に対応付けられた歌詞分類を、処理対象セクションの歌詞分類と判定することができる。歌詞分類間で重複しないようにキーワードを割り当てることにより、処理対象セクションの歌詞部分から抽出されたキーワードから一つの歌詞分類を特定可能である。あるいは、再生計画作成部５１１は、処理対象セクションの歌詞部分から抽出されたキーワードの分布に合致するキーワード分布を有する特徴データＤ２２３に対応付けられた歌詞分類を、処理対象セクションの歌詞分類と判定することができる。
【００６５】
再生計画作成部５１１は、処理対象セクションの歌詞分類が不明の場合、歌詞分類「不明」用のコンポーネントデータＤ２１を、当該処理対象セクションで使用するコンポーネントデータＤ２１として選択することができる。再生計画作成部５１１は、処理対象セクションに歌詞がない場合、歌詞分類「歌詞なし」用のコンポーネントデータＤ２１を選択することができる。
【００６６】
再生計画作成部５１１は、Ｓ１６０での処理後、楽曲に含まれる全てのセクションに関して、Ｓ１５０〜Ｓ１６０の処理を実行したか否かを判断する（Ｓ１７０）。そして、全てのセクションについて上記処理を実行していないと判断すると（Ｓ１７０でＮｏ）、Ｓ１４０に移行し、未処理のセクションの一つを処理対象セクションに選択して、Ｓ１５０以降の処理を実行する。再生計画作成部５１１は、全てのセクションについて上記処理を実行したと判断すると（Ｓ１７０でＹｅｓ）、Ｓ１８０に移行する。
【００６７】
Ｓ１８０において、再生計画作成部５１１は、歌詞データＤＬ及び曲構造データＤＳと、Ｓ１６０で選択したセクション毎のコンポーネントデータＤ２１とに基づき、楽曲の各再生位置で、Ｓ１６０での選択に従う文字画像（歌詞）及び背景画像のモーショングラフィックスをディスプレイ５５に表示させるための再生計画を作成する。
【００６８】
即ち、再生計画作成部５１１は、楽曲の進行（再生位置の変化）に合わせて、ディスプレイ５５が、対応するセクションのコンポーネントデータＤ２１が有するテキストモーション定義データＤ２１１に従う文字画像（歌詞）のモーショングラフィックス、及び、同コンポーネントデータＤ２１が有する背景モーション定義データＤ２１２に従う背景画像のモーショングラフィックスを表示するように、表示制御部５１５に再生位置信号に従ってディスプレイ５５を制御させるための再生計画を作成する。
【００６９】
このとき、再生計画作成部５１１は、歌詞データＤＬに含まれるタイムコードＴＣに従って、タイムコードＴＣの夫々に対応する楽曲の再生位置の夫々で、対応する歌詞部分のモーショングラフィックスがディスプレイ５５に表示されるように、再生計画を作成する。
【００７０】
再生計画作成部５１１は、このように再生計画を作成すると、Ｓ１９０に移行して、準備完了通知を携帯通信端末１０に送信する。準備完了通知により、携帯通信端末１０では、楽曲データＤ１の再生処理が開始され、再生用信号及び再生位置信号が送られてくる。
【００７１】
再生制御部５１３は、この再生用信号を、携帯通信端末１０から通信ユニット５７を介して受信し、この再生用信号に基づく音をスピーカ５４に出力させるためのオーディオ信号をスピーカ５４に入力することにより、スピーカ５４を通じた楽曲再生を実現する。
【００７２】
表示制御部５１５は、携帯通信端末１０から送信されてくる再生位置信号を、通信ユニット５７を介して受信し、この再生位置信号に基づいて、スピーカ５４からの出力音に対応するモーショングラフィックスがディスプレイ５５に表示されるように、上記再生計画に従ってディスプレイ５５を制御する。このようにして制御ユニット５１は、再生される楽曲の進行に合わせて、歌詞の文字画像を含むモーショングラフィックスであって、歌詞内容に適合した文字画像及び背景画像のモーショングラフィックスをディスプレイ５５に表示させるように、ディスプレイ５５を制御する。
【００７３】
歌詞内容に適合したモーショングラフィックスは、歌詞内容から連想される人の感情、状況、及び、環境等に対応したモーショングラフィックスであり得る。文字画像のモーショングラフィックスに対する利用者の印象は、フォントのタイプ、サイズ、動き、位置変化速度、及び、形状変化速度等によって変化する。フォントタイプには、優しい印象を与える丸みを帯びたフォントタイプ、厳しい印象を与える角を有するフォントタイプ、女性的なフォントタイプ、及び、男性的なフォントタイプが存在する。
【００７４】
背景画像のモーショングラフィックスは、例えば、シンプルな幾何学図形のモーショングラフィックスであり得る。この場合、背景画像のモーショングラフィックスに対する利用者の印象は、例えば、幾何学図形の形状、サイズ、動き、位置変化速度、及び、形状変化速度等によって変化する。この観点で、モーショングラフィックスデータＤ２は、例えば手作業で作成され得る。
【００７５】
例えば、悲しい歌詞が歌われる楽曲の再生位置では、「涙」「雨」等を模した、これらを連想させる背景画像のモーショングラフィックスがディスプレイ５５に表示され得る。例えば、秋に関する歌詞が歌われる楽曲の再生位置では、落葉を連想させる背景画像のモーショングラフィックスが表示され得る。冬に関する歌詞が歌われる楽曲の再生位置では、降雪を連想させる背景画像のモーショングラフィックスが表示され得る。怒りや衝撃に関する歌詞が歌われる楽曲の再生位置では、図７に示すように落雷を連想させる背景画像のモーショングラフィックスが表示され得る。恋愛に関する歌詞が歌われる楽曲の再生位置では、ハート型の背景画像のモーショングラフィックスが表示され得る。
【００７６】
これらの歌詞内容の印象に適合した背景画像のモーショングラフィックス上に、歌詞内容の印象に適合したフォントを用いた文字画像のモーショングラフィックスが表示され得る。上述したように、文字画像の速度及び動きも、その違いによって異なる印象を利用者に与える。動きのパターンとしては、文字画像が浮いているような曲線的な動きのパターン、及び、文字画像が降り注ぐような直線的な動きのパターンを例に挙げることができる。モーショングラフィックスは、文字画像の速度及び動きのパターンについても歌詞内容の印象に適合した形で表示される。文字画像のモーショングラフィックスには、１以上の文字画像の移動、回転、及び、フォントサイズの変更が含まれ得る。
【００７７】
以上、本実施形態の楽曲再生システム１の構成を説明した。この楽曲再生システム１によれば、再生計画作成部５１１がスピーカ５４により再生される楽曲の歌詞データＤＬを第一サーバ装置７０から取得する。更に、再生計画作成部５１１は、再生される楽曲の曲ジャンルデータＤＧ及び曲構造データＤＳを第二サーバ装置９０から取得し、記憶ユニット５３からモーショングラフィックスデータＤ２を読み出す。
【００７８】
再生計画作成部５１１は、このように取得した再生楽曲の歌詞データＤＬ、曲ジャンルデータＤＧ及び曲構造データＤＳに基づき、楽曲の歌詞内容に応じた文字画像及び背景画像を含むモーショングラフィックスの再生計画を作成する。表示制御部５１５は、この再生計画に従うモーショングラフィックスがディスプレイ５５に表示されるように、楽曲の進行に合わせて、即ち、再生位置信号に従って、ディスプレイ５５を制御する。これにより、表示制御部５１５は、ディスプレイ５５に、楽曲の進行に合わせて楽曲の歌詞を含むモーショングラフィックスを表示させる。
【００７９】
特に、本実施形態によれば、再生計画作成部５１１が、曲構造データＤＳから特定される楽曲のセクション毎に、そのセクションの歌詞内容に応じて、使用するコンポーネントデータＤ２１を切り替えて再生計画を作成し、表示制御部５１５が、この再生計画に基づき、再生楽曲の構造及び歌詞内容の変化に基づいたモーショングラフィックスをディスプレイ５５に表示させる。従って、音響再生装置５０は、楽曲の進行に合わせて豊かな表現でモーショングラフィックスをディスプレイ５５に表示させることができ、利用者をより楽しませることができる。
【００８０】
続いて、変形例を説明する。変形例の楽曲再生システムは、上記実施形態の楽曲再生システム１と一部の構成及び処理が異なるだけのシステムである。従って、以下では、変形例の楽曲再生システムの構成及び処理の内、上記実施形態の楽曲再生システム１と共通する構成及び処理については、上記実施形態と同一の符号を付して、その説明を省略する。
【００８１】
［第一変形例］
第一変形例の楽曲再生システムは、図４に示す記憶ユニット５３が曲ジャンル毎のモーショングラフィックスデータＤ２に代えて、歌詞言語毎のモーショングラフィックスデータＤ２を備え、再生計画作成部５１１が、図６に示す命令受付処理に代えて、図８に示す命令受付処理を実行するように構成される。具体的には、再生計画作成部５１１は、Ｓ１３０の処理に代えて、Ｓ１３１の処理を実行するように構成される。
【００８２】
第一変形例の命令受付処理は、Ｓ１３０の処理に代えてＳ１３１の処理を含む点を除いて、図６に示す上記実施形態の命令受付処理と同じである。再生計画作成部５１１は、図８に示されないが、Ｓ１３１の処理実行後、上記実施形態と同様にＳ１４０以降の処理を実行することができる。
【００８３】
Ｓ１３１において、再生計画作成部５１１は、歌詞データＤＬを参照して、再生楽曲に対応する歌詞の言語を判別する。そして、判別した歌詞言語に対応するモーショングラフィックスデータＤ２を、参照対象のモーショングラフィックスデータＤ２として選択する。そして、Ｓ１４０以降の処理で、このモーショングラフィックスデータＤ２を用いて再生計画を作成する。表示制御部５１５は、この再生計画に従って、歌詞言語に適した文字画像（歌詞）及び背景画像のモーショングラフィックスをディスプレイ５５に表示させる。
【００８４】
モーショングラフィックスデータＤ２の作成者は、歌詞言語毎のモーショングラフィックスデータＤ２を作成する際、言語間における歌詞の文字数及び発話速度の相違を考慮して、文字数及び発話速度に適した文字画像及び背景画像のモーショングラフィックスを定義するように、各言語のモーショングラフィックスデータＤ２を作成することができる。
【００８５】
例えば、漢字の影響により歌詞の文字数が少なく発話速度が低い日本語では、歌詞を一文字ずつ順に表示するモーショングラフィックスを有意義に活用できるのに対し、日本語より歌詞の文字数が多く発話速度の速い英語では、歌詞を一文字ずつ順に表示するモーショングラフィックスを有意義に活用することができない。英語では、歌詞の意味を利用者に伝えるために、一文字単位の表示ではなく単語単位、それ以上の単位での表示が有効である。モーショングラフィックスデータＤ２の作成者は、記述方向に関する言語間の違いを考慮して、文字画像の動きが記述方向に適合するように、モーショングラフィックスを定義してもよい。ここで言う記述方向の例は、縦方向（縦書き）及び横方向（横書き）を含む。
【００８６】
本変形例によれば、音響再生装置５０は、再生楽曲の歌詞言語に応じて表示するモーショングラフィックスを切り替えることができる。従って、歌詞言語に適したモーショングラフィックスの表示により利用者を楽しませることができる。
【００８７】
［第二変形例］
第二変形例の楽曲再生システムは、図４に示す記憶ユニット５３が曲ジャンル毎のモーショングラフィックスデータＤ２に代えて、楽曲のリリース時期毎のモーショングラフィックスデータＤ２を備え、再生計画作成部５１１が、図６に示す命令受付処理に代えて、図９に示す命令受付処理を実行するように構成される。具体的には、再生計画作成部５１１は、Ｓ１３０の処理に代えて、Ｓ１３２の処理を実行し、再生楽曲のリリース時期に対応したモーショングラフィックスデータＤ２を参照対象に選択するように構成される。
【００８８】
第二変形例の命令受付処理は、Ｓ１３０の処理に代えて、Ｓ１３２の処理を含む点を除いて、図６に示す上記実施形態の命令受付処理と同じである。再生計画作成部５１１は、図９に示されないが、Ｓ１３２の処理実行後、上記実施形態と同様にＳ１４０以降の処理を実行することができる。
【００８９】
Ｓ１３２において、再生計画作成部５１１は、再生楽曲のリリース時期を判別する。例えば、リリース時期は、１０年毎に区切られる。例えば、再生計画作成部５１１は、再生楽曲のリリース時期が、１９６０年以前、１９６０年代、７０年代、８０年代、９０年代、２０００年代、２０１０年代、及び１年以内のいずれであるかを判別することができる。リリース時期を判別するための情報は、曲情報データＤＦ又は歌詞データＤＬに含まれ得る。
【００９０】
Ｓ１３２において、再生計画作成部５１１は、上記判別したリリース時期に対応するモーショングラフィックスデータＤ２を、参照対象のモーショングラフィックスデータＤ２として選択する。再生計画作成部５１１は、Ｓ１４０以降の処理で、このモーショングラフィックスデータＤ２を用いて再生計画を作成する。表示制御部５１５は、この再生計画に従って、リリース時期に適した文字画像（歌詞）及び背景画像のモーショングラフィックスをディスプレイ５５に表示させる。
【００９１】
モーショングラフィックスデータＤ２の作成者は、リリース時期毎のモーショングラフィックスデータＤ２を作成する際、楽曲を聴く利用者が、そのリリース時期の楽曲に対して通常感じる印象を考慮して、モーショングラフィックスを定義するように、リリース時期毎のモーショングラフィックスデータＤ２を作成することができる。
【００９２】
例えば、リリース時期の新しい楽曲においては、新しさを感じさせるモーショングラフィックスをディスプレイ５５に表示させ、リリース時期の古い楽曲においては、古めかしさを感じさせるモーショングラフィックスをディスプレイ５５に表示させることができる。古めかしさは、例えば、古いフィルム映画の再生時に現れるような縦筋や不明瞭さを、文字画像及び背景画像のモーショングラフィックスにおいて表現することにより、利用者に感じさせることができる。新しさは、例えば、モーショングラフィックスの明瞭さやパターンの斬新さ等で、利用者に感じさせることができる。
【００９３】
本実施形態によれば、音響再生装置５０は、再生楽曲のリリース時期に応じて表示するモーショングラフィックスを切り替えることができる。従って、再生楽曲の新旧に適したモーショングラフィックスの表示により利用者を楽しませることができる。
【００９４】
［第三変形例］
第三変形例の楽曲再生システム３は、携帯通信端末１０、音響再生装置５０、第一サーバ装置７０、第二サーバ装置９０に加えて、図１０に示す第三サーバ装置９５を備える。更に、上記実施形態の再生計画作成部５１１に代わる再生計画作成部６１１が、第三サーバ装置９５と通信して、処理対象セクションの歌詞分類を、第三サーバ装置９５に問い合わせ、第三サーバ装置９５から、処理対象セクションの歌詞分類の分類コードを取得するように構成される。
【００９５】
第三サーバ装置９５は、歌詞の入力に対して、その歌詞の分類コードを出力する分類器９５１を備える。分類器９５１は、教師データを用いた機械学習により構築される。例えば、作業者は、歌詞のサンプル毎に、そのサンプルの歌詞分類を判定し、サンプルの歌詞と、判定した歌詞分類の分類コードと、を関連付けて教師データを作成することができる。作業者は、分類器９５１の入出力が、この教師データの一群が表す歌詞と分類コードとの関係に対応するように、図示しない学習器に、分類器９５１の設計パラメータを機械学習させることができる。これにより、教師データの一群が表す歌詞と分類コードとの関係に対応した、入出力を示す分類器９５１を生成することができる。機械学習アルゴリズムとしては、様々なアルゴリズムが知られている。本変形例の分類器９５１を構築するに際しても、これらの周知の機械学習アルゴリズムを適用することができる。
【００９６】
具体的に、再生計画作成部６１１は、図６に示す命令受付処理に代えて、図１１に示す命令受付処理を実行するように構成される。
再生計画作成部６１１は、図１１に示す命令受付処理を開始すると、上記実施形態の再生計画作成部５１１と同様に、Ｓ１１０〜Ｓ１５０の処理を実行する。その後、再生計画作成部６１１は、Ｓ１６０に代わるＳ１６１，Ｓ１６２の処理を実行して、処理対象セクションで使用するコンポーネントデータＤ２１を選択する。その後、再生計画作成部６１１は、上記実施形態と同様に、Ｓ１７０以降の処理を実行する。
【００９７】
Ｓ１６１において、再生計画作成部６１１は、Ｓ１５０で抽出された歌詞部分を含む歌詞分類の問い合わせ信号を、第三サーバ装置９５に送信し、その応答信号として、分類器９５１が当該歌詞分類の入力に対して出力した分類コードを含む信号を第三サーバ装置９５から受信する。
【００９８】
Ｓ１６２において、再生計画作成部６１１は、第三サーバ装置９５から受信した応答信号が示す分類コードに基づき、その分類コードＤ２２１に関連付けられたコンポーネントデータＤ２１を、処理対象セクションの条件データＤ２２を参照して特定し、特定したコンポーネントデータＤ２１を、処理対象セクションで使用するコンポーネントデータＤ２１として選択する。その後、再生計画作成部６１１は、Ｓ１７０以降の処理を実行する。
【００９９】
本変形例によれば、再生計画作成部６１１は、各セクションの歌詞部分を、第三サーバ装置９５を通じて予め機械学習された分類器９５１に入力し、当該入力に対応する分類器９５１の出力として、当該入力に対応する歌詞分類の分類コードを分類器９５１から取得する。再生計画作成部６１１は、上記取得した分類コードＤ２２１に基づき、複数のコンポーネントデータＤ２１から、再生楽曲の歌詞内容に適合したモーショングラフィックスを定義するコンポーネントデータＤ２１を選択し、モーショングラフィックスの再生計画を作成する。
【０１００】
本変形例によれば、このように機械学習された分類器９５１を用いて各セクションの歌詞を高精度に分類することができる。従って、歌詞内容に応じたモーショングラフィックスを適切に表示可能な楽曲再生システム３を構築可能である。
【０１０１】
［第四変形例］
第四変形例の楽曲再生システム４は、基本的に上記実施形態の楽曲再生システム１と同一のハードウェア構成を有する。但し、この楽曲再生システム４は、図１２に示すように、上記実施形態の再生計画作成部５１１に代わる再生計画作成部７１１が、曲ジャンルデータＤＧ及び曲構造データＤＳを第二サーバ装置９０から取得することなく、再生計画を作成するように構成される。この再生計画作成部７１１は、図６に示す命令受付処理に代えて、図１３に示す命令受付処理を実行する。
【０１０２】
再生計画作成部７１１は、図１３に示す命令受付処理を開始すると、上記実施形態と同様に、Ｓ１１０，Ｓ１２０の処理を実行した後、Ｓ２１０以降の処理を実行する。
Ｓ２１０では、楽曲データＤ１に基づく楽曲の再生時間長Ｐ１と、歌詞データＤＬが示す楽曲の時間長Ｐ２との誤差Ｅ＝｜Ｐ１−Ｐ２｜が、予め定められた閾値未満であるか否かを判断する。
【０１０３】
ここでの判断に必要な再生時間長Ｐ１の情報は、携帯通信端末１０から取得することができる。例えば、携帯通信端末１０は、音響再生装置５０に送信する曲情報データＤＦに、楽曲データＤ１から特定される再生時間長Ｐ１の情報を含ませることにより、再生時間長Ｐ１の情報を音響再生装置５０に提供することができる。本変形例において、歌詞データＤＬは、楽曲の時間長Ｐ２の情報を有することができる。
【０１０４】
再生計画作成部７１１は、誤差Ｅが閾値未満であるか否かに応じて、音響再生装置５０の記憶ユニット５３が記憶する複数のモーショングラフィックスデータＤ３１，Ｄ３２（図１２参照）の中から、再生計画の作成に使用するモーショングラフィックスデータを選択する（Ｓ２２０，Ｓ２３０）。
【０１０５】
本変形例では、音響再生装置５０の記憶ユニット５３が、上記実施形態における曲ジャンル毎のモーショングラフィックスデータＤ２に代えて、第一のモーショングラフィックスデータＤ３１と、第二のモーショングラフィックスデータＤ３２と、を備える。モーショングラフィックスデータＤ３１，Ｄ３２の夫々は、複数のコンポーネントデータＤ２１と、一つの条件データＤ２２と、を備える。この条件データＤ２２は、上記実施形態と同様、歌詞分類毎に使用すべきコンポーネントデータＤ２１を定義する。
【０１０６】
第一のモーショングラフィックスデータＤ３１は、誤差Ｅが閾値未満である環境で表示すべきモーショングラフィックスを定義する。第二のモーショングラフィックスデータＤ３２は、誤差Ｅが閾値以上である環境で表示すべきモーショングラフィックスを定義する。
【０１０７】
従って、再生計画作成部７１１は、誤差Ｅが閾値未満であると判断すると（Ｓ２１０でＹｅｓ）、Ｓ２２０に移行して、モーショングラフィックスデータＤ３１，Ｄ３２の内、第一のモーショングラフィックスデータＤ３１を、参照対象のモーショングラフィックスデータに選択する。一方、再生計画作成部７１１は、誤差Ｅが閾値以上であると判断すると（Ｓ２１０でＮｏ）、Ｓ２３０に移行して、モーショングラフィックスデータＤ３１，Ｄ３２の内、第二のモーショングラフィックスデータＤ３２を、参照対象のモーショングラフィックスデータに選択する。
【０１０８】
その後、再生計画作成部７１１は、Ｓ２４０に移行し、Ｓ２２０又はＳ２３０で選択したモーショングラフィックスデータを参照して、歌詞の行毎に使用するコンポーネントデータＤ２１を選択し、再生計画を作成する（Ｓ２４０〜Ｓ２８０）。
【０１０９】
即ち、再生計画作成部７１１は、歌詞データＤＬを参照して、楽曲に含まれる歌詞の一行を処理対象の歌詞部分として選択する（Ｓ２４０）。そして、処理対象の歌詞部分を、歌詞データＤＬから抽出し（Ｓ２５０）、抽出した歌詞部分を解析して、この歌詞部分が属する歌詞分類に対応するコンポーネントデータＤ２１を、当該歌詞部分の歌唱区間で使用するコンポーネントデータＤ２１として選択する（Ｓ２６０）。
【０１１０】
コンポーネントデータＤ２１の選択は、上記選択したモーショングラフィックスデータに含まれる一つの条件データＤ２２（図１２）を参照して、上記実施形態におけるＳ１６０の処理と同様の方法で行なうことができる。あるいは、コンポーネントデータＤ２１の選択は、第三変形例のＳ１６１，Ｓ１６２と同様の手法で行なわれてもよい。
【０１１１】
再生計画作成部７１１は、Ｓ２６０での処理後、歌詞に含まれる全ての行に関して、Ｓ２５０〜Ｓ２６０の処理を実行したか否かを判断する（Ｓ２７０）。そして、全ての行について上記処理を実行していないと判断すると（Ｓ２７０でＮｏ）、Ｓ２４０に移行し、未処理の一行を処理対象の歌詞部分に選択して、Ｓ２５０以降の処理を実行する。
【０１１２】
再生計画作成部７１１は、全ての行について上記処理を実行したと判断すると（Ｓ２７０でＹｅｓ）、Ｓ２８０に移行する。
Ｓ２８０において、再生計画作成部７１１は、歌詞データＤＬと、Ｓ２６０で選択した歌詞の行毎のコンポーネントデータＤ２１とに基づき、楽曲の各再生位置で、Ｓ２６０での選択に従う文字画像（歌詞）及び背景画像のモーショングラフィックスをディスプレイ５５に表示させるための再生計画を作成する。
【０１１３】
即ち、再生計画作成部７１１は、歌詞の各行の歌唱時に、ディスプレイ５５が、歌唱される行の歌詞分類に対応付けられたコンポーネントデータＤ２１が有するテキストモーション定義データＤ２１１に従う文字画像（歌詞）のモーショングラフィックス、及び、同コンポーネントデータＤ２１が有する背景モーション定義データＤ２１２に従う背景画像のモーショングラフィックスを表示するように、表示制御部５１５に再生位置信号に従ってディスプレイ５５を制御させるための再生計画を作成する。
【０１１４】
再生計画作成部７１１は、曲の演奏開始から歌い始めまでの歌詞のない楽曲先頭区間、及び、歌い終わりから楽曲の演奏終了まで歌詞のない楽曲末尾区間について、参照対象のモーショングラフィックスデータが有する歌詞分類「歌詞なし」のコンポーネントデータＤ２１に基づき、その区間に特有のモーショングラフィックスをディスプレイ５５に表示させるように再生計画を作成することができる。
【０１１５】
再生計画作成部７１１は、このようにしてＳ２８０で再生計画を作成すると、Ｓ２９０に移行して、準備完了通知を携帯通信端末１０に送信する。この準備完了通知を契機に携帯通信端末１０から送信されてくる再生用信号に基づいた楽曲再生が、再生制御部５１３及びスピーカ５４を通じて行なわれ、再生位置信号及び上記再生計画に基づく、楽曲の進行及び歌詞内容に対応したモーショングラフィックスの表示が、表示制御部５１５及びディスプレイ５５を通じて行なわれる。
【０１１６】
本変形例によれば、上述したように楽曲データＤ１に基づく楽曲の再生時間長Ｐ１と、歌詞データＤＬが示す楽曲の時間長Ｐ２との誤差Ｅの大小に応じて、モーショングラフィックスデータＤ３１，Ｄ３２を使い分ける。
【０１１７】
誤差Ｅが大きい場合には、変化の激しいモーショングラフィックスで歌詞を演出すると、モーショングラフィックスと実際に歌唱される歌詞との時間ズレが利用者に目立つ可能性がある。誤差Ｅは、歌詞データＤＬが想定している楽曲の音源と、再生処理される楽曲データＤ１の音源とが異なることで生じ得る。
【０１１８】
誤差Ｅが閾値以上である場合には、誤差Ｅが閾値未満である場合よりも変化の緩やかな種類のモーショングラフィックスが表示されるように、モーショングラフィックスデータＤ３１，Ｄ３２を作成すれば、時間ズレが利用者に目立つのを抑制し、楽曲の進行に応じた適切なモーショングラフィックスをディスプレイ５５に表示させることができる。
【０１１９】
例えば、歌詞の一行の演出方法としては、図１４左領域に示すように、当該歌詞の一行が歌われる期間、一行全体をディスプレイ５５に表示する方法の他、この期間に、一行を構成する複数の文字を時間的に順に表示する方法が考えられる。図１４左領域には、時間軸ｔに沿って歌詞「ＡＢＣＤＥ」が表示され続ける態様が示される。図１４右領域には、同じ時間軸ｔに沿って歌詞「ＡＢＣＤＥ」を構成する文字が順に表示される態様が示される。前者は、文字画像のモーショングラフィックスに関して、変化の緩やかな種類のモーショングラフィックスの一例であり、後者は、前者と比較して、変化の激しい種類のモーショングラフィックスの一例である。
【０１２０】
上述の主旨に従って、モーショングラフィックスデータＤ３１，Ｄ３２の作成者は、同じ歌詞分類に対応付ける第一のモーショングラフィックスデータＤ３１のコンポーネントデータＤ２１、及び、第二のモーショングラフィックスデータＤ３２のコンポーネントデータＤ２１に関して、第二のモーショングラフィックスデータＤ３２のコンポーネントデータＤ２１により定義されるモーショングラフィックスが、第一のモーショングラフィックスデータＤ３１のコンポーネントデータＤ２１により定義されるモーショングラフィックスよりも変化の緩やかな種類のモーショングラフィックスとなるように、モーショングラフィックスデータＤ３１，Ｄ３２のコンポーネントデータＤ２１及び条件データＤ２２を作成することができる。
【０１２１】
以上に、変形例を含む本開示の例示的実施形態を説明したが、本開示は、上記実施形態に限定されるものではなく、種々の態様を採り得る。
例えば、モーショングラフィックスの表示形態は、上述した例に限定されない。上記実施形態によれば、曲ジャンル毎にモーショングラフィックスデータＤ２が設けられているが、モーショングラフィックスデータＤ２は、全曲ジャンルに共通して一つだけ設けられてもよい。歌詞内容に基づくモーショングラフィックスの切り替えは、セクション毎に行われてもよいし、歌詞の行毎に行われてもよいし、楽曲の歌詞全体を更に小さく分割して定義される区間毎に行われてもよい。
【０１２２】
音響再生装置５０としての機能は、その一部又は全部が携帯通信端末１０に組み込まれてもよい。即ち、携帯通信端末１０は、モーショングラフィックスデータＤ２を記憶ユニット１３に記憶する構成にされてもよい。携帯通信端末１０の制御ユニット１１は、再生処理対象の楽曲データＤ１に対応する歌詞データＤＬ、曲ジャンルデータＤＧ、及び、曲構造データＤＳを、通信ユニット１７を介してサーバ装置７０，９０から取得する構成にされてもよい。制御ユニット１１は、サーバ装置７０，９０からの取得データに基づき、楽曲データＤ１に基づく楽曲の再生時に、ユーザインタフェース１５が備えるディスプレイに楽曲の進行に合わせてモーショングラフィックスを表示させることができる。楽曲データＤ１に基づく再生音は、携帯通信端末１０のスピーカ（図示せず）から出力することができる。
【０１２３】
音響再生装置５０が有する機能の全てが実質的に携帯通信端末１０に組み込まれる場合、楽曲再生システム１において音響再生装置５０は不要である。即ち、楽曲再生システム１，３，４には、携帯通信端末１０及び音響再生装置５０としての機能を統合した単一装置が携帯通信端末１０及び音響再生装置５０に代えて設けられ得る。
【０１２４】
携帯通信端末１０は、音響再生装置５０を単にスピーカ５４及びディスプレイ５５として用いるように構成されてもよい。即ち、携帯通信端末１０は、楽曲データＤ１に基づく再生用信号、及び、これに同期したモーショングラフィックスを表す映像信号、又は、これらを統合した信号を、ストリーム信号として、音響再生装置５０に送信するように構成されてもよい。この場合、音響再生装置５０は、携帯通信端末１０からの受信信号に基づき楽曲をスピーカ５４から再生し、モーショングラフィックスをディスプレイ５５に表示させるように動作し得る。携帯通信端末１０は、デスクトップコンピュータ等の携帯性を有さない他の電子機器に置き換えられてもよい。
【０１２５】
この他、上記実施形態における１つの構成要素が有する機能は、複数の構成要素に分散して設けられてもよい。複数の構成要素が有する機能は、１つの構成要素に統合されてもよい。上記実施形態の構成の一部は、省略されてもよい。上記実施形態の構成の少なくとも一部は、他の上記実施形態の構成に対して付加又は置換されてもよい。特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【０１２６】
用語間の対応関係は、次の通りである。スピーカ５４は、音響デバイスの一例に対応し、ディスプレイ５５は、表示デバイスの一例に対応する。再生計画作成部５１１，６１１，７１１が実行するＳ１２０，Ｓ１２５の処理は、取得ユニットが実行する処理の一例に対応する。再生計画作成部５１１，６１１，７１１が実行するＳ１３０〜Ｓ１９０，Ｓ２１０〜Ｓ２９０の処理及び表示制御部５１５が実行する再生計画に基づくディスプレイ５５の表示制御は、表示制御ユニットが実行する処理の一例に対応する。
【符号の説明】
【０１２７】
１，３，４…楽曲再生システム、１０…携帯通信端末、１１…制御ユニット、１１Ａ…ＣＰＵ、１１Ｂ…ＲＡＭ、１３…記憶ユニット、１５…ユーザインタフェース、１７…通信ユニット、５０…音響再生装置、５１…制御ユニット、５１Ａ…ＣＰＵ、５１Ｂ…ＲＡＭ、５３…記憶ユニット、５４…スピーカ、５５…ディスプレイ、５７…通信ユニット、７０，９０，９５…サーバ装置、１１１…主制御部、１１３…第一送信制御部、１１５…第二送信制御部、５１１，６１１，７１１…再生計画作成部、５１３…再生制御部、５１５…表示制御部、９５１…分類器、Ｄ１…楽曲データ、Ｄ１１…メタデータ、Ｄ２，Ｄ３１，Ｄ３２…モーショングラフィックスデータ、Ｄ２１…コンポーネントデータ、Ｄ２１１…テキストモーション定義データ、Ｄ２１２…背景モーション定義データ、Ｄ２２…条件データ、Ｄ２２１…分類コード、Ｄ２２３…特徴データ、ＤＦ…曲情報データ、ＤＧ…曲ジャンルデータ、ＤＬ…歌詞データ、ＤＳ…曲構造データ、ＴＣ…タイムコード。
【図１】
2018128529.tif 000003
【図２】
2018128529.tif 000004
【図３】
2018128529.tif 000005
【図４】
2018128529.tif 000006
【図５】
2018128529.tif 000007
【図６】
2018128529.tif 000008
【図７】
2018128529.tif 000009
【図８】
2018128529.tif 000010
【図９】
2018128529.tif 000011
【図１０】
2018128529.tif 000012
【図１１】
2018128529.tif 000013
【図１２】
2018128529.tif 000014
【図１３】
2018128529.tif 000015
【図１４】
2018128529.tif 000016