(57)【要約】      （修正有）【課題】曲再生時に利用者が楽しむことのできるモーショングラフィックスを表示する表示制御システム及び表示制御方法を提供する。【解決手段】楽曲再生システム１は、スピーカ５４により再生される楽曲の歌詞データを取得するように構成された取得ユニットと、音響デバイスにより再生される楽曲に対応するモーショングラフィックスを、ディスプレイ５５に表示させるように構成された表示制御ユニットとを備える。表示制御ユニットは、取得ユニットが歌詞データＤＬの取得に失敗した場合、楽曲の簡易情報を含むモーショングラフィックスを、表示デバイスに表示させる。表示制御ユニットは、取得ユニットにより取得された歌詞データがタイムコードを有していない場合には、楽曲の時間長に基づき、歌詞の各部分の表示スケジュールを決定する。【選択図】図１
2018128528.tif 000002
【特許請求の範囲】
【請求項１】
音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、
前記音響デバイスにより再生される楽曲に対応するモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、
を備え、
前記表示制御ユニットは、
前記取得ユニットが前記歌詞データの取得に成功した場合には、前記モーショングラフィックスとして、前記歌詞データに基づく前記楽曲の歌詞を含む第一のモーショングラフィックスを、前記表示デバイスに表示させ、
前記取得ユニットが前記歌詞データの取得に失敗した場合には、前記モーショングラフィックスとして、前記楽曲の簡易情報を含む第二のモーショングラフィックスを、前記表示デバイスに表示させる
ように構成される表示制御システム。
【請求項２】
前記楽曲の簡易情報は、前記楽曲の再生に用いられる楽曲データのメタデータに基づく情報である請求項１記載の表示制御システム。
【請求項３】
前記楽曲の簡易情報は、文字情報として、曲名、曲アルバム名、歌手名、演奏者名、作曲者名、及び、作詞者名の少なくとも一つを含む請求項１又は請求項２記載の表示制御システム。
【請求項４】
前記第二のモーショングラフィックスは、前記文字情報に対応する１以上の文字の移動、回転、及び、サイズ変更の少なくとも一つを含む請求項３記載の表示制御システム。
【請求項５】
前記表示制御ユニットは、前記第二のモーショングラフィックスとして、前記楽曲の種類に応じた画像表現を含むモーショングラフィックスを、前記表示デバイスに表示させる請求項１〜請求項４のいずれか一項記載の表示制御システム。
【請求項６】
前記表示制御ユニットは、前記楽曲の種類を、前記楽曲の再生に用いられる楽曲データのメタデータから特定される曲名及び曲アルバム名の少なくとも一方に基づき推定する請求項５記載の表示制御システム。
【請求項７】
前記表示制御ユニットは、前記再生される楽曲に対応するアルバムジャケットの画像データを取得し、前記第二のモーショングラフィックスとして、前記アルバムジャケットの画像を含むモーショングラフィックスを前記表示デバイスに表示させる請求項１〜請求項６のいずれか一項記載の表示制御システム。
【請求項８】
前記取得ユニットは、曲構造データベースから前記再生される楽曲の構造を表す曲構造データを取得するように構成され、
前記表示制御ユニットは、前記曲構造データに基づき、前記第一及び第二のモーショングラフィックスとして、前記再生される楽曲の構造に基づいたモーショングラフィックスを前記表示デバイスに表示させる請求項１〜請求項７のいずれか一項記載の表示制御システム。
【請求項９】
前記表示制御ユニットは、
前記取得ユニットにより取得された前記歌詞データが、歌詞の各部分の楽曲内での位置を表すタイムコードを有する第一の歌詞データである場合には、前記楽曲の再生開始時を基準に前記タイムコードに従うタイミングで前記表示デバイスに前記歌詞の各部分を表示させるように、前記歌詞を含むモーショングラフィックスを、前記表示デバイスに表示させ、
前記取得ユニットにより取得された前記歌詞データが、前記タイムコードを有していない第二の歌詞データである場合には、前記楽曲の時間長に基づき、前記歌詞の各部分の表示スケジュールを決定して、前記楽曲の再生開始時を基準に前記決定した表示スケジュールに従うタイミングで前記表示デバイスに前記楽曲の歌詞の各部分を表示させるように、前記歌詞を含むモーショングラフィックスを、前記表示デバイスに表示させる
ように構成される請求項１〜請求項８のいずれか一項記載の表示制御システム。
【請求項１０】
音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、
前記音響デバイスにより再生される楽曲に対応するモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、
を備え、
前記表示制御ユニットは、
前記取得ユニットにより取得された前記歌詞データが、歌詞の各部分の楽曲内での位置を表すタイムコードを有する第一の歌詞データである場合には、前記楽曲の再生開始時を基準に前記タイムコードに従うタイミングで前記表示デバイスに前記歌詞の各部分を表示させるように、前記歌詞を含むモーショングラフィックスを、前記表示デバイスに表示させ、
前記取得ユニットにより取得された前記歌詞データが、前記タイムコードを有していない第二の歌詞データである場合には、前記楽曲の時間長に基づき、前記歌詞の各部分の表示スケジュールを決定して、前記楽曲の再生開始時を基準に前記決定した表示スケジュールに従うタイミングで前記表示デバイスに前記楽曲の歌詞の各部分を表示させるように、前記歌詞を含むモーショングラフィックスを、前記表示デバイスに表示させる
ように構成される表示制御システム。
【請求項１１】
前記表示制御ユニットは、前記楽曲の時間長と、前記楽曲の演奏開始から前記歌詞の歌い始めまでの時間に関する統計的代表値である第一の代表値、及び、歌い終わりから楽曲の演奏終了までの時間に関する統計的代表値である第二の代表値と、に基づき、前記歌詞の各部分の表示スケジュールを決定するように構成される請求項９又は請求項１０記載の表示制御システム。
【請求項１２】
前記表示制御ユニットは、前記取得ユニットにより取得された前記歌詞データが前記第二の歌詞データである場合には、前記楽曲の再生開始時よりも前記第一の代表値に対応する時間後の時点から、前記楽曲の再生終了時よりも前記第二の代表値に対応する時間前の第二の時点までの区間を、前記歌詞データが表す歌詞の行数に応じて分割し、分割後の各区間に前記歌詞の各行を割り当てることにより前記歌詞の各行の表示スケジュールを決定し、前記楽曲の再生開始時を基準に前記各区間に対応するタイミングで、前記表示デバイスに前記楽曲の歌詞の各行を表示させるように、前記歌詞を含むモーショングラフィックスを、前記表示デバイスに表示させる請求項１１記載の表示制御システム。
【請求項１３】
請求項１〜請求項１２のいずれか一項記載の表示制御システムにおける前記取得ユニット、及び、前記表示制御ユニットとして、コンピュータを機能させるためのプログラム。
【請求項１４】
音響デバイスにより再生される楽曲の歌詞データを取得することと、
前記音響デバイスにより再生される楽曲に対応するモーショングラフィックスを、表示デバイスに表示させることと、
を含み、
前記モーショングラフィックスを前記表示デバイスに表示させることは、
前記楽曲の歌詞データの取得に成功した場合には、前記モーショングラフィックスとして、前記歌詞データに基づく前記楽曲の歌詞を含む第一のモーショングラフィックスを、前記表示デバイスに表示させ、
前記楽曲の歌詞データの取得に失敗した場合には、前記モーショングラフィックスとして、前記楽曲の簡易情報を含む第二のモーショングラフィックスを、前記表示デバイスに表示させる
ことを含む表示制御方法。
【請求項１５】
音響デバイスにより再生される楽曲の歌詞データを取得することと、
前記音響デバイスにより再生される楽曲に対応するモーショングラフィックスを、表示デバイスに表示させることと、
を含み、
前記モーショングラフィックスを前記表示デバイスに表示させることは、
前記歌詞データが、歌詞の各部分の楽曲内での位置を表すタイムコードを有する第一の歌詞データである場合には、前記楽曲の再生開始時を基準に前記タイムコードに従うタイミングで前記表示デバイスに前記歌詞の各部分を表示させるように、前記歌詞を含むモーショングラフィックスを、前記表示デバイスに表示させ、
前記歌詞データが、前記タイムコードを有していない第二の歌詞データである場合には、前記楽曲の時間長に基づき、前記歌詞の各部分の表示スケジュールを決定して、前記楽曲の再生開始時を基準に前記決定した表示スケジュールに従うタイミングで前記表示デバイスに前記楽曲の歌詞の各部分を表示させるように、前記歌詞を含むモーショングラフィックスを、前記表示デバイスに表示させる
ことを含む表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示制御システム及び表示制御方法に関する。
【背景技術】
【０００２】
楽曲の再生に合わせて、歌詞を含むモーショングラフィックスを表示する楽曲再生システムが既に知られている。例えば、出願人は、楽曲のジャンルに対応するモーショングラフィックスによって歌詞を表示デバイスに表示させるシステムを既に開示している（例えば特許文献１参照）。このシステムによれば、タイムコード付きの歌詞データに基づき、楽曲の再生に合わせて表示デバイスに歌詞を表示させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／１４３９０７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記技術によれば、楽曲を音と表示との両方で楽しむことができる楽曲再生システムを消費者に提供することができる。しかしながら、このような楽曲再生システムのために、無数に存在する全ての楽曲に関して、歌詞データ、又は、タイムコード付きの歌詞データを用意することは難しい。
【０００５】
そこで、本開示の一側面によれば、例えば歌詞データ又はタイムコード付きの歌詞データを取得できない場合のように、歌詞表示のための情報が不足している場合でも、楽曲再生時に、利用者が楽しむことのできるモーショングラフィックスを表示デバイスに表示させることが可能なシステム及び方法を提供できることが望ましい。
【課題を解決するための手段】
【０００６】
本開示の一側面によれば、音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、音響デバイスにより再生される楽曲に対応するモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、を備える表示制御システムが提供される。
【０００７】
本開示の一側面によれば、表示制御ユニットは、取得ユニットが歌詞データの取得に成功した場合には、歌詞データに基づく楽曲の歌詞を含む第一のモーショングラフィックスを、表示デバイスに表示させるように構成される。
【０００８】
本開示の一側面によれば、表示制御ユニットは、取得ユニットが歌詞データの取得に失敗した場合には、楽曲の簡易情報を含む第二のモーショングラフィックスを、表示デバイスに表示させるように構成される。
【０００９】
この表示制御システムによれば、歌詞データを取得できない場合にも、楽曲の簡易情報を含むモーショングラフィックスにより、利用者が楽しむことのできる再生楽曲に関するモーショングラフィックスを表示デバイスに表示させることができる。
【００１０】
本開示の一側面によれば、上記楽曲の簡易情報は、楽曲の再生に用いられる楽曲データのメタデータに基づく情報を含み得る。本開示の一側面によれば、上記楽曲の簡易情報は、文字情報として、曲名、曲アルバム名、歌手名、演奏者名、作曲者名、及び、作詞者名の少なくとも一つを含んでいてもよい。第二のモーショングラフィックスは、当該文字情報に対応する１以上の文字の移動、回転、及び、サイズ変更の少なくとも一つを含み得る。
【００１１】
本開示の一側面によれば、表示制御ユニットは、第二のモーショングラフィックスとして、楽曲の種類に応じた画像表現を含むモーショングラフィックスを、表示デバイスに表示させるように構成されてもよい。
【００１２】
本開示の一側面によれば、表示制御ユニットは、楽曲の再生に用いられる楽曲データのメタデータから特定される曲名及び曲アルバム名の少なくとも一方に基づき、当該楽曲の種類を推定するように構成されてもよい。
【００１３】
本開示の一側面によれば、表示制御ユニットは、再生される楽曲に対応するアルバムジャケットの画像データを取得し、第二のモーショングラフィックスとして、アルバムジャケットの画像を含むモーショングラフィックスを表示デバイスに表示させるように構成されてもよい。
【００１４】
本開示の一側面によれば、取得ユニットは、曲構造データベースから再生される楽曲の構造を表す曲構造データを取得するように構成されてもよい。表示制御ユニットは、この曲構造データに基づき、第一及び第二のモーショングラフィックスとして、再生される楽曲の構造に基づいたモーショングラフィックスを表示デバイスに表示させるように構成されてもよい。本開示の一側面によれば、楽曲の構造に基づいたモーショングラフィックスの表示は、当該構造に基づいたモーショングラフィックスの切替表示を含み得る。
【００１５】
本開示の一側面によれば、音響デバイスにより再生される楽曲の歌詞データを取得するように構成された取得ユニットと、音響デバイスにより再生される楽曲に対応するモーショングラフィックスを、表示デバイスに表示させるように構成された表示制御ユニットと、を備え、表示制御ユニットが、歌詞データがタイムコードを有するか否かに応じて、モーショングラフィックスの表示制御を切り替える表示制御システムが提供されてもよい。
【００１６】
本開示の一側面によれば、表示制御ユニットは、取得ユニットにより取得された歌詞データが、歌詞の各部分の楽曲内での位置を表すタイムコードを有する第一の歌詞データである場合には、楽曲の再生開始時を基準にタイムコードに従うタイミングで表示デバイスに歌詞の各部分を表示させるように、歌詞を含むモーショングラフィックスを、表示デバイスに表示させるように構成され得る。
【００１７】
本開示の一側面によれば、表示制御ユニットは、取得ユニットにより取得された歌詞データが、タイムコードを有していない第二の歌詞データである場合には、楽曲の時間長に基づき、歌詞の各部分の表示スケジュールを決定して、楽曲の再生開始時を基準に決定した表示スケジュールに従うタイミングで表示デバイスに楽曲の歌詞の各部分を表示させるように、歌詞を含むモーショングラフィックスを、表示デバイスに表示させるように構成され得る。
【００１８】
この表示制御システムによれば、歌詞データにタイムコードが含まれない場合にも、楽曲の再生に合わせて、歌詞を適切に表示デバイスに表示させることができ、それにより利用者が楽しむことのできる楽曲のモーショングラフィックスを表示デバイスに表示させることができる。
【００１９】
本開示の一側面によれば、表示制御ユニットは、楽曲の時間長と、楽曲の演奏開始から歌詞の歌い始めまでの時間に関する第一の代表値と、歌い終わりから楽曲の演奏終了までの時間に関する第二の代表値と、に基づき、歌詞の各部分の表示スケジュールを決定するように構成されてもよい。第一の代表値は、楽曲の演奏開始から歌詞の歌い始めまでの時間に関する統計的代表値であり得る。第二の代表値は、歌い終わりから楽曲の演奏終了までの時間に関する統計的代表値であり得る。
【００２０】
本開示の一側面によれば、表示制御ユニットは、取得ユニットにより取得された歌詞データが上記第二の歌詞データである場合には、楽曲の再生開始時よりも第一の代表値に対応する時間後の時点から、楽曲の再生終了時よりも第二の代表値に対応する時間前の第二の時点までの区間を、歌詞データが表す歌詞の行数に応じて分割し、分割後の各区間に歌詞の各行を割り当てることにより歌詞の各行の表示スケジュールを決定し、楽曲の再生開始時を基準に各区間に対応するタイミングで、表示デバイスに楽曲の歌詞の各行を表示させるように、歌詞を含むモーショングラフィックスを、表示デバイスに表示させるように構成されてもよい。
【００２１】
本開示の一側面によれば、上述した表示制御システムにおける取得ユニット及び表示制御ユニットの少なくとも一方として、コンピュータを機能させるためのプログラムが提供されてもよい。当該プログラムを記録したコンピュータ読取可能な非遷移的実体的記録媒体が提供されてもよい。
【００２２】
本開示の一側面によれば、上述した表示制御システムにより実現される表示制御方法が提供されてもよい。この表示制御方法は、コンピュータが実行する方法であってもよい。
本開示の一側面によれば、音響デバイスにより再生される楽曲の歌詞データを取得することと、音響デバイスにより再生される楽曲に対応するモーショングラフィックスを、表示デバイスに表示させることと、を含む表示制御方法が提供され得る。
【００２３】
本開示の一側面によれば、上記モーショングラフィックスを表示デバイスに表示させることは、楽曲の歌詞データの取得に成功した場合に、歌詞データに基づく楽曲の歌詞を含む第一のモーショングラフィックスを、表示デバイスに表示させ、楽曲の歌詞データの取得に失敗した場合には、楽曲の簡易情報を含む第二のモーショングラフィックスを、表示デバイスに表示させることを含み得る。
【００２４】
本開示の一側面によれば、上記モーショングラフィックスを表示デバイスに表示させることは、歌詞データが、歌詞の各部分の楽曲内での位置を表すタイムコードを有する第一の歌詞データである場合には、楽曲の再生開始時を基準にタイムコードに従うタイミングで表示デバイスに歌詞の各部分を表示させるように、歌詞を含むモーショングラフィックスを、表示デバイスに表示させることを含み得る。
【００２５】
本開示の一側面によれば、上記モーショングラフィックスを表示デバイスに表示させることは、歌詞データが、タイムコードを有していない第二の歌詞データである場合には、楽曲の時間長に基づき、歌詞の各部分の表示スケジュールを決定して、楽曲の再生開始時を基準に決定した表示スケジュールに従うタイミングで表示デバイスに楽曲の歌詞の各部分を表示させるように、歌詞を含むモーショングラフィックスを、表示デバイスに表示させることを含み得る。
【図面の簡単な説明】
【００２６】
【図１】楽曲再生システムの概略構成を表すブロック図である。
【図２】携帯通信端末及び音響再生装置の概略構成を表すブロック図である。
【図３】モーショングラフィックスデータの構成を表す図である。
【図４】携帯通信端末及び音響再生装置の制御ユニットにおいて実現される機能を表すブロック図である。
【図５】再生計画作成部が実行する命令受付処理を表すフローチャートである。
【図６】歌詞データの構成を表す図である。
【図７】表示スケジュールの決定方法を説明した図である。
【図８】再生計画作成部が実行する第一作成処理を表すフローチャートである。
【図９】再生計画作成部が実行する第二作成処理を表すフローチャートである。
【図１０】モーショングラフィックスの例を表す図である。
【図１１】モーショングラフィックスの例を表す図である。
【発明を実施するための形態】
【００２７】
図１に示す本実施形態の楽曲再生システム１は、携帯通信端末１０と、音響再生装置５０と、第一サーバ装置７０と、第二サーバ装置９０と、を備える。携帯通信端末１０は、例えばスマートフォン又はタブレット端末であり得る。
【００２８】
この楽曲再生システム１では、携帯通信端末１０が楽曲データＤ１を再生処理して、楽曲データＤ１の再生用信号及び再生位置信号を音響再生装置５０に送信する。携帯通信端末１０は、この再生処理に先駆けて、楽曲データＤ１に基づいて再生される楽曲を識別可能な情報を含む曲情報データＤＦを音響再生装置５０に送信する。
【００２９】
音響再生装置５０は、携帯通信端末１０から受信した曲情報データＤＦに基づき、再生処理対象の楽曲データＤ１に対応する歌詞データＤＬを第一サーバ装置７０から取得し、対応する楽曲のジャンルを表す曲ジャンルデータＤＧ、及び、この楽曲の曲構造を表す曲構造データＤＳを、第二サーバ装置９０から取得する。ここで言う楽曲のジャンル（以下、曲ジャンルと称する）は、歌詞内容に基づかない、ポップ、ロック、レゲエなどの楽曲の分類であると理解されてよい。曲構造データＤＳの詳細については後述する。
【００３０】
音響再生装置５０は、携帯通信端末１０からの再生用信号に基づき、対応する楽曲をスピーカ５４から出力し、携帯通信端末１０からの再生位置信号に基づき、楽曲の再生に合わせてモーショングラフィックスをディスプレイ５５に表示させる。モーショングラフィックスには歌詞が含まれる。音響再生装置５０は、このモーショングラフィックスの表示形態を、第一サーバ装置７０から取得した歌詞データＤＬ、並びに、第二サーバ装置９０から取得した曲ジャンルデータＤＧ及び曲構造データＤＳに基づいて決定する。
【００３１】
携帯通信端末１０と音響再生装置５０との間の通信は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）に代表される近距離無線通信、及び、無線ＬＡＮ通信の少なくとも一方によって実現される。音響再生装置５０と、第一サーバ装置７０及び第二サーバ装置９０と、の間の通信は、広域ネットワークを通じて実現される。広域ネットワークは、例えばインターネットである。
【００３２】
図２に示すように、携帯通信端末１０は、制御ユニット１１と、記憶ユニット１３と、ユーザインタフェース１５と、通信ユニット１７と、を備える。制御ユニット１１は、ＣＰＵ１１Ａと、ＲＡＭ１１Ｂと、を備える。ＣＰＵ１１Ａは、記憶ユニット１３が記憶するプログラムに従う処理を実行する。ＲＡＭ１１Ｂは、ＣＰＵ１１Ａによる処理実行時に作業領域として使用される。以下では、ＣＰＵ１１Ａがプログラムに従って実行する処理を、携帯通信端末１０又は制御ユニット１１が実行する処理として説明する。
【００３３】
記憶ユニット１３は、各種プログラム及びデータを記憶する。記憶ユニット１３が記憶するデータには、一つ又は複数の楽曲データＤ１が含まれる。記憶ユニット１３は、例えばフラッシュメモリによって構成される。
【００３４】
ユーザインタフェース１５は、ディスプレイ及びタッチパネルを備える。ユーザインタフェース１５は、制御ユニット１１に制御されて、各種画面をディスプレイに表示し、タッチパネルを通じたユーザからの操作信号を制御ユニット１１に入力する。通信ユニット１７は、上記近距離無線通信及び無線ＬＡＮ通信可能な構成にされる。制御ユニット１１は、この通信ユニット１７を介して音響再生装置５０と無線通信する。
【００３５】
音響再生装置５０は、制御ユニット５１と、記憶ユニット５３と、スピーカ５４と、ディスプレイ５５と、通信ユニット５７と、を備える。制御ユニット５１は、ＣＰＵ５１Ａ及びＲＡＭ５１Ｂを備え、ＣＰＵ５１Ａは、各種プログラムに従う処理を実行する。ＲＡＭ５１Ｂは、ＣＰＵ５１Ａによる処理実行時に作業領域として使用される。以下では、ＣＰＵ５１Ａがプログラムに従って実行する処理を、音響再生装置５０又は制御ユニット５１が実行する処理として説明する。
【００３６】
記憶ユニット５３は、各種プログラム及びデータを記憶する。記憶ユニット５３が記憶するデータには、曲ジャンル毎のモーショングラフィックスデータＤ２（図３参照）が含まれる。音響再生装置５０は、これらのモーショングラフィックスデータＤ２を、広域ネットワークを通して外部のサーバ装置から取得可能に構成されてもよい。
【００３７】
スピーカ５４は、異なる複数の音域に対応した複数のスピーカユニット及びアンプを備え、制御ユニット５１から入力されるオーディオ信号を音に変換して出力する。ディスプレイ５５は、例えば液晶ディスプレイとして構成される。ディスプレイ５５は、制御ユニット５１に制御されて、楽曲再生中に、歌詞を含むモーショングラフィックスを表示する。ディスプレイ５５で表示されるモーショングラフィックスは、文字画像の変化、及び、背景画像の変化を含む。
【００３８】
通信ユニット５７は、携帯通信端末１０と同様に、近距離無線通信及び無線ＬＡＮ通信可能に構成される。制御ユニット５１は、この通信ユニット５７を介して携帯通信端末１０と近距離通信又は無線ＬＡＮ通信を行う。制御ユニット５１は、この通信ユニット５７を介して、広域ネットワークに配置された第一サーバ装置７０及び第二サーバ装置９０と通信する。
【００３９】
第一サーバ装置７０は、音響再生装置５０からの要求信号に従って、音響再生装置５０から要求された歌詞データＤＬを、音響再生装置５０に送信するように構成される。第二サーバ装置９０は、音響再生装置５０からの要求信号に従って、音響再生装置５０から要求された楽曲の曲ジャンルデータＤＧ及び曲構造データＤＳを音響再生装置５０に送信するように構成される。
【００４０】
第二サーバ装置９０としては、楽曲が有する音楽的要素を、楽曲のリピート構造や変調を理解しながら自動解析し、この解析結果に基づく曲構造データＤＳを曲ジャンルデータＤＧと共に蓄積するサーバ装置が知られている。例えばポップミュージックの曲構造データＤＳは、楽曲が有する「イントロ」「Ａメロ（バース）」「Ｂメロ（プレコーラス）」「サビ（コーラス）」「Ｃメロ（ブリッジ）」「アウトロ（エンディング）」「間奏」等のセクションを特定可能な情報を含む。「Ａメロ」「Ｂメロ」「サビ」「Ｃメロ」は、日本市場での表現である。括弧書きで示したように「Ａメロ」「Ｂメロ」「サビ」「Ｃメロ」は、夫々順に、「バース」「プレコーラス」「コーラス」「ブリッジ」に対応する。
【００４１】
この曲構造データＤＳは、楽曲を構成するセクションとして、曲調が変化する地点を境界とするセクション、反復性を示すセクション、及び、盛り上がりを示すサビ（コーラス）等に対応するセクションを特定可能な情報を含む。
【００４２】
続いて、音響再生装置５０の記憶ユニット５３が曲ジャンル毎に記憶するモーショングラフィックスデータＤ２の構成を、図３を用いて説明する。モーショングラフィックスデータＤ２の夫々は、対応する曲ジャンルの楽曲再生時にディスプレイ５５に表示させるべき文字画像及び背景画像のモーショングラフィックスを定義する。記憶ユニット５３が記憶するモーショングラフィックスデータＤ２の一群には、曲ジャンルが不明である楽曲の再生時にディスプレイ５５に表示させるべきモーショングラフィックスを定義する曲ジャンル「不明」用のモーショングラフィックスデータＤ２が含まれると理解されてよい。
【００４３】
モーショングラフィックスデータＤ２は、図３に示すように、複数のコンポーネントデータＤ２１と、セクション毎の条件データＤ２２と、を有する。複数のコンポーネントデータＤ２１は、択一的に用いられる。条件データＤ２２の夫々は、対応するセクションにおいて使用すべきコンポーネントデータＤ２１を定義するデータである。
【００４４】
コンポーネントデータＤ２１の夫々は、当該コンポーネントデータＤ２１の識別コード（ＩＤ）と共に、ディスプレイ５５に表示させるべき文字画像（例えば歌詞）のモーションを定義するテキストモーション定義データＤ２１１と、ディスプレイ５５に表示させるべき背景画像のモーションを定義する背景モーション定義データＤ２１２と、を有する。
【００４５】
テキストモーション定義データＤ２１１は、文字画像のフォントタイプ、フォントサイズ、並びに、動きのパターン及び速度を定義する。テキストモーション定義データＤ２１１は、文字それ自体を定義するものではないことを理解されたい。モーショングラフィックスにおいて表示される文字は、歌詞又はその他の楽曲に関する文字である。背景モーション定義データＤ２１２は、背景画像のタイプ、並びに、動きのパターン及び速度を定義する。
【００４６】
コンポーネントデータＤ２１の一群には、背景画像のみのモーショングラフィックスを定義するコンポーネントデータＤ２１が含まれると理解されてもよい。このコンポーネントデータＤ２１は、テキストモーション定義データＤ２１１を有さないか、あるいは、形式的にはテキストモーション定義データＤ２１１を有するがテキストモーション定義データＤ２１１が実質的に空のコンポーネントデータであり得る。
【００４７】
図３に示される条件データＤ２２の夫々は、対応するセクションにおいて使用すべきコンポーネントデータＤ２１を、歌詞内容の種類毎に定義する。以下では、歌詞内容の種類のことを単に歌詞分類と表現する。図示されるように、条件データＤ２２は、歌詞分類毎に、歌詞分類の識別コードである分類コードＤ２２１に関連付けて、歌詞内容の特徴を表す特徴データＤ２２３、及び、この歌詞分類に属する歌詞を含むモーショングラフィックスの表示に使用すべきコンポーネントデータＤ２１の識別コード（ＩＤ）を有する。
【００４８】
特徴データＤ２２３は、１以上のキーワードを含むキーワード群により歌詞内容の特徴を表すデータであり得る。この場合、特徴データＤ２２３が示すキーワード群に属する単語を一つ以上含む歌詞が、この特徴データＤ２２３に対応する歌詞分類に属すると判定され得る。特徴データＤ２２３は、キーワードの分布により歌詞内容の特徴を表すデータであってもよい。この場合、特徴データＤ２２３が示すキーワード分布に合致する単語分布を有する歌詞が、この特徴データＤ２２３に対応する歌詞分類に属すると判定され得る。
【００４９】
条件データＤ２２の一群には、セクションが不明であるときに使用すべきコンポーネントデータＤ２１を歌詞分類毎に定義するセクション「不明」用の条件データＤ２２が含まれると理解されてもよい。
【００５０】
条件データＤ２２には、歌詞が存在しないときに使用すべきコンポーネントデータＤ２１を定義する情報が含まれると理解されてもよい。即ち、条件データＤ２２は、歌詞分類「歌詞なし」の分類コードＤ２２１に関連付けて、歌詞が存在しないときに使用すべきコンポーネントデータＤ２１の識別コードを有した構成にされ得る。
【００５１】
条件データＤ２２には、歌詞内容が不明であるときに、換言すれば歌詞内容の適切な分類が困難であるときに使用すべきコンポーネントデータＤ２１を定義する情報が含まれると理解されてもよい。即ち、条件データＤ２２は、歌詞分類「その他」の分類コードＤ２２１に関連付けて、歌詞内容が不明であるときに使用すべきコンポーネントデータＤ２１の識別コードを有した構成にされ得る。
【００５２】
続いて、携帯通信端末１０の制御ユニット１１及び音響再生装置５０の制御ユニット５１により実現される機能の詳細を、図４を用いて説明する。制御ユニット１１は、プログラムの実行により、主制御部１１１、第一送信制御部１１３、及び、第二送信制御部１１５として機能する。
【００５３】
主制御部１１１は、記憶ユニット１３が記憶する楽曲データＤ１の一つに対する再生指示が、ユーザインタフェース１５を通じてユーザから入力されると、再生指示により指定された再生処理対象の楽曲データＤ１に対応する曲情報データＤＦを付した動作命令を、音響再生装置５０に、通信ユニット１７を介して送信する。
【００５４】
楽曲データＤ１は、楽曲データ本体にメタデータＤ１１（図１参照）が付された構成にされる。メタデータＤ１１は、曲名、曲アルバム名、歌手名、演奏者名、作曲者名、及び、作詞者名等の曲情報を有する。主制御部１１１は、このメタデータＤ１１を参照して、再生処理対象の楽曲データＤ１に対応する曲情報データＤＦを付した動作命令を、音響再生装置５０に送信する。曲情報データＤＦは、メタデータＤ１１に含まれる曲情報の全て又は一部を有することができる。この曲情報データＤＦは、音響再生装置５０が再生処理対象の楽曲データＤ１に対応する歌詞データＤＬ、曲ジャンルデータＤＧ及び曲構造データＤＳをサーバ装置７０，９０から取得するために用いられる他、ディスプレイ５５に曲情報を表示させるために用いられる。
【００５５】
主制御部１１１は、この動作命令に応じて、音響再生装置５０から送信される準備完了通知を受信すると、第一送信制御部１１３及び第二送信制御部１１５に対して処理開始を指示する。
【００５６】
第一送信制御部１１３は、上記処理開始の指示に従って、楽曲データＤ１に対する再生処理を実行することにより、楽曲データＤ１の再生用信号を、通信ユニット１７を介して音響再生装置５０に送信する。第一送信制御部１１３が実行する再生処理は、音響再生装置５０が楽曲をスピーカ５４から出力可能な形態まで、楽曲データＤ１をデコードする処理であり得る。本実施形態では、上記再生処理として、楽曲データＤ１のストリーム再生を実現するための処理が、第一送信制御部１１３により実行される。
【００５７】
第二送信制御部１１５は、上記処理開始の指示に従って、第一送信制御部１１３により再生処理される楽曲データＤ１の再生位置を表す再生位置信号を、通信ユニット１７を介して音響再生装置５０に送信するように動作する。第二送信制御部１１５は、第一送信制御部１１３が管理する再生位置の情報を、第一送信制御部１１３から取得して、その再生位置を表す再生位置信号を送信する構成にされ得る。
【００５８】
一方、音響再生装置５０の制御ユニット５１は、プログラムの実行により、再生計画作成部５１１、再生制御部５１３、及び、表示制御部５１５として機能する。
再生計画作成部５１１は、携帯通信端末１０からの動作命令に応じて、第一サーバ装置７０から歌詞データＤＬを取得し、第二サーバ装置９０から曲ジャンルデータＤＧ及び曲構造データＤＳを取得して、これらの取得データに基づき、モーショングラフィックスの再生計画を作成するように構成される。
【００５９】
作成される再生計画は、楽曲の先頭から終端までの当該楽曲の再生に合わせてディスプレイ５５に表示させるモーショングラフィックスの表示制御用データである。再生計画は、再生位置信号により特定される楽曲の各再生位置で表示すべきモーショングラフィックスを具体的に定義する。表示制御部５１５は、この再生計画に従って、ディスプレイ５５を制御し、再生計画に従うモーショングラフィックスをディスプレイ５５に表示させる。再生計画は、表示制御部５１５が解釈可能な制御命令で記述され得る。
【００６０】
再生計画の作成のために、再生計画作成部５１１は、図５に示す命令受付処理を繰返し実行するように構成される。再生計画作成部５１１は、携帯通信端末１０から送信される動作命令を、通信ユニット５７を介して受信するまで待機する（Ｓ１１０）。
【００６１】
動作命令を受信すると（Ｓ１１０でＹｅｓ）、再生計画作成部５１１は、携帯通信端末１０から受信した動作命令に付された曲情報データＤＦに基づき、携帯通信端末１０が再生処理しようとする楽曲データＤ１に対応する歌詞データＤＬを、第一サーバ装置７０から取得する（Ｓ１２０）。
【００６２】
Ｓ１２０では、歌詞データＤＬの取得に成功する場合の他、歌詞データＤＬの取得に失敗する場合がある。再生計画作成部５１１は、第一サーバ装置７０からの歌詞データＤＬの取得に成功するか、取得に失敗したことが確定した場合に、Ｓ１３０に移行する。歌詞データＤＬがないことを通知する応答データを再生計画作成部５１１が第一サーバ装置７０から受信した時点、又は、タイムアウトが発生した時点で、歌詞データＤＬの取得に失敗したことが確定する。
【００６３】
Ｓ１２０に続くＳ１３０において、再生計画作成部５１１は、上記曲情報データＤＦに基づき、携帯通信端末１０が再生処理しようとする楽曲データＤ１に対応する曲ジャンルデータＤＧ及び曲構造データＤＳを、第二サーバ装置９０から取得する。
【００６４】
歌詞データＤＬと同様に、Ｓ１３０では、曲ジャンルデータＤＧ及び曲構造データＤＳの取得に成功する場合と、曲ジャンルデータＤＧ及び曲構造データＤＳの取得に失敗する場合とがある。再生計画作成部５１１は、第二サーバ装置９０からの曲ジャンルデータＤＧ及び曲構造データＤＳの取得に成功するか、取得に失敗したことが確定した場合に、Ｓ１４０に移行する。
【００６５】
Ｓ１４０において、再生計画作成部５１１は、歌詞データＤＬの取得に成功しているか否かを判断する。再生計画作成部５１１は、歌詞データＤＬの取得に成功していると判断した場合（Ｓ１４０でＹｅｓ）、更に、歌詞データＤＬにタイムコードが含まれるか否かを判断する（Ｓ１４５）。
【００６６】
図６に示されるように、歌詞データＤＬは、メタデータＤＬ１と本体データＤＬ２とを含む。メタデータＤＬ１は、楽曲データＤ１と同様の曲情報を含む。本体データＤＬ２は、楽曲の歌詞が少なくとも行毎に分けて記述された歌詞のテキストデータを含む。タイムコード付の歌詞データＤＬにおける本体データＤＬ２は、楽曲の歌詞全体における複数地点に、その地点の歌詞の歌唱開始時刻を表すタイムコードＴＣが所定の記述方式で埋め込まれた構成にされる。タイムコードＴＣは、再生される楽曲の先頭を原点としたときの上記地点の再生位置又は再生時刻に対応する。図６の下領域には、タイムコードが付された本体データＤＬ２の構成を、概念的に示す。図６によれば、歌詞データＤＬが、歌詞の各行頭にタイムコードＴＣを有し、更に、各行の中間地点にも、タイムコードＴＣを有する。
【００６７】
歌詞データＤＬにタイムコードが含まれていないと判断した場合（Ｓ１４５でＮｏ）、再生計画作成部５１１は、Ｓ１５０に移行する。
Ｓ１５０において、再生計画作成部５１１は、楽曲データＤ１に基づく楽曲の再生時間長Ｐ１（図７参照）と、歌詞のない楽曲先頭区間の時間長Ｐ２と、歌詞のない楽曲末尾区間の時間長Ｐ３と、歌詞の行数Ｐ４とに基づき、歌詞の各行の表示開始時刻を決定することにより、歌詞の各行の表示スケジュールを決定する。再生計画作成部５１１は、後続の処理において、この表示スケジュールに従うタイミングでディスプレイ５５に楽曲の歌詞の各行を表示させるための再生計画を作成する。
【００６８】
ここで、表示スケジュールを決定するために必要なパラメータの一つである再生時間長Ｐ１は、携帯通信端末１０から取得することができる。例えば、携帯通信端末１０は、音響再生装置５０に送信する曲情報データＤＦに、楽曲データＤ１から特定される再生時間長Ｐ１の情報を含ませることにより、再生時間長Ｐ１の情報を音響再生装置５０に提供することができる。
【００６９】
歌詞のない楽曲先頭区間の時間長Ｐ２及び楽曲末尾区間の時間長Ｐ３は、統計的代表値として記憶ユニット５３に予め記憶させてくことができ、再生計画作成部５１１は、記憶ユニット５３が記憶する時間長Ｐ２及び時間長Ｐ３の情報を読み出すことができる。
【００７０】
あるいは、再生計画作成部５１１は、時間長Ｐ２及び時間長Ｐ３の情報をサーバ装置７０，９０の一方から取得するように構成されてもよい。例えば、企業は、カテゴリ毎に、カテゴリに属する楽曲群における、曲の演奏開始から歌い始めまでの歌詞のない楽曲先頭区間の時間長Ｐ２の平均値又は中央値を、時間長Ｐ２の統計的代表値として算出することができる。同様に、カテゴリ毎に、カテゴリに属する楽曲群における、歌い終わりから楽曲の演奏終了まで歌詞のない楽曲末尾区間の時間長Ｐ３の平均値又は中央値を、時間長Ｐ３の統計的代表値として算出することができる。そして、これらカテゴリ毎の時間長Ｐ２及び時間長Ｐ３を、サーバ装置７０，９０の一方に記憶させることができる。
【００７１】
上記カテゴリは、曲ジャンルであってもよいし、曲ジャンルより規模の小さい楽曲のグループであってもよい。即ち、上記統計的代表値は、曲ジャンル毎に算出されてもよいし、曲ジャンルより更に小さい楽曲のグループ毎に、算出されてもよい。上記統計的代表値は、同一アーティスト毎に算出されてもよいし、再生楽曲と同一時期にリリースされた楽曲の平均値又は中央値であってもよい。
【００７２】
この他、歌詞の行数Ｐ４は、歌詞データＤＬから特定可能である。
Ｓ１５０において、再生計画作成部５１１は、再生時間長Ｐ１から時間長Ｐ２及び時間長Ｐ３を減算して算出される時間長Ｐ５（＝Ｐ１−Ｐ２−Ｐ３）を、歌唱時間Ｐ５と推定し、図７に示すように、この歌唱時間Ｐ５を行数Ｐ４で除算した時間Ｐ６（＝Ｐ５／Ｐ４）を行毎の歌唱時間Ｐ６と推定することができる。そして、歌詞のｎ行目の表示開始時刻ＴＤ［ｎ］を、楽曲の再生開始時を原点(ゼロ)として、時刻ＴＤ［ｎ］＝Ｐ２＋（ｎ−１）×Ｐ６に決定する。パラメータｎは、歌詞の先頭の行を１行目と規定したときの歌詞の行番号を示す。
【００７３】
Ｓ１５０において、このように表示スケジュールを決定すると、再生計画作成部５１１は、Ｓ１６０に移行する。再生計画作成部５１１は、歌詞データＤＬにタイムコードが含まれている場合（Ｓ１４５でＹｅｓ）、そのタイムコードにより歌詞の各部分の表示スケジュールが定まるため、Ｓ１５０の処理を実行することなく、Ｓ１６０に移行する。
【００７４】
Ｓ１６０において、再生計画作成部５１１は、モーショングラフィックスの再生計画を作成するための第一作成処理を実行する。第一作成処理の詳細は、図８に示される。
第一作成処理開始すると、再生計画作成部５１１は、曲構造データＤＳの取得に成功しているか否かを判断し（Ｓ１６１）、成功していると判断した場合には（Ｓ１６１でＹｅｓ）、Ｓ１６３に移行し、失敗していると判断した場合には（Ｓ１６１でＮｏ）、Ｓ１６７に移行する。
【００７５】
Ｓ１６３において、再生計画作成部５１１は、曲構造データＤＳから特定される楽曲のセクション毎に、再生される楽曲の曲ジャンルのモーショングラフィックスデータＤ２が有する当該セクションの条件データＤ２２を参照して、このモーショングラフィックスデータＤ２が有する複数のコンポーネントデータＤ２１から当該セクションでのモーショングラフィックスの表示に使用するコンポーネントデータＤ２１を選択する。
【００７６】
具体的に、再生計画作成部５１１は、セクション毎に、当該セクションの歌詞内容に対応した歌詞分類のコンポーネントデータＤ２１を、使用するコンポーネントデータＤ２１として選択することができる。
【００７７】
詳細には、再生計画作成部５１１は、セクション毎に、次の処理を実行することができる。即ち、処理対象のセクションの歌詞部分を、歌詞データＤＬから抽出し、抽出した歌詞部分を解析して、その歌詞内容の特徴を表す特徴データを生成する。歌詞部分を解析する処理は、歌詞部分から一つ又は複数のキーワードを抽出する処理であり得る。特徴データは、抽出されたキーワードのリスト又は分布を表すデータであり得る。
【００７８】
再生計画作成部５１１は、処理対象セクションの歌詞部分から生成した特徴データと、処理対象セクションの条件データＤ２２が示す各歌詞分類の特徴データとを比較して、最も特徴が合致する特徴データの歌詞分類を、処理対象セクションの歌詞分類と判定し、その歌詞分類に関連付けられたコンポーネントデータＤ２１を、使用するコンポーネントデータＤ２１として選択する。
【００７９】
例えば、再生計画作成部５１１は、処理対象セクションの歌詞部分から抽出されたキーワードを有する特徴データＤ２２３に対応付けられた歌詞分類を、処理対象セクションの歌詞分類と判定することができる。あるいは、再生計画作成部５１１は、処理対象セクションの歌詞部分から抽出されたキーワードの分布に合致するキーワード分布を有する特徴データＤ２２３に対応付けられた歌詞分類を、処理対象セクションの歌詞分類と判定することができる。
【００８０】
再生計画作成部５１１は、上述した手法により各セクションで使用するコンポーネントデータＤ２１を選択すると、Ｓ１６５に移行する。
Ｓ１６５において、再生計画作成部５１１は、歌詞データＤＬ及び曲構造データＤＳと、Ｓ１６３で選択したセクション毎のコンポーネントデータＤ２１とに基づき、楽曲の各再生位置で、Ｓ１６３での選択に従う文字画像（歌詞）及び背景画像のモーショングラフィックスをディスプレイ５５に表示させるための再生計画を作成する。
【００８１】
即ち、再生計画作成部５１１は、楽曲の進行（再生位置の変化）に合わせて、ディスプレイ５５が、対応するセクションのコンポーネントデータＤ２１が有するテキストモーション定義データＤ２１１に従う文字画像（歌詞）のモーショングラフィックス、及び、同コンポーネントデータＤ２１が有する背景モーション定義データＤ２１２に従う背景画像のモーショングラフィックスを表示するように、表示制御部５１５に再生位置信号に従ってディスプレイ５５を制御させるための再生計画を作成する。
【００８２】
再生計画作成部５１１は、歌詞データＤＬがタイムコードを含む歌詞データである場合、タイムコードに対応する楽曲の再生位置で、対応する歌詞部分のモーショングラフィックスをディスプレイ５５に表示させるための再生計画を作成する。
【００８３】
再生計画作成部５１１は、歌詞データＤＬがタイムコードを含まない場合、歌詞の各行を、Ｓ１５０で定めた表示開始時刻に対応する楽曲の再生位置でディスプレイ５５に表示させるための再生計画を作成する。歌詞の各行の表示開始時刻が、セクションの境界に位置しない場合、表示開始時刻は、セクションの境界時刻に補正されてもよい。再生計画作成部５１１は、歌詞データＤＬがタイムコードを含まない場合、曲構造データＤＳの有無に依らず、Ｓ１６１で形式的に否定判断し、Ｓ１６７に移行するように動作してもよい。
【００８４】
再生計画作成部５１１は、Ｓ１６７に移行すると、再生される楽曲に対応する曲ジャンルのモーショングラフィックスデータＤ２が有するセクション「不明」用の条件データＤ２２を参照して、歌詞の行毎に、このモーショングラフィックスデータＤ２が有する複数のコンポーネントデータＤ２１から使用するコンポーネントデータＤ２１を選択する。具体的に、再生計画作成部５１１は、歌詞の行毎に、その行の歌詞内容に対応した歌詞分類のコンポーネントデータＤ２１を、使用するコンポーネントデータＤ２１として選択する。
【００８５】
例えば、再生計画作成部５１１は、歌詞データＤＬから抽出した歌詞の行毎に、この行の歌詞内容を解析して、当該歌詞内容の特徴を表す特徴データを生成する。特徴データは、Ｓ１６３での処理と同様に生成可能である。再生計画作成部５１１は、行毎に、この行の特徴データと、セクション「不明」様の条件データＤ２２が示す各歌詞分類の特徴データとを比較して、最も特徴が合致する特徴データの歌詞分類を、対応する行の歌詞分類と判定し、その歌詞分類に関連付けられたコンポーネントデータＤ２１を、対応する行の歌唱時に使用するコンポーネントデータＤ２１として選択する。
【００８６】
再生計画作成部５１１は、更に、歌詞のない楽曲先頭区間及び楽曲末尾区間で使用するコンポーネントデータＤ２１として、歌詞分類「歌詞なし」に関連付けられたコンポーネントデータＤ２１を選択することができる。再生計画作成部５１１は、楽曲先頭区間及び楽曲末尾区間、並びに、歌詞の各行で使用するコンポーネントデータＤ２１を選択すると、Ｓ１６９に移行する。
【００８７】
Ｓ１６９において、再生計画作成部５１１は、歌詞データＤＬと、Ｓ１６７で選択した楽曲先頭区間のコンポーネントデータＤ２１及び歌詞の行毎のコンポーネントデータＤ２１及び楽曲末尾区間のコンポーネントデータＤ２１と、に基づき、楽曲の各再生位置で、Ｓ１６７での選択に従う文字画像（歌詞）及び背景画像のモーショングラフィックスをディスプレイ５５に表示させるための再生計画を作成する。
【００８８】
即ち、再生計画作成部５１１は、楽曲の進行に合わせて、楽曲先頭空間、歌詞の各行の歌唱区間、及び、楽曲末尾区間で、対応する区間（行）に対して選択したコンポーネントデータＤ２１が有するテキストモーション定義データＤ２１１及び背景モーション定義データＤ２１２に従う文字画像（歌詞）及び背景画像のモーショングラフィックスを、ディスプレイ５５が表示するように、表示制御部５１５に再生位置信号に従ってディスプレイ５５を制御させるための再生計画を作成する。
【００８９】
再生計画作成部５１１は、歌詞データＤＬがタイムコードを含む場合には、そのタイムコードに対応する楽曲の再生位置で、対応する歌詞部分をディスプレイ５５に文字画像のモーショングラフィックスとして表示させるための再生計画を作成する。再生計画作成部５１１は、歌詞データＤＬがタイムコードを含まない場合には、歌詞の各行を、Ｓ１５０で定めた表示開始時刻に対応する楽曲の再生位置で、ディスプレイ５５に文字画像のモーショングラフィックスとして表示させるための再生計画を作成する。
【００９０】
再生計画作成部５１１は、このようにしてＳ１６５又はＳ１６９で再生計画を作成して第一作成処理を終了すると、Ｓ１８０（図５参照）に移行して、準備完了通知を携帯通信端末１０に送信する。準備完了通知により、携帯通信端末１０では、楽曲データＤ１の再生処理が開始されて、再生用信号及び再生位置信号が送られてくる。
【００９１】
再生制御部５１３は、この再生用信号を、携帯通信端末１０から通信ユニット５７を介して受信し、この再生用信号に基づく音をスピーカ５４に出力させるためのオーディオ信号をスピーカ５４に入力することにより、スピーカ５４を通じた楽曲再生を実現する。
【００９２】
表示制御部５１５は、携帯通信端末１０から送信されてくる再生位置信号を、通信ユニット５７を介して受信し、この再生位置信号に基づいて、スピーカ５４からの出力音に対応するモーショングラフィックスがディスプレイ５５に表示されるように、上記再生計画に従ってディスプレイ５５を制御する。このようにして制御ユニット５１は、再生される楽曲の進行に合わせて、歌詞の文字画像を含むモーショングラフィックスであって、歌詞内容に適合した文字画像及び背景画像のモーショングラフィックスをディスプレイ５５に表示させるように、ディスプレイ５５を制御する。
【００９３】
歌詞内容に適合したモーショングラフィックスは、歌詞内容から連想される人の感情、状況、及び、環境等に対応したモーショングラフィックスであり得る。文字画像のモーショングラフィックスに対する利用者の印象は、フォントのタイプ、サイズ、動き、位置変化速度、及び、形状変化速度等によって変化する。フォントタイプには、優しい印象を与える丸みを帯びたフォントタイプ、厳しい印象を与える角を有するフォントタイプ、女性的なフォントタイプ、及び、男性的なフォントタイプが存在する。
【００９４】
背景画像のモーショングラフィックスは、例えば、シンプルな幾何学図形のモーショングラフィックスであり得る。この場合、背景画像のモーショングラフィックスに対する利用者の印象は、例えば、幾何学図形の形状、サイズ、動き、位置変化速度、及び、形状変化速度等によって変化する。この観点で、モーショングラフィックスデータＤ２は、例えば手作業で作成され得る。
【００９５】
例えば、悲しい歌詞が歌われる楽曲の再生位置では、「涙」「雨」等を模した、これらを連想させる背景画像のモーショングラフィックスがディスプレイ５５に表示され得る。例えば、秋に関する歌詞が歌われる楽曲の再生位置では、落葉を連想させる背景画像のモーショングラフィックスが表示され得る。冬に関する歌詞が歌われる楽曲の再生位置では、降雪を連想させる背景画像のモーショングラフィックスが表示され得る。怒りや衝撃に関する歌詞が歌われる楽曲の再生位置では、落雷を連想させる背景画像のモーショングラフィックスが表示され得る。恋愛に関する歌詞が歌われる楽曲の再生位置では、ハート型の背景画像のモーショングラフィックスが表示され得る。
【００９６】
これらの歌詞内容の印象に適合した背景画像のモーショングラフィックス上に、歌詞内容の印象に適合したフォントを用いた文字画像のモーショングラフィックスが表示され得る。上述したように、文字画像の速度及び動きも、その違いによって異なる印象を利用者に与える。動きのパターンとしては、文字画像が浮いているような曲線的な動きのパターン、及び、文字画像が降り注ぐような直線的な動きのパターンを例に挙げることができる。モーショングラフィックスは、文字画像の速度及び動きのパターンについても歌詞内容の印象に適合した形で表示される。文字画像のモーショングラフィックスには、１以上の文字画像の移動、回転、及び、フォントサイズの変更が含まれ得る。
【００９７】
この他、再生計画作成部５１１は、歌詞データＤＬの取得に失敗していると判断した場合（Ｓ１４０でＮｏ）、Ｓ１７０に移行し、図９に示す第二作成処理を開始する。第二作成処理は、歌詞データＤＬなしでモーショングラフィックスに関する再生計画を作成するための処理である。
【００９８】
第二作成処理を開始すると、再生計画作成部５１１は、曲構造データＤＳの取得に成功しているか否かを判断する（Ｓ１６１）。成功していると判断した場合には（Ｓ１７１でＹｅｓ）、Ｓ１７３に移行し、失敗していると判断した場合には（Ｓ１７１でＮｏ）、Ｓ１７７に移行する。
【００９９】
Ｓ１７３において、再生計画作成部５１１は、曲構造データＤＳから特定される楽曲のセクション毎に、歌詞の代わりに文字画像としてディスプレイ５５に表示させる楽曲の簡易情報を決定する。表示対象の楽曲の簡易情報は、曲情報データＤＦに含まれる曲名、曲アルバム名、歌手名、演奏者名、作曲者名、及び、作詞者名等の曲情報の中からランダムに又は所定規則で１又は複数選択される。表示対象の楽曲の簡易情報は、セクション毎に異なっていてもよいが、全セクションにおいて同じであってもよい。例えば、全セクションに亘って、曲名、曲アルバム名及び歌手名（アーティスト名）が文字画像のモーショングラフィックスとしてディスプレイ５５に表示されるように、再生計画作成部５１１は、表示対象の楽曲の簡易情報を決定することができる。
【０１００】
続くＳ１７４において、再生計画作成部５１１は、セクション毎に、再生される楽曲の曲ジャンルのモーショングラフィックスデータＤ２が有する当該セクションの条件データＤ２２を参照して、このモーショングラフィックスデータＤ２が有する複数のコンポーネントデータＤ２１から当該セクションでのモーショングラフィックスの表示に使用するコンポーネントデータＤ２１を選択する。
【０１０１】
ここでは、歌詞データＤＬが存在しないため、対応するセクションの条件データＤ２２において歌詞分類「歌詞なし」に関連付けられたコンポーネントデータＤ２１を選択することができる。あるいは、曲名を、形式的に歌詞と取り扱って曲名に基づく特徴データをＳ１６３での処理と同様に生成し、この特徴データに最も合致する歌詞分類に関連付けられたコンポーネントデータＤ２１を選択することができる。曲名に基づけば、楽曲における歌詞分類を、およそ推定することができる。
【０１０２】
更なる別例として、モーショングラフィックスデータＤ２には、楽曲の簡易情報表示用のコンポーネントデータＤ２１が含まれていてもよく、セクション毎の条件データＤ２２は、特定の分類コードＤ２２１に、そのセクションにおける楽曲の簡易情報表示用のコンポーネントデータＤ２１の識別コードが関連付けられた構成されてもよい。そして、再生計画作成部５１１は、条件データＤ２２に基づき、上記特定の分類コードＤ２２１に関連付けられたコンポーネントデータＤ２１を選択してもよい。
【０１０３】
簡易情報表示用のコンポーネントデータＤ２１は、アルバムジャケットの画像ＧＡ（図１０参照）を埋め込み可能なモーショングラフィックスを定義する背景モーション定義データＤ２１２を有していてもよい。この場合、再生計画作成部５１１は、例えば、第二サーバ装置９０からアルバムジャケットの画像データを取得して、この画像データに基づき、アルバムジャケットの画像ＧＡを含むモーショングラフィックスの再生計画を作成することが可能である。アルバムジャケットの画像データは、曲構造データＤＳに格納されたデータ又は曲構造データＤＳとは分離したデータであり得る。
【０１０４】
セクション毎のコンポーネントデータＤ２１の選択が完了すると、再生計画作成部５１１は、Ｓ１７５に移行して、曲構造データＤＳと、Ｓ１７３で決定したセクション毎の表示対象の楽曲の簡易情報と、Ｓ１７４で選択したセクション毎のコンポーネントデータＤ２１と、に基づき、楽曲の各再生位置で、Ｓ１７３での決定及びＳ１７４での選択に従う文字画像（楽曲の簡易情報）及び背景画像のモーショングラフィックスをディスプレイ５５に表示させるための再生計画を作成する。
【０１０５】
即ち、再生計画作成部５１１は、楽曲の進行に合わせて、ディスプレイ５５が、対応するセクションのコンポーネントデータＤ２１が有するテキストモーション定義データＤ２１１に従う文字画像のモーショングラフィックスであって、Ｓ１７３での決定に従う楽曲の簡易情報を表す文字画像のモーショングラフィックスを表示し、更には、同コンポーネントデータＤ２１が有する背景モーション定義データＤ２１２に従う背景画像のモーショングラフィックスを表示するように、表示制御部５１５に再生位置信号に従ってディスプレイ５５を制御させるための再生計画を作成することができる。
【０１０６】
この他、再生計画作成部５１１は、Ｓ１７７に移行すると、歌詞の代わりに文字画像としてディスプレイ５５に表示させる楽曲の簡易情報を、曲構造データＤＳを用いることなく決定する。その後、再生計画作成部５１１は、Ｓ１７８に処理を移行する。
【０１０７】
Ｓ１７７において、再生計画作成部５１１は、楽曲全体を通じてディスプレイ５５に表示させる楽曲の簡易情報を決定してもよいし、楽曲全体を所定規則で分割し、分割した区間単位で、ディスプレイ５５に表示させる楽曲の簡易情報を決定してもよい。分割は、楽曲全体を所定数の区間に分割することにより実現され得る。分割数は、楽曲の再生時間長Ｐ１に応じて可変であり得る。
【０１０８】
Ｓ１７８において、再生計画作成部５１１は、再生される楽曲の曲ジャンルのモーショングラフィックスデータＤ２が有するセクション「不明」用の条件データＤ２２を参照して、このモーショングラフィックスデータＤ２が有する複数のコンポーネントデータＤ２１から楽曲全体でのモーショングラフィックスの表示に使用するコンポーネントデータＤ２１を選択する。
【０１０９】
Ｓ１７８では、Ｓ１７４での処理と同様に、歌詞分類「歌詞なし」に関連付けられたコンポーネントデータＤ２１、楽曲の簡易情報表示用のコンポーネントデータＤ２１、又は、曲名に対応する歌詞分類のコンポーネントデータＤ２１を選択することができる。
【０１１０】
続くＳ１７９において、再生計画作成部５１１は、Ｓ１７７で楽曲全体又は区間毎に決定した表示対象の楽曲の簡易情報と、Ｓ１７８で選択した楽曲全体で使用するコンポーネントデータＤ２１と、に基づき、楽曲の各再生位置で、Ｓ１７７での決定及びＳ１７８での選択に従う文字画像（楽曲の簡易情報）及び背景画像のモーショングラフィックスをディスプレイ５５に表示させるための再生計画を作成する。
【０１１１】
即ち、再生計画作成部５１１は、楽曲の進行に合わせて、ディスプレイ５５が、Ｓ１７８で選択されたコンポーネントデータＤ２１が有するテキストモーション定義データＤ２１１に従う文字画像のモーショングラフィックスであって、Ｓ１７７での決定に従う楽曲の簡易情報を表す文字画像のモーショングラフィックスを表示し、更には、同コンポーネントデータＤ２１が有する背景モーション定義データＤ２１２に従う背景画像のモーショングラフィックスを表示するように、表示制御部５１５に再生位置信号に従ってディスプレイ５５を制御させるための再生計画を作成する。
【０１１２】
再生計画作成部５１１は、このようにしてＳ１７５又はＳ１７９で再生計画を作成して第二作成処理を終了すると、Ｓ１８０（図５参照）に移行して、準備完了通知を携帯通信端末１０に送信する。上述したように、準備完了通知により、携帯通信端末１０では、楽曲データＤ１の再生処理が開始されて、再生用信号及び再生位置信号が送られてくる。再生制御部５１３（図４参照）によって、この再生用信号に基づく楽曲がスピーカ５４から再生され、Ｓ１７５，Ｓ１７９で作成された再生計画に従う表示制御部５１５の動作により、楽曲の簡易情報を含むモーショングラフィックスがディスプレイ５５に表示される。
【０１１３】
以上、本実施形態の楽曲再生システム１の構成を説明した。この楽曲再生システム１によれば、再生計画作成部５１１がスピーカ５４により再生される楽曲の歌詞データＤＬを第一サーバ装置７０から取得する。更に、再生計画作成部５１１は、再生される楽曲の曲ジャンルデータＤＧ及び曲構造データＤＳを第二サーバ装置９０から取得し、記憶ユニット５３からモーショングラフィックスデータＤ２を読み出す。
【０１１４】
再生計画作成部５１１は、このように取得した再生楽曲の歌詞データＤＬ、曲ジャンルデータＤＧ及び曲構造データＤＳに基づき、楽曲の歌詞内容に応じた文字画像及び背景画像を含むモーショングラフィックスの再生計画を作成する。表示制御部５１５は、この再生計画に従うモーショングラフィックスがディスプレイ５５に表示されるように、楽曲の進行に合わせて、即ち、再生位置信号に従って、ディスプレイ５５を制御する。
【０１１５】
具体的に、再生計画作成部５１１は、歌詞データＤＬの取得に成功した場合、楽曲の歌詞を含むモーショングラフィックスをディスプレイ５５に表示させるための再生計画を作成する（Ｓ１６０）。表示制御部５１５は、この再生計画及び再生位置信号に従ってディスプレイ５５を制御し、ディスプレイ５５に、楽曲の進行に合わせて楽曲の歌詞を含むモーショングラフィックスを表示させる。
【０１１６】
一方、歌詞データＤＬの取得に失敗した場合、再生計画作成部５１１は、歌詞に代えて、楽曲の簡易情報を含むモーショングラフィックスをディスプレイ５５に表示させるための再生計画を作成する（Ｓ１７０）。表示制御部５１５は、この再生計画及び再生位置信号に従ってディスプレイ５５を制御し、ディスプレイ５５に、楽曲の簡易情報を含むモーショングラフィックスを表示させる。
【０１１７】
従って、本実施形態の音響再生装置５０によれば、歌詞データＤＬを取得できない場合にも、利用者が楽しむことのできる再生楽曲に関するモーショングラフィックスをディスプレイ５５に表示させることができる。ディスプレイ５５に表示される楽曲の簡易情報は、再生に用いられる楽曲データＤ１のメタデータＤ１１から得られるものである。従って、音響再生装置５０は、第一サーバ装置７０及び第二サーバ装置９０から、歌詞データＤＬ、曲ジャンルデータＤＧ、及び、曲構造データＤＳのいずれも取得できない場合であっても、利用者が楽しむことのできるモーショングラフィックスをディスプレイ５５に表示させることができる。曲ジャンルデータＤＧを取得できない場合、再生計画作成部５１１は、曲ジャンル「不明」用のモーショングラフィックスデータＤ２に基づき、再生計画を作成することができる。
【０１１８】
更に本実施形態によれば、歌詞データＤＬがないとき、再生計画作成部５１１が、楽曲データＤ１のメタデータＤ１１から特定される曲名に基づき、歌詞分類を推定して、その推定した歌詞分類に関連付けられたコンポーネントデータＤ２１に基づき再生計画を作成する。従って、音響再生装置５０は、歌詞データＤＬを取得できない環境でも、楽曲の種類（印象）に対応した画像表現を含むモーショングラフィックスをディスプレイ５５に表示させることが可能である。
【０１１９】
例えば、曲名に「Ｈｅａｒｔｂｒｅａｋ」というキーワードが存在する場合には、歌詞分類「傷心」に関連付けられたコンポーネントデータＤ２１に基づき、ディスプレイ５５に、曲名と共に、「傷心」を表す背景画像、例えば図１０上段に示すようなハートが割れている画像を含むモーショングラフィックスを表示させることが可能である。
【０１２０】
上記Ｓ１７４又はＳ１７８において、再生計画作成部５１１は、曲名に基づき歌詞分類を推定した。しかしながら、再生計画作成部５１１は、曲名に代えて、又は、曲名に加えて、曲アルバム名に基づき歌詞分類を推定するように動作してもよい。
【０１２１】
この他、本実施形態の音響再生装置５０は、ディスプレイ５５に、図１０下段に示すような、アルバムジャケットの画像ＧＡを含むモーショングラフィックスを表示させることができる。図１０は、楽曲の進行に合わせて、ディスプレイ５５に表示されるモーショングラフィックスが、上段に示されるモーショングラフィックスから下段に示されるモーショングラフィックスに変化する態様を示す。
【０１２２】
従って、本実施形態によれば、歌詞なしで一層利用者が楽しむことのできるモーショングラフィックスをディスプレイ５５に表示させることができる。アルバムジャケットの画像ＧＡを含むモーショングラフィックスは、例えば、アルバムジャケットの画像ＧＡが移動、回転、拡大／縮小するモーションの少なくとも一つを含むモーショングラフィックスであり得る。
【０１２３】
更に本実施形態によれば、再生計画作成部５１１が、曲構造データＤＳから特定される楽曲のセクション毎に、使用するコンポーネントデータＤ２１を切り替えて再生計画を作成し、表示制御部５１５が、この再生計画に基づき、再生楽曲の構造に基づいたモーショングラフィックスをディスプレイ５５に表示させる。従って、音響再生装置５０は、楽曲の進行に合わせて豊かな表現でモーショングラフィックスをディスプレイ５５に表示させることができ、利用者をより楽しませることができる。
【０１２４】
更に本実施形態によれば、歌詞データＤＬにタイムコードが含まれていない場合でも、上述したパラメータＰ１，Ｐ２，Ｐ３，Ｐ４に基づき、歌詞の各行の表示スケジュールを決定して、ディスプレイ５５に適切なタイミングで歌詞の各部分を表示させる。
【０１２５】
即ち、表示制御部５１５は、歌詞データＤＬが、歌詞の各部分の楽曲内での位置を表すタイムコードを有する歌詞データである場合、楽曲の再生開始時を基準にタイムコードに従うタイミングでディスプレイ５５に歌詞の各部分を表示させるように、歌詞を含むモーショングラフィックスを、ディスプレイ５５に表示させる。
【０１２６】
歌詞データＤＬがタイムコードを有していない歌詞データである場合には、再生計画作成部５１１が、楽曲の再生時間長Ｐ１及び歌詞の行数Ｐ４に基づき、歌詞の各部分の表示スケジュールを決定して再生計画を作成し、表示制御部５１５が、楽曲の再生開始時を基準に当該決定された表示スケジュールに従うタイミングでディスプレイ５５に楽曲の歌詞の各部分を表示させるように、歌詞を含むモーショングラフィックスをディスプレイ５５に表示させる。
【０１２７】
具体的には、楽曲の再生開始時よりも楽曲先頭区間の時間長Ｐ２に対応する時間後の時点から、楽曲の再生終了時よりも楽曲末尾区間の時間長Ｐ３に対応する時間前の時点までの区間を、歌詞の行数Ｐ４で分割し、分割後の各区間に歌詞の各行を割り当てることにより歌詞の各行の表示スケジュールを決定する。
【０１２８】
従って、本実施形態によれば、楽曲の進行に合わせた歌詞表示のために、タイムコード付の歌詞データを用意しなくて済む。このように本実施形態の音響再生装置５０は、楽曲に合わせた歌詞付モーショングラフィックスの表示のためにデータが一部不足している場合にも、他の情報により適切に補完して、利用者が楽しむことのできる歌詞付モーショングラフィックスをディスプレイ５５に表示させることができる。
【０１２９】
以上に、本開示の例示的実施形態を説明したが、本開示は、上記実施形態に限定されるものではなく、種々の態様を採り得る。
例えば、楽曲の簡易情報を含むモーショングラフィックスの表示形態は、図１０に示す形態に限定されない。例えば、図１１に示すように、曲名や曲アルバム名の文字画像は、一文字ずつ順に、場合によっては移動、回転、及び、拡大／縮小等の１以上の動きを伴いながら、ディスプレイ５５に表示されてもよい。図１１は、「Ｈｅａｒｔｂｒｅａｋ」を構成する文字「Ｈ」「Ｅ」「Ａ」が順に表示されるモーショングラフィックスの一例を示す。移動、回転、及び、拡大／縮小等の１以上の動きが、１文字ずつではなく、意味のある１以上の単語単位で行われてもよいことは、言うまでもない。
【０１３０】
この他、歌詞データＤＬがない場合には、楽曲データＤ１に含まれる音声情報を解析して、この音声情報に基づき歌詞内容に適合した文字画像及び背景画像のモーショングラフィックスをディスプレイ５５に表示させるように、楽曲再生システム１は構成されてもよい。音声情報の解析データを、他の外部サーバ装置から取得するように、楽曲再生システム１は構成されてもよい。
【０１３１】
音響再生装置５０は、携帯通信端末１０から受信した曲情報データＤＦに楽曲の簡易情報を表示するのに十分な曲情報が含まれないとき、第二サーバ装置９０から追加の曲情報を取得するように構成されてもよい。
【０１３２】
音響再生装置５０としての機能は、その一部又は全部が携帯通信端末１０に組み込まれてもよい。即ち、携帯通信端末１０は、モーショングラフィックスデータＤ２を記憶ユニット１３に記憶する構成にされてもよい。携帯通信端末１０の制御ユニット１１は、再生処理対象の楽曲データＤ１に対応する歌詞データＤＬ、曲ジャンルデータＤＧ、及び、曲構造データＤＳを、通信ユニット１７を介してサーバ装置７０，９０から取得する構成にされてもよい。制御ユニット１１は、サーバ装置７０，９０からの取得データに基づき、楽曲データＤ１に基づく楽曲の再生時に、ユーザインタフェース１５が備えるディスプレイに楽曲の進行に合わせてモーショングラフィックスを表示させることができる。楽曲データＤ１に基づく再生音は、携帯通信端末１０のスピーカ（図示せず）から出力することができる。
【０１３３】
音響再生装置５０が有する機能の全てが実質的に携帯通信端末１０に組み込まれる場合、楽曲再生システム１において音響再生装置５０は不要である。即ち、楽曲再生システム１には、携帯通信端末１０及び音響再生装置５０としての機能を統合した単一装置が携帯通信端末１０及び音響再生装置５０に代えて設けられ得る。
【０１３４】
携帯通信端末１０は、音響再生装置５０を単にスピーカ５４及びディスプレイ５５として用いるように構成されてもよい。即ち、携帯通信端末１０は、楽曲データＤ１に基づく再生用信号、及び、これに同期したモーショングラフィックスを表す映像信号、又は、これらを統合した信号を、ストリーム信号として、音響再生装置５０に送信するように構成されてもよい。この場合、音響再生装置５０は、携帯通信端末１０からの受信信号に基づき楽曲をスピーカ５４から再生し、モーショングラフィックスをディスプレイ５５に表示させるように動作し得る。携帯通信端末１０は、デスクトップコンピュータ等の携帯性を有さない他の電子機器に置き換えられてもよい。
【０１３５】
この他、上記実施形態における１つの構成要素が有する機能は、複数の構成要素に分散して設けられてもよい。複数の構成要素が有する機能は、１つの構成要素に統合されてもよい。上記実施形態の構成の一部は、省略されてもよい。上記実施形態の構成の少なくとも一部は、他の上記実施形態の構成に対して付加又は置換されてもよい。特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【０１３６】
用語間の対応関係は、次の通りである。スピーカ５４は、音響デバイスの一例に対応し、ディスプレイ５５は、表示デバイスの一例に対応する。再生計画作成部５１１が実行するＳ１２０，Ｓ１３０の処理は、取得ユニットが実行する処理の一例に対応する。再生計画作成部５１１が実行するＳ１４０〜Ｓ１８０の処理及び表示制御部５１５が実行する再生計画に基づくディスプレイ５５の表示制御は、表示制御ユニットが実行する処理の一例に対応する。
【符号の説明】
【０１３７】
１…楽曲再生システム、１０…携帯通信端末、１１…制御ユニット、１１Ａ…ＣＰＵ、１１Ｂ…ＲＡＭ、１３…記憶ユニット、１５…ユーザインタフェース、１７…通信ユニット、５０…音響再生装置、５１…制御ユニット、５１Ａ…ＣＰＵ、５１Ｂ…ＲＡＭ、５３…記憶ユニット、５４…スピーカ、５５…ディスプレイ、５７…通信ユニット、７０，９０…サーバ装置、１１１…主制御部、１１３…第一送信制御部、１１５…第二送信制御部、５１１…再生計画作成部、５１３…再生制御部、５１５…表示制御部、Ｄ１…楽曲データ、Ｄ１１…メタデータ、Ｄ２…モーショングラフィックスデータ、Ｄ２１…コンポーネントデータ、Ｄ２１１…テキストモーション定義データ、Ｄ２１２…背景モーション定義データ、Ｄ２２…条件データ、Ｄ２２１…分類コード、Ｄ２２３…特徴データ、ＤＦ…曲情報データ、ＤＧ…曲ジャンルデータ、ＤＬ…歌詞データ、ＤＬ１…メタデータ、ＤＬ２…本体データ、ＤＳ…曲構造データ、ＴＣ…タイムコード。
【図１】
2018128528.tif 000003
【図２】
2018128528.tif 000004
【図３】
2018128528.tif 000005
【図４】
2018128528.tif 000006
【図５】
2018128528.tif 000007
【図６】
2018128528.tif 000008
【図７】
2018128528.tif 000009
【図８】
2018128528.tif 000010
【図９】
2018128528.tif 000011
【図１０】
2018128528.tif 000012
【図１１】
2018128528.tif 000013