(57)【要約】カラオケ曲の演奏に関するフィードバックをユーザに提供する方法およびシステムを提供する。楽曲トラック入力フィードの楽曲データ要素を演奏入力フィードの楽曲データ要素と比較する。この比較に基づいて、カラオケ曲の演奏に関するフィードバックがディスプレイ上に生成される。それに応じて、カラオケ曲の楽曲トラックの歌詞データ要素および演奏の歌詞データ要素がディスプレイ上に表示される。さらに、楽曲トラックの歌詞データ要素の表示に対して演奏の歌詞データ要素の表示をディスプレイ上で変化させることによって、演奏と楽曲トラックとの差が表示される。【選択図】図４
2017513049.tif 000002
【特許請求の範囲】
【請求項１】
カラオケ曲の演奏に関するフィードバックを表示装置上でユーザに提供する方法であって、
前記カラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードから楽曲データ要素を抽出すること、ただし、前記楽曲トラック入力フィードの前記楽曲データ要素は、歌詞データ要素およびボーカルデータ要素を含む、前記抽出することと；
前記表示装置のディスプレイ上に前記カラオケ曲の前記楽曲トラックの視覚表示を作成すること、ただし前記視覚表示は、前記歌詞データ要素と前記ボーカルデータ要素との組み合わせを含む、前記作成することと；
ユーザの演奏に対応している演奏入力フィードから楽曲データ要素を抽出すること、ただし、前記演奏入力フィードの前記楽曲データ要素は、歌詞データ要素およびボーカルデータ要素を含む、前記抽出することと；
前記楽曲トラック入力フィードの前記楽曲データ要素を前記演奏入力フィードの前記楽曲データ要素と比較することによってフィードバックを生成することと；
を含み、前記フィードバックを生成することは、
・  前記楽曲トラックの前記歌詞データ要素を前記表示装置の前記ディスプレイに表示することと；
・  演奏の前記歌詞データ要素を前記表示装置の前記ディスプレイに表示すること、ただし、演奏の前記歌詞データ要素は、対応している前記楽曲トラックの歌詞データ要素に関連して位置付けられる、前記表示することと；
・  前記楽曲トラックの前記歌詞データ要素の表示に対して前記演奏の前記歌詞データ要素の表示を前記表示装置の前記ディスプレイ上で変化させることによって、ユーザの前記演奏と前記カラオケ曲の前記楽曲トラックとの差を表示することと；
を含む、方法。
【請求項２】
楽曲トラック入力フィードからの前記楽曲データ要素、および前記演奏入力フィードの前記楽曲データ要素の少なくとも一方は、楽器データ要素および構造データ要素の少なくとも一方をさらに含む、請求項１に記載の方法。
【請求項３】
前記ディスプレイの垂直軸に対する前記楽曲トラックの歌詞データ要素の垂直位置は前記楽曲トラックの音高に対応し、前記ディスプレイの垂直軸に対する前記演奏の歌詞データ要素の垂直位置は前記演奏の音高に対応する、請求項１または２に記載の方法。
【請求項４】
前記演奏の音高と前記楽曲トラックの音高との差が、前記演奏の歌詞データ要素の前記垂直位置と、前記ディスプレイ上の対応する前記楽曲トラックの前記歌詞データ要素の前記垂直位置との差で表される、請求項３に記載の方法。
【請求項５】
前記演奏の音高が前記楽曲トラックの音高よりも低い場合に、前記演奏の前記歌詞データ要素の前記垂直位置は前記対応する楽曲トラックの歌詞データ要素の前記垂直位置よりも低く、前記演奏の音高が前記楽曲トラックの音高よりも高い場合に、前記演奏の歌詞データ要素の前記垂直位置は前記対応する楽曲トラックの歌詞データ要素の前記垂直位置よりも高い、請求項４に記載の方法。
【請求項６】
前記演奏のテンポと前記楽曲トラックのテンポとの差は、前記ディスプレイ上の前記演奏の歌詞データ要素の水平位置と、前記ディスプレイ上の対応する前記楽曲トラックの歌詞データ要素の水平位置との差で表される、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記楽曲トラックの歌詞データ要素の大きさは前記楽曲トラックの音量に対応し、前記演奏の歌詞データ要素の大きさは前記演奏の音量に対応する、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記演奏の音量と前記楽曲トラックの音量との差が、前記ディスプレイ上の前記演奏の歌詞データ要素の前記大きさと、前記ディスプレイ上の前記対応する楽曲トラックの歌詞データ要素の前記大きさとの差で表される、請求項７に記載の方法。
【請求項９】
グラフィックインジケータを、前記表示装置の前記ディスプレイ全体にわたって前記楽曲トラックの前記歌詞データ要素に対して水平に動かすことを含み、前記グラフィックインジケータが動く速度は、前記楽曲トラックのテンポと同期する、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記楽曲トラック入力フィードは、音声データ、楽曲データ、曲のメタデータ、感覚データ、映像データ、およびコンテキスト情報のうち少なくとも１つを含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記楽曲トラックの歌詞データ要素のフォントタイプおよび色は、前記楽曲トラックのアーティキュレーションスタイルに対応する、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記演奏のアーティキュレーションスタイルと前記楽曲トラックの前記アーティキュレーションスタイルとの差は、前記演奏の歌詞データ要素のフォントタイプおよび色と、対応する前記楽曲トラックの歌詞データ要素の前記フォントタイプおよび色との差で表される、請求項１１に記載の方法。
【請求項１３】
前記演奏の歌詞データ要素は、前記ディスプレイ上の対応する前記楽曲トラックの歌詞データ要素の上に重ねられる、請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記対応する楽曲トラックの歌詞データ要素の上に重ねられた前記演奏の歌詞データ要素の位置における垂直方向の差は音高差を表し、前記対応する楽曲トラックの歌詞データ要素の上に重ねられた前記演奏の歌詞データ要素の大きさにおける差は音量レベルの差を表す、請求項１３に記載の方法。
【請求項１５】
前記楽曲トラックの歌詞データ要素および前記演奏の歌詞データ要素は、テキスト要素である、請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
メモリ（２０２）、該メモリに接続しているプロセッサ（２０４）および該プロセッサに接続しているディスプレイを備えるシステムであって、前記プロセッサ（２０２）は、
カラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードから楽曲データ要素を抽出すること、ただし、前記楽曲トラック入力フィードの前記楽曲データ要素は歌詞データ要素（４０４、４０８、４１２、５０４）およびボーカルデータ要素を含む、前記抽出することと；
前記ディスプレイ上に前記カラオケ曲の前記楽曲トラックの視覚表示を作成すること、ただし、前記視覚表示は、前記歌詞データ要素と前記ボーカルデータ要素との組み合わせを含む、前記作成することと；
ユーザの演奏に対応している演奏入力フィードから楽曲データ要素を抽出すること、ただし、前記演奏入力フィードの前記楽曲データ要素は歌詞データ要素（４０２、４０６、４１０、５０２）およびボーカルデータ要素を含む、前記抽出することと；
前記楽曲トラック入力フィードの前記楽曲データ要素を前記演奏入力フィードの前記楽曲データ要素と比較することによってフィードバックを生成することと；
を行うように構成され、更に前記プロセッサ（２０４）は、前記フィードバックを生成する際に、
・  前記楽曲トラックの前記歌詞データ要素（４０４、４０８、４１２、５０４）を前記ディスプレイに表示することと；
・  前記演奏の前記歌詞データ要素（４０２、４０６、４１０、５０２）を前記ディスプレイに表示すること、ただし、前記演奏の歌詞データ要素は、対応している前記楽曲トラックの歌詞データ要素に関連して位置付けられる、前記表示することと；
・  前記楽曲トラックの前記歌詞データ要素（４０４、４０８、４１２、５０４）の表示に対して前記演奏の前記歌詞データ要素（４０２、４０６、４１０、５０２）の表示を前記ディスプレイ上で変化させることによって、ユーザの前記演奏と前記カラオケ曲の前記楽曲トラックとの差を表示することと；
を行うように構成される、システム。
【請求項１７】
楽曲トラック入力フィードからの前記楽曲データ要素、および前記演奏入力フィードの前記楽曲データ要素の少なくとも一方は、楽器データ要素および構造データ要素の少なくとも一方をさらに含む、請求項１６に記載のシステム。
【請求項１８】
前記ディスプレイの垂直軸に対する前記楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の垂直位置は前記楽曲トラックの音高に対応し、前記ディスプレイの垂直軸に対する前記演奏の歌詞データ要素（４０２、４０６、４１０、５０２）の垂直位置は前記演奏の音高に対応する、請求項１６または１７に記載のシステム。
【請求項１９】
前記演奏の音高と前記楽曲トラックの音高との差が、前記演奏の歌詞データ要素（４０２、４０６、４１０、５０２）の前記垂直位置と、前記ディスプレイ上の対応する前記楽曲トラックの前記歌詞データ要素（４０４、４０８、４１２、５０４）の前記垂直位置との差で表される、請求項１８に記載のシステム。
【請求項２０】
前記演奏の音高が前記楽曲トラックの音高よりも低いとき、前記演奏の前記歌詞データ要素（４０２、４０６、４１０、５０２）の前記垂直位置は前記対応する楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の前記垂直位置よりも低く、前記演奏の音高が前記楽曲トラックの音高よりも高いとき、前記演奏の前記歌詞データ要素（４０２、４０６、４１０、５０２）の前記垂直位置は前記対応する楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の前記垂直位置よりも高い、請求項１９に記載のシステム。
【請求項２１】
前記演奏のテンポと前記楽曲トラックのテンポとの差は、前記ディスプレイ上の前記演奏の歌詞データ要素（４０２、４０６、４１０、５０２）の水平位置と、前記ディスプレイ上の対応する楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の水平位置との差で表される、請求項１６〜２０のいずれか一項に記載のシステム。
【請求項２２】
前記楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の大きさは前記楽曲トラックの音量に対応し、前記演奏の歌詞データ要素（４０２、４０６、４１０、５０２）の大きさは前記演奏の音量に対応する、請求項１６〜２１のいずれか一項に記載のシステム。
【請求項２３】
前記演奏の音量と前記楽曲トラックの音量との差は、前記ディスプレイ上の前記演奏の歌詞データ要素（４０２、４０６、４１０、５０２）の前記大きさと、前記ディスプレイ上の前記対応する楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の前記大きさとの差で表される、請求項２２に記載のシステム。
【請求項２４】
前記プロセッサ（２０２）は、グラフィックインジケータ（４１４）を、前記ディスプレイ全体にわたって前記楽曲トラックの前記歌詞データ要素（４０４、４０８、４１２、５０４）に対して水平に動かすように構成され、前記グラフィックインジケータが動く速度は、前記楽曲トラックのテンポと同期する、請求項１６〜２３のいずれか一項に記載のシステム。
【請求項２５】
前記楽曲トラック入力フィードは、音声データ、楽曲データ、曲のメタデータ、感覚データ、映像データ、およびコンテキスト情報のうち少なくとも１つを含む、請求項１６〜２４のいずれか一項に記載のシステム。
【請求項２６】
前記楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）のフォントタイプおよび色は、前記楽曲トラックのアーティキュレーションスタイルに対応する、請求項１６〜２５のいずれか一項に記載のシステム。
【請求項２７】
前記演奏のアーティキュレーションスタイルと前記楽曲トラックの前記アーティキュレーションスタイルとの差は、前記演奏の歌詞データ要素（４０２、４０６、４１０、５０２）のフォントタイプおよび色と、対応する前記楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の前記フォントタイプおよび前記色との差で表される、請求項２６に記載のシステム。
【請求項２８】
前記演奏の前記歌詞データ要素（４０２、４０６、４１０、５０２）は、前記ディスプレイ上の対応する前記楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の上に重ねられる、請求項１６〜２７のいずれか一項に記載のシステム。
【請求項２９】
前記対応する楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の上に重ねられた前記演奏の歌詞データ要素（４０２、４０６、４１０、５０２）の位置における垂直方向の差は音高差を表し、前記対応する楽曲トラックの歌詞データ要素（４０４、４０８、４１２、５０４）の上に重ねられた前記演奏の歌詞データ要素（４０２、４０６、４１０、５０２）の大きさにおける差は音量レベルの差を表す、請求項２８に記載のシステム。
【請求項３０】
前記楽曲トラックの前記歌詞データ要素（４０４、４０８、４１２、５０４）および前記演奏の前記歌詞データ要素（４０２、４０６、４１０、５０２）は、テキスト要素である、請求項１６〜２９のいずれか一項に記載のシステム。
【請求項３１】
機械可読性の一時的でないデータ保存媒体に記録されたコンピュータ可読コード手段を備えるコンピュータプログラム製品であって、前記コンピュータ可読コード手段は、コンピューティングハードウェア上で実行されるときに、請求項１〜１５のいずれか一項に記載の方法を実施するように構成される、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の態様は、全般的にカラオケシステムに関し、さらに詳細には、カラオケ曲の歌唱者の演奏に関するフィードバックを表示装置に提供することに関する。
【背景】
【０００２】
音楽を正確に記述するのには通常楽譜が使用される。しかしながら、訓練を受けた音楽家のみが楽譜を読んで解釈できる。したがって、音楽の表現法を簡易化することが望ましく、そうすることによって、音楽を趣味とする人は、簡易化された音楽の表現法を用いて好みの歌を演出できる。
【０００３】
従来、カラオケシステムは、本明細書では全般的にカラオケ曲と記載している曲または楽曲の簡易な表現または表示を提供している。このような簡易な表示は通常、ユーザに以下の３つの別々の要素を提供する。
（ｉ）カラオケ曲の歌詞、
（ｉｉ）カラオケ曲の音高およびテンポの変化、ならびに
（ｉｉｉ）ユーザの演奏に関するフィードバック。
【０００４】
その結果、従来のカラオケシステムは、これらの別々の要素、すなわち、歌詞を読むこと、カラオケ曲の音高およびテンポに追従すること、ならびにフィードバックに追従することに集中しなければならないため、ユーザには不便である。
【０００５】
さらに、従来のカラオケシステムは、カラオケ曲の強弱法に関する指示は何も提供しない。そのため、ユーザの演奏は単調になってしまうことが多い。
【０００６】
したがって、カラオケ曲の演奏に関するフィードバックをユーザに提供する方法であって、ユーザのカラオケ体験を高めることができる方法に対する需要がある。
【摘要】
【０００７】
ある実施形態は、次のような方法として具現化される。この方法は、カラオケ曲の演奏に関するフィードバックを表示装置上でユーザに提供する方法であって、
前記カラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードから楽曲データ要素を抽出すること、ただし、前記楽曲トラック入力フィードの前記楽曲データ要素は、歌詞データ要素およびボーカルデータ要素を含む、前記抽出することと；
前記表示装置のディスプレイ上に前記カラオケ曲の前記楽曲トラックの視覚表示を作成すること、ただし前記視覚表示は、前記歌詞データ要素と前記ボーカルデータ要素との組み合わせを含む、前記作成することと；
ユーザの演奏に対応している演奏入力フィードから楽曲データ要素を抽出すること、ただし、前記演奏入力フィードの前記楽曲データ要素は、歌詞データ要素およびボーカルデータ要素を含む、前記抽出することと；
前記楽曲トラック入力フィードの前記楽曲データ要素を前記演奏入力フィードの前記楽曲データ要素と比較することによってフィードバックを生成することと；
を含み、前記フィードバックを生成することは、
・  前記楽曲トラックの前記歌詞データ要素を前記表示装置の前記ディスプレイに表示することと；
・  演奏の前記歌詞データ要素を前記表示装置の前記ディスプレイに表示すること、ただし、演奏の前記歌詞データ要素は、対応している前記楽曲トラックの歌詞データ要素に関連して位置付けられる、前記表示することと；
・  前記楽曲トラックの前記歌詞データ要素の表示に対して前記演奏の前記歌詞データ要素の表示を前記表示装置の前記ディスプレイ上で変化させることによって、ユーザの前記演奏と前記カラオケ曲の前記楽曲トラックとの差を表示することと；
を含む。
【０００８】
ある実施形態は、次のようなシステムとして具現化される。このシステムは、  メモリ、該メモリに接続しているプロセッサおよび該プロセッサに接続しているディスプレイを備えるシステムであって、前記プロセッサは、
カラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードから楽曲データ要素を抽出すること、ただし、前記楽曲トラック入力フィードの前記楽曲データ要素は歌詞データ要素およびボーカルデータ要素を含む、前記抽出することと；
前記ディスプレイ上に前記カラオケ曲の前記楽曲トラックの視覚表示を作成すること、ただし、前記視覚表示は、前記歌詞データ要素と前記ボーカルデータ要素との組み合わせを含む、前記作成することと；
ユーザの演奏に対応している演奏入力フィードから楽曲データ要素を抽出すること、ただし、前記演奏入力フィードの前記楽曲データ要素は歌詞データ要素およびボーカルデータ要素を含む、前記抽出することと；
前記楽曲トラック入力フィードの前記楽曲データ要素を前記演奏入力フィードの前記楽曲データ要素と比較することによってフィードバックを生成することと；
を行うように構成され、更に前記プロセッサは、前記フィードバックを生成する際に、
・  前記楽曲トラックの前記歌詞データ要素を前記ディスプレイに表示することと；
・  前記演奏の前記歌詞データ要素を前記ディスプレイに表示すること、ただし、前記演奏の歌詞データ要素は、対応している前記楽曲トラックの歌詞データ要素に関連して位置付けられる、前記表示することと；
・  前記楽曲トラックの前記歌詞データ要素の表示に対して前記演奏の前記歌詞データ要素の表示を前記ディスプレイ上で変化させることによって、ユーザの前記演奏と前記カラオケ曲の前記楽曲トラックとの差を表示することと；
を行うように構成される。
【０００９】
さらに別の態様では、本開示の実施形態は、機械可読性の一時的でないデータ保存媒体に記録されたコンピュータ可読コード手段を含むコンピュータプログラム製品であって、コンピュータ可読コード手段が、コンピューティングハードウェア上で実行されるときに前述した方法を実施するように構成されている、コンピュータプログラム製品を提供する。
【００１０】
本開示の実施形態は、先行技術に見られる前述の問題を実質的に解消する、または少なくとも部分的に対処し、カラオケ曲の演奏に関するフィードバックを実質的にリアルタイムでユーザに提供し、ユーザの演奏を単一の包括的な表現にすることを容易にし、それによって、ユーザにカラオケ体験を高めてもらう。
【００１１】
本開示の追加の態様、利点および特徴は、以下の添付の請求項と併せて解釈される例示的な実施形態についての図および詳細な説明から明らかになるであろう。
【００１２】
本開示の特徴は、添付の請求項に記載した本開示の範囲を逸脱しない限り、様々な組み合わせで組み合わせることができることを理解されたい。
【００１３】
上記の発明の概要に加えて以下の例示的な実施形態の詳細な説明は、添付の請求項を読めばよりよく理解される。本開示を説明するために、本開示の例示的な構造を図面に示している。ただし、本開示は、本明細書に開示した特定の方法および手段に限定されない。さらに、当業者は、図面が原寸通りではないことを理解するであろう。可能な限り、同じ要素を同一の番号で示している。
【００１４】
次に、以下の図面を参照して単なる例として本開示の実施形態を説明する。
【図面の簡単な説明】
【００１５】
【図１】本開示の一実施形態によるカラオケ曲の演奏に関するフィードバックを提供するシステムの概略図である。
【図２】本開示の一実施形態による表示装置の一例の実装における様々な構成要素の概略図である。
【図３Ａ】本開示の一実施形態によるカラオケ曲の楽曲トラックに対応している楽曲トラック入力フィード、およびそこから抽出された楽曲データ要素の一例を併せて示した図である。
【図３Ｂ】本開示の一実施形態によるカラオケ曲の楽曲トラックに対応している楽曲トラック入力フィード、およびそこから抽出された楽曲データ要素の一例を併せて示した図である。
【図３Ｃ】本開示の一実施形態によるカラオケ曲の楽曲トラックに対応している楽曲トラック入力フィード、およびそこから抽出された楽曲データ要素の一例を併せて示した図である。
【図４】本開示の一実施形態による、フィードバックをどのようにしてユーザに提供できるかを示す一例の図である。
【図５Ａ】本開示の一実施形態による、フィードバックをどのようにしてユーザに提供できるかという別の一例の図である。
【図５Ｂ】本開示の一実施形態による、フィードバックをどのようにしてユーザに提供できるかという別の一例の図である。
【図６Ａ】本開示の一実施形態による、ユーザにカラオケ曲の演奏に関するフィードバックを表示装置上で提供する方法のステップを併せて示した図である。
【図６Ｂ】本開示の一実施形態による、ユーザにカラオケ曲の演奏に関するフィードバックを表示装置上で提供する方法のステップを併せて示した図である。
【実施形態の詳細説明】
【００１６】
添付の図では、下線を引いた番号を用いて、下線を引いた番号が上に配置されている項目、または下線を引いた番号が横にある項目を示している。下線を引いていない番号は、線で特定されている項目に関するもので、その線が下線を引いていない番号を項目と結びつけている。番号に下線が引かれておらず、つながっている矢印が伴っている場合、下線を引いていない番号は、その矢印が指している項目全体を特定するのに使用されている。
【００１７】
以下の詳細な説明は、本開示の実施形態および該実施形態を実施できる方法を説明している。本開示を実行するのに最良の形態を開示したが、当業者は、本開示を実行または実施するために他の実施形態も可能であることを認識するであろう。
【００１８】
本開示の実施形態は、カラオケ曲の演奏に関するフィードバックを表示装置上でユーザに提供する方法を提供する。カラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードから楽曲データ要素が抽出される。楽曲トラック入力フィードは、音声データ、楽曲データ、曲のメタデータ、感覚データ、映像データ、およびコンテキスト情報のうちの少なくとも１つを含んでいてよい。楽曲トラック入力フィードは、これらのデータおよび情報をいくつ含んでいてもよいとともに、これらのどのような組み合わせを含んでいてもよい。
【００１９】
楽曲トラック入力フィードの楽曲データ要素は、歌詞データ要素およびボーカルデータ要素を含む。また、これらの楽曲データ要素は、任意選択で、楽器データ要素および構造データ要素を含む。
【００２０】
続いて、カラオケ曲の楽曲トラックの視覚表示が表示装置のディスプレイに作成される。視覚表示は、楽曲トラック入力フィードの楽曲データ要素に少なくとも部分的に基づいている。そのため、視覚表示は、歌詞データ要素とボーカルデータ要素との組み合わせを含み、任意選択で楽器データ要素、および／または構造データ要素も含む。
【００２１】
同じように、ユーザの演奏に対応している演奏入力フィードから楽曲データ要素が抽出される。演奏入力フィードの楽曲データ要素は、歌詞データ要素およびボーカルデータ要素を含む。また、これらの楽曲データ要素は、任意選択で、楽器データ要素および構造データ要素を含む。
【００２２】
続いて、楽曲トラック入力フィードの楽曲データ要素と演奏入力フィードの楽曲データ要素とが比較される。この比較に基づいて、カラオケ曲のユーザの演奏に関するフィードバックが表示装置のディスプレイ上に生成される。
【００２３】
それによって、楽曲トラックの歌詞データ要素および演奏の歌詞データ要素は、表示装置のディスプレイ上に表示される。演奏の歌詞データ要素は、対応している楽曲トラックの歌詞データ要素に関連してディスプレイ上で位置付けられる。
【００２４】
さらに、楽曲トラックの歌詞データ要素の表示に対して演奏の歌詞データ要素の表示をディスプレイ上で変化させることによって、ユーザの演奏とカラオケ曲の楽曲トラックとの差が表示される。
【００２５】
任意選択で、ディスプレイの水平軸に対する楽曲トラックの歌詞データ要素の垂直位置が楽曲トラックの音高に対応する。同じように、任意選択で、ディスプレイの水平軸に対する演奏の歌詞データ要素の垂直位置が演奏の音高に対応する。
【００２６】
その結果、演奏の音高と楽曲トラックの音高との差が、ディスプレイ上の演奏の歌詞データ要素の垂直位置と、ディスプレイ上の対応する楽曲トラックの歌詞データ要素の垂直位置との差で表される。一実施形態では、演奏の音高が楽曲トラックの音高よりも低い場合に、演奏の歌詞データ要素の垂直位置は、対応する楽曲トラックの歌詞データ要素の垂直位置よりも低い。一方、演奏の音高が楽曲トラックの音高よりも高い場合に、演奏の歌詞データ要素の垂直位置は、対応する楽曲トラックの歌詞データ要素の垂直位置よりも高い。
【００２７】
任意選択で、演奏のテンポと楽曲トラックのテンポとの差が、ディスプレイ上の演奏の歌詞データ要素の水平位置と、ディスプレイ上の対応する楽曲トラックの歌詞データ要素の水平位置との差で表される。
【００２８】
任意選択で、楽曲トラックの歌詞データ要素の大きさが楽曲トラックの音量に対応する。同じように、任意選択で、演奏の歌詞データ要素の大きさ演奏の音量に対応する。
【００２９】
その結果、演奏の音量と楽曲トラックの音量との差が、演奏の歌詞データ要素の大きさと、ディスプレイ上の対応する楽曲トラックの歌詞データ要素の大きさとの差で表される。
【００３０】
任意選択で、演奏の歌詞データ要素は、ディスプレイ上の対応する楽曲トラックの歌詞データ要素の上に重ねられる。例えば、対応する楽曲トラックの歌詞データ要素の上に重ねられた演奏の歌詞データ要素の位置における垂直方向の差が、音高の差を表す。対応する楽曲トラックの歌詞データ要素の上に重ねられた演奏の歌詞データ要素の大きさに見られる差が、音量レベルの差を表すことができる。
【００３１】
任意選択で、楽曲トラックの歌詞データ要素および演奏の歌詞データ要素は、テキスト要素である。
【００３２】
任意選択で、楽曲トラックの歌詞データ要素のフォントタイプおよび色が、楽曲トラックのアーティキュレーションスタイルに対応する。同じように、演奏の歌詞データ要素のフォントタイプおよび色が、演奏のアーティキュレーションスタイルに対応する。
【００３３】
その結果、演奏のアーティキュレーションスタイルと楽曲トラックのアーティキュレーションスタイルとの差が、演奏の歌詞データ要素のフォントタイプおよび色と、対応する楽曲トラックの歌詞データ要素のフォントタイプおよび色との差で表される。
【００３４】
さらに、グラフィックインジケータが、任意選択で、楽曲トラックの歌詞データ要素に対して表示装置のディスプレイ全体にわたって水平に動く。グラフィックインジケータは、ユーザが歌唱する楽曲トラックの歌詞の一部を示す。そのため、グラフィックインジケータが動く速度が、楽曲トラックのテンポと有益なように同期する。
【００３５】
別の態様では、本開示の実施形態は、メモリ、メモリに接続しているプロセッサ、およびプロセッサに接続しているディスプレイを備えているシステムであって、プロセッサが前述の方法の１つ以上の態様を実施するように構成されているシステムを提供する。本方法に関して上記に開示した詳細および実施形態は、必要な変更を加えてシステムに適用される。
【００３６】
さらに別の態様では、本開示の実施形態は、機械可読性の一時的でないデータ保存媒体に記録されたソフトウェア製品であって、前述した方法を実施するためにコンピューティングハードウェア上で実行可能なソフトウェア製品を提供する。本方法に関して上記に開示した詳細および実施形態は、必要な変更を加えてソフトウェア製品に適用される。
【００３７】
次に図面、特にその符号を参照すると、図１は、本開示の一実施形態によるカラオケ曲の演奏に関するフィードバックをユーザに提供するシステム１００の概略図である。システム１００は、サーバ構成１０２および、図１に表示装置１０４ａ、表示装置１０４ｂおよび表示装置１０４ｃ（以下、併せて表示装置１０４と称する）と示した１つ以上の表示装置を備えている。システム１００は、図１にデータベース１０６ａおよびデータベース１０６ｂ（以下、併せてデータベース１０６と称する）と示した１つ以上のデータベースも備えている。データベース１０６は、任意選択でサーバ構成１０２に接続している。
【００３８】
システム１００は、可能な様々な状況に応じて様々な方法で実施され得る。１つの例では、システム１００は、サーバ構成１０２とデータベース１０６とを空間的に並べて構成することによって実施されてもよい。別の例では、システム１００は、サーバ構成１０２とデータベース１０６とを空間的に分散して構成し、例えば図１に示したように、通信ネットワーク１０８を介して互いに通信して接続することによって実施されてもよい。さらに別の例では、サーバ構成１０２およびデータベース１０６は、クラウドコンピューティングサービスを介して実施されてもよい。
【００３９】
通信ネットワーク１０８は、サーバ構成１０２を表示装置１０４に接続し、それらの間でデータを交換するためにサーバ構成１０２と表示装置１０４との間に通信媒体を提供する。ここで注意すべきことは、表示装置１０４は、サーバ構成１０２に時間的に同時に接続される必要はなく、いつでも互いに別々にサーバ構成１０２に接続され得る。
【００４０】
通信ネットワーク１０８は、個別のネットワークの集合で、互いに相互接続して単一の大きなネットワークとして機能しているものであってもよい。このような個別のネットワークは、有線、無線、またはこの組み合わせであってもよい。このような個別のネットワークの例には、Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋｓ（ＬＡＮ）、Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋｓ（ＷＡＮ）、Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋｓ（ＭＡＮ）、Ｗｉｒｅｌｅｓｓ  ＬＡＮｓ（ＷＬＡＮ）、Ｗｉｒｅｌｅｓｓ  ＷＡＮｓ（ＷＷＡＮ）、Ｗｉｒｅｌｅｓｓ  ＭＡＮｓ（ＷＭＡＮ）、インターネット、第２世代（２Ｇ）テレコミュニケーションネットワーク、第３世代（３Ｇ）テレコミュニケーションネットワーク、第４世代（４Ｇ）テレコミュニケーションネットワーク、およびＷｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ（ＷｉＭＡＸ）ネットワークなどがあるが、これに限定されない。
【００４１】
表示装置１０４の例には、携帯電話、スマートフォン、モバイルインターネットデバイス（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅｓ：ＭＩＤ）、タブレットコンピュータ、ウルトラモバイルパーソナルコンピュータ（Ｕｌｔｒａ−Ｍｏｂｉｌｅ  Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒｓ：ＵＭＰＣ）、ファブレットコンピュータ、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ：ＰＤＡ）、ウェブパッド、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒｓ：ＰＣ）、ハンドヘルドＰＣ、ラップトップコンピュータ、デスクトップコンピュータ、ＰＣを埋め込んだ大型タッチスクリーン、ならびにカラオケ装置、ゲームコンソール、テレビ（ＴＶ）セットおよびセットトップボックス（Ｓｅｔ−Ｔｏｐ  Ｂｏｘｅｓ：ＳＴＢ）などの相互作用エンタテイメント装置などがあるが、これに限定されない。
【００４２】
表示装置１０４は、サーバ構成１０２から提供される様々なサービスにアクセスできる。サーバ構成１０２から提供される様々なサービスにアクセスするために、各々の表示装置１０４は、任意選択で、その表示装置につながっているユーザにユーザインターフェースを提供するソフトウェア製品を使用する。ソフトウェア製品は、ネイティブソフトウェアアプリケーション、ブラウザ上で実行されるソフトウェアアプリケーション、または、ソーシャルネットワーキングウェブサイトなどのウェブサイトから提供されるプラグインアプリケーションであり得る。
【００４３】
１つの実施形態では、システム１００は、その機能性の一部がサーバ構成１０２で実施され、一部が表示装置１０４で実施されるように構成される。
【００４４】
別の実施形態では、システム１００は、１つ以上のネイティブソフトウェアアプリケーションを用いてその機能性が実質的に表示装置１０４で実施されるように構成される。このような状況では、表示装置１０４は、周期的にまたは時にはランダムにサーバ構成１０２に接続されて、例えば、サーバ構成１０２から更新内容を受信し、かつ／またはカラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードを受信することができる。
【００４５】
さらに別の実施形態では、システム１００は、その機能が実質的にサーバ構成１０２で実施されるように構成される。
【００４６】
一例では、システム１００は、所与の表示装置とつながっているユーザが以下のうちの１つ以上を実施できるようにする：１つ以上のカラオケリストを検索および／または閲覧して演奏するカラオケ曲を選択する；カラオケ曲を演奏する；カラオケ曲の演奏中に歌詞およびその他の記譜法を見る；かつ／またはカラオケ曲の演奏に関するフィードバックを実質的にリアルタイムで見る。
【００４７】
１つの実施形態では、サーバ構成１０２は、カラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードから楽曲データ要素を抽出するように動作可能である。楽曲トラック入力フィードは、カラオケ曲の楽曲トラックに関する音声データ、楽曲データ、曲のメタデータ、感覚データ、映像データ、および／またはコンテキスト情報のうち１つ以上を含む。任意選択で、楽曲トラック入力フィードは、少なくとも１つのデータベース１０６に保存される。
【００４８】
音声データは、例えば適切な音声フォーマットで提供され得る。１つの例では、音声データは音声ファイルとして提供される。別の例では、音声データはストリーミング音楽として提供される。
【００４９】
楽曲データは、任意選択で、カラオケ曲の楽曲トラックの歌詞、テンポ、ボーカルの音高、メロディの音高、リズム、強弱法、および／または記譜法のうち１つ以上を含む。さらに、記譜法は、例えば楽譜、タブラチュアおよび／または聴覚で感知する音楽を表現するのに使用されるその他の同様の表記を含んでいてもよい。
【００５０】
また、楽曲データは、任意選択で、楽曲トラックの様々な局面を同期させるのに必要な同期情報を含む。
【００５１】
一例では、楽曲データは、Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ（ＭＩＤＩ）ファイルとして提供される。別の例では、楽曲データは、任意選択で、信号処理アルゴリズムを用いて、カラオケ曲の音声、またはカラオケ曲に対応している音声トラックから抽出され、解析される。
【００５２】
曲のメタデータは、任意選択で、カラオケ曲が属する音楽ジャンル、カラオケ曲の楽曲トラックを初めに作成し、かつ／または演奏した一人以上のアーティストの名前、一人以上のアーティストの性別、カラオケ曲の言語、および／またはカラオケ曲の公開年のうち１つ以上を含む。一例では、曲のメタデータはファイルとして提供される。別の例では、曲のメタデータはデータベースからアクセスされる。さらに別の例では、曲のメタデータは外部システムによって提供される。
【００５３】
感覚データは、任意選択で、一人以上のアーティストの動きを含む。映像データは、任意選択で、一人以上のアーティストの顔の表情を含む。
【００５４】
一人以上のアーティストの動きおよび／または顔の表情は、任意選択で、信号処理アルゴリズムを用いてカラオケ曲の映像から抽出され、解析される。このような解析は、一人以上のアーティストがどのように楽曲トラックの楽曲に感情移入するのかを判断するのに有益に使用される。
【００５５】
コンテキスト情報は、任意選択で、楽曲トラックが作成された場所、楽曲トラックが作成された時間および／または日付のうち１つ以上を含む。
【００５６】
その結果、楽曲トラック入力フィードの楽曲データ要素は、楽曲トラックの歌詞データ要素およびボーカルデータ要素を含む。また、これらの楽曲データ要素は、任意選択で、楽曲トラックの楽器データ要素および構造データ要素を含む。
【００５７】
楽曲トラックの歌詞データ要素は、任意選択で、そのままの単語および歌詞のフレーズ；歌詞の意味；愛や憎しみなど、歌詞に出てくる感情的なキーワード；ｙｏ、ｇｏ、ｒｏｃｋまたはｒｕｎなど、歌詞に出てくるスラング用語；繰り返しの単語および歌詞のフレーズ；コーラスおよび詩歌；ならびに／またはｕｕｈ、ａａｈおよびｙｅｅｈａａｗなどの擬声語または表音疑似単語のうち１つ以上を含む。
【００５８】
楽曲トラックのボーカルデータ要素は、任意選択で、カラオケ曲の楽曲トラックのボーカルの音高、メロディの音高、テンポ、リズム、強弱法、音量、および／またはアーティキュレーションスタイルのうち１つ以上を含む。アーティキュレーションスタイルは、例えば、ささやき声、叫び声、ファルセット、レガート、スタッカート、ラップなどを含んでいてもよい。
【００５９】
楽曲トラックの楽器データ要素は、任意選択で、クラッシック、ロック、およびラップなど、楽曲トラックの楽曲スタイル；様々な楽器のテンポ；および／またはドラムおよびベースなどのビートのハイライトのうち１つ以上を含む。
【００６０】
楽曲トラックの構造データ要素は、任意選択で、イントロ、アウトロ、コーラス、詩歌、楽器のブレイク、および／またはボーカリストのみの部分のうち１つ以上を含む。
【００６１】
さらに、楽曲トラック入力フィードの楽曲データ要素は、任意選択で、少なくとも１つのデータベース１０６に保存される。楽曲トラック入力フィードおよびそこから抽出された楽曲データ要素の一例を図３Ａ、３Ｂおよび３Ｃに関連付けて提供している。
【００６２】
さらに、所与の表示装置から要求を受信すると、サーバ構成１０２は、所与の表示装置に楽曲トラック入力フィードの楽曲データ要素を提供する。続いて、カラオケ曲の楽曲トラックの視覚表示が所与の表示装置のディスプレイに作成される。
【００６３】
視覚表示は、楽曲トラック入力フィードの楽曲データ要素に少なくとも部分的に基づいている。そのため、視覚表示は、歌詞データ要素とボーカルデータ要素との組み合わせを含み、任意選択で楽器データ要素、および／または構造データ要素も含む。
【００６４】
ユーザがカラオケ曲を演奏するとき、所与の表示装置は、任意選択で、カラオケ曲のユーザの演奏に対応している演奏入力フィードから楽曲データ要素を抽出するように動作可能である。演奏入力フィードは、音声データ、楽曲データ、感覚データ、および／またはカラオケ曲の演奏に関連する映像データのうち１つ以上を含む。
【００６５】
所与の表示装置は、ユーザの演奏の音声を受信するためのマイクロフォンを使用する。所与の表示装置は、信号処理アルゴリズムを用いてユーザの演奏の音声を解析するように動作可能である。よって、所与の表示装置は、音声の解析に基づいて演奏入力フィードの音声データおよび楽曲データを抽出するように動作可能である。
【００６６】
その結果、演奏入力フィードの楽曲データは、任意選択で、カラオケ曲のユーザの演奏の歌詞、テンポ、ボーカルの音高、メロディの音高、および／または強弱法のうち１つ以上を含む。
【００６７】
また、所与の表示装置は、任意選択で、演奏入力フィードの映像データおよび／または感覚データを受信するためのカメラを使用する。
【００６８】
演奏入力フィードは、任意選択で、信号処理アルゴリズムを用いて解析される。その結果、演奏入力フィードの楽曲データ要素は、演奏の歌詞データ要素およびボーカルデータ要素を含む。また、これらの楽曲データ要素は、任意選択で、演奏の楽器データ要素および構造データ要素を含む。
【００６９】
続いて、楽曲トラック入力フィードの楽曲データ要素と演奏入力フィードの楽曲データ要素とが比較される。この比較は、例えば、信号処理アルゴリズムを用いて行われ得る。
【００７０】
この比較に基づいて、カラオケ曲の演奏に関するフィードバックが所与の表示装置のディスプレイ上に生成される。
【００７１】
それによって、楽曲トラックの歌詞データ要素および演奏の歌詞データ要素は、所与の表示装置のディスプレイ上に表示される。有益には、演奏の歌詞データ要素は、対応している楽曲トラックの歌詞データ要素に関連してディスプレイ上で位置付けられる。
【００７２】
さらに、楽曲トラックの歌詞データ要素の表示に対して演奏の歌詞データ要素の表示をディスプレイ上で変化させることによって、ユーザの演奏とカラオケ曲の楽曲トラックとの差が表示される。これらの差をどのように表示し得るかの詳細を図４、５Ａおよび５Ｂに関して示している。
【００７３】
図１は単なる一例であり、本明細書の請求項の範囲を不当に限定するものではない。システム１００に対して特定の名称は一例として挙げられており、特定の数、特定の種類または特定の構成である表示装置、サーバ構成、およびデータベースにシステム１００を限定するものと解釈してはならないことを理解すべきである。当業者は、本開示の実施形態の多くの変形例、代替例および修正例を認識するであろう。
【００７４】
図２は、本開示の一実施形態による表示装置２００の一例の実装における様々な構成要素の概略図である。表示装置２００は、図１に関して記載した表示装置１０４の実施と同じように実施され得る。さらに、各々の表示装置１０４は、表示装置２００の例示的な実施と同じように実施され得る。
【００７５】
表示装置２００には、データメモリ２０２、プロセッサ２０４、入力／出力（Ｉ／Ｏ）装置２０６、ネットワークインターフェース２０８、ならびに、データメモリ２０２、プロセッサ２０４、Ｉ／Ｏ装置２０６およびネットワークインターフェース２０８を備えている様々な構成要素を動作可能なように接続するシステムバス２１０を備えているが、これに限定されない。
【００７６】
さらに、表示装置２００は、任意選択で、データストレージ（図２には図示せず）を備える。データストレージは、任意選択で、１つ以上のカラオケ曲および対応する楽曲トラック入力フィードを保存する。これに加えて、またはこれに代えて、データストレージは、任意選択で、対応する楽曲トラック入力フィードの楽曲データ要素、すなわち対応する楽曲トラック入力フィードから抽出された楽曲データ要素を保存する。
【００７７】
表示装置２００はまた、表示装置２００の様々な構成要素に電力を供給する電源（図２には図示せず）も備えている。電源は、例えば充電式バッテリを備えていてもよい。
【００７８】
データメモリ２０２は任意選択で、非リムーバブルメモリ、リムーバブルメモリ、またはこれらの組み合わせを備えている。非リムーバブルメモリには、例えば、Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、フラッシュメモリ、またはａハードドライブがある、リムーバブルメモリには、例えば、フラッシュメモリカード、メモリスティック、またはスマートカードがある。
【００７９】
データメモリ２０２はソフトウェア製品２１２（コンピュータプログラム製品）を保存するのに対し、プロセッサ２０４はソフトウェア製品２１２を実行するように動作可能である。ソフトウェア製品２１２は、ネイティブソフトウェアアプリケーション、ブラウザ上で実行されるソフトウェアアプリケーション、または、ソーシャルネットワーキングウェブサイトなどのウェブサイトから提供されるプラグインアプリケーションであり得る。
【００８０】
ソフトウェア製品２１２をプロセッサ２０４上で実行すると、表示装置２００のディスプレイ上にユーザインターフェースが生じる。ユーザインターフェースは、任意選択で、例えばシステム１００とのユーザの相互作用を容易にするように構成される。
【００８１】
有益には、Ｉ／Ｏ装置２０６は、ユーザインターフェースを提供するディスプレイ、ユーザに音声出力を提供するスピーカおよび／またはヘッドフォン、およびユーザからの音声入力を受信するマイクロフォンを備えている。
【００８２】
有益には、マイクロフォンは、ユーザのカラオケ曲の演奏の音声を受信するのに使用される。ソフトウェア製品２１２は、プロセッサ２０４上で実行される場合、ユーザの演奏の音声を解析してユーザの演奏に対応している音声データおよび／または楽曲データを抽出するように構成される。
【００８３】
また、Ｉ／Ｏ装置２０６は、任意選択で、ユーザのカラオケ曲の演奏に対応している映像データおよび／または感覚データを受信するのに使用されるカメラを備えている。
【００８４】
ソフトウェア製品２１２は、プロセッサ２０４上で実行される場合、図１に関して記載した動作を実施するように構成される。したがって、ソフトウェア製品２１２は、プロセッサ２０４上で実行される場合、
（ｉ）カラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードから楽曲データ要素を抽出すること、
（ｉｉ）カラオケ曲の楽曲トラックの視覚表示を作成すること、
（ｉｉｉ）カラオケ曲の演奏に対応している演奏入力フィードから楽曲データ要素を抽出すること、
（ｉｖ）楽曲トラック入力フィードの楽曲データ要素を演奏入力フィードの楽曲データ要素と比較すること、
（ｖ）その比較に基づいてユーザの演奏に関するフィードバックを生成すること、
（ｖｉ）楽曲トラックの歌詞データ要素および演奏の歌詞データ要素をディスプレイ上に表示すること；ならびに／または
（ｖｉｉ）そのそれぞれの歌詞データ要素の表示を互いに対して変化させることによって、演奏と楽曲トラックとの差を表示すること、
のうち１つ以上を実施するように構成される。
【００８５】
これらの差をどのように表示し得るかの詳細を図４、５Ａおよび５Ｂに関して示している。
【００８６】
有益には、フィードバックは、実質的にリアルタイムで生成される。
【００８７】
さらに、ネットワークインターフェース２０８は、任意選択で、表示装置２００が通信ネットワークを介してサーバ構成１０２などのサーバ構成と通信できるようにする。通信ネットワークは、例えば、互いに相互接続して単一の大きなネットワークとして機能している個別のネットワークの集合であってもよい。このような個別のネットワークは、有線、無線、またはこの組み合わせであってもよい。このような個別のネットワークの例には、ＬＡＮ、ＷＡＮ、ＭＡＮ、ＷＬＡＮ、ＷＷＡＮ、ＷＭＡＮ、２Ｇテレコミュニケーションネットワーク、３Ｇテレコミュニケーションネットワーク、４Ｇテレコミュニケーションネットワーク、およびＷｉＭＡＸネットワークなどがあるが、これに限定されない。
【００８８】
表示装置２００は、任意選択で、携帯電話、スマートフォン、ＭＩＤ、タブレットコンピュータ、ＵＭＰＣ、ファブレットコンピュータ、ＰＤＡ、ウェブパッド、ＰＣ、ハンドヘルドＰＣ、ラップトップコンピュータ、デスクトップコンピュータ、ＰＣを埋め込んだ大型タッチスクリーン、ならびに／またはカラオケ装置、ゲームコンソール、ＴＶセットおよびＳＴＢなどの相互作用エンタテイメント装置のうち少なくとも１つを用いて実装される。
【００８９】
図２は単なる一例であり、本明細書の請求項の範囲を不当に限定するものではない。表示装置２００に対する特定の名称は一例として挙げられており、表示装置２００を、特定の数、特定の種類または特定の構成である表示装置２００のモジュールおよび／または構成要素に限定するものと解釈してはならないことを理解すべきである。当業者は、本開示の実施形態の多くの変形例、代替例および修正例を認識するであろう、
【００９０】
図３Ａ、３Ｂおよび３Ｃは、本開示の一実施形態によるカラオケ曲の楽曲トラックに対応している楽曲トラック入力フィード、およびそこから抽出された楽曲データ要素の一例を併せた図である。
【００９１】
図３Ａは、楽譜の例の一部を示している。この楽譜の例の一部は、子どもの歌「Ｉｔｓｙ  Ｂｉｔｓｙ  Ｓｐｉｄｅｒ」に関する楽譜の最初の行に相当する。
【００９２】
楽譜の例の一部は、子どもの歌「Ｉｔｓｙ  Ｂｉｔｓｙ  Ｓｐｉｄｅｒ」の楽曲トラックのテンポ、リズム、音高、強弱法および歌詞を規定している。有益には、楽譜の例の一部は、システム１００への楽曲トラック入力フィードとして作用する。
【００９３】
システム１００は任意選択で、楽譜の例の一部を解析して楽曲トラック入力フィードの楽曲データ要素を抽出するように動作可能である。楽曲トラック入力フィードの楽曲データ要素は、楽曲トラックの歌詞データ要素およびボーカルデータ要素を含む。また、これらの楽曲データ要素は、任意選択で、楽曲トラックの楽器データ要素および構造データ要素を含む。
【００９４】
続いて、システム１００は、楽曲トラック入力フィードの楽曲データ要素に少なくとも部分的に基づいて、楽曲トラックの視覚表示を作成するように動作可能である。
【００９５】
図３Ｂは、楽譜の例の一部に対応している視覚表示を示している。楽曲トラックの歌詞データ要素は、図３Ｂに示したように、テキスト要素として描かれている。テキスト要素は、例えば単語、フレーズ、音節、文字および／またはその他の記号を含んでいてよい。
【００９６】
視覚表示は、有益には、楽曲トラック入力フィードの楽曲データ要素を以下のように取り入れる。
（ｉ）楽曲トラックの所与の歌詞データ要素のディスプレイの水平軸に対する垂直位置を、所与の歌詞データ要素の所で楽曲トラックの音高に対応させ、
（ｉｉ）所与の歌詞データ要素の水平位置を、所与の歌詞データ要素の所で楽曲トラックのテンポに対応させ、
（ｉｉｉ）所与の歌詞データ要素の大きさを、所与の歌詞データ要素の所で楽曲トラックの音量に対応させ、かつ／または
（ｉｖ）所与の歌詞データ要素のフォントタイプおよび色を、所与の歌詞データ要素の所で楽曲トラックのアーティキュレーションスタイルに対応させる。
【００９７】
このように、歌詞データ要素の基準線が高いほど、歌詞データ要素の音高が高いことを示す。図３Ｃは、それぞれの歌詞データ要素の基準線３０２、３０４、３０６および３０８を示している。
【００９８】
本開示の一実施形態では、楽曲トラックの音高は、有益には、前述の視覚表示に現れる前に正常化される。楽曲トラックの音高を正常化するために、システム１００、任意選択で、楽曲トラックの中にある最大音高および最低音高を識別するように動作可能である。次に、最大音高および最低音高は、所定の音高の規模に正常化される。その結果、最大音高は、所定の音高の規模の最も高い値に関連付けられ、最低音高は、所定の音高の規模の最も低い値に関連付けられる。所定の音高の規模は、ユーザが規定してもよいし、システムが初期設定として規定してもよい。所定の音高の規模は、任意選択で、ディスプレイの画面サイズに対して規定されてもよい。
【００９９】
図３Ｃを参照すると、基準線３０２、３０４、３０６および３０８は、楽曲トラックが進むにつれて音高が高くなっていることを示している。ここで注意すべきことは、基準線３０２、３０４、３０６および３０８は例示目的で示されているに過ぎないということである。このような基準線は、ディスプレイ上に表示されてもよいしされなくてもよい。
【０１００】
さらに、歌詞データ要素どうしの間の水平方向の間隔は、歌詞データ要素のリズムを示している。水平方向の間隔、図３Ｂおよび３Ｃに示したように、リズムによって変化する。
【０１０１】
さらに、歌詞データ要素のフォントが大きい方が、歌詞データ要素の音量が大きいことを示す。一実施形態では、楽曲トラックの音量は、有益には、前述の視覚表示に現れる前に正常化される。楽曲トラックの音量を正常化するために、システム１００は、任意選択で、楽曲トラックの中にある最大音量および最低音量を識別するように動作可能である。次に、最大音量および最低音量は、所定の音量の規模に正常化される。その結果、最大音量は、所定の音量の規模の最も高い値に関連付けられ、最低音量は、所定の音量の規模の最も低い値に関連付けられる。所定の音量の規模は、ユーザが規定してもよいし、システムが初期設定として規定してもよい。所定の音量の規模は、任意選択で、ディスプレイの画面サイズに対して規定されてもよい。
【０１０２】
さらに、歌詞データ要素のフォントタイプおよび色は、ささやき声、叫び声、ファルセット、レガート、スタッカート、およびラップなどの楽曲トラックのアーティキュレーションスタイルを示している。
【０１０３】
さらに、色、色調、縁、明るさおよび／またはコントラストなど、視覚表示の背景および／または前景のその他の局面も楽曲トラックの強弱法によって変化してもよい。その他の局面は、例えば憂鬱感、幸福感、老い、若さなど、例えば歌詞データ要素の調子を示してもよい。
【０１０４】
このほか、視覚表示には、アニメーションならびにハイライト表示および鮮明な表示などのその他の視覚効果も含まれてよい。
【０１０５】
このように、システム１００は、カラオケ曲の演奏を単一の包括的な表現にすることを容易にする。
【０１０６】
図３Ａ、３Ｂおよび３Ｃは単なる例であり、本明細書の請求項の範囲を不当に限定するものではない。当業者は、本開示の実施形態の多くの変形例、代替例および修正例を認識するであろう。
【０１０７】
図４は、本開示の一実施形態による、フィードバックをどのようにしてユーザに提供できるかという一例の図である。図４を参照すると、カラオケ曲の楽曲トラックの歌詞データ要素が前景のテキスト要素として描かれ、カラオケ曲の演奏の歌詞データ要素が背景のテキスト要素として描かれている。
【０１０８】
任意選択で、楽曲トラックの歌詞データ要素のディスプレイの水平軸に対する垂直位置が楽曲トラックの音高に対応する。同じように、演奏の歌詞データ要素のディスプレイの水平軸に対する垂直位置が演奏の音高に対応する。
【０１０９】
その結果、演奏の音高と楽曲トラックの音高との差が、演奏の歌詞データ要素の垂直位置と、ディスプレイ上の対応する楽曲トラックの歌詞データ要素の垂直位置との差で表される。演奏の音高と楽曲トラックの音高との差は、以下「音高差」と称する。
【０１１０】
一実施形態では、演奏の音高が楽曲トラックの音高よりも低い場合に、演奏の歌詞データ要素の垂直位置は、対応する楽曲トラックの歌詞データ要素の垂直位置よりも低い。一方、演奏の音高が楽曲トラックの音高よりも高い場合に、演奏の歌詞データ要素の垂直位置は、対応する楽曲トラックの歌詞データ要素の垂直位置よりも高い。
【０１１１】
図４を参照すると、演奏の歌詞データ要素４０２の垂直位置は、対応する楽曲トラックの歌詞データ要素４０４の垂直位置よりも高い。これは、歌詞データ要素４０２の所で演奏の音高が楽曲トラックの音高よりも高いというフィードバックをユーザに提供する。
【０１１２】
同じように、演奏の歌詞データ要素４０６の垂直位置は、対応する楽曲トラックの歌詞データ要素４０８の垂直位置よりも高い。これは、歌詞データ要素４０６の所で演奏の音高が楽曲トラックの音高よりも高いというフィードバックをユーザに提供する。
【０１１３】
さらに、歌詞データ要素４０６の垂直位置と対応する歌詞データ要素４０８との差は、歌詞データ要素４０２の垂直位置と対応する歌詞データ要素４０４との差よりも大きい。これは、有益には、音高差が歌詞データ要素４０６の所の方が大きいことを示している。
【０１１４】
図４を参照すると、演奏の歌詞データ要素４１０の垂直位置は、対応する楽曲トラックの歌詞データ要素４１２の垂直位置よりも低い。これは、歌詞データ要素４１０の所で演奏の音高が楽曲トラックの音高よりも低いというフィードバックをユーザに提供する。
【０１１５】
任意選択で、演奏のテンポと楽曲トラックのテンポとの差が、ディスプレイ上の演奏の歌詞データ要素の水平位置と、ディスプレイ上の対応する楽曲トラックの歌詞データ要素の水平位置との差で表される。演奏のテンポと楽曲トラックのテンポとの差は、以下「テンポ差」と称する。
【０１１６】
図４を参照すると、演奏の歌詞データ要素４０２の水平位置と、対応する歌詞データ要素４０４の水平位置との差が、歌詞データ要素４０２でテンポ差を表している。歌詞データ要素４０２でのテンポ差は、演奏のタイミングでエラーが発生したというフィードバックをユーザに提供する。
【０１１７】
任意選択で、楽曲トラックの歌詞データ要素のフォントタイプおよび色が、楽曲トラックのアーティキュレーションスタイルに対応する。同じように、演奏の歌詞データ要素のフォントタイプおよび色が、演奏のアーティキュレーションスタイルに対応する。
【０１１８】
その結果、演奏のアーティキュレーションスタイルと楽曲トラックのアーティキュレーションスタイルとの差が、演奏の歌詞データ要素のフォントタイプおよび色と、対応する楽曲トラックの歌詞データ要素のフォントタイプおよび色との差で表される。
【０１１９】
さらに、グラフィックインジケータ４１４が、任意選択で、楽曲トラックの歌詞データ要素に対して表示装置のディスプレイ全体にわたって水平に動く。グラフィックインジケータ４１４は、ユーザが歌唱する楽曲トラックの歌詞の一部を示す。そのため、グラフィックインジケータ４１４が動く速度が、楽曲トラックのテンポと有益に同期する。
【０１２０】
図４を参照すると、グラフィックインジケータ４１４は円形である。ここで注意すべきことは、グラフィックインジケータ４１４は、特定の形状に限定されず、どのような形状であってもよく、例えば楕円形、星形、正方形、長方形などであってもよいということである。
【０１２１】
代替の実施形態では、グラフィックインジケータ４１４は、楽曲トラックの歌詞データ要素のフォントの色を変えることで表現されてもよい。
【０１２２】
図４は単なる一例であり、本明細書の請求項の範囲を不当に限定するものではない。当業者は、本開示の実施形態の多くの変形例、代替例および修正例を認識するであろう。
【０１２３】
図５Ａおよび５Ｂは、本開示の一実施形態による、フィードバックをどのようにしてユーザに提供できるかという別の一例を併せて示した図である。図５Ａおよび５Ｂを参照すると、カラオケ曲の楽曲トラックの歌詞データ要素が背景のテキスト要素として描かれ、カラオケ曲の演奏の歌詞データ要素が前景のテキスト要素として描かれている。
【０１２４】
図５Ａは、ユーザがこれらの歌詞データ要素を歌唱する前の楽曲トラックの歌詞データ要素の視覚表示を示している。
【０１２５】
図５Ｂは、ユーザがカラオケ曲を演奏している間の演奏の歌詞データ要素の視覚表示を示している。
【０１２６】
本開示の一実施形態では、例えば図５Ｂに示したように、演奏の歌詞データ要素は、ディスプレイ上で対応する楽曲トラックの歌詞データ要素に重ねられる。
【０１２７】
任意選択で、前述したように、対応する楽曲トラックの歌詞データ要素の上に重ねられた演奏の歌詞データ要素の位置における垂直方向の差が、音高差を表す。
【０１２８】
任意選択で、対応する楽曲トラックの歌詞データ要素の上に重ねられた演奏の歌詞データ要素の大きさにおける差が、音量レベルの差を表す。
【０１２９】
この観点で、楽曲トラックの歌詞データ要素の大きさが、楽曲トラックの音量に対応する。同じように、演奏の歌詞データ要素の大きさが、演奏の音量に対応する。
【０１３０】
その結果、演奏の音量と楽曲トラックの音量との差が、演奏の歌詞データ要素の大きさと、ディスプレイ上の対応する楽曲トラックの歌詞データ要素の大きさとの差で表される。
【０１３１】
図５Ｂを参照すると、演奏の歌詞データ要素５０２の大きさは、対応する楽曲トラックの歌詞データ要素５０４の大きさよりも小さい。これは、歌詞データ要素５０２の所で演奏の音量が楽曲トラックの音量よりも低いというフィードバックをユーザに提供する。
【０１３２】
図５Ａおよび５Ｂは単なる例であり、本明細書の請求項の範囲を不当に限定するものではない。当業者は、本開示の実施形態の多くの変形例、代替例および修正例を認識するであろう。
【０１３３】
図６Ａおよび６Ｂは、本開示の一実施形態による、カラオケ曲の演奏に関するフィードバックを表示装置上に提供する方法のステップを併せて示した図である。本方法をステップの集合を論理流れ図で示しており、図は、ハードウェア、ソフトウェア、またはその組合せで実施できる一連のステップを表している。
【０１３４】
ステップ６０２では、カラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードから楽曲データ要素が抽出される。ステップ６０２は、図１に関して前述したように、例えばサーバ構成１０２によって実施され得る。
【０１３５】
ステップ６０４では、カラオケ曲の楽曲トラックの視覚表示が表示装置のディスプレイに作成される。ステップ６０４によれば、視覚表示は、前述したように、ステップ６０２で抽出された楽曲データ要素に少なくとも部分的に基づいて作成される。
【０１３６】
ステップ６０６では、カラオケ曲の演奏に対応している演奏入力フィードから楽曲データ要素が抽出される。
【０１３７】
続いて、ステップ６０８では、楽曲トラック入力フィードの楽曲データ要素は、演奏入力フィードの楽曲データ要素と比較される。
【０１３８】
ステップ６０２、６０６および６０８は、有益には、信号処理アルゴリズムを用いて実施される。
【０１３９】
ステップ６１０では、フィードバックは、ステップ６０８で実施された比較に少なくとも部分的に基づいて表示装置のディスプレイ上に生成される。ステップ６１０は、ステップ６１２および６１４を含んでいる。
【０１４０】
ステップ６１２では、楽曲トラックの歌詞データ要素および演奏の歌詞データ要素は、ディスプレイ上に表示される。
【０１４１】
ステップ６１４では、演奏と楽曲トラックとの差は、図４、５Ａおよび５Ｂに関して前述したように、そのそれぞれの歌詞データ要素の互いに対する表示を変化させることによって表示される。
【０１４２】
ここで注意すべきことは、ステップ６０２から６１４は、単なる例示にすぎず、本明細書の特許請求の範囲を逸脱しない限り、１つ以上のステップを加えたり、１つ以上のステップを除外しり、１つ以上のステップを異なる順序で提供したりするその他の代替例を提供することもできる。
【０１４３】
本開示の実施形態は、機械可読性の一時的でないデータ保存媒体に記録されたソフトウェア製品であって、図６Ａおよび６Ｂに関して記載した方法を実施するためにコンピューティングハードウェア上で実行可能なソフトウェア製品を提供する。ソフトウェア製品は、任意選択で、ソフトウェアアプリケーションストアから、例えば「アプリケーションストア」から表示装置２００などの表示装置にダウンロード可能である。
【０１４４】
本開示の実施形態は、様々な目的に使用される可能性があり、それには、カラオケ曲の演奏に関するフィードバックを実質的にリアルタイムで提供すること；およびカラオケ曲の演奏を単一の包括的な表現にすることを容易にすること、などがあるがこれに限定されず、それによってユーザにカラオケ体験を高めてもらう。
【０１４５】
添付の請求項に記載した本開示の範囲を逸脱しない限り、上記の本開示の実施形態に修正を加えることが可能である。本開示を説明し、特許請求するために使用した「含む（ｉｎｃｌｕｄｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「取り込む（ｉｎｃｏｒｐｏｒａｔｉｎｇ）」、「有する（ｈａｖｅ）」、「〜である（ｉｓ）」などの表現は、非排他的に解釈する、すなわち明示的に記載していない項目、構成要素または要素も存在し得ることを意図している。単数形への言及は、複数形にも係ると解釈するものとする。
【図１】
2017513049.tif 000003
【図２】
2017513049.tif 000004
【図３Ａ】
2017513049.tif 000005
【図３Ｂ】
2017513049.tif 000006
【図３Ｃ】
2017513049.tif 000007
【図４】
2017513049.tif 000008
【図５Ａ】
2017513049.tif 000009
【図５Ｂ】
2017513049.tif 000010
【図６Ａ】
2017513049.tif 000011
【図６Ｂ】
2017513049.tif 000012
【手続補正書】
【提出日】平成28年10月3日(2016.10.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カラオケ曲の演奏に関するフィードバックを表示装置上でユーザに提供する方法であって、
前記カラオケ曲の楽曲トラックに対応している楽曲トラック入力フィードから楽曲データ要素を抽出すること、ただし、前記楽曲トラック入力フィードの前記楽曲データ要素は、歌詞データ要素およびボーカルデータ要素を含む、前記抽出することと；
前記表示装置のディスプレイ上に前記カラオケ曲の前記楽曲トラックの視覚表示を作成すること、ただし前記視覚表示は、前記歌詞データ要素と前記ボーカルデータ要素との組み合わせを含む、前記作成することと；
ユーザの演奏に対応している演奏入力フィードから楽曲データ要素を抽出すること、ただし、前記演奏入力フィードの前記楽曲データ要素は、歌詞データ要素およびボーカルデータ要素を含む、前記抽出することと；
前記楽曲トラック入力フィードの前記楽曲データ要素を前記演奏入力フィードの前記楽曲データ要素と比較することによってフィードバックを生成することと；
を含み、
前記フィードバックを生成することは、
・  前記楽曲トラックの前記歌詞データ要素を前記表示装置の前記ディスプレイに表示することと；
・  演奏の前記歌詞データ要素を前記表示装置の前記ディスプレイに表示すること、ただし、演奏の前記歌詞データ要素は、対応している前記楽曲トラックの歌詞データ要素に関連して位置付けられる、前記表示することと；
・  前記楽曲トラックの前記歌詞データ要素の表示に対して前記演奏の前記歌詞データ要素の表示を前記表示装置の前記ディスプレイ上で変化させることによって、ユーザの前記演奏と前記カラオケ曲の前記楽曲トラックとの差を表示することと；
を含み、
前記ディスプレイの垂直軸に対する前記楽曲トラックの歌詞データ要素の垂直位置は前記楽曲トラックの音高に対応し、前記ディスプレイの垂直軸に対する前記演奏の歌詞データ要素の垂直位置は前記演奏の音高に対応し、前記演奏の前記音高と前記楽曲トラックの前記音高との差が、前記演奏の歌詞データ要素の垂直位置と、前記ディスプレイ上の対応する前記楽曲トラックの歌詞データ要素の垂直位置との差で表され、
前記演奏のテンポと前記楽曲トラックのテンポとの差は、前記ディスプレイ上の前記演奏の歌詞データ要素の水平位置と、前記ディスプレイ上の対応する前記楽曲トラックの歌詞データ要素の水平位置との差で表され、
前記演奏の歌詞データ要素および前記楽曲トラックの歌詞データ要素は、テキスト要素として表現される、
方法。
【請求項２】
楽曲トラック入力フィードからの前記楽曲データ要素、および前記演奏入力フィードの前記楽曲データ要素の少なくとも一方は、楽器データ要素および構造データ要素の少なくとも一方をさらに含む、請求項１に記載の方法。
【請求項３】
前記演奏の音高と前記楽曲トラックの音高との差が、前記演奏の歌詞データ要素の前記垂直位置と、前記ディスプレイ上の対応する前記楽曲トラックの前記歌詞データ要素の前記垂直位置との差で表される、請求項１に記載の方法。
【請求項４】
前記演奏の音高が前記楽曲トラックの音高よりも低い場合に、前記演奏の前記歌詞データ要素の前記垂直位置は前記対応する楽曲トラックの歌詞データ要素の前記垂直位置よりも低く、前記演奏の音高が前記楽曲トラックの音高よりも高い場合に、前記演奏の歌詞データ要素の前記垂直位置は前記対応する楽曲トラックの歌詞データ要素の前記垂直位置よりも高い、請求項３に記載の方法。
【請求項５】
前記楽曲トラックの歌詞データ要素の大きさは前記楽曲トラックの音量に対応し、前記演奏の歌詞データ要素の大きさは前記演奏の音量に対応する、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記演奏の音量と前記楽曲トラックの音量との差が、前記ディスプレイ上の前記演奏の歌詞データ要素の前記大きさと、前記ディスプレイ上の前記対応する楽曲トラックの歌詞データ要素の前記大きさとの差で表される、請求項５に記載の方法。
【請求項７】
グラフィックインジケータを、前記表示装置の前記ディスプレイ全体にわたって前記楽曲トラックの前記歌詞データ要素に対して水平に動かすことを含み、前記グラフィックインジケータが動く速度は、前記楽曲トラックのテンポと同期する、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記楽曲トラック入力フィードは、音声データ、楽曲データ、曲のメタデータ、感覚データ、映像データ、およびコンテキスト情報のうち少なくとも１つを含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記楽曲トラックの歌詞データ要素のフォントタイプおよび色は、前記楽曲トラックのアーティキュレーションスタイルに対応する、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記演奏のアーティキュレーションスタイルと前記楽曲トラックの前記アーティキュレーションスタイルとの差は、前記演奏の歌詞データ要素のフォントタイプおよび色と、対応する前記楽曲トラックの歌詞データ要素の前記フォントタイプおよび色との差で表される、請求項９に記載の方法。
【請求項１１】
前記演奏の歌詞データ要素は、前記ディスプレイ上の対応する前記楽曲トラックの歌詞データ要素の上に重ねられる、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記対応する楽曲トラックの歌詞データ要素の上に重ねられた前記演奏の歌詞データ要素の位置における垂直方向の差は音高差を表し、前記対応する楽曲トラックの歌詞データ要素の上に重ねられた前記演奏の歌詞データ要素の大きさにおける差は音量レベルの差を表す、請求項１１に記載の方法。
【請求項１３】
処理手段及び記憶手段を備えるシステムであって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記記憶手段に実行されると、前記システムに、請求項１から１２のいずれかに記載の方法を遂行させるように構成される、システム。
【請求項１４】
システムの記憶手段に実行されると、前記システムに、請求項１から１２のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。
【国際調査報告】
2017513049.tif 000013
2017513049.tif 000014
2017513049.tif 000015