(57)【特許請求の範囲】
【請求項１】
複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲であり、かつ、指定された楽曲である対象楽曲の演奏中に入力された音声である音声データを取得する取得手段と、
前記取得手段で取得した音声データに基づいて、その音声データにおける歌唱音高を、規定された区間である単位歌唱区間ごとに特定する特定手段と、
前記対象楽曲において歌詞が割り当てられた音符である歌唱音符それぞれの音高を表すお手本データに基づいて、前記特定手段で特定した歌唱音高と、その歌唱音高の単位歌唱区間に対応する前記歌唱音符の音高との歌唱音高差を算出する算出手段と、
現時点での前記単位歌唱区間である現単位区間よりも後の単位歌唱区間である後続単位区間に対応する前記歌唱音符の音高に、前記算出手段で算出した歌唱音高差を加算することで、前記後続単位区間に対する歌唱音高を表す歌唱推定音高を推定する推定手段と、
前記推定手段で推定された歌唱推定音高を、前記後続単位区間と対応付けて表示する表示制御手段と
を備えることを特徴とする表示制御装置。
【請求項２】
前記推定手段で推定した歌唱推定音高を、時間軸に沿って前記現単位区間よりも前の少なくとも１つの前単位区間での歌唱音高と、前記少なくとも１つの前単位区間に対応する歌唱音符の音高との音高差に基づいて補正する補正手段
を備えることを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記補正手段は、
前記前単位区間での歌唱音高と、その前単位区間に対応する歌唱音符の音高との音高差が時間軸に沿って拡大していれば、前記算出手段で算出した現単位区間における音高差よりも音高の差が大きくなるように、前記歌唱推定音高を補正する
ことを特徴とする請求項２に記載の表示制御装置。
【請求項４】
前記補正手段は、
前記前単位区間での歌唱音高と、その前単位区間に対応する歌唱音符の音高との音高差が時間軸に沿って縮小していれば、前記算出手段で算出した現単位区間における音高差よりも音高の差が小さくなるように、前記歌唱推定音高を補正する
ことを特徴とする請求項２又は請求項３に記載の表示制御装置。
【請求項５】
複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲であり、かつ、指定された楽曲である対象楽曲の演奏中に入力された音声である音声データを取得する取得手順と、
前記取得手順で取得した音声データに基づいて、その音声データにおける歌唱音高を、規定された区間である単位歌唱区間ごとに特定する特定手順と、
前記対象楽曲において歌詞が割り当てられた音符である歌唱音符それぞれの音高を表すお手本データに基づいて、前記特定手順で特定した歌唱音高と、その歌唱音高の単位歌唱区間に対応する前記歌唱音符の音高との歌唱音高差を算出する算出手順と、
現時点での前記単位歌唱区間である現単位区間よりも後の単位歌唱区間である後続単位区間に対応する前記歌唱音符の音高に、前記算出手順で算出した歌唱音高差を加算することで、前記後続単位区間に対する歌唱音高を表す歌唱推定音高を推定する推定手順と、
前記推定手順で推定された歌唱推定音高を、前記後続単位区間と対応付けて表示する表示制御手順とを
コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱音高を表示する表示制御装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲に対する歌唱音声を分析して歌唱音高を推定し、その楽曲のピアノロール上に当該歌唱音高を重ねて表示する表示装置が知られている（特許文献１参照）。
【０００３】
この特許文献１に記載された表示装置においては、入力された音声を周波数解析（例えば、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ））した結果に基づいて歌唱音高を推定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０２０７９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように、特許文献１に記載された表示装置では、歌唱音高の推定に周波数解析が必要となるため、音声が入力されてから歌唱音高の推定が完了するまで、ひいては、歌唱音高を表示するまでに時間を要する。
【０００６】
この結果、従来の表示装置においては、現在歌唱している区間と、歌唱音高が表示される区間とにズレが生じる。このようなズレによって、従来の表示装置の利用者は、違和感を覚える、という課題があった。
【０００７】
そこで、本発明は、利用者にとって、より違和感が少ない表示を実現することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明の一態様は、取得手段と、特定手段と、算出手段と、推定手段と、表示制御手段とを備える表示制御装置である。
取得手段は、対象楽曲の演奏中に入力された音声である音声データを取得する。対象楽曲とは、複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲であり、かつ、指定された楽曲である。
【０００９】
特定手段は、取得手段で取得した音声データに基づいて、その音声データにおける歌唱音高を、規定された区間である単位歌唱区間ごとに特定する。そして、算出手段は、お手本データに基づいて、特定手段で特定した歌唱音高と、その歌唱音高の単位歌唱区間に対応する歌唱音符の音高との歌唱音高差を算出する。ここで言うお手本データとは、対象楽曲において歌詞が割り当てられた音符である歌唱音符それぞれの音高を表すデータである。
【００１０】
さらに、推定手段が、後続単位区間に対応する歌唱音符の音高に、算出手段で算出した歌唱音高差を加算することで、後続単位区間に対する歌唱音高を表す歌唱推定音高を推定する。ここで言う後続単位区間とは、現時点での単位歌唱区間である現単位区間よりも後の単位歌唱区間である。
【００１１】
そして、表示制御手段が、推定手段で推定された歌唱推定音高を、後続単位区間と対応付けて表示する。
表示制御装置では、過去の歌唱音高に基づいて、次に歌唱すべき単位歌唱区間を含む後続単位区間の歌唱音高である歌唱推定音高を推定している。そして、その推定した歌唱推定音高を、後続単位区間に対応する歌唱音符と対応付けて表示している。
【００１２】
したがって、表示制御装置によれば、後続単位区間が実際に歌唱される前に、その後続単位区間において歌唱される歌唱推定音高を表示できる。よって、表示制御装置によれば、現在歌唱している単位歌唱区間と、歌唱音高が表示される単位歌唱区間とのズレを低減できる。
【００１３】
さらに言えば、表示制御装置によれば、利用者自身の歌唱音高を調整するまでのタイムラグを抑制できる。この結果、表示制御装置によれば、利用者にとって、より違和感が少ない表示を実現することができる。
【００１４】
表示制御装置においては、補正手段を更に備えていてもよい。
この補正手段は、推定手段で推定した歌唱推定音高を、時間軸に沿って現単位区間よりも前の少なくとも１つの前単位区間での歌唱音高と、少なくとも１つの前単位区間に対応する歌唱音符の音高との音高差に基づいて補正する。
【００１５】
このような表示制御装置では、現単位区間よりも時間軸に沿って前の前単位区間に対する歌唱音高と、その前単位区間に対応する歌唱音符の音高との音高差に基づいて補正することができる。
【００１６】
補正手段は、前単位区間での歌唱音高と、その前単位区間に対応する歌唱音符の音高との音高差が時間軸に沿って拡大していれば、算出手段で算出した現単位区間における音高差よりも音高の差が大きくなるように、歌唱推定音高を補正してもよい。
【００１７】
例えば、対象楽曲において、歌詞が割り当てられた複数の音符のうち、特定の音符で音高が急に高くなる音符の並びが繰り返される場合を想定する。このような想定においては、音高が急に高くなる音符を、時間軸に沿った最初の段階では歌唱できる。しかしながら、時間軸に沿って後の段階となるほど、当該音高が急に高くなる音符を利用者が発声しづらくなり、当該音符を歌唱できなくなることが想定される。このような場合、音高が急に高くなる音符の並びの繰り返しの中で後の段階の音符ほど、音符の音高と歌唱音高との差分が大きくなる。
【００１８】
これに対し、表示制御装置によれば、前単位区間に対応する歌唱音符の音高との音高差が時間軸に沿って拡大していれば、現単位区間での音高差よりも音高の差が大きくなるように歌唱推定音高を補正するため、利用者が実際に歌唱した場合の状況に応じて歌唱推定音高を補正できる。これにより、表示制御装置によれば、歌唱推定音高を、利用者の歌唱実体に近い音高とすることができる。
【００１９】
さらに、補正手段は、前単位区間での歌唱音高と、その前単位区間に対応する歌唱音符の音高との音高差が時間軸に沿って縮小していれば、算出手段で算出した現単位区間における音高差よりも音高の差が小さくなるように、歌唱推定音高を補正してもよい。
【００２０】
対象楽曲における音符の並びとして、上記のような並びを想定した場合、音高が急に高くなる音符を、時間軸に沿った最初の段階では歌唱できず、時間軸に沿って後の段階となるほど、当該音高が急に高くなる音符に利用者が対応できるようになり、当該音符を歌唱できるようになることも想定される。このような場合、音高が急に高くなる音符の並びの繰り返しの中で後の段階の音符ほど、音符の音高と歌唱音高との差分が小さくなる。
【００２１】
これに対し、表示制御装置によれば、前単位区間に対応する歌唱音符の音高との音高差が時間軸に沿って縮小していれば、現単位区間での音高差よりも音高の差が小さくなるように歌唱推定音高を補正するため、利用者が実際に歌唱した場合の状況に応じて歌唱推定音高を補正できる。
【００２２】
これにより、表示制御装置によれば、歌唱推定音高を、利用者の歌唱実体に近い音高とすることができる。
本発明の他の態様は、取得手順と、特定手順と、算出手順と、推定手順と、表示制御手順とをコンピュータに実行させるプログラムであってもよい。
【００２３】
取得手順では、音声データを取得する。特定手順では、取得した音声データに基づいて、その音声データにおける歌唱音高を単位歌唱区間ごとに特定する。算出手順では、歌唱音符それぞれの音高を表すお手本データに基づいて、特定した歌唱音高と、その歌唱音高の単位歌唱区間に対応する歌唱音符の音高との歌唱音高差を算出する。
【００２４】
そして、推定手順では、後続単位区間に対応する歌唱音符の音高に、算出手順で算出した歌唱音高差を加算することで、歌唱推定音高を推定する。さらに、表示制御手順では、推定された歌唱推定音高を、後続単位区間と対応付けて表示する。
【００２５】
このように、本発明がプログラムとしてなされていれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを表示制御装置として機能させることができる。
【００２６】
なお、ここで言う記録媒体には、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。
【図面の簡単な説明】
【００２７】
【図１】本発明が適用されたカラオケ装置の概略構成を示すブロック図である。
【図２】表示処理の処理手順を示すフローチャートである。
【図３】表示処理における歌唱音高の特定方法の一例を示す説明図である。
【図４】表示処理における表示態様の一例を示す説明図である。
【図５】推定処理の処理手順を示すフローチャートである。
【図６】歌唱音高の補正態様の一例を示す説明図である。
【図７】歌唱音高の補正態様の一例を示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態を図面と共に説明する。
＜カラオケ装置＞
図１に示すカラオケ装置３０は、ユーザが指定した楽曲（以下、対象楽曲と称す）を演奏し、その演奏音と共に歌唱音声を放音する装置である。さらに、カラオケ装置３０は、歌唱音声を表示する。
【００２９】
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。
通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここで言う入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。
【００３０】
楽曲再生部３６は、ＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。
【００３１】
マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、マイク６２を介して入力された音声を取得する。出力部４２には、スピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から入力された音源信号を音に換えて出力する。
【００３２】
映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像を出力する。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。
【００３３】
記憶部３８は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部３８には、少なくとも、ＭＩＤＩ楽曲ＭＤが格納される。
制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ５４は、処理プログラムやデータを一時的に記憶する。ＣＰＵ５６は、ＲＯＭ５２やＲＡＭ５４に記憶された処理プログラムに従って各処理を実行する。
【００３４】
本実施形態のＲＯＭ５２には、ＭＩＤＩ楽曲ＭＤに基づいて、対象楽曲を演奏してスピーカ６０から演奏音を放音すると共に表示部６４に歌詞を表示する再生処理を、制御部５０が実行するための処理プログラムが記憶されている。さらに、本実施形態のＲＯＭ５２には、対象楽曲の歌唱旋律と共に、利用者の歌唱音声を表示する表示処理を、制御部５０が実行するための処理プログラムが記憶されている。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、楽曲データと、歌詞データと、楽曲情報とを有している。
【００３５】
このうち、楽曲データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この楽曲データは、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックを少なくとも有している。
【００３６】
楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音のノートオンタイミングと、当該演奏音のノートオフタイミングとによって規定されている。
【００３７】
この楽譜トラックの中には、歌唱旋律（即ち、メロディライン）を担当する楽器の楽譜を表し、かつ、その歌唱旋律を構成する演奏音（即ち、音符）を時間軸に沿って配置したお手本データが含まれる。なお、歌唱旋律を担当する楽器として、例えば、ビブラフォンが考えられる。
【００３８】
一方、歌詞データは、楽曲の歌詞に関するデータであり、歌詞テキストデータと、歌詞出力データとを備えている。歌詞テキストデータは、楽曲の歌詞を表す。歌詞出力データは、歌詞を構成する文字（以下、「歌詞構成文字」と称す）の出力タイミングである歌詞出力タイミングを、楽曲データの演奏と対応付けるタイミング対応関係が規定されたデータである。また、タイミング対応関係においては、楽曲における歌唱旋律を構成する演奏音（即ち、音符）のうち、少なくとも一部の音符に歌詞構成文字を割り当てることが規定されている。
【００３９】
楽曲情報は、楽曲に関する情報（例えば、楽曲名、アーティスト名など）であり、楽曲を識別する識別情報（即ち、楽曲ＩＤ）を含む。
＜表示処理＞
次に、制御部５０が実行する表示処理について説明する。
【００４０】
この表示処理は、再生処理において対象楽曲の演奏が開始されると、予め規定された時間間隔で繰り返し起動される。
そして、表示処理が起動されると、制御部５０は、図２に示すように、マイク６２を介して入力された音声（即ち、マイク入力）を音声データとして取得する（Ｓ１１０）。続いて、制御部５０は、Ｓ１１０で取得した音声データに基づいて、その音声データにおける歌唱音高（基本周波数）を表すピッチを算出する（Ｓ１２０）。
【００４１】
本実施形態におけるＳ１２０では、制御部５０は、図３に示すように、予め規定された単位時間を表す分析窓を互いに隣接するように音声データに設定する。ここで言う分析窓は、音符の音価よりも短い時間長であり、特許請求の範囲に記載された歌唱単位区間の一例である。なお、図３に示す（１）から（９）は１つ１つの分析窓を意味する。
【００４２】
そして、Ｓ１２０では、制御部５０は、設定された分析窓それぞれの音声データについて周波数解析（例えば、ＤＦＴ）を実施する。さらに、Ｓ１２０では、制御部５０は、自己相関の結果、最も強い周波数成分をピッチとすることで、１つの分析窓に対して１つのピッチを算出している。なお、ピッチの算出手法は、これに限るものではなく、種種の周知の手法が考えられる。
【００４３】
さらに、表示処理では、制御部５０は、Ｓ１２０で算出したピッチを時間軸に沿って記憶する（Ｓ１３０）。このＳ１３０でのピッチの記憶先は、ＲＡＭ５４であってもよいし、記憶部３８であってもよい。
【００４４】
続いて、表示処理では、制御部５０は、比較対象区間におけるピッチが記憶されているか否かを判定する（Ｓ１４０）。ここで言う比較対象区間とは、歌唱旋律を構成し、歌詞が割り当てられた音符の少なくとも一部分に対応する分析窓である。この比較対象区間に含まれる分析窓の数は、「単数」であってもよいし、「複数」であってもよい。
【００４５】
そして、Ｓ１４０での判定の結果、比較対象区間のピッチが記憶されていなければ（Ｓ１４０：ＮＯ）、制御部５０は、詳しくは後述するＳ１７０へと表示処理を移行させる。一方、Ｓ１４０での判定の結果、比較対象区間のピッチが記憶されていれば（Ｓ１４０：ＹＥＳ）、制御部５０は、表示処理をＳ１５０へと移行させる。
【００４６】
そのＳ１５０では、制御部５０は、お手本データに基づいて歌唱音高差を算出する。ここで言う歌唱音高差とは、現時点での分析窓（以下、「現単位区間」と称す）のピッチと、その現単位区間に対応する音符（以下、「歌唱音符」と称す）における音高との差分である。このＳ１５０では、制御部５０は、お手本データによって表された歌唱音符の音高中心から、現単位区間のピッチを減算することで、歌唱音高差を算出する。
【００４７】
続いて、制御部５０は、Ｓ１５０で算出した歌唱音高差を歌唱音符の音高と対応付けて記憶する（Ｓ１６０）。このＳ１６０においては、制御部５０は、歌唱音高差を時間軸に沿って記憶する。なお、歌唱音高差の記憶先は、ＲＡＭ５４であってもよいし、記憶部３８であってもよい。
【００４８】
その後、制御部５０は、表示処理をＳ１７０へと移行させる。
そのＳ１７０では、制御部５０は、推定元区間のピッチが記憶されているか否かを判定する。ここで言う「推定元区間」とは、歌唱旋律を構成し、かつ、歌詞が割り当てられた音符の少なくとも一部分に対応する分析窓のうち、現単位区間よりも、時間軸に沿って過去の設定数分の分析窓までの複数の分析窓である。ここで言う「設定数」は、「単数」であってもよいし、「複数」であってもよい。推定元区間の具体例として、「Ａメロ」、「Ｂメロ」などの１フレーズが考えられる。
【００４９】
なお、本実施形態では、詳しくは後述する推定処理において、推定元区間のピッチ及び歌唱音高差に基づいて、後続単位区間での歌唱音高を推定する。ここで言う「後続単位区間」とは、歌唱旋律を構成し、かつ、歌詞が割り当てられた音符の少なくとも一部分に対応する分析窓のうち、現単位区間よりも後の少なくとも１つの分析窓である。「後続単位区間」の一例として、「Ａメロ」、「Ｂメロ」などの１フレーズが考えられる。
【００５０】
このＳ１７０での判定の結果、推定元区間のピッチが記憶されていなければ（Ｓ１７０：ＮＯ）、即ち、後続単位区間での歌唱音高の推定に用いる音声データのピッチが格納されていなければ、制御部５０は、本表示処理を終了する。
【００５１】
一方、Ｓ１７０での判定の結果、推定元区間のピッチが記憶されていれば（Ｓ１７０：ＹＥＳ）、即ち、後続単位区間での歌唱音高の推定に用いる音声データの区間分のピッチが格納されていれば、制御部５０は、本表示処理をＳ１８０へと移行させる。
【００５２】
そのＳ１８０では、制御部５０は、後続単位区間での歌唱音高を推定する推定処理を実行する。また、以下では、Ｓ１８０で推定された、後続単位区間での歌唱音高を歌唱推定音高と称す。
【００５３】
続いて、制御部５０は、前単位区間に対応する歌唱音符の音高または現単位区間に対応する歌唱音符の音高と対応付けて、Ｓ１２０で算出したピッチを表示する（Ｓ１９０）。さらに、Ｓ１９０では、制御部５０は、後続単位区間に対応する歌唱音符の音高と対応付けて、Ｓ１８０で推定された歌唱推定音高を表示する（Ｓ１９０）。
【００５４】
具体的にＳ１９０では、制御部５０は、歌唱推定音高を映像制御部４６へと出力する。その歌唱推定音高を取得した映像制御部４６は、図４に示すように、現時点までに歌唱したピッチ（即ち、Ｓ１２０で算出したピッチ）及び歌唱推定音高を、歌唱音符と対応付けて表示部６４に表示する。ここで言う歌唱音符には、現単位区間に対応する歌唱音符、時間軸に沿って現単位区間よりも前の少なくとも１つの分析窓である前単位区間に対応する歌唱音符、及び後続単位区間に対応する歌唱音符を含む。さらに、Ｓ１９０では、映像制御部４６は、図４に示すように、各歌唱音符に割り当てられた歌詞を表示部６４に表示してもよい。なお、図４においては、Ｓ１２０で算出したピッチを実線で表し、歌唱推定音高を破線で表している。
【００５５】
制御部５０は、その後、本表示処理を終了する。
＜推定処理＞
次に、表示処理のＳ１８０にて起動される推定処理について説明する。
【００５６】
図５に示す推定処理が起動されると、制御部５０は、推定元区間における歌唱音高差を取得する（Ｓ３１０）。続いて、制御部５０は、後続単位区間に対応する歌唱音符の音高を取得する（Ｓ３２０）。
【００５７】
そして、推定処理では、制御部５０は、その取得した後続単位区間に対応する歌唱音符の音高、及びＳ３１０で取得した歌唱音高差に基づいて、後続単位区間における歌唱推定音高を推定する（Ｓ３３０）。
【００５８】
具体的にＳ３３０では、制御部５０は、後続単位区間に対応する歌唱音符の音高中心に、現単位区間における歌唱音高差を加算することで、後続単位区間に対応する歌唱推定音高を推定する。なお、Ｓ３３０において加算される歌唱音高差は、後続単位区間に対応する歌唱音符の音高と対応付けられた歌唱音高差であってもよいし、前単位区間及び現単位区間における歌唱音高差の代表値であってもよい。ここで言う代表値とは、相加平均の結果であってもよいし、中心値であってもよいし、最頻値であってもよい。
【００５９】
さらに、推定処理では、制御部５０は、Ｓ３３０で推定した歌唱推定音高を補正する（Ｓ３４０）。このＳ３４０では、制御部５０は、Ｓ３３０で推定した歌唱推定音高を、推定元区間での歌唱音高差に基づいて補正する。
【００６０】
具体的にＳ３４０では、制御部５０は、図６に示すように、推定元区間での歌唱音高と、その推定元区間に対応する歌唱音符の音高との音高差が時間軸に沿って拡大していれば、現単位区間における音高差よりも音高の差が大きくなるように、歌唱推定音高を補正する。
【００６１】
また、Ｓ３４０では、制御部５０は、図７に示すように、推定元区間での歌唱音高と、その推定元区間に対応する歌唱音符の音高との音高差が時間軸に沿って縮小していれば、現単位区間における音高差よりも音高の差が小さくなるように、歌唱推定音高を補正する。
【００６２】
さらに、推定処理では、制御部５０は、Ｓ３３０で推定した歌唱推定音高及びＳ３４０で補正した歌唱推定音高を接続する（Ｓ３５０）。すなわち、本実施形態における歌唱推定音高は、１つの分析窓に対して１つの値が求められるため、これらの値を滑らかに接続する処理をＳ３５０にて実行する。このＳ３５０にて実行させる処理としては、最小二乗法やその他の近似法が考えられる。
【００６３】
その後、制御部５０は、本推定処理を終了し、表示処理のＳ１９０へと処理を移行させる。
［実施形態の効果］
以上説明したように、表示処理では、過去の歌唱音高に基づいて、次に歌唱すべき分析窓（即ち、後続単位区間）の歌唱推定音高を推定している。そして、その推定した歌唱推定音高を、後続単位区間に対応する歌唱音符と対応付けて表示している。
【００６４】
したがって、表示処理によれば、後続単位区間が実際に歌唱される前に、その後続単位区間において歌唱される歌唱推定音高を表示できる。よって、カラオケ装置３０によれば、現在歌唱している単位歌唱区間と、歌唱音高が表示される単位歌唱区間とのズレを低減できる。
【００６５】
さらに言えば、カラオケ装置３０によれば、利用者自身の歌唱音高を調整するまでのタイムラグを抑制できる。この結果、カラオケ装置３０によれば、利用者にとって、より違和感が少ない表示を実現することができる。
【００６６】
このようなカラオケ装置３０では、現単位区間よりも時間軸に沿って前の前単位区間に対する歌唱音高と、その前単位区間に対応する歌唱音符の音高との音高差に基づいて補正することができる。
【００６７】
ところで、対象楽曲として、歌詞が割り当てられた複数の音符のうち、特定の音符で音高が急に高くなる音符の並びが繰り返される歌唱旋律を有した対象楽曲を想定する。このような対象楽曲に対して、利用者は、音高が急に高くなる音符を時間軸に沿った最初の段階では歌唱できるものの、時間軸に沿って後の段階については、当該音高が急に高くなる音符を発声しづらくなり、当該音符を歌唱できなくなる可能性がある。このような場合、音高が急に高くなる音符の並びの繰り返しの中で後の段階の音符ほど、歌唱音高差が大きくなる。
【００６８】
これに対し、推定処理では、推定元区間における歌唱音高差が時間軸に沿って拡大していれば、後続単位区間における音高の差が現単位区間での歌唱音高差よりも大きくなるように歌唱推定音高を補正している。このため、推定処理によれば、利用者が実際に歌唱した場合の状況に応じて、後続単位区間における歌唱推定音高を補正できる。
【００６９】
また、対象楽曲として上記のような楽曲を想定した場合、利用者は、音高が急に高くなる音符を、時間軸に沿った最初の段階では歌唱できないものの、時間軸に沿って後の段階については、その音高に対応でき、当該音高を歌唱できる可能性がある。このような場合、音高が急に高くなる音符の並びの繰り返しの中で後の段階の音符ほど、音符の音高と歌唱音高との差分が小さくなる。
【００７０】
これに対し、推定処理によれば、推定元区間における歌唱音高差が時間軸に沿って縮小していれば、後続単位区間における音高の差が現単位区間での音高差よりも小さくなるように歌唱推定音高を補正する。このため、推定処理によれば、利用者が実際に歌唱した場合の状況に応じて、後続単位区間における歌唱推定音高を補正できる。
【００７１】
これらの結果、推定処理によれば、推定される歌唱推定音高を、利用者の歌唱実体に近い音高とすることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００７２】
すなわち、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
【００７３】
また、本発明は、前述した表示制御装置の他、表示を制御するためにコンピュータが実行するプログラム、表示方法等、種々の形態で実現することができる。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【００７４】
上記実施形態の表示処理におけるＳ１１０を実行することで得られる機能が、特許請求の範囲に記載された取得手段の一例であり、Ｓ１２０を実行することで得られる機能が、特許請求の範囲に記載された特定手段の一例である。また、表示処理におけるＳ１５０を実行することで得られる機能が、特許請求の範囲に記載された算出手段の一例であり、表示手段のＳ１８０、即ち、推定処理のＳ３３０を実行することで得られる機能が、特許請求の範囲に記載された推定手段の一例である。
【００７５】
さらに、表示手段のＳ１９０を実行することで得られる機能が、特許請求の範囲に記載された表示制御手段の一例であり、推定処理のＳ３４０を実行することで得られる機能が、特許請求の範囲に記載された補正手段の一例である。
【符号の説明】
【００７６】
３０…カラオケ装置  ３２…通信部  ３４…入力受付部  ３６…楽曲再生部  ３８…記憶部  ４０…音声制御部  ４２…出力部  ４４…マイク入力部  ４６…映像制御部  ５０…制御部  ５２…ＲＯＭ  ５４…ＲＡＭ  ５６…ＣＰＵ  ６０…スピーカ  ６２…マイク  ６４…表示部
【図１】
0006304092.tif 000002
【図２】
0006304092.tif 000003
【図３】
0006304092.tif 000004
【図４】
0006304092.tif 000005
【図５】
0006304092.tif 000006
【図６】
0006304092.tif 000007
【図７】
0006304092.tif 000008