(57)【要約】 【課題】カラオケシステムや楽器練習システムで用いられるコンテンツであって歌唱技法や演奏技法を示すことのできるコンテンツを作成する。【解決手段】オーサリング装置１のＣＰＵ１１は、音声データに対して音声分析処理を行って、ピッチデータ、パワーデータ、スペクトルデータを音声データから算出する。そして、ＣＰＵ１１は、伴奏データと音声データとの対応関係を検出し、この対応関係とピッチデータ、パワーデータ、スペクトルデータに基づいて、その音声データにおいて歌唱技法が用いられている区間を検出し、検出した区間を示す時刻情報とその歌唱技法を示す識別情報とを対応付けた歌唱技法データを生成して記憶部１４に記憶する。歌唱技法データの生成処理を終えると、ＣＰＵ１１は、生成した歌唱技法データ、音声データおよび伴奏データを所定のフォーマットのコンテンツとして出力する。【選択図】図１
2007225916.tif 000002
【特許請求の範囲】
【請求項１】
音声データから音声のピッチを算出するピッチ算出手段と、
前記ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、
前記特定手段により特定された区間を示す技法データを出力する出力手段と
を備えることを特徴とするオーサリング装置。
【請求項２】
前記音声データから当該音声データのスペクトルを算出するスペクトル算出手段と、
前記スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、
前記特定手段により特定された区間を示す技法データを出力する出力手段と
を備えることを特徴とするオーサリング装置。
【請求項３】
音声データから当該音声データのパワーを算出するパワー算出手段と、
前記パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、
前記特定手段により特定された区間を示す技法データを出力する出力手段と
を備えることを特徴とするオーサリング装置。
【請求項４】
前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を特定する
ことを特徴とする請求項１に記載のオーサリング装置。
【請求項５】
前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的に変化する区間を特定する
ことを特徴とする請求項１に記載のオーサリング装置。
【請求項６】
前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を特定する
ことを特徴とする請求項２に記載のオーサリング装置。
【請求項７】
前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定する
ことを特徴とする請求項２に記載のオーサリング装置。
【請求項８】
音声データから音声のピッチを算出するピッチ算出手段を設け、前記特定手段は、前記ピッチ算出手段が算出したピッチが所定の領域にあるときに、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定する
ことを特徴とする請求項２に記載のオーサリング装置。
【請求項９】
伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、
前記特定手段は、前記対応関係検出手段によって検出された対応関係と、前記ピッチ算出手段によって算出されたピッチとに基づいて、前記音声データに含まれる音の開始時刻と当該音に対応する前記伴奏データの音の開始時刻とが異なる区間を特定する
ことを特徴とする請求項１に記載のオーサリング装置。
【請求項１０】
伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、
前記特定手段は、前記パワー算出手段によって算出されたパワーと、前記対応関係検出手段によって検出された対応関係とに基づいて、伴奏データが有音である区間であって音声データのパワーの値が閾値よりも小さい区間を特定する
ことを特徴とする請求項３に記載のオーサリング装置。
【請求項１１】
制御手段を備えるオーサリング装置のオーサリング方法であって、
前記制御手段が、音声データから音声のピッチを算出するステップと、
前記制御手段が、算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定するステップと、
前記制御手段が、特定された区間を示す技法データを出力するステップと
を備えることを特徴とするオーサリング方法。
【請求項１２】
制御手段を備えるオーサリング装置のオーサリング方法であって、
前記制御手段が、音声データから当該音声データのスペクトルを算出するステップと、
前記制御手段が、算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定するステップと、
前記制御手段が、特定された区間を示す技法データを出力するステップと
を備えることを特徴とするオーサリング方法。
【請求項１３】
制御手段を備えるオーサリング装置のオーサリング方法であって、
前記制御手段が、音声データから当該音声データのパワーを算出するステップと、
前記制御手段が、算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定するステップと、
前記制御手段が、特定された区間を示す技法データを出力するステップと
を備えることを特徴とするオーサリング方法。
【請求項１４】
コンピュータに、
音声データから音声のピッチを算出するピッチ算出機能と、
前記ピッチ算出機能により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定機能と、
前記特定機能により特定された区間を示す技法データを出力する出力機能と
を実現させるプログラム。
【請求項１５】
コンピュータに、
音声データから当該音声データのスペクトルを算出するスペクトル算出機能と、
前記スペクトル算出機能により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定機能と、
前記特定機能により特定された区間を示す技法データを出力する出力機能と
を実現させるプログラム。
【請求項１６】
コンピュータに、
音声データから当該音声データのパワーを算出するパワー算出機能と、
前記パワー算出機能により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定機能と、
前記特定機能により特定された区間を示す技法データを出力する出力機能と
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケシステムや楽器練習システムで用いられるコンテンツを作成するための技術に関する。
【背景技術】
【０００２】
音楽にあわせて歌詞を表示するカラオケ装置においては、音楽の発音タイミングと歌詞の表示タイミングとを同期させるための方法が種々提案されている。例えば、特許文献１に記載の歌詞表示システムは、歌詞データを複数のブロックに分割し、歌い始めを示すタイミング情報と歌い終わりを示すタイミング情報とをブロック毎に付帯させて、このタイミング情報に応じて歌詞を表示するようになっている。また、特許文献２には、楽曲の音声データから歌音声データを抽出して文字データに変換し、歌音声データと文字データとを照合させて、文字データに表示時間情報を割り付ける方法が提案されている。特許文献１や特許文献２に記載の方法によれば、音楽の発音タイミングと同期して歌詞が表示されるから、利用者は歌唱のタイミングを把握することができる。
【特許文献１】特開平１１−３８９８１号公報
【特許文献２】特開２００１−１７５２６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、歌唱者が楽譜に沿って機械的に歌を歌うことはほとんどなく、歌唱者の多くは、歌い始めや歌い終わりを意図的にずらしたり、ビブラートやこぶし等の歌唱技法を用いたりして歌のなかに感情の盛り上がり等を表現する。カラオケ装置の利用者のなかには、このような意図的なタイミングのずれや歌唱技法を真似て歌いたいという要望をもつものもいる。これは楽器演奏についても同様である。
本発明は上述した背景の下になされたものであり、カラオケシステムや楽器練習システムで用いられるコンテンツであって、歌唱技法や演奏技法を示すことのできるコンテンツを作成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明は、音声データから音声のピッチを算出するピッチ算出手段と、前記ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、前記特定手段により特定された区間を示す技法データを出力する出力手段とを備えることを特徴とするオーサリング装置を提供する。
また、本発明は、前記音声データから当該音声データのスペクトルを算出するスペクトル算出手段と、前記スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、前記特定手段により特定された区間を示す技法データを出力する出力手段とを備えることを特徴とするオーサリング装置を提供する。
また、本発明は、音声データから当該音声データのパワーを算出するパワー算出手段と、前記パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、前記特定手段により特定された区間を示す技法データを出力する出力手段とを備えることを特徴とするオーサリング装置を提供する。
【０００５】
本発明の好ましい態様においては、前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を特定することを特徴とする。
本発明の別の好ましい態様においては、前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的に変化する区間を特定することを特徴とする。
また、本発明の別の好ましい態様においては、前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を特定することを特徴とする。
また、本発明の別の好ましい態様においては、前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定することを特徴とする。
また、本発明の別の好ましい態様においては、音声データから音声のピッチを算出するピッチ算出手段を設け、前記特定手段は、前記ピッチ算出手段が算出したピッチが所定の領域にあるときに、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定することを特徴とする。
また、本発明の別の好ましい態様においては、伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、前記特定手段は、前記対応関係検出手段によって検出された対応関係と、前記ピッチ算出手段によって算出されたピッチとに基づいて、前記音声データに含まれる音の開始時刻と当該音に対応する前記伴奏データの音の開始時刻とが異なる区間を特定することを特徴とする。
また、本発明の別の好ましい態様においては、伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、前記特定手段は、前記パワー算出手段によって算出されたパワーと、前記対応関係検出手段によって検出された対応関係とに基づいて、伴奏データが有音である区間であって音声データのパワーの値が閾値よりも小さい区間を特定することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、カラオケシステムや楽器練習システムで用いられるコンテンツであって、用いられている歌唱技法や演奏技法を示すことのできるコンテンツを作成することができる。
【発明を実施するための最良の形態】
【０００７】
＜Ａ：構成＞
図１は、この発明の一実施形態であるオーサリング装置１のハードウェア構成を例示したブロック図である。オーサリング装置１は、例えばパーソナルコンピュータ装置等の装置である。図において、１１はＣＰＵ（Central Processing Unit）である。１２はＲＯＭ（Read Only Memory）である。１３はＲＡＭ（Random Access Memory）である。１４は例えばハードディスクなどの大容量記憶装置で構成された記憶部である。ＣＰＵ１１は、ＲＯＭ１２または記憶部１４に記憶されているコンピュータプログラムを読み出して実行することにより、バス１５を介してオーサリング装置１の各部を制御する。
１６は例えば液晶ディスプレイなどで構成される表示部であり、ＣＰＵ１１の制御の下、文字列や各種メッセージ、オーサリング装置１を操作するためのメニュー画面等を表示する。１７はキーボードやマウス等の入力装置を備える操作部であり、キーの押下やマウスの操作等に応じて操作内容に対応した信号をＣＰＵ１１へ出力する。
１８は、ＣＰＵ１１から供給されるデジタルデータをアナログデータに変換するＤ／Ａ変換部である。Ｄ／Ａ変換部１８によって変換されたデータはスピーカ１９に供給され、スピーカ１９は供給されるデータに応じた音声を放音する。
【０００８】
オーサリング装置１の記憶部１４は、図１に示すように、伴奏データ記憶領域１４ａと、音声データ記憶領域１４ｂと、歌唱技法データ記憶領域１４ｃと、歌詞データ記憶領域１４ｄとを有している。伴奏データ記憶領域１４ａには、例えばＭＩＤＩ（Musical Instruments Digital Interface）形式の伴奏データであってその楽曲の伴奏を行う各種楽器の音程（ピッチ）を示す情報が楽曲の進行に伴って記された伴奏データが記憶される。次に、音声データ記憶領域１４ｂには、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式などの音声データであって伴奏データの表す伴奏に沿って歌唱者が歌った歌を表す音声データが記憶されている。また、歌詞データ記憶領域１４ｄには、音声データと対応する歌詞を示す歌詞データが記憶される。なお、この歌詞データは、作業者がオーサリング装置１の操作部１７を操作して入力するようにすればよい。
【０００９】
記憶部１４の歌唱技法データ記憶領域１４ｃには、音声データ記憶領域１４ｂに記憶された音声データの示す音声において用いられている歌唱技法を示すデータ（以下、「歌唱技法データ」）が記憶される。
図２は、歌唱技法データの内容の一例を示す図である。図示のように、歌唱技法データは、「時刻情報」と「識別情報」との項目が互いに関連付けられている。これらの項目のうち、「時刻情報」の項目には、音声データにおいて歌唱技法が用いられた区間を示す時刻情報が記憶される。なお、この時刻情報が示す区間は、開示時刻情報と終了時刻情報とによって表される時間幅を有した区間であってもよく、またはある１点の時刻を示すものであってもよい。
「識別情報」の項目には、予め設定された複数の歌唱技法を識別する情報が記憶される。この「識別情報」は、例えば「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」などの歌唱技法を識別する情報である。「ビブラート」は、音の高さをほんのわずかに連続的に上下させ、震えるような音色を出す技法を示す。「しゃくり」は、目的の音より低い音から発音し、音程を滑らかに目的の音に近づけていく技法を示す。「こぶし」は、装飾的に加えるうねるような節回しを行う技法を示す。「ファルセット」は、いわゆる「裏声」で歌う技法を示す。「つっこみ」は、歌い出しを本来のタイミングよりも早いタイミングにする技法を示す。「ため」は、歌い出しを本来のタイミングよりも遅いタイミングにする技法を示す。「息継ぎ」は、歌唱者が息継ぎをするタイミングを示すものである。
【００１０】
次に、オーサリング装置１のＣＰＵ１１がＲＯＭ１２または記憶部１４に記憶されたコンピュータプログラムを実行することによって実現するコンテンツ生成機能について説明する。
図３は、オーサリング装置１のコンテンツ生成機能に係るソフトウェア構成を示す図である。なお、図において、音声データ分析部１１１、照合検出部１１２および歌唱技法データ作成部１１３は、ＣＰＵ１１が記憶部１４に記憶されたコンピュータプログラムを読み出して実行することによって実現される。なお、図中の矢印は、データの流れを概略的に示したものである。
図において、音声データ分析部１１１は、ＲＯＭ１２または記憶部１４に記憶された音声データを読出して、読み出した音声データを音声分析し、時刻に対応したピッチ、パワー（音量）、スペクトルを音声データから算出し、算出したピッチ、パワー、スペクトルのそれぞれを示すピッチデータ、パワーデータ、スペクトルデータを生成する。
照合検出部１１２は、音声データと記憶部１４の伴奏データ記憶領域１４ａに記憶された伴奏データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する処理を行う。
歌唱技法データ作成部１１３は、音声データ分析部１１１によって算出されたピッチ、パワーおよびスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の歌唱技法が用いられている区間として特定し、特定した区間を示す歌唱技法データを記憶部１４の歌唱技法データ記憶領域１４ｃに記憶する。
【００１１】
＜Ｂ：動作＞
次に、この実施形態の動作について以下に説明する。まず、オーサリング装置１のＣＰＵ１１は、音声データを記憶部１４から読み出し、読み出した音声データに対して音声分析処理を行い、時刻に対応したピッチ、パワー（音量）、スペクトルを音声データから算出し、算出したピッチ、パワー、スペクトルのそれぞれを示すピッチデータ、パワーデータ、スペクトルデータを生成する。続けて、ＣＰＵ１１は、音声データと伴奏データとを所定のフレーム単位で解析し、音声データと伴奏データとの時間的な対応関係を検出する。そして、ＣＰＵ１１は、音声データから算出されたピッチ、パワーおよびスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の歌唱技法が用いられている区間として特定する。そして、ＣＰＵ１１は、特定した区間の時刻情報とその歌唱技法を示す識別情報とを関連付けて、記憶部１４の歌唱技法データ記憶領域１４ｃに記憶することによって出力する。
【００１２】
ここで、各歌唱技法が用いられている区間の特定処理について以下に説明する。本実施形態においては、ＣＰＵ１１は、「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」および「息継ぎ」の各歌唱技法が用いられている区間を特定（検出）する。これらのうち、「ビブラート」および「しゃくり」は音声データから算出されたピッチに基づいて検出する。また、「こぶし」および「ファルセット」は音声データから算出されたスペクトルに基づいて検出する。また、「ため」および「つっこみ」は、音声データから算出されたピッチと伴奏データとに基づいて検出する。また、「息継ぎ」は、音声データから算出されたパワーと伴奏データとに基づいて検出する。
【００１３】
ＣＰＵ１１は、音声データと伴奏データとの対応関係と、音声データから算出されたピッチとに基づいて、音声データに含まれる音の開始時刻と当該音に対応する伴奏データの音の開始時刻とが異なる区間を特定する。ここで、ＣＰＵ１１は、音声データのピッチの変化タイミングが伴奏データのピッチの変化タイミングよりも早く現れている区間、すなわち音声データに含まれる音の開始時刻が当該音に対応する伴奏データの音の開始時刻よりも早い区間については、この区間を「つっこみ」の歌唱技法が用いられている区間であると特定する。ＣＰＵ１１は、特定した区間の時刻情報と「つっこみ」を示す識別情報とを対応付けて記憶部１４の歌唱技法データ記憶領域１４ｃに記憶する。
逆に、ＣＰＵ１１は、音声データと伴奏データとの対応関係と、音声データから算出されたピッチとに基づいて、音声データのピッチの変化タイミングが伴奏データのピッチの変化タイミングよりも遅れて現れている区間、すなわち音声データに含まれる音の開始時刻が当該音に対応する伴奏データの音の開始時刻よりも遅い区間を検出し、検出した区間を「ため」の歌唱技法が用いられている区間であると特定する。
【００１４】
また、ＣＰＵ１１は、音声データから算出したピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を検出し、検出した区間を「ビブラート」の歌唱技法が用いられている区間であると特定する。
【００１５】
また、ＣＰＵ１１は、音声データから算出したピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的にピッチが変化する区間を検出し、検出した区間を「しゃくり」の歌唱技法が用いられている区間であると特定する。なお、この処理は、伴奏データとの対応関係に基づいて行うようにしてもよい。すなわち、ＣＰＵ１１は、音声データと伴奏データとの対応関係に基づいて、音声データのピッチが、低いピッチから連続的に伴奏データのピッチに近づいている区間を検出すればよい。
【００１６】
また、ＣＰＵ１１は、音声データと伴奏データとの対応関係と、音声データから算出されたパワーとに基づいて、伴奏データが有音である区間であって音声データのパワー値が所定の閾値よりも小さい区間を検出し、検出した箇所を「息継ぎ」の区間であると特定する。
【００１７】
また、ＣＰＵ１１は、音声データから算出されたスペクトルの時間的な変化パターンを解析して、スペクトル特性がその予め決められた変化状態に急激に遷移している区間を検出し、検出した区間を「ファルセット」の歌唱技法が用いられている区間であると特定する。ここで、予め決められた変化状態とは、スペクトル特性の高調波成分が極端に少なくなる状態である。例えば、図５に示すように、地声の場合は沢山の高調波成分が含まれるが（同図（ａ）参照）、ファルセットになると高調波成分の大きさが極端に小さくなる（同図（ｂ）参照）。なお、この場合、ＣＰＵ１１は、ピッチが大幅に上方に変化したかどうかも参照してもよい。ファルセットは地声と同一のピッチを発生する場合でも用いられることもあるが、一般には地声では発声できない高音を発声するときに使われる技法だからである。したがって、音声データのピッチが所定音高以上の場合に限って「ファルセット」の検出をするように構成してもよい。また、男声と女声とでは一般にファルセットを用いる音高の領域が異なるので、音声データの音域や、音声データから検出されるフォルマントによって性別検出を行い、この結果を踏まえてファルセット検出の音高領域を設定してもよい。
また、ＣＰＵ１１は、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を検出し、検出した部分を「こぶし」の歌唱技法が用いられている部分であると特定する。「こぶし」の場合は、短い区間において声色や発声方法を変えて唸るような味わいを付加する歌唱技法であるため、この技法が用いられている区間においてはスペクトル特性が多様に変化するからである。
以上のようにして、ＣＰＵ１１は、音声データから各歌唱技法が用いられている区間を検出し、検出した区間を示す時刻情報とその歌唱技法を示す識別情報とを対応付けて記憶部１４の歌唱技法データ記憶領域１４ｃに記憶する。この処理によって、生成された歌唱技法データが出力されることになる。
【００１８】
オーサリング装置１のＣＰＵ１１は、歌唱技法データの生成処理を終えると、伴奏データ記憶領域１４ａに記憶された伴奏データ、音声データ記憶領域１４ｂに記憶された音声データ、歌唱技法データ記憶領域１４ｃに記憶された歌唱技法データ、および歌詞データ記憶領域１４ｄに記憶された歌詞データを併せて、図４に示すような所定のフォーマットのコンテンツを生成し、記憶部１４に記憶する。なお、このとき、記憶部１４に記憶するに代えて、通信ネットワーク等を介して他の装置に生成したコンテンツを送信するようにしてもよい。要するに、ＣＰＵ１１が、音声データ、伴奏データおよび歌詞データの少なくともいずれか一つに歌唱技法データを付与してコンテンツとして出力するようにすればよい。
【００１９】
このように、本実施形態によれば、歌唱者の音声を示す音声データから、その歌唱者が用いた歌唱技法を自動的に抽出することができる。また、抽出した歌唱技法を示す歌唱技法データを含むコンテンツを作成することができる。このコンテンツを利用すれば、例えばカラオケ機器等において、歌詞表示と共に歌唱技法のポイントを表示させることができ、これにより、歌唱者が用いている歌唱技法をカラオケ機器の利用者に報知することができる。また、この歌唱技法データに基づいて、歌唱者の歌唱能力を評価するようにしてもよい。
【００２０】
ここで、本実施形態で生成するコンテンツを用いたカラオケオーサリングツールの具体例について以下に説明する。
図６は、本実施形態で生成するコンテンツを用いたカラオケオーサリングツール（カラオケツール）において表示される画面の一例を示す図である。図６に示す画面においては、図４に具体例として例示したコンテンツが用いられている。カラオケオーサリングツールの制御部は、供給されるコンテンツに基づいて図６に示す画面を表示させる。具体的には、カラオケオーサリングツールの制御部は、コンテンツに含まれる歌詞データに基づいて歌詞Ａ１を表示させ、また、コンテンツに含まれる音声データに基づいて、歌詞Ａ１に対応する音声データのピッチの時間的変化を示すグラフＡ２を表示させる。また、制御部は、コンテンツに含まれる伴奏データに基づいて、当該伴奏データのピッチの時間的変化を示すグラフＡ３を表示させる。また、制御部は、楽曲の進行に対応した時間軸Ａ４を表示するとともに、各歌唱技法毎のトラックＡ５１〜Ａ５５を特定（検出）し、各トラックにおいては、特定された歌唱技法区間に基づいて、そのトラックと対応する歌唱技法が用いられている区間に双方向矢印を表示させる。例えば、「ビブラート」のトラックＡ５４に表示させる双方向矢印Ａ５４１は、歌詞の「ち」と対応する区間に表示され、この区間で「ビブラート」技法が用いられていることを示している。
【００２１】
このように、歌唱者が用いた歌唱技法が画面に表示されるから、システムの利用者つまりカラオケコンテンツ制作者は、その楽曲で用いられている歌唱技法（ビブラート、ため等）を視覚的に把握することができる。このようなコンテンツを利用したカラオケシステムを用いれば、利用者は、お手本となる歌唱者が用いている歌唱技法を視覚的に把握することができるから、利用者は、お手本の歌唱技法を真似て歌いやすくなる。
なお、本実施形態に係るコンテンツを用いるシステムは、上述したカラオケオーサリングツールに限定されるものではなく、カラオケシステム（例えば楽器カラオケシステム）や歌唱練習システム等においても好適に用いることが可能である。
【００２２】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（１）上述した実施形態においては、歌唱者の音声を表す音声データから歌唱技法が用いられている区間を検出して歌唱技法データを生成するようにしたが、本発明における音声データは、歌唱者の音声を表す音声データに限定されるものではなく、楽器の演奏を表す音声データにも適用することができる。この場合も、オーサリング装置のＣＰＵが、楽器の演奏データから演奏技法（例えば、ビブラート、息継ぎ、ため等）が用いられている区間を、上述した実施形態と同様の方法で検出して、検出した区間を示す演奏技法データを生成するようにすればよい。すなわち、音声データは、人の歌声を表す音声データであってもよく、楽器の演奏音を表す音声データであってもよい。また、技法データは、歌唱における技法を表す技法データであってもよく、または、楽器の演奏技法を表す技法データであってもよい。
【００２３】
（２）上述した実施形態においては、音声データと対応する歌詞データを、作業者が操作部を用いて入力するようにしたが、これに代えて、オーサリング装置のＣＰＵが、音声データに対して音声認識処理を施して、音声データから歌詞データを自動的に生成するようにしてもよい。この場合は、ＣＰＵが、伴奏データと、音声データから抽出したピッチデータとを照合させて、どの歌詞がどのタイミングで歌われているかを自動的に割り付けるようにすればよい。
【００２４】
（３）上述した実施形態においては、オーサリング装置１がコンテンツの生成をすべて自動的に行うようにしたが、これに代えて、作業者が、操作部１７を操作してデータの入力や変更を行うようにしてもよい。具体的には、例えば、歌唱技法データ生成処理において、ＣＰＵ１１が、歌唱技法が用いられている区間を検出すると、その区間を示すグラフ等を表示部に表示させるようにしてもよい。この場合は、作業者は、表示部に表示された内容を確認することによって、歌唱技法が用いられている区間を確認できる。このとき、誤検出等を作業者が発見した場合には、作業者が操作部１７を操作してその区間の削除や修正を行うことも可能である。また、自動的に読み取れなかった区間を、作業者が操作部１７を操作して手入力で入力するようにしてもよい。
このようにコンテンツのデータの入力や変更を可能とすることによって、コンテンツのデータの精度を向上させることができる。
【００２５】
（４）上述した実施形態においては、記憶部１４の音声データ記憶領域１４ｂに記憶される音声データはＷＡＶＥ形式やＭＰ３形式のデータとしたが、データの形式はこれに限定されるものではなく、音声を示すデータであればどのような形式のデータであってもよい。
また、上述した実施形態においては、音声データを記憶部１４に記憶させて、オーサリング装置１のＣＰＵ１１が記憶部１４から音声データを読み出すようにしたが、これに代えて、通信ネットワークを介して音声データを受信するようにしてもよい。
【００２６】
（５）上述した実施形態においては、歌唱技法として「ビブラート」や「ため」等を検出するようにしたが、検出する歌唱技法（または演奏技法）は上述した実施形態において示したものに限定されるものではなく、例えば、スタッカートやクレッシェンド（デクレッシェンド）等であってもよい。具体的には、音声データから検出したパワーがある短い一定期間の間だけ強く現れる区間をスタッカートとして検出するようにしてもよい。また、パワーデータ値が連続的に徐々に大きくなる（小さくなる）区間をクレッシェンド（デクレッシェンド）として検出するようにしてもよい。要するに、音声データから算出されたピッチやスペクトル、パワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定すればよい。
【００２７】
（６）上述した実施形態におけるオーサリング装置１のＣＰＵ１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フロッピー（登録商標）ディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でオーサリング装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００２８】
【図１】オーサリング装置のハードウェア構成の一例を示すブロック図である。
【図２】歌唱技法データの内容の一例を示す図である。
【図３】オーサリング装置のソフトウェア構造の一例を示すブロック図である。
【図４】コンテンツデータの内容の一例を示す図である。
【図５】ファルセットの検出処理を説明するための図である。
【図６】カラオケシステムにおいて表示される画面の一例を示す図である。
【符号の説明】
【００２９】
１…オーサリング装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５…バス、１６…表示部、１７…操作部、１８…Ｄ／Ａ変換部、１９…スピーカ、１１１…音声データ分析部、１１２…照合検出部、１１３…歌唱技法データ作成部。
【図１】
2007225916.tif 000003
【図２】
2007225916.tif 000004
【図３】
2007225916.tif 000005
【図４】
2007225916.tif 000006
【図５】
2007225916.tif 000007
【図６】
2007225916.tif 000008