(57)【要約】【課題】少ない労力で、音節ごとに区切った音声データを作成するコンテンツオーサリングシステムを提供すること。【解決手段】ガイドメロディを構成する音に対して音長に応じたセグメントを設定し、形態素解析によってかな文字化された歌詞を各セグメントに対応させていく。これにより、ガイドメロディと歌詞の読み（かな文字）の対応付けができ、各かな文字の発音開始時刻をガイドメロディの発音開始時刻としたデータを生成することができる。このデータとガイドボーカルの音声を比較することで、ガイドボーカルの各音節の発音開始時間を歌詞に対応させて求めることができる。【選択図】図５
2008020621.tif 000002
【特許請求の範囲】
【請求項１】
楽曲のメロディを構成する各音の発音タイミングを特定するデータを含むメロディ発音タイミングデータと、前記楽曲における歌詞を示すテキストデータと、前記歌詞の各々の文字に対して、ワイプ処理を開始するためのワイプ開始タイミングを示すワイプ開始タイミングデータとを有する楽曲データを記憶する記憶手段と、
前記記憶手段内のテキストデータとワイプ開始タイミングデータとを用いて、歌詞を構成する各文字の発音開始タイミングを第１の発音開始タイミングとして求める歌詞発音開始タイミング特定手段と、
前記歌詞発音開始タイミング特定手段が特定した各文字の発音開始タイミングと前記記憶手段内のメロディ発音タイミングデータとを比較して、前記各文字と前記メロディを構成する各音の対応関係を求め、求められた対応関係に基づいて前記各文字の発音タイミングを対応する各音の発音タイミングに置き換えて第２の発音開始タイミングとし、前記各文字と前記第２の発音タイミングの対を歌詞発音タイミングデータとして生成する修正発音タイミング生成手段と
を具備することを特徴とするコンテンツオーサリングシステム。
【請求項２】
音声の波形データを記憶した音声データ記憶手段と、
表示手段と、
前記音声データ記憶手段内の波形データを前記表示手段に時間軸に沿って表示させるとともに、前記発音タイミング修正手段が生成した歌詞発音タイミングデータ内の第２の発音開始タイミングを前記各文字と共に前記時間軸上に表示する表示制御手段と、
前記表示手段が表示している前記第２の発音開始タイミングのいずれかが特定された状態で発音開始指示が行われると、当該第２の発音開始タイミングから前記波形データの再生を行って放音する再生手段と、
前記表示手段に表示されている前記第２の発音開始タイミングの表示位置の修正を指示する修正指示手段と、
前記修正指示手段によって修正が指示された前記第２の発音開始タイミングについては、修正された表示位置に対応する時刻に変更する時刻変更手段と
を具備することを特徴とする請求項１記載のコンテンツオーサリングシステム。
【請求項３】
前記再生手段は前記第２の発音開始タイミングを時間軸方向に順次特定しながら、発音開始指示を行うことを特徴とする請求項２記載のコンテンツオーサリングシステム。
【請求項４】
前記音声データ記憶手段内の音声データに対し、前記第２の発音開始タイミングで区切られる各区間の終了部分に特定の音データと前記音データの前後に設けられる無音区間を挿入する加工手段を有し、
前記再生手段は前記加工手段によって加工された音声データを再生することを特徴
とする請求項３記載のコンテンツオーサリングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌詞の発音の区切りを示すタイミングを検出する技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、楽曲の自動伴奏に伴ってモニタ画面に歌詞を表示するとともに、曲の進行に対応して歌詞の色を変えるワイプ処理が行われている。（例えば、特許文献１）
【０００３】
また、カラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがある。一般にこの種のカラオケ装置においては、カラオケ演奏時に、カラオケの楽曲データに含まれるガイドメロディのデータと歌唱者の音声をデジタル化した歌唱音声データとの比較結果に基づいて歌唱の評価を行う。その評価手法のひとつとして、１楽曲を小節単位等の複数部分に区切って比較を行うものがある。（例えば、特許文献２）
【特許文献１】特開平１０−１２４０７５号公報
【特許文献２】特開２００４−１０９２６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような採点機能を備えたカラオケ装置を応用し、歌唱力の指導を行うことも考えられている。その歌唱力を指導する方法として、予め記憶された見本となる歌唱音声と利用者の歌唱音声とを比較して、その比較結果から指導内容を提示する方法がある。
【０００５】
しかしながら、見本となる歌唱（以下、ガイドボーカルという）は、ガイドメロディのように音符の通りに歌唱されている理由ではなく、曲に味わいを持たせるため、音符の発音タイミングを少しずらして歌っていたり、音符の音高に対して少し低い音程から歌い上げるなどの技巧を組み合わせたりして歌唱している。この場合に、利用者の歌声についてガイドメロディを基準に評価してしまうと、ガイドボーカルに近い上手な歌声でも低く評価され、不適切な指導内容を提示してしまうことになる。
【０００６】
一方、利用者の歌声とガイドボーカルとを比較する場合、ガイドボーカルが歌詞のどの部分を歌っているかを正確に認識していないと、それに対応する箇所の利用者の歌声と比較することはできない。しかしながら、ガイドボーカルのデータは見本となる歌手の歌声を記録した音声データであるから、歌詞との対応関係を示すデータは含まれていない。そこで、ガイドボーカルの各音節について、その発音時刻を検出してデータとして添付すればよいが、このような編集作業には、編集者が耳で発音を確認しながら、音声データの音節の区切りを見つけなければならず、非常に多くの労力がかかってしまう。
【０００７】
本発明は、上述の事情を鑑みてなされたものであり、一般的なカラオケ装置に含まれるカラオケコンテンツを利用して、ガイドボーカルの音節と歌詞との対応付けを行い易くするデータを作成するコンテンツオーサリングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本発明は、楽曲のメロディを構成する各音の発音タイミングを特定するデータを含むメロディ発音タイミングデータと、前記楽曲における歌詞を示すテキストデータと、前記歌詞の各々の文字に対して、ワイプ処理を開始するためのワイプ開始タイミングを示すワイプ開始タイミングデータとを有する楽曲データを記憶する記憶手段と、前記記憶手段内のテキストデータとワイプ開始タイミングデータとを用いて、歌詞を構成する各文字の発音開始タイミングを第１の発音開始タイミングとして求める歌詞発音開始タイミング特定手段と、前記歌詞発音開始タイミング特定手段が特定した各文字の発音開始タイミングと前記記憶手段内のメロディ発音タイミングデータとを比較して、前記各文字と前記メロディを構成する各音の対応関係を求め、求められた対応関係に基づいて前記各文字の発音タイミングを対応する各音の発音タイミングに置き換えて第２の発音開始タイミングとし、前記各文字と前記第２の発音タイミングの対を歌詞発音タイミングデータとして生成する修正発音タイミング生成手段とを具備することを特徴とするコンテンツオーサリングシステムを提供する。
【０００９】
別の好ましい態様において、音声の波形データを記憶した音声データ記憶手段と、表示手段と、前記音声データ記憶手段内の波形データを前記表示手段に時間軸に沿って表示させるとともに、前記発音タイミング修正手段が生成した歌詞発音タイミングデータ内の第２の発音開始タイミングを前記各文字と共に前記時間軸上に表示する表示制御手段と、前記表示手段が表示している前記第２の発音開始タイミングのいずれかが特定された状態で発音開始指示が行われると、当該第２の発音開始タイミングから前記波形データの再生を行って放音する再生手段と、前記表示手段に表示されている前記第２の発音開始タイミングの表示位置の修正を指示する修正指示手段と、前記修正指示手段によって修正が指示された前記第２の発音開始タイミングについては、修正された表示位置に対応する時刻に変更する時刻変更手段とを具備してもよい。
【００１０】
また、別の好ましい態様において、前記再生手段は前記第２の発音開始タイミングを時間軸方向に順次特定しながら、発音開始指示を行ってもよい。また、前記音声データ記憶手段内の音声データに対し、前記第２の発音開始タイミングで区切られる各区間の終了部分に特定の音データと前記音データの前後に設けられる無音区間を挿入する加工手段を有し、前記再生手段は前記加工手段によって加工された音声データを再生するようにしてもよい。
【発明の効果】
【００１１】
本発明によれば、ガイドメロディを構成する音ごとに区切ることによりセグメント化し、各セグメントに対して、形態素解析によってかな文字化された歌詞を対応させていくことで、ガイドメロディと歌詞の読みを対応させることができる。また、ガイドボーカルの音声をそのセグメントごとに区切ることで音節ごとに区切ることができる。これにより、そのセグメントに対応するかな文字から、各音節と歌詞の読みを対応させることもできる。さらに、当該セグメントと対応する歌詞の読みとガイドボーカルの音声を比較することで、各セグメントの位置および歌詞の読みとの対応について、正確性の検証やずれがあった場合の修正を簡易に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態について説明する。
【００１３】
＜第１実施形態＞
図１は、第１実施形態に係るコンテンツオーサリングシステム１のハードウエアの構成を示すブロック図である。図１に示すように、ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２または記憶部１４に記憶されているコンピュータプログラムを読み出してＲＡＭ（Random Access Memory）１３にロードし、これを実行することにより、コンピュータ装置１の各部を制御する。記憶部１４は、例えばハードディスクなどの大容量の記憶手段であり、楽曲データを記憶する楽曲データ記憶領域２を有している。表示部１５は、例えば液晶ディスプレイなどであり、ＣＰＵ１１の制御の下で、コンテンツオーサリングシステムを操作するために必要な各種画面を表示する。操作部１６は、各種のキーを備えており、押下されたキーに対応した信号をＣＰＵ１１へ出力する。音声出力部１７は、例えばスピーカなどであり、ＣＰＵ１１の制御の下で、記憶部１４に保管されている楽曲データを音声として出力する。
【００１４】
楽曲データ記憶領域２には、カラオケ曲の楽曲データが複数記憶されており、各楽曲データは、ガイドボーカルトラック、ガイドメロディトラック、ワイプデータトラック、伴奏データトラックを有している。
【００１５】
ガイドメロディトラックは、楽曲のボーカルパートのメロディを示すデータであり、各ノートについてのノートオン（発音の指令）、ベロシティ（音の強さ）、ノートオフ（消音の指令）などのイベントデータと次のイベントデータを読み込んで実行するまでの時間を示すデルタタイムデータを有している。イベントデータが実行されるタイミングはデルタタイムデータをカウントすることによって知ることができるので、各音の発音タイミングおよび消音タイミングはガイドメロディトラックのデータを読み取ることによって事前に検出することができる。ここで、図３（ａ）は、ガイドメロディトラックを構成する音ごとに計算した発音タイミングと消音タイミングの一例を示す図である。図示のように、メロディは１音ずつａ、ｂ、ｃ、ｄと順に配置されている。なお、横軸は時間である。そして、最初の音の発音タイミングと消音タイミングは、ｇｔ１ｓ、ｇｔ１ｅ、次の音は、それぞれｇｔ２ｓ、ｇｔ２ｅとなっている。
【００１６】
伴奏データトラックは、各伴奏楽器の複数のトラックから構成されており、各楽器のトラックは上述したガイドメロディトラックと同様のデータ構造を有している。なお、本実施形態の場合、ＭＩＤＩ（Musical Instruments Digital Interface：登録商標）形式のデータが記憶されている。
【００１７】
ワイプデータトラックは、楽曲の歌詞を示しているテキストデータ、歌詞の改行を示す改行データ、および歌詞の一文字毎にワイプ開始タイミングを示すワイプ開始タイミングデータを有している。そして、カラオケ装置によって再生され、画面に歌詞テロップが表示されているときは、歌詞の１文字は対応するワイプ開始タイミングになると当該文字の左側から色を変化させ始めて、次の文字ワイプ開始タイミングに達すると、その文字全体について色の変化が完了するよう色替え制御される。この場合、ワイプ開始タイミングデータは、改行データにも設けられており、一行の最後に表示される文字については、当該文字のワイプ開始タイミングデータと改行データのワイプ開始タイミングデータの時間間隔が、当該文字の色替え時間となる。各文字の色が変化するスピードは、文字の横方向のドット数と色替え時間（当該文字のワイプ開始タイミングと次の文字のワイプ開始タイミングの時間差）から決定される。
【００１８】
図４（ａ）は、ワイプデータトラックを説明する図であり、横軸は時間の進行を示している。各文字は色替え時間内で色が変化する。そして、この図においては、最初の文字のワイプ開始タイミングはｗｔ１、次の文字は、ｗｔ２となり、以下順次ｗｔ３…となっている。ただし、歌唱者が歌いやすいように、ワイプ開始タイミングは、実際に歌うタイミングよりも少し早めに設定されている。この早められている時間を、以下においては先行時間ｔｆという。
【００１９】
次に、ＣＰＵ１１が記憶部１４に記憶されたコンピュータプログラムを実行することによって実現するコンテンツオーサリングシステム１の機能について説明する。図２は、本発明の第１実施形態に係るコンテンツオーサリングシステム１のソフトウエアの構成を示すブロック図である。図において、区切り抽出部３、形態素解析部４、対応付け処理部５は、ＣＰＵ１１が記憶部１４に記憶されたコンピュータプログラムを読み出して実行することによって実現される。なお、楽曲データ記憶領域２は、上述したように、カラオケ曲の楽曲データを有している。
【００２０】
区切り抽出部３は、楽曲データ記憶領域２からガイドメロディトラックを読み出し、発音タイミングと消音タイミングのデータを用いて、メロディを構成する音毎に区間（以下セグメントという）を設定して曲全体をセグメントに区切るセグメント化処理を行う機能を有している。この際、ある音の発音タイミングと消音タイミングの差、すなわち音の長さが、あらかじめ設定した装飾音指定時間より短い場合は、装飾音として扱い、装飾音セグメントとして設定する。ガイドメロディトラックは本来的には歌詞に対応したメロディを示す音によって構成されるが、より歌い易くするために、音と音の間に装飾音が挿入されることがある。この場合の装飾音は、歌詞の音と音の間に短く挿入されるため、装飾音を構成する各音の長さは短い。そこで、予め設定した装飾音設定時間より短い音は装飾音であると判定するようにしている。また、ある音の消音タイミングとその次の音の発音タイミングの差が、あらかじめ設定した間奏指定時間より長い場合は、メロディが存在しない間奏のパートであるとみなして、その部分は間奏セグメントとして設定する。ここで、装飾音指定時間および間奏指定時間の設定は、操作者が操作部１６を操作して設定する。また、設定された装飾音指定時間および間奏指定時間は記憶部１４の所定エリアに記憶される。
【００２１】
形態素解析部４は、楽曲データ記憶領域２からワイプデータトラックを読み出し、テキストデータの歌詞について改行データによって区切られる１行単位で形態素解析を行い、漢字をかな文字に変換する機能を有している。ここで、形態素解析とは、文章から単語を認識する処理である。この場合、日本語文章は英語文書と異なり、“分かち書き”されていないため単語間にスペースがなく、単語を切り出して認識することが困難である。そこで、形態素解析においては、予め記憶した形態素辞書（図示略）に基づいて形態素解析を行って単語単位に分割して品詞を判定する。また、本実施形態においては、実際に発音される音に対応するかなに変換する。例えば、「こんちには」という単語について説明すると、この発音を表す平仮名列は「こんにちわ」となる。すなわち、形態素辞書から「こんにちは」という単語が抽出され、さらにその実際の発音は「こんにちわ」であると認識され、その認識結果に対応するかなとして求められる。
【００２２】
また、歌詞テロップに漢字が含まれている場合にも同様にして文字と発音との関係が求められる。例えば、「いい日旅立ち」というテキストデータについて形態素解析を行って、「いい」「ひ」「たびだち」というかな文字のテキストデータへの変換を行う。なお、漢字に対してルビが振られている場合は、そのルビを参照して形態素解析を行う。また、漢字をかな文字に変換した際に２文字になった場合は、その漢字１文字に対応するワイプ開始タイミングと、次の文字に対応するワイプ開始タイミングとの間隔を２等分したタイミングを、２文字目のかな文字に対応するワイプ開始タイミングとして計算し、再設定する機能を有している。
【００２３】
対応付け処理部５は、区切り抽出部３で区切ったセグメントと形態素解析部４によって変換したかな文字化されたテキストデータとの対応付けを行う機能を有している。
【００２４】
次に、ＣＰＵ１１が記憶部１４に記憶されたコンピュータプログラムを実行することによって実現するコンテンツオーサリングシステム１の動作について説明する。
【００２５】
まず、区切り抽出部３がガイドメロディをセグメントに区切る処理について図６を用いて説明する。図６は、区切り抽出部３がガイドメロディの音に対応するセグメントに区切る処理の流れについて説明するフローチャートである。
【００２６】
区切り抽出部３は、セグメントに対応するガイドメロディの音に対応する発音タイミング、消音タイミングをガイドメロディトラックのデータを読み取って求める（ステップＳ１）。次に発音タイミングと消音タイミングの差、すなわち音が鳴っている時間が、装飾音指定時間以上であるかを判断する（ステップＳ２）。装飾音指定時間未満の場合は、発音タイミングと消音タイミングの間を装飾音セグメントとして区切り（ステップＳ３）、この音に関するセグメント化処理を終了し、次の音に関するセグメント化処理をステップＳ１から再度行う。装飾音指定時間以上の場合には、次のステップへ進む。
【００２７】
次に、セグメントに対応する音の次に音があるかを判断する（ステップＳ４）。次の音がない場合は、ガイドメロディが終了したと判断し、発音タイミングと消音タイミングの間をセグメントとして区切り（ステップＳ５）セグメント化処理を終了する。次の音がある場合は、次の音の発音タイミングをガイドメロディトラックから取得する（ステップＳ６）。
【００２８】
次に、消音タイミングと次の音の発音タイミングの差、すなわち前の音が鳴らなくなってから次の音が鳴るまでの時間が間奏指定時間未満であるかを判断する（ステップＳ７）。間奏指定時間未満である場合は、発音タイミングと次の音の発音タイミングの間をセグメントとして区切り（ステップＳ８）、セグメント化処理を終了し、次の音に関するセグメント化処理をステップＳ１から再度行う。間奏指定時間以上である場合は、発音タイミングと消音タイミングの間をセグメントとして区切るとともに（ステップＳ９）、消音タイミングと次の音の発音タイミングの間を間奏セグメントとして区切る（ステップＳ１０）。そして、次の音に関するセグメント化処理をステップＳ１から再度行う。
【００２９】
これらの処理について、区切り抽出部３が、例えば、図３（ａ）に示すガイドメロディについて処理を行うと、図３（ｂ）に示すようなセグメントに区切られることになる。そして、全てのガイドメロディについて処理が終了したら、対応付け処理部５へ結果が送られる。
【００３０】
続いて、形態素解析部４の処理について図４を用いて説明する。形態素解析部４は、楽曲データ記憶領域２からワイプデータトラックを取得する。まず、改行データによって区切られる最初の１行単位のデータとして図４（ａ）のようなデータを取得する。このデータは、テキストとしては「雪融け間近の」というデータであり、ワイプ開始タイミングは「雪」に対してｗｔ１、「融」に対しては、ｗｔ２として、それぞれの文字ごとに対応している。
【００３１】
次に、「雪融け間近の」という文字に対して形態素解析を行って、かな文字へ変換する。そうすると、「ゆきどけまぢかの」というかな文字が得られる。
【００３２】
ここで、ワイプ開始タイミングは、「ゆき」に対してｗｔ１、「ど」に対しては、ｗｔ２として、対応している。この場合、「ゆき」という２文字に対してｗｔ１が対応しているため、「ゆ」、「き」それぞれに対して、ワイプ開始タイミングを再設定する。この再設定は、「ゆき」に対応するｗｔ１と次の文字である「ど」に対応するｗｔ２の間隔を「ゆき」が占有する時間とみなして、「ゆ」、「き」それぞれに対して、その占有時間が等分配されるように行われる。そのため、図４（ｂ）に示すように、「ゆ」に対してはｗｔ１、「き」に対してはｗｔ１ａとして再設定される。ここで、ｗｔ１ａは、（ｗｔ１＋ｗｔ２）／２として計算されている。
【００３３】
ここでは、１文字の漢字が２文字のかな文字に変換されたが、１文字の漢字が３文字のかな文字に変換された場合は、１文字目に対してはｗｔ１、２文字目に対してはｗｔ１ａ、３文字目に対してはｗｔ１ｂとし、ｗｔ１ａは、（ｗｔ１＋ｗｔ２）／３、ｗｔ１ｂは、２（ｗｔ１＋ｗｔ２）／３とすればよい。
【００３４】
そして、形態素解析部４は、このような処理を１行単位で行い、全ての歌詞について終了するまで繰り返し処理を行い、終了したら対応付け処理部５に結果が送られる。
【００３５】
続いて、対応付け処理部５の処理について図５を用いて説明する。ここでは、図３（ｂ）のように区切り抽出部３によってセグメント化されたガイドメロディと図４（ｂ）のように形態素解析部４によってかな文字変換されたワイプデータを対応させる。
【００３６】
図５（ａ）は、図３（ｂ）に示すセグメント化されたガイドメロディと図４（ｂ）に示すかな文字変換されたワイプデータを同じ時間軸によって併記したものである。図示のように、先行時間ｔｆだけワイプデータの開始位置が早くなっている、このずれは歌唱者が歌いやすいように、意図的にずらしたものである。そのため、ガイドメロディの時間軸に合わせる対応付けをするために図５（ｂ）のようにワイプデータの時間に先行時間ｔｆを加算して、時間軸上の開始タイミングを合わせる。この先行時間ｔｆは、ガイドメロディの最初の音の発音タイミングｇｔ１ｓと最初の文字のワイプ開始タイミングｗｔ１の差から算出してもよいし、入力手段を設けて設定するようにしてもよい。
【００３７】
次に、各セグメントに対して文字を割り当てる。最初の文字である「ゆ」に対応するセグメントを決定する方法について、図５を用いて説明する。
【００３８】
図５（ｂ）に示すように、「ゆ」に対応するワイプ開始タイミングｗｔ１とその次の「き」に対応するワイプ開始タイミングｗｔ１ａの間隔を２等分するタイミング（ｗｔ１ｍ＝（ｗｔ１＋ｗｔ１ａ）／２）に先行時間を加えたｗｔ１ｍ＋ｔｆのタイミングを算出し、セグメントが位置する時間と比較する。すなわち、その文字がワイプ処理に占有する時間の中央の時刻が、どのセグメントの中に入るかを判定する。この場合は、ｗｔ１ｍ＋ｔｆはｇｔ１ｓとｇｔ２ｓの時間の間にあるため、「ゆ」はセグメントａに割り当てられることになる。同様にして、各文字とセグメントを対応させていくと、「き」はセグメントｂに、「ど」はセグメントｃへと対応する。このようにして、全てのセグメントと文字を対応させていく。
なお、上記の処理においては、ワイプ処理に占有する時間の中央の時刻を用いてどのセグメントに対応するかを求めたが、必ずしも中央の時刻でなくてもよい。中央付近の時刻、ワイプ開始タイミング付近の時刻、次のワイプ開始タイミング付近の時刻などを用いてもよい。
【００３９】
この際、１つのセグメントに対して、割り当てる文字がない場合は、直前のセグメントに割り当てた文字を伸ばしている歌詞であると判断して、長音「ー」を割り当てる。また、括弧、読点、句読点、外字のように音声として存在しないものは、テキストデータが無かったものとしてセグメントに割り当てず、さらに、「きゃ」などの拗音にふくまれる「ゃ」、「きっ」などに含まれる促音「っ」は、前の文字である「き」が割り当てられたセグメントと同じセグメントに割り当てる。なお、間奏セグメントには、メロディが存在せず歌詞も存在しない間奏の部分であるため、文字を割り当てない。同様にして、装飾音セグメントにも歌詞が存在しない装飾音の部分であるため、文字を割り当てない。
【００４０】
このようにして、全てのセグメントにかな文字を対応させることで、各文字の発音タイミングをガイドメロディの発音タイミングに一致させたデータを生成することができる。一般に、ワイプ開始タイミングは、文字の色替えをスタートさせる大凡のタイミングとして使用できればよいため、歌詞の発音タイミングとしては不正確であることが多い。本実施形態によれば、歌詞の各文字（かな）の発音タイミングがガイドメロディの発音タイミングを用いて表されるため、正確な発音タイミングを得ることができる。
以上の処理によって得られた各文字と発音タイミングのデータの組み合わせを、ＣＰＵ１１は歌詞発音タイミングデータとして生成し、記憶部１４の所定エリアに格納する。
【００４１】
＜第２実施形態＞
図７は、ＣＰＵ１１が記憶部１４に記憶されたコンピュータプログラムを実行することによって実現する第２実施形態に係るコンテンツオーサリングシステム１０のソフトウエアの構成を示すブロック図である。第２実施形態に係るコンテンツオーサリングシステム１０は、第１実施形態に係るコンテンツオーサリングシステム１に、確認編集部６の機能が追加されたものである。
【００４２】
楽曲データ記憶領域２に記憶されているガイドボーカルトラックは、見本となる歌手の歌声を記録した音声データであって、例えば、ＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式などの音声データである。確認編集部６は、図８のように、データ確認部６１、設定記憶領域６２、データ編集部６３を有する。
【００４３】
データ確認部６１は、対応付け処理部５によって生成された歌詞発音タイミングデータを取得し、各々のセグメントの位置（セグメントの開始位置、すなわち発音タイミング（第２の発音開始タイミング））に対応して、ガイドボーカルトラックに記録されている音声データを区切る機能、各々のセグメントと当該セグメントに対応する歌詞の読みを区切られた音声の波形と時間軸を合わせて、表示部１５に表示する機能を有している。また、セグメントごとに区切られた音声を音声出力部１７から、設定記憶領域６２に記憶された設定に基づいて、音声を分割しながら出力する機能を有している。
【００４４】
設定記憶領域６２は、音声出力部１７からセグメントごとに分割して音声出力をする際に、それぞれのセグメントごとの音声の間にいれる通知音の種類の設定と、その通知音の前後に無音領域を入れる時間の設定を記憶部１４の所定のエリアに記憶させる機能を有しており、この設定は、操作者が操作部１６を操作して行う。
【００４５】
データ編集部６３は、音声に対してセグメントの位置がずれている場合に、操作者が操作部１６を操作して指示を行い、その指示に基づいて該当箇所を修正する機能を有している。
【００４６】
続いて、確認編集部６の処理について説明する。まず、データ確認部６１は、楽曲データ記憶領域２からガイドボーカルトラックを読み出す。また、対応付け処理部５において生成された歌詞発音タイミングデータを取得する。そして、ガイドボーカルの音声をセグメントの時間軸にあわせて区切り、図９に示すように、セグメントごとに区切った音声の波形と、セグメントの位置、およびセグメントに対応する歌詞の読みを比較するような比較画面を表示部１５に表示する。また、ガイドボーカルの音声を音声出力部１７から出力する。この際、データ確認部６１は、選択するセグメントを順次時間軸方向に自動的に選択し、選択したセグメントに対応する区間のガイドボーカルトラックの音声データを再生する。また、出力されている音声に対応するセグメントの位置の色を変えるなどして、特定されているセグメントがいずれであるかが操作者に分かるようになっている。例えば、「け」という音声出力がされているときは、図９に示すように、「け」に対応するセグメントの色を変えておけばよい。そして、画面には出力されている音声に対応するセグメントが常に画面に表示されるように、自動的にスクロールさせる。
【００４７】
また、音声を音声出力部１７から出力する際には、設定記憶領域６２において記憶されている設定を読み込み、セグメントごとに対応する音声の間に設定された無音領域と、通知音を入れるようにする。例えば、「ゆ」を示すセグメントに対応する音声、無音領域、通知音、無音領域、「き」を示すセグメントに対応する音声、無音領域、通知音・・・、のように順次音声を区切って出力する。
【００４８】
操作者は、表示部１５に表示されたセグメントごとに区切られた音声の波形と歌詞の読み、そして音声出力部１７から出力される音声を比較し、音声に対して、セグメントの位置のずれがあるか判断する。そして、ずれがある場合には、操作者は操作部１６を操作して、データ編集部６３に対して修正箇所の指示を出すと、データ編集部６３は、指示に従ってセグメントの位置の修正を行う。そして、その修正した結果を記憶部１４の所定のエリアへ記憶する。例えば、「ど」の音声の始まりのタイミングに対して、対応するセグメントの始まりのタイミングｇｔ３ｓが早い場合は、操作部１６を操作して、図９に破線で示したように、互いのタイミングが合うように、対応する区切り線を移動させる。これにより、ｇｔ３ｓは修正後の時間として修正されて記憶部１４に記憶される。
【００４９】
このようにすると、第１実施形態に係るコンテンツオーサリングシステム１によって、ガイドメロディを区切ってセグメント化し、そのセグメントに歌詞の読みを対応付けた結果の正確性についてガイドボーカルと比較することで検証することができる。さらに修正が必要な場合であっても、簡易に修正箇所を発見することができ、その修正を行うことができ、より正確に歌詞の読みを対応させることができる。また、ガイドボーカルを構成するそれぞれの音節に対して、歌詞の読みを対応させることができる。
＜変形例１＞
以上、本発明の実施形態について説明したが、例えば、上述した実施形態を以下のように変形して本発明を実施してもよい。
【００５０】
第２実施形態においては、音声出力部１７から出力される音声は、設定記憶領域６２に記憶された設定に基づいて分割された音声として、自動的にセグメントが選択されて出力され、その出力内容に応じて表示部１５に比較画面が表示されるように自動的にスクロールされていたが、操作部１６を操作して、セグメントを手動で特定することにより、そのセグメントに対応する音声を音声出力部１７から出力するようにしてもよい。このようにすると、文字単位で繰り返し音声を確認することができるため、細かい修正を行うことができる。また、第２実施形態においては、ガイドボーカルの音声データのセグメントの区切りにおいて、通知音と無音領域を挿入するようにしたが、これを省略してもよい。
【００５１】
＜変形例２＞
第１実施形態においては、ガイドメロディを区切ってセグメント化処理を行ったが、ガイドメロディトラック以外のデータを用いてもよい。例えば、歌唱の採点の基準となるデータを用いることもできる。採点の基準となるデータは、入力された歌声の発音タイミングが正しいか否か等を判断するためのデータであるため、ガイドメロディよりも正確である場合が多い。また、自動的に歌唱者の声でコーラスを付与するカラオケ装置においては、歌唱者の声のピッチをコーラスのピッチに変換するために、主旋律を正確に示すデータをリファレンスデータとして有しているから、このリファレンスデータをガイドメロディの変わりに用いることもできる。
【００５２】
＜変形例３＞
第１実施形態においては、形態素解析部４は、形態素解析を行って漢字を含む歌詞をかな文字化しているが、英語が含まれている場合には、形態素解析を行わずに、英単語を音節ごとに区切り、１音節を１文字として処理するようにすればよい。この場合は、英単語を音節ごとに区切るデータベースを用意してもよいし、英単語を音節ごとに区切る解析を行う処理をさせてもよい。このようにすれば、英単語の音節をかな文字と同様に扱うことができる。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１実施形態に係るコンテンツオーサリングシステムのハードウエアの構成を示すブロック図である。
【図２】本発明の第１実施形態に係るコンテンツオーサリングシステムのソフトウエアの構成を示すブロック図である。
【図３】ガイドメロディトラックの発音タイミングと消音タイミングを示す説明図である。
【図４】ワイプデータトラックのワイプ開始タイミングを示す説明図である。
【図５】本発明の第１実施形態に係るコンテンツオーサリングシステムにおける対応付け処理部の処理を示す説明図である。
【図６】本発明の第１実施形態に係るコンテンツオーサリングシステムにおける区切り抽出部の処理手順を示すフローチャートである。
【図７】本発明の第２実施形態に係るコンテンツオーサリングシステムのソフトウエアの構成を示すブロック図である。
【図８】本発明の第２実施形態に係るコンテンツオーサリングシステムにおける確認編集部の構成を示すブロック図である。
【図９】本発明の第２実施形態に係るコンテンツオーサリングシステムの表示部に表示される画面を示す説明図である。
【符号の説明】
【００５４】
１，１０…コンテンツオーサリングシステム、２…楽曲データ記憶領域、３…区切り抽出部、４…形態素解析部、５…対応付け処理部、６…確認編集部、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５…表示部、１６…操作部、１７…音声出力部、６１…データ確認部、６２…設定記憶領域、６３…データ編集部
【図１】
2008020621.tif 000003
【図２】
2008020621.tif 000004
【図３】
2008020621.tif 000005
【図４】
2008020621.tif 000006
【図５】
2008020621.tif 000007
【図６】
2008020621.tif 000008
【図７】
2008020621.tif 000009
【図８】
2008020621.tif 000010
【図９】
2008020621.tif 000011