(57)【要約】      （修正有）【課題】精度が向上された、音を採譜する技術を提供する。【解決手段】採譜機能１００は、入力音を取得する入力音取得部１０１と、入力音取得部によって取得された入力音に基づいてピッチを含む特徴量を時系列に検出する特徴量検出部１０３と、特徴量検出部によって検出された特徴量に基づいて入力音を構成する各音に対応する期間を特定する期間特定部１０７と、ピッチに基づいて各音を複数の基準ピッチの何れかに分類するピッチ分類部１０５と、を備える。【選択図】図２
2017129787.tif 000002
【特許請求の範囲】
【請求項１】
入力音を取得する入力音取得部と、
前記入力音取得部によって取得された前記入力音に基づいてピッチを含む特徴量を時系列に検出する特徴量検出部と、
前記特徴量検出部によって検出された前記特徴量に基づいて前記入力音を構成する各音に対応する期間を特定する期間特定部と、
前記ピッチに基づいて前記各音を複数の基準ピッチの何れかに分類するピッチ分類部と、
を備える音採譜装置。
【請求項２】
前記期間特定部は、前記ピッチに基づいて前記期間を特定する、請求項１に記載の音採譜装置。
【請求項３】
前記期間特定部は、前記ピッチが同一と判定される期間を前記入力音を構成する各音に対応する期間と特定する、請求項２に記載の音採譜装置。
【請求項４】
前記期間特定部は、前記同一と判定されるピッチが所定時間継続した場合、少なくとも予め決められたロック時間が経過するまでを前記入力音を構成する各音に対応する期間と特定する、請求項３に記載の音採譜装置。
【請求項５】
前記期間特定部は、前記特徴量に含まれる音量の変化に基づいて前記期間を特定する、請求項１に記載の音採譜装置。
【請求項６】
前記期間特定部は、前記特徴量に含まれる周波数のＳＮ比に基づいて前記期間を特定する、請求項１に記載の音採譜装置。
【請求項７】
前記期間特定部は、前記特徴量に含まれる音量の変化と前記特徴量に含まれる周波数のＳＮ比に基づいて前記期間を特定する、請求項５に記載の音採譜装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音を採譜する技術に関する。
【背景技術】
【０００２】
入力音声に基づいて歌唱された音を採譜する採譜装置が知られている。例えば、特許文献１には、入力音声から時系列的な音圧の変化とピッチ（音高）の変化を求め、求めた音圧の変化及びピッチの変化に基づいて音符期間を特定する音声処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−６５０４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
歌唱にはさまざまな表現（歌唱技法や揺らぎ）が含まれるが、特許文献１に記載された技術では、歌唱に含まれるさまざまな表現によって採譜の精度が悪いという問題があった。
【０００５】
本発明の課題の一つは、精度が向上された、音を採譜する技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態による音採譜装置は、入力音を取得する入力音取得部と、前記入力音取得部によって取得された前記入力音に基づいてピッチを含む特徴量を時系列に検出する特徴量検出部と、前記特徴量検出部によって検出された前記特徴量に基づいて前記入力音を構成する各音に対応する期間を特定する期間特定部と、前記ピッチに基づいて前記各音を複数の基準ピッチの何れかに分類するピッチ分類部と、を備える。
【０００７】
前記期間特定部は、前記ピッチに基づいて前記期間を特定してもよい。
【０００８】
前記期間特定部は、前記ピッチが同一と判定される期間を前記入力音を構成する各音に対応する期間と特定してもよい。
【０００９】
前記期間特定部は、前記同一と判定されるピッチが所定時間継続した場合、少なくとも予め決められたロック時間が経過するまでを前記入力音を構成する各音に対応する期間と特定してもよい。
【００１０】
前記期間特定部は、前記特徴量に含まれる音量の変化に基づいて前記期間を特定してもよい。
【００１１】
前記期間特定部は、前記特徴量に含まれる周波数のＳＮ比に基づいて前記期間を特定してもよい。
【００１２】
前記期間特定部は、前記特徴量に含まれる音量の変化と前記特徴量に含まれる周波数のＳＮ比に基づいて前記期間を特定してもよい。
【００１３】
本発明の一実施形態によるプログラムは、コンピュータに、入力音を取得し、取得された前記入力音に基づいてピッチを含む特徴量を時系列に検出し、前記特徴量に基づいて前記入力音を構成する各音に対応する期間を特定すること、を実行させる。
【発明の効果】
【００１４】
本発明によると、精度が向上された、音を採譜する技術を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明一実施形態に係る音採譜装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係る採譜機能の構成を示すブロック図である。
【図３】本発明の一実施形態に係る、歌唱音声を構成する各音に対応する音符期間を特定する方法を説明するための図である。
【図４】本発明の一実施形態に係る、ピッチの時間的な変動に基づく、歌唱音声を構成する各音に対応する音符期間を特定するための概念の説明するための図である。
【図５】本発明の一実施形態の変形例に係る採譜機能の構成を示すブロック図である。
【図６】本発明の一実施形態に係る、音符期間の開始時点を特定する方法を説明するための図である。
【図７】本発明の一実施形態に係る歌唱音声に含まれる各音の開始点に対応する音符期間の開始時点を検出する方法を用いて、子音を含まない歌詞が含まれる場合の例を説明する図である。
【図８】本発明の一実施形態において用いられる歌唱音声の周波数分布のＳＮ比を説明する図である。
【図９】本発明の一実施形態に係る、周波数分布のＳＮ比と特徴量に含まれる音量の時間的な変動とに基づいて、音符期間と特定する方法を説明するための図である。
【図１０】本発明の一実施形態に係る評価機能の構成を示すブロック図である。
【図１１】本発明の一実施形態に係るデータ処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態における音採譜装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号を付し、その繰り返しの説明は省略する場合がある。
【００１７】
＜第１実施形態＞
［音採譜装置の構成］
本発明の第１の実施形態における音採譜装置１０について説明する。図１は、本発明の第１の実施形態における音採譜装置１０の構成を示すブロック図である。音採譜装置１０は、例えば、採譜機能を備えたカラオケ装置である。音採譜装置１０は、制御部１１、記憶部１３、操作部１５、表示部１７、通信部１９、および信号処理部２１を含む。信号処理部２１には、音入力部（例えば、マイクロフォン）２３及び音出力部（例えば、スピーカ）２５が接続されている。これらの各構成は、バスを介して相互に接続されている。
【００１８】
制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラム１３ａをＣＰＵにより実行して、各種機能を音採譜装置１０において実現させる。実現される機能には、歌唱音声の採譜機能が含まれる。採譜機能については、後述する。
【００１９】
記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、採譜機能を実現するための制御プログラム１３ａを記憶する。制御プログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、音採譜装置１０は、記録媒体を読み取る装置を備えていればよい。また、制御プログラム１３ａは、インターネット等のネットワーク経由でダウンロードされてもよい。
【００２０】
また、記憶部１３は、歌唱に関するデータとして、楽曲データ１３ｂ及び歌唱音声データ１３ｃを記憶する。楽曲データ１３ｂは、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。歌唱音声データ１３ｃは、歌唱者が音入力部２３から入力した歌唱音声に対応するデータである。本実施形態では、歌唱音声データ１３ｃは、採譜機能によって歌唱音声が採譜されるまで、記憶部１３に記憶される。
【００２１】
操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１１に出力する。表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいた画面が表示される。なお、操作部１５と表示部１７とは一体としてタッチパネルを構成してもよい。通信部１９は、制御部１１の制御に基づいて、インターネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１３の機能は、通信部１９において通信可能な外部装置で実現されてもよい。
【００２２】
信号処理部２１は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。歌唱音声は、マイクロフォン等の音入力部２３において電気信号に変換されて信号処理部２１に入力され、信号処理部２１においてＡ／Ｄ変換されて制御部１１に出力される。上述したように、歌唱音声は、歌唱音声データとして記憶部１３に記憶される。また、伴奏データは、制御部１１によって読み出され、信号処理部２１においてＤ／Ａ変換され、スピーカー等の音出力部２５から歌唱曲の伴奏音として出力される。このとき、ガイドメロディも音出力部２５から出力されるようにしてもよい。
【００２３】
［採譜機能］
音採譜装置１０の制御部１１が記憶部１３に記憶された制御プログラム１３ａを実行することによって実現される採譜機能について説明する。なお、以下に説明する採譜機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。
【００２４】
図２は、本発明の第１実施形態における採譜機能１００の構成を示すブロック図である。採譜機能１００は、入力音取得部１０１、特徴量検出部１０３、ピッチ分類部１０５及び期間特定部１０７を含む。
【００２５】
入力音取得部１０１は、入力された歌唱音声に対応する歌唱音声データを取得する。本実施形態では、伴奏出力部１１１から伴奏音が出力されている期間における音入力部２３への入力音を、対象の歌唱音声として認識する。なお、本実施形態では、入力音取得部１０１は、記憶部１３に記憶された歌唱音声データ１３ｃを取得するが、信号処理部２１から直接取得するように構成してもよい。また、入力音取得部１０１は、音入力部２３への入力音を示す歌唱音声データを取得する場合に限らず、外部装置への入力音を示す歌唱音声データを、通信部１９によりネットワーク経由で取得してもよい。入力音取得部１０１は、取得した歌唱音声データを特徴量検出部１０３に伝達する。
【００２６】
特徴量検出部１０３は、入力音取得部１０１によって取得された歌唱音声データに対して、歌唱音声のピッチを含む特徴量を時系列に検出する。特徴量検出部１０３は、ピッチの算出は、歌唱音声の波形のゼロクロスを用いた方法やフーリエ解析など、その他の公知の方法を用いて算出することができる。また、特徴量検出部１０３は、歌唱音声の特徴量として音量、周波数などを時系列に検出してもよい。特徴量検出部１０３は、時系列に検出したピッチを含む特徴量をピッチ分類部１０５に伝達する。
【００２７】
ピッチ分類部１０５は、取得した特徴量に含まれるピッチに基づいて、歌唱音声を構成する各音を複数の基準ピッチの何れかに分類する。図３は、ピッチ分類部１０５における、特徴量に含まれるピッチに基づいて、歌唱音声を構成する各音を複数の基準ピッチの何れかに分類するための概念の一例を説明するための図である。図３には、歌唱音声のピッチを時系列に示すピッチ波形の一例を示しており、縦軸はピッチ（ｃｅｎｔ）を示し、横軸は時間（Ｔ）を示す。図３では、時間ｔ0〜ｔ27におけるフレームｆn-1〜ｆn+25のピッチ波形が示されている。
【００２８】
ピッチ分類部１０５は、時系列に検出されたピッチに基づいて、フレーム（所定期間で区切られたデータサンプル）ごとにピッチの平均を算出する。図３において、各フレームの平均ピッチを黒い丸（●）で示す。次に、ピッチ分類部１０５は、算出されたフレームごとの平均ピッチの１０の位を四捨五入して１００セントごとのグリッドに当てはめる。例えば、図３においては、フレームｆn-1〜ｆn+2の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋３）セントである。フレームｆn+3〜ｆn+4の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋４）セントである。フレームｆn+5〜ｆn+7の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋３）セントである。フレームｆn+8〜ｆn+10の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋５）セントである。フレームｆn11の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋７）セントである。フレームｆn+12〜ｆn+15の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋８）セントである。フレームｆn+16〜ｆn+17の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋６）セントである。フレームｆn+18〜ｆn+22の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋５）セントである。フレームｆn+23〜ｆn+24の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋６）セントである。フレームｆn25の１０の位を四捨五入された平均ピッチに当てはまるグリッドに対応するピッチは１００＊（ｍ＋５）セントである。ピッチ分類部１０５は、各フレームの平均ピッチに当てはまるグリッドに対応するピッチを示す時系列のデータを期間特定部１０７に伝達する。また、ピッチ分類部１０５によって生成された歌唱音声における各フレームの平均ピッチに当てはまるグリッドに対応するピッチを示す時系列のデータは、音採譜装置１０の記憶部１３に記憶される。
【００２９】
図３を参照して、歌唱音声を構成する各音を複数の基準ピッチの何れかに分類する方法の一例を説明したが、フレームごとのピッチが属する基準ピッチが決定することができれば以上に述べた方法に限定されるわけではない。
【００３０】
期間特定部１０７は、特徴量検出部１０３によって時系列に検出されたピッチを含む特徴量に基づいて、歌唱音声を構成する各音に対応する期間（音符期間）を特定する。ここでは、特徴量検出部１０７は、ピッチ分類部１０５によって検出されたピッチの時間的な変動に基づいて歌唱音声を構成する各音に対応する音符期間を特定する。
【００３１】
期間特定部１０７は、対応する平均ピッチが同一のグリッドに当てはめられたフレームが予め決められた数以上（例えば、２フレーム以上）連続して検出された場合、当該フレーム期間を、前記入力音を構成する各音に対応する音符期間と特定する。ここで、期間特定部１０７は、同一の平均ピッチが所定時間継続した場合、少なくとも予め決められたロック時間が経過するまでを音符期間と特定する。例えば、該所定時間が連続する二つのフレームの開始時点から終了時点までにかかる時間に該当し、且つ、該ロック時間が連続する二つのフレームとその直後の一つにフレームとを合わせた連続する三つのフレームの開始時点から終了時点までにかかる時間に該当する場合、期間特定部１０７は、ピッチが同一である、連続する２フレームの開始時点から、該連続する２フレームの直後に続く１フレームが終了時点までの時間をロック時間としてもよい。即ち、期間特定部１０７は、ピッチが同一である連続する二つのフレーム（フレームＡ、フレームＢ）が検出された場合、フレームＡの開始時点から連続する二つのフレーム（フレームＡ、フレームＢ）の直後に続く一つのフレーム（フレームＣ）の終了時点までをロック時間とし、フレームＡ〜ＣをフレームＡ、Ｂに対応するピッチの音符期間としてもよい。この場合、フレームＡ及びフレームＢの平均ピッチに対応するグリッドと、フレームＣの平均ピッチに対応するグリッドとは異なっていてもよい。ロック時間内において、所定時間継続したピッチ以外のピッチは音符として認識されない。期間特定部１０７は、対応する平均ピッチが同一のグリッドに当てはめられたフレームが予め決められた数未満である場合は、当該フレーム期間を音符期間から除外してもよい。
【００３２】
図４は、期間特定部１０７における、ピッチの時間的な変動に基づく、歌唱音声を構成する各音に対応する音符期間を特定するための概念の説明するための図である。図４では、フレームｆn-1〜ｆn+25（時間ｔ0〜ｔ27）における入力音を構成する各音に対応する音符期間を斜線で示す。図４においては、一例として、同一のグリッド上に当てはめられたピッチが２フレーム連続した場合にロック時間が発生するものとする。尚、ロック時間は、一例として、ピッチが同一である、連続する２フレームの開始時点から、該連続する２フレームの直後に続く１フレームが終了時点までの時間までとする。つまり、図４に示す例では、音符期間は、連続する３フレーム以上の期間を有する。
【００３３】
図４において、フレームｆn-1〜ｆn+2に対応している１００＊（ｍ＋３）セントの音符期間は、時間ｔ0〜ｔ4である。フレームｆn+3〜ｆn+4に対応している１００＊（ｍ＋４）セントの音符期間は、時間ｔ4〜ｔ7である。フレームｆn+5〜ｆn+7に対応している１００＊（ｍ＋３）セントの音符期間は、時間ｔ7〜ｔ10である。フレームｆn+8〜ｆn+10に対応している１００＊（ｍ＋５）セントの音符期間は、時間ｔ10〜ｔ13である。フレームｆn+12〜ｆn+15に対応している１００＊（ｍ＋８）セントの音符期間は、時間ｔ13〜ｔ17である。フレームｆn+16〜ｆn+17に対応している１００＊（ｍ＋６）セントの音符期間は、時間ｔ17〜ｔ20である。フレームｆn+19〜ｆn+22に対応している１００＊（ｍ＋５）セントの音符期間は、時間ｔ20〜ｔ24である。フレームｆn+23〜ｆn+24に対応している１００＊（ｍ＋６）セントの音符期間は、時間ｔ24〜ｔ27である。
【００３４】
本発明の一実施形態に係る採譜機能１００によって特定された歌唱音声を構成する各音に対応する音符期間は、歌唱の評価基準（リファレンス）の生成に用いることができる。期間特定部１０７によって特定された、歌唱音声の音符期間を示す時系列のデータは、音採譜装置１０の記憶部１３において記憶される。ここで、歌唱音声の音符期間を示す時系列のデータは、ピッチ分類部１０５によって生成された歌唱音声における各フレームの平均ピッチに当てはまるグリッドに対応するピッチを示す時系列のデータに関連付けられて記憶される。
【００３５】
（変形例）
期間特定部１０７による、歌唱音声を構成する各音に対応する音符期間の特定に用いる特徴量はピッチに限定されるわけではない。期間特定部１０７は、特徴量検出部１０３で検出された、ピッチを除く他の特徴量に基づいて歌唱音声を構成する各音に対応する音符期間を特定してもよい。
【００３６】
（変形例１）
図５は、本発明の第１実施形態の変形例に係る採譜機能１００ａの構成を示すブロック図である。採譜機能１００ａにおいて、図２に示した採譜機能１００と同じ又は類似の構成については、採譜機能１００における構成と同一の参照番号を付与し、重複する説明は省略する。採譜機能１００ａは、入力音取得部１０１、特徴量検出部１０３、ピッチ分類部１０５及び期間特定部１０７ａを含む。本発明の一実施形態に係る採譜機能１００ａにおける期間特定部１０７ａは、特徴量検出部１０３によって時系列に検出された特徴量に含まれる音量の時間的な変動に基づいて、歌唱音声を構成する各音に対応する期間（音符期間）を特定してもよい。つまり、期間特定部１０７ａは、特徴量検出部１０３で検出された、ピッチを除く他の特徴量に基づいて歌唱音声を構成する各音に対応する音符期間を特定する。ここでは、期間特定部１０７ａが、特徴量検出部１０３において検出された時系列の音量レベルに基づいて、歌唱音声に含まれる各音の開始点に対応する区切位置を検出する例を説明する。ここで、各音とは例えば歌詞の各音節の発音に対応する。また、この例では、各音の開始点は子音から母音に切り替わるタイミング、すなわち母音が始まる部分に相当する。各音の開始点に対応する区切位置とは、この開始点と一致する場合に限らず、開始点に基づいて予め決められた処理によって決められる位置である。
【００３７】
日本語では、子音および母音の組み合わせによって発音される場合、子音の発音期間の音量レベルが、母音の発音期間の音量レベルに比べて小さくなる傾向にある。この傾向は、１音節を単独で発音する場合に限らず、複数の音節を連続して発音する場合においても見られる。期間特定部１０７ａは、このような特徴を利用して、歌唱音声に含まれる各音の開始時点に対応する区切位置を検出する。
【００３８】
採譜機能１００ａにおいて、特徴量検出部１０３は、入力音取得部１０１によって取得された歌唱音声データに対して、歌唱音声のピッチ及び音量を含む特徴量を時系列に検出する。特徴量検出部１０３は、時系列に検出した歌唱音声のピッチをピッチ分類部１０５に伝達する。ピッチ分類部１０５では、取得したピッチに基づいて、歌唱音声を構成する各音を複数の基準ピッチの何れかに分類する。ピッチ分類部１０５によって生成された各フレームの平均ピッチに当てはまるグリッドに対応するピッチを示す時系列のデータは、音採譜装置１０の記憶部１３に記憶される。また、特徴量検出部１０３は、時系列に検出した歌唱音声に音量を含む特徴量を期間特定部１０７ａに伝達する。期間特定部１０７ａは、特徴量検出部１０３によって時系列に検出された歌唱音声の特徴量に含まれる音量の時間的な変動に基づいて、歌唱音声を構成する各音に対応する期間（音符期間）を特定する。
【００３９】
図６は、期間特定部１０７ａにおける、音量レベルの時間的な変動に基づく、音符期間の開始時点を特定するための概念の説明するための図である。図６では、「も（子音「ｍ」＋母音「ｏ」）」、「り（子音「ｒ」＋母音「ｉ」）」、「の（子音「ｎ」＋母音「ｏ」）」の音節を歌唱した場合において、音量レベルの時間変化を例示した。この音量変化は、図６に示すスペクトルＶＳである。この時間は、歌唱音声が入力されてから（評価開始のタイミングから）経過した時間を示している。いずれの音節の発音においても、子音の発音期間において音量レベルが下がる傾向が見られる。尚、日本語以外の場合、例えば、中国語の歌唱音声の場合、歌唱音声データに１ｋＨｚ程度でローパスフィルタをかけておくと母音と子音との差が分かりやすくなる。遮断周波数は、１ｋＨｚなどのような固定値であってもよく、ピッチに基づいて可変であってもよい。
【００４０】
期間特定部１０７ａは、複数の音節が連続して発音される場合であっても、このように子音部分で音量レベルが低下する部分を利用して、区切位置を検出する。図６に示す例では、期間特定部１０７ａは、音量レベルの閾値Ｖｔｈを決定し、Ｖｔｈより低いレベルから高いレベルに遷移した点を区切位置として検出する。図６では、区切位置は、時間ｔｓ１、ｔｓ２、ｔｓ３、・・・として検出される。Ｖｔｈは、予め決められた音量レベルであればよく、この例では、音量レベルのバックグラウンドのレベルＶｂと音量レベルの最大レベルＶｐとに基づいて決められる。例えば、単位をｄＢとした場合に、Ｖｔｈ＝Ｖｐ×０．９（Ｖｐ−Ｖｂ）などとして、所定の演算式によって決められればよい。図６において、Ｖｐは、１曲全体における音量レベルの最大値を示す。なお、１曲を複数の区間に分けておき、予め決められたルールにしたがって、各区間に対応するＶｔｈが設定されてもよい。この場合は、区間毎のＶｂ及びＶｐを用いてＶｔｈが決定されてもよい。
【００４１】
期間特定部１０７ａは、歌唱音声を構成する各音に対応する音符期間として、検出した区切位置を音符期間の開始時点と特定する。また、図６に示すように、期間特定部１０７ａは、音符期間の開始時点と直後の音符期間の開始時点との間において、音量レベルが最も低くなる時点を該音符期間の終了時点として特定してもよい。また、図示はしないが、期間特定部１０７ａは、例えば、音符期間の開始時点後における音量レベルが閾値Ｖｔｈより高いレベルから低いレベルに遷移した点を検出して、該音符期間の終了時点として特定してもよい。また、期間特定部１０７ａは、例えば、音符期間の開始時点から次の音符期間の開始時点までを一つの音符期間として特定してもよい。即ち、期間特定部１０７ａは、ある音符期間の開始時点を、該音符期間の直前の音符期間の終了時点として特定してもよい。
【００４２】
（変形例２）
以上に説明した変形例１では、期間特定部１０７ａは、子音の発音期間の音量レベルが、母音の発音期間の音量レベルに比べて小さくなる傾向を利用し、歌唱音声に含まれる各音の開始点に対応する区切位置（音符期間の開始時点）を検出する。しかしながら、歌唱音声に子音を含まない母音のみの歌詞が含まれる場合、母音のみの音に対応する音符の開始時点が検出できないという問題がある。図７は、変形例１で述べた、音量の時間的な変化に基づいて歌唱音声に含まれる各音の開始点に対応する音符期間の開始時点を検出する方法を用いて、子音を含まない歌詞が含まれる場合の例を説明する図である。ここでは、歌詞が「で（子音「ｄ」＋母音「ｅ」）」、「あ（母音「ａ」）」、「た（子音「ｔ」＋母音「ａ」）」である例を示している。図７に示すように、「で」と「あ」との間には子音が存在しないため、音量レベルの減少が見られない。そのため、音符期間の開始時点に対応する区切位置は、ｔｓ５、ｔｓ７、ｔｓ８の位置で検出され、「あ」の音の開始時点に対応する区切位置は検出されない。このような場合、期間特定部１０７ａは、歌唱音声を構成する各音に対応する音符期間の特定に用いる特徴量として、歌唱音声の音量の時間的な変化とともに周波数を用いて音符期間を特定してもよい。
【００４３】
この場合、特徴量検出部１０３は、時系列に検出した歌唱音声の音量及び周波数を含む特徴量を期間特定部１０７ａに伝達する。期間特定部１０７ａは、特徴量検出部１０３によって時系列に検出された歌唱音声の特徴量に含まれる音量及び周波数の時間的な変動に基づいて、歌唱音声を構成する各音に対応する期間（音符期間）を特定する。ここで、期間特定部１０７ａは、特徴量検出部１０３において検出された特徴量に含まれる歌唱音声の周波数を解析して、フーリエ解析を用いて周波数分布の時間的な変化を算出し、さらに、周波数分布のＳＮ比を算出する。図８は、歌唱音声の周波数分布のＳＮ比を説明する図である。歌唱音声の周波数分布のスペクトルＦＳは、基音ｆ０の他、整数倍の倍音ｆ１、ｆ２、・・・をピークとして含む。それぞれのピークにおいて、半値幅Ｗｆ０、Ｗｆ１、Ｗｆ２、・・・に含まれる領域（ハッチング部分）の積分値をシグナルＳ（Ｓｆ０、Ｓｆ１、Ｓｆ２，・・・）とし、それ以外の部分をノイズＮとして、Ｓ／ＮをＳＮ比として算出する。このとき、所定の倍音（例えば、３倍音）のピークまでを範囲とするなどして、所定の周波数範囲でＳＮ比を算出する。
【００４４】
期間特定部１０７ａは、算出した周波数分布のＳＮ比と、特徴量検出部１０３によって時系列に検出された特徴量に含まれる音量の時間的な変動とを用いて、音符期間を特定する。図９は、算出した周波数分布のＳＮ比と、特徴量検出部１０３によって時系列に検出された特徴量に含まれる音量の時間的な変動とに基づいて、音符期間と特定するための概念の説明するための図である。以上に述べたように算出されたＳＮ比は、図９におけるスペクトルＤＳに示すように、各音の開始点では低く（ノイズＮ成分が多く）、その後、急激に増加するという傾向を有している。母音のみの音であっても、このような傾向を有している。期間特定部１０７ａは、ＳＮ比を用いて音符期間の開始時点を検出するときには、このような傾向を利用する。
【００４５】
期間特定部１０７ａは、音量レベルに基づいて、変形例１と同様に区切位置を検出する。そして、期間特定部１０７ａは、音量レベルを用いて検出できなかった区切位置、すなわち、隣接する区切位置の間において、ＳＮ比を用いて他の区切位置を検出する。例えば、期間特定部１０７ａは、ＳＮ比に対して所定の閾値Ｖｔｈｆを決定する。そして、期間特定部１０７ａは、ＳＮ比が予め決められた割合以上に減少してから増加に転じた位置、この例ではＶｔｈｆより低い値から高い値に遷移した位置を区切位置として検出する。このとき、期間特定部１０７ａは、音量レベルに基づいて検出した区切位置から所定時間以上ずれた位置においてのみ区切位置を検出する。例えば、図９の例では、「ｔｓｐ６」がＳＮ比に基づく区切位置として検出される。この例では「ｔｓ５」および「ｔｓ７」は、区切位置に近いため、ＳＮ比に基づく区切位置としては検出されない。
【００４６】
ＳＮ比に対する閾値Ｖｔｈｆは、ＳＮ比の最小値と最大値とに基づいて、決められてもよい。例えば、最小値をＳＮｍ、最大値をＳＮｐとすると、Ｖｔｈｆ＝ＳＮｐ×０．９（ＳＮｐ−ＳＮｍ）などとして、所定の演算式によって決められればよい。なお、次に述べるように決められてもよい。音量レベルに基づいて決められた区切位置（図９の例では、「ｔｓ５」および「ｔｓ７」）のいずれかにおいて、ＳＮ比のレベル（図９の例において、区切位置「ｔｓ５」であれば、ＣＰ５）を閾値Ｖｔｈｆとしてもよい。また、音量レベルに基づいて決められた区切位置に到達する度に閾値Ｖｔｈｆを更新していってもよい。例えば、「ｔｓ５」を経過した後「ｔｓ７」を経過するまで区間は、「ｔｓ５」の時点でのＳＮ比ＣＰ５を閾値Ｖｔｈｆ５とし、「ｔｓ７」の後の区間は「ｔｓ７」の時点でのＳＮ比ＣＰ７を閾値Ｖｔｈｆ７としてもよい。このようにすると、音量レベルの閾値ＶｔｈとＳＮ比の閾値Ｖｔｈｆとに間接的に相関関係を持たせることもできる。その結果、異なる方法で区切位置を検出したとしても、その方法の違いによる補正をせずに、区切位置の規則性の評価をすることができる。
【００４７】
このように、連続する歌唱音声に母音のみの音が含まれることで、期間特定部１０７ａにおいて音量レベルだけを用いて検出できない区切位置（音符期間の開始時点）があったとしても、ＳＮ比を用いることで、その区切位置を検出することができる。なお、ＳＮ比を用いた区切位置の検出の際に、音量レベルを用いた区切位置の検出については、必ずしも併用する必要はない。期間特定部１０７ａは、特徴量検出部１０３において検出された特徴量に含まれる歌唱音声の周波数のみに基づいて、音符期間の開始時点を特定することができる。この場合、期間特定部１０７ａは、ある音符期間の直後の音符期間の開始時点を直前の音符期間の終了時点として特定しもよい。また、期間特定部１０７ａは、音符期間の開始時点後において、最小値ＳＮｍが検出された時点を該音符期間の終了時点として特定してもよい。
【００４８】
尚、連続する歌唱音声に母音のみの音が含まれることで、期間特定部１０７ａにおいて音量レベルだけを用いて検出できない区切位置（音符期間の開始時点）がある場合、母音の倍音比率を用いることで、その区切位置を検出してもよい。母音の倍音比率は、図９に示したＳＮ比の時間的な変化と同様に変化する。即ち、母音の倍音比率は各音の開始点では低く（基音に対する倍音比率が低く）、その後、急激に増加するという傾向を有している。したがって、期間特定部１０７ａは、母音の倍音比率を用いて音符期間の開始時点を検出することもできる。
【００４９】
＜第２実施形態＞
以上に述べた採譜機能１００によって特定された歌唱音声を構成する各音に対応する音符期間は、歌唱の評価基準（リファレンス）の生成に用いることができる。図１に示した音採譜装置１０において実現される機能には、以上に述べた歌唱の採譜機能１００、１００ａに加え、採譜機能１００、１００ａによって特定された音符期間に基づいて評価基準を用いた歌唱の評価機能が含まれてもよい。以下に、音採譜装置１０の制御部１１が記憶部１３に記憶された制御プログラム１３ａを実行することによって実現される評価機能２００について説明する。評価機能２００を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。
【００５０】
図１０は、本発明の第２の実施形態における評価機能２００の構成を示すブロック図である。尚、音採譜装置１０の制御プログラム１３ａには、第１の実施形態において説明した採譜機能１００、１００ａも含まれる。図１０においては、採譜機能１００が含まれている例を示しているが、採譜機能１００ａが含まれていてもよい。図１０において、図２と同じ又は類似の構成については、同一の参照符号を付与し、重複する説明を省略する。
【００５１】
図１０を参照すると、評価機能２００は、入力音取得部２０１、特徴量取得部２０３、基準データ取得部２０５、比較部２０７、及び評価部２０９を含む。評価機能１００は、採譜機能１００において生成された歌唱音声の音符期間を示す時系列のデータ、及び前記音符期間を示す時系列のデータに関連付けられた歌唱音声における各フレームの平均ピッチに当てはまるグリッドに対応するピッチを示す時系列のデータを評価基準として、採譜機能１００において音符期間の特定に用いられた歌唱音声とは異なる歌唱音声を評価する。
【００５２】
評価機能２００における入力音取得部２０１は、入力された歌唱音声に対応する歌唱音声データを取得する。本実施形態では、伴奏音が出力されている期間における音入力部２３への入力音を、評価対象の歌唱音声として認識する。なお、本実施形態では、入力音取得部２０１は、記憶部１３に記憶された歌唱音声データ１３ｃを取得するが、信号処理部２１から直接取得するように構成してもよい。また、入力音取得部２０１は、音入力部２３への入力音を示す歌唱音声データを取得する場合に限らず、外部装置への入力音を示す歌唱音声データを、通信部１９によりネットワーク経由で取得してもよい。入力音取得部２０１は、取得した歌唱音声データを特徴量取得部２０３に伝達する。
【００５３】
特徴量取得部２０３は、入力音取得部２０１によって取得された歌唱音声データに対して、歌唱音声のピッチや音量などを含む特徴量を時系列に検出する。特徴量取得部２０３は、ピッチの算出は、歌唱音声の波形のゼロクロスを用いた方法やフーリエ解析など、その他の公知の方法を用いて算出することができる。特徴量取得部２０３は、時系列に検出したピッチや音量など含む特徴量を比較部２０７に伝達する。
【００５４】
基準データ取得部２０５は、採譜機能１００におけるピッチ分類部１０５によって生成された歌唱音声における各フレームの平均ピッチに当てはまるグリッドに対応するピッチを示す時系列のデータと、期間特定部１０７によって特定された音符期間を示す時系列のデータを記憶部１３から取得する。基準データ取得部２０５は、歌唱音声の音符期間を示す時系列のデータ、及び前記音符期間を示す時系列のデータに関連付けられた歌唱音声における各フレームの平均ピッチに当てはまるグリッドに対応するピッチを示す時系列のデータを評価基準として比較部２０７に出力する。
【００５５】
比較部２０７は、特徴量取得部２０３から取得した特徴量を示すデータと、基準データ取得部２０５から取得した評価基準とを比較する。比較部２０７は、比較結果を評価部２０９に出力する。評価部２０９は、比較部２０７から出力された比較結果に基づいて、歌唱音の評価の指標となる評価値を算出する。評価部２０９は、歌唱者による歌唱音の特徴量を示すデータと対応する評価基準との一致度が高いほど評価値を高く算出し、不一致度が高いほど評価値を低く算出する。
【００５６】
＜第３実施形態＞
以上に第２の実施形態では、採譜機能１００、１００ａにおいて生成された評価基準（歌唱音声の音符期間を示す時系列のデータ、及び前記音符期間を示す時系列のデータに関連付けられた歌唱音声における各フレームの平均ピッチに当てはまるグリッドに対応するピッチを示す時系列のデータ）を評価機能２００における歌唱音声の評価に用いた。しかし、音採譜装置１０の評価機能２００における歌唱の評価には、複数の音採譜装置１０において生成された音符期間を示すデータが統計処理されることにより生成された統計的な評価基準が用いられてもよい。
【００５７】
［データ処理システムの構成］
図１１は、本発明の第３の実施形態におけるデータ処理システムの構成を示すブロック図である。データ処理システム１０００は、音採譜装置１０、データ処理装置２０、およびデータベース３０を備える。これらの各構成は、インターネット等のネットワーク４０を介して接続されている。音採譜装置１０は、第１の実施形態における音採譜装置１０と同じであるため、詳細な説明は省略する。データ処理システム１０００では、複数の楽採譜装置１０がネットワーク４０に接続されている。それぞれの音採譜装置１０は、例えば、カラオケ装置であり、この例では歌唱評価が可能なカラオケ装置である。なお、音採譜装置１０は、スマートフォン等の端末装置であってもよい。
【００５８】
本実施形態では、複数の音採譜装置１０のそれぞれにおいて歌唱音声が入力され、歌唱音声に基づいて特徴量が検出されて、検出された特徴量に基づき、入力された歌唱音声を構成する各音の音符期間が特定される。同様に、複数の音採譜装置１０のそれぞれにおいて歌唱音声のピッチに基づいて、該歌唱音声における各フレームの平均ピッチに当てはまるグリッドに対応するピッチを示す時系列のデータが生成される。この歌唱音声の音符期間を示すデータとピッチを示す時系列のデータとは、いったん各音採譜装置１０の記憶部１３に互いに関連付けられて記憶された後、楽曲を識別する識別子と共にネットワーク４０を介してデータベース３０に送信され、音符期間データ３０ａ、ピッチ分布データ３０ｂとしてそれぞれ登録される。このとき、音符期間を示すデータとピッチを示す時系列のデータとのデータベース３０への送信は、データ処理装置２０を経由して行われてもよい。また、このとき、楽曲を識別する識別子は、音採譜装置１０の記憶部１３に記憶された楽曲データ１３ｂから取得されてもよい。音符期間データ３０ａ及びピッチ分布データ３０ｂは、ネットワーク４０を通じてデータ処理装置２０に伝達され、統計的な音符期間及び統計的なピッチを算出するために、データ処理装置２０において統計処理される。データ処理装置２０で算出された統計的な音符期間及び統計的なピッチは、データベース３０の音符データ３０ｃ、ピッチデータ３０ｄとしてそれぞれ登録される。
【００５９】
音符データ３０ｃは、複数の歌唱音声の音符期間を示すデータについての統計処理の結果を示すデータである。例えば、音符データ３０ｃとしては、過去に歌唱された複数の歌唱音声について、それぞれの音符期間データ３０ａを用いて統計処理を行い、その結果得られた、歌唱音声を構成する各音の音符期間のタイミングの分布を示すデータを用いることができる。また、音符データ３０ｃには、分布から算出することが可能な各種統計値を含めることができ、例えば散布度（標準偏差、分散）や代表値（最頻値、中央値、平均値）などを含めることができる。この音符データ３０ｃが、歌唱音声の評価における、歌唱音声を構成する各音の音符期間の評価基準となる。
【００６０】
ピッチデータｄは、複数の歌唱音声のピッチを示す時系列のデータについての統計処理の結果を示すデータである。例えば、ピッチデータ３０ｄとしては、過去に歌唱された複数の歌唱音声について、それぞれのピッチ分布データ３０ｂを用いて統計処理を行い、その結果得られた、歌唱音声を構成する各音のピッチの分布を示す時系列のデータを用いることができる。また、ピッチデータ３０ｄには、分布から算出することが可能な各種統計値を含めることができ、例えば代表値（最頻値）などを含めることができる。ピッチデータ３０ｄは、時系列なデータであり、歌唱音声の評価における、歌唱音声を構成する各音のピッチの評価基準となる。ここで、ピッチデータ３０ｄにおける歌唱音声を構成する各音のピッチのタイミングと、対応する音符データ３０ｃの各音の音符期間にズレが生じる場合、所定の時間以内のズレであれば無視できるものとする。該所定時間は、例えば、前述したロック時間に対応する長さであってもよい。
【００６１】
本実施形態では、データ処理装置２０が、複数の音採譜装置１０から伝達された複数の音符期間データ３０ａ及びピッチ分布データ３０ｂの統計処理を行う例を示している。しかしながら、本実施形態はこの態様に限定されるわけではなく、音採譜装置１０で行われる処理の一部がデータ処理装置２０で行われてもよい。例えば、データ処理装置２０は、複数の音採譜装置１０からピッチを含む特徴量を時系列に示す複数の特徴量データを取得し、取得したピッチを含む特徴量を時系列に示すデータを統計処理して、音採譜装置１０の期間特定部１０７、１０７ａと同様の処理を行って音符データ３０ｃ及びピッチデータ３０ｄを算出してもよい。
【００６２】
以上のように、データベース３０には、各音採譜装置１０またはデータ処理装置２０において歌唱音声から生成された音符データ３０ｃ及びピッチデータ３０ｄが、楽曲ごと（例えば歌唱音声に関連する楽曲を識別する識別子ごと）に関連付けられて登録される。このように、複数の歌唱音声から特定された音符期間を統計処理すると、より精度の高い音符期間を特定することができる。また、各音採譜装置１０から音符期間を示すデータ及びピッチを示す時系列のデータを新たに取得し、データベースに保存されたデータとともに再度データ処理装置２０で統計処理を行うことによって、データベース３０に登録された楽曲について音符データ３０ｃ及びピッチデータｄの更新を行うことができる。また、データ処理装置２０は、各音採譜装置１０における評価機能２００によって高評価された歌唱音声データに基づいて特定された音符期間を示すデータに加重値を付与して統計処理することもできる。このとき、データ処理装置２０は、特に得点の高いに対応する音符期間を示すデータだけを選択して統計処理してもよい。
【００６３】
なお、図１１では、データ処理装置２０とデータベース３０とがネットワーク４０を介して接続される構成を示しているが、これに限らず、データベース３０がデータ処理装置２０に対して直接的に接続された構成としてもよい。また、データベース３０には、音符期間データ３０ａだけでなく、その元となった歌唱音声データも登録してあってもよい。
【００６４】
［データ処理装置の構成］
図１１に示すように、データ処理装置２０は、制御部２１、記憶部２３、および通信部２５を含む。制御部２１は、ＣＰＵなどの演算処理回路を含む。制御部２１は、記憶部２３に記憶された制御プログラム２３ａをＣＰＵにより実行して、各種機能をデータ処理装置２０において実現する。実現される機能には、歌唱音声の音符期間に対して統計処理を行い、歌唱音声の評価基準となる音符期間データを生成する機能（評価基準生成機能）が含まれる。
【００６５】
記憶部２３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部２３は、評価基準生成機能を実現するための制御プログラム２３ａを記憶する。制御プログラム２３ａは、コンピュータにより実行可能であればよく、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、データ処理装置２０は、記録媒体を読み取る装置を備えていればよい。また、制御プログラム２３ａは、ネットワーク４０を経由して外部サーバ等からダウンロードされてもよい。通信部２５は、制御部２１の制御に基づいて、ネットワーク４０に接続して、ネットワーク４０に接続された外部装置と情報の送受信を行う。
【００６６】
本発明の第２の実施形態の説明において述べた評価機能２００において、歌唱を評価する場合、評価機能２００の基準データ取得部２０５はデータ処理装置２０で特定された音符データ３０ｃ及びピッチデータ３０ｄを用いてもよい。このとき、互いに関連付けられた音符データ３０ｃ及びピッチデータ３０ｄは、データベース３０からネットワーク４０を介してダウンロードされて、音採譜装置１０の通信部１９で受信される。通信部１９で受信された音符データ３０ｃ及びピッチデータ３０ｄは、基準データ取得部２０５に伝達される。また、受信された音符データ及びピッチデータ３０ｄは、記憶部１３に記憶されてもよい。音符データ３０ｃ及びピッチデータ３０ｄは、音採譜装置１０の評価機能２００で評価される歌唱に関連付けられたものを取得する。すなわち、入力音取得部２０１で取得された歌唱音声に関連した楽曲に関連付けられた音符データ３０ｃ及びピッチデータ３０ｄを取得する。この関連付けは、例えば楽曲を識別する識別子を用いて行うことができる。この場合、楽曲を識別する識別子は、入力音２０１において取得すればよい。
【００６７】
以上に述べた採譜機能１００において、入力音取得部１０３によって取得される歌唱音声データが示す音は、歌唱者による音声に限られず、歌唱合成による音声であってもよいし、楽器音であってもよい。楽器音である場合には、単音演奏であることが望ましい。なお、楽器音である場合には、子音および母音の概念が存在しないが、演奏方法によっては、各音の発音の開始点において歌唱と同様な傾向を有する。したがって、楽器音においても同様の判定ができる場合もある。
【００６８】
本発明の実施形態として説明した構成を基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったもの、又は、工程の追加、省略もしくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
【００６９】
また、上述した実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされると解される。
【符号の説明】
【００７０】
１０…音採譜装置、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…通信部、２１…信号処理部、２３…音入力部、２５…音出力部、１００…採譜機能、１０１…入力音取得部、１０３…特徴量検出部、１０５…ピッチ分類部、１０７、１０７ａ…期間特定部、１１１…伴奏出力部、２００…評価機能、２０１…入力音取得部、２０３…特徴量取得部、２０５…基準データ取得部、２０７…比較部、２０９…評価部、１０００…データ処理システム、２０…データ処理装置、２１…制御部、２３…記憶部、２３ａ…制御プログラム、２５…通信部、３０…データベース、３０ａ…音符期間データ、３０ｂ…ピッチ分布データ、３０ｃ…音符データ、３０ｄ…ピッチデータ、４０…ネットワーク
【図１】
2017129787.tif 000003
【図２】
2017129787.tif 000004
【図３】
2017129787.tif 000005
【図４】
2017129787.tif 000006
【図５】
2017129787.tif 000007
【図６】
2017129787.tif 000008
【図７】
2017129787.tif 000009
【図８】
2017129787.tif 000010
【図９】
2017129787.tif 000011
【図１０】
2017129787.tif 000012
【図１１】
2017129787.tif 000013