(57)【要約】【課題】裏声に表声を混ぜる発声法を客観的に評価する技術を提供する。【解決手段】予め取得された被験者及び被験者以外の発声者の少なくとも一方の表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データにより学習が行われる評価部５２と、マイクロフォン２４から入力される音声情報における基本波及び複数の高調波を抽出する抽出部６０とを備え、その抽出部６０により抽出される基本波及び複数の高調波に基づく評価データを計算式７０に入力させ、その計算式７０から出力される値を前記音声情報における表声及び裏声の第１融合率として算出するものであることから、自分が出した声において表声と裏声とがどれほどの割合で混ざっているのかを実用的な処理により簡便に把握することができる。【選択図】図３
2014130227.tif 000002
【特許請求の範囲】
【請求項１】
音声入力装置から入力される音声情報に基づいて発声の評価を行う発声評価装置であって、
予め取得された被験者及び被験者以外の発声者の少なくとも一方の表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データにより学習が行われる評価部と、
前記音声入力装置から入力される音声情報における基本波及び複数の高調波を抽出する抽出部とを備え、
前記評価部は、該抽出部により抽出される基本波及び複数の高調波に基づく評価データに基づいて、前記音声情報における表声及び裏声の第１融合率を算出する
ものであることを特徴とする発声評価装置。
【請求項２】
前記評価部は、前記音声入力装置から入力される音声情報において前記抽出部により抽出される前記基本波の周波数の変化に応じて、該音声情報に対応して算出される前記第１融合率の変化の滑らかさに基づいて、前記音声情報における表声及び裏声の切り換えを評価するものである請求項１に記載の発声評価装置。
【請求項３】
表声及び裏声をそれぞれ歌い分ける第１の歌唱法について、前記音声入力装置から入力される音声情報における基本波及び複数の高調波に基づいて決定される第２融合率に基づいて、前記音声情報における表声及び裏声の歌い分けを評価する第２評価部を備え、
前記評価部は、前記第２評価部により評価された前記第１の歌唱法における表声に対応する前記第１音声情報及び裏声に対応する前記第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データを含む前記学習データにより学習が行われるものであり、
前記評価部は、表声と裏声との間で連続的に変化させた第２の歌唱法について、前記音声入力装置から入力される音声情報において前記抽出部により抽出される前記基本波の周波数の変化に応じて、該音声情報に対応して算出される前記第１融合率の変化の滑らかさに基づいて、前記音声情報における表声及び裏声の切り換えを評価するものである
請求項２に記載の発声評価装置。
【請求項４】
前記学習データは、前記第１音声情報及び前記第２音声情報それぞれにおける前記複数の高調波の強度を前記基本波の強度で除した値であり、
前記評価データは、前記音声入力装置から入力される音声情報において前記抽出部により抽出される前記複数の高調波の強度を前記基本波の強度で除した値である
請求項１から請求項３の何れか１項に記載の発声評価装置。
【請求項５】
音声入力装置から入力される音声情報に基づいて発声の評価を行う発声評価方法であって、
前記音声入力装置から入力される音声情報における基本波及び複数の高調波を抽出する抽出過程と、
予め取得された被験者及び被験者以外の発声者の少なくとも一方の表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データにより学習が行われる評価部に、前記抽出過程において抽出される基本波及び複数の高調波に基づく評価データを入力させ、前記評価部から出力される値を前記音声情報における表声及び裏声の第１融合率として算出する算出過程と
を、含むことを特徴とする発声評価方法。
【請求項６】
音声入力装置から入力される音声情報に基づいて発声の評価を行う発声評価装置に備えられた制御装置に、
前記音声入力装置から入力される音声情報における基本波及び複数の高調波を抽出する抽出ステップと、
予め取得された被験者及び被験者以外の発声者の少なくとも一方の表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データにより学習が行われた評価部に、前記抽出ステップにおいて抽出される基本波及び複数の高調波に基づく評価データを入力させ、前記評価部から出力される値を前記音声情報における表声及び裏声の第１融合率として算出する算出ステップと
を、実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発声評価装置、発声評価方法、及びプログラムに関し、特に、裏声に表声を混ぜる発声法を評価するための改良に関する。
【背景技術】
【０００２】
声楽における歌唱技法にファルセット（falsetto）があり、邦楽における裏声に相当する。近年、ポピュラー音楽の歌手（アーティスト）にもこの裏声を用いて高音部を歌唱する歌手が増えてきており、歌手を志す者やカラオケが上手くなりたい者等にとってはその習得が望まれる。そこで、音声における表声と裏声とを識別する技術が提案されている（例えば、非特許文献１を参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】小島俊、外４名、「歌声における裏声と地声を識別するための音響特徴量の検討」、信学技報、一般社団法人電子情報通信学会、平成２４年１０月２７日、１１２（２６６）、ｐ．６７−７２
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、単に裏声を出すのではなく、裏声に表声を混ぜて発声することにより、地声で歌う部分との繋ぎ目を感じさせない歌い方がある。従って、表声及び裏声をそれぞれ自在に発声できるようになった後、次なるステップとして裏声に表声を混ぜて発声する歌唱法の習得が望まれるが、前記従来の技術のように裏声と表声を明確に識別する技術では、裏声に表声を混ぜて発声する歌唱法による音声が裏声及び表声の何れかとして判定されてしまう。音程（ピッチ）を変化させつつ裏声と表声とを切り換える発声を行い、その切り換えが上手くできているか否か等を評価すること等は前記従来の技術ではできなかった。
【０００５】
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、裏声に表声を混ぜる発声法を客観的に評価する発声評価装置、発声評価方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
斯かる目的を達成するために、本第１発明の要旨とするところは、音声入力装置から入力される音声情報に基づいて発声の評価を行う発声評価装置であって、予め取得された被験者及び被験者以外の発声者の少なくとも一方の表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データにより学習が行われる評価部と、前記音声入力装置から入力される音声情報における基本波及び複数の高調波を抽出する抽出部とを備え、前記評価部は、その抽出部により抽出される基本波及び複数の高調波に基づく評価データに基づいて、前記音声情報における表声及び裏声の第１融合率を算出することを特徴とするものである。
【発明の効果】
【０００７】
このように、前記第１発明によれば、予め取得された被験者及び被験者以外の発声者の少なくとも一方の表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データにより学習が行われる評価部と、前記音声入力装置から入力される音声情報における基本波及び複数の高調波を抽出する抽出部とを備え、前記評価部は、その抽出部により抽出される基本波及び複数の高調波に基づく評価データに基づいて、前記音声情報における表声及び裏声の第１融合率を算出するものであることから、自分が出した声において表声と裏声とがどれほどの割合で混ざっているのかを実用的な処理により簡便に把握することができる。すなわち、裏声に表声を混ぜる発声法を客観的に評価する発声評価装置を提供することができる。
【０００８】
前記第１発明に従属する本第２発明の要旨とするところは、前記評価部は、前記音声入力装置から入力される音声情報において前記抽出部により抽出される前記基本波の周波数の変化に応じて、その音声情報に対応して算出される前記第１融合率の変化の滑らかさに基づいて、前記音声情報における表声及び裏声の切り換えを評価するものである。このようにすれば、歌声のピッチを変化させつつ裏声と表声とを切り換える発声を行い、その切り換えが上手くできているか否か等を好適に評価することができる。
【０００９】
前記第２発明に従属する本第３発明の要旨とするところは、表声及び裏声をそれぞれ歌い分ける第１の歌唱法について、前記音声入力装置から入力される音声情報における基本波及び複数の高調波に基づいて決定される第２融合率に基づいて、前記音声情報における表声及び裏声の歌い分けを評価する第２評価部を備え、前記評価部は、前記第２評価部により評価された前記第１の歌唱法における表声に対応する前記第１音声情報及び裏声に対応する前記第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データを含む前記学習データにより学習が行われるものであり、前記評価部は、表声と裏声との間で連続的に変化させた第２の歌唱法について、前記音声入力装置から入力される音声情報において前記抽出部により抽出される前記基本波の周波数の変化に応じて、その音声情報に対応して算出される前記第１融合率の変化の滑らかさに基づいて、前記音声情報における表声及び裏声の切り換えを評価するものである。このようにすれば、自分が出した表声及び裏声を前記モデルの学習データに用いることで、自分が出した声において表声と裏声とがどれほどの割合で混ざっているのかを更に好適に評価することができる。
【００１０】
前記第１発明乃至第３発明の何れかに従属する本第４発明の要旨とするところは、前記学習データは、前記第１音声情報及び前記第２音声情報それぞれにおける前記複数の高調波の強度を前記基本波の強度で除した値であり、前記評価データは、前記音声入力装置から入力される音声情報において前記抽出部により抽出される前記複数の高調波の強度を前記基本波の強度で除した値である。このようにすれば、自分が出した声において表声と裏声とがどれほどの割合で混ざっているのかを実用的なモデルを用いて簡便に把握することができる。
【００１１】
前記目的を達成するために、本第５発明の要旨とするところは、音声入力装置から入力される音声情報に基づいて発声の評価を行う発声評価方法であって、前記音声入力装置から入力される音声情報における基本波及び複数の高調波を抽出する抽出過程と、予め取得された被験者及び被験者以外の発声者の少なくとも一方の表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データにより学習が行われる評価部に、前記抽出過程において抽出される基本波及び複数の高調波に基づく評価データを入力させ、前記評価部から出力される値を前記音声情報における表声及び裏声の第１融合率として算出する算出過程とを、含むことを特徴とする。このようにすれば、自分が出した声において表声と裏声とがどれほどの割合で混ざっているのかを実用的な処理により簡便に把握することができる。すなわち、裏声に表声を混ぜる発声法を客観的に評価する発声評価方法を提供することができる。
【００１２】
前記目的を達成するために、本第６発明の要旨とするところは、音声入力装置から入力される音声情報に基づいて発声の評価を行う発声評価装置に備えられた制御装置に、前記音声入力装置から入力される音声情報における基本波及び複数の高調波を抽出する抽出ステップと、予め取得された被験者及び被験者以外の発声者の少なくとも一方の表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データにより学習が行われた評価部に、前記抽出ステップにおいて抽出される基本波及び複数の高調波に基づく評価データを入力させ、前記評価部から出力される値を前記音声情報における表声及び裏声の第１融合率として算出する算出ステップとを、実行させることを特徴とするプログラムである。このようにすれば、自分が出した声において表声と裏声とがどれほどの割合で混ざっているのかを実用的な処理により簡便に把握することができる。すなわち、裏声に表声を混ぜる発声法を客観的に評価するプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施例である発声評価装置の構成を例示するブロック図である。
【図２】本実施例の発声評価の前提となる発声訓練方法（手順）について説明する図である。
【図３】図１の発声評価装置のＣＰＵに備えられた制御機能の要部を説明する機能ブロック線図である。
【図４】母音「あ」で上行、下行音階を発声した場合のピッチを時間毎にプロットした図である。
【図５】図４に示すものと同じ音声に対して複数の高調波成分のスペクトル重心を基本周波数で除した値を時間毎にプロットした図である。
【図６】図１の発声評価装置による評価結果である、男性による「え」の発声の上昇音階に係る基本波の周波数と第１融合率との関係の一例を示す図である。
【図７】図１の発声評価装置による評価結果である、男性による「え」の発声の上昇音階に係る基本波の周波数と第１融合率との関係の一例を示す図である。
【図８】図１の発声評価装置による評価結果である、男性による「え」の発声の上昇音階に係る基本波の周波数と第１融合率との関係の一例を示す図である。
【図９】図１の発声評価装置による評価結果である、女性による「え」の発声の上昇音階に係る基本波の周波数と第１融合率との関係の一例を示す図である。
【図１０】図１の発声評価装置による評価結果である、女性による「え」の発声の上昇音階に係る基本波の周波数と第１融合率との関係の一例を示す図である。
【図１１】図１の発声評価装置による評価結果である、女性による「え」の発声の上昇音階に係る基本波の周波数と第１融合率との関係の一例を示す図である。
【図１２】図６に示す音声に対応する基本波の周波数と第２融合率との関係を示す図である。
【図１３】図７に示す音声に対応する基本波の周波数と第２融合率との関係を示す図である。
【図１４】図８に示す音声に対応する基本波の周波数と第２融合率との関係を示す図である。
【図１５】図９に示す音声に対応する基本波の周波数と第２融合率との関係を示す図である。
【図１６】図１０に示す音声に対応する基本波の周波数と第２融合率との関係を示す図である。
【図１７】図１１に示す音声に対応する基本波の周波数と第２融合率との関係を示す図である。
【図１８】図１の発声評価装置のタッチパネルディスプレイに表示される評価結果の一例である評価結果画面を示す図である。
【図１９】図１の発声評価装置のＣＰＵによる発声評価制御の一例の要部を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。
【実施例】
【００１５】
図１は、本発明の一実施例である発声評価装置１０の構成を例示するブロック図である。この図１に示すように、本実施例の発声評価装置１０は、ＣＰＵ１２と、ＲＯＭ１４と、ＲＡＭ１６とを、備えている。このＣＰＵ１２は、発声評価装置１０における中央演算処理装置である。ＲＯＭ１４は、読出専用メモリである。ＲＡＭ１６は、随時書込読出メモリである。発声評価装置１０は、例えばよく知られたメモリカード等の記憶部１８を備えている。発声評価装置１０は、電波によりインターネット等の通信回線との間で通信を行う通信部２０を備えている。発声評価装置１０は、スピーカ２２と、マイクロフォン２４と、Ａ／Ｄコンバータ２６とを、備えている。マイクロフォン２４は、音声入力装置である。Ａ／Ｄコンバータ２６は、マイクロフォン２４から入力された音声をディジタル信号に変換するための装置である。発声評価装置１０は、タッチパネルディスプレイ２８を備えている。タッチパネルディスプレイ２８は、画像（映像）を表示させる表示装置３０と、利用者の指や備え付けのペン等による接触に応じて発声評価装置１０への入力を行うタッチパネル３２とを、備えている。
【００１６】
本実施例の発声評価装置１０は、好適には、タッチパネルディスプレイ２８を備えると共に、タッチパネルディスプレイ２８を介しての操作に応じたインターネットへのアクセス機能をはじめとする各種機能を有する携帯電話機すなわち所謂スマートフォンに、本発明の一実施例であるプログラム（アプリケーションソフトウェア：携帯アプリ）がインストールされたものである。ＣＰＵ１２、ＲＯＭ１４、及びＲＡＭ１６等と同等の構成を備えた一般的なパーソナルコンピュータ、タブレット端末、携帯型音楽プレイヤ、コンシューマゲーム機等に本発明の一実施例であるプログラムがインストールされたものであってもよい。ＭＩＤＩ（Musical Instrument Digital Interface）音源及びアンプミキサ等の構成を備え、多数の演奏曲のうちから選択される演奏曲を出力させると共にマイクロフォンにより入力される音声を増幅して出力させるカラオケ装置に本発明が適用されるものであってもよい。必ずしも通信部１８等の通信機能を備えなくともよい。発声評価を行うが、例えば録音された利用者の歌唱データ等の音声出力を行わない態様の発声評価装置においては、スピーカ２２は必ずしも設けられなくともよい。
【００１７】
マイクロフォン２４は、人の発声する音声等の音響（振動）を電気信号に変換する装置（電気音響変換器）である。このマイクロフォン２４は、好適には、携帯電話機等に備えられて例えば気導音を拾う一般的なマイクロフォンが用いられる。好適には、人の咽喉部に接触させたパッチ状の振動ピックアップにより例えば固体伝導音を拾うマイクロフォンが用いられてもよい。Ａ／Ｄコンバータ２６は、マイクロフォン２４から入力されるアナログ信号としての音声情報をディジタル信号に変換してＣＰＵ１２等に供給する。
【００１８】
発声評価装置１０は、ＣＰＵ１２によりＲＡＭ１６の一時記憶機能を利用しつつＲＯＭ１４に予め記憶されたプログラムに従って信号処理を行う。すなわち、発声評価装置１０は、所謂マイクロコンピュータ（電子制御装置）を含んで構成されている。斯かる構成により、ＣＰＵ１２は、後述する本実施例の発声評価制御に係る各種制御を実行する。
【００１９】
図２は、本実施例の発声評価の前提となる発声訓練方法（手順）について説明する図である。図２に示すように、本実施例は、第１段階「Stage.1」から第６段階「Stage.6」までの複数段階それぞれにおいて異なる声の出し方を訓練する発声訓練方法を前提としている。第１段階「Stage.1」においては、裏声と表声とをはっきりと分けて発声する訓練が行われる。音の高さ（音階）は所定の音階に固定される。第２段階「Stage.2」においては、裏声と表声とをはっきりと分けて、様々な音階の音を発声する訓練が行われる。第３段階「Stage.3」においては、裏声と表声とをはっきりと分けて、それぞれで簡単なメロディの曲を歌う訓練が行われる。第４段階「Stage.4」においては、裏声と表声とを切り換えつつ、その両方の間を行き来する訓練が行われる。第５段階「Stage.5」においては、裏声と表声とを混ぜて発声し、換声点すなわち発声時における表声と裏声との変わり目で起こる急激な声区の転換を目立たなくする訓練が行われる。第６段階「Stage.6」においては、裏声と表声とを混ぜて発声し、両方の声を強めて一体化した声を出す訓練が行われる。
【００２０】
図２に示すように、第４段階「Stage.4」は、更に複数の段階として例えば「Stage.4a」、「Stage.4b」、「Stage.4c」に区分される。「Stage.4a」は、裏声と表声との切り換えはできているが、その切り換えがはっきりしており裏声と表声とが切り換えられたことがはっきりとわかる発声に相当する。「Stage.4b」は、裏声と表声との切り換えが行われる際に、裏声と表声とを多少混ぜて出せている発声に相当する。「Stage.4c」は、裏声と表声との切り換えが行われる際に、裏声と表声とをかなり混ぜて出せている発声に相当する。本実施例において、以下に詳述する図３に示す評価部５２は、第４段階「Stage.4」における表声及び裏声の切り換えを評価する。第２評価部５４は、「Stage.3」等において表声及び裏声の歌い分け、すなわち裏声と表声とをはっきりと分けて出せているかを評価する。
【００２１】
図３は、発声評価装置１０のＣＰＵ１２に備えられた制御機能の要部を説明する機能ブロック線図である。図３に示す録音部５０、評価部５２、第２評価部５４、及び表示制御部５６は、好適には、何れもＣＰＵ１２に機能的に備えられたものである。すなわち、ＣＰＵ１２は、ＲＯＭ１４等に記憶された本実施例のプログラムを実行することで、図３に示す録音部５０、評価部５２、第２評価部５４、及び表示制御部５６として機能させられる。録音部５０、評価部５２、第２評価部５４、及び表示制御部５６は、それぞれ個別の制御部として構成されると共に相互に情報の通信を行うことで以下に詳述する各種機能を実行するものであってもよい。評価部５２に含まれる抽出部６０が、評価部５２とは別の制御部として構成されると共に相互に情報の通信を行うことで以下に詳述する各種機能を実行するものであってもよい。第２評価部５４は、必ずしも本実施例の発声評価装置１０に備えられたものでなくともよい。
【００２２】
録音部５０は、マイクロフォン２４により入力された音声情報を録音する。例えば、そのマイクロフォン２４により入力され、Ａ／Ｄコンバータ２６を介してディジタル信号に変換された音声情報を、記憶部１８等に形成された音声データベース３８に記憶（蓄積）する。例えば、ＡＶＩ（Audio-Video Interleaved）形式のファイルやＷＡＶＥサウンドファイル等、所定形式の音声ファイルとして各ファイルに固有の識別情報を付して記憶する。録音部５０による録音乃至音声データベース３８への記憶の態様としては、マイクロフォン２４から入力される音声が途切れる毎（所定時間以上、音声が入力されない期間が生じる毎）に新たな音声ファイルとして記憶するものであってもよいし、予め定められた一定時間にマイクロフォン２４から入力された音声に対応する音声情報を１単位の音声ファイルとして記憶するものであってもよい。好適には、マイクロフォン２４により入力された音声情報を、発声主体である利用者（発声評価装置１０による評価対象となる利用者）毎に、その利用者の識別情報と対応付けて音声データベース３８に記憶する。
【００２３】
発声評価装置１０による発声評価に際して、録音部５０による録音の対象となる利用者（発声主体）の声は、好適には、表声と裏声とが少なくとも１回は切り換えられる（好適にはそれぞれ１回以上繰り返される）発声に相当するものとされる。この表声と裏声との切り換えには、両者がはっきりと切り換えられるものばかりでなく、例えば図２に示す段階「Stage.4c」のように、その切り換え箇所において表声と裏声とが混ざる発声を含む。録音部５０による録音の対象となる利用者の声は、マイクロフォン２４から入力される利用者の音声に相当する。すなわち、抽出部６０による抽出の対象、延いては評価部５２乃至第２評価部５４による評価の対象となる音声情報に対応する発声に相当する。録音部５０による録音の対象となる発声は、好適には、「あ」や「え」の発声を伸ばしたり上下降音階として発声する等、単一の母音に対応する発声において表声と裏声とを出し分けるものであることが好ましい。好適には、例えば既定の課題曲（単純なメロディ）を歌唱する等、子音を含むものであってもよい。
【００２４】
本実施例の評価部５２は、抽出部６０を含む。抽出部６０は、マイクロフォン２４から入力される音声情報における基本波及び複数の高調波を抽出する。好適には、音声データベース３８に記憶された音声情報から所定区間（例えば、予め定められた一定時間に相当する区間）のデータを読み出す。そして、その読み出されたデータに関して音声分析を行うことで基本波（フーリエ変換の結果得られる最も低い周波数に対応する成分）及び複数の高調波（基本波の周波数の整数倍周波数に対応する成分）を抽出する。斯かる制御を行うために、抽出部６０は、音声分析部６２、声帯信号スペクトル推定部６４、及び特徴量抽出部６６を備えている。以下、各制御部による処理について分説する。抽出部６０は、評価部５２とは別の制御部として設けられていてもよい。
【００２５】
音声分析部６２は、マイクロフォン２４から入力される音声情報に関して、所定のアルゴリズムに基づく音声分析を行う。例えば、音声分析手法として一般的に用いられるＬＰＣ（Linear Predictive Coding：線形予測符号）分析或いはケプストラム（Cepstrum）分析等により対象となる音声情報の音声解析を行う。好適には、音声データベース３８に記憶された音声情報から所定区間のデータを読み出し、そのデータに関してＬＰＣ分析或いはケプストラム分析等の音声分析を行うことにより、対象となる音声情報から基本波の周波数（以下、基本周波数という）及び声道特性を推定する。この声道特性とは、発声主体である人毎に固有の値をとるものであり、フォルマント（formant：声道内の空気や共鳴周波数に対応する倍音群）と呼ばれる。すなわち、音声分析部６２は、好適には、対象となる音声情報の基本周波数をはじめとする各種情報を推定するものであり、例えば、声道特性に対応するフォルマント周波数、基本周波数（ピッチ情報）、音量（声量）に対応する信号強度、及び有声音乃至無声音の判別に係る情報等の推定（抽出）を行う。
【００２６】
また、音声から発声者毎に固有の声道特性（フォルマント）を除去し、その声道特性が除去された声帯音源波を解析することで、対象となる音声における表声及び裏声の好適な判別が可能となる。
【００２７】
声帯信号スペクトル推定部６４は、録音部５０により録音された音声情報から、音声分析部６２により推定された声道特性を除去した信号のスペクトルを推定する。好適には、音声データベース３８から読み出された所定区間のデータに関して、音声分析部６２により推定された声道特性を、そのデータから除去して得られる信号のスペクトルを推定する。例えば、ＬＰＣ分析においては、音声分析部６２により推定された声道特性（周波数伝達特性）の逆フィルタを構成する。そして、対象となる音声情報を斯かる逆フィルタに通して残差信号を得た後、その残差信号のフーリエ変換によりスペクトルを推定する。ケプストラム分析においては、対象となる音声情報をローパスリフタに通す処理すなわちその音声情報の低ケフレンシ（quefrency）部をリフタ（lifter）で除去することにより残差信号を得た後、その残差信号のフーリエ変換によりスペクトルを推定する。
【００２８】
特徴量抽出部６６は、音声分析部６２により得られた基本周波数等に基づいて、マイクロフォン２４から入力される音声情報における基本波及び複数の高調波を抽出する。例えば、声帯信号スペクトル推定部６４により推定されたスペクトルから、音声分析部６２により推定された基本周波数に基づいて、基本波を除く余の複数の高調波を抽出する。好適には、基本波及び各高調波の相対レベルを抽出する。すなわち、対象となる音声情報における基本波に対応する音圧レベルと各高調波に対応する音圧レベルとの相対的な比を抽出（算出）する。
【００２９】
第２評価部５４は、音声情報における表声及び裏声の歌い分け（表声及び裏声の出し分け）を評価する。例えば、図２に示す「Stage.3」における、表声及び裏声をそれぞれ歌い分ける第１の歌唱法について斯かる評価を行う。好適には、対象となる音声情報における表声及び裏声の歌い分けに係る指標として、以下に詳述する第２融合率を評価する。ここで、表声とは、地声とも呼ばれるものであり、声帯音源波において基本波に対する高調波のエネルギが裏声に比べて相対的に大きい傾向にある音声のシリーズ（声区）をいう。この表声は、発声機構的には声帯を取り巻く閉鎖筋群が輪状甲状筋に対して優位に働き、声帯全体が振動することにより生じているものと考えられる。裏声とは、ファルセットとも呼ばれるものであり、声帯音源波において基本波に対する高調波のエネルギが表声に比べて相対的に小さい傾向にある音声のシリーズ（声区）をいう。この裏声は、発声機構的には声帯を取り巻く輪状甲状筋が閉鎖筋群に対して優位に働き、声帯の辺縁部が振動することにより生じているものと考えられる。すなわち、本実施例において、表声と裏声とはそれぞれ異なる声区に属するものと考え、各声区の音声はそれぞれひとつのメカニズム（例えば、声帯の使い方）により発声されるものと考える。対象となる音声情報における表声及び裏声の融合率の評価を行うために、第２評価部５４は、第２融合率算出部７４及び表声／裏声発声能力評価部７６を備えている。以下、各制御部による処理について分説する。
【００３０】
第２融合率算出部７４は、対象となる音声情報における２つの声区である表声及び裏声の融合状態（融合率）を算出する。好適には、この融合状態を指標化した１つの尺度値としての第２融合率を算出する。好適には、対象となる音声情報における複数の高調波のスペクトル重心ｆｇを基本波の周波数（基本周波数）ｆ０で除した値（＝ｆｇ／ｆ０）を第２融合率として算出する。換言すれば、対象となる音声情報において抽出される基本周波数及び各高調波に対応する周波数の相対レベル（音圧レベルの相対値）からスペクトル重心を算出する。そして、その算出されたスペクトル重心と、基本周波数（ピッチ周波数）との比を求め、その比を第２融合率として算出する。
【００３１】
本実施例において、好適には、可及的に多数の高調波成分に基づいて第２評価部５４による表声及び裏声の評価を行う。すなわち、可及的に多数の高調波成分のスペクトル重心を求め、そのスペクトル重心を表声及び裏声の評価に用いる。斯かるスペクトル重心は、基本波の周波数（ピッチ周波数）にも依存する。そこで、本実施例においては、この基本波の周波数すなわち基本周波数の影響を排除するため、上述のようにスペクトル重心をその基本周波数で除すことにより、声帯音源の調波構造を指標化（規格化）する処理を行っている。
【００３２】
表声／裏声発声能力評価部７６は、対象となる音声情報における基本波及び複数の高調波に基づいて表声及び裏声の融合率を評価する。具体的には、第２融合率算出部７４により算出される第２融合率ｆｇ／ｆ０に基づいて斯かる評価を行う。好適には、その第２融合率ｆｇ／ｆ０が高いほど表声の比率が高く裏声の比率が低いと評価する。すなわち、表声／裏声発声能力評価部７６による評価の基準となる関係は、第２融合率ｆｇ／ｆ０が大きいほど対象となる音声情報における表声の比率が高く裏声の比率が低いと評価するように予め定められたものである。
【００３３】
図４は、母音「あ」で上行、下行音階を発声した場合のピッチ（基本周波数）を時間毎にプロットした図である。図５は、同じ音声に対して複数の高調波成分のスペクトル重心ｆｇを基本周波数ｆ０で除した値（＝ｆｇ／ｆ０）を時間毎にプロットした図である。図５においては、裏声の発声法に習熟している人が実際に発声を聞いて、その発声が裏声であると判定された区間を斜線範囲で示している。換言すれば、図５において斜線範囲で示されない余の区間は、発声が表声であると判定された区間に相当する。図５に示す例では、表声及び裏声の両声区間でｆｇ／ｆ０が連続的に変化しており、そのｆｇ／ｆ０が裏声に対応する区間では比較的低く、表声に対応する区間では比較的高い値となっていることがわかる。従って、複数の高調波成分のスペクトル重心ｆｇを基本周波数ｆ０で除した値であるｆｇ／ｆ０が、表声と裏声との歌い分けに係る融合率を評価できる指標値となっていることがわかる。例えば、斯かる指標値が図５に破線で示す基準値（ｆｇ／ｆ０＝２．８程度）以上である場合には表声、その基準値未満である場合には裏声であるというように基準を定めることで、客観的且つ一義的に表声と裏声とを評価することができる。
【００３４】
評価部５２は、予め定められた関係から抽出部６０により抽出される基本波及び複数の高調波に基づいて、音声情報における表声及び裏声の切り換えを評価する。例えば、図２に示す「Stage.4」における、表声と裏声との間で連続的に変化させた第２の歌唱法について斯かる評価を行う。好適には、対象となる音声情報における表声及び裏声の切り換えに係る指標として、以下に詳述する第１融合率を評価する。対象となる音声情報における表声及び裏声の切り換えを評価するために、評価部５２は、計算式７０及び計算の定数情報７２を備えている。以下、評価部５２の制御について詳細に説明する。
【００３５】
計算式７０は、好適には、学習モデル（数学モデル）である。更に好適には、非線形ゲインの学習を行う非線形学習モデルである。例えば、入力される音声情報に対して、裏声を「−１」とし、表声を「１」とするその間の値、すなわち−１以上１以下の値（連続値）を出力させるものである。計算式７０としては、サポートベクターマシーン（Support vector machine;SVM）が好適に用いられる。或いは、ニューラルネットワーク（Neural network）が好適に用いられる。計算式７０は、好適には、以下に詳述するように、予め取得された表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データ（学習用サンプル）により学習が行われる。
【００３６】
評価部５２の学習においては、学習用の音声情報が抽出部６０に入力され、抽出部６０により抽出される基本波及び複数の高調波に基づく学習データが計算式７０に入力される。このとき、計算式７０において設定されている定数は、計算の定数情報７２に格納された値に基づいて設定される。しかし、斯かる定数が計算式７０において設定された場合に、所定の音声情報の入力に対して計算式７０から出力される比率（後述する第１融合率）が、学習用の音声情報の意義から考えて不適当な場合、計算式７０に設定された定数を修正（学習）する必要がある。この修正においては、先ず、所定の音声情報の入力に対して計算式７０から出力される比率と、学習用の音声情報とに矛盾がなくなるように、計算式７０の修正が行われる。例えば、学習用の音声情報として、正しい裏声に対応する音声情報が入力された場合に、計算式７０から「−１」が出力されるように計算式７０の修正が行われる。学習用の音声情報として、正しい表声に対応する音声情報が入力された場合に、計算式７０から「１」が出力されるように計算式７０の修正が行われる。次に、学習用の音声情報が変更され、その入力に対して計算式７０から出力される比率と、学習用の音声情報との対応が矛盾のないものとなるように計算式７０の修正が行われる。次に、抽出部６０により抽出される複数の高調波について、その抽出対象が変更される。以上のようにして修正された計算式７０における定数が計算の定数情報７２に格納されることで、計算式７０の学習が完了する。
【００３７】
評価部５２の学習に用いられる学習データは、好適には、予め取得された表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける複数の高調波の強度を基本波の強度で除した値である。例えば、第１音声情報及び第２音声情報それぞれに対応して抽出される第２次高調波から第ｎ次高調波に関して、第１高調波の強度を基本波の強度で除した値（相対レベル）Ｌ０２、第２高調波の強度を基本波の強度で除した値Ｌ０３、・・・、第ｎ高調波の強度を基本波の強度で除した値Ｌ０ｎである。評価部５２の学習に用いられる学習用の第１音声情報及び第２音声情報は、後述するように、評価部５２による評価の対象となる利用者すなわち被験者により発声された表声及び裏声に対応するものであってもよいが、被験者以外の発声者例えば表声及び裏声の発声法に習熟したトレーナ等により発声された表声及び裏声に対応するものであってもよい。単数の利用者の発声に対応する第１音声情報及び第２音声情報により学習が行われるものであってもよいし、複数の利用者によりそれぞれ発声された表声及び裏声に対応する学習データにより学習が行われるものであってもよい。その複数の利用者に、評価部５２による評価の対象となる利用者が含まれてもよいし、含まれなくともよい。例えば、複数のトレーナ等により発声された表声及び裏声に対応する音声情報及び被験者により発声された表声及び裏声に対応する音声情報が学習データとして用いられるものであってもよい。すなわち、評価部５２の学習に用いられる学習用の第１音声情報及び第２音声情報は、予め取得された被験者及び被験者以外の発声者の少なくとも一方の表声及び裏声に対応するものである。計算式７０は、予め発声評価装置１０とは別のコンピュータ等により学習（確定）されたものが記憶部１８等に記憶されるものであってもよい。すなわち、計算式７０の学習は、必ずしも本実施例の発声評価装置１０により行われるものでなくともよい。
【００３８】
評価部５２における学習は、好適には、第２評価部５４により評価された前記第１の歌唱法における表声に対応する第１音声情報及び裏声に対応する第２音声情報に基づいて行われる。具体的には、第２評価部５４により表声であると評価された第１音声情報及び裏声であると評価された第２音声情報それぞれにおける複数の高調波の強度を基本波の強度で除した値である学習データを含む学習データにより学習が行われる。斯かる学習データに加え、第２評価部５４による評価に係らない表声に対応する第１音声情報及び裏声に対応する第２音声情報それぞれにおける基本波及び複数の高調波に基づく学習データにより学習が行われるものであってもよい。評価部５２及び第２評価部５４の評価対象となる音声情報の発声者が同一である場合、評価部５２は、その評価対象となる利用者本人の表声及び裏声により計算式７０の学習を行うこととなる。
【００３９】
評価部５２は、抽出部６０により抽出される基本波及び複数の高調波に基づく評価データを計算式７０に入力させ、その計算式７０から出力される値を対象となる音声情報における表声及び裏声の第１融合率として算出する。この第１融合率は、例えば、裏声を「−１」、表声を「１」とした場合におけるその間の値、すなわち−１以上１以下の値（連続値）である。評価部５２は、好適には、抽出部６０により抽出される基本波及び複数の高調波に基づいて評価データを算出する。この評価データは、好適には、マイクロフォン２４から入力される音声情報において抽出部６０により抽出される複数の高調波の強度を基本波の強度で除した値である。例えば、抽出部６０により抽出される第２次高調波から第ｎ次高調波に関して、第１高調波の強度を基本波の強度で除した値（相対レベル）Ｌ０２、第２高調波の強度を基本波の強度で除した値Ｌ０３、・・・、第ｎ高調波の強度を基本波の強度で除した値Ｌ０ｎをそれぞれ算出する。そして、各値Ｌ０２、Ｌ０３、・・・、Ｌ０ｎを計算式７０に入力させ、その計算式７０から出力される値を第１融合率として算出する。
【００４０】
評価部５２は、好適には、対象となる音声情報における表声及び裏声の切り換え（表声と裏声との相互間の推移）を評価する。すなわち、表声と裏声とが切り替わる部分における換声点ショックを評価する。この換声点ショックとは、発声時における表声と裏声との変わり目で起こる急激な声区の転換を言い、斯かる声区の転換に伴い声量やピッチに生じる変動を言うものである。この換声点ショックは、裏声を発する場合に優位となる輪状甲状筋と表声を発する場合に優位となる閉鎖筋群との力関係が急激に変化するために発生する現象であると考えられる。輪状軟骨とその上後部左右にある披裂軟骨との関節部分の複雑な動きも原因となっているものと考えられる。例えば、図５に示す例においては、破線で示す基準値（ｆｇ／ｆ０＝２．８程度）が換声点に相当し、第２融合率の推移がその基準値を跨ぎ越す箇所が換声点に相当する。
【００４１】
評価部５２は、好適には、抽出部６０により抽出される基本波の周波数の変化に応じて、計算式７０から出力される第１融合率の変化の滑らかさに基づいて、対象となる音声情報における表声及び裏声の切り換えを評価する。本実施例において、第１融合率の変化が滑らかであるとは、抽出部６０により抽出される基本波の周波数と第１融合率との関数を考えた場合、その関数が連続する微係数（導関数）を有することをいう。評価対象となる音声情報が例えば単一の母音に対応する上下降音階として発声されたものである場合、抽出部６０により抽出される基本波の周波数の変化は時系列に沿ったものになる。この場合、評価部５２は、好適には、第１融合率の時系列に沿った変化の滑らかさに基づいて、対象となる音声情報における表声及び裏声の切り換えを評価する。評価対象となる音声情報が既定の課題曲（単純なメロディ）を歌唱するものである場合、評価部５２は、好適には、評価対象となる音声情報を抽出部６０により抽出される基本波の周波数の変化に応じて並べ直す。そして、並べ直された基本波の周波数の変化に応じて、計算式７０から出力される第１融合率の変化の滑らかさに基づいて、対象となる音声情報における表声及び裏声の切り換えを評価する。以下、図６〜図１１を用いて斯かる評価の具体例について説明する。
【００４２】
図６〜図８は、男性（男声）による「え（ｅ）」の発声の上昇音階に対応する、抽出部６０により抽出される基本波の周波数（ピッチ）と第１融合率との関係の一例を示す図である。基本波の周波数が横軸に、第１融合率が縦軸にそれぞれ対応する（以下の説明において同じ）。図６は、裏声と表声との切り換えはできているが、その切り換えがはっきりしており裏声と表声とが切り換えられたことがはっきりとわかる発声に相当し、図２における段階「Stage.4a」に対応する。図７は、裏声と表声との切り換えが行われる際に、裏声と表声とを多少混ぜて出せている発声に相当し、図２における段階「Stage.4b」に対応する。図８は、裏声と表声との切り換えが行われる際に、裏声と表声とをかなり混ぜて出せている発声に相当し、図２における段階「Stage.4c」に対応する。
【００４３】
図６〜図８を比較すると、図６では、周波数１００（Ｈｚ）付近から２５０（Ｈｚ）付近までの第１融合率が略「１」に維持され、そこから３００（Ｈｚ）付近までの間に急速に第１融合率が略「−１」に変化している。すなわち、抽出部６０により抽出される基本波の周波数と第１融合率との関数が滑らかではなく、２５０（Ｈｚ）付近から３００（Ｈｚ）付近までの間に変化が不連続となるギャップが存在する。図７では、２５０（Ｈｚ）付近から３００（Ｈｚ）付近までの間に変化が不連続となるギャップが存在するものの、周波数１００（Ｈｚ）付近から２５０（Ｈｚ）付近までの間に第１融合率が漸減しており、図６に示す例に比べて抽出部６０により抽出される基本波の周波数と第１融合率との関数が滑らかであると言える。図８では、周波数１００（Ｈｚ）付近から５００（Ｈｚ）付近までの間に第１融合率が「１」から「−１」まで漸減させられ、変化が不連続となるギャップも確認されない。従って、図８に示す関係が最も滑らかであると言える。
【００４４】
図９〜図１１は、女性（女声）による「え（ｅ）」の発声の上昇音階に対応する、抽出部６０により抽出される基本波の周波数（ピッチ）と第１融合率との関係の一例を示す図である。図９は、裏声と表声との切り換えはできているが、その切り換えがはっきりしており裏声と表声とが切り換えられたことがはっきりとわかる発声に相当し、図２における段階「Stage.4a」に対応する。図１０は、裏声と表声との切り換えが行われる際に、裏声と表声とを多少混ぜて出せている発声に相当し、図２における段階「Stage.4b」に対応する。図１１は、裏声と表声との切り換えが行われる際に、裏声と表声とをかなり混ぜて出せている発声に相当し、図２における段階「Stage.4c」に対応する。
【００４５】
図９〜図１１を比較すると、図９では、周波数１００（Ｈｚ）付近から２２０（Ｈｚ）付近までの第１融合率が略「１」に維持され、そこから略垂直に落ちるように変化して３００（Ｈｚ）付近までの間に急速に第１融合率が略「−１」に変化している。更に、周波数２５０（Ｈｚ）程度の付近に、関数が不連続となる比較的大きなギャップが存在している。すなわち、抽出部６０により抽出される基本波の周波数と第１融合率との関数が滑らかではない。図１０では、周波数２５０（Ｈｚ）程度の付近に、関数が不連続となるギャップが存在するが、そのギャップの大きさは図９に示す例に比べて小さい。従って、図１０に示す例では、図９に示す例に比べて抽出部６０により抽出される基本波の周波数と第１融合率との関数が滑らかであると言える。図１１では、周波数１００（Ｈｚ）付近から５００（Ｈｚ）付近までの間に第１融合率が「１」から「−１」まで漸減させられ、変化が不連続となるギャップも確認されない。従って、図１１に示す関係が最も滑らかであると言える。
【００４６】
以上、図６〜図１１に示すように、抽出部６０により抽出される基本波の周波数と第１融合率との関係の滑らかさは、音声情報における表声及び裏声の切り換えに際して、表声と裏声とをうまく混ぜることができているか否かを分かり易く反映したものとなる。従って、抽出部６０により抽出される基本波の周波数と第１融合率との関数が滑らかさを指標として、音声情報における表声と裏声との相互間の推移を客観的に評価することができる。評価部５２による評価の態様としては、図６〜図１１に示すような関係すなわち基本波の周波数の変化に応じた第１融合率の変化の滑らかさを示すグラフを表示させるものであってもよいし、そのグラフの解析結果を併せて表示させる等、更に詳しい評価を行うものであってもよい。例えば、基本波の周波数と第１融合率との関係において、第１融合率が「−１」と「１」との間の区間における関数の微係数（導関数）を算出し、その連続性を評価することで音声情報における表声及び裏声の切り換えの巧拙を評価する等の態様が考えられる。或いは、予め定められた関係から、関数の滑らかさに基づいて、対象となる音声情報が図２に示す各段階「Stage.4a」、「Stage.4b」、「Stage.4c」の何れの段階に相当する発声であるかを評価するものであってもよい。
【００４７】
図１２〜図１４は、図６〜図８に示す例の評価対象である発声と同じ音声情報に対応する、抽出部６０により抽出される基本波の周波数（ピッチ）と第２融合率算出部７４により算出される第２融合率ｆｇ／ｆ０との関係の一例を示す図である。基本波の周波数が横軸に、第２融合率が縦軸にそれぞれ対応する（以下の説明において同じ）。すなわち、図１２の例が図２における段階「Stage.4a」の男性の発声に、図１３の例が図２における段階「Stage.4b」の男性の発声に、図１４の例が図２における段階「Stage.4c」の男性の発声にそれぞれ対応する。図１５〜図１７は、図９〜図１１に示す例の評価対象である発声と同じ音声情報に対応する、抽出部６０により抽出される基本波の周波数と第２融合率ｆｇ／ｆ０との関係の一例を示す図である。すなわち、図１５の例が図２における段階「Stage.4a」の女性の発声に、図１６の例が図２における段階「Stage.4b」の女性の発声に、図１７の例が図２における段階「Stage.4c」の女性の発声にそれぞれ対応する。これら図１２〜図１７に示すように、抽出部６０により抽出される基本波の周波数と第２融合率ｆｇ／ｆ０との関係では、音声情報における表声及び裏声の切り換えに際して、表声と裏声とをうまく混ぜることができているか否かに応じて顕著な違いが見られない。
【００４８】
以上のように、第２融合率算出部７４により算出される第２融合率ｆｇ／ｆ０は、表声と裏声とをはっきりと出し分けることができるか否かの評価には好適に用いられるが、表声と裏声との変わり目における推移の巧みさを評価する指標としては有効ではないと言える。従って、図２に示す「Stage.3」における表声及び裏声をそれぞれ歌い分ける第１の歌唱法について、第２評価部５４により第２融合率ｆｇ／ｆ０に基づく評価を行い、図２に示す「Stage.4」における表声と裏声との間で連続的に変化させた第２の歌唱法について、評価部５２により第１融合率に基づく評価を行うことで、各歌唱法における発声の巧拙を好適に評価することができる。
【００４９】
表示制御部５６は、評価部５２による評価結果をタッチパネルディスプレイ２８における表示装置３０等に表示させる。図１８は、タッチパネルディスプレイ２８に表示される評価部５２による評価結果の一例である評価結果画面８０を示す図である。この図１８に示すように、表示制御部５６は、好適には、評価部５２による評価結果として、図６〜図１１に示すような関係すなわち基本波の周波数の変化に応じた第１融合率の変化の滑らかさを示すグラフを表示させる。好適には、グラフの解析結果を併せて表示させる。例えば、基本波の周波数と第１融合率との関係における、第１融合率が「−１」と「１」との間の区間における関数の微係数に係る連続性を評価結果に相当する寸評（コメント）を表示させる。好適には、評価部５２による評価結果として、図２に示す各段階「Stage.4a」、「Stage.4b」、「Stage.4c」の何れの段階に相当する発声であるかを表示させる。このように、評価部５２による評価結果を視覚的に分かり易く表示させることで、利用者は簡便且つ客観的に自己の歌唱法の巧拙を確認することができる。
【００５０】
図１９は、発声評価装置１０のＣＰＵ１２による発声評価制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【００５１】
先ず、Ｓ１において、表示装置３０に表示された画面に従いタッチパネル３２等を介して練習ステージ及びモデルの選択が行われる。次に、Ｓ２において、第３段階「Stage.3」及び第４段階「Stage.4」の何れが選択されたかが判断される。このＳ２において、第４段階「Stage.4」が選択された場合には、Ｓ１３以下の処理が実行されるが、Ｓ２において、第３段階「Stage.3」が選択された場合には、Ｓ３において、「Stage.3」の練習メニュー画面が表示装置３０に表示されると共に、ガイド音がスピーカ２２から出力される。次に、Ｓ４において、評価の対象となる音声情報（歌唱音声）の取得が行われる。すなわち、マイクロフォン２４からＡ／Ｄコンバータ２６を介して音声情報の入力が行われ、入力された音声情報が発声主体である利用者の識別情報と関連付けられて記憶部１８等に形成された音声データベース３８に記憶（蓄積）される。
【００５２】
次に、Ｓ５において、Ｓ４にて取得された音声情報から、全母音に対応して表声に対応する第１音声情報（表声歌唱音声）が抽出される。このＳ５の処理と併行して、Ｓ６において、Ｓ４にて取得された音声情報から、全母音に対応して裏声に対応する第２音声情報（裏声歌唱音声）が抽出される。次に、Ｓ７において、Ｓ５及びＳ６にて抽出された歌唱音声に関して、ケプストラム分析等の手法によりスペクトル分析が行われる。次に、Ｓ８において、Ｓ７のスペクトル分析の結果として、１次データすなわち基本波の周波数（ピッチ）及び音量等が抽出される。次に、Ｓ９において、２次データすなわち基本波及び各高調波の相対レベル（高調波レベルパターン）が抽出される。次に、Ｓ１０において、Ｓ８にて抽出された１次データ及びＳ９にて抽出された２次データから、第２融合率（声区融合比率）すなわち対象となる音声情報における複数の高調波のスペクトル重心ｆｇを基本波の周波数ｆ０で除した値（＝ｆｇ／ｆ０）が算出される。このＳ１０の処理と併行して、Ｓ１１において、評価部５２における計算式７０の学習データとして、Ｓ５及びＳ６にて抽出された第１音声情報及び第２音声情報それぞれにおける複数の高調波の強度を基本波の強度で除した値が算出される。次に、Ｓ１２において、Ｓ１０にて算出された第２融合率に基づいて、表声及び裏声をそれぞれ歌い分ける第１の歌唱法についての評価（第３段階「Stage.3」に係る評価）が行われ、その評価結果が表示装置３０に表示された後、本ルーチンが終了させられる。
【００５３】
Ｓ１３においては、「Stage.4」の練習メニュー画面が表示装置３０に表示されると共に、ガイド音がスピーカ２２から出力される。次に、Ｓ１４において、評価の対象となる音声情報（歌唱音声）の取得が行われる。すなわち、マイクロフォン２４からＡ／Ｄコンバータ２６を介して音声情報の入力が行われ、入力された音声情報が発声主体である利用者の識別情報と関連付けられて記憶部１８等に形成された音声データベース３８に記憶（蓄積）される。次に、Ｓ１５において、Ｓ１４にて取得された歌唱音声に関して、ケプストラム分析等の手法によりスペクトル分析が行われる。次に、Ｓ１６において、Ｓ１５のスペクトル分析の結果として、１次データすなわち基本波の周波数（ピッチ）及び音量等が抽出される。次に、Ｓ１７において、２次データすなわち基本波及び各高調波の相対レベル（高調波レベルパターン）が抽出される。次に、Ｓ１８において、Ｓ１７にて抽出された基本波及び各高調波の相対レベルが計算式７０に入力され、その計算式７０から出力される値が対象となる音声情報における表声及び裏声の第１融合率として算出される。次に、Ｓ１９において、Ｓ１８にて算出された第１融合率に基づいて、表声と裏声との間で連続的に変化させた第２の歌唱法についての評価（第４段階「Stage.4」に係る評価）が行われ、その評価結果が表示装置３０に表示された後、本ルーチンが終了させられる。
【００５４】
以上の制御において、Ｓ４及びＳ１４が録音部５０の処理に、Ｓ１５〜Ｓ１８が評価部５２の処理、算出過程、算出ステップに、Ｓ５〜Ｓ１１が第２評価部５４の処理に、Ｓ１６及びＳ１７が抽出部６０の処理、抽出過程、抽出ステップに、Ｓ１２及びＳ１９が表示制御部５６の処理にそれぞれ対応する。第３段階「Stage.3」に対応する処理、すなわちＳ３〜Ｓ１２の処理は、必ずしも実行されなくともよい。
【００５５】
このように、本実施例によれば、自分が出した声において表声と裏声とがどれほどの割合で混ざっているのかを実用的な処理により簡便に把握することができる。すなわち、裏声に表声を混ぜる発声法を客観的に評価する発声評価装置１０を提供することができる。
【００５６】
また、歌声のピッチを変化させつつ裏声と表声とを切り換える発声を行い、その切り換えが上手くできているか否か等を好適に評価することができる。
【００５７】
また、自分が出した表声及び裏声を前記モデルの学習データに用いることで、自分が出した声において表声と裏声とがどれほどの割合で混ざっているのかを更に好適に評価することができる。
【００５８】
また、自分が出した声において表声と裏声とがどれほどの割合で混ざっているのかを実用的なモデルを用いて簡便に把握することができる。
【００５９】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
【００６０】
例えば、前述の実施例においては、録音部５０により録音された音声情報が音声データベース３８に記憶され、抽出部６０によりその音声データベース３８に記憶された音声情報を読み出して音声解析等の処理を行う態様について説明したが、録音部５０により録音された音声情報についてリアルタイムで抽出部６０及び評価部５２等による処理が行われるものであってもよい。斯かる態様においては、利用者は自分の現時点における発声に係る表声と裏声との融合率をリアルタイムで確認することができ、更に効率的なトレーニングを実現することができる。
【００６１】
本発明の発声評価装置（発声評価方法）は、男性（男声）、女性（女声）の別に関係なく表声と裏声との切り換えを評価できるものであるが、ニューラルネットワークを用いる形態等においては、発声者の性別や年齢等に応じて柔軟性を高めることも考えられる。本発明による発声評価は、例えばインターネットを介しての通信発声法講座、スマートフォンにおけるアプリケーションとしての発声トレーニングモード（発声トレーニングゲーム）、パーソナルコンピュータにインストールされて用いられるソフトウェアとしての発声トレーニングソフト等、各種形態のトレーニングメニューに広く用いられるものである。
【００６２】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【００６３】
１０：発声評価装置、５２：評価部、５４：第２評価部、６０：抽出部、７０：計算式
【図１】
2014130227.tif 000003
【図３】
2014130227.tif 000004
【図４】
2014130227.tif 000005
【図５】
2014130227.tif 000006
【図６】
2014130227.tif 000007
【図７】
2014130227.tif 000008
【図８】
2014130227.tif 000009
【図９】
2014130227.tif 000010
【図１０】
2014130227.tif 000011
【図１１】
2014130227.tif 000012
【図１２】
2014130227.tif 000013
【図１３】
2014130227.tif 000014
【図１４】
2014130227.tif 000015
【図１５】
2014130227.tif 000016
【図１６】
2014130227.tif 000017
【図１７】
2014130227.tif 000018
【図１８】
2014130227.tif 000019
【図１９】
2014130227.tif 000020
【図２】
2014130227.tif 000021