(57)【要約】本発明は、キーワードのような特定の言葉の利用を前提としない飲酒判定を可能とするものである。飲酒モデルは、飲酒者の音声の音響特徴による分類基準を用いた木構造を有する。この木構造におけるノードは、飲酒者の音素における音響特徴を示す。非飲酒モデルは、非飲酒者の音声の音響特徴による分類基準を用いた木構造を有する。この木構造におけるノードは、非飲酒者の音素における音響特徴を示す。まず、対象者の音声データを、飲酒モデルと非飲酒モデルのそれぞれの木構造に適用して、音素の音響特徴をノードに振り分ける。つぎに、対象者の音素の音響特徴と、各モデルにおける各ノードで特定された音響特徴との尤度を計算する。つぎに、算出された尤度の値を用いて、当該音声の音響特徴が、飲酒モデル及び非飲酒モデルのうちのどちらに近いかを判別する。
2012014301.tif 000002
【特許請求の範囲】
【請求項１】
入力部と、記憶部と、判定部とを備えており、
前記入力部は、対象者からの音声入力を受け付ける構成となっており、
前記記憶部は、飲酒モデルと非飲酒モデルとを格納しており、
前記飲酒モデルは、飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記飲酒者の音素における音響特徴を示すものとなっており、
前記非飲酒モデルは、非飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記非飲酒者の音素における音響特徴を示すものとなっており、
前記判定部は、以下の処理を行うことを特徴とする飲酒状態判定装置：
（１）前記対象者から入力された前記音声入力を、前記飲酒モデルと前記非飲酒モデルにおけるそれぞれの木構造に適用することにより、前記音声入力における音素の音響特徴を、前記ノードに振り分ける処理；
（２）前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記飲酒モデルにおけるノードとの尤度、及び、前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記非飲酒モデルにおけるノードとの尤度の値をそれぞれ算出する処理；
（３）前記算出された尤度の値を用いて、前記対象者の音声の音響特徴が、前記飲酒モデル及び前記非飲酒モデルのうちのどちらに近いかを判別する処理。
【請求項２】
前記音響特徴は、調音形式又は音素の長さを含む、請求項１に記載の飲酒状態判定装置。
【請求項３】
前記飲酒者及び前記非飲酒者は、それそれ、前記対象者以外の者を含んでいる、請求項１又は２に記載の飲酒状態判定装置。
【請求項４】
前記判定部は、前記した（１）の処理の前に、処理前記飲酒モデル及び前記非飲酒モデルにおける各ノードを、アフィン変換により、前記対象者の特徴に近づける処理を行う、請求項１〜３のいずれか１項に記載の飲酒状態判定装置。
【請求項５】
前記ノードにおける音素の音響特徴は、音素におけるMFCCをモデル化したGMMによって表されている、請求項１〜４のいずれか１項に記載の飲酒状態判定装置。
【請求項６】
さらに学習部を備えており、前記学習部は以下の処理を行う、請求項１〜５のいずれか１項に記載の飲酒状態判定装置：
（１）音声の音響特徴による分類基準を用いて、飲酒者の音声における音響特徴を音素ごとにクラスタリングすることにより、前記飲酒モデルを生成する処理；
（２）音声の音響特徴による分類基準を用いて、非飲酒者の音声における音響特徴を音素ごとにクラスタリングすることにより、前記非飲酒モデルを生成する処理。
【請求項７】
飲酒モデルと非飲酒モデルとを用いる飲酒状態判定方法であって、
前記飲酒モデルは、飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記飲酒者の音素における音響特徴を示すものとなっており、
前記非飲酒モデルは、非飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記非飲酒者の音素における音響特徴を示すものとなっており、
さらに、前記方法は、以下のステップを備える：
（１）対象者からの音声入力を受け付けるステップ；
（２）前記対象者から入力された前記音声入力を、前記飲酒モデルと前記非飲酒モデルにおけるそれぞれの木構造に適用することにより、前記音声入力における音素の音響特徴を、前記ノードに振り分けるステップ；
（３）前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記飲酒モデルにおけるノードとの尤度、及び、前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記非飲酒モデルにおけるノードとの尤度の値をそれぞれ算出するステップ；
（４）前記算出された尤度の値を用いて、前記対象者の音声の音響特徴が、前記飲酒モデル及び前記非飲酒モデルのうちのどちらに近いかを判別するステップ。
【請求項８】
飲酒モデルと非飲酒モデルとを用いて、コンピュータにより飲酒状態判定を行うためのコンピュータプログラムであって、
前記飲酒モデルは、飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記飲酒者の音素における音響特徴を示すものとなっており、
前記非飲酒モデルは、非飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記非飲酒者の音素における音響特徴を示すものとなっており、
さらに、前記コンピュータプログラムは、コンピュータに、以下のステップを実行させる：
（１）対象者からの音声入力を受け付けるステップ；
（２）前記対象者から入力された前記音声入力を、前記飲酒モデルと前記非飲酒モデルにおけるそれぞれの木構造に適用することにより、前記音声入力における音素の音響特徴を、前記ノードに振り分けるステップ；
（３）前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記飲酒モデルにおけるノードとの尤度、及び、前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記非飲酒モデルにおけるノードとの尤度の値をそれぞれ算出するステップ；
（４）前記算出された尤度の値を用いて、前記対象者の音声の音響特徴が、前記飲酒モデル及び前記非飲酒モデルのうちのどちらに近いかを判別するステップ。
【請求項９】
請求項１に記載の飲酒状態判定装置に用いる音声入力のための入力文を評価する方法であって、この方法は、以下のステップを含む：
（１）少なくとも二つのテスト文章の入力を受け付けるステップ：
（２）前記テスト文章をそれぞれ音素列に変換するステップ：
（３）前記各テスト文章における音素列について、前記飲酒状態モデルの木構造と、前記非飲酒モデルの木構造に適用し、各音素に対応するノードの音響特徴を特定するステップ；
（４）前記テスト文章の音素における音響特徴と、各木構造のノードにおける音響特徴との尤度を、各モデルにおいて計算するステップ；
（５）前記飲酒モデルでの尤度の値と、前記非飲酒モデルにおける尤度の値との間における相違が大きい前記テスト文章を前記入力文として選択するステップ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象者の飲酒状態を判定するための技術に関するものである。特に、本発明は、対象者が発した音声を用いて、その対象者が飲酒状態であるか非飲酒状態であるかを判別するための技術に関係している。
【背景技術】
【０００２】
下記特許文献１には、特定の運転者が発したキーワードを、非飲酒状態における本人の音声データと対比することにより、当該運転者が飲酒状態であるかどうかを判定する技術が記載されている。この技術では、非飲酒状態における本人の音声データを判定基準とすることにより、その本人の飲酒状態についての判定精度の向上を図っている。【０００３】
ところで、この特許文献１の技術では、運転者が発声すべき特定のキーワードが予め設定されている。これは、そのキーワードが、飲酒判定に有効であるという前提に基づいている。しかしながら、対象者によって、どのようなキーワードが判定に有効かは異なる可能性がある。したがって，特定のキーワードを用いることは、不特定多数の対象者の飲酒判定においては、適切でないと考えられる。【０００４】
さらに、キーワードを用いる場合は、特定の言語（例えば日本語や英語）の使用を前提とすることになり、この点も、このシステムを利用できる対象者の範囲を制約する可能性がある。【０００５】
一方、下記特許文献２では、対象者における音声情報のリアプノフ指数を算出し、これに基づいて、対象者の疲労度又は居眠り状態を判定する技術が記載されている。しかしながら、この方法を飲酒判定に利用できるかどうかは不明である。さらに、異なる時点における対象者の音声をそれぞれ利用するので、判定の前に、予め、対象者の音声を記録しておく必要がある。すると、不特定の対象者の状態を即座に判定したいという用途には利用が難しいという問題もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１５０２７号公報
【特許文献２】特開２０００−１１３３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の主な目的は、キーワードのような特定の言葉の利用を前提としないで飲酒判定が可能な技術を提供することである。【０００８】
また、本発明における他の目的は、特定の言語に依存することなく飲酒判定が可能な技術を提供することである。
【課題を解決するための手段】
【０００９】
本発明は、以下の項目のように記載することができる。【００１０】
（項目１）
入力部と、記憶部と、判定部とを備えており、
前記入力部は、対象者からの音声入力を受け付ける構成となっており、
前記記憶部は、飲酒モデルと非飲酒モデルとを格納しており、
前記飲酒モデルは、飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記飲酒者の音素における音響特徴を示すものとなっており、
前記非飲酒モデルは、非飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記非飲酒者の音素における音響特徴を示すものとなっており、
前記判定部は、以下の処理を行うことを特徴とする飲酒状態判定装置：
（１）前記対象者から入力された前記音声入力を、前記飲酒モデルと前記非飲酒モデルにおけるそれぞれの木構造に適用することにより、前記音声入力における音素の音響特徴を、前記ノードに振り分ける処理；
（２）前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記飲酒モデルにおけるノードとの尤度、及び、前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記非飲酒モデルにおけるノードとの尤度の値をそれぞれ算出する処理；
（３）前記算出された尤度の値を用いて、前記対象者の音声の音響特徴が、前記飲酒モデル及び前記非飲酒モデルのうちのどちらに近いかを判別する処理。【００１１】
（項目２）
前記音響特徴は、調音形式又は音素の長さを含む、項目１に記載の飲酒状態判定装置。【００１２】
（項目３）
前記飲酒者及び前記非飲酒者は、それそれ、前記対象者以外の者を含んでいる、項目１又は２に記載の飲酒状態判定装置。【００１３】
（項目４）
前記判定部は、前記した（１）の処理の前に、処理前記飲酒モデル及び前記非飲酒モデルにおける各ノードを、アフィン変換により、前記対象者の特徴に近づける処理を行う、項目１〜３のいずれか１項に記載の飲酒状態判定装置。【００１４】
（項目５）
前記ノードにおける音素の音響特徴は、音素におけるMFCCをモデル化したGMMによって表されている、項目１〜４のいずれか１項に記載の飲酒状態判定装置。【００１５】
（項目６）
さらに学習部を備えており、前記学習部は以下の処理を行う、項目１〜５のいずれか１項に記載の飲酒状態判定装置：
（１）音声の音響特徴による分類基準を用いて、飲酒者の音声における音響特徴を音素ごとにクラスタリングすることにより、前記飲酒モデルを生成する処理；
（２）音声の音響特徴による分類基準を用いて、非飲酒者の音声における音響特徴を音素ごとにクラスタリングすることにより、前記非飲酒モデルを生成する処理。【００１６】
（項目７）
飲酒モデルと非飲酒モデルとを用いる飲酒状態判定方法であって、
前記飲酒モデルは、飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記飲酒者の音素における音響特徴を示すものとなっており、
前記非飲酒モデルは、非飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記非飲酒者の音素における音響特徴を示すものとなっており、
さらに、前記方法は、以下のステップを備える：
（１）対象者からの音声入力を受け付けるステップ；
（２）前記対象者から入力された前記音声入力を、前記飲酒モデルと前記非飲酒モデルにおけるそれぞれの木構造に適用することにより、前記音声入力における音素の音響特徴を、前記ノードに振り分けるステップ；
（３）前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記飲酒モデルにおけるノードとの尤度、及び、前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記非飲酒モデルにおけるノードとの尤度の値をそれぞれ算出するステップ；
（４）前記算出された尤度の値を用いて、前記対象者の音声の音響特徴が、前記飲酒モデル及び前記非飲酒モデルのうちのどちらに近いかを判別するステップ。【００１７】
（項目８）
飲酒モデルと非飲酒モデルとを用いて、コンピュータにより飲酒状態判定を行うためのコンピュータプログラムであって、
前記飲酒モデルは、飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記飲酒者の音素における音響特徴を示すものとなっており、
前記非飲酒モデルは、非飲酒者における音声の音響特徴による分類基準を有する木構造を有しており、かつ、前記木構造におけるノードは、前記非飲酒者の音素における音響特徴を示すものとなっており、
さらに、前記コンピュータプログラムは、コンピュータに、以下のステップを実行させる：
（１）対象者からの音声入力を受け付けるステップ；
（２）前記対象者から入力された前記音声入力を、前記飲酒モデルと前記非飲酒モデルにおけるそれぞれの木構造に適用することにより、前記音声入力における音素の音響特徴を、前記ノードに振り分けるステップ；
（３）前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記飲酒モデルにおけるノードとの尤度、及び、前記対象者の音声入力における音素の音響特徴と前記音素の音響特徴が振り分けられた前記非飲酒モデルにおけるノードとの尤度の値をそれぞれ算出するステップ；
（４）前記算出された尤度の値を用いて、前記対象者の音声の音響特徴が、前記飲酒モデル及び前記非飲酒モデルのうちのどちらに近いかを判別するステップ。【００１８】
（項目９）
項目１に記載の飲酒状態判定装置に用いる音声入力のための入力文を評価する方法であって、この方法は、以下のステップを含む：
（１）少なくとも二つのテスト文章の入力を受け付けるステップ：
（２）前記テスト文章をそれぞれ音素列に変換するステップ：
（３）前記各テスト文章における音素列について、前記飲酒状態モデルの木構造と、前記非飲酒モデルの木構造に適用し、各音素に対応するノードの音響特徴を特定するステップ；
（４）前記テスト文章の音素における音響特徴と、各木構造のノードにおける音響特徴との尤度を、各モデルにおいて計算するステップ；
（５）前記飲酒モデルでの尤度の値と、前記非飲酒モデルにおける尤度の値との間における相違が大きい前記テスト文章を前記入力文として選択するステップ。
【発明の効果】
【００１９】
本発明によれば、キーワードのような特定の言葉の利用を前提としないで飲酒判定が可能となる。また、本発明によれば、特定の言語に依存することなく飲酒判定が可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る飲酒状態判定装置の概略的な構成を説明するためのブロック図である。
【図２】本発明の一実施形態に係る飲酒状態判定方法の全体的な手順を説明するためのフローチャートである。
【図３】学習により飲酒モデルと非飲酒モデルとを生成する手順を説明するための説明図である。
【図４】フィルタバンク分析を説明するための説明図である。
【図５】MFCCの抽出を説明するための説明図である。
【図６】音素タイプライタによる音素列の取得を説明するための説明図である。
【図７】音素GMMを木構造におけるリーフノードに振り分けていく実施例を説明するための説明図である。
【図８】生成された木構造の飲酒モデルの一例を示す図である。
【図９】生成された木構造の非飲酒モデルの一例を示す図である。
【図１０】飲酒状態判定の具体例を説明するための説明図である。
【図１１】飲酒モデル及び非飲酒モデルを、アフィン変換によって、特定話者の特徴に近づける処理を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一実施形態を、添付図面を参照しながら説明する。
【００２２】
（本実施形態に係る飲酒状態判定装置の構成）
本実施形態の装置は、入力部１と、特徴抽出部２と、音素列取得部３と、学習部４と、記憶部５と、判定部６と、表示部７とを備えている（図１参照）。
【００２３】
入力部１は、対象者からの音声入力を受け付ける構成となっている。具体的には、入力部１は、音声情報を取得するためのマイクロフォンを備えている。このような入力部としては、例えば、携帯電話のマイクロフォンを用いることができる。入力部１は、音声情報を、コンピュータで利用可能なデジタル情報に変換する。変換された音声情報は、記憶部５に格納される。
【００２４】
特徴抽出部２は、音声情報の特徴を抽出するための機能要素である。具体的には、特徴抽出部２は、音声波形から、微小時間の音声の特徴を表すMFCC（Mel-Frequency Cepstrum Coefficient）系列を抽出する。特徴抽出部２における具体的な処理内容は後述する。
【００２５】
音素列取得部３は、音素タイプライタを用いて、音声から音素列を取得するものである。音素タイプライタは、例えば特開２０００−３４７６８５号公報、特開２００８−１５８５１０号公報あるいは特開２００１−５４８３号公報に示されたように、音声データにおける音素を特定して音素列を抽出する技術として、従来から広く用いられている。本実施形態では、音素列取得部３として、既存の音素タイプライタの技術を利用できるので、これについての詳しい説明は省略する。
【００２６】
学習部４は以下の処理を行うものとなっている：
（１）音声の音響特徴による分類基準を用いて、飲酒者の音声における音響特徴を音素ごとにクラスタリングすることにより、飲酒モデルを生成する処理；
（２）音声の音響特徴による分類基準を用いて、非飲酒者の音声における音響特徴を音素ごとにクラスタリングすることにより、非飲酒モデルを生成する処理。この学習部４における処理の詳細も後述する。
【００２７】
記憶部５は、学習部４で生成された飲酒モデルと非飲酒モデルとを格納している。飲酒モデルは、飲酒者における音声の音響特徴による分類基準を有する木構造を有している。この木構造におけるノード（本実施形態ではリーフノード）は、飲酒者の音素における音響特徴を示すものとなっている。非飲酒モデルは、非飲酒者における音声の音響特徴による分類基準を有する木構造を有している。この木構造におけるノードは、非飲酒者の音素における音響特徴を示すものとなっている。これらの各モデルの詳細も後述する。
【００２８】
記憶部５は、本実施形態の装置の動作のための各種データを、必要に応じて格納するようになっている。なお、記憶部５は、機能要素として存在すればよく、複数のハードウエアから構成されてもよく、ネットワーク上に分散して配置されていてもよい。また、一つのデータを複数のハードウエアに格納することも、多数のデータを一つのハードウエアに格納することも可能である。
【００２９】
判定部６は、以下の処理を行う機能要素である：
（１）対象者から入力された音声入力を、飲酒モデルと非飲酒モデルにおけるそれぞれの木構造に適用することにより、音声入力における音素の音響特徴を、ノード（本実施形態ではリーフノード）に振り分ける処理；
（２）対象者の音声入力における音素の音響特徴（例えばMFCC）と音素の音響特徴が振り分けられた飲酒モデルにおけるノード（例えばGMM）との尤度、及び、対象者の音声入力における音素の音響特徴と音素の音響特徴が振り分けられた非飲酒モデルにおけるノードとの尤度の値をそれぞれ算出する処理；
（３）算出された尤度の値を用いて、対象者の音声の音響特徴が、飲酒モデル及び非飲酒モデルのうちのどちらに近いかを判別する処理。判定部６での処理の詳細も後述する。
【００３０】
表示部７は、対象者における飲酒判定の際に、対象者が読み上げるべき文章を提示するためのディスプレイである。表示部７としては、例えば、携帯電話のディスプレイを用いることができる。
【００３１】
（本実施形態に係る飲酒状態判定方法）
本実施形態に係る飲酒状態判定方法を、図２〜図１１をさらに参照しながら説明する。
【００３２】
（図２のステップＳＡ−１）
まず、飲酒者と非飲酒者の発声データをそれぞれ用いて、学習により、飲酒モデルと非飲酒モデルとを作成する。ここで、飲酒者及び非飲酒者には、飲酒判定のための対象者は、基本的には含む必要がない。もちろん、対象者のデータが混入していることは可能である。飲酒者と非飲酒者の発声データは、多いほど好ましい。つまり、本実施形態では、対象者における音声データを予め取得する必要がなく、他人の多数の音声データからモデルを生成すれば、飲酒判定ができるものである。
【００３３】
飲酒／非飲酒モデルの生成の具体例を、図３〜図９を参照しながら説明する。
【００３４】
（図３のステップＳＢ−１）
まず、なるべく多くの人間から、飲酒状態と非飲酒状態とにおける発話データ（つまり音声データ）を取得する。この取得には、入力部１を用いることができるが、別の入力部を用いてもよい。要するに、後述の処理に使用できる音声データが取得できればよい。ここで、同じ人間から飲酒状態と非飲酒状態とをそれぞれ取得することは必須ではない。すなわち、ある人間からは飲酒状態だけ、別の人間からは非飲酒状態だけのデータを取得することが可能である。ただし、取得した発話データがどちらの状態にあるかは判明している必要がある。
【００３５】
（図３のステップＳＢ−２：音声波形からのスペクトル特徴(MFCC)の抽出）
2012014301.tif 000003
【００３６】
2012014301.tif 000004
【００３７】
2012014301.tif 000005
【００３８】
MFCCのような短時間スペクトルの外形(スペクトル包絡)を近似した特徴量は、その区間でどのような音を発声しているかに相当する音韻的な特徴として考えることができる。しかし、例えば「あ」という音の包絡は常に決まった形をとるとは限らず、発声とともに時間的に変化し、文脈による違いや人による違いなど、様々な影響によって変化する。同様に他の音韻でも複雑に変化していると考えられるが、「あ」や「い」を聴覚的に区別できる以上は、双方の包絡の形状は一定の傾向を持ちつつ、広がりを持った分布に従うと考えることができる。
【００３９】
2012014301.tif 000006
【００４０】
2012014301.tif 000007
【００４１】
2012014301.tif 000008
【００４２】
なお、仮にモデル（GMM）がある話者Aとある話者Bによって学習されていた場合は、個々のモデル（GMM）と取得された話者のGMMと尤度をそれぞれ求め、その尤度の差によって、どちらの話者の特徴に似ていたかという話者識別を行うことができる。
【００４３】
GMMのモデルパラメータは、各混合要素の平均と共分散、および混合要素の重みであり、これらの尤度関数において観測されたデータ（学習データ）の最尤が最大となるように学習を行う。EMアルゴリズムと呼ばれる手法によって、一定量の音声波形から抽出したMFCC特徴を学習データとして、GMMを学習することができる。
【００４４】
このステップでの処理は、基本的には、特徴抽出部２により行われる。
【００４５】
（図３のステップＳＢ−３：音素列の自動取得）
通常、音声認識では音響的な特徴から音素の列を定める音響モデルのほかに、言葉として正しい音素列となるような言語的制約を与える言語モデルがある。たとえば日本語の音素は40前後あるが、音素の列に何の制約もなければ一定の長さの音声区間に含まれる音素の列の候補は膨大な数になる。しかし、実際には言葉の語彙（単語）は限られており、また単語の連鎖にも一定の偏りがあることから、言語的にみて出現しうる音素の列は大きく制限されるため、探索を効率的に行うことができる。
【００４６】
本実施形態では、このような言語モデルの制約を用いない音素の列と継続時間だけを定める音素タイプライタを用いる。言語モデルを用いないため、発話内容は考えずに、発声された音韻特徴の列（音素列）だけを抽出することになる。音韻特徴からの識別という観点では、発話内容の書き起こしは必要ではなく、言語モデルの制約によって実際の発声とは異なった音素列を取得することも考えられ、正しい発音であるかどうか（例えば言いよどみやフィラーがあるかどうか）の考慮も不要である。また、特定の言語に依存しないため、言語依存性がなくなることによる利点がある。
【００４７】
図６は、「あらゆる現実を」という発声から音素タイプライタによって取得した音素列とその境界情報を示す。発声内容に沿った音素列とは異なる音素列が得られているが、音響的な現象としてはそれが発せられたモデルに近いことになる。
【００４８】
このステップでの処理は、音素列取得部３により行われる。
【００４９】
（図３のステップＳＢ−４：各音素ごとにGMMを学習）
ついで、音素ごとにGMMを学習して、木構造におけるリーフノードに振り分けていく。このステップについては、後述の実施例でさらに詳述する。このステップでの処理は、基本的には、学習部４により行われる。
【００５０】
（図３のステップＳＢ−５：発声状態（調音様式・長さ）に基づいたクラスタリング
音韻学では、特定の音韻を発声するための口腔の各部位ごとの役割や機能が調音様式として分類されている。発音される音素は言語間で異なるものの、これらの調音様式は言語ごとに共通性がある。
【００５１】
例えば、硬口蓋音（こうこうがいおん）とは、前舌または中舌を硬口蓋に密着あるいは接近させて気流を妨げることによって作られる子音を指し、日本語の場合は /h/ や /s/ などの音素が該当する。同様にこれらの調音部位に応じて、その特徴を有する音素がどのようなものがあるかは、音韻学的に分類されている。表1に代表的なものをまとめる。飲酒時に影響を受けやすいものとして、そのほかにも特定の音が間延びする傾向があることが実際に収録されたデータからわかっており、「音素の継続時間が10ms以上かどうか」といった発話された音素の長さに応じて分類するようなものも利用可能である。
【００５２】
【表１】
2012014301.tif 000009
【００５３】
飲酒／非飲酒モデルとしての木構造を構築するステップの実施例を図７で説明する。これにより、例えば図８及び図９のような木構造が自動構築される。このステップも、この実施形態では、学習部４により行われる。
【００５４】
（図７のステップＳＣ−１）
まず、学習データから得られるMFCC特徴列から音素タイプライタによって分割される各音素ごとに単独の音素モデル(GMM)を学習し、音素GMMの集合
2012014301.tif 000010
を作成する。この操作は図３のステップＳＢ−２からＳＢ−４に対応している。
【００５５】
一方、表1のように分類した音素の発音様式とそれに合致する音素名を列挙した多数の分類基準を作成しておく。ある分類基準によって、個々のモデルはその基準に適合するか、そうでないかの二値をとるものとする。これはモデル集合を二つのグループに分けることができるものなら、どのようなものであっても構わないとする。例えば、音素の長さや、提示された文章中の音素と相違したかどうかという基準も含めることができる。このような分類基準自体は、このシステムの運営者あるいは作製者が、目的に応じて作成する。
【００５６】
2012014301.tif 000011
【００５７】
このステップは、図３のＳＢ−５において実行可能な分類基準の自動生成に対応する。
【００５８】
（図７のステップＳＣ−３）
分割されたモデル集合に対応して、次の分類基準を選択（図７参照）し、前記ステップＳＣ−２で説明した手順を繰り返す。このステップＳＣ−３を順次繰り返し、一定の閾値で分割を停止する。停止の基準は、分割による尤度変化の幅に閾値を定める方法や、分割される個数によって制御することができる。このようにして飲酒／非飲酒についての木構造のモデルを生成することができる（図７のステップＳＣ−４）。ここでのステップも、図３のＳＢ−５に対応する。一例として，得られた飲酒モデルを図８に、非飲酒モデルを図９に示す。これらの図において四角で囲まれたリーフノードは、分類基準によって振り分けられた音素GMM（つまり音素ごとの音響特徴）に対応している。
【００５９】
（図２のステップＳＡ−２）
ついで、対象者についての飲酒判定を行うための前段階として、対象者からの音声データを、入力部１により取り込む。例えば、携帯電話を用いて本実施形態を実施するときは、携帯電話の画面に、読み上げるべき文章を表示することができる。対象者は、その文章を読み上げることにより、音声データを入力部１に入力することができる。入力部１は、音声データを特徴抽出部２、音素列取得部３等の、音声データを扱うべき機能要素に送る。
【００６０】
（図２のステップＳＡ−３：飲酒状態の判定）
本実施形態では、前記したように、複数の人数によって飲酒状態と非飲酒状態で発声された音声データベースを作成し、飲酒状態の音声と、非飲酒時の音声からそれぞれMFCCの抽出と音素タイプライタによって音素ラベル列と継続時間を取得した。そして、これらの学習データから、飲酒時と非飲酒時の音声の特徴を表した音素GMMを学習し、さらに調音様式の分類を利用した木構造クラスタリングによって、飲酒時と非飲酒時のそれぞれの木構造モデルを作成した。
【００６１】
このようにして得られた飲酒／非飲酒モデルは、飲酒状態の音声と非飲酒時の音声の特徴をそれぞれ備えたものであり、飲酒状態と非飲酒状態のどちらであるかが未知の音声データがどちらのクラスに属するかを確率的な基準で判定することができるものである。以下、図１０を参照して、判定処理のステップを詳しく説明する。前記した判定処理は、本実施形態では、判定部６で行われる。
【００６２】
（図１０のステップＳＤ−１〜ＳＤ−３）
飲酒状態かどうか未知の入力音声が与えられた場合、先に説明した学習時と同様にして
・MFCCの抽出；
・音素タイプライタによって音素ラベル列と継続時間を取得；
・評価データの特徴抽出
を行う。ここで、音素ラベルは該当する区間のMFCC系列の尤度を計算するためのGMMを木構造から選択するための情報となる。
【００６３】
（図１０のステップＳＤ−４）
入力音声から得られた音素ラベルの情報に沿って、それぞれのクラスの木構造から、評価データで用いるモデル（GMM）の列を決定する。つまり、音声入力における音素の音響特徴をリーフノードに振り分ける。木構造の各ノード（リーフノード以外のノード）には、音素を分類するための分類基準が配置されており、木構造のどちらのアークに進むべきかを示している。そのため、ある音素について必ず対応する葉に到達することになり、リーフノードに対応するGMMを一意に選択することができる。このようにして、飲酒状態と非飲酒時のモデルの木構造から、それぞれ当該区間で評価するべきモデル（つまりリーフノードにおけるGMM）が、音素タイプライタで定められた音素列に沿ってすべて決定される。
【００６４】
（図１０のステップＳＤ−５）
評価データにおける各フレームのMFCC特徴について、前記ステップＳＤ−２〜ＳＤ−３で定めた当該区間（つまり音素の区間）で用いるGMMを用いて、MFCCとGMMとの尤度計算を行い、各フレームでの尤度を文章全体で積算する。この尤度計算については前記において説明した。これが入力音声全体の評価値となり、各クラスにおける評価値がそれぞれ得られる。
【００６５】
ついで、飲酒状態モデル側から選択されたGMMで評価した場合と、非飲酒モデル側から選択されたGMMとで求めた尤度を比較し、その大小関係によってどちらのクラスかを判定することができる。尤度が大きい（確率が高い）ほうが、よりそのクラスで学習された特徴に近いことに相当する。
【００６６】
したがって、本実施形態では、必ずしも対象者の音声データを用いなくても、対象者が飲酒状態であるかどうかを判定することができる。
【００６７】
また、本実施形態では、言語に依存した処理を必要としない飲酒判定が可能となる。
【００６８】
飲酒状態であると判定された場合は、表示部７あるいは他の提示手段を用いて、対象者あるいは関係者に、飲酒状態であることを示すアラーム又は他の通報を行うことができる。もちろん、非飲酒状態であることを通知することも可能である。
【００６９】
（変形例：特定話者モデルへの適応学習）
前記で述べた飲酒状態と非飲酒状態の個々の音声データから学習されたモデル（リーフノードのGMM）は、複数人の人物から発声された音声データに基づいており、様々な話者の特徴を平滑化した中間的なモデルとなる。本実施形態における判定法は、話者（対象者）の音声が非常に特徴的な場合は、一方のクラス（例えば飲酒状態）だけに分類されてしまう問題が生じる。これは、より多数の話者のデータを収集して、様々な話者性を包含したモデルを作成することで一定の改善は望めるが、識別したい対象の話者が決まっている場合には、その人物に特化した識別モデルを構成する方法も可能である。
【００７０】
そこで、この変形例では、特定の人物において、飲酒時あるいは非飲酒時のどちらかで、数文章程度の音声データが得られている場合に、識別モデルをその人物に適応させる話者適応学習を導入する。
【００７１】
2012014301.tif 000012
【００７２】
2012014301.tif 000013
【００７３】
このような変換行列によって、各クラスの持つ平均的なMFCC特徴において、適応先の話者性に近くなるようにモデル全体のMFCC特徴の平均ベクトルをアフィン変換する操作が可能となる（図１１）。
【００７４】
（本実施形態における調音様式や発音様式を利用した木構造分類の利点１）
様々な分類方法を用いてモデル集合を木構造的に分割する手法の利点として、下記の3点があげられる。
（ａ）類似したモデルを統合して、統計モデルの頑健性を確保する
（ｂ）木構造を探索することで、学習データに存在しなかった音素にも最適なモデルを対応可能
（ｃ）最適な分類基準が学習されたモデルに基づいて自動的に定まる
【００７５】
日本語で出現する音素は40種類前後あり、これらをすべて網羅する統計モデルを適度に学習させるためには、一定量の音声サンプルが必要となる。しかし、個々の音素の間でも類似した音素があり、結果的に生成された木構造は、学習に用いたデータの中でどのモデルとどのモデルは同じものとして扱ってよいかという音素間の共有構造を定めたものとして解釈できる。これは類似したモデル（つまりリーフノードでのGMM）間で学習データを共有し、モデルあたりの学習データをより多く確保することが可能となる。
【００７６】
さらに、その分類の過程に音素の発音様式や調音様式のように、間接的に音素の性質をあらわした情報が利用されていることになる。つまり、学習データに存在しない音素であっても、その音韻学的な知見などからその性質が明らかであれば、木構造上のどのモデルを用いるのが最も適切かを一意に定めることができる。これは、発音様式や調音様式が言語によらない性質を備えていることを考えると、特定の言語で構成したモデルであっても、他の言語の発声データについても適切なモデル選択が可能であることを示唆している。
【００７７】
（調音様式や発音様式を利用した木構造分類の利点２）
先に述べた点の他にも応用的な側面で期待できる利点として、飲酒状態と非飲酒状態の音声から生成される木構造は、双方の音韻的な特徴の違いを分類する有力な情報の一つとなる。つまり、双方がまったく同一の構造をとることは、両者の間には統計的な差異が無いことを意味するが、実験によって得られた木構造はそれぞれ異なる傾向になることが分かっている（図８及び図９を参照）。具体的には、モデルの粗い分類（木構造の根に近い部分）では類似した傾向はもつが、葉に近い詳細な分類では異なる分類基準が選択されている。
【００７８】
このような傾向の違いを、判定システムにおける評価文章（読み上げるべき文）の選定に利用することが考えられる。評価システムに用いる文章は、どのような文字列であっても対応するモデル（リーフノードのGMM）を必ず用意できるため、テキストに依存しないシステムを構成することができる。しかし、飲酒状態の判定に適した文章とそうでない文章があると考えられる。評価に適した文章であるかどうかは、学習時にそのクラスの固有の特徴がより明確に表れていたかどうかで判断することができ、次のようなステップで二つの文章のうち、どちらが識別に適した文章かどうかの指標を定めることができる。
2012014301.tif 000014
【００７９】
前記したテスト文章SとTは、異なる時点で入力されたものであってもよい。例えば、テスト文章Tは、判定時にユーザによって入力され、テスト文章Sは、システム側に事前に入力されていたものであってもよい。この場合、ユーザが入力した文章Tと、システム側の文章Sとを評価することにより、ユーザ入力文章Tが飲酒状態判定に適切であるかどうかをシステム側が評価することができる。
【００８０】
また、システム側の文章Sを複数用意することも可能である。この場合、ユーザ側が入力した文章Tと、各文章Sとのそれぞれの尤度の値（クラス間の比）を利用して、文章Tに対するスコアを算出することも可能となる。
【００８１】
なお、本発明の範囲は、前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることはもちろんである。
【００８２】
また、前記した機能要素は、ネットワーク上に分散して存在してもよい。さらに、前記した機能要素が複数のハードウエアあるいはソフトウエアの組み合わせにより実装されていてもよい。さらに、複数の機能要素が単一のハードウエアあるいはソフトウエアによって実装されていてもよい。
【００８３】
さらに、本実施形態は、ASPとして実装することができる。例えば、特徴抽出部、音素列取得部、学習部、判定部、記憶部などの機能要素を、ASPとして、遠隔地からユーザに提供することができる。
【符号の説明】
【００８４】
１  入力部
２  特徴抽出部
３  音素列取得部
４  学習部
５  記憶部
６  判定部
７  表示部
【図１】
2012014301.tif 000015
【図２】
2012014301.tif 000016
【図３】
2012014301.tif 000017
【図４】
2012014301.tif 000018
【図５】
2012014301.tif 000019
【図６】
2012014301.tif 000020
【図７】
2012014301.tif 000021
【図８】
2012014301.tif 000022
【図９】
2012014301.tif 000023
【図１０】
2012014301.tif 000024
【図１１】
2012014301.tif 000025
【国際調査報告】
2012014301.tif 000026
2012014301.tif 000027