(57)【要約】【課題】  自由発話に対する運転者の対話負荷を推定する運転者負荷推定装置を提供すること。【解決手段】  車両に搭載され、車両運転中の運転者の負荷を推定する運転者負荷推定装置が、車室内の音声を収集する音声収集手段と、収集された音声を単語単位で音声認識処理する音声認識手段と、認識された単語のうち、名詞及び動詞の単位発話時間あたりの出現回数をそれぞれ算出する算出手段と、算出された名詞及び動詞の単位発話時間あたりの出現回数の和を運転者の対話負荷の大きさを表す負荷パラメータとする対話負荷推定手段とを備える。対話負荷推定手段は、認識された各単語の信頼度や出現間隔に応じて、名詞及び動詞の単位発話時間あたりの出現回数に所定の補正を加える。音声収集手段は収集された音声の発声源を特定する発声源特定手段を含み、対話負荷推定手段は特定された発声源に応じて、運転者から発話された単語と運転者により聴取された単語と区別する。【選択図】  図２
2006349871.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、車両運転中の運転者の負荷を推定する運転者負荷推定装置であって、
車室内の音声を収集する音声収集手段と、
前記音声収集手段により収集された音声を単語単位で音声認識処理する音声認識手段と、
前記音声認識手段により認識された単語のうち、名詞及び動詞の単位発話時間あたりの出現回数をそれぞれ算出する算出手段と、
前記算出手段により算出された前記名詞及び動詞の単位発話時間あたりの出現回数の和を運転者の対話負荷の大きさを表す負荷パラメータとする対話負荷推定手段と、を有することを特徴とする運転者負荷推定装置。
【請求項２】
請求項１記載の運転者負荷推定装置であって、
前記対話負荷推定手段は、前記名詞及び動詞の単位発話時間あたりの出現回数に所定の重み付け処理を行う補正手段を含む、ことを特徴とする運転者負荷推定装置。
【請求項３】
請求項２記載の運転者負荷推定装置であって、
前記音声認識手段は、更に、音声認識処理した各単語について信頼度を算出し、
前記補正手段は、前記信頼度が低い名詞及び動詞については前記負荷パラメータが増加するように前記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理する、ことを特徴とする運転者負荷推定装置。
【請求項４】
請求項２又は３記載の運転者負荷推定装置であって、
前記算出手段は、更に、前記音声認識手段により認識された各単語について出現間隔を測定し、
前記補正手段は、前記出現間隔が所定時間より短い名詞及び動詞については前記負荷パラメータが減少するように前記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理する、ことを特徴とする運転者負荷推定装置。
【請求項５】
請求項２乃至４のいずれか一項記載の運転者負荷推定装置であって、
前記算出手段は、更に、前記音声認識手段により認識された各単語について出現間隔を測定し、
前記補正手段は、前記出現間隔が所定時間より長い名詞及び動詞については前記負荷パラメータが増加するように前記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理する、ことを特徴とする運転者負荷推定装置。
【請求項６】
請求項２乃至５のいずれか一項記載の運転者負荷推定装置であって、
前記音声収集手段は、収集された音声の発声源を特定する発声源特定手段を含み、
前記対話負荷推定手段は、前記発声源特定手段により特定された発声源に応じて、前記名詞及び動詞の単位発話時間あたりの出現回数を運転者から発話された単語と運転者により聴取された単語とに分けて算出する、ことを特徴とする運転者負荷推定装置。
【請求項７】
請求項６記載の運転者負荷推定装置であって、
前記発声源特定手段は、運転者への発話をハンズフリー電話からの発話か又は同乗者からの発話か識別し、
前記補正手段は、前記名詞及び動詞の単位発話時間あたりの出現回数が等しいときにはハンズフリー電話からの発話の方が同乗者からの発話よりも前記負荷パラメータが増加するように、前記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理する、ことを特徴とする運転者負荷推定装置。
【請求項８】
請求項６又は７記載の運転者負荷推定装置であって、
前記音声認識手段は、前記発声源特定手段によりオーディオ出力であると特定された音声は音声認識処理しない、ことを特徴とする運転者負荷推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、車両に搭載され、車両運転中の運転者の負荷を推定する運転者負荷推定装置に係り、特に、自由発話に対する運転者の対話負荷を推定する運転者負荷推定装置に関する。
【背景技術】
【０００２】
従来、車両運転中の運転者の負荷を推定する装置及び方法が提案されている（例えば、特許文献１〜４参照）。
【特許文献１】特開２００３−１２５４５４号公報
【特許文献２】特開２００３−１５０１９３号公報
【特許文献３】特開２００４−２２８８９０号公報
【特許文献４】特開２００４−２７２０４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１〜４に開示された従来の手法はいずれも、自由発話についての運転者の対話負荷が考慮・推定されていないため、正確な運転者負荷推定が実現されていない。
【０００４】
例えば、上記特許文献１及び３に開示された手法では、対話負荷について何ら考慮されていない。
【０００５】
また、上記特許文献２に開示された手法では、認知的負荷しか考慮されておらず、自由対話については何ら考慮されていない。
【０００６】
さらに、上記特許文献４に開示された手法は、発話ピッチに基づいて負荷推定を実行するものであり、精度が良好とは言い難い。
【０００７】
本発明はこのような課題を解決するためのものであり、自由発話に対する運転者の対話負荷を推定する運転者負荷推定装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明の第一の態様は、車両に搭載され、車両運転中の運転者の負荷を推定する運転者負荷推定装置であって、車室内の音声を収集する音声収集手段と、該音声収集手段により収集された音声を単語単位で音声認識処理する音声認識手段と、該音声認識手段により認識された単語のうち、名詞及び動詞の単位発話時間あたりの出現回数をそれぞれ算出する算出手段と、該算出手段により算出された上記名詞及び動詞の単位発話時間あたりの出現回数の和を運転者の対話負荷の大きさを表す負荷パラメータとする対話負荷推定手段とを有する運転者負荷推定装置である。
【０００９】
この第一の態様において、上記音声認識手段は、例えば、いわゆるｎ−ｇｒａｍ型の音声認識を実行することにより、音声を単語単位で音声認識処理することが実現される。
【００１０】
この第一の態様によれば、例えば接続詞や感嘆詞などの他の単語と比較して発話負荷及び聴取負荷が特に高いと考えられる名詞及び動詞に特化して、その単位時間あたりの出現回数によって運転者の対話負荷を推定するため、精度の良い推定が可能となる。
【００１１】
上記目的を達成するための本発明の第二の態様は、上記第一の態様に係る運転者負荷推定装置において、上記対話負荷推定手段が上記名詞及び動詞の単位発話時間あたりの出現回数に所定の重み付け処理を行う補正手段を含む、運転者負荷推定装置である。
【００１２】
この第二の態様において、上記補正手段は、例えば、認識された各単語の信頼度や出現間隔に応じて、上記負荷パラメータが増加又は減少するように上記名詞及び動詞の単位発話時間あたりの出現回数に重み付けを行う。
【００１３】
より具体的には、例えば、１）上記音声認識手段が更に音声認識処理した各単語について信頼度を算出するようにし、この信頼度が低い名詞及び動詞については通常の会話にはあまり登場しない単語であると判断して負荷パラメータが増加するように重み付けするようにしてもよく、或いは、２）上記算出手段が更に上記音声認識手段により認識された各単語について出現間隔を測定するようにし、この出現間隔が所定時間より短い（すなわち、頻繁に繰り返された）名詞及び動詞については発話負荷及び聴取負荷がいずれも低いと判断して負荷パラメータが減少するように重み付けし、出現間隔が所定時間より長い（すなわち、たまにしか発せられない）名詞及び動詞については発話負荷及び聴取負荷がいずれも高いと判断して負荷パラメータが増加するように重み付けするようにしてもよい。
【００１４】
この第二の態様によれば、音声認識により認識された名詞及び動詞について、さらにその各々の信頼度や出現間隔に応じて負荷パラメータを上げる又は下げる補正が行われるため、運転者対話負荷推定の精度を更に向上させることができる。
【００１５】
上記目的を達成するための本発明の第三の態様は、上記第二の態様に係る運転者負荷推定装置において、上記音声収集手段が収集された音声の発声源を特定する発声源特定手段を含み、上記対話負荷推定手段は、上記発声源特定手段により特定された発声源に応じて、上記名詞及び動詞の単位発話時間あたりの出現回数を運転者から発話された単語と運転者により聴取された単語とに分けて算出する、運転者負荷推定装置である。
【００１６】
この第三の態様において、上記発声源特定手段は、例えば、車両に搭載されたハンズフリー通話機能やそれに接続された携帯電話の作動状態からハンズフリー通話からの発話であるか否かを判断したり、マイクロホンアレイを用いて発話の到来方向を検出することによって同乗者の発話であるか否かを判断したりする。
【００１７】
また、この第三の態様において、上記発声源特定手段による特定結果は、例えば、上記音声認識手段による音声認識処理や上記補正手段による重み付け処理に用いられる。
【００１８】
より具体的には、例えば、１）同乗者は運転者とハンズフリー電話の通話相手よりも運転者の状態や車両の走行状況を考慮して運転者に話し掛けるであろうという洞察に基づき、上記発声源特定手段が運転者への発話をハンズフリー電話からの発話か又は同乗者からの発話か識別し、上記補正手段が、上記名詞及び動詞の単位発話時間あたりの出現回数が等しいときにはハンズフリー電話からの発話の方が同乗者からの発話よりも上記負荷パラメータが増加するように、上記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理するようにしてもよく、及び／又は、２）運転者は音楽やラジオ等のオーディオ出力については聞き流して運転操作に集中できるであろうという洞察に基づき、上記音声認識手段が上記発声源特定手段によりオーディオ出力であると特定された音声は音声認識処理しないようにしてもよい。
【００１９】
この第三の態様によれば、運転者に対する発話音声について発話発信元に応じて運転者の聴取負荷をきめ細かく推定することができるため、運転者対話負荷推定の精度が一層向上する。
【発明の効果】
【００２０】
本発明によれば、自由発話に対する運転者の対話負荷を推定する運転者負荷推定装置を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、音声認識処理の基本概念、並びにそれを実現するためのハードウェア構成及びソフトウェア構造等については当業者には既知であるため、詳しい説明を省略する。
【実施例】
【００２２】
以下、図１及び２を用いて、本発明の一実施例に係る運転者負荷推定装置の構成及び動作について説明する。
【００２３】
図１は、本実施例に係る運転者負荷推定装置１００の概略構成図である。運転者負荷推定装置１００は、主として、音声収集部１０１と、音声認識エンジン１０２と、対話負荷推定部１０３とから構成される。
【００２４】
音声収集部１０１は、車室内の音声を例えばマイクロホンを用いて集音すると共に、集音された音声の出所を検出・特定する。
【００２５】
ここで、車室内の音声は、運転者による発話か否かによって、Ａ）運転者発話か、Ｂ）運転者聴取かに大きく分類できる。Ａ）運転者発話は、更に、ａ１）ハンズフリー電話への発話か、ａ２）同乗者（例えば、助手席に乗っている乗員）への発話かに分類することができる。Ｂ）運転者聴取は、更に、ｂ１）ハンズフリー電話からの聴取か、ｂ２）同乗者（例えば、助手席に乗っている乗員）からの聴取か、ｂ３）音楽やラジオ等のオーディオ出力の聴取かに分類することができる。
【００２６】
音声収集部１０１は、集音した車室内の音声を上記ａ１）〜ａ２）及びｂ１）〜ｂ３）のいずれかに分類する。分類する具体的手法は既知の任意のものでよい。例えば、車両に搭載されたハンズフリー通話機能やそれに接続された携帯電話の作動状態からハンズフリー通話からの発話であるか否かを判断することができる。また、マイクロホンアレイ（例えば、ビームフォーム型、など）を用いて発話の到来方向を検出することによって、同乗者の発話であるか否かを判断することができる。
【００２７】
ここで、マイクロホンアレイとは、空間的に配置された複数のマイクロホンから構成される受音装置であり、音の空間的情報を取得することによって音の到来方向を検出できるものである。
【００２８】
また、音声収集部１０１は、予め運転者の声紋を車両に登録しておくことにより、声紋認証処理によって、運転者の発話であるか、同乗者の発話であるかを識別することもできる。
【００２９】
なお、オーディオ出力は、運転者は聞き流して運転操作に集中できる、すなわち運転者聴取負荷とはならない、と考えられる。したがって、音声収集部１０１は、オーディオ出力については単に識別するだけでなく、例えばＬＭＳ（Ｌｅａｓｔ−Ｍｅａｎ−Ｓｑｕａｒｅｓ）アルゴリズムなどを用いて、収集された音声から直ちに除去する。
【００３０】
また、音声収集部１０１は、このようにして収集・分類された発話の各々について、発話時間も測定する。
【００３１】
音声収集部１０１は、収集された音声情報を音声認識エンジン１０２へ送ると共に、発話時間及び発話元に関する情報を対話負荷算出部１０３へ送る。
【００３２】
音声認識エンジン１０２は、音声収集部１０１によって収集された発話音声に対して逐次文字を出す音声認識処理を行い、発せられた各単語を認識する。ここで、単語単位での音声認識処理が可能なアルゴリズムとしては、例えばｎ−ｇｒａｍ（エヌグラム）型の音声認識が挙げられる。ｎ−ｇｒａｍは、単語列を統計的・確率的に取り扱う統計的言語モデルの代表例であり、ｎ個の単語が連なる確率を予め計算（学習）しておくことで、実際に発声された文章の信頼度（もっともらしさ）を計算することができるものである。
【００３３】
本装置は、発話文章の意味内容の解読が主目的ではなく、あくまで運転者の対話負荷の推定が目的であるため、音声認識エンジン１０２は、音声認識処理後、認識された各単語の品詞と信頼度を算出し、これらを対話負荷推定部１０３へ送る。
【００３４】
対話負荷推定部１０３は、音声収集部１０１から取得した発話元に関する情報及び発話時間と、音声認識エンジン１０２から取得した認識された単語の品詞及び信頼度とに基づいて、運転者の対話負荷を推定する。対話負荷推定部１０３における処理については下記の図２の説明において詳述する。
【００３５】
図２は、本実施例に係る運転者負荷推定装置１００の処理の流れを示すフローチャートである。
【００３６】
本装置１００は、まず、音声入力を監視・待機する（Ｓ２０１）。音声が入力されると（Ｓ２０１の「ＹＥＳ」）、それがオーディオ出力であるか否かを判定する（Ｓ２０２）。
【００３７】
入力された音声が音楽やラジオ等のオーディオ出力であった場合（Ｓ２０２の「ＹＥＳ」）、上述のように、例えばＬＭＳアルゴリズムを用いて除去するなどして、そのデータを破棄する（Ｓ２０８）。
【００３８】
入力された音声がオーディオ出力でなかった場合、すなわち人間の発話であった場合（Ｓ２０２の「ＮＯ」）、次いで、音声認識エンジン１０２が例えばｎ−ｇｒａｍ型などを用いてこの音声を単語単位で音声認識処理する（Ｓ２０３）。
【００３９】
音声認識エンジン１０２は、更に、認識された各単語について、品詞及び信頼度を判定する（Ｓ２０４）。
【００４０】
このようにして認識された各単語の品詞及び信頼度が判定されると、次いで、対話負荷推定部１０３が、音声収集部１０１により測定された発話時間と、音声認識エンジン１０２により認識された単語の品詞とから単位発話時間あたりの名詞及び動詞それぞれの出現回数を算出し、これら出現回数の和を対話負荷の大きさを表す対話負荷パラメータとする（Ｓ２０５）。
【００４１】
ここで、名詞及び動詞に絞り込むのは、例えば接続詞や感嘆詞などの他の単語と比較して、名詞及び動詞の発話負荷及び聴取負荷が特に高いと考えられるためである。
【００４２】
次いで、対話負荷推定部１０３は、この単位時間あたりの名詞及び動詞の出現回数の和に相当する対話負荷パラメータを認識された各単語の信頼度及び出現間隔で補正する（Ｓ２０６）。
【００４３】
具体的には、信頼度が低い名詞及び動詞については、通常の会話にはあまり登場しない単語であると判断して、対話負荷パラメータが増加するように重み付け処理を行う。
【００４４】
また、出現間隔が所定時間より短い（すなわち、頻繁に繰り返された）名詞及び動詞については、発話負荷及び聴取負荷がいずれも低いと判断して、対話負荷パラメータが減少するように重み付け処理を行う。
【００４５】
さらに、出現間隔が所定時間より長い（すなわち、たまにしか発せられない）名詞及び動詞については、発話負荷及び聴取負荷がいずれも高いと判断して、対話負荷パラメータが増加するように重み付け処理する。
【００４６】
これら出現間隔に基づく増減補正は、例えば、出現間隔ｔとして、１／（１−ｅ−τｔ）を対話負荷パタメータの乗じることによって実現される。
【００４７】
次いで、対話負荷推定部１０３は、音声収集部１０１から取得した発話元情報に基づいて、対話負荷パラメータを発話負荷と聴取負荷とに分ける。さらに、聴取負荷としてにんしきされた運転者に対する発話について、同乗者から運転者への発話か、或いは、ハンズフリー電話の通話相手から運転者への発話か、識別する。
【００４８】
そして、対話負荷推定部１０３は、名詞及び動詞の単位発話時間あたりの出現回数が等しいときにはハンズフリー電話からの発話の方が同乗者からの発話よりも対話負荷パラメータが増加するように、名詞及び動詞の単位発話時間あたりの出現回数に重み付けする。これは、同乗者は、ハンズフリー電話の通話相手よりも運転者の状態や車両の走行状況を考慮して運転者に話し掛けている（例えば、歩行者に注意しながら交差点を右左折しているときには込み入ったことを話し掛けない、など）であろうという洞察に基づくものである。これにより、同乗者から運転者への発話は、ハンズフリー電話の通話相手からの発話よりも聴取負荷が相対的に低いという評価が反映されることになる。
【００４９】
このような一連の補正（重み付け）処理後の対話負荷パラメータが最終的に運転者の対話負荷を表すものとして運転者負荷の推定に用いられる。
【００５０】
このように、本実施例によれば、単語単位での認識が可能な音声認識処理を用いることによって、例えば接続詞や感嘆詞などの他の単語と比較して発話負荷及び聴取負荷が特に高いと考えられる名詞及び動詞に特化し、その単位時間あたりの出現回数によって運転者の対話負荷を推定するため、精度の良い推定が可能となる。
【００５１】
また、本実施例によれば、音声認識により認識された名詞及び動詞について、さらにその各々の信頼度や出現間隔に応じて対話負荷パラメータを増減させる重み付け処理が行われるため、運転者対話負荷推定の精度を更に向上させることができる。
【００５２】
さらに、本実施例によれば、運転者に対する発話音声について発話発信元に応じて運転者の聴取負荷をきめ細かく推定することができるため、運転者対話負荷推定の精度が一層向上する。
【産業上の利用可能性】
【００５３】
本発明は、車両に搭載され、車両運転中の運転者の負荷を推定する運転者負荷推定装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施例に係る運転者負荷推定装置の概略構成図である。
【図２】本発明の一実施例に係る運転者負荷推定装置の処理の流れを示すフローチャートである。
【符号の説明】
【００５５】
１００  運転者負荷推定装置
１０１  音声収集部
１０２  音声認識エンジン
１０３  対話負荷推定部
【図１】
2006349871.tif 000003
【図２】
2006349871.tif 000004