(57)【要約】【課題】音声認識制御システムに関し、音声認識精度を高める。【解決手段】少なくとも音声に基づき、音声を発した人物を特定する特定部２を設ける。また、特定部２で特定された人物に応じた音響モデルを選択する選択部３を設ける。さらに、選択部３で選択された音響モデルを用いて音声を認識する認識部４を設ける。【選択図】図２
2017090612.tif 000002
【特許請求の範囲】
【請求項１】
車両乗員の音声を入力信号として車載装置を制御する音声認識制御システムにおいて、
少なくとも前記音声に基づき、前記音声を発した人物を特定する特定部と、
前記特定部で特定された前記人物に応じた音響モデルを選択する選択部と、
前記選択部で選択された前記音響モデルを用いて前記音声を認識する認識部と、
を備えたことを特徴とする、音声認識制御システム。
【請求項２】
車室内の画像を撮影する室内カメラを備え、
前記特定部が、前記音声と前記画像とを用いて、前記音声を発した人物を特定する
ことを特徴とする、請求項１記載の音声認識制御システム。
【請求項３】
前記特定部が、前記人物の口唇の動きと前記音声のタイミングとの比較により、前記人物を特定する
ことを特徴とする、請求項２記載の音声認識制御システム。
【請求項４】
前記音声を用いて、前記特定部で特定された前記人物に対応する音響モデルを作成するデータ更新部を備える
ことを特徴とする、請求項１〜３のいずれか１項に記載の音声認識制御システム。
【請求項５】
前記特定部で特定された前記人物と前記認識部で認識された制御対象とが対応する場合に、前記制御対象を制御する制御部を備える
ことを特徴とする、請求項１〜４のいずれか１項に記載の音声認識制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両乗員の音声で車載装置を制御する音声認識制御システムに関する。
【背景技術】
【０００２】
従来、音声コマンドを用いて車載装置を制御できるようにした音声認識制御システムが開発されている。すなわち、車両の乗員の音声を入力信号として、各種車載装置（カーナビゲーション装置，エアコン装置，カーオーディオ装置など）の作動状態を制御するものである。一般に、発話された音声は音響モデル（音の波形サンプルと音素との対応関係が規定されたモデル）に基づいて解析され、言語モデル（音素の連なり方が規定されたモデル）に基づいてその意味内容が認識される（特許文献１参照）。このような音声認識技術を利用することで、車載装置をハンズフリーで操作することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2002-189492号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記の音響モデルや言語モデルは、標準話者の音声に基づいて作成される。一方、実際の音声には、発話者の発声器官の構造や発声法，社会的環境（方言，イントネーション）などによる音響的な変動（周波数変動，波形変動）が含まれており、必ずしも標準話者の音声と共通する特徴を持たない。そのため、標準的なモデルを用いたのでは、十分な音声認識精度が得られないことがある。特に、車両の音声認識制御システムにおいては、常に同一の人物が車両に搭乗するとは限らないため、音声認識精度や各種車載装置の制御性が低下しやすい。
【０００５】
本件の目的の一つは、上記のような課題に鑑みて創案されたものであり、車両乗員の音声認識精度を高めた音声認識制御システムを提供することである。なお、この目的に限らず、後述する「発明を実施するための形態」に示す各構成から導き出される作用効果であって、従来の技術では得られない作用効果を奏することも、本件の他の目的として位置付けることができる。
【課題を解決するための手段】
【０００６】
（１）ここで開示する音声認識制御システムは、車両乗員の音声を入力信号として車載装置を制御する音声認識制御システムである。本システムは、少なくとも前記音声に基づき、前記音声を発した人物を特定する特定部を備える。また、前記特定部で特定された前記人物に応じた音響モデルを選択する選択部と、前記選択部で選択された前記音響モデルを用いて前記音声を認識する認識部とを備える。
【０００７】
前記認識部が、前記特定部で特定された前記人物に対応する音響モデルを用いて、前記人物の音声を認識することが好ましい。また、前記特定部が、前記音声が発話された位置（発話位置）と、前記位置に存在する前記人物とを特定することが好ましい。なお、前記音響モデルには言語モデルが含まれることが好ましい。
【０００８】
（２）車室内の画像を撮影する室内カメラを備え、前記特定部が、前記音声と前記画像とを用いて、前記音声を発した人物を特定することが好ましい。
（３）前記特定部が、前記人物の口唇の動きと前記音声のタイミングとの比較により、前記人物を特定することが好ましい。
（４）前記音声を用いて、前記特定部で特定された前記人物に対応する音響モデルを作成するデータ更新部を備えることが好ましい。
（５）前記特定部で特定された前記人物と前記認識部で認識された制御対象とが対応する場合に、前記制御対象を制御する制御部を備えることが好ましい。
【発明の効果】
【０００９】
特定部で特定された人物に応じた音響モデルを選択することで、複数の乗員が搭乗しうる車室内における音声認識精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】音声認識制御システムが適用された車両の模式的な上面図である。
【図２】音声認識制御システムの構成を示す模式図である。
【図３】音声認識制御システムの制御内容を説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
図面を参照して、実施形態としての音声認識制御システムについて説明する。なお、以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。
【００１２】
［１．装置構成］
本実施形態の音声認識制御システムは、図１に示す車両１０に適用される。車両１０の車室内には運転席１４，助手席１５が設けられ、車室前方側にはインパネ（インストルメントパネル，ダッシュボード）が配置される。インパネの車室側に面した部分のうち、運転席１４の前方にはステアリング装置や計器類が配置され、助手席１５の前方にはグローブボックスが配置される。また、インパネの車幅方向中央には、カーナビ機能やＡＶ機能などのユーザーインターフェースを集約して提供するマルチコミュニケーション型のディスプレイ装置１６が搭載される。ディスプレイ装置１６の位置は、運転席１４に座る運転手の視点では左斜め前方であり、助手席１５に座る乗員の視点では右斜め前方である。
【００１３】
ディスプレイ装置１６は、タッチパネルを備えた汎用の映像表示装置（表示画面）とCPU（Central Processing Unit），ROM（Read Only Memory），RAM（Random Access Memory）などを含む電子制御装置（コンピューター）とを備えた電子デバイスである。ディスプレイ装置１６は、ナビゲーション装置１１，エアコン装置１２，カーオーディオ装置１３，マルチメディアシステムなどの車載装置に接続されて、各種車載装置の入出力装置として機能しうる。例えば、ナビゲーション装置１１から提供される目的地までの経路情報や地図情報，渋滞情報などは、このディスプレイ装置１６の表示画面に表示可能とされる。また、このディスプレイ装置１６の表示画面には、車載の地上デジタル放送チューナーで受信した番組や、DVD映像コンテンツ，リアビューカメラで撮影された映像，エアコン装置１２やカーオーディオ装置１３の操作用インターフェースといった、多様な視覚情報が再生，表示可能である。
【００１４】
また、車両１０には、乗員の音声を入力信号として各種車載装置を制御する音声認識制御装置１が搭載される。音声認識制御装置１は、CPU，MPU（Micro Processing Unit）などのプロセッサとROM，RAM，不揮発メモリなどを集積した電子デバイス（ECU，電子制御装置）である。ここでいうプロセッサとは、例えば制御ユニット（制御回路）や演算ユニット（演算回路），キャッシュメモリ（レジスタ）などを内蔵する処理装置（プロセッサ）である。また、ROM，RAM及び不揮発メモリは、プログラムや作業中のデータが格納されるメモリ装置である。音声認識制御装置１で実施される制御の内容は、ファームウェアやアプリケーションプログラムとしてROM，RAM，不揮発メモリ，リムーバブルメディア内に記録される。また、プログラムの実行時には、プログラムの内容がRAM内のメモリ空間内に展開され、プロセッサによって実行される。
【００１５】
図２に示すように、音声認識制御装置１には、入力装置としてのマイクアレイ２１及び室内カメラ２２が接続される。マイクアレイ２１は、複数のマイクロフォンを所定の配列に並べた音声入力装置であり、室内カメラ２２は車室内全体を撮影可能な広角ビデオカメラである。一方、出力装置としては、ナビゲーション装置１１，エアコン装置１２，カーオーディオ装置１３，ディスプレイ装置１６などが接続される。音声認識制御装置１は、マイクアレイ２１から入力された音声と室内カメラ２２で撮影された画像とに基づいて、各種車載装置を制御する。
【００１６】
［２．制御構成］
音声認識制御装置１は、音声を発した人物を識別し、その人物に適した音響モデルを用いて音声内容を識別する機能を持つ。例えば、車両１０に誰かが乗車すると、乗車した人物が誰であるのかを認識し、その人物が着座した位置を記憶する。また、車室内で誰かが音声を発したときには、その音声を発した人物が誰であるのかを特定し、その人物に対応する音響モデルを用いてその音声を認識する。音声の特徴が異なる人物には、異なる音響モデルが適用される。なお、ここでいう音響モデルには、言語モデルが含まれるものとする。
【００１７】
上記の制御を実施するための要素として、音声認識制御装置１には、特定部２，選択部３，認識部４，データベース５，制御部６が設けられる。これらは、音声認識制御装置１で実行されるプログラムの一部の機能を示すものであり、ソフトウェアで実現されるものとする。ただし、各機能の一部又は全部をハードウェア（電子制御回路）で実現してもよく、あるいはソフトウェアとハードウェアとを併用して実現してもよい。
【００１８】
データベース５は、音声認識に関する総合的な各種データが記録，保存されたストレージ装置である。ここには、音声認識で用いられる多数の音響モデルが、その音響モデルに対応する人物と関連づけられた状態で記録，保存される。データベース５が持っている音響モデルの一つは、標準話者の音声に基づいて予め作成されたものである。他の音響モデルは、標準話者以外の人物の音声に基づいて作成，学習，更新されるものであり、車両１０に搭乗する各々の乗員について各音声を認識するのに適した（最適化された）ものとされる。例えば、入力された音声の特徴（例えば、音響スペクトル）が標準話者の音声の特徴から大きく離れている場合には、入力された音声に対応する新たな音響モデルが作成され、その音声の認識結果に基づいて音響モデルが学習，更新される。
【００１９】
特定部２は、少なくともマイクアレイ２１から入力された音声に基づき、その音声を発した人物を特定するものである。人物の特定手法としては、音声が検出された時点でリアルタイムに特定する手法と、車両１０に誰かが乗車したときにその人物と着座位置との関係を把握しておき、検出された音声の音源位置に基づいて人物を特定する手法とが挙げられる。
【００２０】
前者の場合、音声中に含まれる波形パターンや周波数パターン，声紋パターンなどに基づいて人物を特定することが可能である。あるいは、室内カメラ２２で撮影された画像中から人間の顔を抽出し、口唇の動きと音声のタイミングとが一致する人物を特定することも可能である。後者の場合、室内カメラ２２で撮影された画像を解析（例えば、顔認証）することで人物を特定してもよいし、その人物に何らかの音声を発してもらい、前者と同様の手法を用いてその人物を特定してもよい。ここで特定された人物の情報は、選択部３に伝達される。
【００２１】
選択部３は、データベース５に記録，保存されている複数の音響モデルの中から、特定部２で特定された人物に対応する音響モデルを選択するものである。例えば、車両１０の所有者であるユーザＡが音声コマンドを発したときには、ユーザＡに対応する第一音響モデルが選択される。また、ユーザＡとは別のユーザＢが音声コマンドを発したときには、ユーザＢに対応する第二音響モデルが選択される。ここでの選択結果は、認識部４に伝達される。
【００２２】
認識部４は、選択部３で選択された音響モデルを用いて音声を認識するものである。ここでは、発話内容の文脈が解析され、制御対象となる車載装置の種類が推定されるとともに、制御対象に対する音声コマンドの内容が認識される。音声認識の具体的な手法は任意であり、公知の音声認識技術を採用することができる。例えば、音響モデルに基づいて音声に含まれる音素が解析された後に、言語モデルに基づいて音素の連なりからなる語や句が解析され、その意味内容が認識される。ここでの認識結果は、制御部６に伝達される。
【００２３】
制御部６は、認識部４で認識された結果に基づき、制御対象を実際に制御するものである。ここでは、特定部２で特定された人物と制御対象との組み合わせが適切である場合に、その制御対象が実際に制御される。例えば、車両１０の所有者であるユーザＡは、ナビゲーション装置１１，エアコン装置１２，カーオーディオ装置１３を音声コマンドで操作可能とされる。これに対し、ユーザＡの知人であるユーザＣは、これらの車載装置を音声コマンドで操作できないものとされる。人物と制御対象との組み合わせが適切でない場合には、その制御対象が制御されることなく、音声コマンドがキャンセル（取り消し）される。
【００２４】
［３．フローチャート］
図３は、音声認識制御装置１で実施される制御内容を説明するためのフローチャート例である。まず、マイクアレイ２１で検出された音声情報，室内カメラ２２で撮影された画像情報が音声認識制御装置１に入力され（ステップＡ１）、車両１０に誰かが乗車したか否かが判定される（ステップＡ２）。誰かの乗車が検出されると、その人物が認識されるとともに、その人物の着座位置が特定される（ステップＡ３）。その後、音声が入力されたか否かが判定される（ステップＡ４）。
【００２５】
ここで、何らかの音声が入力されていると、特定部２において、少なくともその音声情報に基づき、音声を発した人物が特定される（ステップＡ５）。また、その人物がデータベース５に登録済みのユーザであるか否かが判定され（ステップＡ６）、登録済みでなければ新規の音響モデルがデータベース５に追加登録される（ステップＡ７）。その後、選択部３において、その人物に対応する音響モデルが選択される（ステップＡ８）。また、認識部４において、選択された音響モデルに基づく音声認識が実施される（ステップＡ９）。
音声認識が完了すると、その認識結果に基づき、その人物の音響モデルが学習，更新される（ステップＡ１０）。なお、制御部６では、特定された人物と制御対象との対応関係が判定され、対応する場合にはその制御対象に対する制御が実施される。一方、特定された人物と制御対象とが対応しない場合には、その音声コマンドがキャンセルされ、制御が不実施とされる。
【００２６】
［４．作用，効果］
（１）上記の通り、特定部２で特定された人物に応じた音響モデルを選択することで、複数の乗員が搭乗しうる車室内における音声認識精度を向上させることができる。これにより、例えば発話者の発声器官の構造や発声法，社会的環境が標準話者と大きく相違するような場合であっても、音声コマンドの内容を精度よく認識することができ、各種車載装置の制御性を高めることができる。
【００２７】
（２）特定部２での制御内容に関して、マイクアレイ２１で取得された音声情報だけでなく、室内カメラ２２の画像情報を併用することで、音声のみを用いた場合と比較して短時間で容易にその人物を特定することが可能となる。したがって、簡素な構成で音声認識精度及び各種車載装置の制御性を向上させることができる。
（３）また、画像中の口唇の動きと音声のタイミングとを比較することで、その人物が発話者であることを確実に特定することができる。
【００２８】
（４）特定された人物の音響モデルをその人物の音声で学習，更新することで、その後の音声認識精度をさらに向上させることができる。また、データベース５に登録済みでないユーザに対しては新規の音響モデルが追加登録されるようになっているため、データベース５の拡張性を高めることができ、簡素な構成で音声認識精度及び各種車載装置の制御性を向上させることができる。
【００２９】
（５）制御部６での制御内容に関して、特定部２で特定された人物と制御対象との対応関係を判断することで、車載装置の利用権限をユーザ毎に設定することが容易となる。例えば、車両１０の所有者であるユーザＡが知人であるユーザＣに一時的に運転を代わってもらうような場合には、ユーザＣによる音声コマンドに制限をかけることで、音声コマンドに不慣れなユーザＣによる誤操作を防止することができ、利便性を向上させることができる。
【００３０】
［５．変形例］
上述の実施形態では、特定部２で特定された人物のそれぞれに対応する音響モデルがデータベース５に記録，保存されるものとしたが、音響モデルは必ずしも個々のユーザに設定する必要はない。例えば、入力された音声の特徴が標準話者の音声の特徴から大きく離れていない場合には、その人物に専用の音響モデルは不要である。また、入力された音声の特徴をいくつかの種類（例えば、若年男性，若年女性，壮年男性，壮年女性，老年男性，老年女性といった六種類）に分類し、それぞれの種類に対して音響モデルを設定してもよい。この場合、特定された人物に関連づけられる種類に応じた音響モデルを用いて音声認識を実施すればよい。
【００３１】
また、上述の実施形態では、音声の認識から制御対象の制御までに至るすべての過程が音声認識制御装置１で統括管理されているが、音声認識制御装置１の機能の一部又は全部を車両１０の外部に移設することも考えられる。例えば、音声認識制御装置１をインターネット，携帯電話機の無線通信網，その他のデジタル無線通信網などのネットワークに接続可能とし、ネットワーク上のサーバに音声認識制御装置１の機能の一部又は全部を実装してもよい。これにより、データベース５の管理や更新が容易となり、音声認識精度やジェスチャ認識精度を向上させることができる。
【符号の説明】
【００３２】
１  音声認識制御装置
２  特定部
３  選択部
４  認識部
５  データベース
６  制御部
１０  車両
１１  ナビゲーション装置
１２  エアコン装置
１３  カーオーディオ装置
１４  運転席
１５  助手席
１６  ディスプレイ装置
２１  マイクアレイ
２２  室内カメラ
【図１】
2017090612.tif 000003
【図２】
2017090612.tif 000004
【図３】
2017090612.tif 000005