(57)【要約】【課題】ユーザの集約的な操作により、複数の機器の機能を迅速、利便性よく、且つ確実に実行させることができる音声認識機器操作装置を提供すること。【解決手段】音声中の多様な用語を各車載機器２〜７の機能に対応付ける音声認識を行う音声認識部１４と、各車載機器２〜７に対応し、各々が複数の操作項目を有する選択メニュー画面に階層構造化された機器項目を有する機器メニュー画面を出力し、該各選択メニュー画面の最下層の選択メニュー画面にて一の操作項目を選択することで当該各車載機器の機能実行の確定操作が行なわれる画面表示部１１ａと、各車載機器２〜７の機能実行の確定操作の実行毎に、音声認識された用語を当該確定操作された機能に対応付けるＣＰＵ１０とを具備する。該ＣＰＵ１０は、その対応付けの頻度に応じて、音声中の用語を最下層の選択メニュー画面に対応付け、該選択メニュー画面にて各車載機器２〜７の機能実行の操作を行わせる。【選択図】図１
2009180914.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが所定の機能を実行する複数の機器を操作すべく設けられ、ユーザの音声に含まれる用語を音声認識することで前記各機器に当該用語に対応する機能を実行させるようにした音声認識機器操作装置であって、
ユーザの音声に含まれる多様な用語を前記各機器の機能に対応付ける音声認識を行う音声認識部と、
前記各機器に対応し、それぞれが複数の操作項目を有する選択メニューに階層構造化された機器項目を有する機器メニューを出力するとともに、該階層構造化された各選択メニューの最下層に位置する選択メニューにおいて一の操作項目を選択することで当該各機器の機能実行の確定操作が行なわれるようにした機器メニュー部と、
前記各機器の機能実行の確定操作が行なわれる毎に、前記音声認識部で音声認識された用語を、当該確定操作された機能に対応付ける制御部とを具備し、
前記制御部は、前記音声認識された用語と確定操作された機能とが対応付けられた頻度に応じて、ユーザの音声に含まれる用語を前記最下層に位置する選択メニューに対応付けるとともに、該最下層に位置する選択メニューにおいて当該ユーザに前記各機器の機能実行の操作を行わせるようにしたことを特徴とする音声認識機器操作装置。
【請求項２】
請求項１に記載の音声認識機器操作装置において、
前記音声認識部は、ケプストラムを特徴パラメータとして、ユーザの音声に含まれる多様な用語を前記各機器の機能に対応付ける音声認識を行うようにした音声認識機器操作装置。
【請求項３】
請求項１又は請求項２に記載の音声認識機器操作装置において、
前記機器メニュー部は、前記機器メニュー及び選択メニューを画面に表示する画面表示部により構成され、
該画面表示部において、前記機器メニューの機器項目又は選択メニューの操作項目に触れることで当該機器項目又は操作項目の選択が行われるようにした音声認識機器操作装置。
【請求項４】
請求項３に記載の音声認識機器操作装置において、
前記最下層に位置する選択メニューは、前記機器メニュー部に表示される次候補ボタンを選択することで、前記同一の階層に位置する他の選択メニューを表示させるようにした音声認識機器操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、車両内に設けられたエアコン機器、オーディオ機器等の各種車載機器を集中管理すべく設けられ、音声認識を介在させることで、ユーザ（車両の運転者等）に当該各車載機器を操作させ、各車載機器の機能を実行させる音声認識機器操作装置に関する。
【背景技術】
【０００２】
従来より、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらの機能を１台に統合した複合機やコンピュータ等のＯＡ機器をユーザに集約的に操作させるために機器操作装置が設けられている（例えば、特許文献１参照）。
【０００３】
この機器操作装置では、階層メニューごとに操作項目を選択可能とし、該操作項目を選択することで当該ＯＡ機器に特定の機能を実行可能としている。
この種の機器操作装置には、ユーザの音声に含まれる指示語に基づいて所定の機能を実行させると共に、同じ指示語が多様な機能に対応している場合には、頻度の高いものを優先させることで指示語毎にユーザの所望する機能を優先的に実行することを可能とした音声認識機器操作装置が知られている（例えば、特許文献２参照）。
【特許文献１】特開２００４−９４０５７号公報
【特許文献２】特開２００２−２５８８９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、この技術では、例えば、「アップ」等の指示語がユーザにより音声として発せられ、当該指示語がオーディオ機器のＣＤプレーヤの音量の上昇について頻度が最も高いものであった場合に、いきなり当該ＣＤプレーヤの音量の上昇機能が実行され、ユーザが所望する機能の実行が迅速に行われるものの、利便性が損なわれる問題点があった。
【０００５】
また、この技術によれば、オーディオ機器の特定の機能を意味する機能語（例えば、「音量」）を、その機能をどのように変化させるかを示す指示語（例えば、「アップ」）に付加し、当該機能語が付加された指示語（この場合、「音量アップ」）から特定の機能を実行させるようにしていることから、処理が複雑化する問題もある。
【０００６】
さらに、この場合、「あげる」、「アップ」、「上昇させる」といった概念を持つ用語の中で、指示語を「アップ」に予め確定させる必要があり、例えば、当該「アップ」と同種の概念の指示語である「あげる」を発言した場合には音声認識が適切に行われない懸念もある。
【０００７】
本発明は、上記問題点を解決するためになされたものであって、その目的は、ユーザによる集約的な操作により、複数の機器の機能を迅速、利便性よく、且つ確実に実行させることができる音声認識機器操作装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記問題点を解決するために、請求項１に記載の発明は、それぞれが所定の機能を実行する複数の機器を操作すべく設けられ、ユーザの音声に含まれる用語を音声認識することで前記各機器に当該用語に対応する機能を実行させるようにした音声認識機器操作装置であって、ユーザの音声に含まれる多様な用語を前記各機器の機能に対応付ける音声認識を行う音声認識部と、前記各機器に対応し、それぞれが複数の操作項目を有する選択メニューに階層構造化された機器項目を有する機器メニューを出力するとともに、該階層構造化された各選択メニューの最下層に位置する選択メニューにおいて一の操作項目を選択することで当該各機器の機能実行の確定操作が行なわれるようにした機器メニュー部と、前記各機器の機能実行の確定操作が行なわれる毎に、前記音声認識部で音声認識された用語を、当該確定操作された機能に対応付ける制御部とを具備し、前記制御部は、前記音声認識された用語と確定操作された機能とが対応付けられた頻度に応じて、ユーザの音声に含まれる用語を前記最下層に位置する選択メニューに対応付けるとともに、該最下層に位置する選択メニューにおいて当該ユーザに前記各機器の機能実行の操作を行わせるようにしたこと、を要旨とする。
【０００９】
同構成によれば、音声認識された用語と確定操作された機能とが対応付けられた頻度に応じて、ユーザの音声に含まれる用語を各選択メニューの最下層に位置する選択メニューに対応付けるとともに、該最下層に位置する選択メニューにおいてユーザに各機器の機能実行の確定操作を行わせるようにした。このように各機器にその機能を実行させる場合に、音声認識された用語と当該確定操作された機能とを対応付けし、その対応付けした頻度に従って優先付けすることで、ユーザの音声に含まれる用語が最下層に位置する選択メニューに対応付けられ、当該最下層に位置する選択メニューにおいて各機器の機能実行の操作が行われる。これにより、一の用語が、複数の機能の実行の際に発声され、該複数の機能に対応付けられていた場合に、当該用語が新たに発声されたときに、該用語をユーザの癖や嗜好に応じて複数の機能の内の一の機能に対応付けるとともに、該用語を当該一の機能を実行させる最下層の選択メニューに対応付けることができる。また、これにより、複数の用語が、一の機能の実行の際に発声され、該一の機能に対応付けられていた場合に、当該複数の用語の内のいずれかが新たに発声されたときに、該用語をユーザの癖や嗜好に応じて当該一の機能に対応付けるとともに、該用語を当該一の機能を実行させる最下層の選択メニューに対応付けることができる。以上の結果、該機能を実行しうる最下層に位置する選択メニューにおいて当該ユーザに各機器の機能実行の操作を行わせることができ、複数の機器の各機能が迅速、利便性よく、且つ確実に実行されるようになる。
【００１０】
請求項２に記載の発明は、請求項１に記載の音声認識機器操作装置において、前記音声認識部は、ケプストラムを特徴パラメータとして、ユーザの音声に含まれる多様な用語を前記各機器の機能に対応付ける音声認識を行うようにしたことを要旨とする。
【００１１】
同構成によれば、ユーザの音声に含まれる多様な用語を複数の機器の機能に対応付ける音声認識が特徴パラメータとしてのケプストラムを使用することによって簡単且つ確実に行われるようになる。
【００１２】
請求項３に記載の発明は、請求項１又は請求項２に記載の音声認識機器操作装置において、前記機器メニュー部は、前記機器メニュー及び選択メニューを画面に表示する画面表示部により構成され、該画面表示部において、前記機器メニューの機器項目又は選択メニューの操作項目に触れることで当該機器項目又は操作項目の選択が行われるようにしたこと、を要旨とする。
【００１３】
同構成によれば、機器メニュー部は、機器メニュー及び選択メニューを画面に表示する画面表示部を含んで構成され、該画面表示部において、機器メニューの機器項目又は選択メニューの操作項目に触れることで当該機器項目又は操作項目の選択が行われるようにしている。このため、機器項目又は操作項目の選択が視覚を通して的確に行われるようになり、複数の機器の各機能がさらに確実に実行されるようになる。
【００１４】
請求項４に記載の発明は、請求項３に記載の音声認識機器操作装置において、前記最下層に位置する選択メニューは、前記機器メニュー部に表示される次候補ボタンを選択することで、前記同一の階層に位置する他の選択メニューを表示させるようにしたこと、を要旨とする。
【００１５】
同構成によれば、最下層に位置する選択メニューは、機器メニュー部に表示される次候補ボタンを選択することで、同一の階層に位置する他の選択メニューを表示させるようにした。このため、最下層に位置する他の選択メニューが、同じく最下層に位置する一の選択メニューにおいてマニュアル操作を行うことで順次表示されるようになり、ユーザが所望する機器の機能をより確実に実行させることができるようになる。
【発明の効果】
【００１６】
本発明によれば、ユーザによる集約的な操作により、複数の機器の機能を迅速、利便性よく且つ確実に実行させることができる音声認識機器操作装置が提供できるようになる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を具体化した実施形態について図面に従って説明する。
図１に示すように、本実施形態の音声認識機器操作装置１は、それぞれが所定の機能を実行する複数の車載機器（車両に搭載された機器）を操作すべく設けられ、車両の運転者・補助者等（以下、「ユーザ」という。）の音声に含まれる用語を音声認識させることで各車載機器に該用語に対応する機能を実行させるようにしたものである。本実施形態では、前記車載機器には、オーディオ機器としてのＣＤドライブ（ＣＤプレーヤ）２、ＭＤドライブ（ＭＤプレーヤ）３、ＦＭラジオ４、及びＡＭラジオ５、エアコン機器としてのエアコン装置６、並びに、その他車載機器７が含まれている。尚、該その他車載機器７としては、カーナビ装置（ＧＰＳ受信機）や、ハイブリッド式自動車に搭載される走行状態表示装置等が含まれる。
【００１８】
前記音声認識機器操作装置１は、図１を参照して、制御部としてのＣＰＵ（中央演算処理装置）１０を有する装置本体１１と、該装置本体１１に電気的に接続された機器メニュー部としてのタッチパネルディスプレイ（画面表示部）１１ａとを備えている。
【００１９】
そして、前記装置本体１１は、前記ＣＰＵ１０に電気的に接続され、同ＣＰＵ１０で実行される制御プログラム、及び、同制御プログラムで使用される音声認識のためのデータ構造等の各種データが格納又は記憶される記憶部１０ａと、前記各車載機器を車内ＬＡＮを介してＣＰＵ１０に接続させる通信インターフェイス１２と、前記タッチパネルディスプレイ１１ａとＣＰＵ１０との間に接続され、該ディスプレイ１１ａの表示を制御する表示制御部１３とを備えている。
【００２０】
前記音声認識機器操作装置１は、さらに、前記装置本体１１に電気的に接続され、ユーザが発する音声を集音するマイク１１ｂ、当該装置本体１１により合成された音声を発するスピーカ１１ｃ、及び、車両のステアリング（図示せず）に設置され、同装置本体１１にユーザの音声に含まれる用語を音声認識させるために操作される音声入力Ｓ／Ｗ１１ｄを備えている。この音声入力Ｓ／Ｗ１１ｄは、操作時にオン信号を出力すべく前記ＣＰＵ１０に直接接続されている。
【００２１】
そして、前記装置本体１１は、前記ＣＰＵ１０に電気的に接続され、前記マイク１１ｂにより集音された音声に含まれる用語を同ＣＰＵ１０と協働して音声認識を実行し、当該認識結果をＣＰＵ１０に出力する音声認識部１４と、同ＣＰＵ１０で演算され、出力された所定の信号に基づいて音声合成を行い、前記スピーカ１１ｃから音声として発する音声プロセッサ１５とを備えている。
【００２２】
図２に示すように、本実施形態の音声認識機器操作装置１では、前記タッチパネルディスプレイ１１ａは、前記ＣＰＵ１０で実行される制御プログラムによって、前記各車載機器に対応した機器メニュー画面１０１、その下位の階層に位置する選択メニュー画面２０１等、及び、その下位の階層に位置する選択メニュー画面３０１等が画面表示（出力）されるように構成されている。
【００２３】
前記機器メニュー画面１０１には、ユーザの手指が接触することによって選択（操作）される機器項目、具体的には、オーディオ機器項目１０１ａ、エアコン機器項目１０１ｂ、及びその他車載機器項目１０１ｃが含まれている。
【００２４】
図３に示すように、前記機器メニュー画面１０１に含まれる、前記オーディオ機器項目１０１ａ、エアコン機器項目１０１ｂ、及びその他車載機器項目１０１ｃは、前記制御プログラムに基づき、それぞれが複数の操作項目（ＣＤプレーヤ項目２０１ａ等）を有する選択メニュー画面２０１等に階層構造化されている（図３においては、その他車載機器項目１０１ｃの階層構造については図示を省略する）。そして、該階層構造化された各選択メニュー画面２０１等の最も下位の階層（以下、「最下層」という。）に位置する選択メニュー画面３０１等において、操作項目（ＣＤプレーヤの再生項目３０１ａ等）（図２参照）をユーザが手指で触れ、選択（操作）することで車載機器としてのＣＤドライブ２（図１参照）の機能実行の確定操作が行なわれるように構成されている。
【００２５】
具体的には、図２及び図３を参照して、前記機器メニュー画面１０１（機器項目）を第１階層とすれば、その一階層下の第２階層に位置する選択メニュー画面２０１には、操作項目として、ＣＤプレーヤ項目２０１ａ、ＭＤプレーヤ項目２０１ｂ、ＦＭラジオ項目２０１ｃ、及びＡＭラジオ項目２０１ｄが含まれている。尚、この選択メニュー画面２０１は、前記機器メニュー画面１０１においてオーディオ機器項目１０１ａを選択した場合に前記タッチパネルディスプレイ１１ａに表示される画面である。そして、同画面１０１には、さらに、その一階層上の第１階層としての前記機器メニュー画面１０１に復帰するためのキャンセルボタン２０１ｅが含まれている（図２参照）。
【００２６】
そして、第２階層の選択メニュー画面２０１の一階層下であって、且つ、図３に示す階層メニュー（機器メニュー及び選択メニュー）の階層構造において最下層に位置する第３階層としての選択メニュー画面３０１には、操作項目として、前記ＣＤドライブ２の再生項目３０１ａ、停止項目３０１ｂ、早送項目３０１ｃ、早戻項目３０１ｄ、及び曲目選択項目３０１ｅが含まれている。尚、この選択メニュー画面３０１は、前記選択メニュー画面２０１において、ＣＤプレーヤ項目２０１ａを選択した場合に前記タッチパネルディスプレイ１１ａに表示される場合がある画面（選択メニュー画面３０２も候補となる。）である。そして、同画面３０１には、さらに、該画面３０１と同様にＣＤプレーヤ項目２０１ａの下位の階層に位置するとともに同じ第３階層に位置する画面である選択メニュー画面３０２を次候補として切り換えるべく選択される次候補ボタン３０１ｆ、同画面３０１の一階層上の第２階層に位置する選択メニュー画面２０１に戻るべく選択される戻るボタン３０１ｇ、及び、初期画面である前記機器メニュー画面１０１に復帰するべく選択されるキャンセルボタン３０１ｈが含まれている。
【００２７】
図２に示す選択メニュー画面３０１を例とすれば、該階層構造化された機器メニュー画面１０１、選択メニュー画面２０１、及び選択メニュー画面３０１において最下層に位置する選択メニュー画面３０１において再生項目３０１ａを選択することでＣＤドライブ２（図１参照）において、その機能実行の確定操作、つまり、ユーザが再生項目３０１ａに触れることによる音楽ソフトの再生操作が行なわれる。
【００２８】
また、図３に示すように、前記選択メニュー画面３０１と同様、選択メニュー画面２０１の一階層下の第３階層（最下層）に位置する選択メニュー画面３０２には、その操作項目として、ＣＤドライブ２の音量上昇項目３０２ａ及び音量下降項目３０２ｂが含まれる。そして、同画面３０２で音量上昇項目３０２ａを選択することでＣＤドライブ２（図１参照）において音楽ソフトの再生音量の上昇操作が行なわれる。
【００２９】
さらに、図３に示すように、選択メニュー画面２０１に含まれる操作項目であるＣＤプレーヤ項目２０１ａ以外の操作項目、即ち、ＭＤプレーヤ項目２０１ｂ、ＦＭラジオ項目２０１ｃ、及びＡＭラジオ項目２０１ｄについても、当該ＣＤプレーヤ項目２０１ａと同様に階層構造化されており、同階層構造化によって、前記ＣＤプレーヤ項目２０１ａと同様な機能が実現されるように構成されている（ＦＭ・ＡＭラジオ項目２０１ｃ，２０１ｄについては、ＣＤプレーヤ項目２０１ａ及びＭＤプレーヤ項目２０１ｂにおける再生項目、停止項目、早送・早戻項目、及び曲目選択項目は、周波数上昇・下降項目が対応する）。本実施形態では、選択メニュー画面３０３，３０５，３０７の各操作項目については、選択メニュー画面３０１における操作項目と対応した符号を付するようにする（例えば、選択メニュー画面３０１の再生項目３０１ａは、選択メニュー画面３０２において、再生項目３０２ａに対応する。）。
【００３０】
一方、本実施形態では、図３に示すように、初期画面である前記機器メニュー画面１０１において、エアコン機器項目１０１ｂを選択した場合に前記タッチパネルディスプレイ１１ａに表示される画面であり、選択メニュー画面２０１と同様に第２階層に位置する選択メニュー画面２１１には、操作項目として、車室内を暖房するべく選択される暖房項目２１１ａ、及び、車室内を冷房するべく選択される冷房項目２１１ｂが含まれる。そして、同画面２１１において暖房項目２１１ａを選択した場合には、暖房モードとなり、操作項目として設定温度上昇項目３１１ａ及び設定温度下降項目３１１ｂを含む選択メニュー画面３１１、又は、操作項目として風量上昇項目３１２ａ及び風量下降項目３１２ｂを含む選択メニュー画面３１２のいずれかが前記タッチパネルディスプレイ１１ａに表示されるように構成されている。また、同画面２１１において冷房項目２１１ｂを選択した場合には、冷房モードとなり、操作項目として設定温度上昇項目３１３ａ及び設定温度下降項目３１３ｂを含む選択メニュー画面３１３、又は、操作項目として風量上昇項目３１４ａ及び風量下降項目３１４ｂを含む選択メニュー画面３１４のいずれかが前記タッチパネルディスプレイ１１ａに表示されるように構成されている。尚、これら選択メニュー画面３１１〜３１４は、いずれも、図３に示す階層メニューの階層構造において最下層の第３階層に位置する画面である。
【００３１】
そして、例えば、選択メニュー画面３１１において設定温度上昇項目３１１ａを選択することで、エアコン装置６（図１参照）の暖房モードで設定温度の上昇操作が行なわれる。
【００３２】
本実施形態の音声認識機器操作装置１は、ユーザの音声に含まれる用語を音声認識することで前記各車載機器（ＣＤドライブ２、ＭＤドライブ３、ＦＭラジオ４、ＡＭラジオ５、エアコン装置６、その他車載機器［カーナビ装置等］７）に該用語に対応する機能を実行させるようにしたものである。このために、前記音声認識部１４がユーザの音声に含まれる多様な用語を前記各車載機器の機能に対応付けする音声認識を行う。そして、前記ＣＰＵ１０が、図３に示す階層メニューの階層構造における第３階層（最下層）に位置する選択メニュー画面３０１等において、各車載機器の機能実行の確定操作が行なわれる毎に、前記音声認識部１４で音声認識された用語を、当該確定操作された機能に対応付ける。そして、過去に音声認識された用語と確定操作された機能とが対応付けられた頻度（回数）に応じて、ユーザが発する音声に含まれる用語を、前記第３階層（最下層）に位置する選択メニュー画面３０１等に対応付けるとともに、該第３階層に位置する選択メニュー画面３０１等においてユーザに各車載機器の機能実行の確定操作を行わせるようにした点に特徴を有する。
【００３３】
具体的には、前記音声認識部１４及びＣＰＵ１０によって行われる音声認識は、特徴パラメータとして所謂ＬＰＣケプストラムを用いて行うようにしている。即ち、前記ＣＰＵ１０の制御プログラムによって、前記マイク１１ｂから入力された音声に含まれる用語と、前記記憶部１０ａに音声認識のためのデータ構造として記憶させた各用語毎のＬＰＣケプストラム（各用語の音声スペクトルをサンプリング周期毎に逆フーリエ変換することで特徴パラメータ化し、標準パラメータとして登録したもの）とのパターンマッチングを行い、類似度が最も高い用語を認識結果として出力するようにしている。但し、この音声認識部１４及びＣＰＵ１０では、入力された音声に含まれる用語について、テキストデータへの変換に成功した場合には、テキストデータ同士のパターンマッチングが行われるようになっている。
【００３４】
図４に、本実施形態で使用される、入力された音声に含まれる用語と選択メニュー画面３０１等との対応付けのための「音声→選択メニュー」対応付けデータ構造を示す。このデータ構造は、前記ＣＰＵ１０に接続された記憶部１０ａに前記制御プログラムによって使用されうるように記憶されているものである。このデータ構造では、該データ構造を構成し、音声データエントリーでもある各構造体ｎ１〜ｎｉ（ｉ：自然数）は、用語データポインタ及び選択メニューデータポインタをメンバーとして構成されている。該各構造体ｎ１〜ｎｉの先頭には、用語データポインタが参照する音声データのデータ型（データタイプ）に応じて、「０」（テキストデータの場合）又は「１」（特徴パラメータデータの場合）が格納されるデータ型Flagが置かれている。そして、各構造体ｎ１〜ｎｉ−１の末尾には、次の構造体（構造体ｎ２〜ｎｉのいずれか）を指し示すポインタが格納されており、これにより複数の構造体ｎ１〜ｎｉがチェインで連結されている。尚、該チェインの最後の構造体ｎｉの末尾には、同構造体ｎｉが、各構造体ｎ１〜ｎｉのチェインの終末であることを示す「０」がNULL（ヌル）として格納されている。
【００３５】
本実施形態では、前記構造体ｎ１及び構造体ｎ２は、用語「あげる」について使用されており、別の構造体ｎ３〜ｎｉは、別の用語（例えば、「アップ」、「上昇させる」等）について使用されている。そして、該構造体ｎ１の用語データポインタは、データ型Flagが「０」であって、「あ・げ・る」のテキストデータが格納されているアドレスを参照するポインタを有している。また、該構造体ｎ２の用語データポインタは、データ型Flagが「０」であって、「あ・げ・る」の特徴パラメータデータ［１］〜［１１］（付加情報を含む。）が格納されているアドレスを参照するポインタを有している。
【００３６】
本実施形態において、前記構造体ｎ１及び構造体ｎ２の用語データポインタによって参照されるテキストデータ及び特徴パラメータデータは、過去に用語として「あげる」等が音声として使用され、選択メニュー画面３０１の操作項目（ＣＤプレーヤの再生項目３０１ａ等）が選択された時点で後述する選択メニューデータポインタと対応付けされ、確定されたものである。
【００３７】
一方、前記構造体ｎ１の選択メニューデータポインタによって参照される選択メニューデータ（「ＣＤプレーヤ音量上昇」、「暖房設定温度上昇」、「ＭＤプレーヤ音量上昇」が機能データとして格納されている。）は、該各機能実行の過去の頻度（回数）とともに、それぞれ構造体ｍ１〜ｍ３とされ、各構造体ｍ１，ｍ２の末尾には、次の構造体（構造体ｍ２，ｍ３のいずれか）を指し示すポインタが格納されている。そして、これにより複数の構造体ｍ１〜ｍ３がチェインで連結されている。尚、該チェインの最後の構造体ｍ３の末尾には、同構造体ｍ３が、各構造体ｍ１〜ｍ３のチェインの終末であることを示す「０」がNULL（ヌル）として格納されている（前記構造体ｎ２の選択メニューデータポインタも同様である。）。
【００３８】
本実施形態では、前記各構造体ｍ１〜ｍ３において、前記選択メニューデータ中の機能データである「ＣＤプレーヤ音量上昇」、「暖房設定温度上昇」、「ＭＤプレーヤ音量上昇」には、それぞれ、過去に用語として「あげる」が使用されたときに選択されたＣＤドライブ２の音量上昇項目３０２ａ、エアコン装置６の暖房モードにおける設定温度上昇項目３１１ａ、ＭＤドライブ３の音量上昇項目３０４ａの各操作項目が対応している。そして、各構造体ｍ１〜ｍ３は、前記各操作項目が選択された頻度が多い順番（回数１１、回数５、回数２）にてチェインで連結されている。
【００３９】
そして、ユーザにより、「あげる」という用語が音声として発せられ、前記音声認識部１４及びＣＰＵ１０で、「あ・げ・る」のテキストデータへの変換に成功して音声認識が行われた場合には、図４に示す構造体ｎ１（データ型Flag：「０」）が使用され、テキストデータ同士のパターンマッチングが行われる。そして、用語「あげる」が「ＣＤプレーヤ音量上昇」の機能実行について過去に使用された頻度（回数１１）に基づき、「ＣＤプレーヤ音量上昇」の機能実行が優先され、当該機能を実行するための選択メニュー画面３０１が前記タッチパネルディスプレイ１１ａに画面表示される。そして、ユーザは、同選択メニュー画面３０１において、ＣＤドライブ２の音量上昇項目３０２ａの選択を行うことができ、これにより、当該「ＣＤプレーヤ音量上昇」の機能を、迅速、利便性よく、且つ確実に実行させることができるようになる。一方、前記音声認識部１４及びＣＰＵ１０で、音声として発せられた用語「あげる」について、「あ・げ・る」のテキストデータへの変換に失敗した場合でも、図４に示す構造体ｎ２（データ型Flag：「１」）が使用され、特徴パラメータ同士のパターンマッチングが行われる。そして、上述と同様なプロセスを経て、選択メニュー画面３０１が前記タッチパネルディスプレイ１１ａに画面表示される。そして、ユーザは、ＣＤドライブ２の音量上昇項目３０２ａの選択を行うことができ、これにより、当該「ＣＤプレーヤ音量上昇」の機能を、迅速、利便性よく、且つ確実に実行させることができるようになる。
【００４０】
本実施形態の音声認識機器操作装置１は、以上のように構成されており、以下、図５の動作フローチャート、及び、図１〜図４を参照しつつ、その動作について説明する。尚、本実施形態において、新車購入時には、各用語と車載装置の機能の対応付けについては、一般的なものが設定されている（例えば、「上昇させる」について「ＣＤプレーヤ音量上昇」を対応させている。）。
【００４１】
即ち、まず、ユーザが車両のエンジンを始動させると、前記装置本体１１に搭載されたＣＰＵ１０が制御プログラムの実行を開始するとともに、前記各車載機器（ＣＤドライブ２、ＭＤドライブ３、ＦＭラジオ４、ＡＭラジオ５、エアコン装置６、その他車載機器［カーナビ装置等］７）の電源がオンとなる。そして、ステップＳ１において、前記タッチパネルディスプレイ１１ａに、初期画面である前記機器メニュー画面１０１が画面表示される。
【００４２】
次に、ステップＳ２において、音声入力Ｓ／Ｗ１１ｄを操作すると、オン信号がＣＰＵ１０に出力され、ステップＳ３に移行する。一方、音声入力Ｓ／Ｗ１１ｄを操作しないと、ステップＳ１２に移行する。
【００４３】
そして、ステップＳ３においては、上述した階層メニュー（選択メニュー画面２０１，３０１等［図２、図３参照］）が前記タッチパネルディスプレイ１１ａに画面表示される状態となる。
【００４４】
続くステップＳ４において、例えば、ユーザがＣＤドライブ２の再生音量を上昇させることを意図し、「あげる」という用語を音声として発すると、当該用語が前記マイク１１ｂを介して集音される。さらに音声認識部１４において、音声（用語）入力の有無が検出されるとともに、前記ＣＰＵ１０の制御プログラム及び図４のデータ構造に基づいて、その用語の音声認識が行われる。
【００４５】
さらにその後、ステップＳ５において、前記制御プログラム及びデータ構造に基づいて、過去に用語として「あげる」を使用したときに選択した操作項目（ＣＤプレーヤの音量上昇項目３０２ａ）が選択された頻度が最も多い（回数１１）の「ＣＤプレーヤ音量上昇」が優先的に選ばれる。そして、当該機能を実行するための選択メニュー画面３０２がタッチパネルディスプレイ１１ａに画面表示される。
【００４６】
ここで、仮にユーザが所望（意図)していた機能がＭＤドライブ３の音量上昇であって、表示された選択メニュー画面３０２が当該機能を実行させるための選択メニュー画面３０４と異なるときには、ステップＳ６において、次候補検索を行うことができる。即ち、図２及び図３を参照して、当該画面３０２上の戻るボタン３０２ｇを操作し、同画面３０２より一階層上の第２階層に位置する選択メニュー画面２０１に戻り、同画面２０１にてＭＤプレーヤ項目２０１ｂを選択し、選択メニュー画面３０３を表示させてから更に次候補ボタン３０３ｆを操作して選択メニュー画面３０４を表示させることができる。そして、同画面３０４でＭＤドライブ３の音量上昇項目３０４ａを選択し、当該機能が実行された場合には、ユーザによって音声として発せられた「あげる」についての音声認識部１４における音声認識結果がＭＤドライブ３の音量上昇機能について確定される。そして、同音声認識結果が、図４に示すデータ構造において、構造体ｎ１及び構造体ｎ２の用語データポインタで参照されるように前記記憶部１０ａにテキストデータ及び特徴パラメータデータ（音声データ）として記憶される。また、このとき同時に、当該ＭＤドライブ３の音量上昇項目３０４ａが選択された頻度（回数）が、前記音声データと対応付けされ、一つカウントアップされる。
【００４７】
尚、ステップＳ７において、例えば、選択メニュー画面２０１及び選択メニュー画面３０２のいずれかにおいてキャンセルボタン２０１ｅ又はキャンセルボタン３０２ｈを操作した場合には、初期画面である前記機器メニュー画面１０１に復帰するとともに、ステップＳ１１において、音声入力失敗ＦＬＧがセットされ、図５において、（１）（ステップＳ１５の前）に移行する（この場合は、初期画面からの次候補検索が可能になる。）。
【００４８】
一方、ユーザが所望（意図)していた機能がＣＤドライブ２の音量上昇であって、表示された選択メニュー画面が当該機能を実行させるための選択メニュー画面３０２と一致するときには、選択メニュー画面２０１及び選択メニュー画面３０２のいずれかにおいてキャンセルボタン２０１ｅ又はキャンセルボタン３０２ｈを操作せず、ステップＳ８において、選択メニュー画面３０２でＣＤドライブ２の音量上昇項目３０２ａを選択し、さらにステップＳ９において、当該機能が実行された場合には、ステップＳ１０において、ユーザによって音声として発せられた「あげる」についての音声認識部１４における音声認識結果がＣＤドライブ２の音量上昇機能について確定される。そして、同音声認識結果が、図４に示すデータ構造において、構造体ｎ１及び構造体ｎ２の用語データポインタで参照されるように前記記憶部１０ａにテキストデータ及び特徴パラメータデータ（音声データ）として記憶される。また、このとき同時に、当該ＣＤドライブ２の音量上昇項目３０２ａが選択された頻度（回数）が、前記音声データと対応付けされ、一つカウントアップされる。
【００４９】
尚、前記ステップＳ８及びステップＳ９において、新たに「アップ」なる用語をＣＤプレーヤの音量上昇項目３０２ａの選択時に使用した場合には、当該用語「アップ」が音声認識されるとともに、機能データである「ＣＤプレーヤ音量上昇」と対応付けされ、図４のデータ構造中に新規に記憶される。
【００５０】
一方、ステップＳ２において、音声入力Ｓ／Ｗ１１ｄを操作せず、ステップＳ１２において、初期画面である前記機器メニュー画面１０１にて、タッチ入力ボタン、即ち、オーディオ機器項目１０１ａ、エアコン機器項目１０１ｂ、及びその他車載機器項目１０１ｃのいずれかを選択した場合には、続くステップＳ１３において、上述した階層メニュー（選択メニュー画面２０１，３０１等［図２、図３参照］）が前記タッチパネルディスプレイ１１ａに画面表示される状態となる。
【００５１】
このステップＳ１２以降では、音声認識機器操作装置１による音声認識を経ることなく、通常のマニュアル操作によって各車載機器（ＣＤドライブ２、ＭＤドライブ３、ＦＭラジオ４、ＡＭラジオ５、エアコン装置６、その他車載機器［カーナビ装置等］７）の機能実行を行うことができる。尚、ステップＳ１２において、タッチ入力ボタンの操作が行われなかった場合には、ここでの処理を一旦終了する。
【００５２】
そして、ステップＳ１４において、選択メニュー画面２０１等にてキャンセルボタン２０１ｅを操作すると、前記タッチパネルディスプレイ１１ａに機器メニュー画面１０１が画面表示され、続くステップＳ１５において、次候補検索を行うことができる。即ち、この場合には、初期画面である前記機器メニュー画面１０１に復帰するので、当該画面１０１から任意の機器項目及び操作項目を選択していき、最下層の選択メニュー画面３０１等を表示させてから同画面３０１で操作項目を操作する。続いてステップ１６、Ｓ１７において、前記ステップＳ８，Ｓ９と同様に、当該画面３０１にて操作しうる機能を実行させることができる。この場合は、ステップＳ１１を経由するルートと異なり、音声入力失敗ＦＬＧはセットされていないので、次のステップＳ１８において、音声入力失敗ＦＬＧなしと判断され、ここでの処理を一旦終了する。
【００５３】
一方、ステップＳ１４において、選択メニュー画面２０１等にてキャンセルボタン２０１ｅ等を操作しなかった場合には、ここでの処理を一旦終了する。
また、前述したステップＳ７においてキャンセルボタン２０１ｅ等が操作され、ステップＳ１１において、音声入力失敗ＦＬＧがセットされていた場合には、ステップＳ１１を経由してステップＳ１５に移行し、当該ステップＳ１５において、次候補検索を行うことができる。即ち、初期画面である前記機器メニュー画面１０１から、任意の機器項目及び操作項目を選択していき、最下層の選択メニュー画面３０４等を表示させてから同画面３０４で操作項目を操作し、続くステップ１６、Ｓ１７において、ステップＳ１１を経由しないルートと同様に、当該画面３０４にて操作しうる機能を実行させることができる。この場合は、ステップ１１で音声入力失敗ＦＬＧがセットされているので、次のステップＳ１８において、音声入力失敗ＦＬＧありと判断され、続くステップＳ１９において音声入力失敗ＦＬＧがリセットされる。それととともに、さらに次のステップＳ１０において、音声として発した「あげる」についての音声認識部１４による音声認識結果が、例えば、ＭＤドライブ３の音量上昇機能について確定され、図４に示すデータ構造において、構造体ｎ１及び構造体ｎ２の用語データポインタで参照されるように前記記憶部１０ａに音声データとして記憶される。また、このとき同時に、当該ＭＤドライブ３の音量上昇項目３０４ａが選択された頻度（回数）が、前記音声データと対応付けされ、一つカウントアップされる。
【００５４】
本実施形態の音声認識機器操作装置１によれば、以下のような作用・効果を得ることができる。
（１）音声認識された用語と確定操作された機能とが対応付けられた頻度（回数）に応じて、ユーザの音声に含まれる用語を各選択メニュー画面２０１，３０１（３０２）等の最下層に位置する選択メニュー画面３０１，３０２等に対応付けるとともに、該最下層に位置する選択メニュー画面３０１，３０２等においてユーザに各車載機器（ＣＤドライブ２、ＭＤドライブ３、ＦＭラジオ４、ＡＭラジオ５、エアコン装置６、その他車載機器［カーナビ装置等］７）の機能実行の確定操作を行わせるようにした。このように各車載機器にその機能を実行させる場合に、音声認識された用語と当該確定操作された機能とを対応付ける。そして、その対応付けした頻度に従って優先付けすることで、ユーザの音声に含まれる用語が各選択メニュー画面２０１，３０１等の最下層に位置する選択メニュー画面３０１に対応付けられ、同画面３０１がタッチパネルディスプレイ１１ａに画面表示される。そして、ユーザは当該最下層に位置する選択メニュー画面３０１において各車載機器の機能実行の操作を行うことができる。
【００５５】
（２）これにより、一の用語（例えば、「あげる」）が、複数の機能（例えば、「ＣＤプレーヤ音量上昇」、「暖房設定温度上昇」、「ＭＤプレーヤ音量上昇」）の実行の際に発声され、該複数の機能に対応付けられていた場合に、当該用語「あげる」が新たに発声されたときに、当該用語をユーザの癖や嗜好に応じて複数の機能の内の一の機能（例えば、「ＣＤプレーヤ音量上昇」）に対応付ける。そして、それとともに、該用語を当該一の機能を実行させる最下層の選択メニュー画面３０２に対応付け、同画面３０２をタッチパネルディスプレイ１１ａに画面表示することができる。
【００５６】
（３）また、これにより、複数の用語（例えば、「あげる」、「アップ」、「上昇させる」）が、一の機能（例えば、「ＣＤプレーヤ音量上昇」）の実行の際に発声され、該一の機能に対応付けされていた場合に、当該複数の用語の内のいずれか（例えば、「あげる」）が新たに発声されたときに、該用語「あげる」をユーザの癖や嗜好に応じて当該一の機能に対応付ける。そして、それとともに、該用語を当該一の機能を実行させる最下層の選択メニュー画面３０２等に対応付け、同画面３０２をタッチパネルディスプレイ１１ａに画面表示することができる。
【００５７】
（４）以上の結果、タッチパネルディスプレイ１１ａに画面表示され、該機能を実行しうる最下層に位置する選択メニュー画面３０１，３０２等において当該ユーザが各車載機器の機能実行の操作を行うことができ、複数の車載機器の各機能が迅速、利便性よく、且つ確実に実行されるようになる。
【００５８】
（５）ユーザの音声に含まれる多様な用語（例えば、「あげる」、「アップ」、「上昇させる」）を複数の車載機器の機能に対応付ける音声認識が、特徴パラメータとしてのＬＰＣケプストラムを使用することによって簡単且つ確実に行われるようになる。
【００５９】
（６）機器メニュー部は、機器メニュー画面１０１、選択メニュー画面３０１等を画面に表示する画面表示部としてのタッチパネルディスプレイ１１ａを含んで構成され、該タッチパネルディスプレイ１１ａにおいて、機器メニュー画面１０１のオーディオ機器項目１０１ａ等又は選択メニュー画面２０１のＣＤプレーヤ項目２０１ａ等に触れることで当該機器項目又は操作項目の選択が行われるようにしている。このため、機器項目又は操作項目の選択が視覚を通して的確に行われるようになり、複数の車載機器の各機能がさらに確実に実行されるようになる。
【００６０】
（７）例えば、最下層に位置する選択メニュー画面３０１は、タッチパネルディスプレイ１１ａに表示される次候補ボタン３０１ｆを選択することで、同一の階層に位置する他の選択メニュー画面３０２を表示させるようにした。このため、最下層に位置する他の選択メニュー画面３０２が、同じく最下層に位置する一の選択メニュー画面３０１においてマニュアル操作を行うことで表示されるようになり、ユーザが所望する車載機器の機能をより確実に実行させることができるようになる。
【００６１】
尚、上記実施形態は以下のように変形してもよい。
・上記実施形態では、音声認識のための特徴パラメータとしてＬＰＣ（線形予測符号化）ケプストラムを使用した。しかしこれに限られず、メルケプストラムや、その他の特徴パラメータ（パワー等）を使用できることは勿論である。
【００６２】
・上記実施形態では、音声認識機器操作装置１を車両に搭載された複数の車載機器を集約的に操作するものとした。しかしこれに限られず、例えば、同音声認識機器操作装置１は、住宅等の不動産における各種機器（照明機器、冷蔵庫、ＴＶ、エアコン機器等）やＯＡ機器の機能（コピー、ファクシミリ、画像読み取り等）を集約的に操作するためにも使用できる。
【００６３】
・上記実施形態では、各車載機器の機能実行の確定操作が行われても、何ら通知がなされないように構成しているが、例えば、画面上で操作項目の色を変えることにより、確定操作が実行されたことを通知するようにしてもよいし、音声によって操作項目（ＣＤプレーヤの音量上昇項目３０２ａ等）の読み上げにより通知するようにしてもよい。さらに、この場合、機能実行を確定する前に、例えば、「温度を上げますがよいですね。」等と音声を発してユーザに確認するようにしてもよい。
【００６４】
・上記実施形態では、機器メニュー部を画面表示部としてのタッチパネルディスプレイ１１ａとし、機器項目又は操作項目の選択を視覚を通して行わせるようにした。しかしこれに限られず、機器項目又は操作項目の選択を聴覚を通して行わせるようにしてもよい。この場合、機器メニュー部としては車両に搭載され、機器メニュー及び選択メニューを音声で出力する音声出力部が使用される。尚、この場合、音声出力部は画面表示部と併用できることは勿論である。
【００６５】
さらに、前記した実施形態および変形例より把握できる技術的思想について以下に記載する。
○請求項１〜請求項４のいずれかに記載の音声認識機器操作装置において、前記機器メニュー部は、前記機器メニュー及び選択メニューを音声で出力する音声出力部を含んで構成され、前記音声に対して応答することで当該機器メニューの機器項目又は選択メニューの操作項目の選択が行われるようにした音声認識機器操作装置。
【００６６】
同構成によれば、視覚によらず、音声を介在させて機器メニューの機器項目又は選択メニューの操作項目の選択が行われるので、例えば、車両を運転しながら、複数の車載機器に機能を実行させる必要がある場合に、安全性が高められるようになる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施形態にかかる音声認識機器操作装置の電気的構成を示すブロック図。
【図２】本発明の実施形態にかかる音声認識機器操作装置において、画面表示部に表示される機器メニュー画面及び選択メニュー画面を示す平面図。
【図３】階層メニュー画面（機器メニュー画面及び選択メニュー画面）の階層構造を示すチャート図。
【図４】「音声→選択メニュー（画面）」対応付けデータ構造を示す模式図。
【図５】本発明の実施形態にかかる音声認識機器操作装置の動作を示すフローチャート図。
【符号の説明】
【００６８】
１…音声認識機器操作装置、１１…機器本体、１０１…機器メニュー画面（階層メニュー画面）、１０１ａ…機器項目、２０１，３０１…選択メニュー画面（階層メニュー画面）、２０１ａ，３０１ａ…操作項目。
【図１】
2009180914.tif 000003
【図２】
2009180914.tif 000004
【図３】
2009180914.tif 000005
【図４】
2009180914.tif 000006
【図５】
2009180914.tif 000007