(57)【要約】【課題】乗員が所望する音声によって車載機器を制御することができるようにするエージェントシステム、情報処理装置、移動体搭載機器制御方法、及びプログラムを提供すること【解決手段】移動体機器制御装置は、乗員の車室内の音声を収集するマイクにより収集された音声を認識する音声認識部（２１６Ａ）と、音声の意味を解釈する意味解釈部（２１８Ａ）と、意味解釈部が解釈した意味に基づいて車載機器を制御する移動体機器制御部（１３４）とを備え、意味解釈部は、記憶部により記憶された、発話コマンド（命令）と発話コマンドが示す内容とが互いに対応付けられた発話コマンド辞書を用いて、音声の意味が車載機器の制御を指示していることを認識し、音声認識部により認識された音声が、新たな発話コマンドを登録する指示・命令を含むと解釈した場合、新たな発話コマンドを、新たな発話コマンドが示す内容と共に発話コマンド辞書に登録するものである。【選択図】図２
2020144285.tif 000002
【特許請求の範囲】
【請求項１】
乗員が搭乗する移動体に搭載された移動体搭載機器と、
前記移動体搭載機器を制御する命令であり、マイクにより収音される前記乗員の音声である発話コマンドを含む音声を認識する音声認識部と、
前記音声認識部により認識された前記音声の意味を解釈する意味解釈部と、を備え、
前記意味解釈部は、前記音声の意味が、新たな発話コマンドを登録する指示を含むと解釈された場合には、前記新たな発話コマンドを記憶部に登録する、
エージェントシステム。
【請求項２】
前記意味解釈部は、前記音声の意味が、登録されている前記発話コマンドを削除する指示を含むと解釈した場合、当該発話コマンドを記憶部から削除する、
請求項１に記載のエージェントシステム。
【請求項３】
前記発話コマンドを登録した前記記憶部を備え、
前記記憶部には、前記発話コマンドと該発話コマンドが示す制御の内容とが互いに対応付けられて登録された発話コマンド辞書が記憶されている、
請求項１又は請求項２に記載のエージェントシステム。
【請求項４】
前記発話コマンド辞書を用いて、前記音声認識部により認識された音声から、前記意味解釈部が解釈した音声の意味に基づいて前記移動体搭載機器を制御する搭載機器制御部を更に備える、
請求項３に記載のエージェントシステム。
【請求項５】
前記意味解釈部は、前記音声認識部により認識された音声を、新たな発話コマンドを登録する指示を含むと解釈した場合であって、前記移動体搭載機器の基本的な制御命令である基本音声コマンドと前記基本音声コマンドに対する制御の内容とが互いに対応付けられた基本発話コマンド辞書に基づいて、前記新たな発話コマンドが、前記基本発話コマンド辞書に含まれていない場合、前記発話コマンド辞書に登録する、
請求項３に記載のエージェントシステム。
【請求項６】
前記意味解釈部は、前記音声認識部により認識された音声を、前記乗員が直前に行った前記移動体搭載機器に対する制御の指示に係る新たな発話コマンドを登録する指示を含むと解釈した場合、前記新たな発話コマンドを、前記移動体の乗員が直前に行った前記移動体搭載機器に対する制御の内容と共に前記発話コマンド辞書に登録する、
請求項３、又は請求項５に記載のエージェントシステム。
【請求項７】
前記移動体の乗員のうち、前記マイクにより収音された前記発話コマンドが含まれる音声の発話者の位置を特定する発話者位置特定部と、
前記発話者位置特定部により特定された前記発話者の位置情報と、前記移動体に搭載される移動体搭載機器に対する操作権限を有する乗員の位置を示す操作権限位置情報と、前記意味解釈部により解釈された前記発話コマンドの意味に含まれる移動体搭載機器情報とに基づいて、前記発話コマンドが含まれる音声の当該発話者が、当該移動体搭載機器の操作権限を有するか否かを判定する操作権限判定部とを更に備え、
前記意味解釈部は、前記音声認識部により認識された音声を、新たな発話コマンドを登録する指示を含むと解釈した場合において、前記操作権限判定部により前記発話コマンドが含まれる音声の当該発話者が、当該移動体搭載機器の操作権限を有すると判定された場合に、前記新たな発話コマンドを、前記新たな発話コマンドが示す制御の内容と共に前記発話コマンド辞書に登録する、
請求項３から請求項６のうちいずれか一項に記載のエージェントシステム。
【請求項８】
前記移動体の乗員のうち、前記マイクにより収音された前記発話コマンドが含まれる音声の発話者の位置を特定する発話者位置特定部と、
前記発話者位置特定部により特定された前記発話者の位置情報と、前記移動体に搭載される移動体搭載機器に対する操作権限を有する乗員の位置を示す操作権限位置情報と、前記意味解釈部により解釈された前記発話コマンドの意味に含まれる移動体搭載機器情報とに基づいて、前記発話コマンドが含まれる音声の当該発話者が、当該移動体搭載機器の操作権限を有するか否かを判定する操作権限判定部とを更に備え、
前記搭載機器制御部は、前記意味解釈部により前記音声の意味が、前記移動体搭載機器の制御を指示していることを認識され、且つ、前記操作権限判定部により前記発話コマンドが含まれる音声の当該発話者が、当該移動体搭載機器の操作権限を有すると判定された場合に、前記移動体搭載機器を制御する、
請求項４に記載のエージェントシステム。
【請求項９】
移動体に搭載される移動体搭載機器を制御する命令であり、前記移動体に搭乗している乗員の音声である発話コマンドを含む音声を取得する取得部と、
前記発話コマンドと該発話コマンドが示す制御されるべき移動体搭載機器の情報が含まれる制御の内容とが互いに対応付けられた発話コマンド辞書を記憶する記憶部と、
前記音声を認識する音声認識部と、
前記音声認識部により認識された音声の意味を解釈する意味解釈部と、
前記意味解釈部により解釈された音声の意味内容に対応する情報を生成する生成部と、
を備える情報処理装置。
【請求項１０】
前記生成部により生成された音声の意味内容に対応する前記情報に基づいて、前記移動体搭載機器を制御する搭載機器制御部を更に備える、
請求項９に記載の情報処理装置。
【請求項１１】
発話コマンドと該発話コマンドが示す制御されるべき移動体搭載機器の情報が含まれる制御の内容とが互いに対応付けられた発話コマンド辞書を記憶する記憶部を備えるシステムにおける単一又は複数のコンピュータが、
移動体に搭乗している乗員が発話した発話コマンドを含む音声を認識するステップと、
認識された音声の意味を解釈するステップと、
前記発話コマンド辞書を参照して、制御されるべき移動体搭載機器の情報及び制御の内容を取得するステップと、
解釈された音声の意味に基づいて、制御されるべき移動体搭載機器を制御するステップ、
認識された音声中に、新たな発話コマンドを登録する指示が含まれると解釈した場合、前記新たな発話コマンドを、前記新たな発話コマンドが示す制御の内容と共に前記発話コマンド辞書に登録するステップと、
を有する移動体搭載機器制御方法。
【請求項１２】
前記音声の意味を解釈するステップの後、
前記音声の意味に対して、前記発話コマンド辞書に、該音声の意味と対応する制御の内容がある場合には、前記音声の意味を解釈するステップにより生成された音声の意味の解釈内容を、前記発話コマンド辞書を参照して、標準的な文字情報の制御の内容に置き換えるステップを更に有する、
請求項１１に記載の移動体搭載機器制御方法。
【請求項１３】
発話コマンドと該発話コマンドが示す制御されるべき移動体搭載機器の情報が含まれる制御の内容とが互いに対応付けられた発話コマンド辞書を記憶する記憶部を備えるシステムにおける単一又は複数のコンピュータにインストールされ、
移動体に搭乗している乗員が発話した発話コマンドを含む音声を認識する処理と、
認識された音声の意味を解釈する処理と、
前記発話コマンド辞書を参照して、制御されるべき前記移動体搭載機器の情報及び制御の内容を取得する処理と、
解釈された音声の意味に基づいて、制御されるべき前記移動体搭載機器を制御する処理と、
認識された音声中に、新たな発話コマンドを登録する指示が含まれると解釈した場合、前記新たな発話コマンドを、前記新たな発話コマンドが示す制御の内容と共に前記発話コマンド辞書に登録する処理と、
を含む前記コンピュータに実施させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エージェントシステム、情報処理装置、移動体搭載機器制御方法、及びプログラムに関する。
【背景技術】
【０００２】
人間と音声対話によって情報を提供するヒューマンマシンインターフェースの研究が進められている。これに関連し、ロボットのコミュニケーションの対象とする人物の状況に基づいて、当該人物に対する発話の可否や発話音量、発話口調を決定する技術や、語彙が登録された辞書を利用して、乗員が発話した音声を認識し、複数の車載機器を、認識した音声の内容に応じて制御する技術が知られている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９７６９０３号公報
【特許文献２】特開２００７−２８６１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、乗員は、よく利用する制御対象機器に対する指示は、簡単な言葉や短い言葉によって行いたい場合がある、しかしながら、従来の技術では、乗員が所望する音声によって車載機器を制御することは困難であった。
【０００５】
本発明の態様は、このような事情を考慮してなされたものであり、乗員が所望する音声によって車載機器を制御することができるようにするエージェントシステム、情報処理装置、移動体搭載機器制御方法、及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明に係るエージェントシステム、情報処理装置、移動体搭載機器制御方法、及びプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係るエージェントシステムは、乗員が搭乗する移動体に搭載された移動体搭載機器と、前記移動体搭載機器を制御する命令であり、マイクにより収音される前記乗員の音声である発話コマンドを含む音声を認識する音声認識部と、前記音声認識部により認識された前記音声の意味を解釈する意味解釈部と、を備え、前記意味解釈部は、前記音声の意味が、新たな発話コマンドを登録する指示を含むと解釈された場合には、前記新たな発話コマンドを記憶部に登録するものである。
【０００７】
（２）：上記（１）の態様において、前記意味解釈部は、前記音声の意味が、登録されている前記発話コマンドを削除する指示を含むと解釈した場合、当該発話コマンドを記憶部から削除するものである。
【０００８】
（３）：上記（１）又は（２）の態様において、前記発話コマンドを登録した前記記憶部を備え、前記記憶部には、前記発話コマンドと該発話コマンドが示す制御の内容とが互いに対応付けられて登録された発話コマンド辞書が記憶されているものである。
【０００９】
（４）：上記（１）〜（３）のいずれかの態様において、エージェントシステムは、前記発話コマンド辞書を用いて、前記音声認識部により認識された音声から、前記意味解釈部が解釈した音声の意味に基づいて前記移動体搭載機器を制御する搭載機器制御部を更に備えるものである。
【００１０】
（５）：上記（３）の態様において、前記意味解釈部は、前記音声認識部により認識された音声を、新たな発話コマンドを登録する指示を含むと解釈した場合であって、前記移動体搭載機器の基本的な制御命令である基本音声コマンドと前記基本音声コマンドに対する制御の内容とが互いに対応付けられた基本発話コマンド辞書に基づいて、前記新たな発話コマンドが、前記基本発話コマンド辞書に含まれていない場合、前記発話コマンド辞書に登録するものである。
【００１１】
（６）：上記（３）又は（５）の態様において、前記意味解釈部は、前記音声認識部により認識された音声を、前記乗員が直前に行った前記移動体搭載機器に対する制御の指示に係る新たな発話コマンドを登録する指示を含むと解釈した場合、前記新たな発話コマンドを、前記移動体の乗員が直前に行った前記移動体搭載機器に対する制御の内容と共に前記発話コマンド辞書に登録するものである。
【００１２】
（７）：上記（３）〜（６）のいずれかの態様において、前記移動体の乗員のうち、前記マイクにより収音された前記発話コマンドが含まれる音声の発話者の位置を特定する発話者位置特定部と、前記発話者位置特定部により特定された前記発話者の位置情報と、前記移動体に搭載される移動体搭載機器に対する操作権限を有する乗員の位置を示す操作権限位置情報と、前記意味解釈部により解釈された前記発話コマンドの意味に含まれる移動体搭載機器情報とに基づいて、前記発話コマンドが含まれる音声の当該発話者が、当該移動体搭載機器の操作権限を有するか否かを判定する操作権限判定部とを更に備え、前記意味解釈部は、前記音声認識部により認識された音声を、新たな発話コマンドを登録する指示を含むと解釈した場合において、前記操作権限判定部により前記発話コマンドが含まれる音声の当該発話者が、当該移動体搭載機器の操作権限を有すると判定された場合に、前記新たな発話コマンドを、前記新たな発話コマンドが示す制御の内容と共に前記発話コマンド辞書に登録するものである。
【００１３】
（８）：上記（４）の態様において、エージェントシステムは、前記移動体の乗員のうち、前記マイクにより収音された前記発話コマンドが含まれる音声の発話者の位置を特定する発話者位置特定部と、前記発話者位置特定部により特定された前記発話者の位置情報と、前記移動体に搭載される移動体搭載機器に対する操作権限を有する乗員の位置を示す操作権限位置情報と、前記意味解釈部により解釈された前記発話コマンドの意味に含まれる移動体搭載機器情報とに基づいて、前記発話コマンドが含まれる音声の当該発話者が、当該移動体搭載機器の操作権限を有するか否かを判定する操作権限判定部とを更に備え、前記搭載機器制御部は、前記意味解釈部により前記音声の意味が、前記移動体搭載機器の制御を指示していることを認識され、且つ、前記操作権限判定部により前記発話コマンドが含まれる音声の当該発話者が、当該移動体搭載機器の操作権限を有すると判定された場合に、前記移動体搭載機器を制御するものである。
【００１４】
（９）：この発明の一態様に係る情報処理装置は、移動体に搭載される移動体搭載機器を制御する命令であり、前記移動体に搭乗している乗員の音声である発話コマンドを含む音声を取得する取得部と、前記発話コマンドと該発話コマンドが示す制御されるべき移動体搭載機器の情報が含まれる制御の内容とが互いに対応付けられた発話コマンド辞書を記憶する記憶部と、前記音声を認識する音声認識部と、前記音声認識部により認識された音声の意味を解釈する意味解釈部と、前記意味解釈部により解釈された音声の意味内容に対応する情報を生成する生成部と、を備える。
【００１５】
（１０）：上記（９）の態様において、情報処理装置は、前記生成部により生成された音声の意味内容に対応する前記情報に基づいて、前記移動体搭載機器を制御する搭載機器制御部を更に備える。
【００１６】
（１１）：この発明の一態様に係る移動体搭載機器制御方法は、発話コマンドと該発話コマンドが示す制御されるべき移動体搭載機器の情報が含まれる制御の内容とが互いに対応付けられた発話コマンド辞書を記憶する記憶部を備えるシステムにおける単一又は複数のコンピュータが、移動体に搭乗している乗員が発話した発話コマンドを含む音声を認識するステップと、認識された音声の意味を解釈するステップと、前記発話コマンド辞書を参照して、制御されるべき移動体搭載機器の情報及び制御の内容を取得するステップと、解釈された音声の意味に基づいて、制御されるべき移動体搭載機器を制御するステップ、認識された音声中に、新たな発話コマンドを登録する指示が含まれると解釈した場合、前記新たな発話コマンドを、前記新たな発話コマンドが示す制御の内容と共に前記発話コマンド辞書に登録するステップと、を有する。
【００１７】
（１２）：上記（１１）の態様において、移動体搭載機器制御方法は、前記音声の意味を解釈するステップの後、前記音声の意味に対して、前記発話コマンド辞書に、該音声の意味と対応する制御の内容がある場合には、前記音声の意味を解釈するステップにより生成された音声の意味の解釈内容を、前記発話コマンド辞書を参照して、標準的な文字情報の制御の内容に置き換えるステップを更に有する。
【００１８】
（１３）：この発明の一態様に係るプログラムは、発話コマンドと該発話コマンドが示す制御されるべき移動体搭載機器の情報が含まれる制御の内容とが互いに対応付けられた発話コマンド辞書を記憶する記憶部を備えるシステムにおける単一又は複数のコンピュータにインストールされ、移動体に搭乗している乗員が発話した発話コマンドを含む音声を認識する処理と、認識された音声の意味を解釈する処理と、前記発話コマンド辞書を参照して、制御されるべき前記移動体搭載機器の情報及び制御の内容を取得する処理と、解釈された音声の意味に基づいて、制御されるべき前記移動体搭載機器を制御する処理と、認識された音声中に、新たな発話コマンドを登録する指示が含まれると解釈した場合、前記新たな発話コマンドを、前記新たな発話コマンドが示す制御の内容と共に前記発話コマンド辞書に登録する処理と、を含む前記コンピュータに実施させるものである。
【発明の効果】
【００１９】
（１）〜（１３）の態様によれば、乗員が所望する音声によって車載機器を制御することができるようにすることができる。
【図面の簡単な説明】
【００２０】
【図１】第１実施形態に係る車載機器制御装置を利用したエージェントシステム１の構成の一例を示す図である。
【図２】第１実施形態に係るエージェント装置１００の構成の一例を示す図である。
【図３】運転席から見た車室内の一例を示す図である。
【図４】車両Ｍを上から見た車室内の一例を示す図である。
【図５】操作権限位置情報１５４の内容の一例を示す図である。
【図６】第１実施形態に係るサーバ装置２００の構成の一例を示す図である。
【図７】基本発話コマンド辞書２３２の内容の一例を示す図である。
【図８】ユーザ発話コマンド辞書２３４の内容の一例を示す図である。
【図９】第１実施形態に係るエージェント装置１００の一連の処理の流れを示すフローチャートである。
【図１０】第１実施形態に係るサーバ装置２００の一例の処理の流れを示すフローチャートである。
【図１１】第２実施形態に係るエージェント装置１００Ａの一例を示す図である。
【図１２】第２実施形態に係るエージェント装置１００Ａの一連の処理の流れを示すフローチャートである。
【図１３】第２実施形態に係るエージェント装置１００Ａの一連の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照し、本発明のエージェントシステム、情報処理装置、移動体搭載機器制御方法、及びプログラムの実施形態について説明する。
【００２２】
＜実施形態＞
［システム構成］
図１は、第１実施形態に係る車載機器制御装置を利用したエージェントシステム１の構成の一例を示す図である。第１実施形態に係るエージェントシステム１は、例えば、車両（以下、車両Ｍ）に搭載されるエージェント装置１００と、サーバ装置２００とを備える。車両Ｍは、例えば、二輪や三輪、四輪等の車両である。これらの車両の駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせであってよい。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
【００２３】
エージェント装置１００とサーバ装置２００とは、ネットワークＮＷを介して通信可能に接続される。ネットワークＮＷは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等が含まれる。ネットワークＮＷには、例えば、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標、以下省略）等無線通信を利用したネットワークが含まれてよい。エージェントシステム１は、複数のエージェント装置１００および複数のサーバ装置２００により構成されてもよい。
【００２４】
エージェント装置１００は、エージェント機能を用いて車両Ｍの乗員からの音声を取得し、取得した音声をサーバ装置２００に送信する。また、エージェント装置１００は、サーバ装置から得られるデータ（例えば、エージェント設定データ）等に基づいて、乗員と対話したり、画像や映像等の情報を提供したり、車載機器ＶＥや他の装置を制御したりする。車両Ｍには、例えば、複数の車載機器ＶＥが搭載される。車載機器ＶＥは、例えば、自動運転や高度運転支援（例えば、ＡＣＣ（Adaptive Cruise Control）に係る機器、ＶＳＡ（Vehicle Stability Assist）等）に係る機器、エアコン、パワーウィンドウ、オーディオ、カーナビゲーション等である。
【００２５】
サーバ装置２００は、車両Ｍに搭載されたエージェント装置１００と通信し、エージェント装置１００から各種データを取得する。サーバ装置２００は、取得したデータに基づいて、音声等による問い合わせに関するエージェント設定データを生成し、生成したエージェント設定データをエージェント装置１００に提供する。第１実施形態に係るサーバ装置２００の機能は、エージェント機能に含まれる。また、サーバ装置２００の機能は、エージェント装置１００におけるエージェント機能を、より高精度な機能に更新する。
【００２６】
［エージェント装置の構成］
図２は、第１実施形態に係るエージェント装置１００の構成の一例を示す図である。第１実施形態に係るエージェント装置１００は、例えば、エージェント側通信部１０２と、マイク（マイクロフォン）１０６と、スピーカ１０８と、表示部１１０と、エージェント側制御部１２０と、エージェント側記憶部１５０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続されてよい。なお、図２に示すエージェント装置１００の構成はあくまでも一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
【００２７】
エージェント側通信部１０２は、ＮＩＣ（Network Interface controller）等の通信インターフェースを含む。エージェント側通信部１０２は、ネットワークＮＷを介してサーバ装置２００等と通信する。
【００２８】
マイク１０６は、車室内の音声を電気信号化し収音する音声入力装置である。マイク１０６は、収音した音声のデータ（以下、音声データ）をエージェント側制御部１２０に出力する。例えば、マイク１０６は、乗員が車室内のシートに着座したときの前方付近に設置される。例えば、マイク１０６は、マットランプ、ステアリングホイール、インストルメントパネル、またはシートの付近に設置される。マイク１０６は、車室内に複数設置されてよい。
【００２９】
スピーカ１０８は、例えば、車室内のシート付近または表示部１１０付近に設置される。スピーカ１０８は、エージェント側制御部１２０により出力される情報に基づいて音声を出力する。
【００３０】
表示部１１０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイ等の表示装置を含む。表示部１１０は、エージェント側制御部１２０により出力される情報に基づいて画像を表示する。
【００３１】
図３は、運転席から見た車室内の一例を示す図である。図示の例の車室内には、マイク１０６Ａ〜１０６Ｃと、スピーカ１０８Ａ〜１０８Ｃと、表示部１１０Ａ〜１１０Ｃとが設置される。マイク１０６Ａは、例えば、ステアリングホイールに設けられ、主に運転者が発話した音声を収音する。マイク１０６Ｂは、例えば、助手席正面のインストルメントパネル（ダッシュボードまたはガーニッシュ）ＩＰに設けられ、主に助手席の乗員が発話した音声を収音する。マイク１０６Ｃは、例えば、インストルメントパネルの中央（運転席と助手席との間）付近に設置される。
【００３２】
スピーカ１０８Ａは、例えば、運転席側のドアの下部に設置され、スピーカ１０８Ｂは、例えば、助手席側のドアの下部に設置され、スピーカ１０８Ｃは、例えば、表示部１１０Ｃの付近、つまり、インストルメントパネルＩＰの中央付近に設置される。
【００３３】
表示部１１０Ａは、例えば運転者が車外を視認する際の視線の先に虚像を表示させるＨＵＤ（Head-Up Display）装置である。ＨＵＤ装置は、例えば、車両Ｍのフロントウインドシールド、或いはコンバイナーと呼ばれる光の透過性を有する透明な部材に光を投光することで、乗員に虚像を視認させる装置である。乗員は、主に運転者であるが、運転者以外の乗員であってもよい。
【００３４】
表示部１１０Ｂは、運転席（ステアリングホイールに最も近い座席）の正面付近のインストルメントパネルＩＰに設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置される。表示部１１０Ｂは、例えば、ＬＣＤや有機ＥＬ表示装置等である。表示部１１０Ｂには、例えば、車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報の画像が表示される。
【００３５】
表示部１１０Ｃは、インストルメントパネルＩＰの中央付近に設置される。表示部１１０Ｃは、例えば、表示部１１０Ｂと同様に、ＬＣＤや有機ＥＬ表示装置等である。表示部１１０Ｃは、テレビ番組や映画等のコンテンツを表示する。
【００３６】
なお、車両Ｍには、更に、後部座席付近にマイクとスピーカが設けられてよい。図４は、車両Ｍを上から見た車室内の一例を示す図である。車室内には、図３で例示したマイクスピーカに加えて、更に、マイク１０６Ｄ、１０６Ｅと、スピーカ１０８Ｄ、１０８Ｅとが設置されてよい。
【００３７】
マイク１０６Ｄは、例えば、助手席ＳＴ２の後方に設置された左後部座席ＳＴ３の付近（例えば、助手席ＳＴ２の後面）に設けられ、主に、左後部座席ＳＴ３に着座する乗員が発話した音声を収音する。マイク１０６Ｅは、例えば、運転席ＳＴ１の後方に設置された右後部座席ＳＴ４の付近（例えば、運転席ＳＴ１の後面）に設けられ、主に、右後部座席ＳＴ４に着座する乗員が発話した音声を収音する。
【００３８】
スピーカ１０８Ｄは、例えば、左後部座席ＳＴ３側のドアの下部に設置され、スピーカ１０８Ｅは、例えば、右後部座席ＳＴ４側のドアの下部に設置される。以降の説明において、運転席ＳＴ１、助手席ＳＴ２、左後部座席ＳＴ３、及び右後部座席ＳＴ４を互いに区別しない場合には、単に座席ＳＴと記載する。
【００３９】
なお、図１に例示した車両Ｍは、図３または図４に例示するように、乗員である運転手が操作可能なステアリングホイールを備える車両であるものとして説明したがこれに限られない。例えば、車両Ｍは、ルーフがない、すなわち車室がない（またはその明確な区分けがない）車両であってもよい。また、図３または図４の例では、車両Ｍを運転操作する運転手が座る運転席と、その他の運転操作をしない乗員が座る助手席や後部座席とが一つの室内にあるものとして説明しているがこれに限られない。また、図３または図４の例では、車両Ｍが、ステアリングホイールを備える車両であるものとして説明しているがこれに限られない。例えば、車両Ｍは、ステアリングホイールのような運転操作機器が設けられていない自動運転車両であってもよい。自動運転車両とは、例えば、乗員の操作に依らずに車両の操舵または加減速のうち一方または双方を制御して運転制御を実行することである。
【００４０】
図２の説明に戻り、エージェント側制御部１２０は、例えば、取得部１２２と、音声合成部１２４と、出力制御部１２６と、通信制御部１２８と、発話者位置特定部１３０と、操作権限判定部１３２と、車載機器制御部１３４とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めエージェント側記憶部１５０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでエージェント側記憶部１５０にインストールされてもよい。
【００４１】
エージェント側記憶部１５０は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。エージェント側記憶部１５０には、例えば、プロセッサによって参照されるプログラム等と、車載機器情報１５２と、操作権限位置情報１５４とが格納される。車載機器情報１５２は、車両Ｍに搭載されている車載機器ＶＥ（の一覧）を示す情報である。
【００４２】
図５は、操作権限位置情報１５４の内容の一例を示す図である。操作権限位置情報１５４は、例えば、車両Ｍ内における乗員の位置（この一例では、乗員の座席）と、当該位置に乗車する乗員が操作権限を有する車載機器ＶＥとを、乗員の位置毎に対応付けた情報である。操作権限位置情報１５４には、例えば、車両Ｍの挙動や状態に影響しない車載機器ＶＥ（例えば、オーディオ、エアコン等）は、どの位置の乗員も操作権限を有し、車両Ｍの挙動や状態に影響する車載機器ＶＥ（例えば、窓の開閉、ドアロック、運転支援に係る機器、方向指示器、前照灯等）は、当該車載機器ＶＥの近傍の位置の乗員か、又は運転席に位置する乗員のみが操作権限を有することが示される。
【００４３】
図２に戻り、取得部１２２は、マイク１０６から音声データを取得したり、他の情報を取得したりする。
【００４４】
音声合成部１２４は、エージェント側通信部１０２がサーバ装置２００から受信したエージェント設定データに音声制御内容が含まれる場合に、音声制御として発話によって指示（つまり、音声指示）された音声データに基づいて、人工的な合成音声（以下、エージェント音声と称する）を生成する。
【００４５】
出力制御部１２６は、音声合成部１２４によってエージェント音声が生成されると、そのエージェント音声をスピーカ１０８に出力させる。また、出力制御部１２６は、エージェント設定データに画像制御内容が含まれる場合に、画像制御として指示された画像データを表示部１１０に表示させる。また、出力制御部１２６は、音声データの認識結果（フレーズ等のテキストデータ）の画像を表示部１１０に表示させてもよい。
【００４６】
通信制御部１２８は、エージェント側通信部１０２を介して、取得部１２２によって取得された音声データをサーバ装置２００に送信する。
【００４７】
発話者位置特定部１３０は、車両Ｍの乗員のうち、マイク１０６によって収音された音声を発話した乗員の位置を特定する。発話者位置特定部１３０は、例えば、マイク１０６Ａ〜１０６Ｅのうち、ある発話について最も大きい音量によって音声を収音したマイク１０６の近傍に設置されている座席ＳＴを、音声を発話した乗員の位置として特定する。なお、発話者位置特定部１３０は、車内カメラ（不図示）によって乗員が撮像された画像に基づいて、マイク１０６によって音声が収音されたタイミングに口を動かしている乗員の位置を、音声を発話した乗員の位置として特定してもよい。
【００４８】
操作権限判定部１３２は、例えば、エージェント設定データに車載機器ＶＥの制御を示す情報が含まれる場合、発話者位置特定部１３０によって特定された位置に乗車する乗員が、指示対象の車載機器ＶＥについて操作権限を有するか否かを、操作権限位置情報１５４に基づいて判定する。まず、操作権限判定部１３２は、発話者位置特定部１３０によって特定された乗員の位置を検索キーとして操作権限位置情報１５４を検索する。そして、操作権限判定部１３２は、特定した乗員の位置に対応付けられた操作権限を有する車載機器ＶＥに、エージェント設定データに示される指示対象の車載機器ＶＥが対応付けられている場合、発話した乗員が操作権限を有すると判定する。操作権限判定部１３２は、発話した乗員が操作権限を有することを示す情報をエージェント側通信部１０２によってサーバ装置２００に送信する。
【００４９】
また、操作権限判定部１３２は、例えば、エージェント設定データに車載機器ＶＥの制御を指示する新たな発話コマンドを登録する制御内容が含まれる場合、発話者位置特定部１３０によって特定された位置に乗車する乗員が、指示対象の車載機器ＶＥについて操作権限を有するか否かを、操作権限位置情報１５４に基づいて判定する。操作権限判定部１３２が新たな発話コマンドを登録する処理に伴い、乗員の操作権限を判定する処理は、上述した、車載機器ＶＥの制御に伴い乗員の操作権限を判定する処理と同様であるため、説明を省略する。
【００５０】
車載機器制御部１３４は、エージェント設定データに車載機器ＶＥの制御内容が含まれ、且つ操作権限判定部１３２の判定結果が、指示語を発話した乗員が指示対象の車載機器ＶＥの操作権限を有することを示す場合に、車載機器ＶＥの動作を制御する。
【００５１】
［サーバ装置の構成］
図６は、第１実施形態に係るサーバ装置２００の構成の一例を示す図である。第１実施形態に係るサーバ装置２００は、例えば、サーバ側通信部２０２と、サーバ側制御部２１０と、サーバ側記憶部２３０とを備える。
【００５２】
サーバ側通信部２０２は、ＮＩＣ等の通信インターフェースを含む。サーバ側通信部２０２は、ネットワークＮＷを介して各車両Ｍに搭載されたエージェント装置１００等と通信する。
【００５３】
サーバ側制御部２１０は、例えば、取得部２１２と、発話区間抽出部２１４と、音声認識部２１６と、意味解釈部２１８と、エージェント設定データ生成部２２２と、通信制御部２２４とを備える。これらの構成要素は、例えば、ＣＰＵやＧＰＵ等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めサーバ側記憶部２３０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでサーバ側記憶部２３０にインストールされてもよい。
【００５４】
サーバ側記憶部２３０は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。サーバ側記憶部２３０には、例えば、プロセッサによって参照されるプログラムのほかに、基本発話コマンド辞書２３２、ユーザ発話コマンド辞書２３４等が格納される。基本発話コマンド辞書２３２には、例えば、予め登録されている音声コマンドが含まれる発話命令文や句等（以下、音声コマンド）が含まれ、ユーザ発話コマンド辞書２３４には、例えば、車両Ｍの乗員によって登録された発話命令文や句等（以下、ユーザ発話コマンド）が含まれる。
【００５５】
図７は、基本発話コマンド辞書２３２の内容の一例を示す図である。基本発話コマンド辞書２３２には、例えば、予め登録されている音声コマンドが含まれる命令を標準的に発話した文や句例である基本音声コマンドと、基本音声コマンドと、基本音声コマンドによって動作が指示される制御対象の車載機器ＶＥと、エージェント側制御部１２０に実行させる制御内容とが互いに（共に）対応付けられる。基本音声コマンドには、例えば、制御対象の車載機器ＶＥの名称と、制御対象の車載機器ＶＥに対する指示・命令（させたい事）が含まれる。制御内容には、例えば、車載機器ＶＥに対する動作の制御（動作させたい事）について、その制御が入力されている。例えば、基本発話コマンド辞書２３２では、車載機器制御内容「エアコンを起動させる（エアコンの電源を入れる）」に対して、「エアコン  ＯＮ」「エアコン  起動」「エアコン  作動」という３つの予め登録された基本音声コマンドが対応付けられている。
【００５６】
図８は、ユーザ発話コマンド辞書２３４の内容の一例を示す図である。ユーザ発話コマンド辞書２３４には、例えば、乗員により登録されたユーザ発話コマンドと、ユーザ発話コマンドによって動作が指示される制御対象の車載機器ＶＥと、エージェント側制御部１２０に実行させる制御内容とが互いに（共に）対応付けられる。ユーザ発話コマンドには、例えば、車載機器ＶＥに対する指示を示す言葉（例えば、指示を示す代名詞「あれやって」等）が含まれる。制御内容には、例えば、車載機器ＶＥに対する動作制御（動作させたい事）について、当該車載機器ＶＥの名称を含む当該制御が登録されている。例えば、ユーザ発話コマンド辞書２３４では、「運転席の窓（車載機器ＶＥ）を２０％開ける」車載機器制御に対して、「いつものやって」というユーザ発話コマンドに対して、「運転席窓の昇降装置（車載機器ＶＥ）で運転席の窓を２０％開ける」という車載機器制御内容が対応付けられている。
【００５７】
なお、基本発話コマンド辞書２３２やユーザ発話コマンド辞書２３４において、制御内容には、車載機器制御の他、出力制御部１２６がスピーカ１０８に音声を出力させる音声制御や、出力制御部１２６が表示部１１０に画像を表示させる表示制御が含まれていてもよい。
【００５８】
図６に戻り、取得部２１２は、サーバ側通信部２０２を介して、エージェント装置１００から、音声データを取得する。
【００５９】
発話区間抽出部２１４は、取得部１２２によって取得された音声データから、乗員が発話している期間（以下、発話区間と称する）を抽出する。例えば、発話区間抽出部２１４は、零交差法を利用して、音声データに含まれる音声信号の振幅に基づいて発話区間を抽出してよい。また、発話区間抽出部２１４は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model）に基づいて、音声データから発話区間を抽出してもよいし、発話区間特有の音声信号をテンプレート化したデータベースとテンプレートマッチング処理を行うことで、音声データから発話区間を抽出してもよい。
【００６０】
音声認識部２１６は、発話区間抽出部２１４によって抽出された発話区間ごとに音声データを認識し、認識した音声データをテキスト化することで、発話内容を含むテキストデータを生成する。例えば、音声認識部２１６は、発話区間の音声信号を、低周波数や高周波数等の複数の周波数帯に分離し、分類した各音声信号をフーリエ変換することで、スペクトログラムを生成する。音声認識部２１６は、生成したスペクトログラムを、再帰的ニューラルネットワークに入力することで、スペクトログラムから文字列を得る。再帰的ニューラルネットワークは、例えば、学習用の音声から生成したスペクトログラムに対して、その学習用の音声に対応した既知の文字列が教師ラベルとして対応付けられた教師データを利用することで、予め学習されていてよい。そして、音声認識部２１６は、再帰的ニューラルネットワークから得た文字列のデータを、テキストデータとして出力する。
【００６１】
意味解釈部２１８は、音声認識部２１６により認識されたテキストデータに基づいて、自然言語のテキストデータの構文解析を行って、テキストデータを形態素に分け、各形態素からテキストデータに含まれる文言の意味を解釈する。意味解釈部２１８は、例えば、サーバ側記憶部２３０に記憶された基本発話コマンド辞書２３２やユーザ発話コマンド辞書２３４を用いて、音声認識部２１６により認識されたテキストデータの意味が、車載機器ＶＥの制御を指示していることを解釈する。具体的には、認識されたテキストデータ（発話内容）から、少なくとも指示制御対象としての車載機器ＶＥの名称と車載機器制御内容とを把握することである。
【００６２】
エージェント設定データ生成部２２２は、意味解釈部２１８により意味が解釈された発話内容が、車載機器ＶＥの制御を指示していると解釈された（基本音声コマンド、又はユーザ発話コマンドが発話内容に含まれると認識された）場合、基本発話コマンド辞書２３２、及びユーザ発話コマンド辞書２３４を参照し、合致する基本音声コマンド、又はユーザ発話コマンドに対応付けられた制御内容を取得する。エージェント設定データ生成部２２２は、取得した制御内容（例えば、車載機器制御、音声制御、または表示制御のうち少なくとも一つ）に対応する処理を実行させるためのエージェント設定データを生成する。なお、解釈結果として、「ＯＮ  エアコン」、「エアコン  作動」等の意味が解釈された場合、エージェント設定データ生成部２２２は、上述の意味を標準文字情報「エアコンを起動させる」や、標準コマンド情報「ＴＵＲＮ  ＡＣ  ＯＮ」等に置き換える。これにより、発話内容の要求に文字揺らぎがあった場合にも要求にあった制御内容を取得し易くすることができる。
【００６３】
通信制御部２２４は、エージェント設定データ生成部２２２により生成されたエージェント設定データを、サーバ側通信部２０２を介して車両Ｍに送信する。これにより、車両Ｍは、エージェント側制御部１２０によって、エージェント設定データに対応する制御が実行される。
【００６４】
［ユーザ発話コマンド辞書２３４への新たな発話コマンドの登録］
また、意味解釈部２１８は、音声認識部２１６により認識されたテキストデータの意味が、新たな発話コマンドを登録する指示を含むことを解釈する。『新たな発話コマンドを登録する指示』は、例えば、新たな発話コマンドそのものと、新たな発話コマンドによって指示される車載機器ＶＥに対する指示とを少なくとも含む言葉によって示され、例えば、『運転席の窓（車載機器ＶＥ）を２０％開けることを、「いつものやって」で登録して。』等の指示である。この場合、車載機器ＶＥの名称は、「運転席の窓」であり、「いつものやって」は、この一例における、新たな発話コマンドである。エージェント設定データ生成部２２２は、意味解釈部２１８によって新たな発話コマンドを登録する指示が含まれると解釈された場合、解釈された新たな発話コマンドと、新たな発話コマンドの制御対象の車載機器ＶＥを示す情報（例えば、車載機器ＶＥの名称）と、新たな発話コマンドを登録する制御内容と含むエージェント設定データを生成し、サーバ側通信部２０２によってエージェント装置１００に送信する。
【００６５】
上述したように、操作権限判定部１３２は、新たな発話コマンドを登録する制御内容を含むエージェント設定データを受信した場合、ユーザ発話コマンドの制御対象の車載機器ＶＥについて、新たな発話コマンドの登録を指示した乗員が操作権限を有するか否かを判定し、判定結果を示す情報をエージェント側通信部１０２によってサーバ装置２００に送信する。
【００６６】
意味解釈部２１８は、サーバ側通信部２０２によって受信した当該情報が発話した乗員が車載機器ＶＥの操作権限を有することを示す場合、解釈した新たな発話コマンドと、当該新たな発話コマンドによって指示される車載機器ＶＥの制御内容とを対応付けて、ユーザ発話コマンド辞書２３４に登録する。
【００６７】
［新たな発話コマンドの登録の例外］
なお、意味解釈部２１８が、新たな発話コマンドを検索キーとして基本発話コマンド辞書２３２を検索し、新たな発話コマンドが既に予め登録される基本音声コマンドとして登録されている場合には、新たな発話コマンドをユーザ発話コマンド辞書２３４に登録する処理を実行しない。この場合、意味解釈部２１８は、エージェント設定データ生成部２２２に新たな発話コマンドを登録する処理に係るエージェント設定データを生成させない。
【００６８】
［直前の動作に対してユーザ発話コマンドを登録］
また、意味解釈部２１８は、音声認識部２１６により認識されたテキストデータの意味が、乗員が車載機器ＶＥに対して直前に行った指示（或いは、制御）を新たな発話コマンドとして登録する指示を含むことを解釈する。『直前に行った指示を新たな発話コマンドとして登録する指示』は、例えば、新たな発話コマンドそのものを含む言葉であり、例えば、『今やった制御を、「いつものやって」で登録して。』等の指示である。今やった制御とは、乗員が直前に行った指示に応じて車載機器ＶＥに行われた制御や、乗員が自ら操作して車載機器ＶＥに行った制御等である。エージェント設定データ生成部２２２は、意味解釈部２１８によって直前に行った指示を新たな発話コマンドを登録する指示が含まれると解釈された場合、解釈された新たな発話コマンドと、直前に行った指示を新たな発話コマンドを登録する制御内容と含むエージェント設定データを生成し、サーバ側通信部２０２によってエージェント装置１００に送信する。
【００６９】
この場合、操作権限判定部１３２は、直前に行った指示を新たな発話コマンドを登録する制御内容を含むエージェント設定データを受信し、車載機器ＶＥに対して行われた制御の履歴を示す履歴に基づいて、直前に行われた制御内容における制御対象の車載機器ＶＥを特定する。履歴情報は、例えば、エージェント側記憶部１５０に蓄積（記憶）されている。操作権限判定部１３２は、特定した車載機器ＶＥについて、新たな発話コマンドの登録を指示した乗員が操作権限を有するか否かを判定し、判定結果を示す情報と、直前に行われた制御内容とを示す情報をエージェント側通信部１０２によってサーバ装置２００に送信する。
【００７０】
意味解釈部２１８は、サーバ側通信部２０２によって受信した情報に基づいて判定結果が、発話した乗員が車載機器ＶＥの操作権限を有することを示す場合、解釈した新たな発話コマンドと、受信した直前に行われた制御内容とを対応付けて、ユーザ発話コマンド辞書２３４に登録する。
【００７１】
［処理フロー］
次に、第１実施形態に係るエージェントシステム１の処理の流れについてフローチャートを用いて説明する。なお、以下では、エージェント装置１００の処理と、サーバ装置２００との処理を分けて説明するものとする。また、以下に示す処理の流れは、所定のタイミングで繰り返し実行されてよい。所定のタイミングとは、例えば、音声データからエージェント装置を起動させる特定ワード（例えば、ウェイクアップワード）が抽出されたタイミングや、車両Ｍに搭載される各種スイッチのうち、エージェント装置１００を起動させるスイッチの選択を受け付けたタイミング等である。
【００７２】
図９は、第１実施形態に係るエージェント装置１００の一連の処理の流れを示すフローチャートである。まず、エージェント側制御部１２０の取得部１２２は、マイク１０６によって乗員の音声データが収集されたか否かを判定する（ステップＳ１００）。取得部１２２は、乗員の音声データが収集されるまでの間、待機する。次に、通信制御部１２８は、エージェント側通信部１０２を介して、音声データをサーバ装置２００に送信する（ステップＳ１０２）。
【００７３】
次に、通信制御部１２８は、サーバ装置２００からエージェント設定データを受信する（ステップＳ１０４）。次に、操作権限判定部１３２は、受信したエージェント設定データに含まれる車載機器ＶＥを特定する（ステップＳ１０６）。発話者位置特定部１３０は、ステップＳ１００において収集された音声を発話した乗員の位置を特定する（ステップＳ１０８）。操作権限判定部１３２は、受信したエージェント設定データに車載機器ＶＥの制御を指示する新たな発話コマンドを登録する制御内容が含まれるか否かを判定する（ステップＳ１１０）。操作権限判定部１３２は、エージェント設定データに新たな発話コマンドを登録する制御内容が含まれない場合、エージェント設定データにそれ以外の指示が含まれる（例えば、音声制御、表示制御、車載機器制御等である）ものとして、処理をステップＳ１１８に進める。
【００７４】
操作権限判定部１３２は、エージェント設定データに新たな発話コマンドを登録する制御内容が含まれる場合、操作権限位置情報１５４に基づいて、特定した車載機器ＶＥについて、発話者位置特定部１３０により位置が特定された乗員が操作権限を有するか否かを判定する（ステップＳ１１２）。操作権限判定部１３２は、乗員が車載機器ＶＥの操作権限を有しないと判定した場合、乗員が車載機器ＶＥの操作権限を有しないことを示す情報を、エージェント側通信部１０２によりサーバ装置２００に送信する（ステップＳ１１４）。操作権限判定部１３２は、乗員が車載機器ＶＥの操作権限を有すると判定した場合、乗員が車載機器ＶＥの操作権限を有することを示す情報をエージェント側通信部１０２によりサーバ装置２００に送信する（ステップＳ１１６）。
【００７５】
操作権限判定部１３２は、エージェント設定データに車載機器ＶＥに対する制御内容が含まれる場合、操作権限位置情報１５４に基づいて、特定した車載機器ＶＥについて、発話者位置特定部１３０によって位置が特定された乗員が操作権限を有するか否かを判定する（ステップＳ１１８）。車載機器制御部１３４は、操作権限判定部１３２により乗員が車載機器ＶＥの操作権限を有しないと判定した場合、車載機器ＶＥに対する制御を実行せず、処理を終了する（ステップＳ１２０）。車載機器制御部１３４は、操作権限判定部１３２によって乗員が車載機器ＶＥの操作権限を有すると判定した場合、エージェント設定データに含まれる制御内容に基づいて、車載機器ＶＥに対する制御を実行する（ステップＳ１２２）。これにより、本フローチャートの処理は、終了する。
【００７６】
図１０は、第１実施形態に係るサーバ装置２００の一例の処理の流れを示すフローチャートである。まず、サーバ側通信部２０２は、エージェント装置１００から音声データ、第１画像データ、第２画像データを取得する（ステップＳ２００）。次に、発話区間抽出部２１４は、音声データに含まれる発話区間を抽出する（ステップＳ２０２）。次に、音声認識部２１６は、抽出された発話区間における音声データの音声認識をする（ステップＳ２０３）。次に、意味解釈部２１８は、抽出された発話区間における音声データの意味を解釈する（ステップＳ２０４）。意味解釈部２１８は、解釈した音声の意味が、新たな発話コマンドを登録する指示を示すか否かを判定する（ステップＳ２０６）。エージェント設定データ生成部２２２は、意味解釈部２１８によって解釈した音声の意味が、新たな発話コマンドを登録する指示を示さない（つまり、音声制御、表示制御、或いは車載機器制御を示す）と判定された場合、発話内容全体の意味に基づくエージェント設定データを生成する（ステップＳ２０８）。サーバ側制御部２１０の通信制御部２２４は、サーバ側通信部２０２を介して、エージェント設定データをエージェント装置１００に送信する（ステップＳ２１０）。
【００７７】
エージェント設定データ生成部２２２は、意味解釈部２１８によって解釈した音声の意味が、新たな発話コマンドを登録する指示を示すと判定された場合、解釈された新たな発話コマンドと、新たな発話コマンドの制御対象の車載機器ＶＥを示す情報と、新たな発話コマンドを登録する制御内容と含むエージェント設定データを生成する（ステップＳ２１２）。サーバ側制御部２１０の通信制御部２２４は、サーバ側通信部２０２を介して、エージェント設定データをエージェント装置１００に送信する（ステップＳ２１４）。意味解釈部２１８は、ステップＳ２１４によってエージェント設定データがサーバ装置２００により送信されたことに伴い、上述したステップＳ１１４やステップＳ１１６において生成／送信された情報が、乗員が車載機器ＶＥの操作権限を有することを示すか否かを判定する（ステップＳ２１６）。
【００７８】
意味解釈部２１８は、受信した情報が、乗員が車載機器ＶＥの操作権限を有することを示さない場合、新たな発話コマンドをユーザ発話コマンド辞書２３４に登録せず、処理を終了する。意味解釈部２１８は、受信した情報が、乗員が車載機器ＶＥの操作権限を有することを示す場合、解釈した新たな発話コマンドが基本発話コマンド辞書２３２に含まれるか否かを判定する（ステップＳ２１８）。意味解釈部２１８は、新たな発話コマンドが基本発話コマンド辞書２３２に含まれる場合、当該新たな発話コマンドをユーザ発話コマンドとして登録することができないため、処理を終了する。意味解釈部２１８は、乗員が車載機器ＶＥの操作権限を有し、且つ新たな発話コマンドが基本発話コマンド辞書２３２に含まれないと判定した場合、新たな発話コマンドと、当該新たな発話コマンドによって指示される車載機器ＶＥの制御内容とを対応付けて、ユーザ発話コマンド辞書２３４に登録する（ステップＳ２２０）。これにより、本フローチャートの処理は、終了する。
【００７９】
以上説明した第１実施形態のエージェントシステム１によれば、乗員が所望する音声によって車載機器ＶＥを制御することができるようにし、乗員がより簡便に車載機器ＶＥを操作できるようにすることができる。
【００８０】
＜第２実施形態＞
上述した第１実施形態では、車両Ｍに搭載されたエージェント装置１００と、サーバ装置２００とが互いに異なる装置であるものとして説明したがこれに限定されるものではない。例えば、エージェント機能に係るサーバ装置２００の構成要素は、エージェント装置１００の構成要素に含まれてもよい。この場合、サーバ装置２００は、エージェント装置１００のエージェント側制御部１２０によって仮想的に実現される仮想マシンとして機能させてもよい。以下、サーバ装置２００の構成要素を含むエージェント装置１００Ａを第２実施形態として説明する。この場合、エージェント装置１００Ａが「エージェントシステム」の一例である。なお、第２実施形態において、上述した第１実施形態と同様の構成要素については、同様の符号を付するものとし、ここでの具体的な説明は省略する。
【００８１】
図１１は、第２実施形態に係るエージェント装置１００Ａの一例を示す図である。エージェント装置１００Ａは、例えば、エージェント側通信部１０２と、マイク１０６と、スピーカ１０８と、表示部１１０と、エージェント側制御部１２０Ａと、エージェント側記憶部１５０Ａとを備える。エージェント側制御部１２０Ａは、例えば、取得部１２２と、音声合成部１２４と、出力制御部１２６と、通信制御部１２８と、発話者位置特定部１３０と、操作権限判定部１３２と、車載機器制御部１３４と、取得部２１２Ａと、発話区間抽出部２１４Ａと、音声認識部２１６Ａと、意味解釈部２１８Ａと、エージェント設定データ生成部２２２Ａとを備える。
【００８２】
また、エージェント側記憶部１５０Ａは、例えば、プロセッサによって参照されるプログラムのほかに、車載機器情報１５２、操作権限位置情報１５４、基本発話コマンド辞書２３２Ａ、ユーザ発話コマンド辞書２３４Ａ等が格納される。基本発話コマンド辞書２３２Ａは、サーバ装置２００から取得した最新の情報によって更新されてもよい。
【００８３】
［処理フロー］
図１２、及び図１３は、第２実施形態に係るエージェント装置１００Ａの一連の処理の流れを示すフローチャートである。また、以下に示す処理の流れは、第１実施形態における処理の流れと同様に所定のタイミングで繰り返し実行されてよい。まず、エージェント側制御部１２０の取得部１２２は、マイク１０６によって乗員の音声データが収集されたか否かを判定する（ステップＳ３００）。次に、発話区間抽出部２１４は、音声データに含まれる発話区間を抽出する（ステップＳ３０２）。次に、意味解釈部２１８は、抽出された発話区間における音声データの意味を解釈する（ステップＳ３０４）。
【００８４】
意味解釈部２１８は、解釈した音声の意味が、新たな発話コマンドを登録する指示を示すか否かを判定する（ステップＳ３０６）。エージェント設定データ生成部２２２は、意味解釈部２１８によって解釈した音声の意味が、新たな発話コマンドを登録する指示を示さない（つまり、音声制御、表示制御、或いは車載機器制御を示す）と判定された場合、発話内容全体の意味に基づくエージェント設定データを生成する（ステップＳ３０８）。エージェント設定データ生成部２２２は、意味解釈部２１８によって解釈した音声の意味が、新たな発話コマンドを登録する指示を示すと判定された場合、解釈された新たな発話コマンドと、新たな発話コマンドの制御対象の車載機器ＶＥを示す情報と、新たな発話コマンドを登録する制御内容と含むエージェント設定データを生成する（ステップＳ３１０）。操作権限判定部１３２は、ステップＳ２０８、又はステップＳ２１２において生成されたエージェント設定データに含まれる車載機器ＶＥを特定する（ステップＳ３１２）。発話者位置特定部１３０は、ステップＳ１００において収集された音声を発話した乗員の位置を特定する（ステップＳ３１４）。
【００８５】
操作権限判定部１３２は、エージェント設定データに車載機器ＶＥの制御を指示する新たな発話コマンドを登録する制御内容が含まれるか否かを判定する（ステップＳ３１６）。操作権限判定部１３２は、エージェント設定データにユーザ発話コマンドを登録する制御内容が含まれず、車載機器ＶＥに対する制御内容が含まれる場合、操作権限位置情報１５４に基づいて、特定した車載機器ＶＥについて、発話者位置特定部１３０によって位置が特定された乗員が操作権限を有するか否かを判定する（ステップＳ３１８）。車載機器制御部１３４は、操作権限判定部１３２によって乗員が車載機器ＶＥの操作権限を有しないと判定した場合、車載機器ＶＥに対する制御を実行せず、処理を終了する（ステップＳ３２０）。車載機器制御部１３４は、操作権限判定部１３２によって乗員が車載機器ＶＥの操作権限を有すると判定した場合、エージェント設定データに含まれる制御内容に基づいて、車載機器ＶＥに対する制御を実行する（ステップＳ３２２）。
【００８６】
操作権限判定部１３２は、エージェント設定データに新たな発話コマンドを登録する制御内容が含まれる場合、操作権限位置情報１５４に基づいて、特定した車載機器ＶＥについて、発話者位置特定部１３０により位置が特定された乗員が操作権限を有するか否かを判定する（ステップＳ３２４）。意味解釈部２１８は、操作権限判定部１３２が、乗員が車載機器ＶＥの操作権限を有しないと判定した場合、新たな発話コマンドをユーザ発話コマンド辞書２３４に登録せず、処理を終了する。意味解釈部２１８は、操作権限判定部１３２が、乗員が車載機器ＶＥの操作権限を有すると判定した場合、解釈した新たな発話コマンドが基本発話コマンド辞書２３２に含まれるか否かを判定する（ステップＳ３２６）。意味解釈部２１８は、新たな発話コマンドが基本発話コマンド辞書２３２に含まれる場合、当該新たな発話コマンドをユーザ発話コマンドとして登録することができないため、処理を終了する。意味解釈部２１８は、乗員が車載機器ＶＥの操作権限を有し、且つ新たな発話コマンドが基本発話コマンド辞書２３２に含まれないと判定した場合、新たな発話コマンドと、当該新たな発話コマンドによって指示される車載機器ＶＥの制御内容とを対応付けて、ユーザ発話コマンド辞書２３４に登録する（ステップＳ３２８）。
【００８７】
以上説明した第２実施形態のエージェント装置１００Ａによれば、第１実施形態と同様の効果を奏する他、乗員からの音声を取得するたびに、ネットワークＮＷを介してサーバ装置２００との通信を行う必要がないため、より迅速に発話内容を認識することができる。また、車両Ｍがサーバ装置２００と通信できない状態であっても、乗員が所望する音声によって車載機器ＶＥを制御することができるようにし、乗員がより簡便に車載機器ＶＥを操作できるようにすることができる。
【００８８】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００８９】
例えば、上述した実施形態では、一例として、移動体が車両であるものとして説明したがこれに限定されるものではない。例えば、移動体は、船舶や飛行物体等の他の移動体であってもよい。この場合、例えば、複数の遊覧船や複数の遊覧飛行機等のキャビン等にエージェント装置１００が配設されていればよい。さらに、これらの移動体には、移動体を運転操作する操舵手がいれば、エージェント装置１００が、運転操作をしない他の乗員（乗客）と音声対話を行うことで接客することができるため、キャビンアテンダントは乗客への他のサービスに注力することができる。また、エージェント装置１００は、タクシーやバス等に配設されてもよい。この場合、エージェント装置１００が乗客と音声対話を行うことで接客することができるため、それらの車両の運転手は運転操作に注力することができる。
【符号の説明】
【００９０】
１…エージェントシステム、１００…エージェント装置、１００Ａ…エージェント装置、１０２…エージェント側通信部、１０６、１０６、１０６Ａ、１０６Ｂ、１０６Ｃ、１０６Ｄ、１０６Ｅ…マイク、１０８、１０８Ａ、１０８Ｂ、１０８Ｃ、１０８Ｄ、１０８Ｅ…スピーカ、１１０、１１０Ａ、１１０Ｂ、１１０Ｃ…表示部、１２０、１２０Ａ…エージェント側制御部、１２２…取得部、１２４…音声合成部、１２６…出力制御部、１２８…通信制御部、１３０…発話者位置特定部、１３２…操作権限判定部、１３４…車載機器制御部、１５０、１５０Ａ…エージェント側記憶部、１５２…車載機器情報、１５４…操作権限位置情報、２００…サーバ装置、２０２…サーバ側通信部、２１０…サーバ側制御部、２１２、２１２Ａ…取得部、２１４、２１４Ａ…発話区間抽出部、２１６、２１６Ａ…音声認識部、２１８、２１８Ａ…意味解釈部、２２２、２２２Ａ…エージェント設定データ生成部、２２４…通信制御部、２３０…サーバ側記憶部、２３２、２３２Ａ…基本発話コマンド辞書、２３４、２３４Ａ…ユーザ発話コマンド辞書、Ｍ…車両、ＶＥ…車載機器
【図１】
2020144285.tif 000003
【図２】
2020144285.tif 000004
【図３】
2020144285.tif 000005
【図４】
2020144285.tif 000006
【図５】
2020144285.tif 000007
【図６】
2020144285.tif 000008
【図７】
2020144285.tif 000009
【図８】
2020144285.tif 000010
【図９】
2020144285.tif 000011
【図１０】
2020144285.tif 000012
【図１１】
2020144285.tif 000013
【図１２】
2020144285.tif 000014
【図１３】
2020144285.tif 000015