(57)【要約】      （修正有）【課題】音声操作について、安全性、ユーザビリティを考慮した実行タイミング制御を細やかに行う車載装置、音声操作システムおよび音声操作方法を提供する。【解決手段】車両に搭載される車載装置１００は、コマンドごとに実行を制御するパラメータを含むポリシー情報１２１を記憶する記憶部１２０と、音声情報を取り込む音声取込部１１１と、音声情報に対応するコマンドを受け付けて該コマンドの実行をポリシー情報に応じて制御するコマンド制御部１１２と、を備え、コマンド制御部１１２は、コマンドについて、ポリシー情報１２１に含まれるパラメータに応じて一又は複数の段階を設けて処理を実行する。【選択図】図１
2019001428.tif 000002
【特許請求の範囲】
【請求項１】
コマンドごとに実行を制御するパラメータを含むポリシー情報を記憶する記憶部と、
音声情報を取り込む音声取込部と、
前記音声情報に対応するコマンドを受け付けて該コマンドの実行を前記ポリシー情報に応じて制御するコマンド制御部と、を備え、
前記コマンド制御部は、
前記コマンドについて、前記ポリシー情報に含まれるパラメータに応じて一又は複数の段階を設けて処理を実行する、
ことを特徴とする車載装置。
【請求項２】
請求項１に記載の車載装置であって、
外部装置と通信する通信部を備え、
前記コマンド制御部は、前記パラメータに応じて、
前記通信部を介して前記外部装置へ実行可否を問う第一段階のプレコマンド処理と、
前記プレコマンド処理の結果を受信後該結果が実行可能を示すものであれば前記外部装置へ前記コマンドの実行を指示する第二段階のコマンド実行指示処理と、を行う、
ことを特徴とする車載装置。
【請求項３】
請求項２に記載の車載装置であって、
前記コマンド制御部は、
前記プレコマンド処理と前記コマンド実行指示処理との間に、前記パラメータに定めるキャンセル受付時間を設けて、キャンセル入力を受け付ける、
ことを特徴とする車載装置。
【請求項４】
請求項１〜３のいずれか一項に記載の車載装置であって、
前記コマンドの一部のコマンドについて処理を実行するコマンド実行部を備え、
前記コマンド制御部は、前記ポリシー情報に含まれるパラメータにおいて自装置で処理するコマンドであると規定されている場合には、前記コマンド実行部に該コマンドを実行するよう指示するコマンド実行指示処理を行う、
ことを特徴とする車載装置。
【請求項５】
請求項１に記載の車載装置であって、
外部装置と通信する通信部を備え、
前記コマンド制御部は、前記外部装置において判別された前記コマンドを、前記通信部を介して受け付ける、
ことを特徴とする車載装置。
【請求項６】
車載装置と、該車載装置と通信可能に接続されるサーバー装置と、を含む音声操作システムであって、
前記車載装置は、
コマンドごとに実行を制御するパラメータを含むポリシー情報を記憶する記憶部と、
音声情報を取り込む音声取込部と、
前記サーバー装置と通信する車載装置側通信部と、
前記車載装置側通信部を介して前記音声情報に対応するコマンドを受信し該コマンドの実行を前記ポリシー情報に応じて制御するコマンド制御部と、を備え、
前記コマンド制御部は、
前記コマンドについて、前記ポリシー情報に含まれるパラメータに応じて一又は複数の段階を設けて処理を実行し、
前記サーバー装置は、
前記車載装置と通信するサーバー側通信部と、
音声情報を受け付けると解析して該音声情報を自然言語として認識する音声認識部と
前記音声情報の自然言語の意図を推定する意図推定部と、
推定された前記意図に関し実行すべきコマンドを判別して前記車載装置へ送信するコマンド判別部と、
前記コマンドの前記段階に応じた情報を受け付けると所定の処理を行うサーバーコマンド実行部と、を備える、
ことを特徴とする音声操作システム。
【請求項７】
請求項６に記載の音声操作システムであって、
前記サーバーコマンド実行部は、
前記コマンドの前記段階に応じた情報に応じて、前記所定の処理の前提条件が整っている場合には実行可能を示す処理の結果を前記車載装置へ送信する、
ことを特徴とする音声操作システム。
【請求項８】
請求項６または７に記載の音声操作システムであって、
前記サーバーコマンド実行部は、
前記コマンドの前記段階に応じた情報に応じて、前記所定の処理の前提条件に必要なアプリケーションの起動がなされていない場合には、該アプリケーションの起動を行う、
ことを特徴とする音声操作システム。
【請求項９】
請求項６〜８のいずれか一項に記載の音声操作システムであって、
前記サーバー装置は、前記ポリシー情報を記憶する記憶部を備え、
前記車載装置は、起動時に所定の期間経過が経過していれば前記サーバー装置から前記ポリシー情報を取得する、
ことを特徴とする音声操作システム。
【請求項１０】
車載装置の音声操作方法であって、
前記車載装置は、
コマンドごとに実行を制御するパラメータを含むポリシー情報を記憶する記憶部と、
音声情報を取り込む音声取込部と、
前記音声情報に対応するコマンドを受け付けて該コマンドの実行を前記ポリシー情報に応じて制御するコマンド制御部と、を備え、
前記コマンド制御部は、
前記コマンドについて、前記ポリシー情報に含まれるパラメータに応じて一又は複数の段階を設けて処理を実行する実行ステップ、
を実施することを特徴とする音声操作方法。
【請求項１１】
請求項１０に記載の音声操作方法であって、
前記車載装置は、
外部装置と通信する通信部を備え、
前記コマンド制御部は、前記実行ステップにおいて、前記パラメータに応じて、
前記通信部を介して前記外部装置へ実行可否を問う第一段階のプレコマンド処理と、
前記プレコマンド処理の結果を受信後該結果が実行可能を示すものであれば前記外部装置へ前記コマンドの実行を指示する第二段階のコマンド実行指示処理と、を行う、
ことを特徴とする音声操作方法。
【請求項１２】
請求項１１に記載の音声操作方法であって、
前記コマンド制御部は、前記実行ステップにおいて、
前記プレコマンド処理と前記コマンド実行指示処理との間に、前記パラメータに定めるキャンセル受付時間を設けて、キャンセル入力を受け付ける、
ことを特徴とする音声操作方法。
【請求項１３】
請求項１０〜１２のいずれか一項に記載の音声操作方法であって、
前記コマンドの一部のコマンドについて処理を実行するコマンド実行部を備え、
前記コマンド制御部は、前記実行ステップにおいて、
前記ポリシー情報に含まれるパラメータにおいて自装置で処理するコマンドであると規定されている場合には、前記コマンド実行部に該コマンドを実行するよう指示するコマンド実行指示処理を行う、
ことを特徴とする音声操作方法。
【請求項１４】
請求項１０に記載の音声操作方法であって、
前記車載装置は、
外部装置と通信する通信部を備え、
前記コマンド制御部は、前記外部装置において判別された前記コマンドを、前記通信部を介して受け付けるステップ、
を実施することを特徴とする音声操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載装置、音声操作システムおよび音声操作方法の技術に関するものである。
【背景技術】
【０００２】
ユーザーが発話した内容に対応するコマンドが走行中に操作可能か否かを判断し、走行車両が走行中のときには操作可能のときだけアプリケーション制御部に対してそのコマンドの実行を指示し、操作不可能と判断されたときにはそのコマンドの実行を指示しない技術が、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１３４４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような技術では、走行中に実行できるコマンドについては走行中も実行可能とし、そうでないコマンドについては走行中は実行不可能とすることについて、ポリシーにて定義することができる。しかし、音声操作について、通信を介してサーバー装置で実行するコマンドが多くなると、安全性、ユーザビリティを考慮した実行タイミング制御についても細やかに対応する必要が有る。
【０００５】
本発明の目的は、音声操作について、安全性、ユーザビリティを考慮した実行タイミング制御を細やかに行う車載装置、音声操作システムおよび音声操作方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る車載装置は、コマンドごとに実行を制御するパラメータを含むポリシー情報を記憶する記憶部と、音声情報を取り込む音声取込部と、上記音声情報に対応するコマンドを受け付けて該コマンドの実行を上記ポリシー情報に応じて制御するコマンド制御部と、を備え、上記コマンド制御部は、上記コマンドについて、上記ポリシー情報に含まれるパラメータに応じて一又は複数の段階を設けて処理を実行する、ことを特徴とする車載装置。
【発明の効果】
【０００７】
本願発明によれば、安全性、ユーザビリティを考慮した実行タイミング制御を細やかに行う車載装置、音声操作システムおよび音声操作方法を提供することが可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る実施形態を適用した音声操作システムの構造を示す図である。
【図２】ポリシー情報のデータ構造例を示す図である。
【図３】車載装置のハードウェア構造例を示す図である。
【図４】サーバー装置のハードウェア構造例を示す図である。
【図５】ポリシー情報取得処理の流れを示す図である。
【図６】音声コマンド受付処理の流れを示す図である。
【図７】コマンド実行処理の流れを示す図である。
【図８】ローカルコマンド実行結果出力の例を示す図である。
【図９】サーバーコマンドのプレコマンド処理実行結果出力の例を示す図である。
【図１０】サーバーコマンドのプレコマンド処理実行結果出力の別の例を示す図である。
【図１１】サーバーコマンドのプレコマンド処理実行結果出力のさらに別の例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明に係る車載装置を含む音声操作システムについて、図面を参照して説明する。なお、図１〜図１１は、音声操作システム１の全ての構成を示すものではなく、理解容易のため、適宜、構成の一部を省略して描いている。
【００１０】
図１に、本発明に係る実施形態を適用した音声操作システムの構造を示す。本発明に係る実施形態を適用した音声操作システム１においては、車載装置１００およびサーバー装置２００の制御の一部に、アプリケーションソフトウェアによる制御が含まれる。また、車載装置１００においては、ナビゲーションを行うアプリケーションの機能は、車載装置１００のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の管理下で動作するアプリケーションソフトウェアにより実現されるものとする。一方で、サーバー装置２００においては、ＰＯＩ（Ｐｏｉｎｔ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）検索アプリケーションあるいは目的地設定の機能は、サーバー装置２００のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の管理下で動作するアプリケーションソフトウェアにより実現されるものとする。
【００１１】
車載装置１００は、各種のソフトウェアを実行可能な情報処理装置である。車載装置１００は、本実施形態においては、ＯＳを備え、複数のソフトウェアをインストール可能であり、並列してアプリケーション等のソフトウェアを実行することも可能である。車載装置１００は、車載の状態で使用される専用の装置に限られず、パーソナルコンピューターやスマートフォン、タブレット端末等の各種の独立動作可能な装置であればよい。
【００１２】
車載装置１００は、制御部１１０と、記憶部１２０と、表示部１４０と、音声出力部１５０と、外部に備えられて接続される集音部１３０と、図示しない通信部と、を含んで構成される。制御部１１０には、音声取込部１１１と、コマンド制御部１１２と、コマンド実行部１１３と、が含まれる。コマンド実行部１１３には、アプリケーション１１４、アプリケーション１１５等の各種のアプリケーションの処理部が含まれる。記憶部１２０には、ポリシー情報１２１が含まれる。
【００１３】
図２は、ポリシー情報のデータ構造例を示す図である。ポリシー情報１２１には、コマンド１２１Ａと、実行アプリ１２１Ｂと、キャンセル受付時間１２１Ｃと、Ｐｒｅ−ｃｏｍｍａｎｄ／ｃｏｍｍａｎｄ１２１Ｄと、レスポンス（結果）１２１Ｅと、レスポンス（パラメータ）１２１Ｆと、フィードバック表示１２１Ｇと、フィードバック音声１２１Ｈと、が対応付けられて記憶される。
【００１４】
コマンド１２１Ａは、実行するコマンド（処理のアトミックな管理単位）を特定する情報である。例えば、コマンドは、有料優先ルート変更や、ＰＯＩ検索、あるいは目的地設定等、各種処理の基本単位（実行、確定、キャンセル等の単位）である。実行アプリ１２１Ｂは、コマンド１２１Ａにて特定されるコマンドを実行するプログラムが属するアプリケーションソフトウェアを特定する情報である。キャンセル受付時間１２１Ｃは、コマンド１２１Ａにて特定されるコマンドについて、実行直前にキャンセル指示を受け付ける時間を特定する情報である。
【００１５】
Ｐｒｅ−ｃｏｍｍａｎｄ／ｃｏｍｍａｎｄ１２１Ｄは、コマンド１２１Ａの処理を行うにあたり必要な実行可否判断の問い合わせであるＰｒｅ−ｃｏｍｍａｎｄと、実際の処理を指示するｃｏｍｍａｎｄのいずれかの区分を示す情報である。レスポンス（結果）１２１Ｅは、Ｐｒｅ−ｃｏｍｍａｎｄまたはｃｏｍｍａｎｄの結果を示す戻り値である。レスポンス（パラメータ）１２１Ｆは、Ｐｒｅ−ｃｏｍｍａｎｄまたはｃｏｍｍａｎｄの結果を示す戻り値に付随するパラメータ（引数）の情報である。
【００１６】
フィードバック表示１２１Ｇおよびフィードバック音声１２１Ｈは、いずれもレスポンス（結果）１２１Ｅに応じたユーザーインターフェースの言語出力を特定する情報である。フィードバック表示１２１Ｇは車載装置１００の表示部１４０に表示される言語文字情報であり、フィードバック音声１２１Ｈは車載装置１００の音声出力部１５０から出力される言語音声情報、例えばＴＴＳ（Ｔｅｘｔ  Ｔｏ  Ｓｐｅｅｃｈ）情報である。
【００１７】
なお、ポリシー情報１２１は、サーバー装置２００の記憶部２２０にも格納されており、後述するポリシー情報取得処理により車載装置１００はポリシー情報をサーバー装置２００の記憶部２２０からダウンロードして、ポリシー情報１２１として記憶部１２０に記憶する。
【００１８】
音声取込部１１１は、集音部１３０から集音した音声情報を所定の音声情報フォーマットに変換し、音声認識のためにサーバー装置２００へ送信する。
【００１９】
コマンド制御部１１２は、通信部を介してサーバー装置２００から音声情報に対応するコマンドを受信し、該コマンドの実行をポリシー情報１２１に応じて制御する。その際、コマンド制御部１１２は、ポリシー情報１２１に含まれるパラメータ（実行アプリ１２１Ｂの「（サーバー実行）マーカー」）に応じて、一又は複数の段階（Ｐｒｅ−ｃｏｍｍａｎｄ／ｃｏｍｍａｎｄの別）を設けて処理を実行する。より具体的には、コマンド制御部１１２は、実行アプリ１２１Ｂに（サーバー実行）マーカーが含まれていれば、複数の段階（Ｐｒｅ−ｃｏｍｍａｎｄ／ｃｏｍｍａｎｄの二段階）を設けてサーバー装置２００による処理を実行開始させ、マーカーが含まれていなければ、一段階（ｃｏｍｍａｎｄのみ）を設けて自装置のローカルプログラムにより処理を実行するようコマンド実行部１１３へ指示する。
【００２０】
コマンド実行部１１３は、複数存在するコマンドのうち、コマンド制御部１１２から実行を指示された一部のコマンドについて処理を実行する。具体的には、コマンド実行部１１３は、コマンド制御部１１２が管理するポリシー情報に規定されたコマンドに対応するアプリケーション１１４またはアプリケーション１１５に対して、該コマンドに対応する処理の呼び出しを行う。
【００２１】
集音部１３０は、周囲の音声情報を集める。具体的には、集音部１３０は、車載装置１００が使用される周囲の車内の環境音を集めるマイクロフォンである。
【００２２】
表示部１４０は、画面情報を表示する。具体的には、表示部１４０は、ディスプレイを用いて画面情報を表示する。音声出力部１５０は、音声情報を出力する。具体的には、音声出力部１５０は、スピーカー等を用いて、ＴＴＳ等を用いて音声化したガイダンス情報やエラー発生通知等の注意喚起、あるいは検索結果の読み上げ等の各種音声処理のための対話情報を音声出力する。
【００２３】
サーバー装置２００は、インターネット等のネットワーク５０を介して車載装置１００と通信可能に接続される。サーバー装置２００は、いわゆるコンピューターサーバー装置であり、制御部２１０と、記憶部２２０と、図示しない通信部と、を備える。
【００２４】
記憶部２２０には、ポリシー情報１２１が格納される。ポリシー情報１２１は、車載装置１００の記憶部１２０で述べたポリシー情報１２１と同様のデータ構造を有する。そのため、説明は割愛する。なお、このポリシー情報１２１は、例えば車載装置１００の機種ごとに機種固有の制約条件を反映したバリエーションを有するものであってもよいし、車載装置１００が使用される言語環境に応じて言語を異ならせたバリエーションを有するものであってもよい。
【００２５】
制御部２１０には、音声認識部２１１と、意図推定部２１２と、コマンド判別部２１３と、サーバーコマンド実行部２１４と、が含まれる。音声認識部２１１は、音声情報を受け付けると、解析して該音声情報を自然言語として認識する。
【００２６】
意図推定部２１２は、自然言語の情報を受け付けると、文脈の推定や論理を解析して、その自然言語の発話意図を推定する。例えば、自然言語が「ガソリンスタンドある？」であった場合には、意図推定部２１２は、その発話意図はガソリンスタンドの検索であると推定する。
【００２７】
コマンド判別部２１３は、推定された発話意図に関し実行すべきコマンドを判別して車載装置１００へ送信する。具体的には、コマンド判別部２１３は、発話意図がガソリンスタンドの検索である場合には、「ＰＯＩ検索」コマンドを検索ワードのパラメータ「ガソリンスタンド」と判別して、車載装置１００へ送信する。
【００２８】
サーバーコマンド実行部２１４は、コマンドの段階に応じた情報を受け付けると、所定の処理を行う。換言すると、複数存在するコマンドのうち、車載装置１００のコマンド制御部１１２から実行を指示された一部のコマンドについて処理を実行する。具体的には、サーバーコマンド実行部２１４は、コマンド制御部１１２が管理するポリシー情報に規定されたコマンドに対応するアプリケーション１１４またはアプリケーション１１５に対して、該コマンドの段階（Ｐｒｅ−ｃｏｍｍａｎｄまたはｃｏｍｍａｎｄ）に対応する処理の呼び出しを行う。なお、Ｐｒｅ−ｃｏｍｍａｎｄは、実行可能か否かの問い合わせであるが、サーバーコマンド実行部２１４は、管理下にあるアプリケーション２１５あるいはアプリケーション２１６に対してコマンドとパラメータを引き渡し、その問い合わせ結果を取得して返すコントローラの役割を果たす。サーバーコマンド実行部２１４は、該当するアプリケーション２１５、２１６が存在しない場合や使用不可能である場合には、実行不可能である旨を返却し、該当するアプリケーション２１５が稼動状態に無い場合には、稼動開始を指示して実行可能である旨を返却する。
【００２９】
図３は、車載装置１００のハードウェア構造例を示す図である。車載装置１００は、入力受付装置１０１と、演算装置１０２と、通信装置１０３と、主記憶装置１０４と、外部記憶装置１０５と、音声出力装置１０６と、集音装置１０７と、表示装置１０８と、これらをつなぐバス１０９と、を含んで構成される。
【００３０】
入力受付装置１０１は、ハードウェアボタンやタッチパネル等の各種入力装置である。演算装置１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算装置である。
【００３１】
通信装置１０３は、携帯電話網や、無線ネットワーク等を介して、他の装置と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。
【００３２】
主記憶装置１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのメモリ装置である。
【００３３】
外部記憶装置１０５は、例えばハードディスクやＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、その他各種の不揮発性記憶媒体に情報を書き込み、あるいは不揮発性記憶媒体から所定の情報を読み出す装置である。
【００３４】
音声出力装置１０６は、音声情報を受け付けて音声に変換して出力する、いわゆるスピーカーである。
【００３５】
集音装置１０７は、周囲の環境音を集めてサンプリングし音声情報を得る、いわゆるマイクである。なお、集音装置１０７は、車載装置１００から独立した動作を行うマイクであってもよいし、車載装置１００により操作、制御されることで動作を行うマイクであってもよい。
【００３６】
表示装置１０８は、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示出力を行う装置である。
【００３７】
上記した制御部１１０の各機能部、すなわち音声取込部１１１、コマンド制御部１１２、コマンド実行部１１３は、演算装置１０２が所定のプログラムを読み込み実行することにより構築される。そのため、主記憶装置１０４には、各機能部の処理を実現するためのプログラムが記憶されている。
【００３８】
また、上記した記憶部１２０は、主記憶装置１０４あるいは外部記憶装置１０５により、集音部１３０は、集音装置１０７により、表示部１４０は、表示装置１０８により、音声出力部１５０は、音声出力装置１０６により、それぞれ実現される。
【００３９】
なお、上記した各構成要素は、車載装置１００の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。車載装置１００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【００４０】
また、制御部１１０の各機能部は、ＣＰＵに限らずハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
【００４１】
図４は、サーバー装置２００のハードウェア構造例を示す図である。サーバー装置２００は、主記憶装置２０１と、演算装置２０２と、通信装置２０３と、外部記憶装置２０４と、これらをつなぐバス２０５と、を含んで構成される。
【００４２】
主記憶装置２０１は、例えばＲＡＭなどのメモリ装置である。
【００４３】
演算装置２０２は、例えばＣＰＵなどの演算装置である。通信装置２０３は、携帯電話網や、無線ネットワーク等を介して、他の装置である車載装置１００と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。
【００４４】
外部記憶装置２０４は、例えばハードディスクやＳＳＤ、その他各種の不揮発性記憶媒体に情報を書き込み、あるいは不揮発性記憶媒体から所定の情報を読み出す装置である。
【００４５】
上記した制御部２１０の各機能部、すなわち音声認識部２１１、意図推定部２１２、コマンド判別部２１３、サーバーコマンド実行部２１４は、演算装置２０２が所定のプログラムを読み込み実行することにより構築される。そのため、主記憶装置２０１には、各機能部の処理を実現するためのプログラムが記憶されている。
【００４６】
また、上記した記憶部２２０は、主記憶装置２０１あるいは外部記憶装置２０４により実現される。
【００４７】
なお、上記した各構成要素は、サーバー装置２００の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。サーバー装置２００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【００４８】
また、制御部２１０の各機能部は、ＣＰＵに限らずハードウェアにより構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
【００４９】
［動作の説明］次に、ポリシー情報取得に関する全体の流れの動作について説明する。図５は、ポリシー情報取得処理の流れを示す図である。ポリシー情報取得処理は、車載装置１００のアクセサリオン（電源投入）時に開始される。
【００５０】
まず、コマンド制御部１１２は、ポリシー情報が取得済みか否か判定する（ステップＳ００１）。具体的には、コマンド制御部１１２は、記憶部１２０にポリシー情報１２１が格納されているか否かを判定する。
【００５１】
ポリシー情報が取得済みでない場合（ステップＳ００１にて「Ｎｏ」の場合）には、コマンド制御部１１２は、ポリシー情報１２１をサーバー装置２００からダウンロードする（ステップＳ００３）。
【００５２】
ポリシー情報が取得済みの場合（ステップＳ００１にて「Ｙｅｓ」の場合）に、コマンド制御部１１２は、前回取得時から所定時間内か否かを判定する（ステップＳ００２）。前回取得時から所定時間内の場合（ステップＳ００２にて「Ｙｅｓ」の場合）には、コマンド制御部１１２は、ポリシー情報１２１が最新であると判定し、ポリシー情報取得処理を終了させる。
【００５３】
前回取得時から所定時間内でない場合（ステップＳ００２にて「Ｎｏ」の場合）には、コマンド制御部１１２は、ステップＳ００３を実施して、最新のポリシー情報を取得してアップデートする。
【００５４】
以上が、ポリシー情報取得処理の流れである。ポリシー情報取得処理によれば、車載装置１００は、サーバー装置２００にあるポリシー情報を最新化することができる。
【００５５】
図６は、音声コマンド受付処理の流れを示す図である。音声コマンド受付処理は、車載装置１００が動作中に、開始される。
【００５６】
まず、集音部１３０が、発話音声を取得する（ステップＳ１０１）。そして、音声取込部１１１が、音声データを取り込みサーバー装置へ送信する（ステップＳ１０２）。
【００５７】
そして、サーバー装置２００の音声認識部２１１が、音声を認識する（ステップＳ１０３）。
【００５８】
そして、サーバー装置２００の意図推定部２１２が、音声で発せられた文章を特定し、文脈解析等の所定の必要な処理を行って発話意図を推定する（ステップＳ１０４）。
【００５９】
推定された発話意図を用いて、コマンド判別部２１３がコマンドとパラメータを判別し、判別したコマンドとパラメータとを車載装置１００へ送信する（ステップＳ１０５）。
【００６０】
以上が、音声コマンド受付処理の流れである。音声コマンド受付処理によれば、発話意図に応じて行うべき操作であるコマンドを特定し、車載装置１００においては特定されたコマンドを得ることができる。すなわち、車載装置１００の処理負担を軽減しつつ、頻繁な認識機能の改善を速やかに適用することができる。
【００６１】
図７は、コマンド実行処理の流れを示す図である。コマンド実行処理は、上述の音声コマンド受付処理に続けて実施が開始される。
【００６２】
コマンド制御部１１２は、コマンドの実行アプリはサーバー実行であるか否かを判定する（ステップＳ２０１）。具体的には、コマンド制御部１１２は、音声コマンド受付処理において受け付けられた音声コマンドを特定し、コマンドに応じてポリシー情報１２１を参照して実行アプリ１２１Ｂを特定する。なお、図２において実行アプリ１２１Ｂに「ナビゲーション」が格納されている例が示されているが、この例では実行アプリは「ナビゲーション」であり、その処理は車載装置１００にて実行されることを示す。
【００６３】
また別の例として、実行アプリ１２１Ｂに「ＰＯＩ検索（サーバー実行）」が格納されている例を示しているが、この例では実行アプリは「ＰＯＩ検索」であり、その処理はサーバー装置２００のサーバーコマンド実行部２１４において実行されることを示す。さらに別の例として、実行アプリ１２１Ｂに「ＰＯＩ検索（サーバー実行）、観光地検索（サーバー実行）」が格納されている例が示されているが、この例では実行アプリは「ＰＯＩ検索」または「観光地検索」であり、その処理はサーバー装置２００のサーバーコマンド実行部２１４にて実行されることを示す。なお、実行アプリが二つ以上指定されている場合には、車載装置１００において利用中の（ブラウザアプリの場合にはアクティブ状態にあるタブの）アプリが実行アプリとなる。
【００６４】
コマンドの実行アプリがサーバー実行でない場合（ステップＳ２０１にて「Ｎｏ」の場合）には、コマンド制御部１１２は、ｃｏｍｍａｎｄとパラメータを実行アプリへ受け渡し、レスポンスを受け取る（ステップＳ２０２）。具体的には、コマンド制御部１１２は、コマンド実行部１１３に対して、ｃｏｍｍａｎｄとパラメータを受け渡し、コマンド実行部１１３は、対応するコマンドを実行するアプリケーションを特定して起動する。当該コマンド実行において得たレスポンスは、後述するステップＳ２１０にてフィードバック出力される。
【００６５】
コマンドの実行アプリがサーバー実行である場合（ステップＳ２０１にて「Ｙｅｓ」の場合）には、コマンド制御部１１２は、Ｐｒｅ−ｃｏｍｍａｎｄとパラメータを実行アプリへ受け渡しレスポンスを受け取る（ステップＳ２０３）。具体的には、コマンド制御部１１２は、コマンドに応じた第一段階のコマンドであるＰｒｅ−ｃｏｍｍａｎｄを特定し、サーバー装置２００へ実行可否を問い合わせる。その際に、当該Ｐｒｅ−ｃｏｍｍａｎｄに必要なパラメータが有る場合には、コマンド制御部１１２は、発話においてなされたＰＯＩのジャンル等の検索ワード、あるいは車載装置１００の状態や車載装置１００が搭載されている車両の状態等のパラメータを用いる。
【００６６】
サーバーコマンド実行部２１４は、Ｐｒｅ−ｃｏｍｍａｎｄとパラメータを車載装置１００から受け取ると、実行アプリへ受け渡し、レスポンスを車載装置へ送信する（ステップＳ２０４）。具体的には、サーバーコマンド実行部２１４は、アプリケーション２１５等のサーバーコマンド実行部２１４により制御されるアプリケーションのうち、受け渡されたＰｒｅ−ｃｏｍｍａｎｄに対応するアプリケーションに対して、処理の前提条件が整っているか否か判定する。前提条件には、必要なアプリケーションの起動がなされているか、実行可能状態に有るか、アプリケーションの進行の流れに沿っているものか、等が含まれる。一方で、サーバーコマンド実行部２１４は、アプリケーションの起動がなされていない場合には、該アプリケーションの起動を行ってから上記前提条件の判定を行う。そして、サーバーコマンド実行部２１４は、レスポンスとして結果（実行可能、あるいはエラーの場合にはその種類等）と、パラメータ（検索結果やその代表、あるいは使用したパラメータそのもの等、アプリケーション２１５等において規定）とを車載装置１００へ送信する。
【００６７】
コマンド制御部１１２は、サーバーコマンド実行部２１４から返されたレスポンスが実行可能を示すものか否かを判定する（ステップＳ２０５）。実行可能でない場合（ステップＳ２０５にて「Ｎｏ」の場合）には、コマンド制御部１１２は、後述するステップＳ２１０の処理により、ポリシー情報１２１に規定されるフィードバック（フィードバック表示１２１Ｇまたはフィードバック音声１２１Ｈあるいはその両方）を出力する。
【００６８】
実行可能である場合（ステップＳ２０５にて「Ｙｅｓ」の場合）には、コマンド制御部１１２は、キャンセル受付時間の間、キャンセル指示を受け付ける（ステップＳ２０６）。具体的には、コマンド制御部１１２は、ポリシー情報１２１に規定されるフィードバック表示１２１Ｇとフィードバック音声１２１Ｈを用いて、所定のキャンセル受付画面をキャンセル受付時間１２１Ｃだけ表示してキャンセル操作を受け付ける。
【００６９】
そして、コマンド制御部１１２は、キャンセル受付時間内にキャンセル指示が無かったか否かを判定する（ステップＳ２０７）。キャンセル指示があった場合（ステップＳ２０７にて「Ｎｏ」の場合）には、コマンド制御部１１２は、後述するステップＳ２１０の処理により、所定のキャンセルフィードバック（所定の表示または所定の音声あるいはその両方）を出力する。例えば、コマンド制御部１１２は、「キャンセルしました」等のフィードバック出力（画面表示あるいは音声出力）を行うことが考えられる。
【００７０】
キャンセル指示が無かった場合（ステップＳ２０７にて「Ｙｅｓ」の場合）には、コマンド制御部１１２は、第二段階のコマンドであるｃｏｍｍａｎｄとパラメータを実行アプリへ受け渡しレスポンスを受け取る（ステップＳ２０８）。具体的には、コマンド制御部１１２は、コマンドに応じた第二段階のコマンドであるｃｏｍｍａｎｄを特定し、サーバー装置２００へ実行を指示する。その際に、当該ｃｏｍｍａｎｄに必要なパラメータが有る場合には、コマンド制御部１１２は、発話においてなされたＰＯＩのジャンル等の検索ワード、あるいは車載装置１００の状態や車載装置１００が搭載されている車両の状態等のパラメータを用いる。
【００７１】
サーバーコマンド実行部２１４は、ｃｏｍｍａｎｄとパラメータを車載装置１００から受け取ると、実行アプリへ受け渡し、レスポンスを車載装置へ送信する（ステップＳ２０９）。具体的には、サーバーコマンド実行部２１４は、アプリケーション２１５等のサーバーコマンド実行部２１４により制御されるアプリケーションのうち、受け渡されたｃｏｍｍａｎｄに対応するアプリケーションに対して、ｃｏｍｍａｎｄを発行する。そして、レスポンスとして結果（実行可否、あるいはエラーの場合にはその種類等）と、パラメータ（検索結果やその代表、あるいは使用したパラメータそのもの等、アプリケーション２１５等において規定）とを車載装置１００へ送信する。
【００７２】
そして、コマンド制御部１１２は、フィードバックを出力する（ステップＳ２１０）。具体的には、コマンド制御部１１２は、レスポンスとして結果（実行可否、あるいはエラーの場合にはその種類等）と、パラメータ（検索結果やその代表、あるいは使用したパラメータそのもの等、アプリケーション１１４あるいはアプリケーション２１５等において規定）とを受け付けると、ポリシー情報１２１に規定されたポリシーに応じて、フィードバック表示１２１Ｇと、フィードバック音声１２１Ｈにより規定された出力および画面遷移を行う。そして、コマンド制御部１１２は、コマンド実行処理を終了させる。
【００７３】
以上が、コマンド実行処理の処理フローである。コマンド実行処理によれば、コマンド判別部２１３により判別されたコマンドを、ポリシー情報に従って、ローカル（自装置）処理であれば車載装置１００において実行し、リモート（サーバー装置）処理であればサーバー装置２００において実行可否の問い合わせを行う段階を含む多段階で実行することができる。なお、上記のステップＳ２０２において、コマンド制御部１１２は、一段階でｃｏｍｍａｎｄとパラメータを実行アプリへ受け渡しているが、これに限られるものではない。
【００７４】
例えば、ｃｏｍｍａｎｄが一連のアプリ処理の流れの一部を実行するものであれば、その実行タイミングが適切であるか否かを判定する必要も考えられる。具体的には、「有料優先ルート変更」コマンドが、目的地へのルートを、別条件（有料道路走行を優先する）で探索したルートへ変更するコマンドである場合、元のルートの存在が必要である。こういった場合には、コマンド制御部１１２は、ポリシー上Ｐｒｅ−ｃｏｍｍａｎｄが設定されておりアプリケーション１１４がこれに対応していれば、Ｐｒｅ−ｃｏｍｍａｎｄとｃｏｍｍａｎｄとの多段階での実行を行う事で、実行可否の判定処理を独立実施させることが可能となる。
【００７５】
また、コマンド制御部１１２は、ステップＳ２０２において、実行前にキャンセル受付時間１２１Ｃに応じたキャンセル受付処理をステップＳ２０６と同様に行うようにしても良い。このようにすることで、音声操作の誤り確認と処理の中止を容易に行うことができるようになる。
【００７６】
図８は、ローカルコマンド実行結果出力の例を示す図である。ローカルコマンド実行結果出力画面４００には、フィードバック表示としてメッセージ「ナビ操作を受け付けました」が表示されるメッセージ領域４０１が含まれる。この例の処理内容は、一般道優先のルート案内（ローカルアプリ）処理中に音声操作「有料優先」との発話がなされた場合に、「有料優先ルート変更」コマンドが判別され、コマンド実行部１１３にてコマンド実行が一段階（Ｐｒｅ−ｃｏｍｍａｎｄ無）でなされるというものである。コマンド制御部１１２はコマンド実行部１１３にｃｏｍｍａｎｄの実行を行わせる。
【００７７】
図９は、サーバーコマンドのプレコマンド処理実行結果出力の例を示す図である。プレコマンド実行結果出力画面５００には、フィードバック表示としてメッセージ「認識結果  ガソリンスタンド」が表示されるメッセージ領域５０１およびキャンセル指示受付ボタン５０２が含まれる。この場合の処理の流れは、以下である。
【００７８】
まず、コマンド制御部１１２は、サーバーコマンド実行部２１４に対して、ＰＯＩ検索アプリのＰｒｅ−ｃｏｍｍａｎｄを発行する。サーバーコマンド実行部２１４は、ＰＯＩ検索アプリが存在し、実行可能であれば「実行可能」のレスポンス（結果）と、検索ワードの「ガソリンスタンド」とを返却する。
【００７９】
そして、コマンド制御部１１２は、ポリシー情報１２１の対応する返却結果を特定し、フィードバック表示１２１Ｇに従ってメッセージ「認識結果  ガソリンスタンド」を表示させる。プレコマンド実行結果出力画面５００の表示後に、キャンセル受付時間１２１Ｃが経過すると、コマンド制御部１１２はコマンド実行部１１３にｃｏｍｍａｎｄの実行を行わせる。なお、キャンセル指示は、車載装置１００のハードウェアボタンから受け付けを行ってもよいし、プレコマンド実行結果出力画面５００上のキャンセル指示受付ボタン５０２を介して受け付けてもよい。
【００８０】
そして、コマンド制御部１１２は、レスポンス（結果）として返された「実行可能」の戻り値と、パラメータとしてＰＯＩ検索結果の一件目のＰＯＩ名称「ガソリンスタンドＡＢＣ」の戻り値を受けて、ポリシー情報１２１に規定されているフィードバック音声「ガソリンスタンドＡＢＣが見つかりました。「そこに行く」と言うと、目的地に設定できます。」を音声出力部１５０に出力させる。
【００８１】
続けて、発話「そこに行く」がなされると、コマンド制御部１１２は、Ｐｒｅ−ｃｏｍｍａｎｄを発行してサーバーコマンド実行部２１４へ実行可否を問い合わせる。サーバーコマンド実行部２１４は、ＰＯＩ検索アプリが存在し、特定のＰＯＩが選択されており実行可能であれば「実行可能」のレスポンス（結果）と、行先の「ガソリンスタンドＡＢＣ」とを返却する。
【００８２】
そして、コマンド制御部１１２は、ポリシー情報１２１の対応する返却結果を特定し、フィードバック表示１２１Ｇに従ってメッセージ「ナビ操作を受け付けました。」を表示させるとともに、「ガソリンスタンドＡＢＣを目的地に設定します。」とフィードバック音声を出力させる。その表示後に、キャンセル受付時間１２１Ｃが経過すると、コマンド制御部１１２はサーバーコマンド実行部２１４にｃｏｍｍａｎｄの実行を行わせる。なお、キャンセル指示は、車載装置１００のハードウェアボタンから受け付けを行ってもよいし、画面上のキャンセル指示受付ボタンを介して受け付けてもよい。
【００８３】
サーバーコマンド実行部２１４は、ｃｏｍｍａｎｄの実行指示を受け付けると、「実行可能」のレスポンス（結果）と、目的地のＰＯＩ名称「ガソリンスタンドＡＢＣ」とを返却する。
【００８４】
そして、サーバーコマンド実行部２１４は、ポリシー情報に設定されたキャンセル受付時間２．５秒の後、車載装置１００のコマンド実行部１１３に、目的地設定の要求を出す。コマンド実行部１１３は、目的地に「ガソリンスタンドＡＢＣ」を設定してルート検索を行い、経路誘導を開始する。
【００８５】
図１０は、サーバーコマンドのプレコマンド処理実行結果出力の別の例を示す図である。プレコマンド実行結果出力画面６００には、フィードバック表示としてメッセージ「認識結果  １１番に行く」が表示されるメッセージ領域６０１およびキャンセル指示受付ボタン６０２が含まれる。また、本例はエラー発生の例となるため、ＰＯＩ検索結果が１０件得られており、発話が存在しないＰＯＩ検索結果の１１番目を行先に指定する「１１番に行く」であったとする。この場合の処理の流れは、以下である。
【００８６】
まず、コマンド制御部１１２は、サーバーコマンド実行部２１４に対して、ＰＯＩ検索アプリのＰｒｅ−ｃｏｍｍａｎｄを発行する。この際のパラメータは、１１番目のＰＯＩを指定する情報である。サーバーコマンド実行部２１４は、１１番目のＰＯＩは存在しないため、レスポンス（結果）として「フォーカスされている項目がない」旨の情報を車載装置１００へ返却する。
【００８７】
そして、コマンド制御部１１２は、ポリシー情報１２１の対応する返却結果を特定し、フィードバック表示１２１Ｇの「認識結果  １１番に行く」をプレコマンド実行結果出力画面６００のメッセージ領域６０１に表示させる。また、コマンド制御部１１２は、フィードバック音声１２１Ｈに従ってメッセージ「今はその操作はできません。」を音声出力部１５０に出力させる。
【００８８】
図１１は、サーバーコマンドのプレコマンド処理実行結果出力のさらに別の例を示す図である。プレコマンド実行結果出力画面７００には、フィードバック表示としてメッセージ「認識結果  コンビ」が表示されるメッセージ領域７０１およびキャンセル指示受付ボタン７０２が含まれる。また、本例はエラー発生の例となるため、発話指示がコンビニエンスストアを検索したい旨の「コンビニ」がなされたとするが、意図通りのコマンドが認定されず、「コンビ」を検索ワードとしたＰＯＩ検索が誤認されたとする。この場合の処理の流れは、以下である。
【００８９】
まず、コマンド制御部１１２は、サーバーコマンド実行部２１４に対して、ＰＯＩ検索アプリのＰｒｅ−ｃｏｍｍａｎｄを発行する。この際のパラメータは、誤認識された検索ワード「コンビ」である。サーバーコマンド実行部２１４は、ＰＯＩ検索アプリが存在し、実行可能であれば「実行可能」のレスポンス（結果）と、検索ワードの「コンビ」とを返却する。
【００９０】
そして、コマンド制御部１１２は、ポリシー情報１２１の対応する返却結果を特定し、フィードバック表示１２１Ｇに従ってメッセージ「認識結果  コンビ」を表示させる。プレコマンド実行結果出力画面７００の表示後に、キャンセル受付時間１２１Ｃが経過すると、コマンド制御部１１２はコマンド実行部１１３にｃｏｍｍａｎｄの実行を行わせる。なお、キャンセル指示は、車載装置１００のハードウェアボタンから受け付けを行ってもよいし、プレコマンド実行結果出力画面７００上のキャンセル指示受付ボタン７０２を介して受け付けてもよい。
【００９１】
キャンセル受付時間１２１Ｃの経過前にキャンセルを受け付けると、コマンド制御部１１２は、音声操作処理をキャンセルさせる。
【００９２】
以上が、実施形態に係る音声操作システム１、車載装置１００、サーバー装置２００および音声操作方法である。上記の実施形態によれば、音声操作について、安全性、ユーザビリティを考慮した実行タイミング制御を細やかに行う車載装置１００、サーバー装置２００および音声操作方法を実現できる。
【００９３】
ただし、本発明は、上記の実施形態に制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。
【００９４】
例えば、上記の実施形態においては、車載装置１００の通信先がサーバー装置２００のみの例を示したが、これに限られない。例えば、上記実施形態に記載したサーバー装置２００が複数存在し、異なるアプリケーション実装を行うものであってもよい。
【００９５】
また例えば、サーバー装置２００にて音声情報からコマンドを判別する処理を行っているが、これに限られず、その一部あるいは全部を、車載装置１００において実行するものであってもよい。具体的には、音声認識部２１１、意図推定部２１２、コマンド判別部２１３については、車載装置１００上の制御部１１０に設けられ、ローカル処理されるものであってもよい。
【符号の説明】
【００９６】
１・・・音声操作システム、５０・・・ネットワーク、１００・・・車載装置、１１０・・・制御部、１１１・・・音声取込部、１１２・・・コマンド制御部、１１３・・・コマンド実行部、１１４、１１５・・・アプリケーション、１２０・・・記憶部、１２１・・・ポリシー情報、１３０・・・集音部、１４０・・・表示部、１５０・・・音声出力部、２００・・・サーバー装置、２１０・・・制御部、２１１・・・音声認識部、２１２・・・意図推定部、２１３・・・コマンド判別部、２１４・・・サーバーコマンド実行部、２１５、２１６・・・アプリケーション、２２０・・・記憶部、２２１・・・ポリシー情報
【図１】
2019001428.tif 000003
【図２】
2019001428.tif 000004
【図３】
2019001428.tif 000005
【図４】
2019001428.tif 000006
【図５】
2019001428.tif 000007
【図６】
2019001428.tif 000008
【図７】
2019001428.tif 000009
【図８】
2019001428.tif 000010
【図９】
2019001428.tif 000011
【図１０】
2019001428.tif 000012
【図１１】
2019001428.tif 000013