(57)【要約】【課題】情報機器を操作するための表示キーの表示制御を行い、表示画面の画面サイズに制約がある場合であっても、有効な表示キーを提示する。【解決手段】複数の機能名称間の階層関係を示した機能関係データベースを参照し、表示候補決定部３が出力した複数の表示候補の機能名称のうち、共通する上位の機能名称を有する機能名称を、当該上位の機能名称に統合する表示候補機能統合部５と、表示画面に表示可能なショートカットキー数、および表示画面上に既に表示されているショートカットキー数を示した表示情報データメモリ７を参照し、表示候補決定部３が決定した機能名称あるいは表示候補機能統合部５が統合した機能名称を、表示画面に表示するか否かを決定する表示制御部８とを備えた。【選択図】図１
2014139624.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声に基づいて、情報機器を操作するための表示キーを検索して表示画面上に表示する音声検索表示装置において、
前記入力された音声の音声認識を行う音声認識処理部と、
前記音声認識処理部の音声認識結果の尤度を算出し、算出した尤度に基づいて前記表示キーの表示候補を決定し、決定した表示候補の機能名称を出力する表示候補決定部と、
前記複数の機能名称間の階層関係を示した機能関係データベースを参照し、前記表示候補決定部が出力した複数の表示候補の機能名称のうち、共通する上位の機能名称を有する機能名称を、当該上位の機能名称に統合する表示候補機能統合部と、
前記表示画面に表示可能な表示キー数、および前記表示画面上に既に表示されている表示キー数を示した表示情報データを参照し、前記表示候補決定部が決定した機能名称あるいは前記表示候補機能統合部が統合した機能名称を、前記表示画面に表示するか否かを決定する表示制御部と、
前記表示制御部が表示を決定した機能名称に対応する表示キーを取得し、前記表示画面に表示する表示キー表示部とを備えたことを特徴とする音声検索表示装置。
【請求項２】
前記表示候補機能統合部は、前記表示画面に表示されたキー表示を上位の機能名称に対応した表示キーに統合して表示するまで時間を示した統合時間を参照し、前記表示画面におけるキー表示の表示経過時間が前記統合時間以上となった前記複数の表示候補の機能名称を、前記上位の機能名称に統合することを特徴とする請求項１記載の音声検索表示装置。
【請求項３】
前記表示候補機能統合部は、前記表示画面に各機能名称に対応したキー表示が表示された回数を示した操作履歴データを参照して前記複数の表示候補の機能名称に対応するキー表示の表示回数を取得し、取得した表示回数に基づいて前記統合時間を算出し、前記表示画面におけるキー表示の表示経過時間が、前記算出した統合時間以上となった前記複数の表示候補の機能名称を、前記上位の機能名称に統合することを特徴とする請求項２記載の音声検索表示装置。
【請求項４】
前記表示候補機能統合部は、前記表示画面に各機能名称に対応したキー表示が表示された回数、および前記表示画面に表示したキー表示が選択された回数を示した表示履歴データを参照して前記複数の表示候補の機能名称に対応するキー表示の表示回数および選択回数を取得し、取得した表示回数および選択回数に基づいて前記統合時間を算出し、前記表示画面におけるキー表示の表示経過時間が、前記算出した統合時間以上となった前記複数の表示候補の機能名称を、前記上位の機能名称に統合することを特徴とする請求項２記載の音声検索表示装置。
【請求項５】
前記表示候補機能統合部は、前記入力された音声が前記音声認識処理部の音声認識結果に近似する度合である認識結果尤度を示した認識結果データを参照して前記複数の表示候補の機能名称に対応するキー表示の認識結果尤度を取得し、取得した認識結果尤度に基づいて前記統合時間を算出し、前記表示画面におけるキー表示の表示経過時間が、前記算出した統合時間以上となった前記複数の表示候補の機能名称を、前記上位の機能名称に統合することを特徴とする請求項２から請求項４のうちのいずれか１項記載の音声検索表示装置。
【請求項６】
前記表示候補機能統合部は、前記表示画面に表示されたキー表示がユーザによって認識された回数を示した認識履歴データを参照して前記複数の表示候補の機能名称に対応するキー表示の認識回数を取得し、取得した認識回数に基づいて前記統合時間を算出し、前記表示画面におけるキー表示の表示経過時間が、前記算出した統合時間以上となった前記複数の表示候補の機能名称を、前記上位の機能名称に統合することを特徴とする請求項２から請求項５のうちのいずれか１項記載の音声検索表示装置。
【請求項７】
前記表示候補機能統合部は、前記表示画面に表示されたキー表示がユーザによって選択されると想定される時間である状況時間を示した現状データを参照し、前記表示画面におけるキー表示の表示経過時間が、現在時刻と前記状況時間によって設定される前記統合時間以上となった前記複数の表示候補の機能名称を、前記上位の機能名称に統合することを特徴とする請求項２から請求項６のうちのいずれか１項記載の音声検索表示装置。
【請求項８】
前記表示候補機能統合部は、前回選択されたキー表示に対して、あるキー表示が次回選択される可能性を示した選択遷移履歴パラメータを示した選択遷移履歴データを参照して前記複数の表示候補の機能名称に対応するキー表示の選択遷移履歴パラメータを取得し、取得した選択遷移履歴パラメータに基づいて前記統合時間を算出し、前記表示画面におけるキー表示の表示経過時間が、前記算出した統合時間以上となった前記複数の表示候補の機能名称を、前記上位の機能名称に統合することを特徴とする請求項２から請求項７のうちのいずれか１項記載の音声検索表示装置。
【請求項９】
入力された音声に基づいて、情報機器を操作するための表示キーを検索して表示画面上に表示する音声検索表示装置において、
前記入力された音声の音声認識を行う音声認識処理部と、
前記音声認識処理部の音声認識結果の尤度を算出し、算出した尤度に基づいて前記表示キーの表示候補を選出し、さらに選出した表示候補の機能名称に対してあらかじめ設定された前記表示キーが機能を実行することの有効性を示した有効フラグを参照し、当該有効フラグが有効を示す機能名称を表示候補と決定する表示候補決定部と、
前記表示画面に表示可能な表示キー数、および前記表示画面上に既に表示されている表示キー数を示した表示情報データを参照し、前記表示候補決定部が決定した機能名称を、前記表示画面に表示するか否かを決定する表示制御部と、
前記表示制御部が表示を決定した機能名称に対応する表示キーを取得し、前記表示画面に表示する表示キー表示部とを備えたことを特徴とする音声検索表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ユーザの発声に対して音声認識処理を行い、音響的および言語的に確からしい単語列を得る音声検索表示装置に関するものである。
【背景技術】
【０００２】
近年、カーナビ等の手動操作と音声操作を行うことが可能なマルチモーダルの情報機器が開発されている。手動操作は、画面の遷移関係が機器の特定の機能の階層構造に沿って作成されている場合がある。この場合、操作を進めることでユーザの所望の機能に徐々に近づき実行することができる。ただし、１回の画面遷移につき１回の手動操作を行う必要があり、機能によっては実行に何回も操作が必要になり不便である。
【０００３】
一方、音声操作はコマンドによらず１回の発声で実行可能であり、手動操作の不便さを補うことが可能である。音声検索表示装置は、音声認識処理により得られた単語列から、情報機器の機能に写像・実行、あるいは複数の機能候補がある場合は機能候補のリストを表示する装置である。音声検索表示装置は音声認識の分野で利用されており、様々な単語列で機器を操作するのに有効な装置である。
【０００４】
例えば、特許文献１に開示された音声認識装置は、音声認識で認識したユーザが発声した音響的・言語的に最も確からしい単語列に基づいて、情報機器の機能を選出する。また、特許文献２に開示された音声入力支援装置は、最も確からしい単語列に基づいて、情報機器の機能と関連語句情報が関連付けられた変換データベースを用いて、最も確からしい情報機器の機能を選出する。また、上記のように動作するものの一例として、特許文献３に開示された差動制御装置は、音声認識を常時動作させてキーワード抽出を行い、抽出されたキーワードに関連する情報のアイコンを表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−５０２９１号公報
【特許文献２】国際公開第２００７／１１４２２６号
【特許文献３】特開２００８−１４８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した手動操作と音声操作とを有する情報機器に用いられる技術では、音声認識を行った結果、尤度が最も高い機能を実行するか、尤度が上位の複数の機能候補を提示してユーザに選択させるため、尤度上位の複数の機能候補を提示する場合、画面サイズの制限の中で表示可能な表示キーの数に限りがあり、新しい表示キーを表示することで、元々表示されていた所望の表示キーを削除し、ユーザを混乱させるという課題があった。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、情報機器を操作するための表示キーの表示制御を行い、表示画面の画面サイズに制約がある場合であっても、有効な表示キーを提示することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る音声検索表示装置は、入力された音声の音声認識を行う音声認識処理部と、音声認識処理部の音声認識結果の尤度を算出し、算出した尤度に基づいて表示キーの表示候補を決定し、決定した表示候補の機能名称を出力する表示候補決定部と、複数の機能名称間の階層関係を示した機能関係データベースを参照し、表示候補決定部が出力した複数の表示候補の機能名称のうち、共通する上位の機能名称を有する機能名称を、当該上位の機能名称に統合する表示候補機能統合部と、表示画面に表示可能な表示キー数、および表示画面上に既に表示されている表示キー数を示した表示情報データを参照し、表示候補決定部が決定した機能名称あるいは表示候補機能統合部が統合した機能名称を、表示画面に表示するか否かを決定する表示制御部と、表示制御部が表示を決定した機能名称に対応する表示キーを取得し、表示画面に表示する表示キー表示部とを備えるものである。
【発明の効果】
【０００９】
この発明によれば、表示画面の画面サイズに制約がある場合であっても、ユーザにとって有効な表示キーを表示することができる。これにより、有効な表示キーが削除されることがなくなり、ユーザが混乱するのを防ぐことができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１による音声検索表示装置の構成を示すブロック図である。
【図２】実施の形態１による音声検索表示装置のショートカットキーの表示例を示す図である。
【図３】実施の形態１の音声検索表示装置の動作を示すフローチャートである。
【図４】実施の形態１による音声検索表示装置の変換データベースの一例を示す図である。
【図５】実施の形態１による音声検索表示装置の表示情報データの一例を示す図である。
【図６】実施の形態１による音声検索表示装置のキー変換データベースの一例、およびショートカットキーの画像の一例を示す図である。
【図７】実施の形態１による音声検索表示装置の機能関係データベースの一例を示す図である。
【図８】実施の形態１による音声検索表示装置の統合前後の表示情報データの一例を示す図である。
【図９】実施の形態２による音声検索表示装置の構成を示すブロック図である。
【図１０】実施の形態２による音声検索表示装置の動作を示すフローチャートである。
【図１１】実施の形態２による音声検索表示装置の統合時間データの一例を示す図である。
【図１２】実施の形態３による音声検索表示装置の構成を示すブロック図である。
【図１３】実施の形態３による音声検索表示装置の動作を示すフローチャートである。
【図１４】実施の形態３による音声検索表示装置の操作履歴データの一例を示す図である。
【図１５】実施の形態４による音声検索表示装置の構成を示すブロック図である。
【図１６】実施の形態４による音声検索表示装置の動作を示すフローチャートである。
【図１７】実施の形態４による音声検索表示装置の表示履歴データの一例を示す図である。
【図１８】実施の形態５による音声検索表示装置の構成を示すブロック図である。
【図１９】実施の形態５による音声検索表示装置の動作を示すフローチャートである。
【図２０】実施の形態５による音声検索表示装置の認識結果データの一例を示す図である。
【図２１】実施の形態６による音声検索表示装置の構成を示すブロック図である。
【図２２】実施の形態６による音声検索表示装置の動作を示すフローチャートである。
【図２３】実施の形態６による音声検索表示装置の表示履歴データの一例を示す図である。
【図２４】実施の形態７による音声検索表示装置の構成を示すブロック図である。
【図２５】実施の形態７による音声検索表示装置の動作を示すフローチャートである。
【図２６】実施の形態７による音声検索表示装置の現状データの一例を示す図である。
【図２７】実施の形態８による音声検索表示装置の構成を示すブロック図である。
【図２８】実施の形態８による音声検索表示装置の選択遷移履歴データの一例を示す図である。
【図２９】実施の形態８による音声検索表示装置の動作を示すフローチャートである。
【図３０】実施の形態９による音声検索表示装置の構成を示すブロック図である。
【図３１】実施の形態９による音声検索表示装置の動作を示すフローチャートである。
【図３２】実施の形態９による音声検索表示装置の状況データの一例を示す図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１による音声検索表示装置の構成を示すブロック図である。
図１において、音声検索表示装置２０は、音声認識処理部１、認識辞書データベースメモリ２、表示候補決定部３、変換データベースメモリ４、表示候補機能統合部５、機能関係データベースメモリ６、表示情報データメモリ７、表示制御部８、ショートカットキー表示部（表示キー表示部）９、キー変換データベースメモリ１０および表示部１１で構成されている。
【００１２】
音声認識処理部１は、例えば、話者であるユーザの近傍に設置する、あるいはユーザが保持し、ユーザが発生した音声を入力する。音声認識処理部１の内部構成である音声入力部１ａは、当該入力音声に対してＡ／Ｄ変換を行って音声データに変換する。音声認識処理部１は、認識辞書データベースメモリ２を参照して、音声入力部１ａが変換した音声データに対して単語列の認識を行い、認識結果として単語列と尤度を出力する。認識結果として、例えば尤度順に例えば上位１位から上位５位までの単語列を並べた候補リストを出力する（例えば、参考文献１参照）。
・参考文献１
特開昭６０−１６６９９７号公報
【００１３】
なお、音声認識処理部１はユーザの発声の入力レベルを常時監視し、入力レベルが一定の閾値以上の場合に音声認識処理を開始するように構成してもよいし、発話ボタンの押下をトリガに音声認識処理を開始するように構成してもよい。
認識辞書データベースメモリ２は、音声認識処理部１が尤度を算出する際に用いる音響
モデルや言語モデルのデータベースを記憶するメモリである。
【００１４】
表示候補決定部３は、音声認識処理部１から出力される認識結果を入力し、変換データベースメモリ４を参照し、例えば、変換データベースメモリ４に記載された機能毎の関連語彙を含む個数（以下、機能尤度と称する）を算出し、算出した機能尤度に基づいてもっともらしく表示の候補とする機能名称を表示候補機能名称として出力する。
変換データベースメモリ４は、認識結果に基づいて表示候補機能名称を決定するための機能名称・関連語句の対応を記述したデータベースを記憶するメモリである。すなわち、変換データベースメモリ４は、変換情報を複数記憶するテーブル構造に構築されている。
【００１５】
表示候補機能統合部５は、表示候補決定部３から出力される表示候補機能名称を入力とし、機能関係データベースメモリ６および表示情報データメモリ７を参照し、共通する上位機能を有する表示候補の表示候補機能名称を統合し、統合表示候補機能名称を出力する。
機能関係データベースメモリ６は、機能名称毎の階層関係を記憶するメモリである。すなわち、機能関係データベースメモリ６は、機能間の階層構造を複数記憶するテーブル構造として構築されている。
表示情報データメモリ７は、機能名称毎に対応したショートカットキー（表示キー）の表示・非表示の情報と表示経過時間、表示しているショートカットキーの数・最大で表示可能なショートカットキーの数を記述したデータを記憶するメモリである。すなわち、表示情報データメモリ７は、状態情報を複数記憶するテーブル構造に構築されている。
【００１６】
表示制御部８は、表示候補機能統合部５から出力される統合表示候補機能名称を入力とし、表示情報データメモリ７を参照して機能名称毎に既に対応するショートカットキーが表示されているかどうか、および記憶されている表示可能ショートカットキー数に基づいて、表示機能名称を選択して出力する。
【００１７】
ショートカットキー表示部９は、表示制御部８の出力である表示機能名称を入力とし、キー変換データベースメモリ１０を参照し、機能名称に対応するショートカットキーである表示ショートカットキーを出力する。
キー変換データベースメモリ１０は、機能名称から表示対象のショートカットキーを決定するための機能名称・ショートカットキーの対応を記述したデータベースを記憶するメモリである。すなわち、キー変換データベースメモリ１０は、変換情報を複数記憶するテーブル構造に構築されている。
表示部１１は、ショートカットキー表示部９の出力である表示ショートカットキーを表示画面上に表示する。
【００１８】
図２に、表示画面上に表示されたショートカットキーの表示例を示す。
図２（ａ）はショートカットキー表示前の表示例を示し、図２（ｂ）はショートカットキー表示後の表示例を示している。図２（ｂ）に示すように、ショートカットキー表示部９から出力された「コンビニを検索」に対応したショートカットキー１０１ａおよび「ファミレスを検索」に対応したショートカットキー１０１ｂが表示部１１の表示画面１００の右上に表示される。
【００１９】
なお、図２の例では、ショートカットキー１０１ａ，１０１ｂを表示部１１の表示画面１００の右上に、「コンビニ」アイコンおよび「ファミレス」アイコンとして表示する例を示したが、当該アイコンは表示画面１００上であればどこに配置してもよい。また、アイコンとして表示する情報も、直観的にユーザが表示内容を理解できる画像で構成してもよいし、画像と文字の組み合わせで構成してもよい。また、アイコンを表示するタイミングは、機能名称に対応する認識結果が得られた場合や、表示直後以外に、ユーザが表示を希望するタイミングでアイコンを表示するために割り当てられたボタンなどを押下するといった特定の操作直後のタイミングで構成してもよい。
なお、上述した説明において、「コンビニを検索」および「ファミレスを検索」は機能名称を示し、「コンビニ」および「ファミレス」はショートカットキーの表示文字を示している。
【００２０】
次に動作について説明する。
図３は、この発明の実施の形態１の音声検索表示装置の動作を示すフローチャートである。
音声認識処理部１の音声入力部１ａは、ユーザの入力音声に対して、例えば１６ｋＨｚサンプリング、１６ビットでＡ／Ｄ変換を行い、変換後の音声データを出力する（ステップＳＴ１）。音声認識処理部１は、ステップＳＴ１で出力された音声入力部１ａの音声データを入力として公知の手法を用いて音声区間を判定し、判定した音声区間の音声データに対して、認識辞書データデータベースメモリ２の音響モデル・言語モデルを参照して尤度を算出する（ステップＳＴ２）。音声認識処理部１は、ステップＳＴ２で算出した尤度に基づいて最も確からしい語句を決定し、当該語句の単語列と尤度を認識結果として出力する（ステップＳＴ３）。
【００２１】
表示候補決定部３は、ステップＳＴ３で出力された認識結果を入力とし、変換データベースメモリ４の変換データベースを参照して機能尤度を求め、表示候補機能名称を出力する（ステップＳＴ４）。表示候補機能統合部５は、ステップＳＴ４で出力された表示候補機能名称を入力とし、機能関係データベースメモリ６の機能関係データベース、および表示情報データメモリ７の表示情報データを参照し、共通する上位機能が存在する表示候補機能名称を統合し（ステップＳＴ５）、統合した統合表示候補機能名称を出力する（ステップＳＴ６）。
【００２２】
表示制御部８は、ステップＳＴ６で出力された統合表示候補機能名称を入力とし、表示情報データメモリ７の表示情報データを参照し、表示すべき表示機能名称を選択し、出力する（ステップＳＴ７）。その後、ショートカットキー表示部９は、ステップＳＴ７で出力された表示機能名称を入力とし、キー変換データベースメモリ１０のキー変換データベースを参照して対応する表示ショートカットキーを取得して出力し（ステップＳＴ８）、表示部１１は表示画面上に表示ショートカットキーを表示し（ステップＳＴ９）、処理を終了する。
【００２３】
図４は、この発明の実施の形態１による音声検索表示装置の変換データベースの一例を示す図である。図４を参照しながら表示候補決定部３の動作を詳細に説明する。
変換データベース２００は、機能名称２０１と、当該機能名称に対応した関連語彙２０２で構成されている。例えば、表示候補決定部３に入力される認識結果の語句が「コンビニエンスストア」であった場合、表示候補決定部３は図４の変換データベース２００を参照して関連語句との一致を検索する。図４に示すように関連語句「コンビニエンスストア」が存在するため、認識結果の語句との一致が検出され、対応する機能名称「コンビニを検索」が表示候補機能名称として選出される。
【００２４】
図５は、この発明の実施の形態１による音声検索表示装置の表示情報データの一例を示す図である。図５を参照しながら表示制御部８の動作を詳細に説明する。
表示情報データ３００は、機能名称３０１、表示フラグ３０２および表示経過時間３０３で構成された第１の表示情報３００ａと、表示ショートカットキー数３０４および表示可能ショートカットキー数３０５で構成された第２の表示情報３００ｂで構成されている。
【００２５】
機能名称３０１は、図２で示した変換データベース２００の機能名称２０１に対応している。表示フラグ３０２は、対応するショートカットキーを表示するか否かを示すフラグ情報が設定されている。図５の例では「１」のフラグ情報が設定されている場合にはショートカットキーの表示を指示し、「０」のフラグ情報が設定されている場合にはショートカットキーの非表示を指示している。表示経過時間３０３は、対応するショートカットキーの表示時間が設定されている。表示ショートカットキー数３０４は、現在の設定で表示フラグとして「１」のフラグ情報が設定されているショートカットキーの数を示している。表示可能ショートカットキー数３０５は、画面上に同時に表示可能なショートカットキーの上限数を示している。
【００２６】
例えば、表示制御部８に入力される表示候補機能名称が「コンビニを検索」であった場合、表示制御部８は図５の第１の表示情報３００ａを参照して、表示候補機能名称と一致する機能名称３０１を検索し、一致した機能名称に対応した表示フラグ３０２を「表示」、すなわち設定値を「１」に変更する。表示制御部８は、表示フラグ３０２を参照し、設定値が「１」の機能名称３０１（図５の例では「コンビニを検索」および「ファミレスを検索」）を表示機能名称として出力する。
【００２７】
なお、表示機能名称を出力する際に、表示制御部８は第２の表示情報３００ｂを参照して表示ショートカットキー数３０４が表示可能ショートカットキー数３０５以下となるように調整を行う。表示制御部８は、第２の表示情報３００ｂを参照し、表示ショートカットキー数３０４が表示可能ショートカットキー数３０５を超えた場合、第１の表示情報３００ａを参照して表示フラグ３０２の設定値が「１」（表示）である機能名称３０１のうち、表示経過時間３０３が最も長い機能名称３０１の表示フラグ３０２の設定値を「０」（非表示）に変更する。当該処理を、表示ショートカットキー数３０４が表示可能ショートカットキー数３０５以下になるまで繰り返す。なお、表示経過時間３０３は、逐次表示制御部８で更新される。
【００２８】
図６（ａ）は、この発明の実施の形態１による音声検索表示装置のキー変換データベースの一例を示す図である。図６（ａ）を参照しながらショートカットキー表示部９の動作を詳細に説明する。また、図６（ｂ）は、ショートカットキーファイル名に対応したショートカットキーの画像を示している。
キー変換データベース４００は、機能名称４０１と、当該機能名称に対応した対応ショートカットキーファイル名４０２で構成されている。例えば、ショートカットキー表示部９に入力される表示機能名称が「コンビニを検索」であった場合、ショートカットキー表示部９はキー変換データベース４００を参照して機能名称との一致を検索する。図６（ａ）に示すように一致する機能名称「コンビニを検索」が存在するため、当該「コンビニを検索」に対応したショートカットキーファイル名「0000000１.jpg」を表示ショートカットキーとして出力する。
【００２９】
なお、表示ショートカットキーとしてショートカットキーファイル名「0000000１.jpg」が出力されると、表示部１１は図６（ｂ）に示した0000000１.jpgに対応したコンビニアイコンを表示画面上に表示する。
【００３０】
図７は、この発明の実施の形態１による音声検索表示装置の機能関係データベースの一例を示す図である。図７を参照しながら表示候補機能統合部５の動作を詳細に説明する。
機能関係データベース５００は、機能名称５０１と、当該機能名称に対応した上位機能名称５０２で構成されている。
【００３１】
例えば、表示候補機能統合部５に入力される表示候補機能名称が「スーパー」であり、且つ既に表示情報データの表示フラグが「１」に設定された表示候補の機能名称が「Ａスーパーを検索」、「Ｂスーパーを検索」、「ファミレスを検索」であった場合に、機能関係データベース５００の機能名称５０１と、既に表示されているショートカットキーの機能名称との一致を見て、共通する上位概念である上位機能名称５０２を取得して表示候補機能名称を統合し、表示情報データを更新する。ここで統合とは、表示情報データにおいて、既に表示フラグが「１」に設定された機能名称の表示フラグを「０」に設定し、取得した上位機能名称５０２に対応した表示フラグを「１」に設定する。
【００３２】
上述した場合の統合前後の表示情報データの一例を図８に示す。図８（ａ）は表示候補機能統合前の表示情報データを示し、図８（ｂ）は表示候補機能統合後の表示情報データを示している。
図８（ａ）において、機能名称３１１の「Ａコンビニを検索」および「Ｂコンビニを検索」の表示フラグ３１２が「１」に設定され、表示候補となっている。一方、「Ａコンビニを検索」および「Ｂコンビニを検索」の上位機能名称である「コンビニ検索」の表示フラグ３１２が「０」に設定され、非表示候補となっている。
【００３３】
そこで、表示候補機能統合部５は、図８（ｂ）に示すように、機能名称３１１の「Ａコンビニを検索」および「Ｂコンビニを検索」の表示フラグ３１２´を「０」に設定し、上位機能名称である「コンビニ検索」の表示フラグ３１２´を「１」に設定し、表示候補機能名称を統合する。
なお、図８（ｂ）において、上位機能名称（「コンビニ検索」）の表示経過時間３１３´は、統合元の機能名称（「Ａコンビニを検索」および「Ｂコンビニを検索」）の表示経過時間に基づいて設定してもよいし、新たに設定してもよい。
【００３４】
また、図８（ａ）および図８（ｂ）に示すように、表示候補機能統合部５による表示候補機能名称の統合処理により、表示ショートカットキー数３１４が「４」であったのが、表示ショートカットキー数３１４´の「３」に変化し、表示可能ショートカットキー数３１５以下に設定することができる。
【００３５】
なお、上述した説明では記載しなかったが、統合対象となる機能名称が１つしか存在しない場合には、統合処理を行わずに当該機能名称に対応する表示機能名称を出力するものとする。
【００３６】
以上のように、この実施の形態１によれば、上位機能が共通する複数のショートカットキーを一つのショートカットキーに統合する表示候補機能統合部５を備えるように構成したので、統合することにより空いた領域に新たなショートカットキーを表示することができる。また、統合後のショートカットキーの階層的な操作により、集約前のショートカットキーを選択することができる。
【００３７】
実施の形態２．
この実施の形態２では、表示候補機能名称毎に既に表示されているショートカットキーを統合する構成を示す。
図９は、この発明の実施の形態２による音声検索表示装置の構成を示すブロック図である。
実施の形態２の音声検索表示装置２０は、図１で示した実施の形態１の音声検索表示装置２０に、統合時間データメモリ１２を追加して設け、表示候補機能統合部５を表示候補機能統合部５ａに置き換えて構成している。以下では、実施の形態１による音声検索表示装置２０の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００３８】
統合時間データメモリ１２は、表示ショートカットキー毎の表示経過時間と統合するまでの時間である統合時間を記憶するメモリである。
表示候補機能統合部５ａは、表示情報データメモリ７の表示経過時間を更新し、表示候補決定部３から出力される表示候補機能名称を入力とし、表示情報データメモリ７の表示経過時間、統合時間データメモリ１２の統合時間、機能関係データベースメモリ６の機能関係データベースを参照し、表示部１１に現在表示しているショートカットキーに対応した機能名称の表示経過時間が、統合時間データに記載されている統合時間を上回っている場合に、機能関係データベースに記載されている機能名称と既に表示されているショートカットキーの機能名称との一致を見て、共通する上位機能を有する表示候補の表示候補機能名称を統合し、統合表示候補機能名称を出力する。ここで統合とは、表示情報データにおいて、既に表示フラグが「１」に設定された機能名称の表示フラグを「０」に設定し、取得した上位機能名称に対応した表示フラグを「１」に設定する。
【００３９】
次に動作について説明する。
図１０は、この発明の実施の形態２による音声検索表示装置の動作を示すフローチャートである。
なお、以下では実施の形態１による音声検索表示装置２０と同一のステップには図３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ４として、表示候補決定部３が表示候補機能名称を出力すると、表示候補機能統合部５ａは、統合時間データメモリ１２の統合時間データを参照し、取得した表示候補機能名称のうち、表示経過時間が統合時間以上である機能名称が存在するか否か判定を行う（ステップＳＴ１１）。表示経過時間が統合時間以上である機能名称が存在しない場合（ステップＳＴ１１；ＮＯ）、ステップＳＴ７の処理に進む。
【００４０】
一方、経過時間が統合時間を上回る機能名称が存在する場合（ステップＳＴ１１；ＹＥＳ）、表示候補機能統合部５ａは、機能関係データベースメモリ６の機能関係データベース、および表示情報データメモリ７の表示情報データを参照し、共通する上位機能が存在する表示候補機能名称を統合し（ステップＳＴ１２）、統合した統合表示候補機能名称を出力する（ステップＳＴ６）。その後、上述したステップＳＴ７からステップＳＴ９と同一の処理を行う。なお、表示候補機能統合部５ａは、常に統合時間データの表示経過時間を更新する処理を行っているものとする。
【００４１】
図１１は、この発明の実施の形態２による音声検索表示装置の統合時間データの一例を示す図である。
統合時間データ６００は、機能名称６０１、当該機能名称に対応した表示経過時間６０２および統合時間６０３で構成されている。表示経過時間６０２は、表示部１１が表示画面上にショートカットキーの表示を開始してからの経過時間を、計側部（不図示）などを用いて計測した値を示す。統合時間６０３は、各機能名称に対応したショートカットキーの統合を開始する時間を示している。統合時間６０３は、あらかじめ設定しておいてもよいし、ユーザが任意の値を設定するように構成してもよい。
【００４２】
表示候補機能統合部５ａに入力される表示候補機能名称が「ファミレス」であった場合に、図１１の例では表示部１１に既に表示されているショートカットキーの機能名称が「Ａスーパーを検索」および「Ｂスーパーを検索」である場合を示している。また、機能名称６０１の「Ａスーパーを検索」の表示経過時間６０２が「４０ｓｅｃ」であり、「Ｂスーパーを検索」の表示経過時間６０２が「４５ｓｅｃ」であり、共に統合時間６０３である「３０ｓｅｃ」以上となっている。そこで、表示候補機能統合部５ａは、機能名称６０１の「Ａスーパーを検索」および「Ｂスーパーを検索」の上位機能が機能関係データベースに記載されている場合に、当該機能名称６０１を統合し、統合表示候補機能名称を更新する。
【００４３】
なお、上述した説明では記載しなかったが、統合対象となる機能名称が１つしか存在しない場合には、統合処理を行わずに当該機能名称に対応する表示機能名称を出力するものとする。
【００４４】
以上のように、この実施の形態２によれば、表示部１１に既に表示されているショートカットキーの表示経過時間が統合時間を上回る場合に、機能名称を統合して統合表示候補機能名称を出力する表示候補機能統合部５ａを備えるように構成したので、表示経過時間が統合時間を上回るまでは、統合対象のショートカットキーを階層的な操作を行うことなく選択することができる。また、表示経過時間が統合時間を上回った場合には、ショートカットキーの選択肢を削減し、ユーザ操作の負担を軽減することができる。また、機能名称の統合後は、上述した実施の形態１と同一の効果が得られる。
【００４５】
実施の形態３．
この実施の形態３では、表示画面に表示されているショートカットキーを統合するまでの時間である統合時間を、各ショートカットキーの選択回数に基づいて算出する構成を示す。
図１２は、この発明の実施の形態３による音声検索表示装置の構成を示すブロック図である。
実施の形態３の音声検索表示装置２０は、図９で示した実施の形態２の音声検索表示装置２０に、操作履歴データメモリ１３を追加して設け、表示候補機能統合部５ａを表示候補機能統合部５ｂに置き換えて構成している。以下では、実施の形態１，２による音声検索表示装置２０の構成要素と同一または相当する部分には実施の形態１，２で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００４６】
表示候補機能統合部５ｂは、操作履歴データメモリ１３の選択回数を更新した後、当該操作履歴データメモリ１３を参照し、入力された表示候補機能名称の統合時間を算出する。統合時間は、例えば以下の式（１）に基づいて算出される。
ＭＴｎ＝ ＣＣ ×ＭＴ０×ＨＰ     ・・・（１）
式（１）において、ＭＴｎはショートカットキーを統合するまでの時間、すなわち統合時間、ＣＣは該当する機能名称の選択回数、ＭＴ０は初期統合時間、ＨＰは表示時間正規化パラメータである。なお、表示時間正規化パラメータＨＰは、ユーザである人間が判断可能な時間表示されるように調整するパラメータであり、事前のシミュレーションで求めた最適な値を用いるものとする。
【００４７】
表示候補機能統合部５ｂは、上述した式（１）に基づいた算出した統合時間ＭＴｎと、統合時間データメモリ１２の該当する機能名称の表示経過時間とを比較し、表示経過時間が統合時間ＭＴｎ以上となっているか否か判定を行う。なお、統合時間データメモリ１２からは表示経過時間のみを参照し、実施の形態２の図１１で示した統合時間６０３は参照しないものとする。すなわち、統合時間データメモリ１２は、図１１で示した機能名称６０１および表示経過時間６０２のみで構成される。
【００４８】
操作履歴データメモリ１３は、機能名称に基づいて統合時間を決定するための選択回数を記述したデータを記憶するメモリである。すなわち、操作履歴データメモリ１３は、変換情報を複数記憶するテーブル構造に構築されている。
【００４９】
次に動作について説明する。
図１３は、この発明の実施の形態３による音声検索表示装置の動作を示すフローチャートである。
なお、以下では実施の形態１による音声検索表示装置２０と同一のステップには図１０で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ４として、表示候補決定部３が表示候補機能名称を出力すると、表示候補機能統合部５ｂは、操作履歴データメモリ１３の操作履歴データを参照し、取得した表示候補機能名称に対応した選択回数を取得する（ステップＳＴ２１）。ステップＳＴ２１で取得した選択回数を上述した式（１）に適用して統合時間ＭＴｎを算出し（ステップＳＴ２２）、算出した統合時間ＭＴｎと、統合時間データメモリ１２の統合時間データを参照し、取得した表示候補機能名称のうち、表示経過時間が統合時間ＭＴｎ以上である機能名称が存在するか否か判定を行う（ステップＳＴ２３）。表示経過時間が統合時間ＭＴｎ以上である機能名称が存在しない場合（ステップＳＴ２３；ＮＯ）、ステップＳＴ７の処理に進む。
【００５０】
一方、表示経過時間が統合時間ＭＴｎを上回る機能名称が存在する場合（ステップＳＴ２３；ＹＥＳ）、表示候補機能統合部５ｂは、機能関係データベースメモリ６の機能関係データベース、および表示情報データメモリ７の表示情報データを参照し、共通する上位機能が存在する表示候補機能名称を統合し（ステップＳＴ２４）、統合した統合表示候補機能名称を出力する（ステップＳＴ６）。その後、上述したステップＳＴ７からステップＳＴ９と同一の処理を行う。
【００５１】
図１４は、この発明の実施の形態３による音声検索表示装置の操作履歴データの一例を示す図である。
操作履歴データ７００は、機能名称７０１と、当該機能名称に対応した選択回数７０２で構成されている。選択回数７０２は、表示画面上に表示されたショットカットキーが選択された回数を示し、機能名称毎の回数を表示する。
【００５２】
例えば、表示候補機能統合部５ｂに入力される表示候補機能名称が「コンビニを検索」だった場合、当該機能名称の選択回数ＣＣは１５回であることがわかる。また、初期統合時間ＭＴ０は２ｓｅｃ、表示時間正規化パラメータＨＰを１／１０とすると、上述した式（１）より、統合時間ＭＴｎは３ｓｅｃと算出される。表示候補機能統合部５ｂは、算出した統合時間ＭＴｎ（３ｓｅｃ）であって、統合時間データメモリ１２を参照して得られる「コンビニを検索」に対応するショートカットキーの表示時間が例えば３ｓｅｃであり、統合時間以上であった場合に、統合した表示機能名称を表示制御部８に出力し、「コンビニを検索」の表示情報データ３００における表示フラグは「０（表示しない）」に設定する。一方、統合時間以内である「ファミレスを検索」の表示機能名称を表示制御部８に出力し、「ファミレスを検索」の表示情報データ３００における表示フラグ「１（表示する）」に設定する。
【００５３】
以上のように、この実施の形態３によれば、ショートカットキーの選択回数に基づいて統合時間を算出し、選択回数が多く使用頻度の高いショートカットキーは統合時間を長く設定する表示候補機能統合部５ｂを備えるように構成したので、使用頻度の高いショートカットキーは、使用頻度の低いショートカットキーよりも比較的長い時間統合されずに、統合対象のショートカットキーを階層的な操作を行うことなく選択することができる。
【００５４】
また、この実施の形態３によれば、実施の形態２と同様に、表示経過時間を上回った場合には、表示候補機能統合部５ｂがショートカットキーの統合を行うように構成したので、ショートカットキーの選択肢を減らし、ユーザの操作負担を軽減することができる。
【００５５】
実施の形態４．
この実施の形態４では、表示画面に表示されているショートカットキーを統合するまでの時間である統合時間を、各ショートカットキーの選択回数および表示回数に基づいて算出する構成を示す。
図１５は、この発明の実施の形態４による音声検索表示装置の構成を示すブロック図である。
実施の形態４の音声検索表示装置２０は、図１２で示した実施の形態３の音声検索表示装置２０の、表示候補機能統合部５ｂおよび操作履歴データメモリ１３に替えて、表示候補機能統合部５ｃおよび表示履歴データメモリ１４を設けて構成している。以下では、実施の形態２，３による音声検索表示装置２０の構成要素と同一または相当する部分には実施の形態２，３で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００５６】
表示候補機能統合部５ｃは、表示履歴データメモリ１４の表示回数および選択回数を更新した後、当該表示履歴データメモリ１４を参照し、入力された表示候補機能名称の統合時間を算出する。統合時間は、例えば以下の式（２）に基づいて算出される。
ＭＴｎ＝（ＣＣ／ＡＣ）×ＭＴ０×ＨＰ     ・・・（２）
式（２）において、ＭＴｎはショートカットキーを統合するまでの時間、すなわち統合時間、ＣＣは該当する機能名称の選択回数、ＡＣは該当する機能名称の表示回数、ＭＴ０は初期統合時間、ＨＰは表示時間正規化パラメータである。なお、表示時間正規化パラメータＨＰは、ユーザである人間が判断可能な時間表示されるように調整するパラメータであり、事前のシミュレーションで求めた最適な値を用いるものとする。
【００５７】
表示履歴データメモリ１４は、機能名称に基づいて統合時間を決定するための表示回数および選択回数を記述したデータを記憶するメモリである。すなわち、表示履歴データメモリ１４は、変換情報を複数記憶するテーブル構造に構築されている。
【００５８】
次に動作について説明する。
図１６は、この発明の実施の形態４による音声検索表示装置の動作を示すフローチャートである。
なお、以下では実施の形態３による音声検索表示装置２０と同一のステップには図１３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ４として、表示候補決定部３が表示候補機能名称を出力すると、表示候補機能統合部５ｃは、表示履歴データメモリ１４の表示履歴データを参照し、取得した表示候補機能名称に対応した表示回数および選択回数を取得する（ステップＳＴ３１）。ステップＳＴ３１で取得した表示回数および選択回数を上述した式（２）に適用して統合時間ＭＴｎを算出し（ステップＳＴ３２）、算出した統合時間ＭＴｎと、統合時間データメモリ１２の統合時間データを参照し、取得した表示候補機能名称のうち、表示経過時間が統合時間ＭＴｎ以上である機能名称が存在するか否か判定を行う（ステップＳＴ２３）。表示経過時間が統合時間ＭＴｎ以上である機能名称が存在しない場合（ステップＳＴ２３；ＮＯ）、ステップＳＴ７の処理に進む。
【００５９】
一方、表示経過時間が統合時間ＭＴｎを上回る機能名称が存在する場合（ステップＳＴ２３；ＹＥＳ）、表示候補機能統合部５ｃは、機能関係データベースメモリ６の機能関係データベース、および表示情報データメモリ７の表示情報データを参照し、共通する上位機能が存在する表示候補機能名称を統合し（ステップＳＴ２４）、統合した統合表示候補機能名称を出力する（ステップＳＴ６）。その後、上述したステップＳＴ７からステップＳＴ９と同一の処理を行う。
【００６０】
図１７は、この発明の実施の形態４による音声検索表示装置の表示履歴データの一例を示す図である。
表示履歴データ８００は、機能名称８０１と、当該機能名称に対応した表示回数８０２および選択回数８０３で構成されている。表示回数８０２は、表示画面上にショートカットキーが表示された回数を示し、機能名称毎の回数を表示する。選択回数８０３は、表示画面上に表示されたショットカットキーが選択された回数を示し、機能名称毎の回数を表示する。
【００６１】
例えば、表示候補機能統合部５ｃに入力される表示候補機能名称が「コンビニを検索」だった場合、当該機能名称の表示回数ＡＣが１５回、選択回数ＣＣが１５回であることがわかる。また、初期統合時間ＭＴ０は２ｓｅｃ、表示時間正規化パラメータＨＰを１とすると、上述した式（２）より、統合時間ＭＴｎは２ｓｅｃと算出される。
【００６２】
表示候補機能統合部５ｃは、算出した統合時間ＭＴｎ（２ｓｅｃ）であって、統合時間データメモリ１２を参照して得られる「コンビニを検索」に対応するショートカットキーの表示時間が例えば２ｓｅｃであり、統合時間以上であった場合に、統合した表示機能名称を表示制御部８に出力し、「コンビニを検索」の表示情報データ３００における表示フラグは「０（表示しない）」に設定する。一方、統合時間以内である「ファミレスを検索」の表示機能名称を表示制御部８に出力し、「ファミレスを検索」の表示情報データ３００における表示フラグ「１（表示する）」に設定する。また、表示候補機能統合部５ｃは、統合時間データメモリ１２の表示経過時間を逐次更新する。
【００６３】
以上のように、この実施の形態４によれば、ショートカットキーの表示回数および選択回数に基づいて統合時間を算出し、表示回数が多く、且つ選択回数が多く使用頻度の高いショートカットキーは統合時間を長く設定する表示候補機能統合部５ｃを備えるように構成したので、使用頻度の高いショートカットキーは、使用頻度の低いショートカットキーよりも比較的長い時間統合されずに、統合対象のショートカットキーを階層的な操作を行うことなく選択することができる。
【００６４】
また、この実施の形態４によれば、実施の形態２，３と同様に、表示経過時間を上回った場合には、表示候補機能統合部５ｃがショートカットキーの統合を行うように構成したので、ショートカットキーの選択肢を減らし、ユーザの操作負担を軽減することができる。
【００６５】
実施の形態５．
この実施の形態５では、ショートカットキー毎に統合するまでの時間である統合時間を、認識結果尤度を参照して算出し、ショートカットキーの出現時間が当該統合時間に達した場合に、ショートカットキーを統合する構成を示す。
【００６６】
図１８は、この発明の実施の形態５による音声検索表示装置の構成を示すブロック図である。
実施の形態５の音声検索表示装置２０は、図１２で示した実施の形態３の音声検索表示装置２０の表示候補機能統合部５ｂおよび操作履歴データメモリ１３に替えて、表示候補機能統合部５ｄおよび認識結果データメモリ１５を設けて構成している。以下では、実施の形態３による音声検索表示装置２０の構成要素と同一または相当する部分には実施の形態３で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００６７】
表示候補機能統合部５ｄは、認識結果データメモリ１５を参照し、入力された表示候補機能名称の統合時間を算出する。統合時間は、例えば以下の式（３）に基づいて算出される。
ＭＴｎ＝ＲＬ×ＭＴ０×ＨＰ     ・・・（３）
式（３）において、ＭＴｎはショートカットキーを統合するまでの時間、すなわち統合時間、ＲＬは該当する機能名称の認識結果尤度、ＨＰは表示時間正規化パラメータである。認識結果尤度ＲＬは、入力された音声が音響的・言語的にどれくらい認識結果である単語列に近いかを表す値であり、音声認識処理部１から提供される。また、表示時間正規化パラメータＨＰは、ユーザである人間が判断可能な時間表示されるように調整するパラメータであり、事前のシミュレーションで求めた最適な値を用いるものとする。
【００６８】
認識結果データメモリ１５は、機能名称に基づいて統合時間を決定するための認識結果尤度を記述したデータを記憶するメモリである。すなわち、認識結果データメモリ１５は、変換情報を複数記憶するテーブル構造に構築されている。
【００６９】
次に動作について説明する。
図１９は、この発明の実施の形態５による音声検索表示装置の動作を示すフローチャートである。
なお、以下では実施の形態３による音声検索表示装置２０と同一のステップには図１３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ４として、表示候補決定部３が表示候補機能名称を出力すると、表示候補機能統合部５ｄは、認識結果データメモリ１５の認識結果データを参照し、取得した表示候補機能名称に対応した認識結果尤度を取得する（ステップＳＴ４１）。ステップＳＴ４１で取得した表示回数および認識結果尤度を上述した式（３）に適用して統合時間ＭＴｎを算出し（ステップＳＴ４２）、算出した統合時間ＭＴｎと、統合時間データメモリ１２の統合時間データを参照し、取得した表示候補機能名称のうち、表示経過時間が統合時間ＭＴｎ以上である機能名称が存在するか否か判定を行う（ステップＳＴ２３）。表示経過時間が統合時間ＭＴｎ以上である機能名称が存在しない場合（ステップＳＴ２３；ＮＯ）、ステップＳＴ７の処理に進む。
【００７０】
一方、表示経過時間が統合時間ＭＴｎを上回る機能名称が存在する場合（ステップＳＴ２３；ＹＥＳ）、表示候補機能統合部５ｄは、機能関係データベースメモリ６の機能関係データベース、および表示情報データメモリ７の表示情報データを参照し、共通する上位機能が存在する表示候補機能名称を統合し（ステップＳＴ２４）、統合した統合表示候補機能名称を出力する（ステップＳＴ６）。その後、上述したステップＳＴ７からステップＳＴ９と同一の処理を行う。
【００７１】
図２０は、この発明の実施の形態５による音声検索表示装置の認識結果データの一例を示す図である。
認識結果データ９００は、機能名称９０１と、当該機能名称に対応した認識結果尤度９０２で構成されている。認識結果尤度９０２は、入力された音声が音響的・言語的にどれくらい認識結果である単語列に近いかを表す値である。
【００７２】
例えば、表示候補機能統合部５ｄに入力される表示候補機能名称が「コンビニを検索」だった場合、当該機能名称の認識結果尤度ＲＬは５０であることがわかる。また、初期統合時間ＭＴ０は２ｓｅｃ、表示時間正規化パラメータＨＰを１／２５とすると、上述した式（３）より、統合時間ＭＴｎは４ｓｅｃと算出される。
【００７３】
以上のように、この実施の形態５によれば、認識結果尤度（ユーザの入力音声らしさ）に基づいて統合時間を算出し、認識結果尤度が高い（ユーザの入力音声らしさの高い）、すなわち所望の機能らしさの高いショートカットキーは統合時間を長く設定する表示候補機能統合部５ｄを備えるように構成したので、所望の機能らしさの高いショートカットキーは、所望の機能らしさの低いショートカットキーよりも比較的長い時間統合されずに、統合対象のショートカットキーを階層的な操作を行うことなく選択することができる。
【００７４】
また、この実施の形態５によれば、実施の形態２−４と同様に、表示経過時間を上回った場合には、表示候補機能統合部５ｄがショートカットキーの統合を行うように構成したので、ショートカットキーの選択肢を減らし、ユーザの操作負担を軽減することができる。
【００７５】
実施の形態６．
この実施の形態６では、表示画面に表示されているショートカットキーを統合するまでの時間である統合時間を、各ショートカットキーの認識回数に基づいて算出する構成を示す。
図２１は、この発明の実施の形態６による音声検索表示装置の構成を示すブロック図である。
実施の形態６の音声検索表示装置２０は、図１２で示した実施の形態３の音声検索表示装置２０の表示候補機能統合部５ｂおよび操作履歴データメモリ１３に替えて、表示候補機能統合部５ｅおよび認識履歴データメモリ１６を設けて構成している。以下では、実施の形態３による音声検索表示装置２０の構成要素と同一または相当する部分には実施の形態３で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００７６】
表示候補機能統合部５ｅは、認識履歴データメモリ１６を参照し、入力された表示候補機能名称の統合時間を算出する。統合時間は、例えば以下の式（４）に基づいて算出される。
ＭＴｎ＝ＲＣ×ＭＴ０×ＨＰ     ・・・（４）
式（４）において、ＭＴｎはショートカットキーを統合するまでの時間、すなわち統合時間、ＲＣは該当する機能名称の表示ショートカットキーに対応した認識結果の認識回数、ＭＴ０は初期統合時間、ＨＰは表示時間正規化パラメータである。なお、表示時間正規化パラメータＨＰは、ユーザである人間が判断可能な時間表示されるように調整するパラメータであり、事前のシミュレーションで求めた最適な値を用いるものとする。
【００７７】
認識履歴データメモリ１６は、機能名称に基づいて統合時間を決定するための認識回数を記述したデータを記憶するメモリである。すなわち、認識履歴データメモリ１６は、変換情報を複数記憶するテーブル構造に構築されている。
【００７８】
次に動作について説明する。
図２２は、この発明の実施の形態６による音声検索表示装置の動作を示すフローチャートである。
なお、以下では実施の形態３による音声検索表示装置２０と同一のステップには図１３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ４として、表示候補決定部３が表示候補機能名称を出力すると、表示候補機能統合部５ｅは、認識履歴データメモリ１６の認識履歴データを参照し、取得した表示候補機能名称に対応した認識回数を取得する（ステップＳＴ５１）。ステップＳＴ５１で取得した認識回数を上述した式（４）に適用して統合時間ＭＴｎを算出し（ステップＳＴ５２）、算出した統合時間ＭＴｎと、統合時間データメモリ１２の統合時間データを参照し、取得した表示候補機能名称のうち、表示経過時間が統合時間ＭＴｎ以上である機能名称が存在するか否か判定を行う（ステップＳＴ２３）。表示経過時間が統合時間ＭＴｎ以上である機能名称が存在しない場合（ステップＳＴ２３；ＮＯ）、ステップＳＴ７の処理に進む。
【００７９】
一方、表示経過時間が統合時間ＭＴｎを上回る機能名称が存在する場合（ステップＳＴ２３；ＹＥＳ）、表示候補機能統合部５ｅは、機能関係データベースメモリ６の機能関係データベース、および表示情報データメモリ７の表示情報データを参照し、共通する上位機能が存在する表示候補機能名称を統合し（ステップＳＴ２４）、統合した統合表示候補機能名称を出力する（ステップＳＴ６）。その後、上述したステップＳＴ７からステップＳＴ９と同一の処理を行う。
【００８０】
図２３は、この発明の実施の形態６による音声検索表示装置の表示履歴データの一例を示す図である。
認識履歴データ１０００は、機能名称１００１と、当該機能名称に対応した認識回数１００２で構成されている。認識回数１００２は、表示ショートカットキーに対応した認識結果の認識回数を表示する。
【００８１】
例えば、表示候補機能統合部５ｅに入力される表示ショートカットキーに対応した機能名称が「コンビニを検索」だった場合、当該機能名称の認識回数ＲＣが１５回であることがわかる。また、初期統合時間ＭＴ０は２ｓｅｃ、表示時間正規化パラメータＨＰを１／１５とすると、上述した式（４）より、統合時間ＭＴｎは２ｓｅｃと算出される。
【００８２】
以上のように、この実施の形態６によれば、認識回数に基づいて統合時間を算出し、認識回数が多い使用頻度の高いショートカットキーは統合時間を長く設定する表示候補機能統合部５ｅを備えるように構成したので、使用頻度の高いショートカットキーは、使用頻度の低いショートカットキーよりも比較的長い時間統合されずに、統合対象のショートカットキーを階層的な操作を行うことなく選択することができる。
【００８３】
また、この実施の形態６によれば、実施の形態２−５と同様に、表示経過時間を上回った場合には、表示候補機能統合部５ｅがショートカットキーの統合を行うように構成したので、ショートカットキーの選択肢を減らし、ユーザの操作負担を軽減することができる。
【００８４】
実施の形態７．
この実施の形態７では、表示画面に表示されているショートカットキーを統合するまでの時間である統合時間を、機能名称と状況時間に基づいて算出する構成を示す。
図２４は、この発明の実施の形態７による音声検索表示装置の構成を示すブロック図である。
実施の形態７の音声検索表示装置２０は、図１２で示した実施の形態３の音声検索表示装置２０の表示候補機能統合部５ｂおよび操作履歴データメモリ１３に替えて、表示候補機能統合部５ｆおよび現状データメモリ１７を設けて構成している。以下では、実施の形態３による音声検索表示装置２０の構成要素と同一または相当する部分には実施の形態３で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００８５】
表示候補機能統合部５ｆ、外部手段などから取得した現在時刻に基づいて現状データメモリ１７を参照し、入力された表示候補機能名称の統合時間を算出する。
現状データメモリ１７は、各機能名称の統合時間と、当該統合時間を設定する際の状況時間を記述したデータを記憶するメモリである。すなわち、現状データメモリ１７は、変換情報を複数記憶するテーブル構造に構築されている。ここで、状況時間とは、状況に応じた時間であり、例えば、昼時という状況に対して状況時間として例えば１１：００〜１３：００を設定したものである。昼時という状況に対する状況時間では、食事をする場所を検索する機能が多く利用される可能性があるため、当該機能を示すショートカットキーの表示時間を他の時間帯よりも長く設定するために用いる値となる。
【００８６】
次に動作について説明する。
図２５は、この発明の実施の形態７による音声検索表示装置の動作を示すフローチャートである。
なお、以下では実施の形態３による音声検索表示装置２０と同一のステップには図１３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ４として、表示候補決定部３が表示候補機能名称を出力すると、表示候補機能統合部５ｆは、現在時刻を取得する（ステップＳＴ６１）。また表示候補機能統合部５ｆは、ステップＳＴ６１で取得した現在時刻に基づいて現状データメモリ１７の現状データを参照し、取得した表示候補機能名称に対応した統合時間ＭＴｎを取得する（ステップＳＴ６２）。その後、取得した統合時間ＭＴｎと、統合時間データメモリ１２の統合時間データを参照し、取得した表示候補機能名称のうち、表示経過時間が統合時間ＭＴｎ以上である機能名称が存在するか否か判定を行う（ステップＳＴ２３）。表示経過時間が統合時間ＭＴｎ以上である機能名称が存在しない場合（ステップＳＴ２３；ＮＯ）、ステップＳＴ７の処理に進む。
【００８７】
一方、表示経過時間が統合時間ＭＴｎを上回る機能名称が存在する場合（ステップＳＴ２３；ＹＥＳ）、表示候補機能統合部５ｆは、機能関係データベースメモリ６の機能関係データベース、および表示情報データメモリ７の表示情報データを参照し、共通する上位機能が存在する表示候補機能名称を統合し（ステップＳＴ２４）、統合した統合表示候補機能名称を出力する（ステップＳＴ６）。その後、上述したステップＳＴ７からステップＳＴ９と同一の処理を行う。
【００８８】
図２６は、この発明の実施の形態７による音声検索表示装置の現状データの一例を示す図である。
現状データ１０１０は、機能名称１０１１、当該機能名称に対応した統合時間１０１２、および当該統合時間１０１２を選択する場合の時間を示した状況時間１０１３で構成されている。
【００８９】
例えば、表示候補機能統合部５ｆに入力される表示候補機能名称が「コンビニを検索」であって、現在時刻が「１５：００」であった場合、当該現在時刻「１５：００」は状況時間「１４：００〜１７：００」に該当するため、統合時間として「３ｓｅｃ」が取得される。
【００９０】
以上のように、この実施の形態７によれば、状況時間に基づいて統合時間を算出し、ユーザが操作している時間帯に使用する可能性の高いショートカットキーは統合時間を長く設定する表示候補機能統合部５ｆを備えるように構成したので、時間帯に応じた使用可能性の高いショートカットキーは、使用可能性の低いショートカットキーよりも比較的長い時間統合されずに、統合対象のショートカットキーを階層的な操作を行うことなく選択することができる。
【００９１】
また、この実施の形態７によれば、実施の形態２−６と同様に、表示経過時間を上回った場合には、表示候補機能統合部５ｆがショートカットキーの統合を行うように構成したので、ショートカットキーの選択肢を減らし、ユーザの操作負担を軽減することができる。
【００９２】
実施の形態８．
この実施の形態８では、表示画面に表示されているショートカットキーを統合するまでの時間である統合時間を、各ショートカットキーの選択遷移履歴に基づいて算出する構成を示す。
図２７は、この発明の実施の形態８による音声検索表示装置の構成を示すブロック図である。
実施の形態８の音声検索表示装置２０は、図１２で示した実施の形態３の音声検索表示装置２０の表示候補機能統合部５ｂおよび操作履歴データメモリ１３に替えて、表示候補機能統合部５ｇおよび選択遷移履歴データメモリ１８を設けて構成している。以下では、実施の形態３による音声検索表示装置２０の構成要素と同一または相当する部分には実施の形態３で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００９３】
表示候補機能統合部５ｇは、選択遷移履歴データメモリ１８を参照し、入力された表示候補機能名称の統合時間を算出する。統合時間は、例えば以下の式（５）に基づいて算出される。
ＭＴｎ＝ＳＰ×ＭＴ０×ＨＰ     ・・・（５）
式（５）において、ＭＴｎはショートカットキーを統合するまでの時間、すなわち統合時間、ＳＰは該当する機能名称の選択遷移履歴パラメータ、ＭＴ０は初期統合時間、ＨＰは表示時間正規化パラメータである。なお、表示時間正規化パラメータＨＰは、ユーザである人間が判断可能な時間表示されるように調整するパラメータであり、事前のシミュレーションで求めた最適な値を用いるものとする。
【００９４】
ここで、選択遷移履歴パラメータＳＰについて、図２８を参照して説明を行う。図２８は、この発明の実施の形態８による音声検索表示装置の選択遷移履歴データの一例を示す図である。
選択遷移履歴データ１０２０は、列方向に記載された前回選択された操作機能名称１０２１、行方向に記載された今回選択された操作機能名称１０２２で構成されている。例えば、前回「ファミレスを検索」が選択され、今回「コンビニを検索」が選択される可能性を示すスコアは「６」と設定されている。このように、選択遷移履歴パラメータＳＰは、前回選択された操作機能名称に対して、今回選択される得る操作機能名称のスコアを操作機能名称毎に設定したものである。
【００９５】
次に動作について説明する。
図２９は、この発明の実施の形態８による音声検索表示装置の動作を示すフローチャートである。
なお、以下では実施の形態３による音声検索表示装置２０と同一のステップには図１３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ４として、表示候補決定部３が表示候補機能名称を出力すると、表示候補機能統合部５ｇは、選択遷移履歴データメモリ１８の選択遷移履歴データを参照し、取得した表示候補機能名称に対応した選択遷移履歴パラメータを取得する（ステップＳＴ７１）。ステップＳＴ７１で取得した選択遷移履歴パラメータを上述した式（５）に適用して統合時間ＭＴｎを算出し（ステップＳＴ７２）、算出した統合時間ＭＴｎと、統合時間データメモリ１２の統合時間データを参照し、取得した表示候補機能名称のうち、表示経過時間が統合時間ＭＴｎ以上である機能名称が存在するか否か判定を行う（ステップＳＴ２３）。表示経過時間が統合時間ＭＴｎ以上である機能名称が存在しない場合（ステップＳＴ２３；ＮＯ）、ステップＳＴ７の処理に進む。
【００９６】
一方、表示経過時間が統合時間ＭＴｎを上回る機能名称が存在する場合（ステップＳＴ２３；ＹＥＳ）、表示候補機能統合部５ｇは、機能関係データベースメモリ６の機能関係データベース、および表示情報データメモリ７の表示情報データを参照し、共通する上位機能が存在する表示候補機能名称を統合し（ステップＳＴ２４）、統合した統合表示候補機能名称を出力する（ステップＳＴ６）。その後、上述したステップＳＴ７からステップＳＴ９と同一の処理を行う。
【００９７】
図２８で示した、選択遷移履歴データ１０２０において、例えば、表示候補機能統合部５ｇに入力される今回選択された表示ショートカットキーに対応した機能名称が「コンビニを検索」であり、前回操作された表示ショートカットキーに対応した機能名称が「ファミレス検索」であった場合、選択遷移履歴パラメータＳＰは「６」であることがわかる。また、初期統合時間ＭＴ０は２ｓｅｃ、表示時間正規化パラメータＨＰを１／６とすると、上述した式（５）より、統合時間ＭＴｎは２ｓｅｃと算出される。
【００９８】
以上のように、この実施の形態８によれば、ユーザの選択履歴に基づいて統合時間を算出し、次に使用される可能背の高いショートカットキーは統合時間を長く設定する表示候補機能統合部５ｇを備えるように構成したので、使用可能性の高いショートカットキーは使用可能性の低いショートカットキーよりも比較的長い時間統合されずに、統合対象のショートカットキーを階層的な操作を行うことなく選択することができる。
【００９９】
また、この実施の形態８によれば、実施の形態２−７と同様に、表示経過時間を上回った場合には、表示候補機能統合部５ｇがショートカットキーの統合を行うように構成したので、ショートカットキーの選択肢を減らし、ユーザの操作負担を軽減することができる。
【０１００】
実施の形態９．
この実施の形態９では、事前に表示ショートカットキーをユーザ選択した際のシステムの反応に基づいて、各表示ショートカットキーが有効であるか、無効であるかを示したデータを備える構成を示す。
図３０は、この発明の実施の形態９による音声検索表示装置の構成を示すブロック図である。
実施の形態９の音声検索表示装置２０は、図１で示した実施の形態１の音声検索表示装置２０の表示候補機能統合部５を削除し、表示候補決定部３に替えて表示候補決定部３ａに設け、さらに状況データメモリ１９を追加して設けている。以下では、実施の形態１による音声検索表示装置２０の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【０１０１】
表示候補決定部３ａは、音声認識処理部１から出力される認識結果を入力し、変換データベースメモリ４を参照し、例えば機能尤度を算出し、算出した機能尤度に基づいてもっともらしく表示の候補とする機能名称を表示候補機能名称として取得する。さらに、状況データメモリ１９を参照し、有効フラグが無効に設定された機能名称を除いた候補を、最終的な表示候補機能名称として出力する。
状況データメモリ１９は、表示候補機能名称を決定するための機能名称・システムの反応・機能を実行することに有効性があるか否かを表す有効フラグ（有効であれば「１」、無効であれば「０」が設定）を記述したデータを記憶するメモリである。
【０１０２】
次に動作について説明する。
図３１は、この発明の実施の形態９による音声検索表示装置の動作を示すフローチャートである。
なお、以下では実施の形態１による音声検索表示装置２０と同一のステップには図３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
音声認識処理部１が最も確からしい語句の単語列と尤度を認識結果として出力すると（ステップＳＴ３）、表示候補決定部３ａは、ステップＳＴ３で出力された認識結果を入力とし、変換データベースメモリ４の変換データベースを参照し、機能尤度を求め、表示候補機能名称を取得する（ステップＳＴ８１）。さらに表示候補決定部３ａは、状況データメモリ１９を参照し、ステップＳＴ８１で取得した表示候補機能名称のうち、機能を実行することに有効性がある表示候補機能名称のみを出力する（ステップＳＴ８２）。
【０１０３】
表示制御部８は、ステップＳＴ８２で出力された表示候補機能名称を入力とし、表示情報データメモリ７の表示情報データを参照し、表示すべき表示機能名称を選択し、出力する（ステップＳＴ７）。その後、上述したステップＳＴ８およびステップＳＴ９と同一の処理を行う。
【０１０４】
図３２は、この発明の実施の形態９による音声検索表示装置の状況データの一例を示す図である。
状況データ１０３０は、機能名称１０３１と、当該機能名称に対応したシステムの反応１０３２と、有効フラグ１０３３で構成されている。
例えば、表示候補決定部３ａに入力される認識結果の語句が「コンビニを検索」であった場合、表示候補決定部３ａは図３２の状況データ１０３０を参照して、システムの反応は「検索結果は０件と回答」であったため、有効フラグが「０：無効」に設定されると判断する。これにより、表示候補決定部３ａは「コンビニを検索」を表示候補機能名称から除外し、除外後の表示候補機能名称を出力する。
【０１０５】
以上のように、この実施の形態９によれば、状況データを参照して、取得した表示候補機能名称のうち機能を実行することに有効性がある表示候補機能名称のみを出力する表示候補決定部３ａを備えるように構成したので、ユーザが表示されたショートカットキーを選択しても所望の結果が得られない無効なショートカットキーを予め表示しないように設定することができる。これにより、ユーザが無効な表示ショートカットキーを選択した結果、選択前の状態に戻るための操作やシステムからの反応への対応を行うなどの煩雑な操作を行うという状況を回避することができる。
【０１０６】
なお、上述した実施の形態３から実施の形態８で示した構成を適宜組み合わせて、この発明の音声検索表示装置とすることも可能である。
【０１０７】
また、上述した実施の形態１から実施の形態９では、音声認識処理を行った結果得られる認識結果を対象として、表示すべきショートカットキーを検索する構成を示したが、テキスト入力に対して認識処理を行い、得られた認識結果を対象として表示すべきショートカットキーを検索する構成としてもよい。
【０１０８】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１０９】
１  音声認識処理部、１ａ  音声入力部、２  認識辞書データベースメモリ、３，３ａ  表示候補決定部、４  変換データベースメモリ、５，５ａ，５ｂ，５ｃ，５ｄ，５ｅ，５ｆ，５ｇ  表示候補機能統合部、６  機能関係データベースメモリ、７  表示情報データメモリ、８  表示制御部、９  ショートカットキー表示部、１０  キー変換データベースメモリ、１１  表示部、１２  統合時間データメモリ、１３  操作履歴データメモリ、１４  表示履歴データメモリ、１５  認識結果データメモリ、１６  認識履歴データメモリ、１７  現状データメモリ、１８  選択遷移履歴データメモリ、１９  状況データメモリ、２０  音声検索表示装置。
【図１】
2014139624.tif 000003
【図２】
2014139624.tif 000004
【図３】
2014139624.tif 000005
【図４】
2014139624.tif 000006
【図５】
2014139624.tif 000007
【図６】
2014139624.tif 000008
【図７】
2014139624.tif 000009
【図８】
2014139624.tif 000010
【図９】
2014139624.tif 000011
【図１０】
2014139624.tif 000012
【図１１】
2014139624.tif 000013
【図１２】
2014139624.tif 000014
【図１３】
2014139624.tif 000015
【図１４】
2014139624.tif 000016
【図１５】
2014139624.tif 000017
【図１６】
2014139624.tif 000018
【図１７】
2014139624.tif 000019
【図１８】
2014139624.tif 000020
【図１９】
2014139624.tif 000021
【図２０】
2014139624.tif 000022
【図２１】
2014139624.tif 000023
【図２２】
2014139624.tif 000024
【図２３】
2014139624.tif 000025
【図２４】
2014139624.tif 000026
【図２５】
2014139624.tif 000027
【図２６】
2014139624.tif 000028
【図２７】
2014139624.tif 000029
【図２８】
2014139624.tif 000030
【図２９】
2014139624.tif 000031
【図３０】
2014139624.tif 000032
【図３１】
2014139624.tif 000033
【図３２】
2014139624.tif 000034