(57)【要約】【課題】ユーザがアプリケーション使用中に特定機能に迅速に接近することができる利点を提供する。【解決手段】本発明は、音声認識を使用してユーザ機能を行う方法及び装置に関し、本発明は、ユーザ機能実行画面を表示し、音声認識実行要請が持続的に受信される間に、音声入力によって実行される少なくとも１つの機能を確認し、各機能別に当該音声命令語を実行画面に表示し、ユーザによって入力される音声を音声認識し、音声認識結果に基づいて表示された少なくとも１つの音声命令語のうち１つが音声入力されたものと判断されれば、入力された音声命令語と連関された機能を実行するように構成される。【選択図】図３
2013143151.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ機能の実行画面を表示する過程と、
音声認識実行要請が持続的に受信される間に、音声入力によって実行される少なくとも１つの機能を確認し、各機能別に当該音声命令語を実行画面に表示し、ユーザによって入力される音声を音声認識する音声認識過程と、
前記音声認識の結果に基づいて前記表示された少なくとも１つの音声命令語のうち１つが音声入力されたものと判断されれば、前記入力された音声命令語と連関された機能を実行する過程と、を含むことを特徴とするユーザ機能実行方法。
【請求項２】
前記音声命令語を表示する過程は、
当該音声命令語を前記実行画面を構成するイメージ構成要素の付近に表示する過程又は前記実行画面の余白に表示する過程のうち少なくとも１つを含むことを特徴とする請求項１に記載のユーザ機能実行方法。
【請求項３】
前記イメージ構成要素の付近に表示過程は、
前記当該音声命令語をそれに対応する機能と連関されたイメージ構成要素の付近に表示することを特徴とする請求項２に記載のユーザ機能実行方法。
【請求項４】
前記余白に表示する過程は、
前記音声入力によって実行される機能がキー入力イベントによって実行される機能なら、前記キー入力イベントを生成するキー入力部が装着された部位の付近に前記当該音声命令語を表示することを特徴とする請求項２又は３に記載のユーザ機能実行方法。
【請求項５】
前記音声認識過程は、前記表示された少なくとも１つの音声命令語を基準に前記音声を音声認識することを特徴とする請求項１〜４のいずれか１項に記載のユーザ機能実行方法。
【請求項６】
前記機能を確認する過程は、
タッチイベントとキー入力イベントの受信時に実行される機能及び特定アプリケーションのあらかじめ設定された機能のうち少なくとも１つを確認する過程を含むことを特徴とする請求項１〜５のいずれか１項に記載のユーザ機能実行方法。
【請求項７】
前記音声命令語を表示する過程の前に、
前記少なくとも１つの音声命令語の類似度を検査する過程と、
前記類似度検査結果によって類似な音声命令語のうち少なくとも１つを変更する過程と、をさらに含むことを特徴とする請求項１〜６のいずれか１項に記載のユーザ機能実行方法。
【請求項８】
前記音声認識実行要請の中断時に、前記表示された少なくとも１つの音声命令語を前記実行画面で除去し、前記音声認識を終了する過程をさらに含むことを特徴とする請求項１〜７のいずれか１項に記載のユーザ機能実行方法。
【請求項９】
前記音声命令語を音声認識する過程は、
表示される画面が変更されるたびに、前記画面と連関された音声命令語が認識対象候補に動的に変更されて検索されることを特徴とする請求項１〜９のいずれか１項に記載のユーザ機能実行方法。
【請求項１０】
ユーザ機能の実行画面を表示する表示部と、
音声認識実行要請及び前記ユーザ機能のためにタッチイベントを生成するタッチパネル及びキー入力イベントを生成するキー入力部のうち少なくとも１つと、
音声入力を収集及び録音するオーディオ処理部と、
前記タッチパネルまたは前記キー入力部で前記音声認識実行要請を受信し、前記音声認識実行要請が持続的に受信される間に、前記音声入力によって実行される少なくとも１つの機能を確認し、各機能別に当該音声命令語が前記実行画面に表示されるように前記表示部を制御し、且つ前記音声入力を音声認識し、前記音声認識結果に基づいて前記表示された少なくとも１つの音声命令語のうち１つが音声入力されたものと判断されれば、前記入力された音声命令語と連関された機能を実行する制御部と、を含むことを特徴とするユーザ機能実行装置。
【請求項１１】
前記表示部は、
前記実行画面に少なくとも１つのイメージ構成要素を含み、前記少なくとも１つのイメージ構成要素の付近又は前記実行画面の余白のうち少なくとも一方に前記少なくとも１つの音声命令語を表示することを特徴とする請求項１０に記載のユーザ機能実行装置。
【請求項１２】
前記表示部は、
前記音声入力によって実行される機能の当該音声命令語を前記機能と連携されたイメージ構成要素の付近に表示することを特徴とする請求項１１に記載のユーザ機能実行装置。
【請求項１３】
前記表示部は、
前記タッチイベントの方向にある前記実行画面の側面に前記少なくとも１つの音声命令語を表示することを特徴とする請求項１０に記載のユーザ機能実行装置。
【請求項１４】
前記表示部は、
前記実行画面のうち前記タッチイベントの開始位置に前記少なくとも１つの音声命令語を表示することを特徴とする請求項１０に記載のユーザ機能実行装置。
【請求項１５】
前記表示部は、
前記少なくとも１つの音声命令語をツールチップ、ポップアップ窓、リスト形態のうちいずれか１つの方式で表示することを特徴とする請求項１０に記載のユーザ機能実行装置。
【請求項１６】
前記制御部は、
前記音声入力によって実行される少なくとも１つの機能を確認し、前記実行画面と連携された音声命令語の表示位置を含む命令語表示マップを呼び出して、各機能別に当該音声命令語が前記実行画面に表示されるように前記表示部を制御することを特徴とする請求項１０〜１５のいずれか１項に記載のユーザ機能実行装置。
【請求項１７】
前記制御部は、
前記少なくとも１つの音声命令語の表示位置を前記実行画面と連携して格納することを特徴とする請求項１０〜１６のいずれか１項に記載のユーザ機能実行装置。
【請求項１８】
前記制御部は、
前記表示された少なくとも１つの音声命令語を基準に前記音声を音声認識することを特徴とする請求項１０〜１７のいずれか１項に記載のユーザ機能実行装置。
【請求項１９】
前記音声入力によって実行される少なくとも１つの機能は、
前記ユーザ機能のための前記タッチイベントとキー入力イベントによって実行される機能及び特定アプリケーションのあらかじめ設定された機能のうち少なくとも１つであることを特徴とする請求項１０〜１８のいずれか１項に記載のユーザ機能実行装置。
【請求項２０】
前記制御部は、
前記音声認識実行要請の受信中断時に、前記表示された少なくとも１つの音声命令語が前記実行画面で除去されるように前記表示部を制御し、前記音声認識を終了することを特徴とする請求項１０〜１９のいずれか１項に記載のユーザ機能実行装置。
【請求項２１】
少なくとも１つのウィジェットィジェットまたはオブジェクトを提供するアプリケーションで構成されたアプリケーションレイヤと、
前記アプリケーションレイヤから収集されたウィジェットまたはオブジェクトで構成されたユーザの実行画面を出力し、前記実行画面への切り替え時に、格納された音声命令語のうち前記実行画面を構成するウィジェットまたはオブジェクトに連関された音声命令語を検索し、前記実行画面表示中に音声認識可能な候補音声命令語として判断し、音声認識エンジンに伝達するユーザインターフェースフレームワークと、を含むことを特徴とする音声認識システム。
【請求項２２】
前記ユーザインターフェースフレームワークは、前記実行画面を再構成し、前記候補音声命令語を表示することを特徴とする請求項２１に記載の音声認識システム。
【請求項２３】
ユーザ音声を録音するマルチメディアフレームワークと、
前記音声認識エンジンを含む音声フレームワークと、をさらに含み、
前記音声フレームワークは、前記マルチメディアフレームワークから録音された音声データを受信し、前記音声データが前記候補音声命令語と一致するか否かを音声認識することを特徴とする請求項２１又は２２に記載の音声認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末機において音声認識を使用してユーザ機能を行う方法及び装置に関し、特に実行可能な音声命令語を表示することによって、迅速で且つ正確な音声認識を通じてユーザ機能を行う方法及び装置に関する。
【背景技術】
【０００２】
物理的入力を代替し、したがって、ユーザが動く必要なく、便利に電子機器を使用するために、音声認識技術が次第に普遍化される傾向にある。例えば、音声認識技術は、スマートフォン、テレビ、自動車ナビゲーションなど多様な電子機器において具現可能である。
【０００３】
音声認識技術は、入力される音声を統計分析して区分する。この際、正確な音声認識のために、複雑な統計モデルと大容量の音声認識データベースが使用される。これにより、音声認識を支援するためには、電子機器に多くの演算量とメモリが要求される。
【０００４】
一方、従来の音声認識支援電子機器は、費用、サイズ及び携帯性などの制約に起因して、高性能の演算能力と大容量メモリの必要を満たさないことが現況である。その結果、従来の音声認識支援電子機器において音声認識の正確度と処理速度が制限されるという不便さがある。そこで、演算能力とメモリ容量の制約を克服しつつ、正確で且つ迅速な音声認識機能を提供する方案が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、本発明は、前述したような従来技術の問題点を解決するためになされたものである。本発明は、実行可能な音声命令語を出力することによって、迅速で且つ正確な音声認識でユーザ機能が行われることができるように支援する統制された音声を認識し、ユーザ機能を行う方法及び装置を提供することにある。また、本発明は、実行可能な音声命令語を容易に確認するためのものである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明によるユーザ機能実行方法は、ユーザ機能実行画面を表示する過程と、音声認識実行要請が持続的に受信される間に、音声入力によって実行される少なくとも１つの機能を確認し、各機能別に当該音声命令語を実行画面に表示し、ユーザによって入力される音声を音声認識する過程と、前記音声認識結果に基づいて前記表示された少なくとも１つの音声命令語のうち１つが音声入力されたものと判断されれば、前記入力された音声命令語と連関された機能を実行する過程と、を含むことを特徴とする。
【０００７】
また、上記目的を達成するために、本発明によるユーザ機能実行装置は、ユーザ機能実行画面を表示する表示部と、音声認識実行要請及び前記ユーザ機能のためにタッチイベントを生成するタッチパネル及びキー入力イベントを生成するキー入力部のうち少なくとも１つと、音声入力を収集及び録音するオーディオ処理部と、前記タッチパネルまたは前記キー入力部で前記音声認識実行要請を受信し、前記音声認識実行要請が持続的に受信される間に、前記音声入力によって実行される少なくとも１つの機能を確認し、各機能別に当該音声命令語が前記実行画面に表示されるように前記表示部を制御し、且つ前記音声入力を音声認識し、前記音声認識結果に基づいて前記表示された少なくとも１つの音声命令語のうち１つが音声入力されたものと判断されれば、前記入力された音声命令語と連関された機能を行う制御部とを含むことを特徴とする。
【０００８】
また、上記目的を達成するために、本発明による音声認識システムは、少なくとも１つのウィジェット（ｗｉｄｇｅｔ）またはオブジェクト（ｏｂｊｅｃｔ）を提供するアプリケーションで構成されたアプリケーションレイヤ（Ａｐｐｌｉｃａｔｉｏｎ  Ｌａｙｅｒ）と、前記アプリケーションレイヤから収集されたウィジェット（ｗｉｄｇｅｔ）またはオブジェクト（ｏｂｊｅｃｔ）で構成されたユーザ実行画面を出力し、格納された音声命令語のうち前記実行画面を構成するウィジェットまたはオブジェクトに連関された音声命令語を検索し、前記実行画面表示中に音声認識可能な候補音声命令語として判断し、音声認識エンジンに伝達するユーザインターフェースフレームワーク（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  Ｆｒａｍｅｗｏｒｋ）とを含むことを特徴とする。
【発明の効果】
【０００９】
本発明において、音声を認識してユーザ機能を行う方法及び装置は、実行可能な機能を示す少なくとも１つの音声命令語を表示する。したがって、ユーザにとって表示された音声命令語のうち１つを発話するように誘導する。また、本発明は、類似しない音声命令語が表示されるように支援することによって、高い正確度の音声認識を保証する音声入力を誘導する。
【００１０】
本発明は、ユーザの音声入力をこのようにガイドすることによって、表示された音声命令語を基準に音声入力に対する音声認識を迅速で且つ正確に行い、ひいては、ユーザが所望しない機能が行われることを防止することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施例による端末機の構成を概略的に示すブロック図である。
【図２】図２は、図１の制御部の構成を概略的に示すブロック図である。
【図３】図３は、本発明の実施例による音声認識を利用したユーザ機能の実行手続を示す流れ図である。
【図４】図４は、本発明の実施例によって音声認識を利用したユーザ機能の実行時に表示される画面例示図である。
【図５】図５は、本発明の他の実施例によって音声認識を利用したユーザ機能の実行時に表示される画面例示図である。
【図６】図６は、本発明の実施例によって自動車運用システムにおいて音声認識を利用したユーザ機能の実行時に表示される画面例示図である。
【図７】図７は、本発明の実施例によってテレビシステムにおいて音声認識を利用したユーザ機能の実行時に表示される画面例示図である。
【図８】図８は、本発明の実施例による音声命令語使用手続を示す流れ図である。
【図９】図９は、本発明の実施例による音声認識システム概念図である。
【図１０】図１０は、本発明の実施例による音声認識システム概念図である。
【図１１】図１１は、本発明の実施例による音声認識システム概念図である。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して本発明の実施例をさらに詳細に説明する。この際、添付の図面において同一の構成要素は、できるだけ同一の符号で示していることに留意しなければならない。なお、本発明の要旨を不明瞭にすることができる公知機能及び構成に対する詳細な説明は省略する。本明細書で使用される‘ユーザ機能（ｕｓｅｒ  ｆｕｎｃｔｉｏｎ）’は、ユーザの要請によって、所定の入力部によって生成される入力信号によって実行される機能を意味する。
【００１３】
図１は、本発明の実施例による端末機１００の構成を概略的に示すブロック図である。本発明の端末機１００は、音声認識機能を支援する機器ならいずれの電子機器でも使用可能である。例えば、本発明の実施例による端末機１００は、携帯電話機、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、デジタル放送プレーヤー、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、音楽ファイル再生機（例えば、ＭＰ３プレーヤー）、携帯ゲーム端末機、タブレットＰＣ及びスマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）などの移動可能な小型機器から自動車ナビゲーション機器、テレビ、冷蔵庫、洗濯機などのような家電製品に至るまで、音声認識機能を支援するいずれの機器でも使用することができる。
【００１４】
図１を参照すれば、本発明の端末機１００は、無線通信部１１０、キー入力部１２０、オーディオ処理部１３０、タッチスクリーン１４０、格納部１６０、及び制御部１７０を含むことができる。
【００１５】
無線通信部１１０は、音声通話のための通信チャネル形成及び画像通話のための通信チャネル形成、映像やメッセージなどのデータ伝送のための通信チャネル（以下、データ通信チャネルという）形成などを制御部１７０の制御の下に行う。特に本発明の無線通信部１１０は、音声入力によって実行されるユーザ機能のための音声命令語リストを受信することができる。音声命令語リストは、音声命令語が表示されるために制御部１７０によって参照されることができる。また、本発明の無線通信部１１０は、データ通信チャネルを通じて音声認識モードのための音声認識実行要請を受信することができる。音声認識実行要請が受信される間に、制御部１７０は、音声認識が実行されるが、受信が中断されれば、音声認識が終了するように支援する。このように制御部１７０は、音声認識実行要請の受信可否によって音声認識モードの終始を決定することができる。
【００１６】
キー入力部１２０は、数字または文字情報を入力され、各種機能を設定するための多数の入力キー及び機能キーを含む。機能キーは、特定機能を行うように設定された方向キー、サイドキー及びショートカットキーなどを含むことができる。また、キー入力部１２０は、ユーザ設定及び端末機１００の機能制御と関連したキー信号を生成し、制御部１７０に伝達する。キー入力部１２０は、端末機１００のタッチスクリーン１４０がフルタッチスクリーン形態で支援される場合、端末機１００のケース側面に形成されるサイドキー、ホームキー及びその他機能キーを含むことができる。特に本発明のキー入力部１２０は、音声認識機能を行うように設定された音声認識機能キーを含むことができる。また、キー入力部１２０は、音声認識機能キーで生成される音声認識機能キーイベントを制御部１７０に伝達することができる。制御部１７０は、音声認識機能キーの前記要請信号によって音声認識モードの終始を決定することができる。
【００１７】
オーディオ処理部１３０は、通話時に送受信されるオーディオデータ、受信されたメッセージに含まれたオーディオデータ、格納部１６０に格納されたオーディオファイル再生によるオーディオデータなどを再生するためのスピーカーＳＰＫと、通話時にユーザの音声またはその他オーディオ信号を収集するためのマイクＭＩＣを含む。特に本発明のオーディオ処理部１３０は、制御部１７０の制御の下に音声認識モードでマイクＭＩＣを駆動し、マイクＭＩＣを通じて収集されるユーザ音声を録音する。また、オーディオ処理部１３０は、録音された音声を制御部１７０に伝達し、録音された音声に対する音声認識が行われることができるように支援する。また、本発明のオーディオ処理部１３０は、音声認識モードが開始されるか、終了すれば、それに対応する効果音を出力することができる。このような効果音は、ユーザ設定によって省略されることができる。
【００１８】
タッチスクリーン１４０は、タッチパネル１４１と表示部１４３を含む。このようなタッチスクリーン１４０は、表示部１４３の前面にタッチパネル１４１が配置される構造を有することができる。タッチスクリーン１４０のサイズは、タッチパネル１４１のサイズとして決定されることができる。また、タッチスクリーン１４０は、ユーザ機能実行による画面を表示し、ユーザ機能制御関連タッチイベントを感知することができる。
【００１９】
タッチパネル１４１は、表示部１４３の上下部のうち少なくとも一方に配置され、タッチパネル１４１を構成するセンサーは、マトリックス形態で配列される。これにより、タッチパネル１４１は、タッチパネル１４１上のタッチ物体の接触または接近距離によってタッチイベントを生成し、生成されたタッチイベントを制御部１７０に伝達することができる。ここで、タッチイベントは、タッチ種類と位置情報を含む。
【００２０】
特に本発明のタッチパネル１４１は、音声認識モード実行のためのイベント（以下、音声認識タッチイベントという）を生成する。例えば、ユーザがタッチ物体でタッチパネル１４１を通じて現在出力されるユーザ機能実行画面を構成する特定イメージ構成要素をタッチすれば、タッチパネル１４１は、音声認識タッチイベントを制御部１７０に伝達する。ここで、イメージ構成要素は、アイコンのように、所定のユーザ機能と連携される。したがって、アイコン表示領域に対応する位置でタッチイベント発生時にそれと連携された機能が実行される。制御部１７０は、音声認識タッチイベントが初めて受信されるとき、音声認識モードが開始され、前記音声認識タッチイベントが受信される間に、前記特定オブジェクトと連携された機能を実行するための少なくとも１つの音声命令語が表示部１４３に出力されるように支援し、前記音声認識タッチイベントの受信中断時に音声認識モードが終了するように支援する。
【００２１】
表示部１４３は、端末機１００の各種メニューを含めてユーザが入力した情報またはユーザに提供される情報を表示する。すなわち表示部１４３は、端末機１００の利用による多様なユーザ機能の実行画面を提供することができる。このような表示部１４３は、液晶表示装置（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｅｄ  Ｄｉｏｄｅ）などで形成されることができる。また、表示部１４３は、タッチパネル１４１の上部または下部に配置されることができる。特に本発明の表示部１４３は、制御部１７０の制御の下に現在出力中のユーザ機能実行画面に音声命令語を追加して表示することができる。表示部１４３を通じて音声命令語が表示される多様な方式については、さらに詳細に説明する。
【００２２】
格納部１６０は、本発明の実施例による機能動作に必要な少なくとも１つのアプリケーション、ユーザによって生成されるユーザデータ、ネットワークと送受信するメッセージ及びアプリケーション実行によるデータなどを格納する。このような格納部１６０は、大きくプログラム領域とデータ領域を含むことができる。
【００２３】
プログラム領域は、端末機１００の起動及び上述した各構成の運用のための運営体制（ＯＳ、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）とダウンロード及び設置されたアプリケーションなどを格納することができる。特に、本発明のプログラム領域は、音声命令語設定プログラム１６１と音声認識運用プログラム１６３をさらに格納することができる。
【００２４】
音声命令語設定プログラム１６１は、本発明の実施例によって音声命令語を表示するために必要な情報を設定するように支援するルーチンを含む。音声命令語設定プログラム１６１は、音声入力によって実行される機能を確認するルーチン、確認された機能別に音声命令語を判断するルーチン及び判断された音声命令語を登録するルーチンを含む。また、音声命令語設定プログラム１６１は、音声命令語表示方式設定ルーチンをさらに含むことができる。
【００２５】
一方、本発明の音声命令語設定プログラム１６１は、音声命令語登録の前に音声命令語の類似度を検査するルーチンと類似度検査結果によって類似な音声命令語を変更するルーチンをさらに含むことができる。
【００２６】
このような音声命令語設定プログラム１６１は、音声命令語表示時点の前に音声認識運用プログラム１６３の要請によって実行されるように設定されることができる。また、音声命令語設定プログラム１６１は、ユーザの要請によって常時実行されることができる。
【００２７】
音声認識運用プログラム１６３は、本発明の実施例によって音声認識を利用してユーザ機能が行われるように支援する。ユーザ実行画面が表示される中に、あらかじめ設定された音声認識実行要請が受信されれば、音声認識運用プログラム１６３は、前記要請が受信される間に、音声命令語を実行画面に表示すると同時に、音声認識機能を行うルーチンを含む。前記ルーチンは、音声命令語が表示されるとき、あらかじめ設定された表示方式によって音声命令語が表示されるように設定されることができる。ここで、音声認識実行要請は、キー入力部１２０で受信される音声認識キー入力イベントまたはタッチパネル１４１で受信される音声認識タッチイベントのうち少なくとも１つになることができる。また、音声認識運用プログラム１６３は、音声認識実行要請の受信中断時に音声命令語を実行画面で除去し、音声認識機能を終了するルーチンを含む。また、音声認識運用プログラム１６３は、音声認識結果に基づいて表示された音声命令語のうち１つが音声入力されたものと判断されれば、当該機能を行うルーチンを含む。
【００２８】
データ領域は、端末機１００の使用によって発生するデータが格納される領域である。特に本発明のデータ領域は、音声命令語設定プログラム１６１及び音声認識運用プログラム１６３が実行される中に使用されるかまたは生成されるデータを格納する。例えば、データ領域は、音声命令語設定プログラム１６１と連携して音声入力を実行可能なユーザ機能別の音声命令語、追加または代替可能な単語、ユーザ機能優先順位、音声命令語表示方式などを格納することができる。一方、音声命令語は、特定実行画面と連携されて命令語表示マップで格納されることができる。命令語表示マップは、所定のユーザ機能実行画面で、音声入力によって実行される少なくとも１つの機能別の当該音声命令語の出力位置情報を含むことを特徴とする。また、データ領域は、音声認識運用プログラム１６３と連携して音声認識のための各種統計模型及び音声認識結果などを格納することができる。
【００２９】
制御部１７０は、端末機１００の全般的な動作を制御する。特に本発明の制御部１７０は、実行可能な音声命令語を出力することによって、迅速で且つ正確な音声認識でユーザ機能が行われることができるように支援する機能運用と関連した動作を制御することができる。例えば制御部１７０は、音声認識実行要請が持続的に受信される間に、表示部１４３を制御し、現在表示されるユーザ機能実行画面に音声命令語が追加表示されるように支援する。また、制御部１７０は、類似度検査を利用して類似しない音声命令語がユーザ機能実行画面に表示されるように支援することができる。このために、制御部１７０は、図２に示されたような構成部を含むことができる。
【００３０】
図２は、図１の制御部１７０の構成を概略的に示すブロック図である。  
図２を参照すれば、本発明の制御部１７０は、入力イベント収集部１７１、録音イベント収集部１７３、音声認識部１７５、機能実行部１７７、及び実行画面出力部１７９を含む。
【００３１】
入力イベント収集部１７１は、タッチパネル１４１またはキー入力部１２０で生成される入力イベントを収集する構成である。特に本発明の実施例による入力イベント収集部１７１は、音声認識実行要請を受信することを特徴とする。例えば、入力イベント収集部１７１は、タッチパネル１４１から音声認識タッチイベント及び／またはキー入力部１２０から音声認識する入力イベントを収集することができる。また、入力イベント収集部１７１は、受信される入力イベントなどを機能実行部１７７に伝達する。
【００３２】
録音イベント収集部１７３は、オーディオ処理部１３０から録音されたオーディオイベントを収集する。特に本発明の実施例による録音イベント収集部１７３は、音声認識モードで発声されたユーザの音声が録音されたイベント（以下、録音イベントという）を受信する。このような録音イベントは、発声された少なくとも１つの単語を含む。また、録音イベント収集部１７３は、録音イベントを音声認識部１７５に伝達する。
【００３３】
音声認識部１７５は、録音イベントで音声を認識し、録音イベントを構成する音素を区分し、音素が構成する単語（または単語列）を把握する。特に本発明の実施例による音声認識部１７５は、格納部１６０をアクセスし、録音イベントが現在実行画面に表示される音声命令語を含むか否かを判断する。ここで、音声認識部１７５は、あらかじめ定められた音声命令語、すなわち現在実行画面に表示される音声命令語を基準に音声認識を行うことができる。例えば、音声認識部１７５は、音素単位で音声を認識する場合、現在表示される音声命令語の音素と認識される音素を比較し、これらが一致しない場合、音声命令語が入力されないものと判断することによって、音声認識時間を短縮することができる。単語単位で音声認識をする場合にも、本発明の実施例は、同一の利点を提供することができる。
【００３４】
このように認識可能な音声入力の多様性を抑制することによって、本発明は、迅速な音声認識を図ることができる。また、本発明は、音声認識される場合の数を、表示される音声命令語の個数に限定させることによって、高い正確度を有する音声認識サービスを提供することができる。これに加えて、本発明は、サーバーベースの埋め込みエンジン（ｅｍｂｅｄｄｅｄ  ｅｎｇｉｎｅ）、すなわち外部サーバーに音声認識を行わせることなく、端末機１００自体に音声認識を行わせることによって、一層迅速に音声認識を行うことができる。一方、現在表示される音声命令語のうち１つと一致する単語が録音イベントに含まれたものと判断されれば、音声認識部１７５は、一致した音声命令語を機能実行部１７７に通知する。
【００３５】
機能実行部１７７は、端末機１００の全般的な運用を制御する。特に本発明の実施例による機能実行部１７７は、入力イベント収集部１７１で音声認識要請が受信されるものと判断すれば、音声認識モードに切り替える。機能実行部１７７は、音声認識モードで音声認識モードが開始されたことを実行画面出力部１７９に通知し、音声録音が開始されるようにオーディオ処理部１３０を制御する。その後、機能実行部１７７は、音声認識部１７５で受信される音声命令語によって当該機能が実行されるように支援し、その実行される機能を実行画面出力部１７９に通知する。機能実行部１７７は、音声認識要請の受信が中断されれば、オーディオ処理部１３０を制御し、録音イベントの生成が中止されるようにする。これにより、音声認識部１７５は、これ以上音声認識を実行しない。一方、機能実行部１７７は、音声認識部１７５を制御し、音声認識が終了するようにすることができる。
【００３６】
実行画面出力部１７９は、一般的にユーザ機能が行われることによってそれに対応する実行画面が出力されるように表示部１４３を制御する。ユーザ機能実行画面は、少なくとも１つのイメージ構成要素を含む。イメージ構成要素の例としては、アイコン、サムネイル（ｔｈｕｍｂｎａｉｌ）または文字などになることができる。このようなイメージ構成要素それぞれは、特定機能と連携されることができる。したがって、制御部１７０は、タッチスクリーン１４０またはキー入力部１２０で特定イメージ構成要素を選択するイベントが発生したものと感知すれば、前記特定イメージ構成要素と連携された機能が実行されるように支援することができる。
【００３７】
特に本発明の実施例による実行画面出力部１７９は、音声認識モードで、あらかじめ定められた音声命令語が現在表示中のユーザ機能実行画面に追加出力されるように支援する。実行画面出力部１７９は、格納部１６０をアクセスし、現在の実行画面で実行可能なユーザ機能と前記ユーザ機能を行うための音声命令語を確認することができる。その後、実行画面出力部１７９は、確認された音声命令語が実行画面に追加表示されるように表示部１４３を制御することができる。実行画面出力部１７９は、あらかじめ設定された方式によって音声命令語を表示するが、これについては、以下で詳細に説明される。一方、実行画面出力部１７９は、命令語表示マップを参照して音声命令語の表示位置を把握することができる。
【００３８】
音声認識を利用したユーザ機能実行手続は、図３を参照して説明する。図３は、本発明の実施例による音声認識を利用したユーザ機能実行手続を示す流れ図である。
図３を参照すれば、本発明の実施例によって音声認識を利用したユーザ機能実行手続は、所定のユーザ機能実行モードで出発する。これにより、制御部１７０は、３１０過程で、表示部１４３を制御し、ユーザ機能実行画面を表示する。ユーザ機能実行画面は、少なくとも１つのイメージ構成要素、例えば、アイコン、サムネイル（ｔｈｕｍｂｎａｉｌ）または文字などで構成されることができる。このようなイメージ構成要素それぞれは、特定機能と連携されている。したがって、特定イメージ構成要素を選択するイベントがタッチスクリーン１４０またはキー入力部１２０から発生すれば、制御部１７０は、前記特定イメージ構成要素と連携された機能が実行されるように支援することができる。
【００３９】
また、制御部１７０は、３１０過程で、前記実行画面と連携された音声命令語を判断することができる。この際、制御部１７０は、前記実行画面で音声入力によって実行される機能を把握し、登録された音声命令語のうち把握された機能と連携された音声命令語を検索することができる。したがって、本発明では、相当数の音声命令語のうち前記実行画面と関連した音声命令語だけを選別する高速検索が可能である。これにより、制御部１７０は、登録された音声命令語のうち有用な音声命令語を検索する時間を大幅に短縮することができる。また、制御部１７０は、音声命令語を判断する過程を前記実行画面が切り替わるたびに動的に行うことができる。または、制御部１７０は、前記実行画面のうち一部の機能が変更または追加されるたびに音声命令語を判断する過程を行うことができる。このような場合、制御部１７０は、登録された音声命令語のうち変更されるかまたは追加された機能と連携された音声命令語だけを検索することができる。
【００４０】
一方、制御部１７０は、３１０過程で表示される実行画面への切り替え時に音声命令語登録手続を行うことができる。制御部１７０は、前記実行画面で音声入力によって実行される機能を把握することができる。このような機能は、前記実行画面が出力される間に、特定入力イベントによって実行されるか、特定アプリケーションの機能になることができる。一方、設計者またはユーザによって前記実行画面で音声入力によって実行される機能が設定されることができる。次に、制御部１７０は、音声入力によって実行される機能それぞれの当該音声命令語を把握する。音声命令語は、設計者によってあらかじめ設定されるか、制御部１７０によって自動設定されることができる。または、制御部１７０は、ユーザの入力によって音声命令語が設定されるように支援することができる。
【００４１】
その後、制御部１７０は、把握された音声命令語に対して類似度検査を行うことができる。ここで、類似度検査は、指定された音声命令語のうち発音またはスペリングが類似な音声命令語を選別するためのものである。また、制御部１７０は、検査結果によって類似なものと判断された音声命令語のうち少なくとも１つが変更されるように支援することができる。これにより、制御部１７０は、類似な音声命令語が使用され、不正確な音声認識結果が発生することを防止することができる。類似な音声命令語の変更時に、制御部１７０は、変更対象音声命令語を他のものに代替するか、変更対象音声命令語の前及び後のうち少なくとも一方に単語を追加することができる。
【００４２】
この際、所定の優先順位によって変更される音声命令語が選択されることができる。例えば、優先順位は、運営体制と関連したユーザ機能（例えば、ヘルプ及び検索機能）、端末機の設計者によって開発されたインハウスアプリケーション（ｉｎ−ｈｏｕｓｅ  ａｐｐｌｉｃａｔｉｏｎ）、外部からダウンロード及び設置可能な第３者アプリケーション（ｔｈｉｒｄ  ｐａｒｔｙ  ａｐｐｌｉｃａｔｉｏｎ）の順に決定されることができる。このような場合、例えば、インハウスアプリケーションの特定機能と第３者アプリケーションの機能が同一の音声命令語を有する場合、優先順位によって第３者アプリケーション機能の音声命令語が変更されることができる。一方、制御部１７０は、このような類似度検査を行わなくてもよい。
【００４３】
また、制御部１７０は、音声命令語の登録時に、音声入力で実行可能な機能と連携して当該音声命令語を登録することができる。または、制御部１７０は、特定実行画面と連携して音声命令語を登録することができる。したがって、制御部１７０は、ユーザ機能実行画面に表示される音声命令語を判断するとき、前記実行画面と連携されて登録された音声命令語だけを検索することができる。これにより、制御部１７０は、登録された相当数の音声命令語のうち有用な音声命令語を迅速に判断することができる。
【００４４】
一方、制御部１７０は、このような音声命令語登録手続を音声命令語表示過程の前に常時実行することができる。また、制御部１７０は、音声命令語登録手続が音声認識を利用したユーザ機能実行手続と別に行われるように支援することができる。
【００４５】
実行画面が表示される中に、制御部１７０は、３２０過程で、音声認識開始要請を感知する。ここで、制御部１７０は、タッチパネル１４１またはキー入力部１２０での音声認識実行要請の受信可否を把握する。制御部１７０は、タッチパネル１４１から音声認識タッチイベントまたはキー入力部１２０から音声認識機能キーの音声認識キー入力イベントを受信することができる。音声認識タッチイベントは、現在出力されるユーザ機能実行画面を構成する特定イメージ構成要素に対するタッチイベントになることができる。音声認識実行要請が感知されれば、制御部１７０は、３３０過程に分岐する。一方、音声認識実行要請が感知されなければ、制御部１７０は、３２５過程に分岐し、入力された信号によって当該機能が行われるように支援する。
【００４６】
制御部１７０は、３３０過程で、音声認識モードに切り替える。また、制御部１７０は、少なくとも１つの音声命令語が表示部１４３に出力され、マイクＭＩＣによって収集される音声が音声認識されるように支援する。ここで、制御部１７０は、３１０過程で、実行画面と関連した音声命令語を基準に収集された音声データを音声認識することができる。本発明は、このように音声命令語を表示することによって、表示された音声命令語以外の単語が音声入力されることを予防する。これにより、本発明は、音声認識のためのデータ処理量を最小化させることができる。また、本発明は、音声認識の場合を特定音声命令語に限定することによって、正確で且つ迅速な音声認識サービスを提供することができる。
【００４７】
音声命令語を表示する過程を詳細に説明すれば、制御部１７０は、音声入力によって実行される少なくとも１つの機能を確認する。このような機能は、現在所定のタッチイベントまたはキー入力イベントによって実行可能なすべての機能であるものにあらかじめ設定されることができる。または、設計者の意図やユーザの嗜好によって前記タッチイベントまたはキー入力イベントによって実行可能な機能のうち一部だけが音声入力によって実行されるようにあらかじめ設定されることができる。また、制御部１７０は、特定アプリケーションの機能が音声認識モードで実行されるように支援することができる。音声認識タッチイベントが受信される場合、制御部１７０は、タッチされたイメージ構成要素と連関されたアプリケーションの機能が出力されるように支援することができる。また、制御部１７０は、確認された音声入力によって実行される機能の音声命令語を判断することができる。一方、前述したように、制御部１７０が３１０過程で既に音声命令語を判断した場合、３３０過程での音声命令語判断過程は省略されることができる。各機能の当該音声命令語は、自動生成されるか、または設計者またはユーザによって設定可能である。
【００４８】
その後、制御部１７０は、判断された音声命令語の表示位置を選択する。この際、制御部１７０は、音声命令語が実行画面を構成するイメージ構成要素の付近に表示されるか、実行画面の余白に表示されるように支援することができる。
【００４９】
例えば、制御部１７０は、ホーム画面で特定アイコン、例えばカレンダーアイコンが表示された区域で一定距離以内に‘Ｃａｌｅｎｄａｒ’という音声命令語が表示されるように表示部１４３を制御することができる。また、制御部１７０は、‘Ｈｅｌｐ’という音声命令語が実行画面の余白のどこでも出力されるように支援することができる。特に制御部１７０は、音声命令語の表示位置を決定するとき、音声命令語と連携された機能と連関されたイメージ構成要素が存在すれば、前記イメージ構成要素の付近に音声命令語表示位置を選択することができる。この際、制御部１７０は、実行画面のマップを参照して前記イメージ構成要素の存在有無を判断することができる。また、制御部１７０は、実行画面のマップを参照して音声命令語表示位置を選択することができる。
【００５０】
一方、表示しようとする音声命令語と連関されたイメージ構成要素が存在しないものと判断されれば、制御部１７０は、実行画面のマップを参照して余白を把握し、その余白に音声命令語が表示されるように支援することができる。例えば、タッチイベントによって実行される機能であるが、連関されたイメージ構成要素が存在しなければ、制御部１７０は、前記タッチイベントと関連した位置に音声命令語が表示されるように支援することができる。一例として、特定位置で始まるタッチイベントによって機能が実行されるように設定された場合、制御部１７０は、実行画面のうち前記特定位置に当該音声命令語が出力されるように支援することができる。
【００５１】
また、特定方向を有するタッチイベントによって機能が実行されるように設定された場合、制御部１７０は、実行画面での前記方向側面に当該音声命令語が出力されるように支援することができる。また、キー入力部１２０によって実行される機能が音声入力によっても実行されるように設定された場合、制御部１７０は、キー入力部１２０が装着された付近に当該音声命令語が表示されるように表示部１４３を制御することができる。
【００５２】
このように音声命令語の表示位置を選択した後、制御部１７０は、命令語表示マップを生成することができる。命令語表示マップは、所定のユーザ機能実行画面で表示される音声命令語の出力位置情報を含むことを特徴とする。したがって、制御部１７０は、３３０過程で、現在出力されるユーザ機能実行画面に対応する命令語表示マップが存在すれば、前記命令語表示マップを参照して音声命令語が表示されるように支援することができる。
【００５３】
これに加えて、制御部１７０は、音声命令語があらかじめ設定された表示方式によって出力されるように支援することができる。例えば、制御部１７０は、音声命令語がツールチップ（ｔｏｏｌ−ｔｉｐ）または吹き出しのような形態で実行画面にオーバレイ（ｏｖｅｒｌａｙ）されて表示されるように支援することができる。また、制御部１７０は、音声命令語と連関されたイメージ構成要素が存在する場合、イメージ構成要素またはイメージ構成要素を示す文字、例えばアイコン名を実行画面で削除し、削除された領域に音声命令語がその代わりに出力されるように支援することができる。また、多数個の機能が１つのイメージ構成要素と連携されて複数の音声命令語が出力されなければならない場合、制御部１７０は、音声命令語がリスト形態で表示されるように支援することができる。これに加えて、制御部１７０は、音声命令語を総合して１つのポップアップ窓（ｐｏｐ−ｕｐ  ｗｉｎｄｏｗ）や別途の画面に表示するように表示部１４３を制御することができる。一方、当業者なら前述した表示方式のどんな組合でも音声命令語が表示されることができるという点を理解することができる。
【００５４】
制御部１７０は、３４０過程で、音声認識終了要請を感知する。ここで、制御部１７０は、音声認識実行要請の受信が中断されたかを判断することができる。例えば、制御部１７０は、音声認識機能キーのキー信号がこれ以上受信されないか、すなわち音声認識機能キーが解除されるか、またはタッチパネル１４１から音声認識タッチイベントがこれ以上受信されなければ、音声認識モードに対する終了要請が感知されたものと判断する。これにより、本発明は、ユーザが音声入力機能キー入力または特定イメージ構成要素に対するタッチ入力を持続する間には、音声認識機能が実行されるように支援する。したがって、本発明は、音声認識モードの終始を正確に把握し、音声録音時間を最小化させる利点を提供する。ひいては、本発明は、録音された音声データサイズを最小化することによって、さらに迅速な音声認識を行うことができる。
【００５５】
一方、あらかじめ設定された時間の間にどんな音声も入力されなければ、制御部１７０は、沈黙区間（ｓｉｌｅｎｃｅ  ｐｅｒｉｏｄ）が感知されたものと自動把握し、音声入力期間がタイムアウトされたものと判断することができる。これにより、制御部１７０は、３４０過程で、音声認識の終了が要請されたものと判断することができる。このような場合、制御部１７０は、録音開始時点が確認された後、沈黙区間があらかじめ設定された時間の間に録音されれば、自動で音声認識を終了するものと設定されることができる。
【００５６】
また、制御部１７０は、終了要請によって３５０過程に分岐する。一方、制御部１７０は、音声認識終了が要請されないものと判断すれば、３３０過程にリターンし、持続的に音声命令語を表示し、音声認識を行う。
【００５７】
制御部１７０は、３５０過程で、音声命令語表示を除去し、音声認識機能を完了することによって、音声認識モードを終了する。また、制御部１７０は、３６０過程で、音声命令語の入力可否を判断する。ここで、制御部１７０は、音声認識結果を確認し、表示された音声命令語のうち１つが入力されたかを把握する。所定の音声命令語が入力されたものと判断されれば、制御部１７０は、３７０過程に分岐し、入力された音声命令語と連関された機能が実行されるように支援する。このように、ユーザは、表示部１４３に出力される音声命令語を発声することによって、別途のタッチ動作またはキー入力動作なしも便利に多様な機能を利用することができる。また、本発明の実施例によって音声認識を利用したユーザ機能実行手続を終了する。
【００５８】
一方、音声命令語が入力されないものと判断されれば、制御部１７０は、３６５過程に分岐し、音声入力の再試行可否を判断する。ここで、制御部１７０は、ポップアップ窓を通じてユーザに再び音声入力を試みることを希望するか否かを問うことができる。所定のユーザ回答を通じてユーザが再試行することを希望するものと判断されれば、制御部１７０は、３３０過程にリターンし、音声命令語表示と音声認識が再実行されるように支援することができる。一方、ユーザが再試行することを希望しないものと判断されれば、制御部１７０は、３１０過程にリターンし、元々のユーザ機能実行画面が表示されるように支援する。一方、音声命令語の再試行を問う３６５過程は、行わなくてもよい。これにより、３６０過程で、音声命令語入力が提供されないものと判断されれば、制御部１７０は、音声認識を利用したユーザ機能実行手続を終了することができる。
【００５９】
本発明の音声認識を利用したユーザ機能実行手続が行われることによって表示される画面を図４及び図５を参照して説明する。参照として図４及び図５の実施例では、タッチスクリーンを備えた携帯端末機を例示して本発明が説明される。一方、当業者なら本発明がこのような携帯端末機だけでなく、音声認識機能を支援するいずれの電子機器でも具現されることができるという点を理解することができる。
【００６０】
図４は、本発明の実施例によって音声認識を利用したユーザ機能の実行時に表示される画面例示図である。
図４を参照すれば、４０１画面に示されたように、端末機１００は、音声認識機能キー１２０を備えており、ホーム画面４１０を出力する。本実施例では、音声認識機能キー１２０によってホーム画面４１０が出力された状態で機能キーやタッチイベントによって実行されるすべての機能が音声入力によって実行される機能に設定されたことを仮定する。
【００６１】
音声認識機能キー１２０がユーザによって押圧されれば、制御部１７０は、音声認識実行要請を感知する。次に、制御部１７０は、４０３画面のように、音声入力によって実行される機能を確認し、ホーム画面４１０に前記機能のための音声命令語表示４２５、４３０、４３５が出力されるように支援する。同時に、制御部１７０は、表示される音声命令語に限定された音声認識機能が行われるように支援する。
【００６２】
詳細には、制御部１７０は、音声命令語４２５を表示するとき、インターネットブラウザーアプリケーション実行機能が音声入力によって実行されるものと確認し、前記機能の当該音声命令語が‘Ｉｎｔｅｒｎｅｔ’であるものと把握する。また、制御部１７０は、ホーム画面マップを参照して前記機能と連関されたイメージ構成要素、すなわちインターネットブラウザーアイコン４２０が存在することを確認し、これにより、‘Ｉｎｔｅｒｎｅｔ’イメージ４２５がインターネットブラウザーアイコン４２０の付近に出力されるように支援する。
【００６３】
また、制御部１７０は、通知センター表示機能のための音声命令語が‘Ｎｏｔｉｆｉｃａｔｉｏｎ’イメージ４３５で表示されるように設定されたものと確認する。通知センター表示機能は、ホーム画面４１０の上端で始まり、下向きにドラッグタッチイベントの発生時に通知センター表示機能が行われることができる。制御部１７０は、ホーム画面４１０のマップを参照して通知センター表示機能と連関されたイメージ構成要素が存在しないことを確認した後、前記タッチイベントの開始位置を反映し、ホーム画面４１０の上端余白に‘Ｎｏｔｉｆｉｃａｔｉｏｎ’イメージ４３５が表示されるように表示部１４３を制御する。
【００６４】
一方、ヘルプ探索機能は、開始タッチ位置に関係なく、左側へのドラッグタッチイベントの発生時に実行される。このような機能の場合、制御部１７０は、ヘルプ探索機能の音声命令語がホーム画面４１０の左側に‘Ｈｅｌｐ’イメージ４３０で表示されるように支援する。一方、ホーム画面と連携された命令語表示マップが存在する場合、制御部１７０は、命令語表示マップによって音声命令語が出力されるように表示部１４３を制御することができる。一方、本発明の他の実施例によれば、‘Ｈｅｌｐ’機能は、いずれの実行画面でも支援されることができる。また、このような‘Ｈｅｌｐ’機能は、音声認識モード中に実行画面に表示されていないが実行可能な機能を現在実行画面に追加表示することができる。‘Ｈｅｌｐ’機能を通じて追加表示される機能は、例えば、システム予約命令語、命令語のパラメータ範囲や使い方関連命令語などになることができる。これにより、ユーザが‘Ｈｅｌｐ’を発声すれば、ポップアップ窓の形態であらかじめ設定された命令語が表示されるように制御部１７０が支援することができる。
【００６５】
ユーザが音声認識機能キー１２０を解除すれば、制御部１７０は、４０５画面のように、音声命令語表示をホーム画面で除去し、音声認識を終了する。追加に制御部１７０は、音声認識機能の実行状態を通知するメッセージが表示されるように支援することができる。音声認識を通じて‘Ｍｅｓｓａｇｅ’という音声入力が受信されたものと判断されれば、制御部１７０は、４０７画面のようにメッセージアプリケーションが実行されるように支援する。
【００６６】
４０７画面をさらに詳細に説明すれば、本発明の実施例によって音声命令語によって実行される機能は、ウィジェット（ｗｉｄｇｅｔ）になることができる。例えば、ウィジェットは、４０７画面のように、メッセージアプリケーションで‘検索’、‘チェック’、’メッセージ閲覧‘及び’メッセージ作成‘ウィジェットなどになることができる。一方、制御部１７０は、４０７画面に示されるソースコードを実行し、一例として、‘メッセージ作成’ウィジェットのための音声命令語を登録することができる。これにより、実行画面を提供するアプリケーションの開発者なら、４０７画面のようなソースコードを利用して音声命令語を追加することができる。
【００６７】
一方、以上では、ホーム画面４１０で音声認識モードが行われることを例示して説明したが、４０７画面のようなメッセージ実行画面でも本発明が具現可能である。このような場合、メッセージアプリケーションの編集機能、新しいメッセージ作成機能、検索機能などのための音声命令語表示がメッセージ実行画面に追加に出力されることができる。
【００６８】
図５は、本発明の他の実施例によって音声認識を利用したユーザ機能の実行時に表示される画面例示図である。
図５を参照すれば、５０１画面のように、端末機１００は、タッチスクリーン１４０を備えており、ホーム画面５１０を出力する。また、図示のように、ユーザがタッチ物体でタッチスクリーン１４０を通じてインターネットブラウザーアイコン５２０をタッチする。あらかじめ設定された時間以上タッチが持続すれば、制御部１７０は、音声認識実行要請が感知されたものと判断する。次に、制御部１７０は、タッチされたインターネットブラウザーアイコン５２０と連携されたインターネットブラウザーアプリケーションのあらかじめ設定された機能を確認する。また、制御部１７０は、前記アプリケーション機能の音声命令語を把握し、表示部１４３を制御して５０３画面のように当該音声命令語の表示５２５がアイコン５２０の付近に出力されるように支援する。また、制御部１７０は、出力される音声命令語に限定された音声認識機能が実行されるように支援する。
【００６９】
この際、制御部１７０は、ホーム画面５１０マップを参照してインターネットブラウザーアプリケーションと連関されたイメージ構成要素、すなわちアイコン５２０が存在することを確認する。また、制御部１７０は、インターネットブラウザーアイコン５２０の付近に前記アプリケーション機能の音声命令語が出力されるように支援する。特に制御部１７０は、複数の音声命令語が１つのイメージ構成要素の付近に表示されなければならないので、複数の音声命令語をリスト形態で表示されるように表示部１４３を制御することができる。また、制御部１７０は、音声認識実行要請が感知されれば、マイクＭＩＣを駆動し、ユーザの音声を録音し、それに対する音声認識が実行されるように支援する。
【００７０】
ユーザがタッチ物体をタッチパネル１４１での接触を解除すれば、制御部１７０は、５０５画面のように音声命令語表示５２５を除去し、音声認識を終了する。音声認識結果によって‘Ｇｏｏｇｌｅ’という音声命令語が発声されたものと判断されれば、制御部１７０は、５０７画面のように‘ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ’というウェブアドレスのウェブページがウェブブラウザーで出力される機能を行う。
【００７１】
本発明の音声認識を利用したユーザ機能実行手続は、多様な電子機器で具現可能である。図６及び図７は、本発明の多様な実施例を示す。詳細には、図６は、本発明の実施例によって自動車運用システムにおいて音声認識を利用したユーザ機能の実行時に表示される画面例示図であり、図７は、本発明の実施例によってテレビシステムにおいて音声認識を利用したユーザ機能の実行時に表示される画面例示図である。
【００７２】
図６を参照すれば、自動車ナビゲーション機器６００においてメニュー画面が出力されるとき、自動車ハンドル６１０に装着された入力部を通じて音声認識実行要請が受信されることができる。この際、音声認識実行要請は、無線通信を通じて自動車ハンドル６１０から自動車ナビゲーション機器６００に伝送されることができる。それでは、自動車ナビゲーション機器６００は、音声認識機能を開始すると同時に、実行可能な機能、例えばＧＰＳ機能、音楽再生機能及びＤＭＢ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ）視聴機能を把握する。また、各機能別に音声命令語を確認し、メニュー画面に出力することができる。例えば、自動車ナビゲーション機器６００は、ＤＭＢ機能の音声命令語である‘ＴＶ’をイメージ６２５の形態でＤＭＢアイコン６２０の付近にオーバレイされるように表示することができる。自動車ハンドル６１０の入力部の入力が終了すれば、自動車ナビゲーション機器６００は、音声認識を通じて音声命令語が入力されたものと判断すれば、それによる機能を実行させる。
【００７３】
図７を参照すれば、テレビシステムは、テレビ７００とリモートコントローラー７１０で構成される。また、テレビ７００は、メニュー画面を出力している。この際、リモートコントローラー７１０で音声認識機能を実行するように設定されたキーの入力発生時に、テレビ７００は、音声認識機能を実行すると同時に、実行可能な機能の音声命令語を表示する。例えば、テレビ７００は、‘Ｓｋｙｐｅ’アプリケーション実行機能の音声命令語である‘Ｃａｌｌ’をイメージ形態７２５で‘Ｓｋｙｐｅ’アイコンの付近に表示する。
【００７４】
本発明の音声命令語使用手続は、以下の図８の流れ図及び図９〜図１１のシステム概念図を参照して整理されることができる。図８は、本発明の実施例による音声命令語使用手続を示す流れ図である。また、図９〜図１１は、本発明の実施例による音声命令語システム概念図である。
【００７５】
図８を参照すれば、本発明の実施例による音声認識システムは、８１０過程で、画面構成が変わるとき、音声命令語を構成することができる。この際、音声認識システムは、まず、現在画面状態で実行可能な構成要素を確認することができる。ここで、構成要素というのは、現在実行画面上に表示されるウィジェットや、選択入力時に実行可能なイベントを生成するオブジェクト（ｏｂｊｅｃｔ）になることができる。また、音声認識システムは、前記構成要素のうち音声命令語が登録されていないものなどを選別し、臨時に音声命令語を割り当てることができる。また、音声認識システムは、登録された多数の音声命令語のうち前記構成要素と連携された音声命令語を確認することができる。これにより、音声認識システムは、音声命令語構成時間を大幅に短縮させることができる。
【００７６】
一方、音声認識システムは、音声命令語を割り当てるとき、音声認識正確度を高めるためにあらかじめ定義された類似度が低い命令語を割り当てることができる。また、音声認識システムは、音声命令語を構成する過程が完了したものと判断すれば、各音声命令語別に類似度検査を行うことができる。ここで、類似度検査は、指定された音声命令語のうち発音またはスペリングが類似な音声命令語を選別するためのものであって、音声認識システムは、検査結果によって類似なものと判断された音声命令語のうち少なくとも１つが変更されるように支援することができる。これにより、音声認識システムは、類似な音声命令語が使用され、不正確な音声認識結果が発生することを防止することができる。類似な音声命令語の変更時に、音声認識システムは、変更対象音声命令語を他のものに代替するか、変更対象音声命令語の前及び後のうち少なくとも一方に単語を追加することができる。このような類似度検査を通じて音声認識システムは、音声命令語間の類似度が低くなるように音声命令語を再構成することができる。このように音声認識システムは、画面切り替え時に音声命令語を構成し、音声認識モード開始要請を待つ。  前記８１０過程で、音声認識システム構成部間の相互作用を図９を参照して説明する。
【００７７】
図９を参照すれば、音声認識システムのソフトウェアのＰｌａｔｆｏｒｍ  ＬａｙｅｒでＵＩ  Ｆｒａｍｅｗｏｒｋ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  Ｆｒａｍｅｗｏｒｋ）は、第１過程でＡｐｐｌｉｃａｔｉｏｎ  Ｌａｙｅｒの特定アプリケーションから切り替わる画面を構成するとき、必要なウィジェットやオブジェクトなどを収集して整理することができる。その後、ＵＩ  Ｆｒａｍｅｗｏｒｋは、第２過程で収集されたそれぞれのウィジェットやオブジェクトに対して開発者があらかじめ定義した音声命令語を抽出することができる。ここで、ＵＩ  Ｆｒａｍｅｗｏｒｋは、音声認識システムに登録されている音声命令語のうちそれぞれのウィジェットやオブジェクトと連関された音声命令語のみを検索することによって、高速検索することができる。一方、音声命令語が定められていないウィジェットやオブジェクトに対して、ＵＩ  Ｆｒａｍｅｗｏｒｋは、Ｐｌａｔｆｏｒｍ  ＬａｙｅｒのＶｏｉｃｅ  Ｆｒａｍｅｗｏｒｋに音声命令語を要請することができる。また、収集されたそれぞれのウィジェットやオブジェクトに対して音声命令語が指定されたものと判断されれば、ＵＩ  Ｆｒａｍｅｗｏｒｋは、第３過程でそれぞれのウィジェットやオブジェクトと連関された音声命令語を、切り替わる画面が表示される間に音声認識可能な候補音声命令語として判断することができる。ここで、候補音声命令語は、音声認識モードで切り替わる画面に表示される音声命令語である。これにより、表示される画面が変更されるたびに、画面と連関された音声命令語が認識対象候補に動的に変更され、ＵＩ  Ｆｒａｍｅｗｏｒｋによって検索されることができる。また、ＵＩ  Ｆｒａｍｅｗｏｒｋは、候補音声命令語の一群をＶｏｉｃｅ  Ｆｒａｍｅｗｏｒｋに伝達する。これに応じて、Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋは、音声認識エンジンに音声命令語を伝達し、音声認識を開始することができるように準備することができる。したがって、本発明の実施例による音声認識システムは、音声認識される場合の数を、候補音声命令語の個数に限定させることによって、正確で且つ迅速な音声認識サービスを提供することができる。
【００７８】
さらに図８を参照すれば、ユーザが８２０過程で音声命令語録音開始のために手または特定の物体を使用してハードウェアボタン１２０やタッチスクリーン１４０のアイコンを押圧することができる。これに応じて、音声認識システムは、８３０過程で、現在使用可能な音声命令語を表示する。この際、表示される音声命令語は、８１０過程で構成された音声命令語である。これにより、ユーザは、現在端末機１００の状態で実行可能なハードウェア、ソフトウェア的な構成要素の音声命令語を確認することができる。また、音声認識システムは、音声命令語が当該構成要素の付近に表示されるように支援する。例えば、ハードウェア構成要素のための音声命令語は、表示部１４３で前記ハードウェア構成要素が装着された位置の付近に表示され、ソフトウェア構成要素は、表示部１４３で表示される前記ソフトウェア構成要素の付近に出力されることができる。また、音声認識システムは、ユーザによってハードウェアボタン１２０やタッチスクリーン１４０のアイコンが押圧される時点から音声認識のための録音を開始する。
【００７９】
ユーザは、ハードウェアボタン１２０やタッチスクリーン１４０のアイコンを押圧している間に、８４０過程で、タッチスクリーン１４０上に出力される使用しようとする音声命令語を読み取ることができる。また、ユーザは、音声命令語を声を出して読み取った後、８５０過程で、ハードウェアボタン１２０やタッチスクリーン１４０のアイコンを押圧していた手または物体を放す。これにより、音声認識システムは、８６０過程で、録音された音声命令語を処理し、当該機能を実行することができる。詳細には、音声認識システムは、ユーザがハードウェアボタン１２０やタッチスクリーン１４０のアイコンを押圧している間に、録音された音声を音声認識し、音声認識された音声命令語と連携されたハードウェアまたはソフトウェア構成要素のあらかじめ設定された機能を実行することができる。
【００８０】
前記８２０過程ないし８６０過程で、音声認識システム構成部間の相互作用を図１０と図１１を参照して説明する。
図１０を参照すれば、ユーザによるハードウェアボタン１２０やタッチスクリーン１４０のアイコンの押圧によって、音声認識システムは、第１過程でソフトウェアＰｌａｔｆｏｒｍ  ＬａｙｅｒのＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍｓ）及びデバイスドライバーを通じてＵＩ  Ｆｒａｍｅｗｏｒｋに前記ユーザの入力に対して通知する。これに応じて、ＵＩ  Ｆｒａｍｅｗｏｒｋは、第２過程で、音声認識システムに登録されたすべての音声命令語のうち表示される実行画面と連関された音声命令語だけを収集し、これらの出力位置を把握した後、実行画面を再構成し、表示部１４３に出力されるように支援する。音声認識システムは、以上で説明されたような表示方式によって音声命令語が表示されるように実行画面を再構成することができる。音声命令語が出力された後、ユーザインターフェースフレームワーク（ＵＩ  Ｆｒａｍｅｗｏｒｋ）は、第３過程で、音声フレームワーク（Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋ）に音声認識を要請する。また、音声フレームワーク（Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋ）は、音声認識エンジンが音声録音データを受けることができるように、第４過程で、マルチメディアフレームワーク（Ｍｕｌｔｉｍｅｄｉａ  Ｆｒａｍｅｗｏｒｋ）に録音開始を要請する。したがって、マルチメディアフレームワーク（Ｍｕｌｔｉｍｅｄｉａ  Ｆｒａｍｅｗｏｒｋ）は、第５過程で、マイクＭＩＣを活性化して音声を収集し、録音データが生成されるように支援する。マルチメディアフレームワーク（Ｍｕｌｔｉｍｅｄｉａ  Ｆｒａｍｅｗｏｒｋ）は、第６過程でマイクＭＩＣを通じて録音される音声データを音声フレームワーク（Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋ）に伝達する。音声フレームワーク（Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋ）は、受信した音声データを音声認識エンジンに伝達する。また、音声認識エンジンは、録音された音声データを分析することによって、音声認識を行う。したがって、ユーザがハードウェアボタン１２０やタッチスクリーン１４０のアイコンを押圧することによって、音声認識システムは、前述したように音声認識を行う。
【００８１】
以下では、図１１を参照してユーザがハードウェアボタン１２０やタッチスクリーン１４０のアイコンから手や特定物体を放すことによって、音声認識システムにおいて音声認識を中断するシステム構成部間の相互作用について説明する。
図１１を参照すれば、音声認識を行う間に、ユーザがハードウェアボタン１２０やタッチスクリーン１４０のアイコンから手や特定物体を放すことができる。それでは、音声認識システムは、第１過程で、ＯＳ及びデバイスドライバーを通じてユーザインターフェースフレームワーク（ＵＩ  Ｆｒａｍｅｗｏｒｋ）に前記ユーザの入力解除に対して通知する。これに応じて、ユーザインターフェースフレームワーク（ＵＩ  Ｆｒａｍｅｗｏｒｋ）は、第２過程で、音声フレームワーク（Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋ）に音声認識終了を要請する。また、ユーザインターフェースフレームワーク（ＵＩ  Ｆｒａｍｅｗｏｒｋ）は、第２過程で、音声命令語が除去された実行画面が出力されるように表示部１４３を制御することができる。一方、音声認識終了要請を受信した音声フレームワーク（Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋ）は、第３過程で、マルチメディアフレームワーク（Ｍｕｌｔｉｍｅｄｉａ  Ｆｒａｍｅｗｏｒｋ）に録音終了を要請する。これにより、マルチメディアフレームワーク（Ｍｕｌｔｉｍｅｄｉａ  Ｆｒａｍｅｗｏｒｋ）は、第４過程で、マイクＭＩＣを不活性化し、第５過程で、録音された最終音声データを音声フレームワーク（Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋ）に伝達することによって、録音を終了する。音声認識エンジンは、第６過程で、最終音声データを含む音声認識結果を音声フレームワーク（Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋ）に伝達する。また、音声フレームワーク（Ｖｏｉｃｅ  Ｆｒａｍｅｗｏｒｋ）は、音声認識結果をＵＩ  Ｆｒａｍｅｗｏｒｋに伝達する。ユーザインターフェースフレームワーク（ＵＩ  Ｆｒａｍｅｗｏｒｋ）は、第７過程で、音声認識結果が妥当な場合、すなわち出力された音声命令語のうち１つと一致するものと判断されれば、認識された音声命令語に該当するウィジェットやオブジェクトのイベントが実行されるように支援する。
【００８２】
一方、音声認識システムは、ユーザがハードウェアボタン１２０やタッチスクリーン１４０のアイコンを持続的に押圧しなくても音声認識が実行されるように支援することができる。例えば、音声認識システムは、８２０過程で、ユーザがハードウェアボタン１２０やタッチスクリーン１４０のアイコンを一時的に押圧してから放したら、音声録音を開始し、あらかじめ設定された時間の間に音声が入力されないものと判断されれば、音声録音を終了するように設定されることができる。これにより、ユーザは、音声認識システムに録音開始時点だけを通知すればよい。
【００８３】
以上で説明したように、本発明の実施例による統制された音声を認識してユーザ機能を行う方法及び装置によれば、本発明は、ユーザ機能を実行させる音声命令語を表示することによって、ユーザの音声入力をこのようにガイドし、したがって、迅速で且つ正確な音声認識でユーザ機能が行われる利点を提供する。
【００８４】
一方、本明細書と図面に開示された本発明の実施例は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。すなわち本発明の技術的思想に基づく他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者に自明である。
【符号の説明】
【００８５】
１００  端末機
１１０  無線通信部
１２０  キー入力部
１３０  オーディオ処理部
１４０  タッチスクリーン
１４１  タッチパネル
１４３  表示部
１６０  格納部
１６１  音声命令語設定プログラム
１７０  制御部
１６３  音声認識運用プログラム
【図１】
2013143151.tif 000003
【図２】
2013143151.tif 000004
【図３】
2013143151.tif 000005
【図８】
2013143151.tif 000006
【図９】
2013143151.tif 000007
【図１０】
2013143151.tif 000008
【図１１】
2013143151.tif 000009
【図４】
2013143151.tif 000010
【図５】
2013143151.tif 000011
【図６】
2013143151.tif 000012
【図７】
2013143151.tif 000013