(57)【要約】  本発明は、動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置に関するものであって、より詳細には、使用者が電子装置を特定して音声認識モードに切り換えるためのトリガー（Ｔｒｉｇｇｅｒ）を動作認識として処理し、特定した電子装置に対して音声命令を伝達できる制御方法およびこれを適用した電子装置に関するものである。周辺の状況にかかわらず、より迅速かつ効果的に電子装置に音声命令を伝達することができ、動作認識を通じて電子装置を特定して音声命令を伝達できるようにすることによって、使用者が音声認識のために対象となる電子装置の名称などをあらかじめ学習することや、記憶を行わなくとも効果的に音声命令を遂行することができる。また、電子装置に音声命令を伝達するための事前段階としての動作をより正確に認識できるようにすることによって、認識率を高め、誤動作を防止できる効果がある。
2019520626.tif 000002
【特許請求の範囲】
【請求項１】
動作認識装置と音声認識装置を具備する電子装置の制御方法において、
前記動作認識装置を通じて使用者の動作情報を受信する段階；
前記動作情報から使用者の第１身体座標および第２身体座標を検出する段階；
前記第１身体座標から前記第２身体座標を連結する連結ベクターおよび前記第２身体座標の移動ベクターを検出する段階；および
前記移動ベクターの特性値があらかじめ定められた臨界条件を満足する場合、使用者の音声を認識できるように音声トリガーを生成する段階を含む、動作−音声の多重モード命令に基づいた最適制御方法。
【請求項２】
前記使用者の前記第１身体座標は、前記使用者の目、鼻または口の位置座標である、請求項１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項３】
前記使用者の前記第２身体座標は、前記使用者の手指の指先部分の位置座標である、請求項１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項４】
前記連結ベクターは、前記第１身体座標から前記第２身体座標まで続く直線情報である、請求項１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項５】
前記移動ベクターは、第１時刻と第２時刻の間、前記使用者の前記第２身体座標を連結したベクターである、請求項１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項６】
前記移動ベクターの特性値は、第１時刻と第２時刻の間に前記第２身体座標が移動した距離、または前記使用者の手のポーズ、または前記連結ベクターと前記移動ベクターが空間上でなす角度情報である、請求項１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項７】
前記臨界条件は、前記連結ベクターによって前記移動ベクターの特性値に対する範囲を異にする、請求項１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項８】
前記音声トリガーを生成した後、特定の時刻を前後して前記使用者の音声命令に対する認識を開始する、請求項１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項９】
前記第１身体座標と前記第２身体座標の延長線を命令ベクターで設定し、前記命令ベクターの特性値があらかじめ定められた実行条件を満足する場合に、前記使用者の音声命令を実行する段階をさらに含む、請求項８に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項１０】
前記命令ベクターの特性値は、前記使用者の第２身体が前記命令ベクターに沿って移動する距離、または前記使用者の第２身体が前記命令ベクターに沿って移動した時間情報である、請求項９に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項１１】
前記音声トリガーを生成した後、前記第２身体座標から前記使用者の第２身体が形成する命令範囲によって前記使用者の音声命令を実行する領域を決定する、請求項１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項１２】
前記命令範囲は、前記使用者の第１身体が向かっている方向に対して、前記使用者の第２身体が上下左右に形成する地点と前記第１身体座標の延長線上がなす空間領域を含む、請求項１１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項１３】
前記使用者の音声命令に従って周辺に位置する前記電子装置の動作を制御する段階をさらに含む、請求項１に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項１４】
前記周辺に位置する前記電子装置の動作を制御する段階は
前記移動ベクターの特性値があらかじめ定められた前記臨界条件を満足する場合、周辺に位置する前記電子装置を音声認識モードに切り換えるための音声トリガーを生成する段階を含む、請求項１３に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項１５】
前記周辺に位置する前記電子装置の動作を制御する段階は
音声認識開始時点から一定時間の間周辺に位置する前記電子装置の音響を消去または減少させるための命令を発生する、請求項１３に記載の動作−音声の多重モード命令に基づいた最適制御方法。
【請求項１６】
動作認識および音声認識機能を具備する電子装置において、
使用者の動作情報を認識するための動作認識部；
前記使用者の音声命令を認識するための音声認識部；
前記動作認識部から認識された前記動作情報から前記使用者の第１身体座標と第２身体座標を検出する座標検出部；
前記第１身体座標から前記第２身体座標を連結する連結ベクター、または前記第２身体座標の移動ベクターを検出するベクター検出部；および
前記移動ベクターの特性値があらかじめ定められた臨界条件を満足する場合、前記使用者の音声命令を認識するための音声トリガーを生成する制御部を含む、動作−音声の多重モード命令に基づいた電子装置。
【請求項１７】
前記動作認識部はカメラモジュールおよび動作センサからなる、請求項１６に記載の動作−音声の多重モード命令に基づいた電子装置。
【請求項１８】
前記音声認識部はマイクおよび音声センサを含む、請求項１６に記載の動作−音声の多重モード命令に基づいた電子装置。
【請求項１９】
前記制御部は、音声認識部を通じて入力された使用者の音声命令に従って周辺に位置する電子装置の動作を制御する周辺装置制御部をさらに含む、請求項１６に記載の動作−音声の多重モード命令に基づいた電子制御装置。
【請求項２０】
前記周辺装置制御部は、前記移動ベクターの特性値があらかじめ定められた前記臨界条件を満足する場合、前記使用者の音声命令を認識できるように周辺に位置する前記電子装置を音声認識モードに切り換える、請求項１９に記載の動作−音声の多重モード命令に基づいた電子制御装置。
【請求項２１】
前記音声トリガーは、音声認識開始時点から一定時間の間、周辺に位置する前記電子装置の音響を消去または減少させるための命令をさらに含む、請求項１６に記載の動作−音声の多重モード命令に基づいた電子制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置に関するものであって、より詳細には使用者が電子装置を特定して音声認識モードに切り換えるためのトリガー（Ｔｒｉｇｇｅｒ）を動作認識として処理し、特定した電子装置に対して音声命令を伝達できる制御方法およびこれを適用した電子装置に関するものである。
【背景技術】
【０００２】
最近、日常生活で使われている電子製品に対し、使用者の音声を認識してこれに従って動作が行われ得るようにする試みが大きく増加している。特に、現代人の生活から家事労働を低減させることができるようにすることによって生活の便利さを提供する洗濯機や食器洗浄器、余暇活動や情報収集のような文化や教育関連分野で重要な部分を占めているＴＶやオーディオ（ａｕｄｉｏ）等に、このような音声認識機能を採択する傾向が多くなりつつある。
【０００３】
このような音声認識は、概して次のように動作が行われる。まず、電子装置に搭載された音声認識アルゴリズムが音声検出過程と特徴（ｆｅａｔｕｒｅ）抽出過程、そしてマッチング（ｍａｔｃｈｉｎｇ）過程を順次経るようになるが、マイクを通じて使用者の音声信号が入力されるとＡ／Ｄ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）コンバーターでこれをデジタル信号に変換する。変換されたデジタル音声信号は短い区間の信号（すなわち、フレーム）に分割され、各フレームのエネルギーとゼロ交差率（ｚｅｒｏ  ｃｒｏｓｓｉｎｇ  ｒａｔｅ）、そして時間の長さ情報などを利用して入力された音声信号の中から使用者が実際に発声した音声区間のみを検出する。以降、検出された音声区間に対するフレームの特徴を抽出して入力された音声のテストパターンを作り、テストパターンと基準データ用メモリに保存された各基準パターンとをそれぞれ比較してテストパターンと最も類似する特徴を有する基準パターンを認識された音声として出力するのである。この時、基準データ用メモリに音声信号の基準パターンを保存する場合にも、音声区間に該当するフレームの特徴を抽出して基準パターンを作った後、基準データ用メモリに保存することになるが、このような動作を認識しようとする音声信号に対して繰り返し遂行することによって、基準パターンを基準データ用メモリにデータベースとして保存するようになるのである。
【０００４】
ところが、音声認識のためには使用者の音声命令と一般の音声（会話など）とを区別する過程が必要となる。これに伴い、従来にはタッチまたはボタンを押す動作で音声認識の開始時点を特定し、音声認識を通じて命令を遂行する電子装置を特定した後、音声で命令を入力して対象となる電子装置の動作を遂行する方法を使用した。特許文献１は、このように２段構造のシャッターレリーズボタンを具備し、シャッターレリーズボタンの押圧状態に応じて使用者の音声命令に従って自動フォーカシングまたは撮影を遂行するデジタル撮影装置を提示した。
【０００５】
このように、音声認識のためのボタン入力は、一般的にホームネットワークシステムにおいてはリモコンを通じて家電機器を制御することができ、自動車のような外部移動機器においては電子キーを使うことによって動作が行われ得る。しかし、ＴＶのような家電機器の場合には、無線リモコンが遂行しなければならない機能がますます増加し、それに伴って無線リモコンが有するボタンの数も大きく増加してしまうことによって、使用者が音声認識動作のためのリモコンの使用に大きな不便さを感じる傾向がある。特に、リモコン機能の複雑化は子供や老弱者にさらに大きな不便さを加重させ得、リモコンの保管場所を記憶していない場合や紛失した場合にリモコンを利用した音声認識機能の使用が困難であり得、リモコンの電源として利用される乾電池の寿命が尽きるとこれを取り換えなければならないなど、環境面での問題点もある。
【０００６】
このようなボタン入力方式の問題点を改善するために、従来には音声を利用して使用者が利用しようとする電子装置を特定した後、音声認識を通じて命令を伝達する方法が使用されたりもした。このような方法は、音声認識を遂行する電子装置をあらかじめ定められた単語で登録し、使用者が音声を通じて電子装置を特定すると、特定された電子装置が音やＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等を通して使用者に音声認識開始時点を指定し、その後に使用者が音声で命令の対象となる電子装置（ＴＶ、オーディオ、照明、Ｆａｎ、Ｔｈｅｒｍｏｓｔａｔなど）と命令語（Ｏｎ、Ｏｆｆ、Ｕｐ、Ｄｏｗｎなど）を音声で入力する方法である。しかし、このように使用者が音声を利用して制御しようとする電子装置を特定して音声命令をする方法は、電子装置の特定と音声の入力に長い時間と過程が必要となる不都合な点があるため、音声認識を効果的に処理する方法を設けることが必要である。
【０００７】
特に、既存の音声認識システムは入力された音声命令の周波数を把握して命令を検索するため、比較的多くの演算量が要求されざるを得ない。このような音声命令は主に電子装置の出庫時点にあらかじめ定められているが、「電源を入れろ」または「ボリュームアップ」等の簡単な命令語で構成される。ところが、このようにあらかじめ定められた音声命令は、多様な使用者の多様な音色と発音をすべて区別して正確に認識し難い点があり、音声命令が多い場合には使用者が数多くの音声命令をすべて暗記していなければならない不都合な点がある。また、一つの電子装置が多様な国に輸出される場合、該当国の言語で音声命令をあらかじめ登録しなければならないという短所がある。したがって、音声命令に対する認識エラー率が高く、音声を認識するために高仕様のハードウェアと複雑なアルゴリズムが要求される短所を克服するための対策が必要である。
【０００８】
このような問題点を解決するために、従来には使用者の音声と動作を同時に認識して電子装置を制御する方法が開示された。特許文献２は、使用者の動作を感知してＴＶのようなディスプレイ装置に表示されるマウスポインターを制御する方法を開示しており、特許文献３は、使用者の音声とジェスチャーを共に認識して音声とジェスチャーの特徴がすべてマッチングされる場合に使用者の所望の動作を実行する方法を開示している。
【０００９】
しかし、一般的に動作認識は使用者が空間で動く動作を識別しなければならないが、使用者の動作が電子装置の制御のための動作なのか一般的な動きなのかを区別することが難しく、動作認識のために用いられる動作認識モジュールの値段も高いため、電子装置の制御のために一括に動作認識機能を適用することは効率性や経済的な側面でその効用価値が低い短所がある。また、一般的なポーズや動作（身体部位の移動）は使用者がカメラに向かっている状態では相対的によく認識されるが、カメラおよび人の位置と方向が変わると認識率が低下するため、ホームネットワークのように多くの電子機器と事物が存在する空間ではそれぞれの電子機器および事物ごとに複数のカメラを具備しなければならない短所がある。
【００１０】
したがって、動作認識と音声認識機能を併行する場合には、動作認識として処理する部分と音声認識として処理する部分を区分することによって、使用者の利用と経済的な効率性などの総合的な側面を考慮して最適化した処理プロセスを具現する必要がある。
【００１１】
【特許文献１】韓国登録特許第１０−１０００９２５号公報
【特許文献２】韓国登録特許第１０−１０４６０２２号公報
【特許文献３】韓国公開特許第１０−２０１２−００５４７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は前記のような問題点を解決するためのものであって、使用者が電子装置を特定して音声命令を伝達するための事前段階としてのトリガー（Ｔｒｉｇｇｅｒ）イベントを動作認識として処理し、特定した電子装置に対して音声命令を伝達することによって、最適化した制御方法およびこれを活用した電子装置を提供することにその目的がある。
【課題を解決するための手段】
【００１３】
前記のような目的を達成するために、本発明の動作−音声の多重モード命令に基づいた最適制御方法は、動作認識装置を通じて使用者の動作情報を受信する段階と、前記動作情報から使用者の第１身体座標と第２身体座標を検出する段階と、前記第１身体座標から第２身体座標を連結する連結ベクター、または前記第２身体座標の移動ベクターを検出する段階と、前記移動ベクターの特性値があらかじめ定められた臨界条件を満足する場合、使用者の音声命令を認識するための音声認識モードに切り換える段階を含むことができる。
【００１４】
前記使用者の第１身体座標は、目、鼻または口の位置座標であり得る。
【００１５】
前記使用者の第２身体座標は使用者の手指の指先部分の位置座標であり得る。
【００１６】
前記連結ベクターは前記第１身体座標から前記第２身体座標まで続く直線情報であり得る。
【００１７】
前記移動ベクターは第１時刻と第２時刻の間、使用者の第２身体座標を連結したベクターであり得る。
【００１８】
前記臨界条件は前記連結ベクターによって前記移動ベクターの特性値に対する範囲を異にすることができる。
【００１９】
本発明の動作−音声の多重モード命令に基づいた最適制御方法により、前記音声認識モードに切り換える場合、特定の時刻を前後して使用者の音声命令に対する認識を開始することができる。
【００２０】
本発明の動作−音声の多重モード命令に基づいた最適制御方法は、前記第１身体座標と第２身体座標の延長線を命令ベクターで設定し、前記命令ベクターの特性値があらかじめ定められた実行条件を満足する場合に、使用者の音声命令を実行する段階をさらに含むことができる。
【００２１】
前記命令ベクターは、移動ベクターの特性値が第１臨界条件を満足し、有効時間以内に第２臨界条件を満足する場合に検出され得る。
【００２２】
本発明の動作−音声の多重モード命令に基づいた最適制御方法は、前記音声認識モードに切り換えた後、第２身体座標から使用者の第２身体が形成する命令範囲によって使用者の音声命令を実行する領域を決定することができる。
【００２３】
前記命令範囲は、使用者の第１身体が向かっている方向に対して、使用者の第２身体が上下左右に形成する地点と前記第１身体座標の延長線上がなす空間領域を含むことができる。
【００２４】
本発明の動作−音声の多重モード命令に基づいた最適制御方法は、前記音声命令に従って周辺に位置する電子装置の動作を制御する段階をさらに含むことができる。
【００２５】
前記音声命令に従って周辺に位置する電子装置の動作を制御する段階は、前記移動ベクターの特性値があらかじめ定められた第１臨界条件を満足し、有効時間以内に第２臨界条件を満足する場合、使用者の音声命令を認識できるように周辺に位置する電子装置を音声認識モードに切り換える段階を含むことができる。
【００２６】
また、本発明の動作−音声の多重モード命令に基づいた電子装置は、使用者の動作情報を認識するための動作認識部と、使用者の音声命令を認識するための音声認識部と、前記動作認識部から認識された動作情報から使用者の第１身体座標と第２身体座標を検出する座標検出部と、前記第１身体座標から第２身体座標を連結する連結ベクター、または前記第２身体座標の移動ベクターを検出するベクター検出部と、前記移動ベクターの特性値があらかじめ定められた第１臨界条件を満足し、有効時間以内に第２臨界条件を満足する場合、使用者の音声命令を認識するための音声認識モードに切り換える制御部を含むことができる。
【００２７】
前記動作認識部はカメラモジュールおよび動作センサで構成され得る。
【００２８】
前記音声認識部はマイクおよび音声センサを含むことができる。
【００２９】
また、本発明の動作−音声の多重モード命令に基づいた電子制御装置は、前記音声認識部を通じて入力された使用者の音声命令に従って周辺に位置する電子装置の動作を制御する制御部をさらに含むことができる。
【００３０】
また、本発明の動作−音声の多重モード命令に基づいた電子制御装置は、前記移動ベクターの特性値があらかじめ定められた第１臨界条件を満足し、有効時間以内に第２臨界条件を満足する場合、使用者の音声命令を認識できるように周辺に位置する電子装置を音声認識モードに切り換えることができる。
【発明の効果】
【００３１】
本発明の実施例に係る最適制御方法およびこれを活用した電子装置は、周辺の状況にかかわらず、より迅速かつ効果的に電子装置に音声命令を伝達することができ、動作認識を通じて電子装置を特定して音声命令を伝達できるようにすることによって、使用者が音声認識のために対象となる電子装置の名称などをあらかじめ学習することや、記憶を行わなくとも効果的に音声命令を遂行することができる。また、電子装置に音声命令を伝達するための事前段階としての動作をより正確に認識できるようにすることによって、認識率を高め、誤動作を防止できる効果がある。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法の全体的な概念図である。
【図２】本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法が適用された電子装置の内部構成図である。
【図３】本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法が家電製品に適用された場合の例示図である。
【図４】本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法を説明するための例示図である。
【図５】本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法を説明するための例示図である。
【図６】本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法を説明するための例示図である。
【図７】本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法において、電子装置の音声認識機能をトリガーさせるための条件を例示で示した図である。
【図８】本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法において。音声認識のためのトリガー後に命令ベクターを利用して電子装置を制御する場合の説明図である。
【図９】本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法において、使用者が一定の領域内にある電子装置に対して音声命令をする場合を説明するための図面である。
【図１０】本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法において、使用者が一定の領域内にある電子装置に対して音声命令をする場合を説明するための図面である。
【図１１】本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法において、使用者が一定の領域内にある電子装置に対して音声命令をする場合を説明するための図面である。
【図１２】本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法のフローチャートである。
【図１３】本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法のフローチャートである。
【図１４】本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法のフローチャートである。
【図１５】本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法を活用した電子装置のソフトウェア構成例示図である。
【発明を実施するための形態】
【００３３】
ここで使用される専門用語は単に特定の実施例を言及するためのものであって、本発明の限定を意図するものではない。ここで使用される単数の形態は、文脈上明白に反対の意味を示さない限り複数の形態も含む。明細書で使用される「含む」の意味は特定の特性、領域、定数、段階、動作、要素および／または成分を具体化し、他の特定の特性、領域、定数、段階、動作、要素、成分および／または群の存在や付加を除外させるものではない。
【００３４】
特に定義してはいないが、ここで使用される技術用語および科学用語を含むすべての用語は、本発明が属する技術分野で通常の知識を有する者が一般的に理解する意味と同一の意味を有する。一般的に使用される辞書に定義された用語は、関連技術文献と現在開示された内容に符合する意味を有するものと解釈され、定義されない限り理想的であるか非常に公式的な意味と解釈されない。
【００３５】
以下、添付した図面を参照して本発明の好ましい実施例を詳しく説明する。
【００３６】
図１は、本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法の全体的な概念図である。図１を参照すると、本発明の動作−音声の多重モード命令に基づいた最適制御方法は多様な家庭用機器の制御に適用され得るが、代表的な適用対象はホームネットワークシステムであり得る。
【００３７】
すなわち、多数の家庭用機器を含むホームネットワークシステムの一定領域に本発明の電子装置１００が配置され得る。ホームネットワークシステムは、有線または無線ネットワークを通じて連結される複数の機器を含むことができる。ネットワークは、家庭内で使用されるすべての電気、電子機器が有線または無線で連結されて両方向通信が可能であるように設定されるネットワークである。このようなネットワークは有線または無線インターネットを使うことができ、これを通じてＴＶ１０、エアコン２０、料理機器３０、ノートパソコン４０、ロボット掃除機５０、食器洗浄器６０、冷蔵庫７０、電子レンジ８０、または洗濯機９０等の電子装置の間に情報の共有を可能とする。有線ネットワークの代表的なものとして、既存の電話線を利用したホームＰＮＡ（Ｈｏｍｅ  Ｐｈｏｎｅｌｉｎｅ  Ｎｅｔｗｏｒｋｉｎｇ  Ａｌｌｉａｎｃｅ）、ＩＥＥＥ  １３９４、電力線方式を挙げることができ、無線ネットワークの形態としては、ホームＲＦ（Ｈｏｍｅ  Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）、ブルートゥース（登録商標）：Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）および無線ＬＡＮ（Ｗｉｆｉ：登録商標）等を挙げることができる。使用者は本発明の電子装置１００を家庭内に配置して、ホームネットワークシステムを構成する家庭用機器を動作と音声で制御することができる。また、本発明の電子装置１００は別途の機器で具現することもできるが、家庭用機器などの既存の機器内にその機能を内蔵して具現することもできる。
【００３８】
図１ではホームネットワークシステムの場合を例にして説明したが、本発明の動作−音声の多重モード命令に基づいた最適制御方法は家庭内だけでなく、スマート自動車、ドローン、デジタルカメラなどの家庭の外部で使用される電子装置にも適用できることは言うまでもない。
【００３９】
図２は、本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法が適用された電子装置の内部構成図を示したものである。図２を参照すると、本発明の電子装置１００は、メモリシステム１５０と、これに連結されて電子装置１００の動作を制御する制御部１４０、入力装置１１０および出力装置１２０を含む。
【００４０】
ここで、入力装置１１０は使用者の動きによる映像情報の入力を受けるためのカメラ１１２と使用者の音声情報の入力を受けるためのマイク１１４を含み、さらにタッチスクリーンのように使用者のタッチを認識できる装置または通常のマウスや電子ペンのような多様な形態の物理的変換器（Ｐｈｙｓｉｃａｌ  ｔｒａｎｓｄｕｃｅｒ）等も含まれ得る。出力装置１２０は、スマートフォンやタブレットの場合には文字やイメージを表示できるディスプレイを意味するが、プリンターやスピーカーのような変換器（ｔｒａｎｓｄｕｃｅｒ）も含まれ得る。ディスプレイは、液晶ディスプレイ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスター液晶ディスプレイ（Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ−Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ、ＴＦＴ  ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ  ｄｉｓｐｌａｙ）等の多様な形態で形成され得る。電子装置１００が通信装置である場合には、ネットワークインタフェースまたはモデムのような装置が入力および／または出力装置として使用されてもよい。
【００４１】
入力装置１１０にはセンサ部１３０が連結されるが、センサ部１３０は入力装置１１０を通じて使用者の動きを認識するための動作センサ１３２と使用者の音声信号を認識するための音声センサ１３４を共に具備する。入力装置１１０を通じて使用者の動きが認識されるか使用者の音声信号が認識される場合、センサ部１３０は動作情報および音声情報を制御部１４０に提供する。
【００４２】
制御部１４０は電子装置１００の作動を制御するためのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；１４２）と、カメラ１１２および動作センサ１３２を通じて認識された使用者の動作方向および大きさを算出する映像信号処理部１４４と、音声センサ１３４を通じて伝達される使用者のデジタル音声信号から音声パターンを算出する音声信号処理部１４６を含む。映像信号処理部１２はカメラ１１２から入力される使用者の映像信号で動きが発生する領域を識別し、この動きが発生する領域の方向と大きさを移動ベクターで算出する。好ましくは、映像信号処理部１４４は、算出された移動ベクターの大きさがあらかじめ設定された基準値より小さい場合には、電子装置１００の遠隔調整のための動作ではないと判断して無視することができ、算出された移動ベクターの大きさがあらかじめ設定された基準値より大きい場合には、使用者が電子装置１００の遠隔調整のための動作であると判断して指定された命令を遂行することができる。一般的に、マイク１１４を通じて入力される音声信号はアナログ信号であるので、音声センサ１３４および音声信号処理部１４６に入力され得るようにアナログ／デジタル変換器（ＡＤＣ）（図示されず）が具備され得る。音声信号処理部１４６は、入力された音声信号から音声パターンを算出した後、メモリシステム１５０にあらかじめ保存されている音声パターンと比較して、一致する音声パターンが存在する場合に該当音声パターンに対応する命令を遂行するようにする。
【００４３】
また、制御部１４０はデータおよび命令語の一時的な保存のためのレジスターと電子装置１００の動作を制御するためのコントローラーをさらに含むことができる。一方、ＣＰＵ１４２は多様なアーキテクチャ（Ａｒｃｈｉｔｅｃｔｕｒｅ）を有するプロセッサであり得る。
【００４４】
メモリシステム１５０は、一般的にＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）のような保存媒体の形態である高速のメインメモリ１５２と、フロッピーディスク、ハードディスク、テープ、ＣＤ−ＲＯＭ、フラッシュメモリ、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えばＳＤまたはＸＤメモリ）等の長期（ｌｏｎｇｔｅｒｍ）保存媒体形態の補助メモリ１５４および電気、磁気、光学やその他の保存媒体を利用してデータを保存する装置を含む。また、メインメモリ１５２は、ディスプレイ装置を通じてイメージをディスプレイするビデオディスプレイメモリを含むことができる。本発明の技術分野で通常の知識を有する当業者には前記メモリシステム１５０が多様な保存性能を具備する製品であって、多様な形態を有し得るということが自明であろう。
【００４５】
したがって、使用者が入力装置１１０を通じて伝達する動作または音声信号は、センサ部１３０を通じて制御部１４０に伝達され、制御部１４０はこれから算出された移動ベクター情報をメモリシステム１５０に既保存された動作および音声信号の基準値と比較して、一致するかの可否を判断して一致する場合に、遠隔制御権限を有する使用者と判断して指定された命令を遂行するようになるであろう。
【００４６】
本発明の技術分野において、動作−音声の多重モード命令に基づいた最適制御方法が適用された電子装置１００は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）および少なくとも一つのアプリケーションを含むことができる。ＯＳは、電子装置１００の動作およびリソースの指定を制御するソフトウェアの集合である。アプリケーションは、ＯＳを通じて利用可能なコンピュータリソースを使うことによって、使用者が要請した業務を遂行するためのソフトウェアの集合である。ＯＳおよびアプリケーションはメモリシステム１５０に常駐されるであろう。コンピュータプログラミングの技術分野で通常の知識を有する当業者の経験により、他の表現で記述されなければ本発明は電子装置１００により実行される動作および動作に対する表現の好みによって記述されるであろう。このような動作はコンピュータを基盤として行われ、ＯＳまたは適当なアプリケーションによって実行されるであろう。また、このような動作および機能は、電気信号の変換または遮断を誘発するデータビットなどの電気信号に対する制御部１４０の処理と電子装置１００の動作を変更するだけでなく、メモリシステム１５０内のメモリ領域に保存されたデータビット信号に対する管理を含む。データビット信号が管理されるメモリ領域は、データビットに該当する電気、磁気または光学特性を有する物理領域である。
【００４７】
本発明の動作−音声の多重モード命令に基づいた最適制御方法は、ホームネットワークに備えられる家電製品やその他の多様な電子製品内に具現されてもよく、家庭内に別途に設置して周辺の電子製品を制御するための独立的な電子装置内に具現されてもよい。もし、周辺の電子製品に対する音声命令を制御するための別途の独立的な電子装置で具現される場合には、一定の距離内にある電子製品の動作を制御するための無線通信機能と周辺にある電子製品を識別できる機能を含むことができるはずである。
【００４８】
図３は、本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法が家電製品に適用された場合の例示図である。図３を参照すると、本発明の動作−音声の多重モード命令に基づいた最適制御方法が適用された電子装置１００は、ＴＶのような家庭用機器に具現されてもよく、家庭用機器を制御するための別途の制御モジュールで具現されてもよい。
【００４９】
本発明の電子装置１００は、使用者の動作を認識するためのカメラ１１２と使用者の音声を認識するためのマイク１１４を具備することができる。通常、カメラ１１２は入力する光を集光するレンズとレンズによって焦点が形成される映像を検出して電気的なイメージ信号に変換するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のようなセンサを含むことができる。マイク１１４は使用者から入力されるアナログ音声信号をデジタル音声信号に変換するアナログ／デジタル変換器（ＡＤＣ）を含むことができる。本発明の動作−音声の多重モード命令に基づいた最適制御方法が適用された電子装置１００にカメラ１１２とマイク１１４を付着する場合、使用者の動作や音声をよく認識できるようにＴＶフレームの上端に設置され得る。これに伴い、カメラ１１２は電子装置１００の前方で、電子装置１００を遠隔で制御しようとする使用者の動きをより容易に検出できる。使用者が動く動作は多様な方法が存在し得るが、遠隔制御の対象となる電子装置１００を指定する使用者の手指の動きとなり得る。人の手指は簡単な動きだけでも十分な大きさと方向性を提供できるため、本発明の電子装置１００に設置されるカメラ１１２により検出される身体の動きは、使用者の手指の動きを対象とすることが好ましい。
【００５０】
図４は、本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法を説明するための例示図である。図４を参照すると、使用者は遠隔位置にある特定の機器１０を対象に、手指を利用した動作を通じて対象となる機器１０の動作を制御することができ、その過程を説明すると下記の通りである。前述した通り、本発明の動作−音声の多重モード命令に基づいた最適制御機能は一般の機器に搭載されてもよく、一般の機器を制御するための別途の製品で構成されてもよい。
【００５１】
まず、使用者の片方の目から使用者の手指までの直線が連結ベクターＳとなる。この状態で、使用者が手指を動かすと、移動直線に該当する移動ベクターＭが生成される。この状態で、使用者が手指を移動させて連結ベクターＳまで動かすと移動直線に該当する移動ベクターＭが生成される。この過程で、連結ベクターＳの大きさ、使用者が手指を動かした時間ｔｍと移動ベクターＭの大きさおよび連結ベクターＳと移動ベクターＭが空間上で形成する角度ａを計算することができる。この過程で、連結ベクターＳの大きさ、使用者が手指を動かした時間ｔｍと移動ベクターＭの大きさ、連結ベクターＳと移動ベクターＭが空間上で形成する角度ａの値が本発明の電子装置１００に保存された第１臨界条件を満足し、有効時間以内に第２臨界条件を満足する場合、本発明の電子機器１００の音声認識機能をトリガーさせる。この時、基準となる身体座標は使用者の身体特徴のうち一つを選択することができ、連結ベクターＳの大きさ、手指を動かした時間ｔｍ、移動ベクターＭの大きさ、連結ベクターＳと移動ベクターＭが形成する角度ａの基準値は、身体座標の種類に応じて異なるように設定され得るはずである。
【００５２】
図５は、本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法を説明するための例示図である。図５を参照すると、使用者の口から使用者の手指までの直線が連結ベクターＳとなる。この状態で、使用者が手指を動かすと移動直線に該当する移動ベクターＭが生成される。この過程で、連結ベクターＳの大きさ、使用者が手指を動かした時間ｔｍと移動ベクターＭの大きさおよび連結ベクターＳと移動ベクターＭが空間上で形成する角度ａを計算することができ、計算された値が本発明の電子装置１００に保存された第１臨界条件を満足し、有効時間以内に第２臨界条件を満足する場合、前記電子装置１００の音声認識機能をトリガーさせる。
【００５３】
図６は、本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法を説明するための例示図である。図６を参照すると、使用者の鼻から使用者の手指までの直線が連結ベクターＳとなる。この状態で、使用者が手指を動かすと移動直線に該当する移動ベクターＭが生成される。これに伴い、連結ベクターＳと移動ベクターＭの大きさ、使用者が手指を動かした時間ｔｍ、連結ベクターＳと移動ベクターＭが空間上で形成する角度ａおよび基準時点ｔ０に対する決定は図４と図５で説明したプロセスが同様に適用される。
【００５４】
図７を参照すると、使用者が片方の目を第１身体座標とし、手指の指先を第２身体座標と設定する場合、手のポーズＨＰが人差し指一つを広げた状態であり、手指の指先点が０．１秒の間動いた移動ベクターＭの大きさが３ｃｍ以上であり、移動ベクターＭと連結ベクターＳが空間上でなす角度が−４０度〜４０度の間の値を有すると第１臨界条件を満足するものと見なす。
【００５５】
該当時点から０．２秒の有効時間以内に手のポーズＨＰが人差し指一つを広げた状態であり、手指の指先点が０．１秒の間動いた移動ベクターＭの大きさが１ｃｍ未満であり、連結ベクターＳの大きさが１０〜１００ｃｍの間の値を有すると第２臨界条件を満足するものと見なして第１命令ベクターを検出する。
【００５６】
使用者が鼻または口を第１身体座標とし、手指の指先を第２身体座標と設定する場合、手のポーズＨＰが人差し指一つを広げた状態であり、手指の指先点が０．１秒の間動いた移動ベクターＭの大きさが３ｃｍ以上であり、移動ベクターＭと連結ベクターＳが空間上でなす角度が１４０度〜２２０度の間の値を有すると第１臨界条件を満足するものと見なす。
【００５７】
該当時点から０．２秒の有効時間以内に手のポーズＨＰが人差し指一つを広げた状態であり、手指の指先点が０．１秒の間動いた移動ベクターＭの大きさが１ｃｍ未満であり、連結ベクターＳの大きさが５ｃｍ未満の値を有すると第２臨界条件を満足するものと見なして第２命令ベクターを検出する。
【００５８】
このような条件は多様な値に変更して設定できることは言うまでもない。
【００５９】
前記のように、使用者の身体座標を基準として手指までの連結ベクターＳ、手指の移動ベクターＭに対する大きさ、移動時間および連結ベクターＳと移動ベクターＭの間の角度が第１臨界条件を満足し、有効時間以内に第２臨界条件を満足する場合、電子装置１００は使用者の音声を認識するためのモードに変更し、使用者が音声信号を入力するとこれを認識して認識された結果値に該当する命令を実行する。
【００６０】
したがって、本発明の動作−音声の多重モード命令に基づいた最適制御方法によると、使用者は周囲の騒音や雑音がある場合にも特定の電子装置の音声認識機能を簡単な動作でトリガーさせることができるようになるため、効果的な音声命令を実行することができる。また、本発明の動作−音声の多重モード命令に基づいた最適制御方法を活用した電子装置は、音声認識のためのトリガー手段として使用者の動作を活用し、音声認識機能でトリガーされた後には音声を活用することによって、使用者が音声認識のために、対象となる電子装置の名称などをあらかじめ学習することや、記憶を行わなくとも効果的に音声命令を遂行することができ、電子装置の認識率を高め、誤動作を防止することができる。
【００６１】
図８は、本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法において、音声認識のためのトリガー後に命令ベクターを利用して電子装置を制御する場合の説明図である。図８は、使用者が図５〜図７の過程のうちいずれか一つの過程を通じて、特定の電子装置が音声認識のためのモードにトリガーさせた場合を示したものである。したがって、電子装置は使用者の音声認識のためのモードにすでに切り換えられた状態である。この時、使用者は別途の動作なしに音声でも命令を下すことができるが、周辺に複数台の電子装置がある場合には一つの電子装置のみを特定して音声命令を下すことができる。このためには、音声認識モードに切り換えられた電子装置を対象に、使用者が身体座標（ここでは片方の目）と手指を連結する延長線を命令ベクターＣと設定し、命令ベクターＣの延長線上にある電子装置のみが使用者の音声命令を遂行するようにするのである。
【００６２】
図８は複数台の電子装置の中から一つの電子装置のみを特定して使用者が音声命令をする場合を説明したが、それとは反対に使用者が一定の領域にある電子装置を対象として一度に音声命令をする場合も可能である。
【００６３】
図９、図１０及び図１１は、本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法において、使用者が本発明の電子装置１００を利用して一定の領域内にある家庭用機器に対して音声命令をする場合を説明するための図面である。図９、図１０及び図１１を参照すると、使用者が鼻を身体座標と設定した場合を仮定する。使用者は家庭用機器を音声認識モードにトリガーさせるための基準時点ｔ０または音声認識モードにトリガーされた後に音声命令をするための命令時点ｔｃで、手指を電子装置がある上下方向または左右方向に設定することができる。このように、使用者が動かした手指の範囲は、使用者の身体座標（鼻）から延びて仮想の平面まで連結されると全体的に円錐状の音声命令範囲（Ｆｉｅｌｄ  ｏｆ  Ｃｏｍｍａｎｄ、ＦｏＣ）が形成される。この時、形成される円錐の面積は、身体座標から仮想の平面までの距離ｒ、平面の上下の高さｈ、および平面の左右の幅ｗで決定され得、このような空間に位置する電子装置は使用者の音声命令を一括で遂行するように設定され得る。図１０の場合には音声命令の範囲に位置するＴＶが使用者の音声命令を遂行し、音声命令の範囲から外れているロボット掃除機は使用者の音声命令を遂行せずに無視する。
【００６４】
一方、図１０は使用者が音声命令の範囲をピラミッドの形態に設定する場合を示したものであり、図１１は音声命令の範囲を楕円の形態に設定する場合を示したものである。図１０の場合にはロボット掃除機が音声命令の範囲に位置していないが、図１１の場合にはロボット掃除機が音声命令の範囲に位置しているので使用者の音声命令を遂行することになる。
【００６５】
図１２は、本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法のフローチャートを示したものである。図１２を参照すると、電子装置１００は付帯されたカメラ１１２を通じて周辺にある使用者の映像を獲得する。この時、基準となる使用者の身体座標（目、鼻または口など）が映像に捉えられる場合には、身体座標を算出し、身体座標を基準として使用者の手指まで続く連結ベクターＳと使用者の手指が移動する移動ベクターＭを算出する。この時、連結ベクターＳと移動ベクターＭの大きさ、使用者が手指を動かした時間ｔｍ、連結ベクターＳと移動ベクターＭが空間上で形成する角度ａおよび基準時点ｔ０がメモリシステム１５０に保存された臨界条件の範囲に該当すると、使用者が音声命令のためのトリガーを要請したと判断して音声命令を認識できるように音声トリガーを生成する。音声トリガーによって音声認識モードに切り換えられた後に使用者の音声命令があれば、付帯されたマイク１１４を通じて使用者の音声を認識し、音声認識結果により音声命令を実行する。この時、特定の電子装置に対して音声命令を伝達しようとする場合、周辺の他の電子装置による騒音や雑音が妨げとなり得るため、音声命令伝達の対象となる電子装置以外の電子装置については音響を消去するか減少させる命令を生成することも可能である。
【００６６】
図１３は、本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法において、音声認識のためのトリガー後に命令ベクターを利用して電子装置を制御する場合のフローチャートを示したものである。図１３を参照すると、使用者の身体座標を基準として手指の動作を認識して、音声命令のための臨界条件の範囲に該当する場合には使用者の音声を認識できるように音声トリガーが生成される。
【００６７】
音声トリガーを通じて音声認識モードに切り換えた時点から一定の時間が経過した音声命令開始地点ｔｃで、使用者の音声命令だけでなく使用者の身体座標（目、鼻、または口）と手指の動作を反映した命令ベクターＣを共に考慮する。これにより、命令ベクターＣの延長線上にある電子装置のみが使用者の音声命令を遂行するようになるのである。命令ベクターＣは前記で説明した通り、電子装置が音声認識モードに切り換えられた状態で使用者が手指を移動した時間ｔｍ、手指の移動距離などを判断条件とすることができる。
【００６８】
図１４は、本発明のさらに他の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法において、使用者が一定の領域内にある電子装置に対して音声命令をする場合のフローチャートである。
【００６９】
使用者の身体座標を基準として手指の動きを判断して、身体座標と手指の間の連結ベクターＳと使用者の手指が移動する移動ベクターＭが算出される。この時、連結ベクターＳと移動ベクターＭの大きさ、使用者が手指を動かした時間ｔｍ、連結ベクターＳと移動ベクターＭが空間上で形成する角度ａおよび基準時点ｔ０がメモリシステム１５０に保存された臨界条件の範囲に該当すると、使用者の音声命令を認識できるように音声トリガーを生成する。
【００７０】
音声トリガーによって音声認識モードに切り替えられると、使用者が音声命令をする範囲を設定するかを判断するようになるが、前述した通り、使用者の手指が空間上に描く領域を基準として命令範囲を決定する。使用者が設定した命令範囲に位置する電子装置は、使用者の音声命令を認識して音声命令に従った動作を遂行し、命令範囲に位置しない電子装置は使用者の音声命令を無視する。もし、使用者の動作が命令範囲を設定する条件を満足しない場合には、領域を考慮せずに使用者が手指を利用して命令ベクターＣを指定した電子装置のみが音声命令を遂行する。
【００７１】
図１５は、本発明の実施例に係る動作−音声の多重モード命令に基づいた最適制御方法を活用した電子装置のソフトウェアの構成例示図である。本発明の一例に係る動作−音声の多重モード命令に基づいた最適制御方法を活用した電子装置の応用モジュール３８０は、使用者が身体座標を基準として手指を動かす動作を認識する動作認識モジュール３８１と、音声認識モードに切り換えられた後に使用者がマイクを通じて伝達する音声命令の入力を受けてこれを処理する音声認識モジュール３８２および使用者が入力した音声命令に従って電子装置の動作を制御する命令処理モジュール３８３を含むことができる。
【００７２】
このような応用モジュール３８０を含む電子装置１００は、多様なＯＳをシステムのＯＳとして使うことができる。このようなＯＳは、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍ  Ｉｎｔｅｒｆａｃｅ：３６１）にハイレベル命令語を提供して各応用モジュール３８０の動作を制御する。本発明の電子装置１００は、ＡＰＩ３６１から提供されるハイレベル命令語に応じて対応する各応用モジュール３８０を識別し、ハイレベル命令語をデコーディングして該当する所に提供するハイレベル命令語処理部３６２を含む。応用モジュール制御部３７０はハイレベル命令語処理部３６２から提供された命令語に従って応用モジュール３８０の動作を制御する。すなわち、ハイレベル命令語処理部３６２はＡＰＩを通じて提供されたハイレベル命令語に応じてこれに対応する応用モジュール３８０が存在するかを識別し、対応する応用モジュール３８０が存在する場合、該当する応用モジュール３８０で認識できる命令語にデコーディングして該当するマッピング部に伝送するかメッセージ伝送を制御する。したがって、応用モジュール制御部３７０は、動作認識モジュール３８１と、音声認識モジュール３８２および命令処理モジュール３８３に対する動作認識モジュールマッピング部３７１、音声認識モジュールマッピング部３７３及び命令処理モジュールマッピング部３７５と、動作認識モジュールインタフェース部３７２、音声認識モジュールインタフェース部３７４及び命令処理モジュールインタフェース部３７６をそれぞれ含む。
【００７３】
動作認識モジュールマッピング部３７１は、ハイレベル命令語処理部３６２から電子装置１００に付帯されたカメラを通じて使用者の動作を認識し、認識結果を処理するためのハイレベルの命令語の提供をうけて動作認識モジュール３８１で処理できるデバイスレベルにマッピングし、動作認識モジュールインタフェース部３７２を通じて動作認識モジュール３８１に提供する。音声認識モジュールマッピング部３７３および音声認識モジュールインタフェース部３７４は、電子装置１００に付帯されたマイクを通じて使用者の音声命令を認識し、これを処理する部分である。すなわち、音声認識モジュールマッピング部３７３は、ハイレベル命令語処理部３６２から音声認識モジュール３８２を利用するためのハイレベル命令語の提供を受けて、これをデバイスレベルの命令語にマッピングさせ、音声認識モジュールインタフェース部３７４を通じて音声認識モジュール３８２に提供する。命令処理モジュール３８３は音声認識モジュール３８２を通じて伝達された使用者の音声命令を分析し、これを処理する部分である。命令処理モジュールマッピング部３７５は使用者の音声命令を実行するために、ハイレベル命令語処理部３６２を通じて印加されたハイレベル命令語の提供を受けて命令処理モジュール３８３が認識できるデバイスレベルの命令語にマッピングさせる。デバイスレベルの命令語は命令処理モジュールインタフェース部３７６を通じて命令処理モジュール３８３に提供される。これに伴い、命令処理モジュール３８３が実行されて使用者の動きによる動作認識値とメモリシステム１５０に保存されたトリガー基準との比較結果が提供され、動作認識値がトリガー基準の範囲内にある場合に電子装置の音声認識モードが活性化し、音声認識モジュール３８２により分析された使用者の音声命令を遂行する。
【００７４】
このような機能を遂行するように構成されたＡＰＩ３６１に対する細部的なメンバー関数をさらに詳細に説明すると、次の通りである。開放ＡＰＩ（Ｏｐｅｎ  ＡＰＩ）は、電子装置１００の要請に従って装置のオン／オフ、ロック画面の表示、動作認識、音声認識および使用者の音声命令処理に関する応用モジュールのセッションを開放するために使用される。閉鎖ＡＰＩ（Ｃｌｏｓｅ  ＡＰＩ）は、使用された応用モジュールに対するセッションの終了に使用される。検索ＡＰＩ（Ｒｅｔｒｉｅｖｅ  ＡＰＩ）は、電子装置１００で呼び出し可能な応用モジュールの検索に使用される。状態ＡＰＩ（Ｓｔａｔｕｓ  ＡＰＩ）は、各応用モジュールの動作状態を判断するために使用される。初期化ＡＰＩ（Ｉｎｉｔｉａｌｉｚｅ  ＡＰＩ）は、応用モジュールを呼び出しできるように初期化する機能を有する。リストＡＰＩ（Ｌｉｓｔ  ＡＰＩ）は、電子装置１００を通じて使用者に提供される機能や動作、動作認識や音声認識を通じて実行可能な命令語リストなどの確認に使用される。記録ＡＰＩ（Ｒｅｇｉｓｔｅｒ  ＡＰＩ）は、使用者が電子装置１００を通じて入力した動作や音声命令などの情報を記録する機能を有する。削除ＡＰＩ（Ｕｎｒｅｇｉｓｔｅｒ  ＡＰＩ）は、使用者が入力した動作や音声命令語などの情報の削除に使用される。つまり、使用される応用モジュールやメッセージの伝送形態に応じてこのような個別的なＡＰＩが実行され、それにより、使用者の動作認識、音声認識及び命令実行のための応用モジュールの利用が可能となる。
【００７５】
以上、添付された図面を参照して本発明の実施例を説明したが、本発明が属する技術分野で通常の知識を有する者は、本発明のその技術的思想や必須の特徴を変更することなく他の具体的な形態に実施できることが理解できるはずである。したがって、以上で記述された実施例は、すべての面において例示的なものであって、限定的ではないものと理解されるべきである。本発明の範囲は前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲そしてその均等概念から導き出されるすべての変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
【符号の説明】
【００７６】
１０  ＴＶ
２０  エアコン
３０  料理機器
４０  ノートパソコン
５０  ロボット掃除機
６０  食器洗浄器
７０  冷蔵庫
８０  電子レンジ
９０  洗濯機
１００  電子装置
１１０  入力装置
１１２  カメラ
１１４  マイク
１２０  出力装置
１３０  センサ部
１３２  動作センサ
１３４  音声センサ
１４０  制御部
１４２  ＣＰＵ
１４４  映像信号処理部
１４６  音声信号処理部
１５０  メモリシステム
１５２  メインメモリ
１５４  補助メモリ
３６１  ＡＰＩ
３６２  ハイレベル命令語処理部
３７０  応用モジュール制御部
３７１  動作認識モジュールマッピング部
３７２  動作認識モジュールインタフェース部
３７３  音声認識モジュールマッピング部
３７４  音声認識モジュールインタフェース部
３７５  命令処理モジュールマッピング部
３７６  命令処理モジュールインタフェース部
３８０  応用モジュール
３８１  動作認識モジュール
３８２  音声認識モジュール
３８３  命令処理モジュール
【図１】
2019520626.tif 000003
【図２】
2019520626.tif 000004
【図３】
2019520626.tif 000005
【図４】
2019520626.tif 000006
【図５】
2019520626.tif 000007
【図６】
2019520626.tif 000008
【図７】
2019520626.tif 000009
【図８】
2019520626.tif 000010
【図９】
2019520626.tif 000011
【図１０】
2019520626.tif 000012
【図１１】
2019520626.tif 000013
【図１２】
2019520626.tif 000014
【図１３】
2019520626.tif 000015
【図１４】
2019520626.tif 000016
【図１５】
2019520626.tif 000017
【国際調査報告】
2019520626.tif 000018
2019520626.tif 000019
2019520626.tif 000020
2019520626.tif 000021