(57)【特許請求の範囲】
【請求項１】
ユーザが入力した音声信号、画像信号及び／又は環境センサー信号を含むマルチモードの入力信号を受信するステップと、
前記マルチモードの入力信号に基づいて前記ユーザの意図を判定するステップと、
前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップと、
を含み、
前記ユーザの意図が問題の解答を求めるものを含み、
前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、
前記ユーザが入力した音声に含まれている問題に対して、検索して前記問題の解答を取得し、前記解答をユーザに出力し、
前記解答をユーザに出力した後、前記ユーザが入力した音声に含まれている問題と関連する推奨情報を取得し、前記推奨情報をユーザに出力し、
前記推奨情報は、会話を続けるように、前記ユーザが入力した音声に含まれている問題と関連する他の問題を含み、
前記解答は、インターネット上の情報に基づいて検索することにより取得され、
前記他の問題は、前記ユーザが入力した音声に含まれている問題を分析することにより取得され、
前記マルチモードの入力信号を受信する前に、更に、
前記ユーザと関連する別のユーザが送信したビデオを受信し、前記ユーザにビデオを再生するかどうかを提示し、
前記環境センサー信号は、現在の環境の環境情報を提示するものであり、
前記マルチモードの入力信号を受信した後、更に、
前記環境情報に含まれている指標においてモード切替閾値に達した指標があるとき、前記モード切替閾値に達した指標の傾向を変更するように、スマートハウス制御システムによって前記モード切替閾値に達した指標に対応する家電のモードを制御すること、
を特徴とする人工知能に基づくヒューマンコンピュータインターアクションの方法。
【請求項２】
前記マルチモードの入力信号に基づいて前記ユーザの意図を判定するステップは、
前記ユーザが入力した音声信号に対して音声認識を行い、音声認識の結果に基づいて、画像信号及び／又はセンサー信号と結合して前記ユーザの意図を判定すること、
を特徴とする請求項１に記載の方法。
【請求項３】
前記マルチモードの入力信号に基づいて前記ユーザの意図を判定するステップは、
前記ユーザが入力した音声信号に対して音声認識を行い、音源定位を通じてディスプレイを前記ユーザのいる方位に回し、カメラ支援顔認識機能を利用して前記ユーザの個人情報を識別するステップと、
前記音声認識の結果、前記ユーザの個人情報、及び保存された前記ユーザの嗜好情報に基づいて前記ユーザの意図を判定するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、
前記ユーザの意図に基づいて、クラウド側のデータベースにおいて個別的データマッチングをし、前記ユーザに相応しい推奨情報を取得して前記ユーザに出力すること、
を特徴とする請求項１又は２に記載の方法。
【請求項５】
前記推奨情報にアドレス情報が含まれる場合において、
前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、
前記ユーザのいる場所から前記アドレス情報が指し示した場所までの交通ルートを取得し、前記ユーザの行動のパターンに従って前記ユーザに相応しい交通手段を取得し、前記交通手段を前記ユーザに推奨すること、
を特徴とする請求項４に記載の方法。
【請求項６】
前記ユーザの意図に時間情報が含まれる場合において、
前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、
前記ユーザの意図の時間情報に基づいて目覚まし時計の時刻を設定し、その設定結果を前記ユーザにフィードバックすること、
を特徴とする請求項２又は３に記載の方法。
【請求項７】
前記設定結果をユーザにフィードバックした後、更に、
前記ユーザに伝言メッセージを記録するように促し、前記目覚まし時計の時刻になると、アラームを鳴らし、前記ユーザの伝言メッセージを再生すること、
を特徴とする請求項６に記載の方法。
【請求項８】
前記ユーザの意図が、前記ビデオの再生に賛成するものである場合において、
前記ユーザの意図を処理するステップは、前記ユーザと関連する別のユーザが送信したビデオを再生すること、
を特徴とする請求項１に記載の方法。
【請求項９】
前記ユーザと関連する別のユーザが送信したビデオを再生した後、更に、
前記ユーザから送信された音声を受信し、前記音声を前記ユーザと関連する別のユーザに送信すること、
を特徴とする請求項８に記載の方法。
【請求項１０】
前記ユーザの意図がビデオの再生を要求するものである場合において、
前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、
無線ネットワークを通じてクラウド側のサーバから前記ユーザが要求したビデオを取得し、取得されたメルチメディア情報を再生すること、
を特徴とする請求項２又は３に記載の方法。
【請求項１１】
前記マルチモードの入力信号を受信する前に、更に、
前記ユーザと関連する別のユーザが送信した通話リクエストを受信し、前記ユーザに通話に応答するかどうかを提示すること、
を特徴とする請求項２又は３に記載の方法。
【請求項１２】
前記ユーザの意図が通話に応答するものである場合において、
前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、
前記ユーザを前記ユーザと関連する別のユーザとを通話させ、通話中、カメラを制御して話者である前記ユーザの方位を検出し、カメラを話者に回すステップと、
前記ユーザと関連する別のユーザが、前記別のユーザにより使われるスマートデバイスにインストールされたＡｐｐを通じて、前記ユーザが関心を寄せる顔をクリックすると、ビデオカメラ顔追跡機能が作動し、カメラに前記ユーザが関心を寄せる顔を追跡させるステップと、
を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記マルチモードの入力信号を受信した後、更に、
前記環境情報に含まれている指標において警告閾値を超えた指標があるとき、危険警報をし、同時に危険を処理する方法を出力し、並びにカメラを作動して撮影すること、
を特徴とする請求項１に記載の方法。
【請求項１４】
ユーザが入力した音声信号、画像信号及び／又は環境センサー信号を含むマルチモードの入力信号を受信する受信モジュールと、
前記受信モジュールが受信したマルチモードの入力信号に基づいて前記ユーザの意図を判定する意図判定モジュールと、
前記意図判定モジュールが判定した前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックする処理モジュールと、を含み、
前記ユーザの意図が問題の解答を求めるものであるものを含み、
前記処理モジュールは、
具体的に前記ユーザが入力した音声に含まれている問題に対して、検索して前記問題の解答を取得し、前記解答をユーザに出力し、
前記解答をユーザに出力した後、前記ユーザが入力した音声に含まれている問題と関連する推奨情報を取得し、前記推奨情報をユーザに出力し、
前記推奨情報は、会話を続けるように、前記ユーザが入力した音声に含まれている問題と関連する他の問題を含み、
前記解答は、インターネット上の情報に基づいて検索することにより取得され、
前記他の問題は、前記ユーザが入力した音声に含まれている問題を分析することにより取得され、
前記受信モジュールは、マルチモードの入力信号を受信する前に、前記ユーザと関連する別のユーザが送信したビデオを受信し、
更に、前記ユーザに前記ビデオを再生するかどうかを提示する提示モジュールを含み、
前記環境センサー信号は、現在の環境の環境情報を提示し、
前記処理モジュールは、前記環境情報に含まれている指標においてモード切替閾値に達した指標があるとき、前記モード切替閾値に達した指標の傾向を変更するように、スマートハウス制御システムによって前記モード切替閾値に達した指標に対応する家電のモードを制御することを特徴とする人工知能に基づくヒューマンコンピュータインターアクションの装置。
【請求項１５】
前記意図判定モジュールは、
具体的に前記ユーザが入力した音声信号に対して音声認識を行い、音声認識の結果に基づいて、画像信号及び／又はセンサー信号と結合して前記ユーザの意図を判定すること、
を特徴とする請求項１４に記載の装置。
【請求項１６】
前記意図判定モジュールは、
具体的に前記ユーザが入力した音声信号に対して音声認識を行い、音源定位を通じてディスプレイを前記ユーザのいる方位に回し、カメラ支援顔認識機能を利用して前記ユーザの個人情報を識別し、前記音声認識の結果、前記ユーザの個人情報、及び保存された前記ユーザの嗜好情報に基づいて前記ユーザの意図を判定すること、
を特徴とする請求項１４に記載の装置。
【請求項１７】
前記処理モジュールは、
具体的に前記ユーザの意図に基づいて、クラウド側のデータベースにおいて個別的データマッチングをし、前記ユーザに相応しい推奨情報を取得して前記ユーザに出力すること、
を特徴とする請求項１５又は１６に記載の装置。
【請求項１８】
前記推奨情報にアドレス情報が含まれる場合において、前記処理モジュールは、具体的に前記ユーザのいる場所から前記アドレス情報が指し示す場所までの交通ルートを取得し、前記ユーザの行動のパターンに従って前記ユーザに相応しい交通手段を取得し、前記交通手段を前記ユーザに推奨すること、
を特徴とする請求項１７に記載の装置。
【請求項１９】
前記ユーザの意図に時間情報が含まれる場合において、
前記処理モジュールは、
具体的に前記ユーザの意図の時間情報に基づいて目覚まし時計の時刻を設定し、その設定結果を前記ユーザにフィードバックすること、
を特徴とする請求項１５又は１６に記載の装置。
【請求項２０】
前記処理モジュールによって設定結果を前記ユーザにフィードバックした後、前記ユーザに提示し、並びに前記目覚まし時計の時刻になると、アラームを鳴らす提示モジュールと、
前記ユーザの伝言メッセージを記録する記録モジュールと、
を更に含み、
前記処理モジュールは、更に前記記録モジュールが記録したユーザの伝言メッセージを再生すること、
を特徴とする請求項１９に記載の装置。
【請求項２１】
前記ユーザの意図が前記ビデオの再生に賛成するものである場合において、
前記処理モジュールは、具体的にユーザと関連する別のユーザが送信したビデオを再生すること、
を特徴とする請求項１４に記載の装置。
【請求項２２】
前記受信モジュールは、処理モジュールが前記ユーザと関連する別のユーザが送信したビデオを再生した後、前記ユーザが送信した音声を受信し、
前記受信モジュールが受信した音声を前記ユーザと関連する別のユーザに送信する送信モジュール、
を更に含むことを特徴とする請求項２１に記載の装置。
【請求項２３】
前記ユーザの意図がビデオの再生を要求するものである場合において、
前記処理モジュールは、無線ネットワークを通じてクラウド側のサーバから前記ユーザが要求したビデオを取得し、取得されたメルチメディア情報を再生すること、
を特徴とする請求項１５又は１６に記載の装置。
【請求項２４】
前記受信モジュールは、マルチモードの入力信号を受信する前に、前記ユーザと関連する別のユーザが送信した通話リクエストを受信し、
前記ユーザに通話に応答するかどうかを提示する提示モジュール、
を更に含むことを特徴とする請求項１５又は１６に記載の装置。
【請求項２５】
前記ユーザの意図が通話に応答するものである場合において、
前記処理モジュールは、
前記ユーザと、前記ユーザと関連する別のユーザと、を通話させ、通話中、カメラを制御して、話者である前記ユーザの方位を検出し、前記カメラを話者に回し、前記ユーザと関連する別のユーザが、前記別のユーザにより使われているスマートデバイスにインストールされたＡｐｐを通じて前記ユーザが関心を寄せる顔をクリックすると、ビデオカメラ顔追跡機能が作動し、カメラに前記ユーザが関心を寄せる顔を追跡させること、
を特徴とする請求項２４に記載の装置。
【請求項２６】
前記処理モジュールは、前記環境情報に含まれている指標において警告閾値を超えた指標があるとき、危険警報をし、同時に危険を処理する方法を出力し、並びにカメラを作動して撮影すること、
を特徴とする請求項１４に記載の装置。
【請求項２７】
受信部と、処理部と、記憶部と、回路基板と、電源回路と、を含み、そのうち、
前記回路基板はケースによって囲まれた空間内部に配置され、処理部と記憶部は回路基板に配置され、電源回路は端末機器の各回路又は装置に給電し、記憶部は実行可能なプログラムコードを記憶し、
前記受信部は、ユーザが入力した音声信号、画像信号及び／又は環境センサー信号を含むマルチモードの入力信号を受信し、
前記処理部は、前記マルチモードの入力信号に基づいて前記ユーザの意図を判定するステップと、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップと、を実行できるように、前記記憶部に記憶された実行可能なプログラムコードを読み取って前記実行可能なプログラムコードに対応するプログラムを実行し、
前記ユーザの意図が問題の解答を求めるものを含み、
前記処理部は、
具体的に前記ユーザが入力した音声に含まれている問題に対して、検索して前記問題の解答を取得し、前記解答をユーザに出力し、
前記解答をユーザに出力した後、前記ユーザが入力した音声に含まれている問題と関連する推奨情報を取得し、前記推奨情報をユーザに出力し、
前記推奨情報は、会話を続けるように、前記ユーザが入力した音声に含まれている問題と関連する他の問題を含み、 
前記解答は、インターネット上の情報に基づいて検索することにより取得され、 
前記他の問題は、前記ユーザが入力した音声に含まれている問題を分析することにより取得され、
前記受信部は、マルチモードの入力信号を受信する前に、更に前記ユーザと関連する別のユーザが送信したビデオを受信し、
前記処理部は、更に前記ユーザに前記ビデオを再生するかどうかを提示し、
センサーを更に含み、
前記センサーの信号が現在の環境の環境情報を提示し、
前記処理部は、前記環境情報に含まれている指標においてモード切替閾値に達した指標があるとき、前記モード切替閾値に達した指標の傾向を変更するように、スマートハウス制御システムによって前記モード切替閾値に達した指標に対応する家電のモードを制御すること、
を特徴とする端末機器。
【請求項２８】
前記処理部は、具体的に前記ユーザが入力した音声信号に対して音声認識を行い、音声認識の結果に基づいて、画像信号及び／又はセンサー信号と結合して前記ユーザの意図を判定すること、
を特徴とする請求項２７に記載の端末機器。
【請求項２９】
カメラを更に含み、
前記処理部は、具体的に前記ユーザが入力した音声信号に対して音声認識を行い、音源定位を通じてディスプレイを前記ユーザのいる方位に回し、カメラ支援顔認識機能を利用して前記ユーザの個人情報を識別し、前記音声認識の結果、前記ユーザの個人情報、保存された前記ユーザの嗜好情報に基づいて前記ユーザの意図を判定すること、
を特徴とする請求項２７に記載の端末機器。
【請求項３０】
前記処理部は、具体的に前記ユーザの意図に基づいて、クラウド側のデータベースにおいて個別的データマッチングをし、前記ユーザの推奨情報を取得し、前記ユーザに相応しい推奨情報を前記ユーザに出力すること、
を特徴とする請求項２８又は２９に記載の端末機器。
【請求項３１】
前記推奨情報にアドレス情報が含まれる場合において、
前記処理部は、具体的に前記ユーザのいる場所から前記アドレス情報が指し示した場所までの交通ルートを取得し、前記ユーザの行動のパターンに従って前記ユーザに相応しい交通手段を取得し、前記交通手段を前記ユーザに推奨すること、
を特徴とする請求項３０に記載の端末機器。
【請求項３２】
前記ユーザの意図に時間情報が含まれる場合において、
前記処理部は、具体的に前記ユーザの意図に係る前記時間情報に基づいて目覚まし時計の時刻を設定し、その設定結果を前記ユーザにフィードバックすること、
を特徴とする請求項２８又は２９に記載の端末機器。
【請求項３３】
前記処理部は、設定結果を前記ユーザにフィードバックした後、前記ユーザに伝言メッセージを記録するように促し、前記目覚ましい時計の時刻になると、アラームを鳴らし、前記ユーザの伝言メッセージを再生すること、
を特徴とする請求項３２に記載の端末機器。
【請求項３４】
前記ユーザの意図が前記ビデオの再生に賛成するものである場合において、
前記処理部は、具体的に前記ユーザと関連する別のユーザが送信したビデオを再生すること、
を特徴とする請求項２７に記載の端末機器。
【請求項３５】
前記受信部は、前記処理部が前記ユーザと関連する別のユーザが送信したビデオを再生した後、更に、前記ユーザが送信した音声を受信し、
前記音声を前記ユーザと関連する別のユーザに送信する送信部、
を更に含むことを特徴とする請求項３４に記載の端末機器。
【請求項３６】
前記ユーザの意図がビデオの再生を要求するものである場合において、
前記処理部は、無線ネットワークを通じてクラウド側のサーバから前記ユーザが要求したビデオを取得し、取得されたメルチメディア情報を再生すること、
を特徴とする請求項２８又は２９に記載の端末機器。
【請求項３７】
前記受信部は、マルチモードの入力信号を受信する前に、前記ユーザと関連する別のユーザが送信した通話リクエストを受信し、
前記処理部は、前記ユーザに通話に応答するかどうかを提示すること、
を特徴とする請求項２８又は２９に記載の端末機器。
【請求項３８】
カメラを更に含み、
前記ユーザの意図が通話に応答するものである場合において、
前記処理部は、前記ユーザを、前記ユーザと関連する別のユーザと、通話させ、通話中、カメラを制御して話者である前記ユーザの方位を検出し、前記カメラを話者に回し、前記ユーザと関連する別のユーザが、前記別のユーザにより使われるスマートデバイスにインストールされたＡｐｐを通じて、前記ユーザが関心を寄せる顔をクリックすると、ビデオカメラ顔追跡機能が作動し、前記カメラに前記ユーザが関心を寄せる顔を追跡させること、
を特徴とする請求項３７に記載の端末機器。
【請求項３９】
前記処理部は、更に前記環境情報に含まれている指標において警告閾値を超えた指標があるとき、危険警報をし、同時に危険を処理する方法を出力し、並びにカメラを作動して撮影すること、
を特徴とする請求項２７に記載の端末機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートデバイス技術に関し、特に人工知能に基づくヒューマンコンピュータインターアクションの方法、装置及び端末機器に関する。
【背景技術】
【０００２】
中国社会におけるますます進む高齢化、少子化と都市化に伴って、以下の問題が生じた。
【０００３】
１、若者は仕事でストレスが溜まり、分身もなく、家族の高齢者や児童に付き添う余裕がない。
【０００４】
２、親と子女が離ればなれになっていることがごく普通になり、家族のメンバー、親戚が違う場所に住んでおり、家庭内のコミュニケーションコストが高く、親密で有効で便利な交流方法もない。
【０００５】
３、年老いた老人及び幼い児童は、思いやり、コミュニケーション、教育、情報獲得の支援を他の誰よりも必要とするが、子女又は親がいないとなると、とても無理である。
【０００６】
４、若者が他所で働くとき、いつでもどこでも自分の「家」（家電制御も含む）、「家族」（前世代である親、次世代である児童を含む）と連絡を取りたがる。このような連絡方法には、家族にサービスを提供するため、より低い利用制限とより高い親密度が要求される。
【０００７】
５、離ればなれの家族同士は、より親密で便利な連絡手段を求める。中国における伝統的な家族観念により、やむを得ず家族と離れるとき、すべての人はある方法を通していつでも家族と一家の団欒を楽しみたがる。
【０００８】
６、年老いた老人及び幼い児童が日常の看護、付き添い及び助けの重要対象であるにもかかわらず、看護、付き添い、助け、教育という責任を背負う若者は、仕事で厳しいノルマを抱え、老人と児童の傍に付き添えない。
【０００９】
しかしながら、従来の技術では、前記問題に対する解決方法を提供できず、高機能で高付き添い型のインテリジェントヒューマンコンピュータインターアクションが不可能であるため、ユーザのニーズを満たすことができず、ユーザエクスペリエンスもよくない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、先行技術に存在する技術問題点の少なくとも１つを解決することを目的とする。
【００１１】
そのため、本発明は人工知能に基づくヒューマンコンピュータインターアクションの方法を提供することを目的とする。該方法により、良好なヒューマンコンピュータインターアクションを実現することができ、高機能で高付き添い型のインテリジェントヒューマンコンピュータインターアクションを実現することが可能となる。
【００１２】
本発明は、人工知能に基づくヒューマンコンピュータインターアクションに係る装置を提供することを第2の目的とする。
【００１３】
本発明は端末機器を提供することを第3の目的とする。
【課題を解決するための手段】
【００１４】
前記目的を達成するため、本発明の実施形態１に係る人工知能に基づくヒューマンコンピュータインターアクションの方法は、ユーザが入力した音声信号、画像信号及び／又は環境センサー信号を含むマルチモードの入力信号を受信するステップと、前記マルチモードの入力信号に基づいて前記ユーザの意図を判定するステップと、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップとを含む。
【００１５】
本発明の実施形態に係る人工知能に基づくヒューマンコンピュータインターアクションの方法は、マルチモードの入力信号を受信した後、前記マルチモードの入力信号に基づいて、前記ユーザの意図を判定し、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックすることにより、良好なヒューマンコンピュータインターアクションを実現することができ、高機能で高付き添う型のインテリジェントヒューマンコンピュータインターアクションも実現でき、更にユーザエクスペリエンスを向上させることができる。
【００１６】
前記目的を達成するため、本発明の実施形態２に係る人工知能に基づくヒューマンコンピュータインターアクションの装置は、ユーザが入力した音声信号、画像信号及び／又は環境センサー信号を含むマルチモードの入力信号を受信する受信モジュールと、前記受信モジュールが受信したマルチモードの入力信号に基づいて前記ユーザの意図を判定する意図判定モジュールと、前記意図判定モジュールが判定した前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックする処理モジュールとを含む。
【００１７】
本発明の実施形態に係る人工知能に基づくヒューマンコンピュータインターアクションの装置は、受信モジュールがマルチモードの入力信号を受信した後、意図判定モジュールが前記マルチモードの入力信号に基づいて、前記ユーザの意図を判定し、処理モジュールが前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックすることにより、良好なヒューマンコンピュータインターアクションを実現することができ、高機能で高付き添う型のインテリジェントヒューマンコンピュータインターアクションも実現でき、更にユーザエクスペリエンスを向上させることができる。
【００１８】
前記目的を達成するため、本発明の実施形態３に係る端末機器は、受信部、処理部、記憶部、回路基板と電源回路を含む。そのうち、前記回路基板はケースによって囲まれた空間内部に配置され、前記処理部と前記記憶部は回路基板に配置され、前記電源回路は前記端末装置の各回路又は装置に給電し、前記記憶部は実行可能なプログラムコードを記憶し、前記受信部はユーザが入力した音声信号、画像信号及び／又は環境センサー信号を含むマルチモードの入力信号を受信し、前記処理部は、前記マルチモードの入力信号に基づいて前記ユーザの意図を判定するステップと、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップとを実行できるように、前記記憶部に記憶された実行可能なプログラムコードを読み取って実行可能なプログラムコードに対応するプログラムを実行する。
【発明の効果】
【００１９】
本発明の実施形態に係る端末装置は、受信部がマルチモードの入力信号を受信した後、処理部が前記マルチモードの入力信号に基づいて、前記ユーザの意図を判定した後、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックすることにより、良好なヒューマンコンピュータインターアクションを実現することができ、高機能で高付き添い型のインテリジェントヒューマンコンピュータインターアクションを実現でき、更にユーザエクスペリエンスを向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態による人工知能に基づくヒューマンコンピュータインターアクションの方法を示すフローチャートである。
【図２】本発明の一実施形態による人工知能に基づくヒューマンコンピュータインターアクションの装置を示す模式図である。
【図３】本発明の他の実施形態による人工知能に基づくヒューマンコンピュータインターアクションの装置を示す模式図である。
【図４】本発明の一実施形態による端末装置を示す模式図である。
【図５】本発明の一実施形態による知能ロボットを示す図である。
【図６】本発明の一実施形態による知能ロボットによるスクリーンインターアクションを示す図である。
【発明を実施するための形態】
【００２１】
本発明の付加的側面及び利点は、下記の説明において部分的に表され、一部は下記の説明により明らかとなり、又は本発明の実行により理解されうる。
【００２２】
本発明の上述、及び／又は、付加的側面と利点は、下記図面を参照した実施形態に関する説明において、明らかとなり、理解容易となる。
【００２３】
以下、本発明の実施の形態について詳細に説明する。実施の形態の実例は図面において示されるが、同一又は類似の符号が、同一若しくは類似の部品、又は、同一若しくは類似の機能を有する部品を表す。以下、図面を参照しながら説明する実施形態は例示的なものであり、本発明を広義に理解するために用いられる。実施形態は、本発明を制限するよう解釈されるべきではない。逆に、本発明の実施形態は、添付の請求の範囲に含まれる要旨及び内包範囲におけるあらゆる変形・変更及び均等物を含む。
【００２４】
高機能で高付き添い型のインテリジェントヒューマンコンピュータインターアクションを行わない、従来の技術における問題を解決するために、本発明は人工知能に基づいて、高機能で高付き添い型のインテリジェントヒューマンコンピュータインターアクションを実現した。人工知能（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩと略称する）とは、人間の知能をシミュレート・延伸・拡張するための、論理、方法、技術及び応用システムを研究・開発する新しい科学技術である。人工知能は計算機科学のブランチであり、知能の本質を捉えようとすると同時に、人間の知能と同様に反応する新しい知能ロボットを作り出すよう試みる。該分野の研究はロボット、音声認識、画像認識、自然言語処理とエキスパートシステム等を含む。
【００２５】
人工知能は人間の意識、思考の情報処理をシミュレートする。人工知能は人間の知能ではないが、人間と同様に考えることができ、人間の知能を超えることも可能である。人工知能は幅広い科学を含み、機械学習、計算機資格等の異なる分野からなる。要約すれば、人工知能研究の主たる目標は機械に人間の知能でしか完成できない複雑な仕事を務めさせることである。
【００２６】
図１は本発明の一実施形態による人工知能に基づくヒューマンコンピュータインターアクションの方法を示すフローチャートである。図１に示すように、該人工知能に基づくヒューマンコンピュータインターアクションの方法は、以下のステップを含むことが可能である。
【００２７】
ステップ１０１は、ユーザが入力した音声信号、画像信号及び／又は環境センサー信号を含むマルチモードの入力信号を受信するステップである。
【００２８】
具体的には、ユーザの入力する音声信号はユーザがマイクにより入力可能であり、前記画像信号はカメラにより入力可能であり、前記環境センサー信号は光センサー、温湿度センサー、有毒ガスセンサー、粒子状物質センサー、タッチモジュール、地理的位置定位モジュールと重力センサーの中の一つ又は複数のセンサーにより入力される信号である。
【００２９】
ステップ１０２は、上述したマルチモードの入力信号に基づいて、上記のユーザの意図を判定するステップである。
【００３０】
ステップ１０３は、上記のユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップである。
【００３１】
具体的には、処理結果を前記ユーザにフィードバックするステップは、処理結果を画像、文字列から音声、ロボットの身体の動き及び／又はロボットの点灯フィードバック等を通じ、ユーザにフィードバックすることを含みうる。本実施形態は処理結果をフィードバックする方法を制限しない。
【００３２】
本実施形態の例示では、前記マルチモードの入力信号に基づいて前記ユーザの意図を判定するステップは、前記ユーザが入力した音声信号に対して音声認識を行い、音声認識の結果に基づいて、画像信号及び／又はセンサー信号と結合して前記ユーザの意図を判定することになる。
【００３３】
又は、前記マルチモードの入力信号に基づいて前記ユーザの意図を判定するステップは、前記ユーザが入力した音声信号に対して音声認識を行い、音源定位を通じてディスプレイを前記ユーザのいる方位に回し、カメラ支援顔認識機能を利用して前記ユーザの個人情報を識別するステップと、音声認識の結果、前記ユーザの個人情報、及び保存された前記ユーザの嗜好情報に基づいて前記ユーザの意図を判定するステップとを含んでもよい。
【００３４】
本実施形態において、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、前記ユーザの意図に基づいて、クラウド側のデータベースにおいて個別的データマッチングをし、前記ユーザに相応しい推奨情報を取得して前記ユーザに対して出力することになる。その中で、前記ユーザに相応しい推奨情報を前記ユーザに対して出力することは、前記ユーザに相応しい推奨情報を前記ユーザに音声出力することもできるし、又は前記ユーザに相応しい推奨情報を文字列としてディスプレイに表示することもできる。本実施形態は前記ユーザに相応しい推奨情報を前記ユーザに対して出力する方法を制限しない。
【００３５】
更に、前記推奨情報にアドレス情報が含まれる場合、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、前記ユーザのいる場所から前記アドレス情報が指し示した場所までの交通ルートを取得し、前記ユーザの行動のパターンに従って前記ユーザに相応しい交通手段を取得し、前記交通手段を前記ユーザに推奨することになる。その中で、前記交通手段を前記ユーザに推奨することとして、前記交通手段を前記ユーザに対して音声出力することも可能であり、又は前記交通手段を文字列としてディスプレイに表示することも可能である。本実施形態は前記交通手段を前記ユーザに対して出力する方法を制限しない。
【００３６】
つまり、本実施形態は、人間との数回の会話交流を実現でき、自然言語、表情を通じて人間とコミュニケーションすることができ、個別的学習能力を備え、インテリジェントクラウド側のサーバに接続することにより関連知識を取得し、同時にターゲットを絞ってユーザに提供する。
【００３７】
例えば、お年寄りが外出して何らかのイベントに参加することを希望する場合で、付近に面白そうなイベントがあるかどうかを知らない場合がある。この場合、本実施形態に係る方法がなければ、通常の解決方法として、お年寄りは子女に電話をかけて聞くか、又は家を出て近所の人や町内会に問い合わせるしかない。
【００３８】
しかし、本実施形態に係る方法を利用すれば、お年寄りは、知能ロボット等の本実施形態に係る方法を実現する端末装置に向かって、「度ロボットちゃん、この近くに私に相応しいイベントがありませんか」と質問することができる。
【００３９】
知能ロボットは音源定位を通じて知能ロボットのディスプレイ（例えば、知能ロボットの顔）をお年寄りのいる方位に回し、ＨＤカメラ支援顔認識機能を利用して話者の姓名、年齢、性別等の個人情報を正確に識別し、話者の日常的な行動と好み、年齢と性別等の情報に基づいて、話者が入力した音声の意図を判定し、入力された音声の意図に基づいてクラウド側のデータベース中において個別的データマッチングをし、話者に最も相応しい推奨情報を選び出し、前記推奨情報として、「度はお好きになるかもしれないイベントを見つけました。今日の午後２時にここから８００メートルの南湖公園でお年寄りのための社交ダンスパーティーがありますが、いかがでしょうか」と前記話者に対して音声出力する。その中で、該推奨情報にはアドレス情報「南湖公園」が含まれている。
【００４０】
ユーザが「よいですね。このイベントが気に入りました。どうやって行けるのですか」と返答したとする。ユーザが入力した音声を受信した後、知能ロボットは前記ユーザにより入力された音声に対して音声認識を行い、音声認識の結果に基づいてユーザの意図が南湖公園に行きたいものであると判定すると、知能ロボットは地理的位置定位モジュールにより入力された信号に基づいてユーザの居る場所を確定し、自動的にユーザのいる場所から南湖公園までの交通ルートを検索し、前記ユーザの日常的な行動のパターンに従って前記ユーザに相応しい交通手段をスマートに取得し、その交通手段として、「ここから南湖まで８００メートルであり、徒歩時間がおよそ１５分で、徒歩ルートの地図を用意しました」とユーザに推奨する。
【００４１】
本実施形態の別の例示において、前記ユーザの意図に時間情報が含まれ、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、前記ユーザの意図の時間情報に基づいて目覚まし時計の時刻を設定し、その設定結果を前記ユーザにフィードバックすることになる。その中で、設定結果を前記ユーザにフィードバックするには、設定結果をユーザに対して音声出力してもよいし、又は設定結果を文字列としてユーザに対し表示してもよいし、当然ながら他のフィードバック方法を利用してもよい。本発明はこれを制限しない。
【００４２】
更に、設定結果をユーザにフィードバックした後、ユーザに提示することもでき、前記ユーザに伝言メッセージを記録するように促し、前記目覚まし時計の設定時刻になると、アラームを鳴らし、前記ユーザの伝言メッセージを再生する。
【００４３】
例えば、朝７時に母親は早起きして出張に行かなければならないが、児童のトットちゃんがまだ熟睡しているとする。家を出るとき、母親が知能ロボットに、「度ロボットちゃん、８時にトットちゃんを起こしてもらえませんか」と言う。音声を受信した後、知能ロボットが音声認識の結果に基づいてユーザの意図に時間情報が含まれていると識別すると、知能ロボットがユーザの意図における時間情報に基づいて目覚まし時計の時刻を設定、その設定結果を前記ユーザにフィードバックする。設定結果をユーザにフィードバックした後、更にユーザに提示することもでき、知能ロボットが「大丈夫です、目覚まし時計の時刻を設定しておきました。１時間後のちょうど８時にトットちゃんを起こします。トットちゃんが起きてから何か伝言がありますか」と返答する。
【００４４】
「ありがとう、度ちゃん。トットちゃんに伝えてください。朝ごはんができていて、電子レンジにおいておきました。今日はトットちゃんの誕生日ですから、おめでとうと伝えてください」と母親が言う。この場合、知能ロボットがユーザの伝言メッセージを記録し、前記目覚まし時計の設定時刻になるとアラームを鳴らし、前記ユーザの伝言メッセージを再生する。
【００４５】
本実施形態の別の例示において、マルチモードの入力信号を受信する前に、ユーザと関連する別のユーザが送信したマルチメディア情報を受信することができ、更にユーザにマルチメディア情報を再生するかどうかを提示する。ここにおいて、ユーザにマルチメディア情報を再生するかどうかを提示するには、ユーザにマルチメディア情報を再生するかどうかを提示する機能を果たすことができれば、音声提示を用いても、文字提示を用いても、又はその他の提示方法を用いてもかまわない。
【００４６】
前記ユーザの意図が、前記マルチメディア情報の再生に賛成であれば、ユーザの意図を処理するステップは、ユーザと関連する別のユーザが送信したマルチメディア情報を再生することになる。
【００４７】
更に、前記ユーザと関連する別のユーザが送信したマルチメディア情報を再生した後、ユーザから送信された音声を受信し、前記音声をユーザと関連する別のユーザに送信することもできる。その中で、前記音声をユーザと関連する別のユーザに送信するには、音声を直接ユーザと関連する別のユーザにより使われているスマートデバイスにインストールされたアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ、以下Ａｐｐと略称する）に送信するか、又は音声を文字に変換してユーザと関連する別のユーザにより使われているスマートデバイスにインストールされたＡｐｐに送信する。
【００４８】
例えば、昼１２時に、トットちゃんが家で食事をしている。
【００４９】
知能ロボットがユーザ（トットちゃん）と関連する別のユーザ（トットちゃんの母親）から送信されてマルチメディア情報（例えばビデオ）を受信した場合、知能ロボットがユーザにそのマルチメディア情報を再生するかどうかを提示する。すると知能ロボットは「こんにちは、トットちゃん、度がお母さんから送信されたビデオを受け取りましたが、今ご覧になりますか」と音声出力する。
【００５０】
トットちゃんが「すぐ再生してください」と返答する。トットちゃんが入力した音声を受信した後、知能ロボットが音声認識を行い、音声認識の結果に基づいてユーザの意図が前記動画情報の再生に同意するものであると判定すると、知能ロボットの顔のスクリーンにおいて自動的に母親が出張先で録画した誕生日祝福ビデオを再生する。
【００５１】
母親から送信されたビデオを再生した後、更にトットちゃんからの音声として、「度ちゃん、お母さんに伝えてください。ありがとう、愛している、いい旅をして早く帰れるようにって。」を受信することもできる。
【００５２】
この場合、知能ロボットは自動的にトットちゃんからの音声を文字に変換し、母親の携帯電話にインストールされていたＡｐｐに送信する。
【００５３】
本実施形態の別の例示において、ユーザの意図がマルチメディア情報の再生を要求することであってもよい。この場合、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、無線ネットワークを通じてクラウド側のサーバから前記ユーザが要求したマルチメディア情報を取得し、取得されたメルチメディア情報を再生することになる。
【００５４】
更に、マルチモードの入力信号を受信する前に、前記ユーザと関連する別のユーザが送信した通話リクエストを受信することができ、更に前記ユーザに通話に応答するかどうかを提示する。前記ユーザの意図が通話に応答することである場合、ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、ユーザと前記ユーザと関連する別のユーザとを通話させ、通話中、カメラを制御して話者である前記ユーザの方位を検出し、カメラを話者に回し、ユーザと関連する別のユーザが、前記別のユーザにより使われているスマートデバイスにインストールされたＡｐｐを通じて前記ユーザが関心を寄せている顔をクリックすると、ビデオカメラ顔追跡機能が作動し、カメラに前記ユーザが関心を寄せている顔を追跡させることになる。
【００５５】
例えば、夜の９時に、トットちゃんは家で友達とお誕生日会を開いている。
【００５６】
「度ちゃん、今日は私の誕生日ですから、誕生日の歌を一曲再生してもらえませんか」とトットちゃんが知能ロボットに聞く。知能ロボットは、前記音声を受信した後、音声認識の結果に基づいてトットちゃんが入力した音声の意図がマルチメディア情報（例えば、オーディオ情報である誕生日の歌）の再生であると判定する。
【００５７】
すると、知能ロボットは無線ネットワーク（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ、以下ＷｉＦｉと略称する）を通じてスマートクラウド側のサーバから誕生日の歌を検索し、それを再生するように自動的にローカルにダウンロードし、ユーザに処理結果として、「大丈夫です。今すぐ再生します」とフィードバックする。
【００５８】
再生を終えた後、知能ロボットがトットちゃんの母親から送信されたビデオ通話のリクエストを受信した。すると、知能ロボットがトットちゃんに「ビデオ通話のリクエストを受け取りました。お母さんがトットちゃんとビデオ通話をしようとしていますが、接続しますか。」と提示する。
【００５９】
「すぐ接続してください」とトットちゃんが言う。トットちゃんが入力した音声を受信した後、知能ロボットは、トットちゃんが入力したこの音声の意図が通話に接続することであると判定した後、遠くの余所で出張している母親により使われているスマートフォンにインストールされたＡｐｐと知能ロボットのＨＤビデオカメラとを接続し、母親をトットちゃん及びその友達とビデオ通話させる。ビデオ通話中、知能ロボットが自身のカメラを制御して自動的に話者の方位を確かめ、カメラを話者に回す。カメラを回すとき、インテリジェントなデュアルレンズカメラを切替えるアルゴリズムによってカメラの画面の安定化が保証され、揺れが生じない。母親の方は自分の使うスマートデバイスにインストールされたＡｐｐを通じてビデオの中の顔をクリックし、ビデオカメラ顔追跡機能を作動し、知能ロボットのカメラに母親が関心を寄せている顔を追跡し続けさせる。
【００６０】
つまり、本実施形態による人工知能に基づくヒューマンコンピュータインターアクションの方法は、いつでも家族と連絡を取ることが実現し、新しいインテリジェントなインターアクションの手段を有し、前記方法を実現する端末デバイスが家族間のコミュニケーション、手伝い、提示の架け橋になることができる。
【００６１】
本実施形態の他の例示において、前記環境センサーの信号は現在の環境の環境情報を提示するものである場合、マルチモードの入力信号を受信した後、前記環境情報に含まれている指標において警告閾値を超えた指標があるとき、危険警報をし、同時に危険を処理する方法を出力し、並びにカメラを作動して撮影する。その中で、前記警告閾値は前記環境情報の指標に応じて別々に設定できるが、本実施形態においては警告閾値の大小を制限しない。
【００６２】
つまり、人工知能に基づくヒューマンコンピュータインターアクションの方法は更に家族を災害から保護することができる。
【００６３】
例えば、本実施形態に係る方法に関する端末装置は、例えば知能ロボットに搭載されたPM2.5粒子状物質センサー、有毒ガスセンサー及び／又は温湿度センサー等のようなセンサーが知能ロボットの現在の環境の環境情報を取得することができるため、いつでもホーム環境の健康度をモニタリングすることができる。前記環境情報に含まれている指標において警告閾値を超えた指標があるとき、例えば家でガス漏れのような有毒ガス漏れが発生したとき、すぐに危険警報を送信し、音声で危険警告をし、同時に危険を処理する方法を知らせ、並びに自動的に危険状況を家族の携帯電話に送信し、自動的に警戒モードに入り、カメラを作動して家全体を撮影し記録する。
【００６４】
更に、前記環境情報に含まれている指標においてモード切替閾値に達した指標があるとき、スマートハウス制御システムによって前記モード切替閾値に達した指標に対応する家電のモードを制御し、家電の管理を実現する。その中で、前記モード切替閾値は同様に前記環境情報の指標に応じで別々に設定することができ、本実施形態においては警告閾値を制限しない。
【００６５】
例えば、本実施形態に係る方法に関する端末装置は、例えば知能ロボットに搭載されたPM2.5粒子状物質センサー、有毒ガスセンサー及び／又は温湿度センサー等のようなセンサーが、ホームの大気質や温湿度などのような知能ロボットの現在の環境の環境情報を取得することができる。大気質の濃度が高くなり、大気質のモード切替閾値に達した場合、知能ロボットが自動的にブルートゥーススマートハウス制御システムを通じて空気清浄器をつける。部屋の温度が高すぎたり低すぎたりして温度のモード切替閾値に達した場合、自動的にエアコンをつける。留守をして電気を消すのを忘れ、電気のモード切替閾値に達した場合、自動的に電気を消す。
【００６６】
本実施形態の他の例示において、前記ユーザの意図が問題の解答を求めることであるとする。この場合、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップは、ユーザが入力した音声に含まれている問題に対して、検索して前記問題の解答を取得し、前記解答をユーザに対して出力することになる。その中で、前記解答をユーザに対して出力するには、前記解答をユーザに対して音声出力してもよいし、前記解答を文字列としてユーザに対して表示してもよい。
【００６７】
更に、前記解答をユーザに対して出力した後、ユーザが入力した音声に含まれている問題と関連する推奨情報を取得し、前記推奨情報をユーザに対して出力することもできる。その中で、前記推奨情報をユーザに対して出力するには、前記推奨情報をユーザに対して音声出力してもよいし、前記推奨情報を文字列としてユーザに対して表示してもよい。
【００６８】
例えば、学習と成長盛りにある児童は世界のどんなものに対しても探求する好奇心を持っている。児童がよく「これは何ですか」又は「どうしてですか」のような質問をよく親に聞く。知能ロボットのような本実施形態による人工知能に基づくヒューマンコンピュータインターアクションの方法を利用した端末装置がなければ、親たちは自分の知識の制限のせいで答えられないことがよくあり、いくら考えても答えられなかったり、コンピュータの電源を入れていろいろ調べたりして、効率が悪く不便である。しかし、知能ロボットがそばにいると、児童はいつでもさまざまな質問を知能ロボットに聞くことができる。例えば、「度ちゃん、なぜ葉っぱは緑色なんですか」と聞く。児童から入力された前記音声を受信した後、知能ロボットが前記音声に対して音声認識を行い、音声認識の結果に基づいて児童が入力した前記音声の意図が問題の解答を求めることであると判定すると、知能ロボットが児童が入力した音声に含まれた問題をクラウドを通じてインテリジェントな検索を行い、多量のインターネット上の情報から最良の結果を選び出し、その解答として、「葉っぱが緑色であるのは、葉緑素があるからである。葉緑素とは植物の細胞葉緑体の中にある大切な緑色の色素であり、水、空気および光エネルギーを利用して植物に必要とされる養分を作ることができる。葉緑素が緑色であるため、植物の葉っぱも緑色であるわけである。」を児童に対して音声出力する。
【００６９】
児童の問題に答えた後、知能ロボットは児童が入力した音声に含まれている問題と関連する推奨情報を取得し、前記推奨情報を児童に対して出力することもできる。具体的には、知能ロボットは自動的に児童が聞いた前記問題に基づいて拡散的な教育と啓発として、「葉緑素を知りましたが、なぜ秋になると葉っぱが枯れるのかトットちゃんはわかりますか」等々をする。
【００７０】
その他、文字の勉強、英単語の習得、児童に物語を読むことなどさまざまな教育シーンがある。
【００７１】
３歳〜５歳の児童が、言語の急速な発展の時期で他人との会話を必要とする成長過程にある場合おいて、知能ロボットは、一日中休むことなく児童と話すことができ、児童の言語システムの成長を支援できる。知能ロボットがそばにいると、児童教育が新しい時代に入ることができる。
【００７２】
前記人工知能に基づくヒューマンコンピュータインターアクションの方法は、マルチモードの入力信号を受信した後、前記マルチモードの入力信号に基づいて前記ユーザの意図を判定し、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックすることにより、良好なヒューマンコンピュータインターアクションを実現することができ、高機能で高付き添い型のインテリジェントヒューマンコンピュータインターアクションも実現することができ、更にユーザエクスペリエンスを向上させることができる。
【００７３】
図２は本発明の一実施形態による人工知能に基づくヒューマンコンピュータインターアクションの装置を示す模式図である。本実施形態による人工知能に基づくヒューマンコンピュータインターアクションの装置は端末機器又は端末機器の一部として本発明の図１に示した実施形態のフローチャートを実現することができる。図２に示したように、前記人工知能に基づくヒューマンコンピュータインターアクションの装置は受信モジュール２１、意図判定モジュール２２と処理モジュール２３とを含むことができる。
【００７４】
その中で、受信モジュール２１は、ユーザが入力した音声信号、画像信号及び／又は環境センサー信号を含むマルチモードの入力信号を受信する。
【００７５】
具体的には、ユーザが入力した音声信号はユーザがマイクにより入力することができ、前記画像信号はカメラにより入力することができ、前記環境センサー信号は光センサー、温湿度センサー、有毒ガスセンサー、粒子状物質センサー、タッチモジュール、地理的位置定位モジュールと重力センサーの中の一つ又は複数のセンサーによって入力される信号である。
【００７６】
意図判定モジュール２２は、受信モジュール２１が受信したマルチモードの入力信号に基づいて前記ユーザの意図を判定する。
【００７７】
処理モジュール２３は、意図判定モジュールが判定した前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックする。
【００７８】
具体的には、処理モジュールが処理結果を前記ユーザにフィードバックするステップは、処理モジュール２３が処理結果を画像、文字列、音声、ロボットの身体の動き及び／又はロボットの点灯フィードバック等を通じてユーザにフィードバックすることを含むことができる。本実施形態は処理結果をフィードバックする方法を制限しない。
【００７９】
本実施形態の例示において、意図判定モジュール２２は、具体的に前記ユーザが入力した音声信号に対して音声認識を行い、音声認識の結果に基づいて、画像信号及び／又はセンサー信号と結合して前記ユーザの意図を判定する。
【００８０】
又は、意図判定モジュール２２は、具体的に前記ユーザが入力した音声信号に対して音声認識を行い、音源定位を通じてディスプレイを前記ユーザのいる方位に回し、カメラ支援顔認識機能を利用して前記ユーザの姓名、年齢、性別等の個人情報を識別し、音声認識の結果、前記ユーザの個人情報、保存された前記ユーザの日常的な行動や好み等の嗜好情報に基づいて前記ユーザの意図を判定する。
【００８１】
本例示において、処理モジュール２３は、具体的に前記ユーザの意図に基づいて、クラウド側のデータベースにおいて個別的データマッチングをし、前記ユーザに相応しい推奨情報を取得して前記ユーザに対して出力する。その中で、前記ユーザに相応しい推奨情報を前記ユーザに出力することは、処理モジュール２３によって前記ユーザに相応しい推奨情報を前記ユーザに対して音声出力することもできるし、又は前記ユーザに相応しい推奨情報を文字列としてディスプレイに表示することもできる。本実施形態は処理モジュールが前記ユーザに相応しい推奨情報を前記ユーザに対して出力する方法を制限しない。
【００８２】
更に、前記推奨情報にアドレス情報が含まれ、処理モジュール２３は、具体的に前記ユーザのいる場所から前記アドレス情報が指し示す場所までの交通ルートを取得し、前記ユーザの行動のパターンに従って前記ユーザに相応しい交通手段を取得し、前記交通手段を前記ユーザに推奨する。その中で、処理モジュール２３が前記交通手段を前記ユーザに推奨するには、処理モジュール２３が前記交通手段を前記ユーザに対して音声出力することも可能であり、又は前記交通手段を文字列としてディスプレイに表示することも可能である。本実施形態は処理モジュール２３が前記交通手段を前記ユーザに推奨する方法を制限しない。
【００８３】
つまり、本実施形態によるヒューマンコンピュータインターアクションの装置は、人間との数回の会話交流を実現でき、自然言語、表情を通じて人間とコミュニケーションすることができ、個別的学習能力を備え、インテリジェントクラウド側のサーバに接続することにより関連知識を取得し、同時にターゲットを絞ってユーザに提供する。
【００８４】
例えば、お年寄りが外出して何かのイベントに参加することを希望する場合で、付近に面白そうなイベントがあるかどうかを知らない場合がある。この場合、本実施形態の装置がなければ、通常の解決方法として、お年寄りは子女に電話をかけて聞くか、又は家を出て近所の人や町内会に問い合わせるしかない。
【００８５】
しかし、本実施形態によるヒューマンコンピュータインターアクションの装置があれば、お年寄りは本実施形態によるヒューマンコンピュータインターアクションの装置に向かって、「度ロボットちゃん、この近くに私に相応しいイベントがありませんか」と質問することができる。
【００８６】
受信モジュール２１が前記音声を受信した後、意図判定モジュール２２が音源定位を通じて知能ロボットのディスプレイ（例えば、知能ロボットの顔）をお年寄りのいる方位に回し、ＨＤカメラ支援顔認識機能を利用して話者の姓名、年齢、性別等の個人情報を正確に識別し、話者の日常的な行動や好み、年齢と性別等の情報に基づいて、話者が入力した音声の意図を判定し、その後処理モジュール２３が入力された音声の意図に基づいてクラクラウド側のデータベースの中において個別的データマッチングをし、話者に最も相応しい推奨情報を選び出し、前記推奨情報として、「度はお好きになるかもしれないイベントを見つけました。今日の午後２時にここから８００メートルの南湖公園でお年寄りのための社交ダンスパーティーがありますが、いかがでしょうか」を前記話者に対して音声出力する。その中で、該推奨情報にはアドレス情報「南湖公園」が含まれている。
【００８７】
ユーザが「よいですね。このイベントが気に入りました。どうすれば行けるのですか」と返答したとする。ユーザが入力した音声を受信した後、意図判定モジュール２２が前記ユーザにより入力された音声に対して音声認識を行い、音声認識の結果に基づいてユーザの意図が南湖公園に行きたいものであると判定すると、処理モジュール２３が地理的位置定位モジュールにより入力された信号に基づいてユーザの居る場所を確定し、自動的にユーザのいる場所から南湖公園までの交通ルートを検索し、前記ユーザの日常的な行動のパターンに従って前記ユーザに相応しい交通手段をスマートに取得し、その交通手段として、「ここから南湖まで８００メートルであり、徒歩時間がおよそ１５分であり、徒歩ルートの地図を用意しました」とユーザに推奨する。
【００８８】
図３は本発明の別の実施形態によるヒューマンコンピュータインターアクションの装置を示す模式図である。図２に示した装置と比べて、図３に示した装置は更に提示モジュール２４と記録モジュール２５とを含む。
【００８９】
本実施形態の他の例示において、前記ユーザの意図に時間情報が含まれ、処理モジュール２３は、具体的に前記ユーザの意図の時間情報に基づいて目覚まし時計の時刻を設定し、その設定結果を前記ユーザにフィードバックする。その中で、処理モジュール２３によって設定結果を前記ユーザにフィードバックするには、処理モジュール２３によって設定結果をユーザに対して音声出力してもよいし、又は処理モジュール２３によって設定結果を文字列としてユーザに対して表示してもよいし、当然ながら他のフィードバック方法を利用してもよい。本発明はこれを制限しない。
【００９０】
提示モジュール２４は、処理モジュール２３が設定結果を前記ユーザにフィードバックした後、前記ユーザに提示する。
【００９１】
記録モジュール２５は、前記ユーザの伝言メッセージを記録する。
【００９２】
提示モジュール２４は、更に前記目覚まし時計の設定時刻になると、アラームを鳴らす。
【００９３】
処理モジュール２３は、更に記録モジュール２５が記録したユーザの伝言メッセージを再生する。
【００９４】
例えば、朝７時に母親は早起きして出張に行かなければならないが、児童のトットちゃんがまだ熟睡しているとする。家を出るとき、母親が知能ロボットに、「度ロボットちゃん、８時にトットちゃんを起こしてもらえませんか」と言う。受信モジュール２１が音声を受信した後、意図判定モジュール２２が音声認識の結果に基づいてユーザの意図に時間情報が含まれていると識別すると、処理モジュール２３がユーザの意図における時間情報に基づいて目覚まし時計の時刻を設定、その設定結果を前記ユーザにフィードバックする。設定結果をユーザにフィードバックした後、提示モジュール２４が更にユーザに提示可能であるため、「大丈夫です、目覚まし時計の時刻を設定しておきました。１時間後のちょうど８時にトットちゃんを起こします。トットちゃんが起きてから何か伝言がありますか」と返答する。
【００９５】
「ありがとう、度ちゃん。トットちゃんに伝えてください。朝ごはんができていて、電子レンジにおいておきました。今日はトットちゃんの誕生日ですから、おめでとうと伝えてください」と母親が言う。この場合、記録モジュール２５がユーザの伝言メッセージを記録し、前記目覚まし時計の設定時刻になると提示モジュール２４がアラームを鳴らし、前記ユーザの伝言メッセージを再生する。
【００９６】
本実施形態の別の例示において、受信モジュール２１は、マルチモードの入力信号を受信する前に、更に前記ユーザと関連する別のユーザが送信したマルチメディア情報を受信することもできる。
【００９７】
提示モジュール２４は、更に前記ユーザに前記マルチメディア情報を再生するかどうかを提示する。ここにおいて、提示モジュール２４がユーザにマルチメディア情報を再生するかどうかを提示するには、ユーザにマルチメディア情報を再生するかどうかを提示する機能を果たせれば、音声提示を用いても、文字提示を用いても、又はその他の提示方法を用いてもかまわない。
【００９８】
前記ユーザの意図が前記マルチメディア情報の再生に賛成することであれば、処理モジュール２３は、具体的にユーザと関連する別のユーザが送信したマルチメディア情報を再生する。
【００９９】
更に、前記ヒューマンコンピュータインターアクションの装置は送信モジュール２６を含むこともできる。
【０１００】
受信モジュール２１は、処理モジュール２３が前記ユーザと関連する別のユーザが送信したマルチメディア情報を再生した後、更に前記ユーザが送信した音声を受信することもできる。
【０１０１】
送信モジュール２６は、受信モジュール２１が受信した音声を前記ユーザと関連する別のユーザに送信する。その中で、送信モジュール２６が前記音声をユーザと関連する別のユーザに送信するには、送信モジュール２６が音声を直接的にユーザと関連する別のユーザが使われているスマートデバイスにインストールされたＡｐｐに送信するか、又は音声を文字に変換してユーザと関連する別のユーザが使われているスマートデバイスにインストールされたＡｐｐに送信する。
【０１０２】
例えば、昼１２時に、トットちゃんが家で食事をしている。
【０１０３】
受信モジュール２１がユーザ（トットちゃん）と関連する別のユーザ（トットちゃんの母親）から送信されてマルチメディア情報（例えばビデオ）を受信した場合、提示モジュール２４がユーザにそのマルチメディア情報を再生するかどうかを提示する。「こんにちは、トットちゃん、度がお母さんから送信されたビデオを受け取りましたが、今ご覧になりますか」と音声出力をする。
【０１０４】
トットちゃんが「すぐ再生してください」と返答する。受信モジュール２１がトットちゃんの入力した音声を受信した後、意図判定モジュール２２が音声認識を行い、音声認識の結果に基づいてユーザの意図が前記動画情報の再生に同意するものであると判定すると、処理モジュール２３がスクリーンにおいて自動的に母親が出張先で録画した誕生日祝福ビデオを再生する。
【０１０５】
母親から送信されたビデオを再生した後、受信モジュール２１が更にトットちゃんからの音声として、「度ちゃん、お母さんに伝えてください。ありがとう、愛している、いい旅をして早く帰れるようにって」を受信することもできる。
【０１０６】
この場合、送信モジュール２６は、自動的にトットちゃんからの音声を文字に変換し、母親の携帯電話にインストールされているＡｐｐに送信する。
【０１０７】
本実施形態の他の例示において、ユーザの意図がマルチメディア情報の再生を要求することであってもよい。この場合、処理モジュール２３は、無線ネットワークを通じてクラウド側のサーバから前記ユーザが要求したマルチメディア情報を取得し、取得されたメルチメディア情報を再生する。
【０１０８】
更に、受信モジュール２１は、マルチモードの入力信号を受信する前に、前記ユーザと関連する別のユーザが送信した通話リクエストを受信することもできる。
【０１０９】
提示モジュール２４は、前記ユーザに対し通話に応答するかどうかを提示する。
【０１１０】
前記ユーザの意図が通話に応答することである場合、処理モジュール２３は、前記ユーザを前記ユーザと関連する別のユーザとを通話させ、通話中、カメラを制御して話者である前記ユーザの方位を検出し、前記カメラを話者に回し、前記ユーザと関連する別のユーザが、前記別のユーザにより使われるスマートデバイスにインストールされたＡｐｐを通じて前記ユーザが関心を寄せている顔をクリックすると、ビデオカメラ顔追跡機能が作動し、カメラに前記ユーザが関心を寄せている顔を追跡させる。
【０１１１】
例えば、夜の９時に、トットちゃんは家で友達とお誕生日会を開いている。
【０１１２】
「度ちゃん、今日は私の誕生日ですから、誕生日の歌を一曲再生してもらえませんか」とトットちゃんが知能ロボットに聞く。受信モジュール２１が前記音声を受信した後、意図判定モジュール２２が音声認識の結果に基づいてトットちゃんが入力した音声の意図がマルチメディア情報（例えば、オーディオ情報である誕生日の歌）の再生であると判定する。
【０１１３】
すると、処理モジュール２３がＷｉＦｉを通じてスマートクラウド側のサーバから誕生日の歌を検索し、それを再生するよう自動的にローカルにダウンロードし、ユーザに処理結果として、「大丈夫です。今すぐ再生します。」とフィードバックする。
【０１１４】
再生を終えた後、受信モジュール２１がトットちゃんの母親から送信されたビデオ通話のリクエストを受信した。すると、提示モジュール２４がトットちゃんに「ビデオ通話のリクエストを受け取りました。お母さんがトットちゃんとビデオ通話をしようとしているが、接続しますか。」と提示する。
【０１１５】
「すぐ接続してください」とトットちゃんが言う。受信モジュール２１がトットちゃんの入力した音声を受信した後、意図判定モジュール２２がトットちゃんの入力したこの音声の意図が通話に接続することであると判定した後、処理モジュール２３が遠くの余所において出張中の母親により使われているスマートフォンにインストールされたＡｐｐと知能ロボットとのＨＤビデオカメラを接続し、母親を、トットちゃん及びその友達とビデオ通話させる。ビデオ通話中、処理モジュール２３が自身のカメラを制御して自動的に話者の方位を確かめ、カメラを話者に回す。カメラが回るとき、インテリジェントなデュアルレンズカメラを切替えるアルゴリズムによってカメラの画面の安定化が保証され、揺れが生じない。母親の方は自分の使うスマートデバイスにインストールされているＡｐｐを通じてビデオの中の顔をクリックし、ビデオカメラ顔追跡機能を作動し、知能ロボットのカメラに母親が関心を寄せている顔を追跡し続けさせる。
【０１１６】
つまり、本実施形態による人工知能に基づくヒューマンコンピュータインターアクションの装置は、いつでも家族と連絡を取ることを実現させ、新しいインテリジェントなインターアクションの手段を有し、前記方法を実現する端末デバイスが家族間のコミュニケーション、手伝い、提示の架け橋になることができる。
【０１１７】
本実施形態の他の例示において、前記環境センサーの信号は、現在の環境の環境情報を提示する。
【０１１８】
処理モジュール２３は、前記環境情報に含まれている指標において警告閾値を超えた指標があるとき、危険警報をし、同時に危険を処理する方法を出力し、並びにカメラを作動して撮影する。その中で、前記警告閾値は前記環境情報の指標に応じて別々に設置できるが、本実施形態においては警告閾値の大小を制限しない。
【０１１９】
つまり、前記人工知能に基づくヒューマンコンピュータインターアクションの装置は更に家族を災害から保護することが可能である。
【０１２０】
例えば、ヒューマンコンピュータインターアクションの装置におけるセンサーは、ＰＭ2.5粒子状物質センサー、有毒ガスセンサー及び／又は温湿度センサー等を含むことができる。前記センサーの信号は、知能ロボットの現在の環境の環境情報を提示することができるため、いつでもホーム環境の健康度をモニタリングすることができる。前記環境情報に含まれている指標において警告閾値を超えた指標があるとき、例えば家でガス漏れのような有毒ガス漏れが発生したとき、処理モジュール２３がすぐに危険警報を送信し、音声で危険警告をし、同時に危険を処理する方法を知らせ、並びに自動的に危険状況を家族の携帯電話に送信し、自動的に警戒モードに入り、カメラを作動して家全体を撮影し記録する。
【０１２１】
更に、処理モジュール２３は、前記環境情報に含まれている指標においてモード切替閾値に達した指標があるとき、スマートハウス制御システムによって前記モード切替閾値に達した指標に対応する家電のモードを制御し、家電の管理を実現する。その中で、前記モード切替閾値は同様に前記環境情報の指標に応じで別々に設置することができ、本実施形態においては警告閾値を制限しない。
【０１２２】
例えば、前記ヒューマンコンピュータインターアクションの装置におけるセンサーは、ＰＭ2.5粒子状物質センサー、有毒ガスセンサー及び／又は温湿度センサー等を含むことができ、前記センサーの信号はホームの大気質や温湿度などのような現在の環境の環境情報を提示することができる。大気質の濃度が高くなり、大気質のモード切替閾値に達した場合、処理モジュール２３が自動的にブルートゥーススマートハウス制御システムを通じて空気清浄器をつける。部屋の温度が高すぎたり低すぎたりして温度のモード切替閾値に達した場合、処理モジュール２３が自動的にエアコンをつける。留守をして電気を消すのを忘れ、電気のモード切替閾値に達した場合、処理モジュール２３が自動的に電気を消す。
【０１２３】
本実施形態の別の例示において、前記ユーザの意図が問題の解答を求めることである。この場合、処理モジュール２３は、具体的に前記ユーザが入力した音声に含まれている問題に対して、検索して前記問題の解答を取得し、前記解答をユーザに対して出力する。その中で、処理モジュール２３が前記解答をユーザに対して出力するには、前記解答をユーザに対して音声出力してもよいし、前記解答を文字列としてユーザに対して表示してもよい。
【０１２４】
更に、処理モジュール２３は、前記解答をユーザに対して出力した後、前記ユーザが入力した音声に含まれている問題と関連する推奨情報を取得し、前記推奨情報をユーザに対して出力することもできる。その中で、処理モジュール２３が前記推奨情報をユーザに対して出力するには、前記推奨情報をユーザに対して音声出力してもよいし、前記推奨情報を文字列としてユーザに対して表示してもよい。
【０１２５】
例えば、学習と成長盛りにある児童は世界のどんなものに対しても探求する好奇心を持っている。児童がよく「これは何ですか」又は「どうしてですか」のような質問をよく親に聞く。本実施形態による人工知能に基づくヒューマンコンピュータインターアクションの装置がなければ、親たちは自分の知識の制限のせいで答えられないことがよくあり、いくら考えても答えられなかったり、コンピュータの電源を入れていろいろ調べたりし、効率が悪く不便である。しかし、本実施形態による人工知能に基づくヒューマンコンピュータインターアクションの装置があると、児童はいつでもさまざまな質問をヒューマンコンピュータインターアクションの装置に聞くことができる。例えば、「度ちゃん、なぜ葉っぱは緑色なんですか」と聞く。受信モジュール２１が児童から入力された前記音声を受信した後、意図判定モジュール２２が前記音声に対して音声認識を行い、音声認識の結果に基づいて児童が入力した前記音声の意図が問題の解答を求めることであると判定すると、処理モジュール２３は児童が入力した音声に含まれている問題を、クラウドを通じてインテリジェントな検索を行い、多量のインターネット上の情報から最良の結果を選び出し、その解答として、「葉っぱが緑色であるのは、葉緑素があるからである。葉緑素とは植物の細胞葉緑体の中にある大切な緑色の色素であり、水、空気および光エネルギーを利用して植物に必要とされる養分を作ることができる。葉緑素が緑色であるため、植物の葉っぱも緑色であるわけである。」とユーザに対して音声出力する。
【０１２６】
児童の問題に答えた後、処理モジュール２３は児童が入力した音声に含まれている問題と関連する推奨情報を取得し、前記推奨情報を児童に対し出力することもできる。具体的には、処理モジュール２３は自動的に児童が聞いた前記問題に基づいて拡散的な教育と啓発として、「葉緑素を知りましたが、なぜ秋になると葉っぱが枯れるのかトットちゃんはわかりますか」等々の質問をする。
【０１２７】
その他、文字の勉強、英単語の習得、児童に物語を読むことなどさまざまな教育シーンがある。
【０１２８】
３歳〜５歳の児童が、言語の急速な発展の時期で他人との会話を必要とする成長過程にある場合において、知能ロボットは、一日中休むことなく児童と話すことができ、児童の言語システムの成長を支援できる。知能ロボットがそばにいると、児童教育が新しい時代に入ることができる。
【０１２９】
前記人工知能に基づくヒューマンコンピュータインターアクションの装置は、受信モジュール２１がマルチモードの入力信号を受信した後、前記マルチモードの入力信号に基づいて、意図判定モジュール２２が前記ユーザの意図を判定し、処理モジュール２３が前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックすることにより、良好なヒューマンコンピュータインターアクションを実現することができ、高機能で高付き添い型のインテリジェントヒューマンコンピュータインターアクションも実現することができ、更にユーザエクスペリエンスを向上させることができる。
【０１３０】
図４は本発明の一実施形態による端末機器を示す図である。本実施形態による端末機器は本発明の図１に示したフローチャートを実現することができる。図４に示したように、該端末機器は、受信部４１、処理部４２、記憶部４３、回路基板４４と電源回路４５とを含むことができる。そのうち、回路基板４４はケースによって囲まれた空間内部に配置され、処理部４２と記憶部４３は回路基板に配置され、電源回路４５は前記端末装置の各回路又は装置に給電し、記憶部４３は実行可能なプログラムコードを記憶する。
【０１３１】
受信部４１は、ユーザが入力した音声信号、画像信号及び／又は環境センサー信号を含むマルチモードの入力信号を受信する。
【０１３２】
具体的には、ユーザが入力した音声信号はユーザがマイクにより入力することができ、前記画像信号はカメラにより入力することができ、前記環境センサー信号は光センサー、温湿度センサー、有毒ガスセンサー、粒子状物質センサー、タッチモジュール、地理的位置定位モジュールと重力センサーの中の一つ又は複数のセンサーによって入力される信号である。
【０１３３】
処理部４２は、前記マルチモードの入力信号に基づいて前記ユーザの意図を判定するステップと、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックするステップとを実行できるように、記憶部４３に記憶された実行可能なプログラムコードを読み取って実行可能なプログラムコードに対応するプログラムを実行する。
【０１３４】
具体的には、処理部４２が処理結果を前記ユーザにフィードバックするステップは、処理部４２が処理結果を画像、文字列、音声、ロボットの身体の動き及び／又はロボットの点灯フィードバック等を通じてユーザにフィードバックすることを含むことができる。本実施形態は処理結果をフィードバックする方法を制限しない。
【０１３５】
本実施形態の例示において、処理部４２は、具体的に前記ユーザが入力した音声信号に対して音声認識を行い、音声認識の結果に基づいて、画像信号及び／又はセンサー信号と結合して前記ユーザの意図を判定する。
【０１３６】
又は、前記端末機器は更にカメラ４６を含むこともできる。処理部４２は、具体的に前記ユーザが入力した音声信号に対して音声認識を行い、音源定位を通じてディスプレイを前記ユーザのいる方位に回し、カメラ４６支援顔認識機能を利用して前記ユーザの姓名、年齢、性別等の個人情報を識別し、音声認識の結果、前記ユーザの個人情報、保存された前記ユーザの日常的な行動や好み等の嗜好情報に基づいて前記ユーザの意図を判定する。
【０１３７】
本例示において、処理部４２は、具体的に前記ユーザの意図に基づいて、クラウド側のデータベースにおいて個別的データマッチングをし、前記ユーザに相応しい推奨情報を取得して前記ユーザに対して出力する。その中で、処理部４２によって前記ユーザに相応しい推奨情報を前記ユーザに対して出力することは、前記ユーザに相応しい推奨情報を前記ユーザに対し音声出力することもできるし、又は前記ユーザに相応しい推奨情報を文字列としてディスプレイに表示することもできる。本実施形態は処理モジュールが前記ユーザに相応しい推奨情報を前記ユーザに対して出力する方法を制限しない。
【０１３８】
更に、前記推奨情報にアドレス情報が含まれ、処理部４２は、具体的に前記ユーザのいる場所から前記アドレス情報が指し示す場所までの交通ルートを取得し、前記ユーザの行動のパターンに従って前記ユーザに相応しい交通手段を取得し、前記交通手段を前記ユーザに推奨する。その中で、処理部４２によって前記交通手段を前記ユーザに推奨するには、前記交通手段を前記ユーザに対して音声出力することもできるし、又は前記交通手段を文字列としてディスプレイに表示することもできる。本実施形態は前記交通手段を前記ユーザに推奨する方法を制限しない。
【０１３９】
つまり、本実施形態による端末機器は、人間との数回の会話交流を実現でき、自然言語、表情を通じて人間とコミュニケーションすることができ、個別的学習能力を備え、インテリジェントクラウド側のサーバに接続することにより関連知識を取得し、同時にターゲットを絞ってユーザに提供する。
【０１４０】
例えば、お年寄りが外出して何らかのイベントに参加することを希望する場合で、付近に面白そうなイベントがあるかどうかを知らない場合がある。この場合、本実施形態の端末機器がなければ、通常の解決方法として、お年寄りは子女に電話をかけて聞くか、又は家を出て近所の人や町内会に問い合わせるしかない。
【０１４１】
しかし、本実施形態による端末機器があれば、お年寄りは本実施形態による端末機器に向かって、「度ロボットちゃん、この近くに私に相応しいイベントがありませんか」と質問することができる。
【０１４２】
受信部４１が前記音声を受信した後、処理部４２が音源定位を通じて端末機器のディスプレイ（例えば、知能ロボットの顔）をお年寄りのいる方位に回し、ＨＤカメラ４６支援顔認識機能を利用して話者の姓名、年齢、性別等の個人情報を正確に識別し、話者の日常的な行動や好み、年齢と性別等の情報に基づいて、話者が入力した音声の意図を判定し、その後処理部４２が入力された音声の意図に基づいてクラウド側のデータベースの中において個別的データマッチングをし、話者に最も相応しい推奨情報を選び出し、前記推奨情報として、「度はお好きになるかもしれないイベントを見つけました。今日の午後２時にここから８００メートルの南湖公園でお年寄りのための社交ダンスパーティーがありますが、いかがでしょうか」を前記話者に対し音声出力する。その中で、該推奨情報にはアドレス情報「南湖公園」が含まれている。
【０１４３】
ユーザが「よいですね。このイベントが気に入りました。どうすれば行けるんですか」と返答したとする。受信部４１が前記ユーザにより入力された音声を受信した後、処理部４２が前記ユーザにより入力された音声に対して音声認識を行い、音声認識の結果に基づいてユーザの意図が南湖公園に行きたいものであると判定すると、処理部４２が地理的位置定位モジュールにより入力された信号に基づいてユーザの居る場所を確定し、自動的にユーザのいる場所から南湖公園までの交通ルートを検索し、前記ユーザの日常的な行動のパターンに従って前記ユーザに相応しい交通手段をスマートに取得し、その交通手段として、「ここから南湖まで８００メートルであり、徒歩時間はおよそ１５分で、徒歩ルートの地図を用意しました」とユーザに推奨する。
【０１４４】
本実施形態の別の例示において、前記ユーザの意図に時間情報が含まれ、処理部４２は、具体的に前記ユーザの意図の時間情報に基づいて目覚まし時計の時刻を設定し、その設定結果を前記ユーザにフィードバックする。その中で、処理部４２によって設定結果を前記ユーザにフィードバックするには、処理部４２によって設定結果をユーザに対して音声出力してもよいし、又は設定結果を文字列としてユーザに対して表示してもよいし、当然ながら他のフィードバック方法を利用してもよい。本発明はこれを制限しない。
【０１４５】
更に、処理部４２は、設定結果を前記ユーザにフィードバックした後、前記ユーザに伝言メッセージを記録するように促し、前記目覚まし時計の設定時刻になると、アラームを鳴らし、前記ユーザの伝言メッセージを再生する。
【０１４６】
例えば、朝７時に母親は早起きして出張に行かなければならないが、児童のトットちゃんがまだ熟睡しているとする。家を出るとき、母親が知能ロボットに、「度ロボットちゃん、８時にトットちゃんを起こしてもらえませんか」と言う。受信部４１が音声を受信した後、処理部４２が音声認識の結果に基づいてユーザの意図に時間情報含まれていると識別すると、処理部４２がユーザの意図における時間情報に基づいて目覚まし時計の時刻を設定、その設定結果を前記ユーザにフィードバックする。設定結果をユーザにフィードバックした後、処理部４２が更にユーザに提示することもできるため、「大丈夫です、目覚まし時計の時刻を設定しておきました。１時間後のちょうど８時にトットちゃんを起こします。トットちゃんが起きてから何か伝言がありますか」と返答する。
【０１４７】
「ありがとう、度ちゃん。トットちゃんに伝えてください。朝ごはんができていて、電子レンジにおいておきました。今日はトットちゃんの誕生日ですから、おめでとうと伝えてください」と母親が言う。この場合、処理部４２がユーザの伝言メッセージを記録し、前記目覚まし時計の設定時刻になるとアラームを鳴らし、前記ユーザの伝言メッセージを再生する。
【０１４８】
本実施形態の他の例示において、受信部４１は、マルチモードの入力信号を受信する前に、更に前記ユーザと関連する別のユーザが送信したマルチメディア情報を受信することもできる。
【０１４９】
処理部４２は、更に前記ユーザに前記マルチメディア情報を再生するかどうかを提示する。ここで、処理部４２がユーザにマルチメディア情報を再生するかどうかを提示するには、ユーザにマルチメディア情報を再生するかどうかを提示する機能を果たせれば、音声提示を用いても、文字提示を用いても、又はその他の提示方法を用いてもかまわない。
【０１５０】
前記ユーザの意図が前記マルチメディア情報の再生に賛成することであれば、処理部４２は、具体的には、ユーザと関連する別のユーザが送信したマルチメディア情報を再生する。
【０１５１】
更に、前記端末機器は送信部４７を含むこともできる。
【０１５２】
受信部４１は、処理部４２が前記ユーザと関連する別のユーザが送信したマルチメディア情報を再生した後、更に前記ユーザが送信した音声を受信することもできる。
【０１５３】
送信部４７は、前記音声を前記ユーザと関連する別のユーザに送信する。その中で、送信部４７が前記音声をユーザと関連する別のユーザに送信するには、送信部４７が音声を直接、ユーザと関連する別のユーザにより使われるスマートデバイスにインストールされたＡｐｐに送信するか、又は音声を文字に変換してユーザと関連する別のユーザににより使われるスマートデバイスにインストールされたＡｐｐに送信する。
【０１５４】
例えば、昼１２時に、トットちゃんが家で食事をしている。
【０１５５】
受信部４１がユーザ（トットちゃん）と関連する別のユーザ（トットちゃんの母親）から送信されたマルチメディア情報（例えばビデオ）を受信した場合、処理部４２はユーザにそのマルチメディア情報を再生するかどうかを提示する。「こんにちは、トットちゃん、度がお母さんから送信されたビデオを受け取りましたが、今ご覧になりますか」と音声出力する。
【０１５６】
トットちゃんが「すぐ再生してください」と返答する。受信部４１はトットちゃんが入力した音声を受信した後、処理部４２は音声認識を行い、音声認識の結果に基づいてユーザの意図が前記動画情報の再生に同意するものであると判定すると、処理部４２はスクリーンにおいて自動的に母親が出張先で録画した誕生日祝福ビデオを再生する。
【０１５７】
母親から送信されたビデオを再生した後、受信部４１は更にトットちゃんからの音声として、「度ちゃん、お母さんに伝えてください。ありがとう、愛している、いい旅をして早く帰れるようにって」を受信することもできる。
【０１５８】
この場合、送信部４７は、自動的にトットちゃんからの音声を文字に変換し、母親の携帯電話にインストールされていたＡｐｐに送信する。
【０１５９】
本実施形態の他の例示において、ユーザの意図がマルチメディア情報の再生を要求することであってもよい。この場合、処理部４２は、無線ネットワークを通じてクラウド側のサーバから前記ユーザが要求したマルチメディア情報を取得し、取得されたメルチメディア情報を再生する。
【０１６０】
更に、受信部４１は、マルチモードの入力信号を受信する前に、前記ユーザと関連する別のユーザが送信した通話リクエストを受信することもできる。
【０１６１】
処理部４２は、前記ユーザに通話に応答するかどうかを提示する。
【０１６２】
前記ユーザの意図が通話に応答することである場合、処理部４２は、前記ユーザと前記ユーザと関連する別のユーザとを通話させ、通話中、カメラを制御して話者である前記ユーザの方位を検出し、前記カメラを話者に回し、前記ユーザと関連する別のユーザが、前記別のユーザにより使われるスマートデバイスにインストールされたＡｐｐを通じて、前記ユーザが関心を寄せている顔をクリックすると、ビデオカメラ顔追跡機能が作動し、カメラ４６に前記ユーザが関心を寄せている顔を追跡させる。
【０１６３】
例えば、夜の９時に、トットちゃんは家で友達とお誕生日会を開いている。
【０１６４】
「度ちゃん、今日は私の誕生日ですから、誕生日の歌を一曲再生してもらえませんか」とトットちゃんが端末機器に聞く。受信部４１が前記音声を受信した後、処理部４２が音声認識の結果に基づいてトットちゃんが入力した音声の意図がマルチメディア情報（例えば、オーディオ情報である誕生日の歌）の再生であると判定する。
【０１６５】
すると、処理部４２がＷｉＦｉを通じてスマートにクラウド側のサーバから誕生日の歌を検索し、それを再生するように自動的にローカルにダウンロードし、ユーザに処理結果として、「大丈夫です。今すぐ再生します。」とフィードバックする。
【０１６６】
再生を終えた後、受信部４１がトットちゃんの母親から送信されたビデオ通話のリクエストを受信した。すると、処理部４２がトットちゃんに「ビデオ通話のリクエストを受け取りました。お母さんがトットちゃんとビデオ通話をしようとしていますが、接続しますか。」と提示する。
【０１６７】
「すぐ接続してください」とトットちゃんが言う。受信部４１はトットちゃんが入力した音声を受信した後、処理部４２はトットちゃんにより入力されたこの音声の意図が通話に接続することであると判定した後、処理部４２は遠くの余所で出張している母親により使われるスマートフォンにインストールされたＡｐｐと知能ロボットとのＨＤビデオカメラを接続し、母親を、トットちゃん及びその友達とビデオ通話をさせる。ビデオ通話中、処理部４２が自身のカメラ４６を制御して自動的に話者の方位を確かめ、カメラを話者に回す。カメラ４６が回るとき、インテリジェントなデュアルレンズカメラを切替えるアルゴリズムによってカメラの画面の安定化が保証され、揺れが生じない。母親の方は自分の使うスマートデバイスにインストールされたＡｐｐを通じてビデオの中の顔をクリックし、ビデオカメラ顔追跡機能を作動し、知能ロボットのカメラに母親が関心を寄せている顔を追跡し続けさせる。
【０１６８】
つまり、本実施形態による端末機器は、いつでも家族と連絡を取ることが実現し、新しいインテリジェントなインターアクションの手段を有し、前記方法を実現する端末デバイスが家族間のコミュニケーション、手伝い、提示の架け橋になれる。
【０１６９】
本実施形態の他の例示においては、前記端末機器は更にセンサー４８を含むこともでき、センサー４８により獲得された環境センサー信号が現在の環境の環境情報を提示する。
【０１７０】
処理部４２は、更に前記環境情報に含まれる指標において警告閾値を超えた指標があるとき、危険警報をし、同時に危険を処理する方法を出力し、並びにカメラを作動して撮影する。その中で、前記警告閾値は前記環境情報の指標に応じて別々に設定できるが、本実施形態においては警告閾値の大小を制限しない。
【０１７１】
つまり、前記人工知能に基づくヒューマンコンピュータインターアクションの端末機器は更に家族を災害から保護することができる。
【０１７２】
例えば、センサー４８は、ＰＭ2.5粒子状物質センサー、有毒ガスセンサー及び／又は温湿度センサー等を含むことができる。センサー４８が獲得された環境センサー信号は現在の環境の環境情報を提示することができるため、いつでもホーム環境の健康度をモニタリングすることができる。前記環境情報に含まれている指標において警告閾値を超えた指標があるとき、例えば家でガス漏れのような有毒ガス漏れが発生したとき、処理部４２がすぐに危険警報を送信し、音声で危険警告をし、同時に危険を処理する方法を知らせ、並びに自動的に危険状況を家族の携帯電話に送信し、自動的に警戒モードに入り、カメラを作動して家全体を撮影し記録する。
【０１７３】
更に、処理部４２は、前記環境情報に含まれている指標においてモード切替閾値に達した指標があるとき、スマートハウス制御システムによって前記モード切替閾値に達した指標に対応する家電のモードを制御し、家電の管理を実現する。その中で、前記モード切替閾値は同様に前記環境情報の指標に応じで別々に設定することができ、本実施形態においては警告閾値を制限しない。
【０１７４】
例えば、センサー４８は、ＰＭ2.5粒子状物質センサー、有毒ガスセンサー及び／又は温湿度センサー等を含むことができ、センサー４８が獲得された環境センサー信号はホームの大気質や温湿度などのような現在の環境の環境情報を提示することができる。大気質の濃度が高くなり、大気質のモード切替閾値に達した場合、処理部４２が自動的にブルートゥーススマートハウス制御システムを通じて空気清浄器をつける。部屋の温度が高すぎたり低すぎたりして温度のモード切替閾値に達した場合、処理部４２が自動的にエアコンをつける。留守をして電気を消すのを忘れ、電気のモード切替閾値に達した場合、処理部４２が自動的に電気を消す。
【０１７５】
本実施形態の他の例示において、前記ユーザの意図が問題の解答を求めることであるとする。この場合、処理部４２は、具体的に前記ユーザが入力した音声に含まれている問題に対して、検索して前記問題の解答を取得し、前記解答をユーザに出力する。その中で、処理部４２が前記解答をユーザに出力するには、前記解答をユーザに対して音声出力してもよいし、前記解答を文字列としてユーザに対して表示してもよい。
【０１７６】
更に、処理部４２は、前記解答をユーザに出力した後、前記ユーザが入力した音声に含まれている問題と関連する推奨情報を取得し、前記推奨情報をユーザに出力することもできる。その中で、処理部４２が前記推奨情報をユーザに出力するには、前記推奨情報をユーザに対して音声出力してもよいし、前記推奨情報を文字列としてユーザに対して表示してもよい。
【０１７７】
例えば、学習と成長盛りにある児童は世界のどんなものに対しても探求する好奇心を持っている。児童がよく「これは何ですか」又は「どうしてですか」のような質問をよく親に聞く。本実施形態による端末機器がなければ、親たちは自分の知識の制限のせいで答えられないことがよくあり、いくら考えても答えられなかったり、コンピュータの電源を入れいろいろ調べたりしても、効率悪く不便である。しかし、前記端末機器がそばにいるとなると、児童はいつでもさまざまな質問を端末機器に聞くことができる。例えば、「度ちゃん、なぜ葉っぱは緑色なんですか」と聞く。受信部４１が児童から入力された前記音声を受信した後、処理部４２が前記音声に対して音声認識を行い、音声認識の結果に基づいて児童が入力した前記音声の意図が問題の解答を求めることであると判定すると、処理部４２が児童の入力した音声に含まれている問題を、クラウドを通じてインテリジェントな検索を行い、多量のインターネット上の情報から最良の結果を選び出し、その解答として、「葉っぱが緑色であるのは、葉緑素があるからである。葉緑素とは植物の細胞葉緑体の中にある大切な緑色の色素であり、水、空気および光エネルギーを利用して植物に必要とされる養分を作ることができる。葉緑素が緑色であるため、植物の葉っぱも緑色であるわけである。」とユーザに音声出力する。
【０１７８】
児童の問題に答えた後、処理部４２は児童が入力した音声に含まれている問題と関連する推奨情報を取得し、前記推奨情報を児童に出力することもできる。具体的には、処理部４２は更に自動的に児童が聞いた前記問題に基づいて拡散的な教育と啓発として、「葉緑素を知りましたが、なぜ秋になると葉っぱが枯れるのかトットちゃんはわかりますか」等々の質問をする。
【０１７９】
その他、文字の勉強、英単語の習得、児童に物語を読むことなどさまざまな教育シーンがある。
【０１８０】
３歳〜５歳の児童が、言語の急速な発展の時期で他人との会話を必要とされる成長過程にある場合において、知能ロボットは一日中休むことなく児童と話すことができ、児童の言語システムの成長を支援できる。知能ロボットがそばにいると、児童教育が新しい時代に入ることができる。
【０１８１】
前記端末機器は、受信部４１がマルチモードの入力信号を受信した後、処理部４２が前記マルチモードの入力信号に基づいて、前記ユーザの意図を判定し、前記ユーザの意図を処理し、処理結果を前記ユーザにフィードバックすることにより、良好なヒューマンコンピュータインターアクションを実現することができ、高機能で高付き添い型のインテリジェントヒューマンコンピュータインターアクションも実現でき、更にユーザエクスペリエンスを向上させることができる。
【０１８２】
図４に示した端末機器の具体的な形態は、知能ロボットであってもよい。図５は本発明の一実施形態による知能ロボットを示す図である。該知能ロボットは頭と体の三つの自由度を持つデスクトップロボット（体は３６０度水平回転でき、頭部は１８０度水平回転でき、同時に頭部はプラス又はマイナス６０度以内なら俯いたり仰向いたりすることができ、歩行能力を備えても備えなくてもよい）であってもよい。図５に示したように、知能ロボットには、高品質のステレオスピーカー、カメラ（高解像度で、顔認識及びオートフォーカス等の機能を実現できる）、高解像度のディスプレイ、高速中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、以下ＣＰＵと略称する）、接触式充電コンセント、及び感度の高いセンサー、集成ネットワークモジュールが配置されている。その中で、知能ロボットに搭載されたセンサーは、湿度センサー、温度センサー、粒子状物質（ＰＭ２．５）センサーとガスセンサーのような有毒ガスセンサー等を含むことができ、ネットワークモジュールは赤外線、ＷｉＦｉ、ブルートゥース等のモジュールを含むことができる。
【０１８３】
また、前記知能ロボットは新しいマルチモード情報のインターアクション手段（視覚、聴覚、触覚、嗅覚及び／又は自然言語交流フィードバック）を備えている。家庭に用いられ、家族、インテリジェント装置、情報とサービスとを繋がるスマートな架け橋となり、家庭内のコミュニケーション、情感付き添い、監督保護、情報提供の支援及び教育等のニーズを満たすことができ、新しいマルチモード情報のインターアクション手段を備える。図６は本発明の一実施形態による知能ロボットによるスクリーンインターアクションを示す図である。図６に示したように、知能ロボットは、ビデオ通話、情感交流、情報伝達及び／又は音楽などのマルチメディアの再生等のマルチモードのインターアクションを行うことができる。
【０１８４】
また、知能ロボットには相応したＡｐｐがあり、家を出た後の遠隔通信とビデオ通話を行うことができる。
【０１８５】
本実施形態による知能ロボットには、オープンシステムプラットホームがあり、継続的にアップグレードすることができる。知能ロボットに相応したオープンオペレーティングシステムプラットホームがある。オープンインタフェースプロトコルにより、プロバイダは知能ロボットにさまざまなコンテンツとアプリケーションを開発することができる。ソフトウェアにおいて、ＷｉＦｉを通じて自動的にネットワークに接続することにより、知能ロボットは継続的にソフトの更新とアップグレードを行い、クラウドシステムも２４時間絶えずインターネット上の多量の新しい情報を取得することができるため、すべての更新とアップグレードは知能ロボットのバックステージにおいて静かに完成され、ユーザは複雑なソフト更新をする必要もなくなる。
【０１８６】
本発明の説明には、用語「第一」、「第二」等は単に説明のためのみに用いられ、相対的な重要性に明示的にも暗示的にも関連づけられ使用されるものではない。また、本発明の説明には、別途、明確に限定した場合を除き、用語「複数」は二つ又は二つ以上を指すものとする。
【０１８７】
フローチャートにおいてまたはここで他の方式で説明された論理またはステップは、一つ又は複数の論理機能又はステップを実現するための実行可能な命令の符号のモジュール、断片又は部分であり、並びに本発明の好ましい実施形態は他の形態も含み、例示された又は議論された順序（関与された機能とほぼ同じ方式又は逆の順序を含む）によらず実行できることは当業者であれば理解すべきである。
【０１８８】
本発明の各部分は、ハードウェア、ソフトウエア、ファームウェア、またはそれらの組み合わせで実現することができる。上記実施形態において、複数のステップ又は方法は、メモリに格納され且つ適切な命令実行システムにより実行されるソフトウェアまたはファームウェアで実現することができる。例えば、ハードウェアで実現する場合、他の実施形態と同様に、当該技術分野で公知の以下の技術におけるいずれか１つ又はそれらの組み合わせで実現することができる。データ信号に論理機能を実現するための論理ゲート回路を有するディスクリート論理回路、適切な組み合わせ論理ゲート回路を有する専用集積回路、プログラマブルゲートアレイ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ以下ＰＧＡと略称する）、フィールドプログラマブルゲートアレイ（Fｉｅｌｄ  Pｒｏｇｒａｍｍａｂｌｅ  Gａｔｅ  Aｒｒａｙ 以下ＰＦＧＡと略称する）などである。
【０１８９】
上述の実施形態を実現する方法に係る、全部又は部分のステップは、プログラムによって関連するハードウェアに命令を実行して完成でき、前記プログラムはコンピュータの読み取り可能な記憶媒体に記憶され、プログラムを実行するとき、実施形態のステップの一つ又はその組合せを含むことが本技術分野の一般の技術者は理解すべきである。
【０１９０】
また、本発明の実施形態に係る各機能ユニットは一つの処理モジュールに集成されてもよいし、各ユニット各自の物理的存在であってもよいし、ソフトウェアによるモジュールを利用してもよい。前記統合されたモジュールはハードウェアを利用してもできるし、ソフトウェアを利用してもできる。前記統合されたモジュールはソフトウェアを利用して独立するプロダクトとして販売又は利用されるとき、コンピュータの読み取り可能な記憶媒体に記憶されてもよい。
【０１９１】
前記記憶媒体はＲＯＭ、読み出し専用メモリ、ディスク又はＣＤ等である。
【０１９２】
本明細書の説明において、用語の“一つの実施形態”、“一部の実施形態”、“例示”、“具体的な例示”、又は“一部の例示”等の言葉は、当該実施形態又は例示と合わせて説明された具体的な特徴、構成、材料又は特性が、本発明の少なくとも一つの実施形態又は例示に含まれることを意味する。本明細書において、上記の用語の概略表現は必ずしも同じ実施形態又は例示を指さず、且つ、任意の一つ又は複数の実施形態や例示において、説明された具体的な特徴、構成、材料又は特性を適当な方法で組み合わせることもできる。
【０１９３】
以上本発明の実施形態を示して説明したが、当業者にとって理解できるのは、上記の実施形態は例示的なものに限らないということであり、また本発明を制限するように解釈する事は出来ないということである。本発明の原理と要旨から逸脱しない範囲で、これらの実施形態に対し様々な変更、修正、置換および変形をすることが可能である。
【図１】
0006625418.tif 000002
【図２】
0006625418.tif 000003
【図３】
0006625418.tif 000004
【図４】
0006625418.tif 000005
【図５】
0006625418.tif 000006
【図６】
0006625418.tif 000007