(57)【要約】  スマート端末を制御する方法であって、（Ｓ１０２）スマート端末に配置されたアプリケーションから送信されたリクエストを受信することと、（Ｓ１０４）目標領域にいるユーザの顔画像を取得することと、（Ｓ１０６）前記顔画像によりユーザ個人情報を特定することと、（Ｓ１０８）特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断することと、マッチする場合に、（Ｓ１１０）当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、（Ｓ１１２）対象ユーザの対象部の移動軌跡を取得し、（Ｓ１１４）移動軌跡を識別し移動軌跡識別結果を出力し、（Ｓ１１６）移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うこととを含む。【選択図】図１
2019519830.tif 000002
【特許請求の範囲】
【請求項１】
スマート端末に配置されたアプリケーションから送信され、前記アプリケーションに既に登録されているユーザのユーザ個人情報を含むリクエストを受信することと、
前記リクエストに応じて、目標領域にいるユーザの顔画像を取得することと、
前記顔画像によりユーザ個人情報を特定することと、
特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断することと、
マッチする場合に、
当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、
前記対象ユーザの対象部の移動軌跡を取得し、
前記移動軌跡を識別し移動軌跡識別結果を出力し、
前記移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うことと
を含むこと、を特徴とするスマート端末を制御する方法。
【請求項２】
請求項１に記載の方法であって、
前記特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断する際に、特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチしない場合に、前記リクエストを表示しないことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、
前記リクエストを表示することとは、前記リクエストを前記スマート端末の予め設定された位置に表示すること、或いは音声で音声提示を行うことであることを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、
前記音声で音声提示を行う際に、前記スマート端末において対象アプリケーションを除くすべてのアプリケーションをサイレントモードまたはポーズモードにするように制御することを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、
別々に定義される移動軌跡を予め格納しておくと共に、前記移動軌跡にそれぞれ対応する応答操作も格納することを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、
目標領域にいるユーザの顔画像と手振り画像を取得することと、
前記顔画像に基づいてユーザ個人情報を特定することと、
手振り画像を識別して、対象アプリケーションに対象操作を行うという手振り識別結果を出力することと、
前記手振り識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うこと
をさらに含むことを特徴とする方法。
【請求項７】
請求項６に記載の方法であって、
前記手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行った後、
前記スマート端末をサイレントモードにするように制御することと、
対象ユーザの音声情報を取得することと、
前記音声情報を識別し音声識別結果として出力することと、
前記音声識別結果に応じて、前記対象アプリケーションに操作を行うこと
をさらに含むことを特徴とする方法。
【請求項８】
請求項１に記載の方法であって、
目標領域にいるユーザの手振り画像を取得することと、
前記手振り画像によりユーザの手振りを識別し、音声識別モードが作動するという手振り識別結果を出力することと、
前記手振り識別結果に応じて、音声識別モードが作動するように前記スマート端末を制御することと、
ユーザの音声情報を取得することと、
前記音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得することと、
前記音声情報を識別して、対象アプリケーションに対象操作を行うという音声識別結果を出力することと、
前記音声識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うこと
をさらに含むことを特徴とする方法。
【請求項９】
請求項８に記載の方法であって、
ユーザの音声情報を取得することは、ユーザの音声休止時間或いは手振り情報によって音声情報取得を終了するかどうかを決定することを含む
ことを特徴とする方法。
【請求項１０】
請求項１に記載の方法であって、
ユーザ個人情報、及び前記ユーザ個人情報と照合した顔特徴情報を格納することをさらに含み、
前記顔画像によりユーザ個人情報を特定することは、
前記顔画像に基づいてユーザの顔特徴情報を抽出することと、
前記顔特徴情報によって前記顔特徴情報と照合したユーザ個人情報を取得することを含む
ことを特徴とする方法。
【請求項１１】
コンピュータ読取可能コマンドを格納するメモリと、プロセッサとを含むスマート端末であって、前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
前記スマート端末に配置されたアプリケーションから送信され、既に登録されているユーザのユーザ個人情報を含むリクエストを受信するステップと、
前記リクエストに応じて、目標領域にいるユーザの顔画像を取得するステップと、
前記顔画像によりユーザ個人情報を特定するステップと、
特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断するステップと、
マッチする場合に、
当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、
前記対象ユーザの対象部の移動軌跡を取得し、
前記移動軌跡を識別し移動軌跡識別結果を出力し、
前記移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うステップと
を実行させることを特徴とするスマート端末。
【請求項１２】
請求項１１に記載のスマート端末であって、
特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチしないと判断された場合に、前記コンピュータ読取可能コマンドは前記プロセッサが前記リクエストを表示しないステップを実行させることを特徴とするスマート端末。
【請求項１３】
請求項１１に記載のスマート端末であって、
前記リクエストを表示することとは、前記リクエストを前記スマート端末の予め設定された位置に表示する或いは音声で音声提示を行うことである
ことを特徴とするスマート端末。
【請求項１４】
請求項１３に記載のスマート端末であって、
前記音声で音声提示を行う際に、前記コンピュータ読取可能コマンドは前記プロセッサが前記スマート端末において対象アプリケーションを除くすべてのアプリケーションをサイレントモードまたはポーズモードにするように制御するステップを実行させる
ことを特徴とするスマート端末。
【請求項１５】
請求項１１に記載のスマート端末であって、
前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、別々に定義される移動軌跡を予め格納しておくと共に、前記移動軌跡にそれぞれ対応する応答操作も格納するステップをさらに実行させる
ことを特徴とするスマート端末。
【請求項１６】
請求項１１に記載のスマート端末であって、
前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
目標領域にいるユーザの顔画像と手振り画像を取得するステップと、
前記顔画像に基づいてユーザ個人情報を特定するステップと、
手振り画像を識別して、対象アプリケーションに対象操作を行うという手振り識別結果を出力するステップと、
前記手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行うステップをさらに実行させる
ことを特徴とするスマート端末。
【請求項１７】
請求項１６に記載のスマート端末であって、
手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行った後、前記コンピュータ読取可能コマンドは、前記プロセッサが、
前記スマート端末をサイレントモードにするように制御するステップと、
対象ユーザの音声情報を取得するステップと、
前記音声情報を識別し音声識別結果として出力するステップと、
前記音声識別結果に応じて、前記対象アプリケーションに操作を行うステップをさらに実行させる
ことを特徴とするスマート端末。
【請求項１８】
請求項１１に記載のスマート端末であって、
前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
目標領域にいるユーザの手振り画像を取得するステップと、
前記手振り画像によりユーザの手振りを識別し、音声識別モードが作動するという手振り識別結果を出力するステップと、
前記手振り識別結果に応じて、音声識別モードが作動するように前記スマート端末を制御するステップと、
ユーザの音声情報を取得するステップと、
前記音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得するステップと、
前記音声情報を識別して、対象アプリケーションに対象操作を行うという音声識別結果を出力するステップと、
前記音声識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行うステップをさらに実行させる
ことを特徴とするスマート端末。
【請求項１９】
請求項１８に記載のスマート端末であって、
ユーザの音声情報を取得するステップは、ユーザの音声休止時間或いは手振り情報によって音声情報取得を終了するかどうかを決定するステップを含む
ことを特徴とするスマート端末。
【請求項２０】
請求項１１に記載のスマート端末であって、
前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
ユーザ個人情報、及び前記ユーザ個人情報と照合した顔特徴情報を格納するステップをさらに実行させ、
前記顔画像によりユーザ個人情報を特定するステップは、前記顔画像に基づいてユーザの顔特徴情報を抽出するステップと、
前記顔特徴情報によって前記顔特徴情報と照合したユーザ個人情報を取得するステップを含む
ことを特徴とするスマート端末。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１６年３月２４日に中国特許庁に出願された出願番号が２０１６１０１７３９３７８である、「スマート端末を制御する方法及びシステム、スマート端末」の中国特許出願を優先権主張し、その内容はすべて本明細書に組み込まれる。
【０００２】
本発明は、スマート端末を制御する技術に関し、特にスマート端末を制御する方法及びスマート端末に関する。
【背景技術】
【０００３】
ユーザの多種多様な需要に応えるために、スマートテレビ、コンピュータ、タブレット及びスマートゲーム機などのさらなるスマート端末には対応したアプリケーション（例えば、ＭＳＮ、ＱＱ、ＷｅＣｈａｔ、メールボックスなど）が配置される。一般的に、これらのアプリケーションは、スマート端末が作動した後にバックグラウンドで実行される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これらのアプリケーションが新規メッセージを受信し、或いは操作リクエストを送信する際に、ユーザは、リモコン、マウス、キーボードなどの入力デバイスを用いて対応する操作を行わなければならない。また、一つのスマート端末に対し複数のユーザがいる場合、どのユーザでも、このアプリケーションの新規メッセージをチェックしたり、操作リクエストに対応することができる。しかし、一般的にアプリケーションにおいてユーザの個人情報が記載されているか反映されているため、このような制御方法はユーザのプライバシー保護に不利な影響を与えると共に、操作も不便である。
【課題を解決するための手段】
【０００５】
本発明は、様々な実施例に基づいて、スマート端末を制御する方法及びスマート端末を提供する。
【０００６】
スマート端末を制御する方法であって、スマート端末に配置されたアプリケーションから送信され、アプリケーションに既に登録されているユーザのユーザ個人情報を含むリクエストを受信することと、
前記リクエストに応じて、目標領域にいるユーザの顔画像を取得することと、
前記顔画像によりユーザ個人情報を特定することと、
特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断することと、
マッチする場合に、
当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、
前記対象ユーザの対象部の移動軌跡を取得し、
前記移動軌跡を識別し移動軌跡識別結果を出力し、
前記移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うことと
を含むことを特徴とする。
【０００７】
コンピュータ読取可能コマンドを格納するメモリと、プロセッサとを含むスマート端末であって、前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
前記スマート端末に配置されたアプリケーションから送信され、既に登録されているユーザのユーザ個人情報を含むリクエストを受信するステップと、
前記リクエストに応じて、目標領域にいるユーザの顔画像を取得するステップと、
前記顔画像によりユーザ個人情報を特定するステップと、
特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断するステップと、
マッチする場合に、
当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、
前記対象ユーザの対象部の移動軌跡を取得し、
前記移動軌跡を識別し移動軌跡識別結果を出力し、
前記移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うステップと
を実行させることを特徴とする。
【０００８】
本発明の一つまたは複数の実施例の詳細については、後述する図面及び説明に記述される。本発明の他の特徴、目的及び利点は、明細書、図面及び特許請求の範囲から明らかになる。
【０００９】
本発明の実施例または従来技術による技術案をより明らかに説明するために、実施例または従来技術を記述するのに必要な図面を簡単に説明する。後述する図面は本発明の実施例に過ぎず、当業者として創造的な努力を必要とせずに、これらの図面に基づいて他の実施例の図面を得られることが明らかである。
【図面の簡単な説明】
【００１０】
【図１】一実施例におけるスマート端末を制御する方法のフローチャートである。
【図２】他の実施例におけるスマート端末を制御する方法のフローチャートである。
【図３】さらにその他の実施例におけるスマート端末を制御する方法のフローチャートである。
【図４】一実施例におけるスマート端末の制御構成図である。
【図５】他の実施例におけるスマート端末の制御構成図である。
【図６】一実施例におけるスマート端末構成の概略図である。
【発明を実施するための形態】
【００１１】
本発明を容易に理解するために、次に、図面を参照しながら、本発明についてより詳しく説明する。図面には、本発明の最適な実施例が示されている。しかし、本発明は様々な形で実現でき、本明細書に記述される実施例に限らない。その一方で、これらの実施例を挙げる目的は、本発明の開示をより徹底的かつ完全に理解することである。
【００１２】
本発明のスマート端末を制御する方法は、少なくとも一つのアプリケーションが配置されているスマート端末を制御することに用いられる。一実施例において、図６に示すように、スマート端末の内部構造は、プロセッサと、不揮発性記憶媒体と、ネットワークインタフェースと、電源インターフェースと、メモリと、音声取得装置と、画像取得装置と、表示画面と、スピーカ及び入力装置を含むものがシステムバスを介して接続されている。スマート端末の記憶媒体には、オペレーティングシステムと、コンピュータ読取可能コマンドとが格納されている。当該コンピュータ読取可能コマンドはプロセッサで実行されることで、上記プロセッサがスマート端末を制御する一つの方法を実行させることができる。スマート端末には、オペレーティングシステムの操作環境で動作する少なくとも一つのアプリケーションが配置される。当該プロセッサは、スマート端末全体の操作を支持する演算及び制御機能を提供するものであって、且つスマート端末を制御する方法の手順を実行するように構成される。スマート端末のメモリは、記憶媒体に格納されたスマート端末制御システムが作動する環境を提供する。ネットワークインタフェースは、ネットワーク側のデバイスと接続することによりネットワーク通信を行うことに用いられる。スマート端末の表示画面は、液晶スクリーンまたは電子インクスクリーンなどであってもよい。入力装置は、表示画面上を覆うタッチパネルであってもよく、スマート端末の筐体に設置されたボタン、トラックボール、またはタッチパネルであってもよく、外付けされたキーボード、タッチパネルまたはマウス等であってもよい。音声取得装置は、スマート端末に内蔵されたマイクまたは外付マイクデバイスであってもよい。画像取得装置は、スマート端末に内蔵されたカメラまたは外付カメラであってもよい。
【００１３】
当該スマート端末は、スマートテレビ、コンピュータ、タブレット、スマートゲーム機などのデジタルデバイスであってもよい。これらのスマート端末が一般的に大きな表示画面を備えているため、複数のユーザに同時にビデオを視聴させたり情報をシェアさせることができる。このため、当業者にとってわかるように、本発明のスマート端末を制御する方法及びシステムは、複数のユーザが同時に視聴可能なスマートフォンやＩＰＡＤなどのデバイスにも適用する。スマート端末に配置されたアプリケーションは、システムに内蔵されたアプリケーションであってもよく、ユーザ自身がダウンロードし配置する他社のアプリケーションであってもよい。上記アプリケーションは、ＭＳＮ、ＱＱ、ＷｅＣｈａｔ、Ｆａｃｅｂｏｏｋなどのインスタントメッセージアプリケーションであってもよく、テキストメッセージ、電話、電子メール、知識クイズなどのアプリケーションであってもよい。以下では、スマートテレビを一例として説明を行い、スマートテレビには、少なくともＭＳＮ、ＱＱ、ＷｅＣｈａｔのいずれか一つのインスタントメッセージアプリケーションが配置されている。
【００１４】
図１に示すように、一実施例におけるスマート端末を制御する方法は、以下のステップを含む。
【００１５】
Ｓ１０２において、スマート端末に配置されたアプリケーションから送信されるリクエストを受信する。
【００１６】
スマート端末が起動すると、一部のアプリケーションは、ユーザからの設定あるいは使用状況によってバックグラウンドで作動することになる。例えば、ユーザはスマートテレビを電源オンにした後、ＭＳＮ、ＱＱ、ＷｅＣｈａｔ、電子メールなどのスマートテレビに配置されたインスタントメッセージアプリケーションが作動する。一般的に、リソースを節約するために、これらのアプリケーションが利用されていない期間にはバックグラウンドで作動する。これらのアプリケーションが新規メッセージを受信するか、アップグレード情報、異常情報などを受信する等の場合、ユーザにリクエストを送信する。従来のスマート端末において、ＱＱなどのアプリケーションが新規メッセージを受信すると、一般的にはアイコンを点滅させる、或いは音声で新規メッセージを受信したことをユーザに提示し、さらに一部のスマート端末は受信された新規メッセージを表示画面に直接表示する。このため、新規メッセージがプライベートメッセージであって、かつ複数のユーザが同時に上記スマート端末を視聴している場合に、プライバシーを保護しにくい。本実施例において、アプリケーションがリクエストを送信する際に、メッセージの提示と表示を実行しない。
【００１７】
新規メッセージを受信したアプリケーションで送信するリクエストに、上記アプリケーションに登録されているユーザのユーザ個人情報を含むことが必要である。リクエストを送信するアプリケーションがシステムアプリケーション或いは登録せずに利用できるアプリケーションであれば、現在登録されているユーザをスマート端末のデフォルトユーザとして、このユーザに関する情報をデフォルトユーザ情報とする。デフォルトユーザはユーザによって設定することができる。デフォルトユーザは一人でもよく、複数でもよい。本実施例において、ユーザ個人情報は、スマート端末が一意に識別可能なユーザ名、ユーザＩＤなどを含むことができる。
【００１８】
Ｓ１０４において、受信したリクエストに応じて、目標領域にいるユーザの顔画像を取得する。
【００１９】
目標領域とは、一般的に、スマート端末の表示画面の正面領域を示しており、その範囲がカメラなどの画像取得デバイスの取得角度によって確定される。画像取得デバイスは、スマート端末に内蔵されたデバイスであってもよく、インターフェースを介してスマート端末に接続される外付けデバイスであってもよい。目標領域に複数のユーザがいる場合、この複数のユーザそれぞれに顔画像を取得する。具体的に、画像取得デバイスは、撮影によって目標領域内の画像を取得した後に、取得した画像における顔を識別する。本実施例において、特定モジュールは、例えば、識別された顔に識別子（例えば、コード）を与えるように、識別された顔を特定する。特定モジュールは、顔識別が行われる前に顔を特定してもよい。本実施例において、画像取得デバイスは、目標領域で識別した顔を追跡する。ユーザが目標領域から離れたことが検出されると、特定モジュールは、当該ユーザの特定をクリアする。即ち、このユーザの特定コードが使用停止になる。画像取得装置は、新しいユーザが目標領域に入ったことを検出すると、追跡技術によって目標領域に新たに入ったユーザのみの顔画像を取得し、当該ユーザの顔の識別ができた後に、特定モジュールによって当該顔を特定する。
【００２０】
Ｓ１０６において、取得された顔画像に基づいてユーザ個人情報を特定する。
【００２１】
具体的に、取得された顔画像に基づいてユーザの顔特徴情報を抽出する。それぞれのユーザが個人的な顔特徴情報を持っているため、抽出された顔特徴情報を予め格納されている各ユーザの顔特徴情報と照合することにより、取得された顔画像に対応するユーザ個人情報を特定できる。本実施例において、スマート端末は、取得された顔画像に基づいてユーザ個人情報の識別がより便利になるために、常用者のユーザ個人情報と、当該ユーザ個人情報とマッチした顔特徴情報を予め格納しておく。他の実施例において、スマート端末は、各ユーザそれぞれのユーザ個人情報、及び当該ユーザ個人情報とマッチした顔画像を予め格納し、取得された顔画像を予め格納されている顔画像を照合して類似度が予め設定された値以上の場合に同一と認識することにより、この顔画像に対応するユーザ個人情報を特定してもよい。もう一つの実施例において、常用者のユーザ個人情報、及び当該ユーザ個人情報とマッチした顔特徴情報はクラウドサーバー或いはリモートサーバーに格納されている。これにより、スマート端末は、クラウドサーバー或いはリモートサーバーから関連情報を取得して顔識別を行う。
【００２２】
Ｓ１０８において、特定されたユーザ個人情報がリクエストに含まれているユーザ個人情報とマッチするかを判断する。
【００２３】
特定されたユーザ個人情報が上記リクエストに含まれているユーザ個人情報とマッチするかを判断することにより、現在リクエストしたアプリケーションに登録されているユーザが目標領域にいるかを判断する。例えば、スマートテレビにおいて、Ａが登録されているＱＱがリクエストを送信したとする。この場合、スマートテレビの目標領域（正面の視聴領域）にいるユーザに対し顔識別を行ってＡが目標領域にいること、つまりＡがスマートテレビを視聴していることを確認する。特定されたユーザ個人情報がリクエストに含まれているユーザ個人情報とマッチしている（即ち、現在リクエストしたアプリケーションに登録されているユーザが目標領域にいる）と判断された場合、Ｓ１１０以後に進む。一方、判断されなかった場合、ステップＳ１１８へ進む。本実施例は、Ｓ１０４において、スマート端末の目標領域にいる複数のユーザに対し同時に顔画像取得を行っている。他の実施例において、Ｓ１０４、Ｓ１０６及びＳ１０８を順に繰り返して実行してもよい。つまり、ユーザそれぞれの顔画像を順番に一つずつ取得して、当該ユーザの個人情報を特定し、特定されたユーザ個人情報がリクエストに含まれているユーザ個人情報とマッチしているかを判断する。マッチしない場合に、引き続きＳ１０４、Ｓ１０６及びＳ１０８を繰り返し実行する。Ｓ１０８での判断結果が「マッチ」である場合、或いは目標領域にいるすべてのユーザに対し判断が行われた場合、上記手順を終了する。
【００２４】
Ｓ１１０において、当該マッチしたユーザを対象ユーザと特定して上記リクエストを表示する。
【００２５】
マッチしたユーザを対象ユーザと特定する意味は、主に後続操作の利便性のために、マッチしたユーザの位置情報を特定することである。対象ユーザが目標領域にいることが確認された後に上記リクエストを表示することにより、対象ユーザが目標領域にいない時にリクエストを表示して視聴中のユーザに干渉したり、登録されているユーザの情報が他人に知られるのを回避することができ、情報セキュリティ性が向上する。リクエストをスマート端末の予め設定された位置に直接表示してもよく、音声で提示を行ってもよい。音声で提示を行う場合に、音声提示を行うと同時に、スマート端末において対象アプリケーションを除くすべてのアプリケーションがサイレントモード或いはポーズモードなどになるように制御する。
【００２６】
Ｓ１１２において、対象ユーザの対象部の移動軌跡を取得する。
【００２７】
リクエストを表示した後、スマート端末は、軌跡識別モードに移行して対象ユーザの対象部の移動軌跡を識別する。本実施例において、対象部は頭部である。移動軌跡とは、頭部揺れ（例えば、左右揺れ或は上下揺れなど）の軌跡である。他の実施例において、対象部は手部であってもよい。移動軌跡とは、手揺れの軌跡或いは手部が最後に静止した後の静的な姿勢であってもよい。
【００２８】
Ｓ１１４において、取得された移動軌跡を識別し移動軌跡識別結果を出力する。
【００２９】
取得された移動軌跡を識別して移動軌跡識別結果を出力する。スマート端末或いはサーバーに予め定義された移動軌跡データベースを格納していると共に、各移動軌跡ごとに1つの応答指令に対応している。本実施例において、対象部は頭部であるため、移動軌跡データベースには首の肯き移動軌跡と首振り移動軌跡が定義されている。これにより、取得された移動軌跡に基づいて上記頭部の移動が首の肯き動作であるか首振り動作あるかを判定することができる。他の実施例において、対象部は手部であるから、移動軌跡データベースにおいて、例えば、左右揺れ、上下揺れ、前後揺れなどの移動軌跡、或いは素早く識別可能なチャラクート軌跡、例えば「Ｗ」、「Ｖ」、「√」などの移動軌跡が需要によって定義することができる。
【００３０】
Ｓ１１６において、移動軌跡識別結果に応じて上記リクエストに対し応答操作を行う。
【００３１】
移動軌跡データベースには、別々に定義される移動軌跡が格納されていると共に、当該移動軌跡にそれぞれ対応する応答操作、例えば、当該リクエストを受け取る操作と、当該リクエストを拒否する操作なども格納されている。
【００３２】
本実施例において、移動軌跡データベースに、首の肯き移動軌跡に対応する応答操作がこのリクエストを受信する。即ち、受信された新規メッセージを開く或いは再生することであると定義されている。また、首振り移動軌跡に対応する応答操作がこのリクエストを拒否する。即ち、受信された新規メッセージを開く或いは再生しないと共に、上記リクエストを二度と表示しないように制御することであると定義されている。例えば、ユーザＡは目標領域にいることが検出された場合、スマートテレビが、例えば「Ａの新規メッセージが着信しました。今チェックしますか？」などのＱＱのリクエストを表示させる。表示されたリクエストには、現在登録されているユーザの個人情報を反映できる識別子も表示されている。これにより、Ａは上記リクエストを見た或いは聞いた後に当該メッセージをチェックしたい場合に、首の肯き動作をすればよい。スマートテレビは、Ａの首の肯き動作を取得すると、Ａが上記新規メッセージの表示或は再生を許可したと判定し、上記新規メッセージを表示或いは再生する。一方、Ａは他人の目の前で個人メッセージをチェックしたくない場合、首振り動作をすればよい。スマートテレビは、Ａの首振り動作を取得すると、Ａが上記新規メッセージの表示を許可しないと判定し、上記新規メッセージを表示或は再生しないと共に、ユーザの視聴に干渉しないように、上記リクエストの表示を停止する。
【００３３】
また、例えば、一部のアプリケーションは、一般的に新しいバージョンが存在する時、自動的にアップグレードするかどうかを確認するためのリクエストを送信する。この場合にも、上記制御方法によってこのリクエストに対し応答操作を行うことができる。つまり、上記アプリケーションに現在登録されているユーザ（或はデフォルトユーザ）が目標領域にいることが判断された場合に、アップグレードリクエストを表示する。その後、ユーザは、首の肯き動作をすることによりアップグレードを許可する或いは首振り動作をすることによりアップグレードを拒否することができる。
【００３４】
また、上記制御方法は、スマート端末で行う知識クイズにも適用することができる。例えば、知識クイズアプリケーションが起動された後に、対象ユーザの移動軌跡を識別することにより、得られた移動軌跡識別結果に基づいてユーザの答えを取得して次の問題に移行する。具体的に、ユーザの首振り動作が判定された場合、ユーザの答えが「ＮＯ」であることが確定され、ユーザの首の肯き動作が判定された場合、ユーザの答えが「ＹＥＳ」であることが確定される。また、選択肢に対応する移動軌跡或は静的な手振りを予め定義して、ユーザが相応的な手振り或いは移動軌跡をした場合に、その答えが「Ａ」であるか「Ｂ」であるかなどを判定できる。本実施例において、記憶モジュールはさらにユーザの回答記録を格納する。
【００３５】
Ｓ１１８において、当該リクエストを表示させない。
【００３６】
対象ユーザが目標領域にいない場合、他のユーザの視聴に干渉しないために、上記リクエストが表示させない。
【００３７】
本実施例に係るスマート端末を制御する方法において、スマート端末に配置されたアプリケーションがリクエストを送信する時、まず目標領域にいるユーザの顔情報を取得して現在当該アプリケーションに登録されているユーザが目標領域にいるかを判断する。対象ユーザが目標領域にいると判断された場合のみ、上記リクエストを表示し、さらに当該ユーザの目標部の移動軌跡を取得してその移動軌跡に基づいた移動軌跡識別結果に応じて、アプリケーションのリクエストに対し応答操作を行う。これにより、ユーザは、他のデバイスを利用せずに、スマート端末を直接触らずに応答操作を行うことができ、操作が簡単になり、情報セキュリティ性も高まる。
【００３８】
もう一つの実施例において、図２に示すように、本発明に係るスマート端末を制御する方法は、以下のステップをさらに含む。
【００３９】
Ｓ２１０において、目標領域にいるユーザの顔画像と手振り画像を取得する。
【００４０】
スマート端末の画像取得モジュールは、設定された期間毎に、目標領域にいるユーザの顔画像と手振り画像を取得するために外部画像を取得する。
【００４１】
Ｓ２２０において、取得された顔画像に基づいてユーザ個人情報を特定する。
【００４２】
取得された顔画像に基づいてユーザ個人情報を特定することができる。例えば、取得された顔画像に対し特徴を抽出し、抽出された顔特徴情報を予め格納された各ユーザの顔特徴情報と照合することにより、ユーザ個人情報を特定する。
【００４３】
Ｓ２３０において、上記手振り画像を識別して手振り識別結果を出力する。
【００４４】
本実施例において、上記手振り画像は静的な手振り画像である。スマート端末或いはサーバーは１つの手振りデータベースを定義し、取得された手振り画像を手振りデータベースにおける手振り画像と照合し、手振り識別結果を出力する。
【００４５】
Ｓ２４０において、上記手振り識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行う。
【００４６】
具体的に、手振りデータベースには、各手振りにそれぞれ対応する対象操作が格納されている。例えば、「ＯＫ」という手振りは、ＱＱを起動することに対応し、「Ｖ」という手振りは、ＷｅＣｈａｔを起動することに対応する。これにより、手振り識別結果に応じて、当該ユーザ個人情報で登録された対象アプリケーションに対象操作を行うことができる。また、例えば、ユーザＢは自分が登録されスマートテレビに配置されているＱＱを開けようとする場合に、「ＯＫ」の手振りを作れば、画像取得モジュールが、ユーザＢの顔画像及び手振り画像を取得することでユーザＢの個人情報及び手振りを識別することができ、ユーザＢが登録されたＱＱを起動することができる。この操作においても、リモコンなど他のデバイスを利用せずに、スマート端末を直接触らなくても済むので、操作が簡単になる。また、ユーザは自分の個人情報が登録されたアプリケーションのみを起動することができ、他者が登録したアプリケーションを起動することができないため、情報セキュリティ性がより一層向上する。
【００４７】
本実施例において、上記スマート端末を制御する方法は、ステップＳ２５０〜Ｓ２７０をさらに含む。
【００４８】
Ｓ２５０において、スマート端末をサイレントモードにするように制御する。
【００４９】
ユーザが対象アプリケーションを操作する時、ユーザの操作に干渉しないために、スマート端末をサイレントモードにしてもよい。スマート端末の音量を０まで調整するか、あるいはスマート端末上で現在実行されているアプリケーションを中止することにより、スマート端末をサイレントモードにするように制御することができる。
【００５０】
Ｓ２６０において、対象ユーザの音声情報を取得する。
【００５１】
ユーザから対象アプリケーションに対象操作を行うという旨の指令を送信すると、当該指令したユーザを対象ユーザと特定することができる。対象アプリケーションに対し後続操作のために、対象ユーザの音声情報を取得する。対象ユーザのみに対し音声情報を取得するから、音声取得モジュール及び識別モジュールの処理量を削減することができる。
【００５２】
Ｓ２７０において、上記音声情報を識別し、音声識別結果に応じて対象アプリケーションに操作を行う。
【００５３】
音声情報の内容を識別することにより対象アプリケーション及び対象操作指令を特定する。例えば、ユーザＢは手振りによってＱＱを起動した後、友人Ｃに音声メッセージを送信しようとする場合、「Ｃに音声メッセージを送信してください」、「音声メッセージをＣに送信してください」、或いは単にＣの名前「Ｃ」などの音声情報を送信すればよい。音声識別モジュールは、受信した音声情報に基づいてＣを対象と特定して、音声メッセージを送信することを対象操作と特定した後、Ｃに関するチャットウィンドウをポップアップすると共に録音機能を作動させる。スマート端末は、ユーザから送信されてきた音声指令、休止時間及び他の動作に応じて録音モジュールを制御し、録音を終了し且つ当該録音内容を送信或いは停止する。例えば、ユーザの音声入力の休止時間が予め設定された時間を超える場合、録音モジュールを制御して録音を終了し、且つ当該録音を送信することができる。ユーザがＣの名前だけを送信した場合、スマート端末は、友人リストからＣを検索してＣのチャットウィンドウをポップアップする。Ｃのチャットウィンドウがポップアップされると、ユーザは、相応的な音声指令、手振りなどを入力することにより、音声メッセージ送信、ビデオチャットなどの操作を行うことができる。
【００５４】
本実施例に係るスマート端末を制御する方法によれば、スマート端末に配置されたアプリケーションに基本的な操作を行うことができ、ユーザの操作利便性が向上する。また、権限を持っているアプリケーションしか操作できないため、情報セキュリティ性が向上する。
【００５５】
もう一つの実施例において、図３に示すように、本発明のスマート端末を制御する方法は、以下のステップをさらに含む。
【００５６】
Ｓ３１０において、目標領域にいるユーザの手振り画像を取得する。
【００５７】
スマート端末の画像取得モジュールは、設定された期間毎に、目標領域にいるユーザの手振り画像を取得するために外部画像を取得する。本実施例において、顔画像を取得しない。
【００５８】
Ｓ３２０において、取得された手振り画像によりユーザの手振りを識別し、手振り識別結果を出力する。
【００５９】
ユーザの手振り画像のみを識別する場合、手振り識別結果は主に音声識別モードにより作動する。この手振りはユーザによって定義することができる。例えば、手振りが拳である場合に音声識別モードを作動させるように定義することができる。
【００６０】
Ｓ３３０において、上記手振り識別結果に応じて、音声識別モードを起動するようにスマート端末を制御する。
【００６１】
音声識別モードを起動するようにスマート端末を制御する際に、当該スマート端末をサイレントモードにするように制御して、スマート端末からの音声が音声取得モジュールの音声取得を干渉することを回避できる。
【００６２】
Ｓ３４０において、ユーザの音声情報を取得する。
【００６３】
音声識別モードが起動すると、ユーザの音声情報を取得し始める。音声取得モジュールは、ユーザの音声休止時間或いは手振り情報によって音声情報の取得を終了するかを決定する。
【００６４】
Ｓ３５０において、取得された音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得する。
【００６５】
本実施例において、スマート端末は、ユーザ個人情報及びそれに合わせる音声特徴情報を予め格納しておく。これにより、抽出された音声特徴情報を予め格納されている音声特徴情報と対比することにより、送信者のユーザ個人情報を取得することができる。
【００６６】
Ｓ３６０において、上記音声情報を識別して、音声識別結果を出力する。
【００６７】
音声情報の内容を識別することにより対象アプリケーション及び対象操作を特定する。例えば、ユーザＤはＱＱを起動したい場合、「ＱＱを起動しなさい」という音声情報を送信すればよい。受信した音声情報の音声特徴情報に基づいて当該音声情報がユーザＤから送信され、且つ対象アプリケーションがＱＱであり、対象操作がアプリ起動であることを確定できる。そして、インタラクティブ制御モジュールはユーザＤが登録されたＱＱを起動するように、上記識別結果を出力する。
【００６８】
Ｓ３７０において、上記音声識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行う。
【００６９】
音声識別結果に応じて、音声メッセージの送信者の個人情報で登録された対象アプリケーションに対象操作を行う。
【００７０】
図４に示すように、一実施例において、スマート端末４００が提供される。スマート端末４００の内部構造は図６に示す構造に対応する。下記各モジュールの全部或いは一部は、ソフトウェア或いはソフトとハードウェアの組み合わせによって構成することができる。当該スマート端末４００は、受信モジュール４０２、画像取得モジュール４０４、識別モジュール４０６、判断モジュール４０８、特定モジュール４１０、表示モジュール４１２及びインタラクティブ制御モジュール４１４を含む。
【００７１】
受信モジュール４０２は、アプリケーションから送信されたリクエストを受信するように構成される。当該リクエストにおいて、上記アプリケーションに現在登録されているユーザのユーザ個人情報を含む。画像取得モジュール４０４は、目標領域にいるユーザの顔画像を取得するように構成される。識別モジュール４０６は、取得された顔画像に基づいてユーザ個人情報を特定するように構成される。判断モジュール４０８は、特定されたユーザ個人情報が上記リクエストに含まれているユーザ個人情報とマッチするかを判断するように構成される。特定モジュール４１０は、当該マッチしたユーザを対象ユーザと特定するように構成される。表示モジュール４１２は、判断モジュール４０８の判断結果がＹＥＳとされた場合、上記リクエストを表示するように構成される。また、画像取得モジュール４０４は、さらに対象ユーザの対象部の移動軌跡を取得するように構成される。識別モジュール４０６は、さらに上記移動軌跡を識別し移動軌跡識別結果を出力するように構成される。インタラクティブ制御モジュール４１４は、上記移動軌跡識別結果に基づいてリクエストに対し相応的な応答操作を行うように構成される。
【００７２】
本実施例に係るスマート端末４００において、スマート端末に配置されたアプリケーションがリクエストを送信する時、まず目標領域にいるユーザの顔情報を取得して現在当該アプリケーションに登録されているユーザが目標領域にいるかを判断する。対象ユーザが目標領域にいると判断された場合のみ、上記リクエストを表示し、さらに当該ユーザの目標部の移動軌跡を取得してその移動軌跡に基づいた移動軌跡識別結果に応じて、アプリケーションのリクエストに対し応答操作を行う。これにより、ユーザは、他のデバイスを利用せずに、スマート端末を直接に触らないまま応答操作を行うことができ、操作が簡単になり、情報セキュリティ性も高める。
【００７３】
もう一つの実施例において、図５に示すように、上記スマート端末４００は、音声取得モジュール４１６をさらに含む。本実施例において、画像取得モジュール４０４は、さらに目標領域にいるユーザの顔画像と手振り画像を取得するように構成される。識別モジュール４０６は、取得された顔画像に基づいてユーザ個人情報を特定し、手振り画像を識別して手振り識別結果を出力するように構成されてもよい。上記手振り識別結果とは、対象アプリケーションに対し対象操作を行うものである。インタラクティブ制御モジュール４１４は、手振り識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うように構成されてもよい。本実施例において、インタラクティブ制御モジュール４１４は、スマート端末をサイレントモードに制御するように構成されてもよい。音声取得モジュール４１６は、対象ユーザの音声情報を取得するように構成される。識別モジュール４０６は、当該音声情報を識別し音声識別結果を出力するように構成されてもよい。インタラクティブ制御モジュール４１４は、上記音声識別結果に応じて、対象アプリケーションに対し相応的な操作を行うように構成されてもよい。
【００７４】
さらにもう一つの実施例において、上記スマート端末４００においての画像取得モジュール４０４は、目標領域にいるユーザの手振り画像を取得するように構成されてもよい。識別モジュール４０６は、当該手振り画像によりユーザの手振りを識別し、手振り識別結果を出力するように構成されてもよい。上記手振り識別結果は、音声識別モードを起動することである。インタラクティブ制御モジュール４１４は、上記手振り識別結果に応じて、音声識別モードが作動するようにスマート端末を制御するように構成されてもよい。音声取得モジュール４１６は、ユーザの音声情報を取得するように構成される。識別モジュール４０６は、上記音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得し、当該音声情報を識別して音声識別結果を出力するように構成されてもよい。音声識別結果は、対象アプリケーションに対象操作を行うことである。インタラクティブ制御モジュール４１４は、上記音声識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うように構成されてもよい。
【００７５】
また、本実施例において、上記スマート端末４００は記憶モジュール４１８をさらに含む。記憶モジュール４１８は、ユーザ個人情報、及び当該ユーザ個人情報を合わせた顔特徴情報、音声特徴情報などを格納するように構成される。一実施例において、記憶モジュール４１８は、スマート端末内に設置され、或いはスマート端末に内蔵されているメモリを利用する。もう一つの実施例において、記憶モジュール４１８はクラウドメモリ或いはリモートサーバーである。
【００７６】
一実施例において、スマート端末が提供される。スマート端末は、コンピュータ読取可能コマンドを格納するメモリと、プロセッサとを含み、当該コンピュータ読取可能コマンドがプロセッサで実行されるときに、プロセッサが、上記スマート端末に配置されたアプリケーションから送信され、現在登録されているユーザのユーザ個人情報を含むリクエストを受信するステップと、上記リクエストに応じて、目標領域にいるユーザの顔画像を取得するステップと、上記顔画像によりユーザ個人情報を特定するステップと、特定されたユーザ個人情報が上記リクエストに含まれているユーザ個人情報とマッチするかを判断するステップと、マッチする場合に、当該マッチしたユーザを対象ユーザと特定して上記リクエストを表示し、上記対象ユーザの対象部の移動軌跡を取得し、上記移動軌跡を識別し移動軌跡識別結果を出力するステップと、上記移動軌跡識別結果に応じて上記リクエストに対し応答操作を行うステップとを実行させる。ここで、上記リクエストを表示することとは、当該リクエストを上記スマート端末の予め設定された位置に表示する或いは音声で音声提示を行うことである。
【００７７】
本実施例において、特定されたユーザ個人情報が上記リクエストに含まれているユーザ個人情報とマッチしないと判断された場合に、上記コンピュータ読取可能コマンドは上記プロセッサが上記リクエストを表示しないステップを実行させる。
【００７８】
また、一実施例において、音声で音声提示を行う際に、上記コンピュータ読取可能コマンドは、上記プロセッサが上記スマート端末において対象アプリケーションを除くすべてのアプリケーションをサイレントモード或いはポーズモードにするように制御するステップを実行させる。
【００７９】
また、一実施例において、上記コンピュータ読取可能コマンドが上記プロセッサで実行されるときに、上記プロセッサが、別々に定義される移動軌跡を予め格納しておくと共に、上記移動軌跡にそれぞれ対応する応答操作も格納するステップをさらに実行させる。
【００８０】
また、一実施例において、上記コンピュータ読取可能コマンドが上記プロセッサで実行されるときに、上記プロセッサが、目標領域にいるユーザの顔画像と手振り画像を取得するステップと、上記顔画像に基づいてユーザ個人情報を特定するステップと、手振り画像を識別して、対象アプリケーションに対象操作を行うという手振り識別結果を出力するステップと、上記手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行うステップをさらに実行させる。
【００８１】
また、一実施例において、手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行った後、上記コンピュータ読取可能コマンドは上記プロセッサが上記スマート端末をサイレントモードにするように制御するステップと、対象ユーザの音声情報を取得するステップと、上記音声情報を識別し音声識別結果を出力するステップと、上記音声識別結果に応じて、上記対象アプリケーションを操作させるステップをさらに実行させる。
【００８２】
また、一実施例において、上記コンピュータ読取可能コマンドが上記プロセッサで実行されるときに、上記プロセッサが、目標領域にいるユーザの手振り画像を取得するステップと、上記手振り画像によりユーザの手振りを識別し、音声識別モードが作動するという手振り識別結果を出力するステップと、上記手振り識別結果に応じて、音声識別モードが作動するように上記スマート端末を制御するステップと、ユーザの音声情報を取得するステップと、上記音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得するステップと、上記音声情報を識別して、対象アプリケーションに対象操作を行うという音声識別結果を出力するステップと、上記音声識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うステップをさらに実行させる。
【００８３】
また、一実施例において、ユーザの音声情報を取得するステップは、ユーザの音声休止時間或いは手振り情報によって音声情報取得を終了するかを決定するステップを含む。
【００８４】
また、一実施例において、上記コンピュータ読取可能コマンドが上記プロセッサで実行されるときに、上記プロセッサが、ユーザ個人情報、及び上記ユーザ個人情報と照合した顔特徴情報を格納するステップをさらに実行させ、上記顔画像によりユーザ個人情報を特定するステップは、上記顔画像に基づいてユーザの顔特徴情報を抽出するステップと、上記顔特徴情報によって上記顔特徴情報と照合したユーザ個人情報を取得するステップを含む。
【００８５】
当業者であれば、上述した実施例に係る方法の全部或いは一部のステップは、プログラムをハードウェアに指令することにより実行でき、上記プログラムは、コンピュータ読取可能記憶媒体に格納することができ、また、上記プログラムが実行される際に、上述した各方法の実施例の流れを含んでもよい。ここで、上記記憶媒体は、磁気ディスク、光ディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）などの不揮発性記憶媒体、或いはランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）などであってもよい。
【００８６】
上述した実施例の各技術的特徴は任意に組み合わせることができる。記述を簡潔化するために、上述した実施例における各技術的特徴のあらゆる組合せについて説明していないが、これらの技術的特徴の組合せは、矛盾しない限り、本明細書に記述されている範囲内に含まれると考えられるべきである。
【００８７】
上述した実施例は、本発明のいくつかの実施形態を示したものにすぎず、その記述が具体的かつ詳細であるが、本発明の範囲を限定するものと解釈されるべきではない。なお、当業者にとって、本発明の趣旨から逸脱しないかぎり、若干の変形及び改良を行うことができ、これらもすべて本発明の保護範囲内にある。本発明の保護範囲は、特許請求の範囲に準ずるべきである。
【図１】
2019519830.tif 000003
【図２】
2019519830.tif 000004
【図３】
2019519830.tif 000005
【図４】
2019519830.tif 000006
【図５】
2019519830.tif 000007
【図６】
2019519830.tif 000008
【国際調査報告】
2019519830.tif 000009
2019519830.tif 000010
2019519830.tif 000011
2019519830.tif 000012
2019519830.tif 000013
2019519830.tif 000014