(57)【要約】本発明は、ヒューマンマシンインタラクション方法、装置、コンピュータデバイス及び記憶媒体に関する。該方法は下記のステップ、即ち、現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動し、ユーザの音声メッセージを収集するとともにユーザの音声の音量を検出してユーザの音声操作にレスポンスし、ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出するステップに戻ることを含む。このフロー全体では、デバイス自身の出力音量の大きさによって音声認識機能のオン／オフを制御することで、ユーザの音声操作に的確にレスポンスする。そして、ユーザの音声が所定値より大きい場合に、出力音量を小さくし、ユーザのその後の音声メッセージを際立たせて的確に収集する。これにより、ユーザの操作を便利にし、良好なヒューマンマシンインタラクションを実現することができる。【選択図】図２
2021513123.tif 000002
【特許請求の範囲】
【請求項１】
現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動するステップと、
ユーザの音声がモニタリングされた場合、ユーザの音声メッセージを収集するステップと、
ユーザの音声の音量を検出してユーザの音声操作にレスポンスするステップと、
ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、前記現在の出力音量を検出するステップに戻るステップと
を含むヒューマンマシンインタラクション方法。
【請求項２】
前記現在の出力音量を検出するステップの後に、
前記出力音量が予め設定された第１の閾値よりも大きい場合、音声認識機能をオフにするステップを更に含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記現在の出力音量を検出するステップの後に、
ユーザの顔が検出されていない場合に、音声認識機能をオフにするステップを更に含む
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動することは、
前記出力音量が予め設定された第１の閾値よりも小さく、かつユーザの顔が検出された場合に音声認識機能を起動することを含む
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記出力音量が予め設定された第１の閾値よりも小さく、かつユーザの顔が検出された場合に音声認識機能を起動するステップは、
前記出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザの顔の頭部姿勢の検出を起動し、
正面顔が検出された場合に音声認識機能を起動することを含む
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記出力音量が予め設定された第１の閾値よりも小さく、かつユーザの顔が検出された場合に、音声認識機能を起動するステップは、
前記出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザとデバイスとが相対正面視状態にある正面視画像データを取得し、
ユーザの現在の画像データをリアルタイムで取得し、現在取得された画像データと前記正面視画像データとを比較し、
前記現在取得された画像データと前記正面視画像データとが一致した場合に、ユーザとデバイスとが相対正面視状態にあると判断して音声認識機能を起動することを含む
ことを特徴とする請求項４に記載の方法。
【請求項７】
前記ユーザの音声操作にレスポンスすることは、
現在再生中の画像のタイプが、ビデオ画像、写真画像および音声番組を含むタイプのうちどのタイプであるかを認識し、
予め設定された画像のタイプと音声レスポンス指示語との対応関係に基づいて、現在再生中の画像タイプに対応するレスポンス可能指示語集を取得し、
ユーザの音声メッセージを解析して前記ユーザの音声メッセージの対応の指示語を取得し、
取得された指示語が前記現在再生中の画像のタイプに対応するレスポンス可能指示語集に属する場合に、ユーザの音声操作にレスポンスし、
取得された指示語が前記現在再生中の画像のタイプに対応するレスポンス可能指示語集に属しない場合に、ユーザの音声操作にレスポンスしないことを含む
ことを特徴とする請求項１に記載の方法。
【請求項８】
現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動する出力音量検出モジュールと、
ユーザの音声がモニタリングされた場合、ユーザの音声メッセージを収集するモニタリングモジュールと、
ユーザの音声の音量を検出してユーザの音声操作にレスポンスするレスポンスモジュールと、
ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出する操作を出力音量検出モジュールに再実行させる音量調整モジュールと、を含む
ことを特徴とするヒューマンマシンインタラクション装置。
【請求項９】
ストレージとプロセッサとを有するコンピュータデバイスであって、
前記ストレージはコンピュータプログラムを記憶し、
前記プロセッサは、前記コンピュータプログラムを実行するとき、請求項１〜７のいずれか１項に記載の方法のステップを実現する
ことを特徴とするコンピュータデバイス。
【請求項１０】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
プロセッサによって実行されるとき、請求項１〜７のいずれか１項に記載の方法のステップを実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヒューマンマシンインタラクションという技術分野に関し、特にヒューマンマシンインタラクション方法、装置、コンピュータデバイス及び記憶媒体に関する。
【背景技術】
【０００２】
ヒューマンマシンインタラクションとは、人間とデバイスとの間で、所定の対話言語を用いて、所定のインタラクション形式で、特定のタスクを遂行するための情報交換を行うプロセスのことである。
【０００３】
科学技術の発展に伴い、ヒューマンマシンインタラクション技術の適用分野が広がっている。ラジオの放送ボタン、航空機のダッシュボード、または発電所の制御室などについて、ユーザはヒューマンマシンインタラクションのインターフェースを介してシステムと通信して操作することができる。今のヒューマンマシンインタラクション技術として、主流となっている方式は主に３種類がある。第１の種類は従来のボタンを利用する方式である。第２の種類は、特定の音声ワードで起動する方式である。例えば、会話の前に「こんにちは、氷さん」と話し掛けられてから、デバイスはその後に入ってきた音声を認識する。第３の種類は、特定のジェスチャ動作を用いてデバイスに音声認識を開始させるものである。
【０００４】
上記ヒューマンマシンインタラクションの方式は、ある程度のヒューマンマシンインタラクション機能を実現できるものの、インタラクションの方式が単一であったり、特定のジェスチャ動作を予め設定しておく必要があったり、インタラクションプロセスが不自然なものとなったりして、ユーザの操作にある程度の不便がある。
【発明の概要】
【０００５】
そこで、本発明は、上記技術課題に鑑みてなされたものであり、本発明はユーザの操作を便利にするヒューマンマシンインタラクション方法、装置、コンピュータデバイス及び記憶媒体を提供することを目的とする。
【０００６】
現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動するステップと、
ユーザの音声がモニタリングされた場合、ユーザの音声メッセージを収集するステップと、
ユーザの音声の音量を検出してユーザの音声操作にレスポンスするステップと、
ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、前記現在の出力音量を検出するステップに戻るステップと、
を含むヒューマンマシンインタラクション方法である。
【０００７】
一実施形態において、前記現在の出力音量を検出するステップの後に、前記出力音量が予め設定された第１の閾値よりも大きい場合、音声認識機能をオフにするステップを更に含む。
【０００８】
一実施形態において、前記現在の出力音量を検出するステップの後に、ユーザの顔が検出されていない場合に、音声認識機能をオフにするステップを更に含む。
【０００９】
一実施形態において、前記出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動することは、前記出力音量が予め設定された第１の閾値よりも小さく、かつユーザの顔が検出された場合に、音声認識機能を起動することを含む。
【００１０】
一実施形態において、前記出力音量が予め設定された第１の閾値よりも小さく、かつユーザの顔が検出された場合に、音声認識機能を起動するステップは、前記出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザの顔の頭部姿勢の検出を起動し、正面顔が検出された場合に音声認識機能を起動することを含む。
【００１１】
一実施形態において、前記出力音量が予め設定された第１の閾値よりも小さく、かつユーザの顔が検出された場合に、音声認識機能を起動するステップは、
前記出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザとデバイスとが相対正面視状態にある正面視画像データを取得し、
ユーザの現在の画像データをリアルタイムで取得し、現在取得した画像データと前記正面視画像データとを比較し、
前記現在取得した画像データと前記正面視画像データとが一致した場合に、ユーザとデバイスとが相対正面視状態にあると判断して音声認識機能を起動することを含む。
【００１２】
一実施形態において、前記ユーザの音声操作にレスポンスすることは、
ビデオ画像、写真画像および音声番組を含む画像のタイプのうち、現在再生中の画像がどのタイプであるかを認識し、
予め設定された画像のタイプと音声レスポンス指示語との対応関係に基づいて、現在再生中の画像のタイプに対応するレスポンス可能指示語集を取得し、
ユーザの音声メッセージを解析して前記ユーザの音声メッセージの対応する指示語を取得し、
取得された指示語が前記現在再生中の画像のタイプに対応するレスポンス可能指示語集に属する場合に、ユーザの音声操作にレスポンスし、
取得された指示語が前記現在再生中の画像のタイプに対応するレスポンス可能指示語集に属しない場合に、ユーザの音声操作にレスポンスしないことを含む。
【００１３】
本発明のヒューマンマシンインタラクション装置は、
現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動する出力音量検出モジュールと、
ユーザの音声がモニタリングされた場合、ユーザの音声メッセージを収集するモニタリングモジュールと、
ユーザの音声の音量を検出してユーザの音声操作にレスポンスするレスポンスモジュールと、
ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出する操作を出力音量検出モジュールに再実行させる音量調整モジュールと、を含むことを特徴とする。
【００１４】
ストレージとプロセッサとを有するコンピュータデバイスであって、
前記ストレージはコンピュータプログラムを記憶し、
前記プロセッサは、前記コンピュータプログラムを実行することで、上記方法のステップを実現する。
【００１５】
コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、
プロセッサによって実行されることで、上記方法のステップを実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体である。
【００１６】
上記ヒューマンマシンインタラクション方法、装置、コンピュータデバイスおよび記憶媒体は、現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動し、ユーザの音声メッセージを収集するとともにユーザの音声の音量の大きさを検出し、ユーザの音声操作にレスポンスし、ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出するステップに戻る。このフロー全体では、デバイス自身の出力音量の大きさによって音声認識機能のオン／オフを制御することで、ユーザの音声操作に的確にレスポンスする。そして、ユーザの音声が所定値より大きい場合に、出力音量を小さくし、ユーザのその後の音声メッセージを際立たせて的確に収集する。これにより、ユーザの操作を便利にし、良好なヒューマンマシンインタラクションを実現することができる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態に係るヒューマンマシンインタラクション方法の適用シーンの図である。
【図２】一実施形態に係るヒューマンマシンインタラクション方法のフローチャートである。
【図３】一実施例に係るヒューマンマシンインタラクション装置の構成ブロック図である。
【図４】一実施例に係るコンピュータデバイスの内部構成図である。
【発明を実施するための形態】
【００１８】
本発明の目的、技術案及び利点をより明確にするために、以下に添付図面及び実施例を参照して、本出願を更に詳細に説明する。勿論、本明細書に記載される特定の実施例は、本開示を説明するためのものだけであり、本開示を限定するためのものではない。
【００１９】
本発明のヒューマンマシンインタラクション方法は、図１に示すような適用シーンに適用することができる。デバイスは、動作の時に、自身の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合、自身の音声認識機能を起動し、例えば自身に内蔵された収音モジュールをオンにし、ユーザが音声メッセージを出して音声操作を行うと、デバイスは、該音声メッセージがモニタリングされた場合、音声メッセージを収集して音声の音量を検出し、ユーザの音声操作にレスポンスし、例えば切替操作を行う。また、デバイスはユーザの音声の音量が予め設定された値よりも大きいかどうかを検出し、予め設定された値より大きい場合、自身の出力音量を小さくし、現在の出力音量を検出する動作に戻る。
【００２０】
一つの実施例では、図２に示すように、ヒューマンマシンインタラクション方法を提供する。当該方法を図１のデバイスに適用されることを例として説明する。当該方法は以下のステップを含む。
【００２１】
Ｓ２００：現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動する。
デバイスは、自身の現在の出力音量を検出する手段として、デバイス内のスピーカ等の発音手段に出力される電気信号を直接検出することであってもいい。例えば、デバイスがテレビジョンである場合に、テレビジョンの制御システムは、テレビジョンのスピーカに現在出力されている電気信号を検出することによって、現在の出力音量を検出することができる。予め設定された第１の閾値は、事前に設定された閾値である。この値は、実際の状況に応じて設定されてよく、例えば、３０デシベル、３５デシベル又は４０デシベル等に設定されてよい。音声認識機能とは、ユーザの音声を収音し、音声にレスポンスする機能であり、その具体的な起動は音声モジュールや収音モジュールを起動することで実現できるものである。テレビジョンを例とすると、テレビジョンに内蔵されたマイク（又はマイクアレイ）及び音声処理モジュールを用いて、テレビジョンの前の視聴者の音声を収音することができる。テレビジョンの出力音量が予め設定された第１の閾値よりも小さい場合に、これらの内蔵デバイスが起動され、テレビ内部の制御システムが音声認識機能を有効にする。
【００２２】
Ｓ４００：ユーザの音声がモニタリングされた場合、ユーザの音声メッセージを収集する。
デバイスは、音声認識機能を起動した後、音声をモニタリングしつつ、ユーザの音声がモニタリングされた場合、ユーザの音声メッセージを収集する。デバイスは、自身の出力する音声信号がデバイスにとって既知のものであるので、収集された音声信号から既知の出力音声信号を「除去（ノイズ除去）」すれば、現在収集されているユーザの音声メッセージを得ることができる。例えば、テレビジョンを例とすると、テレビジョンは音声認識機能を起動した後に音声をモニタリングしつつ、ユーザの音声がモニタリングされた場合、収集された音声信号から自身の再生している音声信号を除去してユーザの音声メッセージを得る。
【００２３】
Ｓ６００：ユーザの音声の音量を検出し、ユーザの音声操作にレスポンスする。
収集したユーザの音声メッセージに基づいてユーザの音声の音量を検出し、音声認識操作を実行し、ユーザの音声操作にレスポンスする。例えば、テレビジョンを例とすると、テレビジョンはユーザが「次の番組」と発声したことがモニタリングされ、その「次の番組」の音声メッセージを収集し、ユーザからの音声メッセージの音量が４０デシベルであると検出し、その音声メッセージにレスポンスして、テレビジョンの番組を次の番組に切り替える。なお、ユーザの音声操作にレスポンスすることとユーザの音声を検出することとは、２つの並行動作であり、両者が並行的（同時）に実現されてよい。
【００２４】
Ｓ８００：ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出するステップに戻る。
ステップＳ６００でユーザの音声の音量が予め設定された第２の閾値より大きいと検出された場合に、出力音量を小さくし、後でユーザの音声メッセージをより迅速かつ正確にモニタリングできるようにする。なお、予め設定された第２の閾値は、事前に設定される値であり、実際の状況に応じて適宜設定できるものである。例えば４０デシベル、３５デシベル等に設定してよい。
前記ヒューマンマシンインタラクション方法では、現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動し、ユーザの音声メッセージを収集するとともにユーザの音声の音量の大きさを検出し、ユーザの音声操作にレスポンスし、ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出するステップに戻る。このフロー全体では、デバイス自身の出力音量の大きさによって音声認識機能のオン／オフを制御することで、ユーザの音声操作に的確にレスポンスする。そして、ユーザの音声が固定値より大きい場合に出力音量を小さくし、ユーザのその後の音声メッセージを際立たせて的確に収集する。これにより、ユーザの操作を便利にし、良好なヒューマンマシンインタラクションを実現することができる。
【００２５】
一実施形態において、現在の出力音量を検出した後に、出力音量が予め設定された第１の閾値よりも大きい場合、音声認識機能をオフにすることを更に含む。デバイスの出力音量が予め設定された第１の閾値より大きい場合に、デバイスの出力音量が大きく、通常、ユーザは音声操作を行う意図がないため、外部ノイズの混入を避けるために音声認識機能をオフにし、例えば、デバイスの収音モジュールをオフにしてよい。テレビジョンを例として、テレビジョンの出力音量が予め設定された第１の閾値（４０デシベル）よりも大きいと、テレビジョンは自身に内蔵された収音モジュールをオフにすることによって、音声認識機能をオフにして音声操作にレスポンスしない。
【００２６】
一実施形態において、出力音量が予め設定された第１の閾値よりも大きい場合に音声認識機能をオフにすることは、出力音量が予め設定された第１の閾値より大きく、かつ、ユーザの顔が検出されていない場合に、音声認識機能をオフにすることを含む。
【００２７】
特別な状況でユーザが音声操作を行うことができないことを想定して、ここで、デバイスの出力音量が予め設定された第１の閾値よりも大きい場合に、ユーザの顔が存在するかどうかをさらに検出する。ユーザの顔が存在しない場合は、現在のユーザが音声操作のニーズがないということを意味しているので、音声認識機能をオフにする。必須ではないが、ユーザの顔が存在すると検出された場合に、音声認識機能をオフにしなく、ユーザが緊急で突発的に音声操作機能を起動することを可能にしてもよい。デバイスがテレビジョンである場合を例とすると、テレビジョンは、出力音量が予め設定された第１の閾値よりも大きいと検出すると、さらに、現在の視野角の範囲内に正当且つ既知のユーザの顔が存在するかどうかを検出する。存在しない場合、音声認識機能をオフにする。存在する場合、音声認識機能をオフにしない。必須ではないが、ユーザの顔の検出は、出力音量の検出前に行ってもよいし、ユーザの顔が検出されていない場合に、出力音量の大きさにかかわらず、そのままで音声認識機能をオフにして外部環境ノイズの妨害を回避する。
【００２８】
ユーザの音声の音量が予め設定された第２の閾値よりも大きい場合に、音声認識機能を起動してユーザの音声操作にレスポンスする。
【００２９】
また、特別な状況で音声制御を行いたいことを想定して、本実施形態では、ユーザの音声の音量が予め設定された第２の閾値よりも大きい場合は、ユーザが音声制御を急いでいると判断する。従って、音声認識機能を再開してユーザの音声操作にレスポンスする。
【００３０】
一実施形態において、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動することは、出力音量が予め設定された第１の閾値よりも小さく、かつユーザの顔が検出された場合に、音声認識機能を起動することを含む。
【００３１】
出力音量が予め設定された第１の閾値よりも小さい場合に、さらにユーザの顔が存在するかどうかを検出する。ユーザの顔が存在する場合に、ユーザが音声操作を行うニーズがあるとして音声認識機能を起動する。必須ではないが、ユーザの顔が検出されていない場合に、音声認識機能を起動しない。デバイスがテレビジョンである場合を例とすると、テレビジョンは、出力音量が予め設定された第１の閾値よりも小さいと検出すると、可視角度の範囲内にユーザの顔が存在するか否かをさらに検出する。ユーザの顔が検出されると、音声認識機能を起動する。ユーザの顔が検出されていない場合に、音声認識機能を起動しない。
【００３２】
一実施形態において、出力音量が予め設定された第１の閾値よりも小さく、かつ、ユーザの顔が検出された場合に音声認識機能を起動するステップは、出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザの顔の頭部姿勢の検出を起動し、正面顔が検出された場合に音声認識機能を起動することを含む。
【００３３】
出力音量が予め設定された第１の閾値よりも小さい場合に、さらにデバイスの周囲にユーザ（操作者）が現在存在するか否かを検出する。これについて、顔の頭部姿勢の検出を行い、ユーザの正面顔が検出された場合に音声認識機能を起動し、ユーザの正面顔が検出されていない場合に音声認識機能を起動しない。デバイスがテレビジョンである場合を例とすると、テレビジョンに内蔵されたカメラにより視聴者の顔の位置を検出し、その顔の位置情報をアレイ収音モジュールに供給することにより、その位置の目標ユーザについて、精確に収音することができ、他の音声を遮断することに役立てる。
【００３４】
一実施形態において、出力音量が予め設定された第１の閾値よりも小さく、かつ人間の顔が検出された場合に、音声認識機能を起動するステップは、出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザとデバイスとが相対正面視状態にある正面視画像データを取得することと、ユーザの現在の画像データをリアルタイムで取得し、現在取得された画像データと正面視画像データとを比較することと、現在で取得された画像データと正面視画像データとが一致した場合に、ユーザとデバイスとが相対正面視状態にあると判断して音声認識機能を起動することを含む。
【００３５】
出力音量が予め設定された第１の閾値よりも小さい場合、正面視認識を起動する。具体的には、正面視認識では、デバイスは、テレビジョン、エアコン、コンピュータ、ロボット等であってもよい。また、デバイスは車載機器等を含んでもよい。ユーザとデバイスとが相対正面視状態にあるとは、ユーザがデバイスに正面を向けて見ていることを意味し、デバイスがテレビジョンである場合を例とすると、ユーザがテレビジョンを正面を向けて見ている状態が、ユーザとテレビジョンとが相対正面視状態にあることになる。画像取得デバイスによって、ユーザとデバイスとが相対正面視状態にある正面視画像データを取得してもよい。また、画像取得デバイスは、通常、デバイスの中心に配置されることができないので、画像取得デバイスが、ユーザとデバイスとが相対正面視状態にある場合の画像を取得するときに、画像取得デバイスから見て、ユーザの目又はユーザの顔は、画像取得デバイスに正対しておらず、通常、ある角度をなす。その後に正面視状態を精確に判断するために、まず、画像取得デバイスによって取得された、ユーザとデバイスとが相対正面視状態にある正面視画像データを、取得しておく。ユーザとデバイスとが相対正面視状態にある正面視画像データは、履歴記録に収集しておいたデータでもよいし、その場で収集するデータでもよい。画像取得デバイスはカメラなどのデバイスであってよい。ここで、ユーザとデバイスとが相対正面視状態にある正面視画像データが画像取得デバイスによって取得されるものである。画像取得デバイスは、デバイスに設けられてもよく、デバイスの補助デバイス又は周辺装置に設けられてもよい。例えば、デバイスがテレビジョンである場合に、画像取得デバイスは、テレビジョンに設けられてもよく、テレビジョンとセットをなすセットトップボックスに設けられてもよい。より具体的には、カメラにより撮影されたユーザとデバイスとが相対正面視状態にある正面視画像データを、画像処理と画像目標座標換算を行うことによってデバイスとユーザの顔との相対位置を特定することができ、ユーザとデバイスとが相対正面視状態にあるユーザの顔画像データを取得することができる。ユーザとデバイスとが相対正面視状態にあるとの判定は、頭部姿勢推定（ｈｅａｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ）又は視線追跡（ｇａｚｅ  ｔｒａｃｋｉｎｇ）などの技術を用いて実現できる。ユーザとデバイスとが相対正面視状態にあることを前提として、コンピュータの視覚認識技術及び音声認識技術によりユーザの行動及び意図を認識し、予め設定されたユーザの行動及び意図と操作との対応関係に従って、制御デバイスはユーザの現在の行動及び意図に対応する操作を実行する。すなわち、ユーザとデバイスとが相対正面視状態にあると判定された場合にのみ、デバイスは起動してユーザ操作にレスポンスする。このように、例えばテレビジョンの誤起動、テレビ番組の誤切り替えなどの誤動作を回避する一方で、ユーザとデバイスとが相対正面視状態にある場合、ユーザがデバイスを操作する可能性が高いため、ユーザの利便性が高くなる。具体的に、コンピュータの視覚認識技術及び音声認識技術は、主に、顔認識、顔検出、顔追跡、音声認識、ジェスチャ認識、読唇認識、声紋認識、表情認識、年齢認識、カード認識、瞳孔認識、虹彩認識などを含む。上述した豊富なコンピュータの視覚認識技術および音声認識技術を採用して、顔、音声、瞳孔、ジェスチャなどに基づくヒューマンマシンインタラクションを可能にし、ユーザの生活をより豊富にし、ユーザに快適な操作体験をもたらす。
【００３６】
一実施形態において、ユーザの音声操作にレスポンスすることは、ビデオ画像、写真画像および音声番組を含む再生画像のタイプのうち、現在再生中の画像がどのタイプであるかを認識することと、予め設定された画像のタイプと音声レスポンス指示語との対応関係に基づいて、現在再生中の画像のタイプに対応するレスポンス可能指示語集を取得することと、ユーザの音声メッセージを解析してユーザの音声メッセージの対応の指示語を取得することと、取得された指示語が現在再生中の画像のタイプに対応するレスポンス可能指示語集に属する場合に、ユーザの音声操作にレスポンスすることと、取得された指示語が現在再生中の画像のタイプに対応するレスポンス可能指示語集に属しない場合に、ユーザの音声操作にレスポンスしないことと、を含む。
【００３７】
インタラクション装置は、テレビジョン、タブレット、ラップトップおよびタッチスクリーンなどの表示装置を含んでもよく、ロボットまたはプロジェクタであってもよい。表示装置がユーザの音声操作にレスポンスしようとするとき、現在再生中の画像のタイプを認識し、画像のタイプは、主に、ビデオ画像、写真画像および音声番組を含む。異なる画像のタイプには、異なるプリセットの音声レスポンス指示語が対応する。例えばビデオ画像に、「早送り」、「巻き戻し」、「次の番組」、「ＸＸ番組への切り替え」などが対応する。写真画像に、「前のコマ」、「次のコマ」、「拡大」、「縮小」等が対応する。現在再生中の画像のタイプについて、対応するレスポンス可能指示語を取得し、ユーザの音声メッセージを解析して、対応する指示語を取得する。取得された指示語が現在再生中の画像のタイプに対応するレスポンス可能指示語集に属する場合に、ユーザ音声操作にレスポンスし、それ以外の場合に、レスポンスしない。インタラクション装置がテレビジョンであることを例とすると、「テレビ」側インターフェースからの番組が現在通常に放送されている場合、現在放送されている画像のタイプがビデオ画像に属するテレビライブ番組であると認識し、テレビライブ番組に対応するレスポンス可能指示語としての「次の番組」、「前の番組」および「ＸＸ局への切替え」を取得し、また、現在取得されているユーザの音声メッセージを解析し、ユーザの音声メッセージの対応の指示語として「ＸＸ局への切替え」を取得し、「ＸＸ局への切替え」が現在のレスポンス可能指示語に該当すると判定し、ユーザからの「ＸＸ局への切替え」という音声操作にレスポンスする。現在取得されているユーザの音声メッセージを解析し、ユーザの音声メッセージの対応の指示語として「次のコマ」を取得した場合、「次のコマ」が現在のレスポンス可能指示語に該当しないと判定し、ユーザからの「次のコマ」という音声操作にレスポンスしない。
【００３８】
勿論、図２のフローチャートにおける各ステップは矢印の順序で示されているが、必ずしも矢印で示される順序で実行される必要がない。これらのステップの実行は、本明細書に明示的に記載されない限り、厳密な順序に限定されず、他の順序で実行されてもよい。また、図２のステップの少なくとも一部は、複数のサブステップまたは複数の段階を含んでもよく、これらのサブステップまたは段階は、必ずしも同一のタイミングで実行される必要がなく、異なるタイミングで実行されてもよく、これらのサブステップまたは段階の実行順序は必ずしも順次となる必要がなく、他のステップまたは他のステップのサブステップまたは段階の少なくとも一部と交互にまたは交替に実行されてもよい。
【００３９】
図３に示すように、ヒューマンマシンインタラクション装置は、
現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動する出力音量検出モジュール２００と、
ユーザの音声がモニタリングされた場合、ユーザの音声メッセージを収集するモニタリングモジュール４００と、
ユーザの音声の音量を検出してユーザの音声操作にレスポンスするレスポンスモジュール６００と、
ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出する操作を出力音量検出モジュールに再実行させる音量調整モジュール８００と、を含む。
【００４０】
上記ヒューマンマシンインタラクション装置は、現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動し、ユーザの音声メッセージを収集するとともにユーザの音声の音量の大きさを検出し、ユーザの音声操作にレスポンスし、ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出するステップに戻る。このフロー全体では、デバイス自身の出力音量の大きさによって音声認識機能のオン／オフを制御することで、ユーザの音声操作に的確にレスポンスする。そして、ユーザの音声の音量が所定値より大きい場合に、出力音量を小さくし、ユーザのその後の音声メッセージを際立たせて的確に収集する。これにより、ユーザの操作を便利にし、良好なヒューマンマシンインタラクションを実現することができる。
【００４１】
一実施形態において、出力音量検出モジュール２００は更に、出力音量が予め設定された第１の閾値よりも大きい場合、音声認識機能をオフにする。
【００４２】
一実施形態において、出力音量検出モジュール２００は更に、出力音量が予め設定された第１の閾値より大きく、かつユーザの顔が検出されていない場合に、音声認識機能をオフにする。
【００４３】
一実施形態において、出力音量検出モジュール２００は、更に、出力音量が予め設定された第１の閾値よりも小さく、かつユーザの顔が検出された場合に、音声認識機能を起動する。
【００４４】
一実施形態において、出力音量検出モジュール２００は更に、出力が予め設定された第１の閾値よりも小さい場合に、ユーザの顔の頭部姿勢の検出を起動し、正面顔が検出された場合に音声認識機能を起動する。
【００４５】
一実施形態において、出力音量検出モジュール２００は、出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザとデバイスとが相対正面視状態にある正面視画像データを取得し、ユーザの現在の画像データをリアルタイムで取得し、現在取得された画像データと正面視画像データとを比較し、現在取得された画像データと正面視画像データとが一致した場合に、ユーザとデバイスとが相対正面視状態にあると判断して音声認識機能を起動する。
【００４６】
一実施形態において、レスポンスモジュール６００は、現在再生中の画像のタイプが、ビデオ画像、写真画像および音声番組を含むタイプのうちどのタイプであるかを認識し、予め設定された画像のタイプと音声レスポンス指示語との対応関係に基づいて、現在再生中の画像タイプに対応するレスポンス可能指示語集を取得し、ユーザの音声メッセージを解析してユーザの音声メッセージの対応の指示語を取得し、取得された指示語が現在再生中の画像のタイプに対応するレスポンス可能指示語集に属する場合に、ユーザの音声操作にレスポンスし、取得された指示語が現在再生中の画像のタイプに対応するレスポンス可能指示語集に属しない場合に、ユーザの音声操作にレスポンスしない。
【００４７】
ヒューマンマシンインタラクション装置に対する具体的な限定は、上記のヒューマンマシンインタラクション方法についての特定を参照してもよく、ここでその説明が省略される。上述したヒューマンマシンインタラクション装置の各モジュールの全部または一部はソフトウェア、ハードウェア、またはこれらの組み合わせによって実現されることができる。上記の各モジュールは、ハードウェアとしてコンピュータデバイス内のプロセッサに組み込まれまたはコンピュータデバイス内のプロセッサと別体であってもよいし、ソフトウェアとしてコンピュータデバイス内のストレージに格納されて、プロセッサに呼び出されて上記の各モジュールに対応する動作を実行してもよい。
【００４８】
一実施形態において、コンピュータデバイスが提供され、該コンピュータデバイスはサーバであってもよく、その内部構造は、図４に示されるようなものであってよい。該コンピュータデバイスは、システムバスを介して接続されたプロセッサ、ストレージ、ネットワークインタフェース、及びデータベースを含む。そのうち、該コンピュータデバイスのプロセッサは、計算及び制御能力を提供するために使用される。このコンピュータデバイスのストレージは、不揮発性記憶媒体、内部メモリを含む。該不揮発性記憶媒体には、オペレーティングシステム、コンピュータプログラム、及びデータベースが記憶されている。該内部メモリは不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの実行のための環境を提供する。該コンピュータデバイスのデータベースは、プリセットされたデータを記憶するために使用される。このコンピュータデバイスのネットワークインタフェースは、ネットワーク接続により外部の端末と通信を行うためのものである。このコンピュータプログラムは、プロセッサによって実行されることで、ヒューマンマシンインタラクション方法を実現する。
【００４９】
図４に示される構造は、本出願に関連する構成の一部のブロック図にすぎず、本出願が適用されるコンピュータデバイスを限定するものではなく、具体的なコンピュータデバイスは、図面に示されるものよりも多い又は少ない部品を含んでもよく、又は特定の部品を組み合わせたり、異なる部品配置を有してもよいことは、当業者であれば理解するであろう。
【００５０】
一実施形態において、ストレージ、プロセッサ、及びメモリに記憶されてプロセッサで実行可能なコンピュータプログラムを含むコンピュータデバイスが提供され、プロセッサは、コンピュータプログラムを実行することで、以下のステップ、即ち、
現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動するステップ、
ユーザの音声がモニタリングされた場合、ユーザの音声メッセージを収集するステップ、
ユーザの音声の音量を検出してユーザの音声操作にレスポンスするステップ、
ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出するステップに戻るステップ、を実現する。
【００５１】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値よりも大きい場合、音声認識機能をオフにする。
【００５２】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値より大きく、かつユーザの顔が検出されていない場合に、音声認識機能をオフにする。
【００５３】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値よりも小さく、かつ人間の顔が検出された場合に、音声認識機能を起動する。
【００５４】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザの顔の頭部姿勢の検出を起動し、正面顔が検出された場合に音声認識機能を起動する。
【００５５】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザとデバイスとが相対正面視状態にある正面視画像データを取得し、ユーザの現在の画像データをリアルタイムで取得し、現在取得された画像データと正面視画像データとを比較し、現在取得された画像データと正面視画像データとが一致した場合に、ユーザとデバイスとが相対正面視状態にあると判断して音声認識機能を起動する。
【００５６】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、現在再生中の画像のタイプが、ビデオ画像、写真画像および音声番組を含むタイプのうちどのタイプであるかを認識し、予め設定された画像のタイプと音声レスポンス指示語との対応関係に基づいて、現在再生中の画像タイプに対応するレスポンス可能指示語集を取得し、ユーザの音声メッセージを解析してユーザの音声メッセージの対応の指示語を取得し、取得された指示語が現在再生中の画像のタイプに対応するレスポンス可能指示語集に属する場合に、ユーザ音声操作にレスポンスし、取得された指示語が現在再生中の画像のタイプに対応するレスポンス可能指示語集に属しない場合に、ユーザ音声操作にレスポンスしない。
【００５７】
一実施形態において、コンピュータ読み取り可能な記憶媒体が提供され、それにコンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行されることで、以下のステップ、即ち、
現在の出力音量を検出し、出力音量が予め設定された第１の閾値よりも小さい場合に音声認識機能を起動するステップ、
ユーザの音声がモニタリングされた場合、ユーザの音声メッセージを収集するステップ、
ユーザの音声の音量を検出してユーザの音声操作にレスポンスするステップ、
ユーザの音声の音量が予め設定された第２の閾値より大きい場合に、出力音量を小さくし、現在の出力音量を検出するステップに戻るステップ、が実現される。
【００５８】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値よりも大きい場合、音声認識機能をオフにする。
【００５９】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値より大きく、かつユーザの顔が検出されていない場合に、音声認識機能をオフにする。
【００６０】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値よりも小さく、かつ人間の顔が検出された場合に、音声認識機能を起動する。
【００６１】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザの顔の頭部姿勢の検出を起動し、正面顔が検出された場合に音声認識機能を起動する。
【００６２】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、出力音量が予め設定された第１の閾値よりも小さい場合に、ユーザとデバイスとが相対正面視状態にある正面視画像データを取得し、ユーザの現在の画像データをリアルタイムで取得し、現在取得された画像データと正面視画像データとを比較し、現在取得された画像データと正面視画像データとが一致した場合に、ユーザとデバイスとが相対正面視状態にあると判断して音声認識機能を起動する。
【００６３】
一実施形態において、プロセッサはコンピュータプログラムを実行するとき、更に以下のステップを実現する。即ち、現在再生中の画像のタイプが、ビデオ画像、写真画像および音声番組を含むタイプのうちどのタイプであるかを認識し、予め設定された画像のタイプと音声レスポンス指示語との対応関係に基づいて、現在再生中の画像タイプに対応するレスポンス可能指示語集を取得し、ユーザの音声メッセージを解析してユーザの音声メッセージの対応の指示語を取得し、取得された指示語が現在再生中の画像のタイプに対応するレスポンス可能指示語集に属する場合に、ユーザの音声操作にレスポンスし、取得された指示語が現在再生中の画像のタイプに対応するレスポンス可能指示語集に属しない場合に、ユーザの音声操作にレスポンスしない。
【００６４】
上述の実施形態の方法の全て又は一部の実現は、コンピュータプログラムによって関連するハードウェアを指示することで達成され、コンピュータプログラムは、不揮発性のコンピュータ読み取り可能な記憶媒体に記憶され、当該コンピュータプログラムが実行される時に、上述した各方法の実施例のフローが含まれ得ることが、当業者であれば理解するであろう。本発明で提供される様々な実施例で参照されるストレージ、メモリ、データベースその他の媒体はいずれも、不揮発性および／または揮発性メモリを含み得る。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、又はフラッシュメモリを含み得る。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリを含み得る。例示として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクロナスリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形態で利用可能であり、これらに限定されない。
【００６５】
以上の実施例の各技術特徴は任意に組み合わせることができ、説明を簡潔にするために、上記実施例における各技術特徴の可能な組み合わせを全て記載していないが、これらの技術特徴の組み合わせは、矛盾が生じない限り、本明細書に記載の範囲内にある。
【００６６】
上記の実施例は、本開示のいくつかの実施形態を示しただけで、その説明は具体且つ詳細なもの  であるが、本発明の範囲を制限するものとして解釈されるべきではない。なお、当業者にとって、本発明の要旨を逸脱しない範囲でいくつかの変更や改良を行うことができ、これらの変更や改良も本願の保護範囲にあることも自明である。したがって、本発明の保護範囲は、添付の特許請求の範囲に示される。
【図１】
2021513123.tif 000003
【図２】
2021513123.tif 000004
【図３】
2021513123.tif 000005
【図４】
2021513123.tif 000006
【国際調査報告】
2021513123.tif 000007
2021513123.tif 000008
2021513123.tif 000009
2021513123.tif 000010