(57)【要約】  本開示の複数の実施形態は、ロボットインタラクション方法および装置を提供する。方法は、ユーザによって選択されたライブストリーミングコンテンツを再生すると、ユーザがライブストリーミングコンテンツを視聴しているとき、ユーザの感情情報を取得する段階と、ライブストリーミングコンテンツに対応するホストに感情情報を送信する段階と、ホストによって送信された感情情報に対応するインタラクティブコンテンツを再生する段階とを含む。例えば、ユーザが退屈の感情を表現することが見つけられたとき、ライブストリーミングコンテンツが、歌を歌う、ダンスをする、またはゲームをするように調整される。この解決策を通じて、ライブストリーミングコンテンツライブストリーミングによってユーザに提供され、ユーザがライブストリーミングコンテンツを視聴しているとき、ユーザの感情は、ライブストリーミング技術を知覚技術に組み合わせるため、ユーザと交流するために知覚され、コンテンツを視聴しながらユーザの感情に応じて、遅延なくユーザによって視聴されるコンテンツを調整し、それにより、コンテンツ提供者およびコンテンツ視聴者間の有効なインタラクションを実現する。
2020537206.tif 000002
【特許請求の範囲】
【請求項１】
インタラクション方法であって、ロボットに適用され、この方法は、
ユーザによって選択されたライブストリーミングコンテンツを再生する段階と、
前記ユーザが前記ライブストリーミングコンテンツを視聴しているときに、前記ユーザの感情情報を取得する段階と、
前記ライブストリーミングコンテンツに対応するホストに、前記感情情報を送信する段階と、
前記ホストによって送信された前記感情情報に対応するインタラクティブコンテンツを再生する段階と
を備える、方法。
【請求項２】
前記ユーザが前記ライブストリーミングコンテンツを視聴しているときに、前記ユーザの感情情報を前記取得する段階は、
収集された前記ユーザの画像について表情認識を実行して、前記ユーザの感情を反映する表情を取得する段階、および／または
収集された前記ユーザの声について音声認識を実行して、前記ユーザの感情を反映する発言を取得する段階を含む、
請求項１に記載の方法。
【請求項３】
前記方法は、
前記感情情報に応じて対応するインタラクティブ操作を実行するために、前記ロボットのフィードバックコンポーネントを制御する段階をさらに備える、請求項１に記載の方法。
【請求項４】
ユーザによって選択されたライブストリーミングコンテンツを前記再生する段階の前に、前記方法は、
前記ユーザが子供ユーザであるかどうかを識別する段階と、
そうだとしたら、次に、前記子供ユーザが前記ライブストリーミングコンテンツを選択するために、前記子供ユーザに対応するライブストリーミングコンテンツの選択ページを表示する段階と
をさらに備える、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記方法は、
視聴者リストからの友人について、前記ユーザによって実行された選択操作に応じて、前記ユーザのインタラクティブ行動を反映する知覚データを収集する段階と、
前記知覚データに応じてインタラクション制御情報を決定する段階と、
対応するインタラクティブ操作を実行するように、前記友人に対応するロボットに、前記友人に対応する前記ロボットを制御する前記インタラクション制御情報を送信する段階と、
をさらに備える、請求項１〜３のいずれか一項に記載の方法。
【請求項６】
前記知覚データはカラー画像を含み、インタラクティブデータに応じてインタラクション制御情報を前記決定する段階は、
前記カラー画像について、顔の表情認識を実施する段階と、
予め設定された表情ライブラリから認識された顔の表情に対応する表情対象を決定する段階と、
を備え、
前記インタラクション制御情報は、前記表情対象を含む、
請求項５に記載の方法。
【請求項７】
前記知覚データは深度画像を含み、
インタラクティブデータに応じてインタラクション制御情報を前記決定する段階は、
前記ユーザの関節ポーズ情報を取得するために、前記深度画像について、骨認識を実施する段階と、
前記ユーザの前記関節ポーズ情報に対応するロボット関節ポーズ情報を決定する段階と
を備え、
前記インタラクション制御情報は前記ロボット関節ポーズ情報を含む、
請求項５に記載の方法。
【請求項８】
前記知覚データは、タッチセンシング情報を含み、インタラクティブデータに応じてインタラクション制御情報を前記決定する段階は、
前記タッチセンシング情報に対応する光制御情報を決定する段階を備え、前記インタラクション制御情報は前記光制御情報を含む、
請求項５に記載の方法。
【請求項９】
前記知覚データは、インタラクティブ音声を含み、前記インタラクション制御情報は前記インタラクティブ音声を含む、
請求項５に記載の方法。
【請求項１０】
メモリおよびプロセッサを備える電子デバイスであって、
前記メモリは、１つまたは複数のコンピュータ指令を格納ように構成され、前記１つまたは複数のコンピュータ指令は、前記プロセッサによって実行されたとき、請求項１〜９のいずれか一項に記載のインタラクション方法を実施する、電子デバイス。
【請求項１１】
インタラクション方法であって、ホストに適用され、この方法は、
ユーザのロボットによって送信された感情情報を受信する段階であって、前記ユーザが前記ホストに対応するライブストリーミングコンテンツを視聴しているとき、前記感情情報は、前記ユーザの感情を反映する、感情情報を受信する段階と、
前記感情情報に応じて、前記ホストによって始動されたインタラクティブコンテンツを前記ロボットに送信する段階と
を備える、インタラクション方法。
【請求項１２】
メモリおよびプロセッサを備える電子デバイスであって、
前記メモリは、１つまたは複数のコンピュータ指令を格納するように構成され、前記１つまたは複数のコンピュータ指令は、前記プロセッサによって実行されたとき、請求項１１に記載のインタラクション方法を実施する、電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、人工知能の分野に関し、特に、ロボットデバイスと交流するための方法及びデバイスに関する。
［関連出願の相互参照］
【０００２】
本出願は優先権を主張し、２０１７年１０月９日に出願された中国特許出願番号２０１７１０９２９６６２．０号明細書に対して優先権を主張する、２０１８年９月２８日に出願された国際出願番号ＰＣＴ／ＣＮ２０１８／１０８３０８号明細書の国内段階エントリであり、これらの両方は、全体として参照によって本明細書に組み込まれる。
【背景技術】
【０００３】
近年、ロボットの開発および人工知能研究の深化により、インテリジェントモバイルロボットは、人間の生活においてますます重要な役割を果たし、多くの分野で広く利用されている。例えば、子供向けにカスタマイズされたロボットは、子供の教育および娯楽に使用される。
【０００４】
子供のロボットを例として用いると、ロボットの１つの使用は、英単語を学習するためのロボットの使用を含む。現在、子供ユーザは、ロボット用のコンテンツリソースを取得するために、ロボットへの命令（例えば、「英単語を学習する」というフレーズを言うこと）を送信することができる。この命令は、ロボットを始動させ、再生および表示のため、予め生成された対応するオーディオおよびビデオコンテンツリソースをサーバから取得し、このコンテンツは、単一形式で取得される。さらに、再生中、子供ユーザは、一般に、単純な再生制御操作（例えば、「開始」、「一時停止」、「早送り」、「早戻し」、「前」、「次」など）を実行できる。全体として、子供ユーザは、受動的にコンテンツを受信し、より豊富なインタラクティブ機能の不足により、貧しいユーザ経験を有する。
【発明の概要】
【０００５】
所与のこの問題について、本開示の複数の実施形態は、新しいユーザのための個別のロボットインタラクションを実現するためのインタラクション方法および装置を提供する。
【０００６】
第１態様において、本開示の一実施形態は、インタラクション方法を提供し、ロボットに適用され、方法は、ユーザによって選択されたライブストリーミングコンテンツを再生する段階と、ユーザがライブストリーミングコンテンツを視聴しているとき、ユーザの感情情報を取得する段階と、ライブストリーミングコンテンツに対応するホストに感情情報を送信する段階と、ホストによって送信された感情情報に対応するインタラクティブコンテンツを再生する段階とを備える。
【０００７】
第２態様において、本開示の一実施形態は、インタラクション装置を提供し、ロボットに適用され、装置は、ユーザによって選択されたライブストリーミングコンテンツを再生するように構成された再生モジュールと、ユーザがライブストリーミングコンテンツを視聴しているとき、ユーザの感情情報を取得するように構成された取得モジュールと、ライブストリーミングコンテンツに対応するホストに感情情報を送信するように構成された送信モジュールとを備え、再生モジュールは、ホストによって送信された感情情報対応するインタラクティブコンテンツを再生するようにさらに構成されている。
【０００８】
第３態様において、本開示の一実施形態は、電子デバイスを提供し、電子デバイスは、プロセッサおよびメモリを備えるように実装され、メモリは、前述の第１態様のインタラクション方法の実行をサポートするプログラムを格納するように構成され、プロセッサは、メモリに格納されたプログラムを実行するように構成される。電子デバイスは、他のデバイスまたは通信ネットワークと通信するように構成された通信インタフェースをさらに含んでもよい。
【０００９】
さらに、本開示の一実施形態は、電子デバイスによって使用されるコンピュータソフトフェア命令を格納するため、コンピュータ記憶媒体を提供し、コンピュータ記憶媒体は、前述の第１態様のインタラクション方法を実行するためのプログラムを含む。
【００１０】
第４態様において、本開示の一実施形態は、インタラクション方法を提供し、クライアントに適用され、方法は、ユーザがホストに対応するライブストリーミングコンテンツを視聴しているとき、感情情報は、ユーザの感情を反映し、ユーザのロボットによって送信された感情情報を受信する段階と、感情情報に応じてホストによって始動されたインタラクティブコンテンツをロボットに送信する段階とを備える。
【００１１】
第５態様において、本開示の一実施形態は、インタラクション装置を提供し、クライアントに適用され、装置は、ユーザのロボットによって送信された感情情報を受信するように構成された受信モジュールであって、ユーザがホストに対応するライブストリーミングコンテンツを視聴しているとき、感情情報は、ユーザの感情を反映する、受信モジュールと、感情情報に応じてホストによって始動されたインタラクティブコンテンツをロボットに送信するように構成された送信モジュールとを備える。
【００１２】
第６態様において、本開示の一実施形態は電子デバイスを提供し、電子デバイスは、スマートフォンのよなユーザ端末デバイスとして実装されてもよく、プロセッサおよびメモリを備え、メモリは、電子デバイスによって、前述の第４態様のインタラクション方法の実行をサポートするプログラムを格納するように構成され、プロセッサは、メモリに格納されたプログラムを実行するように構成される。電子デバイスは、他のデバイスまたは通信ネットワークと通信するように構成された通信インタフェースをさらに含んでもよい。
【００１３】
さらに、本開示の一実施形態は、電子デバイスによって使用されるコンピュータソフトフェア命令を格納するため、コンピュータ記憶媒体を提供し、コンピュータ記憶媒体は、前述の第４態様のインタラクション方法を実行するためのプログラムを含む。
【００１４】
本開示の複数の実施形態で提供されるインタラクション方法および装置は、必要なコンテンツを、ライブストリーミングによって、ユーザに提供する。具体的に、ユーザは、ロボットの再生クライアントインタフェースから視聴されるライブストリーミングコンテンツを選択してもよく、ライブストリーミングコンテンツ取得および再生するためにロボットを始動させる。さらに、ユーザがライブストリーミングコンテンツを視聴しているとき、視聴中のユーザの感情情報がキャプチャされ、ホストがユーザの感情情報に応じてインタラクティブコンテンツを始動させるように、対応するホストにユーザの感情情報を送信する。例えば、ユーザが退屈の感情を表現することが見つけられたとき、ライブストリーミングコンテンツは、歌を歌う、ダンスをする、またはゲームをするように調整される。この解決策を通じて、ライブストリーミングコンテンツは、ライブストリーミングによってユーザに提供され、ユーザがライブストリーミングコンテンツを視聴しているとき、ユーザの感情は、ユーザと交流するために知覚され、ライブストリーミング技術を知覚技術に組み合わせるため、視聴するユーザの感情に応じて遅延なしで、ユーザによって視聴されるコンテンツを調整し、それにより、コンテンツ提供者およびコンテンツ視聴者間の有効なインタラクションを実現する。
【図面の簡単な説明】
【００１５】
本開示の複数の実施形態の技術的解決手段をより明確に説明するために、図面は、実施形態の説明で使用される図面が簡素に紹介される。以下の明細書の図面は、本開示の複数の実施形態である。当業者にとって、他の図面は、創造的な努力なしに、これらの図面に応じて取得されることができる。
【００１６】
【図１Ａ】本開示のいくつかの実施形態に係るインタラクション方法を示すフロー図である。
【００１７】
【図１Ｂ】本開示の実施形態に係るインタラクションプロセスの図である。
【００１８】
【図２Ａ】本開示のいくつかの実施形態に係るインタラクション方法を示すフロー図である。
【００１９】
【図２Ｂ】本開示の実施形態に係るインタラクションプロセスの図である。
【００２０】
【図３Ａ】本開示のいくつかの実施形態に係るインタラクション方法を示すフロー図である。
【００２１】
【図３Ｂ】本開示の実施形態に係るインタラクションプロセスの図である。
【００２２】
【図３Ｃ】本開示の実施形態に係るインタラクションプロセスの図である。
【００２３】
【図３Ｄ】本開示の実施形態に係るインタラクションプロセスの図である。
【００２４】
【図３Ｅ】本開示の実施形態に係るインタラクションプロセスの図である。
【００２５】
【図４】本開示の実施形態に係るインタラクション装置のブロック図である。
【００２６】
【図５】本開示の実施形態に係る電子デバイスのブロック図である。
【００２７】
【図６】本開示のいくつかの実施形態に係るインタラクション方法を示すフロー図である。
【００２８】
【図７】本開示の実施形態に係るインタラクション装置のブロック図である。
【００２９】
【図８】本開示の実施形態に係る電子デバイスのブロック図である。
【００３０】
【図９】本開示のいくつかの実施形態に係るインタラクション方法を示すインタラクションフロー図である。
【発明を実施するための形態】
【００３１】
本開示の複数の実施形態の目的、技術的解決手段、および利点をより明確にするために、本開示の複数の実施形態の技術的解決手段は、本開示の複数の実施形態の図面を参照して、以下に明確かつ十分に説明される。説明される実施形態は、本開示の複数の実施形態のすべてでなく一部である。創造的な努力なしに開示される実施形態に基づいて、当業者によって取得されたすべての他の実施形態は、本開示の範囲内に含まれる。
【００３２】
本開示の複数の実施形態で使用される用語は、特定の実施形態のみを説明するためのものであり、本開示を限定することを意図するものではない。本開示の複数の実施形態および添付の特許請求の範囲で使用される単数形「ａ（１つ）」、「ａｎ（１つ）」、および「ｔｈｅ（その）」は、文脈がそうでないことを示さない限り、複数形も含むことを意図し、「複数の」とは、一般に少なくとも２つを意味し、少なくとも１つを含む場合を除外しない。
【００３３】
本明細書で使用される用語「および／または」は、関連する対象物を説明する関連関係にすぎず、３つの関係が存在することを示す。例えば、Ａおよび／またはＢは、Ａ単独の存在、ＡおよびＢの両方の存在、Ｂ単独の存在を示してもよい。さらに、文字「／」は、一般に、「／」の前後の関連する対象物は、「または」の関係を有することを示す。
【００３４】
本開示の複数の実施形態では、要素は、第１、第２、および第３などの用語を使用して説明され得るが、そのような要素は、これらの用語に限定されるべきではない。これらの用語は、要素間を区別するためにのみ使用される。例えば、「第１要素」は「第２要素」とも呼ばれ、本開示の複数の実施形態の範囲から逸脱することなく、同様に、「第２の要素」は「第１の要素」とも呼ばれ得る。
【００３５】
文脈に応じて、明細書で使用される単語「ｉｆ」は、「・・・の場合」または「・・・すると」または「決定に応じて」または「検出に応じて」として解釈され得る。同様に、文脈に応じて、フレーズ「決定されたならば」または「検出されたならば」（述べられた状態またはイベント）は、「決定された場合」または「決定に応じて」または「検出された場合（述べられた状態またはイベント）」または「検出に応じて（述べられた状態またはイベント）」として解釈されてもよい。
【００３６】
用語「含む」、「備える」、またはその他のこれらの変形したものは、非排他的包含を含むことを意図し、シリーズ要素を含む商品またはシステムは、これらの要素だけでなく、明示的にリストされていない他の要素を、またはそのような商品またはシステムに固有の要素を含む。さらなる制限なく「・・・を含む」という文で定義された要素は、要素を含む商品またはシステムにおける追加の同一要素の存在を除外しない。
【００３７】
さらに、以下の方法実施形態のステップの順序は、単なる例であり、ステップの順序付けの厳格な定義ではない。
【００３８】
図１Ａは、本開示のいくつかの実施形態に係るインタラクション方法を示すフロー図である。本実施形態で提供されるインタラクション方法は、インタラクション装置によって実行されてもよい。インタラクション装置は、ソフトウェアとして実装されてもよく、ソフトウェアおよびハードウェアの組み合わせとして実装されてもよい。インタラクション装置は、ロボットに設置されてもよい。図１Ａに示されるように、方法は、以下の段階を含む。
【００３９】
ステップ１０１：ユーザによって選択されたライブストリーミングコンテンツを再生する。
【００４０】
ユーザは、子供ロボットを使用する子供ユーザなど、ロボットを使用するユーザでもよい。
【００４１】
一実施形態において、ユーザは、ライブストリーミングを介して視聴されるコンテンツを取得してもよい。具体的には、再生クライアントは、ユーザのロボットに設置される（例えば、ビデオ再生クライアント）。ユーザが再生クライアントをスタートした後、ユーザによって選択可能なライブストリーミングコンテンツリストが再生クライアントインタフェースに表示されてもよく、ユーザは、コンテンツリストから、再生して視聴するライブストリーミングコンテンツを選択する。
【００４２】
いくつかの実施形態において、対応するホストは、視聴のため、ユーザによって選択されたライブストリーミングコンテンツを提供し、ホストクライアントは、ネットワーク側のライブストリーミングサービスプラットフォームにライブストリーミングコンテンツをアップロードする。このようにして、再生クライアントは、ライブストリーミングサービスプラットフォームから、再生のためユーザによって選択されたライブストリーミングコンテンツを引き取ることができる。
【００４３】
実際の用途において、子供ユーザに対応して、ライブストリーミングコンテンツには、子供ユーザによって視聴可能な教育または娯楽リソースが提供されてもよい。
【００４４】
ステップ１０２：ユーザがライブストリーミングコンテンツを視聴しているとき、ユーザの感情情報を取得する。
【００４５】
ステップ１０３：ライブストリーミングコンテンツに対応するホストにユーザの感情情報を送信する。
【００４６】
ステップ１０４：ホストによって送信された感情情報に対応するインタラクティブコンテンツを再生する。    
【００４７】
いくつかの実施形態において、複数のタイプの取得装置（例えば、カメラおよびマイクアレイ）は、ユーザがライブストリーミングコンテンツを視聴しているときのユーザの挙動を収集するために、ユーザのロボットに設置され、その後、ユーザがライブストリーミングコンテンツを視聴しているときのユーザの感情情報を取得するために収集された挙動を分析する。その後、視聴するユーザの感情情報に応じて、ホストは、遅延なくライブストリーミングコンテンツを調節することができ、ユーザとのインタラクションのため、適切なインタラクティブコンテンツを始動させ、それにより、ユーザの視聴意欲を向上させる。
【００４８】
通常、ユーザがライブストリーミングコンテンツを視聴しているときに、始動される挙動は、しばしば、表情を示すこと、言葉を発すること、および動きを実行することを含む。従って、ユーザの現在の感情状況は、ユーザの顔の表情を分析することおよびユーザの会話を認識することによって、認識され得る。
【００４９】
従って、いくつかの実施形態において、ユーザがライブストリーミングコンテンツを視聴しているときのユーザの感情情報は、図１Ｂに示されるように、ユーザの画像を収集すること、ユーザの感情を反映する表情を取得し、収集されたユーザの画像について表情認識を実行すること、および／または、ユーザの声を収集し、ユーザの感情を反映する発言を取得するために、収集されたユーザの声について音声認識を実行することによって、取得されてもよい。
【００５０】
表情認識の処理は、既存の関連技術を使用して実装してもよく、従って、詳細は本明細書で説明されない。表情認識の結果は、喜び、怒り、嫌悪、および悲しみなどの表情を含んでもよい。
【００５１】
異なる感情を反映する発言ライブラリは、予め構築されていてもよい。すなわち、発言ライブラリは、さまざまな感情にそれぞれ対応する一般的な発言セットを格納してもよい。収集されたユーザの声は、ユーザの発言を取得するために認識され、その後、認識された発言に対応する一般的な発言が存在するかどうかを決定するために、様々な一般的な発言セットでマッチングが実行される。対応する一般的な発言がマッチングによって見つけられた場合、認識された発言は、ユーザの感情を反映する発言であることが決定される。従って、いくつかの実施形態において、認識された発言は、直接、ユーザの感情の表情としてホストにフィードバックされてもよい。いくつかの実施形態において、認識された発言に対応する感情、すなわち、認識された発言に合致する一般的な発言に対応する感情も、ホストにフィードバックされてもよい。
【００５２】
認識された発言および一般的な発言間のマッチングは、厳密に一致することを要求されず、意味的に互いに似ている認識された発言および一般的な発言で、十分であり得る。
【００５３】
ホストがユーザの感情情報を受信した後、ホストは、ユーザの感情に応じて対応するインタラクティブコンテンツを始動させるように命令されてもよく、ユーザの視聴およびインタラクション意欲を喚起させる。例えば、ユーザが退屈を表現するとき、ライブストリーミングコンテンツは、以下のインタラクティブコンテンツ、歌を歌うこと、ダンスをすること、または、ゲームをすることに、調整され得る。
【００５４】
上記を考慮すると、ユーザによって要求されたコンテンツを、ダウンロードを介して、ロボットが取得する従来の方式と比較して、開示される実施形態において、ロボットは、ライブストリーミング介して、ユーザに必要なコンテンツを提供することができる。ライブストリーミングモードにおいて、ユーザがライブストリーミングコンテンツを視聴しているときのユーザの感情情報は、ユーザの感情情報に応じて、ホストが遅延なく対応するインタラクティブコンテンツを始動させるように、キャプチャされ、ホストにフィードバックされ、それにより、コンテンツ提供者およびコンテンツ視聴者間の有効なインタラクションを実現し、ユーザの視聴経験を向上させる。
【００５５】
図２Ａは、本開示のいくつかの実施形態に係るインタラクション方法を示すフロー図である。図２Ａに示されるように、方法は、以下の段階を含む。
【００５６】
ステップ２０１：現在のユーザが子供ユーザであると識別すると、その後、現在のユーザが必要なライブストリーミングコンテンツを選択するために、現在のユーザに対応するライブストリーミングコンテンツの選択ページを表示する。
【００５７】
本開示の本実施形態で提供されるインタラクション方法は、学習および娯楽のために、子供ユーザがロボットを使用するシナリオに、特に適している。成人ユーザと比較すると、子供ユーザは集中することが難しいことがわかるかもしれない。学習目的のために設計されたロボットのより良い使用について、子供ユーザを魅了するために、知覚技術およびライブストリーミング技術は、子供のロボットにおける教育および娯楽などのコンテンツのインタラクティブ再生を実施するために組み合わされる。
【００５８】
従って、いくつかの実施形態において、異なるコンテンツリソース取得モードは、ロボットを使用する異なるタイプのユーザのために提供されてもよい。例えば、現在、ロボットを使用するユーザが成人である場合、その後、従来のコンテンツ取得モードが採用されてもよい。すなわち、成人ユーザによって実行される必要なコンテンツリソースの選択または検索操作に応じて、既存のコンテンツリソースが対応するサーバからダウンロードされる。しかしながら、現在、ロボットを使用するユーザが子供である場合、その後、ライブストリーミング用再生クライアントは、子供ユーザが視聴されるライブストリーミングコンテンツを選択した後、ライブストリーミングコンテンツを選択するために、子供ユーザに対して、ライブストリーミングコンテンツリストを表示することを開始してもよく、したがって、ライブストリーミングコンテンツは、再生用のライブストリーミングサービスプラットフォームから引き出される。
【００５９】
それゆえ、まず、ロボットは、現在のユーザが子供ユーザであるかどうかを識別すること必要であり、現在のユーザが子供ユーザである場合、その後、ライブストリーミングによって、ロボットは、視聴のため、ユーザに対して、ライブストリーミングコンテンツを提供する。
【００６０】
一実施形態において、現在のユーザが子供ユーザであるかどうかを識別するための方法は、ユーザの登録情報に応じて決定することである。具体的には、ロボットは家族メンバによってのみ使用できる。すなわち、一定数のユーザのみが、ロボットに対するアクセスを有することができる。それに応じて、ロボットが初めに使用される場合、ロボットを使用できるユーザの身元登録は、構成インタフェースで実行されてもよい。異なるユーザのユーザタイプは、身元登録処理において設定されてもよく、ユーザ画像が追加されてもく、ユーザタイプは、一つの例として、ニューラルネットワークまたは他の機械学習モデルなどの画像認識ソフトウェアを使用して成人および子供に分類してもよい。このようにして、現在のユーザが子供ユーザであるかどうかの識別中、ユーザ画像が収集され、マッチングは、収集されたユーザ画像および登録されたユーザの画像間で実行され、合致するユーザ画像が存在する場合、その後、現在のユーザのユーザタイプは、合致するユーザ画像に対応するユーザタイプに応じて決定される。
【００６１】
さらに、いくつかの実施形態において、特徴抽出は、抽出されたユーザ特徴に応じてユーザタイプを決定するように、現在のユーザの収集されたユーザ画像に関して実行されてもよい。抽出されたユーザ特徴は、例えば、身長および顔のしわを含む。
【００６２】
ステップ２０２：ユーザによって選択されたライブストリーミングコンテンツを再生する。
【００６３】
ステップ２０３：ユーザがライブストリーミングコンテンツを視聴しているときのユーザの感情情報を取得する。
【００６４】
ステップ２０４：ライブストリーミングコンテンツに対応するホストにユーザの感情情報を送信する。
【００６５】
ステップ２０５：ホストによって送信された感情情報に対応するインタラクティブコンテンツを再生する。
【００６６】
例示された実施形態において、ステップ２０２、２０３、２０４および２０５は、図１Ａのステップ１０１、１０２、１０３および１０４に対応する。これらのステップの特定の実装について、図１Ａの説明を参照してもよい。
【００６７】
ステップ２０６：ユーザの感情情報に応じて対応するインタラクティブ操作を実行するために、ロボットのフィードバックコンポーネントを制御する。
【００６８】
この実施形態において、さらに、ロボットのインタラクション効果を強化し、ロボットのインタラクション形態を高めるために、ユーザの感情情報は、ホストが対応するインタラクティブコンテンツを始動して、ユーザの意欲を喚起できるように、ホストにフィードバックされてもよく、ロボットの関連するフィードバックコンポーネントは、また、ユーザの感情情報に応じて対応するインタラクティブ操作を実行するように制御されてもよい。
【００６９】
図２Ｂに示されるように、ロボット（２００）のフィードバックコンポーネントは、例えば、タッチセンサ（２１０）、アームステアリングギア（２１２）、車輪モータ（２０８）、およびＬＥＤライト（２１４）を含んでもよい。
【００７０】
例えば、図２Ｂに示されるように、ロボット（２００）が、子供ユーザがねむいまたは退屈であることを検出した場合、車輪モータ（２０８）は、小さな振幅で前後に振動するように自動的に制御される。それと同時に、アームステアリングギア（２１２）は、動作を開始し、ＬＥＤライト（２１４）は、点滅を開始し、それにより、ホストのライブストリーミングコンテンツに子供の注意をシフトする。
【００７１】
図３Ａは、本開示のいくつかの実施形態に係るインタラクション方法を示すフロー図である。図３Ａに示されるように、方法は以下の段階を含む。
【００７２】
ステップ３０１：ユーザによって選択されたライブストリーミングコンテンツを再生する。
【００７３】
ステップ３０２：視聴者リストからの友人について、ユーザによって実行された選択操作に応じてユーザのインタラクティブ行動を反映する知覚データを収集する。
【００７４】
ステップ３０３：知覚データに応じてインタラクション制御情報を決定する。
【００７５】
ステップ３０４：友達に対応するロボットにインタラクション制御情報を送信し、友人に対応するロボットを制御して、対応するインタラクティブ操作を実行する。
【００７６】
図３Ｂに示されるように、同一のホストによってライブストリーミングされる同一のライブストリーミングコンテンツは、異なる子供ユーザによって視聴されてもよい。従って、同一のライブストリーミングコンテンツを視聴する異なる子供ユーザは、ホストと対話することができ、異なる子供ユーザもまた、自身のそれぞれのロボットを使用して互いに対話および通信することができる。
【００７７】
いくつかの実施形態において、図３Ｃに示されるように、ロボットを有するユーザは、バーチャルインタレストグループを創り出すことができ、視聴者リストから同一のライブストリーミングコンテンツを視聴する友人をバーチャルインタレストグループに追加し、インタラクションおよびコミュニケーションは、グループのユーザ間で実行できる。インタラクションおよびコミュニケーションは、以下の形態、バーチャルインタレストグループを生成しながらチャットウィンドウを生成し、グループのユーザは、チャットウィンドウを経由して、テキスト、音声、画像、または映像を使用して通信できる。
【００７８】
さらに、いくつかの実施形態において、チャットウィンドウを使ってインタラクションおよびコミュニケーションを実行することに加えて、インタラクションは、ロボットを使って実装されてもよい。例えば、ユーザが友人との通信リンクの確立を始動させるために、視聴者リストからから友人を選択する場合、ユーザは、自身のロボットについてのインタラクティブ行動を実行し、例えば、いくつかの行動を実行し、または、自身のロボットの前で何かを言い、そして、インタラクティブ行動は、友人のロボットに示される。図３Ｄに示されるように、自身のロボットの前で、ユーザは「こんにちは」と言い、アームを上げ、次に、友人のロボットは、「こんにちは」との音声を出力し、ロボットの腕を上げる。
【００７９】
上述したインタラクティブ機能を実現するために、具体的には、ユーザが、友人との通信および通信リンクを確立するために友人を選択する場合、ユーザのインタラクティブ行動を反映する知覚データが収集されてもよく、次に、知覚データは、ユーザのインタラクティブ行動をまねるように、友人のロボットを制御できるインタラクション制御情報を決定するために、分析され、取得したインタラクション制御情報を友人のロボットに送信して、対応するインタラクティブ操作を実行するように友人のロボットを制御する。
【００８０】
ユーザのインタラクティブ行動を反映する知覚データは、以下の少なくとものうちの１つ、深度画像、カラー画像、インタラクティブ音声、およびタッチセンシング情報を含む。深度画像は、ユーザの体の動き、例えば、腕を上げる一連の行為を反映してもよい。カラー画像は、ユーザの顔の表情特徴、例えば、笑顔を反映することができる。インタラクティブ音声は、ユーザの声、例えば「こんにちは」を反映させてもよい。タッチセンシング情報は、ロボットに対して引き起こされるユーザのタッチ動作、例えば、ロボットの手を握ることを反映してもよい。
【００８１】
いくつかの実施形態において、知覚データが、インタラクティブ音声を含む場合、インタラクティブ音声は、再生のために友人のロボットを使って、ユーザのインタラクティブ音声をパスするのに同等である、インタラクション制御情報の一部として、直接、使用されてもよい。例えば、図３Ｅでは、ユーザシャオミン（Xiaoming）の発言「こんにちは  シャオホン（Xiaohong）」は、友人シャオホン（Xiaohong）のロボットを使って再生されるだろう。
【００８２】
いくつかの実施形態において、知覚データがタッチセンシング情報を含むとき、タッチセンシング情報に対応する光制御情報が決定される。光制御情報は、友人のロボットのＬＥＤ光の表示効果を制御するためのインタラクション制御情報の一部として使用される。いくつかの実施形態において、異なるタッチ位置と異なるＬＥＤ光の表示効果との間の対応関係が予め設定され、ユーザがロボットの体の位置にタッチしたことが検出された後、制御対象として使用されるＬＥＤライトおよびＬＥＤライトの表示モードは、対応関係に基づいて決定される。光制御情報は、制御対象として使用されるＬＥＤライトおよびＬＥＤライトの表示モードを含む。例えば、図３Ｅに示されるように、ユーザシャオミン（Xiaoming）が自身のロボットの右手にタッチした場合、友人のロボットシャオホン（Ｘｉｏｈｏｎｇ）の左手のＬＥＤライトがＯＮになるよう制御されてもよく、リモートインタラクションの距離を縮める。
【００８３】
いくつかの実施形態において、知覚データがカラー画像を含む場合、顔の表情認識は、予め設定された表情ライブラリから認識された顔の表情に対応する表情対象を決定するように、カラー画像で実行される。表情対象は、表情対象を表示するために、友人のロボットを制御するためのインタラクション制御情報の一部として使用される。顔の表情認識の処理は、既存の関連技術を使用して実装してもよく、詳細は、再び、本明細書で説明されない。表情認識の結果は、喜び、怒り、驚き、恐れ、嫌悪、および悲しみなどの表情を含んでもよい。それに応じて、様々な表情認識結果に対応する表情対象を含む表情ライブラリが予め構築されてもよく、表情対象は、表情アニメーションまたは表情画像でもよい。
【００８４】
いくつかの実施形態において、知覚データが深度画像を含む場合、ユーザの関節ポーズ情報を取得するために、骨認識は深度画像について実行され、それにより、ユーザの関節ポーズ情報に対応するロボット関節ポーズ情報を決定する。その後、決定されたロボット関節ポーズ情報は、図３Ｄに示されるように、対応する動きを実行するために、友人のロボットを制御するインタラクション制御情報の一部として使用される。
【００８５】
骨認識の方法は、既存の関連技術を使用して実装されてもよく、従って、詳細は、再び説明されない。この実施形態は、骨認識の結果、すなわち、人間関節ポーズ情報は、人体の複数の関節の運動シーケンスによって構成され、複数の関節の運動軌跡を反映することのみを強調する。さらに、ロボットの関節および人体の関節は、ロボットの人間シミュレーションの角度に関し、１対１の対応関係でなくてもよいので、人間関節ポーズ情報をロボット関節ポーズ情報にマッピングする一連の行為は、関節のマッピングおよび関節ポーズのマッピングの両方を含むことができる。それゆえ、人間関節およびロボット関節間のマッピング関係は、人間関節ポーズおよびロボット関節ポーズ間のマッピング関係を決定するために事前準備される。
【００８６】
単純な例として、右手を上げる動きを仮定すると、人間関節ポーズ情報は、人間座標システムにおいて、基準線に関連して記述され、異なる複数の時点で、基準線に関連する以下の関節の角度は、それぞれ、
関節１：３０度、４０度、５０度・・・；
関節２：２０度、３０度、４０度・・・；
関節３：４０度、５０度、６０度・・・；
関節４：４０度、５０度、６０度・・・である。
【００８７】
さらに、ロボット関節ポーズ情報は、ロボット座標システムにおいて、基準線に関連して記述され、異なる複数の時点での基準線に関連する人間関節に対応する以下の関節の角度は、それぞれ、
関節ａ：１０度、４０度、５４度・・・；
関節ｂ：１０度、２３度、５２度・・・である。
【００８８】
この実施形態において、ライブストリーミングコンテンツを視聴するユーザは、ホストと対話することができ、自身のロボットおよび友人のロボットを使って友人と対話することもでき、それにより、ユーザのインタラクション経験を向上させ、ロボットのインタラクション形態を強化する。
【００８９】
１つまたは複数の本開示の複数の実施形態に係るインタラクション装置は、以下に詳細に説明される。これらの当業者は、この解決策において命令されたステップを使って、市販のハードウェアコンポーネントを構成することによって、インタラクション装置が構成され得ることを理解できる。
【００９０】
図４は、本開示の実施形態に係るインタラクション装置のブロック図である。図４に示されるように、装置は、再生モジュール１１、取得モジュール１２、および送信モジュール１３を含む。
【００９１】
再生モジュール１１は、ユーザによって選択されたライブストリーミングコンテンツを再生するように構成される。
【００９２】
取得モジュール１２は、ユーザがライブストリーミングコンテンツを視聴しているときのユーザの感情情報を取得するように構成される。
【００９３】
送信モジュール１３は、ライブストリーミングコンテンツに対応するホストに感情情報を送信するように構成される。
【００９４】
再生モジュール１１は、ホストによって送信された感情情報に対応するインタラクティブコンテンツを再生するようにさらに構成する。
【００９５】
いくつかの実施形態において、取得モジュール１２は、具体的には、ユーザの感情を反映する表情を取得するように、収集されたユーザの画像について表情認識を実行するように構成され、および／または、ユーザの感情を反映する発言を取得するために、収集されたユーザの声について音声認識を実行するように構成される。
【００９６】
いくつかの実施形態において、装置は、さらに制御モジュール１４を含む。
【００９７】
制御モジュール１４は、感情情報に応じて対応するインタラクティブ操作を実行するため、ロボットのフィードバックコンポーネントを制御するように構成される。
【００９８】
いくつかの実施形態において、装置は、識別モジュール１５およびディスプレイモジュール１６をさらに含む。
【００９９】
識別モジュール１５は、ユーザが子供ユーザであるかどうかを識別するように構成される。
【０１００】
識別モジュール１５が、ユーザは子供ユーザであることを識別した場合に、ディスプレイモジュール１６は、ライブストリーミングコンテンツを選択するために、子供ユーザに対して、子供ユーザに対応するライブストリーミングコンテンツの選択ページを表示するように構成されている。
【０１０１】
いくつかの実施形態において、装置は、収集モジュール１７および決定モジュール１８をさらに含む。
【０１０２】
収集モジュール１７は、視聴者リストからの友人について、ユーザによって実行された選択操作に応じて、ユーザのインタラクティブ行動を反映する知覚データを収集するように構成されている。
【０１０３】
決定モジュール１８は、知覚データに応じてインタラクション制御情報を決定するように構成されている。
【０１０４】
送信モジュール１３は、友達に対応するロボットにインタラクション制御情報を送信し、友人に対応するロボットを制御して、対応するインタラクティブ操作を実行するように、さらに構成されている。
【０１０５】
いくつかの実施形態において、知覚データは、カラー画像を含み、決定モジュール１８は、具体的には、カラー画像について顔の表情認識を実行し、予め設定された表情ライブラリから、認識された顔の表情に対応する表情対象を決定するように構成され、インタラクション制御情報は表情対象を含む。
【０１０６】
いくつかの実施形態において、知覚データは深度画像を含み、決定モジュール１８は、具体的には、ユーザの関節ポーズ情報を取得ために深度画像について骨認識を実行し、ユーザの関節ポーズ情報に対応するロボット関節ポーズ情報を決定するように構成され、インタラクション制御情報は、ロボット関節ポーズ情報を含む。
【０１０７】
いくつかの実施形態において、知覚データはタッチセンシング情報を含み、決定モジュール１８は、具体的には、タッチセンシング情報に対応する光制御情報を決定するように構成され、インタラクション制御情報は光制御情報を含む。
【０１０８】
いくつかの実施形態において、知覚データは、インタラクティブ音声を含み、インタラクション制御情報は、インタラクティブ音声を含む。
【０１０９】
図４に示される装置は、図１Ａ、図２Ａ、および図３Ａに示される実施形態の方法を実行できる。例示された実施形態に関して追加の詳細について、図１Ａ、図２Ａ、および図３Ａに示される実施形態の関連する説明を参照してもよい。技術的解決手段の実行プロセスおよび技術的効果について、図１Ａ、図２Ａ、および図３Ａに示される実施形態の説明を参照してもよい、従って、再び、詳細は本明細書で説明されない。
【０１１０】
ロボットインタラクション装置の内部の機能および構造は、上で説明されている。実現可能な設計例において、上記のインタラクション装置の構造は、電子デバイスとして実装されてもよく、電子デバイスはロボットでもよい。図５に示されるように、ロボットは、プロセッサ２１およびメモリ２２を含んでもよい。メモリ２２は、図１Ａ、図２Ａ、および図３Ａに示される実施形態で提供されるインタラクション方法のロボットによる実行をサポートするプログラムを格納するように構成され、プロセッサ２１はメモリ２２に格納されたプログラムを実行するように構成されている。
【０１１１】
プログラムは、１つまたは複数のコンピュータ指令を含み、１つまたは複数のコンピュータ指令は、プロセッサ２１によって実行されるとき、以下の段階、ユーザによって選択されたライブストリーミングコンテンツを再生する段階と、ユーザがライブストリーミングコンテンツを視聴しているときのユーザの感情情報を取得する段階と、ライブストリーミングコンテンツに対応するホストに感情情報を送信する段階と、ホストによって送信された感情情報に対応するインタラクティブコンテンツを再生する段階とを実施することができる。
【０１１２】
いくつかの実施形態において、プロセッサ２１は、図１Ａ、図２Ａ、および図３Ａに示される方法の段階の全てまたはいくつかの段階を実行するようにさらに構成される。
【０１１３】
ロボットの構造は、ロボットが他のデバイスまたは通信ネットワークと通信、例えば、ロボットおよびサーバ間で通信するように構成された通信インターフェイス２３をさらに含んでもよい。
【０１１４】
さらに、ロボットは、オーディオコンポーネント２４およびセンサコンポーネント２５をさらに含む。
【０１１５】
オーディオコンポーネント２４は、オーディオ信号を出力および／または入力するように構成されている。例えば、オーディオコンポーネント２４は、ロボットが、音声認識モードなどの動作モードである場合、外部のオーディオ信号を受信するように構成されたマイクを含む。受信したオーディオ信号は、メモリ２２にさらに格納され、または、通信インターフェイス２３を介して送信されてもよい。いくつかの実施形態において、オーディオコンポーネント２４は、オーディオ信号を出力するように構成されたラウドスピーカをさらに含む。
【０１１６】
センサコンポーネント２５は、１つまたは複数のセンサを含む。例えば、センサコンポーネント２５は、ロボットのディスプレイを含み、センサコンポーネント２５は、さらに、ユーザおよびロボット間の接触の有無を検知してもよい。センサコンポーネント２５は、相補型金属酸化物半導体（ＣＭＯＳ）または画像アプリケーションの使用のための電荷結合素子（ＣＣＤ）イメージセンサなどの光学センサを含む。いくつかの実施形態において、センサコンポーネント２５は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、温度センサ、または同様のものをさらに含む。
【０１１７】
さらに、ロボットは、本開示の本実施形態において、複数の自由度の動きの柔軟性を提供する。
【０１１８】
さらに、本開示の一実施形態は、ロボットによって使用されるコンピュータソフトフェア命令を格納するために、コンピュータ記憶媒体を提供し、コンピュータ記憶媒体は、図１Ａ、図２Ａ、および図３Ａに示される実施形態のインタラクション方法を実行するためのプログラムを含む。
【０１１９】
図６は、本開示のいくつかの実施形態に係るインタラクション方法を示すフロー図である。本実施形態で提供されるインタラクション方法は、インタラクション装置によって実行されてもよい。インタラクション装置は、ソフトウェアとして実装されてもよく、ソフトウェアおよびハードウェアの組み合わせとして実装されてもよい。インタラクション装置は、ホストクライアントに設置されてもよい。ホストクライアントは、スマートフォンようなユーザ端末デバイスに設置されてもよく、インテリジェントロボットに設置されてもよい。図６に示されるように、方法は、以下の段階を含んでもよい。
【０１２０】
ステップ４０１：ユーザのロボットによって送信された感情情報を受信し、感情情報は、ユーザがホストに対応するライブストリーミングコンテンツを視聴しているときのユーザの感情を反映する。
【０１２１】
ステップ４０２：感情情報に応じて、ホストによって始動されたインタラクティブコンテンツを、ユーザのロボットに送信する。
【０１２２】
前述の方法の実施形態に関連して、子供ユーザは、子供のロボットを使って、ホストのライブストリーミングコンテンツを視聴してもよい、子供のロボットは、子供ユーザがライブストリーミングコンテンツを視聴しているときの子供ユーザの感情情報を収集してもよく、ホストが、子供ユーザとのインタラクションを実施するために、対応するインタラクティブコンテンツを始動させることができるホストに、取得された感情情報をフィードバックする。
【０１２３】
図７は、図６に示される実施形態に対応するインタラクション装置のブロック図である。図７に示されるように、装置は、受信モジュール３１および送信モジュール３２を含む。
【０１２４】
受信モジュール３１は、ユーザのロボットによって送信された感情情報を受信するように構成され、感情情報は、ユーザがホストに対応するライブストリーミングコンテンツを視聴しているときのユーザの感情を反映する。
【０１２５】
送信モジュール３２は、感情情報に応じて、ホストによって始動されたインタラクティブコンテンツをロボットに送信するように構成される。
【０１２６】
図７に示される装置は、図６で説明される実施形態の方法を実行できる。本実施形態の詳細がない部分について、図６に示される実施形態の関連する説明を参照してもよい。技術的解決手段の実行プロセスおよび技術的効果について、図６に示される実施形態の説明を参照してもよい、従って、再び、詳細は本明細書で説明されない。
【０１２７】
実現可能な設計例において、図７に示されうインタラクション装置の構成は、電子デバイスとして実装されてもよく、電子デバイスは、スマートフォンなどのユーザ端末デバイスである。図８に示されるように、ユーザ端末デバイスは、プロセッサ４１およびメモリ４２を含んでもよい。メモリ４２は、ユーザ端末デバイスによって、図６に示される実施形態で提供されたインタラクション方法の実行をサポートするプログラムを格納するように構成され、プロセッサ４１は、メモリ４２に格納されたプログラムを実行するよう構成される。
【０１２８】
プログラムは、プロセッサ４１によって実行されるとき、１つまたは複数のコンピュータ指令、および１つまたは複数のコンピュータ指令を含み、以下の段階を実施することができ、：ユーザのロボットによって送信された感情情報を受信する段階であって、感情情報は、ユーザがホストに対応するライブストリーミングコンテンツを視聴しているときのユーザの感情を反映し、感情情報に応じて、ホストによって始動されたインタラクティブコンテンツをロボットに送信する段階とを実施する。
【０１２９】
いくつかの実施形態において、プロセッサ４１は、図６に示される方法の段階における全てまたはいくつかの段階を実行するようにさらに構成される。
【０１３０】
ユーザ端末デバイスの構成は、ユーザ端末デバイスについて、他のデバイスまたは通信ネットワークと通信するように構成された通信インターフェイス４３をさらに含んでもよい。
【０１３１】
さらに、本開示の一実施形態は、ユーザ端末デバイスによって使用されるコンピュータソフトフェア命令を格納するために、コンピュータ記憶媒体を提供し、コンピュータ記憶媒体は、図６に示される実施形態の方法のインタラクション方法を実行するためのプログラムを含む。
【０１３２】
図９は、本開示のいくつかの実施形態に係るインタラクション方法を示すインタラクションフロー図である。図９に示されるように、方法は、以下の段階を含み得る。
【０１３３】
ステップ５０１は、ロボットＡは、現在のユーザが子供ユーザであると識別し、ライブストリーミングコンテンツを選択するために、ユーザに対して、子供ユーザに対応するライブストリーミングコンテンツの選択ページを表示する。
【０１３４】
ステップ５０２：ロボットＡは、再生クライアントを介して、ユーザによって選択されたライブストリーミングを再生する。
【０１３５】
ステップ５０３：ロボットＡは、ユーザがライブストリーミングコンテンツを視聴しているときのユーザの感情情報を取得する。
【０１３６】
ステップ５０４：ロボットＡは、フィードバックコンポーネントを制御し、ユーザの感情情報に応じて対応するインタラクティブ操作を実行する。
【０１３７】
ステップ５０５：ロボットＡは、ライブストリーミングコンテンツに対応するホストクライアントにユーザの感情情報を送信する。
【０１３８】
ステップ５０６：ホストクライアントは、ユーザの感情情報に応じて、ホストによって始動されたインタラクティブコンテンツを、ロボットＡに送信する。
【０１３９】
ステップ５０７：ロボットＡは、再生クライアントを介して、インタラクティブコンテンツを再生する。
【０１４０】
ステップ５０８：ロボットＡは、視聴者リストからの友人について、ユーザによって実行された選択操作に応じてユーザのインタラクティブ行動を反映する知覚データを収集し、知覚データに応じてインタラクション制御情報を決定する。
【０１４１】
ステップ５０９：ロボットＡは、友人に対応するロボットＢにインタラクション制御情報を送信する。
【０１４２】
ステップ５１０：ロボットＢは、インタラクション制御情報に応じて対応するインタラクティブ操作を実行する。
【０１４３】
上で記載された実施形態の装置は、例示にすぎず、別個のコンポーネントとして記載されたユニットは、物理的に別個でもよく、またはでなくてもよく、ユニットとして表示されたコンポーネントは、物理的なユニットでもよく、またはでなくてもよく、それは、同一の場所に配置されてもよく、複数のネットワークユニットに分散されてもよい。本実施形態の解決の目的は、実際の要件に応じて、いくつかまたは全てのモジュールを選択することによって実装されてもよい。それらの当業者は、創造的な努力なしで、開示される実施形態を理解し、実施できる。
【０１４４】
実施形態の前述の説明を使って、これらの当業者は、実施形態は、一般的なハードウェアプラットフォームに加えてソフトウェアによって、実装でき、確実に、ハードウェアおよびソフトウェアの組み合わせによって実装できることもまた、明確に理解できる。そのような理解に基づいて、技術的解決手段または先行技術に貢献する部分の本質は、コンピュータ製品の形態で具体化されてもよい。開示される実施形態は、１つまたは複数のコンピュータで利用可能な記憶媒体であり（しかし、磁気ディスクメモリ、ＣＤ−ＲＯＭ、光メモリ、および同様に、限定されないものを含む）、その内部にコンピュータ利用可能なプログラムコードに実装されたコンピュータプログラム製品の形態を使用してもよい。
【０１４５】
開示される実施形態は、本開示の複数の実施形態に係る方法、デバイス（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明される。フローチャートおよび／またはブロック図の手順および／またはブロックのそれぞれ、ならびに、フローチャートおよび／またはブロック図の手順および／またはブロックの組み合わせは、コンピュータプログラム命令に実装されてもよいことが理解されるべきである。コンピュータプログラム命令は、組み込みプロセッサ、汎用コンピュータのプロセッサ、特殊用途コンピュータ、またはその他のマシンを生成するためのプログラマブルデータ処理装置に提供され、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される命令は、フローチャートの１つまたは複数の手順および／またはブロック図の１つまたは複数のブロックの特定される機能を実施するための手段を生成する。
【０１４６】
また、コンピュータプログラム命令は、特定方式で動作するようなコンピュータまたはその他のプログラム可能なデータ処理装置を管理することができるコンピュータ可読メモリに格納されてもよく、これにより、コンピュータ可読メモリに格納された命令は、命令手段を含む製品を生成し、命令手段、フローチャートの１つまたは複数の手順および／またはブロック図の１つまたは複数のブロックで特定される機能を実施する。
【０１４７】
また、コンピュータプログラム命令は、コンピュータまたはその他のプログラム可能なデータ処理装置にロードされてもよく、これにより、使用可能なステップのシリーズは、コンピュータまたはその他のプログラム可能なデバイスで実行され、コンピュータ実装処理を生成するし、従って、コンピュータまたはその他のプログラム可能なデバイスで実行される命令は、フローチャートの１つまたは複数の手順および／またはブロック図の１つまたは複数のブロックで特定される機能を実施するためのステップを提供する。
【０１４８】
典型的な構成において、コンピューティングデバイスは、１つまたは複数のプロセッサ（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェース、およびメモリを含む。
【０１４９】
メモリは、非永続的メモリ、ランダムアクセスメモリ（ＲＡＭ）および／または不揮発性メモリ、または同様、リードオンリメモリ（ＲＯＭ）またはフラッシュメモリ（フラッシュＲＡＭ）などの形態においてコンピュータ可読媒体を含んでもよい。メモリはコンピュータ可読媒体の例である。
【０１５０】
コンピュータ可読媒体は、任意の方法及び技術を用いて情報ストレージを実現できる永続的並びに非永続的な、及び移動可能並びに非移動可能な媒体を含む。情報は、コンピュータ可読命令、データ構造、プログラムのモジュール、又は他のデータであってよい。コンピュータの記憶媒体の例には、限定されないが、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラム可能リードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他のメモリ装置、コンパクトディスクリードオンリメモリ（ＣＤ‐ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）若しくは他の光学式記憶装置、カセットテープ、磁気テープ／磁気ディスク記憶装置若しくは他の磁気記憶装置、又は任意の他の非伝送媒体が含まれ、これらの例は、コンピュータ処理装置がアクセス可能な情報を格納するのに用いられてよい。本明細書の定義に照らして、コンピュータ可読媒体は、変調されたデータ信号およびキャリアのような一時的コンピュータ可読媒体（一時的媒体）を含まない。
【０１５１】
最後に、上記実施形態は、本開示の技術的解決手段の限定ではなく、例示のために用いられているに過ぎないことを留意すべきである。開示は前述の実施形態を参照して詳細に記載されたが、当業者は、前述の実施形態で開示された技術的解決手段が改良され、または同等の置換が、前述の実施形態で開示された技術的解決手段で行われてもよいことが、当業者が理解できる。これらの修正または置換は、対応する技術的解決手段の本質を、本開示の実施形態における技術的解決手段の趣旨および範囲から逸脱させない。
【図１Ａ】
2020537206.tif 000003
【図１Ｂ】
2020537206.tif 000004
【図２Ａ】
2020537206.tif 000005
【図２Ｂ】
2020537206.tif 000006
【図３Ａ】
2020537206.tif 000007
【図３Ｂ】
2020537206.tif 000008
【図３Ｃ】
2020537206.tif 000009
【図３Ｄ】
2020537206.tif 000010
【図３Ｅ】
2020537206.tif 000011
【図４】
2020537206.tif 000012
【図５】
2020537206.tif 000013
【図６】
2020537206.tif 000014
【図７】
2020537206.tif 000015
【図８】
2020537206.tif 000016
【図９】
2020537206.tif 000017
【国際調査報告】
2020537206.tif 000018
2020537206.tif 000019
2020537206.tif 000020
2020537206.tif 000021
2020537206.tif 000022
2020537206.tif 000023