(57)【要約】  本開示の実施形態は、ロボット対話方法およびデバイスを提供する。一実施形態において、方法は、対話出力行動を反映する処理対象のデータを収集する段階と、処理対象のデータに対応するロボット対話出力情報を決定する段階と、ロボット対話出力情報を実行して対話出力行動を模倣するようにロボットを制御する段階と、模倣が成功した場合にトリガされる模倣終了命令に応じて、ロボット対話出力情報に対応する対話トリガ情報を収集する段階と、対話ルールを生成するためにロボット対話出力情報に関連して対話トリガ情報を格納する段階とを備える。
2020534567.tif 000002
【特許請求の範囲】
【請求項１】
ロボットに適用されるロボット対話方法であって、
対話出力行動を反映する処理対象のデータを収集する段階と、
前記処理対象のデータに対応するロボット対話出力情報を決定する段階と、
前記ロボット対話出力情報を実行して前記対話出力行動を模倣するように前記ロボットを制御する段階と、
前記模倣が成功した場合にトリガされる模倣終了命令に応じて前記ロボット対話出力情報に対応する対話トリガ情報を収集する段階と、
対応して、前記ロボット対話出力情報と前記対話トリガ情報とを対応付けて格納する段階と
を備える、方法。
【請求項２】
前記処理対象のデータは、深度画像、カラー画像、および対話音声発話のうち少なくとも１つを有する、請求項１に記載の方法。
【請求項３】
前記処理対象のデータは前記カラー画像を含む場合、前記処理対象のデータに対応するロボット対話出力情報を決定する前記段階は、
前記カラー画像に対して表情認識を実行する段階と、
予め設定された表情ライブラリから認識された顔の表情に対応する表情対象を決定する段階であって、前記ロボット対話出力情報は前記表情対象を含む、決定する段階と
を含む、請求項２に記載の方法。
【請求項４】
前記処理対象のデータは前記深度画像を含む場合、前記処理対象のデータに対応するロボット対話出力情報を決定する前記段階は、
人間関節姿勢情報を取得するように前記深度画像に対して骨認識を実行する段階と、
前記人間関節姿勢情報に対応するロボット関節姿勢情報を決定する段階であって、前記ロボット対話出力情報は前記ロボット関節姿勢情報を含む、決定する段階と
を含む、請求項２に記載の方法。
【請求項５】
前記方法はさらに、
対話者の処理対象の対話トリガ情報を収集する段階と、
前記処理対象の対話トリガ情報が前記対話トリガ情報と一致する場合、前記ロボット対話出力情報を実行するように前記ロボットを制御する段階と
を含む、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記対話トリガ情報と前記ロボット対話出力情報とを対応付けて格納する前記段階は、
サーバが、前記対話トリガ情報に対応する対話オプションを前記ロボットに対応するクライアントに更新するように、前記対話トリガ情報と前記ロボット対話出力情報とを前記サーバに対応付けて格納する段階を含む、請求項１から４のいずれか一項に記載の方法。
【請求項７】
前記方法はさらに、
前記対話オプションに従ってトリガされる再生命令を受信する段階と、
前記サーバから前記対話トリガ情報に対応する前記ロボット対話出力情報を取得する段階と、
前記ロボット対話出力情報を実行するように前記ロボットを制御する段階と
を含む、請求項６に記載の方法。
【請求項８】
前記方法はさらに、
前記対話オプションに従ってトリガされる共有命令を受信する段階であって、前記共有命令は共有された対象識別子を含む、受信する段階と、
前記サーバによって、前記対話トリガ情報と前記ロボット対話出力情報とを前記共有された対象識別子に対応するクライアントに送信する段階と
を含む、請求項６に記載の方法。
【請求項９】
メモリおよびプロセッサを備える電子デバイスであって、
前記メモリは１つまたは複数のコンピュータ命令を格納することであって、前記プロセッサにより実行される場合、前記１つまたは複数のコンピュータ命令は、請求項１から８のいずれか一項に記載のロボット対話方法を実装する、格納することを行うように構成される
電子デバイス。
【請求項１０】
クライアントに適用されるロボット対話方法であって、
対話トリガ情報に対応し、サーバにより送信される対話オプションを対話リストに追加する段階であって、前記対話オプションは、前記対話トリガ情報とロボット対話出力情報とを対応付けて格納した後に前記サーバにより生成され、前記ロボット対話出力情報は、模倣対象の対話行動を模倣するためにロボットにより要求される情報であり、前記対話トリガ情報は、前記ロボット対話出力情報を実行するように前記ロボットをトリガすることに用いられる、追加する段階と、
前記対話オプションに従ってユーザによりトリガされる再生動作に応じて前記ロボットに再生命令を送信する段階であって、前記ロボットが、前記サーバから前記ロボット対話出力情報を取得し、前記ロボット対話出力情報を実行するように、前記再生命令は前記対話トリガ情報を含む、送信する段階と
を備える、方法。
【請求項１１】
前記方法はさらに、
前記対話オプションに従って前記ユーザによりトリガされる共有動作に応じて前記サーバに共有命令を送信する段階であって、前記共有命令は、前記サーバが、前記対話トリガ情報と前記ロボット対話出力情報とを共有された対象識別子に対応するクライアントに送信するように、前記共有された対象識別子を含む、送信する段階
を含む、請求項１０に記載の方法。
【請求項１２】
メモリおよびプロセッサを備える電子デバイスであって、
前記メモリは１つまたは複数のコンピュータ命令を格納することであって、前記プロセッサにより実行される場合、前記１つまたは複数のコンピュータ命令は、請求項１０または１１に記載のロボット対話方法を実装する、格納することを行うように構成される
電子デバイス。
【請求項１３】
サーバに適用されるロボット対話方法であって、
ロボットにより送信される対話トリガ情報とロボット対話出力情報とを対応付けて格納する段階であって、前記ロボット対話出力情報は、模倣対象の対話行動を模倣するために前記ロボットにより要求される情報であって、前記対話トリガ情報は、前記ロボット対話出力情報を実行するように前記ロボットをトリガすることに用いられる、格納する段階と、
前記対話トリガ情報に対応する対話オプションを生成する段階と、
前記ロボットに対応するクライアントが対話リストに前記対話オプションを追加するように、前記クライアントに前記対話オプションを送信する段階と
を含む、方法。
【請求項１４】
前記対話オプションに対応し、前記クライアントにより送信される共有命令を受信する段階であって、前記共有命令は共有された対象識別子を含む、受信する段階と、
前記対話トリガ情報と前記ロボット対話出力情報とを前記共有された対象識別子に対応するクライアントに送信する段階と
をさらに備える、請求項１３に記載の方法。
【請求項１５】
メモリおよびプロセッサを備える電子デバイスであって、
前記メモリは１つまたは複数のコンピュータ命令を格納することであって、前記プロセッサにより実行される場合、前記１つまたは複数のコンピュータ命令は、請求項１３または１４に記載のロボット対話方法を実装する、格納することを行うように構成される
電子デバイス。
【請求項１６】
ロボット対話方法であって、
対話出力行動を反映する処理対象のデータを収集する段階と、
前記処理対象のデータに従って、前記対話出力行動を模倣するためにロボットにより要求されるロボット対話出力情報を決定する段階と、
前記ロボット対話出力情報を格納する段階と、
を備える、方法。
【請求項１７】
前記ロボット対話出力情報に対応する対話トリガ情報を収集する段階をさらに備え、
前記ロボット対話出力情報を格納する前記段階は、
前記対話トリガ情報と前記ロボット対話出力情報とを対応付けて格納する段階を含む、
請求項１６に記載の方法。
【請求項１８】
メモリおよびプロセッサを備える電子デバイスであって、
前記メモリは１つまたは複数のコンピュータ命令を格納することであって、前記プロセッサにより実行される場合、前記１つまたは複数のコンピュータ命令は、請求項１６または１７に記載のロボット対話方法を実装する、格納することを行うように構成される
電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２０１７年９月２０日に出願された中国特許出願第２０１７１０８５１１４４．１号に基づく優先権を主張した、２０１８年９月１８日に出願された国際特許出願番号ＰＣＴ／ＣＮ２０１８／ １０６１０３の国内段階への移行に係るものであって、両方の出願はその全体が参照により本明細書に組み込まれる。
【０００２】
本開示は、人工知能技術の分野、とりわけ、ロボット対話方法及びデバイスに関する。
【背景技術】
【０００３】
近年、ロボット技術と人工知能研究との両方の発展に伴い、知的移動ロボットは、様々な分野で人間生活においてますます重要な役割を果たすようになっている。
【０００４】
その知能を強化すべく、ロボットは様々対話能力により構成され得る。例えば、一般的に、ロボットは、音声、表示、光、動作、またはこれらの任意の組み合わせなどの様々な方式を介してユーザとの対話に対して応答し得る。
【０００５】
現在、入力情報（例えば、音声、顔の特徴およびタッチ）におけるフィードバックのためのコンテンツ設計は、手動でルール収集を設計することにより実装される。言い換えれば、ロボットの入力と出力との間のマッピング関係は、手動で定義される。入力が特定の条件を満たす場合、音声の対応する出力、表示コンテンツ、照明効果、および動的効果などは、当該マッピング関係に基づいて生成される。例えば、設計者は、ロボットが、音声認識技術によってユーザが「こんにちは」と言ったことを認識するだけでなく、表情認識技術によって、ユーザが「微笑んでいる」ことを認識する場合、ロボットが、「こんにちは、ご機嫌が良さそうですね」という音声応答を出力するように指示するルールで指定し得る。
【０００６】
このため、対話ルールの集合体を生成するためにそのような手動の方法を採用している現在のシステムにおいて、そのようなすべてのルールは、事前に手動で指定されている必要があり、時間および手間がかかるので、ロボットから、過度にプログラムされ、定型的な、柔軟性に欠ける対話をもたらす。
【発明の概要】
【０００７】
本開示の実施形態は、ロボット対話方法及びデバイスを提供して、新規ユーザのためのパーソナライズされたロボット対話を可能にする。
【０００８】
一実施形態において、本開示は、ロボットに適用されるロボット対話方法を提供し、当該方法は、対話出力行動を反映する処理対象のデータを収集する段階と、処理対象のデータに対応するロボット対話出力情報を決定する段階と、ロボット対話出力情報を実行して対話出力行動を模倣するようにロボットを制御する段階と、模倣が成功した場合にトリガされる模倣終了命令に応じてロボット対話出力情報に対応する対話トリガ情報を収集する段階と、ロボット対話出力情報に関連して対話トリガ情報を格納する段階とを含む。
【０００９】
一実施形態において、ロボットにおいて適用される本開示はロボット対話装置を提供し、当該装置は、対話出力行動を反映する処理対象のデータを収集するように構成される収集モジュールと、処理対象のデータに対応するロボット対話出力情報を決定するように構成される決定モジュールと、ロボット対話出力情報を実行して対話出力行動を模倣するようにロボットを制御するように構成される制御モジュールであって、収集モジュールはさらに、模倣が成功した場合にトリガされる模倣終了命令に応じてロボット対話出力情報に対応する対話トリガ情報を収集するように構成される、制御モジュールと、ロボット対話出力情報に関連して対話トリガ情報を格納するように構成される格納処理モジュールとを含む。
【００１０】
一実施形態において、本開示は、ロボットとして実装される電子デバイスを提供し、当該電子デバイスはプロセッサおよびメモリを含み、メモリはプログラムを格納するように構成され、プロセッサにより実行される場合、本明細書に説明されるロボット対話の方法を実行するようにロボットに命令する。いくつかの実施形態において、電子デバイスはさらに、別のデバイスまたは通信ネットワークと通信するように構成された通信インタフェースを含む。
【００１１】
一実施形態において、本開示は、電子デバイスにより用いられるコンピュータソフトフェア命令を格納するように構成されるコンピュータ記憶媒体を提供し、当該コンピュータ記憶媒体は、上述された通り、本開示のロボット対話の方法を実行するプログラムを含む。
【００１２】
一実施形態において、本開示は、クライアントにおいて適用されるロボット対話の方法を提供し、当該方法は、対話トリガ情報に対応し、サーバから送信される対話オプションを対話リストに追加する段階を含み、対話オプションは、ロボット対話出力情報に関連して対話トリガ情報を格納した後にサーバにより生成される。ロボット対話出力情報は、模倣対象の対話行動を模倣すべく、ロボットにより要求され、対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガすることと、対話オプションに従って、ユーザによりトリガされる再生動作に応じてロボットに再生命令を送信することであって、再生命令は対話トリガ情報を含み、その結果、ロボットがサーバからのロボット対話出力情報を取得し、ロボット対話出力情報を実行する、送信することとを行うために用いられる。
【００１３】
一実施形態において、本開示は、クライアントにおいて適用されるロボット対話の装置を提供し、当該装置は、対話トリガ情報に対応し、サーバにより送信される対話オプションを対話リストに追加するように構成される追加モジュールであって、対話オプションは、ロボット対話出力情報に関連して対話トリガ情報を格納した後にサーバにより生成され、ロボット対話出力情報は、模倣対象の対話行動を模倣するためにロボットにより要求される情報であり、対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガすることに用いられる、追加モジュールと、対話オプションに従ってユーザによりトリガされる再生動作に応じてロボットに再生命令を送信するように構成される送信モジュールであって、再生命令は対話トリガ情報を含み、それによりロボットが、サーバからロボット対話出力情報を取得し、ロボット対話出力情報を実行する、送信モジュールとを含む。
【００１４】
一実施形態において、本開示は、スマートフォンなどのユーザ装置として実装される電子デバイスを提供し、当該電子デバイスはプロセッサおよびメモリを含み、メモリはプログラムを格納するように構成され、プロセッサにより実行される場合、上述された通り、本開示におけるロボット対話の方法を実行するように電子デバイスに命令する。いくつかの実施形態において、電子デバイスはさらに、別のデバイスまたは通信ネットワークと通信するように構成された通信インタフェースを含む。
【００１５】
一実施形態において、本開示は、電子デバイスにより用いられるコンピュータソフトフェア命令を格納するように構成されるコンピュータ記憶媒体を提供し、当該コンピュータ記憶媒体は、上述された通り、本開示のロボット対話の方法を実行するプログラムを含む。
【００１６】
一実施形態において、本開示は、サーバにおいて適用されるロボット対話の方法を提供し、当該方法は、ロボットにより送信されるロボット対話出力情報に関連して対話トリガ情報を格納する段階であって、ロボット対話出力情報は、模倣対象の対話行動を模倣するためにロボットにより要求される情報であって、対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガすることに用いられる、格納する段階と、対話トリガ情報に対応する対話オプションを生成する段階と、ロボットに対応するクライアントに対話オプションを送信する段階であって、それによりクライアントが対話リストに対話オプションを追加する、送信する段階とを含む。
【００１７】
一実施形態において、本開示は、サーバにおいて適用されるロボット対話の装置を提供し、当該装置は、ロボットにより送信されるロボット対話出力情報に関連して対話トリガ情報を格納するように構成される格納モジュールであって、ロボット対話出力情報は、模倣対象の対話行動を模倣するためにロボットにより要求される情報であって、対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガすることに用いられる、格納モジュールと、対話トリガ情報に対応する対話オプションを生成するように構成される生成モジュールと、ロボットに対応するクライアントに対話オプションを送信するように構成される送信モジュールであって、それによりクライアントが対話リストに対話オプションを追加する、送信モジュールとを含む。
【００１８】
一実施形態において、本開示は、サーバとして実装される電子デバイスを提供し、当該電子デバイスはプロセッサおよびメモリを含み、メモリはプログラムを格納するように構成され、プロセッサにより実行される場合、上述された通り、本開示のロボット対話の方法を実行するように電子デバイスに命令する。いくつかの実施形態において、電子デバイスはさらに、別のデバイスまたは通信ネットワークと通信するように構成された通信インタフェースを含む。
【００１９】
一実施形態において、本開示は、電子デバイスにより用いられるコンピュータソフトフェア命令を格納するように構成されるコンピュータ記憶媒体を提供し、当該コンピュータ記憶媒体は、上述された通り、本開示のロボット対話の方法を実行するプログラムを含む。
【００２０】
一実施形態において、本開示は、ロボットにおいて適用されるロボット対話の方法を提供し、当該方法は、対話出力行動を反映する処理対象のデータを収集する段階と、処理対象のデータに従って、対話出力行動を模倣するためにロボットにより要求されるロボット対話出力情報を決定する段階と、ロボット対話出力情報を格納する段階とを含む。
【００２１】
一実施形態において、本開示は、ロボットにおいて適用されるロボット対話の装置を提供し、当該装置は、対話出力行動を反映する処理対象のデータを収集するように構成される収集モジュールと、処理対象のデータに従って、対話出力行動を模倣するためにロボットにより要求されるロボット対話出力情報を決定するように構成される決定モジュールと、ロボット対話出力情報を格納するように構成される格納モジュールとを含む。
【００２２】
一実施形態において、本開示は、ロボットとして実装される電子デバイスを提供し、当該電子デバイスはプロセッサおよびメモリを含み、メモリはプログラムを格納するように構成され、プロセッサにより実行される場合、上述された通り、本開示のロボット対話の方法を実行するように電子デバイスに命令する。いくつかの実施形態において、電子デバイスはさらに、別のデバイスまたは通信ネットワークと通信するように構成された通信インタフェースを含む。
【００２３】
一実施形態において、本開示は、電子デバイスにより用いられるコンピュータソフトフェア命令を格納するように構成されるコンピュータ記憶媒体を提供し、当該コンピュータ記憶媒体は、上述された通り、本開示のロボット対話の方法を実行するプログラムを含む。
【００２４】
パーソナライズされた対話能力を有するロボットを可能にすべく、本開示の実施形態は、ユーザに方法およびデバイスを提供し、言葉および動作によってロボットに教え、それによりロボットはユーザの行動を模倣して対話型の応答を学習し得る。具体的に、ロボットが学習モードに入った後、ユーザは、ロボットにより模倣されるために要求される、対話出力行動を実行し、それによりロボットが、対応する収集装置により、対話出力行動を反映する処理対象のデータを収集することを可能にする。例えば、そのようなデータは、ユーザの音声発話、ユーザの動作情報を含む深度画像等を含み得る。
【００２５】
さらに、処理対象のデータを解析することにより、処理対象のデータに対応するロボット対話出力情報が決定され、すなわち、人間の行動をロボットの行動にマッピングすることが実現され、それによりユーザの対話出力行動を模倣するためにロボットにより要求される、ロボット対話出力情報を取得する。次に、ロボットは、ロボット対話出力情報を実行し、ユーザの対話出力行動を模倣するために制御される。模倣が成功したことが確認される場合、ユーザによりトリガされる模倣終了命令を受信すると、ロボット対話出力情報に対応する対話トリガ情報、例えば、ロボット対話出力情報を実行するようにロボットをトリガするためのトリガ情報が収集される。従って、対話トリガ情報と、ロボット対話出力情報に対する関係とが格納されて、トリガ条件と出力応答との間の対応関係を説明する対話ルールを生成する。
【００２６】
これらの技術的解決手段を用いて、ロボットは、対話ルールを取得するために自動的に学習する。すなわち、ロボットは対話トリガ情報を自動的に収集し、ユーザの対話出力行動を模倣することによりロボット対話出力情報を自動的に学習し、それによりロボット対話における簡潔さおよび利便性を実現する。加えて、異なるユーザによりトレーニングされたロボットは、異なる対話習慣に基づく異なる対話ルールを有し、ロボットの数多くのパーソナライズされた対話能力を実現する。
【図面の簡単な説明】
【００２７】
実施形態の説明に用いられる図面について、以下に簡単に説明する。以下の説明における図面は、本開示のいくつかの実施形態である。当業者はさらに、顕著な努力なしに、これらの添付図面により、他の添付図面を取得し得る。
【００２８】
【図１Ａ】本開示のいくつかの実施形態に係るロボット対話の方法を示すフロー図である。
【００２９】
【図１Ｂ】本開示のいくつかの実施形態に係るロボット対話方法を示す図である。
【図１Ｃ】本開示のいくつかの実施形態に係るロボット対話方法を示す図である。
【図１Ｄ】本開示のいくつかの実施形態に係るロボット対話方法を示す図である。
【図１Ｅ】本開示のいくつかの実施形態に係るロボット対話方法を示す図である。
【図１Ｆ】本開示のいくつかの実施形態に係るロボット対話方法を示す図である。
【図１Ｇ】本開示のいくつかの実施形態に係るロボット対話方法を示す図である。
【図１Ｈ】本開示のいくつかの実施形態に係るロボット対話方法を示す図である。
【００３０】
【図２】本開示のいくつかの実施形態に係るロボット対話の装置を示すブロック図である。
【００３１】
【図３】本開示のいくつかの実施形態に係る電子デバイス２を示すブロック図である。
【００３２】
【図４Ａ】本開示のいくつかの実施形態に係るロボット対話の別の方法を示すフロー図である。
【００３３】
【図４Ｂ】本開示のいくつかの実施形態に係るクライアントインタフェース表示効果を示す図である。
【図４Ｃ】本開示のいくつかの実施形態に係るクライアントインタフェース表示効果を示す図である。
【００３４】
【図５】本開示のいくつかの実施形態に係るロボット対話の装置を示すブロック図である。
【００３５】
【図６】本開示のいくつかの実施形態に係る電子デバイスを示すブロック図である。
【００３６】
【図７】本開示のいくつかの実施形態に係るロボット対話のさらに別の方法を示すフロー図である。
【００３７】
【図８】本開示のいくつかの実施形態に係るロボット対話の装置を示すブロック図である。
【００３８】
【図９】本開示のいくつかの実施形態に係る電子デバイスを示すブロック図である。
【００３９】
【図１０Ａ】本開示のいくつかの実施形態に係るロボット対話の方法を示す対話フロー図である。
【図１０Ｂ】本開示のいくつかの実施形態に係るロボット対話の方法を示す対話フロー図である。
【００４０】
【図１１】本開示のいくつかの実施形態に係るロボット対話の方法を示すフロー図である。
【００４１】
【図１２】本開示のいくつかの実施形態に係るロボット対話の装置を示すブロック図である。
【００４２】
【図１３】本開示のいくつかの実施形態に係るロボット対話の装置を実装する電子デバイスのブロック図である。
【発明を実施するための形態】
【００４３】
本開示の実施形態の目的、技術的解決手段、および利点をより明確にすべく、本開示の実施形態における技術的解決手段が、本開示の実施形態における図面を参照して、以下に明確かつ完全に説明される。本明細書に説明される実施形態は、本開示のすべての実施形態ではなく、一部に過ぎない。本開示の実施形態に基づいて、顕著な努力をすることなく当業者により取得されるすべての他の実施形態は、本開示の範囲に含まれる。
【００４４】
本開示の実施形態に用いられる用語は、特定の実施形態を説明する目的のみのためであり、本開示を限定することを意図するものではない。本開示の実施形態におよび添付の特許請求の範囲で用いられる単数形「１つ」、「当該」および「前記」も、別の意味を文脈に明確に示さない限り、複数形を含むことを意図する。「複数の」については、一般的に少なくとも２つが含まれるが、少なくとも１つが含まれる場合を排除するものではない。
【００４５】
本明細書で用いられる用語「および／または」は、関連する対象物の関連関係を説明するために用いられるものに過ぎず、３つの関係が存在し得ることを示すということを理解されたい。例えば、Ａおよび／またはＢは、Ａが単独で存在する場合、ＡとＢの両方が存在する場合、およびＢが単独で存在する場合といった３つの場合を示し得る。加えて、本明細書における文字「／」は一般的に、その前後の関連する対象物が「または」関係にあることを示す。
【００４６】
第１、第２、第３等の用語が本開示の実施形態における特徴を説明するために用いられてよいが、これらの特徴は、これらの用語に限定されるべきではない。これらの用語は、互いに特徴を区別するためにのみ用いられる。例えば、本開示の実施形態の範囲から逸脱することなく、第１の特徴は、第２の特徴とも称されてもよく、同様に、第２の特徴は、第１の特徴と称されてもよい。
【００４７】
文脈に応じて、本明細書において用いられる用語「とき」および「の場合」は、「その時点で」または「いつ」または「決定に応じて」または「検出に応じて」と解釈され得る。同様に、文脈に応じて、「決定されるとき」または「（記述される状態またはイベント）が検出されるとき」は、「決定される場合」または「決定に応じて」または「（記述される状態またはイベント）が検出される場合」または「（記述される状態またはイベント）の検出に応じて」と解釈され得る。
【００４８】
また、用語「を含む」、「を備える」または任意の他の任意の変形は、非排他的包含を包含することを意図しており、その結果、一連の要素を含む商品またはシステムは、これらの要素だけでなく、明示的に列挙されていない他の要素も含むか、またはこの商品またはシステムに固有の要素を含むことを留意されたい。さらに限定することなく、「１つの…を含む」という文により規定される要素は、当該要素を含む商品またはシステムにおける別の同一要素の存在を排除するものではない。
【００４９】
加えて、本明細書に説明されるまたは図面に示されるいくつかの処理は、特定の順序において生じる複数の動作を含む。しかしながら、これらの動作は、示される特定の順序で実行されなくてもよく、並行して実行されてもよい。動作シーケンスは、任意の方式で、表示例としてのみ機能し、限定を意図しているものではない。
【００５０】
図１Ａは、本開示のいくつかの実施形態に係るロボット対話方法を示すフロー図である。いくつかの実施形態において、本方法は、ロボット対話の装置により実行され、ソフトウェア、ハードウェアまたはこれらの組み合わせとして実装されてよい。いくつかの実施形態において、ロボット対話の装置は、ロボットに提供される。図１Ｂから図１Ｈは、本開示のいくつかの実施形態に係る図１Ａのロボット対話方法を示す図である。ロボット対話の方法は、図１Ａと、図１Ｂから図１Ｈとの両方を参照して以下に説明される。一実施形態において、図１Ａに示されるように、本方法は以下の段階を含む。
【００５１】
段階１０１：対話出力行動を反映する処理対象のデータを収集する。
【００５２】
ロボットの対話能力を強化すべく、対話入力と対話出力との間の対応関係が確立され、１または複数の対話ルールが生成され、当該１または複数の対話ルールは、どの対話出力フィードバックがどのトリガ条件に応じてロボットにより実行されるかを指定する。
【００５３】
一実施形態において、対話ルールは、対話トリガ情報とロボット対話出力情報とを含む。対話トリガ情報は、人間と機械との対話シナリオにおいて、対話する当事者によりトリガされる入力情報である。ロボット対話出力情報は、対話トリガ情報に応じてロボットにより実行される出力フィードバックである。いくつかの実施形態において、対話ルールを生成する段階は、ロボットがロボット対話出力情報を学習し、ロボット対話出力情報に対応する対話トリガ情報を収集して、それによりロボット対話出力情報に関連して対話トリガ情報を格納するプロセスである。
【００５４】
一実施形態において、ロボットは、トレーナの対話出力行動を学習することまたは模倣することによってロボット対話出力情報を取得する。トレーナは、人間、ロボット、および対話出力行動を含むビデオなどであってよい。トレーナが人間である場合、当該人間は、ロボットが模倣すべき対話出力行動を実行し、ロボットは、対話出力行動に対応する処理対象のデータを収集する。ロボットは次に、処理対象のデータを分析し、対話出力行動を模倣するためにロボットにより要求されるロボット対話出力情報を取得する。すなわち、ロボットの対話出力効果は、ロボットを学習させる人間により実現される。
【００５５】
本明細書に用いられるように、対話出力行動をトリガする主体が、トレーナと称される。いくつかの実施形態において、トレーナは、ロボットが模倣および／または学習するための対話出力行動を実行する。例えば、対話出力行動は、トレーナが右手を持ち上げ、笑顔で「こんにちは」と言うことである。これにより、対話出力行動に対応する処理対象のデータは、ロボットの様々な収集装置により収集される。
【００５６】
いくつかの実施形態において、処理対象のデータは、深度画像、カラー画像および（声、音、発話などの）対話音声発話のうち少なくとも１つを含む。上記の例を参照すると、深度画像は、トレーナの身体動作、例えば右手を持ち上げるプロセスなどを反映することができ、カラー画像は、トレーナの表情の特徴、例えば笑顔などを反映し得て、対話音声発話は、トレーナにより発話されるスピーチ、例えば、こんにちはなどを反映し得る。
【００５７】
上記の深度画像およびカラー画像は、１つの画像に限定されるものではない。いくつかの実施形態において、深度画像またはカラー画像は、画像シーケンスを含む。上記の例は、いかなる方式においても、開示された実施形態を限定することを意図するものではない。 
【００５８】
いくつかの実施形態において、ロボットは、上記対話以外の人間と機械との対話を処理する。２つを区別すべく、ロボットの動作モードは、通常動作モードと学習モードとで定義され得る。ロボットが学習モードに入るようにトリガされる場合のみ、本開示の実施形態により提供される方法が実行され、それによりロボットは自動的に対話ルールを学習する。いくつかの実施形態において、学習モードに入るようにロボットをトリガするトリガ条件は、図１Ｂに示されるように「習慣形成」または「学習開始」のスピーチなどのトレーナからの特定の音声命令である。このため、ロボットが特定の音声命令を収集および認識した後、ロボットは学習モードに入り、トレーナの対話行動を模倣することによりロボット対話出力情報を学習する。
【００５９】
段階１０２：処理対象のデータに対応するロボット対話出力情報を決定する。
【００６０】
トレーナの対話出力行動を模倣すべく、収集された処理対象のデータは、ロボットのロボット対話出力情報にマッピングされる必要がある。
【００６１】
いくつかの実施形態において、ロボット対話出力は、例えば、音声、動作および表示を含む複数の形態のうち１または複数の形態で表される。処理対象のデータがこれらの３つの形態の情報を含む例を用いて、以下では、処理対象のデータに対応するロボット対話出力情報を決定する段階を説明する。
【００６２】
トレーナを参照して上記の例をさらに用いて、処理対象のデータが「こんにちは」の対話音声発話を含むとき、ロボット対話出力情報も同じ対話音声発話を含むことが決定される。このようにして、収集された対話音声発話は、ロボット対話出力情報の一部として用いられる。
【００６３】
処理対象のデータが、表情の特徴（例えば、カラー画像において表情認識を実行することによるトレーナの笑顔）を反映するカラー画像を含むとき、認識された顔の表情に対応する表情対象は、予め設定された表情ライブラリから決定される。このようにして、一致する表情対象は、ロボット対話出力情報の一部として用いられる。表情認識のプロセスは、既存の適切な技術を用いて実装され得て、その詳細については本明細書に説明はしない。いくつかの実施形態において、表情認識の結果は、幸せ、怒り、驚き、恐怖、嫌悪、および悲しみなどの表情を含む。いくつかの実施形態において、様々な表情認識結果に対応する表情対象を含む表情ライブラリは、事前に構築される。いくつかの実施形態において、表情対象は、表情アニメーションまたは表情画像である。
【００６４】
処理対象のデータが、トレーナの身体動作（例えば、右手を持ち上げること）を反映する深度画像を含むとき、深度画像において骨認識が実行され、人間関節姿勢情報を取得し、人間関節姿勢情報は、対応するロボット関節姿勢情報を決定するために用いられる。このようにして、決定されたロボット関節姿勢情報は、ロボット対話出力情報の一部として用いられる。いくつかの実施形態において、骨認識は既存の適切な技術を用いて実装され、その詳細については本明細書に説明はしない。いくつかの実施形態において、骨認識の結果（例えば、人間関節姿勢情報）は、人体の複数の関節により実行される動作シーケンスを含み、複数の人間関節の一連の動作軌道を反映する。いくつかの実施形態において、ロボットの関節は、人体の関節に１対１に対応しなくてよく、ロボットがどの程度人間型に近いかに応じて決まる。従って、いくつかの実施形態において、人間関節姿勢情報をロボット関節姿勢情報にマッピングするプロセスには、関節のマッピングと関節姿勢のマッピングとの両方が含まれる。このシナリオにおいて、人間関節とロボット関節との間のマッピング関係が事前に確立され、人間関節姿勢とロボット関節姿勢との間のマッピング関係を決定する。
【００６５】
一例において、右手を持ち上げる動作に対応して、人間関節の姿勢情報は、人間座標系における基準線に対して決定される。このため、姿勢情報は、異なる複数の時点における、基準線に対する関節の以下のそれぞれの角度を含む。関節１：３０度、４０度、５０度…；関節２：２０度、３０度、４０度…関節３：４０度、５０度、６０度…関節４：４０度、５０度、６０度…
【００６６】
ロボット関節の姿勢情報は、ロボット座標系における基準線に対して決定される。このため、ロボット関節の姿勢情報は、異なる複数の時点における、基準線に対する、人間関節に対応する関節の以下のそれぞれの角度を含む。関節ａ：１０度、４０度、５４度…関節ｂ：１０度、２３度、５２度…
【００６７】
段階１０３：ロボット対話出力情報を実行し、ユーザの対話出力行動を模倣するようにロボットを制御する。
【００６８】
ロボットは、決定されたロボット対話出力情報に従って、トレーナの対話出力行動を模倣するように制御される。このようにして、トレーナは、トレーナにより実行された対話行動（図１Ｃに示されるように）を、ロボットが正確に模倣することを確認し得る。
【００６９】
段階１０４：模倣が成功する場合にトリガされる模倣終了命令に応じて、ロボット対話出力情報に対応する対話トリガ情報を収集する。
【００７０】
いくつかの実施形態において、ロボットがトレーナの対話行動を模倣する場合、トレーナは模倣終了命令をトリガする。一例において、模倣終了命令は、図１Ｄに示されるように「トレーニングを終了する」などのトレーナにより発される特定の音声命令である。ロボットが模倣終了命令を受信する場合、ロボットはさらに、取得されたロボット対話出力情報に対応する対話トリガ情報、例えば、次に続く実際の使用においてロボット対話出力情報を出力するようにロボットをトリガする入力トリガ情報などを収集する。
【００７１】
いくつかの実施形態において、模倣終了命令を受信した後、ロボットは、予め設定されたプロンプト音声を発し、図１Ｄに示されるように対話トリガ情報をトリガするようにトレーナをプロンプトするように制御される。
【００７２】
一実施形態において、対話トリガ情報は、特定の音声発話、または特定の音声発話と特定の動作との組み合わせなどを含む。一例において、対話トリガ情報として用いられる特定の音声発話は、「挨拶して」または「こんにちは」である。このため、収集された特定の音声発話は、図１Ｅに示されるように、対話トリガ情報として用いられる。
【００７３】
他の実施形態において、対話トリガ情報は、インタフェースによってトレーナからロボットに入力される特定のテキストである。この場合、次に続くロボットとの対話シナリオにおいて、対話する当事者が特定のテキストに対応する音声発話そ生成するとき、当該音声発話は、当該特定のテキストと一致するとみなされ、次にロボットは、対応するロボット対話出力情報を実行するようにトリガされる。
【００７４】
段階１０５：ロボット対話出力情報に関連して対話トリガ情報を格納する。
【００７５】
いくつかの実施形態において、直接収集された対話トリガ情報と上記の既に取得されたロボット対話出力情報とは対話ルールとして構成され、それに応じてロボットにおいてローカルに格納される。
【００７６】
様々な実施形態によると、ロボットは自動的に学習して対話ルールを取得する。言い換えれば、ロボットは対話トリガ情報を自動的に収集し、トレーナの対話出力行動を模倣することによりロボット対話出力情報を自動的に学習し、それによりロボット対話における簡潔さおよび利便性を実現する。さらに、異なる人間によりトレーニングされたロボットは、異なる対話習慣に基づく異なる対話ルールを有するので、ロボットの数多くのパーソナライズされた対話能力を実現する。
【００７７】
いくつかの実施形態において、１つまたは複数の対話ルールが上記の実施形態を用いてロボットに形成された後、実際の使用において、人間と機械との対話のプロセスは、対話する当事者の処理対象の対話トリガ情報を収集する段階と、処理対象の対話トリガ情報が既存の対話トリガ情報の項目と一致するとき、対話トリガ情報に対応するロボット対話出力情報を実行するようにロボットを制御する段階として実装される。
【００７８】
例えば、処理対象の対話トリガ情報が「挨拶して」の音声発話であり、対応する対話トリガ情報が既に存在すると決定された場合、ロボットは、決定された対話トリガ情報に対応するロボット対話出力情報を実行するように制御される。結果として、図１Ｆに示されるように、ロボットは、右手を持ち上げ、ディスプレイに笑顔を表示し、「こんにちは」の音声発話を生成するように制御される。
【００７９】
いくつかの実施形態において、ロボット対話出力情報に関連する対話トリガ情報は、ロボットにローカルに格納される。他の実施形態において、ロボットは、サーバに、例えばサーバにおけるロボットに対応するルールデータベースに、ロボット対話出力情報に関連して対話トリガ情報を格納する。実装において、ロボットはサーバに格納命令を送信し、当該格納命令は、サーバに対するロボット識別子を含み、それに応じて、当該ロボット識別子に基づいて対応するデータベースに、ロボット対話出力情報に関連して対話トリガ情報を格納する。
【００８０】
いくつかの実施形態において、ロボット対話出力情報に関連して対話トリガ情報を格納した後、サーバは、対話トリガ情報に対応する対話オプションを生成する。さらに、サーバは、対話トリガ情報に対応する対話オプションを、ロボットに対応するクライアントに更新する。一実施形態において、対話オプションは、対話トリガ情報に対応する識別子項目、および様々な動作項目を含む。例えば、図１Ｇに示されるように、対話トリガ情報は特定の音声発話であるとき、対応する識別子項目（１３２）は、特定の音声発話に対応するテキストコンテンツとして設定される。この例において、動作項目は再生（１２２）、削除（１２４）、修正（１２６）、共有（１２８）等を行う動作を含む。
【００８１】
いくつかの実施形態において、クライアントはロボット、または携帯電話などのユーザ装置に位置する。ユーザは、クライアントを介して、ロボットにより学習される対話ルールを管理および使用する。
【００８２】
一例において、ユーザは、クライアントにおける再生動作項目をクリックし、再生命令をトリガする。次にクライアントは、再生命令をロボットに送信する。ロボットが再生命令を受信した後、対話トリガ情報に対応するロボット対話出力情報は、対話オプションに基づいてサーバから取得され、対話トリガ情報は対話オプションに対応する。次に、ロボットはロボット対話出力情報を実行するように制御される。
【００８３】
別の例において、ユーザはクライアントにおける削除動作項目をクリックし、対話オプションに対応する対話トリガ情報と、対話トリガ情報に対応するロボット対話出力情報とのサーバからの削除をトリガする。さらに別の例において、ユーザはクライアントにおける修正動作項目をクリックし、対話トリガ情報に対応するロボット対話出力情報を再学習するプロセスをトリガする。
【００８４】
別の例において、ユーザはクライアントにおける共有動作項目をクリックし、共有対象の対象識別子を含む共有命令をトリガする。いくつかの実施形態において、共有対象の対象識別子は、共有動作項目をクリックした後にポップアップされる友達リストからユーザにより選択される友達識別子である。共有命令を受信した後、クライアントは、サーバによって、対話オプションに対応する対話トリガ情報と、対話トリガ情報に対応するロボット対話出力情報とを、共有対象の対象識別子に対応する別のクライアントに送信する。いくつかの実施形態において、サーバは、共有対象の対象識別子に対応する他のクライアントに共有プロンプト情報を送信する。一実施形態において、図１Ｈに示される共有プロンプト情報は、対話トリガ情報に対応する識別子項目（１４２）、および様々な動作項目（１４４、１４６、１４８）を含む。例えば、再生動作項目（１４４）が他のクライアントによりクリックされる場合、ロボットは、受信されたロボット対話出力情報を実行するようにトリガされる。削除動作項目（１４８）がクリックされる場合、受信された対話トリガ情報とロボット対話出力情報とは削除される。学習された動作項目（１４６）がクリックされる場合、受信された対話トリガ情報とロボット対話出力情報とは、サーバにおける共有対象の対象識別子に対応するルールデータベースに格納される。
【００８５】
クライアントの上記の実施形態を用いて、人間と機械との対話がクライアントで実装されるだけでなく、ロボットの学習結果も、同じタイプの他のロボットと共有され、他のロボットに対する対話ルールの生成を容易にする。
【００８６】
本開示のいくつかの実施形態に係るロボット対話装置は、以下に詳細に説明される。当業者であれば、これらのロボット対話装置がこの解決手段において教示される段階によって、市販のハードウェアコンポーネントを用いた構成によって構築され得ることを理解し得る。
【００８７】
図２は、本開示のいくつかの実施形態に係る図１Ａのロボット対話方法のための装置を示すブロック図である。図２に示されるように、当該装置は、収集モジュール（１１）、決定モジュール（１２）、制御モジュール（１３）、および格納処理モジュール（１４）を含む。
【００８８】
収集モジュール（１１）は、対話出力行動を反映する処理対象のデータを収集するように構成される。
【００８９】
決定モジュール（１２）は、処理対象のデータに対応するロボット対話出力情報を決定するように構成される。
【００９０】
制御モジュール（１３）は、ロボット対話出力情報を実行し、対話出力行動を模倣するようにロボットを制御するように構成される。
【００９１】
いくつかの実施形態において、収集モジュール（１１）はさらに、模倣が成功した場合にトリガされる模倣終了命令に応じて、ロボット対話出力情報に対応する対話トリガ情報を収集するように構成される。
【００９２】
格納処理モジュール（１４）は、ロボット対話出力情報に関連して対話トリガ情報を格納するように構成される。
【００９３】
いくつかの実施形態において、処理対象のデータは、深度画像、カラー画像、および対話音声発話のうち少なくとも１つを含む。
【００９４】
いくつかの実施形態において、処理対象のデータがカラー画像を含むとき、決定モジュール（１２）はカラー画像における表情認識を実行し、次に予め設定された表情ライブラリに基づいて、認識された顔の表情に対応する表情対象を決定するように構成される。
【００９５】
いくつかの実施形態において、処理対象のデータが深度画像を含むとき、決定モジュール（１２）は、深度画像における骨認識を実行し、対応する人間関節姿勢情報を取得するように構成される。一実施形態において、決定モジュール（１２）はさらに、人間関節姿勢情報に対応するロボット関節姿勢情報を決定するように構成される。
【００９６】
いくつかの実施形態において、収集モジュール（１１）はさらに、対話する当事者の処理対象の対話トリガ情報を収集するように構成される。
【００９７】
いくつかの実施形態において、制御モジュール（１３）はさらに、処理対象の対話トリガ情報が対話トリガ情報と一致すると決定されるとき、ロボット対話出力情報を実行するようにロボットを制御するように構成される。
【００９８】
いくつかの実施形態において、格納処理モジュール（１４）は、サーバにおいてロボット対話出力情報に関連して対話トリガ情報を格納するように具体的に構成され、当該サーバは、対話トリガ情報に対応する対話オプションを、ロボットに対応するクライアントに更新する。
【００９９】
いくつかの実施形態において、装置のさらに、受信モジュール（１５）と取得モジュール（１６）とを含む。
【０１００】
受信モジュール（１５）は、対話オプションに従ってトリガされる再生命令を受信するように構成される。
【０１０１】
取得モジュール（１６）は、サーバから対話トリガ情報に対応するロボット対話出力情報を取得するように構成される。
【０１０２】
いくつかの実施形態において、制御モジュール（１３）はさらに、ロボット対話出力情報を実行するようにロボットを制御するように構成される。
【０１０３】
一実施形態において、受信モジュール（１５）はさらに、対話オプションに従ってトリガされる共有命令を受信するように構成される。一例において、共有命令は、共有対象の対象識別子を含む。
【０１０４】
いくつかの実施形態において、装置はさらに、サーバによって、対話トリガ情報とロボット対話出力情報とを共有対象の対象識別子に対応するクライアントに送信するように構成される送信モジュール（１７）を含む。
【０１０５】
様々な実施形態によると、図２の装置は、図１Ａの方法を実行するように構成される。簡潔さのために、図１Ａを参照して既に説明された詳細については、本明細書に繰り返すことはしない。同様に、図１Ａを参照して既に説明された技術的解決手段の実行プロセスおよび技術的効果についても、本明細書に再び繰り返すことはしない。
【０１０６】
図３は、本開示のいくつかの実施形態に係る図２のロボット対話の装置を実装する電子デバイスを示すブロック図である。一実施形態において、電子デバイスそのものはロボットである。一例において、図３に示されるように、ロボットは、プロセッサ（２１）とメモリ（２２）とを含む。メモリ（２２）は、実行される場合、図１Ａのロボット対話方法を実行するようにロボットに命令するプログラムを格納するように構成される。プロセッサ（２１）は、メモリ（２２）に格納されるプログラムを実行するように構成される。
【０１０７】
当該プログラムは、プロセッサ（２１）により実行される場合、対話出力行動を反映する処理対象のデータを収集する段階と、処理対象のデータに対応するロボット対話出力情報を決定する段階と、ロボット対話出力情報を実行して対話出力行動を模倣するようにロボットを制御する段階と、模倣が成功した場合にトリガされる模倣終了命令に応じてロボット対話出力情報に対応する対話トリガ情報を収集する段階と、ロボット対話出力情報に関連して対話トリガ情報を格納する段階と、といった段階を実装する１つまたは複数のコンピュータ命令を含む。
【０１０８】
いくつかの実施形態において、プロセッサ（２１）はさらに、図１Ａの上記の方法の段階のすべてまたは一部を実行するように構成される。
【０１０９】
一実施形態において、ロボットはさらに、ロボットが別のデバイスまたは通信ネットワークと通信するように構成される通信インターフェイス（２３）を含む。一例において、ロボットは、通信インターフェイス（２３）においてサーバと通信する。
【０１１０】
いくつかの実施形態において、ロボットはさらに、オーディオコンポーネント（２４）とセンサコンポーネント（２５）とを含む。
【０１１１】
オーディオコンポーネント（２４）は、音声信号を出力および／または入力を行うように構成される。一実施形態において、オーディオコンポーネント（２４）は、マイク（ＭＩＣ）を含む。マイクは、ロボットが動作モード（例えば、音声認識モード）にある場合、外部音声信号を受信するように構成される。受信された音声信号はさらに、メモリ（２２）に格納されるか、または通信インターフェイス（２３）を介して送信される。いくつかの実施形態において、オーディオコンポーネント（２４）はさらに、音声信号を出力するように構成されるスピーカを含む。
【０１１２】
センサコンポーネント（２５）は、１つまたは複数のセンサを含む。一実施形態において、センサコンポーネント（２５）は、ロボットのディスプレイを含む。別の実施形態において、センサコンポーネント（２５）は、ユーザとロボットとの間などのあらゆる接触の有無を検出するように構成される。さらに別の実施形態において、センサコンポーネント（２５）は、イメージングアプリケーションにおける使用のために、相補型金属酸化物半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ）画像センサなどの光学センサを含む。いくつかの実施形態において、センサコンポーネント（２５）はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサなどを含む。
【０１１３】
様々な実施形態によると、本開示の一実施形態に提供されるロボットは、複数の自由度で移動する柔軟性を有するよう構成される。
【０１１４】
また、本開示の様々な実施形態は、ロボットにより用いられされるコンピュータソフトフェア命令を格納するように構成されるコンピュータ記憶媒体を提供し、当該コンピュータソフトフェア命令は、図１Ａのロボット対話方法を実行するプログラムを含む。
【０１１５】
図４Ａは、本開示のいくつかの実施形態に係るロボット対話の別の方法のフローチャートである。いくつかの実施形態において、ロボット対話方法は、ロボット対話の装置により実行され、ソフトウェア、ハードウェアまたはこれらの組み合わせとして実装されてよい。一実施形態において、ロボット対話装置は、クライアントに提供される。別の実施形態において、クライアントは、スマートフォンなどのユーザ装置にインストールされる。図４Ｂ〜図４Ｃは、本開示のいくつかの実施形態に係る図４Ａの方法を実装するクライアントインタフェース表示効果を示す図である。以下に、図４Ａおよび図４Ｂ〜図４Ｃの両方を参照して、ロボット対話方法を説明する。図４Ａに示されるように、ロボット対話方法は以下の段階を含む。
【０１１６】
段階２０１：対話トリガ情報に対応し、サーバにより送信される対話オプションが対話リストに追加され、当該対話オプションは、ロボット対話出力情報に関連して対話トリガ情報を格納した後にサーバにより生成される。例えば、ロボット対話出力情報は、対話出力行動を模倣するためにロボットにより要求される情報を含み、対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガするのに用いられる。
【０１１７】
上述のように、ロボットは、トレーナの対話出力行動を模倣することによりロボット対話出力情報を学習する。ロボット対話出力情報に対応する対話トリガ情報を収集した後、ロボット対話出力情報に関連して対話トリガ情報は、サーバに、例えばサーバにおけるロボットに対応するルールデータベースに格納される。サーバはさらに、対話トリガ情報に対応する対話オプションを生成し、ロボットに対応するクライアントに当該対話オプションを送信する。説明のため、クライアントは「クライアントａ」と称される。一例において、図４Ｂに示されるように、対話オプションは、対話トリガ情報に対応する識別子項目（２２２）、および様々な動作項目（２２４）を含む。対話トリガ情報が特定の音声発話である場合、対応する識別子項目（２２２）は、特定の音声発話に対応するテキストコンテンツである。様々な動作項目（２２４）は、例えば、再生、削除、修正、共有等を含む。この例において、「クライアントａ」に送信される対話オプションは、図４Ｂの早口言葉に対応する。
【０１１８】
段階２０２：再生命令が、対話オプションに従って、ユーザによりトリガされる再生動作に応じてロボットに送信される。一例において、再生命令は対話トリガ情報を含み、当該対話トリガ情報に基づいて、ロボットはサーバから対応するロボット対話出力情報を取得し、対応するロボット対話出力情報を実行する。
【０１１９】
一実施形態において、「クライアントａ」が、携帯電話などのロボットに依存しないユーザ装置にインストールされる場合、携帯電話を介してロボットで実行される人間と機械との対話の制御に相当する。例えば、ユーザが早口言葉に対応する再生動作項目をクリックする場合、携帯電話は対応する再生命令をロボットに送信し、当該ロボットは次に、サーバから対応するロボット対話出力情報を取得し、対応するロボット対話出力情報を実行して、対話を完了する。
【０１２０】
段階２０３：共有命令が、対話オプションに従ってユーザによりトリガされる共有動作に応じてサーバに送信される。一例において、共有命令は共有対象の対象識別子を含み、サーバは対話トリガ情報とロボット対話出力情報とを共有対象の対象識別子に対応するクライアントに送信する。
【０１２１】
一実施形態において、「ユーザａ」がロボットをトレーニングさせた結果は、「友達ｂ」に共有され、その結果、同じモデルのロボットを有する「友達ｂ」は、ロボットの対話ルールを容易に取得し得る。
【０１２２】
実装において、「ユーザａ」が「クライアントａ」のインタフェースにおける早口言葉の対話オプションに対する共有動作をトリガする場合、「クライアントａ」は、共有対象の対象識別子、例えば「ユーザｂ」の識別子、および共有対象の対話トリガ情報識別子、例えば早口言葉を含む共有命令をサーバに送信する。共有命令を受信した後、サーバは、例えば、ロボット対話出力情報に関連して対応する対話トリガ情報などの共有対象の対話トリガ情報識別子に対応する対話ルールを、「ユーザｂ」に対応する「クライアントｂ」に送信する。いくつかの実施形態において、図４Ｃに示されるように、同時にサーバは、「クライアントｂ」に共有プロンプト情報を送信する。このようにして、サーバは、共有メッセージが受信されたことだけでなく、受信された対話ルールが「ユーザｂ」により管理されるように、関連する実行可能な動作が受信されたことを「ユーザｂ」に通知する。
【０１２３】
クライアントの上記の実施形態を介して、ロボットの人間と機械との対話の制御および対話ルールの共有の両方が実現される。
【０１２４】
図５は、本開示のいくつかの実施形態に係る図４Ａの方法に対応するロボット対話の装置を示すブロック図である。図５に示されるように、装置は、追加モジュール（３１）と送信モジュール（３２）とを含む。
【０１２５】
追加モジュール（３１）は、対話トリガ情報に対応して、サーバにより送信される対話オプションを対話リストに追加するように構成される。一例において、対話オプションは、ロボット対話出力情報に関連して対話トリガ情報を格納した後、サーバにより生成される。別の例において、ロボット対話出力情報は、対話出力行動を模倣するためにロボットにより要求される情報を含み、対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガするのに用いられる。
【０１２６】
送信モジュール（３２）は、対話オプションに従って、ユーザによりトリガされる再生動作に応じてロボットに再生命令を送信するように構成される。一例において、再生命令は対話トリガ情報を含み、当該対話トリガ情報に基づいて、ロボットはサーバからロボット対話出力情報を取得し、ロボット対話出力情報を実行する。
【０１２７】
いくつかの実施形態において、送信モジュール（３２）はさらに、対話オプションに従って、ユーザによりトリガされる共有動作に応じてサーバに共有命令を送信するように構成される。一例において、共有命令は共有対象の対象識別子を含み、それによりサーバは対話トリガ情報とロボット対話出力情報とを共有対象の対象識別子に対応するクライアントに送信する。
【０１２８】
様々な実施形態によると、図５の装置は、図４Ａの実施形態における方法を実行する。簡潔さのために、図４Ａの説明において既に説明された詳細については、繰り返すことはしない。同様に、図４Ａの説明において説明される技術的解決手段の実行プロセスおよび技術的効果についても、繰り返すことはしない。
【０１２９】
図６は、本開示のいくつかの実施形態に係る図５のロボット対話の装置を実装する電子デバイスを示すブロック図である。一実施形態において、電子デバイスは、スマートフォンなどのユーザ装置である。一例において、図６に示されるように、ユーザ装置は、プロセッサ（４１）とメモリ（４２）とを含む。メモリ（４２）は、実行される場合、図４Ａの実施形態において提供されるロボット対話方法を実行するようにユーザ装置に命令するプログラムを格納するように構成される。プロセッサ（４１）は、メモリ（４２）に格納されるプログラムを実行するように構成される。
【０１３０】
プログラムは、プロセッサ（４１）により実行される場合、以下の段階を実装する１つまたは複数のコンピュータ命令を含む。
【０１３１】
段階１：対話トリガ情報に対応し、サーバにより送信される対話オプションを対話リストに追加する。一例において、対話オプションは、ロボット対話出力情報に関連して対話トリガ情報を格納した後、サーバにより生成される。別の例において、ロボット対話出力情報は、対話出力行動を模倣するためにロボットにより要求される情報を含み、対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガするのに用いられる。
【０１３２】
段階２：対話オプションに従って、ユーザによりトリガされる再生動作に応じてロボットに再生命令を送信する。一例において、再生命令は対話トリガ情報を含み、当該対話トリガ情報に基づいて、ロボットはサーバからロボット対話出力情報を取得し、ロボット対話出力情報を実行する。
【０１３３】
いくつかの実施形態において、プロセッサ（４１）はさらに、図４Ａの上記の方法の段階のすべてまたは一部を実行するように構成される。
【０１３４】
いくつかの実施形態において、ユーザ装置はさらに、ユーザ装置が別のデバイスまたは通信ネットワークと通信するように構成される通信インターフェイス（４３）を含む。
【０１３５】
いくつかの実施形態において、本開示の一実施形態は、ユーザ装置により用いられるコンピュータソフトフェア命令を格納するように構成されるコンピュータ記憶媒体を提供し、当該ソフトウェア命令は、図４Ａの上記の方法におけるロボット対話方法を実行するためのプログラムを含む。
【０１３６】
図７は、本開示のいくつかの実施形態に係るロボット対話の方法を示すフローチャートである。いくつかの実施形態において、ロボット対話方法は、ロボット対話装置により実行される。一実施形態において、装置は、ソフトウェア、ハードウェアまたはそれらの組み合わせとして実装される。一実施形態において、ロボット対話装置は、サーバに提供される。一例において、図７に示されるように、方法は以下の段階を含む。
【０１３７】
段階３０１：ロボットにより送信されるロボット対話出力情報に関連して対話トリガ情報が格納される。一例において、ロボット対話出力情報は、対話出力行動を模倣するためにロボットにより要求される情報を含み、当該対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガするために用いられる。
【０１３８】
段階３０２：対話トリガ情報に対応する対話オプションが生成される。
【０１３９】
段階３０３：対話オプションは、ロボットに対応するクライアントに送信され、それによりクライアントは、対話リストに対話オプションを追加する。
【０１４０】
上述のように、ロボットは、トレーナの対話出力行動を模倣することによりロボット対話出力情報を学習する。ロボット対話出力情報に対応する対話トリガ情報を収集した後、対話トリガ情報とロボット対話出力情報とはサーバに送信され、当該サーバは、ロボットに対応するルールデータベースにおけるロボット対話出力情報に関連して対話トリガ情報を格納する。サーバはさらに、対話トリガ情報に対応する対話オプションを生成する。サーバは、ロボットに対応するクライアントに対話オプションを送信する。クライアントは、「クライアントａ」と称される。一例において、対話オプションは、共有および再生などの動作項目を含む。
【０１４１】
段階３０４：対話オプションに対応し、クライアントにより送信される共有命令が受信される。一例において、共有命令は、共有対象の対象識別子を含む。
【０１４２】
段階３０５：対話トリガ情報とロボット対話出力情報とは、共有対象の対象識別子に対応するクライアントに送信される。
【０１４３】
実装において、ユーザが、「クライアントａ」のインタフェースにおいて対話オプションに対する共有動作をトリガする場合、「クライアントａ」は、共有対象の対象識別子、例えば、「ユーザｂ」の識別子、および共有対象の対話トリガ情報識別子（例えば、早口言葉）を含む共有命令をサーバに送信する。共有命令を受信した後、サーバは、例えば、対応する対話トリガ情報およびロボット対話出力情報などの共有対象の対話トリガ情報識別子に対応する対話ルールを、「ユーザｂ」に対応する「クライアントｂ」に送信する。いくつかの実施形態において、同時にサーバは、「クライアントｂ」に共有プロンプト情報を送信して、受信された対話ルールで実行され得る特定の動作を「ユーザｂ」に通知する。
【０１４４】
図８は、図７の方法に対応するロボット対話の装置のブロック図である。図８に示されるように、装置は、格納モジュール（５１）、生成モジュール（５２）、および送信モジュール（５３）を含む。
【０１４５】
格納モジュール（５１）は、ロボットにより送信されるロボット対話出力情報に関連して対話トリガ情報を格納するように構成される。一例において、ロボット対話出力情報は、対話出力行動を模倣するためにロボットにより要求される情報を含み、当該対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガするために用いられる。
【０１４６】
生成モジュール（５２）は、対話トリガ情報に対応する対話オプションを生成するように構成される。
【０１４７】
送信モジュール（５３）は、ロボットに対応するクライアントに対話オプションを送信して、それによりクライアントが対話リストに対話オプションを追加するように構成される。
【０１４８】
いくつかの実施形態において、装置はさらに、受信モジュール（５４）を含む。
【０１４９】
受信モジュール（５４）は、対話オプションに対応し、クライアントにより送信される共有命令を受信するように構成される。一例において、共有命令は、共有対象の対象識別子を含む。
【０１５０】
それに応じて、送信モジュール（５３）はさらに、対話トリガ情報とロボット対話出力情報とを共有対象の対象識別子に対応するクライアントに送信するように構成される。
【０１５１】
様々な実施形態によると、図８の装置は、図７の方法を実行する。簡潔さのために、図７の説明において既に説明された詳細については、本明細書に繰り返すことはしない。同様に、図７の説明において既に説明された技術的解決手段の実行プロセスおよび技術的効果についても、本明細書に繰り返すことはしない。
【０１５２】
図９は、本開示のいくつかの実施形態に係る図８の装置を実装する電子デバイスを示すブロック図である。いくつかの実施形態において、電子デバイスはサーバである。一実施形態において、図９に示されるように、サーバは、プロセッサ（６１）とメモリ（６２）とを含む。メモリ（６２）は、実行される場合、図７の実施形態において提供されるロボット対話方法を実行するようにサーバに命令するプログラムを格納するように構成される。プロセッサ（６１）は、メモリ（６２）に格納されるプログラムを実行するように構成される。
【０１５３】
プログラムは、プロセッサ（６１）により実行される場合、以下の段階を実装する１つまたは複数のコンピュータ命令を含む。
【０１５４】
段階１：ロボットにより送信される対話トリガ情報とロボット対話出力情報とを対応付けて格納する。一例において、ロボット対話出力情報は、対話出力行動を模倣するためにロボットにより要求される情報を含み、当該対話トリガ情報は、ロボット対話出力情報を実行するようにロボットをトリガするために用いられる。
【０１５５】
段階２：対話トリガ情報に対応する対話オプションを生成する。
【０１５６】
段階３：対話オプションを、ロボットに対応するクライアントに送信し、それによりクライアントは、対話リストに対話オプションを追加する。
【０１５７】
いくつかの実施形態において、プロセッサ（６１）はさらに、図７の上述の方法の段階のすべてまたは一部を実行するように構成される。
【０１５８】
いくつかの実施形態において、サーバはさらに、サーバが別のデバイスまたは通信ネットワークと通信するように構成される通信インターフェイス（６３）を含む。
【０１５９】
いくつかの実施形態において、本開示の一実施形態は、サーバにより用いられるコンピュータソフトフェア命令を格納するように構成されるコンピュータ記憶媒体と、図７の上記の方法におけるロボット対話方法を実行するためのプログラムを含むソフトウェア命令を提供する。
【０１６０】
図１０Ａおよび図１０Ｂは、本開示の一実施形態に係るロボット対話の方法を示す対話フロー図である。この実施形態において、図１０Ａおよび図１０Ｂに示されるように、方法は以下の段階を含む。
【０１６１】
段階４０１：模倣を開始する命令に応じて、「ロボットＡ」は、対話出力行動を反映する処理対象のデータを収集する。
【０１６２】
段階４０２：「ロボットＡ」は、処理対象のデータに対応するロボット対話出力情報を決定し、ロボット対話出力情報を実行して対話出力行動を模倣する。
【０１６３】
段階４０３：「ロボットＡ」は、模倣が成功する場合にトリガされる模倣終了命令に応じて、ロボット対話出力情報に対応する対話トリガ情報を収集する。
【０１６４】
段階４０４：「ロボットＡ」は、ロボット対話出力情報に関連して対話トリガ情報をサーバに送信する。
【０１６５】
段階４０５：サーバは、ロボット対話出力情報に関連して対話トリガ情報を「ロボットＡ」に対応するルールデータベースに格納し、対話トリガ情報に対応する対話オプションを生成する。
【０１６６】
段階４０６：サーバは、「ロボットＡ」に対応する「クライアントａ」に対話オプションを送信する。
【０１６７】
段階４０７：「クライアントａ」は、対話リストに対話オプションを追加する。段階４０７は、図の間の連続性を示すためにのみ図１０Ａおよび図１０Ｂの両方において再現される。
【０１６８】
段階４０８：「クライアントａ」は、対話オプションに従って、ユーザによりトリガされる再生動作に応じて再生命令を「ロボットＡ」に送信する。
【０１６９】
段階４０９：「ロボットＡ」は、サーバから対応するロボット対話出力情報を取得し、対応するロボット対話出力情報を実行する。
【０１７０】
段階４１０：「クライアントａ」は、対話オプションに従ってユーザによりトリガされる共有動作に応じてサーバに共有命令を送信し、当該共有命令は、共有対象の対象識別子を含む。
【０１７１】
段階４１１：サーバは、対話オプションに対応する対話トリガ情報、ロボット対話出力情報、および共有プロンプト情報を、共有対象の対象識別子に対応する「クライアントｂ」に送信する。
【０１７２】
段階４１２：「クライアントｂ」は、共有プロンプト情報に従ってユーザによりトリガされる再生動作に応じて「ロボットＢ」に再生命令を送信し、当該再生命令は、ロボット対話出力情報を含む。
【０１７３】
段階４１３：「ロボットＢ」は、再生命令に従ってロボット対話出力情報を実行する。
【０１７４】
段階４１４：「クライアントｂ」は、共有プロンプト情報に従って、ユーザによりトリガされる学習された動作に応じて学習された命令をサーバに送信する。
【０１７５】
段階４１５：サーバは、学習された命令に従って、「ロボットＢ」に対応するルールデータベースに、ロボット対話出力情報と関連する対話トリガ情報とを格納する。
【０１７６】
この例において、「クライアントａ」と「クライアントｂ」とにおいて限定される動作項目をトリガするユーザが示される。他の動作項目における動作については、上記の実施形態と同様であり、本明細書に繰り返すことはしない。
【０１７７】
図１１は、本開示の実施形態に係るロボット対話の方法のフローチャートである。いくつかの実施形態において、ロボット対話方法は、ロボット対話装置により実行される。いくつかの実施形態において、装置は、ソフトウェア、ハードウェアまたはそれらの組み合わせとして実装される。一実施形態において、ロボット対話装置は、ロボットに提供される。一例において、図１１に示されるように、ロボット対話方法は以下の段階を含む。
【０１７８】
段階５０１：対話出力行動を反映する処理対象のデータが収集される。
【０１７９】
段階５０２：対話出力行動を模倣するためにロボットにより要求されるロボット対話出力情報が、処理対象のデータに従って決定される。
【０１８０】
段階５０３：ロボット対話出力情報が格納される。
【０１８１】
一実施形態において、ロボットは、自動学習により、出力応答として用いられるロボット対話出力情報を取得し、それにより、ロボットは、実際のアプリケーションにおいてユーザとの様々な対話を実行する。
【０１８２】
様々な実施形態によると、ロボットの出力応答を取得する方法は、対話出力行動を学習することによるものである。一例において、対話出力行動はトレーナがロボットと対面することによりトリガされる。この場合、対話出力行動を反映する処理対象のデータは、深度画像、カラー画像、音声、およびロボットの本体にインストールされる様々な収集装置により収集される他のデータなどの感覚データを含む。いくつかの実施形態において、処理対象のデータは、対話出力行動を含む、予め生成された音声およびビデオ画像である。
【０１８３】
処理対象のデータに従って対話出力行動を模倣するためにロボットにより要求されるロボット対話出力情報を決定するプロセスは、図１Ａの上記の実施形態のものと実質的に同様であり、その詳細については本明細書に繰り返される。 
【０１８４】
いくつかの実施形態において、ロボットに対話出力行動を模倣させるロボット対話出力情報が決定された後、ロボットは、ロボット対話出力情報を実行して対話出力行動を模倣するように制御される。このようにして、ロボットにより実行される模倣が成功したとトレーナが決定する場合、ロボットは、ロボット対話出力情報をローカルにまたはサーバに格納するように命令される。
【０１８５】
いくつかの実施形態において、人間と機械との対話シナリオにおいて、対話する当事者は、対話トリガ情報の異なる項目をロボットに入力し、異なる対話効果を示すようにロボットをトリガする。このため、多くの場合、対話トリガ情報はロボット対話出力情報に対応する。ロボットが自動学習によってロボット対話出力情報を取得した後、対話トリガ情報はロボット対話出力情報に対応するように設定され、それにより実際の人間と機械との対話アプリケーションのための対話ルールを生成する。
【０１８６】
いくつかの実施形態において、上記のロボット対話出力情報が取得された後、ロボット対話出力情報に対応する対話トリガ情報が取得され、それによりロボット対話出力情報に関連して対話トリガ情報が格納され、対話ルールを生成する。
【０１８７】
いくつかの実施形態において、上記の対話トリガ情報は、トレーナにより手動で構成される。例えば、ロボット対話出力情報に対応する対話トリガ情報は、構成インタフェースに書き込まれ得る。対話トリガ情報は、例えば、動作中の物理ボタンまたはアイコンの制御、文章、表情、外部環境の条件等であり得る。
【０１８８】
いくつかの実施形態において、対話トリガ情報は、対話トリガ情報もトレーナの行動を捕捉することでロボットにより取得されるという点で、ロボット対話出力情報と同様である。例えば、実際のアプリケーションにおいて、ロボットがトレーナの対話出力行動を模倣することに成功した場合、トレーナは学習を終了する命令を発してよい。命令に応じて、ロボットは声を出してトレーナにクエリし、学習されたロボット対話出力情報に対する対話トリガ情報を設定することを彼／彼女に求める。例えば、ロボットは、「今学習されたばかりの対話習慣の名称を付けてください」と言うことができ、当該名称は対話トリガ情報に対応するためのものである。従って、トレーナは対話トリガ情報に対応する対話トリガ行動を実行する。当該行動は、例えば、トリガ文を言うこと、および移動を実行することなどであってよい。ロボットは、トレーナからの文を含む音声を収集し、移動を含む画像を収集し、それにより音声と画像が対話トリガ情報に直接格納される。このようにして、次に続く実際のアプリケーションにおいて、対話する当事者によりトリガされる収集された音声および移動画像が、それぞれの機能において、格納された音声および画像と一致するとき、ロボットは対応するロボット対話出力情報を実行する。
【０１８９】
図１２は、図１１の方法に対応するロボット対話の装置のブロック図である。図１２に示されるように、装置は、収集モジュール（７１）、決定モジュール（７２）、および格納モジュール（７３）を含む。
【０１９０】
収集モジュール（７１）は、対話出力行動を反映する処理対象のデータを収集するように構成される。
【０１９１】
決定モジュール（７２）は、処理対象のデータに従って、対話出力行動を模倣するためにロボットにより要求されるロボット対話出力情報を決定するように構成される。
【０１９２】
格納モジュール（７３）は、ロボット対話出力情報を格納するように構成される。
【０１９３】
いくつかの実施形態において、収集モジュール（７１）はさらに、ロボット対話出力情報に対応する対話トリガ情報を収集するように構成される。
【０１９４】
それに応じて、格納モジュール（７３）はさらに、ロボット対話出力情報に関連して対話トリガ情報を格納するように構成される。
【０１９５】
様々な実施形態によると、図１２の装置は、図１１の実施形態の方法を実行する。簡潔さのために、図１１の説明において既に説明された詳細については、本明細書に繰り返すことはしない。同様に、図１１の説明における上記の技術的解決手段の実行プロセスおよび技術的効果についても、本明細書に繰り返すことはしない。
【０１９６】
図１３は、本開示のいくつかの実施形態に係る図１２に示されるロボット対話の装置を実装する、ロボット対話のための電子デバイスを示すブロック図である。いくつかの実施形態において、電子デバイスはロボットである。一実施形態において、図１３に示されるように、ロボットはプロセッサ（８１）とメモリ（８２）とを含む。メモリ（８２）は、実行される場合、図１１の上記の実施形態において提供されるロボット対話方法を実行するようにロボットに命令するプログラムを格納するように構成される。プロセッサ（８１）は、メモリ（８２）に格納されるプログラムを実行するように構成される。
【０１９７】
プログラムは１つまたは複数のコンピュータ命令を含み、当該命令は、プロセッサ（８１）により実行される場合、対話出力行動を反映する処理対象のデータを収集する段階と、処理対象のデータに従って、対話出力行動を模倣するためにロボットにより要求されるロボット対話出力情報を決定する段階と、ロボット対話出力情報を格納する段階と、といった段階を実装する。
【０１９８】
いくつかの実施形態において、プロセッサ（８１）はさらに、図１１の方法の段階のすべてまたは一部を実行するように構成される。
【０１９９】
いくつかの実施形態において、ロボットはさらに、ロボットが別のデバイスまたは通信ネットワークと通信するように構成される通信インターフェイス（８３）を含む。
【０２００】
いくつかの実施形態において、ロボットはさらに、オーディオコンポーネント（８４）とセンサコンポーネント（８５）とを含む。
【０２０１】
オーディオコンポーネント（８４）は、音声信号を出力および／または入力を行うように構成される。例えば、オーディオコンポーネント（８４）は、マイク（ＭＩＣ）を含む。マイクは、ロボットが動作モード（例えば、音声認識モード）にある場合、外部音声信号を受信するように構成される。一例において、受信された音声信号はさらに、メモリ（８２）に格納されるか、または通信インターフェイス（８３）を介して送信される。いくつかの実施形態において、オーディオコンポーネント（８４）はさらに、音声信号を出力するように構成されるスピーカを含む。
【０２０２】
センサコンポーネント（８５）は、１つまたは複数のセンサを含む。例えば、センサコンポーネント（８５）は、ロボットのディスプレイを含む。別の例において、センサコンポーネント（８５）はさらに、ユーザとロボットとの間などのあらゆる接触の有無を検出する。他の例において、センサコンポーネント（８５）は、イメージングアプリケーションにおける使用のために、ＣＭＯＳまたはＣＣＤ画像センサなどの光学センサを含む。いくつかの実施形態において、センサコンポーネント（８５）はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサなどを含む。
【０２０３】
本開示のいくつかの実施形態は、ロボットにより用いられるコンピュータソフトフェア命令を格納するように構成されるコンピュータ記憶媒体を提供し、当該ソフトウェア命令は、図１１の上記の方法の実施形態におけるロボット対話のための方法を実行する段階に関するプログラムを含む。
【０２０４】
既に説明された装置の実施形態は概略のみである。別個のコンポーネントとして説明されるユニットは、または物理的に別個であってもよく、離れていなくてもよく、ユニットとして表示されるコンポーネントは物理ユニットであってもよく、または物理ユニットでなくてもよく、すなわち、同じ場所に位置付けられてもよく、または複数のネットワークユニットに分散されてもよい。この実施形態の解決手段の目的は、実際の要件に従って一部またはすべてのモジュールを選択することにより実装されてよい。当業者であれば、創造的努力なしに本開示を理解および実装することができる。
【０２０５】
実施形態の上述の説明によって、当業者は、実装方式がソフトウェア、および必要な一般ハードウェアプラットフォームにより実装され得て、ハードウェアおよびソフトウェアの組み合わせによっても確実に実装され得ることを明確に理解し得る。そのような理解に基づいて、上記の技術的解決手段は本質的にまたは現在のシステムに寄与する部分がコンピュータ製品の形態で具現化されてよい。本開示は、コンピュータ利用可能プログラムコードを含む１つまたは複数のコンピュータ利用可能記憶媒体（磁気ディスクストレージ、ＣＤ−ＲＯＭ、光学ストレージ等を含むがそれらに限定されない）で実装されるコンピュータプログラム製品の形態を採用してよい。
【０２０６】
本開示は、本開示の実施形態に従って、方法、デバイス（システム）、コンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明される。フローチャートおよび／またはブロック図における各手順および／またはブロック、および、フローチャートおよび／またはブロック図における手順および／またはブロックの組み合わせは、コンピュータプログラム命令で実装されてよいことを理解されたい。これらのコンピュータプログラム命令は、機械を生成するために、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、または任意の他のプログラム可能なデータ処理デバイスのプロセッサに提供され、その結果、コンピュータまたは他のプログラム可能なデータ処理デバイスのプロセッサにより実行される命令が、フローチャートの１つまたは複数の手順および／またはブロック図の１つまたは複数のブロックにおける特定の機能を実装する手段を生成する。
【０２０７】
また、これらのコンピュータプログラム命令は、コンピュータまたは任意の他のプログラム可能なデータ処理デバイスが特定の方式で動作するように指示し得るコンピュータ可読メモリに格納され、それによりコンピュータ可読メモリに格納される命令が命令手段を含む製造物品を生成してよく、当該命令手段は、フローチャートの１つまたは複数の手順および／またはブロック図の１つまたは複数のブロックにおける特定の機能を実装する。
【０２０８】
これらのコンピュータプログラム命令は、コンピュータまたは任意の他のプログラム可能データ処理デバイスに読み込まれ、その結果、一連の動作段階がコンピュータまたは他のプログラム可能デバイスで実行され、コンピュータで実装される処理を生成するので、コンピュータまたは他のプログラム可能デバイスで実行される命令は、フローチャートの１つまたは複数の手順および／またはブロック図の１つまたは複数のブロックにおける特定の機能を実装する段階を提供してもよい。
【０２０９】
典型的な構成において、コンピューティングデバイスは１つまたは複数のプロセッサ（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェースおよびメモリを含む。
【０２１０】
メモリは、非永続的メモリ、ランダムアクセスメモリ（ＲＡＭ）および／またはリードオンリメモリ（ＲＯＭ）またはフラッシュメモリ（ｆｌａｓｈ  ＲＡＭ）などの不揮発性メモリなどの形態でコンピュータ可読媒体に含まれてよい。メモリはコンピュータ可読媒体の例である。
【０２１１】
コンピュータ可読媒体は、任意の方法または技術の手段により情報の格納を実現できる永続的媒体および非永続的媒体、並びに移動可能な媒体および移動不可能な媒体を含む。情報は、コンピュータ可読命令、データ構造、プログラムのモジュール、または他のデータであってよい。コンピュータの記憶媒体の例は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光学ストレージ、カセットテープ、磁気テープ／磁気ディスクストレージまたは他の磁気ストレージデバイス、または任意の他の非伝送媒体を含むがそれらに限定されず、コンピューティングデバイスによりアクセス可能な情報を格納するのに用いられ得る。本明細書の定義によると、コンピュータ可読媒体は、変調されたデータ信号および搬送波などの一時的コンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｍｅｄｉａ）は含まない。
【０２１２】
最後に、上記の実施形態は、本開示の技術的解決手段の限定ではなく、例示のために用いられているに過ぎないことを留意されたい。本開示は上述の実施形態を参照して詳細に説明されているが、当業者は、上述の実施形態において記録されている技術的解決手段は、その技術的特徴の一部またはすべてにさらなる変更または同等な置換が行われてもよいことを理解すべきである。これらの変更または置換は、対応する技術的解決手段の本質を、本開示の実施形態における技術的解決手段の主旨および範囲から逸脱させるものではない。
【図１Ａ】
2020534567.tif 000003
【図１Ｂ】
2020534567.tif 000004
【図１Ｃ】
2020534567.tif 000005
【図１Ｄ】
2020534567.tif 000006
【図１Ｅ】
2020534567.tif 000007
【図１Ｆ】
2020534567.tif 000008
【図１Ｇ】
2020534567.tif 000009
【図１Ｈ】
2020534567.tif 000010
【図２】
2020534567.tif 000011
【図３】
2020534567.tif 000012
【図４Ａ】
2020534567.tif 000013
【図４Ｂ】
2020534567.tif 000014
【図４Ｃ】
2020534567.tif 000015
【図５】
2020534567.tif 000016
【図６】
2020534567.tif 000017
【図７】
2020534567.tif 000018
【図８】
2020534567.tif 000019
【図９】
2020534567.tif 000020
【図１０Ａ】
2020534567.tif 000021
【図１０Ｂ】
2020534567.tif 000022
【図１１】
2020534567.tif 000023
【図１２】
2020534567.tif 000024
【図１３】
2020534567.tif 000025
【国際調査報告】
2020534567.tif 000026
2020534567.tif 000027
2020534567.tif 000028
2020534567.tif 000029