(57)【要約】【課題】  本開示は、クラウドに基づく設備（200）及びその操作方法を提供する。【解決手段】  本開示の、クラウドに基づく設備（２００）は、分析装置（２０２）と決定装置（２０３）を含み、当該分析装置（２０２）は、それぞれシーン入力信号、視聴者表情入力信号と視聴者音声入力信号を第一ＨＭＭの観測可能なシーケンスとして受信し、観測シーケンス確率最大化の準則により、第一ＨＭＭの隠し状態変化シーケンスを推断する第一ＨＭＭ分析器（２０２-０）と、第一ＨＭＭの隠し状態変化シーケンスを情緒状態ＨＭＭの観測可能なシーケンスとして受信し、観測シーケンス確率最大化の準則により、情緒状態ＨＭＭの隠し状態変化シーケンスを推断する情緒状態ＨＭＭ分析器（２０２-４）と、音声信号処理ユニット（２０２-５）と有し、前記決定装置は、情緒状態ＨＭＭの隠し状態変化シーケンス及び標準コマンドを受信し、情緒状態ＨＭＭの隠し状態変化シーケンスによりユーモア行為を選定し、ユーモア行為コマンドと標準コマンドを、最終出力コマンドに整合する。【選択図】図２
2019518247.tif 000002
【特許請求の範囲】
【請求項１】
分析装置と決定装置を有するクラウドに基づく設備であって、
前記分析装置は、
それぞれシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を第一ＨＭＭの観測可能なシーケンスとして受信し、観測シーケンス確率最大化の準則により、シーンの隠し状態変化シーケンス、視聴者の表情隠し状態変化シーケンス及び視聴者の音声隠し状態変化シーケンスを含む第一ＨＭＭの隠し状態変化シーケンスを推断する第一ＨＭＭ分析器と、
前記シーンの隠し状態変化シーケンス、視聴者の表情隠し状態変化シーケンス及び視聴者の音声隠し状態変化シーケンスを情緒状態ＨＭＭの観測可能なシーケンスとして受信し、観測シーケンス確率最大化の準則により、情緒状態ＨＭＭの隠し状態変化シーケンスを推断する情緒状態ＨＭＭ分析器と、
視聴者音声入力信号を識別し、識別結果により標準コマンドを出力する音声信号処理ユニットとを有し、
前記決定装置は、前記情緒状態ＨＭＭの隠し状態変化シーケンス及び標準コマンドを受信し、前記情緒状態ＨＭＭの隠し状態変化シーケンスに基づき、ユーモア行為を選定し、ユーモア行為コマンドと前記標準コマンドを、最終出力コマンドに整合することを特徴とするクラウドに基づく設備。
【請求項２】
前記第一ＨＭＭ分析器は、シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器をさらに含み、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器は、シリアル或いはパラレルの方式にて接続されることを特徴とする請求項１記載のクラウドに基づく設備。
【請求項３】
前記決定装置は、
前記情緒状態ＨＭＭの隠し状態変化シーケンスに対し確率分析を行い、ユーモア行為を選定し、ユーモア行為コマンドを発信するユーモア行為選定ユニットと、
前記ユーモア行為コマンド及び標準コマンドに対し整合を行い、最終出力コマンドとする整合ユニットとを有し、
前記情緒状態ＨＭＭ分析器の出力側は前記ユーモア行為選定ユニットの入力側に接続され、前記ユーモア行為選定ユニットの出力側は前記整合ユニットの入力側に接続され、且つ前記音声信号処理ユニットの出力側は前記整合ユニットの入力側に接続されることを特徴とする請求項１又は２に記載のクラウドに基づく設備。
【請求項４】
前記整合は、
前記ユーモア行為コマンドが「エラーフィードバック」である場合は、前記整合ユニットは前記ユーモア行為コマンドにより前記標準コマンドを修正し、具体的には、前記標準コマンドを実行せず、前記整合ユニットは視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ほかのパフォーマンスを選定しユーモアを表すことを含むことを特徴とする請求項３記載のクラウドに基づく設備。
【請求項５】
前記整合は、
前記ユーモア行為コマンドが「冗談を言う」、「面白いうわさを話す」、「面白い仕草」、「歌を歌う」のいずれかである場合は、前記整合ユニットは視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ターゲット視聴者の情緒状態に最もマッチングしたコマンドである最適ユーモア出力コマンドを選定し、前記最適ユーモア出力コマンド及び前記標準コマンドを最終出力コマンドとすることを含むことを特徴とする請求項３記載のクラウドに基づく設備。
【請求項６】
前記ユーモア行為と最適ユーモア出力コマンドの選定に関するポリシーは、ターゲット視聴者による絶えないインタラクティブにより、フィードバック情報を入手し、それ相応の調整を行うことを特徴とする請求項５記載のクラウドに基づく設備。
【請求項７】
前記データベースは、冗談データベース、ニュースデータベース、仕草データベース及び歌データベースを含むことを特徴とする請求項４又は５に記載のクラウドに基づく設備。
【請求項８】
前記確率分析は、前記ユーモア行為選定ユニットが、あらかじめ設定された情緒状態からユーモア行為セットまでの確率遷移マトリックスにより、ユーモア行為セットの確率分布を算出することを含むことを特徴とする請求項３記載のクラウドに基づく設備。
【請求項９】
前記ユーモア行為セットは、{ｍ１:「冗談を言う」、ｍ２：「面白いうわさを話す」、ｍ３：「面白い仕草」、ｍ４：「歌を歌う」、ｍ５：「エラーフィードバック」}を含み、その中、ｍ５：「エラーフィードバック」は、わざと間違ったフィードバックを出力することにより、視聴者に楽しく思わせることを特徴とする請求項８記載のクラウドに基づく設備。
【請求項１０】
観測シーケンス確率最大化の準則により、隠し状態変化シーケンスを推断することが、Viterbiアルゴリズムにより実現されることを特徴とする請求項１又は２に記載のクラウドに基づく設備。
【請求項１１】
第一ＨＭＭ分析器の出力側は前記情緒状態ＨＭＭ分析器の出力側に接続されることを特徴とする請求項１記載のクラウドに基づく設備。
【請求項１２】
前記シーンＨＭＭ分析器、前記視聴者表情ＨＭＭ分析器、前記視聴者音声ＨＭＭ分析器の出力側の一つ又は複数が、前記情緒状態ＨＭＭ分析器の入力側に接続されることを特徴とする請求項２記載のクラウドに基づく設備。
【請求項１３】
前記分析装置の出力側が、前記決定装置の入力側に接続されることを特徴とする請求項１又は２に記載のクラウドに基づく設備。
【請求項１４】
前記設備は第一トランシーバーをさらに含み、前記第一トランシーバーの出力側が前記分析装置の入力側に接続され、且つ前記決定装置の出力側が前記第一トランシーバーの入力側に接続されることを特徴とする請求項１又は２に記載のクラウドに基づく設備。
【請求項１５】
第一トランシーバーの出力側が前記第一ＨＭＭ分析器の入力側及び前記音声信号処理ユニットの入力側に接続されることを特徴とする請求項１４記載のクラウドに基づく設備。
【請求項１６】
請求項１４が請求項２を引用する時に、前記第一トランシーバーの出力側が、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器、視聴者音声ＨＭＭ分析器の入力側のいずれか若しくは複数に、及び前記音声信号処理ユニットの入力側に接続されることを特徴とする請求項１４記載のクラウドに基づく設備。
【請求項１７】
前記第一トランシーバーがロボットの第二トランシーバーと通信接続されることを特徴とする請求項１４記載のクラウドに基づく設備。
【請求項１８】
設備の中の第一トランシーバーを利用し、ロボットの第二トランシーバーからの入力データを受信することと、
前記設備の中の分析装置の音声信号処理ユニットを利用し、前記設備の中の第一トランシーバーより視聴者音声の入力信号を受信し、前記視聴者音声の入力信号を識別し、識別結果により標準コマンドを出力することと、
前記設備の中の分析装置の第一ＨＭＭ分析器を利用し、それぞれ前記設備の中の第一トランシーバーよりのシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を受信し、第一ＨＭＭの観測可能なシーケンスとすることと、
前記第一ＨＭＭ分析器は、観測シーケンス確率最大化の準則により、第一ＨＭＭの隠し状態変化シーケンスを推断し、その中、前記隠し状態変化シーケンスを前記分析装置の情緒状態ＨＭＭ分析器に出力し、前記第一ＨＭＭの隠し状態変化シーケンスは、シーン隠し状態変化シーケンス、視聴者表情隠し状態変化シーケンス及び視聴者音声隠し状態変化シーケンスを含むことと、
前記情緒状態ＨＭＭ分析器は、前記シーン隠し状態変化シーケンス、視聴者表情隠し状態変化シーケンス及び視聴者音声隠し状態変化シーケンスを受信し、情緒状態ＨＭＭの観測可能なシーケンスとし、観測シーケンス確率最大化の準則により、情緒状態ＨＭＭの隠し状態シーケンスを推断することと、
前記設備の中の決定装置は、前記情緒状態ＨＭＭの隠し状態シーケンスに基づき、ユーモア行為を選定し、ユーモア行為コマンドと前記標準コマンドを最終出力コマンドに整合することとを含むを特徴とするクラウドに基づく設備の操作方法。
【請求項１９】
前記第一ＨＭＭ分析器が、シリアル又はパラレル方式により接続されるシーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器をさらに含み、その中、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器がそれぞれシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を受信し、シーンＨＭＭ、視聴者表情ＨＭＭ及び視聴者音声ＨＭＭの観測可能なシーケンスとし、観測シーケンス確率最大化の準則により、前記シーンＨＭＭ、視聴者表情ＨＭＭ及び視聴者音声ＨＭＭの隠し状態変化シーケンスを、前記情緒状態ＨＭＭ分析器に送ることを特徴とする請求項１８記載のクラウドに基づく設備の操作方法。
【請求項２０】
前記設備の中の決定装置が、前記情緒状態ＨＭＭの隠し状態シーケンスに基づき、ユーモア行為を選定し、ユーモア行為コマンドと前記標準コマンドを最終出力コマンドに整合するステップは、
前記設備の中の決定装置のユーモア行為選定ユニットが、情緒状態ＨＭＭよりの隠し状態シーケンスを受信し、受信された情緒状態ＨＭＭの隠し状態シーケンスの確率分析を行い、ユーモア行為を選定し、ユーモア行為コマンドを前記決定装置の整合ユニットに出力することと、
前記整合ユニットが前記ユーモア行為コマンド及び前記標準コマンドを受信し、前記ユーモア行為コマンド及び前記標準コマンドを最終出力コマンドに整合することとを含むことを特徴とする請求項１８記載のクラウドに基づく設備の操作方法。
【請求項２１】
前記整合は、
前記ユーモア行為コマンドが「エラーフィードバック」である場合は、前記整合ユニットが前記ユーモア行為コマンドにより前記標準コマンドを修正し、具体的には、前記標準コマンドを実行せず、前記整合ユニットが視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ほかのパフォーマンスを選定しユーモアを表すことを含むことを特徴とする請求項２０記載のクラウドに基づく設備の操作方法。
【請求項２２】
前記整合は、
前記ユーモア行為コマンドが「冗談を言う」、「面白いうわさを話す」、「面白い仕草」、「歌を歌う」のいずれかである場合、前記整合ユニットが視聴者音声の入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ターゲット視聴者の情緒状態に最もマッチングしたコマンドである最適ユーモア出力コマンドを選び、前記最適ユーモア出力コマンド及び前記標準コマンドを最終出力コマンドとすることをさらに含むことを特徴とする請求項２０記載のクラウドに基づく設備の操作方法。
【請求項２３】
前記ユーモア行為と最適ユーモア出力コマンドの選定に関するポリシーが、ターゲット視聴者による絶えないインタラクティブにより、フィードバック情報を入手し、それ相応の調整を行うことを特徴とする請求項２２記載のクラウドに基づく設備の操作方法。
【請求項２４】
前記データベースが冗談データベース、ニュースデータベース、仕草データベース及び歌データベースを含むことを特徴とする請求項２１又は２２に記載のクラウドに基づく設備の操作方法。
【請求項２５】
前記確率分析は、前記ユーモア行為選定ユニットが、あらかじめ設定された情緒状態からユーモア行為セットまでの確率遷移マトリックスにより、ユーモア行為セットの確率分布を算出することを含むことを特徴とする請求項２０記載のクラウドに基づく設備の操作方法。
【請求項２６】
前記ユーモア行為セットが、{ｍ１:「冗談を言う」、ｍ２：「面白いうわさを話す」、ｍ３：「面白い仕草」、ｍ４：「歌を歌う」、ｍ５：「エラーフィードバック」}を含み、その中、ｍ５：「エラーフィードバック」は、わざと間違ったフィードバックを出力することにより、視聴者に楽しく思わせることを特徴とする請求項２５記載のクラウドに基づく設備の操作方法。
【請求項２７】
前記観測シーケンス確率最大化の準則により隠し状態変化シーケンスを推断するのはViterbiアルゴリズムにより実現されることを特徴とする請求項１８記載のクラウドに基づく設備の操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般に設備に関し、特に一種類のクラウドに基づく設備及びその操作方法に関する。
【背景技術】
【０００２】
人工知能の研究分野では、自発性のユーモア行為は、確実に機器に人間の思考を持たせる前の究極的挑戦と見なされている。そのため、厳格な意味で機器に人間と同じような自発性のユーモアの特徴を持たせるには、現段階では実現できる技術がないのである。
【０００３】
隠れマルコフモデル（Hidden Markov Model、ＨＭＭ）は統計モデルの一つで、隠れている未知パラメータを含むマルコフプロセス（隠れマルコフプロセス）を説明している。隠れマルコフモデルは２０世紀の７０年代に創立され、８０年代に広がって発展し、信号処理の重要な方向となった。現在、音声識別、行為識別、文字識別及び故障診断などの分野では、成功的に応用されている。
【０００４】
隠れマルコフモデル（ＨＭＭ）は、二つのプロセスを含んでいる。その中の一つは、Markovチェーン（Markov chain：マルコフ連鎖）である。それは状態の遷移を説明し、一定の状態シーケンスを生み出すが、隠されているので、観測できないものである。もう一つのランダムプロセスは、状態と観測値の間の統計対応関係を説明している。異なる状態は、それぞれの確率関数により一定の観測シーケンスを生み出す。観測者は観測値しか見れず、Markovチェーンの中の状態を見れなく、一つのランダムプロセスにより状態の存在及びその特性しか感知できないので、隠れマルコフモデルと言われているのである。その基本要素は下記を含む：
【０００５】
１．隠れている状態Ｓ
【０００６】
これらの状態の間はマルコフ性を満たし、マルコフモデルで実際に隠れている状態である。これらの状態は通常、直接観測によって得られないものである（例えば、Ｓ１、Ｓ２、Ｓ３など）。
【０００７】
２．観測可能な状態Ｏ
【０００８】
モデルの中では隠れている状態と関連し合い、直接観測により得られるものである（例えば、Ｏ１、Ｏ２、Ｏ３などで、観測可能状態の数は必ずしも隠れている状態の数と一致しない）。
【０００９】
３．初期状態確率マトリックスπ
【００１０】
隠れている状態の初期時刻ｔ＝１の確率マトリックスを示す（例えばｔ＝１の時に、Ｐ(Ｓ１)＝ｐ１、Ｐ(Ｓ２)＝Ｐ２、Ｐ(Ｓ３)＝ｐ３であると、初期状態確率マトリックスπ＝[ｐ１ ｐ２ ｐ３]）となる。
【００１１】
４．隠れている状態の遷移確率マトリックスＡ
【００１２】
ＨＭＭモデルの中の各状態間の遷移確率を説明している。
【００１３】
その中、Ａij＝Ｐ(Ｓj|Ｓi)、１≦ｉ,ｊ≦Ｎは、ｔ時刻に、状態がＳiである条件では、ｔ＋１時刻の状態がＳjとなる確率を示す。
【００１４】
５．観測状態遷移確率マトリックスＢ（Confusion Matrix、混同行列とも言われる。）
【００１５】
Ｎが隠れている状態の数を代表し、Ｍが観測可能な状態の数を代表するものとすると、
【００１６】
Ｂij＝Ｐ(Ｏi|Ｓj)、１≦ｉ≦Ｍ、１≦ｊ≦Ｎ
【００１７】
ｔ時刻に、隠れている状態がＳjである条件では、状態Ｏiを観察する確率を示す。
【００１８】
一般的には、λ＝(Ａ，Ｂ，π)のトライアド（triad）で、簡潔に隠れマルコフモデルを示す。
【００１９】
ＨＭＭは明細書に添付の図１で示され、ノード間の矢印は二つの状態間の条件確率関係を示す。図１の方形のノードはカップリングチェーンの観察ノードを示し、円形のノードはカップリングチェーンの隠しノードを示す。
【発明の概要】
【発明が解決しようとする課題】
【００２０】
以下、一つ又は複数の態様の概要説明を提供することにより、本開示の幾つかの態様の基本理解を提供する。しかし、以下の概要説明は、考えられる構成のすべての詳細説明でなく、本開示のすべての態様のキーポイントや決定的要素を述べたものでもなく、本開示のいかなる又はすべての態様の範囲を限定するものでもないことに注意が必要である。その逆に、以下の概要説明の唯一の目的は、簡略化した形式で本開示の一つ又は複数の態様の概念を説明し、後述する具体的実施方法のプリアンブルとすることである。
【００２１】
本開示の目的は、相応の技術を開発することで知能ユニットがユーモアの特性を理解し擁することではなく、クラウド技術及び機器学習技術により、知能ユニットがターゲット視聴者とのインタラクティブにおいて、予め設定されたユーモア行為の特徴を擁することである。これにより、同伴型ロボットの知能特性をさらに改善し、ターゲット視聴者を楽しませる目的を果たす。
【課題を解決するための手段】
【００２２】
本開示の一つの態様によれば、本開示はクラウドに基づく設備を提供している。
【００２３】
本開示の一つの態様によれば、前記クラウドに基づく設備は、分析装置を有する。前記分析装置は、それぞれシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を第一ＨＭＭの観測可能なシーケンスとして受信し、観測シーケンス確率最大化の準則により、シーンの隠し状態変化シーケンス、視聴者の表情隠し状態変化シーケンス及び視聴者の音声隠し状態変化シーケンスを含む第一ＨＭＭの隠し状態変化シーケンスを推断する第一ＨＭＭ分析器と、前記シーンの隠し状態変化シーケンス、視聴者の表情隠し状態変化シーケンス及び視聴者の音声隠し状態変化シーケンスを情緒状態ＨＭＭの観測可能なシーケンスとして受信し、観測シーケンス確率最大化の準則により、情緒状態ＨＭＭの隠し状態変化シーケンスを推断する情緒状態ＨＭＭ分析器と、視聴者音声入力信号を識別し、識別結果により標準コマンドを出力する音声信号処理ユニットとを有する。決定装置は、前記情緒状態ＨＭＭの隠し状態変化シーケンスと前記標準コマンドを受信し、前記情緒状態ＨＭＭの隠し状態変化シーケンスに基づき、ユーモア行為を選定し、ユーモア行為コマンドと前記標準コマンドを最終出力コマンドに整合する。
【００２４】
本開示の一つの態様によれば、前記第一ＨＭＭ分析器は、シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器をさらに含む。その中、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器は、シリアル又はパラレルの方式で接続される。
【００２５】
本開示の一つの態様によれば、前記決定装置は、前記情緒状態ＨＭＭの隠し状態変化シーケンスに対し確率分析を行い、ユーモア行為を選定し、ユーモア行為コマンドを発信するユーモア行為選定ユニットと、前記ユーモア行為コマンド及び標準コマンドに対し整合を行い、最終出力コマンドとする整合ユニットとを有する。その中、前記情緒状態ＨＭＭ分析器の出力側は前記ユーモア行為選定ユニットの入力側に接続され、前記ユーモア行為選定ユニットの出力側は前記整合ユニットの入力に接続され、且つ前記音声信号処理ユニットの出力は前記整合ユニットの入力側に接続される。
【００２６】
本開示の一つの態様によれば、前記整合は、以下を含む。前記ユーモア行為コマンドが「エラーフィードバック」である場合は、前記整合ユニットは前記ユーモア行為コマンドにより前記標準コマンドを修正する。具体的には、前記標準コマンドを実行せず、前記整合ユニットが視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ほかのパフォーマンスを選定し、ユーモアを表す。
【００２７】
本開示の一つの態様によれば、前記整合は、前記ユーモア行為コマンドが「冗談を言う」、「面白いうわさを話す」、「面白い仕草」、「歌を歌う」のいずれかである場合は、前記整合ユニットが視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ターゲット視聴者の情緒状態に最もマッチングしたコマンドである最適ユーモア出力コマンドを選定し、前記最適ユーモア出力コマンド及び前記標準コマンドを最終出力コマンドとすることを含む。
【００２８】
本開示の一つの態様によれば、前記ユーモア行為と最適ユーモア出力コマンドの選定に関するポリシー（策略）は、ターゲット視聴者による絶えないインタラクティブにより、フィードバック情報を入手し、それ相応の調整を行う。
【００２９】
本開示の一つの態様によれば、前記データベースは、冗談データベース、ニュースデータベース、仕草データベース及び歌データベースを含む。
【００３０】
本開示の一つの態様によれば、前記確率分析は、前記ユーモア行為選定ユニットが、あらかじめ設定された情緒状態からユーモア行為セットまでの確率遷移マトリックスにより、ユーモア行為セットの確率分布を算出することを含む。
【００３１】
本開示の一つの態様によれば、前記ユーモア行為セットは、{ｍ１:「冗談を言う」、ｍ２：「面白いうわさを話す」、ｍ３：「面白い仕草」、ｍ４：「歌を歌う」、ｍ５：「エラーフィードバック」}を含み、その中、ｍ５：「エラーフィードバック」は、わざと間違ったフィードバックを出力することにより、視聴者に楽しく思わせることである。
【００３２】
本開示の一つの態様によれば、観測シーケンス確率最大化の準則により、隠し状態変化シーケンスを推断することは、Viterbiアルゴリズムにより実現されることである。
【００３３】
本開示の一つの態様によれば、前記第一ＨＭＭ分析器の出力側は前記情緒状態ＨＭＭ分析器の入力側に接続される。
【００３４】
本開示の一つの態様によれば、前記シーンＨＭＭ分析器、前記視聴者表情ＨＭＭ分析器、前記視聴者音声ＨＭＭ分析器の出力側の一つ又は複数が、前記情緒状態ＨＭＭ分析器の入力側に接続される。
【００３５】
本開示の一つの態様によれば、前記分析装置の出力側が、前記決定装置の入力側に接続される。
【００３６】
本開示の一つの態様によれば、前記設備は第一トランシーバーをさらに含み、前記第一トランシーバーの出力側が前記分析装置の入力側に接続され、且つ前記決定装置の出力側が前記第一トランシーバーの入力側接続される。
【００３７】
本開示の一つの態様によれば、前記第一トランシーバーの出力側が前記第一ＨＭＭ分析器の入力側及び前記音声信号処理ユニットの入力側に接続される。
【００３８】
本開示の一つの態様によれば、前記第一トランシーバーの出力側が、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器、視聴者音声ＨＭＭ分析器の入力側のいずれか若しくは複数に、及び前記音声信号処理ユニットの入力側に接続される。
【００３９】
本開示の一つの態様によれば、前記第一トランシーバーはロボットの第二トランシーバーと通信接続される。
【００４０】
本開示の一つの態様によれば、本開示はクラウドに基づく設備の操作方法を提供している。
【００４１】
本開示の一つの態様によれば、前記方法は、設備中の第一トランシーバーを利用し、ロボットの第二トランシーバーからの入力データを受信することと、前記設備の中の分析装置の音声信号処理ユニットを利用し、前記設備の中の第一トランシーバーから視聴者音声入力信号を受信し、前記視聴者音声入力信号を識別し、識別結果により標準コマンドを出力することと、前記設備の中の分析装置の第一ＨＭＭ分析器を利用し、それぞれ前記設備の中の第一トランシーバーからのシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を受信し、第一ＨＭＭの観測可能なシーケンスとすることと、前記第一ＨＭＭ分析器は、観測シーケンス確率最大化の準則により、第一ＨＭＭの隠し状態変化シーケンスを推断し、前記隠し状態変化シーケンスを前記分析装置の情緒状態ＨＭＭ分析器に出力し、その中、前記第一ＨＭＭの隠し状態変化シーケンスは、シーン隠し状態変化シーケンス、視聴者表情隠し状態変化シーケンス及び視聴者音声隠し状態変化シーケンスを含むことと、前記情緒状態ＨＭＭ分析器は、前記シーン隠し状態変化シーケンス、視聴者表情隠し状態変化シーケンス及び視聴者音声隠し状態変化シーケンスを受信し、情緒状態ＨＭＭの観測可能なシーケンスとし、観測シーケンス確率最大化の準則により、情緒状態ＨＭＭの隠し状態シーケンスを推断することと、前記設備の中の決定装置は、前記情緒状態ＨＭＭの隠し状態シーケンスに基づき、ユーモア行為を選定し、ユーモア行為コマンドと前記標準コマンドを最終出力コマンドに整合することとを含む。
【００４２】
本開示の一つの態様によれば、前記第一ＨＭＭ分析器は、シリアル又はパラレル方式で接続されるシーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器をさらに含み、その中、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器は、それぞれシーン入力信号、視聴者表情入力信号、視聴者音声入力信号を受信し、シーンＨＭＭ、視聴者表情ＨＭＭ及び視聴者音声ＨＭＭの観測可能なシーケンスとし、観測シーケンス確率最大化の準則により、シーンＨＭＭ、視聴者表情ＨＭＭ、視聴者音声ＨＭＭの隠し状態変化シーケンスを推断し、前記シーンＨＭＭ、視聴者表情ＨＭＭ及び視聴者音声ＨＭＭの隠し状態変化シーケンスを前記情緒状態ＨＭＭ分析器に発信する。
【００４３】
本開示の一つの態様によれば、前記設備の中の決定装置が、前記情緒状態ＨＭＭの隠し状態シーケンスに基づき、ユーモア行為を選定し、ユーモア行為コマンドと前記標準コマンドを最終出力コマンドに整合するステップは、前記設備の中の決定装置のユーモア行為選定ユニットが、前記情緒状態ＨＭＭの隠し状態シーケンスを受信し、受信された情緒状態ＨＭＭの隠し状態シーケンスの確率分析を行い、ユーモア行為を選定し、ユーモア行為コマンドを前記決定装置の整合ユニットに出力することと、前記整合ユニットが、前記ユーモア行為コマンド及び前記標準コマンドを受信し、前記ユーモア行為コマンドと前記標準コマンドを最終出力コマンドに整合することを含む。
【００４４】
本開示の一つの態様によれば、前記整合は、以下を含む。前記ユーモア行為コマンドが「エラーフィードバック」である場合は、前記整合ユニットが前記ユーモア行為コマンドにより前記標準コマンドを修正する。具体的には、前記標準コマンドを実行せず、前記整合ユニットが視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ほかのパフォーマンスを選定し、ユーモアを表す。
【００４５】
本開示の一つの態様によれば、前記整合は、前記ユーモア行為コマンドが「冗談を言う」、「面白いうわさを話す」、「面白い仕草」、「歌を歌う」のいずれかである場合は、前記整合ユニットが視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ターゲット視聴者の情緒状態に最もマッチングしたコマンドである最適ユーモア出力コマンドを選定し、前記最適ユーモア出力コマンド及び前記標準コマンドを最終出力コマンドとすることをさらに含むこと。
【００４６】
本開示の一つの態様によれば、前記ユーモア行為と最適ユーモア出力コマンドの選定に関するポリシーが、ターゲット視聴者による絶えないインタラクティブにより、フィードバック情報を入手し、それ相応の調整を行う。
【００４７】
本開示の一つの態様によれば、前記データベースが、冗談データベース、ニュースデータベース、仕草データベース及び歌データベースを含む。
【００４８】
本開示の一つの態様によれば、前記確率分析は、前記ユーモア行為選定ユニットが、あらかじめ設定された情緒状態からユーモア行為セットまでの確率遷移マトリックスにより、ユーモア行為セットの確率分布を算出することを含む。
【００４９】
本開示の一つの態様によれば、前記ユーモア行為セットが、{ｍ１:「冗談を言う」、ｍ２：「面白いうわさを話す」、ｍ３：「面白い仕草」、ｍ４：「歌を歌う」、ｍ５：「エラーフィードバック」}を含み、その中、ｍ５：「エラーフィードバック」は、わざと間違ったフィードバックを出力することにより、視聴者に楽しく思わせる。
【発明の効果】
【００５０】
本開示の一つの態様によれば、前記観測シーケンス確率最大化の準則により隠し状態変化シーケンスを推断することが、Viterbiアルゴリズムにより実現されている。
【図面の簡単な説明】
【００５１】
以下の添付図面と結び付けながら、本開示の実施例の詳細な説明を読むと、本開示の前記特徴とメリットをより良く理解できる。添付図面では、各構成部品は必ずしも縮尺が揃えられているものではなく、類似する関連特性や特徴を持つ構成部品は同じ又は類似する附図マークをつけることがある。説明しやすいように、下記説明の中では「インタラクティブ型ロボット」を「ロボット」と略称する。
【００５２】
【図１】図１は、ＨＭＭモデルの概略図である。
【００５３】
【図２】図２は、本開示による実施例のクラウドに基づく設備とロボットとのインタラクティブの概略図である。
【００５４】
【図３Ａ】図３Ａは、本開示による実施例のクラウドに基づく設備の分析装置の概略図である。
【図３Ｂ】図３Ｂは、本開示による実施例のクラウドに基づく設備の分析装置の概略図である。
【図３Ｃ】図３Ｃは、本開示による実施例のクラウドに基づく設備の分析装置の概略図である。
【００５５】
【図４】図４は、本開示による実施例のクラウドに基づく設備の決定装置の概略図である。
【発明を実施するための形態】
【００５６】
下記から、添付図面と具体的実施例と結び合わせ、本開示について詳細な説明を行う。添付図面と具体的実施例と結び合わせる説明の諸態様は例示的なものであり、本開示の保護範囲についてのいかなる制限でもないと理解すべきことに注意されたい。
【００５７】
図２は、本開示による実施例のクラウドに基づく設備２００とロボット１００とのインタラクティブの概略図である。図２では、ロボット１００は、トランシーバー１０１、制御装置１０２及びセンシング装置１０３を含む。クラウドに基づく設備２００は、トランシーバー２０１、分析装置２０２及び決定装置２０３を含む。図２に示すように、ロボット１００のトランシーバー１０１は、クラウドに基づく設備２００のトランシーバー２０１と通信接続する。さらに、ロボット１００のトランシーバー１０１とセンシング装置１０３は、それぞれ制御装置１０２と接続し、且つセンシング装置１０３はトランシーバー１０１に接続する。さらに、クラウドに基づく設備２００のトランシーバー２０１は分析装置２０２に接続し、分析装置２０２はクラウドに基づく設備２００の決定装置２０３に接続し、且つ決定装置２０３はクラウドに基づく設備２００のトランシーバー２０１に接続する。
【００５８】
本開示による実施例としては、ロボット１００のセンシング装置１０３は、画像センサーと音声センサーを含む。その中、画像センサーはターゲット視聴者のいるシーンの画像信号及びターゲット視聴者の表情画像信号の収集に使われ、且つ音声センサーはターゲット視聴者の音声信号の収集に使われる。図２に示すように、センシング装置１０３が、トランシーバー１０１により、収集された情報をクラウドに基づく設備２００へ伝送するのと同時に、クラウドに基づく設備２００は、トランシーバー２０１により、ロボット１００からの入力情報を受信する。
【００５９】
図３Ａ−３Ｃは、本開示による実施例のクラウドに基づく設備２００の分析装置２０２の概略図である。図３Ａでは、クラウドに基づく設備２００の分析装置２０２は、第一ＨＭＭ分析器２０２-０、情緒状態ＨＭＭ分析器２０２-４及び音声信号処理ユニット２０２-５を含む。図３Ｂ−３Ｃでは、第一ＨＭＭ分析器２０２-０はさらに、シーンＨＭＭ分析器２０２-１、視聴者表情ＨＭＭ分析器２０２-２、視聴者音声ＨＭＭ分析器２０２-３を含む。その中、図３Ｂに示したシーンＨＭＭ分析器２０２-１、視聴者表情ＨＭＭ分析器２０２-２、視聴者音声ＨＭＭ分析器２０２-３はパラレル方式で接続され、図３Ｃに示したシーンＨＭＭ分析器２０２-１、視聴者表情ＨＭＭ分析器２０２-２、視聴者音声ＨＭＭ分析器２０２-３はシリアル方式で接続されている。ここで注意すべきことは、本開示は添付図面に示される接続方式に限られないことである。例えば、シーンＨＭＭ分析器２０２-１、視聴者表情ＨＭＭ分析器２０２-２、視聴者音声ＨＭＭ分析器２０２-３の中の二者をシリアル接続してから、残りの一者とパラレル接続し、或いは二者をパラレル接続してから、残りの一者とシリアル接続をする。三つのＨＭＭ分析器の異なる接続方式及び接続順序変化は、本開示の保護範囲内のものとされる。
【００６０】
図２と図３Ａ−３Ｃと結び合わせ、ロボット１００のセンシング装置１０３は単位時間ごとに入力データを一回収集し、連続２０単位時間内に収集されたデータがトランシーバー１０１と２０１によりクラウドに基づく設備２００の分析装置２０２に伝送され、当該分析装置２０２の第一ＨＭＭ分析器２０２-０、又はシーンＨＭＭ分析器２０２-１、視聴者表情ＨＭＭ分析器２０２-２、視聴者音声ＨＭＭ分析器２０２-３がそれぞれトランシーバー２０１からのシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を受信する。ここでは、第一ＨＭＭ分析器２０２-０、又はシーンＨＭＭ分析器２０２-１、視聴者表情ＨＭＭ分析器２０２-２、視聴者音声ＨＭＭ分析器２０２-３がトランシーバー２０１から受信した２０個のシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号は、それぞれ第一ＨＭＭ、又はシーンＨＭＭ、視聴者表情ＨＭＭ、視聴者音声ＨＭＭの観測可能なシーケンスと対応する。その中、第一ＨＭＭは、シーン入力信号、視聴者表情入力信号、視聴者音声入力信号に対し、作られた汎用ＨＭＭであり、且つシーンＨＭＭ、視聴者表情ＨＭＭ、視聴者音声ＨＭＭは、それぞれシーン入力信号、視聴者表情入力信号、視聴者音声入力信号に対し、作られたＨＭＭである。
【００６１】
一部の実施例では、シーンＨＭＭに関する隠し状態は、海岸、森林、砂漠、高山、水泳プール、キッチン、トイレ、リビングルーム、ベッドルームなどを含み、視聴者表情ＨＭＭに関する隠し状態は、興味あり、うれしい、驚く、悲しい、怖い、恥ずかしい、軽蔑、怒るなどを含む。一部の実施例では、視聴者音声ＨＭＭに関し、視聴者音声ＨＭＭ分析器により受信された２０個の視聴者音声入力信号は、視聴者音声ＨＭＭの観測可能なシーケンスであり、各視聴者音声入力信号がどうやって次の視聴者音声入力信号に変わるか、即ち短時間統計特徴の動的特性は視聴者音声ＨＭＭの隠し状態である。
【００６２】
引き続き、図２と図３Ａ−３Ｃを参照すると、第一ＨＭＭ分析器２０２-０、又はシーンＨＭＭ分析器２０２-１、視聴者表情ＨＭＭ分析器２０２-２、視聴者音声ＨＭＭ分析器２０２-３は相応なＨＭＭ観測可能なシーケンスに対し、観測シーケンス確率最大化の準則により、相応した隠し状態の変化を推断する。
【００６３】
図２と図３Ａ−３Ｃを参照すると、クラウドに基づく設備２００の分析装置２０２は、さらに情緒状態ＨＭＭ分析器２０２-４を含む。その中、分析装置２０２の第一ＨＭＭ分析器、又はシーンＨＭＭ分析器２０２-１、視聴者表情ＨＭＭ分析器２０２-２、視聴者音声ＨＭＭ分析器２０２-３の一つ又は複数が情緒状態ＨＭＭ分析器２０２-４に接続され、分析にて得た隠し状態変化シーケンスを情緒状態ＨＭＭ分析器２０２-４に出力し、当該情緒状態ＨＭＭ分析器２０２-４の観測可能なシーケンスとする。同様に、観測シーケンス確率最大化の準則により、情緒状態ＨＭＭの隠し状態変化シーケンスを推断する。
【００６４】
一部の実施例では、情緒状態ＨＭＭに関する隠し状態は、怒る、やや怒る、悔しい、不平、いらいら、敵意、悲しい、憂鬱、憂い、哀れ、寂しい、気落ち、絶望、厳重憂鬱、焦慮、恐怖、緊張、関心、慌てる、心配、警戒、懸念、病的恐怖、病的恐慌、ホットする、満足、幸せ、楽しい、興味、傲慢、感官の楽しい、興奮、狂喜、極端的躁病、認める、有効、信頼、優しい、親しい、親愛、愛しい、夢中、驚愕、訝る、驚喜、感服、軽視、軽蔑、皮肉、排斥、後ろめたい、気まずい、悔やむ、恥辱などを含む。
【００６５】
一部の実施例では、観測シーケンス確率最大化の準則により隠し状態の変化を推断することは、ビタビアルゴリズム（Viterbi Algorithm）を利用し実現したことである。当該ビタビアルゴリズムは、隠れマルコフモデルの観測シーケンスを分析し、可能性の最も高い隠し状態シーケンスを取る有効的な計算方法を提供している。
【００６６】
引き続き、図３Ａ−３Ｃを参照すると、クラウドに基づく設備２００の分析装置２０２は、さらに音声信号処理ユニット２０２-５を含む。当該音声信号処理ユニット２０２-５は、トランシーバー２０１から視聴者音声入力信号を受信し、視聴者音声入力信号を識別し、識別結果により標準コマンドを決定装置２０３に出力する。
【００６７】
図４は、本開示による実施例のクラウドに基づく設備２００の決定装置２０３の概略図である。図４では、決定装置２０３は、ユーモア行為選定ユニット２０３-１と整合ユニット２０３-２を含む。図３Ａ−３Ｃと図４と結び合わせ、分析装置２０２の音声信号処理ユニット２０２-５の出力側は、決定装置２０３中の整合ユニット２０３-２の入力側に接続され、情緒状態ＨＭＭ分析器２０２-４の出力側は、決定装置２０３のユーモア行為選定ユニット２０３-１の入力側に接続され、ユーモア行為選定ユニット２０３-１の出力側は、整合ユニット２０３-２の入力側に接続される同時に、整合ユニット２０３-２の出力側は、トランシーバー２０１の入力側に接続される。
【００６８】
図３Ａ−３Ｃと図４を参照すると、決定装置２０３のユーモア行為選定ユニット２０３-１は、分析装置２０２中の情緒状態ＨＭＭ分析器２０２-４からの出力を受信する。隠れマルコフモデルを採用しているので、情緒状態ＨＭＭ分析器２０２-４による分析した視聴者情緒状態が確率状態分布となるのである。ユーモア行為選定ユニット２０３-１は、受信された視聴者情緒状態確率分布の確率分析を行う。具体的には、予め設定しておく情緒状態から出力ユーモア行為セットまでの確率遷移マトリックスにより、ユーモア行為セットの確率分布を算出し、当該確率分布に対し、出力コマンドのランダムサンプリングを行い、最終的なユーモアコマンドタイプとする。一つの実施例では、モンテカルロ（Monte Carlo）方法でランダムサンプリングを行う。モンテカルロ方法は、分布生成によりサンプリングし、サンプリング結果が当該分布に合うようにする方法なので、モンテカルロ方法では出力の可変性を保証できるのである。実用シーンでのロボット行為の実現難易度を考慮し、最終の出力コマンドは標準フィードバックコマンドの上に、附加ユーモア行為を加えている。ここでは、ユーモア行為セットは、{ｍ１:「冗談を言う」、ｍ２：「面白いうわさを話す」、ｍ３：「面白い仕草」、ｍ４：「歌を歌う」、ｍ５：「エラーフィードバック」}を含む。ユーモア行為選定ユニット２０３-１は、選定されたユーモア行為コマンドを整合ユニット２０３-２に発信し、整合ユニット２０３-２では、ユーモア行為選定ユニット２０３-１からのユーモア行為コマンド、及び音声信号処理ユニット２０２-５からの標準コマンドを整合する。その後、トランシーバー２０１によりロボット１００に最終出力コマンドを出力する。
【００６９】
その中、ユーモア行為セットの中のｍ５：「エラーフィードバック」は、わざと間違ったフィードバックを出力することで、視聴者を楽しませるものである。例えば、視聴者がロボットに対し「来てください」というコマンドを出す時に、標準のフィードバックコマンドは、ロボットに対しターゲット視聴者に近づけと命じるものであり、もしユーモア行為選定ユニット２０３-１の選定しているーモア行為が「エラーフィードバック」であれば、標準フィードバックを実行せず、整合ユニット２０３-２が視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ほかのパフォーマンスを選び、ユーモアを表してもよい。例えば、怒ったふりをしながら「わたしみたいな貴族を勝手に働かせるな」と言うなどである。ほかのユーモア行為に対し、整合ユニット２０３-２が視聴者音声入力信号と結び合わせ、クラウドデータベースをサーチし、現在視聴者の情緒状態に最も似合う最適ユーモア出力コマンドを選定する。同時に、一部の具体的内容の選定により、インターネットにアクセスし必要な情報を取得する必要がある。例を挙げると、ユーモア行為が「冗談を言う」であれば、視聴者の情緒状態と結び合わせ、最もマッチングした冗談データベースの中の冗談を選定する必要がある。ここでは、音声信号処理ユニット２０２-５により、整合ユニット２０３-２へ視聴者音声入力信号を送ることができる。また、整合ユニット２０３-２は、直接、トランシーバー２０１から視聴者音声入力信号を受信してもよい。
【００７０】
一部の実施例では、これらのすべてのユーモア行為タイプ選定及び内容マッチングした関連ポリシーは、ターゲット視聴者による絶えないインタラクティブにより、フィードバック情報を入手し、それ相応の調整をすることで、「学習強化」の効果を実現し、最終的にターゲット視聴者と一致したユーモア特性のあるインタラクティブ的なロボットを実現できる。
【００７１】
本開示の一つの態様によれば、本開示は一種類のクラウドに基づく設備を提供している。その操作方法は以下のとおりである。
【００７２】
ステップ１として、クラウドに基づく設備のトランシーバーがロボットのトランシーバーからの入力データを受信する。前記ロボットのトランシーバーからの入力データは、ロボットのセンシング装置が連続２０単位の時間内に収集したものである。
【００７３】
ステップ２として、クラウドに基づく設備の分析装置の音声信号処理ユニットは、クラウドに基づく設備のトランシーバーから視聴者音声入力信号を受信し、視聴者音声入力信号を識別し、識別結果により標準コマンドをクラウドに基づく設備の決定装置の整合ユニットに出力する。
【００７４】
ステップ３とし、クラウドに基づく設備の分析装置の第一ＨＭＭ分析器は、それぞれ前記設備の中のトランシーバーからのシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を受信し、第一ＨＭＭの観測可能なシーケンスとする。前記第一ＨＭＭ分析器は、観測シーケンス確率最大化の準則により、第一ＨＭＭの隠し状態変化シーケンスを推断し、前記隠し状態変化シーケンスをクラウドに基づく設備の分析装置の情緒状態ＨＭＭ分析器に出力する。その中、前記第一ＨＭＭの隠し状態変化シーケンスは、シーン隠し状態変化シーケンス、視聴者表情隠し状態変化シーケンス及び視聴者音声隠し状態変化シーケンスを含む。
【００７５】
その中、前記第一ＨＭＭ分析器が、シリアルやパラレル方式で接続されるシーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器、視聴者音声ＨＭＭ分析器を含む場合は、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器、視聴者音声ＨＭＭ分析器はそれぞれ、クラウドに基づく設備のトランシーバーのシーン入力信号、視聴者表情入力信号、視聴者音声入力信号を受信し、これらの入力信号はそれぞれ対応するＨＭＭの観測可能なシーケンスである。シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器、視聴者音声ＨＭＭ分析器は、相応したＨＭＭの観測可能なシーケンスに対し、観測シーケンス確率最大化の準則により、相応な隠し状態変化シーケンスを推断し、これらの隠し状態変化シーケンスをクラウドに基づく設備の分析装置の情緒状態ＨＭＭ分析器に出力する。
【００７６】
ステップ４として、クラウドに基づく設備の分析装置の情緒状態ＨＭＭ分析器は、第一ＨＭＭ分析器、又はシーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器、視聴者音声ＨＭＭ分析器からの隠し状態変化シーケンスを受信し、観測可能なシーケンスとする同時に、観測シーケンス確率最大化の準則により、情緒状態ＨＭＭの隠し状態シーケンスを推断する。
【００７７】
ステップ５として、クラウドに基づく設備の決定装置のユーモア行為選定ユニットは、分析装置の情緒状態ＨＭＭ分析器からの出力を受信し、予め設定してある情緒状態から出力ユーモア行為セットまでの確率遷移マトリックスにより、ユーモア行為セットの確率分布を算出し、当該確率分布に対し、出力コマンドのランダムサンプリングを行い、最終的なユーモアコマンドタイプとし、選定されたユーモア行為コマンドを整合ユニットに発信する。
【００７８】
ステップ６として、整合ユニットは、ユーモア行為選定ユニットからのユーモア行為コマンド、及び音声信号処理ユニットからの標準コマンドを整合し、トランシーバーにより最終出力コマンドをロボットに出力する。その中、「エラーフィードバック」のユーモア行為コマンドに対し、整合ユニットは、当該ユーモア行為コマンドにより標準コマンドを修正する。具体的には、前記標準コマンドを実行せず、前記整合ユニットは、視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ほかのパフォーマンスを選定し、ユーモアを表す。「冗談を言う」、「面白いうわさを話す」、「面白い仕草」、「歌を歌う」というユーモア行為コマンドに対し、前記整合ユニットが、視聴者音声の入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、最適ユーモア出力コマンドを選び、前記最適ユーモア出力コマンド及び前記標準コマンドを最終出力コマンドとし、トランシーバーによりロボットに出力し、その中、前記最適ユーモア出力コマンドが最も視聴者の情緒状態とマッチングしたコマンドであり、前記データベースは、冗談データベース、ニュースデータベース、仕草データベース及び歌データベースを含む。
【００７９】
ここでは、上記ステップ２とステップ３は、前後無しに同時に行われるものであることに注意する必要がある。
【００８０】
以上は、本開示による各実施例に対し本開示の幾つかの態様を説明している。前記各実施例は例示的なものであり、制限的なものではなく、前記の幾つかの実施例を組み合わせると、新しい代替実施例とすることができ、或いは一つの実施例の一部を実行することで、本開示を実践することができることを理解すべきである。
【００８１】
本分野の技術者は、さらに、本文中に開示される実施例で述べた各種の説明的なロジックブロック、モジュール、電気回路及びアルゴリズムステップは、電子ハードウエア、コンピュータソフトウエア、又はその二者の組み合わせで実現できることが理解できる。ハードウエアとソフトウエアの互換性をはっきり説明するために、各種の説明的な構成部品、枠、モジュール、電気回路及びステップは、上記では機能の形式にて一般的説明を行っている。このような機能性がハードウエアとソフトウエアのどちらで実現されるかは、具体的な応用と全体システムに対する設計制約に依存する。本分野の技術者は、特定した応用ごとに、説明された機能を異なる方法で実現できるが、このような実現方式も本開示の範囲外と見なしてはならない。
【００８２】
本文に開示される実施例により説明される各種の説明的なロジックモジュールと電気回路は、汎用プロセッサー、デジタル信号プロセッサー（ＤＳＰ）、専用集積回路（ＡＳＩＣ）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）又はその他プログラミング可能なロジックデバイス、分立したゲート又はトランジスターロジック、分立したハード構成部品、或いは本文説明機能のいかなる組み合わせに設計されたものにより、実現又は実行することができる。汎用プロセッサーはマイクロプロセッサーを使えるが、代替案では、当該プロセッサーはいかなる一般プロセッサー、コントローラー、マイクロコントローラー又はステートマシンであってもよい。プロセッサーはコンピューティング設備の組み合わせと設計されてもよい。例えば、ＤＳＰとマイクロプロセッサーの組み合わせ、多数のマイクロプロセッサー、ＤＳＰコアと協力する一つか幾つかのマイクロプロセッサー、或いはいかなるこのような配置である。
【００８３】
本文に開示された実施例により説明される方法やアルゴリズムのステップは、ハードウエア、プロセッサーによる実行するソフトモジュール、又はこの二者の組み合わせの中で、具体化することができる。ソフトモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭストレージ、ＥＥＰＲＯＭメモリ、レジスターメモリ、ハードディスク、リムーバブルディスク、ＣＤ-ＲＯＭ、又は本分野でのいかなる他形式のストレージ媒体に存在できる。例示的に、ストレージ媒体がプロセッサーにカップリングすることにより、当該プロセッサーが当該ストレージ媒体から/に向け、情報の読取と書き込みができるようにさせる。代替案では、ストレージ媒体はプロセッサーに整合されることができる。プロセッサーとストレージ媒体はＡＳＩＣに存在できる。ＡＳＩＣはユーザクライアントに存在できる。代替案では、プロセッサーとストレージ媒体は、分立した構成部品としてユーザクライアントに存在駐留できる。
【００８４】
一つか幾つかの例示的な実施例では、説明した機能はハードウエア、ソフトウエア、ファームウエア又はそのいかなる組み合わせにおいて実現できる。ソフトウエアでは、コンピュータプログラム製品に実現される場合、各機能は一つか幾つかのコマンド又はコードとし、コンピュータ読取可能な媒体に保存されたり、それらに経由し伝送することができる。コンピュータ読取可能な媒体には、コンピュータストレージ媒体と通信媒体の二者がある。それは、コンピュータプログラムが一ヵ所からもう一ヵ所に転移させるようないかなる媒体を含む。限定でなく、例示としては、このようなコンピュータ読取可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ-ＲＯＭ又はその他ＣＤストレージ、ディスクストレージ又はその他磁気保存設備、或いはコマンドやデータ構成を携帯したり保存できるプログラムコード且つコンピュータによるアクセス可能ないかなるその他の媒体、を含む。いかなる接続も正当にコンピュータ読取可能な媒体と言われている。
【００８５】
本分野の技術者が本開示の作成や利用ができるように、上記まで本開示に対する説明を提供している。本開示に対する各種の修正は、本分野の技術者にとっては明らかに理解できることである。そして、本文定義の一般原理はほかの変形例に使われてよいが、本開示の趣旨や範囲から逸脱しない。それにより、本開示は、本文説明の例示と設計に限定されるものではなく、本文開示の原理とユニーク特性と一致する最も広い範囲に適用されるべきものである。
【図１】
2019518247.tif 000003
【図２】
2019518247.tif 000004
【図３Ａ】
2019518247.tif 000005
【図３Ｂ】
2019518247.tif 000006
【図３Ｃ】
2019518247.tif 000007
【図４】
2019518247.tif 000008
【手続補正書】
【提出日】平成30年9月28日(2018.9.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
分析装置と決定装置を有するクラウドに基づく設備であって、
前記分析装置は、
それぞれシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を第一ＨＭＭの観測可能なシーケンスとして受信し、観測シーケンス確率最大化の準則により、シーンの隠し状態変化シーケンス、視聴者の表情隠し状態変化シーケンス及び視聴者の音声隠し状態変化シーケンスを含む第一ＨＭＭの隠し状態変化シーケンスを推断する第一ＨＭＭ分析器と、
前記シーンの隠し状態変化シーケンス、視聴者の表情隠し状態変化シーケンス及び視聴者の音声隠し状態変化シーケンスを情緒状態ＨＭＭの観測可能なシーケンスとして受信し、観測シーケンス確率最大化の準則により、情緒状態ＨＭＭの隠し状態変化シーケンスを推断する情緒状態ＨＭＭ分析器と、
視聴者音声入力信号を識別し、識別結果により標準コマンドを出力する音声信号処理ユニットとを有し、
前記決定装置は、前記情緒状態ＨＭＭの隠し状態変化シーケンス及び標準コマンドを受信し、前記情緒状態ＨＭＭの隠し状態変化シーケンスに基づき、ユーモア行為を選定し、ユーモア行為コマンドと前記標準コマンドを、最終出力コマンドに整合することを特徴とするクラウドに基づく設備。
【請求項２】
前記第一ＨＭＭ分析器は、シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器をさらに含み、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器は、シリアル或いはパラレルの方式にて接続されることを特徴とする請求項１記載のクラウドに基づく設備。
【請求項３】
前記決定装置は、
前記情緒状態ＨＭＭの隠し状態変化シーケンスに対し確率分析を行い、ユーモア行為を選定し、ユーモア行為コマンドを発信するユーモア行為選定ユニットと、
前記ユーモア行為コマンド及び標準コマンドに対し整合を行い、最終出力コマンドとする整合ユニットとを有し、
前記情緒状態ＨＭＭ分析器の出力側は前記ユーモア行為選定ユニットの入力側に接続され、前記ユーモア行為選定ユニットの出力側は前記整合ユニットの入力側に接続され、且つ前記音声信号処理ユニットの出力側は前記整合ユニットの入力側に接続されることを特徴とする請求項１又は２に記載のクラウドに基づく設備。
【請求項４】
前記整合は、
前記ユーモア行為コマンドが「冗談を言う」、「面白いうわさを話す」、「面白い仕草」、「歌を歌う」のいずれかである場合は、前記整合ユニットは視聴者音声入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ターゲット視聴者の情緒状態に最もマッチングしたコマンドである最適ユーモア出力コマンドを選定し、前記最適ユーモア出力コマンド及び前記標準コマンドを最終出力コマンドとすることを含むことを特徴とする請求項３記載のクラウドに基づく設備。
【請求項５】
前記ユーモア行為と最適ユーモア出力コマンドの選定に関するポリシーは、ターゲット視聴者による絶えないインタラクティブにより、フィードバック情報を入手し、それ相応の調整を行うことを特徴とする請求項４記載のクラウドに基づく設備。
【請求項６】
前記確率分析は、前記ユーモア行為選定ユニットが、あらかじめ設定された情緒状態からユーモア行為セットまでの確率遷移マトリックスにより、ユーモア行為セットの確率分布を算出することを含むことを特徴とする請求項３記載のクラウドに基づく設備。
【請求項７】
第一ＨＭＭ分析器の出力側は前記情緒状態ＨＭＭ分析器の出力側に接続されることを特徴とする請求項１記載のクラウドに基づく設備。
【請求項８】
前記シーンＨＭＭ分析器、前記視聴者表情ＨＭＭ分析器、前記視聴者音声ＨＭＭ分析器の出力側の一つ又は複数が、前記情緒状態ＨＭＭ分析器の入力側に接続され、
前記分析装置の出力側が、前記決定装置の入力側に接続され、
前記設備は第一トランシーバーをさらに含み、前記第一トランシーバーの出力側が前記分析装置の入力側に接続され、且つ前記決定装置の出力側が前記第一トランシーバーの入力側に接続され、
第一トランシーバーの出力側が前記第一ＨＭＭ分析器の入力側及び前記音声信号処理ユニットの入力側に接続され、
前記第一トランシーバーの出力側が、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器、視聴者音声ＨＭＭ分析器の入力側のいずれか若しくは複数に、及び前記音声信号処理ユニットの入力側に接続されることを特徴とする請求項２記載のクラウドに基づく設備。
【請求項９】
設備の中の第一トランシーバーを利用し、ロボットの第二トランシーバーからの入力データを受信することと、
前記設備の中の分析装置の音声信号処理ユニットを利用し、前記設備の中の第一トランシーバーより視聴者音声の入力信号を受信し、前記視聴者音声の入力信号を識別し、識別結果により標準コマンドを出力することと、
前記設備の中の分析装置の第一ＨＭＭ分析器を利用し、それぞれ前記設備の中の第一トランシーバーよりのシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を受信し、第一ＨＭＭの観測可能なシーケンスとすることと、
前記第一ＨＭＭ分析器は、観測シーケンス確率最大化の準則により、第一ＨＭＭの隠し状態変化シーケンスを推断し、その中、前記隠し状態変化シーケンスを前記分析装置の情緒状態ＨＭＭ分析器に出力し、前記第一ＨＭＭの隠し状態変化シーケンスは、シーン隠し状態変化シーケンス、視聴者表情隠し状態変化シーケンス及び視聴者音声隠し状態変化シーケンスを含むことと、
前記情緒状態ＨＭＭ分析器は、前記シーン隠し状態変化シーケンス、視聴者表情隠し状態変化シーケンス及び視聴者音声隠し状態変化シーケンスを受信し、情緒状態ＨＭＭの観測可能なシーケンスとし、観測シーケンス確率最大化の準則により、情緒状態ＨＭＭの隠し状態シーケンスを推断することと、
前記設備の中の決定装置は、前記情緒状態ＨＭＭの隠し状態シーケンスに基づき、ユーモア行為を選定し、ユーモア行為コマンドと前記標準コマンドを最終出力コマンドに整合することとを含むを特徴とするクラウドに基づく設備の操作方法。
【請求項１０】
前記第一ＨＭＭ分析器が、シリアル又はパラレル方式により接続されるシーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器をさらに含み、その中、前記シーンＨＭＭ分析器、視聴者表情ＨＭＭ分析器及び視聴者音声ＨＭＭ分析器がそれぞれシーン入力信号、視聴者表情入力信号及び視聴者音声入力信号を受信し、シーンＨＭＭ、視聴者表情ＨＭＭ及び視聴者音声ＨＭＭの観測可能なシーケンスとし、観測シーケンス確率最大化の準則により、前記シーンＨＭＭ、視聴者表情ＨＭＭ及び視聴者音声ＨＭＭの隠し状態変化シーケンスを、前記情緒状態ＨＭＭ分析器に送ることを特徴とする請求項９記載のクラウドに基づく設備の操作方法。
【請求項１１】
前記設備の中の決定装置が、前記情緒状態ＨＭＭの隠し状態シーケンスに基づき、ユーモア行為を選定し、ユーモア行為コマンドと前記標準コマンドを最終出力コマンドに整合するステップは、
前記設備の中の決定装置のユーモア行為選定ユニットが、情緒状態ＨＭＭよりの隠し状態シーケンスを受信し、受信された情緒状態ＨＭＭの隠し状態シーケンスの確率分析を行い、ユーモア行為を選定し、ユーモア行為コマンドを前記決定装置の整合ユニットに出力することと、
前記整合ユニットが前記ユーモア行為コマンド及び前記標準コマンドを受信し、前記ユーモア行為コマンド及び前記標準コマンドを最終出力コマンドに整合することとを含むことを特徴とする請求項９記載のクラウドに基づく設備の操作方法。
【請求項１２】
前記整合は、
前記ユーモア行為コマンドが「冗談を言う」、「面白いうわさを話す」、「面白い仕草」、「歌を歌う」のいずれかである場合、前記整合ユニットが視聴者音声の入力信号と結び合わせ、クラウドデータベースのサーチ及び/又はインターネットアクセスにより、ターゲット視聴者の情緒状態に最もマッチングしたコマンドである最適ユーモア出力コマンドを選び、前記最適ユーモア出力コマンド及び前記標準コマンドを最終出力コマンドとすることをさらに含むことを特徴とする請求項１１記載のクラウドに基づく設備の操作方法。
【請求項１３】
前記ユーモア行為と最適ユーモア出力コマンドの選定に関するポリシーが、ターゲット視聴者による絶えないインタラクティブにより、フィードバック情報を入手し、それ相応の調整を行うことを特徴とする請求項１２記載のクラウドに基づく設備の操作方法。
【請求項１４】
前記確率分析は、前記ユーモア行為選定ユニットが、あらかじめ設定された情緒状態からユーモア行為セットまでの確率遷移マトリックスにより、ユーモア行為セットの確率分布を算出することを含むことを特徴とする請求項１１記載のクラウドに基づく設備の操作方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
隠れている状態の初期時刻ｔ＝１の確率マトリックスを示す（例えばｔ＝１の時に、Ｐ(Ｓ１)＝ｐ１、Ｐ(Ｓ２)＝ｐ２、Ｐ(Ｓ３)＝ｐ３であると、初期状態確率マトリックスπ＝[ｐ１ ｐ２ ｐ３]）となる。
【国際調査報告】
2019518247.tif 000009
2019518247.tif 000010
2019518247.tif 000011
2019518247.tif 000012
2019518247.tif 000013
2019518247.tif 000014