(57)【要約】      （修正有）【課題】ライブ配信者が視聴者とやりとりする時にライブ配信者の操作を簡略化する一方、現在のライブ内容を一時的に停止する必要がないライブ配信対話型方法及び装置を提供する。【解決手段】対話型方法２００は、配信者側のクライアントが送信した、ビデオストリームとオーディオストリームとを含むライブビデオを受信し２０１、オーディオストリームに対して音声認識を行ってキーワードを取得し２０２、キーワードに対応するインタラクションコマンドを確定し２０３、ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信し２０４、視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示するステップとを含む。【選択図】図２
2018029325.tif 000002
【特許請求の範囲】
【請求項１】
ライブ配信に応用する対話型方法であって、
配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信するステップと、
前記オーディオストリームに対して音声認識を行ってキーワードを取得するステップと、
前記キーワードに対応するインタラクションコマンドを確定するステップと、
前記ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示するステップと、を含んでおり、
ここで、前記ライブビデオは、前記配信者側のクライアントがリアルタイムに制作することで生成される
ことを特徴とする対話型方法。
【請求項２】
前記オーディオストリームに対して音声認識を行ってキーワードを取得するステップにおいては、
前記オーディオストリームに音声認識を行ってオーディオストリームに対応する文を取得するステップと、
前記文を分割して単語の集合を取得するステップと、
単語の集合のうち予め設定されたキーワードとマッチングする前記キーワードを検出ステップと、を含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記キーワードに対応する音声信号がライブビデオに出現する時点を確定するステップと、
前記時点を含むタイムスタンプ情報を生成するステップと、
前記タイムスタンプ情報を視聴者側のクライアントに送信するステップとを、更に含む
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記インタラクション対象は、アニメーション、ピクチャー、及び絵文字を含む
ことを特徴とする請求項３に記載の方法。
【請求項５】
ライブ配信に応用する対話型方法であって、
サーバが送信した、ライブビデオとインタラクションコマンドとを受信するステップと、
インタラクションコマンドに対応するインタラクション対象を確定するステップと、
放送インタフェースにライブビデオと前記インタラクション対象とを表示するステップと、を含んでおり、
ここで、前記ライブビデオは、ビデオストリームとオーディオストリームとを含んで、前記配信者側のクライアントがリアルタイムに制作することで生成され、前記インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定される
ことを特徴とする対話型方法。
【請求項６】
サーバが送信したタイムスタンプ情報を受信するステップを更に含み、
ここで、前記タイムスタンプ情報は、前記キーワードに対応する音声信号がライブビデオに出現する時点を含んで、これにより、前記時点に放送インタフェースに前記インタラクション対象を表示する
ことを特徴とする請求項５に記載の方法。
【請求項７】
ライブ配信に応用する対話型装置であって、
配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信するライブビデオ受信ユニットと、
前記オーディオストリームに対して音声認識を行ってキーワードを取得するために配置される認識ユニットと、
前記キーワードに対応するインタラクションコマンドを確定するために配置される確定ユニットと、
前記ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示する送信ユニットと、を備えており、
ここで、前記ライブビデオは、前記配信者側のクライアントがリアルタイムに制作することで生成される
ことを特徴とする対話型装置。
【請求項８】
認識ユニットは、
前記オーディオストリームに対して音声認識を行ってオーディオストリームに対応する文を取得するために配置されるオーディオストリーム認識サブユニットと
前記文を分割して単語の集合を取得するために配置される単語分割サブユニットと、
単語の集合のうち予め設定されたキーワードとマッチングする前記キーワードを検出ために配置される検出サブユニットと、を備える
ことを特徴とする請求項７に記載の装置。
【請求項９】
前記キーワードに対応する音声信号がライブビデオに出現する時点を確定するために配置される時点確定ユニットと、
前記時点を含むタイムスタンプ情報を生成するために配置される生成ユニットと、
前記タイムスタンプ情報を視聴者側のクライアントに送信するために配置される情報送信ユニットと、を更に備える
ことを特徴とする請求項８に記載の装置。
【請求項１０】
前記インタラクション対象は、アニメーション、ピクチャー、及び絵文字を含む
ことを特徴とする請求項９に記載の装置。
【請求項１１】
ライブ配信に応用する対話型装置であって、
サーバが送信した、ライブビデオとインタラクションコマンドとを受信するために配置される受信ユニットと、
インタラクションコマンドに対応するインタラクション対象を確定するために配置されるインタラクション対象確定ユニットと、
放送インタフェースにライブビデオと前記インタラクション対象とを表示するために配置される表示ユニットと、を備えており、
ここで、前記ライブビデオは、ビデオストリームとオーディオストリームとを含んで、前記配信者側のクライアントがリアルタイムに制作することで生成され、前記インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定される
ことを特徴とする対話型装置。
【請求項１２】
サーバが送信したタイムスタンプ情報を受信するために配置される情報受信ユニットを更に含み、
前記タイムスタンプ情報は前記キーワードに対応する音声信号がライブビデオに出現する時点を含んで、これにより、前記時点に放送インタフェースにおいて前記インタラクション対象を表示する
ことを特徴とする請求項１１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願はコンピュータ分野、具体的にネットワーク技術分野、特にライブ配信に応用する対話型方法及び装置に関する。
【背景技術】
【０００２】
ライブ配信において、ライブ配信者（broadcasting jockey）は視聴者とやりとりする必要がある。現在、ライブ配信者と視聴者との間のやりとりは、ライブ配信者が手動で完成する必要がある。例えば、ライブ配信者が視聴者から送られた仮想ギフトに感謝すべき時に、当時のライブ内容を一時的に停止し、文字、ピクチャーを入力して視聴者とやりとりする必要がある。ライブ配信者と視聴者とのやりとりが面倒である一方、ライブ配信者が視聴者とやりとりする必要がある時に、現在のライブ内容を一時的に停止する必要があって、ライブの流暢さに影響する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本願は上記の背景技術部分に存在する技術的課題を解決するために、ライブ配信に応用する対話型方法及び装置を提供する。
【課題を解決するための手段】
【０００４】
第一の態様において、本願はライブ配信に応用する対話型方法を提供し、当該方法は、配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信するステップと、オーディオストリームに対して音声認識を行ってキーワードを取得するステップと、キーワードに対応するインタラクションコマンドを確定するステップと、ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示するステップと、を含んでおり、ここで、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成される。
【０００５】
第二の態様において、本願はライブ配信に応用する対話型方法を提供し、当該方法は、サーバが送信した、ライブビデオとインタラクションコマンドとを受信するステップと、インタラクションコマンドに対応するインタラクション対象を確定するステップと、放送インタフェースにライブビデオとインタラクション対象とを表示するステップと、を含んでおり、ここで、ライブビデオは、ビデオストリームとオーディオストリームとを含んで、配信者側のクライアントがリアルタイムに制作することで生成され、インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定される。
【０００６】
第三の態様において、本願はライブ配信に応用する対話型装置を提供し、当該装置は、配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信するライブビデオ受信ユニットと、
オーディオストリームに対して音声認識を行ってキーワードを取得するために配置される認識ユニットと、キーワードに対応するインタラクションコマンドを確定するために配置される確定ユニットと、ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示する送信ユニットと、を備えており、ここで、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成される。
【０００７】
第四の態様において、本願はライブ配信に応用する対話型装置を提供し、当該装置は、サーバが送信した、ライブビデオとインタラクションコマンドとを受信するために配置される受信ユニットと、インタラクションコマンドに対応するインタラクション対象を確定するために配置されるインタラクション対象確定ユニットと、放送インタフェースにライブビデオとインタラクション対象とを表示するために配置される表示ユニットと、を備えており、ここで、ライブビデオは、ビデオストリームとオーディオストリームとを含んで、配信者側のクライアントがリアルタイムに制作することで生成され、インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定される。
【発明の効果】
【０００８】
本願が提供したライブ配信に応用する対話型方法及び装置は、配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信し、オーディオストリームに対して音声認識を行ってキーワードを取得し、キーワードに対応するインタラクションコマンドを確定し、ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示し、ここで、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成される。ライブ配信者が視聴者とやりとりする時にのライブ配信者の操作を簡略化する一方、現在のライブ内容を一時的に停止する必要がなく、ライブ配信の流暢さを保持する。
【図面の簡単な説明】
【０００９】
以下、図面を参照しながら非限定的な実施例を詳細に説明することにより、本発明の他の特徴、目的、および利点は、より明らかになる。
【００１０】
【図１】本願に係るライブ配信に応用する対話型方法又は装置の実施例に応用可能な例示的なシステムアーキテクチャを示している。
【図２】本願に係るライブ配信に応用する対話型方法の一実施例のフローチャートを示している。
【図３】本願に係るライブ配信に応用する対話型方法の他の一実施例のフローチャートを示している。
【図４】本願に係る配信者側のクライアント、サーバ、視聴者側のクライアントの１つの対話の概略図を示している。
【図５】本願に係るライブ配信に応用する対話型方法に適用される１つの例示的なアーキテクチャ図を示している。
【図６】本願に係るライブ配信に応用する対話型装置の一実施例の構造略図を示している。
【図７】本願に係るライブ配信に応用する対話型装置の他の一実施例の構造概略図を示している。
【図８】本願に係る実施例を実現するためのライブ配信に応用する対話型装置に適用されるコンピュータシステムの構造概略図を示す。
【発明を実施するための形態】
【００１１】
以下、図面および実施例を参照しながら、本発明をさらに詳しく説明する。ただし、ここで説明されている具体的な実施例は、係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないと理解されるべきである。また、説明の便宜上、図面に本発明と関連する部分のみが示されている。
【００１２】
ただし、衝突がない限り、本願における実施例、および実施例における特徴は、互いに組み合せてもよい。以下、図面を参照しながら実施例に基づいて本発明を詳細に説明する。
【００１３】
図１は本願に係るライブ配信に応用する対話型方法又は装置の実施例に応用可能な例示的なシステムアーキテクチャ１００を示している。
【００１４】
図１に示すように、システムアーキテクチャ１００は配信者側のクライアント１０１、サーバ１０２、及び視聴者側のクライアント１０３を備えてもよい。
【００１５】
ネットワーク１０４は配信者側のクライアント１０１とサーバ１０２との間に伝送リンクの媒体を提供する。ネットワーク１０４は各種の有線、無線伝送リンクを含んでもよい。ネットワーク１０５はサーバ１０２と視聴者側のクライアント１０３との間に伝送リンクの媒体を提供する。ネットワーク１０５は各種の有線、無線伝送リンクを含んでもよい。
【００１６】
配信者側のクライアント１０１のユーザ（ネットワークのライブ配信者とも呼んでもよい）は配信者側のクライアント１０１が位置する端末上のデバイス（例えば、カメラ、マイク）を利用してライブ内容に対応する画像、音声を収集して、リアルタイムにライブビデオを制作することができる。配信者側のクライアント１０１はリアルタイムに制作されるライブビデオをサーバ１０２に送信することができる。サーバ１０２は配信者側のクライアント１０１が送信したライブビデオを受信し、ライブビデオを視聴者側のクライアント１０３に送信することができる。視聴者側のクライアント１０３はライブビデオを受信した後に、ライブビデオを放送することができる。
【００１７】
本願に係るライブ配信に応用する対話型方法の一実施例のフローチャートを示している図２を参照する。本願実施例が提供するライブ配信に応用する対話型方法は、図１におけるサーバ１０２により実行されてもよく、相応に、ライブ配信に応用する対話型装置はサーバ１０２に設置されてもよいことを説明すべきである。当該方法は、以下のステップを含む。
【００１８】
ステップ２０１：配信者側のクライアントが送信したライブビデオを受信する。
【００１９】
本実施例において、配信者側のクライアントのユーザ（ネットワークライブ配信者とも呼んでもよい）はライブビデオを制作する時に、配信者側のクライアントが位置する端末のカメラを利用してライブ内容に対応する画像を収集することができ、配信者側のクライアントが所在する端末のマイクを利用して音声（例えば、ネットワークライブ配信者の音声）を収集することができる。配信者側のクライアントが画像と音声を収集した後に、画像と音声をコーディングして、ビデオストリームとオーディオストリームとを含むライブビデオを取得することができる。
【００２０】
ステップ２０２：オーディオストリームに対して音声認識を行ってキーワードを取得する。
【００２１】
実施例において、ステップ２０１によって配信者側のクライアントが送信したライブビデオを受信した後に、ライブビデオにおけるビデオストリームとオーディオストリームのコーディング方式に従って、ライブビデオをデコーディングして、ライブビデオにおけるオーディオストリームを抽出することができる。
【００２２】
本実施例において、オーディオストリームを抽出した後に、オーディオストリームに対して音声認識を行ってキーワードを取得することができる。本実施例において、キーワードは、視聴者側のクライアントのユーザとのやりとりに関連する単語でもよい。例えば、キーワードは、視聴者側のクライアントのユーザから送られた仮想ギフトに感謝する単語でもよい。オーディオストリームには配信者側のクライアントのユーザの音声が含まれ、配信者側のクライアントのユーザが視聴者側のクライアントのユーザから送られた仮想ギフトに感謝することを例として、オーディオストリームに感謝を表すキーワード、例えば「ありがとうございます」に対応する音声信号が含まれ、オーディオストリームに対して音声認識を行うことで当該キーワードを取得できる。
【００２３】
本実施例の幾つかの選択可能な実現方式において、オーディオストリームに対して音声認識を行ってキーワードを取得するステップにおいては、オーディオストリームに音声認識を行ってオーディオストリームに対応するステートメントを取得するステップと、ステートメントを分割して単語の集合を取得するステップと、単語の集合のうち予め設定されたキーワードとマッチングするキーワードを検出ステップと、を含む。
【００２４】
本実施例において、配信者側のクライアントのユーザと視聴者側のクライアントのユーザがライブ配信のやりとりにおいてよく応用される単語、例えば「ありがとうございます」、「愛している」、「花」を所定のキーワードとして予め配置することができる。受信したライブビデオにおけるオーディオストリームに対して音声認識を行ってオーディオストリームに対応する文を取得することができる。それから、文を分割して、単語の集合を取得することができる。当該単語の集合のうち予め設定されたキーワードとマッチングするキーワードを検出ことができる。
【００２５】
ステップ２０３：キーワードに対応するインタラクションコマンドを確定する。
【００２６】
本実施例において、ステップ２０２によってライブビデオにおけるオーディオストリームに対して音声認識を行ってキーワードを取得した後、キーワードに対応するインタラクションコマンドを確定することができる。例えば、オーディオストリームには配信者側のクライアントのユーザの音声が含まれ、当該音声には「愛している」、「花」等の単語に対応する音声信号が含まれる時に、オーディオストリームに対して認識を行って、キーワードの「愛している」、「花」を認識し得る。キーワードの「愛している」に対応するインタラクションコマンドは、視聴者側のクライアントの放送インタフェースにインタラクション対象（例えば、ハート形のピクチャー）を表示することをトリガーすることに用いられてもよい。キーワードの「花」に対応するインタラクションコマンドは、視聴者側のクライアントの放送インタフェースにインタラクション対象（例えば、花のピクチャー）を表示することをトリガーすることに用いられてもよい。
【００２７】
ステップ２０４：ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信する。
【００２８】
本実施例において、ステップ２０３によってキーワードに対応するインタラクションコマンドを確定した後に、インタラクションコマンドとライブビデオを視聴者側のクライアントに送信することができる。これにより、視聴者側のクライアントがインタラクションコマンドとライブビデオを受信した後に、放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示することができる。
【００２９】
本実施例の幾つかの選択可能な実現方式において、インタラクションコマンドに対応するインタラクション対象は、アニメーション、ピクチャー、及び絵文字を含む。
【００３０】
本実施例において、ステップ２０３によってキーワードに対応するインタラクションコマンドを確定した後に、インタラクションコマンドとライブビデオを視聴者側のクライアントに送信することができる。これにより、視聴者側のクライアントがインタラクションコマンドとライブビデオを受信した後に、ライブビデオにインタラクションコマンドに対応するアニメーション、ピクチャー、絵文字を表示することができる。配信者側のクライアントのユーザはアニメーション、ピクチャー、絵文字を利用して視聴者側のクライアントのユーザとやりとりすることができる。
【００３１】
本実施例の幾つかの選択可能な実現方式において、キーワードに対応する音声信号がライブビデオに出現する時点を確定するステップと、時点を含むタイムスタンプ情報を生成するステップと、タイムスタンプ情報を視聴者側のクライアントに送信するステップとを、更に含む。
【００３２】
本実施例において、オーディオストリームに対して音声認識を行ってキーワードを取得するとともに、キーワードに対応する音声信号がライブビデオに出現する時点を確定することができる。当該時点を含むタイムスタンプ情報を生成して視聴者側のクライアントに送信することができる。これにより、視聴者側のクライアントがインタラクションコマンドとライブビデオを受信した時に、当該タイムスタンプ情報に基づいて、キーワードに対応する音声信号がライブビデオに出現する時点を確定して、インタラクションコマンドに対応するインタラクション対象を、放送インタフェースのライブビデオにおける当該時点に対応する映像フレームに重ね合わせて表示する。
【００３３】
本願に係るライブ配信に応用する対話型方法の他の一実施例のフローチャートを示している図３を参照する。本願実施例が提供するライブ配信に応用する対話型方法は、図１におけるサーバ１０２により実行されてもよく、相応に、ライブ配信に応用する対話型装置はサーバ１０２に設置されてもよいことを説明すべきである。当該方法は、以下のステップを含む。
【００３４】
ステップ３０１：サーバが送信したライブビデオとインタラクションコマンドを受信する。
【００３５】
本実施例において、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成され、ビデオストリームとオーディオストリームとを含む。
【００３６】
本実施例において、視聴者側のクライアントによってライブ配信を視聴する時に、サーバが送信したライブビデオとインタラクションコマンドを受信することができる。インタラクションコマンドは、サーバがライブビデオにおけるオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定されることができる。
【００３７】
例えば、サーバは受信した配信者側のクライアントにより送信されたライブビデオをデコーディングして、ライブビデオにおけるオーディオストリームを抽出することができる。オーディオストリームを抽出した後に、サーバはオーディオストリームに対して音声認識を行ってキーワードを取得することができる。オーディオストリームには配信者側のクライアントのユーザの音声が含まれ、配信者側のクライアントのユーザが視聴者側のクライアントのユーザがから送られた仮想ギフトに対して感謝することを例として、オーディオストリームに感謝を表すキーワード、例えば「ありがとうございます」に対応する音声信号が含まれ、サーバはオーディオストリームに対して音声認識を行って当該キーワードを取得する。この時に、サーバが送信した当該キーワードに対応するインタラクションコマンドを受信することができる。
【００３８】
ステップ３０２：インタラクションコマンドに対応するインタラクション対象を確定する。
【００３９】
本実施例において、ステップ３０１によってサーバが送信したライブビデオとインタラクションコマンドを受信した後に、インタラクションコマンドに対応するインタラクション対象を確定することができる。
【００４０】
例えば、ライブビデオのオーディオストリームにおける、配信者側のクライアントのユーザの音声には「ありがとうございます」、「愛している」のキーワードが含まれる時に、「ありがとうございます」、「愛している」がそれぞれ１つのインタラクションコマンドに対応し、各インタラクションコマンドは１つのインタラクション対象に対応する。
【００４１】
本実施例において、インタラクションコマンドに対応するインタラクション対象は、アニメーション、ピクチャー、及び絵文字を含むが、それらに限られていない。
【００４２】
ステップ３０３：放送インタフェースにライブビデオとインタラクション対象とを表示する。
【００４３】
本実施例において、ステップ３０２によってインタラクションコマンドに対応するインタラクション対象を確定した後に、ライブビデオにインタラクション対象を表示することができる。
【００４４】
ライブビデオのオーディオストリームにおける、配信者側のクライアントのユーザの音声には「ありがとうございます」、「愛している」のキーワードが含まれる時に、即ち、配信者側のクライアントのユーザがライブ配信において「ありがとうございます」、「愛している」と言った時に、「ありがとうございます」、「愛している」に対応するインタラクションコマンドを受信することができる。インタラクションコマンドに対応するインタラクション対象、例えば、アニメーション、ピクチャー、絵文字を確定することができる。放送インタフェースに「ありがとうございます」、「愛している」に対応するインタラクション対象を表示することができ、即ち、「ありがとうございます」、「愛している」に対応するアニメーション、ピクチャー、絵文字をライブビデオに重ね合わせて表示する。
【００４５】
本実施例の幾つかの選択可能な実現方式において、サーバが送信したタイムスタンプ情報を受信するステップを更に含み、タイムスタンプ情報はキーワードに対応する音声信号がライブビデオに出現する時点を含んで、当該時点に放送インタフェースにおいてインタラクション対象を表示する。
【００４６】
本実施例において、サーバが送信したタイムスタンプ情報を受信することができ、タイムスタンプ情報はキーワードに対応する音声信号がライブビデオに出現する時点を含む。キーワードに対応する音声信号がライブビデオに出現する時点に基づいて、ライブビデオの当該時点に対応する映像フレームにインタラクション対象を重ねわせて表示することができる。
【００４７】
本願の配信者側のクライアント、サーバ、視聴者側のクライアントの１つの対話の概略図を示している図４を参照する。
【００４８】
配信者側のクライアントは画像と音声を収集し、ライブビデオを制作する。ライブクライアントはリアルタイムにライブ内容に対応する画像と音声を収集して、リアルタイムにライブビデオを制作することができる。
【００４９】
配信者側のクライアントはライブビデオをサーバに送信する。
【００５０】
サーバはライブビデオからオーディオを抽出、ライブビデオにおけるオーディオストリームに対して音声認識を行ってキーワードを取得し、キーワードに対応するインタラクションコマンドを確定する。各キーワードは１つのインタラクションコマンドに対応し、各インタラクションコマンドは１つのインタラクション対象に対応する。
【００５１】
サーバはインタラクションコマンドとライブビデオを視聴者側のクライアントに送信する。
【００５２】
視聴者側のクライアントにライブビデオとインタラクションコマンドとを表示する。視聴者側のクライアントは放送インタフェースにおいてライブビデオを放送し、しかもライブビデオにインタラクションコマンドに対応するインタラクション対象を表示することができる。
【００５３】
本実施例において、配信者側のクライアントのユーザがネットワークライブを行う時に、ライブ配信者の音声に対して認識を行って、インタラクションコマンドを取得し、視聴者側のクライアントにライブビデオを放送するとともに、インタラクションコマンドに対応するインタラクション対象を表示する。これにより、配信者側のクライアントのユーザがライブ内容を一時的に停止する必要がない場合に視聴者側のクライアントのユーザとやりとりを行う。例えば、配信者側のクライアントのユーザがライブ配信において「ありがとうございます」、「愛している」と言った時に、視聴者側のクライアントの放送インタフェースに「ありがとうございます」、「愛している」に対応するアニメーション、ピクチャー、絵文字を表示することができる。
【００５４】
本願に係るライブ配信に応用する対話型方法に適用される１つの例示的なアーキテクチャ図を示している図５を参照する。
【００５５】
図５において、ライブクライアントシステム、ライブサーバシステムを示している。ライブクライアントシステムは、オーディオ・ビデオ収集モジュールとインタラクション表示モジュールとを備える。オーディオ・ビデオ収集モジュールは、配信者側のクライアントに配置されてもよく、配信者側のクライアントにおいて、オーディオ・ビデオ情報、即ち、ライブ内容に対応する画像、音声を収集し、ライブサーバシステムのオーディオ・ビデオ受信モジュールに送信する。インタラクション表示モジュールは視聴者側のクライアントに配置されてもよく、ライブサーバシステムのインタラクション処理モジュールが送信したインタラクションコマンドを受信し、かつインタラクションコマンドに従って、視聴者側のクライアントにインタラクションコマンドに対応するインタラクション対象を表示することができる。ライブサーバシステムはサーバに配置されてもよく、ライブサーバシステムは、オーディオ・ビデオ受信モジュールと、オーディオ・ビデオ処理モジュールと、音声認識モジュールと、自然言語処理モジュールと、インタラクションコマンドモジュールと、インタラクション処理モジュールとを備える。オーディオ・ビデオ受信モジュールはライブクライアントが収集したオーディオ・ビデオ情報を受信し、受信したオーディオ・ビデオ情報をオーディオ・ビデオ処理モジュールに送信することに用いられてもよい。オーディオ・ビデオ処理モジュールは、オーディオ・ビデオ情報におけるオーディオ情報を解析し、オーディオ情報を音声認識モジュールに送信することに用いられてもよい。音声認識モジュールはオーディオ情報からテキスト情報を認識することに用いられてもよい。自然音声処理モジュールはテキスト情報に対して分割を行って、キーワードリストを取得することに用いられてもよい。インタラクション処理モジュールはインタラクションコマンドモジュールからキーワードリストのうちキーワードに対応するインタラクションコマンドを取得し、取得したインタラクションコマンドをインタラクション表示モジュールに送信することができる。
【００５６】
本願に係るライブ配信に応用する対話型装置の一実施例の構造略図を示している図６を参照する。当該装置実施例は図２に示す方法実施例に対応する。
【００５７】
図６に示すように、本実施例に係るライブ配信に応用する対話型装置６００は、ライブビデオ受信ユニット６０１と、認識ユニット６０２と、送信ユニット６０３とを備える。そのうち、ライブビデオ受信ユニット６０１は配信者側のクライアントが送信したライブビデオを受信し，ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成され、ライブビデオは、ビデオストリームとオーディオストリームとを含み、認識ユニット６０２はオーディオストリームに対して音声認識を行ってキーワードを取得するように配置され、確定ユニットはキーワードに対応するインタラクションコマンドを確定するように配置され、送信ユニット６０３はライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して、視聴者側のクライアントの放送インタフェースにライブビデオと、インタラクションコマンドに対応するインタラクション対象とを表示するように配置される。
【００５８】
本実施例の幾つかの選択可能な実現方式において、認識ユニット６０２は、オーディオストリームに対して音声認識を行ってオーディオストリームに対応する文を取得するために配置されるオーディオストリーム認識サブユニット（図示せず）と、文を分割して単語の集合を取得するために配置される単語分割サブユニット（図示せず）と；単語の集合のうち予め設定されたキーワードとマッチングするキーワードを検出ために配置される検出サブユニット（図示せず）とを備える。
【００５９】
本実施例の幾つかの選択可能な実現方式において、装置６００は、キーワードに対応する音声信号がライブビデオに出現する時点を確定するために配置される時点確定ユニット（図示せず）と、時点を含むタイムスタンプ情報を生成するために配置される生成ユニット（図示せず）と、タイムスタンプ情報を視聴者側のクライアントに送信するために配置される情報送信ユニット（図示せず）とを更に備える。
【００６０】
本実施例の幾つかの選択可能な実現方式において、インタラクション対象は、アニメーション、ピクチャー、及び絵文字を含む。
【００６１】
本願に係るライブ配信に応用する対話型装置の他の一実施例の構造概略図を示している図７を参照する。当該装置実施例は、図３に示す方法実施例に対応する。
【００６２】
図７に示すように、本実施例に係るライブ配信に応用する対話型装置７００は、受信ユニット７０１と、インタラクション対象確定ユニット７０２と、表示ユニット７０３とを備える。そのうち、受信ユニット７０１は、サーバが送信したライブビデオとインタラクションコマンドを受信するために配置され、ライブビデオは、配信者側のクライアントがリアルタイムに制作することで生成され、ビデオストリームとオーディオストリームとを含み、インタラクションコマンドは、サーバがオーディオストリームに対して音声認識を行った後に取得したキーワードに基づいて確定され、インタラクション対象確定ユニット７０２はインタラクションコマンドに対応するインタラクション対象を確定するために配置され、表示ユニット７０３は、放送インタフェースにライブビデオとインタラクション対象とを表示するために配置される。
【００６３】
本実施例の幾つかの選択可能な実現方式において、装置７００は、更に、サーバが送信したタイムスタンプ情報を受信するために配置される情報受信ユニット（図示せず）を備え、タイムスタンプ情報は、キーワードに対応する音声信号がライブビデオに出現する時点を含んで、当該時点に放送インタフェースにインタラクション対象を表示する。
【００６４】
図８は、本願の実施例を実現するためのライブ配信に応用する対話型装置に適用されるコンピュータシステムの構造概略図を示す。
【００６５】
図８に示すように、コンピュータシステム８００は、読み出し専用メモリ（ＲＯＭ）８０２に記憶されているプログラムまたは記憶部８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置（ＣＰＵ）８０１を備える。ＲＡＭ８０３には、システム８００の操作に必要な様々なプログラムおよびデータがさらに記憶されている。ＣＰＵ８０１、ＲＯＭ８０２およびＲＡＭ８０３は、バス８０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続されている。
【００６６】
キーボード、マウスなどを含む入力部８０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、およびスピーカなどを含む出力部８０７、ハードディスクなどを含む記憶部８０８、およびＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部８０９は、Ｉ／Ｏインターフェース８０５に接続されている。通信部８０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ８１０は、必要に応じてＩ／Ｏインターフェース８０５に接続される。リムーバブルメディア８１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ８１０に取り付けられ、したがって、ドライバ８１０から読み出されたコンピュータプログラムが必要に応じて記憶部８０８にインストールされる。
【００６７】
特に、本願の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本願の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部８０９を介してネットワークからダウンロードされてインストールされてもよく、および／またはリムーバブルメディア８１１からインストールされてもよい。
【００６８】
図面におけるフローチャートおよびブロック図は、本願の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、１つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を達成するための１つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図および／またはフローチャートにおける各枠と、ブロック図および／またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。
【００６９】
一方、本願は、不揮発性コンピュータ記憶媒体をさらに提供し、当該不揮発性コンピュータ記憶媒体は、上記した実施例の前記装置に含まれる不揮発性コンピュータ記憶媒体であってもよく、独立に存在して端末に組み立てられていない不揮発性コンピュータ記憶媒体であってもよい。前記不揮発性コンピュータ記憶媒体は、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つの機器により実行された場合に、上記した機器にライブ配信に、配信者側のクライアントが送信した、デオストリームとオーディオストリームとを含むライブビデオを受信し、前記オーディオストリームに対して音声認識を行ってキーワードを取得し、前記キーワードに対応するインタラクションコマンドを確定し、前記ライブビデオとインタラクションコマンドを視聴者側のクライアントに送信して視聴者側のクライアントの放送インタフェースにライブビデオとインタラクションコマンドとが対応するインタラクション対象を表示するようにさせ、ここで、前記ライブビデオは、前記配信者側のクライアントがリアルタイムに制作することで生成される。
【００７０】
以上の記載は、本願の好ましい実施例、および使用された技術的原理の説明に過ぎない。本願に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本願の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本願に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。
【図１】
2018029325.tif 000003
【図２】
2018029325.tif 000004
【図３】
2018029325.tif 000005
【図４】
2018029325.tif 000006
【図５】
2018029325.tif 000007
【図６】
2018029325.tif 000008
【図７】
2018029325.tif 000009
【図８】
2018029325.tif 000010
【外国語明細書】
2018029325000001.pdf