(57)【要約】  本願は、オーディオ情報の処理方法、装置、記憶媒体並びに電子装置を開示する。当該方法は、クライアントで１セグメントのオーディオ情報を受信していることを検出することであって、１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在クライアントで受信されたことと、現在受信されたオーディオ情報の第１部分に従って、第１情報、第２情報および第３情報を取得することであって、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含み、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を含むことと、第１情報、第２情報および第３情報をクライアントで表示することとを含む。本願は、関連技術におけるオーディオ情報の処理時の処理効率が低いという技術的課題を解決する。【選択図】図１
2021513103.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ情報の処理方法であって、
クライアントが、１セグメントのオーディオ情報を受信していることを検出するステップであって、前記１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在前記クライアントで受信される、ステップと、
前記クライアントが、前記現在受信された前記オーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得するステップであって、前記第１情報は、前記オーディオ情報の第１部分に対応するテキスト情報を含み、前記第２情報は、目標条件を満たす、前記第１情報に対応する情報を含み、前記第３情報は、前記第１情報におけるキーワードに従って取得された、前記クライアントにプッシュしようとする情報を含む、ステップと、
前記クライアントが、前記第１情報、前記第２情報及び前記第３情報を表示するステップと、
を含む、オーディオ情報の処理方法。
【請求項２】
前記クライアントが、前記第１情報、前記第２情報及び前記第３情報を表示した後、前記方法は、
前記クライアントが、前記第２情報に対して実行する第１操作を検出した場合、前記第２情報に対応する応答情報を取得するステップと、
前記クライアントが、前記応答情報を表示するステップと、
を更に含み、
前記目標条件を満たすことは、目標の文法ルールを満たすこと、及び目標の語義ルールを満たすことのうちの少なくとも１つを含む、
請求項１に記載のオーディオ情報の処理方法。
【請求項３】
前記クライアントが、前記第１情報、前記第２情報及び前記第３情報を表示した後、前記方法は、
前記クライアントが、前記第３情報に対して実行する第２操作を検出した場合、前記第３情報に対応する第１サーバに、前記第３情報に対応するページを要求するステップと、
前記クライアントが、前記第１サーバから返信された前記ページを受信するステップと、
前記ページを前記クライアントで表示するステップと、
を更に含む、請求項１又は２に記載のオーディオ情報の処理方法。
【請求項４】
前記第３情報は、コンテンツ情報及び１つまたは複数の提示情報を含み、前記コンテンツ情報は、前記クライアントにプッシュしようとする前記情報のコンテンツを指示し、前記クライアントが、前記第３情報に対して実行する第３操作を検出した場合、前記第３情報に対応するページを前記第３情報に対応する第１サーバに要求するステップは、
前記クライアントが、前記コンテンツ情報に対して実行する第１サブ操作を検出した場合、前記コンテンツ情報に対応する第１ページを前記第１サーバに要求するステップであって、前記第２操作は、前記第１サブ操作を含む、ステップと、
前記クライアントが、前記１つまたは複数の提示情報における目標提示情報に対して実行する第２サブ操作を検出した場合、前記目標提示情報に対応する第２ページを前記第１サーバに要求するステップであって、前記第２ページは、前記第１ページと同じ分野に属する異なるページであり、または、前記第２ページは、前記第１ページと異なる分野に属し、前記第２操作は、前記第２サブ操作を含む、ステップとを含む、
請求項３に記載のオーディオ情報の処理方法。
【請求項５】
前記クライアントが、前記現在受信された前記オーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得するステップは、
前記クライアントが、前記１セグメントのオーディオ情報を受信し始めてから、現在の時間間隔に対応する情報要求を目標時間間隔ごとに送信するステップであって、前記情報要求には、オーディオ情報の第２部分が搬送され、前記情報要求は、前記オーディオ情報の第２部分に対応する前記第１情報、前記第２情報及び前記第３情報を要求し、前記オーディオ情報の第２部分は、前記現在の時間間隔内に受信されたオーディオ情報であるステップと、
前記クライアントが、前記オーディオ情報の第２部分に対応する前記第１情報、前記第２情報及び前記第３情報を受信するステップであって、前記第１情報、前記第２情報及び前記第３情報は、前記現在受信された前記オーディオ情報の第１部分に従って取得された情報であり、前記オーディオ情報の第１部分は、前記オーディオ情報の第２部分及びオーディオ情報の第３部分を時間順に繋ぎ合わせて取得した情報であり、前記オーディオ情報の第３部分は、前記現在の時間間隔の前の時間内に受信した前記１セグメントのオーディオ情報におけるオーディオ情報である、ステップと、
を含む、請求項１ないし４のいずれか一項に記載のオーディオ情報の処理方法。
【請求項６】
前記クライアントが、前記１セグメントのオーディオ情報を受信し始めてから、現在の時間間隔に対応する情報要求を目標時間間隔ごとに送信するステップは、
前記クライアントが、前記１セグメントのオーディオ情報を受信し始めてから、前記１セグメントのオーディオ情報を受信し終わるまで、現在の時間間隔に対応する情報要求を目標時間間隔ごとに送信し、最後の前記目標時間間隔内に位置する場合、前記クライアントが、前記オーディオ情報を受信し終わるとき、前記最後の前記目標時間間隔に対応する情報要求を送信するステップであって、前記最後の前記目標時間間隔は、前記１セグメントのオーディオ情報を受信し終わる時点の位置する目標時間間隔である、ステップを含む、
請求項５に記載のオーディオ情報の処理方法。
【請求項７】
オーディオ情報の処理方法であって、
サーバが、クライアントにより送信されるオーディオ情報の第１部分を受信するステップであって、１セグメントのオーディオ情報を受信していることを前記クライアントで検出し、前記オーディオ情報の第１部分は、現在前記クライアントで受信された、前記１セグメントのオーディオ情報の一部である、ステップと、
前記サーバが、前記オーディオ情報の第１部分を第１情報に変換し、前記第１情報を前記クライアントに送信するステップであって、前記第１情報は、前記オーディオ情報の第１部分に対応するテキスト情報を含む、ステップと、
前記サーバが、前記第１情報を編集して第２情報を取得し、前記第１情報で搬送されるキーワードに従って第３情報を取得するステップであって、前記第２情報は、目標条件を満たす、前記第１情報に対応する情報を含み、前記第３情報は、前記クライアントにプッシュしようとする情報を含む、ステップと、
前記サーバが、前記第２情報及び前記第３情報を前記クライアントに送信するステップと、
を含む、オーディオ情報の処理方法。
【請求項８】
前記サーバが、前記オーディオ情報の第１部分を前記第１情報に変換することは、
前記サーバが、オーディオ情報の第２部分及びオーディオ情報の第３部分を取得することであって、前記オーディオ情報の第２部分は、現在の目標時間間隔内に、前記クライアントが、前記クライアントに対応する第２サーバに送信したオーディオ情報であり、前記オーディオ情報の第３部分は、前記現在の時間間隔の前の時間内に前記第２サーバが受信したオーディオ情報であることと、
前記サーバが、前記オーディオ情報の第２部分及び前記オーディオ情報の第３部分を時間順に繋ぎ合わせて、前記オーディオ情報の第１部分を取得することと、
前記サーバが、前記オーディオ情報の第１部分をテキストに変換して、前記第１情報を取得することと
を含む、請求項７に記載のオーディオ情報の処理方法。
【請求項９】
前記サーバが、前記第１情報を編集して第２情報を取得することは、
前記サーバが、目標文法ルールに従って第１情報の文法を修正し、修正結果に従って前記第１情報を書き換えて、書き換えた情報を取得することと、
前記サーバが、目標語義ルールに従って前記書き換えた情報を補足して、目標条件を満たす、前記第１情報に対応する情報を取得し、目標条件を満たす、前記第１情報に対応する情報を前記第２情報として決定することと、
を含む、請求項７又は８に記載のオーディオ情報の処理方法。
【請求項１０】
前記サーバが、目標語義ルールに従って前記書き換えた情報を補足して、目標条件を満たす、前記第１情報に対応する情報を取得することは、
前記サーバが、前記第１情報から第１キーワード及び第１目標単語を抽出することであって、前記第１目標単語は、前記第１情報における意味的に不完全な単語であることと、
前記サーバが、前記第１キーワードに対応する第１タグを取得することであって、前記第１タグは、前記第１キーワードが属する分野を指示することと、
前記サーバが、前記第１目標単語にマッチングする第２目標単語を前記第１タグに対応するレキシコンから取得することであって、前記第２目標単語は、意味的に完全な単語であることと、
前記サーバが、前記第２目標単語を前記書き換えた情報に補足して、目標条件を満たす、前記第１情報に対応する情報を取得することと、
を含む、請求項９に記載のオーディオ情報の処理方法。
【請求項１１】
前記サーバが、前記第１情報で搬送されるキーワードに従って前記第３情報を取得することは、
前記サーバが、前記第１情報から第２キーワードを抽出し、前記１セグメントのオーディオ情報が配置されているセッションのセッション履歴情報を取得することと、
前記サーバが、前記第２キーワード及び前記セッション履歴情報に基づいて、前記セッションに対応する第２タグを決定することであって、前記第２タグは、前記セッションが属する分野を指示することと、
前記サーバが、前記第２タグに対応する情報ライブラリから、前記第２キーワードにマッチングする情報を抽出し、前記第２キーワードにマッチングする情報を前記第３情報として決定することであって、前記情報ライブラリには、前記第２タグで指示される分野における情報が記憶されることと、
を含む、請求項７に記載のオーディオ情報の処理方法。
【請求項１２】
オーディオ情報の処理装置であって、プロセッサとメモリとを含み、前記プロセッサが前記メモリに記憶されたプログラムをロードし実行することにより、請求項１ないし１１のいずれか一項に記載の方法を実行する、オーディオ情報の処理装置。
【請求項１３】
装置に請求項１ないし１１のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年０２月０１日に中国特許局に提出された、出願番号がＣＮ２０１８１０１０３５３４５であり、発明の名称が「オーディオ情報の処理方法、装置、記憶媒体並びに電子装置」である中国特許出願の優先権を主張するものであり、その全てのコンテンツが引用により本願に組み込まれている。
【０００２】
本願は、コンピュータ分野、具体的に、オーディオ情報の処理方法、装置、記憶媒体並びに電子装置に関するものである。
【背景技術】
【０００３】
ユーザは、アプリケーションのクライアントとのインタラクションのプロセスで、タイピング、手書きなどの入力方式を用いてクライアントに情報を入力する必要がある。人間とコンピュータのインタラクションをより便利にするために、音声で入力することもできる。クライアントが、ユーザにより入力されたオーディオ情報を認識し、ユーザの指示に対してフィードバックを実行し得るが、通常、フィードバックのコンテンツは、ユーザが本当に望んでいるものではない場合が多いため、オーディオ情報の処理時の処理効率が低下し、ユーザの実際のニーズを満たすことができず、ユーザ体験が低下する。
【０００４】
上述の課題に鑑みて、効果的な解決策はまだ提案されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願実施例は、オーディオ情報の処理時、関連技術における、処理効率が低いという技術的課題を少なくとも解決する、オーディオ情報の処理方法、装置、記憶媒体並びに電子装置を開示する。
【課題を解決するための手段】
【０００６】
本願実施例の一態様によれば、オーディオ情報の処理方法を開示し、前記方法は、クライアントが、１セグメントのオーディオ情報を受信していることを検出することであって、前記１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在前記クライアントで受信されたことと、前記クライアントが、前記現在受信された前記オーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得することであって、前記第１情報は、前記オーディオ情報の第１部分に対応するテキスト情報を含み、前記第２情報は、目標条件を満たす、前記第１情報に対応する情報を含み、前記第３情報は、前記第１情報におけるキーワードに従って取得された、前記クライアントにプッシュしようとする情報を含むことと、前記クライアントが、前記第１情報、前記第２情報及び前記第３情報を表示することとを含む。
【０００７】
本願実施例の別の態様によれば、オーディオ情報の処理方法を更に開示し、前記方法は、サーバが、クライアントにより送信されるオーディオ情報の第１部分を受信することであって、１セグメントのオーディオ情報を受信していることを前記クライアントで検出し、前記オーディオ情報の第１部分は、現在前記クライアントで受信された、前記１セグメントのオーディオ情報の一部であることと、前記サーバが、前記オーディオ情報の第１部分を第１情報に変換し、前記第１情報を前記クライアントに送信することであって、前記第１情報は、前記オーディオ情報の第１部分に対応するテキスト情報を含むことと、前記サーバが、前記第１情報を編集して第２情報を取得し、前記第１情報で搬送されるキーワードに従って第３情報を取得することであって、前記第２情報は、目標条件を満たす、前記第１情報に対応する情報を含み、前記第３情報は、前記クライアントにプッシュしようとする情報を含むことと、前記サーバが、前記第２情報及び前記第３情報を前記クライアントに送信することとを含む。
【０００８】
本願実施例の別の態様によれば、オーディオ情報の処理装置を更に開示し、前記装置は、クライアントで１セグメントのオーディオ情報が受信されていることを検出するように構成される検出モジュールであって、前記１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在前記クライアントで受信された検出モジュールと、前記現在受信された前記オーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得するように構成される第１取得モジュールであって、前記第１情報は、前記オーディオ情報の第１部分に対応するテキスト情報を含み、前記第２情報は、目標条件を満たす、前記第１情報に対応する情報を含み、前記第３情報は、前記第１情報におけるキーワードに従って取得された、前記クライアントにプッシュしようとする情報を含む第１取得モジュールと、前記第１情報、前記第２情報及び前記第３情報を前記クライアントで表示するように構成される第１表示モジュールとを含む。
【０００９】
本願実施例の別の態様によれば、オーディオ情報の処理装置を更に開示し、前記装置は、クライアントにより送信されるオーディオ情報の第１部分を受信するように構成される第１受信モジュールであって、１セグメントのオーディオ情報を受信していることを前記クライアントで検出し、前記オーディオ情報の第１部分は、現在前記クライアントで受信された、前記１セグメントのオーディオ情報の一部である第１受信モジュールと、前記オーディオ情報の第１部分を第１情報に変換し、前記第１情報を前記クライアントに送信するように構成される変換モジュールであって、前記第１情報は、前記オーディオ情報の第１部分に対応するテキスト情報を含む変換モジュールと、前記第１情報を編集して第２情報を取得し、前記第１情報で搬送されるキーワードに従って第３情報を取得するように構成される第４処理モジュールであって、前記第２情報は、目標条件を満たす、前記第１情報に対応する情報を含み、前記第３情報は、前記クライアントにプッシュしようとする情報を含む第４処理モジュールと、前記第２情報及び前記第３情報を前記クライアントに送信するように構成される前記送信モジュールとを含む。
【００１０】
本願実施例の別の態様によれば、実行される時に上述のいずれかに記載の方法を実行するように構成されるコンピュータプログラムを備えることを特徴とする記憶媒体を更に開示する。
【００１１】
本願実施例の別の態様によれば、コンピュータプログラムが記憶されたメモリと、前記コンピュータプログラムを介して上述のいずれかに記載の方法を実行するように構成されるプロセッサとを備えることを特徴とする電子装置を更に開示する。
【発明の効果】
【００１２】
本願実施例において、クライアントが、１セグメントのオーディオ情報を受信していることを検出し、ここで、１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在クライアントで受信され、クライアントが、現在受信されたオーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得し、ここで、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含み、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を含み、クライアントが、第１情報、第２情報及び第３情報を表示する。本願実施例では、上記した方式を採用して、１セグメントのオーディオ情報を受信していることをクライアントで検出した場合、現在クライアントで受信された、１セグメントのオーディオ情報におけるオーディオ情報の第１部分に従って、当該オーディオ情報の第１部分に対応するテキスト情報を第１情報として取得し、目標条件を満たす、第１情報に対応する情報を第２情報として取得し、および第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を第３情報として取得し、第１情報、第２情報及び第３情報を同時にクライアントで表示する。これにより、ユーザのオーディオ情報の入力とともに、より正確で豊富なフィードバック情報をリアルタイムでユーザに提供するため、ユーザは、オーディオ情報の入力とともに、取得した情報に従ってさまざまな操作が実行でき、オーディオ情報の処理時の処理効率を向上させる技術的効果を実現することができ、更に、関連技術におけるオーディオ情報の処理時の処理効率が低いという技術的課題を解決する。
【図面の簡単な説明】
【００１３】
ここで説明する図面は本願を一層理解させるためのものであり、本願の一部を構成し、本願の例示的な実施例及びその説明は本願を解釈するもので、本願を不適切に限定するものではない。
【図１】本願実施例に係る選択可能なオーディオ情報の処理方法の概略図である。
【図２】本願実施例に係る選択可能なオーディオ情報の処理方法の適用シナリオの第１の概略図である。
【図３】本願実施例に係る選択可能なオーディオ情報の処理方法の適用シナリオの第２の概略図である。
【図４】本願の代替実施形態に係る選択可能なオーディオ情報の処理方法の第１の概略図である。
【図５】本願の代替実施形態に係る選択可能なオーディオ情報の処理方法の第２の概略図である。
【図６】本願の代替実施形態に係る選択可能なオーディオ情報の処理方法の第３の概略図である。
【図７】本願の代替実施形態に係る選択可能なオーディオ情報の処理方法の第４の概略図である。
【図８】本願の代替実施形態に係る選択可能なオーディオ情報の処理方法の第５の概略図である。
【図９】本願実施例に係る別の選択可能なオーディオ情報の処理方法の概略図である。
【図１０】本願実施例に係る選択可能なオーディオ情報の処理装置の概略図である。
【図１１】本願実施例に係る別の選択可能なオーディオ情報の処理装置の概略図である。
【図１２】本願実施例に係る選択可能なオーディオ情報の処理方法の適用シナリオの概略図である。
【図１３】本願実施例に係る別の選択可能なオーディオ情報の処理方法の適用シナリオの概略図である。
【図１４】本願実施例に係る選択可能な電子装置の概略図である。
【発明を実施するための形態】
【００１４】
当業者に本願の技術案をよりよく理解させるために、以下、本願実施例における図面を結合して、本願の実施例の技術案を明確且つ完全に説明し、明らかに、説明される実施例は、単に本願の実施例の一部であり、実施例の全てではない。本願の実施例に基づき、当業者が創造性のある労働を必要とせずに得られる他の実施例の全ては、本願の保護範囲に含まれるべきである。
【００１５】
本願の明細書、特許請求の範囲及び上記添付図面中の「第１」、「第２」等の用語は、特定の順番又は前後順番を説明するものではなく、類似する対象を区別するものである。このように使用されるデータは、適切な
状況において変換可能であるため、本明細書で説明される本願実施例は、図示されまたは説明される順番との異なる順番で実行されてもよいことを理解されたい。また、「含む」、「有する」及びこれらの任意の変形の用語は、非排他的包含を網羅することが意図され、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又はデバイスは、明確に列挙されたこれらのステップ又はユニットに必ずしも限定されず、明確に列挙されない他のステップ又はユニット、又はこれらのプロセス、方法、製品又はデバイスに固有の他のステップ又はユニットを包含することができる。
【００１６】
本願実施例の一態様によれば、オーディオ情報の処理方法を開示し、図１に示されるように、前記方法は、以下のステップを含む。
【００１７】
ステップＳ１０２において、クライアントが、１セグメントのオーディオ情報を受信していることを検出し、ここで、１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在クライアントで受信された。
【００１８】
ステップＳ１０４において、クライアントが、現在受信されたオーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得し、ここで、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含み、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を含む。
【００１９】
ステップＳ１０６において、クライアントが、第１情報、第２情報及び第３情報を表示する。
【００２０】
例示的に、本実施例では、上述のオーディオ情報の処理方法は、図２に示される、端末２０２、サーバ２０４およびネットワーク２０６からなるハードウェア環境に適用されてもよい。図２に示されるように、端末２０２は、ネットワーク２０６を介してサーバ２０４に接続される。クライアント２０８は、端末２０２にインストールされている。端末２０２は、１セグメントのオーディオ情報を受信していることをクライアント２０８で検出し、ここで、１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在クライアントで受信され、現在受信されたオーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得し、ここで、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含み、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、第１情報のキーワードに従って取得された、クライアント２０８にプッシュしようとする情報を含む。端末２０２は、１セグメントのオーディオ情報を受信していることを検出した場合、オーディオ情報の第１部分をサーバ２０４に送信することができる。サーバ２０４は、クライアント２０８により送信されるオーディオ情報の第１部分を受信し、オーディオ情報の第１部分を第１情報に変換し、第１情報をクライアント２０８に送信し、第１情報を編集して第２情報を取得し、第１情報で搬送されるキーワードに従って第３情報を取得し、第２情報及び第３情報をクライアント２０８に送信する。端末２０２は、サーバ２０４により送信される第１情報、第２情報及び第３情報を受信し、クライアント２０８で第１情報、第２情報及び第３情報を表示する。
【００２１】
例示的に、本実施例では、上述のオーディオ情報の処理方法は、図３に示される、端末３０２からなるハードウェア環境にも適用されてもよい。図３に示されるように、端末３０２には、オーディオ情報を処理するためのクライアント３０４がインストールされている。端末３０２は、クライアント３０４で、クライアント３０４の表示インターフェースのマイクアイコンに対するタッチ（図３のマイクアイコン上の黒い点は、ユーザがマイクアイコンをタッチしたことを示す）を検出することにより、クライアント３０４で１セグメントのオーディオ情報を受信していることを検出し、クライアント３０４の表示インターフェースでのオーディオ情報の入力と伴い、受信した当該１セグメントのオーディオ情報におけるオーディオ情報の第１部分に従って取得された第１情報、第２情報及び第３情報をリアルタイムで表示する。当該第１情報は、オーディオ情報の第１部分に対応するテキスト情報であり、第２情報は、目標条件を満たす、第１情報に対応する情報であり、第３情報は、第１情報におけるキーワード従って取得された、クライアントにプッシュしようとする情報である。第１情報、第２情報及び第３情報は、オーディオ情報の第１部分の更新につれてリアルタイムで更新され、即ち、クライアント３０４は、１セグメントのオーディオ情報の受信とともに、受信した一部の情報をテキストに変換して、第１情報としてクライアントのインターフェースに表示し、同時に、第１情報を第２情報に変換する。第１情報で搬送されるキーワードに従って第３情報を取得し、第１情報を表示しながら、クライアント３０４のインターフェースで当該第１情報に対応する第２情報及び第３情報を表示する。
【００２２】
例示的に、本実施例では、上述のオーディオ情報の処理方法は、クライアントでユーザの音声入力情報を受信するシナリオに適用されてもよいが、これに限定されるものではない。上述のクライアントは、例えば、オンライン教育アプリケーション、インスタントメッセージングアプリケーション、コミュニティスペースアプリケーション、ゲームアプリケーション、ショッピングアプリケーション、ブラウザアプリケーション、金融アプリケーション、マルチメディアアプリケーション、ライブストリーミングアプリケーションなどのさまざまなタイプのアプリケーションであってもよいが、これらに限定されるものではない。例示的に、オーディオ情報の処理時の処理効率を向上させるために、上述のオーディオ情報の処理方法は、上述のブラウザアプリケーションでユーザの音声入力情報を受信するシナリオ、または上述のインスタントメッセージングアプリケーションでユーザの音声入力情報を受信するシナリオに適用されてもよいが、これらに限定されるものではない。上述したのは一例にすぎず、本実施例ではこれに対して限定しない。
【００２３】
例示的に、本実施例では、上述のオーディオ情報の処理方法は、携帯電話、タブレットＰＣ、パソコン、スマートウェアラブル機器及びスマート家電などの端末機器側に適用されてもよいが、これらに限定されるものではない。
【００２４】
例示的に、本実施例では、オーディオ情報は、音声情報、歌及びビデオのオーディオ情報などであってもよいが、これらに限定されるものではない。
【００２５】
例示的に、本実施例では、クライアントが、１セグメントのオーディオ情報を受信しているかどうかを検出する方法は、クライアントで表示されるアイコンが受信した操作情報を検出することであってもよいが、これに限定されるものではない。例えば、図４に示されるように、クライアントでセッションインターフェースが表示され、セッションインターフェースで「マイク」アイコンが表示され、ユーザが当該アイコンを操作してオーディオ情報を入力するように提示する。ユーザは、当該アイコンをタッチし続けることにより、１セグメントのオーディオ情報を入力することができる。クライアントは、当該タッチし続ける操作を検出することにより、１セグメントのオーディオ情報を受信していると判断し、当該タッチ操作の中断を検出した場合、ユーザが今回オーディオ情報の入力を終了したと判断する。または、別の方法では、当該アイコンのクリック操作を検出し、最初のクリック操作を検出した場合、１セグメントのオーディオ情報を受信し始めたと判断し、２回目のクリック操作を検出した場合、当該１セグメントのオーディオ情報の受信が終了したと判断することができる。
【００２６】
例示的に、本実施例では、上述のオーディオ情報の第１部分は、クライアントで検出した、受信している１セグメントのオーディオ情報の受信した部分である。クライアントで検出した、受信している１セグメントのオーディオ情報は、ユーザの１セグメントの話、一曲の歌のいくつかの歌詞、１セグメントのビデオにおけるいくつかのセリフなどであってもよい。更に、これらのオーディオ情報を受信するプロセスが一定期間続けて、その間、受信したオーディオ情報の第１部分をテキスト情報に変換して、リアルタイムでクライアントに表示することにより、受信した情報のコンテンツをリアルタイムでユーザに示すことができる。上述のテキスト情報に対応する、目標条件を満たす情報をリアルタイムでクライアントに表示し、当該情報がユーザが入力しようとする情報である場合、ユーザは、当該情報を直接に使用して、オーディオ情報の入力し続ける必要なしに後続の操作を実行することができるため、時間を節約することができる。なお、テキスト情報におけるキーワードに従って取得された、プッシュしようとする情報をクライアントに表示することにより、ユーザにとって興味のあるコンテンツをリアルタイムでユーザに勧めることができるため、ユーザのインタラクティブな体験を向上させることができる。
【００２７】
例示的に、本実施例では、上述の目標条件は、目標文法ルールを満たすこと（当該文法ルールは、テキスト情報に対応する言語で規定された文法ルールを指すことができ、深層学習のトレーニングプロセスを通じて取得したルールであってもよいし、人為的に設定したルールであってもよい）、または、目標語義ルールを満たすこと、例えば、意味的に完全な情報など（意味的に完全なことは、文に構成要素が欠けないことを指すことができ、例えば、文には主語、述語、目的語、限定詞、副詞、補語が含まれ、または、文が完全な意味を表すことができることを指すこともできる）、または、目標文法ルールと目標語義ルールの両方を満たすことなどを含むことができるが、これらに限定されるものではない。
【００２８】
一実施形態において、図５に示されるように、オーディオ情報の入力に係るセッションインターフェースをクライアントで表示し、ユーザは、「マイク」アイコンをクリックして、上述の１セグメントのオーディオ情報として音声情報を入力する。ここで、ユーザが元々入力しようとする音声情報は、「今日の北京の天気はどうですか」である。ユーザが話している際に、この１セグメントのオーディオ情報を受信していることを検出し、このとき、ユーザがマイクに「今日」と言った場合、クライアントが、「今日」をオーディオ情報の第１部分として使用し、当該オーディオ情報の第１部分に従って取得した第１情報は、「今日」であり、目標条件を満たす、第１情報に対応する第２情報は、「今日は日曜日です」である。当該第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする第３情報は、今日のニュース１、ニュース２及びニュース３を含む３つのニュースである。クライアントで、「今日」、「今日は日曜日です」及び「ニュース１、ニュース２及びニュース３」を表示する。次に、ユーザは引き続き「北京の」と言って、このとき、クライアントが、オーディオ情報の第１部分として「今日の北京の」を使用して、第１情報である「今日の北京の」を取得し、目標条件を満たす、第１情報に対応する第２情報は、「今日の北京の天気」である。当該第１情報におけるキーワード従って取得された、クライアントにプッシュしようとする第３情報は、今日の北京の天気、今日の北京のイベント及び今日の北京のニュースであり、クライアントで、「今日の北京の」、「今日の北京の天気」及び「今日の北京の天気、今日の北京のイベント、今日の北京のニュース」を表示する。ユーザは、クライアントで表示されたコンテンツを確認した後、「今日の北京の天気」が取得しようとするものであることに気付いた場合、ユーザは、完全な入力情報として、クライアントで表示された第２情報をクリックしてもよいし、クライアントで表示された第３情報における「今日の北京の天気」をクリックすることにより、天気情報を確認してもよい。
【００２９】
例示的に、本実施例では、クライアントで第１情報、第２情報及び第３情報を表示した後、これらの情報に対する操作情報を検出することができる。ユーザは、これらの情報に対して操作を直接に実行することができ、クライアントは、異なる操作に従って、異なるフィードバックをユーザに提供する。
【００３０】
例えば、ユーザは、第１情報をクリックすることにより、第１情報を編集してもよいし、第２情報をクリックすることにより、第２情報に対応する応答情報を取得してもよいし、第３情報をクリックすることにより、第３情報に対応するページを確認してもよい。
【００３１】
例示的に、本実施例では、ユーザは、第１情報に対して編集操作を実行することができ、第１情報に対する第３操作を検出した場合、第１情報に対して実行する編集操作を受信し、編集操作を実行した後の編集結果をクライアントに表示する。
【００３２】
例示的に、本実施例では、第１情報に対するユーザのクリック操作を検出した後、第１情報を搬送するテキスト入力ボックスをクライアントに表示し、第１情報に対して実行するユーザの編集操作をテキスト入力ボックス内で検出し、編集が完了した後、テキスト入力ボックス内の編集結果を第４情報としてクライアントに表示する。例えば、第１情報を搬送するテキスト入力ボックスをクライアントに表示し、テキスト入力ボックス内の第１情報に対して実行する編集操作を検出し、編集操作に応答して編集結果をテキスト入力ボックスに表示し、編集完了命令を検出した場合、目標編集結果に対応する第４情報を１セグメントのオーディオ情報に対応するセッションインターフェースに表示する。ここで、目標編集結果は、編集完了情報を検出した後にテキスト入力ボックスに表示される編集結果であり、編集完了命令は、編集操作の終了を示す。
【００３３】
例示的に、本実施例では、クライアントが、表示された第４情報に従って、第４情報に対応するフィードバック情報を取得し、クライアントに表示することができる。例えば、第４情報に対応するフィードバック情報を取得し、当該フィードバック情報をセッションインターフェースに表示する。
【００３４】
上述のステップを通じて、１セグメントのオーディオ情報を受信していることをクライアントで検出した場合、現在クライアントで受信した１セグメントのオーディオ情報におけるオーディオ情報の第１部分に従って、第１情報として、当該オーディオ情報の第１部分に対応するテキスト情報を取得し、第２情報として、目標条件を満たす、第１情報に対応する情報を取得し、第３情報として、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を取得し、第１情報、第２情報及び第３情報を同時にクライアントに表示する。このようにして、ユーザのオーディオ情報の入力とともに、リアルタイムでより正確で豊富なフィードバック情報をユーザに提供することができるため、ユーザは、オーディオ情報の入力中に取得した情報に従ってさまざまな操作を実行できる。これにより、オーディオ情報の処理時の処理効率を向上させるという技術的効果が達成でき、更に、関連技術におけるオーディオ情報の処理時の処理効率が低いという技術的課題が解決できる。
【００３５】
一選択可能な実施形態において、第１情報、第２情報及び第３情報をクライアントに表示した後、オーディオ情報の処理方法は、以下のステップを更に含む。
【００３６】
ステップＳ１において、クライアントが、第２情報に対して実行する第１操作を検出した場合、第２情報に対応する応答情報を取得する。
【００３７】
ステップＳ２において、応答情報をクライアントに表示する。
【００３８】
目標条件を満たすことは、目標文法ルールを満たすこと、及び目標語義ルールを満たすことのうちの少なくとも１つを含む、
例示的に、本実施例では、第１操作はクリック操作であってもよいが、これに限定されるものではない。例えば、図６に示されるように、クライアントで第１情報、第２情報及び第３情報が表示され、第２情報に対して実行するクリック操作を検出した場合、第２情報に対応する応答情報を取得して、当該応答情報をクライアントに表示する。
【００３９】
例示的に、本実施例では、目標文法ルールを設定することにより、第１情報の文法の誤りを修正し、目標語義ルールを設定することにより、第１情報または文法の誤りを修正した後の書き換え情報の意味を補足して、正しい文法と完全な意味を持つ第２情報を取得する。
【００４０】
例示的に、本実施例では、目標条件を満たす、第１情報に対応する情報は、目標文法ルールに従って第１情報の文法を修正し、修正結果に従って第１情報を書き換えて、書き換えた情報を取得した後、目標語義ルールに従って書き換えた情報を補足して取得した情報であってもよい。
【００４１】
一選択可能な実施形態において、第１情報、第２情報及び第３情報をクライアントで表示した後、オーディオ情報の処理方法は、以下のステップを更に含む。
【００４２】
ステップＳ１において、クライアントが、第３情報に対して実行する第２操作を検出した場合、第３情報に対応するページを第３情報に対応する第１サーバに要求する。
【００４３】
ステップＳ２において、クライアントが、第１サーバから返信されたページを受信する。
【００４４】
ステップＳ３において、当該ページをクライアントに表示する。
【００４５】
例示的に、本実施例では、第２操作はクリック操作であってもよいが、これに限定されるものではない。例えば、図７に示されるように、第１情報、第２情報及び第３情報がクライアントに表示され、第３情報に対して実行するクリック操作を検出した場合、第３情報に対応するページを第３情報に対応する第１サーバに要求し、第１サーバから返信された前記ページを受信し、受信したページをクライアントに表示する。
【００４６】
例示的に、本実施例では、上述の第３情報は、コンテンツ情報及び１つまたは複数の提示情報を含んでもよいが、これらに限定されるものではない。ここで、コンテンツ情報は、クライアントにプッシュしようとする情報のコンテンツを指示する。検出された、第３情報に対して実行する第３操作は、コンテンツ情報に対して実行する第１サブ操作、および１つまたは複数の提示情報における目標提示情報に対して実行する第２サブ操作を含んでもよいが、これらに限定されるものではない。第３情報に対応する第１サーバに要求する、第３情報に対応するページは、上述の２つのタイプの第３情報のいずれか１つ又は複数のタイプに対応するページを含んでもよいが、これらに限定されるものではない。例えば、コンテンツ情報に対して実行する第１サブ操作を検出した場合、コンテンツ情報に対応する第１ページを第１サーバに要求し、ここで、第２操作は第１サブ操作を含み、１つまたは複数の提示情報における目標提示情報に対して実行する第２サブ操作を検出した場合、目標提示情報に対応する第２ページを第１サーバに要求し、ここで、第２ページは、第１ページと同じ分野に属する異なるページであり、または、第１ページと異なる分野に属し、第２操作は第２サブ操作を含む。
【００４７】
一選択可能な実施形態において、図８に示されるように、第１情報、第２情報、コンテンツ情報、第１提示情報及び第２提示情報がクライアントで表示され、ここで、第１情報は、オーディオ情報の第１部分に対応する「冗談を言ってください」というテキスト情報であり、第２情報は、目標条件を満たす、第１情報に対応する「冗談を言うことは言語スキルをテストするものです」という情報である。コンテンツ情報は、第１情報におけるキーワード「冗談」に従って取得された、クライアントにプッシュしようとする「冗談：質問：象を冷蔵庫に入れるには、いくつのステップが要りますか？回答：３つのステップが要ります。最初は、冷蔵庫のドアを開き、次は、象を冷蔵庫に入れ、３番目は、冷蔵庫のドアを閉じます。」という情報である。第１提示情報は、「もう一つ」のアイコンであり、第２提示情報は、「面白いイメージ」のアイコンである。ユーザは、ニーズに応じて、取得しようとする情報をクリックすることができ、例えば、クライアントは、コンテンツ情報へのクリック操作を検出することができ、検出した場合、クライアントインターフェースは、当該冗談のＷｅｂページにジャンプする。クライアントは、第１提示情報へのクリック操作を検出することができ、検出した場合、クライアントは別の冗談を取得して現在のインターフェースに表示する。クライアントは、第２提示情報へのクリック操作を検出することもでき、検出した場合、クライアントは面白いイメージを取得して現在のインターフェイスに表示することができ（図８に未図示）、または、インターフェースを面白いイメージのＷｅｂページにジャンプさせることもできる。
【００４８】
一選択可能な実施形態において、クライアントが、現在受信されたオーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得することは、以下のステップを含む。
【００４９】
ステップＳ１において、クライアントが、１セグメントのオーディオの受信し始めてから、現在の時間間隔に対応する情報要求を目標時間間隔ごとに送信し、情報要求には、オーディオ情報の第２部分が搬送され、情報要求は、オーディオ情報の第２部分に対応する第１情報、第２情報及び第３情報を要求し、オーディオ情報の第２部分は、現在の時間間隔に受信されたオーディオ情報である。
【００５０】
ステップＳ２において、クライアントが、オーディオ情報の第２部分に対応する第１情報、第２情報及び第３情報を受信し、ここで、第１情報、第２情報及び第３情報は、現在受信したオーディオ情報の第１部分に従って取得した情報であり、オーディオ情報の第１部分は、オーディオ情報の第２部分及びオーディオ情報の第３部分を時間順に繋ぎ合わせて（スプライス）取得した情報であり、オーディオ情報の第３部分は、現在の時間間隔の前の時間内に受信した１セグメントのオーディオにおける音声情報である。
【００５１】
例示的に、本実施例では、クライアントは、第２サーバと対話することができるため、現在の時間間隔の第１情報、第２情報及び第３情報を目標時間間隔ごとに取得することができる。上述の第１情報、第２情報及び第３情報の変換プロセスも、クライアントによって実行されてもよい。
【００５２】
例示的に、本実施例では、目標時間間隔を設定することにより、第１情報、第２情報、及び第３情報をクライアントに表示する頻度を配置してもよい。例えば、目標時間間隔を２００ｍｓに設定すると、クライアントは、１セグメントのオーディオ情報を受信するプロセスで、２００ｍｓごとに、オーディオ情報の第２部分を第２サーバに送信し、第２サーバから返信される第１情報、第２情報、及び第３情報を取得してクライアントに表示することができる。
【００５３】
例示的に、本実施例では、クライアントが現在の時間間隔に対応する情報要求を目標時間間隔に従って送信するプロセスでは、当該１セグメントのオーディオ情報の持続時間は、目標時間間隔の整数倍ではない可能性があり、クライアントでの第１情報、第２情報、及び第３情報の更新をリアルタイムで確保するために、１セグメントのオーディオ情報が目標時間間隔と同時に終了しない場合では、クライアントは、１セグメントのオーディオ情報を受信し終わるときに、当該目標時間間隔で受信したオーディオ情報を情報要求に含めて送信することができる。例えば、１セグメントのオーディオ情報を受信し始めてから、受信し終わるまで、現在の時間間隔に対応する情報要求を目標時間間隔ごとに送信し、最後の目標時間間隔内に位置する場合、オーディオ情報を受信し終わるとき、最後の目標時間間隔に対応する情報要求を送信し、ここで、最後の目標時間間隔は、１セグメントのオーディオ情報を受信し終わる時点の位置する目標時間間隔である。
【００５４】
例示的に、本実施例では、第２サーバは、１つの目標時間間隔内に対応するオーディオ情報の第２部分を受信するたびに、当該オーディオ情報の第２部分と前に受信したオーディオ情報の第３部分を繋ぎ合わせて、オーディオ情報の第１部分として取得し、当該オーディオ情報の第１部分に対応する第１情報、第２情報及び第３情報を取得して、リアルタイムでクライアントにフィードバックし、クライアントによってセクションインターフェイスに表示する。
【００５５】
一選択可能な実施形態において、第１情報、第２情報及び第３情報クライアントに表示することは、以下のステップを含む。
【００５６】
ステップＳ１において、クライアントが、第１情報に対応する第１会話のふきだし、第２情報に対応する第２会話のふきだし及び第３情報に対応する第３会話のふきだしを、１セグメントのオーディオ情報を受信しているインターフェースに表示する。
【００５７】
例示的に、本実施例では、第１情報、第２情報及び第３情報をクライアントのセッションインターフェースに表示する方法は、会話のふきだしの形であってもよいが、これに限定されるものではない。
【００５８】
本願実施例の別の態様によれば、別のオーディオ情報の処理方法を更に開示し、図９に示されるように、当該方法は、以下のステップを含む。
【００５９】
ステップＳ９０２において、サーバが、クライアントにより送信されるオーディオ情報の第１部分を受信し、１セグメントのオーディオ情報が受信されていることをクライアントで検出し、オーディオ情報の第１部分は、現在クライアントで受信された、１セグメントのオーディオ情報の一部である。
【００６０】
ステップＳ９０４において、サーバが、オーディオ情報の第１部分を第１情報に変換し、第１情報をクライアントに送信し、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含む。
【００６１】
ステップＳ９０６において、サーバが、第１情報を編集して第２情報を取得し、第１情報で搬送されるキーワードに従って第３情報を取得し、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、クライアントにプッシュしようとする情報を含む。
【００６２】
ステップＳ９０８において、サーバが、第２情報及び第３情報をクライアントに送信する。
【００６３】
例示的に、本実施例では、上述のオーディオ情報の処理方法は、クライアントでユーザの音声入力情報を受信するシナリオに適用されてもよいが、これに限定されるものではない。上述のクライアントは、例えば、オンライン教育アプリケーション、インスタントメッセージングアプリケーション、コミュニティスペースアプリケーション、ゲームアプリケーション、ショッピングアプリケーション、ブラウザアプリケーション、金融アプリケーション、マルチメディアアプリケーション、ライブストリーミングアプリケーションなどのさまざまなタイプのアプリケーションであってもよいが、これらに限定されるものではない。例示的に、オーディオ情報の処理時の処理効率を向上させるために、上述のオーディオ情報の処理方法は、上述のブラウザアプリケーションでユーザの音声入力情報を受信するシナリオ、または上述のインスタントメッセージングアプリケーションでユーザの音声入力情報を受信するシナリオに適用されてもよいが、これらに限定されるものではない。上述したのは一例にすぎず、本実施例ではこれに対して限定しない。
【００６４】
例示的に、本実施例では、上述のオーディオ情報の処理方法は、サーバ側に適用されてもよいが、これに限定されるものではない。クライアントが、オーディオ情報の第１部分をサーバに送信し、サーバによって、オーディオ情報の第１部分を第１情報に変換し、第１情報に対応する第２情報及び第３情報を取得してクライアントに返信し、クライアントに第１情報、第２情報及び第３情報を表示する。
【００６５】
例示的に、本実施例では、オーディオ情報は、音声情報、歌及びビデオのオーディオ情報であってもよいが、これらに限定されるものではない。
【００６６】
例示的に、本実施例では、上述のオーディオ情報の第１部分は、クライアントで検出した、受信している１セグメントのオーディオ情報の受信した部分である。クライアントで検出した、受信している１セグメントのオーディオ情報は、ユーザの１セグメントの話、一曲の歌のいくつかの歌詞、１セグメントのビデオにおけるいくつかのセリフなどであってもよい。
【００６７】
上述のステップを通じて、１セグメントのオーディオ情報を受信していることをクライアントで検出した場合、現在クライアントで受信した１セグメントのオーディオ情報におけるオーディオ情報の第１部分に従って、第１情報として、当該オーディオ情報の第１部分に対応するテキスト情報を取得し、第２情報として、目標条件を満たす、第１情報に対応する情報を取得し、第３情報として、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を取得し、第１情報、第２情報及び第３情報を同時にクライアントに表示する。このようにして、ユーザのオーディオ情報の入力とともに、リアルタイムでより正確で豊富なフィードバック情報をユーザに提供することができるため、ユーザは、オーディオ情報の入力中に取得した情報に従ってさまざまな操作を実行できる。これにより、オーディオ情報の処理時の処理効率を向上させるという技術的効果が達成でき、更に、関連技術におけるオーディオ情報の処理時の処理効率が低いという技術的課題が解決できる。
【００６８】
一選択可能な実施形態において、サーバが、オーディオ情報の第１部分を第１情報に変換することは、以下のステップを含む。
【００６９】
ステップＳ１において、サーバが、オーディオ情報の第２部分と第３部分を取得し、ここで、オーディオ情報の第２部分は、現在の目標時間間隔内で、クライアントが、クライアントに対応する第２サーバに送信したオーディオ情報であり、オーディオ情報の第３部分は、現在の時間間隔の前の時間内に第２サーバが受信したオーディオ情報である。
【００７０】
ステップＳ２において、サーバが、オーディオ情報の第２部分及びオーディオ情報の第３部分を時間順に繋ぎ合わせて、オーディオ情報の第１部分を取得する。
【００７１】
ステップＳ３において、サーバが、オーディオ情報の第１部分をテキストに変換して、第１情報を取得する。
【００７２】
例示的に、本実施例では、目標時間間隔を設定することにより、第１情報、第２情報、及び第３情報をクライアントに表示する表示頻度を配置してもよい。クライアントは、各目標時間間隔内で、現在の時間間隔で受信したオーディオ情報をサーバに送信することができ、現在の時間間隔の前のオーディオ情報は、サーバに記憶されている。サーバは、オーディオ情報の２つの部分を繋ぎ合わせて、繋ぎ合わせた情報に従って第１情報を取得する。
【００７３】
一選択可能な実施形態において、サーバが、第１情報を編集して第２情報を取得することは、以下のステップを含む。
【００７４】
ステップＳ１において、サーバが、目標文法ルールに従って第１情報の文法を修正し、修正結果に従って第１情報を書き換えて、書き換えた情報を取得する。
【００７５】
ステップＳ２において、サーバが、目標語義ルールに従って書き換えた情報を補足して、目標条件を満たす、第１情報に対応する情報を取得し、目標条件を満たす、第１情報に対応する情報を第２情報として決定する。
【００７６】
例示的に、本実施例では、目標文法ルールを設定することにより、第１情報の文法の誤りを修正してもよい。修正後に第１情報を書き換えて、文法の誤りがない書き換えた情報を取得することができ、次に、設定された目標語義ルールに従って書き換えた情報を補足して、文法の誤りがなく、意味的に完全な第２情報を取得してクライアントに返信する。
【００７７】
例示的に、本実施例では、書き換えた情報を補足することは、以下の方式を含んでもよく、即ち、第１情報から第１キーワード及び第１目標単語を抽出することであって、ここで、第１目標単語は、第１情報における意味的に不完全な単語であることと、第１キーワードに対応する第１タグを取得することであって、ここで、第１タグは、第１キーワードが属する分野を指示することと、第１タグに対応するレキシコンから、第１目標単語にマッチングする第２目標単語を取得することであって、ここで、第２目標単語は、意味的に完全な単語であることと、第２目標単語を書き換えた情報に補足して、目標条件を満たす、第１情報に対応する情報を取得することとを含む。
【００７８】
一選択可能な実施形態において、サーバが、第１情報で搬送されるキーワードに従って第３情報を取得することは、以下のステップを含む。
【００７９】
ステップＳ１において、サーバが、第１情報から第２キーワードを抽出し、１セグメントのオーディオ情報が配置されているセッションのセッション履歴情報を取得する。
【００８０】
ステップＳ２において、サーバが、第２キーワード及びセッション履歴情報に基づいて、セッションに対応する第２タグを決定し、ここで、第２タグは、セッションが属する分野を指示する。
【００８１】
ステップＳ３において、サーバが、第２タグに対応する情報ライブラリから、第２キーワードにマッチングする情報を抽出し、第２キーワードにマッチングする情報を第３情報として決定し、ここで、情報ライブラリには、第２タグで指示される分野における情報が記憶される。
【００８２】
例示的に、本実施例では、第３情報は、現在受信したオーディオ情報及びセッション履歴情報を参照して取得した、これらの情報が属する分野の情報であってもよいが、これに限定されるものではない。
【００８３】
説明を加えないといけないのは、上述した各方法の実施例について、説明を簡単にするために、全て一連の動作の組み合わせとして表現したが、当業者なら自明であるように、本願は記述された動作の順番に限定されない。というのは、前述以外の順番でまたは同時に実行するステップも存在するからである。次に、当業者なら自明であるように、明細書に記載された実施例がいずれも最適な実施例であり、関係する動作やモジュールが必ずしも本願に必要不可欠なものとは限らない。
【００８４】
以上の実施形態による説明を通じて、当業者なら自明であるように、上記実施例に係る方法が、ソフトウェアと必要な汎用ハードウェアプラットフォームの形で実現できる。一方、当然ながら、ハードウェアにより実現することもできる。前者がより好適な実施例である場合が多いことが自明である。このような理解に基づき、本願の実質的な技術的特徴又は関連技術に対する貢献度のある部分は、ソフトウェア製品に実装することができる。当該コンピュータソフトウェア製品は、記録媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に保存され、複数の命令を含むものである。当該命令に従って、端末機器（携帯電話、コンピュータ、サーバ、又はネットワークデバイス等のいずれでもよい）に本願の各実施例に記載された方法を実行させる。
【００８５】
本願実施例の別の態様によれば、上述のオーディオ情報の処理方法を実施するオーディオ情報の処理装置を更に開示する。図１０に示されるように、当該装置が、検出モジュール１０２と、第１取得モジュール１０４と、第１表示モジュール１０６とを備えてもよい。
【００８６】
１）検出モジュール１０２は、クライアントで１セグメントのオーディオ情報が受信されていることを検出するように構成され、１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在クライアントで受信された。
【００８７】
２）第１取得モジュール１０４は、現在受信されたオーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得するように構成され、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含み、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を含み。
【００８８】
３）第１表示モジュール１０６は、クライアントで、第１情報、第２情報及び第３情報を表示するように構成される、
例示的に、本実施例では、上述のオーディオ情報の処理方法は、図２に示される、端末２０２、サーバ２０４およびネットワーク２０６からなるハードウェア環境に適用されてもよい。図２に示されるように、端末２０２は、ネットワーク２０６を介してサーバ２０４に接続される。クライアント２０８は、端末２０２にインストールされる。端末２０２は、クライアントで１セグメントのオーディオ情報を受信していることを検出し、ここで、１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在クライアントで受信され、現在受信されたオーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得し、ここで、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含み、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、第１情報のキーワードに従って取得された、クライアント２０８にプッシュしようとする情報を含む。端末２０２は、１セグメントのオーディオ情報を受信していることを検出した場合、オーディオ情報の第１部分をサーバ２０４に送信することができる。サーバ２０４は、クライアント２０８により送信されるオーディオ情報の第１部分を受信し、オーディオ情報の第１部分を第１情報に変換し、第１情報をクライアント２０８に送信し、第１情報を編集して第２情報を取得し、第１情報で搬送されるキーワードに従って第３情報を取得し、第２情報及び第３情報をクライアント２０８に送信する。端末２０２は、サーバ２０４により送信される第１情報、第２情報及び第３情報を受信し、クライアント２０８で第１情報、第２情報及び第３情報を表示する。
【００８９】
例示的に、本実施例では、上述のオーディオ情報の処理方法は、図３に示される、端末３０２からなるハードウェア環境にも適用されてもよい。図３に示されるように、端末３０２には、オーディオ情報を処理するためのクライアント３０４がインストールされている。端末３０２は、クライアント３０４で、クライアント３０４の表示インターフェースのマイクアイコンに対するタッチを検出することにより、クライアント３０４で１セグメントのオーディオ情報を受信していることを検出し、クライアント３０４の表示インターフェースでのオーディオ情報の入力と伴に、受信した当該１セグメントのオーディオ情報におけるオーディオ情報の第１部分に従って取得した第１情報、第２情報及び第３情報をリアルタイムで表示する。当該第１情報は、オーディオ情報の第１部分に対応するテキスト情報であり、第２情報は、目標条件を満たす、第１情報に対応する情報であり、第３情報は、第１情報におけるキーワード従って取得された、クライアントにプッシュしようとする情報である。第１情報、第２情報及び第３情報は、オーディオ情報の第１部分の更新に伴ってリアルタイムで更新され、即ち、クライアント３０４は、１セグメントのオーディオ情報の受信と伴に、受信した部分情報をテキストに変換して取得した情報を第１情報としてクライアントのインターフェースに表示すると同時に、第１情報を第２情報に変換し、第１情報で搬送されるキーワードに従って第３情報を取得し、第１情報を表示しながら、クライアント３０４のインターフェースで当該第１情報に対応する第２情報及び第３情報を表示する。
【００９０】
例示的に、本実施例では、上述のオーディオ情報の処理方法は、クライアントでユーザの音声入力情報を受信するシナリオに適用されてもよいが、これに限定されるものではない。上述のクライアントは、例えば、オンライン教育アプリケーション、インスタントメッセージングアプリケーション、コミュニティスペースアプリケーション、ゲームアプリケーション、ショッピングアプリケーション、ブラウザアプリケーション、金融アプリケーション、マルチメディアアプリケーション、ライブストリーミングアプリケーションなどのさまざまなタイプのアプリケーションであってもよいが、これらに限定されるものではない。例示的に、オーディオ情報の処理時の処理効率を向上させるために、上述のオーディオ情報の処理方法は、上述のブラウザアプリケーションでユーザの音声入力情報を受信するシナリオ、または上述のインスタントメッセージングアプリケーションでユーザの音声入力情報を受信するシナリオに適用されてもよいが、これらに限定されるものではない。上述したのは一例にすぎず、本実施例ではこれに対して限定しない。
【００９１】
例示的に、本実施例では、上述のオーディオ情報の処理方法は、携帯電話、タブレットＰＣ、パソコン、スマートウェアラブル機器及びスマート家電などの端末機器側に適用されてもよいが、これらに限定されるものではない。
【００９２】
例示的に、本実施例では、オーディオ情報は、音声情報、歌及びビデオのオーディオ情報などであってもよいが、これらに限定されるものではない。
【００９３】
例示的に、本実施例では、クライアントが、１セグメントのオーディオ情報を受信しているかどうかを検出する方法は、クライアントで表示されるアイコンが受信した操作情報を検出することであってもよいが、これに限定されるものではない。例えば、図４に示されるように、クライアントでセッションインターフェースが表示され、セッションインターフェースで「マイク」アイコンが表示され、ユーザが当該アイコを操作してオーディオ情報を入力するように提示する。ユーザは、当該アイコンをタッチし続けることにより、１セグメントのオーディオ情報を入力することができる。クライアントは、当該タッチし続ける操作を検出することにより、１セグメントのオーディオ情報を受信していると判断し、当該タッチ操作の中断を検出した場合、ユーザが今回オーディオ情報の入力を終了したと判断する。または、別の方法では、当該アイコンのクリック操作を検出し、最初のクリック操作を検出した場合、１セグメントのオーディオ情報を受信し始めたと判断し、２回目のクリック操作を検出した場合、当該１セグメントのオーディオ情報の受信が終了したと判断することができる。
【００９４】
例示的に、本実施例では、上述のオーディオ情報の第１部分は、クライアントで検出した、受信している１セグメントのオーディオ情報の受信した部分である。クライアントで検出した、受信している１セグメントのオーディオ情報は、ユーザの１セグメントの話、一曲の歌のいくつかの歌詞、１セグメントのビデオにおけるいくつかのセリフなどであってもよい。更に、これらのオーディオ情報を受信するプロセスが一定期間続けるし、その間、受信したオーディオ情報の第１部分をテキスト情報に変換して、リアルタイムでクライアントに表示することにより、受信した情報のコンテンツをリアルタイムでユーザに示すことができる。上述のテキスト情報に対応する、目標条件を満たす情報をリアルタイムでクライアントに表示し、当該情報がユーザが入力しようとする情報である場合、ユーザは、当該情報を直接に使用して、オーディオ情報の入力し続ける必要なしに後続の操作を実行することができるため、時間を節約することができる。なお、テキスト情報におけるキーワードに従って取得された、プッシュしようとする情報をクライアントに表示することにより、ユーザにとって興味のあるコンテンツをリアルタイムでユーザに勧めることができるため、ユーザのインタラクティブな体験を向上させることができる。
【００９５】
例示的に、本実施例では、上述の目標条件は、目標文法ルールを満たすこと（当該文法ルールは、テキスト情報に対応する言語で規定された文法ルールを指すことができ、深層学習のトレーニングプロセスを通じて取得したルールであってもよいし、人為的に設定したルールであってもよい）、または、目標語義ルールを満たすこと、例えば、意味的に完全な情報など（意味的に完全なことは、文に構成要素が欠けないことを指すことができ、例えば、文には主語、述語、目的語、限定詞、副詞、補語が含まれ、または、文が完全な意味を表すことができることを指すこともできる）、または、目標文法ルールと目標語義ルールの両方を満たすことなどを含むことができるが、これらに限定されるものではない。
【００９６】
一選択可能な実施形態において、図５に示されるように、オーディオ情報の入力に係るセッションインターフェースをクライアントで表示し、ユーザは、「マイク」アイコンをクリックして、上述の１セグメントのオーディオ情報として音声情報を入力する。ここで、ユーザが元々入力しようとする音声情報は、「今日の北京の天気はどうですか」である。ユーザが話している際に、この１セグメントのオーディオ情報を受信していることを検出し、このとき、ユーザがマイクに「今日」と言った場合、クライアントが、「今日」をオーディオ情報の第１部分として使用し、当該オーディオ情報の第１部分に従って取得した第１情報は、「今日」であり、目標条件を満たす、第１情報に対応する第２情報は、「今日は日曜日です」である。当該第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする第３情報は、今日のニュース１、ニュース２及びニュース３を含む３つのニュースである。クライアントで、「今日」、「今日は日曜日です」及び「ニュース１、ニュース２及びニュース３」で表示する。次に、ユーザは引き続き「北京の」と言って、このとき、クライアントが、オーディオ情報の第１部分として「今日の北京の」を使用して、第１情報である「今日の北京の」を取得し、目標条件を満たす、第１情報に対応する第２情報は、「今日の北京の天気」である。当該第１情報におけるキーワード従って取得された、クライアントにプッシュしようとする第３情報は、今日の北京の天気、今日の北京のイベント及び今日の北京のニュースであり、クライアントで、「今日の北京の」、「今日の北京の天気」及び「今日の北京の天気、今日の北京のイベント、今日の北京のニュース」を表示する。ユーザは、クライアントで表示されたコンテンツを確認した後、「今日の北京の天気」が取得しようとするものであることに気付いた場合、ユーザは、完全な入力情報として、クライアントで表示された第２情報をクリックしてもよいし、クライアントで表示された第３情報における「今日の北京の天気」をクリックすることにより、天気情報を確認してもよい。
【００９７】
例示的に、本実施例では、クライアントで第１情報、第２情報及び第３情報を表示した後、これらの情報に対する操作情報を検出することができる。ユーザは、これらの情報に対して操作を直接に実行することができ、クライアントは、異なる操作に従って、異なるフィードバックをユーザに提供する。
【００９８】
例えば、ユーザは、第１情報をクリックすることにより、第１情報を編集してもよいし、第２情報をクリックすることにより、第２情報に対応する応答情報を取得してもよいし、第３情報をクリックすることにより、第３情報に対応するページを確認してもよい。
【００９９】
例示的に、本実施例では、ユーザは、第１情報に対して編集操作を実行することができ、第１情報に対する第３操作を検出した場合、第１情報に対して実行する編集操作を受信し、編集操作を実行した後の編集結果をクライアントに表示する。
【０１００】
例示的に、本実施例では、第１情報に対するユーザのクリック操作を検出した後、第１情報を搬送するテキスト入力ボックスをクライアントに表示し、第１情報に対して実行するユーザの編集操作をテキスト入力ボックス内で検出し、編集が完了した後、編集結果をテキスト入力ボックス内で第４情報としてクライアントに表示する。例えば、第１情報を搬送するテキスト入力ボックスをクライアントに表示し、テキスト入力ボックス内の第１情報に対して実行する編集操作を検出し、編集操作に応答して編集結果をテキスト入力ボックスに表示し、編集完了命令を検出した場合、目標編集結果に対応する第４情報を１セグメントのオーディオ情報に対応するセッションインターフェースに表示する。ここで、目標編集結果は、編集完了情報を検出した後にテキスト入力ボックスに表示される編集結果であり、編集完了命令は、編集操作の終了を示す。
【０１０１】
例示的に、本実施例では、クライアントが、表示された第４情報に従って、第４情報に対応するフィードバック情報を取得し、クライアントに表示することができる。例えば、第４情報に対応するフィードバック情報を取得し、当該フィードバック情報をセッションインターフェースに表示する。
【０１０２】
上述の装置を通じて、１セグメントのオーディオ情報を受信していることをクライアントで検出した場合、現在クライアントで受信した１セグメントのオーディオ情報におけるオーディオ情報の第１部分に従って、第１情報として、当該オーディオ情報の第１部分に対応するテキスト情報を取得し、第２情報として、目標条件を満たす、第１情報に対応する情報を取得し、第３情報として、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を取得し、第１情報、第２情報及び第３情報を同時にクライアントに表示する。このようにして、ユーザのオーディオ情報の入力とともに、リアルタイムでより正確で豊富なフィードバック情報をユーザに提供することができるため、ユーザは、オーディオ情報の入力中に取得した情報に従ってさまざまな操作を実行できる。これにより、オーディオ情報の処理時の処理効率を向上させるという技術的効果が達成でき、更に、関連技術におけるオーディオ情報の処理時の処理効率が低いという技術的課題が解決できる。
【０１０３】
一選択可能な実施形態において、上述の装置は、第２取得モジュールと、第２表示モジュールとを更に備える。
【０１０４】
１）第２取得モジュールは、第２情報に対して実行する第１操作を検出した場合、第２情報に対応する応答情報を取得するように構成される。
【０１０５】
２）第２表示モジュールは、応答情報をクライアントに表示するように構成される。
【０１０６】
目標条件を満たすことは、目標文法ルールを満たすこと、及び目標語義ルールを満たすことのうちの少なくとも１つを含む、
例示的に、本実施例では、第１操作はクリック操作であってもよいが、これに限定されるものではない。例えば、図６に示されるように、クライアントで第１情報、第２情報及び第３情報が表示され、第２情報に対して実行するクリック操作を検出した場合、第２情報に対応する応答情報を取得して、当該応答情報をクライアントに表示する。
【０１０７】
例示的に、本実施例では、目標文法ルールを設定することにより、第１情報の文法の誤りを修正し、目標語義ルールを設定することにより、第１情報または文法の誤りを修正した後の書き換えられた情報の意味を補足して、正しい文法と完全な意味を持つ第２情報を取得する。
【０１０８】
例示的に、本実施例では、目標条件を満たす、第１情報に対応する情報は、目標文法ルールに従って第１情報の文法を修正し、修正結果に従って第１情報を書き換えて、書き換えた情報を取得した後、目標語義ルールに従って書き換えた情報を補足して取得した情報であってもよい。
【０１０９】
一選択可能な実施形態において、上述の装置は、要求モジュール、第２受信モジュール、および第３表示モジュールを更に備える。
【０１１０】
１）要求モジュールは、第３情報に対して実行する第２操作を検出した場合、第３情報に対応するページを第３情報に対応する第１サーバに要求するように構成される。
【０１１１】
２）第２受信モジュールは、第１サーバから返信されたページを受信するように構成される。
【０１１２】
３）第３表示モジュールは、クライアントに当該ページを表示するように構成される。
【０１１３】
例示的に、本実施例では、第２操作はクリック操作であってもよいが、これに限定されるものではない。例えば、図７に示されるように、第１情報、第２情報及び第３情報がクライアントに表示され、第３情報に対して実行するクリック操作を検出した場合、第３情報に対応するページを第３情報に対応する第１サーバに要求し、第１サーバから返信された前記ページを受信し、受信したページをクライアントに表示する。
【０１１４】
例示的に、本実施例では、上記の第３情報は、コンテンツ情報及び１つまたは複数の提示情報を含むことができるが、これらに限定されない。ここで、コンテンツ情報は、クライアントにプッシュしようとする情報のコンテンツを指示し、検出された、第３情報に対して実行する第３操作は、コンテンツ情報対して実行する第１サブ操作、および１つまたは複数の提示情報における目標提示情報に対して実行する第２サブ操作を含むことができるが、これらに限定されない。第３情報に対応する第１サーバに要求する、第３情報に対応するページは、上記の２つのタイプの第３情報のいずれか１つ又は複数のタイプに対応するページを含むことができるが、これらに限定されない。例えば、要求モジュールは、コンテンツ情報に対して実行する第１サブ操作を検出した場合、コンテンツ情報に対応する第１ページを第１サーバに要求するように構成され、ここで、第２操作は第１サブ操作を含む。当該要求モジュールはまた、１つまたは複数の提示情報における目標提示情報に対して実行する第２サブ操作を検出した場合、目標提示情報に対応する第２ページを第１サーバに要求するように構成され、ここで、第２ページは、第１ページと同じ分野に属する異なるページであるか、第２ページは、第１ページと異なる分野に属し、第２操作は第２サブ操作を含む。
【０１１５】
一選択可能な実施形態において、図８に示されるように、第１情報、第２情報、コンテンツ情報、第１提示情報及び第２提示情報がクライアントで表示され、ここで、第１情報は、オーディオ情報の第１部分に対応する「冗談を言ってください」というテキスト情報であり、第２情報は、目標条件を満たす、第１情報に対応する「冗談を言うことは言語スキルをテストするものです」という情報である。コンテンツ情報は、第１情報におけるキーワード「冗談」従って取得された、クライアントにプッシュしようとする「冗談：質問：象を冷蔵庫に入れるには、いくつのステップが要りますか？回答：３つのステップが要ります。最初は、冷蔵庫のドアを開き、次は、象を冷蔵庫に入れて、３番目は、冷蔵庫のドアを閉じます。」という情報である。第１提示情報は、「もう一つ」のアイコンであり、第２提示情報は、「面白いイメージ」のアイコンである。ユーザは、ニーズに応じて、取得しようとする情報をクリックすることができ、例えば、クライアントは、コンテンツ情報へのクリック操作を検出することができ、検出した場合、クライアントインターフェースは、当該冗談のＷｅｂページにジャンプする。クライアントは、第１提示情報へのクリック操作検出することができ、検出した場合、クライアントは別の冗談を取得して現在のインターフェースに表示する。クライアントは、第２提示情報へのクリック操作を検出することもでき、検出した場合、クライアントは面白いイメージを取得して現在のインターフェイスに表示することができ、または、インターフェースを面白いイメージのＷｅｂページにジャンプさせることもできる。
【０１１６】
一選択可能な実施形態において、第１取得モジュールは、送信ユニットと、受信ユニットとを備える。
【０１１７】
１）送信ユニットは、１セグメントのオーディオ情報を受信し始めてから、現在の時間間隔に対応する情報要求を目標時間間隔ごとに送信するように構成され、情報要求には、オーディオ情報の第２部分が搬送され、情報要求は、オーディオ情報の第２部分に対応する第１情報、第２情報及び第３情報を要求し、オーディオ情報の第２部分は、現在の時間間隔に受信されたオーディオ情報である。
【０１１８】
２）受信ユニットは、オーディオ情報の第２部分に対応する第１情報、第２情報及び第３情報を受信するように構成され、ここで、第１情報、第２情報及び第３情報は、現在受信したオーディオ情報の第１部分に従って取得した情報であり、オーディオ情報の第１部分は、オーディオ情報の第２部分及びオーディオ情報の第３部分を時間順に繋ぎ合わせて取得した情報であり、オーディオ情報の第３部分は、現在の時間間隔の前の時間内に受信した前記１セグメントの音声情報における音声情報である。
【０１１９】
例示的に、本実施例では、クライアントは、第２サーバと対話することができるため、現在の時間間隔の第１情報、第２情報及び第３情報を目標時間間隔ごとに取得することができる。上述の第１情報、第２情報及び第３情報の変換プロセスも、クライアントによって実行されてもよい。
【０１２０】
例示的に、本実施例では、目標時間間隔を設定することにより、第１情報、第２情報、及び第３情報をクライアントに表示する表示頻度を配置してもよい。例えば、目標時間間隔を２００ｍｓに設定すると、クライアントは、１セグメントのオーディオ情報を受信するプロセスで、２００ｍｓごとに、オーディオ情報の第２部分を第２サーバに送信し、第２サーバから返信される第１情報、第２情報、及び第３情報を取得してクライアントで表示することができる。
【０１２１】
例示的に、本実施例では、クライアントが現在の時間間隔に対応する情報要求を目標時間間隔に従って送信するプロセスでは、当該１セグメントのオーディオ情報の持続時間は、目標時間間隔の整数倍ではない可能性があり、クライアントでの第１情報、第２情報、及び第３情報の更新をリアルタイムで、確保するために、１セグメントのオーディオ情報が目標時間間隔と同時に終了しない場合では、クライアントは、１セグメントのオーディオ情報を受信し終わるときに、当該目標時間間隔で受信したオーディオ情報を情報要求に含めて送信することができる。例えば、１セグメントのオーディオ情報を受信し始めてから、受信し終わるまで、現在の時間間隔に対応する情報要求を目標時間間隔ごとに送信し、最後の目標時間間隔内に位置する場合、オーディオ情報を受信し終わるとき、最後の目標時間間隔に対応する情報要求を送信し、ここで、最後の目標時間間隔は、１セグメントのオーディオ情報を受信し終わる時点の位置する目標時間間隔である。
【０１２２】
例示的に、本実施例では、第２サーバは、１つの目標時間間隔内に対応するオーディオ情報の第２部分を受信するたびに、当該オーディオ情報の第２部分と前に受信したオーディオ情報の第３部分を繋ぎ合わせて、オーディオ情報の第１部分として取得し、当該オーディオ情報の第１部分に対応する第１情報、第２情報及び第３情報を取得して、リアルタイムでクライアントにフィードバックし、クライアントによってセクションインターフェイスに表示する。
【０１２３】
一選択可能な実施形態において、第１表示モジュールは、第１情報に対応する第１会話のふきだし、第２情報に対応する第２会話のふきだし及び第３情報に対応する第３会話のふきだしを、１セグメントのオーディオ情報を受信しているインターフェースに表示するように構成される。
【０１２４】
例示的に、本実施例では、第１情報、第２情報及び第３情報をクライアントのセッションインターフェースに表示する方法は、会話のふきだしの形であってもよいが、これに限定されるものではない。
【０１２５】
本願実施例の別の態様によれば、上述のオーディオ情報の処理方法を実施する別のオーディオ情報の処理装置を更に開示する。図１１に示されるように、当該装置が、第１受信モジュール１１２、変換モジュール１１４、処理モジュール１１６、および送信モジュール１１８を備えてもよい。
【０１２６】
１）第１受信モジュール１１２は、クライアントにより送信されるオーディオ情報の第１部分を受信するように構成され、１セグメントのオーディオ情報が受信されていることをクライアントで検出し、オーディオ情報の第１部分は、現在クライアントで受信された、１セグメントのオーディオ情報の一部である。
【０１２７】
２）変換モジュール１１４は、オーディオ情報の第１部分を第１情報に変換し、第１情報をクライアントに送信するように構成され、ここで、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含む。
【０１２８】
３）処理モジュール１１６は、第１情報を編集して第２情報を取得し、第１情報で搬送されるキーワードに従って第３情報を取得するように構成され、ここで、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、クライアントにプッシュしようとする情報を含む。
【０１２９】
４）送信モジュール１１８は、第２情報及び第３情報をクライアントに送信するように構成される。
【０１３０】
例示的に、本実施例では、上述のオーディオ情報の処理装置は、クライアントでユーザの音声入力情報を受信するシナリオに適用されてもよいが、これに限定されるものではない。ここで、上述のクライアントが、例えば、オンライン教育アプリケーション、インスタントメッセージングアプリケーション、コミュニティスペースアプリケーション、ゲームアプリケーション、ショッピングアプリケーション、ブラウザアプリケーション、金融アプリケーション、マルチメディアアプリケーション、ライブストリーミングアプリケーションなどのさまざまなタイプのアプリケーションであり得るが、これらに限定されるものではない。例示的に、オーディオ情報の処理時の処理効率を向上させるために、上述のオーディオ情報の処理装置は、上記のブラウザアプリケーションでユーザの音声入力情報を受信するシナリオ、または上記のインスタントメッセージングアプリケーションでユーザの音声入力情報を受信するシナリオに適用されてもよいが、これらに限定されるものではない。上記は一例にすぎず、本実施例ではこれに対して限定しない。
【０１３１】
例示的に、本実施例では、上述のオーディオ情報の処理装置は、サーバ側に適用されてもよいが、これに限定されるものではない。クライアントが、オーディオ情報の第１部分をサーバに送信し、サーバによって、オーディオ情報の第１部分を第１情報に変換し、第１情報に対応する第２情報及び第３情報を取得してクライアントに返信し、クライアントに第１情報、第２情報及び第３情報を表示する。
【０１３２】
例示的に、本実施例では、オーディオ情報は、音声情報、歌及びビデオのオーディオ情報であってもよいが、これらに限定されるものではない。
【０１３３】
例示的に、本実施例では、上述のオーディオ情報の第１部分は、クライアントで検出した、受信している１セグメントのオーディオ情報の受信した部分である。クライアントで検出した、受信している１セグメントのオーディオ情報は、ユーザの１セグメントの話、一曲の歌のいくつかの歌詞、１セグメントのビデオにおけるいくつかのセリフなどであってもよい。
【０１３４】
上述の装置を通じて、１セグメントのオーディオ情報を受信していることをクライアントで検出した場合、現在クライアントで受信した１セグメントのオーディオ情報におけるオーディオ情報の第１部分に従って、第１情報として、当該オーディオ情報の第１部分に対応するテキスト情報を取得し、第２情報として、目標条件を満たす、第１情報に対応する情報を取得し、第３情報として、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を取得し、第１情報、第２情報及び第３情報を同時にクライアントに表示する。このようにして、ユーザのオーディオ情報の入力とともに、リアルタイムでより正確で豊富なフィードバック情報をユーザに提供することができるため、ユーザは、オーディオ情報の入力中に取得した情報に従ってさまざまな操作を実行できる。これにより、オーディオ情報の処理時の処理効率を向上させるという技術的効果が達成でき、更に、関連技術におけるオーディオ情報の処理時の処理効率が低いという技術的課題が解決できる。
【０１３５】
一選択可能な実施形態において、変換モジュールが、取得ユニット、スプライシングユニット、および変換ユニットとを備えてもよい。
【０１３６】
１）取得ユニットは、オーディオ情報の第２部分と第３部分を取得するように構成され、ここで、オーディオ情報の第２部分は、現在の目標時間間隔内で、クライアントが、クライアントに対応する第２サーバに送信したオーディオ情報であり、オーディオ情報の第３部分は、現在の時間間隔の前の時間内に第２サーバが受信したオーディオ情報である。
【０１３７】
２）スプライシングユニットは、オーディオ情報の第２部分及びオーディオ情報の第３部分を時間順に繋ぎ合わせて、オーディオ情報の第１部分を取得するように構成される。
【０１３８】
３）変換ユニットは、オーディオ情報の第１部分をテキストに変換して、第１情報を取得するように構成される。
【０１３９】
例示的に、本実施例では、目標時間間隔を設定することにより、第１情報、第２情報、及び第３情報をクライアントに表示する表示頻度を配置してもよい。クライアントは、各目標時間間隔内で、現在の時間間隔で受信したオーディオ情報をサーバに送信することができ、現在の時間間隔の前のオーディオ情報は、サーバに記憶されている。サーバは、オーディオ情報の２つの部分を繋ぎ合わせて、繋ぎ合わせた情報に従って第１情報を取得する。
【０１４０】
一選択可能な実施形態において、第４処理モジュールが、修正ユニットと、補足ユニットとを備えてもよい。
【０１４１】
１）修正ユニットは、目標文法ルールに従って第１情報の文法を修正し、修正結果に従って第１情報を書き換えて、書き換えた情報を取得するように構成される。
【０１４２】
２）補足ユニットは、目標語義ルールに従って書き換えた情報を補足して、目標条件を満たす、第１情報に対応する情報を取得し、目標条件を満たす、第１情報に対応する情報を第２情報として決定するように構成される。
【０１４３】
例示的に、本実施例では、目標文法ルールを設定することにより、第１情報の文法の誤りを修正してもよい。修正した後に第１情報を書き換えて、文法の誤りがない書き換えた情報を取得することができ、次に、設定された目標語義ルールに従って書き換えた情報を補足して、文法の誤りがない、意味的に完全な第２情報を取得してクライアントに返信する。
【０１４４】
例示的に、本実施例では、補足ユニットは、第１情報から第１キーワード及び第１目標単語を抽出するように構成される抽出サブユニットであって、ここで、第１目標単語は、第１情報における意味的に不完全な単語である抽出サブユニットと、第１キーワードに対応する第１タグを取得するように構成される第１取得サブユニットであって、ここで、第１タグは、第１キーワードが属する分野を指示する第１取得サブユニットと、第１目標単語にマッチングする第２目標単語を第１タグに対応するレキシコンから取得するように構成される第２取得サブユニットであって、ここで、第２目標単語は、意味的に完全な単語である第２取得サブユニットと、第２目標単語を書き換えた情報に補足して、目標条件を満たす、第１情報に対応する情報を取得するように構成される補足サブユニットとを含む。
【０１４５】
一選択可能な実施形態において、第４処理モジュールが、第１抽出ユニットと、決定ユニットと、第２抽出ユニットとを備えてもよい。
【０１４６】
１）第１抽出ユニットは、第１情報から第２キーワードを抽出し、１セグメントのオーディオ情報が配置されているセッションの履歴セッション履歴情報を取得するように構成される。
【０１４７】
２）決定ユニットは、第２キーワード及びセッション履歴情報に基づいて、セッションに対応する第２タグを決定するように構成され、ここで、第２タグは、セッションが属する分野を指示する。
【０１４８】
３）第２抽出ユニットは、第２タグに対応する情報ライブラリから、第２キーワードにマッチングする情報を抽出し、第２キーワードにマッチングする情報を第３情報として決定するように構成され、ここで、情報ライブラリには、第２タグで指示される分野における情報が記憶される。
【０１４９】
例示的に、本実施例では、第３情報は、現在受信したオーディオ情報及びセッション履歴情報を参照して取得した、これらの情報が属する分野の情報であってもよいが、これに限定されるものではない。
【０１５０】
本願実施例の適用シナリオについては、上述の実施例における適用シナリオを参照することができるが、これらに限定されるものではないため、本実施例では繰り返して説明しない。本願実施例では、上述のリアルタイム通信を実施するための接続方法における、例示的な適用例を開示する。
【０１５１】
例示的な実施例として、上述のオーディオ情報の処理方法は、図１２に示されるように、音声アシスタントが、受信したオーディオ情報を処理するシナリオに適用されてもよいが、これに限定されるものではない。このシナリオでは、音声アシスタントは、マイクで入力された元の録音情報を、ノンストップでバックグラウンドサーバに送信してテキスト情報に変換する。バックグラウンドサーバによって変換したテキスト情報を返信するプロセスで、ユーザ体験を向上させるために補助入力テキストを返信し、返信した補助テキストは、修正テキスト情報及びチャット履歴コンテンツに基づくお勧めの情報を含む。端末は、ふきだしの形でユーザに表示し、録音プロセスの実行に伴って、プロセス全体がノンストップで動的に変化及び調整されることにより、ユーザは、自分のニーズに応じて、直接にふきだしをクリックして要求を送信することで消費することができる。
【０１５２】
上述の方式を通じて、ユーザの音声入力中に、ユーザが現在入力したコンテンツに従って、リアルタイムで修正を提示することができ、ユーザのセッションストリームのコンテキストの語彙に従って、関連コンテンツをユーザに勧めることにより、音声入力におけるユーザ体験を向上させることができる。
【０１５３】
図１２に示されるように、ユーザは、楽にふきだしをクリックするだけで要求することができる。提示情報は、音声入力中に及びセッションの完了後に、ふきだしの形で表示される。ふきだしのコンテンツは、修正情報及びお勧めの情報の２つのタイプのコンテンツであり得る。
【０１５４】
例示的に、本実施例では、ユーザの持続的な音声入力のプロセス中に、端末は１００ｍｓの音声データを目標時間間隔として使用し、現在話した音声情報をテキスト情報に変換するように、ノンストップでバックグラウンドサーバに要求する。バックグラウンドサーバは、１００ｍｓごとに、端末から送信される情報を受信し、当該情報を現在ユーザが入力した音声情報に対応するテキスト情報に変換する。ユーザが話し終えていないため、変換されたテキスト情報が不完全であり、更に文法の誤りが存在する可能性もある。このとき、端末の修正モジュールは、現在のテキストコンテンツに基づいて修正した、文法の誤りがない完全な１セグメントのテキストを提供し、ユーザが選択して使用できるように、当該テキストを端末に返信する。
【０１５５】
例示的に、本実施例では、ユーザは、自分のニーズに応じて、直接にふきだしをクリックして要求を送信することで消費することができる。
【０１５６】
例えば、ユーザが入力した音声情報の一部が、バックグラウンドサーバによって変換されて取得したテキストが「王者栄耀での李」である場合、修正情報に従って、このテキストを「王者栄耀での李白の遊び方」に補足し、分野として「ゲーム」に指定する。同時に、コンテキストに基づいて「詩仙の李白の百科事典」と、分野とする「百科事典」の２つのふきだしを端末におすすめする。ユーザがふきだしをクリックすると、端末によって、ふきだしテキストと分野情報をバックグラウンドサーバに送信することにより、対応するサービスを正確に消費することができる。ユーザの意図が上述の２つのふきだしのコンテンツではない場合、ユーザは話し終わるまで話し続ける。
【０１５７】
一選択可能な実施形態において、図１３に示されるように、端末は音声情報を受信し始め、目標時間間隔として１００ｍｓを取り、当該受信した音声情報をバックグラウンドサーバに送信する。バックグラウンドサーバが、現在の１００ｍｓのオーディオデータを受信し、当該オーディオデータと、前のセッションの録音データと繋ぎ合わせて、現在のセッションの入力テキストとする［返信結果１］に変換する。バックグラウンドサーバが、［返信結果１］に文法の誤り（現在変換したのは半文であり、文法の誤りがある可能性が高い）があるかどうかを検出し、当該文法の誤りを修正し、完全な文に補完して［返信結果２］を取得する。バックグラウンドサーバが、［返信結果１］におけるキーワード（バックグラウンドＡＩのインテリジェントワード推測機能によって取得できる）に基づいて、セッション履歴のチャットコンテンツを検索し、関連するおすすめ結果として［返信結果３］を返信する。返信結果１、２、３を組み合わせて端末に返信する。ここで言及されているセットするのは、結果１、２、３を１つの応答メッセージで一緒に端末に返信することであり得る。端末は、結果１、２及び３をふきだしの形で表示する。ユーザは話し続けて、次の１００ｍｓの音声データを送信し、前のプロセスを繰り返す。ユーザは、話しを完了してもよいし、ふきだしをクリックして、端末によってふきだしのコンテンツを送信することで、ユーザの音声入力を終了してもよい。
【０１５８】
上述のプロセスでは、端末で表示されるふきだしは、表示テキスト、送信テキスト、および分野意図で構成されてもよい。表示テキストは、ユーザに見える、ふきだしで表示す情報である。送信テキストは、人工知能バックグラウンドに送信する、当該人工知能の理解により、エラを修正し、補足するテキスト情報である。分野意図は、人工知能バックグラウンドに送信する、テキスト標識の分野意図であり、例えば、李白は詩人の李白か、王者栄耀での李白かを標識するものである。
【０１５９】
例示的に、本実施例では、ユーザの音声入力中に、リアルタイムでふきだしを表示することができ、ユーザの音声ストリームをテキストストリームに変換するプロセスで、バックグラウンドは、変換されたテキスト情報と、現在の入力したテキストに対応する変更されたふきだしデータをリアルタイムで返信する。ふきだしデータは、複数のデータであることができ、データセットの形で返信することができる。
【０１６０】
例示的に、本実施例では、ユーザの音声入力が完了した後、音声アシスタントの現在のセッションが返信し終わると、セッションの最後で入力ストリームの上方に補助のふきだしが浮かぶ。
【０１６１】
例示的に、本実施例では、ふきだしの表示において、修正機能を開示し、ユーザが入力した、音声変換されたテキストに従って、ＮＬＰで文法を学習した人工知能ライブラリを使用して、変換されたテキスト情報を修正及び補足する。
【０１６２】
例示的に、本実施例では、ふきだしの表示において、おすすめ機能を更に開示し、ユーザが入力した、音声変換されたテキスト、及びチャット履歴のコンテキスト語彙に従って、関連する情報をユーザにおすすめする。
【０１６３】
例示的に、本実施例では、上述のふきだしの表示の全体的なプロセスは、以下のステップを含む。
【０１６４】
ステップ１において、ユーザが端末をクリックして録音を開始すると、端末は、マイクロフォンによって録音された元のオーディオデータを１００ｍｓの時間単位で、ノンストップでバックグラウンドに送信する。バックグラウンドは、当該オーディオデータを受信した後、前にアップロードされたオーディオデータを参照してテキストに変換し、変換したテキスト情報を端末に送信して、ユーザに示す。このプロセスは、ユーザが入力を終了するまで繰り返す。
【０１６５】
ステップ２において、バックグラウンドが元の音声入力を受信した後、現在アップロードされている音声入力と前にアップロードされた音声入力を参照して、オーディオ情報をテキストに変換し、この時点で返信するテキストは、リアルタイムで話している音声情報に対応するテキストである。
【０１６６】
ステップ３において、バックグラウンドは、ステップ２で変換されたテキスト情報を入力情報として修正モジュールに要求し、修正モジュールは、お勧めの修正したテキストを返信する。ステップ２で返信されたテキストに文法の誤りがない場合、修正モジュールは、ホットワードに基づいてテキストを自動的に補完する。
【０１６７】
ステップ４において、バックグラウンドは、ステップ２で変換されたテキスト情報を入力としてセッションサーバに要求し、セッションサーバには、現在のユーザのセッションコンテンツが保留されている。セッションサーバは、チャット履歴のコンテンツに従って関連するおすすめ情報を返信する。
【０１６８】
ステップ５において、バックグラウンドは、ステップ３の結果を修正タイプのふきだしに繋ぎ合わせて、ステップ４から返信された結果をおすすめふきだしに繋ぎ合わせて端末に返信する。
【０１６９】
ステップ６において、端末は、ユーザがクリックして消費できるように、ふきだしを表示する。
【０１７０】
上述のプロセスを通じて、音声入力プロセスにおける修正機能、及びおすすめ機能を実現し、当該プロセスが、チャットコンテキストの語彙に基づいていることにより、おすすめするコンテンツがユーザのニーズをよりよく満たさせることができる。当該プロセスを通じて、音声入力後のふきだしの補助入力機能も実現する。
【０１７１】
本願実施例の更に別の態様によれば、上述のオーディオ情報の処理方法を実施する電子装置を更に開示する。図１４に示されるように、当該電子装置が、１つまたは複数の（図では１つだけを示す）プロセッサ１４０２、メモリ１４０４、センサ１４０６、エンコーダ１４０８、および伝送装置１４１０を備えてもよい。当該メモリ１４０４に、コンピュータプログラムが記憶される。当該プロセッサ１４０２は、コンピュータプログラムによって、上述のいずれかの方法実施例におけるステップを実行するように構成される。
【０１７２】
例示的に、本実施例では、上述の電子装置が、コンピュータネットワークにおける複数のネットワーク機器のうちの少なくとも１つに配置されてもよい。
【０１７３】
例示的に、本実施例では、上述のプロセッサは、コンピュータプログラムによって以下のステップを実行するように構成されてもよい。
【０１７４】
ステップＳ１において、クライアントで１セグメントのオーディオ情報を受信していることをクライアントで検出し、ここで、現在クライアントには、１セグメントのオーディオ情報におけるオーディオ情報の第１部分が受信された。
【０１７５】
ステップＳ２において、現在受信されたオーディオ情報の第１部分に従って、第１情報、第２情報及び第３情報を取得し、ここで、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含み、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を含む。
【０１７６】
ステップＳ３において、第１情報、第２情報及び第３情報をクライアントに表示する。
【０１７７】
本願実施例の別の態様によれば、上述のプロセッサは、更に、コンピュータプログラムによって、以下のステップを実行するように構成される。
【０１７８】
ステップＳ１において、クライアントにより送信されるオーディオ情報の第１部分を受信し、１セグメントのオーディオ情報が受信されていることをクライアントで検出し、オーディオ情報の第１部分は、現在クライアントで受信された、１セグメントのオーディオ情報の一部である。
【０１７９】
ステップＳ２において、オーディオ情報の第１部分を第１情報に変換し、第１情報をクライアントに送信し、ここで、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含む。
【０１８０】
ステップＳ３において、第１情報を編集して第２情報を取得し、第１情報で搬送されるキーワードに従って第３情報を取得し、ここで、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、クライアントにプッシュしようとする情報を含む。
【０１８１】
ステップＳ４において、第２情報及び第３情報をクライアントに送信する。
【０１８２】
例示的に、図１４に示される構造が例示的なものに過ぎず、端末は、スマートフォン（例えば、Ａｎｄｒｏｉｄ携帯電話、ｉＯＳ携帯電話等）、タブレットＰＣ、ハンドヘルドコンピュータ及びモバイルインターネットデバイス（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅｓ、ＭＩＤと略称）、ＰＡＤ等の端末機器でもよいと当業者なら自明である。図１４は、上記電子装置を限定するものではない。例えば、端末が、更に図１４に示されるものより多いまたは少ない部品（例えば、ネットワークインタフェース、表示装置等）を含んでもよく、または、図１４に示された部品とは異なるものを有してもよい。
【０１８３】
メモリ１４０２に、ソフトウェアプログラム及びモジュールを記憶することができる。例えば、本願実施例におけるオーディオ情報の処理方法及び装置に対応するプログラム命令／モジュールである。プロセッサ１４０４が、メモリ１４０２に記憶されたソフトウェアプログラム及びモジュールを実行することにより、様々な機能を備えるアプリケーション及びデータ処理を実行し、つまり、上述のオーディオ情報の処理方法を実現する。メモリ１４０２が、高速ランダムアクセスメモリを含んでもよく、一つ以上の磁気記憶装置、フラッシュメモリ、又は他の不揮発性固体メモリ等の不揮発性メモリも含んでもよい。一部の実例では、メモリ１４０２は、プロセッサ１４０４に対して遠隔に設置されたメモリを含んでもよく、これらの遠隔メモリはネットワークを介して端末に接続することができる。上述のネットワークの実例が、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク及びそれらの組み合わせを含むが、これらに限定されるものではない。
【０１８４】
上述の伝送装置１４１０は、ネットワーク経由でデータを送受信し、またプロセッサとメモリとのデータ伝送を実行することもできる。上述のネットワークの実例が、有線ネットワーク及び無線ネットワークを含んでもよい。一実例では、伝送装置１４１０が、一つのネットワークアダプタ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃｏｎｔｒｏｌｌｅｒ、ＮＩＣと略称）を含み、ネットワークケーブルを介して、他のネットワークデバイス及びルータに接続することができ、インターネット又はローカルエリアネットワークとの通信を行うことができる。一実例では、伝送装置１４１０は、無線周波（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ、ＲＦと略称）モジュールであり、無線方式でインターネットと通信するものである。
【０１８５】
例示的に、メモリ１４０２が、アプリケーションプログラムを記憶するように構成される。
【０１８６】
本願実施例では、記憶媒体を更に開示する。当該記憶媒体に、コンピュータプログラムが記憶され、当該コンピュータプログラムは、実行されるときに上述のいずれかの方法実施例におけるステップを実行するように構成される。
【０１８７】
例示的に、本実施例では、上述の記憶媒体は、以下のステップを実行するためのコンピュータプログラムを記憶するように構成される。
【０１８８】
ステップＳ１において、１セグメントのオーディオ情報を受信していることをクライアントで検出し、１セグメントのオーディオ情報におけるオーディオ情報の第１部分が現在クライアントで受信された。
【０１８９】
ステップＳ２において、現在受信されたオーディオ情報の第１部分に従って、第１情報、第２情報および第３情報を取得し、ここで、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含み、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、第１情報におけるキーワードに従って取得された、クライアントにプッシュしようとする情報を含む。
【０１９０】
ステップＳ３において、第１情報、第２情報および第３情報をクライアントで表示する。
【０１９１】
本願実施例の別の態様によれば、上述の記憶媒体は、更に、以下のステップを実行するためのコンピュータプログラムを記憶するように構成される。
【０１９２】
ステップＳ１において、クライアントにより送信されるオーディオ情報の第１部分を受信し、１セグメントのオーディオ情報が受信されていることをクライアントで検出し、オーディオ情報の第１部分は、現在クライアントに受信された１セグメントのオーディオ情報の一部である。
【０１９３】
ステップＳ２において、オーディオ情報の第１部分を第１情報に変換し、第１情報をクライアントに送信し、ここで、第１情報は、オーディオ情報の第１部分に対応するテキスト情報を含む。
【０１９４】
ステップＳ３において、第１情報を編集して第２情報を取得し、第１情報で搬送されるキーワードに従って第３情報を取得し、ここで、第２情報は、目標条件を満たす、第１情報に対応する情報を含み、第３情報は、クライアントにプッシュしようとする情報を含む。
【０１９５】
ステップＳ４において、第２情報および第３情報をクライアントに送信する。
【０１９６】
例示的に、記憶媒体は、更に、上述の実施例における方法に含まれるステップを実行するためのコンピュータプログラムを記憶するように構成され、本実施例では繰り返信して説明しない。
【０１９７】
例示的に、本実施例では、上述の実施例における各方法の全部又は一部は、プログラムによって、端末機器に関連するハードウェアを指示することで実行されてもよいと当業者なら自明である。当該プログラムは、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。記憶媒体は、Ｕディスク、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭと略称）、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭと略称）、磁気ディスクまたは光ディスクなどを含んでもよい。
【０１９８】
上述の本願実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。
【０１９９】
上述の実施例における集積されたユニットが、ソフトウェア機能のユニットで実現され、独立した製品として販売又は使用する場合、上記コンピュータ読取可能な記憶媒体に記憶することができる。このような理解に基づいて、本願の実質的な技術的特徴、関連技術に対する貢献度のある部分、又は当該技術的特徴の全部又は一部は、ソフトウェア製品に実装することができる。当該コンピュータソフトウェア製品が記憶媒体に記憶されることは、一つ以上のコンピュータデバイス（パーソナルコンピュータ、サーバ又はネットワークデバイス等でもよい）に本願各実施例に記載される方法のステップの全部又は一部を実行させる複数のコマンドを含む。
【０２００】
本願上述の実施例では、其々説明する際の重み付けがあった為、ある実施例で詳しく説明していない部分は、他の実施例の関連部分の説明を参照してもよい。
【０２０１】
本願実施例が開示したクライアントが、他の形態でも代替することができると理解される。これまで説明した装置に関する実施例が例示的なものに過ぎず、例えば前述の各ユニットが、ロジック機能に基づく区分されたものに過ぎず、実装の際は、他の区分方法でもよい。例えば、複数のユニット又は部品が一緒になったり、他のシステムに集積したり、一部の特徴を省略したり、又は実行しなかったりすることもできる。また、表示又は検討した接続関係は、直接に接続することもできれば、インターフェース、ユニット又はモジュールを介して、通信で間接に接続することもできる。通信で間接に接続することは、電気的でもよいし、他の形態でもよい。
【０２０２】
上述の、分離された部品として説明したユニットは、物理的に分離されてもよいし、そうでなくてもよい。ユニットとして表現した部品は、物理ユニットでもよければ、そうでなくてもよい。即ち、同じ場所に実装することもできれば、複数のネットワークユニットに分散させることもできる。実際の需要に応じて、その中の一部又は全部のユニットを選択して本願実施例の技術的特徴の目的を達成することができる。
【０２０３】
また、本願各実施例における各機能ユニットを一つの処理ユニットに集積することができれば、物理的に独立した複数のユニットでもよく、更に、２つ以上のユニットを一つのユニットに集積することもできる。上述の集積ユニットがハードウェアでも良ければ、ソフトウェアによる機能ユニットでもよい。
【０２０４】
以上に述べたのは、本願における好適な実施例に過ぎず、当業者なら本願の技術的な発想を逸脱せずに改良又は改善を加えることもできる。これらの改良及び改善も本願の保護範囲に含まれる。
【産業上の利用可能性】
【０２０５】
上述の説明からわかるように、本願では、ユーザのオーディオ情報の入力中に、リアルタイムでより正確で豊富なフィードバック情報をユーザに提供することにより、ユーザは、オーディオ情報の入力中に取得した情報に従ってさまざまな操作を実行できる。これにより、オーディオ情報の処理時の処理効率を向上させるという技術的効果が達成でき、更に、関連技術におけるオーディオ情報の処理時の処理効率が低いという技術的課題を解決する。
【図１】
2021513103.tif 000003
【図２】
2021513103.tif 000004
【図３】
2021513103.tif 000005
【図４】
2021513103.tif 000006
【図５】
2021513103.tif 000007
【図６】
2021513103.tif 000008
【図７】
2021513103.tif 000009
【図８】
2021513103.tif 000010
【図９】
2021513103.tif 000011
【図１０】
2021513103.tif 000012
【図１１】
2021513103.tif 000013
【図１２】
2021513103.tif 000014
【図１３】
2021513103.tif 000015
【図１４】
2021513103.tif 000016
【国際調査報告】
2021513103.tif 000017
2021513103.tif 000018
2021513103.tif 000019
2021513103.tif 000020