(57)【要約】      （修正有）【課題】車載機器の応答速度の試験結果の精度を向上させる方法、装置、機器及び記憶媒体を提供する。【解決手段】方法は、予め設定された音声命令と車載機器による予め設定された音声命令に対する応答情報とを含むマルチメディア情報を取得し、マルチメディア情報を解析して、予め設定された音声命令の終了時間及び応答情報に対応する時間を決定し、予め設定された音声命令の終了時間及び応答情報に対応する時間に基づいて、車載機器の応答速度を決定する。【選択図】図２
2022003388.tif 000002
【特許請求の範囲】
【請求項１】
車載機器の応答速度を試験する方法であって、
予め設定された音声命令と車載機器による前記予め設定された音声命令に対する応答情報とを含むマルチメディア情報を取得することと、
前記マルチメディア情報を解析して、前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間を決定することと、
前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間に基づいて、前記車載機器の応答速度を決定することと、を含む車載機器の応答速度を試験する方法。
【請求項２】
前記マルチメディア情報を解析して、前記予め設定された音声命令の終了時間を決定することは、
前記マルチメディア情報からオーディオファイルを抽出することと、
前記オーディオファイルにおけるオーディオデシベル値が予め設定されたデシベル値の以上である少なくとも１つの音声セグメントの開始時間及び終了時間を決定することと、
前記少なくとも１つの音声セグメントの開始時間及び終了時間に基づいて、前記少なくとも１つの音声セグメントから、前記予め設定された音声命令の終了時間を決定することと、を含む請求項１に記載の方法。
【請求項３】
前記応答情報は、音声情報を含み、前記応答情報に対応する時間を決定することは、
前記少なくとも１つの音声セグメントの開始時間及び終了時間に基づいて、前記少なくとも１つの音声セグメントから、前記音声情報の開始時間を決定すること、を含み、
前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間に基づいて、前記車載機器の応答速度を決定することは、
前記予め設定された音声命令の終了時間と前記音声情報の開始時間に基づいて、前記車載機器による前記予め設定された音声命令に対する応答音声の放送速度を決定すること、を含む請求項２に記載の方法。
【請求項４】
前記オーディオファイルにおけるオーディオデシベル値が予め設定されたデシベル値の以上である少なくとも１つの音声セグメントの開始時間及び終了時間を決定することは、
前記オーディオファイルをトラバースして、前記オーディオファイルの第１の時点のオーディオデシベル値が予め設定されたデシベル値の以上である場合、前記第１の時点を第１の音声セグメントの開始時間として決定し、且つ、前記第１の時点の後、前記オーディオファイルの第２の時点のオーディオデシベル値が予め設定されたデシベル値の以下であるとともに、第２の時点の後の予め設定された時間内のオーディオデシベル値がいずれも予め設定されたデシベル値の以下である場合、前記第２の時点を前記第１の音声セグメントの終了時間として決定すること、を含む請求項２に記載の方法。
【請求項５】
前記応答情報は、画像情報を含み、前記応答情報に対応する時間を決定することは、
前記マルチメディア情報におけるマルチフレーム画像の類似度マッチング結果及び／又は文字認識結果に基づいて、前記画像情報に対応する時間を決定すること、を含む請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記予め設定された音声命令は、起動命令を含み、前記応答情報は、起動応答画像を含み、
前記マルチメディア情報におけるマルチフレーム画像の類似度マッチング結果及び／又は文字認識結果に基づいて、前記画像情報に対応する時間を決定することは、
前記マルチメディア情報におけるマルチフレーム画像のうちの１枚目の画像と予め設定された起動画像とに対して類似度のマッチングを行って、類似度が予め設定された値より小さい場合、次の画像と前記起動画像とに対して類似度のマッチングを行い続けて、第１の画像と前記起動画像との類似度が予め設定された値の以上であるまで、前記第１の画像に対応する時間を、前記起動応答画像に対応する時間として決定すること、を含み、
前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間に基づいて、前記車載機器の応答速度を決定することは、
前記起動応答画像に対応する時間と、前記起動命令の終了時間とに基づいて、前記車載機器の起動速度を決定すること、を含む請求項５に記載の方法。
【請求項７】
前記予め設定された音声命令は、音声クエリ命令を含み、前記応答情報は、クエリ命令表示画像を含み、
前記マルチメディア情報におけるマルチフレーム画像の類似度マッチング結果及び／又は文字認識結果に基づいて、前記画像情報に対応する時間を決定することは、
前記マルチメディア情報におけるマルチフレーム画像のうちの第２の画像を文字認識し、前記第２の画像から識別された文字が前記音声クエリ命令に対応する文字と一致しない場合、前記第２の画像の次の画像を文字認識し続けて、第３の画像から識別された文字が前記音声クエリ命令に対応する文字と一致するまで、前記第３の画像に対応する時間を、前記クエリ命令表示画像に対応する時間として決定すること、を含み、
前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間に基づいて、前記車載機器の応答速度を決定することは、
前記クエリ命令表示画像に対応する時間と前記音声クエリ命令に対応する終了時間に基づいて、前記車載機器による前記音声クエリ命令に対応する文字の表示速度を決定すること、を含む請求項５に記載の方法。
【請求項８】
前記応答情報は、クエリ結果表示画像を含み、
前記マルチメディア情報におけるマルチフレーム画像の類似度マッチング結果及び／又は文字認識結果に基づいて、前記画像情報に対応する時間を決定することは、
前記第３の画像の次の画像と前記第３の画像とに対して類似度のマッチングを行って、類似度が予め設定された値の以上である場合、次の画像と前記第３の画像との類似度を計算し続けて、第４の画像と前記第３の画像との類似度が予め設定された値より小さいまで、前記第４の画像を基準画像として設定することと、
前記基準画像の後の１枚目の画像から順に前記基準画像と類似度のマッチングを行って、前記基準画像の後の第５の画像と前記基準画像との類似度が予め設定された値より小さいと、前記第５の画像を新たな基準画像として設定し、本ステップを繰り返し、前記基準画像の後の予め設定された数の画像と前記基準画像との類似度がいずれも予め設定された値の以上であるまで、前記基準画像に対応する時間を前記クエリ結果表示画像に対応する時間として決定することと、を含み、
前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間に基づいて、前記車載機器の応答速度を決定することは、
前記クエリ結果表示画像に対応する時間と前記音声クエリ命令の終了時間に基づいて、前記車載機器のクエリ結果の表示速度を決定すること、を含む請求項７に記載の方法。
【請求項９】
車載機器の応答速度を試験する装置であって、
予め設定された音声命令と車載機器による前記予め設定された音声命令に対する応答情報とを含むマルチメディア情報を取得するための取得モジュールと、
前記マルチメディア情報を解析して、前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間を決定するための解析モジュールと、
前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間に基づいて、前記車載機器の応答速度を決定するための決定モジュールと、を含む車載機器の応答速度を試験する装置。
【請求項１０】
前記解析モジュールは、
前記マルチメディア情報からオーディオファイルを抽出するための抽出ユニットと、
前記オーディオファイルにおけるオーディオデシベル値が予め設定されたデシベル値の以上である少なくとも１つの音声セグメントの開始時間及び終了時間を決定するための第１の決定ユニットと、
前記少なくとも１つの音声セグメントの開始時間及び終了時間に基づいて、前記少なくとも１つの音声セグメントから、前記予め設定された音声命令の終了時間を決定するための第２の決定ユニットと、を含む請求項９に記載の装置。
【請求項１１】
前記応答情報は、音声情報を含み、前記解析モジュールは、
前記少なくとも１つの音声セグメントの開始時間及び終了時間に基づいて、前記少なくとも１つの音声セグメントから、前記音声情報の開始時間を決定するための第３の決定ユニットを含み、
前記決定モジュールは、
前記予め設定された音声命令の終了時間と前記音声情報の開始時間に基づいて、前記車載機器による前記予め設定された音声命令に対する応答音声の放送速度を決定するための第４の決定ユニット、を含む請求項１０に記載の装置。
【請求項１２】
前記第１の決定ユニットは、
前記オーディオファイルをトラバースして、前記オーディオファイルの第１の時点のオーディオデシベル値が予め設定されたデシベル値の以上である場合、前記第１の時点を第１の音声セグメントの開始時間として決定し、且つ、前記第１の時点の後、前記オーディオファイルの第２の時点のオーディオデシベル値が予め設定されたデシベル値の以下であるとともに、第２の時点の後の予め設定された時間内のオーディオデシベル値がいずれも予め設定されたデシベル値の以下である場合、前記第２の時点を前記第１の音声セグメントの終了時間として決定すること、に用いられる請求項１０に記載の装置。
【請求項１３】
前記応答情報は、画像情報を含み、前記解析モジュールは、
前記マルチメディア情報におけるマルチフレーム画像の類似度マッチング結果及び／又は文字認識結果に基づいて、前記画像情報に対応する時間を決定するための第５の決定ユニット、を含む請求項９〜１２のいずれか１項に記載の装置。
【請求項１４】
前記予め設定された音声命令は、起動命令を含み、前記応答情報は、起動応答画像を含み、前記第５の決定ユニットは、
前記マルチメディア情報におけるマルチフレーム画像のうちの１枚目の画像と予め設定された起動画像とに対して類似度のマッチングを行って、類似度が予め設定された値より小さい場合、次の画像と前記起動画像とに対して類似度のマッチングを行い続けて、第１の画像と前記起動画像との類似度が予め設定された値の以上であるまで、前記第１の画像に対応する時間を、前記起動応答画像に対応する時間として決定するための第１の決定サブユニットを含み、
前記決定モジュールは、
前記起動応答画像に対応する時間と前記起動命令の終了時間に基づいて、前記車載機器の起動速度を決定するための第６の決定ユニット、を含む請求項１３に記載の装置。
【請求項１５】
前記予め設定された音声命令は、音声クエリ命令を含み、前記応答情報は、クエリ命令表示画像を含み、
前記第５の決定ユニットは、
前記マルチメディア情報におけるマルチフレーム画像のうちの第２の画像を文字認識し、前記第２の画像から識別された文字が前記音声クエリ命令に対応する文字と一致しない場合、前記第２の画像の次の画像を文字認識し続けて、第３の画像から識別された文字が前記音声クエリ命令に対応する文字と一致するまで、前記第３の画像に対応する時間を、前記クエリ命令表示画像に対応する時間として決定するための第２の決定サブユニットを含み、
前記決定モジュールは、
前記クエリ命令表示画像に対応する時間と前記音声クエリ命令に対応する終了時間に基づいて、前記車載機器による前記音声クエリ命令に対応する文字の表示速度を決定するための第７の決定ユニット、を含む請求項１３に記載の装置。
【請求項１６】
前記応答情報は、クエリ結果表示画像を含み、
前記第５の決定ユニットは、
前記第３の画像の次の画像と前記第３の画像とに対して類似度のマッチングを行って、類似度が予め設定された値の以上である場合、次の画像と前記第３の画像との類似度を計算し続けて、第４の画像と前記第３の画像との類似度が予め設定された値より小さいまで、前記第４の画像を基準画像として設定するための第３の決定サブユニットと、
前記基準画像の後の１枚目の画像から順に前記基準画像と類似度のマッチングを行って、前記基準画像の後の第５の画像と前記基準画像との類似度が予め設定された値より小さい場合、前記第５の画像を新たな基準画像として設定し、本ステップを繰り返し、前記基準画像の後の予め設定された数の画像と前記基準画像との類似度がいずれも予め設定された値の以上であるまで、前記基準画像に対応する時間を前記クエリ結果表示画像に対応する時間として決定するための第４の決定サブユニットと、を含み、
前記決定モジュールは、
前記クエリ結果表示画像に対応する時間と前記音声クエリ命令の終了時間に基づいて、前記車載機器のクエリ結果の表示速度を決定するための第８の決定ユニット、を含む請求項１５に記載の装置。
【請求項１７】
電子機器であって、
少なくとも１つのプロセッサ、及び前記少なくとも１つのプロセッサと通信的に接続されるメモリを含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに、請求項１〜８のいずれか１項に記載の方法を実行させることができる電子機器。
【請求項１８】
コンピュータ命令を記憶している非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１〜８のいずれか１項に記載の方法を実行させるためのものである非一時的なコンピュータ可読記憶媒体。
【請求項１９】
コンピュータプログラムであって、前記コンピュータプログラムは、プロセッサによって実行される場合、請求項１〜８のいずれか一項に記載の方法を実現するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願の実施例は人工知能技術に関し、特に、車載機器の応答速度を試験する方法、装置、機器及び記憶媒体に関し、無人運転分野、及び車のインターネット分野に利用できる。
【背景技術】
【０００２】
車のインターネットとスマート車の台頭に伴い、スマート車載機器の普及度がますます高くなり、ユーザーが直接車載機器の音声機能を通じて車両の各種機能を使用することが主流になってきている。
【０００３】
このような音声シーンでは、車載機器の音声指令に対する応答速度が遅すぎると、音声機能の体験が悪くなるため、車載機器の試験を行う際には、機能試験だけでなく、車載機器の音声命令応答速度を試験して、音声機能の反復最適化を容易にする必要がある。
【０００４】
応答速度試験を行う場合、通常はログ管理で車載機器の音声命令に対する応答速度を決定するが、ログ管理記録の時間と車載機器の実際の応答効果に偏差があり、試験結果は正確ではない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願は、精度を向上させる、車載機器の応答速度を試験する方法、装置、機器及び記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
本願の一態様によれば、車載機器の応答速度を試験する方法を提供し、前記方法は、予め設定された音声命令と、車載機器による前記予め設定された音声命令に対する応答情報とを含むマルチメディア情報を取得することと、前記マルチメディア情報を解析して、前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間を決定することと、前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間に基づいて、前記車載機器の応答速度を決定することと、を含む。
【０００７】
本願の他の態様によれば、車載機器の応答速度を試験する装置を提供し、前記装置は、予め設定された音声命令と、車載機器による前記予め設定された音声命令に対する応答情報とを含むマルチメディア情報を取得するための取得モジュールと、前記マルチメディア情報を解析して、前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間を決定するための解析モジュールと、前記予め設定された音声命令の終了時間及び前記応答情報に対応する時間に基づいて、前記車載機器の応答速度を決定するための決定モジュールと、を含む。
【０００８】
本願の別の態様によれば、電子機器を提供し、前記電子機器は、少なくとも１つのプロセッサ、及び前記少なくとも１つのプロセッサと通信可能に接続されるメモリを含み、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに、上記車載機器の応答速度を試験する方法を実行させることができる。
【０００９】
本願の別の態様によれば、コンピュータ命令を記憶している非一時的なコンピュータ可読記憶媒体を提供し、前記コンピュータ命令は、コンピュータに上記の車載機器の応答速度を試験する方法を実行させるためのものである。
【００１０】
本願の別の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、プロセッサによって実行される場合、上記の車載機器の応答速度を試験する方法を実現する。
【発明の効果】
【００１１】
本願の技術的解決手段によれば、予め設定された音声命令と、車載機器による前記予め設定された音声命令に対する応答情報とを含むマルチメディア情報を解析することにより、車載機器の応答速度の試験結果の精度を向上させる。
【００１２】
理解すべきものとして、本部分に記載された内容は、本願の実施例のキー又は重要な特徴を特定することを意図しているわけではなく、本願の範囲を制限するためにも使用されない。本願の他の特徴は、以下の説明書によって容易に理解される。
【図面の簡単な説明】
【００１３】
図面は、本解決手段をよりよく理解するためのものであり、本願に対する限定を構成しない。
【図１】本願の実施例によって提供される車載機器の音声機能の概略図である。
【図２】本願の実施例によって提供される車載機器の応答速度を試験する方法のフローチャートである。
【図３】本願の実施例によって提供される車載機器の応答速度を試験する装置の構造模式図である。
【図４】本願の実施例の車載機器の応答速度を試験する方法を実現するための電子機器の概略ブロック図である。
【発明を実施するための形態】
【００１４】
以下、図面に関連して本願の例示的な実施例を説明するが、本願の実施例の様々な詳細が理解を容易にするために含まれており、それらは単なる例示的なものと考えられるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更及び修正を行うことができると認識すべきである。同様に、以下の説明では、公知機能及び構造についての説明は、明瞭かつ簡明のために省略される。
【００１５】
図１は、本願の実施例によって提供される車載機器の音声機能の概略図である。図１に示すように、ユーザーは起動命令、例えば「Ｘちゃん、Ｘちゃん」を発声し、車載機器の画面に起動画像を表示するとともに、車載機器は起動応答を音声で放送してもよい。その後、ユーザーは、クエリ命令、例えば「今日の天気はどうですか」を発声し、車載機器の画面には、まず、ユーザーのクエリ命令である「今日の天気はどうですか」が表示される。その後、クエリ処理を行い、画面上に「気温２５度」というクエリ結果が表示される。なお、車載機器は、クエリ結果である「気温２５度」を音声で放送してもよい。
【００１６】
上記の例のように、車載機器は、ユーザの音声を画面表示及び／又は音声放送によって応答してもよい。ユーザーが音声機能を使用する場合、一般的に車載機器と一回又は数回のインタラクションを行うことがあり、それぞれのインタラクション段階において、車載機器の画面表示及び／又は音声放送の応答速度が遅すぎると、ユーザーの体験が悪くなる。したがって、車載機器の音声機能を試験する時、継続的な応答の最適化を容易にするために、応答速度を試験する必要がある。
【００１７】
一例としては、音声応答速度試験を行う場合、通常はログ管理で車載機器の音声命令に対する応答時間を記録するが、ログ管理記録の時間と車載機器の実際の応答効果には偏差があり、試験結果は正確ではない。
【００１８】
別の例では、ビデオを録画することによって、ユーザの音声及び車載機器の応答を記録し、車載機器の応答速度を人工的にビデオを視聴することによって記録してもよいが、このような人工記録の形態は効率が低く、精度が悪い。
【００１９】
上記の問題を解決するために、本出願は、車載機器の応答速度を試験する方法を提供し、人工知能分野における無人運転領域、車のネットワーク領域などに適用されてもよい。この方法は、ユーザが発声した音声命令及び車載機器の応答を記録することにより、対応するビデオ又はオーディオを取得し、このビデオ又はオーディオを解析し、ユーザが発声した音声命令に対応する時間と車載機器が応答する時間を抽出し、更に車載機器の応答速度の試験結果を正確に取得する。
【００２０】
以下、本出願が提供する車載機器の応答速度を試験する方法を具体的な実施形態により詳細に説明する。以下のいくつかの具体的な実施例は、互いにくみあわせられてもよく、同じ又は同様の概念又はプロセスは、いくつかの実施例ではもはや説明しなくてもよいことが理解できる。
【００２１】
図２は、本願の実施例によって提供される車載機器の応答速度を試験する方法のフローチャートである。図２に示すように、この方法は以下のステップを含む。
Ｓ２０１において、マルチメディア情報を取得する。
【００２２】
マルチメディア情報は、予め設定された音声命令と、車載機器による前記予め設定された音声命令に対する応答情報とを含む。
【００２３】
予め設定された音声命令は、ユーザが車載機器の音声機能を使用するときに発声することができる音声命令であり、予め設定された音声命令は１つ又は複数の音声命令であってもよく、応答情報には１つ又は複数の命令に対する応答が含まれている。マルチメディア情報は、該予め設定された音声命令及び車載機器の対応する応答を記録することによって得られたビデオ又はオーディオである。例えば、車載機器の音声応答の放送速度を試験するだけであれば、オーディオを取得するだけでよい。車載機器の画面表示応答速度を試験する必要がある場合には、ビデオを取得する必要がある。
【００２４】
試験を行うとき、予め設定された音声命令はテスターで発声されてもよいし、電子機器で放送されてもよい。車載機器は予め設定された音声命令に対して対応する応答を行う。上記の試験プロセスでは、予め設定された音声命令、車載機器の画面表示応答、及び／又は音声放送応答をいずれも記録してもよい。例えば、予め設定された音声命令及び車載機器の音声放送応答をオーディオとして記録するか、又は、予め設定された音声命令、車載機器の表示画面応答、及び音声放送応答をビデオとして記録する。
【００２５】
Ｓ２０２において、マルチメディア情報を解析して、予め設定された音声命令の終了時間及び応答情報に対応する時間を決定する。
【００２６】
マルチメディア情報の解析は、マルチメディア情報におけるオーディオ及び／又はマルチメディア情報におけるビデオの解析を含んでもよい。例えば、マルチメディア情報におけるオーディオを抽出して、予め設定された音声命令に対応する時間と、音声放送の応答情報に対応する時間とを決定することができる。また、マルチメディア情報におけるビデオを解析し、車載機器の画面を介して表示される応答情報に対応する時間を決定してもよい。
【００２７】
Ｓ２０３において、予め設定された音声命令の終了時間及び応答情報に対応する時間に基づいて、車載機器の応答速度を決定する。
【００２８】
予め設定された音声命令の終了時間と対応する応答情報に対応する時間を取得した後、応答情報に対応する時間と予め設定された音声命令の終了時間との差により、車載機器の応答速度を決定することができる。応答情報に対応する時間と予め設定された音声命令の終了時間との差が小さいほど、車載機器の応答速度が速いことを示し、応答情報に対応する時間と予測音声命令の終了時間との差が大きいほど、車載機器の応答速度が遅いことを示す。
【００２９】
本実施例で提供する車載機器の応答速度を試験する方法は、ユーザが発声した音声命令及び車載機器の応答を記録することにより、対応するビデオ又はオーディオを取得し、このビデオ又はオーディオを解析し、ユーザが発声した音声命令に対応する時間及び車載機器の応答する時間を正確に抽出することができる。更に車載機器の応答速度の試験結果を取得し、試験結果の精度を確保する。
【００３０】
上述した実施例に基づいて、Ｓ２０２において予め設定された音声命令の終了時間をどのように決定するかを説明し、これに基づいて、Ｓ２０３における車載機器の応答速度をどのように決定するかを説明する。
【００３１】
マルチメディア情報からオーディオファイルを抽出する。オーディオファイルにおけるオーディオデシベル値が予め設定されたデシベル値の以上である少なくとも１つの音声セグメントの開始時間と終了時間を決定する。少なくとも１つの音声セグメントの開始時間と終了時間に基づいて、予め設定された音声命令の終了時間が少なくとも１つの音声セグメントから決定される。
【００３２】
まず説明すべきものとして、車載機器の音声応答の放送速度のみを試験する必要があれば、取得されたマルチメディア情報はオーディオであってもよく、この場合にはマルチメディア情報からオーディオファイルを抽出する必要はなく、マルチメディア情報をオーディオファイルとして直接処理する。
【００３３】
予め設定されたデシベル値は、予め設定された最低サイレントデシベル値であり、オーディオファイルのオーディオデシベル値が予め設定されたデシベル値より小さい時点は、サイレント状態にある時点、すなわち、予め設定された音声命令が発声されておらず、車載機器も音声放送を行っていない時点と考えられてもよい。オーディオファイルにおけるオーディオデシベル値が予め設定されたデシベル値の以上である期間が、予め設定された音声命令を発声する期間又は車載機器が音声放送を行う期間と考えられてもよい。オーディオファイルをトラバースすることにより、デシベル値に基づいて音声セグメントを決定し、抽出された音声命令又は応答情報の時間の精度を確保する。
【００３４】
具体的には、オーディオファイルをトラバースして、オーディオファイルの第１の時点のオーディオデシベル値が予め設定されたデシベル値以上であれば、第１の時点を第１の音声セグメントの開始時間として決定し、第１の時点以降に、オーディオファイルの第２の時点のオーディオデシベル値が予め設定されたデシベル値以下であるとともに、第２の時点以降の予め設定された時間内のオーディオデシベル値が予め設定されたデシベル値以下である場合、第２の時点を第１の音声セグメントの終了時間として決定する。
【００３５】
例えば、オーディオファイルの開始時点からトラバースし、ｔ１時点のオーディオデシベル値が予め設定されたデシベル値以上であれば、該ｔ１時点を第１の音声セグメントの開始時間として記録し、トラバースし続ける。ｔ２時点のオーディオデシベル値が予め設定されたデシベル値以下であるとともに、ｔ２時点以降の予め設定された時間内のオーディオデシベル値はいずれも予め設定されたデシベル値以下であれば、ｔ２時点を、第１の音声セグメントの終了時間として記録する。その後、オーディオファイルをトラバースし続けて上記のプロセスを繰り返し、最終的に少なくとも１つの音声セグメントの開始時間と終了時間を得る。各音声セグメントは、１つの予め設定された音声命令を発声する時間又は車載機器で音声応答を放送する時間に対応する。オーディオファイルへの遍歴と、開始時間と終了時間のデシベル値の比較によって、抽出された音声命令又は応答情報の時間の精度が確保される。
【００３６】
予め設定された音声命令にはどのような命令が含まれているかが既知されたものであるので、車載機器の応答情報に音声情報が含まれているなら、車載機器は、予め設定された音声命令毎に音声応答があるかどうかも既知されたものであり、これにより上記で取得された少なくとも１つの音声セグメントについては、予め設定された音声命令の順序と車載機器の音声応答の順序に従って、各音声セグメントが対応するのは、どの予め設定された音声命令か、又はどの予め設定された音声命令に対応する音声応答かを決定することができる。これにより、該少なくとも１つの音声セグメントにおける各音声セグメントの開始時間及び終了時間に応じて、予め設定された音声命令の開始時間及び終了時間を少なくとも１つの音声セグメントから決定することができる。予め設定された音声命令の終了時間を決定した後、車載機器の応答情報に対応する時間を決定し、更に車載機器の応答速度を決定する必要がある。以下、サブシーンについて説明する。
【００３７】
シーン１
車載機器の応答情報が音声情報を含む場合、すなわち車載機器は音声放送により予め設定された音声命令に応答する。この場合には、上述した実施例における少なくとも１つの音声セグメントの開始時間及び終了時間は、車載機器が音声応答を行う音声情報の開始時間及び終了時間を少なくとも１つの音声セグメントから決定することもできる。これにより、予め設定された音声命令の終了時間と音声情報の開始時間に基づいて、車載機器の予め設定された音声命令に対する応答音声の放送速度を決定することができる。
【００３８】
図１の音声命令を例にとって、上記の方法でオーディオファイルから予め設定された音声命令である「今日の天気はどうですか」の終了時間、及び車載機器の音声放送のクエリ結果である「気温２５度」の開始時間を決定する。車載機器の音声放送のクエリ結果である「気温２５度」の開始時間から、予め設定された音声命令である「今日の天気はどうですか」の終了時間を減算することにより、車載機器による予め設定された音声命令である「今日の天気はどうですか」に対する応答音声の放送速度を決定することができる。
【００３９】
このシーンでは応答情報が音声情報である場合について説明したが、オーディオファイルを解析することにより、予め設定された音声命令と応答の音声情報に対応する時間を正確に得ることができ、これにより車載機器の応答音声の放送速度に対する試験の精度が確保される。
【００４０】
車載機器の応答情報は音声情報に加えて、画像情報であってもよいし、又は音声情報と画像情報を同時に含んでもよい。画像情報として、車載機器は、予め設定された音声命令に対する応答を画面上に表示し、応答情報が画像情報を含む場合には、前のステップで取得したマルチメディアファイルはビデオであるべきである。このようなシーンでは、上記実施例の方法に従って、予め設定された音声命令の終了時間を決定する以外に、車載機器が画面に応答情報を表示する時間、即ち画像情報に対応する時間を決定することにより、応答速度を決定する必要がある。具体的には、マルチメディア情報におけるマルチフレーム画像の類似度マッチング結果及び／又は文字認識結果に基づいて、画像情報に対応する時間を決定し、画像認識などによって画像の類似度や文字マッチングを行い、試験結果の精度を向上させる。以下に説明する。
【００４１】
シーン２
予め設定された音声命令は、起動命令を含み、応答情報は、起動応答画像を含む。
【００４２】
起動命令は、車載機器の音声機能を起動するために使用され、例えば、起動命令は「Ｘちゃん、Ｘちゃん」であり、車載機器の起動応答画像は、表示画面に表示された予め設定された起動画像であってもよい。マルチメディア情報には、車載機器の表示画面の表示ビデオが含まれているので、ビデオ内のマルチフレーム画像をマッチングすることにより、起動応答画像を決定することができ、これにより起動応答画像に対応する時間を決定する。
【００４３】
マルチメディア情報におけるマルチフレームの画像のうちの１枚目の画像と予め設定された起動画像とに対して類似度のマッチングを行い、類似度が予め設定された値よりも小さい場合、続いて次の画像と起動画像とに対して類似度のマッチングを行い、第１の画像と起動画像の類似度が予め設定された値の以上であるまで、第１の画像に対応する時間を、起動応答画像に対応する時間として決定する。
【００４４】
１枚目の画像から一つずつ類似度のマッチングを行い、第１の画像は、起動画像との類似度が予め設定された値の以上である１枚目の画像であり、第１の画像の対応する時間は、起動応答画像に対応する時間である。
【００４５】
それに応じて、起動応答画像に対応する時間と起動命令の終了時間に応じて、車載機器の起動速度を決定することができる。具体的には、起動応答画像に対応する時間から起動命令の終了時間を減算すると、車載機器の起動速度が得られることができる。フレーム毎の画像マッチングの方法により、起動応答画像に対応する時間を正確に取得することができ、これにより車載機器の起動速度の試験結果がより正確になる。
【００４６】
シーン３
予め設定された音声命令は、音声クエリ命令を含み、応答情報は、クエリ命令表示画像を含む。
【００４７】
例えば、音声クエリ命令は「今日の天気はどうですか」であり、車載機器が音声クエリ命令を取得した後、まず、画面にクエリ命令を表示し、即ち文字で「今日の天気はどうですか」を表示し、ここでは車載機器にクエリ命令が表示されている画像は、クエリ命令表示画像と呼ばれる。
【００４８】
マルチメディア情報におけるマルチフレームの画像のうちの第２の画像を文字認識し、第２の画像から識別された文字が音声クエリ命令に対応する文字とマッチングしない場合、続いて第２の画像の次の画像を文字認識し、第３の画像から識別された文字が音声クエリ命令に対応する文字とマッチングするまで、第３の画像に対応する時間を、クエリ命令表示画像の対応する時間と決定する。
【００４９】
まず、上記の第２の画像について説明する。１つの場合には、試験を行う際には、マルチ起動プロセスとその後のクエリプロセスの両方が試験される必要があり、予め設定された音声命令は、起動命令と複数の音声クエリ命令を含み、起動命令は、上記のシーン２の例の命令であり、この場合、第２の画像は、上記の例における第１の画像の後の画像、すなわち、起動応答画像の後の画像である。別の場合には、起動プロセスを試験する必要がない場合、音声クエリ命令に対する応答だけを試験すると、前述のステップで記録されたマルチメディア情報は、起動プロセスのビデオを含まなくて、音声クエリ命令及びその後の応答ビデオのみを含んでもよく、この場合、第２の画像はマルチメディア情報のマルチフレーム画像のうちの１枚目の画像であってもよい。
【００５０】
第２の画像からフレームごとに文字認識を行い、画像に表示されている文字が音声クエリ命令に対応する文字とマッチングするかどうかを決定し、音声クエリ命令が「今日の天気はどうですか」であることを例とし、第３の画像から識別された文字が「今日の天気はどうですか」であると、第３の画像には既に音声クエリ命令が表示されると示し、このため、第３の画像に対応する時間を、クエリ命令表示画像の対応する時間と決定する。
【００５１】
それに応じて、クエリ命令表示画像の対応する時間と音声クエリ命令の対応する終了時間に基づいて、車載機器の音声クエリ命令に対応する文字の表示速度を決定する。具体的には、クエリ命令表示画像に対応する時間から音声クエリ命令の終了時間を減算すると、車載機器の音声クエリ命令に対応する文字の表示速度を得ることができ、スクリーン表示速度とも呼ばれる。フレームごとの画像マッチングの方法により、文字表示速度を正確に得ることができ、これにより車載機器の応答速度の試験結果をより正確にすることができる。
【００５２】
シーン４
予め設定された音声命令は、音声クエリ命令を含み、応答情報は、クエリ命令表示画像、及び、クエリ結果表示画像を含む。
【００５３】
上記のシーン３の例を参照すると、音声クエリ命令は「今日の天気はどうですか」であり、車載機器の応答情報は、クエリ命令表示画像を含み、即ち「今日の天気はどうですか」を画面に表示し、その後、画面上にクエリ結果を表示すること、例えば「気温２５度」を表示することを更に含む。
【００５４】
したがって、上記のシーン３の方法で文字表示速度を決定する以外に、その後のクエリ結果の表示速度を決定する必要がある。シーン３の方法によって第３の画像、つまりクエリ命令表示画像を決定した後、第３の画像の次の画像と第３の画像とに対して類似度のマッチングを行って、類似度が予め設定された値の以上である場合、次の画像と第３の画像の類似度を計算し続けて、第４の画像と第３の画像の類似度が予め設定された値より小さいまで、第４の画像を基準画像に設定する。
【００５５】
この過程では、第３の画像の後の画像と第３の画像との類似度の比較を決定することにより、第３の画像とは大きく異なる第４の画像を決定し、車載機器は第４の画像を表示すると、車載機器の表示画面がジャンプしたことを示す。すなわち車載機器は、音声クエリ命令である「今日の天気はどうですか」を表示することからジャンプをオンにしてクエリ結果を表示し、ただし、第４の画像は必ずしもクエリ結果を完全に表示しているわけではなく、画面がまだ変化している可能性があり、したがって、更にマッチングして決定する必要があり、後の画像が変化しないと、クエリ結果が完全に表示されていることを確認することができる。
【００５６】
基準画像の後の１枚目の画像から順に基準画像と類似度のマッチングを行い、基準画像の後の５枚目の画像と基準画像の類似度が予め設定された値より小さい場合、５枚目の画像を新たな基準画像に設定し、本ステップを繰り返し実行し、基準画像の後の予め設定された数の画像と基準画像の類似度がいずれも予め設定された値の以上であるまで、基準画像に対応する時間を、クエリ結果表示画像に対応する時間として決定する。
【００５７】
基準画像の後の画像と基準画像とに対して類似度のマッチングを行うとき、類似度が予め設定された値よりも小さいと、車載機器の表示画面が依然として変化していること、すなわち応答結果がまだ完全に表示されていないことを示すので、新たな基準画像を設定し、新たな基準画像に基づいて類似度のマッチングを継続する。基準画像の後の画像と基準画像の類似度が予め設定された値の以上であれば、車載機器の表示画面が変化していない可能性があることを示し、この際、続いてその後の複数の画像に対して類似度のマッチングを継続する必要がある。具体的には、基準画像の次の画像と基準画像の類似度が予め設定された値の以上である場合、空の候補配列を設定し、基準画像の次の画像の番号を配列に加え、候補配列長が予め設定された数に達していない場合には、続いて次の画像と基準画像に対して類似度のマッチングを行い、類似度が予め設定された値の以上である場合、該画像も候補データに追加して、次の画像のマッチングを続けて、類似度が予め設定された値より小さい場合には、該画像を新たな基準画像に設定し、候補データを空にし、再び新たな基準画像に基づいて類似度のマッチングを継続する。上記マッチング手順に従って、候補配列の長さが予め設定された数に達するまで、基準画像の後の予め設定された数の画像と基準画像の類似度がいずれも予め設定された値以上であること、つまり、基準画像の後の予め設定された数の画像は変化しないことを示し、このため、基準画像はクエリ結果が完全に表示されているクエリ結果表示画像であることを決定することができる。
【００５８】
それに応じて、クエリ結果表示画像の対応する時間と音声クエリ命令の終了時間に基づいて、車載機器のクエリ結果の表示速度を決定する。具体的には、クエリ結果表示画像に対応する時間から音声クエリ命令の終了時間を減算すると、車載機器のクエリ結果の表示速度が得られる。フレームごとの画像マッチングの方法により、クエリ結果を完全に表示するクエリ結果表示画像の時間を正確に得ることができ、これにより車載機器の応答速度の試験結果がより正確になる。
【００５９】
図３は、本願の実施例によって提供される車載機器の応答速度を試験する装置の構造模式図である。図３に示すように、応答速度を試験する装置３００は、予め設定された音声命令と、車載機器による予め設定された音声命令に対する応答情報とを含むマルチメディア情報を取得するための取得モジュール３０１と、マルチメディア情報を解析して、予め設定された音声命令の終了時間及び応答情報に対応する時間を決定するための解析モジュール３０２と、予め設定された音声命令の終了時間及び応答情報に対応する時間に基づいて、車載機器の応答速度を決定するための決定モジュール３０３と、を含む。
【００６０】
一可能な実施形態では、解析モジュール３０２は、マルチメディア情報からオーディオファイルを抽出するための抽出ユニットと、オーディオファイルにおけるオーディオデシベル値が予め設定されたデシベル値の以上である少なくとも１つの音声セグメントの開始時間及び終了時間を決定するための第１の決定ユニットと、少なくとも１つの音声セグメントの開始時間及び終了時間に基づいて、少なくとも１つの音声セグメントから、予め設定された音声命令の終了時間を決定するための第２の決定ユニットと、を含む。
【００６１】
一可能な実施形態では、応答情報は、音声情報を含み、解析モジュール３０２は、少なくとも１つの音声セグメントの開始時間及び終了時間に基づいて、少なくとも１つの音声セグメントから、音声情報の開始時間を決定するための第３の決定ユニットを含む。決定モジュール３０３は、予め設定された音声命令の終了時間と音声情報の開始時間に基づいて、車載機器による予め設定された音声命令に対する応答音声の放送速度を決定するための第４の決定ユニットを含む。
【００６２】
一可能な実施形態では、第１の決定ユニットは、オーディオファイルをトラバースして、オーディオファイルの第１の時点のオーディオデシベル値が予め設定されたデシベル値の以上である場合、第１の時点を第１の音声セグメントの開始時間として決定し、且つ第１の時点の後、オーディオファイルの第２の時点のオーディオデシベル値が予め設定されたデシベル値の以下であるとともに、第２の時点の後の予め設定された時間内のオーディオデシベル値がいずれも予め設定されたデシベル値の以下である場合、第２の時点を第１の音声セグメントの終了時間として決定すること、に用いられる。
【００６３】
一可能な実施形態では、応答情報は、画像情報を含み、解析モジュール３０２は、マルチメディア情報におけるマルチフレーム画像の類似度マッチング結果及び／又は文字認識結果に基づいて、画像情報に対応する時間を決定するための第５の決定ユニット、を含む。
【００６４】
一可能な実施形態では、予め設定された音声命令は、起動命令を含み、応答情報は、起動応答画像を含み、第５の決定ユニットは、マルチメディア情報におけるマルチフレーム画像のうちの１枚目の画像と予め設定された起動画像とに対して類似度のマッチングを行って、類似度が予め設定された値より小さい場合、次の画像と起動画像とに対して類似度のマッチングを続けて、第１の画像と起動画像の類似度が予め設定された値の以上であるまで、第１の画像に対応する時間を、起動応答画像に対応する時間として決定するための第１の決定サブユニットを含み、決定モジュール３０３は、起動応答画像に対応する時間と、起動命令の終了時間とに基づいて、車載機器の起動速度を決定するための第６の決定ユニット、を含む。
【００６５】
一可能な実施形態では、予め設定された音声命令は、音声クエリ命令を含み、応答情報は、クエリ命令表示画像を含み、第５の決定ユニットは、マルチメディア情報におけるマルチフレーム画像のうちの第２の画像を文字認識し、第２の画像から識別された文字が音声クエリ命令に対応する文字とマッチングしない場合、第２の画像の次の画像を文字認識し続けて、第３の画像から識別された文字が音声クエリ命令に対応する文字とマッチングするまで、第３の画像に対応する時間を、クエリ命令表示画像に対応する時間として決定するための第２の決定サブユニットを含み、決定モジュール３０３は、クエリ命令表示画像に対応する時間と音声クエリ命令に対応する終了時間に基づいて、車載機器による音声クエリ命令に対応する文字の表示速度を決定するための第７の決定ユニット、を含む。
【００６６】
一可能な実施形態では、応答情報は、クエリ結果表示画像を含み、第５の決定ユニットは、第３の画像の次の画像と第３の画像とに対して類似度のマッチングを行って、類似度が予め設定された値の以上である場合、次の画像と第３の画像の類似度を計算し続けて、第４の画像と第３の画像の類似度が予め設定された値より小さいまで、第４の画像を基準画像に設定するための第３の決定サブユニットと、基準画像の後の１枚目の画像から順に基準画像と類似度のマッチングを行って、基準画像の後の第５の画像と基準画像の類似度が予め設定された値より小さいと、第５の画像を新たな基準画像として設定し、本ステップを繰り返し、基準画像の後の予め設定された数の画像と基準画像の類似度がいずれも予め設定された値の以上であるまで、基準画像に対応する時間をクエリ結果表示画像に対応する時間として決定するための第４の決定サブユニットと、を含み、決定モジュール３０３は、クエリ結果表示画像に対応する時間と音声クエリ命令の終了時間に基づいて、車載機器のクエリ結果の表示速度を決定するための第８の決定ユニット、を含む。
【００６７】
本願の実施例で提供される車載機器の応答速度を試験する装置は、上記のいずれかの実施例における車載機器の応答速度を試験する方法の技術的解決手段を実行してもよく、その実現原理及び有益な効果は、車載機器の応答速度を試験する方法の実現原理及び有益な効果と同様であり、車載機器の応答速度を試験する方法の実現原理及び有益な効果を参照することができ、ここでは再び説明を省略する。
【００６８】
本願の実施例によって、本願は電子機器と可読記憶媒体を更に提供する。
【００６９】
本発明の実施例によって、本願はコンピュータプログラムを更に提供し、コンピュータプログラムはコンピュータ可読記憶媒体に格納され、電子機器の少なくとも１つのプロセッサは、読み取り可能な記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサは、コンピュータプログラムを実行して、電子機器に上記のいずれかの実施例で提供される技術的手段を実行させる。
【００７０】
図４は、本願の実施例の車載機器の応答速度を試験する方法を実現するための電子機器の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことが意図されている。電子機器はまた、パーソナルデジタルアシスタント、携帯電話、スマートフォン、装着可能機器、及び他の類似のコンピューティング装置などの様々な形態のモバイル装置を表すことができる。ここで示した構成要素、それらの接続と関係、及びそれらの機能は一例としてだけであり、本明細書で説明されたもの及び／又は要求される本明細書の実施を制限することは意図されない。
【００７１】
図８に示すように、電子機器４００は、リードオンリーメモリ（ＲＯＭ）４０２に記憶されているコンピュータプログラム又は記憶ユニット４０８からランダムアクセスメモリ（ＲＡＭ）４０３にロードされたコンピュータプログラムに従って、様々な適切な動作及び処理を実行するコンピューティングユニット４０１を含む。ＲＡＭ４０３には、機器４００が動作するために必要な各種プログラム及びデータも記憶されてもよい。コンピューティングユニット４０１、ＲＯＭ４０２、及びＲＡＭ４０３は、バス４０４を介して互いに接続されている。バス４０４には、入出力（Ｉ／Ｏ）インターフェース４０５も接続されている。
【００７２】
機器４００における複数の構成要素は、キーボード、マウスなどの入力ユニット４０６と、各種のタイプのディスプレイ、スピーカなどである出力ユニット４０７と、磁気ディスク、光ディスクなどの記憶ユニット４０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット４０９と、を備えるＩ／Ｏインターフェース４０５と接続されている。通信ユニット４０９は、機器４００が、インターネットなどのコンピュータネットワーク及び／又は様々な通信ネットワークによって他の機器と情報／データを交換することを可能にする。
【００７３】
コンピューティングユニット４０１は、処理及び計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。コンピューティングユニット４０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、各種専用の人工知能（ＡＩ）計算チップ、各種の運転マシン学習モデルアルゴリズムのコンピューティングユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。コンピューティングユニット４０１は、上述した様々な方法及び処理、例えば車載機器の応答速度を試験する方法を実行する。例えば、一部の実施例では、車載機器の応答速度を試験する方法は、記憶ユニット４０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実装することができる。幾つかの実施例では、コンピュータプログラムの一部又は全部はＲＯＭ４０２及び／又は通信ユニット４０９を介して機器４００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ４０３にロードされ、コンピューティングユニット４０１によって実行される場合、上述した車載機器の応答速度を試験する方法の１つ以上のステップが実行されてもよい。代替的に、他の実施例では、コンピューティングユニット４０１は、他の任意の適切な方法（例えばファームウェアを介して）によって、車載機器の応答速度を試験する方法を実行するように構成されてもよい。
【００７４】
本明細書で上述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、複雑プログラマブル論理機器（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実装される。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実装されて、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能システム上で実行されてもよく、及び／又は解釈されてもよく、このプログラマブルプロセッサは、記憶システム、少なくとも１つの入力機器、及び少なくとも１つの出力装置から、データ及び命令を受信し、該記憶システム、該少なくとも１つの入力装置、及び少なくとも１つの出力装置にデータ及び命令を送信する専用又は汎用のプログラマブルプロセッサであってもよい。
【００７５】
本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組合せを用いて作成することができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行されると、フローチャート及び／又はブロック図に規定された機能／動作が実行されるように、汎用コンピュータ、専用コンピュータ又は他のプログラム可能データ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは完全にマシン上で実行され、部分的にマシン上で実行され、独立したソフトウェアパッケージとして部分的にマシン上で実行されるとともに部分的にリモートマシン上で実行されたり、リモートマシン又はサーバ上で完全に実行されたりすることができる。
【００７６】
本開示の文脈では、機械可読媒体は、命令実行システム、装置又は装置の使用又は命令実行システム、装置又は装置と関連して使用するためのプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線的、又は半導体システム、装置又は機器、又は上記コンテンツの任意の適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ以上の線に基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ-ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記の内容の任意の適切な組み合わせを含む。
【００７７】
ユーザとの対話を提供するために、ここで説明するシステム及び技術をコンピュータに実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）、及びユーザがコンピュータに入力を提供できるキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）を有する。他のタイプの装置は、さらにユーザとの対話を提供するために使用されてもよく、例えば、ユーザに提供されるフィードバックが、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力、音声入力、又は触覚入力を含む）を使用して、ユーザからの入力を受信してもよい。
【００７８】
本明細書で説明するシステム及び技術は、バックグラウンド部品を含む計算システム（例えば、データサーバとして）、又はミドルウェア部品を含む計算システム（例えば、応用サーバ）、又はフロントエンド部品を含む計算システム（例えば、グラフィカルユーザインターフェース又はＷｅｂブラウザを備えたユーザコンピュータ、ユーザが、当該グラフィカルユーザインターフェース又は当該Ｗｅｂブラウザを通じて本明細書で説明するシステム及び技術の実施形態と対話できる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品の任意の組合せを含む計算システムに実施されてもよい。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を通じて、システムの部品を相互に接続してもよい。通信ネットワークの例は、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及びインターネットを含む。
【００７９】
コンピュータシステムは、クライアント及びサーバを含んでもよい。通常、クライアント及びサーバは、互いに離れており、通信ネットワークを介して相互作用する。クライアントとサーバ間の関係は、対応するコンピュータで実行され、互いにクライアント−サーバ関係を持つコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、クラウド計算サーバ又はクラウドホストとも呼ばれ、クラウド計算サービスシステムにおける１つのホスト製品であり、従来の物理ホストと仮想専用サーバ（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｓｅｒｖｅ、ＶＰＳと略称する）に存在する管理困難度が高く、サービス拡張性が弱いなどの欠陥を解決するために使用される。サーバは、分散システムのサーバ、又はブロックチェーンを組み込んだサーバであってもよい。
【００８０】
理解すべきこととして、上記のさまざまな形式のフローを使用して、ステップの順序を変更、追加、又は削除してもよい。例えば、本願に記載された各ステップは、本願に開示された技術的解決策の所望の結果が達成され得る限り、並列、順次、又は異なる順序で実行されてもよく、本明細書に限定されない。
【００８１】
上記の具体的な実施形態は、本願の保護範囲に対する制限を構造しない。当業者は、設計要件と他の要素によって、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができることを理解すべきである。本願の精神と原則の範囲内で行われた修正、同等の代替、及び改善などは、いずれも本願の保護範囲に含まれるべきである。
【図１】
2022003388.tif 000003
【図２】
2022003388.tif 000004
【図３】
2022003388.tif 000005
【図４】
2022003388.tif 000006