(57)【要約】      （修正有）【課題】画像情報とテキスト質問情報を組み合わせて視覚的質問応答を可能とする視覚的質問応答モデル、電子機器および記憶媒体を提供する。【解決手段】視覚的質問応答モデルは、入力された質問テキストの単語ベクトルシーケンスをプーリング処理して、質問テキストのセマンティック表現ベクトルを抽出するためのテキストエンコーダと、セマンティック表現ベクトルと組み合わせて所定画像の画像特徴を抽出するための画像エンコーダと、を備える。【選択図】図１
2020149685.tif 000002
【特許請求の範囲】
【請求項１】
入力された質問テキストの単語ベクトルシーケンスをプーリング処理して、前記質問テキストのセマンティック表現ベクトルを抽出するためのテキストエンコーダと、
前記セマンティック表現ベクトルと組み合わせて所定画像の画像特徴を抽出するための画像エンコーダと、
を備える視覚的質問応答モデル。
【請求項２】
前記テキストエンコーダが、具体的には、
入力された質問テキストの単語ベクトルシーケンスを最大化プーリング処理するか、平均化プーリング処理することにより、前記質問テキストのセマンティック表現ベクトルを抽出する請求項１に記載のモデル。
【請求項３】
前記最大化プーリング処理は、以下の式で表される請求項２に記載のモデル。
ｆ（ｗ１，ｗ２，...，ｗｋ）＝ｍａｘ（［ｗ１，ｗ２，...，ｗｋ］，ｄｉｍ＝１）
ただし、ｆは最大化プーリング処理関数を表し、ｋは前記質問テキストに含まれる単語ベクトルの数であり、ｗｉは、予めトレーニングされた単語ベクトルモデルを利用して前記質問テキストを処理することによって得られたｉ番目の単語ベクトルであり、ｉは[１，ｋ]内の自然数であり、ｍａｘ（[ｗ１，ｗ２，...、ｗｋ]，dｉｍ＝１）は単語ベクトルｗ１，ｗ２，...，ｗｋにおける各単語ベクトルに対応する次元の最大値を表す。
【請求項４】
前記平均プーリング処理は、以下の式によって表される請求項２に記載のモデル。
【数９】
2020149685.tif 000015
ただし、ｐは平均化プーリング処理関数を表し、ｋは前記質問テキストに含まれる単語ベクトルの数であり、ｗｉは予めトレーニングされた単語ベクトルモデルを利用して前記質問テキストを処理することによって得られたｉ番目の単語ベクトルであり、ｉは[１，ｋ]内の自然数であり、
【数１０】
2020149685.tif 000016
は、単語ベクトルｗ１，ｗ２，...，ｗｋにおける各単語ベクトルに対応する次元の値の合計を表す。
【請求項５】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するためのメモリと、を備える電子機器であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが請求項１から４のいずれか一項に記載の視覚的質問応答モデルを実行する電子機器。
【請求項６】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
当該プログラムがプロセッサによって実行された場合、請求項１から４のいずれか一項に記載の視覚的質問応答モデルが実行されるコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は、人工知能技術の分野に関し、詳細には、視覚的質問応答モデル、電子機器、および記憶媒体に関する。
【背景技術】
【０００２】
視覚的質問応答（Ｖｉｓｕａｌ  Ｑｕｅｓｔｉｏｎ  Ａｎｓｗｅｒｉｎｇ、以下、ＶＱＡと略称する）は、マルチモダリティ融合の典型的なアプリケーションである。例えば、所定画像について、画像には赤い服を着ている打者がいて、「ｗｈａｔ  ｃｏｌｏｒ  ｓｈｉｒｔ  ｉｓ  ｔｈｅ  ｂａｔｔｅｒ  ｗｅａｒｉｎｇ」という関連質問をされると、ＶＱＡシステムは、画像情報とテキスト質問情報とを組み合わせて、回答を「ｒｅｄ」として予測する必要がある。この処理では、主に画像とテキストとのセマンティック特徴の抽出、および抽出された画像とテキストとの２つのモダリティの特徴に対する融合を行うため、ＶＱＡ関連モデルのコーディング部分は、主にテキストエンコーダと画像エンコーダとで構成される。
【０００３】
しかしながら、画像エンコーダとテキストエンコーダとの両方を同時に使用する必要があるため、ＶＱＡモデルには、多くのトレーニングする必要があるパラメータが含まれている場合が多いため、モデルのトレーニング時間が非常に長くなる。したがって、モデルの精度が大きく低下せずに工学上よりモデルを簡素化してモデルのトレーニング効率を向上するかは、現在解決する必要がある技術的な問題になっている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施例は、視覚的質問応答モデルの精度が大きく低下せずに工学上よりモデルを簡素化して視覚的質問応答モデルのトレーニング効率を向上させることを達成する視覚的質問応答モデル、電子機器および記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
第１の側面では、本発明の実施例は、入力された質問テキストの単語ベクトルシーケンスをプーリング処理して、前記質問テキストのセマンティック表現ベクトルを抽出するためのテキストエンコーダと、前記セマンティック表現ベクトルと組み合わせて所定画像の画像特徴を抽出するための画像エンコーダと、を備える視覚的質問応答モデルを提供する。
【０００６】
第２の側面では、本発明の実施例は、電子機器をさらに提供し、前記電子機器が、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するためのメモリとを備え、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが本発明のいずれかの実施例に記載の視覚的質問応答モデルを実行する。
【０００７】
第３の態様では、本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、当該プログラムがプロセッサによって実行される場合、本発明のいずれかの実施例に記載の視覚的質問応答モデルが実行される。
【発明の効果】
【０００８】
本発明の実施例は、視覚的質問応答モデル、電子機器、および記憶媒体を提供する。視覚的質問応答モデルは、テキストベクトルをプーリング処理方式でエンコードすることにより、視覚的質問応答モデルを簡素化する目的を達成するとともに、プーリング処理という簡単なコーディング方式により、視覚的質問応答モデルでトレーニングする必要があるパラメータの数を減らし、視覚的質問応答モデルのトレーニング効率を効果的に向上させ、工学的利用に有益である。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１に係る視覚的質問応答モデルの概略構成図である。
【図２】本発明の実施例２に係る別の視覚的質問応答モデルの概略構成図である。
【図３】本発明の実施例３に係る電子機器の概略構成図である。
【発明を実施するための形態】
【００１０】
以下、図面および実施例を参照して、本発明をさらに詳細に説明する。本明細書に記載される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではないことを理解されたい。なお、説明を簡潔にするために、本発明に関連する構成のすべてではなく、一部のみが図面に示されている。
【００１１】
実施例１
図１は、本発明の実施例１に係る視覚的質問応答モデルである。本実施例は、視覚的質問応答モデルを簡素化することにより、視覚的質問応答モデルのトレーニング効率を向上させ、当該モデルは、コンピュータ端末またはサーバのような電子機器で実行することができる。
【００１２】
図１に示すように、本発明の実施例に係る視覚的質問応答モデルは、入力された質問テキストの単語ベクトルシーケンスをプーリング処理して、前記質問テキストのセマンティック表現ベクトルを抽出するためのテキストエンコーダを備えてもよい。
【００１３】
ここで、質問テキストをエンコードする前に、質問テキストを予め処理する必要がある。例として、質問テキストをｗｏｒｄ２ｖｅｃモデルまたはｇｌｏｖｅモデルで処理して、当該質問テキストに対応する単語ベクトルシーケンスを取得する。質問テキストをエンコードするには、当該質問テキストに対応する単語ベクトルシーケンスをテキストエンコーダに入力し、テキストエンコーダによって質問テキストの単語ベクトルシーケンスをプーリング処理して、質問テキストのセマンティック表現ベクトルを抽出することができる。なお、従来技術では、ＬＳＴＭ（Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ、長・短期記憶）モデルまたはＢｉ−ＬＳＴＭ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ、双方向ＬＳＴＭ）モデルがテキストエンコーダとして使用されているが、本願では、テキストエンコーダとしてＬＳＴＭモデルまたはＢｉ−ＬＳＴＭモデルの代わりにプーリング処理が使用されるので、視覚的質問応答モデルが簡素化される。
【００１４】
この実施例では、プーリング処理は、最大化プーリング（ｍａｘＰｏｏｌｉｎｇ）処理であり、前記最大化プーリング処理は、次の式で表される。
ｆ（ｗ１，ｗ２，...，ｗｋ）＝ｍａｘ（［ｗ１，ｗ２，...，ｗｋ］，ｄｉｍ＝１）
【００１５】
ただし、ｆは最大化プーリング処理関数を表し、ｋは前記質問テキストに含まれる単語ベクトルの数であり、ｗｉは、予めトレーニングされた単語ベクトルモデルを利用して前記質問テキストを処理することによって得られたｉ番目の単語ベクトルであり、ｉは[１，ｋ]内の自然数であり、ｍａｘ（[ｗ１，ｗ２，...、ｗｋ]，dｉｍ＝１）は単語ベクトルｗ１，ｗ２，...，ｗｋにおける各単語ベクトルに対応する次元の最大値を表し、、dｉｍ＝１は次元を指し、つまり、所定の２次元行列について、行ごとに値を取ることを表す。
【００１６】
例として、１つの質問テキストの単語ベクトルシーケンスは、
【数１】
2020149685.tif 000003
であり、上記の式によって当該単語ベクトルシーケンスを最大化プーリング処理して、
【数２】
2020149685.tif 000004
を得るため、
【数３】
2020149685.tif 000005
は、当該質問テキストのセマンティック表現ベクトルである。したがって、最大化プーリング処理することにより、視覚的質問応答モデルにおけるトレーニングする必要があるパラメータの数を削減し、視覚的質問応答モデルのトレーニング効率を向上させることができる。
【００１７】
また、本発明の実施例の視覚的質問応答モデルにおける画像エンコーダは、セマンティック表現ベクトルと組み合わせて所定画像の画像特徴を抽出するために使用される。
【００１８】
画像には背景および豊富なコンテンツが含まれているため、マシンが質問に関連する画像コンテンツに注意を払うことを確保し、質問の回答の精度を向上させるために、視覚的注意力メカニズム（図１中のＡｔｔｅｎｔｉｏｎ）を採用することができる。Ａｔｔｅｎｔｉｏｎメカニズムを介して、画像エンコーダは、テキストエンコーダによって取得された質問テキストに対応するセマンティック表現ベクトルを組み合わせることにより、当該セマンティック表現ベクトルに最も関連する画像コンテンツを絞り、当該画像コンテンツの画像特徴を抽出して画像特徴ベクトルを取得することができる。Ｆａｓｔｅｒ  ＲＣＮＮモデルのような畳み込みニューラルネットワークモデルを採用することができる。
【００１９】
さらに、図１に示すように、当該視覚的質問応答モデルは、異なるモダリティの特徴を融合するための特徴融合器（ｆｕｓｉｏｎ）をさらに備え、この実施例では、特徴融合器は、画像エンコーダによって出力された画像特徴ベクトルとテキストエンコーダによって出力されたセマンティック表現ベクトルとを融合する。例として、画像特徴ベクトルとセマンティック表現ベクトルとをドット積によって融合することができる。
【００２０】
当該視覚的質問応答モデルは、分類器をさらに備え、前記分類器は、上記の特徴融合器によって出力されたベクトルをｓｏｆｔｍａｘ関数（正規化指数関数とも呼ばれる）によって数値的に処理して、異なる回答間の相対確率を取得し、相対確率最大値に対応する回答を出力する。
【００２１】
上記の視覚的質問応答モデルについて、具体的な一実施形態において、スタンフォード人工知能研究所によってリリースされたデータセットＶｉｓｕａｌ  Ｇｅｎｏｍｅをトレーニングサンプルデータおよび検証データとし、トレーニングサンプルデータおよび検証データを２：１の比例でランダムに配分して、当該視覚的質問応答モデルをトレーニングおよび検証することができる。当該データセットの具体的なデータ統計を表１に示す。各画像には一定数の質問が含まれ、所定回答が人工によってラベル付けられる。
【００２２】
【表１】
2020149685.tif 000006
【００２３】
上記のデータを使用して本実施例に係る視覚的質問応答モデルをトレーニングおよび検証する。具体的には、Ｐ４０クラスタで当該視覚的質問応答モデルを実行することができ、Ｐ４０クラスタの環境構成およびモデルの基本パラメータを表２に示す。比較のために、同時にＬＳＴＭまたはＢｉ-ＬＳＴＭをテキストエンコーダとした従来技術の視覚的質問応答モデルをトレーニングおよび検証し、結果を表３に示す。
【００２４】
表３に示された検証結果から、テキストエンコーダとして最大化プーリング処理を採用する本発明の実施例の視覚的質問応答モデルは、テキストエンコーダとしてＬＳＴＭまたはＢｉ-ＬＳＴＭを採用する従来の視覚的質問応答モデルと比較して、予測精度が約０.５％だけ低下するが、モデルの実行時間が最大３時間短縮され、トレーニング効率が大幅に向上することがわかる。
【００２５】
【表２】
2020149685.tif 000007
【００２６】
【表３】
2020149685.tif 000008
【００２７】
本発明の実施例では、視覚的質問応答モデルは、テキストベクトルをプーリング処理方式でエンコードし、視覚的質問応答モデルを簡素化する目的を達成するとともに、プーリング処理という簡単なエンコーディング方式によって、視覚的質問応答モデルの予測精度が大きく低下せずに視覚的質問応答モデルのトレーニング効率を効果的に向上させることが実現され、工学的利用に有益である。
【００２８】
実施例２
図２は、この実施例に係る別の視覚的質問応答モデルの概略構成図である。図２に示すように、視覚的質問応答モデルは、入力された質問テキストの単語ベクトルシーケンスをプーリング処理して、前記質問テキストのセマンティック表現ベクトルを抽出するためのテキストエンコーダを備える。
【００２９】
ここで、前記プーリング処理は、平均化プーリング処理であり、前記平均化プーリング処理（ａｖｇＰｏｏｌｉｎｇ）は、次の式で表すことができる。
【数４】
2020149685.tif 000009
ただし、ｐは平均化プーリング処理関数を表し、ｋは前記質問テキストに含まれる単語ベクトルの数であり、ｗｉは予めトレーニングされた単語ベクトルモデルを利用して前記質問テキストを処理することによって得られたｉ番目の単語ベクトルであり、ｉは[１，ｋ]内の自然数であり、 
【数５】
2020149685.tif 000010
は、単語ベクトルｗ１，ｗ２，...，ｗｋにおける各単語ベクトルに対応する次元の値の合計を表す。
【００３０】
例として、１つの質問テキストの単語ベクトルシーケンスは、
【数６】
2020149685.tif 000011
であり、上記の式によって当該単語ベクトルシーケンスを平均化プーリング処理して
【数７】
2020149685.tif 000012
を得るので、
【数８】
2020149685.tif 000013
は当該質問テキストのセマンティック表現ベクトルである。したがって、平均化プーリング処理によって、視覚的質問応答モデルにおけるトレーニングする必要があるパラメータの数を減らし、視覚的質問応答モデルのトレーニング効率を向上させることができる。
【００３１】
また、本発明の実施例の視覚的質問応答モデルにおける画像エンコーダは、セマンティック表現ベクトルと組み合わせて所定画像の画像特徴を抽出するために使用される。
【００３２】
さらに、視覚的質問応答モデルは、特徴融合器および分類器をさらに備え、前記特徴融合器および分類器の詳細については、前述した実施例を参照し、詳細はここでは再度説明しない。
【００３３】
本実施例の視覚的質問応答モデルについて、前述した実施例のＶｉｓｕａｌＧｅｎｏｍｅデータセットを上記実施例で記載されたＰ４０クラスタでトレーニングおよび検証し、同時にＬＳＴＭまたはＢｉ-ＬＳＴＭをテキストエンコーダとした従来技術の視覚的質問応答モデルをトレーニングおよび検証し、結果を表４に示す。
【００３４】
【表４】
2020149685.tif 000014
【００３５】
表４から、テキストエンコーダとして平均化プーリング処理を採用する本発明の実施例の視覚的質問応答モデルは、テキストエンコーダとしてＬＳＴＭまたはＢｉ-ＬＳＴＭを採用する従来の視覚的質問応答モデルと比較して、予測精度が約０.４％だけ低下するが、モデルの実行時間が最大２．４時間短縮され、トレーニング効率が大幅に向上することがわかる。
【００３６】
本発明の実施例では、視覚的質問応答モデルは、テキストベクトルを平均化プーリング処理方式でエンコードし、視覚的質問応答モデルを簡素化する目的を達成するとともに、平均化プーリング処理という簡単なエンコーディング方式によって、視覚的質問応答モデルの予測精度が大きく低下せずに視覚的質問応答モデルのトレーニング効率を効果的に向上させることが実現され、工学的利用に有益である。
【００３７】
実施例３
図３は、本発明の実施例３に係る電子機器の概略構成図である。図３は、本発明の実施形態の実現に適する例示的な電子機器１２のブロック図を示している。図３に示される電子機器１２は単なる例であり、本願の実施例の機能および使用の範囲にいかなる制限もすべきではない。
【００３８】
図３に示すように、電子機器１２は、汎用コンピューティング機器の形態で示されている。電子機器１２の構成要素は、１つまたは複数のプロセッサまたはプロセッサ１６と、メモリ２８と、異なるシステムの構成要素（メモリ２８とプロセッサ１２６とを備える）を接続するバス１８とを備えるが、これらに限定されない。
【００３９】
バス１８は、いくつかのタイプのバス構造のうちの１つまたは複数を表し、メモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ、または多様なバス構造のいずれかのバス構造を使用するローカルバスを含む。例えば、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、およびペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、これらに限定されない。
【００４０】
電子機器１２は、通常、複数種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、揮発性媒体および不揮発性媒体、リムーバブル媒体およびノンリムーバブル媒体を含む、電子機器１２によってアクセスされ得る任意の使用可能な媒体であってもよい。
【００４１】
メモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０および／またはキャッシュメモリ３２のような揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を備えてもよい。電子機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに備えてもよい。例だけとするが、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図３に図示せず、通常「ハードディスクドライバ」という）に対して読み出しおよび書き込みをするために用いることができる。図３に示されていないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出しおよび書き込みをするための磁気ディスクドライバ、およびリムーバブル不揮発性光学ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭまたは他の光学媒体）に対して読み出しおよび書き込みをするための光学ディスクドライバを提供することができる。これらの場合、各ドライバは、１つまたは複数のデータメディアインターフェイスを介してバス１８に接続することができる。メモリ２８は、本開示の各実施例に記載の機能を実行するように構成される１セットの（例えば、少なくとも１つ）プログラムモジュールを有する少なくとも１つのプログラム製品を備えてもよい。
【００４２】
１セットの（少なくとも１つ）プログラムモジュール４２を有するプログラム/ユーティリティ４０は、例えば、メモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、１つまたは複数のアプリケーションプログラム、他のプログラムモジュールおよびプログラムデータを含むが、これらに限定されない。これらの例のそれぞれまたはある組み合わせにはネットワーキング環境の実現が含まれる可能性がある。プログラムモジュール４２は、通常、本開示に記載の実施例における機能および／または方法を実行する。
【００４３】
電子機器１２は、１つまたは複数の外部デバイス２００（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信することができ、また、ユーザが当該電子機器１２とインタラクションすることを可能にする１つまたは複数のデバイスと通信することができ、および／または、当該電子機器１２が１つまたは複数の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信することもできる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス２２を介して行うことができる。また、電子機器１２は、ネットワークアダプタ２０を介して、１つまたは複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、および／またはインターネットのようなパブリックネットワーク）と通信することができる。図に示すように、ネットワークアダプタ２０は、バス１８を介して電子機器１２の他のモジュールと通信する。なお、図に示されていないが、マイクロコード、デバイスドライバ、冗長化プロセッサ、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、およびデータバックアップストレージシステムなどを含むが、これらに限定されない他のハードウェアおよび／またはソフトウェアモジュールを電子機器１２と組み合わせて使用することができる。
【００４４】
プロセッサ１６は、メモリ２８に記憶されているプログラムを実行することにより、多様な機能アプリケーションおよびデータ処理を実行し、例えば、前述した実施例に係る視覚的質問応答モデルを実現し、当該視覚的質問応答モデルは、入力された質問テキストの単語ベクトルシーケンスをプーリング処理して、前記質問テキストのセマンティック表現ベクトルを抽出するためのテキストエンコーダと、前記セマンティック表現ベクトルと組み合わせて所定画像の画像特徴を抽出するための画像エンコーダと、を備える。
【００４５】
実施例４
本発明の実施例４は、コンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータ読み取り可能な記憶媒体は、本発明の実施例に係る視覚的質問応答モデルを記憶し、コンピュータプロセッサによって実行される。前記視覚的質問応答モデルは、入力された質問テキストの単語ベクトルシーケンスをプーリング処理して、前記質問テキストのセマンティック表現ベクトルを抽出するためのテキストエンコーダと、前記セマンティック表現ベクトルと組み合わせて所定画像の画像特徴を抽出するための画像エンコーダと、を備える。
【００４６】
勿論、本発明の実施例で提供されるコンピュータ読み取り可能な記憶媒体は、本発明の任意の実施例で提供される視覚的質問応答モデルを実行することもできる。
【００４７】
本発明の実施例のコンピュータ記憶媒体は、１つまたは複数のコンピュータ読み取り可能な媒体の任意の組み合わせを使用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体であり得る。コンピュータ読み取り可能な記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、またはデバイス、または上記の任意の組み合わせであり得るが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、１つまたは複数のリード線を備えた電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤーＲＯＭ）、光学記憶装置、磁気記憶装置、または上記の任意の適切な組み合わせを含む。本明細書では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって使用され、またはそれらと組み合わせて使用できるプログラムを含む、または格納できる任意の有形の媒体であり得る。
【００４８】
コンピュータ読み取り可能なの信号媒体は、ベースバンドにおける、または搬送波の一部として伝播するデータ信号を含むことができ、その中にはコンピュータ読み取り可能なプログラムコードが含まれる。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号または上記の任意の適切な組み合わせを含むがこれらに限定されない。さらに、コンピュータ読み取り可能なの信号媒体は、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置またはデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播または伝送することができる。
【００４９】
コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、または上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。
【００５０】
１つまたは複数のプログラミング言語またはそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、「Ｃ」言語または類似のプログラミング言語のような従来の手続き型プログラミング言語をさらに含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよいし、部分的にユーザーコンピュータに実行されてもよいし、スタンドアロンソフトウェアパッケージとして実行されてもよいし、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよい、または完全にリモートコンピュータまたはサーバーで実行してもよい。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザーのコンピュータに接続でき、または、外部コンピュータに接続できる（例えば、インターネットサービスプロバイダを利用して、インターネット経由で接続する）。
【００５１】
なお、上記は、本発明の好ましい実施例およびそれらに適用される技術的原理に過ぎないことに留意されたい。当業者は、本発明が本明細書に記載の特定の実施例に限定されず、本発明の範囲から逸脱することなく様々な変形、再調整、および置き換えを行うことができることを理解することができる。したがって、本発明を上記実施例により詳細に説明したが、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で同等の実施例を含むことができる。本発明の範囲は、特許請求の範囲によって決定される。
【図１】
2020149685.tif 000017
【図２】
2020149685.tif 000018
【図３】
2020149685.tif 000019