(57)【要約】【課題】マルチエージェントによる情報処理において、エージェントに報酬を適切に分配する。【解決手段】複数の情報供給エージェントのそれぞれから受け取る情報を利用して対象エージェントが得た報酬に基づいて、複数の情報供給エージェントのそれぞれが提供する情報によって得られる仮想収益を推定する仮想収益推定部と、複数の情報供給エージェントのそれぞれに関する仮想収益に基づいて、複数の情報供給エージェントに対する情報の価格を判定する価格判定部とを備える装置を提供する。【選択図】図２
2019192040.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報供給エージェントのそれぞれから受け取る情報を利用して対象エージェントが得た報酬に基づいて、前記複数の情報供給エージェントのそれぞれが提供する情報によって得られる仮想収益を推定する仮想収益推定部と、
前記複数の情報供給エージェントのそれぞれに関する前記仮想収益に基づいて、前記複数の情報供給エージェントに対する情報の価格を判定する価格判定部と
を備える装置。
【請求項２】
前記価格判定部は、前記複数の情報供給エージェントのそれぞれに関する前記仮想収益に基づく入札額で、前記複数の情報供給エージェントのそれぞれの情報提供に対して入札を行う入札処理部を有する請求項１に記載の装置。
【請求項３】
前記入札処理部は、前記複数の情報供給エージェントのうち一の情報供給エージェントが決定した落札額が前記一の情報供給エージェントに対する入札額以下であったことに応じて、前記一の情報供給エージェントが決定した価格を前記一の情報供給エージェントに対する情報の価格として決定する請求項２に記載の装置。
【請求項４】
前記対象エージェントは、前記複数の情報供給エージェントのうち一の情報供給エージェントへの入札が失敗したことに応じて、前記一の情報供給エージェントが提供する情報の少なくとも一部を利用せずに処理を行って報酬を得る請求項２に記載の装置。
【請求項５】
前記対象エージェントは、前記複数の情報供給エージェントの少なくとも１つから受け取る情報に基づいて生成した情報を、１または複数の情報消費エージェントに提供して報酬を得る請求項１から４のいずれか一項に記載の装置。
【請求項６】
前記価格判定部は、前記１または複数の情報消費エージェントからの入札に応じて前記対象エージェントが生成する情報の落札額を決定する応札処理部を有する請求項５に記載の装置。
【請求項７】
前記応札処理部は、前記１または複数の情報消費エージェントのうち入札に成功した情報消費エージェントから得られる対価の合計額が最大となる価格を、前記対象エージェントが生成する情報の落札額として決定する請求項６に記載の装置。
【請求項８】
前記仮想収益推定部は、前記複数の情報供給エージェントのうち第１情報供給エージェントからの情報を利用した場合に前記対象エージェントが得る報酬と、前記第１情報供給エージェントからの情報の少なくとも一部が利用できなかった場合に前記対象エージェントが得る報酬とに基づいて、前記第１情報供給エージェントに関する前記仮想収益を推定する請求項１から７のいずれか一項に記載の装置。
【請求項９】
前記仮想収益推定部は、
前記第１情報供給エージェントからの情報を利用した場合に前記対象エージェントが得た報酬を用いて、前記第１情報供給エージェントからの情報を利用した場合に得られると推定される第１仮想報酬を更新し、
前記第１情報供給エージェントからの情報の少なくとも一部が利用できなかった場合に前記対象エージェントが得た報酬を用いて、前記第１情報供給エージェントからの情報の少なくとも一部を利用できない場合に得られると推定される第２仮想報酬を更新し、
前記第１仮想報酬および前記第２仮想報酬の差に基づいて、前記第１情報供給エージェントに関する前記仮想収益を算出する
請求項８に記載の装置。
【請求項１０】
複数の情報供給エージェントのそれぞれから受け取る情報を対象エージェントが重み付けして前記対象エージェントが出力する情報を生成するために用いる重みを取得する重み取得部と、
前記複数の情報供給エージェントのそれぞれに対する重みに基づいて、前記複数の情報供給エージェントに対する情報の価格を判定する価格判定部と
を備える装置。
【請求項１１】
前記複数の情報供給エージェントおよび前記対象エージェントを含む複数のエージェントは、エージェントネットワークを形成し、
前記複数のエージェントは、前記エージェントネットワーク内で情報を利用する側のエージェントから情報を供給する側のエージェントへと情報の誤差を逆伝播させ、受け取った誤差に基づいて重みを更新する
請求項１０に記載の装置。
【請求項１２】
前記価格判定部は、前記複数の情報供給エージェントのそれぞれに対する重みに基づく入札額で、前記複数の情報供給エージェントのそれぞれの情報提供に対して入札を行う入札処理部を有する請求項１０または１１に記載の装置。
【請求項１３】
前記入札処理部は、前記複数の情報供給エージェントのうち一の情報供給エージェントが決定した落札額が前記一の情報供給エージェントに対する入札額以下であったことに応じて、前記一の情報供給エージェントが決定した価格を前記一の情報供給エージェントに対する情報の価格として決定する請求項１２に記載の装置。
【請求項１４】
前記対象エージェントは、前記複数の情報供給エージェントのうち一の情報供給エージェントへの入札が失敗したことに応じて、前記一の情報供給エージェントが提供する情報の少なくとも一部を利用せずに処理を行って報酬を得る請求項１２に記載の装置。
【請求項１５】
前記対象エージェントは、前記複数の情報供給エージェントの少なくとも１つから受け取る情報を重み付けして生成した情報を、１または複数の情報消費エージェントに提供して報酬を得る請求項１０から１４のいずれか一項に記載の装置。
【請求項１６】
前記価格判定部は、前記１または複数の情報消費エージェントからの入札に応じて前記対象エージェントが生成する情報の落札額を決定する応札処理部を有する請求項１５に記載の装置。
【請求項１７】
前記応札処理部は、前記１または複数の情報消費エージェントのうち入札に成功した情報消費エージェントから得られる対価の合計額が最大となる価格を、前記対象エージェントが生成する情報の価格として決定する請求項１６に記載の装置。
【請求項１８】
コンピュータが、複数の情報供給エージェントのそれぞれから受け取る情報を利用して対象エージェントが得た報酬に基づいて、前記複数の情報供給エージェントのそれぞれが提供する情報によって得られる仮想収益を推定し、
前記コンピュータが、前記複数の情報供給エージェントのそれぞれに関する前記仮想収益に基づいて、前記複数の情報供給エージェントに対する情報の価格を判定する
方法。
【請求項１９】
コンピュータにより実行され、前記コンピュータを、
複数の情報供給エージェントのそれぞれから受け取る情報を利用して対象エージェントが得た報酬に基づいて、前記複数の情報供給エージェントのそれぞれが提供する情報によって得られる仮想収益を推定する仮想収益推定部と、
前記複数の情報供給エージェントのそれぞれに関する前記仮想収益に基づいて、前記複数の情報供給エージェントに対する情報の価格を判定する価格判定部と
して機能させるプログラム。
【請求項２０】
コンピュータが、複数の情報供給エージェントのそれぞれから受け取る情報を対象エージェントが重み付けして前記対象エージェントが出力する情報を生成するために用いる重みを取得し、
前記コンピュータが、前記複数の情報供給エージェントのそれぞれに対する重みに基づいて、前記複数の情報供給エージェントに対する情報の価格を判定する方法。
【請求項２１】
コンピュータにより実行され、前記コンピュータを、
複数の情報供給エージェントのそれぞれから受け取る情報を対象エージェントが重み付けして前記対象エージェントが出力する情報を生成するために用いる重みを取得する重み取得部と、
前記複数の情報供給エージェントのそれぞれに対する重みに基づいて、前記複数の情報供給エージェントに対する情報の価格を判定する価格判定部と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチエージェントによる情報処理のための装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、強化学習の研究が進められており、株式トレーディング、自動運転、スマートグリッド、およびＩｏＴといった産業分野へと適用されつつある。このような産業アプリケーションにおいては、各企業等が各々自己の収益を高めるために、各々が独立したエージェントを利用している。このような個別のエージェントは、得ることができる情報が限られている。このため、各企業等のエージェント同士が情報を交換して処理を行うことができれば、より有用な情報を生成することができ、全体の収益を高めることができる可能性がある。非特許文献１〜２は、マルチエージェント間で通信しながら強化学習をする技術を開示する。
非特許文献１  サインバヤール・スフバートル（Sainbayar Sukhbaatar）、他２名、「ラーニング・マルチエージェント・コミュニケーション・ウィズ・バックプロパゲーション（Learning Multiagent Communication with Backpropagation）」、第３０回ニューラル・インフォメーション・プロセッシング・システムズ２０１６（Neural Information Processing Systems 2016: NIPS2016）、２０１６年
非特許文献２  エイドリアン・Ｋ・アゴジノ（Adrian K. Agogino）、他１名、「ＱＵＩＣＲ−ラーニング・フォア・マルチ−エージェント・コーディネーション（QUICR-learning for Multi-Agent Coordination）」、ナショナル・コンファレンス・オン・アーティフィシャル・インテリジェンス（National Conference on Artificial Intelligence）、プロシーディングス（Proceedings）、第２１巻、第１４３８〜１４４３頁、２００６年
非特許文献３  ジユ・ワン（Ziyu Wang）、他５名、「デュエリング・ネットワーク・アーキテクチャーズ・フォア・ディープ・リインフォースメント・ラーニング（Dueling Network Architectures for Deep Reinforcement Learning）」、第３３回インターナショナル・コンファレンス・オン・マシン・ラーニング、プロシーディングス（Proceedings of the 33rd International Conference on Machine Learning）、２０１６年
非特許文献４  アレクセイ・ドソヴィッスキー（Alexey Dosovitskiy）、他１名、「ラーニング・トゥー・アクト・バイ・プレディクティング・ザ・フューチャー（Learning to Act by Predicting the Future）」、ＩＣＬＲ２０１７、２０１７年
非特許文献５  リ・ワン（Li Wan）、他４名、「レギュラライゼーション・オブ・ニューラル・ネットワークス・ユージング・ドロップコネクト（Regularization of Neural Networks using DropConnect）」、第３０回インターナショナル・コンファレンス・オン・マシン・ラーニング、プロシーディングス（Proceedings of the 30th International Conference on Machine Learning）、２０１３年
非特許文献６  レイ・ジミー・べ（Lei Jimmy Ba）、他１名、「アダプティブ・ドロップアウト・フォア・トレイニング・ディープ・ニューラル・ネットワークス（Adaptive dropout for training deep neural networks）」、イン・アドバンセズ・イン・ニューラル・インフォメーション・プロセッシング・システムズ（In Advances in Neural Information Processing Systems）、第３９８１〜３９８９頁、２０１６年
【発明の概要】
【発明が解決しようとする課題】
【０００３】
各エージェントが別個の企業等によって運用されている場合、複数のエージェントのネットワークを用いて生成した情報によって得られた報酬を、複数のエージェントにどのように分配するかが問題となる。非特許文献１では、報酬を全エージェントに均等に分配する。非特許文献２では、信頼できる第三者が複数のエージェントに報酬を分配する。これらの分配方法においては、報酬が情報の貢献度によらず不公平となる、または第三者しか報酬を決定することができない等により納得性の高い報酬分配をすることができなかった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、装置を提供する。装置は、複数の情報供給エージェントのそれぞれから受け取る情報を利用して対象エージェントが得た報酬に基づいて、複数の情報供給エージェントのそれぞれが提供する情報によって得られる仮想収益を推定する仮想収益推定部を備えてよい。装置は、複数の情報供給エージェントのそれぞれに関する仮想収益に基づいて、複数の情報供給エージェントに対する情報の価格を判定する価格判定部を備えてよい。
【０００５】
価格判定部は、複数の情報供給エージェントのそれぞれに関する仮想収益に基づく入札額で、複数の情報供給エージェントのそれぞれの情報提供に対して入札を行う入札処理部を有してよい。
【０００６】
入札処理部は、複数の情報供給エージェントのうち一の情報供給エージェントが決定した落札額が一の情報供給エージェントに対する入札額以下であったことに応じて、一の情報供給エージェントが決定した価格を一の情報供給エージェントに対する情報の価格として決定してよい。
【０００７】
対象エージェントは、複数の情報供給エージェントのうち一の情報供給エージェントへの入札が失敗したことに応じて、一の情報供給エージェントが提供する情報の少なくとも一部を利用せずに処理を行って報酬を得てよい。
【０００８】
対象エージェントは、複数の情報供給エージェントの少なくとも１つから受け取る情報に基づいて生成した情報を、１または複数の情報消費エージェントに提供して報酬を得てよい。
【０００９】
価格判定部は、１または複数の情報消費エージェントからの入札に応じて対象エージェントが生成する情報の落札額を決定する応札処理部を有してよい。
【００１０】
応札処理部は、１または複数の情報消費エージェントのうち入札に成功した情報消費エージェントから得られる対価の合計額が最大となる価格を、対象エージェントが生成する情報の落札額として決定してよい。
【００１１】
仮想収益推定部は、複数の情報供給エージェントのうち第１情報供給エージェントからの情報を利用した場合に対象エージェントが得る報酬と、第１情報供給エージェントからの情報の少なくとも一部が利用できなかった場合に対象エージェントが得る報酬とに基づいて、第１情報供給エージェントに関する仮想収益を推定してよい。
【００１２】
仮想収益推定部は、第１情報供給エージェントからの情報を利用した場合に対象エージェントが得た報酬を用いて、第１情報供給エージェントからの情報を利用した場合に得られると推定される第１仮想報酬を更新してよい。仮想収益推定部は、第１情報供給エージェントからの情報の少なくとも一部が利用できなかった場合に対象エージェントが得た報酬を用いて、第１情報供給エージェントからの情報の少なくとも一部を利用できない場合に得られると推定される第２仮想報酬を更新してよい。仮想収益推定部は、第１仮想報酬および第２仮想報酬の差に基づいて、第１情報供給エージェントに関する仮想収益を算出してよい。
【００１３】
本発明の第２の態様においては、装置を提供する。装置は、複数の情報供給エージェントのそれぞれから受け取る情報を対象エージェントが重み付けして対象エージェントが出力する情報を生成するために用いる重みを取得する重み取得部を備えてよい。装置は、複数の情報供給エージェントのそれぞれに対する重みに基づいて、複数の情報供給エージェントに対する情報の価格を判定する価格判定部を備えてよい。
【００１４】
複数の情報供給エージェントおよび対象エージェントを含む複数のエージェントは、エージェントネットワークを形成してよい。複数のエージェントは、エージェントネットワーク内で情報を利用する側のエージェントから情報を供給する側のエージェントへと情報の誤差を逆伝播させ、受け取った誤差に基づいて重みを更新してよい。
【００１５】
価格判定部は、複数の情報供給エージェントのそれぞれに対する重みに基づく入札額で、複数の情報供給エージェントのそれぞれの情報提供に対して入札を行う入札処理部を有してよい。
【００１６】
入札処理部は、複数の情報供給エージェントのうち一の情報供給エージェントが決定した落札額が一の情報供給エージェントに対する入札額以下であったことに応じて、一の情報供給エージェントが決定した価格を一の情報供給エージェントに対する情報の価格として決定してよい。
【００１７】
対象エージェントは、複数の情報供給エージェントのうち一の情報供給エージェントへの入札が失敗したことに応じて、一の情報供給エージェントが提供する情報の少なくとも一部を利用せずに処理を行って報酬を得てよい。
【００１８】
対象エージェントは、複数の情報供給エージェントの少なくとも１つから受け取る情報を重み付けして生成した情報を、１または複数の情報消費エージェントに提供して報酬を得てよい。
【００１９】
価格判定部は、１または複数の情報消費エージェントからの入札に応じて対象エージェントが生成する情報の落札額を決定する応札処理部を有してよい。
【００２０】
応札処理部は、１または複数の情報消費エージェントのうち入札に成功した情報消費エージェントから得られる対価の合計額が最大となる価格を、対象エージェントが生成する情報の価格として決定してよい。
【００２１】
本発明の第３の態様においては、方法を提供する。方法においては、コンピュータが、複数の情報供給エージェントのそれぞれから受け取る情報を利用して対象エージェントが得た報酬に基づいて、複数の情報供給エージェントのそれぞれが提供する情報によって得られる仮想収益を推定してよい。方法においては、コンピュータが、複数の情報供給エージェントのそれぞれに関する仮想収益に基づいて、複数の情報供給エージェントに対する情報の価格を判定してよい。
【００２２】
本発明の第４の態様においては、コンピュータにより実行されるプログラムを提供する。プログラムは、コンピュータを、複数の情報供給エージェントのそれぞれから受け取る情報を利用して対象エージェントが得た報酬に基づいて、複数の情報供給エージェントのそれぞれが提供する情報によって得られる仮想収益を推定する仮想収益推定部として機能させてよい。プログラムは、コンピュータを、複数の情報供給エージェントのそれぞれに関する仮想収益に基づいて、複数の情報供給エージェントに対する情報の価格を判定する価格判定部として機能させてよい。
【００２３】
本発明の第５の態様においては、方法を提供する。方法においては、コンピュータが、複数の情報供給エージェントのそれぞれから受け取る情報を対象エージェントが重み付けして対象エージェントが出力する情報を生成するために用いる重みを取得してよい。方法においては、コンピュータが、複数の情報供給エージェントのそれぞれに対する重みに基づいて、複数の情報供給エージェントに対する情報の価格を判定してよい。
【００２４】
本発明の第６の態様においては、コンピュータにより実行されるプログラムを提供する。プログラムは、コンピュータを、複数の情報供給エージェントのそれぞれから受け取る情報を対象エージェントが重み付けして対象エージェントが出力する情報を生成するために用いる重みを取得する重み取得部として機能させてよい。プログラムは、コンピュータを、複数の情報供給エージェントのそれぞれに対する重みに基づいて、複数の情報供給エージェントに対する情報の価格を判定する価格判定部として機能させてよい。
【００２５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係るマルチエージェント環境１０の構成を示す。
【図２】本実施形態に係るエージェント１２０の構成を示す。
【図３】本実施形態に係るエージェント１２０における情報の価格決定プロセスを示す。
【図４】本実施形態に係るエージェント１２０における情報の落札額の決定方法を示すグラフである。
【図５Ａ】本実施形態に係るマルチエージェント環境１０の動作フローを示す。
【図５Ｂ】本実施形態に係るマルチエージェント環境１０の動作フローを示す。
【図６】本実施形態に係るマルチエージェント環境１０の動作アルゴリズムの一例を示す。
【図７】本実施形態の変形例に係るマルチエージェント環境１０におけるエージェント１２０の構成を示す。
【図８】本実施形態の変形例に係るマルチエージェント環境１０の動作フローを示す。
【図９】本実施形態の変形例に係るマルチエージェント環境１０の動作アルゴリズムの一例を示す。
【図１０】本実施形態に係るコンピュータ２２００の構成の一例を示す。
【発明を実施するための形態】
【００２７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２８】
図１は、本実施形態に係るマルチエージェント環境１０の構成を示す。マルチエージェント環境１０は、１または複数の情報ソース１００ａ〜ｃと、１または複数の特徴抽出装置１１０ａ〜ｃと、１または複数のエージェント１２０ａ〜ｆと、１または複数の情報利用装置１３０ａ〜ｂと、プラットフォーム１４０とを備える。マルチエージェント環境１０は、各特徴抽出装置１１０ａ〜ｃ、各エージェント１２０ａ〜ｄ、および各情報利用装置１３０ａ〜ｂが協調して情報処理を行いつつ、各々が独立して情報提供等に対する報酬を得て収益を最大化することが可能なフレームワークを提供する。
【００２９】
１または複数の情報ソース１００ａ〜ｃ（「情報ソース１００」と総称する。）は、マルチエージェント環境１０における情報処理の大元となる情報を提供する。情報ソース１００は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。また、情報ソース１００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、情報ソース１００は、情報ソース１００が実現すべき機能を実装すべく設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、情報ソース１００は、温度センサ、湿度センサ、圧力センサ、加速度センサ、ガスセンサ、およびその他のセンサ等であってもよい。
【００３０】
このような情報ソース１００は、例えば、株価、企業情報およびその他の各種金融商品に関する情報、様々なウェブサイト、ＳＮＳ、掲示板、チャット、ツィート、動画または音声のストリームデータ、およびその他の、インターネット等のネットワークを介してアクセス可能な様々な情報、ならびに、天気、温度、湿度、圧力、加速度、ガスの成分、およびその他のセンサデータといった様々な情報を無料または有料で提供する。
【００３１】
ここで、各々の情報ソース１００は、例えばある特定のウェブサイトが提供する情報といった特定の情報を提供するものであってもよい。多数の情報ソース１００がマルチエージェント環境１０の中に導入されることによって、マルチエージェント環境１０内の複数の情報ソース１００は、全体として世界中に存在する全てまたは大部分の情報をマルチエージェント環境１０内で利用可能とすることも可能である。
【００３２】
１または複数の特徴抽出装置１１０ａ〜ｃ（「特徴抽出装置１１０」と総称する。）は、１または複数の情報ソース１００の少なくとも１つに直接またはネットワークを介して接続され、情報ソース１００により提供される情報の特徴を抽出して、後段のエージェント１２０ａ〜ｆ等で利用可能なデータ形式に変換する。特徴抽出装置１１０は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。また、特徴抽出装置１１０は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、特徴抽出装置１１０は、特徴抽出装置１１０が実現すべき機能を実装すべく設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。
【００３３】
一例として、特徴抽出装置１１０は、あるウェブサイトのテキストデータを解析して、そのテキストの特徴データを出力する。このようなテキストからの特徴抽出またはテキストマイニングの手法は多数提案され、実用化されている。また、各特徴抽出装置１１０は、テキストデータ以外の情報についても、様々なデータマイニング手法、画像処理手法、音声データ処理手法、統計処理手法、およびその他のデータ処理手法の中から各特徴抽出装置１１０の設計者等が選択した手法を用いて解析し、得られたデータを出力してよい。ここで、各特徴抽出装置１１０は、独立した事業者または個人によって運営されてよく、各々の事業者等が得意分野または興味等に応じて他の事業者等の動向を気にすることなく独自の情報、または他の特徴抽出装置１１０と大差ない情報を出力してよい。このような特徴抽出装置１１０が多数マルチエージェント環境１０の中に導入されることによって、マルチエージェント環境１０内の複数の特徴抽出装置１１０は、全体として世界中に存在する全てまたは大部分の情報を様々な面から着目した多くの種類の特徴データセットを提供することも可能である。
【００３４】
本実施形態に係る各特徴抽出装置１１０は、マルチエージェント環境１０内のネットワークにおいて後段に位置するエージェント１２０ａ〜ｆおよび情報利用装置１３０ａ〜ｂの処理を規格化するべく、予め定められた共通データ形式の情報を出力する。この共通データ形式は、一例としてスカラ値、ベクトル値、またはテンソル値等であってよい。これに代えて、各特徴抽出装置１１０は、各々独自のデータ形式で情報を出力し、後段のエージェント１２０ａ〜ｆ等が、各々の特徴抽出装置１１０が出力する情報のデータ形式を考慮したプログラムを実行等することにより目的とする情報処理を行うようにしてもよい。
【００３５】
１または複数のエージェント１２０ａ〜ｆ（「エージェント１２０」と総称する。）のそれぞれは、１または複数の特徴抽出装置１１０ａ〜ｃおよび／または他の１または複数のエージェント１２０に直接またはネットワークを介して接続され、上流側（情報供給側）の１または複数のエージェント（他のエージェント１２０に加え特徴抽出装置１１０を含む広義のエージェント）のそれぞれから受け取る情報を利用して情報処理を行う。そして、エージェント１２０は、情報処理によって生成した情報を下流側（情報消費側）の１または複数のエージェント（他のエージェント１２０に加え情報利用装置１３０を含む広義のエージェント）へと提供する。
【００３６】
エージェント１２０は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。また、エージェント１２０は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、エージェント１２０は、エージェント１２０が実現すべき機能を実装すべく機能を実現すべく設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。
【００３７】
ここで、各エージェント１２０は、独立した事業者または個人によって運営されてよく、各々の事業者等が得意分野または興味等に応じて他の事業者等の動向を気にすることなく独自に他のエージェントから情報を収集し、収集した情報を独自に加工等して、独自の情報、または他の特徴抽出装置１１０と大差ない情報を出力してよい。
【００３８】
１または複数の情報利用装置１３０ａ〜ｂ（「情報利用装置１３０」と総称する。）のそれぞれは、１または複数のエージェント１２０に直接またはネットワークを介して接続され、１または複数のエージェント１２０のそれぞれから受け取る情報を活用して収益を上げる。各情報利用装置１３０は、情報利用装置１３０を運用する事業者等自体で収益を上げてもよく、マルチエージェント環境１０の外部の事業者または個人等に収益をもたらし、その収益に対する報酬を受け取ってもよい。
【００３９】
情報利用装置１３０は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。また、情報利用装置１３０は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、情報利用装置１３０は、情報利用装置１３０が実現すべき機能を実装すべく機能を実現すべく設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。
【００４０】
情報利用装置１３０は、例えば金融機関等によって運用されてもよく、上流側のエージェント１２０から受け取る情報に基づいて金融商品に投資して収益を上げてもよい。例えば情報利用装置１３０は、ヘッジファンドのファンド会社によって運用されてもよく、投資家によって投資を受けた資金を上流側のエージェント１２０から受け取る情報に基づいて運用して収益を上げ、その収益から報酬を除いて投資家に分配してもよい。
【００４１】
これに代えて、情報利用装置１３０は、例えば製造業の事業者等によって運用されてもよく、上流側のエージェント１２０から受け取る情報に基づいて製品の製造量、製造する製品の構成比率、製造国、およびその他のパラメータを変更することによって、収益の増加（コスト削減を含む）を図ってもよい。また、情報利用装置１３０は、例えば天気、農産物の生産量、およびその他の様々な環境に影響される事象を予測してもよく、予測データを販売することによって収益を上げてもよい。また、情報利用装置１３０は、テレビ事業者、新聞社、出版社、およびその他のマスコミュニケーション業者であってもよく、上流側のエージェント１２０から受け取る情報に基づいてメディアで提供する情報を生成または選別等をすることにより、収益を上げてもよい。
【００４２】
情報利用装置１３０は、収益を上げることによって得られる報酬をマルチエージェント環境１０内のエージェントに分配する。具体的には、情報利用装置１３０は、収益を上げることによって得られる報酬の少なくとも一部を、情報利用装置１３０が利用した情報を提供したエージェントに分配する。情報利用装置１３０から報酬の分配を受けたエージェントも、更に上流側のエージェントへと受け取った報酬の少なくとも一部を分配してもよく、このような報酬分配の連鎖によって情報利用装置１３０が収益を上げるのに寄与した各エージェントが報酬の分配を受け取ることが可能となる。
【００４３】
プラットフォーム１４０は、１または複数の特徴抽出装置１１０、１または複数のエージェント１２０、および１または複数の情報利用装置１３０と通信可能に接続され、これらの広義のエージェントがマルチエージェント環境１０内で動作するために利用可能な各種のライブラリ機能を提供する。プラットフォーム１４０は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。また、プラットフォーム１４０は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、プラットフォーム１４０は、プラットフォーム１４０が実現すべき機能を実装すべく機能を実現すべく設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。
【００４４】
例えば、プラットフォーム１４０は、マルチエージェント環境１０内のエージェントの検索機能を、各エージェントの管理者に対して提供してもよい。例えばプラットフォーム１４０は、各エージェントの説明、紹介、および／または広告等の情報を記憶し、あるエージェントの管理者からの要求を受けて、これらの情報を検索してその管理者に提供してもよい。これにより、プラットフォーム１４０は、あるエージェントの管理者が、ある特定の情報（例えばグアテマラのウエウエテナンゴの天候予測情報）を提供する特徴抽出装置１１０またはエージェント１２０を検索した場合に、そのような情報または類似の情報を出力する特徴抽出装置１１０またはエージェント１２０に関する情報をその管理者に提供することができる。
【００４５】
また、プラットフォーム１４０は、一部または全てのエージェント間の通信を中継してもよい。ここで、プラットフォーム１４０は、マルチエージェントの情報処理に関する情報のやり取りについては中継せずにエージェント間で直接やり取りさせ、各エージェント間での報酬の分配処理に関するデータのやり取りついては各エージェントからプラットフォーム１４０が提供するＡＰＩ（アプリケーション・プログラム・インターフェイス）を呼び出すことによって実現可能としてもよい。
【００４６】
以上に示したとおり、マルチエージェント環境１０内の複数のエージェント（特徴抽出装置１１０、エージェント１２０、および情報利用装置１３０）は、ニューラルネットワークのようなネットワーク構造の中で情報を入出力しつつも、それぞれが独立して報酬を受け取るノードとして機能する。このため、本実施形態において、各エージェントをニューロンと呼ぶこともある。なお、本図においては、マルチエージェント環境１０は、複数の特徴抽出装置１１０のそれぞれを入力ノードとし、複数の情報利用装置１３０のそれぞれを出力ノードとし、複数のエージェント１２０のそれぞれを中間ノードとする多層ニューラルネットワークのようなネットワーク構造を有するが、マルチエージェント環境１０はこれに限られず複数の特徴抽出装置１１０および複数の情報利用装置１３０の間が任意のエージェント１２０のネットワークによって結合されていてもよい。本実施形態において、このエージェント１２０のネットワークは、非循環ネットワークを前提に説明をするが、エージェント１２０のネットワークは循環ネットワークであっても実現可能である。
【００４７】
以下に、マルチエージェント環境１０における報酬分配の前提を説明する。複数のエージェント間のネットワークを、有向グラフＧｒａｐｈ＝（Ｖｅｒｔｅｘ，Ｅｄｇｅ）と表す。ここで集合Ｖｅｒｔｅｘは、全エージェントｖ１〜Ｎの集合Ｖｅｒｔｅｘ＝｛ｖ１，…，ｖＮ｝である。集合Ｅｄｇｅは、エージェント間のエッジの集合Ｅｄｇｅ⊂Ｖｅｒｔｅｘ２である。ここで、（ｖｉ，ｖｊ）∈Ｅｄｇｅの場合、ｖｉからｖｊへと情報を伝達する接続が存在することを示す。エージェントｖｉが接続されるエージェント（すなわち１つのエッジを介してエージェントｖｉの下流側に接続されるエージェント）の集合は、Ｎｉｏｕｔ＝｛ｊ｜（ｖｉ，ｖｊ）∈Ｅｄｇｅ｝と表される。エージェントｖｉに接続されるエージェント（すなわち１つのエッジを介してエージェントｖｉの上流側に接続されるエージェント）の集合は、Ｎｉｉｎ＝｛ｊ｜（ｖｊ，ｖｉ）∈Ｅｄｇｅ｝と表される。
【００４８】
エージェントｖｉが時刻ｔに出力する情報は、ｘｉｔと表される。本実施形態においては、説明を簡単にするためｘｉｔは実数のスカラデータであることとするが、ｘｉｔは任意のデータ形式をとってもよい。
【００４９】
本実施形態においては、各エージェントの特性として以下の仮定をおく。なお、本実施形態に係るマルチエージェント環境１０は、これらの仮定の一部を前提としない場合においても実現可能である。
【００５０】
（１）仮定１
各エージェントｖｉは、自己の収益（累積報酬）を最大化する。ここで累積報酬は、将来価値を割引率γ（０＜γ≦１）によってディスカウントした値であってよく、以下の式（１）により表される。ここで、Ｔは累積報酬を考慮すべき期間の最終時刻であり、時刻１からTの期間をエピソードという。
【数１】
2019192040.tif 000003
【００５１】
（２）仮定２
全エージェントの集合Ｖｅｒｔｅｘの内部で発生する内部報酬の合計は０である。したがって、全エージェントの集合Ｖｅｒｔｅｘが時刻ｔに受け取る報酬の合計は、全エージェントの外部から時刻ｔに受け取る外部報酬Ｒｔｅｘと等しくなる。ここで、エージェントｖｉが時刻ｔに受け取る報酬をＲｉｔ、外部報酬をＲｉｔｅｘとすると、以下の式（２）が成立する。なお、情報利用装置１３０は、１または複数のエージェント１２０からの情報を受け取って最終的に使用する情報を生成し、その情報を利用して収益を上げる。なお、情報利用装置１３０は、情報利用装置１３０を運用する事業者等のコスト削減を行ってもよいが、このようなコスト削減による収益も複数のエージェントのネットワークの外部でのアクションによって得られる収益であることから、この収益による報酬も外部報酬とみなす。
【数２】
2019192040.tif 000004
【００５２】
なお、本実施形態において、情報利用装置１３０以外のエージェントは、他のエージェントに対する情報の出力以外に報酬を得る手段を有していない。そこで、本実施形態においては、各特徴抽出装置１１０および各エージェント１２０の外部報酬は０であるとする。なお、情報利用装置１３０以外のエージェントが情報の出力とは無関係に外部報酬を得ている場合においても、各エージェントは、その外部報酬を除いて以下に示すような処理を行うことで、自己の収益を最適化することができる。
【００５３】
（３）仮定３
エージェントｖｉは、提供する情報ｘｉに対する内部報酬ρｊｉｔを下流側のエージェントｖｊから受け取る。この場合、この内部報酬ρｊｉｔは、エージェントｖｊの報酬Ｒｊｔから差し引かれる。
【００５４】
（４）仮定４
エージェントｖｉは、自己の収益がδ未満となる場合には、ノーオペレーション（ＮＯＯＰ）を選択し、情報の入出力を行わないことができる。このδは、一例として０を超える額（十分な収益とみなせない小さな額）であってもよい。
【００５５】
マルチエージェント環境１０の社会的厚生関数（Social Welfare function）Ｇａｌｌは、仮定２から目的関数Ｇと等価であり、以下の式（３）で表される。
【数３】
2019192040.tif 000005
【００５６】
仮定３から、エージェントｖｉの報酬Ｒｉｔは、以下の式（４）のとおり表すことができる。
【数４】
2019192040.tif 000006
【００５７】
ここで正の項は、収入であり、以下の式（５）で表される。
【数５】
2019192040.tif 000007
【００５８】
式（４）の負の項は、コストであり、以下の式（６）で表される。
【数６】
2019192040.tif 000008
【００５９】
各エージェントｖｉは、割引率を用いた累積報酬Ｇｉｔを最大化する。累積報酬Ｇｉｔは、以下の式（７）で表される。
【数７】
2019192040.tif 000009
【００６０】
ここで、累積報酬Ｇｉｔは、エピソードの最後（最終時刻Ｔ）にならないと観測できないが、各エージェントｖｉが最適なアクションを選択するためには現時点で得られる値が必要となる。そこで、累積報酬Ｇｉｔは、以下の式（８）に示す価値関数Ｖｉπｉ（ｓｉｔ）で近似される。ここで、ｓｉｔは、エージェントｖｉの状態であり、本実施形態においてエージェントｖｉの観測値（エージェントｖｉが入力する情報の値）およびエージェントｖｉの内部状態の少なくとも一部を含む値に応じた状態値を有してよい。このエージェントｖｉの観測値は、一例として直前の時刻におけるエージェントｖｉの観測値であってよい。πｉは、エージェントｖｉが有するポリシーであり、状態ｓｉｔにおいてエージェントｖｉがどのように振る舞うかによって価値関数の値が変わりうることを示す。記号Ｅは、期待値を示す。
【数８】
2019192040.tif 000010
【００６１】
以上の条件の下、以下の式（９）が成立する。
【数９】
2019192040.tif 000011
【００６２】
式（９）から、各エージェントｖｉは、収入ｒｉｔを最大化し、コストｃｉｔを最小化し、価値関数Ｖｉπｉ（ｓｉ，ｔ＋１）を高めるように構成される。ここで、報酬Ｒｉｔ＞０（すなわちｒｉｔ＞ｃｉｔ）の場合、エージェントｖｉは、入力される情報に対して付加価値を加えたとみなすことができる。ここで、各エージェントｖｉは、全ての時刻ｔでＲｉｔ≦０である場合、および、ある時刻ｔでＲｉｔ≦０であり価値関数Ｖｉπｉ（ｓｉｔ）＜δの場合等の収益が上げられない場合等の予め定められた条件が成立する場合には、ＮＯＯＰを選択する。なお、各エージェントｖｉは、エージェントｖｉを運営する事業者独自の判断基準に応じて、どのような条件ＮＯＯＰを選択するかを設定可能であってもよい。
【００６３】
ここで、式（９）を無思慮に最適化しようとすると、各エージェントは、コストｃｉｔを０に抑えることとなる。この場合、マルチエージェント環境１０全体では、最終段以外のエージェントが報酬を受け取ることができなくなり、ＮＯＯＰを選択して情報を提供しなくなってしまう。この結果情報利用装置１３０は、有用な情報を受け取って収益を上げることができなくなり、マルチエージェント環境１０全体が受け取る外部報酬Ｒｔｅｘも大きく減少してしまうこととなる。このような社会的ジレンマを回避するために、マルチエージェント環境１０は、次に示すように、各エージェントが自己の収益を高めつつ、そのエージェントに情報を提供した情報供給エージェントに対して誠実に報酬を支払うことができるスキームを採用する。
【００６４】
図２は、本実施形態に係るエージェント１２０の構成を示す。エージェント１２０は、複数の上流側（情報供給側）のエージェントの少なくとも１つから受け取る情報に基づいて生成した情報を、１または複数の下流側（情報消費側）のエージェントに提供して報酬を得る。本実施形態において、各エージェント１２０は、オークションによってそのエージェント１２０の上流側（情報供給側）のエージェントの情報を入札し、下流側（情報消費側）のエージェントからの入札を受けて情報の価格を決定する。このような構成において、エージェント１２０は、複数の情報供給エージェントのうち一の情報供給エージェントへの入札が失敗したことに応じて、一の情報供給エージェントが提供する情報の少なくとも一部を利用せずに処理を行って報酬を得る。
【００６５】
エージェント１２０は、情報受信部２００と、情報処理部２１０と、情報送信部２２０と、仮想収益推定部２３０と、価格判定部２４０とを備える。情報受信部２００は、着目している対象エージェント１２０（ｖｉ）に対して直接情報を提供すべく接続されている１または複数の情報供給エージェントｖｊが出力する情報ｘｊｔを受け取る。ここで、情報供給エージェントｖｊは、対象エージェント１２０（ｖｉ）との間で、（ｖｊ，ｖｉ）∈Ｅｄｇｅの関係を有する特徴抽出装置１１０またはエージェント１２０である。
【００６６】
情報処理部２１０は、情報受信部２００に接続され、情報受信部２００が受け取った情報を用いて情報処理を行う。情報処理部２１０は、受け取った情報を対象エージェント１２０の設計者が有用と考える情報に変換する任意の情報処理を行ってよく、ニューラルネットワーク、サポートベクタマシーン、ランダムフォレスト、勾配ブースティング、ロジスティック回帰、およびその他の機械学習アルゴリズムを用いて受け取った情報から目標とする情報が得られるように学習された情報処理を行ってもよい。
【００６７】
情報送信部２２０は、対象エージェント１２０（ｖｉ）から直接情報を提供すべく接続されている１または複数の情報消費エージェントｖｊに対して、情報処理部２１０の情報処理によって生成された情報ｘｉｔを送信する。ここで、情報消費エージェントｖｊは、対象エージェント１２０（ｖｉ）との間で、（ｖｉ，ｖｊ）∈Ｅｄｇｅの関係を有するエージェント１２０または情報利用装置１３０である。
【００６８】
仮想収益推定部２３０は、複数の情報供給エージェントのそれぞれから受け取る情報を利用して対象エージェント１２０が得た報酬に基づいて、複数の情報供給エージェントのそれぞれが提供する情報によって得られる仮想収益を推定する。仮想収益推定部２３０による仮想収益の推定方法については、後述する。
【００６９】
価格判定部２４０は、複数の情報供給エージェントのそれぞれに関する仮想収益に基づいて、複数の情報供給エージェントに対する情報の価格を判定する。これにより各エージェント１２０は、各情報供給エージェントが提供する情報の価値を妥当な価格に見積もって各情報供給エージェントへと支払うことができ、自エージェントの収益を上げながら継続的に必要な情報を得て自エージェントが出力する情報の価値を維持向上することが可能となる。単純なインプリメンテーションにおいては、各エージェント１２０は、仮想収益のある割合（例えば予め定められた割合）の部分を自己の収益として留保し、残りの部分を情報供給エージェントへの報酬としてもよい。
【００７０】
本実施形態においては、価格判定部２４０は、更に情報の価格を妥当に決定するべくオークションによる価格決定メカニズムを採用する。このような価格判定部２４０は、入札処理部２５０と、応札処理部２６０とを有してよい。
【００７１】
入札処理部２５０は、複数の情報供給エージェントのそれぞれに関する仮想収益に基づく入札額で、複数の情報供給エージェントのそれぞれの情報提供に対して入札を行う。入札処理部２５０は、情報供給エージェントが決定した落札額がその情報供給エージェントに対する入札額以下であったことに応じて、その情報供給エージェントが決定した価格をその情報供給エージェントに対する情報の価格として決定する。入札処理部２５０は、各情報供給エージェントに対する入札が成功したか否かを情報受信部２００へと通知する。これを受けた情報受信部２００は、入札が成功した情報供給エージェントから受け取った情報は情報処理部２１０へと供給し、入札が失敗した情報供給エージェントについては例えば過去の情報の平均または疑似平均等のダミー情報を情報処理部２１０へと供給するようにしてよい。
【００７２】
応札処理部２６０は、１または複数の情報消費エージェントからの入札に応じて対象エージェントが生成する情報の落札額を決定し、落札結果及び／又は落札額を各情報消費エージェントに通知する。ここで、応札処理部２６０は、１または複数の情報消費エージェントのうち入札に成功した情報消費エージェントから得られる対価の合計額が最大となる価格を、対象エージェントが生成する情報の落札額として決定してよい。応札処理部２６０は、各情報消費エージェントからの入札が成功したか否かを情報送信部２２０へと通知する。これを受けた情報送信部２２０は、入札に成功した情報消費エージェントに対しては情報処理部２１０が生成した情報を送信し、入札に失敗した情報消費エージェントに対しては情報処理部２１０が生成した情報を送らないようにする。これに代えて、応札処理部２６０は、入札に失敗した情報消費エージェントに対しても、情報送信部２２０が生成した情報の一部のみ、または過去の情報の平均または疑似平均等の精度を下げた情報を送るようにしてもよい。
【００７３】
以上に示したエージェント１２０によれば、情報供給エージェントからの情報の価格を適正な価格に決定することができ、エージェント１２０が収益を上げつつ各情報供給エージェントに報酬を分配することができる。
【００７４】
なお、他のインプリメンテーションにおいては、エージェント１２０は仮想収益推定部２３０および価格判定部２４０を内蔵せず、各エージェント１２０に対する仮想収益推定部２３０および価格判定部２４０の機能・構成をプラットフォーム１４０側に設けるようにしてもよい。
【００７５】
また、上記においてはエージェント１２０の構成を示したが、他のエージェント（特徴抽出装置１１０および情報利用装置１３０）も上記エージェント１２０の機能の少なくとも一部を有していてよい。例えば、特徴抽出装置１１０は、複数のエージェント１２０に情報を提供することから、エージェント１２０における出力側の構成、すなわち例えば情報送信部２２０および価格判定部２４０（特に応札処理部２６０に関する機能構成）を有してもよい。また、情報利用装置１３０は、複数のエージェント１２０から情報を受け取ることから、エージェント１２０における入力側の構成、すなわち例えば情報受信部２００、仮想収益推定部２３０、および価格判定部２４０（特に入札処理部２５０に関する機能構成）を有してもよい。
【００７６】
図３は、本実施形態に係るエージェント１２０における情報の価格決定プロセスを示す。まず、複数のエージェントｖｊ（図中ｊ＝１，２，３、「買い手」とも示す。）は、時刻ｔにおけるエージェントｖｉ（「売り手」とも示す。）の情報提供（情報ｘｉｔの提供）に対して、入札をする（図３左上の入札処理）。入札処理において、各買い手エージェントｖｊ内の入札処理部２５０は、自エージェントｖｊの入札額ｂｊｉｔ（図中、ｂ１ｉｔ〜ｂ３ｉｔ）を決定し、買い手に通知して入札を行う。
【００７７】
売り手エージェントｖｉ内の応札処理部２６０は、各買い手エージェントｖｊからの入札に応じて、売り手エージェントｖｉが生成する情報の落札額ｑｉｔを決定する。本実施形態においては、応札処理部２６０は、落札額を最適価格に決定するが、最適落札額であることを明示する場合には落札額ｑｉｔの上に「＾」の記号を付す。売り手エージェントｖｉ内の応札処理部２６０は、決定した落札額ｑｉｔを各買い手エージェントｖｊ内の入札処理部２５０に通知する（図３右上の落札処理）。買い手エージェントｖｊは、入札額ｂｊｉｔが落札額ｑｉｔ以上の場合には情報ｘｉｔを落札することができるが、入札額ｂｊｉｔが落札額ｑｉｔ未満の場合には情報ｘｉｔを落札することができない。
【００７８】
ここで、割当ｇｊｉｔを、買い手エージェントｖｊが落札した場合に値１をとり、落札できなかった場合に値０をとる変数と定義する。割当ｇｊｉｔは、ステップ関数Ｈ（）（入力値が０以上の場合に１、０未満の場合に０となる関数）を用いて以下のとおり表すことができる。
【数１０】
2019192040.tif 000012
【００７９】
本実施形態おいては、前述した仮定１〜４に加えて、価格の決定について以下の仮定をおく。
【００８０】
（５）仮定５
同じ売り手エージェントｖｉに対して買い手エージェントｖｊおよびｖｊ'が支払う内部報酬をρｊｉｔおよびρｊ'ｉｔとすると、これらの対価の間には以下の関係（１１）が成り立つ。
【数１１】
2019192040.tif 000013
【００８１】
すなわち、２以上の買い手エージェントは、同じ売り手エージェントに対して、同じ情報の提供を受ける場合には、同じ内部報酬ｑｉｔ＝ρｊｉｔ＝ρｊ'ｉｔを支払うものとする。
【００８２】
買い手エージェントｖｊ内の入札処理部２５０は、落札に成功した場合に落札額ｑ＾ｉｔを売り手エージェントｖｉに支払う処理を行い、落札に失敗した場合には売り手エージェントｖｉに対して支払いを行わない（図３左下の支払処理）。売り手エージェントｖｉに対価ｑ＾ｉｔを支払った買い手エージェントｖｊでは、収益が支払額ｑ＾ｉｔ分減少する。買い手エージェントｖｊが売り手エージェントｖｉに支払う内部報酬ρｊｉｔは、以下の式（１２）で表すことができる。
【数１２】
2019192040.tif 000014
【００８３】
対価の支払いを受けたことに応じて、売り手エージェントｖｉは、買い手エージェントｖｊに対して情報ｘｉｔを提供する。なお、各エージェントがある程度信用できる場合には、売り手エージェントｖｉは、買い手エージェントｖｊから後払いで対価の支払いを受けるスキームを採用してもよく、ある程度の期間（例えば１ヶ月等）の間の対価を累積して支払いを受けるスキームとしてもよい。
【００８４】
エージェント１２０（ｖｉ）の収入およびコストは、本図に関連して説明したパラメータを用いて以下のように表すことができる。
【００８５】
（１）収入
エージェント１２０の収入は、式（５）および式（１２）から、以下の式（１３）で表すことができる。
【数１３】
2019192040.tif 000015
【００８６】
ここで、ｄｉｔは、エージェント１２０の情報提供に対する需要であり、以下の式（１４）に示すように、入札額ｂｊｉｔが落札額ｑｉｔ以上となった買い手エージェントｖｊの数である。
【数１４】
2019192040.tif 000016
【００８７】
外部報酬Ｒｉｅｘは落札額ｑｉｔとは独立に決まることから、エージェント１２０の収入ｒｉｔを最大化する最適落札額ｑ＾ｉｔは、需要ｄｉｔ×落札額ｑｉｔを最大とするｑｉｔであり、以下の式（１５）で表すことができる。
【数１５】
2019192040.tif 000017
【００８８】
図４は、式（１５）による情報の落札額の決定方法を示すグラフである。本図の横軸は、式（１５）における価格ｑを示し、縦軸は価格ｑにおける需要ｄｉｔ（ｑ）および収入ｒｉｔ＝ｑｄｉｔ（ｑ）の大きさを示す。一般的には、本図のように価格ｑが上昇するにつれて需要曲線ｄｉｔ（ｑ）は漸減していく。このため、価格ｑを増やしていくと、ある程度まで収入ｒｉｔは増加していくが、価格ｑを増やしすぎると収入ｒｉｔは却って減少していく。したがって、ある価格において収入ｒｉｔが最大となるポイントがある。エージェント１２０内の応札処理部２６０は、入札してきた全ての買い手エージェントｖｊの入札額ｂｊｉｔを受信するので需要曲線ｄｉｔ（ｑ）を知ることができる。したがって、応札処理部２６０は、全ての買い手エージェントｖｊの入札額ｂｊｉｔから、収入ｒｉｔが最大となる最適落札額ｑ＾ｉｔを決定することができる。
【００８９】
（２）コスト
エージェント１２０のコストは、エージェント１２０が情報供給エージェントに支払う内部報酬の合計であり、以下の式（１６）によって表すことができる。
【数１６】
2019192040.tif 000018
【００９０】
ここで、ベクトルｇｉｔは、割当ベクトルであり、以下の式（１７）に示すように定義される。
【数１７】
2019192040.tif 000019
【００９１】
ベクトルｑｔは、落札額ベクトルであり、以下の式（１８）に示すように定義される。
【数１８】
2019192040.tif 000020
【００９２】
（３）価値関数
エージェント１２０（ｖｉ）が生成する情報ｘｉｔは、情報供給エージェントから入力される情報に依存し、情報消費エージェントの入札額に影響を与える。エージェント１２０の入札額ｂｉｊｔが最小化されると、情報供給エージェントから情報を買うことができなくなり、エージェント１２０が得ることができる報酬が将来的に減少してしまう。したがって、入札が成功する場合および失敗する場合の両方を考慮した価値関数を用いる。
【００９３】
本実施形態において、価値関数は、以下の式（１９）に示すように、割当ベクトルｇｉｔの線形関数として近似する。
【数１９】
2019192040.tif 000021
【００９４】
ここで、ベクトルｏｉｔは、仮想収益（「反実仮想収益（ｃｏｕｎｔｅｒｆａｃｔｕａｌ  ｒｅｔｕｒｎ）」とも示す。）のベクトルである。ベクトルｏｉｔの各要素は、各情報供給エージェントｖｊからの情報ｘｊｔを利用することによって得られる仮想収益である。また、Ｖｉｔ０は、割当ベクトルｇｉｔによらない定数であり、エージェント１２０が情報ｘ１、…、ｘＮを用いずにアクションをした場合における価値関数である。
【００９５】
これにより、エージェント１２０における最適化問題は、以下の式（２０）に示すエージェントｖｉの状態行動価値関数Ｑｉ（・，・）によって実現される。
【数２０】
2019192040.tif 000022
式（２０）の左辺は、状態ｓｉｔにおいてアクションａを最適化したときのＱｉ（ｓｉｔ，ａ）の最大値を意味する。アクションａは、各情報供給エージェントへの入札額を要素とするベクトルｂ、および対象エージェント１２０の落札額ｑを含み、ａ＝（ベクトルｂ，ｑ）と表される。式（２０）の右辺は、式（９）の各項について、式（１３）、式（１６）、式（１９）を参照して導くことができる。ここで、式（１３）における外部報酬Ｒｉｔｅｘ、および式（１９）におけるＶｉｔ０は、式（２０）の定数項にまとめられる。なお、対象エージェント１２０にとって、落札額のベクトルｑ＾ｔは、自己の落札額ｑ＾ｉｔおよび入札をした情報供給エージェントの落札額を除いて未知であるから、式（２０）においてはＥｑ＾ｔ［・］を用いて期待値であることを示している。
【００９６】
ここで、エージェント１２０の報酬を最大化させる入札額ｂ＾ｉｔについては、以下の式（２１）に示す法則が成り立つ。この理由については後述する。
【数２１】
2019192040.tif 000023
【００９７】
本実施形態において、各エージェントは、上記の式（２１）を用いて入札額を決定する。これに代えて、各エージェントは、仮想収益に基づいて、式（２１）とは異なる式を用いて入札額を決定してもある程度妥当な報酬分配を実現することができる。例えば、各エージェントは、入札額を、仮想収益にγ以外の係数を乗じた額としてもよく、仮想収益によらない定数を更に加えた額としてもよく、仮想収益に加えて他の変数を加味した額としてもよい。他の変数を加味する場合、各エージェントは、一例として前回入札に失敗した場合には今回の入札額を（損失が発生しないと予測される範囲で）増加させる等といった要素を採り入れてもよい。
【００９８】
式（２１）から、各エージェントは、自己に対する仮想収益（情報消費エージェントにおける自エージェントに対する仮想収益）を増やすように情報を充実させることで、入札額を増加させ、収益を増やすことができる。このようなマルチエージェント環境１０においては、各エージェントがとるアクションａ＝（ベクトルｂ，ｑ）について、以下の結論を導くことができる。
（結論）
各エージェントがとるアクションは、以下の式（２２）においてナッシュ均衡となる。
【数２２】
2019192040.tif 000024
【００９９】
以上に示したマルチエージェント環境１０は、各エージェントが自己に対する仮想収益（情報消費エージェントにおける自エージェントに対する仮想収益）を増やすように情報を充実させることで、入札額を増加させ、収益を増やすことができる環境を提供することができる。このようなマルチエージェント環境１０においては、各エージェントを運用する事業者等は、情報供給エージェントに十分な支払をしつつ有用な情報を提供していかなければ淘汰されていく。これにより、マルチエージェント環境１０は、複数のエージェントが協調して情報を生成し、全体の収益を高めていくことができる環境を実現することができる。
【０１００】
図５Ａおよび図５Ｂは、本実施形態に係るマルチエージェント環境１０の動作フローを示す。また、図６は、本実施形態に係るマルチエージェント環境１０の動作アルゴリズムの一例を示す。
【０１０１】
ステップＳ５００（図６の１行目に対応）およびＳ５８０（図６の１８行目に対応）において、マルチエージェント環境１０は、時刻１からＴまでの間Ｓ５０５〜Ｓ５７５を繰り返すループ制御を行う。時刻１からＴまでの期間は、マルチエージェント環境１０による報酬等の学習の単位であり、「エピソード」と示される。図５〜６においては、１エピソード分の動作を示しているが、マルチエージェント環境１０は、時間の経過に伴って多数のエピソード（時刻１からＴまでのエピソード）を実行していくことにより、学習を進めていく。例えば、時刻の１ステップが０．１秒、１エピソードが０．６分（Ｔ＝３６０）である場合、マルチエージェント環境１０は、１時間に１００エピソード、１日に２４００エピソード、１ヶ月（３０日）に７２０００エピソードを実行してよい。このような強化学習を行うことによって、マルチエージェント環境１０内の各エージェントは、推定する仮想収益の精度を高めていくことができ、より適切な落札額を提示することができるようになっていく。
【０１０２】
Ｓ５０５（図６の２行目に対応）において、マルチエージェント環境１０内の複数のエージェントのそれぞれは、対象エージェントｖｉへの接続が存在する各情報供給エージェントｖｊに対して、各情報供給エージェントｖｊに関連づけられた仮想収益ｏｉｊｔに基づく入札額で入札を行う。本実施形態に係る各エージェント内の入札処理部２５０は、事業者等が各々収益を最大化する経営判断をした結果として、式（２１）に示した最適入札額で入札を行うように設定されてよい。
【０１０３】
Ｓ５１０（図６の３行目に対応）およびＳ５４０（図６の１０行目に対応）において、入札を受けた各エージェント内の応札処理部２６０は、入札に成功する情報消費エージェトから得られる対価の合計額が最大となる最適落札額を決定する。ここで、応札処理部２６０は、式（１５）により落札額を決定してよい。応札処理部２６０は、決定した落札額を接続先の各情報消費エージェントに通知する。
【０１０４】
Ｓ５１５（図６の４行目に対応）において、マルチエージェント環境１０内の各エージェントは、情報供給エージェントｖｉから情報消費エージェントｖｊへの各接続について、Ｓ５２０からＳ５３５を行うループ処理を開始する。
【０１０５】
Ｓ５２０（図６の５行目に対応）において、情報消費エージェントｖｊ内の入札処理部２５０は、情報供給エージェントｖｉから受け取った落札額ｑ＾ｉｔが自己の入札額ｂｊｉｔ以上か否かを判定し、落札結果の一例として割当ｇｊｉｔを式（１０）により算出する。情報供給エージェントｖｉ内の応札処理部２６０は、同様にして各情報供給エージェントｖｊに対する落札結果（一例として割当ｇｊｉｔ）を算出する。
【０１０６】
Ｓ５２５（図６の６行目に対応）において、情報消費エージェントｖｊ内の入札処理部２５０は、落札結果ｇｊｉｔおよび受け取った落札額ｑ＾ｉｔに基づいて、情報供給エージェントｖｉに対して支払う対価を決定する。入札処理部２５０は、式（１２）に基づいてこの対価を決定してよい。
【０１０７】
Ｓ５３０（図６の７行目に対応）において、情報消費エージェントｖｊ内の入札処理部２５０は、情報供給エージェントｖｉに対して対価ρｊｉｔを支払う処理を行う。これにより、情報供給エージェントｖｉの報酬Ｒｉｔは対価分増加し、情報消費エージェントｖｊの報酬Ｒｊｔは対価分減少する。なお、入札処理部２５０は、仮想通貨を情報供給エージェントｖｉへと送金するブロックチェーン上の処理を行うこと、ＡＰＩ等を通じて銀行等の金融機関に送金トランザクションを送ること、または、電子マネーを送金する処理を行うこと等の価値の移転処理を行うことによって対価の支払処理を実現してよい。
【０１０８】
Ｓ５３５（図６の８〜９行目に対応）において、情報供給エージェントｖｉ内の情報送信部２２０は、入札に成功した情報消費エージェントｖｊに対して、情報供給エージェントｖｉ内の情報処理部２１０が生成した情報ｘｉｔを発送する。ここで、情報送信部２２０は、入札が失敗した情報消費エージェントｖｊに対しては、図６の８行目に示すようにダミー情報ｘ￣ｉｊｔを発送してもよい。このダミー情報ｘ￣ｉｊｔは、例えば図６の９行目に示すように情報ｘｉｔの平均（オンライン平均）等であってよい。
【０１０９】
Ｓ５４５（図６の７行目に対応）およびＳ５７５（図６の１７行目に対応）において、マルチエージェント環境１０は、各エージェントｖｉでＳ７５０〜Ｓ７７５の処理を実行させるためのループ制御を行う。
【０１１０】
Ｓ５５０（図６の１２行目に対応）において、エージェントｖｉは、外部状態を観測する。
【０１１１】
Ｓ５５５（図６の１３〜１４行目に対応）において、エージェントｖｉ内の情報処理部２１０は、内部状態Ｓｉｔを更新する。本実施形態に係る情報処理部２１０は、時刻ｔにおける外部状態Ｓｉｔｅｘ、各情報供給エージェントから受信した情報（またはダミー情報）、およびエージェントｖｉに設定されたパラメータの組を内部状態Ｓｉｔとする。外部状態Ｓｉｔｅｘは、エージェントｖｉが情報供給エージェント以外の情報ソース等（例えば外部の環境等）から受け取る情報および／またはセンスデータ等に応じて変化する状態である。あるエージェントｖｉが、情報供給エージェントからの情報以外に、マルチエージェント環境１０の枠組を用いて報酬を支払う必要がない情報ソース等からの情報等を使用して自己が出力すべき情報を生成する場合、エージェントｖｉ内の情報処理部２１０は、外部状態Ｓｉｔｅｘを用いて内部状態Ｓｉｔを更新してもよい。
【０１１２】
本実施形態においては、説明の便宜上、外部状態、受信した情報、設定パラメータの組み合わせを内部状態としているが、どのような要素に応じてエージェントｖｉの内部状態を決定するかは、エージェントｖｉを運用する事業者等が任意に決定してよい。例えば、エージェントｖｉは、外部状態、受信した情報、および設定されたパラメータのうちの一部のみに基づく内部状態を用いてもよい。また例えば、エージェントｖｉは、外部状態、受信した情報、および設定されたパラメータのうちの少なくとも１つを非可逆変換により縮退した内部状態を用いてもよい。また、エージェントｖｉは、例えば各情報供給エージェントに対する割当ｇｊｉｔ等の他のパラメータを含めた内部状態を用いてもよい。
【０１１３】
Ｓ５６０（図６の１４行目に対応）において、エージェントｖｉ内の情報処理部２１０は、情報供給エージェントから受信した情報に基づいて、アクションａｉｔｅｘを決定（サンプリング）する。エージェントｖｉ内の情報処理部２１０は、図６の１４行目に示したように、受信した情報に応じて更新された内部状態ｓｉｔに基づいて、エージェントｖｉが有するアクション決定ポリシーπｉｅｘを用いてアクションａｉｔｅｘを決定してよい。情報処理部２１０は、予め定められたアルゴリズムを有するプログラムを実行することによりアクションａｉｔｅｘを決定してもよい。これに代えて、情報処理部２１０は、内部状態ｓｉｔと事後的に最適であったと判明したアクションとの組を用いて強化学習により選択するアクションａｉｔｅｘの最適化を行ってもよい。この場合において、情報処理部２１０は、内部状態ｓｉｔに応じて最適と推定されたアクションをより高い確率で選択する一方で、低い確率で準最適または他のアクションも選択しうるようにアクションａｉｔｅｘをサンプリングしてもよい。
【０１１４】
Ｓ５６５（図６の１５行目に対応）において、エージェントｖｉ内の情報処理部２１０は、アクションａｉｔｅｘを実行する。エージェントｖｉ内の価格判定部２４０は、アクションａｉｔｅｘを実行した結果得られた収益に応じて、外部報酬Ｒｉｔｅｘ（ａｉｔｅｘ）を取得する。ここで、Ｓ７６０およびＳ７７０は、主に情報利用装置１３０によって実行されてよく、アクションａｉｔｅｘは金融商品への投資、製造業における各種の製造パラメータの変更、将来の予測、および情報の提供等であってよい。
【０１１５】
Ｓ５７０（図６の１６行目に対応）において、エージェントｖｉの情報消費エージェントｖｊ内の仮想収益推定部２３０は、Ｓ７３０における内部報酬のやり取りおよびＳ７６５における外部報酬の取得の結果に基づいて、エージェントｖｉが提供する情報によって得られるエージェントｖｊの仮想収益ｏｊｉｔを更新する。ここで、仮想収益ｏｊｉｔは、以下の式（２３）で表される。
【数２３】
2019192040.tif 000025
【０１１６】
ここで、ｘｊ,［１：ｔ］は、時刻１からｔにおいてエージェントｖｊが観測したエージェントｖｉの情報の集合を示す。Ｑｃ（ｘｊ,［１：ｔ］，ｇｊｉｔ＝１）は時刻ｔにおいてエージェントｖｉからの情報を観測した場合のエージェントｖｊの収益の予測値、Ｑ（ｘｊ,［１：ｔ］，ｇｊｉｔ＝０）は時刻ｔにおいてエージェントｖｉからの情報を観測できなかった場合のエージェントｖｊの収益の予測値を示し、以下の式（２４）および式（２５）を満たす。
【数２４】
2019192040.tif 000026
【数２５】
2019192040.tif 000027
【０１１７】
式（２４）のＱをＱｊｉｔ１、式（２５）のＱをＱｊｉｔ０と略記すると、式（２６）が成立する。
【数２６】
2019192040.tif 000028
【０１１８】
仮想収益推定部２３０は、複数の情報供給エージェントのうちある情報供給エージェントｖｉからの情報を利用した場合に対象エージェントｖｊが得る報酬と、その情報供給エージェントｖｉからの情報の少なくとも一部が利用できなかった場合に対象エージェントｖｊが得る報酬とに基づいて、その情報供給エージェントｖｉに関する仮想収益を推定してよい。仮想収益ｏｊｉｔを推定する方法として、Ｑｊｉｔ１およびＱｊｉｔ０をＱラーニング、ＳＡＲＳＡ、Ａｃｔｏｒ−Ｃｒｉｔｉｃ等の様々な方法を用いることができる。
【０１１９】
非常に単純なインプリメンテーション（「第１インプリメンテーション」と示す。）においては、エージェントｖｊの内部状態を考慮せず、Ｑｊｉｔ１およびＱｊｉｔ０をそれぞれ時刻によらない一定値に収束させる、すなわちＱｊｉｔ１＝Ｑｊｉ（ｔ−１）１およびＱｊｉｔ０＝Ｑｊｉ（ｔ−１）０を前提とするようにすることが考えられる。このインプリメンテーションにおいては、エージェントｖｊ内の仮想収益推定部２３０は、複数の情報供給エージェントｖｉのそれぞれについて、時刻によらないＱｊｉ１およびＱｊｉ０を記憶しておく。エピソードを１回も実行していない初期状態において、仮想収益推定部２３０は、これらの値を乱数を用いて定めてもよい。ある時刻ｔにおいて、Ｓ７０５からＳ７６５までの処理を行うと、エージェントｖｊにおける落札額ｑ＾ｔ、割当ベクトルｇｔ（式（１７）参照）、収入ｒｊ、およびコストｃｊが確定する。
【０１２０】
ここで、複数の情報供給エージェントｖｉのそれぞれについて、ｇｊｉｔは１または０である。仮想収益推定部２３０は、ｇｊｉｔ＝１の場合にはＱｊｉ１を、ｇｊｉｔ＝０の場合にはＱｊｉｔ０を式（２０）に準じて更新する。すなわち、仮想収益推定部２３０は、情報供給エージェントｖｉからの情報を利用した場合に対象エージェントｖｊが得た報酬を用いて、その情報供給エージェントｖｉからの情報を利用した場合に得られると推定される第１仮想報酬Ｑｊｉ１を更新する。また、仮想収益推定部２３０は、情報供給エージェントｖｉからの情報の少なくとも一部が利用できなかった場合に対象エージェントｖｊが得た報酬を用いて、その情報供給エージェントｖｉからの情報の少なくとも一部を利用できない場合に得られると推定される第２仮想報酬Ｑｊｉ０を更新する。この際、仮想収益推定部２３０は、式（２０）どおりにＱｊｉ１またはＱｊｉ０を更新してもよく、以前の値との間で加重平均等を取ることにより徐々に更新してもよい。そして、仮想収益推定部２３０は、更新後のＱｊｉ１およびＱｊｉ０を用いて式（２６）により仮想収益ｏｊｉｔを更新してもよい。すなわち、仮想収益推定部２３０は、第１仮想報酬および第２仮想報酬の差に基づいて、第１情報供給エージェントに関する仮想収益を算出してよい。
【０１２１】
以上において、第１仮想報酬Ｑｊｉ１および第２仮想報酬Ｑｊｉ０は、式（９）から導かれたものであるから、情報供給エージェントからの情報を利用した場合および利用しない場合において対象エージェントｖｊが得る、割引率を考慮した累積的な（反実）仮想収益（総収益）である。仮想収益推定部２３０は、情報供給エージェントからの情報を利用した場合および利用しない場合において対象エージェントｖｊが得る総収益（推定総収益）の差に基づいて、仮想収益を算出してもよい。
【０１２２】
仮想収益推定部２３０は、上記の処理を時刻１からＴまで、更には複数エピソードにおいて継続的に行っていくことにより、Ｑｊｉ１およびＱｊｉｔ０の値を好適な値に近づけることができ、好適な仮想収益ｏｊｉｔを得ることができる。
【０１２３】
他のインプリメンテーション（「第２インプリメンテーション」と示す。）においては、仮想収益推定部２３０は、エージェントｖｊの内部状態を考慮するものの、各時刻における内部状態は独立であるという前提で仮想収益ｏｊｉｔの推定を行ってもよい。このインプリメンテーションにおいては、仮想収益推定部２３０は、Ｑｊｉｔ１およびＱｊｉｔ０をそれぞれ時刻によらない一定値に収束させるようにするが、内部状態別のＱｊｉ１（ｓｊ）およびＱｊｉ０（ｓｊ）として記憶するようにする。エピソードを１回も実行していない初期状態において、仮想収益推定部２３０は、これらの値を乱数を用いて定めてもよい。ある時刻ｔにおいて、エージェントｖｊの内部状態がｓｊｔである場合、仮想収益推定部２３０は、内部状態ｓｊｔに対応するＱｊｉ１（ｓｊｔ）またはＱｊｉ０（ｓｊｔ）のみを、第１インプリメーテーションと同様に更新する。この場合、仮想収益ｏｊｉｔも内部状態に応じて異なる値をとるので、入札処理部２５０は、内部状態に応じた仮想収益ｏｊｉｔ（ｓｊｔ）を用いて入札額ｂｊｉｔを決定してよい。
【０１２４】
ここで、仮想収益推定部２３０は、第２インプリメンテーションまたは他のインプリメンテーションにおいて、外部状態、受信した情報、設定パラメータの全ての組み合わせについて個別に上記処理を行う代わりに、内部状態を例えば数個〜数十個程度の状態値に写像して仮想収益の推定に用いる内部状態として用いてもよい。内部状態の状態数が多くなるほど学習の収束に時間がかかるものの、状況に応じてより高い精度で仮想収益を推定できるようになり、内部状態の状態数が少ないほど学習の収束が早くなるが仮想収益の推定精度が低くなりうる。
【０１２５】
更に他のインプリメンテーション（「第３インプリメンテーション」と示す。）においては、仮想収益推定部２３０は、エージェントｖｊの内部状態の遷移を考慮して仮想収益ｏｊｉｔの推定を行ってもよい。このインプリメンテーションにおいては、Ｑラーニングの考え方を取り入れる。仮想収益推定部２３０は、複数の情報供給エージェントｖｉのそれぞれについて、時刻１からＴの各時刻に対応してＱｊｉｔ１（ｓｊ）およびＱｊｉｔ０（ｓｊ）を記憶しておく。エピソードを１回も実行していない初期状態において、仮想収益推定部２３０は、これらの値を乱数を用いて定めてもよい。
【０１２６】
仮想収益推定部２３０は、ｇｊｉｔ＝１の場合にはＱｊｉｔ１を、ｇｊｉｔ＝０の場合にはＱｊｉｔ０を式（９）に準じて更新する。ここで、式（９）におけるＶｉπｉ（ｓｉ，ｔ＋１）として次の時刻ｔ＋１における状態ｓｊ，ｔ＋１に対応するＱｊｉ，ｔ＋１１（ｓｊ，ｔ＋１）またはＱｊｉ，ｔ＋１０（ｓｊ，ｔ＋１）を用いることから、仮想収益推定部２３０は、次の時刻ｔ＋１のＳ７７０において前の時刻ｔのＱｊｉｔ１（ｓｊｔ）またはＱｊｉｔ０（ｓｊｔ）を更新してもよい。そして、仮想収益推定部２３０は、更新後のＱｊｉ１およびＱｊｉｔ０を用いて式（２６）により仮想収益ｏｊｉｔを更新してもよい。
【０１２７】
このインプリメンテーションにおいては、エージェントｖｊは、上記の処理を複数のエピソードにわたって繰り返し行うことで、Ｑｊｉｔ１（ｓｊ）およびＱｊｉｔ０（ｓｊ）の値を好適な値に近づけることができ、さらに後に実行するエピソードにおいて好適な仮想収益ｏｊｉｔを使うことができる。
【０１２８】
更に他のインプリメンテーション（「第４インプリメンテーション」と示す。）においては、仮想収益推定部２３０は、内部状態ｓｊｔからＱ関数（Ｑｊｉｔ１（ｓｊｔ）およびＱｊｉｔ０（ｓｊｔ））を予測するためにニューラルネットワーク等の機械学習を用いてもよい。時刻ｔのＳ７７０において、仮想収益推定部２３０は、内部状態ｓｊｔ（時刻ｔまでの情報ｘｊ，［１：ｔ］を含む状態）に基づいて、内部状態ｓｊ，ｔ＋１（時刻ｔ＋１までの情報ｘｊ，［１：ｔ＋１］を含む状態）におけるＱｊｉｔ＋１１（ｓｊ，ｔ＋１）およびＱｊｉｔ＋１０（ｓｊ，ｔ＋１）を予測し、時刻ｔ＋１における仮想収益ｏｊｉｔ＋１を予測する。
【０１２９】
次の時刻ｔ＋１のＳ７０５において、入札処理部２５０は、予測された仮想収益ｏｊｉｔ＋１を用いて入札をすることができる。仮想収益推定部２３０は、時刻ｔ＋１のＳ７６５において、落札の成否に応じてＱｊｉｔ＋１１（ｓｊ，ｔ＋１）またはＱｊｉｔ＋１０（ｓｊ，ｔ＋１）の実績値が得られたことに応じて、ニューラルネットワーク等を更に学習させてよい。
【０１３０】
このようなニューラルネットワークを用いた学習においては、非特許文献３に記載されたような二重化ネットワーク（ｄｕｅｌｉｎｇ  ｎｅｔｗｏｒｋ）の手法を用いて状態関数とＱ関数との差分を別々に予測するようにしてもよい。この際、非特許文献４に記載されたように差分の要素の総和が０になるように正規化してもよい。
【０１３１】
より具体的には、エージェントｖｊにおいて、エージェントｖｉからの情報に関するＱ関数は、以下の式（２７）によって表される。
【数２７】
2019192040.tif 000029
【０１３２】
ここで、ε（ｓｔ）はエージェントｖｊに対する複数の情報供給エージェントｖｉについてのＱ関数の期待値であり、Ａ〜ｉ（ｓｔ，ａｔ）は各情報供給エージェントｖｉについてのＱ関数の期待値に対する正規化差分であり、以下の式（２８）を満たすように決定される。
【数２８】
2019192040.tif 000030
【０１３３】
式（２７）から、Ｑｉ（ｓｔ，ａｔ）の予測値Ａｉ（ｓｔ，ａｔ）を用いて以下の式（２９）を導くことができる。
【数２９】
2019192040.tif 000031
【０１３４】
仮想収益推定部２３０は、各情報供給エージェントｖｉについての正規化差分Ａ〜ｉ（ｓｔ，ａｔ）を、それぞれ別個のニューラルネットワーク等を用いて予測し、実績値に応じてこれらのニューラルネットワークを更新してよい。入札処理部２５０は、正規化差分Ａ〜ｉ（ｓｔ，ａｔ）を用いて以下の式（３０）により最適な入札額ｂ＾ｉｔを算出できる。
【数３０】
2019192040.tif 000032
【０１３５】
更に他のインプリメンテーション（「第５のインプリメンテーション」と示す。）においては、仮想収益推定部２３０は、仮想収益ｏｊｉｔを、式（２６）のようにＱｊｉｔ１およびＱｊｉｔ０に分解せずに直接最適化してもよい。このインプリメンテーションにおいては、仮想収益推定部２３０は、仮想収益ｏｊｉ、時刻毎の仮想収益ｏｊｉｔ、内部状態毎の仮想収益ｏｊｉ（ｓｊ）、または時刻および内部状態毎の仮想収益ｏｊｉｔ（ｓｊ）と、式（１９）におけるＶｉ，ｔ＋１０とを記憶する。各エージェントｖｊの仮想収益推定部２３０は、各時刻ｔにおける自エージェントの予測報酬を例えば式（１９）により算出し、報酬の実績値との差分をマルチエージェント環境１０の下流側のエージェントから上流側のエージェントへとバックプロパゲーションさせることにより、多層ニューラルネットワークと同様にして仮想収益およびＶｉ，ｔ＋１０を更新してもよい。
【０１３６】
なお、図５〜６においては、説明の便宜上マルチエージェント環境１０全体の動作フローおよび動作アルゴリズムを示したが、マルチエージェント環境１０内の複数のエージェントは、それぞれが上記の動作フローおよび動作アルゴリズムにおける各エージェントの担当部分を他のエージェントと並列または並行して実行してもよい。
【０１３７】
本実施形態において、各入札処理部２５０は、式（２１）により最適入札額ｂ＾ｉｊｔを決定する。以下に、式（２１）の落札額が最適落札額であることを示す。
【０１３８】
式（２０）において、第１項は入札額と無関係であり、第３項は定数である。したがって、最適落札額ｂ＾ｉｊｔは、式（２１）の第２項を最小化するｂｉｊｔの値となり、以下の式（３１）のように変形することができる。
【数３１】
2019192040.tif 000033
【０１３９】
最適落札額ｂ＾ｉｊｔは、各エージェントｖｊで独立であるから、式（３１）は以下の式（３２）に変形することができる。
【数３２】
2019192040.tif 000034
【０１４０】
したがって、最適落札額ｂ＾ｉｊｔは、以下の式（３３）の条件を満たす解を求めることにより得ることができる。
【数３３】
2019192040.tif 000035
【０１４１】
以下説明の便宜上、ｑ＝ｑｊｔ、ｏ＝ｏｉｊ，ｔ＋１とおくと、以下の式（３４）および式（３５）が成立する。
【数３４】
2019192040.tif 000036
【数３５】
2019192040.tif 000037
【０１４２】
式（３４）の（ｂ−γｏ）ｐ（ｑ＝ｂ）が０となるのは、ｂ＝γｏの場合、すなわちｂ＾ｉｊｔ＝γｏｉｊｔの場合のみである。さらに、式（３５）にｂ＾ｉｊｔ＝γｏｉｊｔを代入すると、以下の式（３６）のとおりとなる。
【数３６】
2019192040.tif 000038
【０１４３】
したがって、ｂ＾ｉｊｔ＝γｏｉｊｔは、式（３３）の条件を満たす唯一の解となる。以上により、マルチエージェント環境１０は、入札額を式（２１）のとおりとすることによって、各エージェントの報酬を最適化することができる。
【０１４４】
図７は、本実施形態の変形例に係るマルチエージェント環境１０におけるエージェント１２０の構成を示す。本変形例におけるマルチエージェント環境１０は、図１〜６に示したマルチエージェント環境１０の一部を変形したものである。本変形例のマルチエージェント環境１０における、図１〜６に示したマルチエージェント環境１０と同様の機能および構成を有する構成要素については、図１〜６と同じ符号を付し、以下相違点を除いて説明を省略する。本変形例において、エージェント１２０は、複数の情報供給エージェントの少なくとも１つから受け取る情報を重み付けして生成した情報を、１または複数の情報消費エージェントに提供して報酬を得る。
【０１４５】
エージェント１２０内の情報処理部２１０は、情報受信部２００が受け取った情報を用いて情報処理を行う。本変形例において、エージェント１２０は、複数の情報供給エージェントのそれぞれから受け取る情報を重み付けして、エージェント１２０が出力する情報を生成する。ここで、複数の情報供給エージェントおよび対象エージェントを含む複数のエージェント（特徴抽出装置１１０、エージェント１２０、および情報利用装置１３０）は、エージェントネットワークを形成する。エージェント１２０（および情報処理部２１０を有する情報利用装置１３０）は、ニューラルネットワークにおけるニューロン単体またはニューラルネットワークの一部として含まれる部分ネットワークにおける情報処理を担当する。情報処理部２１０は、複数の情報供給エージェントのそれぞれとの間に定義された重み値を用いて各情報供給エージェントからの情報に重み付けをし、その重み付け和にバイアス値を加えた結果に基づいてエージェント１２０が出力する情報を生成する。
【０１４６】
重み取得部７３５は、複数の情報供給エージェントのそれぞれから受け取る情報をエージェント１２０が重み付けしてエージェント１２０が出力する情報を生成するために用いる重みを情報処理部２１０から取得する。重み取得部７３５は、取得した重みを価格判定部２４０へと供給する。
【０１４７】
価格判定部２４０は、複数の情報供給エージェントのそれぞれに対する重みに基づいて、複数の情報供給エージェントに対する情報の価格を決定する。本変形例においては、価格判定部２４０は、情報供給側および情報消費側のエージェントの間で情報の価格を妥当に決定するべくオークションによる価格決定メカニズムを採用してよい。価格判定部２４０内の入札処理部２５０は、複数の情報供給エージェントのそれぞれに対する重みに基づく入札額で、複数の情報供給エージェントのそれぞれの情報提供に対して入札を行う。
【０１４８】
図８は、本実施形態の変形例に係るマルチエージェント環境１０の動作フローを示す。図９は、本実施形態の変形例に係るマルチエージェント環境１０の動作アルゴリズムの一例を示す。
【０１４９】
ステップＳ７００（図９の１行目に対応）およびＳ７９０（図９の１２行目に対応）において、マルチエージェント環境１０は、時刻１からＴまでの間Ｓ７１０〜Ｓ７８０を繰り返すループ制御を行う。図８〜９においては、時刻１からＴまでの１エピソード分の動作を示しているが、マルチエージェント環境１０は、時間の経過に伴って多数のエピソードを実行していくことにより、学習を進めていく。
【０１５０】
Ｓ７１０（図９の２行目に対応）において、マルチエージェント環境１０内の複数のエージェントのそれぞれは、対象エージェントｖｉへの接続が存在する各情報供給エージェントｖｊに対して、各情報供給エージェントｖｊとの間に対応づけられた重みｗｉｊｔに基づく入札額で入札を行う。本実施形態に係る各エージェント内の入札処理部２５０は、図６の２行目に示したように、一例として重みの絶対値｜ｗｉｊｔ｜による入札を行ってよい。
【０１５１】
Ｓ７２０（図９の３行目に対応）において、入札を受けた各エージェント内の応札処理部２６０は、入札に成功する情報消費エージェトから得られる対価の合計額が最大となる最適落札額を決定する。ここで、応札処理部２６０は、式（１５）により落札額を決定してよい。応札処理部２６０は、決定した落札額を接続先の各情報消費エージェントに通知する。
【０１５２】
Ｓ７３０（図９の４行目に対応）において、情報消費エージェントｖｊ内の入札処理部２５０は、情報供給エージェントｖｉから受け取った落札額ｑ＾ｉｔが自己の入札額ｂｊｉｔ以上か否かを判定し、落札結果の一例として割当ｇｊｉｔを式（１０）により算出する。情報供給エージェントｖｉ内の応札処理部２６０は、同様にして各情報供給エージェントｖｊに対する落札結果（一例として割当ｇｊｉｔ）を算出する。
【０１５３】
Ｓ７３２（図９の５行目に対応）において、情報消費エージェントｖｊ内の入札処理部２５０は、落札結果ｇｊｉｔおよび受け取った落札額ｑ＾ｉｔに基づいて、情報供給エージェントｖｉに対して支払う対価を決定する。入札処理部２５０は、式（１２）に基づいてこの対価を決定してよい。
【０１５４】
Ｓ７３７（図９の６行目に対応）において、情報消費エージェントｖｊ内の入札処理部２５０は、情報供給エージェントｖｉに対して対価ρｊｉｔを支払う処理を行う。これにより、情報供給エージェントｖｉの報酬Ｒｉｔは対価分増加し、情報消費エージェントｖｊの報酬Ｒｊｔは対価分減少する。
【０１５５】
Ｓ７４０（図９の７行目に対応）において、複数のエージェントの情報処理部２１０は、スイッチングマトリックスＵｔのサンプリングを行う。各エージェントの情報処理部２１０は、スイッチングマトリックスＵｔ全体のうち、情報供給エージェントから自エージェントへのリンクに対応する行列要素のサンプリングを担当してよい。本変形例におけるマルチエージェント環境１０は、非特許文献５および６を応用して、エージェント間のリンクが確率的にマスクされるエージェントネットワークを採用する。スイッチングマトリックスＵｔは、各エージェントｖｊから各エージェントｖｉへのリンクのそれぞれについて、Ｓ７５０で生成するランダムマスクを用いて確率的にマスクするか、リンクをマスクせず割当ｇｉｊｔに基づいて情報ｘｊを利用可能とするかを選択する選択値を含む。複数のエージェントの情報処理部２１０は、各エージェントｖｊから各エージェントｖｉへのリンクのそれぞれについて、乱数を生成し、確率ε（０＜ε＜１）でスイッチングマトリックスＵｔにおけるｉ行ｊ列の要素を１とし、それ以外の場合にその要素を０とする。
【０１５６】
Ｓ７５０（図９の８行目に対応）において、複数のエージェントの情報処理部２１０は、ランダムマスクマトリックスＭｔのサンプリングを行う。各エージェントの情報処理部２１０は、ランダムマスクマトリックスＭｔ全体のうち、情報供給エージェントから自エージェントへのリンクに対応する行列要素のサンプリングを担当してよい。複数のエージェントの情報処理部２１０は、各エージェントｖｊから各エージェントｖｉへのリンクのそれぞれについて、乱数を生成し、予め定められた確率（例えば１／２）でランダムマスクマトリックスＭｔにおけるｉ行ｊ列の要素を１とし、それ以外の場合にその要素を０とする。
【０１５７】
Ｓ７６０（図９の９行目に対応）において、複数のエージェントの情報処理部２１０は、アダプティブマスクマトリックスＭ'ｔを生成する。各エージェントの情報処理部２１０は、アダプティブマスクマトリックスＭ'ｔ全体のうち、情報供給エージェントから自エージェントへのリンクに対応する行列要素の生成を担当してよい。複数のエージェントの情報処理部２１０は、スイッチングマトリックスＵｔの各要素が１の場合にランダムマスクマトリックスＭｔの対応する要素を選択し（ＵｔおよびＭｔの対応する要素毎の積）、０の場合に割当マトリックスＧｔの対応する要素（（１−Ｕｔ）およびＧｔの対応する要素毎の積）を選択する。ここで、割当マトリックスＧｔは、ｉ行ｊ列の要素として割当ｇｉｊｔを有する。
【０１５８】
Ｓ７７０（図９の１０行目に対応）において、複数のエージェントの情報処理部２１０は、アダプティブマスクマトリックスＭ'ｔ、重み、およびバイアスを用いて、出力する情報を生成する。各エージェントの情報処理部２１０は、自エージェントが出力する情報の計算を担当してよい。複数のエージェントの情報処理部２１０は、アダプティブマスクマトリックスＭ'ｔと重みマトリックスＷｔとの要素毎の積に、複数の情報供給エージェントからの情報を含むベクトルｘｔを乗じて、複数のエージェントが有するバイアス値を含むバイアスベクトルｂｉａｓｔを加えることにより、複数のエージェントが出力する情報のベクトルｈｔを算出する。各エージェントの情報処理部２１０は、上記により算出した情報の値を出力する情報としてもよく、更にシグモイド関数、ｔａｎｈ関数等の出力関数により変換して出力する情報を生成してもよい。
【０１５９】
情報供給エージェントｖｉ内の情報送信部２２０は、入札に成功した情報消費エージェントｖｊに対して、情報供給エージェントｖｉ内の情報処理部２１０が生成した情報を発送する。ここで、情報送信部２２０は、入札が失敗した情報消費エージェントｖｊに対しては、図６の８行目と同様にダミー情報を発送してもよい。
【０１６０】
Ｓ７８０（図９の１１行目に対応）において、複数のエージェントの情報処理部２１０は、エージェントネットワークの学習を行う。本変形例において、複数のエージェント内の情報処理部２１０は、ニューラルネットワークにおけるバックプロパゲーションと同様にして、エージェントネットワーク内で情報消費側のエージェントから情報供給側のエージェントへと情報の誤差を逆伝播させ、受け取った誤差に基づいて重み（重みマトリックスＷｔ）およびバイアス（ｂｉａｓｔ）を更新してよい。
【０１６１】
なお、図８〜９においては、説明の便宜上マルチエージェント環境１０全体の動作フローおよび動作アルゴリズムを示したが、マルチエージェント環境１０内の複数のエージェントは、それぞれが上記の動作フローおよび動作アルゴリズムにおける各エージェントの担当部分を他のエージェントと並列または並行して実行してもよい。
【０１６２】
本変形例に係るマルチエージェント環境１０によれば、複数の事業者が運営する複数のエージェントを組み合わせて、ニューラルネットワークのように機能するエージェントネットワークを実現することができる。そして、マルチエージェント環境１０内の複数のエージェントのそれぞれは、各情報供給エージェントからの情報提供の対価として、各情報供給エージェントとの間に割り当てられた重みの大きさに応じた報酬（または重みの大きさに応じた入札額に基づいて決定された落札額の報酬）を支払う処理を行う。ここで、情報供給エージェントとの間の重みが大きいほど対象エージェントが出力する情報に与える影響度が高くなることから、重みが大きいほど対象エージェントが出力する情報における寄与度が高くなるといえる。したがって、重みに応じた報酬分配スキームは、複数のエージェントを運営する複数の事業者にとって、納得性が高くなる。
【０１６３】
図９の２行目においては、重みの大きさ｜Ｗｉｊｔ｜を入札額ｂｉｊｔとしているが、価格判定部２４０または入札処理部２５０は、重みに基づく情報の価格または入札額を、他の計算により決定してもよい。例えば、価格判定部２４０または入札処理部２５０は、重みの大きさに定数を乗じた値に応じて情報の価格等を決定してもよく、正規化した重みの大きさ（例えば（対象となる重みの大きさ）／（対象エージェントおよび各情報供給エージェントの間の全ての重みの大きさの和））に対象エージェントが受け取ると推定される仮想報酬を乗じた値に応じて情報の価格等を決定してもよい。また、価格判定部２４０または入札処理部２５０は、上記のようにして求めた額に予め定められた定額を加算または減算して情報の価格等を決定してもよい。
【０１６４】
なお、図７〜９は、マルチエージェント環境１０における構成および動作を示したが、図７〜９の構成および動作は、複数のエージェントのそれぞれを１つのニューロン等の構成部品とし全体が１つの事業者等によって運営されるシングルエージェント環境にも適用することができる。
【０１６５】
本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
【０１６６】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【０１６７】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
【０１６８】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【０１６９】
図１０は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
【０１７０】
本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インターフェイス２２２２、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。
【０１７１】
ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
【０１７２】
通信インターフェイス２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ−ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ−ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。
【０１７３】
ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。
【０１７４】
プログラムが、ＤＶＤ−ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。
【０１７５】
例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス２２２２に対し、通信処理を命令してよい。通信インターフェイス２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【０１７６】
また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６（ＤＶＤ−ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。
【０１７７】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【０１７８】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。
【０１７９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１８０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１８１】
１０  マルチエージェント環境
１００ａ〜ｃ  情報ソース
１１０ａ〜ｃ  特徴抽出装置
１２０ａ〜ｆ  エージェント
１３０ａ〜ｂ  情報利用装置
１４０  プラットフォーム
２００  情報受信部
２１０  情報処理部
２２０  情報送信部
２３０  仮想収益推定部
２４０  価格判定部
２５０  入札処理部
２６０  応札処理部
７３５  重み取得部
２２００  コンピュータ
２２０１  ＤＶＤ−ＲＯＭ
２２１０  ホストコントローラ
２２１２  ＣＰＵ
２２１４  ＲＡＭ
２２１６  グラフィックコントローラ
２２１８  ディスプレイデバイス
２２２０  入／出力コントローラ
２２２２  通信インターフェイス
２２２４  ハードディスクドライブ
２２２６  ＤＶＤ−ＲＯＭドライブ
２２３０  ＲＯＭ
２２４０  入／出力チップ
２２４２  キーボード
【図１】
2019192040.tif 000039
【図２】
2019192040.tif 000040
【図３】
2019192040.tif 000041
【図４】
2019192040.tif 000042
【図５Ａ】
2019192040.tif 000043
【図５Ｂ】
2019192040.tif 000044
【図６】
2019192040.tif 000045
【図７】
2019192040.tif 000046
【図８】
2019192040.tif 000047
【図９】
2019192040.tif 000048
【図１０】
2019192040.tif 000049