(57)【要約】【課題】学習の精度を向上させることができる解析装置、解析方法、およびプログラムを提供することである。【解決手段】解析装置は、第１データを入力したときに、独立に構成しうる分類器が多層に構成された分類システムに含まれる第１分類器から出力される第２データが、第１教師データに近づくように、前記分類システムを学習させた後、前記第１データを入力したときに、前記第１分類器よりも階層が深い第２分類器から出力される第３データが、第２教師データに近づくように、前記第１教師データを用いた学習結果に基づいて前記分類システムを学習させる学習処理部と、前記学習処理部により学習させられた分類システムに基づいて、未学習のデータを所定のカテゴリーに分類する分類処理部と、を備える。【選択図】図２
2018128942.tif 000002
【特許請求の範囲】
【請求項１】
第１データを入力したときに、独立に構成しうる分類器が多層に構成された分類システムに含まれる第１分類器から出力される第２データが、第１教師データに近づくように、前記分類システムを学習させた後、前記第１データを入力したときに、前記第１分類器よりも階層が深い第２分類器から出力される第３データが、第２教師データに近づくように、前記第１教師データを用いた学習結果に基づいて前記分類システムを学習させる学習処理部と、
前記学習処理部により学習させられた分類システムに基づいて、未学習のデータを所定のカテゴリーに分類する分類処理部と、
を備える解析装置。
【請求項２】
前記第１教師データは、前記第１データおよび前記第２データと異なる種類のデータであり、
前記第２教師データは、前記第１データおよび前記第３データと異なる種類のデータである、
請求項１に記載の解析装置。
【請求項３】
前記第１データは、ユーザの行動履歴を示すデータであり、
前記第１教師データは、前記ユーザの回答に基づくデータであり、
前記第２教師データは、前記ユーザの回答を分析することで得られるデータである、
請求項２に記載の解析装置。
【請求項４】
前記第１データは、テキストデータであり、
前記第１教師データは、前記第１データのワード数よりも少ないワード数のテキストデータであり、
前記第２教師データは、前記第１教師データのワード数よりも少ないワード数のテキストデータである、
請求項２に記載の解析装置。
【請求項５】
前記第１データは、画像データであり、
前記第１教師データは、不特定多数のユーザのそれぞれによる前記画像データの認識結果を示すデータであり、
前記第２教師データは、不特定多数のユーザのそれぞれによる前記画像データの認識結果を示すデータであって、前記第１教師データよりも正しい認識結果が多いデータである、
請求項２に記載の解析装置。
【請求項６】
前記学習処理部は、
前記分類システムに含まれる複数の分類器のうちの入力器および出力器と、前記第１分類器とを用いて、前記第１教師データに対する、前記出力器から出力される第２データの誤差を小さくするように、前記第１分類器のパラメータを決定し、
前記入力器および前記出力器と、前記第１分類器および前記第２分類器とを用いて、前記第２教師データに対する、前記出力器から出力される第３データの誤差を小さくするように、前記決定した前記第１分類器のパラメータを維持しつつ前記第２分類器のパラメータを決定する、
請求項１から５のうちいずれか１項に記載の解析装置。
【請求項７】
第１データを入力したときに、独立に構成しうる分類器が多層に構成された分類システムから出力される第２データが、前記第１データおよび前記第２データと異なる第３データに近づくように、前記分類システムを学習させる学習処理部と、
前記学習処理部により学習させられた分類システムに基づいて、未学習のデータを所定のカテゴリーに分類する分類処理部と、
を備える解析装置。
【請求項８】
コンピュータが、
第１データを入力したときに、独立に構成しうる分類器が多層に構成された分類システムに含まれる第１分類器から出力される第２データが、第１教師データに近づくように、前記分類システムを学習させた後、前記第１データを入力したときに、前記第１分類器よりも階層が深い第２分類器から出力される第３データが、第２教師データに近づくように、前記第１教師データを用いた学習結果に基づいて前記分類システムを学習させ、
前記学習させた分類システムに基づいて、未学習のデータを所定のカテゴリーに分類する、
解析方法。
【請求項９】
コンピュータに、
第１データを入力したときに、独立に構成しうる分類器が多層に構成された分類システムに含まれる第１分類器から出力される第２データが、第１教師データに近づくように、前記分類システムを学習させた後、前記第１データを入力したときに、前記第１分類器よりも階層が深い第２分類器から出力される第３データが、第２教師データに近づくように、前記第１教師データを用いた学習結果に基づいて前記分類システムを学習させる処理と、
前記学習させた分類システムに基づいて、未学習のデータを所定のカテゴリーに分類する処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解析装置、解析方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、過去の検索行動からデータの関連性を自動的に学習し、その学習を利用して将来の検索行動を助ける技術が知られている（例えば、特許文献１参照）。また、ニューラルネットワークを用いて、特徴量の抽出と、その特徴量を用いた機械学習とを一括で行う技術が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２８５９８２号公報
【特許文献２】特表２０１０−５１９６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、学習の精度が十分でない場合があった。
【０００５】
本発明は、上記の課題に鑑みてなされたものであり、学習の精度を向上させることができる解析装置、解析方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、第１データを入力したときに、独立に構成しうる分類器が多層に構成された分類システムに含まれる第１分類器から出力される第２データが、第１教師データに近づくように、前記分類システムを学習させた後、前記第１データを入力したときに、前記第１分類器よりも階層が深い第２分類器から出力される第３データが、第２教師データに近づくように、前記第１教師データを用いた学習結果に基づいて前記分類システムを学習させる学習処理部と、前記学習処理部により学習させられた分類システムに基づいて、未学習のデータを所定のカテゴリーに分類する分類処理部と、を備える解析装置である。
【発明の効果】
【０００７】
本発明の一態様によれば、学習の精度を向上させることができる解析装置、解析方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態における解析装置１００を含む解析システム１の一例を示す図である。
【図２】実施形態における解析装置１００の構成の一例を示す図である。
【図３】行動履歴情報１３２の一例を示す図である。
【図４】アンケートの一例を示す図である。
【図５】アンケート情報１３４の一例を示す図である。
【図６】分析情報１３６の一例を示す図である。
【図７】ＤＮＮ構成情報１３８の一例を示す図である。
【図８】ＤＮＮ構成情報１３８に基づき生成されるディープニューラルネットワークＤＮＮを模式的に示す図である。
【図９】学習処理部１１４により実行される処理の一例を示すフローチャートである。
【図１０】層毎パラメータ情報１４０の一例を示す図である。
【図１１】図９に示すフローチャートのループ処理の内容を模式的に示す図である。
【図１２】分類処理部１１６により実行される処理の一例を示すフローチャートである。
【図１３】本実施形態におけるディープニューラルネットワークＤＮＮの学習手法と、比較例として例示する手法とのそれぞれの学習精度を示す図である。
【図１４】実施形態の解析装置１００のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した解析装置、解析方法、およびプログラムを、図面を参照して説明する。
【００１０】
［概要］
解析装置は、一以上のプロセッサによって実現される。解析装置は、ある入力データｖ（第１データの一例）を入力したときに、独立に構成しうる分類器が多層に構成された分類システムに含まれる第１分類器から出力される出力データｈ（第２データの一例）が、第１教師データに近づくように、分類システムを学習させた後、入力データｖを入力したときに、第１分類器よりも階層が深い第２分類器から出力される出力データｈ（第３データの一例）が、第２教師データに近づくように、第１教師データを用いた学習結果に基づいて分類システムを学習させる。
【００１１】
例えば、「分類器」は、ニューラルネットワークであり、「分類システム」は、複数のニューラルネットワークにより構成されるディープニューラルネットワークＤＮＮである。この場合、「第１分類器」は、ディープニューラルネットワークＤＮＮの隠れ層に含まれる複数の階層のうち、任意の階層のニューラルネットワークであり、「第２分類器」は、隠れ層に含まれる複数の階層のうち、少なくとも第１分類器としたニューラルネットワークの階層よりも深い階層のニューラルネットワークである。「深い階層」とは、後述する出力層に近い階層であることを意味する。「第１分類器」および「第２分類器」のそれぞれは、ある一つの階層のニューラルネットワークを意味してもよいし、複数の階層のニューラルネットワークを意味してもよい。
【００１２】
そして、解析装置は、学習させた分類システムに基づいて、未学習のデータを所定のカテゴリーに分類する。これによって、学習の精度を向上させることができる。以下、一例として、分類システムが、複数のニューラルネットワークにより構成されるディープニューラルネットワークＤＮＮであるものとして説明する。
【００１３】
［全体構成］
図１は、実施形態における解析装置１００を含む解析システム１の一例を示す図である。実施形態における解析システム１は、例えば、一以上の端末装置１０と、サービス提供装置２０と、ログ取得装置３０と、広告配信サーバ装置４０と、解析装置１００とを備える。これらの装置は、ネットワークＮＷを介して接続される。なお、解析システム１に含まれる複数の装置の一部または全部は、一つの解析装置１００内に集約されていてもよい。
【００１４】
図１に示す各装置は、ネットワークＮＷを介して種々の情報を送受信する。ネットワークＮＷは、例えば、無線基地局、Ｗｉ‐Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、図１に示す各装置の全ての組み合わせが相互に通信可能である必要はなく、ネットワークＮＷは、一部にローカルなネットワークを含んでもよい。
【００１５】
端末装置１０は、ユーザによって使用される装置である。端末装置１０は、例えば、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータなどのコンピュータ装置である。例えば、端末装置１０は、ユーザから所定の操作を受け付けると、予めインストールされたアプリケーションを介してサービス提供装置２０と通信を行い、アプリケーション上で表示或いは再生するコンテンツを取得してよい。コンテンツは、例えば、動画データや、画像データ、音声データ、テキストデータなどである。例えば、アプリケーションは、インターネットショッピングや検索サービスを享受可能なアプリケーションであってもよいし、ＳＮＳ（Social Networking Service）、メールサービス、情報提供サービス（例えばニュースや天気予報など）などを享受可能なアプリケーションであってもよい。
【００１６】
また、端末装置１０は、ユーザから所定の操作を受け付けると、所定のウェブブラウザを介して、サービス提供装置２０が提供するウェブサイトにアクセスしてもよい。例えば、サービス提供装置２０により提供されるウェブサイトでは、上述した各種アプリケーションにより提供されるサービスと同様のサービスが提供される。
【００１７】
サービス提供装置２０は、インターネット上において、ショッピングサイトや検索サイト等のウェブサイトを提供するウェブサーバ装置であってよいし、アプリケーションが起動された端末装置１０と通信を行って、各種情報の受け渡しを行うアプリケーションサーバ装置であってもよい。
【００１８】
ログ取得装置３０は、例えば、端末装置１０またはサービス提供装置２０から、ウェブブラウザごとに管理されるクッキーやキャッシュ、ＨＴＴＰ（Hypertext Transfer Protocol）リクエストのログファイルなどを収集することで、端末装置１０を利用するユーザの行動履歴を取得する。行動履歴とは、例えば、インターネットショッピングでの購買履歴（購入した商品またはサービスの種類や金額、個数など）や、検索サイトでの検索履歴（使用された検索エンジンや入力された検索クエリなど）、動画像サイトでの視聴履歴（動画像の種類や視聴時間など）、どういったウェブページからのアクセスなのかを識別するＨＴＴＰリファラ（ＵＲＬの履歴）などである。
【００１９】
また、ログ取得装置３０は、ウェブブラウザを介したインターネット上でのユーザの行動履歴と同様に、端末装置１０において起動されたアプリケーションごとの購買履歴や検索履歴、視聴履歴などをユーザの行動履歴として取得してよい。
【００２０】
また、例えば、端末装置１０で起動されるアプリケーションが、端末装置１０の位置情報（例えばＧＰＳ（Global Positioning System）の測位座標）を利用しながら、近くの実店舗を紹介したり、その地域の気象情報を提供したりするような各種サービスを提供する場合、ログ取得装置３０は、端末装置１０に蓄積された位置情報を、ユーザの行動履歴として取得してもよい。
【００２１】
ログ取得装置３０に取得されるユーザの行動履歴は、端末装置１０毎であってもよいし、一つの端末装置１０におけるＯＳ（Operating System）単位でのアカウント毎であってもよいし、ウェブブラウザまたはアプリケーション単位でのアカウント毎であってもよい。
【００２２】
なお、ログ取得装置３０は、サービス提供装置２０からユーザの行動履歴を取得するのに代えて、或いは加えて、他のサービス提供装置（不図示）からユーザの行動履歴を取得してもよい。ログ取得装置３０は、取得したユーザの行動履歴を示す情報を、解析装置１００に送信する。
【００２３】
広告配信サーバ装置４０は、例えば、解析装置１００による解析結果に基づいて、サービス提供装置２０が端末装置１０に対してサービスを提供するのに伴って広告を配信する。例えば、端末装置１０が、サービス提供装置２０から広告枠を含むウェブページまたはこれに相当するアプリケーション用のスタイルシートを受信すると、広告枠に予め設けられたアドタグまたはＳＤＫ（Software Development Kit）に基づいて、広告配信サーバ装置４０に広告配信リクエストを送信する。これを受けて、広告配信サーバ装置４０は、予め契約しておいた広告依頼主のウェブサイトなどにアクセスすることが可能な広告画像（例えばＵＲＬが埋め込まれた画像）を広告配信リクエストに対するレスポンスとして端末装置１０に送信する。これによって、端末装置１０の画面には、広告画像が表示される。
【００２４】
解析装置１００は、ディープニューラルネットワークＤＮＮを用いて、ログ取得装置３０により取得されたユーザの行動履歴を基に、その行動履歴に対応するユーザを所定のカテゴリーに分類する。上述したように、ディープニューラルネットワークＤＮＮは、少なくとも２層以上の階層を含むニューラルネットワークである。そして、解析装置１００は、ユーザごとのカテゴリーの分類結果を、例えば広告配信サーバ装置４０に提供する。これによって、広告配信サーバ装置４０は、分類されたカテゴリーに応じて広告の配信内容を変更することができる。
【００２５】
［解析装置の構成］
以下、図を参照して解析装置１００の構成について説明する。図２は、実施形態における解析装置１００の構成の一例を示す図である。図示のように、解析装置１００は、例えば、受付部１０２と、表示部１０４と、通信部１０６と、制御部１１０と、記憶部１３０とを備える。
【００２６】
受付部１０２は、ユーザからの操作入力を受け付けるタッチパネルやキーボード、マウスなどの入力インターフェースである。表示部１０４は、液晶表示装置などの表示装置である。
【００２７】
通信部１０６は、例えば、ＮＩＣ（Network Interface Card）等の通信インターフェースやＤＭＡ（Direct Memory Access）コントローラを含む。通信部１０６は、ネットワークＮＷを介して、ログ取得装置３０または広告配信サーバ装置４０などと通信する。例えば、通信部１０６は、ログ取得装置３０からユーザの行動履歴を受信し、これを行動履歴情報１３２として記憶部１３０に記憶させる。
【００２８】
図３は、行動履歴情報１３２の一例を示す図である。図示の例のように、行動履歴情報１３２は、時刻に対して、端末装置１０の位置がどの住所に対応するのかが対応付けられていたり、使用された検索エンジン名とその検索エンジンに入力された検索クエリとが対応付けられていたり、閲覧されたウェブサイトのタイトル名とそのウェブサイトのＵＲＬとが対応付けられていたりする情報である。また、行動履歴情報１３２は、例えば、時刻に対して、購入された商品名またはサービス名と、これらが購入されたウェブサイトのＵＲＬとが対応付けられた情報であってよい。当然のことながら、ユーザは、ある事象に対して、想定し得る全ての行動を取るわけではなく、１つ又は２、３程度、多くとも数十から数百程度の行動を取るのが常である。例えば、ショッピングサイトで販売される商品のうち、一人のユーザが全ての商品を購入することは極めてまれであり、通常は、幾つかの商品を購入するだけである。従って、行動履歴情報１３２が示すユーザの行動履歴は、想定し得る全ての行動履歴を網羅的に含んでいないという意味で、情報量の乏しいスパース（疎）なデータとなる傾向がある。
【００２９】
制御部１１０は、例えば、取得部１１２と、学習処理部１１４と、分類処理部１１６とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
【００３０】
記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムや上述した行動履歴情報１３２の他に、アンケート情報１３４、分析情報１３６、ＤＮＮ構成情報１３８、および層毎パラメータ情報１４０などを記憶する。これらの情報については後述する。
【００３１】
取得部１１２は、例えば、通信部１０６を用いて外部サーバ（不図示）と通信することで、この外部サーバに記憶されたアンケート（サーベイ）の結果を示す情報を取得し、これをアンケート情報１３４として記憶部１３０に記憶させる。
【００３２】
なお、サービス提供装置２０がアンケートに回答可能なアンケートモニターサイト、またはアンケートモニターのサービスをアプリケーションを介して提供する場合、取得部１１２は、通信部１０６を用いてサービス提供装置２０からアンケート情報１３４を取得してもよい。また、アンケート情報１３４は、予め記憶部１３０に記憶されていてもよい。
【００３３】
また、例えば、解析装置１００を管理する管理者などが受付部１０２に対してアンケートの結果を入力する場合、取得部１１２は、受付部１０２に対して入力された情報をアンケート情報１３４としてもよい。
【００３４】
図４は、アンケートの一例を示す図である。図示の例のように、アンケートは、定型化された調査項目（図中Ｑ１〜４等）に対して、予め決められた選択肢が用意されている。図示の例では、５つの選択肢が用意されているがこれに限られず、２つ、３つ、または４つであってもよいし、６つ以上であってもよい。
【００３５】
図５は、アンケート情報１３４の一例を示す図である。図示の例のように、アンケート情報１３４は、例えば、調査項目に対して、ユーザにより選択された選択肢に応じたスコアが対応付けられた情報である。アンケート情報１３４のユーザと、行動履歴情報１３２のユーザは、少なくとも一部が同一であるものとする。すなわち、アンケートの回答者であるユーザの行動履歴は、行動履歴情報１３２として取得されているものとする。
【００３６】
例えば、上述したアンケートにおいて、調査項目に対して肯定的な回答選択肢ほどスコアが高く設定されている。例えば「そうは思わない」や「全くそうは思わない」といった否定的な回答選択肢に比べて、「非常にそう思う」や「ややそう思う」といった肯定的な回答選択肢の方がスコアは高く設定される。なお、この関係は一例であり、調査項目に対して否定的な回答選択肢ほどスコアが高く設定されてもよい。
【００３７】
また、取得部１１２は、上述したアンケートの分析結果を示す情報を取得し、これを分析情報１３６として記憶部１３０に記憶させる。例えば、アンケート情報１３４の取得元である装置が分析を行う場合には、取得部１１２は、分析を行った装置から分析情報１３６を取得してよい。また、例えば、アンケート結果を分析するアナリストなどが受付部１０２に対して分析結果を入力する場合、取得部１１２は、受付部１０２に対して入力された情報を分析情報１３６としてもよい。
【００３８】
例えば、アンケート結果の分析は、（１）アンケートに含まれる各調査項目をどのように設計したのか、（２）どういった分析手法で定量的に評価するのか、（３）分析の結果としてアンケートに回答したユーザをどう分類するのか、といった事項を考慮して行われる。例えば、（１）については、調査項目に対する回答方法が、選択肢形式であるのか或いは記述形式であるのか、選択肢形式であるならば選択肢は文章で表現されているのか或いは数値で表現されているのか、といったことを考慮する必要がある。また、（２）については、ユーザの回答に応じたスコアを用いて、例えば、因子分析を行うことで、アンケートに回答したユーザの特性に寄与する因子が何であるのか、或いはユーザの特性において各因子がどの程度寄与するのか、といったことを考慮する必要がある。また、因子分析の代わりに主成分分析を行う場合、ユーザの特性を表しているであろう複数の変数から、どの変数が主成分となるのかを考慮する必要がある。また、（３）については、最終的な分析結果として、アンケートに回答した複数のユーザのそれぞれの特性から、どのユーザとどのユーザを同じ傾向と見做すのか、或いはユーザの分類先のカテゴリーは各ユーザに対して一つとするのか複数とするのかを考慮する必要がある。このように、アンケート結果を分析するアナリストなどが、アンケートを行うことに至った目的から適切に分析し、アンケートに回答したユーザをある程度の粒度で分類するための統計的な分類指標となるパラメータを導出する必要がある。このようなパラメータは、アナリストなどが適切に設定する必要のあるハイパーパラメータとして扱われる。
【００３９】
例えば、（３）のハイパーパラメータとして、カテゴリーを「年収の高い」、「年収が低い」とする場合、（２）のハイパーパラメータ（分析指標）を、アンケートに回答したユーザのうち、年収の高いユーザに共通する因子や年収の低いユーザに共通する因子などをパラメータとすればよい。
【００４０】
図６は、分析情報１３６の一例を示す図である。図示の例では、アンケート結果に対して、上述した（１）〜（３）の事項を考慮した上で因子分析が行われた場合の結果を示している。例えば、分析情報１３６は、因子分析の際に考慮した因子（図中ＦＡＣ１等）に対して、アンケートに回答したユーザごとに因子スコアが対応付けられた情報である。因子スコアは、例えば、因子とユーザの特性との相関の程度を表す指標値である。図示の例では、因子ＦＡＣ１に対して、ユーザＡの因子スコアは、１．１１３であり、ユーザＢの因子スコアは、０．３８０であり、ユーザＣの因子スコアは、０．３９７であることを表している。これらの因子スコアは、例えば、アンケートの調査項目に対して用意された選択肢のうち、ユーザにより選択された回答選択肢に応じたスコアに基づいて計算されてよい。
【００４１】
また、図示の例のように、分析情報１３６は、アンケートに回答したユーザごとにどういったカテゴリーに分類したのかを表す分類結果を示してよい。ユーザの分類先とするカテゴリーは、例えば、上述した因子スコアなどの複数の分類指標を総合的に考慮することで導出されてよい。例えば、因子ＦＡＣ１〜ＦＡＣ４までの全ての因子スコアが正値であるユーザの場合、そのユーザのカテゴリーは１型とし、いずれか１つの因子スコアが負値であるユーザの場合、そのユーザのカテゴリーは２型とし、いずれか２つの因子スコアが負値であるユーザの場合、そのユーザのカテゴリーは３型とし、いずれか３つ以上の因子スコアが負値であるユーザの場合、そのユーザのカテゴリーは４型とする、といったような分類をしてよい。
【００４２】
学習処理部１１４は、ＤＮＮ構成情報１３８に基づいて学習対象とするディープニューラルネットワークＤＮＮを生成（構築）し、このディープニューラルネットワークＤＮＮに対して、上述した行動履歴情報１３２、アンケート情報１３４、および分析情報１３６を用いて事前学習（Pre-training）を行う。
【００４３】
図７は、ＤＮＮ構成情報１３８の一例を示す図である。図示の例のように、ＤＮＮ構成情報１３８は、各階層に対して、ニューラルネットワークの数を表すユニット数が対応付けられた情報である。一般的に、ディープニューラルネットワークＤＮＮは、入力層、隠れ層（中間層）、出力層の３つの階層により構成される。入力層には、ディープニューラルネットワークＤＮＮに学習させたいデータが入力される。出力層からは、ディープニューラルネットワークＤＮＮによって学習された結果が出力される。隠れ層は、学習の核となる処理を行う。例えば、隠れ層は、活性化関数（伝達関数）と呼ばれる関数により表現され、入力に応じた出力を返す。例えば、活性化関数は、正規化線形関数（ＲｅＬＵ関数）やシグモイド関数、ステップ関数などであるがこれに限られず、任意の関数が用いられてよい。入力層のニューラルネットワークは、「入力器」の一例であり、出力層のニューラルネットワークは、「出力器」の一例である。
【００４４】
ＤＮＮ構成情報１３８は、これらの各階層のユニット数を定めている。図示の例では、入力層のユニット数は１個であり、出力層のユニット数はｓ個であることを表している。また、隠れ層は、少なくとも２層以上であり、図示の例では、ｎ層（ｎ≧２）であることを表している。また、隠れ層の各層のユニット数はｒ個であることを表している。なお、隠れ層の各層のユニット数は、一律ｒ個である必要はなく、各層で異なる個数であってもよい。上述した隠れ層の階層数と各層のユニット数はハイパーパラメータであり、任意に変更されてよい。例えば、アンケート結果の分析により５つのカテゴリーに分類することが決められた場合、出力層のユニット数は５つに設定されてよい。また、学習の精度を向上させるために、隠れ層のユニット数を増やしてもよい。
【００４５】
学習処理部１１４は、このようなＤＮＮ構成情報１３８を参照することで、事前学習の際に構成が予め決められたディープニューラルネットワークＤＮＮを生成する。
【００４６】
図８は、ＤＮＮ構成情報１３８に基づき生成されるディープニューラルネットワークＤＮＮを模式的に示す図である。図示の例のように、ディープニューラルネットワークＤＮＮは、入力層の一以上のユニット（ニューラルネットワーク）から、隠れ層のｎ層のうち、最も浅い層の複数のユニットのそれぞれに対して、神経伝達網を摸したエッジが接続される。「最も浅い層」とは、隠れ層に含まれる複数の層の中で、最も入力層に近い層である。本実施形態では、入力層側に近いことを「浅い」と表現し、出力層側に近いことを「深い」と表現する。上述した例の場合、最も浅い層は第１層である。第１層に含まれる各ユニットからは、隠れ層のｎ層のうち、第１層の次に最も浅い層（以下、第２層と称する）の複数のユニットのそれぞれに対して、エッジが接続される。第２層に含まれる各ユニットからは、隠れ層のｎ層のうち、第２層の次に最も浅い層（以下、第３層と称する）の複数のユニットのそれぞれに対して、エッジが接続される。第３層以降の層のユニットについても同様に、より深い層のユニットに対してエッジが接続される。最も深い第ｎ層の各ユニットからは、出力層の一以上のユニットにエッジが接続される。このように、ディープニューラルネットワークＤＮＮは、例えば、制約付きボルツマンマシン（ＲＢＭ）のように、各層のユニット同士がエッジで接続される状態確率モデルとして表現される。なお、ディープニューラルネットワークＤＮＮは、制約がないボルツマンマシンのように、更に、同じ層に属すユニット同士がエッジで接続される状態確率モデルとして表現されてもよい。
【００４７】
学習処理部１１４は、事前学習として、生成したディープニューラルネットワークＤＮＮにおいて、隠れ層の各層を段階的に学習することで、ディープニューラルネットワークＤＮＮの初期設定を行う。
【００４８】
［事前学習］
以下、事前学習の処理をフローチャートに即して説明する。図９は、学習処理部１１４により実行される処理の一例を示すフローチャートである。
【００４９】
まず、学習処理部１１４は、隠れ層のｎ層のうち、第ｉ層を処理対象の階層に決定する（Ｓ１００）。ｉは、処理の際に一時的に計算されるテンポラリパラメータであり、１からｎまでの範囲における自然数が与えられる。
【００５０】
例えば、学習処理部１１４は、第１層（ｉ＝１）を処理対象の階層に決定する。なお、学習処理部１１４は、第１層以外の第２層や第３層などを処理対象の階層に決定してもよい。以下の説明では、まず始めに第１層を処理対象の階層に決定するものとする。
【００５１】
次に、学習処理部１１４は、生成したディープニューラルネットワークＤＮＮから、入力層および出力層と、前回までの処理において処理対象の階層として決定した全ての階層と、今回の処理において処理対象の階層として決定した第ｉ層とを抽出する（Ｓ１０２）。初回の処理の場合、例えば、学習処理部１１４は、ディープニューラルネットワークＤＮＮから、入力層および出力層と、第１層とを抽出する。
【００５２】
次に、学習処理部１１４は、抽出した階層からなるニューラルネットワークにおいて、入力層に、アンケートに回答したユーザの行動履歴を示す行動履歴情報１３２を入力する（Ｓ１０４）。この際、学習処理部１１４は、ユーザの行動履歴を、プロセッサが処理可能な情報に変換することで、入力層に対する入力データｖとしてよい。
【００５３】
例えば、学習処理部１１４は、行動履歴情報１３２を参照して、ウェブページのビュー数や所定の検索クエリの入力回数などを導出し、これを入力データｖとする。また、学習処理部１１４は、購入商品の商品コードや閲覧サイトのＵＲＬなどの一つ一つの行動履歴に関連する文字列（アルファベットや数字、記号などを含んでよい）をベクトル化し、このベクトルを入力層に対する入力データｖとしてもよい。学習処理部１１４は、抽出した隠れ層の各ユニットの活性化関数に基づいて、出力層から出力されることになる出力データｈを導出する。出力データｈは、例えば、以下の数式（１）によって表すことができる。
【００５４】
ｈ＝σ（ＷＴｖ＋ｂ） …（１）
【００５５】
σは、各層のそれぞれのユニットの活性化関数を表し、Ｗは、ある層のユニットから、より深い層のユニットにデータが出力される際に、出力データに対して付与される重みを表し、ｂは、各層の固有のバイアス成分を表している。
【００５６】
次に、学習処理部１１４は、ディープニューラルネットワークＤＮＮにおいて処理対象として選択した階層の深さに応じて、アンケート情報１３４および分析情報１３６から、教師データｔとするデータを抽出する（Ｓ１０６）。教師データｔとは、抽出した階層からなるニューラルネットワーク（上述した例では、入力層、第１層、および出力層の３層からなるニューラルネットワーク）において、出力層から出力される出力データの規範となるデータである。
【００５７】
例えば、学習処理部１１４は、処理対象とする階層がより深い層であるほど、アンケート結果の分析をより進めたときに得られる指標値を教師データｔとして抽出する。例えば、アンケート結果に対して多変量解析が行われた状態は、多変量解析が行われていない状態と比べて、アンケート結果の分析がより進められた状態と見做せる。また、多変量解析の結果を基にユーザを分類するカテゴリーが決定された状態は、多変量解析が行われた直後の状態と比べて、更にアンケート結果の分析が進められた状態と見做せる。
【００５８】
このような前提のもとで、例えば、学習処理部１１４は、第１層を処理対象とする場合、分析が行われていない生データであるアンケート情報１３４を参照して、アンケートの回答のために選択された選択肢のスコアを、教師データｔとして抽出する。また、学習処理部１１４は、例えば、第２層を処理対象とする場合、因子分析が行われたデータである分析情報１３６を参照して、因子スコアを教師データｔとして抽出する。また、学習処理部１１４は、例えば、第３層を処理対象とする場合、分析情報１３６を参照して、因子スコアを基に決定されたカテゴリーを示す数値を教師データｔとして抽出する。すなわち、学習処理部１１４は、第１層を処理対象とするときには、上述したアンケート結果の分析時に考慮される事項（１）のハイパーパラメータを教師データｔとし、第２層を処理対象とするときには、アンケート結果の分析時に考慮される事項（２）のハイパーパラメータを教師データｔとし、第３層を処理対象とするときには、アンケート結果の分析時に考慮される事項（３）のハイパーパラメータを教師データｔとする。このように、学習処理部１１４は、互いに種類の異なるデータ（指標値）を各階層の教師データｔとする。この結果、分析を進めることにより得られる知見を、隠れ層の各層のニューラルネットワークに段階的に学習させることができる。
【００５９】
次に、学習処理部１１４は、抽出した階層からなるニューラルネットワークにおいて、出力層から出力される出力データｈと、処理対象とする階層の深さに応じて抽出した教師データｔとの誤差を評価関数Ｉとして導出する（Ｓ１０８）。例えば、評価関数Ｉは、（１／２）×（ｈ−ｔ）２として表すことができる。なお、評価関数Ｉは、出力層の全ユニットのそれぞれから出力されるデータと、教師データｔとの誤差（二乗誤差）の総和であってよい。
【００６０】
次に、学習処理部１１４は、誤差逆伝播法を用いて、評価関数Ｉを最小化するように、各層の重みＷとバイアスｂを決定する（Ｓ１１０）。例えば、学習処理部１１４は、評価関数Ｉの重みＷに関する偏微分を計算することで、評価関数Ｉの勾配∂Ｉ／∂Ｗを導出し、勾配∂Ｉ／∂Ｗに基づいて重みＷおよびバイアスｂを決定する。
【００６１】
次に、学習処理部１１４は、各層の重みＷとバイアスｂを、処理対象の階層に対応付け、この対応付けた情報を、層毎パラメータ情報１４０として記憶部１３０に記憶する（Ｓ１１２）。
【００６２】
図１０は、層毎パラメータ情報１４０の一例を示す図である。図示の例のように、層毎パラメータ情報１４０は、処理対象の階層に、決定された重みＷとバイアスｂとが対応付けられた情報である。
【００６３】
次に、学習処理部１１４は、生成したディープニューラルネットワークＤＮＮの１〜ｎまでの全ての階層を処理対象の階層として決定したか否かを判定する（Ｓ１１４）。
【００６４】
全ての階層を処理対象の階層として決定していない場合、学習処理部１１４は、テンポラリパラメータｉに１を加算して（Ｓ１１６）、処理を上述したＳ１００に移す。これにより、前回までに決定されたいずれの階層とも異なる階層が処理対象の階層に決定される。上述した例では、初回処理時に第１層が処理対象の階層に決定されるため、二回目の処理時には、例えば、第２層が処理対象の階層に決定される。
【００６５】
一方、全ての階層を処理対象の階層として決定した場合、学習処理部１１４は、本フローチャートの処理を終了する。
【００６６】
なお、上述したフローチャートの処理では、学習処理部１１４が、Ｓ１００の処理において、隠れ層のｎ層のうち、ある一つの第ｉ層を処理対象の階層に決定したがこれに限られない。例えば、学習処理部１１４は、隠れ層のｎ層のうち、複数層（例えば第１層と第２層など）をまとめて処理対象の階層に決定してもよい。この場合、学習処理部１１４は、処理対象の階層として決定した複数層のパラメータをまとめて学習してよい。
【００６７】
図１１は、図９に示すフローチャートのループ処理の内容を模式的に示す図である。図１０の例では、簡略的に各層のユニットが一つであるものとし、各層のパラメータとして重みＷのみを表現している。例えば、１回目の処理では、入力層と、隠れ層の第１層と、出力層とが抽出される。例えば、入力層に入力される入力データｖは、ユーザの行動履歴を数値化したデータである。この場合、第１層の重みＷ１を決定するために、第１層の深さの程度に応じた第１教師データｔ１が抽出される。例えば、第１教師データｔ１には、上述したように、アンケートの回答のために選択された選択肢のスコアが採用されてよい。このとき、アンケート結果は、入力データｖとして入力された行動履歴の動作主体であったユーザによる回答結果であるものとする。例えば、ユーザＡの行動履歴を入力層に入力する場合、第１教師データｔ１は、ユーザＡのアンケート結果が利用される。
【００６８】
２回目の処理では、例えば、入力層と、隠れ層の第１層および第２層と、出力層とが抽出される。例えば、入力層に入力される入力データｖは、１回目の処理で入力層に入力されたデータと同様に、ユーザの行動履歴を数値化したデータが採用される。例えば、１回目の処理で、あるユーザＡの行動履歴を数値化したデータが入力層に入力された場合、２回目の処理で入力層に入力される入力データｖは、ユーザＡの行動履歴を数値化したデータとなる。２回目の処理では、学習処理部１１４は、第２教師データｔ２と、出力層から出力される出力データｈとの誤差を小さくするように、１回目の処理において決定された第１層のパラメータを維持しつつ新たに追加された第２層の重みＷ２を決定する。第２教師データｔ２は、第２層の階層の深さの程度に応じたデータであり、例えば、上述したように、因子分析により得られた因子スコアが用いられてよい。例えば、学習処理部１１４は、２回目の処理において、第１層の重みＷ１＃を１回目の処理時に決定された重みＷ１とすることで、第１層のパラメータを維持する。
【００６９】
３回目の処理では、例えば、入力層と、隠れ層の第１〜３層と、出力層とが抽出される。例えば、入力層に入力される入力データｖは、１回目および２回目の処理で入力層に入力されたデータが採用される。３回目の処理では、学習処理部１１４は、第３教師データｔ３と、出力層から出力される出力データｈとの誤差を小さくするように、１回目の処理において決定された第１層のパラメータと、２回目の処理において決定された第２層のパラメータとを維持しつつ新たに追加された第３層の重みＷ３を決定する。第３教師データｔ３は、第３層の階層の深さの程度に応じたデータであり、例えば、上述したように、因子スコアを基に決定されたカテゴリーを示す数値が用いられてよい。例えば、学習処理部１１４は、３回目の処理において、第１層の重みＷ１＃を１回目の処理時に決定された重みＷ１とし、第２層の重みＷ２＃を２回目の処理時に決定された重みＷ２とすることで、第１層および第２層のパラメータを維持する。
【００７０】
このように、処理の回数を重ねるごとに隠れ層を追加すると共に、追加する隠れ層の深さに応じたデータを教師データとすることにより、ディープニューラルネットワークＤＮＮに隠れ層の一つ一つの層を精度良く学習させることができる。また、前回の処理で決定した各層のパラメータを、次回の処理において維持するため、内部共変量シフトの発生を抑制することができる。これによって、内部共変量シフトが生じることで学習時間がより長くなってしまうのを抑制することができる。なお、内部共変量シフトの発生を許容する場合、学習処理部１１４は、前回の処理で決定したパラメータを今回の処理の誤差逆伝搬により再度決定してよい。この場合、学習処理部１１４は、層毎パラメータ情報１４０において、各層のパラメータを更新してよい。
【００７１】
分類処理部１１６は、ＤＮＮ構成情報１３８と、層毎パラメータ情報１４０とを参照することで、事前学習により各階層の重みＷとバイアスｂの初期値が決められたディープニューラルネットワークＤＮＮを生成（再構築）して、未学習のユーザの行動履歴を基に、その行動履歴に対応するユーザを所定のカテゴリーに分類する。「未学習」とは、例えば、事前学習の段階で学習に利用されていないことである。
【００７２】
図１２は、分類処理部１１６により実行される処理の一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われる。
【００７３】
まず、分類処理部１１６は、取得部１１２により新たな行動履歴情報１３２が取得されたか否かを判定し（Ｓ２００）、新たな行動履歴情報１３２が取得された場合、ＤＮＮ構成情報１３８と、層毎パラメータ情報１４０とに基づいて、階層ごとのパラメータ（重みＷおよびバイアスｂ）の初期値が決定されたディープニューラルネットワークＤＮＮを生成する（Ｓ２０２）。
【００７４】
次に、分類処理部１１６は、生成したディープニューラルネットワークＤＮＮにおいて、入力層に、アンケートに回答したユーザの行動履歴を示す行動履歴情報１３２を数値化して入力する（Ｓ２０４）。
【００７５】
次に、分類処理部１１６は、ディープニューラルネットワークＤＮＮの出力層から出力される出力データｈを、ディープニューラルネットワークＤＮＮによる学習結果として出力する（Ｓ２０６）。
【００７６】
例えば、分類処理部１１６は、ディープニューラルネットワークＤＮＮによる学習結果を、通信部１０６を用いてサービス提供装置２０や広告配信サーバ装置４０に送信する。これによって、例えば、サービス提供装置２０は、ディープニューラルネットワークＤＮＮにより分類されたユーザのカテゴリーに応じたセール情報などを、ユーザが利用する端末装置１０に送信することができる。また、広告配信サーバ装置４０は、例えば、ディープニューラルネットワークＤＮＮにより分類されたユーザのカテゴリーに応じた広告を、ユーザが利用する端末装置１０に送信することができる。
【００７７】
図１３は、本実施形態におけるディープニューラルネットワークＤＮＮの学習手法と、比較例として例示する手法とのそれぞれの学習精度を示す図である。比較例の手法は、例えば、隠れ層の各層の出力データｈを、その層の入力データｖに近づくように、各層のパラメータを学習させる手法である。すなわち、比較例の手法は、第ｉ層から出力される出力データｈと、第（ｉ−１）層の出力データｈ（＝第ｉ層への入力データｖ）とが近づくように、隠れ層の第ｉ層のパラメータを学習させる手法である。図中の最も上段のレコードと中段のレコードは、比較例の手法による学習精度を表し、最も下段のレコードは、本実施形態の手法による学習精度を表している。
【００７８】
最上段のレコードに示す比較例の手法は、入力層のユニットが１個であり、第１層のユニットが１０００個であり、第２層のユニットが１０００個であり、出力層のユニットが５個である場合のディープニューラルネットワークＤＮＮを用いたときの学習精度を表している。また、中段のレコードに示す比較例の手法は、入力層のユニットが１個であり、第１層のユニットが１０００個であり、第２層のユニットが１０００個であり、第Ｘ層のユニットが所定数であり、出力層のユニットが５個である場合のディープニューラルネットワークＤＮＮを用いたときの学習精度を表している。また、最下段のレコードに示す本実施形態の手法は、入力層のユニットが１個であり、第１層のユニットが１０００個であり、第２層のユニットが１０００個であり、第Ｙ層のユニット数が上述した第Ｘ層のユニット数と同じであり、出力層のユニットが５個である場合のディープニューラルネットワークＤＮＮを用いたときの学習精度を表している。
【００７９】
図示の例のように、最上段と中段を比較すると隠れ層の数を増やした場合であっても必ずしも学習精度が向上しないことがわかる。一般的に、ディープニューラルネットワークＤＮＮでは過学習が生じやすかったり、より深い層まで学習情報（誤差）が伝わらなかったりといった問題が生じやすい。これらに対処するためには、膨大なデータ（例えば、画像データなら少なくとも数万から数十万もの密なデータ）を入力データｖとすると共に、事前学習を行うことなどが知られている。
【００８０】
しかしながら、インターネット上での行動履歴のように、情報としてスパースなデータを入力データｖとして用いる場合、適切な学習結果を返すモデルが生成されない傾向にある。また、入力データｖの元となる学習用のデータがスパースであると、誤差逆伝搬法などの精度も低下しやすい。このように、比較例の手法の場合、事前学習に用いる入力データｖに応じて学習精度が左右される傾向にある。
【００８１】
これに対して、本実施形態の手法は、事前学習の段階において、ディープニューラルネットワークＤＮＮに、出力データｈと入力データｖとが近づくように学習させるのではなく（入力データｖを教師データｔとするのではなく）、別途アンケート結果より求めた指標値を、各層の深さの程度に応じて変更しながら教師データｔとすることにより、スパースなデータを入力データｖとして用いた場合であっても、学習精度を向上させることができる。
【００８２】
以上説明した実施形態によれば、入力データｖを入力したときに、独立に構成しうる分類器が多層に構成された分類システム（例えばディープニューラルネットワークＤＮＮ）に含まれる第１分類器（例えば隠れ層の第１層のニューラルネットワーク）から出力される出力データｈが、第１教師データｔに近づくように、分類システムを学習させた後に、同じ入力データｖを入力したときに、第１分類器の階層よりも深い階層の第２分類器（例えば隠れ層の第２層のニューラルネットワーク）から出力される出力データｈが、第２教師データに近づくように、第１教師データを用いた学習結果に基づいて分類システムを学習させる学習処理部１１４と、学習処理部１１４により学習させられた分類システムに基づいて、未学習のデータを所定のカテゴリーに分類する分類処理部１１６とを備えることにより、各分類器のパラメータを適切に設定することができる。この結果、学習の精度を向上させることができる。
【００８３】
また、上述した実施形態によれば、事前学習の段階で、分類器ごとにパラメータを導出しておくので、分類システムの一部の分類器を変更したり追加したりする場合に、変更しない分類器については既に導出したパラメータ（学習済みのパラメータ）を流用することができる。例えば、ディープニューラルネットワークＤＮＮにおいて、分類結果を５パターンから、１０パターンに変更する場合、出力層のユニット数だけを変更すればよく、隠れ層についてはそのまま流用することができる。この結果、汎用性の高いディープニューラルネットワークＤＮＮを構築することができる。
【００８４】
＜適用例＞
以下、上述した実施形態の適用例について説明する。例えば、上述した実施形態における解析装置１００は、ある検索クエリの検索結果として提供されるウェブページの要約文を生成するために、ウェブページを構成するテキストデータを入力データｖとし、ディープニューラルネットワークＤＮＮに、テキストデータの要約文を出力するように隠れ層の各層のパラメータを学習させる。このとき、解析装置１００の学習処理部１１４は、各層の出力データｈの教師データｔを、隠れ層の深さに応じてワード数が段階的に少なくなるテキストデータとする。例えば、学習処理部１１４は、最も浅い（入力層に最も近い）第１層の出力データｈに対する教師データｔ１を、ワード数が第１所定数のテキストデータとする。第１所定数は、入力データｖとするテキストデータのワード数よりも少ない数である。また、学習処理部１１４は、第２層の出力データｈに対する教師データｔ２を、ワード数が第１所定数よりも少ない第２所定数のテキストデータとする。このように、階層が深くなるにつれて教師データｔとするテキストデータのワード数を少なくすることで、より精度良くウェブページの要約文を生成することができる。
【００８５】
また、上述した実施形態における解析装置１００は、文字や写真などの画像認識の際に、ある画像を入力データｖとし、ディープニューラルネットワークＤＮＮに、適切な認識結果を出力するように隠れ層の各層のパラメータを学習させてもよい。このとき、解析装置１００の学習処理部１１４は、各層の出力データｈの教師データｔを、正解データとするのではなく、クラウドソーシングなどで得られた不特定多数のユーザによる認識結果とする。例えば、不特定多数のユーザに対して、予め正解が決められた所定の画像（例えば「猫の画像」）を見せて、その画像の認識結果を、教師データｔとする。このとき、あるユーザＡは、視認した画像を「猫」であると認識したり、あるユーザＢは、視認した画像を「犬」であると認識したりする。このように、同じ画像を不特定多数のユーザのそれぞれに見せた場合、ユーザによっては正解となる認識とは異なる認識をする場合がある。従って、教師データｔは、正誤に関して揺れのあるデータとなり、正しい認識結果と誤った認識結果の双方を含むデータとなる傾向がある。例えば、学習処理部１１４は、第１層の出力データｈに対する教師データｔ１を、クラウドソーシングなどで得られた不特定多数のユーザによる認識結果のうち、最も正誤の揺れの大きい認識結果（例えば、正：誤＝０．５：０．５）とし、第２層の出力データｈに対する教師データｔ２を、教師データｔ１よりも正誤の揺れの小さい認識結果（例えば、正：誤＝０．６：０．４）とし、第３層の出力データｈに対する教師データｔ３を、教師データｔ２よりも正誤の揺れの小さい認識結果（例えば、正：誤＝０．７：０．３）とする。このように、階層が深くなるにつれて正しい認識結果がより多いデータを教師データｔとし、最も深いｎ層の出力データｈに対する教師データｔｎを、正解データ（正：誤＝１：０））とすることで、画像認識の精度を向上させることができる。
【００８６】
＜ハードウェア構成＞
上述した実施形態の解析システム１に含まれる複数の装置のうち、少なくとも解析装置１００は、例えば、図１４に示すようなハードウェア構成により実現される。図１４は、実施形態の解析装置１００のハードウェア構成の一例を示す図である。
【００８７】
解析装置１００は、ＮＩＣ１００−１、ＣＰＵ１００−２、ＧＰＵ（Graphics Processing Unit）１００−３、ＲＡＭ１００−４、ＲＯＭ１００−５、フラッシュメモリやＨＤＤなどの二次記憶装置１００−６、およびドライブ装置１００−７が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１００−７には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置１００−６、またはドライブ装置１００−７に装着された可搬型記憶媒体に格納されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ１００−４に展開され、ＣＰＵ１００−２やＧＰＵ１００−３によって実行されることで、制御部１１０が実現される。制御部１１０が参照するプログラムは、ネットワークＮＷを介して他の装置からダウンロードされてもよい。
【００８８】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【００８９】
１…解析システム、１０…端末装置、２０…サービス提供装置、３０…ログ取得装置、４０…広告配信サーバ装置、１００…解析装置、１０２…受付部、１０４…表示部、１０６…通信部、１１０…制御部、１１２…取得部、１１４…学習処理部、１１６…分類処理部、１３０…記憶部、１３２…行動履歴情報、１３４…アンケート情報、１３６…分析情報、１３８…ＤＮＮ構成情報、１４０…層毎パラメータ情報
【図１】
2018128942.tif 000003
【図２】
2018128942.tif 000004
【図３】
2018128942.tif 000005
【図４】
2018128942.tif 000006
【図５】
2018128942.tif 000007
【図６】
2018128942.tif 000008
【図７】
2018128942.tif 000009
【図８】
2018128942.tif 000010
【図９】
2018128942.tif 000011
【図１０】
2018128942.tif 000012
【図１１】
2018128942.tif 000013
【図１２】
2018128942.tif 000014
【図１３】
2018128942.tif 000015
【図１４】
2018128942.tif 000016