(57)【特許請求の範囲】
【請求項１】
情報処理装置が、
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、
前記作業を実施したユーザに対して、前記検索サービスを所定期間利用する権利を付与する、
情報処理方法。
【請求項２】
前記情報処理装置は、前記所定期間が経過する前に前記作業の実施依頼をユーザに送信する、
請求項１に記載の情報処理方法。
【請求項３】
情報処理装置が、
ユーザの属性情報を記憶し、
検索対象となる企業の属性情報を記憶し、
記憶した両属性情報に基づいて、ユーザに作業を依頼する企業を決定し、
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、
前記作業を実施したユーザに対して特典を付与する、
情報処理方法。
【請求項４】
前記情報処理装置が、
一つの検索対象に対して複数のユーザに前記作業の実施依頼を送信し、
前記複数のユーザから前記作業の結果を取得し、
取得した複数の結果に基づいて、前記キーワード及び前記検索対象の関係を決定する、
請求項１から請求項３までのいずれか１つに記載の情報処理方法。
【請求項５】
前記情報処理装置が、
前記ユーザの作業実績を記憶し、
取得した複数の結果、及び、各結果の作業を実施したユーザの実績に基づいて、前記キーワード及び前記検索対象の関係を決定する、
請求項４に記載の情報処理方法。
【請求項６】
前記情報処理装置は、検索サービスにおける情報の閲覧数、又は、ユーザによる前記作業の実施数に基づいて、ユーザに作業を依頼する検索対象を決定する、
請求項１から請求項５までのいずれか１つに記載の情報処理方法。
【請求項７】
前記情報処理装置が、
一の検索対象に対して対応付ける複数の候補キーワードをユーザに提示し、
提示した前記複数の候補キーワードの中から、一又は複数のキーワードの選択を前記ユーザから前記作業の結果として取得する、
請求項１から請求項６までのいずれか１つに記載の情報処理方法。
【請求項８】
コンピュータに、
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、
前記作業を実施したユーザに対して、前記検索サービスを所定期間利用する権利を付与する、
処理を実行させる、コンピュータプログラム。
【請求項９】
コンピュータに、
ユーザの属性情報を記憶し、
検索対象となる企業の属性情報を記憶し、
記憶した両属性情報に基づいて、ユーザに作業を依頼する企業を決定し、
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、
前記作業を実施したユーザに対して特典を付与する、
処理を実行させる、コンピュータプログラム。
【請求項１０】
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信する作業依頼送信部と、
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得する作業結果取得部と、
前記作業を実施したユーザに対して、前記検索サービスを所定期間利用する権利を付与する特典付与部と
を備える、情報処理装置。
【請求項１１】
ユーザの属性情報及び検索対象となる企業の属性情報を記憶する記憶部と、
記憶した両属性情報に基づいて、ユーザに作業を依頼する企業を決定する決定部と、
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信する作業依頼送信部と、
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得する作業結果取得部と、
前記作業を実施したユーザに対して特典を付与する特典付与部と
を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索サービスを提供するための情報処理方法、コンピュータプログラム及び情報処理装置に関する。
【背景技術】
【０００２】
従来、ユーザが入力したキーワードに関連する情報を検索し、検索結果をユーザに提供する検索サービスが広く普及している。例えば特許文献１においては、クライアントがサーバに提供したキーワードに対応するグループキーワードをデータベースから探し、キーワードに該当する検索情報と共にグループキーワード及びキーワードを含む検索結果ページをサーバがクライアントに提供する検索システムが提案されている。この検索システムでは、クライアントが検索結果ページ上でキーワード又はグループキーワードを選択した場合、サーバは選択されたキーワード又はグループキーワードに対応するネットワークアドレスに該当するウェブページにクライアントを接続させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−５０３６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、検索サービスの精度向上等を目的として、ＡＩ（Artificial Intelligence）が利用され始めている。ＡＩを用いる検索サービスでは、例えばニューラルネットワークの学習モデルを用い、検索に用いられ得るキーワード等をこの学習モデルに予め学習させておく必要がある。学習モデルの学習を繰り返し行っていくことによって、検索の精度向上が期待できる。しかしながら、学習モデルの学習処理には、例えばキーワード及び検索対象を対応付けた学習用のデータを作成する必要があり、多大な労力が必要である。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、検索サービスの精度を向上することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
一実施形態に係る情報処理方法は、情報処理装置が、検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、前記作業を実施したユーザに対して、前記検索サービスを所定期間利用する権利を付与する。
【発明の効果】
【０００７】
一実施形態による場合は、検索サービスの精度を向上することが期待できる。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態に係る情報処理システムの概要を説明するための模式図である。
【図２】本実施の形態に係るサーバ装置の構成を示すブロック図である。
【図３】学習モデルの一構成例を示す模式図である。
【図４】企業ＤＢの一構成例を示す模式図である。
【図５】ユーザＤＢの一構成例を示す模式図である。
【図６】アノテーション情報ＤＢの一構成例を示す模式図である。
【図７】本実施の形態に係る端末装置の構成を示すブロック図である。
【図８】本実施の形態に係る端末装置が行う検索処理の手順を示すフローチャートである。
【図９】本実施の形態に係るサーバ装置が行う検索処理の手順を示すフローチャートである。
【図１０】アノテーション画面の一例を示す模式図である。
【図１１】本実施の形態に係るサーバ装置が行うアノテーション処理の手順を示すフローチャートである。
【図１２】本実施の形態に係る端末装置が行うアノテーション処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【００１０】
＜システム概要＞
図１は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、企業情報の検索サービスを提供するシステムである。ユーザは、端末装置３に表示された検索画面等において、企業に関連するキーワードの入力を行う。端末装置３はユーザが入力したキーワードを、検索サービスを提供するサーバ装置（情報処理装置）１へ送信する（矢印１０１参照）。サーバ装置１は、企業情報を記憶したデータベースを備えており、ユーザが入力したキーワードを端末装置３から取得し、取得したキーワードに対応する企業をデータベースから検索して、検索により得られた企業情報を端末装置３へ送信する（矢印１０２参照）。端末装置３はサーバ装置１からの企業情報を受信して表示し、キーワードを入力したユーザに対応する企業情報を提示する。
【００１１】
本実施の形態に係るサーバ装置１は、ユーザにより入力されたキーワードに応じた企業の検索処理を、いわゆるＡＩを利用して行っている。詳細は後述するが、本実施の形態に係るサーバ装置１が備えるＡＩは、例えばニューラルネットワークの構成が採用された学習モデルであり、キーワードに対する適切な企業を決定する処理に用いられる。学習モデルは、サーバ装置１又は別の装置において予め学習処理がなされ、学習済の学習モデルがサーバ装置１に記憶されている。学習モデルは、学習処理を繰り返し行う（再学習を行う）ことによって精度向上（即ち、キーワードの入力に対してより適切な企業情報を出力すること）が期待できるため、本実施の形態に係るサーバ装置１は、学習モデルの再学習に用いるデータを収集する処理を行う。
【００１２】
学習モデルの学習処理に用いるデータ、いわゆる教師データを作成する処理は、「アノテーション」と呼ばれる。本実施の形態に係る情報処理システムでは、検索サービスを利用するユーザ（検索サービスのユーザ）の端末装置３にこのアノテーションの作業の実施依頼を送信する（矢印１０３参照）。この依頼に応じて端末装置３は、ユーザによるアノテーションの作業を実施してその結果を取得し、取得したアノテーション結果をサーバ装置１へ送信する（矢印１０４参照）。サーバ装置１は、ユーザがアノテーションの作業を行った結果を端末装置３から取得して記憶する。サーバ装置１が記憶したアノテーション結果を用いて、サーバ装置１又は別の装置が学習モデルの再学習処理を行うことができる。本実施の形態においてユーザに依頼するアノテーションの作業は、１つの企業（検索対象）に対して一又は複数のキーワード（検索用のキーワード）を対応付ける作業とするが、これは一例である。このアノテーションの作業を単に作業ともいい、ユーザによりアノテーションの作業を行った結果が、アノテーションの作業を行った結果に相当する。
【００１３】
また本実施の形態に係る情報処理システムがユーザに対して提供する検索サービスは、例えば１ヶ月又は１年等の所定期間毎に所定額の利用料金を支払う必要がある有料のサービスである。ただし、上記のアノテーションの作業を実施したユーザに対してサーバ装置１は、利用料金の支払いを免除し、所定期間の検索サービスを利用する権利を特典として付与する（矢印１０５参照）。これにより本実施の形態に係る情報処理システムは、ユーザによるアノテーション作業の実施を促して、学習モデルの学習処理に必要なデータを蓄積し、学習モデルの再学習処理を繰り返し行うことにより、検索サービスの精度を向上することが期待できる。
【００１４】
なお本実施の形態においてユーザは、予め検索サービスの利用登録を行った利用者であり、必ずしも人（自然人）でなくてよく、企業又は組織等の法人であってもよい。また本実施の形態に係る情報処理システムが提供する検索サービスは、検索対象として企業情報を扱うものとするが、これに限るものではなく、検索対象は企業情報以外の種々の情報であってよい。また本実施の形態において企業には、例えば会社、組織、組合、事業体、団体及び法人等を含み得る。また本実施の形態においては、アノテーション作業の実施に対してユーザに与える特典を、検索サービスを利用する権利を付与することとしたが、これに限るものではなく、種々の特典をユーザに付与してよい。
【００１５】
＜装置構成＞
図２は、本実施の形態に係るサーバ装置１の構成を示すブロック図である。本実施の形態に係るサーバ装置１は、処理部１１、記憶部（ストレージ）１２及び通信部（トランシーバ）１３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置１にて処理が行われるものとして説明を行うが、複数のサーバ装置１が分散して処理を行ってもよい。
【００１６】
処理部１１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）、及び、ＲＡＭ（Random Access Memory）等を用いて構成されている。処理部１１は、記憶部１２に記憶されたサーバプログラム１２ａを読み出して実行することにより、ユーザが入力したキーワードに対して検索した企業情報を提供する処理、及び、ユーザにアノテーションの作業を依頼する処理等の種々の処理を行う。
【００１７】
記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するサーバプログラム１２ａと、予め機械学習がなされた学習モデル１２ｂとを記憶している。また記憶部１２には、検索対象となる企業に関する情報を記憶する企業情報ＤＢ（データベース）１２ｃと、検索サービスを利用するユーザに関する情報を記憶するユーザＤＢ１２ｄと、ユーザによるアノテーションの結果に関する情報を記憶するアノテーション情報ＤＢ１２ｅとが設けられている。
【００１８】
本実施の形態においてサーバプログラム１２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置１は記録媒体９９からサーバプログラム１２ａを読み出して記憶部１２に記憶する。ただし、サーバプログラム１２ａは、例えばサーバ装置１の製造段階において記憶部１２に書き込まれてもよい。また例えばサーバプログラム１２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置１が通信にて取得してもよい。例えばサーバプログラム１２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置１の記憶部１２に書き込んでもよい。サーバプログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。
【００１９】
図３は、学習モデル１２ｂの一構成例を示す模式図である。図示の学習モデル１２ｂは、複数のニューロンが相互に結合したニューラルネットワークの構造をなしている。既存の技術であるため詳しい説明は省略するが、ニューロンは複数の入力に対して演算を行い、演算結果として１つの値を出力する素子である。ニューロンは、演算に用いられる重み付けの係数及び閾値等の情報を有している。ニューラルネットワークの学習モデル１２ｂは、一又は複数のデータの入力を受け付ける入力層と、入力層にて受け付けられたデータに対して演算処理を行う中間層と、中間層の演算結果を集約して一又は複数の値を出力する出力層とを備えている。
【００２０】
本実施の形態に係る学習モデル１２ｂは、キーワードとなる一又は複数の単語又は文章等を入力として受け付ける。また学習モデル１２ｂは、キーワードの入力に対して、入力されたキーワードに関連する企業の企業ラベルと、入力されたキーワードに対応するベクトル情報とを出力する。企業ラベルは、企業に対して一意に付されるものであり、本実施の形態においては例えば１〜９９９９までの整数値とする。ベクトル情報は、キーワードに対応して定まる例えば２５６次元又はそれ以上のベクトルである。なお学習モデル１２ｂは、企業ラベルを出力し、ベクトル情報を出力しない構成であってもよい。また本図において学習モデル１２ｂは企業ラベルを１つ出力しているが、学習モデル１２ｂは複数の企業ラベルを出力する構成であってもよい。
【００２１】
本実施の形態において学習モデル１２ｂは、例えばUniversal Sentence Encoder、又は、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）等のモデルが採用され得る。Universal Sentence Encoderは、Attention及びTransformer等のモデルを複数の言語の学習データで学習させて得られるエンコーダであり、例えば英語及び日本語のような異なる言語であっても、同じ内容の入力文章であれば近い値のベクトルを出力する。なお、Universal Sentence Encoder及びＢＥＲＴ等の学習モデル１２ｂは、既存の技術であるため、詳細な説明を省略する。また学習モデル１２ｂは、Universal Sentence Encoder又はＢＥＲＴ等に限らず、例えばＲＮＮ（Recurrent Neural Network）及びＬＳＴＭ（Long Short-Term Memory）によるエンコーダ等を採用してもよい。
【００２２】
サーバ装置１の記憶部１２に記憶された学習モデル１２ｂは、予め学習処理がなされた学習済のモデルである。学習処理は、予め与えられた多数の学習用データを用いて、ニューラルネットワークを構成する各ニューロンの係数及び閾値等に適切な値を設定する処理である。本実施の形態に係る学習モデル１２ｂは、少なくとも最初の段階において、例えば企業のホームページ又は刊行物等から抽出したキーワード（単語又は文章等）に基づいて作成された学習用データを用いて学習処理が行われる。このときの学習処理は、キーワードに対して企業ラベルの対応付けられた教師データを用いるいわゆる教師あり学習であってよく、企業ラベルが対応付けられていないキーワードを学習用データとして用いるいわゆる教師なし学習であってよい。学習処理に用いられるデータの作成は、本システムの設計者等が行ってもよく、サーバ装置１等の装置が行ってもよい。本実施の形態において学習モデル１２ｂの２回目以降の学習処理（再学習処理）は、サーバ装置１が収集したアノテーション情報、即ち検索サービスを利用するユーザが作成したアノテーション情報を用いて行われる。
【００２３】
図４は、企業ＤＢ１２ｃの一構成例を示す模式図である。本実施の形態に係る企業ＤＢ１２ｃは、例えば「企業ラベル」、「企業名」、「企業属性情報」及び「詳細情報」等の情報を対応付けて記憶する。「企業ラベル」は、企業に対して一意に付される識別情報であり、学習モデル１２ｂが出力する企業ラベルに対応するものである。本実施の形態において「企業ラベル」は、１〜９９９９までの整数値とする。図示の例では、「企業ラベル」が４桁の「０００１」及び「０００２」と示されているが、これは整数値の「１」及び「２」に対応するものである。「企業名」は、企業の名称等であり、文字列の情報である。図示の例では、「企業名」として「Ａ株式会社」及び「Ｂ商事」が示されている。
【００２４】
「企業属性情報」は、企業の性質又は特徴等を表す一又は複数の情報である。本実施の形態において「企業属性情報」には、例えば「業種」及び「所在地」等の複数の情報が含まれている。「業種」は、企業が営む事業の種類であり、本例では「Ａ株式会社」について「製造業」が、「Ｂ商事」について「輸入業」が示されている。「所在地」は、企業の例えば本社等が存在する場所を示す情報であり、本例では「Ａ株式会社」について「東京」が、「Ｂ商事」について「神奈川」が示されている。「企業属性情報」には、上記の「業種」及び「所在地」の他にも、例えば事業年数、社員数、資本数又は売上等の種々の情報が記憶され得る。「詳細情報」は、企業に関する「企業属性情報」以外の情報であり、文字列の情報の他に画像、音声又はリンク等の種々の情報が含まれ得る。「詳細情報」は、例えば企業に関するニュース等の文章、企業のホームページのＵＲＬ（Uniform Resource Locator）、企業が扱う商品の画像、又は、企業の広告（コマーシャル、ＣＭ（Commercial Message））の動画像等の種々の情報が記憶され得る。「詳細情報」は、検索結果と共にユーザに対して提示される情報である。
【００２５】
図５は、ユーザＤＢ１２ｄの一構成例を示す模式図である。本実施の形態に係るユーザＤＢ１２ｄは、「ユーザＩＤ」、「ユーザ名」、「ユーザ属性情報」及び「無料期限」等の情報を対応付けて記憶する。「ユーザＩＤ」は、ユーザに対して一意に付される識別情報であり、文字及び数字等の組み合わせによる情報である。図示の例では「ユーザＩＤ」として「Ｕ００１」及び「Ｕ００２」が示されている。「ユーザ名」は、ユーザの名前である。図示の例では「ユーザ名」として「ユーザＡ」及び「ユーザＢ」が示されているが、実際にはユーザの本名等が記憶される。
【００２６】
「ユーザ属性情報」は、ユーザの性質又は特徴等を表す一又は複数の情報である。本実施の形態において「ユーザ属性情報」には、例えば「業種」及び「住所」等の複数の情報が含まれている。「業種」は、ユーザが務める企業の業種であり、本例では「ユーザＡ」について「製造業」が、「ユーザＢ」について「建築業」が示されている。「住所」は、ユーザの居住地を示す情報であり、本例では「ユーザＡ」及び「ユーザＢ］についていずれも「東京」が示されている。「ユーザ属性情報」には、上記の「業種」及び「住所」の他にも、例えば性別、年齢、学歴、保有資格、趣味及び特技等の種々の情報が含まれ得る。
【００２７】
「無料期限」は、ユーザが検索サービスを無料で利用することができる期限に関する情報である。本実施の形態に係る情報処理システムでは、サーバ装置１からの依頼によりアノテーションの作業を行ったユーザに対して、検索サービスを所定期間だけ無料で利用することができる権利が特典として付与される。「無料期限」は、この特典として付与された無料で利用できる所定期間の最終日であり、本例では「ユーザＡ」について「２０２０／８／１５」が、「ユーザＢ」について「２０２０／７／３１」が示されている。
【００２８】
図６は、アノテーション情報ＤＢ１２ｅの一構成例を示す模式図である。本実施の形態に係るアノテーション情報ＤＢ１２ｅは、「企業ラベル」、「企業名」、「キーワード」及び「作業ユーザ」等の情報を対応付けて記憶する。「企業ラベル」及び「企業名」は、上述の企業ＤＢ１２ｃに記憶される「企業ラベル」及び「企業名」と同じものである。図示の例では、「企業ラベル」が「０００１」であり「企業名」が「Ａ株式会社」の企業と、「企業ラベル」が「００３２」であり「企業名」が「株式会社Ｎ」の企業とが示されている。
【００２９】
「キーワード」は、アノテーションの作業によりユーザが企業に対して対応付けた単語等である。「キーワード」には、一又は複数の単語等が記憶される。図示の例では、「キーワード」として「Ａ株式会社」に「コンピュータ、人工知能、…」等の単語が対応付けられ、「株式会社Ｎ」に「自動車、バイク」等の単語が対応付けられている。「作業ユーザ」は、企業に対してキーワードの対応付けを行ったユーザを特定するための情報であり、例えばユーザに付されたユーザＩＤが記憶される。図示の例では、「作業ユーザ」として「Ｕ００５」及び「Ｕ１０６」のユーザＩＤが示されている。
【００３０】
サーバ装置１の通信部１３は、社内ＬＡＮ（Local Area Network）、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部１３は、ネットワークＮを介して、一又は複数のユーザが利用する端末装置３との間で通信を行う。通信部１３は、処理部１１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部１１へ与える。
【００３１】
なお記憶部１２は、サーバ装置１に接続された外部記憶装置であってよい。またサーバ装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置１は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。
【００３２】
また本実施の形態に係るサーバ装置１の処理部１１には、記憶部１２に記憶されたサーバプログラム１２ａを処理部１１が読み出して実行することにより、検索処理部１１ａ、アノテーション処理部１１ｂ、特典付与部１１ｃ及び学習処理部１１ｄ等がソフトウェア的な機能部として実現される。なおこれらの機能部は、検索サービス及びアノテーション等の処理に関する機能部であり、これ以外の機能部については図示及び説明を省略する。
【００３３】
検索処理部１１ａは、ユーザが端末装置３にて入力した検索用のキーワードに対し、検索結果として企業情報を端末装置３へ送信し、キーワードに対応する企業情報をユーザに提示する処理を行う。検索処理部１１ａは、ユーザが入力したキーワードを端末装置３から取得する。検索処理部１１ａは、端末装置３から取得したキーワードを記憶部１２の学習モデル１２ｂへ入力し、学習モデル１２ｂが出力する企業ラベルを取得する。検索処理部１１ａは、学習モデル１２ｂが出力する企業ラベルに対応する企業に関する情報を企業情報ＤＢ１２ｃから読み出して、読み出した情報を端末装置３へ送信する。これにより端末装置３は、サーバ装置１から受信した情報を表示し、入力されたキーワードにより検索された企業の情報をユーザに提示することができる。
【００３４】
アノテーション処理部（作業依頼送信部及び作業結果取得部）１１ｂは、学習モデル１２ｂの再学習処理に用いられる学習用データを作成するため、企業とキーワードとを対応付けるアノテーションの処理を行う。本実施の形態に係る情報処理システムではアノテーションの作業はユーザにより行われ、アノテーション処理部１１ｂは、ユーザに対してアノテーションを依頼する処理、及び、ユーザによるアノテーションの結果を取得する処理を行う。本実施の形態においてアノテーション処理部１１ｂは、検索サービスを無料で利用できる所定期間が終了する日から所定日数（例えば１０日又は２週間等）前に至ったユーザに対して、アノテーションの作業の実施依頼を送信する。なお上記の所定期間及び所定日数は、同じであってもよい。即ち、ユーザが検索サービスを無料で利用できる期間が始まった際に（同時に又は直後に）、このユーザに対してアノテーションの作業を依頼してもよい。また例えば、検索サービスを無料で利用できる期間が終了した際又はその後に、ユーザに対するアノテーションの作業の依頼が行われてもよい。また例えばアノテーションの作業をユーザに対して毎日、３日毎又は１週間毎等の周期で繰り返し依頼してもよい。アノテーション処理部１１ｂがアノテーションの作業を依頼するタイミング、頻度及び回数等は、どのようなタイミング、頻度及び回数等であってもよい。
【００３５】
このときにアノテーション処理部１１ｂは、企業ＤＢ１２ｃに登録されている複数の企業の中から、ユーザにアノテーションを依頼する対象の企業を選択する。例えばアノテーション処理部１１ｂは、ユーザによる企業情報の閲覧数を計数し、閲覧数が多い企業を優先的に選択してアノテーションの対象とすることができる。また例えばアノテーション処理部１１ｂは、アノテーションの実施数を計数し、実施数が少ない企業を優先的に選択してアノテーションの対象とすることができる。また例えばアノテーション処理部１１ｂは、アノテーションを依頼するユーザのユーザ属性情報に基づいて、業種が同じ企業又は近い企業をアノテーションの対象とすることができ、所在地がユーザの住所に近い企業をアノテーションの対象とすることができる。これらアノテーションの対象となる企業の選択方法は、一例であってこれに限るものではなく、アノテーション処理部１１ｂは、どのような方法で企業を選択してもよい。
【００３６】
アノテーション処理部１１ｂは、アノテーション対象の企業と、この企業に対応付ける候補となる複数のキーワードとを組にして、アノテーションを依頼するユーザの端末装置３へ送信する。このときにアノテーション処理部１１ｂは、例えばこの企業のホームページ等から抽出した単語を候補キーワードとすることができ、また例えば予め用意された単語の集まりの中からランダムに選択した単語を候補キーワードとすることができる。候補キーワードの選択方法はどのような方法であってもよい。また候補キーワードを提示するのではなく、ユーザから任意の文字列の入力を受け付けて、この企業に対応付けるキーワードとしてもよい。
【００３７】
アノテーション処理部１１ｂは、アノテーションの作業の実施依頼を送信したユーザの端末装置３から、アノテーションの作業をユーザが実施した結果、即ち企業に対するキーワードの対応付けの結果を取得する。アノテーション処理部１１ｂは、取得した結果を記憶部１２のアノテーション情報ＤＢ１２ｅに記憶する。
【００３８】
特典付与部１１ｃは、アノテーションの依頼に対してこれを実施したユーザに特典を付与する処理を行う。本実施の形態に係る情報処理システムでは、上述のように検索サービスの利用が有料であるが、特典付与部１１ｃはアノテーションを実施したユーザに対して検索サービスを無料で利用する権利を付与する。特典付与部１１ｃは、例えば所定の期間（検索サービスを無料で利用することが可能な期間と同じであってもよく、別の期間であってもよい）におけるユーザのアノテーションの実施数が所定数（１０件又は１００件等）に達した場合に、このユーザに対して特典を付与する。特典付与部１１ｃは、特典を付与することを決定したユーザについて、ユーザＤＢ１２ｄの「無料期限」を所定期間だけ延長するよう更新することで、特典を付与することができる。
【００３９】
学習処理部１１ｄは、学習モデル１２ｂを学習する処理を行う。学習処理部１１ｄは、アノテーション情報ＤＢ１２ｅに蓄積された情報を基に、学習モデル１２ｂを学習するための教師データ、即ち企業（企業ラベル）とキーワードとを対応付けたデータを生成する。なお、ユーザにより行われたアノテーションの結果は、必ずしも正しいとは限らない。このため学習処理部１１ｄは、アノテーション情報ＤＢ１２ｅに蓄積された情報から、正しいと判断できるアノテーション結果を選択して教師データを生成する。
【００４０】
アノテーション結果の正否は、例えば以下の方法で判定することができる。例えば１つの企業に対して複数のユーザにアノテーションを依頼し、閾値を超える数のユーザがこの企業に対して対応付けたキーワードを、この企業に対応付ける正しいキーワードと判定することができる。また例えば、ユーザ毎にこれまでのアノテーション作業の実績を管理し、キーワードの正しい対応付けを行った実績の高いユーザによるアノテーション結果を、正しいアノテーション結果と判定することができる。また例えば、一のユーザによるアノテーション結果の正否判定を他のユーザに依頼し、この正否判定の作業に対しても特典を与えることができる。これらのアノテーション結果の正否判定は一例であってこれに限るものではなく、学習処理部１１ｄは、どのような方法でアノテーション結果の正否を判定してもよく、正否判定を行わずにアノテーション結果を利用して教師データを生成してもよい。
【００４１】
学習処理部１１ｄは、例えば１週間又は１ヶ月等の周期で、学習モデル１２ｂの学習処理（再学習処理）を行ってよい。なお、学習モデル１２ｂの学習処理は、サーバ装置１とは別の装置にて行われてもよく、この場合にはサーバ装置１は学習処理部１１ｄを備えず、別の装置が学習処理部１１ｄを備えてよい。
【００４２】
図７は、本実施の形態に係る端末装置３の構成を示すブロック図である。本実施の形態に係る端末装置３は、処理部３１、記憶部（ストレージ）３２、通信部（トランシーバ）３３、表示部（ディスプレイ）３４及び操作部３５等を備えて構成されている。端末装置３は、例えば汎用のパーソナルコンピュータ、スマートフォン又はタブレット型端末装置等の情報処理装置を用いて構成され得る。
【００４３】
処理部３１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及びＲＡＭ等を用いて構成されている。処理部３１は、記憶部３２に記憶されたプログラム３２ａを読み出して実行することにより、ユーザによる検索用のキーワードを受け付ける処理、キーワードに応じた検索結果を表示する処理、及び、サーバ装置１からの依頼に基づくアノテーションの作業に関する処理等の種々の処理を行う。
【００４４】
記憶部３２は、例えばハードディスク等の磁気記憶装置又はフラッシュメモリ等の不揮発性のメモリ素子を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するプログラム３２ａを記憶している。本実施の形態においてプログラム３２ａは遠隔のサーバ装置等により配信され、これを端末装置３が通信にて取得し、記憶部３２に記憶する。ただしプログラム３２ａは、例えば端末装置３の製造段階において記憶部３２に書き込まれてもよい。例えばプログラム３２ａは、メモリカード又は光ディスク等の記録媒体９８に記録されたプログラム３２ａを端末装置３が読み出して記憶部３２に記憶してもよい。例えばプログラム３２ａは、記録媒体９８に記録されたものを書込装置が読み出して端末装置３の記憶部３２に書き込んでもよい。プログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。
【００４５】
通信部３３は、社内ＬＡＮ、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークＮを介して、サーバ装置１との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。
【００４６】
表示部３４は、液晶ディスプレイ等を用いて構成されており、処理部３１の処理に基づいて種々の画像及び文字等を表示する。本実施の形態において表示部３４は、例えば企業の検索のためのキーワードを入力する画面、検索結果を表示する画面、及び、アノテーションの作業を受け付ける画面等の種々の画面表示を行う。
【００４７】
操作部３５は、ユーザの操作を受け付け、受け付けた操作を処理部３１へ通知する。例えば操作部３５は、機械式のボタン又は表示部３４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部３５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置３に対して取り外すことが可能な構成であってもよい。
【００４８】
また本実施の形態に係る端末装置３は、記憶部３２に記憶されたプログラム３２ａを処理部３１が読み出して実行することにより、検索処理部３１ａ及びアノテーション処理部３１ｂ等がソフトウェア的な機能部として処理部３１に実現される。なおプログラム３２ａは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。
【００４９】
検索処理部３１ａは、本実施の形態に係る情報処理システムが提供する企業の検索サービスの利用に関する種々の処理を行う。検索処理部３１ａは、ユーザから検索用のキーワードの入力を受け付けて、受け付けたキーワードをサーバ装置１へ送信する。端末装置３から送信されたキーワードに応じてサーバ装置１にて企業の検索が行われ、検索処理部３１ａは、サーバ装置１から検索結果として送信される企業の情報を受信する。検索処理部３１ａは、受信した企業情報を表示部３４に表示する。
【００５０】
アノテーション処理部３１ｂは、サーバ装置１からの依頼に応じたアノテーションの実施に関する処理を行う。アノテーション処理部３１ｂは、サーバ装置１からアノテーションの実施依頼と共に送信される企業及び候補キーワードの情報を受信する。アノテーション処理部３１ｂは、受信した情報に基づいて、アノテーションを行うための画面、例えばアノテーション対象の企業の名称と、複数の候補キーワードとを表示（提示）した画面を表示部３４に表示する。アノテーション処理部３１ｂは、アノテーション用の画面において、ユーザが複数の候補キーワードの中から選択した候補キーワードを、企業に対応付けるキーワードとして受け付ける。アノテーション処理部３１ｂは、アノテーション対象の企業と、ユーザが選択したキーワードとを対応付けた情報を、アノテーションの結果としてサーバ装置１へ送信する。
【００５１】
＜検索処理＞
本実施の形態に係る情報処理システムは、サーバ装置１が企業ＤＢ１２ｃに蓄積した企業情報をユーザに提供するシステムである。なお本実施の形態においては、サーバ装置１が提供するサービスの利用には予めユーザ登録が必要であり、サービスの利用は有料である。ただし、ユーザが初めて本サービスの利用を開始してから所定期間（例えば１週間又は１ヶ月等）は、無料でサービスを利用することが可能であってもよい。ユーザは利用料金の支払いを行うことで本サービスを利用する権利を得ることができるが、本実施の形態においてはサーバ装置１が依頼するアノテーションの作業をユーザが実施することによって、ユーザは所定期間に亘って本サービスを無料で利用する権利を得ることができる。
【００５２】
サービスを利用する権利を得たユーザは、自身の端末装置３にて所定のアプリケーションプログラムを起動するか、又は、Ｗｅｂブラウザ等のプログラムにて本システムのＷｅｂページにアクセスすることで、本サービスを利用することができる。例えばユーザは、情報を必要とする企業の企業名を直接的に入力するか、又は、企業名の一覧等から所望の企業名を選択することで、この企業の情報を端末装置３に表示させることができる。また本実施の形態においては、ユーザは端末装置３にてキーワードを入力し、このキーワードに応じた一又は複数の企業の情報を端末装置３に表示させることができる。端末装置３は、キーワードを入力するボックス等が設けられた検索画面を表示部３４に表示して、ユーザからキーワードの入力を受け付ける。端末装置３は、受け付けた一又は複数のキーワードをサーバ装置１へ送信し、企業情報の検索を要求する。
【００５３】
サーバ装置１は、ユーザが端末装置３にて入力したキーワードを取得し、取得したキーワードに応じた企業を企業ＤＢ１２ｃから検索し、キーワードに応じた企業の情報を端末装置３へ送信する。このときにサーバ装置１は、端末装置３から取得したキーワードを記憶部１２の学習モデル１２ｂへ入力し、学習モデル１２ｂが出力する企業ラベルを取得し、取得した企業ラベルに応じた企業の情報を企業ＤＢ１２ｃから読み出す。なお学習モデル１２ｂは複数の企業ラベルを出力してよく、サーバ装置１はユーザによる１回のキーワードの入力に対して複数の企業についての企業情報を端末装置３に送信してもよい。
【００５４】
端末装置３は、キーワードの入力に応じてサーバ装置１から送信される企業情報を受信する。端末装置３は、受信した一又は複数の企業情報を表示部３４に表示する。
【００５５】
図８は、本実施の形態に係る端末装置３が行う検索処理の手順を示すフローチャートである。本実施の形態に係る端末装置３の処理部３１の検索処理部３１ａは、例えばキーワードを入力するためのテキストボックス等が設けられた検索画面を表示部３４に表示する（ステップＳ１）。検索処理部３１ａは、検索画面において検索用のキーワードが入力されたか否かを判定する（ステップＳ２）。キーワードが入力されていない場合（Ｓ２：ＮＯ）、検索処理部３１ａは、ステップＳ１へ処理を戻し、検索画面の表示を維持してキーワードの入力を待機する。キーワードが入力された場合（Ｓ２：ＹＥＳ）、検索処理部３１ａは、入力されたキーワードを取得して、取得したキーワードをサーバ装置１へ送信する（ステップＳ３）。
【００５６】
その後、検索処理部３１ａは、キーワードの送信に対してサーバ装置１から検索結果として送信される企業情報を受信したか否かを判定する（ステップＳ４）。企業情報を受信していない場合（Ｓ４：ＮＯ）、検索処理部３１ａは、企業情報を受信するまで待機する。企業情報を受信した場合（Ｓ４：ＹＥＳ）、検索処理部３１ａは、受信した企業情報を検索結果として表示部３４に表示し（ステップＳ５）、処理を終了する。
【００５７】
図９は、本実施の形態に係るサーバ装置１が行う検索処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置１の処理部１１の検索処理部１１ａは、端末装置３から検索用のキーワードを受信したか否かを判定する（ステップＳ１１）。キーワードを受信していない場合（Ｓ１１：ＮＯ）、検索処理部１１ａは、端末装置３からキーワードを受信するまで待機する。キーワードを受信した場合（Ｓ１１：ＹＥＳ）、検索処理部１１ａは、受信したキーワードを記憶部１２の学習モデル１２ｂへ入力する（ステップＳ１２）。検索処理部１１ａは、キーワードの入力に応じて学習モデル１２ｂが出力する企業ラベルを取得する（ステップＳ１３）。検索処理部１１ａは、取得した企業ラベルを基に、記憶部１２の企業ＤＢ１２ｃから企業情報を読み出す（ステップＳ１４）。検索処理部１１ａは、読み出した企業情報を、キーワードの送信元の端末装置３へ送信し（ステップＳ１５）、ステップＳ１１へ処理を戻す。
【００５８】
＜アノテーション処理＞
本実施の形態に係る情報処理システムでは、検索精度を向上させるためサーバ装置１の学習モデル１２ｂの再学習が定期的に行われる。この再学習に用いる教師データを生成するため、サーバ装置１は、企業とこの企業に関連するキーワードとの対応付けの作業、いわゆるアノテーションの作業を、検索サービスを利用するユーザに依頼する。またサーバ装置１は、アノテーションの作業を実施したユーザに対して、検索サービスを所定期間に亘って無料で利用できる権利を特典として付与する。これにより情報処理システムは、ユーザにアノテーションの作業の実施を促し、より多くの教師データを作成して学習モデル１２ｂの再学習処理を行い、学習モデル１２ｂを用いる検索サービスの精度を向上させることができる。
【００５９】
サーバ装置１は、各ユーザについて、検索サービスを無料で利用できる期間を管理している。記憶部１２のユーザＤＢ１２ｄに「無料期限」として記憶されている情報がこの管理に用いられる。サーバ装置１は、例えば無料期限まで所定日数（例えば２週間等）になったユーザをユーザＤＢ１２ｄから選択し、このユーザにアノテーションの作業の実施依頼を送信する。このときにサーバ装置１は、企業ＤＢ１２ｃに登録された複数の企業の中から、アノテーションの対象とする企業を選択すると共に、企業に対応付けるキーワードの候補を複数選択し、企業及び複数の候補キーワードをユーザの端末装置３へ送信してアノテーションの作業を依頼する。
【００６０】
サーバ装置１によるアノテーションの対象とする企業の選択は、例えば以下の（１）〜（３）の方法で行うことができる。サーバ装置１は、これらの方法うちのいずれか１つを採用してもよく、複数の方法を併用してもよく、これら以外の方法を採用してもよい。
（１）企業情報の閲覧数に基づく選択
（２）アノテーションの実施数に基づく選択
（３）属性情報に基づく選択
【００６１】
（１）企業情報の閲覧数に基づく選択
本実施の形態に係る検索サービスでは、ユーザは企業情報を得ることを目的にサービスを利用する。企業情報の閲覧数が多い企業はユーザにとって必要とされる人気の企業であり、今後も多くのユーザが閲覧する可能性が高い。このような企業を優先的にアノテーションの対象として検索精度を向上することで、より優れた検索サービスを提供することが期待できる。例えばサーバ装置１は、企業情報ＤＢ１２ｃに登録された企業毎に閲覧数をカウントし、１週間又は１ヶ月等の所定期間における閲覧数の順位付けを行う。サーバ装置１は、閲覧数の順位に応じて企業の選択確率に重み付け、即ち順位が高い企業ほど選択確率が高くなるような重み付けを行い、企業情報ＤＢ１２ｃに登録された全企業の中からアノテーションの対象とする企業を選択する。
【００６２】
（２）アノテーションの実施数に基づく選択
再学習処理のための教師データが多いほど検索精度の向上が期待でき、企業のアノテーションの実施数が多いほどこの企業に関する検索精度の向上が期待できる。アノテーションの実施数にバラツキがある場合、企業間で検索精度に差異が生じる可能性があるが、アノテーションの実施数が少ない企業を優先的にアノテーションの対象として選択することでこれを回避又は低減等することが期待できる。例えばサーバ装置１は、企業情報ＤＢ１２ｃに登録された企業毎にアノテーションの実施数をカウントし、１週間又は１ヶ月等の所定期間におけるアノテーションの実施数の順位付けを行う。サーバ装置１は、アノテーションの実施数の順位に応じて企業の選択確率に重み付け、即ち実施数が少ない企業ほど選択確率が高くなるような重み付けを行い、企業情報ＤＢ１２ｃに登録された全企業の中からアノテーションの対象とする企業を選択する。
【００６３】
（３）属性情報に基づく選択
本実施の形態においてサーバ装置１は、各企業の企業属性情報を企業情報ＤＢ１２ｃに記憶すると共に、各ユーザのユーザ属性情報をユーザＤＢ１２ｄに記憶している。例えば企業属性情報及びユーザ属性情報に含まれる業種に着目した場合、ユーザは自分の職業の業種に近い業種の企業について信頼性の高いアノテーションを実施することが期待できる。また例えば企業属性情報に含まれる所在地及びユーザ属性情報に含まれる住所に着目した場合、ユーザは自身が居住している場所又は自身が勤務する企業の所在する場所等の近くに所在する企業について信頼性の高いアノテーションを実施することが期待できる。サーバ装置１は、企業情報ＤＢ１２ｃに記憶された企業情報に含まれる特定の企業属性情報と、ユーザＤＢ１２ｄに記憶されたユーザに関する特定のユーザ属性情報とを比較し、アノテーションの作業を依頼するユーザのユーザ属性情報に対して所定の条件を満たす企業属性情報を有する企業を、アノテーションの対象の企業として選択する。なお企業の選択に用いる企業属性情報及びユーザ属性情報は、上記の業種及び所在地等に限らず、種々の情報が採用され得る。企業属性情報及びユーザ属性情報に基づいて、サーバ装置１は、例えばユーザが勤務する企業の取引先（仕入れ元もしくは販売先等）の企業を選択してもよく、また例えばユーザが勤務する企業の競合の企業又は取り扱う商品が類似している企業等を選択してもよい。
【００６４】
また、サーバ装置１は、アノテーションの作業において企業に対応付けるキーワードの候補を選択する際に、例えばこの企業のホームページ等から抽出した単語を候補キーワードとしてもよく、また例えば予め用意された単語の集まりの中からランダムに選択した単語を候補キーワードとしてもよい。単語の集まりは、例えば検索サービスを利用するユーザがキーワードとして入力した単語をサーバ装置１が記憶しておくことで予め用意することができる。
【００６５】
サーバ装置１からアノテーションの実施依頼と共にアノテーションの対象となる企業及びこの企業に対応付けるキーワードの候補を与えられた端末装置３は、これらの情報に基づいて、ユーザがアノテーションの作業を行うためのアノテーション画面を表示部３４に表示する。図１０は、アノテーション画面の一例を示す模式図である。本実施の形態に係る端末装置３が表示するアノテーション画面では、最上部に「株式会社Ｘに関連するキーワードを選択・入力してください」のメッセージが表示される。このメッセージにより、アノテーションの対象となる企業が「株式会社Ｘ」であることを示している。
【００６６】
端末装置３は、このメッセージの下方に、キーワードがラベルとして付されたボタンをマトリクス状に並べて表示する。図示の例では、「ＡＩ」、「ＩｏＴ」、「ブロックチェーン」、「５Ｇ」、「スマートグリッド」、「量子コンピューティング」、「飲食業」、「卸売業」、「介護」、「運送業」、「保険」及び「医療」のラベルが付された１２個のボタンが、４行×３列のマトリクス状に並べられている。端末装置３は、各ボタンに対するタッチ操作又はクリック操作等を受け付けることにより、企業に対応付けるキーワードの選択を受け付ける。図示の例では、「ＡＩ」及び「介護」のキーワードが選択されていることを、ボタンにハッチングを付すことで表している。
【００６７】
また端末装置３は、これら複数のボタンの下方に、「任意入力」の文字列と、文字列を入力するためのテキストボックスとを並べて表示する。ユーザは端末装置３の文字入力の機能を利用して、このテキストボックスに任意の文字列を入力することができる。端末装置３は、テキストボックスに入力された文字列を、アノテーションの対象の企業に対応付けるキーワードとして受け付ける。図示の例では、テキストボックスに「ロボット」のキーワードが入力されている。
【００６８】
また端末装置３は、テキストボックスの下方に、「戻る」のラベルが付されたボタンと、「送信」のラベルが付されたボタンとを並べて表示する。「戻る」のボタンは、アノテーションの作業を中断して１つ前の表示状態、例えばメニュー画面又は検索画面等の表示状態へ戻る操作を受け付ける。「送信」のボタンは、ユーザによるアノテーションの作業の結果をサーバ装置１へ送信する操作を受け付ける。「送信」のボタンに対する操作が行われた場合、端末装置３は、アノテーションの対象の企業と、この企業にユーザが対応付けたキーワードとを含むアノテーション結果の情報をサーバ装置１へ送信する。図示の例では、「株式会社Ｘ」に対して「ＡＩ」、「介護」及び「ロボット」の３つのキーワードが対応付けられたアノテーション結果がサーバ装置１へ送信される。
【００６９】
端末装置３からアノテーションの結果を受信したサーバ装置１は、受信した情報を記憶部１２のアノテーション情報ＤＢ１２ｅに記憶する。サーバ装置１は、アノテーション情報ＤＢ１２ｅに蓄積された情報を用いて、学習モデル１２ｂの再学習処理のための教師データを生成する。サーバ装置１は、例えば１週間又は１ヶ月等の周期で、教師データの生成と、これを用いた学習モデル１２ｂの再学習処理とを行うことができる。
【００７０】
ただし、ユーザにより行われたアノテーションの結果は、必ずしも正しいとは限らず、企業及びキーワードの対応関係（関係）に誤りが含まれる教師データを用いて学習モデル１２ｂの再学習処理を行った場合には、検索精度が低減する可能性がある。そこで本実施の形態に係る情報処理システムでは、アノテーションの結果の信頼性を向上するために、以下の（１）〜（３）の処理の少なくとも１つを実行して、企業及びキーワードの対応関係を決定してもよい。
（１）２段階アノテーション
（２）複数ユーザの多数決
（３）ユーザの実績評価
【００７１】
（１）２段階アノテーション
サーバ装置１は、例えば第１のユーザに対して上述のアノテーションの作業を依頼して結果を取得した後、第２のユーザに対してこのアノテーションの結果の正否を判定する作業を依頼する。サーバ装置１は、第２のユーザが正当と判定したアノテーションの結果を、アノテーション情報ＤＢ１２ｅに記憶し、学習モデル１２ｂの教師データとして利用する。またサーバ装置１は、アノテーションの作業を実施した第１のユーザと、アノテーションの結果の正否判定の作業を実施した第２のユーザとの両方に、特典を付与してよい。
【００７２】
（２）複数ユーザの多数決
サーバ装置１は、１つの企業と複数の候補キーワードとを対応付けたアノテーションのための情報を生成し、同じ内容の情報を複数のユーザに送信してアノテーションの作業の実施依頼を行う。サーバ装置１は、この複数のユーザから取得した複数のアノテーションの結果を比較して、この企業に対して例えば半数以上のユーザが対応付けたキーワード、所定数以上のユーザが対応付けたキーワード、又は、最も多くのユーザが対応付けたキーワード等を取得する。サーバ装置１は、取得した一又は複数のキーワードをこの企業に対応付けた情報を、アノテーション情報ＤＢ１２ｅに記憶する。
【００７３】
（３）ユーザの実績評価
サーバ装置１は、ユーザＤＢ１２ｄに登録された各ユーザについて、アノテーションの作業に関する実績の情報を記憶する。実績の情報は、例えばこれまでに行ったアノテーションの件数とすることができる。また例えば、上記の（１）又は（２）を行う場合には、有効と判断できるアノテーションの件数、又は、アノテーションの全件数に対する有効件数の割合等を実績の情報としてもよい。例えばサーバ装置１は、実績が閾値を超えるユーザのアノテーションの結果のみを採用してもよい。また例えばサーバ装置１は、上記の（１）を行う場合に、実績が閾値を超えるユーザが行ったアノテーションの結果については２段階目の判定を省力してもよい。また例えばサーバ装置１は、上記の（２）を行う場合に、実績に応じた重み付けを各ユーザに行って、各キーワードを対応付けたユーザの数を算出してもよい。サーバ装置１は、企業に対して各キーワードを対応付けたユーザ数を算出する際に、アノテーションの件数が閾値を超えるユーザについては例えば２人分等としてユーザ数を算出することができる。
【００７４】
サーバ装置１は、上記の（１）〜（３）の処理のうちの１つ又はいくつかを組み合わせて、端末装置３から取得したアノテーションの結果の中から、最終的に教師データとして用いる結果を選別してアノテーション情報ＤＢ１２ｅに記憶する。又は、サーバ装置１は、端末装置３から取得したアノテーションの結果を全てアノテーション情報ＤＢ１２ｅに記憶してもよく、この場合には学習モデル１２ｂの再学習処理を行う際又はそれ以前の適宜のタイミングで、上記の（１）〜（３）の処理を行って教師データとして用いるアノテーションの結果を選別してもよい。このようにして選別された企業及びキーワードの対応情報が教師データとして用いられて学習モデル１２ｂの再学習処理が行われる。ただし、サーバ装置１は、このような選別を行うことなく、端末装置３から取得した全てのアノテーションの結果を用いて再学習処理を行ってもよい。
【００７５】
またサーバ装置１は、アノテーションの作業を行ったユーザに対して、特典を付与する。本実施の形態に係る情報処理システムでは、サーバ装置１が提供する検索サービスを所定期間に亘って無料で利用する権利をユーザに特典として付与する。サーバ装置１は、ユーザＤＢ１２ｄの「無料期限」を延長することにより、上記の特典付与を行うことができる。サーバ装置１は、例えばアノテーションの作業数が閾値を超えたユーザに対して特典を付与してもよく、また例えば作業数に応じて無料の期間を決定しもよい。サーバ装置１は、特典を付与したユーザの端末装置３へ、特典を付与した旨を通知するメッセージを送信する。このメッセージを受信した端末装置３は、アノテーションの作業を実施したことにより特典が付与された旨をユーザに通知する。
【００７６】
図１１は、本実施の形態に係るサーバ装置１が行うアノテーション処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置１の処理部１１のアノテーション処理部１１ｂは、ユーザＤＢ１２ｄに登録された各ユーザについて、アノテーションの作業を依頼するタイミングに至ったか否かを判定する（ステップＳ３１）。なお、アノテーションの作業を依頼するタイミングに至ったか否かは、ユーザＤＢ１２ｄの「無料期限」の所定日数前に至ったか否かにより判定される。依頼タイミングに至っていない場合（Ｓ３１：ＮＯ）、アノテーション処理部１１ｂは、アノテーションの作業を依頼するタイミングに至るまで待機する。
【００７７】
アノテーションの作業を依頼するタイミングに至った場合（Ｓ３１：ＹＥＳ）、アノテーション処理部１１ｂは、ユーザに依頼するアノテーションの内容を生成する（ステップＳ３２）。本実施の形態においてアノテーションの内容は、アノテーションの対象となる企業と、この企業に対応付ける複数のキーワードとを含むものであるが、これに限られない。アノテーション処理部１１ｂは、生成したアノテーションの内容をユーザの端末装置３へ送信することで、ユーザにアノテーションの作業の実施依頼を送信する（ステップＳ３３）。
【００７８】
アノテーション処理部１１ｂは、アノテーションの作業の実施依頼を送信したユーザの端末装置３から、アノテーションの結果を受け付けたか否かを判定する（ステップＳ３４）。本実施の形態に係る情報処理システムでは、サーバ装置１の依頼をユーザが引き受けないことも可能であり、アノテーションの結果を受け付けていない場合には（Ｓ３４：ＮＯ）、アノテーション処理部１１ｂは、処理を終了する。
【００７９】
端末装置３からユーザによるアノテーションの結果を受け付けた場合（Ｓ３４：ＹＥＳ）、アノテーション処理部１１ｂは、受け付けたアノテーションの結果、即ち企業及びキーワードを対応付けた情報を、記憶部１２のアノテーション情報ＤＢ１２ｅに記憶する（ステップＳ３５）。処理部１１の特典付与部１１ｃは、アノテーションの作業を行ったユーザに対して、所定期間に亘って検索サービスを無料で利用できる権利を特典として付与し（ステップＳ３６）、処理を終了する。なお本フローチャートでは、アノテーションの結果の信頼性を向上するための処理、即ち上述の（１）２段階アノテーション、（２）複数ユーザの多数決、及び、（３）ユーザの実績評価の処理は行っていない。これらの処理は、例えば本フローチャートのステップＳ３５の前後に行われ得る。
【００８０】
図１２は、本実施の形態に係る端末装置３が行うアノテーション処理の手順を示すフローチャートである。本実施の形態に係る端末装置３の処理部３１のアノテーション処理部３１ｂは、サーバ装置１からアノテーションの作業の実施依頼を受け付けたか否かを判定する（ステップＳ５１）。アノテーションの作業の実施依頼を受け付けていない場合（Ｓ５１：ＮＯ）、アノテーション処理部３１ｂは、実施依頼を受け付けるまで待機する。
【００８１】
アノテーションの作業の実施依頼を受け付けた場合（Ｓ５１：ＹＥＳ）、アノテーション処理部３１ｂは、サーバ装置１から送信されるアノテーションの内容についての情報に基づいて、アノテーションの対象となる企業と、この企業に対応付ける候補となるキーワードとを示したアノテーション画面（図１０参照）を表示部３４に表示する（ステップＳ５２）。アノテーション処理部３１ｂは、アノテーション画面におけるキーワードの選択又は入力等を受け付けることにより、ユーザによるアノテーションの作業を受け付ける（ステップＳ５３）。アノテーション処理部３１ｂは、ユーザによるアノテーションの作業の結果、即ち企業及びキーワードの対応に関する情報を、サーバ装置１へ送信する（ステップＳ５４）。
【００８２】
アノテーション処理部３１ｂは、サーバ装置１からユーザに特典を付与した旨の通知を受け付けたか否かを判定する（ステップＳ５５）。例えば所定数以上のアノテーションの作業が特典付与の条件となっている場合等には、ユーザが１件のアノテーションの作業を行っただけでは特典が付与されない場合がある。このように特典が付与されない場合（Ｓ５５：ＮＯ）、アノテーション処理部３１ｂは、処理を終了する。これに対してユーザに特典が付与された場合（Ｓ５５：ＹＥＳ）、アノテーション処理部３１ｂは、例えば表示部３４にメッセージ等を表示して、ユーザに特典が付与された旨を通知し（ステップＳ５６）、処理を終了する。
【００８３】
＜その他の特典＞
本実施の形態においては、サーバ装置１がユーザに付与する特典として、検索サービスを所定期間に亘って無料で利用できる権利を例に説明を行ったが、特典はこれ以外のものであってもよい。例えばサーバ装置１は、サービスの一部の機能を有料で提供し、特典としてこの機能を無料で利用できる権利を特典としてユーザに付与してもよい。例えばサーバ装置１は、検索サービスは全ユーザに無料で提供し、検索結果として表示される企業情報の量及び質等について有料会員と無料会員とで差を設けてもよく、この場合に有料会員と同等の権利を無料でユーザに特典として付与してもよい。また例えばサーバ装置１は、検索画面及び検索結果の表示画面等に広告を表示する機能を有していてもよく、この場合に広告を無料で配信する権利をユーザに特典として付与ししてもよい。またサーバ装置１は、検索結果の表示画面に複数の企業情報を表示してもよく、この場合により上位に企業情報を表示する権利をユーザに特典として付与してもよい。サーバ装置１は、これら以外の種々の特典を、アノテーションの作業を実施したユーザに対して付与してよい。
【００８４】
＜まとめ＞
以上の構成の本実施の形態に係る情報処理システムは、ユーザから検索のためのキーワードの入力を受け付けて、当該キーワードに応じた一又は複数の企業に関する情報を出力する検索サービスをサーバ装置１が提供する。サーバ装置１は、キーワード及び企業を対応付けるアノテーションの作業の実施依頼をユーザに送信し、ユーザからアノテーションの作業の結果としてキーワード及び企業を対応付けた情報を端末装置３から取得すると共に、アノテーションの作業を実施したユーザに対して特典を付与する。これにより本実施の形態に係る情報処理システムは、アノテーションの作業の実施をユーザに促すことができ、より多くのアノテーションの結果を収集して検索精度の向上等のために用いることができる。このようにユーザにアノテーション作業を依頼することにより、例えば、検索サービスの提供者を介さずに、学習用のデータを生成することができ、その結果、検索の精度向上が期待できる。
【００８５】
また本実施の形態に係る情報処理システムは、検索サービスを所定期間に亘って無料で利用できる権利を特典としてユーザに付与する。これにより、検索サービスを利用するユーザに対して、アノテーションの作業の実施をより効果的に促すことが期待できる。
【００８６】
また本実施の形態に係る情報処理システムは、検索サービスを無料で利用できる期間（無料期間）が経過する前に、アノテーションの作業の実施依頼をユーザに送信する。これにより、ユーザはアノテーションの作業を行うことで、無料期間が途切れることなく検索サービスを利用することが可能となる。
【００８７】
また本実施の形態に係る情報処理システムは、１つの企業に対して複数のユーザにアノテーションの作業の実施依頼を送信し、複数のユーザからアノテーションの作業の結果を取得して、取得した複数の結果に基づいて、教師データとして用いるキーワード及び企業の対応関係を決定する。例えば所定数以上のユーザが企業に対して対応付けたキーワードを抽出し、このキーワードと企業とを対応付けて教師データとすることができる。この企業に対して所定数に満たないユーザが対応付けたキーワードは、この企業に対応付けるキーワードとして信頼性が低いものと判断し、教師データとして利用しない。これにより、信頼性の高いアノテーションの結果を用いて、学習モデル１２ｂの再学習処理を行うことができ、より確実な検索精度の向上が期待できる。
【００８８】
また本実施の形態に係る情報処理システムは、サーバ装置１がユーザの作業実績を記憶し、複数のユーザによるアノテーションの結果と、各結果についてアノテーションの作業を行ったユーザの実績とに基づいて、教師データとして用いるキーワード及び企業の対応関係を決定する。例えば、これまでに所定件数以上のアノテーションの作業を行ったユーザは、信頼性の高いアノテーションを実施できると判断し、上記のように企業に対してキーワードを割り当てたユーザ数をカウントする際に、このユーザに重み付けを行って（例えばこのユーザを２人分とカウントし）、企業に対応付けるキーワードを決定することができる。また、より実績の高いユーザがアノテーションの作業で企業に対応付けたキーワードは、他のユーザが対応付けたか否かに関わらず、教師データとして採用してもよい。これらにより、より信頼性の高いアノテーションの結果を用いて再学習処理を行うことができ、より確実な検索精度の向上が期待できる。
【００８９】
また本実施の形態に係る情報処理システムは、検索サービスにおける企業情報の閲覧数、又は、ユーザによるアノテーションの作業の実施数に基づいて、ユーザにアノテーションの作業を依頼する対象の企業を決定する。これにより、例えば閲覧数が多く、ユーザに求められる企業に関する検索精度の向上が期待でき、また例えばアノテーションの作業の実施数が少なく、十分な教師データを得られていない企業に関する検索精度の向上が期待できる。
【００９０】
また本実施の形態に係る情報処理システムは、ユーザ属性情報及び企業属性情報に基づいて、ユーザにアノテーションの作業を依頼する企業を決定する。例えばユーザと同じ業種、又は、同じ地域等の企業についてアノテーションの作業を依頼することで、信頼性の高いアノテーションの結果を得ることが期待できる。
【００９１】
また本実施の形態に係る情報処理システムは、１つの企業に対して対応付ける複数の候補キーワードをユーザに提示し、提示した複数の候補キーワードの中から一又は複数のキーワードの選択を受け付けることで、ユーザによるアノテーションの作業の結果を取得する。これによりユーザは、アノテーションの作業を容易に実施することが期待できる。
【００９２】
なお本実施の形態においては、検索サービスの検索対象を企業としたが、これに限るものではなく、企業以外の種々の検索対象を扱う検索サービスをサーバ装置１が提供してよい。
【００９３】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９４】
１  サーバ装置
３  端末装置
１１  処理部
１１ａ  検索処理部
１１ｂ  アノテーション処理部
１１ｃ  特典付与部
１１ｄ  学習処理部
１２  記憶部
１２ａ  サーバプログラム
１２ｂ  学習モデル
１２ｃ  企業情報ＤＢ
１２ｄ  ユーザＤＢ
１２ｅ  アノテーション情報ＤＢ
１３  通信部
３１  処理部
３１ａ  検索処理部
３１ｂ  アノテーション処理部
３２  記憶部
３２ａ  プログラム
３３  通信部
３４  表示部
３５  操作部
９８，９９  記録媒体
【要約】      （修正有）【課題】検索サービスの精度を向上することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供する。【解決手段】情報処理方法は、ユーザから検索のためのキーワードの入力を受け付け、当該キーワードに応じた一又は複数の検索対象に関する情報を出力する検索サービスを提供する情報処理装置が、キーワード及び検索対象を対応付ける作業の実施をユーザに依頼し、ユーザから作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、作業を実施したユーザに対して特典を付与する。特典は、検索サービスを所定期間利用する権利であってよい。情報処理装置は、所定期間が経過する前に作業の実施をユーザに依頼してもよい。【選択図】図１０【図１】
0006867661.tif 000002
【図２】
0006867661.tif 000003
【図３】
0006867661.tif 000004
【図４】
0006867661.tif 000005
【図５】
0006867661.tif 000006
【図６】
0006867661.tif 000007
【図７】
0006867661.tif 000008
【図８】
0006867661.tif 000009
【図９】
0006867661.tif 000010
【図１０】
0006867661.tif 000011
【図１１】
0006867661.tif 000012
【図１２】
0006867661.tif 000013