(57)【要約】      （修正有）【課題】配信された情報を効果的に再審査する特定装置、特定方法及び特定プログラムを提供する。【解決手段】端末装置１０にコンテンツを配信するコンテンツ配信サーバ２００と、特定装置１００を有する特定システム１において、特定装置１００は、サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得部と、取得部によって取得された評価情報と、ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する特定部と、を備える。取得部は、配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得し、特定部は、評価情報とユーザ情報とに基づいて、配信情報のうち再審査の対象となる配信情報を特定する。【選択図】図１
2020119387.tif 000002
【特許請求の範囲】
【請求項１】
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得部と、
前記取得部によって取得された評価情報と、前記ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する特定部と、
を備えたことを特徴とする特定装置。
【請求項２】
前記取得部は、
配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得し、
前記特定部は、前記評価情報と前記ユーザ情報とに基づいて、前記配信情報のうち再審査の対象となる配信情報を特定する
ことを特徴とする請求項１に記載の特定装置。
【請求項３】
前記特定部により特定された配信情報を配信対象から除外する除外部を
更に有することを特徴とする請求項１又は請求項２に記載の特定装置。
【請求項４】
前記特定部は、
所定の評価に関する評価情報の数が所定の条件を満たした配信情報を特定する
ことを特徴とする請求項１〜３のいずれか一つに記載の特定装置。
【請求項５】
前記特定部は、
前記ユーザ情報が所定の条件を満たすユーザを特定し、特定したユーザによる評価を示す評価情報が所定の条件を満たす配信情報を特定する
ことを特徴とする請求項１〜４のいずれか一つに記載の特定装置。
【請求項６】
前記ユーザ情報に基づいて、前記評価情報に対する前記ユーザの信用度を算出する算出部を更に備え、
前記特定部は、
前記算出部によって算出された信用度に基づいて前記配信情報を特定する
ことを特徴とする請求項１〜５のいずれか一つに記載の特定装置。
【請求項７】
前記特定部は、
前記算出部によって算出された信用度が所定の閾値を超えるユーザによる評価を示す評価情報が所定の条件を満たす配信情報を特定する
ことを特徴とする請求項６に記載の特定装置。
【請求項８】
前記算出部は、
前記ユーザ情報のうち前記ユーザが評価した配信情報の再審査の結果履歴に基づいて、前記信用度を算出する
ことを特徴とする請求項６又は請求項７に記載の特定装置。
【請求項９】
前記評価情報が示す評価の内容と、前記サイトを管理する管理者によって予め設定された所定のガイドラインとの類似度を決定する決定部を更に備え、
前記算出部は、
前記決定部による決定結果に応じて重み付けが異なる前記ユーザ情報に基づいて、前記信用度を算出する
ことを特徴とする請求項６〜８のいずれか一つに記載の特定装置。
【請求項１０】
前記特定部による特定結果に基づいて、前記評価を行った前記ユーザのユーザ情報を更新する更新部を
更に備えたことを特徴とする請求項１〜９のいずれか一つに記載の特定装置。
【請求項１１】
前記特定部は、
前記評価情報のうち、前記ユーザの不快感または不正であると感じる感情に関する評価情報に基づいて、前記配信情報を特定する
ことを特徴とする請求項１〜１０のいずれか一つに記載の特定装置。
【請求項１２】
前記特定部は、
前記配信情報ごとに、前記ユーザ情報に基づくスコアと前記評価情報に基づくスコアとに応じて算出された評価スコアが所定の条件を満たす配信情報を特定する
ことを特徴とする請求項１〜１１のいずれか一つに記載の特定装置。
【請求項１３】
前記配信情報とは、広告情報である
ことを特徴とする請求項１〜１２のいずれか一つに記載の特定装置。
【請求項１４】
前記特定部は、
前記ユーザに対して予め設定された権限に応じた所定の条件に基づいて再審査の対象となる配信情報を特定する
ことを特徴とする請求項１〜１３のいずれか一つに記載の特定装置。
【請求項１５】
前記ユーザが評価した配信情報の再審査の結果が所定の条件を満たす場合は、前記権限を剥奪する更新部と、
を更に備えたことを特徴とする請求項１４に記載の特定装置。
【請求項１６】
前記更新部は、
前記配信情報に対する評価を行った前記ユーザとは異なる他のユーザからの操作に応じた再審査の結果が所定の条件を満たす場合は、当該ユーザの前記権限を剥奪する
ことを特徴とする請求項１５に記載の特定装置。
【請求項１７】
前記特定部は、
前記ユーザに対して予め設定された権限が所定の条件を満たす場合は、当該ユーザが評価した配信情報を再審査対象とする
ことを特徴とする請求項１４〜１６のいずれか一つに記載の特定装置。
【請求項１８】
前記特定部は、
前記評価情報として掲載中止情報が取得された場合は、再審査する
ことを特徴とする請求項１７に記載の特定装置。
【請求項１９】
コンピュータにより実行される特定方法であって、
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得工程と、
前記取得工程によって取得された評価情報と、前記ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する特定工程と、
を含んだことを特徴とする特定方法。
【請求項２０】
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得手順と、
前記取得手順によって取得された評価情報と、前記ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する特定手順と、
をコンピュータに実行させることを特徴とする特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定装置、特定方法及び特定プログラムに関する。
【背景技術】
【０００２】
近年、インターネットなどのネットワークの飛躍的な普及に伴い、ネットワークを介した広告配信が盛んに行われている。かかる広告配信を行うにあたり、例えば広告配信業者は、ウェブページなどに掲載する広告の入稿を広告主から受け付け、かかる広告が配信にふさわしい適切なものであるか否かを審査している。
【０００３】
なお、審査の手法としては、例えば、広告主による広告情報の入稿パターンの要素および広告情報を入稿した後の広告主の行動情報に基づいて、広告主が悪意ある不正者である度合いを評価する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１２６３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、配信された情報を効果的に再審査したいといった要望に応えることができるとは限らなかった。
【０００６】
本願は、上記に鑑みてなされたものであって、配信された情報を効果的に再審査したいといった要望に応えることができる特定装置、特定方法及び特定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願に係る特定装置は、サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得部と、前記取得部によって取得された評価情報と、前記ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する特定部とを備えたことを特徴とする。
【発明の効果】
【０００８】
実施形態の一態様によれば、配信された情報を効果的に再審査したいといった要望に応えることができるといった効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る特定処理の一例を示す図である。
【図２】図２は、実施形態に係る端末装置の構成例を示す図である。
【図３】図３は、実施形態に係るコンテンツ配信サーバの構成例を示す図である。
【図４】図４は、実施形態に係る特定装置の構成例を示す図である。
【図５】図５は、実施形態に係る評価情報記憶部の一例を示す図である。
【図６】図６は、実施形態に係るユーザ情報記憶部の一例を示す図である。
【図７】図７は、実施形態に係る指針情報記憶部の一例を示す図である。
【図８】図８は、実施形態に係る特定処理の一例を示すフローチャートである。
【図９】図９は、実施形態に係る特定処理の一例を示す図である。
【図１０】図１０は、実施形態に係る特定装置の構成例を示す図である。
【図１１】図１１は、実施形態に係るユーザ情報記憶部の一例を示す図である。
【図１２】図１２は、実施形態に係る特定処理の一例を示すフローチャートである。
【図１３】図１３は、特定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【００１０】
以下に、本願に係る特定装置、特定方法及び特定プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る特定装置、特定方法及び特定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１１】
（実施形態）
〔１．特定処理の一例〕
まず、図１を用いて、実施形態に係る特定処理の一例について説明する。図１は、実施形態に係る特定処理の一例を示す図である。図１では、実施形態に係る特定処理が特定装置１００により実行される例を示す。図１では、実施形態に係る特定処理が、ユーザからの評価に基づいて再審査の対象となる配信情報を特定する例を示す。ここで、再審査の対象となる配信情報とは、配信情報を管理する管理者による審査を一度は通過した配信情報を示す。なお、実施形態に係る審査は、配信情報を管理する管理者と所定の関係を有する外部サーバによって行われてもよいものとする。なお、配信情報を管理する管理者による審査とは、例えば、配信情報が入稿された入稿時に行われる審査を示す。なお、実施形態に係る審査とは、配信情報が入稿された入稿時から所定の期間経過後に行われる最初の審査であってもよい。
【００１２】
配信情報は、例えば、入稿された配信情報が法律に違反していないか、また、配信情報を管理する管理者によって予め定められたガイドラインに違反していないか等に基づいて、審査又は再審査されるものとする。なお、実施形態に係る再審査は、審査を一度は通過した配信情報の２回目以降の審査を示す。また、実施形態に係る再審査は、例えば配信情報を管理する管理者による最初の審査から所定の期間経過後に行われるものとする。ここで、再審査は、最初の審査の直後に行われてもよいものとする。
【００１３】
なお、配信情報を管理する管理者によって予め定められたガイドラインとは、例えば、配信情報を管理する管理者がどのような内容の配信情報を好むか又は好まないかといった指針に関する情報を示す。例えば、配信情報を管理する管理者は、配信情報を閲覧した多数のユーザが特定の配信情報の内容に対して肯定的か否定的かといった情報を集計することによってガイドラインを形成する。例えば、配信情報を管理する管理者は、多数のユーザが誹謗中傷の内容を含む配信情報に否定的な評価をした場合には、「誹謗中傷の内容を含む広告を配信しない」といったガイドラインを形成してもよい。
【００１４】
なお、図１では、美容や健康に関する広告情報を対象とする場合を一例として示す。また、図１では、ユーザが選択できる評価の選択肢が「広告が適切である」または「広告が不適切である」の２択であるが、これらに限定されなくてもよいものとする。また、図１では、ユーザが評価の選択肢を選択（例えば、クリックやタップなど）することにより、ユーザの評価が送信されるものとする。これにより、実施形態に係る特定処理は、配信された情報を効果的に再審査したいといった要望に応えることができる。
【００１５】
図１に示すように、特定システム１には、端末装置１０と、特定装置１００と、コンテンツ配信サーバ２００とが含まれる。端末装置１０と、特定装置１００と、コンテンツ配信サーバ２００とは図示しない所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図１に示す特定システム１には、複数台の端末装置１０や、複数台の特定装置１００や、複数台のコンテンツ配信サーバ２００が含まれてもよい。
【００１６】
例えば、図１では、端末装置１０を利用する複数のユーザからの評価情報を取得する場合を示す。なお、複数のユーザから評価情報を取得する場合には、各々の端末装置１０から同時に取得してもよいし、複数のユーザから送信される評価の度に取得してもよい。
【００１７】
端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal  Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal  Digital  Assistant）等により実現される。図１に示す例においては、端末装置１０がデスクトップＰＣである場合を示す。
【００１８】
特定装置１００は、例えば、ＰＣ、ＷＳ（Work  Station）等の情報処理装置であり、端末装置１０からネットワークＮを介して送信されてきた情報に基づいて再審査の対象となる配信情報を特定する。
【００１９】
コンテンツ配信サーバ２００は、例えば、ＰＣ、ＷＳ等の情報処理装置であり、端末装置１０に対して、ネットワークＮを介してコンテンツを配信する。
【００２０】
なお、図１では、特定装置１００とコンテンツ配信サーバ２００とは、別装置である場合を示したが、特定装置１００とコンテンツ配信サーバ２００とが一体であってもよい。また、特定装置１００とコンテンツ配信サーバ２００は、それぞれ同一とみなされる管理者によって管理されていてもよい。
【００２１】
以下では、ユーザＩＤ「Ｕ１」により識別されるユーザを「ユーザＵ１」とする場合がある。このように、以下では、「ユーザＵ＊（＊は任意の数値）」と記載した場合、そのユーザはユーザＩＤ「Ｕ＊」により識別されるユーザであることを示す。例えば、「ユーザＵ２」と記載した場合、そのユーザはユーザＩＤ「Ｕ２」により識別されるユーザである。
【００２２】
図１の例では、コンテンツページＣ１０が配信される場合を示す。なお、コンテンツページＣ１０は、実施形態に係る配信情報の一例である。また、図１の例では、コンテンツページＣ１０に対する評価情報が特定装置１００に送信される場合を示す。図１に示す例では、コンテンツページＣ１０の所定の領域ＡＲ１１に広告ＡＤ１が表示される場合を示す。図１では、所定の領域ＡＲ１１に美容と健康に関する広告情報が表示される場合を示す。また、図１に示す例では、所定の領域ＡＲ１１に含まれる所定の領域ＡＲ２１にインフォメーションアイコン（以下、適宜「アイマーク」と呼ぶ）ＩＣ１が表示される場合を示す。
【００２３】
なお、コンテンツページＣ１０には、例えば、コンテンツページＣ１０のタイトル情報や、トピックに関する文字情報や、バナー情報などが含まれていてもよい。また、コンテンツページＣ１０には、評価の対象となる複数の広告情報が含まれていてもよい。例えば、コンテンツページＣ１０の所定の領域ＡＲ１１に広告ＡＤ１が表示され、コンテンツページＣ１０の所定の領域ＡＲ１２に広告ＡＤ２が表示され、コンテンツページＣ１０の所定の領域ＡＲ１３に広告ＡＤ３が表示されてもよい。
【００２４】
図１の例では、コンテンツページＣ１０の所定の領域ＡＲ２１に表示されたアイマークＩＣ１を選択（例えば、クリックやタップなど）することにより、評価ページＣ２０が表示される場合を示す。図１の例では、評価ページＣ２０には、「広告が適切である」または「広告が不適切である」の２択の選択肢が表示される場合を示す。なお、図１に示す選択肢は一例であり、他の内容の選択肢であってもよいし、２択以上の選択肢であってもよいものとする。例えば、評価ページＣ２０には、「Excellent」、「Good」、「Bad」、「Very  bad」といった選択肢が表示されてもよいものとする。
【００２５】
なお、図１の例では、「広告が適切である」に対応する所定の領域ＡＲ３１または「広告が不適切である」に対応する所定の領域ＡＲ３２を選択することによって、評価情報が送信される場合を示す。図１に示す例では、ユーザが「広告が不適切である」を選択した場合を示す。
【００２６】
なお、評価ページＣ２０に表示された複数の選択肢が選択されてもよい。例えば、複数の選択肢のうち「広告が不快である」と「広告が不適切である」の２つの選択肢が選択されてもよいものとする。この場合には、双方の評価情報が送信されるものとする。
【００２７】
なお、例えばコンテンツページＣ１０の所定の領域ＡＲ１２に広告ＡＤ２が表示される場合には、広告ＡＤ２に対応するアイマークＩＣ２を選択することにより、アイマークＩＣ２に対応する評価ページＣ２０を表示してもよいものとする。また、例えばコンテンツページＣ１０の所定の領域ＡＲ１３に広告ＡＤ３が表示される場合には、広告ＡＤ３に対応するアイマークＩＣ３を選択することにより、アイマークＩＣ３に対応する評価ページＣ２０を表示してもよい。
【００２８】
以下、図１を用いて、特定処理の一例を説明する。コンテンツ配信サーバ２００は、端末装置１０を利用するユーザによる操作に応じて配信情報を配信する（ステップＳ１０１）。例えば、コンテンツ配信サーバ２００は、ユーザＵ１〜Ｕ３それぞれの操作に基づいて、対応する配信情報を配信する。例えば、コンテンツ配信サーバ２００は、ユーザＵ１からの操作に基づいて、対応する配信情報を配信する。そして、例えば、ユーザＵ１〜Ｕ３は、配信された配信情報に表示されたアイマークを選択することにより評価を選択したとする。図１に示す例では、ユーザＵ１〜Ｕ３それぞれが領域ＡＲ３２を選択したとすると、端末装置１０は、コンテンツページＣ１０に対する評価情報として、「広告が不適切である」旨の評価情報を特定装置１００に送信する（ステップＳ１０２）。
【００２９】
また、特定装置１００は、評価を行ったユーザ（図１の例では、ユーザＵ１〜Ｕ３）のユーザ情報と評価情報とに基づいて、再審査の対象となる配信情報を特定する（ステップＳ１０３）。例えば、特定装置１００は、ユーザ情報に基づいて信用度を算出して、算出した信用度が所定の閾値を超えるユーザによる評価情報に基づいて、配信情報を特定する。また、特定装置１００は、再審査の結果情報に基づいて、評価を行ったユーザのユーザ情報を更新する（ステップＳ１０４）。例えば、特定装置１００は、再審査の結果情報に沿う評価を行ったユーザに対して、肯定的にユーザ情報を更新する。
【００３０】
〔２．端末装置の構成〕
次に、図２を用いて、実施形態に係る端末装置１０の構成について説明する。図２は、実施形態に係る端末装置１０の構成例を示す図である。図２に示すように、端末装置１０は、通信部１１と、入力部１２と、出力部１３と、制御部１４とを有する。
【００３１】
（通信部１１）
通信部１１は、例えば、ＮＩＣ（Network  Interface  Card）等によって実現される。そして、通信部１１は、所定のネットワークＮと有線又は無線で接続され、所定のネットワークＮを介して、特定装置１００と、コンテンツ配信サーバ２００との間で情報の送受信を行う。
【００３２】
（入力部１２）
入力部１２は、ユーザからの各種操作を受け付ける。例えば、入力部１２は、タッチパネル機能により表示面を介してユーザからの各種操作を受け付けてもよい。また、入力部１２は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【００３３】
（出力部１３）
出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。また、出力部１３は、コンテンツ配信サーバ２００から送信された配信情報に関する情報を出力する。
【００３４】
（制御部１４）
制御部１４は、例えば、コントローラ（controller）であり、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、端末装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random  Access  Memory)を作業領域として実行されることにより実現される。例えば、この各種プログラムには、端末装置１０にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、ユーザが選択した評価情報を送信するアプリケーションのプログラムが含まれる。また、制御部１４は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現される。
【００３５】
図２に示すように、制御部１４は、受信部１４１と、受付部１４２と、送信部１４３とを有し、以下に説明する情報処理の作用を実現または実行する。
【００３６】
（受信部１４１）
受信部１４１は、配信情報を受信する。例えば、受信部１４１は、コンテンツ配信サーバ２００から配信された配信情報を受信する。また、受信部１４１は、アイマークを含む配信情報を受信する。
【００３７】
（受付部１４２）
受付部１４２は、受信部１４１により受信された配信情報に対する操作を受け付ける。例えば、受付部１４２は、配信情報に含まれるアイマークに対する操作を受け付ける。また、受付部１４２は、配信情報に含まれるアイマークが選択された場合には、配信情報に対する評価に関する操作を受け付ける。
【００３８】
（送信部１４３）
送信部１４３は、受付部１４２により受け付けられた配信情報に対する評価に関する操作に基づいて、評価情報を特定装置１００に送信する。図１に示す例では、送信部１４３は、選択肢のうち「広告が不適切である」が選択されたことにより、「広告が不適切である」を示す評価情報を送信する。なお、送信部１４３は、選択肢のうち「広告が不適切である」が選択されたことにより、マイナスの評価情報を送信してもよい。
【００３９】
〔３．コンテンツ配信サーバの構成〕
次に、図３を用いて、実施形態に係るコンテンツ配信サーバ２００の構成について説明する。図３は、実施形態に係るコンテンツ配信サーバ２００の構成例を示す図である。図３に示すように、コンテンツ配信サーバ２００は、通信部２１０と、コンテンツ情報記憶部２２０と、制御部２３０とを有する。なお、コンテンツ配信サーバ２００は、コンテンツ配信サーバ２００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【００４０】
（通信部２１０）
通信部２１０は、例えば、ＮＩＣ等によって実現される。そして、通信部２１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、端末装置１０と、特定装置１００との間で情報の送受信を行う。
【００４１】
（コンテンツ情報記憶部２２０）
コンテンツ情報記憶部２２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。コンテンツ情報記憶部２２０は、端末装置１０に配信可能な配信情報を記憶する。図１に示す例では、コンテンツ情報記憶部２２０は、コンテンツページＣ１０に含まれる情報を記憶する。また、コンテンツ情報記憶部２２０は、配信情報に含まれるアイマークに対応する情報を記憶する。図１に示す例では、コンテンツ情報記憶部２２０は、コンテンツページＣ１０に対応する評価ページＣ２０に含まれる情報を記憶してもよい。例えば、コンテンツ情報記憶部２２０は、コンテンツページＣ１０に含まれるアイマークが選択された場合に表示される評価ページＣ２０に含まれる情報を記憶してもよい。
【００４２】
（制御部２３０）
制御部２３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、コンテンツ配信サーバ２００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【００４３】
図３に示すように、制御部２３０は、配信部２３１と、総合管理部２３２とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部２３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００４４】
（配信部２３１）
配信部２３１は、端末装置１０に配信情報を配信する。例えば、配信部２３１は、端末装置１０から送信された配信要求に基づいて、対応する配信情報を配信する。例えば、配信部２３１は、コンテンツ情報記憶部２２０に記憶された配信情報を配信する。なお、配信部２３１は、外部サーバから送信された配信情報を配信してもよい。
【００４５】
配信部２３１は、アイマークに関する情報を含む配信情報を配信する。例えば、配信部２３１は、アイマークが選択された場合に表示される情報を含む配信情報を配信する。図１に示す例では、配信部２３１は、評価ページＣ２０の情報を含むコンテンツページＣ１０を配信する。なお、配信部２３１は、配信情報に含まれるアイマークが選択されると、アイマークに対応する情報を配信してもよい。図１に示す例では、配信部２３１は、コンテンツページＣ１０に含まれるアイマークＩＣ１が選択されることにより、評価ページＣ２０を配信してもよい。
【００４６】
（総合管理部２３２）
総合管理部２３２は、配信部２３１により配信される配信情報を管理する。例えば、総合管理部２３２は、配信情報に対する編集などの操作に応じてコンテンツ情報記憶部２２０を更新する。例えば、総合管理部２３２は、コンテンツ配信サーバ２００を管理する管理者から受け付けられた操作や、配信情報を入稿した広告主から受け付けられた操作に応じてコンテンツ情報記憶部２２０を更新する。
【００４７】
〔４．特定装置の構成〕
次に、図４を用いて、実施形態に係る特定装置１００の構成について説明する。図４は、実施形態に係る特定装置１００の構成例を示す図である。図４に示すように、特定装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、特定装置１００は、特定装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【００４８】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、端末装置１０と、コンテンツ配信サーバ２００との間で情報の送受信を行う。
【００４９】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図４に示すように、記憶部１２０は、評価情報記憶部１２１と、ユーザ情報記憶部１２２と、指針情報記憶部１２３とを有する。
【００５０】
評価情報記憶部１２１は、配信情報に対するユーザの評価情報を記憶する。例えば。評価情報記憶部１２１は、ユーザの不快感または不正であると感じた感情を示す評価情報のみを記憶してもよい。また、評価情報記憶部１２１は、複数のユーザから送信された評価情報を蓄積する。ここで、図５に、実施形態に係る評価情報記憶部１２１の一例を示す。図５に示すように、評価情報記憶部１２１は、「評価ＩＤ」、「コンテンツ」、「評価数」、「条件＃」といった項目を有する。
【００５１】
「評価ＩＤ」は、配信情報の評価情報を識別するための識別情報を示す。「コンテンツ」は、評価情報の対象となる配信情報を示す。「コンテンツ」は、例えばコンテンツ配信サーバ２００から配信された配信情報が記憶される。なお、「コンテンツ」には、外部サーバから配信された配信情報が記憶されてもよい。なお、図５では「コンテンツ」に「ＣＴ１」といった概念的な情報が格納される例を示したが、実際には、コンテンツデータ（静止画像や動画像等）が格納される。もしくは、図５で示される「コンテンツ」には、コンテンツが所在するＵＲＬ（Uniform  Resource  Locator）、または、これらの格納場所を示すファイルパス名などが格納されてもよい。
【００５２】
「評価数」は、評価情報の評価数を示す。具体的には、「評価数」は、所定の配信情報に対して複数のユーザが行った評価の数を示す。例えば、所定のユーザが所定の配信情報に対して評価を行った場合には、＋１の評価が「評価数」に加算される。ここで、所定のユーザが所定の配信情報に対して複数回の同様な評価を行ったとしても、＋１の評価が「評価数」に加算されるとしてもよい。
【００５３】
また、ユーザの所定の配信情報に対する不快感または不正であると感じた感情を示す評価のみを「評価数」に加算してもよい。なお、ユーザの信用度に応じて異なるスコアを「評価数」に加算してもよい。例えば、信用度が所定の閾値以上であるユーザが評価を行った場合には、＋２の評価が「評価数」に加算されてもよい。
【００５４】
「条件＃」は、再審査を決定する所定の条件を示す。例えば、「条件＃」には、対応する「評価数」が所定の閾値を超えるといった条件を示す条件式が記憶される。なお、図６では「条件＃」に「条件＃１」といった概念的な情報が格納される例を示したが、実際には、条件のデータが記憶される。
【００５５】
ユーザ情報記憶部１２２は、評価を行ったユーザのユーザ情報を記憶する。例えば、ユーザ情報記憶部１２２は、ユーザが過去に行った評価に関する情報を記憶する。ここで、図６に、実施形態に係るユーザ情報記憶部１２２の一例を示す。図６に示すように、ユーザ情報記憶部１２２は、「ユーザＩＤ」、「ユーザ情報１」、「ユーザ情報２」、「ユーザ情報３」といった項目を有する。
【００５６】
「ユーザＩＤ」は、評価を行ったユーザを識別するための識別情報を示す。「ユーザ情報１」には、例えばユーザが過去に行った評価に関する結果情報が記憶される。例えば、ユーザが行った評価に基づいて配信情報の再審査が決定した場合には、再審査の結果情報が記憶される。具体的には、再審査によって配信情報が不正であると判定されたか否かといった情報が記憶される。また、「ユーザ情報１」には、再審査の結果情報に基づいて算出されるユーザの信用度が記憶されてもよい。
【００５７】
また、図６では「ユーザ情報１」に「ＵＵＵ１１」といった概念的な情報が格納される例を示したが、実際には、ユーザ情報のデータが記憶される。なお、「ユーザ情報２」は、「ユーザ情報１」とは異なるユーザ情報を示す。なお、「ユーザ情報３」は、「ユーザ情報１」乃至「ユーザ情報２」とは異なるユーザ情報を示す。
【００５８】
指針情報記憶部１２３は、配信情報を管理する管理者によって予め定められたガイドラインに関する情報を記憶する。例えば、指針情報記憶部１２３は、コンテンツ配信サーバ２００を管理する管理者がどのような内容の配信情報を好むか又は好まないかといった情報が記憶される。また、例えば、指針情報記憶部１２３は、コンテンツ配信サーバ２００を管理する管理者がユーザからのどのような回答を好む又は好まないのかといった情報が記憶されてもよい。
【００５９】
「指針ＩＤ」は、予め定められたガイドラインを識別するための識別情報を示す。「指針情報１」は、ガイドラインに関する情報を示す。例えば、「指針情報１」には、「誹謗中傷の内容を含む広告を配信しない」といった情報を示す。なお、「指針情報１」には、例えば誹謗中傷の内容を含む広告を「不適切である」と回答したユーザに関する情報を示してもよい。
【００６０】
また、図７では「指針情報１」に「ＧＧＧ１１」といった概念的な情報が格納される例を示したが、実際には、指針情報のデータが記憶される。なお、「指針情報２」は、「指針情報１」とは異なるガイドラインに関する情報を示す。なお、「指針情報３」は、「指針情報１」乃至「指針情報２」とは異なるガイドラインに関する情報を示す。
【００６１】
（制御部１３０）
制御部１３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、特定装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【００６２】
図４に示すように、制御部１３０は、取得部１３１と、決定部１３２と、算出部１３３と、特定部１３４と、更新部１３５と、除外部１３６とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００６３】
（取得部１３１）
取得部１３１は、サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する。例えば、取得部１３１は、コンテンツ配信サーバ２００から配信された配信情報に対してユーザが行った評価情報を取得する。また、取得部１３１は、配信情報に含まれるアイマークを選択することにより表示される情報に対してユーザが行った評価情報を取得する。例えば、取得部１３１は、アイマークを選択することにより表示された選択肢の中から選択をすることによって送信された評価情報を取得する。
【００６４】
取得部１３１は、配信情報に対するユーザの不快感または不正であると感じた感情を示す評価情報を取得する。例えば、取得部１３１は、「広告が不快である」や、「広告が不正である」や、「広告が不適切である」といった評価情報を取得する。例えば、取得部１３１は、ユーザが「広告が不適切である」に対応する選択をした場合に送信される評価情報を取得する。
【００６５】
取得部１３１は、配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得する。例えば、取得部１３１は、法律に違反していないか、また、予め定められたガイドラインに違反していないか等に関する審査を通過した配信情報に対する評価情報を取得する。ここで、ガイドラインとは、配信情報を管理する管理者や外部サーバにより予め定められた所定の条件であってもよい。具体的な例を挙げると、ガイドラインは、「誹謗中傷の内容を含む広告は配信しない」といった条件であってもよい。なお、ガイドラインは、例えば指針情報記憶部１２３に記憶された情報を用いてもよい。
【００６６】
取得部１３１は、取得した評価情報を評価情報記憶部１２１に格納してもよい。例えば、取得部１３１は、ユーザから評価情報が送信される度に、取得した評価情報を評価情報記憶部１２１に格納してもよい。このように、取得部１３１は、複数のユーザの評価情報を取得して、取得した評価情報を評価情報記憶部１２１に蓄積してもよい。
【００６７】
（決定部１３２）
決定部１３２は、取得部１３１により取得された評価情報が示す評価の内容と、予め定められたガイドラインとの類似度を決定する。例えば、ガイドラインが「誹謗中傷の内容を含む広告は配信しない」であるとする。この場合において、決定部１３２は、誹謗中傷の内容を含む広告に対して、「広告が不適切である」とユーザが評価した場合には、類似度を高く決定する。また、決定部１３２は、ユーザが過去に行った複数の評価に基づいて、類似度を決定する。また、決定部１３２は、決定した類似度に関する情報をユーザ情報記憶部１２２に格納してもよい。また、決定部１３２は、決定した類似度に基づいてユーザ情報の重みを決定してもよい。
【００６８】
（算出部１３３）
算出部１３３は、取得部１３１によって取得された評価情報に対するユーザの信用度を算出する。例えば、算出部１３３は、ユーザが過去に行った評価に関する情報に基づいて信用度を算出する。例えば、算出部１３３は、ユーザが過去に行った評価と、再審査の結果情報とに基づいて信用度を算出する。具体的な例を挙げると、ユーザが行った評価に基づいて再審査が決定し、対象となった配信情報が「不適切である」と判定されたとする。この場合には、算出部１３３は、再審査の結果情報に基づいて信用度を高く算出してもよい。
【００６９】
算出部１３３は、算出した信用度に関する情報をユーザ情報としてユーザ情報記憶部１２２に格納してもよい。また、算出部１３３は、ユーザ情報記憶部１２２に記憶されたユーザ情報であってユーザが評価した配信情報の再審査の結果情報に基づいて信用度を算出してもよい。
【００７０】
算出部１３３は、ユーザ毎に重み付けが異なるユーザ情報に基づいて信用度を算出してもよい。例えば、算出部１３３は、決定部１３２によって決定された類似度に基づいて信用度を算出する。具体的には、算出部１３３は、ユーザの過去の評価情報が示す評価の内容と、予め定められたガイドラインとの類似度に応じて重み付けが異なるユーザ情報に基づいて信用度を算出してもよい。具体的な例を挙げると、例えばガイドラインが「誹謗中傷の内容を含む広告は配信しない」であるとする。この場合において、ユーザが誹謗中傷の内容を含む広告に対して、「広告が不適切である」と評価した場合には、類似度が高いと決定する。この場合には、算出部１３３は、ユーザ情報の重み付けを加算して、信用度を高く算出してもよい。
【００７１】
一方で、算出部１３３は、例えばガイドラインが「誹謗中傷の内容を含む広告は配信しない」の場合において、ユーザが誹謗中傷の内容を含む広告に対して、「広告が適切である」と評価した場合には、類似度が低いと決定してもよい。この場合には、算出部１３３は、ユーザ情報の重み付けを低くして、信用度を低く算出してもよい。
【００７２】
また、算出部１３３は、例えば適切である広告を「広告が不適切である」と評価した場合には、ユーザの信用度を低く算出してもよい。具体的な例を挙げると、例えば、所定のユーザと競合関係にあるユーザ（例えば、競合他社等）が、所定のユーザの広告に対して「広告が不適切である」と評価したとする。ここで、競合関係にあるユーザとは、例えば所定のユーザが販売する商品のカテゴリを取り扱うユーザや、所定のユーザがターゲットとするユーザ層と同一のユーザ層をターゲットとするユーザ等が含まれる。例えば、所定のユーザの広告が、閲覧した多数のユーザによって肯定的な評価がされた場合には、算出部１３３は、「広告が不適切である」と評価したユーザの信用度を低く算出してもよい。また、算出部１３３は、類似事業者の配信情報の評価を下げるユーザを特定して、特定したユーザの信用度を算出してもよい。例えば、算出部１３３は、類似事業者の広告の評価を下げる競合他社等を特定して、特定した競合他社等の信用度を算出してもよい。
【００７３】
算出部１３３は、ユーザ情報と、評価情報とに基づいて評価スコアを算出してもよい。例えば、算出部１３３は、ユーザ情報に基づくスコアと、評価情報に基づくスコアとに応じて評価スコアを算出してもよい。具体的な例を挙げると、算出部１３３は、ユーザ情報と、ガイドラインとの類似度に基づいてユーザ情報に基づくスコアを算出する。また、算出部１３３は、評価情報と、ガイドラインとの類似度に基づいて評価情報に基づくスコアを算出する。そして、算出部１３３は、ユーザ情報に基づくスコアと、評価情報に基づくスコアとを加算することにより評価スコアを算出してもよい。また、算出部１３３は、ユーザ情報に基づくスコアと、評価情報に基づくスコアとを内積することにより評価スコアを算出してもよい。
【００７４】
（特定部１３４）
特定部１３４は、取得部１３１によって取得された評価情報と、ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する。例えば、特定部１３４は、取得部１３１によって取得された評価情報と、ユーザ情報とに基づいて再審査の対象となる配信情報を特定する。例えば、特定部１３４は、取得部１３１によって取得された評価情報と、算出部１３３によって算出された信用度とに基づいて配信情報を特定する。例えば、特定部１３４は、信用度が高いユーザからの評価情報の重みを加算して配信情報を特定してもよい。
【００７５】
特定部１３４は、所定の評価に関する評価情報の数が所定の条件を満たした配信情報を特定する。例えば、特定部１３４は、ユーザの不快感または不正であると感じた感情を示す評価情報の数に基づいて配信情報を特定する。例えば、特定部１３４は、「広告が不適切である」と評価された評価数が所定の閾値以上を満たした配信情報を特定する。
【００７６】
特定部１３４は、ユーザ情報が所定の条件を満たすユーザを特定し、特定したユーザによる評価情報が所定の条件を満たす配信情報を特定する。例えば、特定部１３４は、算出部１３３によって算出された信用度が高いユーザを特定し、信用度が高いユーザから送信された評価数の数が所定の条件を満たす配信情報を特定してもよい。例えば、特定部１３４は、算出部１３３によって算出された信用度が所定の閾値を超えるユーザによる評価情報が所定の条件を満たす配信情報を特定する。
【００７７】
特定部１３４は、算出部１３３によって算出された評価スコアが高いユーザから送信された評価数の数が所定の条件を満たす配信情報を特定してもよい。また、特定部１３４は、算出部１３３によって算出されたユーザ情報に基づくスコアと、算出部１３３によって算出された評価情報に基づくスコアとに応じて算出された評価スコアに基づいて配信情報を特定してもよい。
【００７８】
特定部１３４は、配信情報として、広告情報を特定する。
【００７９】
（更新部１３５）
更新部１３５は、特定部１３４による特定結果に基づいて評価を行ったユーザのユーザ情報を更新する。例えば、更新部１３５は、ユーザが行った評価に基づいて再審査が決定した場合には、ユーザ情報を更新する。また、更新部１３５は、再審査の結果情報に基づいて、ユーザ情報を更新する。例えば、更新部１３５は、再審査の結果情報が、ユーザが行った評価が意図した結果情報であった場合には、ユーザ情報を更新してもよい。具体的には、更新部１３５は、ユーザが「不適切である」と評価した配信情報が、配信情報を管理する管理者によっても「不適切である」と判断された場合には、ユーザ情報を更新する。この場合には、更新部１３５は、ユーザの信用度に関する情報をプラスに加算してもよい。また、更新部１３５は、ユーザのガイドラインとの類似度に関する情報をプラスに加算してもよい。
【００８０】
更新部１３５は、更新したユーザ情報に基づいて称号やラベルを付与してもよい。例えば、更新部１３５は、信用度、評価スコア、又は類似度が所定の閾値以上を満たしたユーザに対して、「優良ユーザ」の称号やラベルを付与してもよい。
【００８１】
（除外部１３６）
除外部１３６は、特定部１３４によって特定された配信情報を配信対象から除外する。例えば、除外部１３６は、所定の評価に関する評価情報の数が所定の条件を満たした配信情報を配信対象から除外する。
【００８２】
〔５．特定処理のフロー〕
次に、図８を用いて、実施形態に係る特定システム１による特定処理の手順について説明する。図８は、実施形態に係る特定システム１による特定処理の手順を示すフローチャートである。
【００８３】
図８に示すように、特定装置１００は、配信情報に対するユーザの評価に関する評価情報を取得する（ステップＳ２０１）。例えば、特定装置１００は、「広告は不適切である」といった評価情報を取得する。また、特定装置１００は、評価を行ったユーザのユーザ情報を取得する（ステップＳ２０２）。例えば、特定装置１００は、評価を行ったユーザが過去にどのような配信情報に対してどのような評価を行ったかに関する情報を取得する。
【００８４】
また、特定装置１００は、取得したユーザ情報に基づいて信用度を算出する（ステップＳ２０３）。また、特定装置１００は、評価情報と信用度とに基づいて再審査の対象となる配信情報を特定する（ステップＳ２０４）。また、特定装置１００は、再審査の結果情報に基づいてユーザ情報を更新する（ステップＳ２０５）。
【００８５】
（実施形態２）
〔６−１．特定処理の一例〕
次に、図９を用いて、実施形態２に係る特定処理の一例について説明する。図９は、実施形態２に係る特定処理の一例を示す図である。図９では、実施形態２に係る特定処理が特定装置１００Ａにより実行される例を示す。図９では、実施形態２に係る特定処理が、実施形態１におけるユーザ（以下、適宜「一般ユーザ」と呼ぶ）とは異なるユーザとして、広告の掲載を中止する権限を保有するユーザ（以下、適宜「特定ユーザ」と呼ぶ）による選択に基づいて再審査の対象となる配信情報を特定する例を示す。実施形態１と同様に、再審査の対象となる配信情報は、所定の審査を一度は通過した配信情報である。
【００８６】
ここで、特定ユーザとは、最高権限を保有するとみなされたユーザであってもよい。例えば、特定ユーザは、配信情報の配信を管理する管理者や管理者の従業員（例えば、広告営業に関わる従業員など）である。例えば、特定ユーザは、入稿された配信情報の審査に関わる審査員である。また、特定ユーザは、配信情報の審査に関わる審査部によって妥当と判断された従業員である。実施形態２では、特定システム１は、このような特定ユーザに対して実施形態１とは異なる配信情報を配信する。
【００８７】
なお、実施形態１では、特定装置１００は、複数の一般ユーザからの評価情報を取得して配信情報を特定するため、複数の一般ユーザと複数の端末装置１０とを図１に示した。一方、実施形態２では、特定装置１００Ａは、所定の特定ユーザからの評価情報として、掲載中止情報を取得して配信情報を特定してもよいため、所定の特定ユーザと１台の権限者端末２０とを図９に示したが、複数の特定ユーザからの評価情報を取得して配信情報を特定してもよいものとする。
【００８８】
図９に示すように、特定システム１には、権限者端末２０と、特定装置１００Ａと、コンテンツ配信サーバ２００とが含まれる。権限者端末２０と、特定装置１００Ａと、コンテンツ配信サーバ２００とは図示しない所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図９に示す特定システム１には、複数台の権限者端末２０や、複数台の特定装置１００Ａや、複数台のコンテンツ配信サーバ２００が含まれてもよい。
【００８９】
なお、図９では、特定装置１００Ａとコンテンツ配信サーバ２００とは、別装置である場合を示したが、特定装置１００Ａとコンテンツ配信サーバ２００とが一体であってもよい。また、特定装置１００Ａとコンテンツ配信サーバ２００は、それぞれ同一とみなされる管理者によって管理されていてもよい。
【００９０】
権限者端末２０は、端末装置１０を利用する一般のユーザとは異なり、広告の掲載を中止する権限を有する特定ユーザによって利用される情報処理装置である。権限者端末２０は、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。図９に示す例においては、権限者端末２０がデスクトップＰＣである場合を示す。
【００９１】
特定装置１００Ａは、例えば、ＰＣ、ＷＳ等の情報処理装置であり、端末装置１０又は権限者端末２０からネットワークＮを介して送信されてきた情報に基づいて再審査の対象となる配信情報を特定する。
【００９２】
コンテンツ配信サーバ２００は、実施形態１と同様の情報処理装置である。
【００９３】
以下では、特定ユーザＩＤ「Ｓ１」により識別される特定ユーザを「特定ユーザＳ１」とする場合がある。このように、以下では、「特定ユーザＳ＊（＊は任意の数値）」と記載した場合、その特定ユーザは特定ユーザＩＤ「Ｓ＊」により識別される特定ユーザであることを示す。例えば、「特定ユーザＳ２」と記載した場合、その特定ユーザは特定ユーザＩＤ「Ｓ２」により識別される特定ユーザである。
【００９４】
図９の例では、コンテンツページＣ３０が配信される場合を示す。なお、コンテンツページＣ３０は、実施形態に係る配信情報の一例である。実施形態１とは異なり、アイマークが表示される代わりに広告情報には、広告の掲載を中止する掲載中止ＢＴ１が表示される。ここで、掲載中止ＢＴ１は、特定ユーザによる選択（クリックやタップなど）によって、広告の掲載の中止の申請（又は、広告の再審査の申請）を可能とする情報である。例えば、掲載中止ＢＴ１は、選択されることによって、広告の掲載の即時中止を可能とする情報であってもよい。なお、図９では掲載中止ＢＴ１がボタンとして表示される場合を一例とするが、どのような情報として表示されてもよい。また、掲載中止ＢＴ１は、アイマークを選択することにより表示される評価ページ（例えば、実施形態１における評価ページＣ２０）に表示される情報であってもよい。
【００９５】
なお、図９の例では、アイマークが表示されない場合を示しているが、実施形態１におけるアイマークＩＣ１が広告情報に表示されてもよいものとする。この場合、アイマークＩＣ１を選択することによって、広告情報の評価を行う評価ページが表示される。
【００９６】
掲載中止ＢＴ１は、選択されることによって、掲載中止とするべき理由を選択させる掲載中止理由ページを表示させる情報であってもよい。図９の例では、掲載中止ＢＴ１が選択されることによって、掲載中止理由ページＣ４０が表示される。掲載中止理由ページＣ４０は、広告の掲載を中止とするべき理由（例えば、広告が差別的、中傷的な表現を含むなど）を、掲載中止ＢＴ１を選択した特定ユーザによる選択に応じて理由を確定させるためのコンテンツである。なお、掲載中止理由ページは、複数の掲載中止とするべき理由を特定ユーザが選択できるコンテンツであってもよい。
【００９７】
以下、図９を用いて、実施形態２に係る特定処理の一例を説明する。コンテンツ配信サーバ２００は、権限者端末２０を利用する特定ユーザによる操作に応じて配信情報を配信する（ステップＳ３０１）。また、コンテンツ配信サーバ２００は、実施形態１とは異なり、特定ユーザに応じた配信情報を配信する。例えば、コンテンツ配信サーバ２００は、権限者端末２０から送信された配信情報の配信要求に基づいて、配信要求を行ったユーザが特定ユーザであるか否かを判定して、特定ユーザである場合には、特定ユーザに応じた配信情報を配信してもよい。図９に示す例では、コンテンツ配信サーバ２００は、配信要求を行ったユーザが特定ユーザであるため、掲載中止ＢＴ１を含む配信情報を配信する。一方、図１に示す例では、コンテンツ配信サーバ２００は、配信要求を行ったユーザが一般ユーザであるため、掲載中止ＢＴ１を含まない配信情報を配信する。
【００９８】
ここで、特定ユーザＳ１は、配信情報に表示された掲載中止ＢＴ１を選択して、掲載中止理由ページＣ４０から広告の掲載を中止とするべき理由を選択したとする。この場合、権限者端末２０は、掲載中止に関する掲載中止情報を特定装置１００Ａに送信する（ステップＳ３０２）。なお、掲載中止情報には、例えば、広告の掲載の中止が申請された旨の情報や、選択された広告の掲載を中止とするべき理由とが含まれる。
【００９９】
特定装置１００Ａは、送信された掲載中止情報に応じて配信情報を特定する（ステップＳ３０３）。そして、特定装置１００Ａは、決定情報として、掲載を中止とする旨の情報をコンテンツ配信サーバ２００に送信する（ステップＳ３０４）。この場合、コンテンツ配信サーバ２００は、掲載の中止が決定された広告を掲載の中止を示す掲載中止ステータスに変更してもよい。なお、コンテンツ配信サーバ２００は、掲載の中止が決定された配信情報の再審査後に、再審査の結果に関する結果情報を、掲載中止情報を送信した特定ユーザＳ１や、広告を入稿した広告主に通知してもよい。
【０１００】
ここで、特定装置１００Ａは、掲載中止情報に応じて特定された配信情報を、記憶部に格納してもよい。このように、特定装置１００Ａは、所定の特定ユーザの選択に応じて特定された配信情報を、記憶部に格納することによって、他の特定ユーザがその特定された配信情報を確認できるようにしてもよい。例えば、特定装置１００Ａは、誰がどの広告をどういう理由で掲載中止としているかを、特定ユーザ全員がリアルタイムで確認できるようにしてもよい。具体的な例を挙げると、特定装置１００Ａは、特定ユーザＳ１がコンテンツページＣ３０の広告情報に含まれる掲載中止ＢＴ１を選択し、掲載中止理由ページＣ４０において「広告が他人を誤解させる表現を含む」を選択したといった情報を、他の特定ユーザ（例えば、特定ユーザＳ２、Ｓ３など）が確認できるようにしてもよい。
【０１０１】
〔６−２．権限の剥奪〕
特定装置１００Ａは、一般ユーザが保有する広告の評価申告を行う権限を剥奪してもよい。また、特定装置１００Ａは、特定ユーザが保有する広告の再審査申請を行う権限を剥奪してもよい。また、特定装置１００Ａは、特定ユーザが保有する広告の掲載を中止する権限を剥奪してもよい。
【０１０２】
例えば、特定装置１００Ａは、一般ユーザ又は特定ユーザの各々が保有する権限を用いた実績に基づいて権限を剥奪するユーザを特定してもよい。例えば、特定装置１００Ａは、一般ユーザが行った評価申告（例えば、「広告が不適切である」といった申告）やその理由が妥当であったか否かを記憶部に蓄積する。例えば、特定装置１００Ａは、特定ユーザが行った再審査申請の申告やその理由が妥当であったか否かを記憶部に蓄積する。例えば、特定装置１００Ａは、特定ユーザが行った掲載中止の申告やその理由が妥当であったか否かを記憶部に蓄積する。ここで、申告が妥当であったか否かの判定は、例えば配信情報を管理する管理者によって決定されて、申告が妥当であったと判定された場合には、配信情報の配信が中止される。
【０１０３】
また、特定装置１００Ａは、妥当であったか否かの判定に基づいて正解率を示すスコアを算出してもよい。例えば、特定装置１００Ａは、申告が妥当であった比率が高いほど、スコアを高く算出する。そして、特定装置１００Ａは、スコアが所定の閾値未満になった一般ユーザ又は特定ユーザの権限を剥奪してもよい。すなわち、特定装置１００Ａは、正解率が低い一般ユーザ又は特定ユーザの権限を剥奪してもよい。例えば、特定装置１００Ａは、一般ユーザ又は特定ユーザが行った初回の申告から１０回目の申告までのスコア（例えば、スコアの平均）を算出して、権限を剥奪するか否かを決定してもよい。また、例えば、特定装置１００Ａは、一般ユーザ又は特定ユーザが行った直近１０回の申告のスコアを算出して、権限を剥奪するか否かを決定してもよい。また、例えば、特定装置１００Ａは、初回の申告から１０回目の申告までの正解率が所定の閾値未満（例えば、５０％未満など）のユーザを特定して権限を剥奪してもよい。また、例えば、特定装置１００Ａは、月毎に正解率やスコアを算出してユーザを特定してもよい。また、例えば、特定装置１００Ａは、権限の剥奪を管理する管理者（例えば、剥奪の管理を担当する担当者）による操作に応じて、一般ユーザ又は特定ユーザから権限を剥奪してもよい。また、特定装置１００Ａは、信用度に応じて、一般ユーザ又は特定ユーザから権限を剥奪してもよい。そして、特定装置１００Ａは、一般ユーザ又は特定ユーザから権限を剥奪した場合には、ユーザ情報を更新する。
【０１０４】
〔６−３．コンテンツ配信サーバ：配信部〕
配信部２３１は、配信要求を行ったユーザが特定ユーザである場合には、対応した配信情報を権限者端末２０に配信する。例えば、配信部２３１は、図９に示す掲載中止ＢＴ１といった情報を含む配信情報を配信してもよい。このように、配信部２３１は、配信要求を行ったユーザが一般ユーザであるか特定ユーザであるかに応じて配信情報の出し分けを行ってもよい。なお、配信部２３１は、配信要求を行ったユーザが特定ユーザであるか否かを、例えば特定ユーザとして予め登録された登録情報（例えば、特定ユーザの一覧データなど）に基づいて判定してもよい。
【０１０５】
〔６−４．特定装置の構成〕
次に、図１０を用いて、実施形態２に係る特定装置１００Ａの構成について説明する。図１０は、実施形態２に係る特定装置１００Ａの構成例を示す図である。図１０に示すように、特定装置１００Ａは、通信部１１０と、記憶部１２０Ａと、制御部１３０Ａとを有してもよい。なお、以下では、実施形態１と異なる処理を行う構成のみ記載する。
【０１０６】
（記憶部１２０Ａ）
記憶部１２０Ａは、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図１０に示すように、記憶部１２０Ａは、評価情報記憶部１２１と、ユーザ情報記憶部１２２Ａと、指針情報記憶部１２３とを有する。
【０１０７】
ユーザ情報記憶部１２２Ａは、ユーザに対して予め設定された権限に関する権限情報を含むユーザ情報を記憶する。ここで、図１１に、実施形態２に係るユーザ情報記憶部１２２Ａの一例を示す。図１１に示すように、ユーザ情報記憶部１２２Ａは、「ユーザＩＤ」、「権限」、「ユーザ情報１」、「ユーザ情報２」、「ユーザ情報３」といった項目を有する。
【０１０８】
「ユーザＩＤ」は、評価を行った一般ユーザ又は特定ユーザを識別するための識別情報を示す。「権限」は、ユーザに対して予め設定された権限に関する権限情報を示す。図１１では「権限」に「権限Ｉ」や「権限ＩＩ」といった概念的な情報が格納される例を示したが、実際には具体的な権限情報が記憶されてもよい。また、例えば、権限Ｉは特定ユーザを示し、権限ＩＩは一般ユーザを示すといった識別情報として、「権限」に「権限Ｉ」や「権限ＩＩ」といった情報が記憶されてもよい。なお、「ユーザ情報１」等には実施形態１で記載された情報と同様のユーザ情報が記憶される。
【０１０９】
（制御部１３０Ａ）
制御部１３０Ａは、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、特定装置１００Ａ内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０Ａは、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【０１１０】
図１０に示すように、制御部１３０Ａは、取得部１３１と、決定部１３２と、算出部１３３と、特定部１３４Ａと、更新部１３５Ａと、除外部１３６とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０Ａの内部構成は、図１０に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【０１１１】
（特定部１３４Ａ）
特定部１３４Ａは、ユーザに対して予め設定された権限に応じた所定の条件に基づいて再審査の対象となる配信情報を特定する。例えば、特定部１３４Ａは、予め設定された権限が「権限Ｉ（特定ユーザ）」である場合、広告情報に対する特定ユーザの操作（例えば、掲載中止ＢＴ１の選択）に応じて、配信情報の再審査を決定する。このように、特定部１３４Ａは、配信情報の再審査に関する所定の権限を有した特定ユーザからの評価情報に基づいて、配信情報の再審査を決定してもよい。また、特定部１３４Ａは、特定ユーザが掲載中止とすべき旨の情報とその理由とを送信した場合には、評価情報として、掲載中止に関する掲載中止情報に基づいて配信情報の再審査を決定してもよい。また、例えば、特定部１３４Ａは、予め設定された権限が「権限ＩＩ（一般ユーザ）」である場合、広告情報に対する一般ユーザの操作（例えば、評価情報の選択）やユーザ情報（例えば、ユーザの信用度）に応じて、配信情報の再審査を決定する。
【０１１２】
（更新部１３５Ａ）
更新部１３５Ａは、特定部１３４Ａによって特定された配信情報の再審査の結果情報に基づいて、評価を行ったユーザのユーザ情報を更新する。例えば、更新部１３５Ａは、ユーザが評価した配信情報の再審査の結果情報（例えば、直近過去１０回の正解率）に基づいて算出された算出情報が所定の閾値未満（例えば、正答率５０％未満）である場合、一般ユーザが有する権限（図１１の例では、「権限ＩＩ」）が剥奪されるようにユーザ情報を更新してもよい。また、例えば、更新部１３５Ａは、特定ユーザが評価した配信情報の再審査の結果情報（例えば、初回から１０回目までの正解率）に基づいて算出された算出情報が所定の閾値未満である場合、特定ユーザが有する権限（図１１の例では、「権限Ｉ」）が剥奪されるようにユーザ情報を更新してもよい。例えば、更新部１３５Ａは、配信情報に対する評価を行った特定ユーザとは異なる他の特定ユーザからの操作に応じた時点における特定ユーザの再審査の結果情報に基づく算出情報が所定の閾値未満である場合、特定ユーザが有する権限が剥奪されるようにユーザ情報を更新してもよい。なお、更新部１３５Ａは、特定ユーザから権限を剥奪した場合には、剥奪後は一般ユーザとしてユーザ情報を更新してもよい。この場合、更新部１３５Ａは、権限が剥奪された特定ユーザに対して、一般ユーザが有する権限（図１１の例では、「権限ＩＩ」）を付与してもよいし、付与しなくてもよい。
【０１１３】
〔６−５．特定処理のフロー〕
次に、図１２を用いて、実施形態２に係る特定システム１Ａによる特定処理の手順について説明する。図１２は、実施形態２に係る特定システム１Ａによる特定処理の手順を示すフローチャートである。
【０１１４】
図１２に示すように、特定装置１００Ａは、配信情報に対する一般ユーザ又は特定ユーザの評価に関する評価情報を取得する（ステップＳ４０１）。ここで、一般ユーザからの評価情報を取得した場合、実施形態１の特定処理の手順と同様である。このため、図１２では、特定装置１００Ａが特定ユーザの評価情報を取得した場合の特定処理の手順について説明する。
【０１１５】
特定装置１００Ａは、取得した特定ユーザからの評価情報に応じて、配信情報の再審査を決定する（ステップＳ４０２）。特定装置１００Ａは、再審査の結果情報に基づいて特定ユーザの権限を剥奪するか否かを判定する（ステップＳ４０３）。特定装置１００Ａは、特定ユーザの権限を剥奪しない場合（ステップＳ４０３；Ｎｏ）、特定処理を終了する。特定装置１００Ａは、特定ユーザの権限を剥奪する場合（ステップＳ４０３；Ｙｅｓ）、評価を行った特定ユーザのユーザ情報を更新する（ステップＳ４０４）。
【０１１６】
〔７．効果〕
上述してきたように、実施形態に係る特定装置１００は、取得部１３１と、特定部１３４を有する。取得部１３１は、サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する。特定部１３４は、取得部１３１によって取得された評価情報と、ユーザに関する情報を示すユーザ情報とが所定の条件を満たす配信情報を特定する。
【０１１７】
これにより、実施形態に係る特定装置１００は、対象となる配信情報を効果的に特定することができる。
【０１１８】
また、取得部１３１は、配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得する。また、特定部１３４は、評価情報とユーザ情報とに基づいて、配信情報のうち再審査の対象となる配信情報を特定する。
【０１１９】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１２０】
また、実施形態に係る特定装置１００は、除外部１３６を有する。除外部１３６は、特定部１３４により特定された配信情報を配信対象から除外する。
【０１２１】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報の配信を効果的に停止することができる。
【０１２２】
また、特定部１３４は、所定の評価に関する評価情報の数が所定の条件を満たした配信情報を特定する。
【０１２３】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１２４】
また、特定部１３４は、ユーザ情報が所定の条件を満たすユーザを特定し、特定したユーザによる評価を示す評価情報が所定の条件を満たす配信情報を特定する。
【０１２５】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報の配信を効果的に特定することができる。
【０１２６】
また、実施形態に係る特定装置１００は、算出部１３３を有する。算出部１３３は、ユーザ情報に基づいて、評価情報に対するユーザの信用度を算出する。また、特定部１３４は、算出部１３３によって算出された信用度に基づいて配信情報を特定する。
【０１２７】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１２８】
また、特定部１３４は、算出部１３３によって算出された信用度が所定の閾値を超えるユーザによる評価を示す評価情報が所定の条件を満たす配信情報を特定する。
【０１２９】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１３０】
また、算出部１３３は、ユーザ情報のうちユーザが評価した配信情報の再審査の結果履歴に基づいて、信用度を算出する。
【０１３１】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１３２】
また、実施形態に係る特定装置１００は、決定部１３２を有する。決定部１３２は、評価情報が示す評価の内容と、サイトを管理する管理者によって予め設定された所定のガイドラインとの類似度を決定する。また、算出部１３３は、決定部１３２による決定結果に応じて重み付けが異なるユーザ情報に基づいて、信用度を算出する。
【０１３３】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１３４】
また、実施形態に係る特定装置１００は、更新部１３５を有する。更新部１３５は、特定部１３４による特定結果に基づいて、評価を行ったユーザのユーザ情報を更新する。
【０１３５】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１３６】
また、特定部１３４は、評価情報のうち、ユーザの不快感または不正であると感じる感情に関する評価情報に基づいて、配信情報を特定する。
【０１３７】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１３８】
また、特定部１３４は、配信情報ごとに、ユーザ情報に基づくスコアと評価情報に基づくスコアとに応じて算出された評価スコアが所定の条件を満たす配信情報を特定する。
【０１３９】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１４０】
また、特定部１３４は、ユーザに対して予め設定された権限に応じた所定の条件に基づいて再審査の対象となる配信情報を特定する。
【０１４１】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１４２】
また、実施形態に係る特定装置１００は、更新部１３５を有する。更新部１３５は、ユーザが評価した配信情報の再審査の結果が所定の条件を満たす場合は、権限を剥奪する。
【０１４３】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１４４】
また、更新部１３５は、配信情報に対する評価を行ったユーザとは異なる他のユーザからの操作に応じた再審査の結果が所定の条件を満たす場合は、ユーザの権限を剥奪する。
【０１４５】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１４６】
また、特定部１３４は、ユーザに対して予め設定された権限が所定の条件を満たす場合は、ユーザが評価した配信情報を再審査対象とする。
【０１４７】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１４８】
また、特定部１３４は、評価情報として掲載中止情報が取得された場合は、再審査する。
【０１４９】
これにより、実施形態に係る特定装置１００は、再審査の対象となる配信情報を効果的に特定することができる。
【０１５０】
〔８．ハードウェア構成〕
また、上述してきた実施形態に係る端末装置１０、特定装置１００およびコンテンツ配信サーバ２００は、例えば、図１３に示すような構成のコンピュータ１０００によって実現される。図１３は、端末装置１０、特定装置１００およびコンテンツ配信サーバ２００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【０１５１】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【０１５２】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
【０１５３】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【０１５４】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【０１５５】
例えば、コンピュータ１０００が実施形態に係る端末装置１０、特定装置１００およびコンテンツ配信サーバ２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１４、１３０および２３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【０１５６】
〔９．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【０１５７】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【０１５８】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【０１５９】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０１６０】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【０１６１】
１  特定システム
１０  端末装置
１１  通信部
１２  入力部
１３  出力部
１４  制御部
２０  権限者端末
１００  特定装置
１１０  通信部
１２０  記憶部
１２１  評価情報記憶部
１２２  ユーザ情報記憶部
１２３  指針情報記憶部
１３０  制御部
１３１  取得部
１３２  決定部
１３３  算出部
１３４  特定部
１３５  更新部
１３６  除外部
１４１  受信部
１４２  受付部
１４３  送信部
２００  コンテンツ配信サーバ
２１０  通信部
２２０  コンテンツ情報記憶部
２３０  制御部
２３１  配信部
２３２  総合管理部
【図１】
2020119387.tif 000003
【図２】
2020119387.tif 000004
【図３】
2020119387.tif 000005
【図４】
2020119387.tif 000006
【図５】
2020119387.tif 000007
【図６】
2020119387.tif 000008
【図７】
2020119387.tif 000009
【図８】
2020119387.tif 000010
【図９】
2020119387.tif 000011
【図１０】
2020119387.tif 000012
【図１１】
2020119387.tif 000013
【図１２】
2020119387.tif 000014
【図１３】
2020119387.tif 000015
【手続補正書】
【提出日】令和1年7月22日(2019.7.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得部と、
前記取得部によって取得された評価情報の評価が否定的であるほど値が高くなる評価スコアであって、前記ユーザの信用が高いほど値が高くなる評価スコアの値が所定の閾値以上を満たす配信情報を特定する特定部と、
を備えたことを特徴とする特定装置。
【請求項２】
前記取得部は、
配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得し、
前記特定部は、
前記評価スコアの値が所定の閾値以上を満たす配信情報を、再審査の対象となる配信情報として特定する
ことを特徴とする請求項１に記載の特定装置。
【請求項３】
前記特定部により特定された配信情報を配信対象から除外する除外部を
更に有することを特徴とする請求項１又は請求項２に記載の特定装置。
【請求項４】
前記特定部は、
前記取得部によって取得された評価情報のうち否定的な評価の評価数が所定の閾値以上を満たす配信情報を特定する
ことを特徴とする請求項１〜３のいずれか一つに記載の特定装置。
【請求項５】
前記特定部は、
前記評価スコアの値が所定の閾値以上を満たす配信情報に対する否定的な評価の評価数が所定の閾値以上を満たす配信情報を特定する
ことを特徴とする請求項１〜４のいずれか一つに記載の特定装置。
【請求項６】
再審査の対象として特定された配信情報が配信対象から除外されたか否かの結果が肯定的であるほど値が高くなる前記ユーザの信用の度合を示す信用度を算出する算出部を更に備え、
前記特定部は、
前記算出部によって算出された信用度が所定の閾値以上を満たす前記ユーザによる前記評価スコアの値が所定の閾値以上を満たす配信情報を特定する
ことを特徴とする請求項１〜５のいずれか一つに記載の特定装置。
【請求項７】
前記算出部は、
再審査の対象として特定された配信情報が配信対象から除外されたか否かの結果の履歴が肯定的であるほど値が高くなる前記ユーザの信用度を算出する
ことを特徴とする請求項６に記載の特定装置。
【請求項８】
前記評価情報が示す評価の内容と、前記サイトを管理する管理者によって予め設定された所定のガイドラインとのマッチングの度合を示す類似度を決定する決定部を更に備え、
前記算出部は、
前記決定部により決定された類似度が高いほど値が高くなる前記ユーザの信用度を算出する
ことを特徴とする請求項６又は請求項７に記載の特定装置。
【請求項９】
前記特定部により特定された配信情報に対して否定的な評価を行った前記ユーザの信用が高くなるように前記ユーザの信用に関するユーザ情報を更新する更新部を
更に備えたことを特徴とする請求項１〜８のいずれか一つに記載の特定装置。
【請求項１０】
前記特定部は、
前記評価情報のうち、前記ユーザの不快感または不正であると感じる感情に関する評価情報に基づいて、前記配信情報を特定する
ことを特徴とする請求項１〜９のいずれか一つに記載の特定装置。
【請求項１１】
前記配信情報とは、広告情報である
ことを特徴とする請求項１〜１０のいずれか一つに記載の特定装置。
【請求項１２】
前記特定部は、
前記ユーザに対して予め設定された権限に応じて、再審査に関する所定の権限を有する特定ユーザにより否定的な評価がされた配信情報を、当該再審査の対象となる配信情報として特定する
ことを特徴とする請求項１〜１１のいずれか一つに記載の特定装置。
【請求項１３】
前記特定部は、
前記特定ユーザにより掲載の中止を示す評価がされた配信情報の配信を中止する
ことを特徴とする請求項１２に記載の特定装置。
【請求項１４】
前記特定部は、
前記取得部によって、前記評価情報として掲載の中止を示す掲載中止情報が取得された場合、掲載の中止を示す評価がされた配信情報を、再審査の対象となる配信情報として特定する
ことを特徴とする請求項１２又は請求項１３に記載の特定装置。
【請求項１５】
前記特定ユーザが評価した配信情報の再審査の結果、当該配信情報が配信対象から除外されない場合、前記特定ユーザから前記所定の権限を剥奪する更新部と、
を更に備えたことを特徴とする請求項１２〜１４のいずれか一つに記載の特定装置。
【請求項１６】
前記更新部は、
前記特定ユーザでないユーザである一般ユーザが評価した配信情報の再審査の結果、当該配信情報が配信対象から除外されない場合、当該一般ユーザから当該一般ユーザの再審査に関する権限を剥奪する、
ことを特徴とする請求項１５に記載の特定装置。
【請求項１７】
コンピュータにより実行される特定方法であって、
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得工程と、
前記取得工程によって取得された評価情報の評価が否定的であるほど値が高くなる評価スコアであって、前記ユーザの信用が高いほど値が高くなる評価スコアの値が所定の閾値以上を満たす配信情報を特定する特定工程と、
を含んだことを特徴とする特定方法。
【請求項１８】
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得手順と、
前記取得手順によって取得された評価情報の評価が否定的であるほど値が高くなる評価スコアであって、前記ユーザの信用が高いほど値が高くなる評価スコアの値が所定の閾値以上を満たす配信情報を特定する特定手順と、
をコンピュータに実行させることを特徴とする特定プログラム。
【手続補正書】
【提出日】令和1年12月19日(2019.12.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得部と、
前記取得部によって取得された評価情報の評価と予め定められたガイドラインとのマッチング度合を示す類似度に基づくスコアと、前記ユーザが行った他の配信情報に対する過去の評価と当該他の配信情報の再審査の結果情報とに基づいて算出される当該ユーザの信用度に応じたスコアとに基づいて算出される評価スコアの値が所定の閾値以上を満たす配信情報を特定する特定部と、
を備えたことを特徴とする特定装置。
【請求項２】
前記取得部は、
配信前に所定の審査が行われた配信情報に対する評価に関する評価情報を取得し、
前記特定部は、
前記評価スコアの値が所定の閾値以上を満たす配信情報を、再審査の対象となる配信情報として特定する
ことを特徴とする請求項１に記載の特定装置。
【請求項３】
前記特定部により特定された配信情報を配信対象から除外する除外部を
更に有することを特徴とする請求項１又は請求項２に記載の特定装置。
【請求項４】
前記特定部は、
前記取得部によって取得された評価情報のうち否定的な評価の評価数が所定の閾値以上を満たす配信情報を特定する
ことを特徴とする請求項１〜３のいずれか一つに記載の特定装置。
【請求項５】
前記特定部は、
前記評価スコアの値が所定の閾値以上を満たす配信情報に対する否定的な評価の評価数が所定の閾値以上を満たす配信情報を特定する
ことを特徴とする請求項１〜４のいずれか一つに記載の特定装置。
【請求項６】
前記特定部により特定された配信情報に対して否定的な評価を行った前記ユーザの信用が高くなるように前記ユーザの信用に関するユーザ情報を更新する更新部を
更に備えたことを特徴とする請求項１〜５のいずれか一つに記載の特定装置。
【請求項７】
前記特定部は、
前記評価情報のうち、前記ユーザの不快感または不正であると感じる感情に関する評価情報に基づいて、前記配信情報を特定する
ことを特徴とする請求項１〜６のいずれか一つに記載の特定装置。
【請求項８】
前記配信情報とは、広告情報である
ことを特徴とする請求項１〜７のいずれか一つに記載の特定装置。
【請求項９】
前記特定部は、
前記ユーザに対して予め設定された権限に応じて、再審査に関する所定の権限を有する特定ユーザにより否定的な評価がされた配信情報を、当該再審査の対象となる配信情報として特定する
ことを特徴とする請求項１〜８のいずれか一つに記載の特定装置。
【請求項１０】
前記特定部は、
前記特定ユーザにより掲載の中止を示す評価がされた配信情報の配信を中止する
ことを特徴とする請求項９に記載の特定装置。
【請求項１１】
前記特定部は、
前記取得部によって、前記評価情報として掲載の中止を示す掲載中止情報が取得された場合、掲載の中止を示す評価がされた配信情報を、再審査の対象となる配信情報として特定する
ことを特徴とする請求項９又は請求項１０に記載の特定装置。
【請求項１２】
前記特定ユーザが評価した配信情報の再審査の結果、当該配信情報が配信対象から除外されない場合、前記特定ユーザから前記所定の権限を剥奪する更新部と、
を更に備えたことを特徴とする請求項９〜１１のいずれか一つに記載の特定装置。
【請求項１３】
前記更新部は、
前記特定ユーザでないユーザである一般ユーザが評価した配信情報の再審査の結果、当該配信情報が配信対象から除外されない場合、当該一般ユーザから当該一般ユーザの再審査に関する権限を剥奪する、
ことを特徴とする請求項１２に記載の特定装置。
【請求項１４】
コンピュータにより実行される特定方法であって、
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得工程と、
前記取得工程によって取得された評価情報の評価と予め定められたガイドラインとのマッチング度合を示す類似度に基づくスコアと、前記ユーザが行った他の配信情報に対する過去の評価と当該他の配信情報の再審査の結果情報とに基づいて算出される当該ユーザの信用度に応じたスコアとに基づいて算出される評価スコアの値が所定の閾値以上を満たす配信情報を特定する特定工程と、
を含んだことを特徴とする特定方法。
【請求項１５】
サイト上で配信された配信情報に対する配信先のユーザからの評価に関する評価情報を取得する取得手順と、
前記取得手順によって取得された評価情報の評価と予め定められたガイドラインとのマッチング度合を示す類似度に基づくスコアと、前記ユーザが行った他の配信情報に対する過去の評価と当該他の配信情報の再審査の結果情報とに基づいて算出される当該ユーザの信用度に応じたスコアとに基づいて算出される評価スコアの値が所定の閾値以上を満たす配信情報を特定する特定手順と、
をコンピュータに実行させることを特徴とする特定プログラム。