(57)【要約】【課題】情報整理結果を評価すること。【解決手段】評価装置１００は、複数の情報整理結果１１０を記憶する。評価装置１００は、複数の参照情報１１０それぞれについて、複数の情報整理結果１１０のうち当該参照情報を含む情報整理結果それぞれにおける当該参照情報の配置に基づき算出した当該参照情報のスコアを、スコア情報に蓄積する。評価装置１００は、スコア情報を参照して、特定の情報整理結果に含まれる複数の参照情報のそれぞれの参照情報のスコアと、特定の情報整理結果におけるそれぞれの参照情報の配置とに基づいて、特定の情報整理結果に対する評価情報を作成する。【選択図】図１
2018073294.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
複数の情報整理結果より、前記複数の情報整理結果の少なくともいずれかに含まれる複数の参照情報それぞれについて、前記複数の情報整理結果における配置に基づき算出したスコアをスコア情報に蓄積し、
前記スコア情報を参照して、特定の情報整理結果に含まれる複数の参照情報それぞれのスコアと、前記特定の情報整理結果における前記それぞれの参照情報の配置とに基づいて、前記特定の情報整理結果に対する評価情報を作成する、
処理を実行させることを特徴とする評価プログラム。
【請求項２】
前記蓄積する処理は、
第１の参照情報を含む情報整理結果それぞれにおける前記第１の参照情報の配置と、前記第１の参照情報に類似する第２の参照情報を含む情報整理結果それぞれにおける前記第２の参照情報の配置とに基づいて、前記第１の参照情報のスコアを算出する、ことを特徴とする請求項１に記載の評価プログラム。
【請求項３】
前記蓄積する処理は、
前記第２の参照情報のスコアを前記第１の参照情報のスコアと同一として算出する、ことを特徴とする請求項２に記載の評価プログラム。
【請求項４】
前記蓄積する処理は、
第３の参照情報を含む情報整理結果それぞれにおける参照情報の総数に対する前記第３の参照情報の順番を示す値の比率に基づいて、前記第３の参照情報のスコアを算出する、ことを特徴とする請求項１〜３のいずれか一つに記載の評価プログラム。
【請求項５】
前記作成する処理は、
前記特定の情報整理結果に含まれる参照情報について算出したスコアと、当該参照情報の直前または直後に順序付けた参照情報について算出したスコアとの差分値を算出し、算出した前記差分値と閾値とを比較した結果に基づいて、前記特定の情報整理結果に対する評価情報を作成する、ことを特徴とする請求項１〜４のいずれか一つに記載の評価プログラム。
【請求項６】
前記作成する処理は、
前記特定の情報整理結果に含まれる参照情報について算出したスコアと、前記特定の情報整理結果の先頭または末尾に対応する基準値との差分値を算出し、算出した前記差分値と閾値とを比較した結果に基づいて、前記特定の情報整理結果に対する評価情報を作成する、ことを特徴とする請求項１〜５のいずれか一つに記載の評価プログラム。
【請求項７】
コンピュータが、
複数の情報整理結果より、前記複数の情報整理結果の少なくともいずれかに含まれる複数の参照情報それぞれについて、前記複数の情報整理結果における配置に基づき算出したスコアをスコア情報に蓄積し、
前記スコア情報を参照して、特定の情報整理結果に含まれる複数の参照情報それぞれのスコアと、前記特定の情報整理結果における前記それぞれの参照情報の配置とに基づいて、前記特定の情報整理結果に対する評価情報を作成する、
処理を実行することを特徴とする評価方法。
【請求項８】
複数の情報整理結果より、前記複数の情報整理結果の少なくともいずれかに含まれる複数の参照情報それぞれについて、前記複数の情報整理結果における配置に基づき算出したスコアをスコア情報に蓄積し、
前記スコア情報を参照して、特定の情報整理結果に含まれる複数の参照情報それぞれのスコアと、前記特定の情報整理結果における前記それぞれの参照情報の配置とに基づいて、前記特定の情報整理結果に対する評価情報を作成する、
制御部を有することを特徴とする評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価プログラム、評価方法、および評価装置に関する。
【背景技術】
【０００２】
従来、何らかのテーマに基づいてインターネットでアクセス可能な種々の１次コンテンツを収集して纏めた２次コンテンツを作成するキュレーションと呼ばれる行為がある。例えば、何らかのテーマに関する学習行為としてキュレーションが行われることがある。
【０００３】
先行技術としては、例えば、候補キュレーションアイテムをランキングするものがある。また、例えば、複数のキュレーションの各々をランク付けする技術がある。また、例えば、コンテンツの推薦順位を算出する複数のアルゴリズムのうち、ユーザに提供されたコンテンツの推薦順位を算出したアルゴリズムに対するユーザの評価度を取得し、取得された評価度に基づいて、各アルゴリズムの適性度を算出する技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−４９８９４号公報
【特許文献２】特開２０１５−４９８９２号公報
【特許文献３】国際公開第２０１２／０２６４１０号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、キュレーションで２次コンテンツとして作成された情報整理結果について評価することは難しい。例えば、知的財産権に配慮し、２次コンテンツには１次コンテンツのタイトルやＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）しか含まれない場合があり、１次コンテンツの内容を解析して２次コンテンツについて評価することは難しい。
【０００６】
１つの側面では、本発明は、情報整理結果を評価することができる評価プログラム、評価方法、および評価装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面によれば、複数の情報整理結果より、前記複数の情報整理結果の少なくともいずれかに含まれる複数の参照情報それぞれについて、前記複数の情報整理結果における配置に基づき算出したスコアをスコア情報に蓄積し、前記スコア情報を参照して、特定の情報整理結果に含まれる複数の参照情報それぞれのスコアと、前記特定の情報整理結果における前記それぞれの参照情報の配置とに基づいて、前記特定の情報整理結果に対する評価情報を作成する評価プログラム、評価方法、および評価装置が提案される。
【発明の効果】
【０００８】
本発明の一態様によれば、情報整理結果を評価することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態にかかる評価方法の一実施例を示す説明図である。
【図２】図２は、評価システム２００の一例を示す説明図である。
【図３】図３は、評価装置１００のハードウェア構成例を示すブロック図である。
【図４】図４は、まとめ情報管理テーブル４００の記憶内容の一例を示す説明図である。
【図５】図５は、評価装置１００の機能的構成例を示すブロック図である。
【図６】図６は、実施例１における評価装置１００の動作例を示す説明図（その１）である。
【図７】図７は、実施例１における評価装置１００の動作例を示す説明図（その２）である。
【図８】図８は、実施例１における評価装置１００の動作例を示す説明図（その３）である。
【図９】図９は、実施例１における評価装置１００の動作例を示す説明図（その４）である。
【図１０】図１０は、実施例１における評価装置１００の動作例を示す説明図（その５）である。
【図１１】図１１は、実施例１における評価装置１００の動作例を示す説明図（その６）である。
【図１２】図１２は、実施例１における評価装置１００の動作例を示す説明図（その７）である。
【図１３】図１３は、評価処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明にかかる評価プログラム、評価方法、および評価装置の実施の形態を詳細に説明する。
【００１１】
（実施の形態にかかる評価方法の一実施例）
図１は、実施の形態にかかる評価方法の一実施例を示す説明図である。評価装置１００とは、キュレーションで作成された情報整理結果を評価することができるコンピュータである。
【００１２】
情報整理結果とは、２次コンテンツである。情報整理結果は、例えば、１以上の引用情報を順序付けるまとめ情報である。引用情報とは、１次コンテンツである。引用情報は、例えば、インターネットでアクセス可能なウェブサイトにある情報である。引用情報は、例えば、紙媒体の論文や書籍にある情報であってもよい。
【００１３】
ここで、何らかのテーマに関する学習行為の一環としてキュレーションが行われる場合がある。この場合、好ましい学習成果が得られたか否かを判定するため、キュレーションで作成された情報整理結果を評価することが望まれることがある。
【００１４】
また、キュレーションで作成された情報整理結果を提供するサービスが行われる場合がある。この場合、どの情報整理結果を優先して提供するかを決定するため、キュレーションで作成された情報整理結果を評価することが望まれることがある。
【００１５】
これに対し、情報整理結果で順序付けられた引用情報を解析することにより、情報整理結果を評価する場合が考えられる。
【００１６】
しかしながら、キュレーションでは、知的財産権を尊重し、知的財産権を侵害することを防止するため、知財制約と呼ばれる規則が設けられる傾向がある。例えば、情報整理結果に引用情報そのものを含むことを禁止し、引用情報を指定する参照情報を順序付けることにより、引用情報を間接的に順序付けることのみを許可する規則が設けられる。具体的には、情報整理結果には、引用情報があるウェブサイトのタイトルやＵＲＬなどを含むことのみを許可する規則が設けられる。
【００１７】
このため、情報整理結果で順序付けられた引用情報そのものを解析することが難しい場合があり、情報整理結果を評価することができないことがある。そこで、本実施の形態では、情報整理結果で順序付けられた参照情報に基づいて情報整理結果を評価することができる評価方法について説明する。
【００１８】
図１の例では、評価装置１００は、複数の情報整理結果１１０を記憶する。図１の例では、情報整理結果は、１以上の引用情報のそれぞれの引用情報を指定する参照情報を順序付けるまとめ情報であり、引用情報そのものを含まない。情報整理結果は、例えば、所定のテーマに沿った１以上の引用情報のそれぞれの引用情報を指定する参照情報を順序付ける。
【００１９】
参照情報とは、引用情報を指定する情報である。参照情報は、例えば、電子的な文書を指定する情報である。参照情報は、電子的でない文書を指定する情報であってもよい。参照情報は、例えば、インターネットでアクセス可能なウェブサイトのタイトルやＵＲＬである。参照情報は、紙媒体の論文や書籍のタイトルや書誌事項であってもよい。
【００２０】
（１−１）評価装置１００は、複数の参照情報１１０それぞれについて、複数の情報整理結果１１０のうち当該参照情報を含む情報整理結果それぞれにおける当該参照情報の配置に基づき算出した当該参照情報のスコアを、スコア情報に蓄積する。
【００２１】
参照情報の配置は、例えば、参照情報の順番であって、参照情報が先頭から何番目であるかを示す番号によって示される。参照情報のスコアは、例えば、参照情報の順番を示す番号の平均値、中央値、最頻値、百分位数などの統計値や、統計値に基づき算出された値である。参照情報のスコアは、例えば、複数の情報整理結果１１０において参照情報が先頭から何番目であることが多いかや、参照情報が先頭からどのくらいの位置であることが多いかを示す番号である。スコア情報は、例えば、図４に後述するまとめ情報管理テーブル４００によって実現される。
【００２２】
ここで、例えば、情報整理結果の作成者は、情報整理結果を作成する際には、文脈上好ましい順序で、１以上の参照情報を順序付ける傾向がある。作成者は、例えば、先頭から、序章や導入になることが好ましい引用情報を指定する参照情報、本章や中盤になることが好ましい引用情報を指定する参照情報、終章や結論になることが好ましい引用情報を指定する参照情報を順序付ける傾向がある。
【００２３】
換言すれば、情報整理結果におけるそれぞれの参照情報の配置は、比較的好ましい配置になる傾向がある。例えば、序章や導入にすることが好ましい引用情報を指定する参照情報の配置は、比較的先頭に近い配置になる傾向がある。このため、参照情報のスコアは、比較的多くの作成者が、その参照情報の配置として好ましい配置であると考えた配置を示している傾向がある。
【００２４】
これによれば、参照情報のスコアは、その参照情報が情報整理結果において何番目に順序付けられることが好ましいか、または先頭からどのくらいの位置に順序付けられることが好ましいかを示す値として扱うことができる。これにより、評価装置１００は、参照情報が情報整理結果において何番目に順序付けられることが好ましいかなどを示す値を算出することができ、算出したスコアを特定の情報整理結果を評価する際に用いる指標値として採用することができる。
【００２５】
（１−２）評価装置１００は、スコア情報を参照して、特定の情報整理結果に含まれる複数の参照情報のそれぞれの参照情報のスコアと、特定の情報整理結果におけるそれぞれの参照情報の配置とに基づいて、特定の情報整理結果に対する評価情報を作成する。評価情報を作成する際にスコアが用いられる、特定の情報整理結果に含まれる複数の参照情報は、特定の情報整理結果に含まれるすべての参照情報であってもよいし、一部の参照情報であってもよい。
【００２６】
特定の情報整理結果に含まれる複数の参照情報は、具体的には、特定の情報整理結果の先頭から所定の数の参照情報であってもよい。また、特定の情報整理結果に含まれる複数の参照情報は、具体的には、特定の情報整理結果の末尾から所定の数の参照情報であってもよい。評価装置１００は、例えば、特定の情報整理結果におけるそれぞれの参照情報の実際の配置と、それぞれの参照情報のスコアが示す好ましい配置とが異なる場合、評価が低くなるように特定の情報整理結果の評価情報を作成する。
【００２７】
ここで、例えば、序章や導入になることが好ましい引用情報を指定する参照情報について算出されたスコアは、その参照情報の配置が比較的先頭に近い配置になることが好ましいことを示す傾向があり、小さい値になりやすい。具体的には、序章や導入になることが好ましい引用情報を指定する参照情報について算出されたスコアは、１番目になることが好ましいことを示す値になりやすい。
【００２８】
これに対し、特定の情報整理結果において、序章や導入になることが好ましい引用情報を指定する参照情報の配置が、２番目以降であって、その参照情報のスコアが示す配置と異なる場合がある。この場合、特定の情報整理結果は、序章や導入になることが好ましい引用情報を指定する参照情報を、複数含んでいる可能性がある。また、特定の情報整理結果の１以上の参照情報の順序は、好ましくない順序である可能性がある。換言すれば、特定の情報整理結果は、所定のテーマに沿った引用情報を指定する参照情報をバランスよく含んでおらず、好ましくない情報整理結果である可能性がある。
【００２９】
これによれば、特定の情報整理結果における参照情報の配置と、その参照情報のスコアが示す配置とを比較した結果は、特定の情報整理結果が好ましい情報整理結果であるか否かを判定する指標として扱うことができる。これにより、評価装置１００は、特定の情報整理結果に引用情報そのものが含まれていない場合であっても、特定の情報整理結果を評価することができる。
【００３０】
また、例えば、特定の情報整理結果において、ある参照情報と、その参照情報の直前または直後に順序付けられた参照情報との間に、さらに別の参照情報が順序付けられることが好ましい場合がある。具体的には、序章や導入になることが好ましい引用情報を指定する参照情報の次に、本章や中盤になることが好ましい引用情報を指定する参照情報がなく、終章や結論になることが好ましい引用情報を指定する参照情報が順序付けられている場合がある。
【００３１】
この場合、特定の情報整理結果において、ある参照情報のスコアと、その参照情報の直前または直後に順序付けられた参照情報のスコアとの間の差分値を算出すると、その差分値は比較的大きい値になる傾向がある。これによれば、スコア間の差分値は、参照情報間に、さらに別の参照情報を順序付けることが好ましい可能性があるか否かを判定する指標として扱うことができる。これにより、評価装置１００は、特定の情報整理結果に引用情報そのものが含まれていない場合であっても、特定の情報整理結果を評価することができる。
【００３２】
これにより、評価装置１００は、例えば、算出したスコアに基づいて、特定の情報整理結果において、いずれかの参照情報が文脈上好ましい配置になっているか否かを判定することができる。結果として、評価装置１００は、所定のテーマに沿った引用情報を指定する参照情報が、特定の情報整理結果に、好ましい配置で含まれているか否かを評価することができる。
【００３３】
評価装置１００は、例えば、所定のテーマに沿った序章や導入になることが好ましい引用情報を指定し、算出されたスコアが１番目を示している参照情報が、実際に特定の情報整理結果の１番目などの文脈上好ましい配置になっているかを評価することができる。また、評価装置１００は、例えば、所定のテーマに沿った終章や結論になることが好ましい引用情報を指定し、算出されたスコアが最後の配置を示している参照情報が、実際に特定の情報整理結果の文脈上好ましい最後の配置になっているかを評価することができる。
【００３４】
また、評価装置１００は、算出されたスコアに基づいて、所定の配置にあることが好ましい参照情報が、特定の情報整理結果に含まれるか、または、特定の情報整理結果に含まれず不足しているかを判定することができる。結果として、評価装置１００は、特定の情報整理結果が、所定のテーマに沿った引用情報を指定する参照情報を、文脈上バランスよく含んでいるか否かを評価することができる。
【００３５】
文脈上バランスよい状態は、例えば、前半にあることが好ましい参照情報と、中盤にあることが好ましい参照情報と、後半にあることが好ましい参照情報とが、比較的好ましい数、比較的好ましい配置で含まれている状態である。
【００３６】
評価装置１００は、例えば、特定の情報整理結果に含まれる参照情報のうち、スコアとして１番目を示す値が算出された参照情報があるか否かを判定することができる。そして、評価装置１００は、スコアとして１番目を示す値が算出された参照情報がない場合、特定の情報整理結果には、文脈上含まれることが好ましい参照情報が不足しており、文脈上バランスよく参照情報を含んでいないと評価することができる。
【００３７】
同様に、評価装置１００は、例えば、特定の情報整理結果に含まれる参照情報のうち、スコアとして最後の順番を示す値が算出された参照情報があるか否かを判定することができる。そして、評価装置１００は、スコアとして最後の順番を示す値が算出された参照情報がない場合、特定の情報整理結果には、文脈上含まれることが好ましい参照情報が不足しており、文脈上バランスよく参照情報を含んでいないと評価することができる。
【００３８】
また、評価装置１００は、例えば、実際に特定の情報整理結果の１番目にある参照情報について算出されたスコアが、１番目を示す値であるか、２番目以降を示す値であるかを判定することができる。そして、評価装置１００は、２番目以降を示す値である場合に、特定の情報整理結果に、１番目にあることが好ましい参照情報が不足しており、文脈上バランスよく参照情報を含んでいないと評価することができる。
【００３９】
このように、評価装置１００は、知的財産権の保護を図りつつ、特定の情報整理結果を評価することができる。その後、評価装置１００は、例えば、特定の情報整理結果を評価した評価情報を、特定の情報整理結果の作成者に通知し、特定の情報整理結果の作成者の学習行為を支援することができる。評価装置１００は、具体的には、特定の情報整理結果に、所定のテーマに沿って、作成者がさらに学習することが好ましい内容について通知し、学習行為を支援することができる。また、評価装置１００は、特定の情報整理結果を評価する評価者の負担を低減することができる。また、評価装置１００は、例えば、特定の情報整理結果を評価した評価情報に基づいて、特定の情報整理結果を優先して提供するか否かを決定することができる。
【００４０】
ここでは、評価装置１００が、複数の情報整理結果１１０のうち、ある参照情報を含む情報整理結果におけるその参照情報の配置に基づいて、その参照情報のスコアを算出する場合について説明したが、これに限らない。例えば、評価装置１００は、後述する実施例１のように、複数の情報整理結果１１０のうち、互いに類似する参照情報のそれぞれの参照情報を含む情報整理結果におけるそれぞれの参照情報の配置に基づいて、それぞれの参照情報のスコアを算出してもよい。
【００４１】
ここでは、評価装置１００が、ある参照情報のスコアとして、その参照情報の順番を示す絶対的な番号についてのスコアを用いる場合について説明したが、これに限らない。例えば、評価装置１００は、後述する実施例１のように、ある参照情報のスコアとして、ある参照情報を含む情報整理結果に順序付けられた参照情報の数に応じた、その参照情報の順番を示す相対的な番号についてのスコアを用いてもよい。具体的には、相対的な番号は、情報整理結果に順序付けられた参照情報の総数に対する、いずれかの参照情報の順番を示す値の比率である。
【００４２】
ここでは、評価装置１００が、複数の情報整理結果１１０を記憶する場合について説明したが、これに限らない。例えば、評価装置１００は、複数の情報整理結果１１０を記憶せず、複数の情報整理結果１１０のそれぞれの情報整理結果における参照情報の配置についての情報を記憶してもよい。
【００４３】
（評価システム２００の一例）
次に、図１に示した評価装置１００を適用した、評価システム２００の一例について説明する。
【００４４】
図２は、評価システム２００の一例を示す説明図である。図２において、評価システム２００は、評価装置１００と、クライアント装置２０１とを含む。評価システム２００において、評価装置１００とクライアント装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどである。
【００４５】
評価装置１００は、クライアント装置２０１から情報整理結果を受信し、受信した情報整理結果を記憶するコンピュータである。評価装置１００は、情報整理結果に対する評価情報を作成し、作成した評価情報を記憶する。評価装置１００は、情報整理結果に対する評価情報を作成した場合、作成した評価情報をクライアント装置２０１に送信してもよい。評価装置１００は、例えば、サーバである。
【００４６】
クライアント装置２０１は、利用者からの操作入力に基づいて、情報整理結果を作成し、作成した情報整理結果を評価装置１００に送信するコンピュータである。クライアント装置２０１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末、スマートフォンなどである。
【００４７】
図２に示した評価システム２００は、例えば、学習行為として学習者にキュレーションを行わせる学習機関によって使用される場合がある。この場合、例えば、評価装置１００は、学習行為を管理する、学習機関に所属する教育者によって使用される。一方で、クライアント装置２０１は、学習行為としてキュレーションを行う学習者によって使用される。
【００４８】
この場合、クライアント装置２０１は、学習者の操作入力に基づいて、まとめ情報を情報整理結果として作成し、評価装置１００に送信する。まとめ情報は、ウェブサイトの情報を指定するタイトルおよびＵＲＬを順序付ける情報である。換言すれば、まとめ情報は、ウェブサイトの情報を間接的に順序付ける情報である。
【００４９】
評価装置１００は、まとめ情報を受信し、まとめ情報を図４に後述するまとめ情報管理テーブル４００に記憶する。そして、評価装置１００は、図４に後述するまとめ情報管理テーブル４００に基づいて、特定のまとめ情報に対する評価情報を作成する。評価装置１００は、作成した評価情報を、クライアント装置２０１に送信する。
【００５０】
ここでは、評価装置１００とクライアント装置２０１が別の装置である場合について説明したが、これに限らない。例えば、評価装置１００が、いずれかのクライアント装置２０１としても動作する場合があってもよい。以下の説明では、図２に示した評価システム２００が、学習行為として学習者にキュレーションを行わせる学習機関によって使用され、特定のまとめ情報に関する評価情報が作成される場合について説明する。
【００５１】
（評価装置１００のハードウェア構成例）
次に、図３を用いて、図２に示した評価システム２００に含まれる評価装置１００のハードウェア構成例について説明する。
【００５２】
図３は、評価装置１００のハードウェア構成例を示すブロック図である。図３において、評価装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、ディスクドライブ３０４と、ディスク３０５と、記録媒体Ｉ／Ｆ３０６とを有する。また、各構成部は、バス３００によってそれぞれ接続される。
【００５３】
ここで、ＣＰＵ３０１は、評価装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。メモリ３０２は、図４に後述するまとめ情報管理テーブル４００を記憶する。
【００５４】
ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータ（例えば、図２に示したクライアント装置２０１）に接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
【００５５】
ディスクドライブ３０４は、ＣＰＵ３０１の制御に従ってディスク３０５に対するデータのリード／ライトを制御する。ディスクドライブ３０４は、例えば、磁気ディスクドライブである。ディスク３０５は、ディスクドライブ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。ディスク３０５は、メモリ３０２の代わりに、図４に後述するまとめ情報管理テーブル４００を記憶してもよい。ディスク３０５は、例えば、磁気ディスク、光ディスクなどである。
【００５６】
記録媒体Ｉ／Ｆ３０６は、外部の記録媒体３０７に接続され、外部の記録媒体３０７と内部のインターフェースを司り、外部の記録媒体３０７に対するデータの入出力を制御する。記録媒体Ｉ／Ｆ３０６は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポートである。記録媒体３０７は、例えば、ＵＳＢメモリである。記録媒体３０７は、実施の形態にかかる評価プログラムを記憶してもよい。
【００５７】
評価装置１００は、上述した構成部のほか、例えば、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、半導体メモリ、キーボード、マウス、ディスプレイなどを有することにしてもよい。また、評価装置１００は、ディスクドライブ３０４およびディスク３０５の代わりに、ＳＳＤおよび半導体メモリなどを有していてもよい。また、評価装置１００は、ディスクドライブ３０４、ディスク３０５、記録媒体Ｉ／Ｆ３０６を有していなくてもよい。
【００５８】
（まとめ情報管理テーブル４００の記憶内容）
次に、図４を用いて、まとめ情報管理テーブル４００の記憶内容の一例について説明する。まとめ情報管理テーブル４００は、例えば、図３に示した評価装置１００のメモリ３０２やディスク３０５などの記憶領域により実現される。
【００５９】
図４は、まとめ情報管理テーブル４００の記憶内容の一例を示す説明図である。図４に示すように、まとめ情報管理テーブル４００は、学習者と、タイトルと、ＵＲＬと、配置情報と、修正配置情報とのフィールドを有する。まとめ情報管理テーブル４００は、まとめ情報ごとに各フィールドに情報を設定することにより、まとめ情報がレコードとして記憶される。
【００６０】
学習者のフィールドには、まとめ情報を作成した学習者を特定する情報が設定される。学習者を特定する情報は、例えば、学習者の氏名である。図４の例では、学習者を特定する情報は、例えば、ＡやＢなどである。
【００６１】
タイトルのフィールドには、まとめ情報によって順序付けられた、参照情報になるタイトルとＵＲＬのペアのうち、タイトルが設定される。図４の例では、タイトルは、「欧州連合−ｗｉｋｉｐｅｄｉａ」などである。ＵＲＬのフィールドには、まとめ情報によって順序付けられた、参照情報になるタイトルとＵＲＬのペアのうち、ＵＲＬが設定される。図４の例では、ＵＲＬは、「ｈｔｔｐ：／／ａａｂ」などである。
【００６２】
配置情報のフィールドには、参照情報の配置を示す情報が設定される。図４の例では、参照情報の配置を示す情報は、参照情報の順番を示す相対的な番号である。相対的な番号は、まとめ情報が順序付ける参照情報の総数に対する、いずれかの参照情報の順番を示す値の比率である。相対的な番号は、まとめ情報のｎ個の参照情報のうちｍ番目の参照情報であれば、ｎ／ｍである。
【００６３】
修正配置情報のフィールドには、参照情報のスコアが設定される。図４の例では、参照情報のスコアは、参照情報の順番を示す相対的な番号についての平均値である。スコアは、平均値のほか、中央値、最頻値、百分位数などであってもよい。
【００６４】
（クライアント装置２０１のハードウェア構成例）
図２に示した評価システム２００に含まれるクライアント装置２０１のハードウェア構成例は、例えば、評価装置１００のハードウェア構成例と同様であるため、説明を省略する。
【００６５】
（評価装置１００の機能的構成例）
次に、図５を用いて、評価装置１００の機能的構成例について説明する。図５は、評価装置１００の機能的構成例を示すブロック図である。評価装置１００は、記憶部５０１と、取得部５０２と、算出部５０３と、作成部５０４と、出力部５０５とを含む。
【００６６】
記憶部５０１は、例えば、図３に示したメモリ３０２やディスク３０５などの記憶領域によって実現される。取得部５０２〜出力部５０５は、制御部となる機能である。取得部５０２〜出力部５０５は、具体的には、例えば、図３に示したメモリ３０２やディスク３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２やディスク３０５などの記憶領域に記憶される。
【００６７】
記憶部５０１は、複数の情報整理結果を記憶する。情報整理結果は、１以上の情報それぞれに対する参照情報を順序付けた情報である。１以上の情報は、例えば、上述した引用情報であり、ウェブサイトの情報である。参照情報は、例えば、上述したウェブサイトのタイトルとＵＲＬのペアである。情報整理結果は、例えば、上述したまとめ情報である。
【００６８】
また、記憶部５０１は、スコア情報を記憶する。スコア情報は、複数の情報整理結果の少なくともいずれかに含まれる参照情報について算出したスコアを蓄積する情報である。記憶部５０１は、例えば、図４に示したまとめ情報管理テーブル４００を用いて、複数のまとめ情報を記憶し、複数の参照情報それぞれのスコアを蓄積する。
【００６９】
これにより、記憶部５０１は、評価対象である特定のまとめ情報を記憶しておくことができ、特定のまとめ情報を評価する際に用いられる複数のまとめ情報を記憶しておくこともできる。
【００７０】
取得部５０２は、情報整理結果を取得し、記憶部５０１に記憶する。取得部５０２は、例えば、クライアント装置２０１からまとめ情報を受信し、図４に示したまとめ情報管理テーブル４００に記憶する。
【００７１】
算出部５０３は、記憶部５０１を参照して、複数の情報整理結果のそれぞれの情報整理結果における参照情報の配置に基づいて当該参照情報のスコアを算出する。スコアは、例えば、配置を示す値についての平均値、中央値、最頻値、百分位数などであってよい。配置を示す値は、例えば、順番を示す値であって、番号で示される。算出部５０３は、例えば、複数のまとめ情報のうち、複数のウェブサイトのそれぞれのウェブサイトのタイトルとＵＲＬとのペアを含むまとめ情報における、それぞれのウェブサイトのタイトルとＵＲＬのペアの順番を示す番号の平均値を算出する。
【００７２】
これにより、算出部５０３は、複数のウェブサイトのそれぞれのウェブサイトのタイトルとＵＲＬとのペアが、まとめ情報において何番目に順序付けられることが好ましいかを示す値を算出することができる。そして、算出部５０３は、算出した値を、まとめ情報を評価する際に用いられる値として、作成部５０４に出力することができる。
【００７３】
算出部５０３は、さらに、第１の参照情報に類似する第２の参照情報を特定し、特定した第２の参照情報を含む情報整理結果における第２の参照情報の配置に基づいて、第１の参照情報についてのスコアを算出してもよい。算出部５０３は、例えば、複数の参照情報のうち、互いに類似する参照情報を特定する。算出部５０３は、互いに類似する参照情報のそれぞれの参照情報を含む情報整理結果におけるそれぞれの参照情報の配置に基づいて、それぞれの参照情報のスコアを算出する。算出部５０３は、互いに類似する参照情報のスコアを、同じスコアにしてもよい。
【００７４】
算出部５０３は、具体的には、複数のウェブサイトのそれぞれのウェブサイトのタイトルとＵＲＬとのペアのうち、ＵＲＬの類似度が閾値を超えるペアをグループ化する。閾値は、例えば、６０％である。そして、算出部５０３は、グループ化されたそれぞれのペアを含むまとめ情報におけるそれぞれのペアの配置に基づいて、グループ化されたペア全体についての順番を示す番号の平均値を算出する。算出部５０３は、ＵＲＬの類似度に加えて、または、ＵＲＬの類似度の代わりに、タイトルの類似度を用いてもよい。
【００７５】
これにより、算出部５０３は、複数のウェブサイトのそれぞれのウェブサイトのタイトルとＵＲＬとのペアが、まとめ情報において何番目に順序付けられることが好ましいかを示す値を算出することができる。そして、算出部５０３は、まとめ情報を評価する際に用いられる値を、作成部５０４に出力することができる。また、算出部５０３は、グループ化により、スコアを算出する際に用いることが可能なウェブサイトのタイトルとＵＲＬとのペアの数が少なく、統計学的な信頼性が低いスコアが算出されてしまう可能性を低減することができる。
【００７６】
算出部５０３は、互いに前方一致する参照情報を、類似する参照情報として特定してもよい。算出部５０３は、例えば、複数のウェブサイトのそれぞれのウェブサイトのタイトルとＵＲＬとのペアのうち、ＵＲＬが前方一致するペアをグループ化してもよい。また、算出部５０３は、スキーム名を除いて、ＵＲＬが前方一致するペアをグループ化してもよい。これにより、算出部５０３は、同じホストの異なるページなどを指定するＵＲＬをグループ化することができる。
【００７７】
算出部５０３は、例えば、複数の情報整理結果のうち、第３の参照情報を含む情報整理結果における第３の参照情報の順番を示す相対的な番号に基づいて、第３の参照情報のスコアを算出してもよい。相対的な番号は、情報整理結果に順序付けられた参照情報の総数に対する、第３の参照情報の順番を示す絶対的な番号の比率である。絶対的な番号は、例えば、情報整理結果に含まれる参照情報の数によらない、第３の参照情報が情報整理結果の先頭から何番目であるかを示す番号である。算出部５０３は、例えば、複数の情報整理結果のうち、第３の参照情報を含む情報整理結果における参照情報の総数に対する、第３の参照情報の順番を示す絶対的な番号の比率に基づいて、第３の参照情報のスコアを算出する。
【００７８】
算出部５０３は、例えば、複数のまとめ情報のうち、複数のウェブサイトのそれぞれのウェブサイトのタイトルとＵＲＬとのペアを含むまとめ情報における、ペアの総数に対するそれぞれのウェブサイトのタイトルとＵＲＬとのペアの順番を示す値の比率を算出する。そして、算出部５０３は、それぞれのウェブサイトのタイトルとＵＲＬとのペアの順番を示す値の比率についての平均値を算出する。
【００７９】
これにより、算出部５０３は、複数のまとめ情報のそれぞれのまとめ情報におけるペアの数が異なる場合であっても、ペアがまとめ情報において何番目に順序付けられることが好ましいかを示す値を精度よく算出することができる。そして、算出部５０３は、まとめ情報を評価する際に用いられる値を、作成部５０４に出力することができる。
【００８０】
算出部５０３は、参照情報をグループ化し、かつ、情報整理結果における参照情報の総数に対する参照情報の順番を示す値の比率を用いて、参照情報のスコアを算出してもよい。
【００８１】
作成部５０４は、特定の情報整理結果のそれぞれの参照情報について算出部５０３が算出したスコアと、特定の情報整理結果におけるそれぞれの参照情報の配置とに基づいて、特定の情報整理結果に対する評価情報を作成する。
【００８２】
作成部５０４は、例えば、特定の情報整理結果の複数の参照情報のうち、いずれかの参照情報のスコアと、いずれかの参照情報の直前または直後に順序付けた参照情報のスコアとの差分値を算出する。そして、作成部５０４は、算出した差分値と閾値とを比較した結果に基づいて、特定の情報整理結果に対する評価情報を作成する。
【００８３】
差分値が閾値よりも大きい場合、いずれかの参照情報と、いずれかの参照情報の直前または直後に順序付けた参照情報との間に、異なる参照情報を順序付けることが好ましい可能性がある。例えば、いずれかの参照情報のスコアが「１」、いずれかの参照情報の直後に順序付けた参照情報のスコアが「３」であれば、配置が２番目になることが好ましい参照情報が含まれていない可能性がある。このため、作成部５０４は、具体的には、算出した差分値が閾値より大きい場合に、評価が低くなるように評価情報を作成する。
【００８４】
これにより、作成部５０４は、特定のまとめ情報にウェブサイトの情報そのものが含まれなくても、特定のまとめ情報を評価することができる。また、作成部５０４は、特定のまとめ情報が、所定のテーマに沿ったウェブサイトを指定するウェブサイトのタイトルとＵＲＬとのペアを、バランスよく含んでいるか否かを評価することができる。
【００８５】
作成部５０４は、例えば、特定の情報整理結果の複数の参照情報のうち、いずれかの参照情報のスコアと、特定の情報整理結果の先頭または末尾を示す基準値との差分値を算出する。特定の情報整理結果の先頭を示す基準値は、例えば、０を用いる。特定の情報整理結果の末尾を示す基準値は、例えば、特定の情報整理結果の参照情報の数＋１を用いる。スコアとして、上述した比率を用いる場合は、特定の情報整理結果の末尾を示す基準値は、例えば、１であってもよい。そして、作成部５０４は、算出した差分値と閾値とを比較した結果に基づいて、特定の情報整理結果に対する評価情報を作成する。
【００８６】
差分値が閾値よりも大きい場合、いずれかの参照情報と、特定の情報整理結果の先頭または末尾との間に、異なる参照情報を順序付けることが好ましい可能性がある。例えば、１番目の参照情報のスコアが「２」であれば、特定の情報整理結果の先頭を示す「０」との差分値が大きく、配置が１番目になることが好ましい参照情報が含まれていない可能性がある。このため、作成部５０４は、具体的には、算出した差分値が閾値より大きい場合に、評価が低くなるように評価情報を作成する。
【００８７】
これにより、作成部５０４は、特定のまとめ情報にウェブサイトの情報そのものが含まれなくても、特定のまとめ情報を評価することができる。また、作成部５０４は、特定のまとめ情報が、所定のテーマに沿ったウェブサイトを指定するウェブサイトのタイトルとＵＲＬとのペアを、バランスよく含んでいるか否かを評価することができる。
【００８８】
作成部５０４は、特定の情報整理結果の複数の参照情報のうち、いずれかの参照情報のスコアと、いずれかの参照情報の配置に対応する基準値との差分値を算出する。そして、作成部５０４は、算出した差分値と閾値とを比較した結果に基づいて、特定の情報整理結果に対する評価情報を作成する。配置に対応する基準値は、例えば、順番を示す番号である。作成部５０４は、例えば、いずれかの参照情報のスコアが「１」であるが、特定の情報整理結果におけるいずれかの参照情報の順番を示す番号が「３」であれば、１番目になることが好ましい参照情報が３番目になっているため、評価を低くする。
【００８９】
これにより、作成部５０４は、特定のまとめ情報にウェブサイトの情報そのものが含まれなくても、特定のまとめ情報を評価することができる。また、作成部５０４は、特定のまとめ情報が、所定のテーマに沿ったウェブサイトを指定するウェブサイトのタイトルとＵＲＬとのペアを、バランスよく含んでいるか否かを評価することができる。
【００９０】
出力部５０５は、作成部５０４が作成した評価情報を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、または、ネットワークＩ／Ｆ３０３によるクライアント装置２０１などへの送信である。出力形式は、メモリ３０２やディスク３０５などの記憶領域への記憶であってもよい。これにより、出力部５０５は、学習者に評価情報を通知し、学習者の学習行為を支援することができる。
【００９１】
ここでは、記憶部５０１が、複数の情報整理結果そのものを記憶する場合について説明したが、これに限らない。例えば、記憶部５０１は、複数の情報整理結果のうち、複数の情報整理結果そのものは記憶せず、複数の参照情報のそれぞれの参照情報を含む情報整理結果における、それぞれの参照情報の配置を記憶しておいてもよい。
【００９２】
（実施例１における評価装置１００の動作例）
次に、図６〜図１２を用いて、実施例１において評価装置１００がまとめ情報に対する評価情報を作成する動作例について説明する。
【００９３】
図６〜図１２は、実施例１における評価装置１００の動作例を示す説明図である。まず、図６を用いて、学習者によって作成されるまとめ情報６００の一例について説明する。図６において、まとめ情報６００は、符号６０１に示すテーマ「ＥＵ離脱問題」に沿って学習者「Ａ」によって作成されたまとめ情報６００である。
【００９４】
まとめ情報６００は、参照情報６１１〜６１４を順序付ける情報である。まとめ情報６００は、参照情報６１１として、ウェブサイトのタイトル「欧州連合−ｗｉｋｉｐｅｄｉａ」とＵＲＬ「ｈｔｔｐ：／／ａａｂ」とのペアを、１番目に順序付ける。まとめ情報６００は、参照情報６１２として、ウェブサイトのタイトル「イギリスがＥＵを離脱したがる理由」とＵＲＬ「ｈｔｔｐ：／／ｂｂｂ」とのペアを、２番目に順序付ける。
【００９５】
まとめ情報６００は、参照情報６１３として、ウェブサイトのタイトル「英ＥＵ離脱と世界経済への影響」とＵＲＬ「ｈｔｔｐ：／／ｃｃｃ」とのペアを、３番目に順序付ける。まとめ情報６００は、参照情報６１４として、ウェブサイトのタイトル「ＥＵ離脱でイギリス労働者の生活はどう変わる？」とＵＲＬ「ｈｔｔｐ：／／ｄｄｄ」とのペアを、４番目に順序付ける。
【００９６】
次に、図７の説明に移行し、評価装置１００が、複数のまとめ情報を、図４に示したまとめ情報管理テーブル４００を用いて記憶しておく一例について説明する。図７の例では、修正配置情報のフィールドは用いなくてもよいため、修正配置情報のフィールドの図示を省略する。
【００９７】
図７において、評価装置１００は、まとめ情報管理テーブル４００を用いて、図６に示したまとめ情報６００を記憶しておく。まず、評価装置１００は、例えば、まとめ情報管理テーブル４００の学習者のフィールドを用いて、図６に示したまとめ情報６００を作成した学習者「Ａ」を記憶する。
【００９８】
また、評価装置１００は、例えば、まとめ情報管理テーブル４００のタイトルとＵＲＬとのフィールドを用いて、図６に示したまとめ情報６００で順序付けられたタイトルとＵＲＬとのペアを記憶する。評価装置１００は、具体的には、タイトル「欧州連合−ｗｉｋｉｐｅｄｉａ」とＵＲＬ「ｈｔｔｐ：／／ａａｂ」とのペアなどを記憶する。
【００９９】
また、評価装置１００は、例えば、まとめ情報で順序付けられたタイトルとＵＲＬとのペアの数「４」を算出し、算出したペアの数「４」に対するそれぞれのペアの配置を示す絶対的な番号の比率を算出する。そして、評価装置１００は、まとめ情報管理テーブル４００の配置情報のフィールドを用いて、算出した比率を記憶する。評価装置１００は、具体的には、ペアの数「４」に対する、ウェブサイトのタイトル「欧州連合−ｗｉｋｉｐｅｄｉａ」とＵＲＬ「ｈｔｔｐ：／／ａａｂ」とのペアの順番を示す絶対的な番号「１」の比率として「１／４」を記憶する。評価装置１００は、同様に、まとめ情報管理テーブル４００を用いて、学習者「Ｂ」によって作成されたまとめ情報についても記憶しておく。
【０１００】
次に、図８および図９の説明に移行し、評価装置１００が、タイトルとＵＲＬとのペアをグループ化する一例について説明する。まず、図８の説明に移行する。
【０１０１】
図８において、評価装置１００は、タイトルとＵＲＬとのペアをグループ化する際に用いる、それぞれのＵＲＬ間の類似度を算出する。評価装置１００は、例えば、２つのＵＲＬのスキーム名より後ろにあるホスト名やパス名を比較することにより、２つのＵＲＬの類似度を算出する。
【０１０２】
評価装置１００は、具体的には、ＵＲＬ「ｈｔｔｐ：／／ａａｂ」とＵＲＬ「ｈｔｔｐ：／／ｂｂｂ」の類似度「３３．３％」を算出する。また、評価装置１００は、具体的には、ＵＲＬ「ｈｔｔｐ：／／ａａｂ」とＵＲＬ「ｈｔｔｐ：／／ｂｃｂ」の類似度「３３．３％」を算出する。また、評価装置１００は、具体的には、ＵＲＬ「ｈｔｔｐ：／／ｂｂｂ」とＵＲＬ「ｈｔｔｐ：／／ｂｃｂ」の類似度「６６．６％」を算出する。評価装置１００は、例えば、算出した類似度を表８００を用いて記憶する。次に、図９の説明に移行する。
【０１０３】
図９において、評価装置１００は、表８００を用いて、算出した類似度が閾値を超えたタイトルとＵＲＬとのペア同士をグループ化する。評価装置１００は、例えば、閾値として６０％を用いる。そして、評価装置１００は、類似度が閾値を超えた、タイトル「イギリスがＥＵを離脱したがる理由」とＵＲＬ「ｈｔｔｐ：／／ｂｂｂ」とのペアと、タイトル「英労働者の生活」とＵＲＬ「ｈｔｔｐ：／／ｂｃｂ」とのペアとを同じグループＢに設定する。
【０１０４】
ここでは、評価装置１００が、ＵＲＬ間の類似度を算出する場合について説明したが、これに限らない。例えば、評価装置１００は、タイトル間の類似度を算出してもよい。そして、評価装置１００は、タイトル間の類似度に基づいて、タイトルとＵＲＬとのペアをグループ化してもよい。また、評価装置１００は、ＵＲＬ間の類似度と、タイトル間の類似度とに基づいて、タイトルとＵＲＬとのペアをグループ化してもよい。また、評価装置１００は、クラスタリングの技術を用いて、タイトルとＵＲＬとのペアをグループ化してもよい。
【０１０５】
次に、図１０の説明に移行し、評価装置１００が、タイトルとＵＲＬとのペアについてのグループに基づいて、タイトルとＵＲＬとのペアのスコアとして用いる値を算出する一例について説明する。
【０１０６】
図１０において、評価装置１００は、まとめ情報管理テーブル４００を参照し、グループのそれぞれのペアを含むまとめ情報における、それぞれのペアの順番を示す相対的な番号を取得する。そして、評価装置１００は、取得したペアの順番を示す相対的な番号について平均値を算出する。
【０１０７】
評価装置１００は、例えば、グループＢのタイトル「イギリスがＥＵを離脱したがる理由」とＵＲＬ「ｈｔｔｐ：／／ｂｂｂ」とのペアについて、まとめ情報管理テーブル４００の配置情報のフィールドの比率「２／４」を、相対的な番号として取得する。評価装置１００は、同様に、グループＢの他のペアについても比率を取得する。そして、評価装置１００は、取得した比率の平均値「８／１６（０．５）」を、グループＢのペアについてのスコアとして算出する。
【０１０８】
これにより、評価装置１００は、複数のまとめ情報のそれぞれのまとめ情報におけるペアの数が異なる場合であっても、ペアがまとめ情報において何番目に順序付けられることが好ましいかを示す値を精度よく算出することができる。さらに、評価装置１００は、グループ化により、スコアを算出する際に用いることが可能なウェブサイトのタイトルとＵＲＬとのペアの数が少なく、統計学的な信頼性が低いスコアが算出されてしまう可能性を低減することができる。次に、図１１の説明に移行する。
【０１０９】
図１１において、評価装置１００は、まとめ情報管理テーブル４００の修正配置情報のフィールドを用いて、それぞれのウェブサイトのタイトルとＵＲＬとのペアについて算出した比率の平均値を記憶する。評価装置１００は、例えば、タイトル「イギリスがＥＵを離脱したがる理由」とＵＲＬ「ｈｔｔｐ：／／ｂｂｂ」とのペアについて、まとめ情報管理テーブル４００の修正配置情報のフィールドに、算出した比率の平均値「８／１６（０．５）」を記憶する。
【０１１０】
ここで、評価装置１００は、グループ化されず、比率の平均値を算出していないペアがある場合、比率の平均値を算出していないペアについてのまとめ情報管理テーブル４００の修正配置情報のフィールドに、配置情報のフィールドと同じ比率を記憶する。次に、図１２の説明に移行し、評価装置１００が、まとめ情報を評価する一例について説明する。
【０１１１】
図１２において、評価装置１００は、まとめ情報管理テーブル４００を参照し、まとめ情報を評価する。評価装置１００は、評価した結果、まとめ情報が所定の不足条件を満たす場合、評価情報を作成してクライアント装置２０１に送信する。評価装置１００は、まとめ情報が所定の不足条件を満たさない場合にも、評価情報を作成してクライアント装置２０１に送信してもよい。
【０１１２】
不足条件は、まとめ情報に、種々のＵＲＬが文脈上バランスよく含まれるか否かを判定する条件である。不足条件は、例えば、まとめ情報の２つのＵＲＬの間でのスコアの差分値が閾値を超える条件である。２つのＵＲＬの間での差分値が閾値を超える場合、２つのＵＲＬの間に、さらに別のＵＲＬが含まれることが好ましく、別のＵＲＬが不足している可能性がある。
【０１１３】
評価装置１００は、例えば、まとめ情報管理テーブル４００のまとめ情報６００についての修正配置情報のフィールドに記憶された比率の平均値を取得し、まとめ情報６００を評価する。そして、評価装置１００は、評価情報を作成する。
【０１１４】
評価装置１００は、具体的には、まとめ情報６００の１番目のペアについて算出された比率の平均値「０．２５」と、まとめ情報６００の先頭を示す値「０」との差分値「０．２５」を算出する。ここで、差分値が比較的大きい場合、まとめ情報６００の１番目のペアは１番目として好ましいペアではなく、まとめ情報６００の１番目として順序付けられることが好ましい他のペアが存在する可能性がある。
【０１１５】
そこで、評価装置１００は、不足条件として、算出した差分値「０．２５」が閾値「０．２５」を超えるか否かを判定する。ここでは、評価装置１００は、算出した差分値「０．２５」が閾値「０．２５」を超えないため、まとめ情報６００の１番目のペアは、先頭から比較的好ましい配置にあると判定する。
【０１１６】
ここで、評価装置１００は、まとめ情報の先頭を示す値を「０」、末尾を示す値を「１」としたため、閾値として、まとめ情報のペアの数「４」に応じて「１／４（０．２５）」を用いている。評価装置１００は、まとめ情報のペアの数「５」であれば、「１／５（０．２）」を用いてもよい。
【０１１７】
また、評価装置１００は、まとめ情報６００の１番目のペアについて算出された比率の平均値「０．２５」と、まとめ情報６００の２番目のペアについて算出された比率の平均値「０．５」との差分値「０．２５」を算出する。ここで、差分値が比較的大きい場合、まとめ情報６００の２番目のペアは２番目として好ましいペアではなく、まとめ情報６００の１番目のペアの次に２番目のペアとして順序付けられることが好ましい他のペアが存在する可能性がある。
【０１１８】
そこで、評価装置１００は、不足条件として、算出した差分値「０．２５」が閾値「０．２５」を超えるか否かを判定する。ここでは、評価装置１００は、算出した差分値「０．２５」が閾値「０．２５」を超えないため、まとめ情報６００の２番目のペアは、１番目のペアの次に順序付けられるペアとして比較的好ましいペアであると判定する。評価装置１００は、同様に、まとめ情報６００の３，４番目のペアが、比較的好ましいペアであるか否かを判定する。
【０１１９】
そして、評価装置１００は、まとめ情報６００の４番目のペアについて算出された比率の平均値「０．８」と、まとめ情報６００の末尾を示す値「１」との差分値「０．２」を算出する。ここで、差分値が比較的大きい場合、まとめ情報６００の４番目のペアは、最後のペアとして好ましいペアではなく、まとめ情報６００の最後のペアとして順序付けられることが好ましい他のペアが存在する可能性がある。
【０１２０】
そこで、評価装置１００は、不足条件として、算出した差分値「０．２」が閾値「０．２５」を超えるか否かを判定する。ここでは、評価装置１００は、算出した差分値「０．２」が閾値「０．２５」を超えないため、まとめ情報６００の４番目のペアは、末尾から比較的好ましい配置にあると判定する。結果として、評価装置１００は、まとめ情報６００を、テーマに沿った情報を指定するタイトルとＵＲＬとのペアを、比較的バランスよく含む情報であると評価し、評価情報を作成する。
【０１２１】
一方で、評価装置１００は、同様に、学習者「Ｂ」によって作成されたまとめ情報１２００についても評価する。評価装置１００は、具体的には、まとめ情報１２００の４番目のペアについて算出された比率の平均値「０．５」と、まとめ情報１２００の末尾を示す値「１」との差分値「０．５」を算出する。
【０１２２】
評価装置１００は、算出した差分値「０．５」が閾値「０．２５」を超えるため、まとめ情報１２００の４番目のペアは、末尾から好ましい配置にはないと判定する。そして、評価装置１００は、４番目のペアの後に、最後のペアとして順序付けることが好ましい他のペアが存在すると判定する。結果として、評価装置１００は、まとめ情報１２００を、テーマに沿った情報を指定するタイトルとＵＲＬとのペアを、バランスよく含んでいない情報であると評価し、評価情報を作成する。
【０１２３】
評価装置１００は、具体的には、最後のペアとして順序付けることが好ましい、ウェブサイトのタイトルとＵＲＬとのペアが、まとめ情報１２００に含まれず、テーマに沿った終章や結論に対応するペアが存在しない可能性があることを示す評価情報を作成する。換言すれば、評価装置１００は、まとめ情報１２００が後半の情報が比較的多い情報であることを示す評価情報を作成する。
【０１２４】
そして、評価装置１００は、学習者「Ｂ」が使用するクライアント装置２０１に、作成した評価情報を送信し、学習者「Ｂ」の学習行為を支援することができる。また、評価装置１００は、まとめ情報１２００が後半の情報が比較的多い情報であるため、複数のまとめ情報の中から、前半の情報が比較的多いまとめ情報を抽出して、学習者「Ｂ」が使用するクライアント装置２０１に送信してもよい。これにより、評価装置１００は、学習者「Ｂ」の学習行為に不足していた内容について学習しやすくすることができる。
【０１２５】
ここでは、評価装置１００が、算出した差分値と閾値とを比較した結果に基づき、まとめ情報を評価する場合について説明したが、これに限らない。例えば、評価装置１００は、まとめ情報のペアの数に基づいて、まとめ情報が含むことが好ましいペアについての比率の基準値を算出し、基準値とスコアを比較してもよい。具体的には、評価装置１００は、まとめ情報に含まれるペアの数が「４」であれば、０〜１の範囲を５等分する値を用いて、先頭から比率「０．２」、「０．４」、「０．６」、「０．８」のペアが含まれることが好ましいと判断し、まとめ情報を評価する。
【０１２６】
（評価処理手順の一例）
次に、図１３を用いて、評価処理手順の一例について説明する。
【０１２７】
図１３は、評価処理手順の一例を示すフローチャートである。図１３において、まず、評価装置１００は、複数の学習者のそれぞれの学習者によって作成されたまとめ情報を取得し、まとめ情報管理テーブル４００に記憶する（ステップＳ１３０１）。次に、評価装置１００は、まとめ情報管理テーブル４００を参照し、複数のまとめ情報に含まれる複数のＵＲＬに基づいて、ＵＲＬ間の類似度を算出する（ステップＳ１３０２）。
【０１２８】
そして、評価装置１００は、算出した類似度のうち、閾値を超えた類似度があるか否かを判定する（ステップＳ１３０３）。ここで、閾値を超えた類似度がない場合（ステップＳ１３０３：Ｎｏ）、評価装置１００は、ステップＳ１３０６の処理に移行する。
【０１２９】
一方で、閾値を超えた類似度がある場合（ステップＳ１３０３：Ｙｅｓ）、評価装置１００は、まとめ情報管理テーブル４００を参照し、算出した類似度が閾値を超えた複数のＵＲＬをグループ化する（ステップＳ１３０４）。次に、評価装置１００は、まとめ情報管理テーブル４００を参照し、グループごとのＵＲＬのスコアを算出し、まとめ情報管理テーブル４００の修正配置情報を更新する（ステップＳ１３０５）。そして、評価装置１００は、グループ化されないＵＲＬについては、まとめ情報管理テーブル４００の配置情報を用いて、まとめ情報管理テーブル４００の修正配置情報を更新する（ステップＳ１３０６）。
【０１３０】
さらに、評価装置１００は、まとめ情報管理テーブル４００の修正配置情報に基づいて、所定の不足条件を満たすか否かを判定する（ステップＳ１３０７）。不足条件は、特定のまとめ情報に、種々のＵＲＬが文脈上バランスよく含まれるか否かを判定する条件である。ここで、不足条件を満たさない場合（ステップＳ１３０７：Ｎｏ）、評価装置１００は、評価処理を終了する。
【０１３１】
一方で、不足条件を満たす場合（ステップＳ１３０７：Ｙｅｓ）、評価装置１００は、まとめ情報管理テーブル４００を参照し、特定のまとめ情報を作成した学習者が使用するクライアント装置２０１に、評価情報を作成して送信する（ステップＳ１３０８）。評価情報は、例えば、まとめ情報に含まれる参照情報が不足していることを示す情報を含んでもよい。
【０１３２】
そして、評価装置１００は、評価処理を終了する。これにより、評価装置１００は、特定のまとめ情報にウェブサイトの情報そのものが含まれていない場合であっても、特定のまとめ情報を評価することができる。このため、評価装置１００は、知的財産権の保護を図りつつ、特定のまとめ情報を評価することができる。その後、評価装置１００は、特定のまとめ情報に対する評価情報を、特定のまとめ情報を作成した学習者に通知し、学習者の学習行為を支援することができる。
【０１３３】
以上説明したように、評価装置１００によれば、複数の情報整理結果１１０のそれぞれの情報整理結果における参照情報の配置に基づいて、当該参照情報のスコアを算出することができる。また、評価装置１００によれば、特定の情報整理結果に含まれる複数の参照情報のそれぞれの参照情報のスコアと、特定の情報整理結果におけるそれぞれの参照情報の配置とに基づいて、特定の情報整理結果に対する評価情報を作成することができる。
【０１３４】
これにより、評価装置１００は、それぞれの参照情報が情報整理結果において何番目に順序付けられることが好ましいかを示す値として扱うことができる、それぞれの参照情報のスコアを算出することができる。そして、評価装置１００は、算出したスコアに基づいて、特定の情報整理結果に引用情報そのものが含まれていない場合であっても、特定の情報整理結果を評価することができるようになる。
【０１３５】
これにより、評価装置１００は、例えば、算出したスコアに基づいて、特定の情報整理結果において参照情報が文脈上好ましい配置になっているか否かを判定することができる。結果として、評価装置１００は、所定のテーマに沿った引用情報を指定する参照情報が、特定の情報整理結果に、好ましい配置で含まれているか否かを評価することができる。
【０１３６】
これにより、評価装置１００は、例えば、算出したスコアに基づいて、所定の配置にあることが好ましい参照情報が、特定の情報整理結果に含まれるか、または、特定の情報整理結果に含まれず不足しているかを判定することができる。結果として、評価装置１００は、特定の情報整理結果が、所定のテーマに沿った引用情報を指定する参照情報を、文脈上バランスよく含んでいるか否かを評価することができる。
【０１３７】
これにより、評価装置１００は、特定の情報整理結果のそれぞれの参照情報のスコアに基づいて、特定の情報整理結果を精度よく評価することができる。評価装置１００は、例えば、特定の情報整理結果のそれぞれの参照情報が、所定のテーマに沿った種々の観点からの引用情報をバランスよく指定しているか否かを評価し、参照情報を文脈上バランスよく含んでいるか否かを評価することができる。
【０１３８】
また、評価装置１００によれば、互いに類似する参照情報を特定することができる。また、評価装置１００によれば、互いに類似する参照情報それぞれについて、その参照情報を含む情報整理結果それぞれにおける、その参照情報の配置に基づいて、その参照情報のスコアを算出することができる。
【０１３９】
これにより、評価装置１００は、参照情報を含む情報整理結果の数が比較的少なく、その参照情報のスコアが、統計学的な信頼性が低いスコアになってしまう可能性を低減することができる。例えば、参照情報を含む情報整理結果が１つである場合、その参照情報のスコアは、その参照情報が情報整理結果において何番目に順序付けられることが好ましいかを示す値として信頼性が低い値になるおそれがある。この場合に、評価装置１００は、互いに類似する参照情報について考慮し、互いに類似する参照情報それぞれが情報整理結果において何番目に順序付けられることが好ましいかを示す値が精度よく算出される可能性を向上させることができる。
【０１４０】
また、評価装置１００によれば、情報整理結果に含まれる参照情報の総数に対する、その情報整理結果における参照情報の順番を示す値の比率に基づいて、その参照情報のスコアを算出することができる。
【０１４１】
これにより、評価装置１００は、それぞれの情報整理結果の参照情報の数が異なる場合であっても、参照情報が情報整理結果において何番目に順序付けられることが好ましいかを示す値を精度よく算出しやすくすることができる。
【０１４２】
これにより、評価装置１００は、例えば、参照情報が４個のうちの２番目にある場合の順番を示す値と、参照情報が１０個のうちの５番目にある場合の順番を示す値とを、同じ番号「２／４＝５／１０＝０．５」を用いて扱うことができる。換言すれば、評価装置１００は、参照情報が、４個のうちの２番目にある場合も、１０個のうちの５番目にある場合も、情報整理結果の真ん中付近に存在するとして扱うことができる。結果として、評価装置１００は、参照情報が情報整理結果の真ん中付近の配置に順序付けられることが好ましいことを示す値を算出することができる。
【０１４３】
また、評価装置１００によれば、特定の情報整理結果における参照情報のスコアと、その参照情報の直前または直後に順序付けた参照情報のスコアとの差分値を算出することができる。また、評価装置１００によれば、算出した差分値と閾値とを比較した結果に基づいて、特定の情報整理結果に対する評価情報を作成することができる。
【０１４４】
これにより、評価装置１００は、差分値を基に、ある参照情報と、その参照情報の直前または直後に順序付けた参照情報との間に、それらの参照情報とは異なる参照情報を順序付けることが好ましい可能性があるか否かを判定することができる。例えば、ある参照情報のスコアが「１」、その参照情報の直後に順序付けた参照情報のスコアが「３」であれば、配置が２番目になることが好ましい参照情報が含まれていない可能性がある。
【０１４５】
これにより、評価装置１００は、算出した差分値が閾値より大きい場合に、評価が低くなるように評価情報を作成することができる。また、評価装置１００は、算出した差分値が閾値より大きい場合に、どの大きさのスコアに対応する参照情報が不足しているかを特定し、どの大きさのスコアに対応する参照情報が不足しているかを示す評価情報を作成してもよい。また、評価装置１００は、ある参照情報の直前または直後に順序付けることが好ましい参照情報を特定し、特定した参照情報を示す評価情報を作成してもよい。
【０１４６】
また、評価装置１００によれば、特定の情報整理結果における参照情報のスコアと、特定の情報整理結果の先頭または末尾を示す基準値との差分値を算出することができる。また、評価装置１００によれば、算出した差分値と閾値とを比較した結果に基づいて、特定の情報整理結果に対する評価情報を作成することができる。
【０１４７】
これにより、評価装置１００は、差分値を基に、ある参照情報と、情報整理結果の先頭または末尾との間に、その参照情報とは異なる参照情報を順序付けることが好ましい可能性があるか否かを判定することができる。例えば、１番目の参照情報のスコアが「２」であれば、特定の情報整理結果の先頭を示す「０」との差分値が大きく、配置が１番目になることが好ましい参照情報が含まれていない可能性がある。
【０１４８】
これにより、評価装置１００は、算出した差分値が閾値より大きい場合に、評価が低くなるように評価情報を作成することができる。また、評価装置１００は、算出した差分値が閾値より大きい場合に、どの大きさのスコアに対応する参照情報が不足しているかを特定し、どの大きさのスコアに対応する参照情報が不足しているかを示す評価情報を作成してもよい。また、評価装置１００は、ある参照情報の直前または直後に順序付けることが好ましい参照情報を特定し、特定した参照情報を示す評価情報を作成してもよい。
【０１４９】
また、評価装置１００によれば、特定の情報整理結果における参照情報のスコアと、その参照情報の配置に対応する基準値との差分値を算出することができる。また、評価装置１００によれば、算出した差分値と閾値とを比較した結果に基づいて、特定の情報整理結果に対する評価情報を作成することができる。
【０１５０】
これにより、評価装置１００は、特定の情報整理結果における参照情報の実際の配置が、その参照情報を順序付けることが好ましい配置とどのくらい離れているかを判定し、その参照情報が好ましい配置になっているかを判定することができる。そして、評価装置１００は、参照情報が好ましい配置になっているかに基づいて、情報整理結果を評価することができる。
【０１５１】
なお、本実施の形態で説明した評価方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本評価プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本評価プログラムは、インターネット等のネットワークを介して配布してもよい。
【０１５２】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０１５３】
（付記１）コンピュータに、
複数の情報整理結果より、前記複数の情報整理結果の少なくともいずれかに含まれる複数の参照情報それぞれについて、前記複数の情報整理結果における配置に基づき算出したスコアをスコア情報に蓄積し、
前記スコア情報を参照して、特定の情報整理結果に含まれる複数の参照情報それぞれのスコアと、前記特定の情報整理結果における前記それぞれの参照情報の配置とに基づいて、前記特定の情報整理結果に対する評価情報を作成する、
処理を実行させることを特徴とする評価プログラム。
【０１５４】
（付記２）前記蓄積する処理は、
第１の参照情報を含む情報整理結果それぞれにおける前記第１の参照情報の配置と、前記第１の参照情報に類似する第２の参照情報を含む情報整理結果それぞれにおける前記第２の参照情報の配置とに基づいて、前記第１の参照情報のスコアを算出する、ことを特徴とする付記１に記載の評価プログラム。
【０１５５】
（付記３）前記蓄積する処理は、
前記第１の参照情報のスコアと同一である前記第２の参照情報のスコアを算出する、ことを特徴とする付記２に記載の評価プログラム。
【０１５６】
（付記４）前記蓄積する処理は、
第３の参照情報を含む情報整理結果それぞれにおける参照情報の総数に対する前記第３の参照情報の順番を示す値の比率に基づいて、前記第３の参照情報のスコアを算出する、ことを特徴とする付記１〜３のいずれか一つに記載の評価プログラム。
【０１５７】
（付記５）前記作成する処理は、
前記特定の情報整理結果に含まれる参照情報について算出したスコアと、当該参照情報の直前または直後に順序付けた参照情報について算出したスコアとの差分値を算出し、算出した前記差分値と閾値とを比較した結果に基づいて、前記特定の情報整理結果に対する評価情報を作成する、ことを特徴とする付記１〜４のいずれか一つに記載の評価プログラム。
【０１５８】
（付記６）前記作成する処理は、
前記特定の情報整理結果に含まれる参照情報について算出したスコアと、前記特定の情報整理結果の先頭または末尾に対応する基準値との差分値を算出し、算出した前記差分値と閾値とを比較した結果に基づいて、前記特定の情報整理結果に対する評価情報を作成する、ことを特徴とする付記１〜５のいずれか一つに記載の評価プログラム。
【０１５９】
（付記７）前記作成する処理は、
前記特定の情報整理結果に含まれる参照情報について算出したスコアと、前記特定の情報整理結果における当該参照情報の配置に対応する基準値との差分値を算出し、算出した前記差分値と閾値とを比較した結果に基づいて、前記特定の情報整理結果に対する評価情報を作成する、ことを特徴とする付記１〜４のいずれか一つに記載の評価プログラム。
【０１６０】
（付記８）コンピュータが、
複数の情報整理結果より、前記複数の情報整理結果の少なくともいずれかに含まれる複数の参照情報それぞれについて、前記複数の情報整理結果における配置に基づき算出したスコアをスコア情報に蓄積し、
前記スコア情報を参照して、特定の情報整理結果に含まれる複数の参照情報それぞれのスコアと、前記特定の情報整理結果における前記それぞれの参照情報の配置とに基づいて、前記特定の情報整理結果に対する評価情報を作成する、
処理を実行することを特徴とする評価方法。
【０１６１】
（付記９）複数の情報整理結果より、前記複数の情報整理結果の少なくともいずれかに含まれる複数の参照情報それぞれについて、前記複数の情報整理結果における配置に基づき算出したスコアをスコア情報に蓄積し、
前記スコア情報を参照して、特定の情報整理結果に含まれる複数の参照情報それぞれのスコアと、前記特定の情報整理結果における前記それぞれの参照情報の配置とに基づいて、前記特定の情報整理結果に対する評価情報を作成する、
制御部を有することを特徴とする評価装置。
【符号の説明】
【０１６２】
１００  評価装置
２００  評価システム
２０１  クライアント装置
２１０  ネットワーク
３００  バス
３０１  ＣＰＵ
３０２  メモリ
３０３  ネットワークＩ／Ｆ
３０４  ディスクドライブ
３０５  ディスク
３０６  記録媒体Ｉ／Ｆ
３０７  記録媒体
４００  まとめ情報管理テーブル
５０１  記憶部
５０２  取得部
５０３  算出部
５０４  作成部
５０５  出力部
６００，１２００  まとめ情報
６１１〜６１４  参照情報
８００  表
【図１】
2018073294.tif 000003
【図２】
2018073294.tif 000004
【図３】
2018073294.tif 000005
【図４】
2018073294.tif 000006
【図５】
2018073294.tif 000007
【図６】
2018073294.tif 000008
【図７】
2018073294.tif 000009
【図８】
2018073294.tif 000010
【図９】
2018073294.tif 000011
【図１０】
2018073294.tif 000012
【図１１】
2018073294.tif 000013
【図１２】
2018073294.tif 000014
【図１３】
2018073294.tif 000015