(57)【要約】  他のコンテンツに言及している文書について、評価者や他の作成物を利用することなく、文書作成者が文書を書く過程での検討度を推定する。参照先特定手段２１によって評価対象文書の記述から評価対象文書を作成する際に文書作成者により参照された参照先文書を特定する。操作情報取得手段２２により文書作成者が参照先文書を閲覧してから評価対象文書を書くまでの操作内容を取得する。評価指標算出手段２３で文書作成者の操作から検討が十分な文書かどうかを示す評価指標を算出する。なお、上記操作内容に代えて、文書作成者が参照先文書を閲覧してから当該評価対象文書を書くまでの時間を用いることもできる。（図２）
2009078397.tif 000002
【特許請求の範囲】
【請求項１】
評価対象の文書（以下、「評価対象文書」）を作成する際に前記評価対象文書の作成者が行った操作に関する情報（以下、「操作情報」）を取得する操作情報取得手段と、
前記操作情報のうち、前記評価対象文書内で記述されている他の文書である参照先文書を閲覧するために行った閲覧操作に関する情報に基づいて、評価対象文書の評価指標を算出する評価指標算出手段と、
を備え、
他の文書に関する記述を含む文書を評価する報評価システム。
【請求項２】
前記参照先文書がテキストデータ、音声データ、映像データ、あるいはこれら複数の組み合わせからなるマルチメディアデータであることを特徴とする請求項１に記載の情報評価システム。
【請求項３】
前記操作情報取得手段は、前記作成者が操作を行った時間を示す時間情報を取得し、
前記評価指標算出手段は、前記閲覧操作を行った時間の情報に基づいて、評価対象文書の評価指標を算出する請求項１または２に記載の情報評価システム。
【請求項４】
前記操作情報取得手段は、
前記作成者が、前記参照先文書を閲覧した閲覧日時を取得する閲覧日時取得手段と、
前記評価対象文書の完成日時又は発信日時を取得する発信日時取得手段と、を含んで構成され、
前記評価指標算出手段は、前記閲覧日時と前記完成日時、又は、前記閲覧日時と前記発信日時の時間間隔に基づいて評価対象文書の評価指標を算出する請求項１乃至３いずれか一に記載の情報評価システム。
【請求項５】
前記閲覧日時取得手段は、前記参照先文書の記載内容から、前記作成者が前記参照先文書を閲覧した閲覧日時を取得する請求項４に記載の情報評価システム。
【請求項６】
前記閲覧日時取得手段は、前記参照先文書へのアクセス履歴から、前記作成者が前記参照先文書を閲覧した閲覧日時を取得する請求項４に記載の情報評価システム。
【請求項７】
前記発信日時取得手段は、前記評価対象文書の記載内容から、前記評価対象文書の発信日時を取得する請求項４に記載の情報評価システム。
【請求項８】
前記発信日時取得手段は、前記評価対象文書への操作履歴から、前記評価対象文書の発信日時を取得する請求項４に記載の情報評価システム。
【請求項９】
前記評価指標算出手段は、前記閲覧日時と前記完成日時、又は、前記閲覧日時と前記発信日時の時間間隔と、前記時間間隔の間に行われた前記作成者の操作内容に基づいて評価対象文書の評価指標を算出する請求項４乃至８いずれか一に記載の情報評価システム。
【請求項１０】
更に、前記評価対象文書の記載から、前記参照先文書を特定する参照先特定手段を備える請求項１乃至９いずれか一に記載の情報評価システム。
【請求項１１】
前記参照先特定手段は、前記評価対象文書の記載中のリンク先の情報により、前記参照先文書を特定する請求項１０に記載の情報評価システム。
【請求項１２】
前記評価指標算出手段は、前記参照先文書と参照、被参照、類似の関係にあり、かつ前記作成者が閲覧した関連文書への閲覧操作に関する情報に基づいて、評価対象文書の評価指標を算出する請求項１乃至１１いずれか一に記載の情報評価システム。
【請求項１３】
前記評価指標算出手段は、前記参照先文書で用いられている用語について、前記作成者が辞書検索若しくはキーワード検索を行った回数又は前記各検索結果の閲覧操作に関する情報に基づいて、前記評価対象文書の評価指標を算出する請求項１乃至１２いずれか一に記載の情報評価システム。
【請求項１４】
任意の検索条件により、情報検索を行う検索手段と接続され、
前記検索手段による検索結果に含まれる文書に対して、前記評価指標を算出し、前記評価指標を付した検索結果を出力する請求項１乃至１３いずれか一に記載の情報評価システム。
【請求項１５】
前記評価指標により、検索結果の並び替え又はフィルタリングを行う請求項１４に記載の情報評価システム。
【請求項１６】
コンピュータを用いた文書の評価方法であって、
評価対象の文書（以下、「評価対象文書」）を作成する際に前記評価対象文書の作成者が行った操作に関する情報（以下、「操作情報」）を取得し、
前記操作情報のうち、前記評価対象文書内で記述されている他の文書である参照先文書を閲覧するために行った閲覧操作に関する情報に基づいて、評価対象文書の評価指標を算出することを特徴とする文書の評価方法。
【請求項１７】
前記参照先文書がテキストデータ、音声データ、映像データ、あるいはこれら複数の組み合わせからなるマルチメディアデータであることを特徴とする請求項１６に記載の文書の評価方法。
【請求項１８】
前記作成者が行った操作に関する情報として、前記作成者が操作を行った時間を示す時間情報を取得し、
前記閲覧操作を行った時間の情報に基づいて、評価対象文書の評価指標を算出する請求項１６または１７に記載の文書の評価方法。
【請求項１９】
前記作成者が行った操作に関する情報として、前記作成者が前記参照先文書を閲覧した閲覧日時と、前記評価対象文書の完成日時又は発信日時とをそれぞれ取得し、
前記閲覧日時と前記完成日時、又は、前記閲覧日時と前記発信日時の時間間隔に基づいて評価対象文書の評価指標を算出する請求項１６乃至１８いずれか一に記載の文書の評価方法。
【請求項２０】
更に、前記評価対象文書の記載中のリンク先の情報により、前記参照先文書を特定するステップを含む請求項１６乃至１９いずれか一に記載の文書の評価方法。
【請求項２１】
前記参照先文書と参照、被参照、類似の関係にあり、かつ前記作成者が閲覧した関連文書への閲覧操作に関する情報に基づいて、評価対象文書の評価指標を算出する請求項１６乃至１９いずれか一に記載の文書の評価方法。
【請求項２２】
前記参照先文書で用いられている用語について、前記作成者が辞書検索若しくはキーワード検索を行った回数又は前記各検索結果の閲覧操作に関する情報に基づいて、前記評価対象文書の評価指標を算出する請求項１６乃至１９いずれか一に記載の文書の評価方法。
【請求項２３】
文書の評価指標を出力する情報評価システムを構成するコンピュータに実行させるプログラムであって、
評価対象の文書（以下、「評価対象文書」）を作成する際に前記評価対象文書の作成者が行った操作に関する情報（以下、「操作情報」）を取得する処理と、
前記操作情報のうち、前記評価対象文書内で記述されている他の文書である参照先文書を閲覧するために行った閲覧操作に関する情報に基づいて、評価対象文書の評価指標を算出する処理と、を前記コンピュータに実行させるプログラム。
【請求項２４】
前記参照先文書がテキストデータ、音声データ、映像データ、あるいはこれら複数の組み合わせからなるマルチメディアデータであることを特徴とする請求項２３に記載のプログラム。
【請求項２５】
前記作成者が行った操作に関する情報として、前記作成者が操作を行った時間を示す時間情報を取得し、
前記閲覧操作を行った時間の情報に基づいて、評価対象文書の評価指標を算出する請求項２３または２４に記載のプログラム。
【請求項２６】
前記作成者が行った操作に関する情報として、前記作成者が前記参照先文書を閲覧した閲覧日時と、前記評価対象文書の完成日時又は発信日時とをそれぞれ取得し、
前記閲覧日時と前記完成日時、又は、前記閲覧日時と前記発信日時の時間間隔に基づいて評価対象文書の評価指標を算出する請求項２３乃至２５いずれか一に記載のプログラム。
【請求項２７】
更に、前記評価対象文書の記載中のリンク先の情報により、前記参照先文書を特定する処理を前記コンピュータに実行させる請求項２３乃至２６いずれか一に記載のプログラム。
【請求項２８】
前記参照先文書と参照、被参照、類似の関係にあり、かつ前記作成者が閲覧した関連文書への閲覧操作に関する情報に基づいて、評価対象文書の評価指標を算出する請求項２３乃至２７いずれか一に記載のプログラム。
【請求項２９】
前記参照先文書で用いられている用語について、前記作成者が辞書検索若しくはキーワード検索を行った回数又は前記各検索結果の閲覧操作に関する情報に基づいて、前記評価対象文書の評価指標を算出する請求項２３乃至２８いずれか一に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の記載］
本発明は、日本国特許出願：特願２００７−３２７４９１号（２００７年１２月１９日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は情報評価システム、情報評価方法および情報評価用プログラムに関し、特に、複数の文書を比較する際の尺度となる文書の評価指標を出力する情報評価システム、情報評価方法および情報評価用プログラムに関する。
【背景技術】
【０００２】
これまで、文書が有用であるかどうかを推定するために、人間による評価や、他の作成物から得られる指標を利用している例がある。【０００３】
非特許文献１では、あるＷＥＢページを他のＷＥＢページからのリンクの存在によってスコアを計算し、重要なページをランキングしている。本方法は、多くの人が注目していると言う観点でスコアを計算するものであるため、ニュースを紹介するだけの記事や、誤解に基づく記事も上位に登場することがある。【０００４】
特許文献１では、文章に対して、情報提供者の発言者としての評価と、評価者としての評価を行い、これら２つの評価に基づいて、人手による文書の評価を行っている。【０００５】
また、特許文献２では、文書中の単語の出現回数から文書の専門度を判定している。【０００６】
一方、文書の閲覧者の操作を取得する技術に特許文献３がある。特許文献３ではパソコン上でのユーザの活動を監視し活動履歴を作成している。【０００７】
【特許文献１】特開２００４−３４１６２４号公報
【特許文献２】特開２００７−１４０７２１号公報
【特許文献３】特開２００６−２４３８６１号公報
【非特許文献１】Sergey Brin and Lawrence Page, The Anatomy of a Large-Scale HypertextualWeb Search Engine, WWW7, Australia, Computer Networks 30(1-7) :pp.107-117,Apr. 1998.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
なお、上記特許文献及び非特許文献の全開示内容はその引用をもって本書に繰込み記載する。以下の分析は、本発明によって与えられたものである。
ところで、文書には、他の文書（以下、「他の文書」を「参照先文書」という。本明細書の「参照先文書」には、テキストデータ、音声データ、映像データ、あるいはこれら複数の組み合わせからなるマルチメディアデータが含まれるものとする。）に触れて、自分の意見を述べた文書がある。インターネット等のブログ（Ｗｅｂｌｏｇ）や掲示板において、この種の文書が数多く公開されている。【０００９】
特にブログや掲示板の記事のような発信が容易なメディアでは、十分な検討の後書かれたものがある一方、自分のためのメモ書きや、短絡的な思い込みによる批判など検討が不十分な文書も多い。【００１０】
文書を読む側としては、検討が不十分な検討度の低い文書は、信頼の置けない文書と考えられるため、読む価値のない文書として排除したい場合がある。また、感想文やレポート等においては、参照先文書の検討が十分になされているか否かが一つの評価尺度となる。【００１１】
また、データマイニング分野で大量の文書を統計的に扱う場合でも、検討が不十分で参考にならない意見が書かれた文書をあらかじめ取り除くことができれば、より精度の高い分析結果を得ることができる可能性がある。【００１２】
一方、検討度の低い文書も一概に排除すれば良いというものではなく、文書作成者の直感により記述されたものであるゆえに、第一印象や先入観等を得る場合などに有用である。【００１３】
そこで、評価対象とする文書（以下、「評価対象文書」という。）における参照先文書の検討度を判別することができれば、文書を読む側の要望に応じた文書の選択が可能となるが、上記した非特許文献１、特許文献１、特許文献２の技術のいずれをもってしても文書作成の過程で文書作成者がどの程度文書を検討したかについて考慮した評価指標を得ることは不可能である。【００１４】
例えば、非特許文献１および特許文献１の方法は、他者にとっての文章の重要度の評価であり、また、新規情報や閲覧者が少ない情報は、一律に低い評価となってしまう。【００１５】
特許文献２の方法は文章の表記による評価であるため、発信者が文章を書く過程でどう検討したかを考慮していない。【００１６】
本発明の目的は、参照先文書をよく検討して書かれた文書であるか否かの尺度となる評価指標を提示できる情報評価システム、情報評価方法および情報評価用プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
本発明の第１の視点によれば、他の文書に関する記述を含む文書を評価対象文書として評価する情報評価システムであって、前記評価対象文書を作成する際に前記評価対象文書の作成者が行った操作に関する情報（操作情報）を取得する操作情報取得手段と、前記操作情報のうち、前記評価対象文書内で記述されている他の文書である参照先文書を閲覧するために行った閲覧操作に関する情報に基づいて、評価対象文書の評価指標を算出する評価指標算出手段と、を備える情報評価システムが提供される。【００１８】
本発明の第２の視点によれば、評価対象文書を作成する際に前記評価対象文書の作成者が行った操作に関する情報（操作情報）を取得し、前記操作情報のうち、前記評価対象文書内で記述されている他の文書である参照先文書を閲覧するために行った閲覧操作に関する情報に基づいて、評価対象文書の評価指標を算出することを特徴とする文書の評価方法が提供される。【００１９】
本発明の第３の視点によれば、評価対象文書を作成する際に前記評価対象文書の作成者が行った操作に関する情報（操作情報）を取得する処理と、前記操作情報のうち、前記評価対象文書内で記述されている他の文書である参照先文書を閲覧するために行った閲覧操作に関する情報に基づいて、評価対象文書の評価指標を算出する処理と、を前記コンピュータに実行させるプログラムが提供される。
【発明の効果】
【００２０】
本発明によれば、ある文書が、参照先文書の内容を十分検討した上で作成されたかどうかを示す評価指標を得ることができる。【００２１】
その理由は、文書の作成に要された時間や作成者の操作内容から、文書作成者における参照先文書の検討度を推定する構成を採用したためである。【００２２】
また、本発明によれば、他の評価者や他者による作成物を利用せずに文書の評価が可能となる。【００２３】
その理由は、リンクの多寡や他人の評価に代えて、評価対象文書の作成に要された時間や作成者の操作内容を用いて対象文書の評価を行う構成を採用したためである。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】本発明の第２の実施形態の構成を示すブロック図である。
【図３】本発明の第２の実施形態の動作を示すフローチャートである。
【図４】本発明の第３の実施形態の構成を示すブロック図である。
【図５】本発明の第３の実施形態の動作を示すフローチャートである。
【図６】本発明の第４の実施形態の構成を示すブロック図である。
【図７】本発明の第４の実施形態の動作を示すフローチャートである。
【図８】本発明の第５の実施形態の構成を示すブロック図である。
【符号の説明】
【００２５】
１    入力装置
２    データ処理装置
３    文書データベース（文書ＤＢ）
４    操作記録データベース（操作記録ＤＢ）
５    操作内容記録手段
６    検索装置
７    出力装置
８    記録装置
２１、４２１    参照先特定手段
２２    操作情報取得手段
２３、４２４    評価指標算出手段
４０    コンピュータ
４１    検索システム
４２    情報評価システム
５０    ユーザ端末
５１    ＷＥＢブラウザ
８１    閲覧履歴データベース
８２    発信履歴データベース
２２１、４２２    発信日時取得手段
２２２、４２３    閲覧日時取得手段
３００    インターネット
【発明を実施するための最良の形態】
【００２６】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。【００２７】
［第１の実施形態］
図１は、本発明の第１の実施形態の構成を示したブロック図である。図１を参照すると、評価対象文書及びこれらの文書に記載されている参照先文書を格納する文書データベース（文書ＤＢ）３と、発信日時取得手段２２１と、閲覧日時取得手段２２２と、評価指標算出手段２３とを備えるデータ処理装置と、が示されている。【００２８】
発信日時取得手段２２１は、評価対象文書の完成日時又は発信日時を発信日時情報として取得する手段である。具体的には、評価対象文書の更新履歴から得られる最終更新日時を文書の完成日時として発信日時情報を取得してもよいし、公開日時、あるいは、評価対象文書の作成者の操作記録（操作履歴）から評価対象文書の発信日時を求めて発信日時情報を取得してもよい。公開日時を発信日時情報として取り扱うことができる理由は、文書の作成者以外の者によって確認が行われた後に文書が公開されるような場合、公開までの時間も検討が行われていると考えることができるからである。【００２９】
閲覧日時取得手段２２２は、評価対象文書において記載されている参照先文書が、文書作成者により閲覧された日時を取得する手段である。具体的には、参照先文書のアクセス履歴や公開日時、あるいは、評価対象とする文書の作成者の操作記録から参照先文書が閲覧された日時を求めることができる。【００３０】
また、文書ファイルのタイムスタンプを記録するファイルシステムを発信日時取得手段２２１及び閲覧日時取得手段２２２とすることもできる。【００３１】
また、ＨＴＴＰサーバ等の文書公開システムのアクセス記録を発信日時取得手段２２１及び閲覧日時取得手段２２２とすることもできる。この種のシステムの例としては、社内システムや、インターネット上のコミュニティに限定された情報公開システムであって、文書の作成および閲覧が常にシステムにログインした利用者によって行われるシステムが挙げられる。【００３２】
評価指標算出手段２３は、発信日時取得手段２２１及び閲覧日時取得手段２２２により取得した前記閲覧日時と前記完成日時または発信日時の時間間隔に基づいて、評価対象文書を評価するための評価指標を算出して提示する。例えば、評価対象文書（文書Ｂ、文書Ｃ）がそれぞれ言及している参照先文書（文書Ａ）の閲覧時間、参照先文書（文書Ａ）を閲覧してから評価対象文書（文書Ｂ）を作成・保存（公開）するまで時間の長短等により、評価指標を算出する。参照先文書（文書Ａ）の閲覧時間や参照先文書（文書Ａ）を閲覧してから評価対象文書（文書Ｂ）を作成・保存（公開）するまでの時間は、参照先文書を検討した時間にほぼ比例すると考えられるためである。【００３３】
なお、発信日時取得手段２２１、閲覧日時取得手段２２２および評価指標算出手段２３は、データ処理装置を構成するコンピュータに上記した処理動作を実行させるプログラムによって実現することができる。【００３４】
本システムのユーザは、上記のようにして提示された評価指標を参照することにより、評価対象文書（文書Ｂ、文書Ｃ）の作成者の、参照先文書（文書Ａ）の検討度を判別することが可能となる。【００３５】
［第２の実施形態］
続いて、上記作成日時と閲覧日時の時間間隔に代えて、文書作成者の操作内容から参照先文書の検討度を推定する本発明の第２の実施形態について説明する。図２は、本発明の第２の実施の形態の構成を示すブロック図である。【００３６】
図２を参照すると、本発明の第２の実施形態の情報評価システムは、入力装置１と、データ処理装置２と、を含んで構成される。【００３７】
データ処理装置２は、参照先特定手段２１と操作情報取得手段２２と評価指標算出手段２３とを含む。また、データ処理装置２は、文書データベース（文書ＤＢ）３、および操作記録データベース（操作記録ＤＢ）４からデータを取得できる。【００３８】
これらの手段はそれぞれ概略つぎのように動作する。【００３９】
入力装置１は、参照先文書に言及した評価対象文書の指定を受け付ける。【００４０】
参照先特定手段２１は、後述する方法により、評価対象文書の作成の際に文書作成者が参照した参照先文書を特定する。【００４１】
文書ＤＢ３は、文書を蓄積するデータベースである。文書を蓄積するデータベースに代えて、インターネット上の文書やファイルシステム上の文書を用いることもできる。【００４２】
評価対象文書から参照先文書を特定する方法としては、評価対象文書の文中のリンク先や文中のＵＲＩ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）等を抽出する方法を用いることができる。【００４３】
また、評価対象文書の文中に明示的に参照先文書が記載されていない場合であっても、評価対象文書を掲載するＷＥＢページの構造や、そのＵＲＬ等の情報から、参照先文書を特定することも出来る。例えば、ブログの記事に対するコメントを評価する場合、記事とコメントが同一のＷＥＢページにあり、記事がＷＥＢページの先頭から始まっていることから、コメントの参照先文書が該当記事であると特定できる。【００４４】
また、評価対象文書から引用部分を抽出して、引用部分の文字列によって同一表現の検索や類似検索をすることにより、参照先文書を特定することもできる。引用部分はＨＴＭＬのｑ要素、ｂｌｏｃｋｑｕｏｔｅ要素のような引用を示すタグや、鉤括弧で囲まれた箇所、または引用を示す「〜と書かれている」のような文書表現を利用すればよい。【００４５】
引用部分の文字列から参照先文書を検索する場合、文章中の引用部分について言及している箇所から、当該参照先文書の出典を示す発信者名、会社名、発信日時、ニュース記事である等の参照先文書の属性・種類を用いて、評価対象文書の参照先文書を絞り込むこともできる。また、評価対象文書中の引用元を示す表現である、例えば、「新聞によると」、「週刊誌によると」といった引用元指定表現を参照することによっても参照先文書を決定することができる。文字列検索と引用元指定表現の両方を利用することもできる。【００４６】
なお、ここで、特定される参照先文書は、評価対象文書と同様に文書ＤＢ３に登録された文書はもちろん、別のデータベースに蓄積された文書であってもよい。また、インターネット上のＷＥＢページ等であってもよい。【００４７】
また、入力装置１より、参照先文書を直接指定できる構成も採用可能であり、その場合、参照先特定手段２１を省略することができる。参照先文書を直接指定できるようにする場合であっても、参照先特定手段２１を備えることで、評価対象文書内に記述がある他の参照先文書を抽出することが可能となる。【００４８】
次に、操作情報取得手段２２は、操作記録ＤＢ４から、評価対象文書の作成者の操作内容を取得する。【００４９】
評価対象文書の作成者の操作内容としては、前記参照先文書に関する操作内容のみならず、当該参照先文書に対して参照先文書の関係にある文書、参照先文書に類似する文書、その他の関連文書の閲覧を含む、評価対象文書の作成、公開に至る、表示操作、文字列の編集操作、等の操作の全部または一部を用いることができる。【００５０】
評価対象文書の作成者の操作内容は、当該操作内容によりアクセスする文書、アクセスするサーバに関する情報を含んでよい。また、評価対象文書の作成者の操作内容には、各操作を行った開始日時、終了日時、および継続時間を含んでもよい。【００５１】
また、参照先文書の閲覧日時と評価対象文書の発信日時（あるいは、最終更新日時）のみを、評価対象文書の作成者の操作内容とすることもできる。【００５２】
操作内容記録手段５は、評価対象となる文書を作成するユーザの操作内容を監視し、操作記録ＤＢ４に記録する手段であり、例えば、特許文献３に記載の技術を用いることができる。なお、上記引用をもって、上記特許文献３の全開示内容は本書に繰込み記載されたものとする。【００５３】
操作内容記録手段５としては、その他既知のオペレーティングシステムの操作を記録するシステムや、ＷＥＢブラウザの操作や閲覧履歴を記録するシステムや、文書管理システムの操作を記録するシステムを用いることもできる。【００５４】
また、操作記録ＤＢ４及び操作内容記録手段５は本情報評価システムと同一のコンピュータ（図２のデータ処理装置２）にあってもよく、評価対象作成者のコンピュータにあってもよく、参照先文書を公開するコンピュータにあってもよく、評価対象文書を公開するコンピュータにあってもよく、ネットワークに繋がった別のコンピュータにあってもよい。【００５５】
また、操作記録ＤＢ４は、１つまたは複数のデータベースから構成されてもよい。【００５６】
操作内容記録手段５が評価対象文書作成者の操作内容を取得する時間的な範囲は、例えば、文書作成者が参照先文書を閲覧した日時（閲覧日時）から評価対象文書を完成・発信した日時（完成日時／発信日時）までの操作内容とすることができる。この場合、評価対象文書作成者が参照先文書を検討した時間の操作内容のみが後記評価指標算出手段２３に送られることになる。【００５７】
また、評価対象文書作成者が参照先文書を閲覧した日時を特定できない場合には、参照先文書が発行された日時から評価対象文書作成者が文書を完成又は発信するまでの操作内容を評価指標算出手段２３に送ることとしてもよい。【００５８】
また、参照先文書が発行された日時を特定できない場合には、評価対象文書の作成開始日時からあらかじめ設定した一定時間前までの操作内容を評価指標算出手段２３に送ることとしてもよい。参照先文書の参照は、発信文書の作成開始時点から一定時間を超えて行われることは無いため、参照先文書の閲覧操作が含まれると考えられるためである。【００５９】
評価指標算出手段２３は、操作情報取得手段２２で取得した発信者の操作内容から、文書の検討度を表す評価指標を算出する。【００６０】
ここで、本発明より派生する文書作成者の操作内容に基づく文書の評価方法について説明する。【００６１】
例えば、前記評価指標の値は、参照先文書、参照先文書に対し参照先文書の関係にある文書、参照先文書に類似する文書、あるいはその他の文書（参照先文書と一定関係にある文書群、これらを「関連文書」と定義する。）の全部または一部に対して、評価対象文書作成者がアクセスしたページの数から求めることができる（派生方法１）。同様に、評価対象文書作成者による前記各参照先文書へのアクセス頻度の合計から前記評価指標の値を求めることもできる。また、評価対象文書作成者が前記各参照先文書の閲覧操作を行っていた時間の合計から前記評価指標の値を求めることもできる。これらの場合も、評価指標の値が大きいほど、よく検討されたものとして検討度を推定してよい。これは検討のため多くの他の文書を多くの時間参照したと考えられるためである。【００６２】
また例えば、前記評価指標の値は、評価対象文書中で用いられている用語について、評価対象文書作成者がインターネット上の検索エンジンや文書データベースや辞書データベースに対して検索を実行した回数、および検索して見つけた文書にアクセスした数から算出することもできる（派生方法２）。この場合は、評価指標の値が大きいほど、よく検討されたものとして検討度を推定してよい。これは検討のため多くの検索を行ったと考えられるためである。【００６３】
また例えば、前記評価指標の値は、評価対象文書の作成において、前記操作内容を取得する時間的な範囲で行われた、単位時間当たり（例：１分）の文書の変更量が少量になってから、保存・発信が行われるまでの時間から算出することもできる。この場合は、評価指標の値が大きいほど、よく検討されたものとして検討度を推定してよい。これは、文書をほとんど変更せずにいる時間は、評価対象文書作成者が、文書の見直し等を行っていると考えられるからである（派生方法３）。【００６４】
また、前記評価指標の値は、前記操作内容を取得する時間的な範囲において、特定の操作内容が行われた回数により算出することもできる。例えば、評価対象文書の作成過程において、一度記述した箇所に対する修正操作の回数やスクロール操作の継続時間により評価指標を算出することができる（派生方法４）。これは、文書の記述後に見直しをして修整を行っていると考えられるためである。【００６５】
また例えば、前記評価指標の値は、上記した複数の方法を組み合わせた計算によって求めることもできる。その際に、一定の条件を満たすか否かにより、算出方法を切り替えることとしてもよい。例えば、評価対象文書の閲覧時間によって求めた評価指標の値と、アクセスした参照先文書の数による評価指標の値を掛け合わせても良いし、各評価対象文書の閲覧時間に、各評価対象文書の重要度を掛けた値の合計としてもよい。【００６６】
このように算出された評価指標をあらかじめ設定した閾値と比較して、層別することにより、例えば、検討したか否かの２値の検討度、３値以上の検討度を得ることができる。さらに、検討度は、検討作業を行ったほど大きく、行っていないほど小さい数値として表してよいし、検討作業を行ったほど小さく、行っていないほど大きい数値として表してもよい。【００６７】
また、評価指標の値をそのまま検討度として出力することもできる。その場合、例えば０以上１以下の数値に正規化してもよいし、しなくてもよい。【００６８】
次に、図２および図３を参照して、本発明の第２の実施形態の動作について詳細に説明する。【００６９】
まず、入力装置１から評価対象となる文書が指定される（ステップＳ００１）。ここで、評価対象文書の指定は、文書そのものを入力することで行われることとしても良いし、文書番号やＵＲＩ等の文字列による指定でもよい。文字列による指定の場合、文書ＤＢ３から評価対象文書を取得できるものとする。【００７０】
次に、参照先特定手段２１によって、参照先文書が特定される（ステップＳ００２）。ここで、入力装置１から特定された参照先文書の指定を受け付けることとしても良い。【００７１】
次に、操作情報取得手段２２によって、操作記録ＤＢ４から、評価対象文書作成者が評価対象文書を発信するまでの操作内容を取得する（ステップＳ００３）。【００７２】
次に、評価指標算出手段２３で、操作情報取得手段２２で取得した発信者の操作内容に基づき文書の検討度を示す評価指標が算出される（ステップＳ００４）。【００７３】
次に、本実施形態の効果について説明する。【００７４】
本実施形態によれば、上記のようにして文書作成者の操作内容を分析して算出された評価指標により、評価対象文書が、参照先文書を十分検討して作成された文書か、あるいは直感で書かれた文書かを判別することが可能となる。【００７５】
また、上記した評価指標は、評価対象文書作成者の操作内容のみを利用して、算出できるように構成されているため、他者による評価情報無しに評価対象文書を評価することが可能となる。【００７６】
［第３の実施形態］
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。【００７７】
図４は、本発明の第３の実施形態の構成を示すブロック図である。第３の実施形態は、操作情報取得手段２２が、発信日時取得手段２２１と閲覧日時取得手段２２２とに置き換えられている点、操作記録ＤＢ４及び操作内容記録手段５が省略されている点で、図２に示す第２の実施形態と異なっている。【００７８】
発信日時取得手段２２１は、評価対象文書から、評価対象文書の発信日時情報として、完成日時または発信日時を抽出する。完成日時の例としては、評価対象文書に記載された作成日が挙げられる。また、発信日時としては、評価対象文書の公開日時が挙げられる。【００７９】
また、発信日時情報として、評価対象文書が検索エンジンの検索インデックスやデータベースに登録されて閲覧可能になった時間を代替として用いても良い。この場合、評価対象文書やその作成者の操作を直接監視すること無しに、発信日時情報を取得できる。例えば、文書ＤＢ３のアクセス記録から評価対象文書の登録日時を取得することができる。【００８０】
閲覧日時取得手段２２２は、評価対象文書又は参照先文書から、評価対象文書作成者が参照先文書を閲覧した日時である閲覧日時情報を抽出する。ここで、閲覧日時情報は発信文書の評価対照文書作成者が実際に参照先文書を閲覧した日時でも良いし、参照先文書の発行日時、または参照先文書の更新日時を実際の閲覧日時の代わりとして用いてもよい。【００８１】
閲覧日時情報は、参照先文書に対する閲覧要求操作を記録するシステムや参照先文書へのアクセス履歴などから別途取得しても良い。この構成の場合、評価対象文書やその作成者の操作を直接監視すること無しに、閲覧日時情報を取得できる。例えば、評価対象文書作成者が文書ＤＢ３に格納されている参照先文書に言及して評価対象文書を作成している場合、文書ＤＢ３のアクセス記録から評価対象文書作成者による参照先文書の閲覧日時を取得することができる。【００８２】
次に、図４および図５を参照して、本発明の第３の実施形態の動作について詳細に説明する。【００８３】
図５のステップＳ１１０〜Ｓ１２０の動作は、それぞれ第２の実施形態の動作を表した図３のステップＳ００１、Ｓ００２と同じであるため、説明を省略する。【００８４】
発信日時取得手段２２１が、評価対象文書から発信日時情報を抽出する（ステップＳ１３１）。【００８５】
閲覧日時取得手段２２２が、評価対象文書又は参照先文書から閲覧日時情報を抽出する（ステップＳ１３２）。【００８６】
次に、評価指標算出手段２３が、上記発信日時情報と閲覧日時情報から、評価対象文書の検討度を２値により表す評価指標を算出する。【００８７】
まず、評価指標算出手段２３は、上記閲覧日時情報と発信日時情報から両者の時間間隔を求める（ステップＳ１４１）。上記時間間隔は閲覧日時情報の日時から発信日時情報の日時を引いて求めた時間長でよい。【００８８】
次に、評価指標算出手段２３は、時間間隔をあらかじめ設定した閾値と比較する（ステップＳ１４２）。【００８９】
前記比較の結果、時間間隔が閾値以上であれば、評価指標算出手段２３は、よく検討されている文書であると判定・出力する（ステップＳ１４３）。逆に、時間間隔が閾値未満であれば、評価指標算出手段２３は、あまり検討されていない文書であると判定・出力する（ステップＳ１４４）。【００９０】
なお、参照先文書が複数ある場合は、ステップＳ１２０の参照先抽出時に、すべて、または一部の参照先を抽出して、抽出した閲覧日時情報から最も新しい閲覧日時情報を選択して利用しても良い。【００９１】
また、複数の参照先文書のすべて、または一部の閲覧日時情報から最も古い閲覧日時情報を選択して利用しても良い。【００９２】
また、評価対象文書における引用の量や、それに続く記述の量などから、主要な参照先文書を判定し、当該参照先文書に対する閲覧日時情報を求めて用いても良い。【００９３】
なお、上記した実施形態では、２値の評価指標を出力するものとして説明したが、３値以上の値でも良い。その場合、評価指標算出手段２３は、複数の閾値を用いて複数の値に分類することとなる。【００９４】
また、評価指標は実数値でも良い。その場合、評価指標算出手段２３は、時間間隔をそのまま検討度としても良いし、正規化しても良い。【００９５】
本実施形態によれば、評価対象文書作成者の操作内容を直接監視すること無しに、評価対象文書を評価することが可能となる。【００９６】
［第４の実施形態］
次に、本発明の第４の実施形態について図面を参照して詳細に説明する。【００９７】
図６は、本発明の第４の実施形態の構成を示すブロック図である。本発明の第４の実施形態は、上記した第２の実施形態の構成に、検索装置６と、出力装置７とが追加されている点が異なっている。【００９８】
入力装置１には、検索装置６による検索結果である複数の文書が入力される。【００９９】
検索装置６は、インターネット上の文書や文書データベースの文書を対象とするものでよい。例えば、検索装置６は、検索語により、検索語を含む文書を１つまたは複数ランキングしてリストアップした検索結果を入力装置１に入力する。【０１００】
また、検索装置６において、いずれかの文書に関する記述を含む文書のみが検索結果に表れるよう検索条件を設定しても良い。【０１０１】
また、ある特定の文書を検索条件として設定して、その文書に言及している（その文書に関する記載がある）文書を参照先文書として収集するものでも良い。この場合、特定の文書に関する記述を含む文書のみ検索結果として収集することができる。【０１０２】
出力装置７は、各文書について算出された評価指標の値を付記し、あるいは、評価指標の値を用いて並び替え、フィルタリングを行った検索結果を出力する。これによりユーザは、内容が十分検討された文書か否かという基準で、閲覧対象とする文書を選択できる。【０１０３】
また、検討度を検索結果のランキングに反映した表示を行っても良い。この場合、十分検討された文書をランキングの上位に登場させることによって、利用者は十分検討された文書を優先して閲覧できる。また、十分検討されていない文書をランキングの上位に登場させることによって、利用者は直感的に第一印象で書かれた文書を閲覧できる。【０１０４】
また、十分に検討された文書（評価指標が高い）のみを出力しても良い。この場合、ユーザは文書作成者において十分検討された文書のみを閲覧できる。また、検討されていない文書（評価指標が低い）のみを出力しても良い。この場合、ユーザは文書作成者が直感的に第一印象で書いた文書のみを閲覧できる。【０１０５】
次に、図６および図７を参照して、本発明の第４の実施形態の動作について詳細に説明する。【０１０６】
図７のステップＳ２２０〜Ｓ２４０の動作は、第２の実施形態の動作を表した図３のステップＳ００２〜Ｓ００４と同じであるため、説明を省略する。【０１０７】
まず、検索装置６が、所定の検索条件により検索処理を行い、検索結果の一覧を取得する（ステップＳ２１０）。【０１０８】
次に、入力装置１が、検索結果に含まれる文書を評価対象文書として指定すると（ステップＳ２１１）、データ処理装置により、これらの文書についての評価指標の算出する動作が行われる（ステップＳ２２０〜Ｓ２４０）。【０１０９】
指定された文書の評価指標の算出が終了すると、出力装置７が、評価指標を用いて検索結果を出力する（ステップＳ２５０）。【０１１０】
なお、検索結果に含まれる文書のすべてを、一度に、評価指標の算出対象とする必要は無く、例えば、検索結果一覧の表示画面１ページ分の文書が２０文書だった場合、その２０文書のみを対象にして評価指標の算出を行い、ページを切り替えた際に新たな文書の評価指標の算出を行うようにしてもよい。【０１１１】
なお、本実施形態では、検索装置６からの出力が入力装置１を介してデータ処理装置２に入力される構成を採用したが、上記データ処理装置の各手段を検索装置の一部として組み込んだ構成（評価指標出力機能付き情報検索システム）も採用可能である。その場合、検索結果の１文書毎に評価指標を算出する処理を行うことができる。【０１１２】
本実施の形態によれば、評価指標が付加された検索結果をユーザに提示することが可能となり、ユーザは、検索結果から、十分に検討した文書を選択して閲覧することができる。また、逆に直感的に第一印象で書かれた文書を閲覧することもできる。【０１１３】
［第５の実施形態］
次に、具体例を示して、本発明の第５の実施形態について説明する。【０１１４】
図８は、本実施形態に係る情報評価システムの構成を示すブロック図である。本実施形態は、インターネット上で会員登録したユーザが、ログインして文書を作成したり、他のユーザが公開した文書を閲覧できるコミュニティサービスに組み込まれた情報評価システムとして実現されている。また、コミュニティサービスのシステムは、データ処理装置としてコンピュータ４０と記録装置８を備えている。【０１１５】
コンピュータ４０は、インターネット３００に接続されている。コミュニティのユーザは、ユーザ端末５０上で実行されるＷＥＢブラウザ５１を通してシステムに接続できる。【０１１６】
コンピュータ４０上には、コミュニティサービスの検索システム４１が動作しており、ユーザは、検索結果に対して本発明の情報評価システム４２を利用できるようになっている。【０１１７】
今、コミュニティサービスのユーザＸがコミュニティシステム上の文書Ａを閲覧し、文書Ａに言及する文書Ｂを作成してコミュニティシステム上に公開したとする。【０１１８】
このとき、ユーザＸが文書Ａを閲覧した時刻が、コミュニティシステムのコンピュータ４０により記録装置８にある閲覧履歴データベース８１に記録される。【０１１９】
ここで、ユーザＸのＷＥＢブラウザ５１に閲覧履歴の記録機能を追加し、読み始めた日時や、ページをすべてスクロールして読み終わった日時など閲覧履歴情報を取得できるように構成することで、文書Ａの閲覧日時を取得できるようにしても良い。例えば、ＷＥＢブラウザ５１に機能追加するアプリケーションや、コミュニティシステムが提供する閲覧画面にＷＥＢブラウザ５１上のユーザの操作内容を監視し、コミュニティシステムに送信するスクリプトプログラムを記述するなどの方法で実現できる。このように構成することで、ユーザＸが文書Ａを閲覧した日時が、さらに正確に判明する。【０１２０】
続けて、ユーザＸがコミュニティシステムの文書作成機能で、文書Ａに言及する文書Ｂを作成する。このとき、ユーザＸが文書Ｂを発信した時刻が、コミュニティシステムのコンピュータ４０により記録装置８にある発信履歴データベース８２に記録される。【０１２１】
また、同様にユーザＹがコミュニティ上の文書Ａを閲覧し、文書Ａに言及する文書Ｃを作成してコミュニティのシステムで公開したとする。【０１２２】
ここで、例えば、文書Ａ〜Ｃは、以下の内容であったものとする。
・文書Ａ(http://example.com/a.html)  2007/07/01 12:00
『ＸＸＸ社は携帯型オーディオプレイヤーＹＹＹが発熱して火災になる恐れがあるため、回収すると発表しました。』
・文書Ｂ(http://example.com/b.html)  2007/07/01 15:05
『文書Ａ(http://example.com/a.html)によるとＸＸＸ社のＹＹＹに問題があるらしい。ＸＸＸ社はだめだね。』
・文書Ｃ(http://example.com/c.html)  2007/07/01 21:00 
『文書Ａ(http://example.com/a.html)によるとＸＸＸ社はＹＹＹを回収するらしい。  良く調べたらＸＸＸ社はＹＹＹを作っていなくて、ＺＺＺ社から供給をうけて販売しているだけだった。
ＺＺＺ社の問題かな。』【０１２３】
ここで、ユーザＺがコミュニティサービスにＷＥＢブラウザ５１を介して接続し、文書Ａに関する意見等の記述を含む文書をコミュニティサービスの検索システム４１で検索したとする。【０１２４】
ここで、文書Ａに関する記述を含む文書（参照先文書）を検索する機能は検索システム４１で提供されるものでよい。例えば、文書ＡのＵＲＬを入力すると、検索装置４１は、文書ＡのＵＲＬが本文の一部またはリンクとして含まれた文書を検索しても良いし、文書Ａのタイトルや本文、および文書Ａの発信者の名前等を用いて、文書Ａに関する記述を含む文書を検索しても良い。【０１２５】
この結果、検索システム４１によって、文書Ａについて言及している参照先文書が、１つまたは複数、検索される。ここでは、文書Ｂと文書Ｃが検索結果に含まれている。文書Ｂは、話題性があったためコミュニティシステムの検索システム４１の検索結果では文書Ｂの方が、文書Ｃよりも上位にランキングされたとする。【０１２６】
ここで、ユーザＺは良く検討された文書だけを見るために、検索システム４１の検討された文書だけを表示するオプションをオンにして、再度検索したとする。オプションはユーザが指定できるものでも良いし、必ず動作するように設定されているものでも良い。【０１２７】
検索結果の各文書に対して情報評価システム４２により、該当文書がよく検討された文書か否かを２値で表す評価指標が算出される。【０１２８】
文書Ｂに対して評価指標を算出する場合、まず、情報評価システム４２は、文書Ｂの情報をコミュニティシステムから取得する。【０１２９】
即ち、情報評価システム４２の参照先特定手段４２１によって、文書Ｂに対して参照先文書となる文書の取得が行われる。ここでは、参照先のＵＲＬ(http://example.com/a.html)を取得することで、文書Ａを取得できたとする。【０１３０】
ここで文書Ｂに対して参照先文書の関係にある文書がない場合は評価を行わなくてよい。あるいは、検討された文書として一定の評価指標を出力しても良いし、検討されていない文書として一定の評価指標を出力しても良い。【０１３１】
次に、発信日時取得手段４２２により、発信履歴データベース８２から文書Ｂの発信日時が取得される。【０１３２】
ここで、文書Ｂの発信日時が記録されていないシステムの場合は、上記第３の実施形態で説明したように文書Ｂ上の日付の表記などから取得しても良い。例えば、「ＹＹＹＹ／ＭＭ／ＤＤ ＨＨ:ＭＭ」「〜年〜月〜日〜時〜分」のような日時の表記パターンを抽出することで、文書中の表記「２００７／０７／０１ １５:０５」を取得し、文書Ｂの発信日時情報を２００７／０７／０１ １５:０５と取得することができる。【０１３３】
また、ＨＴＴＰサーバによって文書を取得できるシステムの場合に、文書Ｂ取得時のＨＴＴＰヘッダに付与される最終更新時刻の情報や、ＨＴＴＰ文書中に最終更新時刻を表すタグで記述された時刻情報をもって発信日時情報を取得しても良い。【０１３４】
また、文書を公開するシステムでファイルの更新時刻を記録し、更新時刻を参照できるように構成することで、発信日時情報を取得できるようにしても良い。【０１３５】
次に、閲覧日時取得手段４２３により、閲覧履歴データベース８１から文書Ｂの発信者であるユーザＸが文書Ａを閲覧した際の閲覧日時が取得される。ここでは、ユーザＸが２００７／０７／０１ １５:００に文書Ａを閲覧したものとする。【０１３６】
ここで、文書Ａが閲覧された日時が記録されていないシステムの場合は、文書Ａの発信日時以降で、ユーザＸがシステムにログインした時刻を代用として用いても良い。これは、ユーザＸが、文書Ａの発信日時以降にシステムにログインして、文書Ａを閲覧したと推定できるためである。【０１３７】
また、文書Ａが閲覧された日時として、文書Ａの発信日時を代用としてもよい。この場合、少なくとも発信日時以降に閲覧しているため、代用とすることが可能である。【０１３８】
文書Ａの発信日時を取得する方法は、文書Ｂの発信日時を取得する場合と同様である。【０１３９】
次に評価指標算出手段４２４により、まず文書Ａの閲覧日時２００７／０７／０１  １５:００と文書Ｂの発信日時２００７／０７／０１  １５:０５の差から、ユーザＸが文書Ａを閲覧してから発信までに掛かった時間である検討時間を取得する。ここでは日時の差５分が検討時間（評価指標）として取得できる。【０１４０】
続いて、評価指標算出手段４２４は、上記検討時間（評価指標）をあらかじめ設定してあった閾値と比較し、閾値を超えていれば十分な検討がされていると判定・出力する。評価指標算出手段４２４は、閾値を超えていなければ、十分検討されていないと判定・出力する。例えば、閾値を１０分とすると、文書Ａは閾値を超えていないので、十分な検討がされていないと判定されることになる。【０１４１】
なお、先の実施形態でも説明したように、十分検討がされた、されていないの２通りではなく、３通り以上の段階に分類するようにしても良い。【０１４２】
また、検討時間そのもの、検討時間を利用して計算した値を出力しても良い。例えば、検討時間が５分であれば検討度５としてよい。【０１４３】
同様にして、ユーザＹが文書Ａを閲覧した日時が、利用者Ｘと同じく２００７／０７／０１  １５:００として文書Ｃの評価指標を算出すると、文書Ｃの検討時間（評価指標）は６時間であり、閾値１０分を超えているため、十分な検討がされていると判定される。【０１４４】
このようにして、検索結果の文書の評価指標の算出が完了すると、情報評価システム４２は、検索結果から検討されていないと判断された文書を取り除き、検討された文書だけをディスプレイに表示する。【０１４５】
ここでは、文書Ｂは十分検討されていないため検索結果に表示されず、一方、文書Ｃは十分検討された文書であるため検索結果に表示される。【０１４６】
このように構成することで、利用者は参照先文書の検討が不十分である文書を読まずに、参照先文書の検討が十分行われた文書だけを閲覧することが可能となる。【０１４７】
また、他の文書への言及がなされていないため評価指標の算出ができない文書は、検索結果にそのまま残してもよい。このような構成にすることで、通常の検索結果に対して、参照先文書の検討がなされていない文書のみを取り除いた検索結果を閲覧させることができる。【０１４８】
また、他の文書への言及がなされていないため評価指標の算出ができない文書は、検索結果から取り除いてもよい。このような構成にすることによって、検索結果として、よく検討した上で記述がなされている文書のみを閲覧させることができる。【０１４９】
また、逆に参照先文書の検討が不十分であると推定された文書のみを表示しても良い。例えば、文書Ａを読んだ直後の感想や、第一印象など、他の情報を検討する前の意見を集めたい場合、あるいは、速報性のある情報を絞り込みたいときなどに有効である。【０１５０】
上記評価指標は、上記のような検討時間ではなく、文書Ａをユーザが閲覧していた閲覧時間を用いて算出しても良い。閲覧時間は、ユーザが文書Ａを表示してから表示を終了するまでの時間として求めてよい。この場合、文書を閲覧して検討していた時間を元に検討された文章かどうかにより判定が行われることになる。【０１５１】
本発明の文書の評価方法は、以下のように変形を加えて実施することができる。ユーザＸが文書作成中に、参照先文書と一定の関連がある他の文書にアクセスしている場合、これを評価指標の算出の基礎とすることができる（派生方法１）。例えば、ユーザＸが文書Ａを閲覧してから、文書Ｂを発信するまでに他のページを閲覧していた場合、コミュニティシステムの閲覧履歴データベース８１に記録されている。【０１５２】
文書Ｂの評価時に、閲覧履歴データベース８１から、検討時間に閲覧した、文書Ａと類似、参照、被参照などの一定の関連がある他のページを抽出し、他の情報を検討したかどうかを加味して、評価指標を算出しても良い。類似関係は、それぞれの文書の一致する単語の数や単語ベクトルを構成してその距離を調べることで類似度を求め、類似度が一定の閾値以上である場合に、類似するページと判定すればよい。また、参照の関係は文書Ａから参照する文書を、リンク、文中の記述などから抽出し、閲覧したほかの文章を参照しているかどうか判定すればよい。このとき、参照先特定手段を使用して参照先を抽出してもよい。同様に被参照関係は他の文書から文書Ａを参照しているかどうか判定すればよい。また、端的には、ユーザＸが閲覧したすべてのページの数やファイルサイズ等から評価指標を算出することができる。この場合、閲覧したページ数やファイルサイズが多いほど大量の情報を検討したものとして、評価指標が増加するように算出すればよい。【０１５３】
例えば、文書Ｂの作成過程において、ユーザＸが他の文書を８つ閲覧していた場合、閲覧した文書数に対する閾値が５以上なら十分検討していると判定するように設定してあったとすると、よく検討した文書と判定される。【０１５４】
また、上記他の文書へのアクセスの評価に際して、当該他の文書に付与された重要度を組み合わせても良い。重要度は検索エンジンのランキングやアクセス数などでよい。例えば、閲覧した文書それぞれの重要度を足し合わせて合計を求めて、その値を閾値と比較して検討度を推定しても良い。また、閲覧した文書それぞれの重要度と閲覧時間を掛け合わせたものを足し合わせて合計を求めて、その値を閾値と比較して検討度を推定しても良い。この場合、重要な文書を検討するほど、また長時間検討するほどよく検討したものとして、評価指標が増加するように算出すればよい。【０１５５】
また、上記他の文書へのアクセスの評価に際して、参照先文書との類似度や参照、被参照の関係有無を考慮に入れても良い。類似度は、それぞれの文書の一致する単語の数や単語ベクトルを構成してその距離を調べることで求めることができる。例えば、閲覧した他の文書それぞれの参照先文書との類似度を足し合わせて合計を求めて、その値を閾値と比較して検討度を推定しても良い。この場合、閲覧した他の文書と類似している文書を検討するほど、評価指標が増加するように算出することで、十分検討したと検討度を推定することができる。また、参照、被参照の関係有無は、関係がある場合に評価指標が増加するように算出することで、関連性の高い文章を閲覧することで十分検討していると検討度を推定することが出来る。【０１５６】
同様に他の閲覧文書と評価対象文書との類似度を考慮に入れても良い。この場合、評価対象文書と類似している文書を検討するほど、評価指標が増加するように算出することで、十分検討したと検討度を推定することができる。【０１５７】
また、他の検討度推定の方法（派生方法３）として、上記第２の実施形態で説明したように、ユーザＸが文章Ｂを作成する際の操作内容を利用しても良い。【０１５８】
ユーザＸが文書Ｂを作成する際にＷＥＢブラウザ５１上で文書の作成作業をするように構成すると、ＷＥＢブラウザ５１に機能追加するプログラムや、コミュニティシステムが提供する文書作成画面のスクリプトプログラムによって、ユーザの作成作業を監視して、文字列の編集操作を記録することが可能になる。この場合、記録された編集操作から、文書Ｂを変更せずに閲覧していた時間を、内容の検討、確認をしていた時間とみなし、評価指標が増加するように算出することで、十分に検討したと検討度を推定することができる。【０１５９】
また、他の検討度推定の方法（派生方法４）として、評価対象文書の作成過程におけるユーザの操作内容や校正作業に掛けたと推定される時間から直接検討度を推定することもできる。また、文書Ｂの文書の長さが発信された文書と同程度になるまで記述した後に、すでに記述した文字列を編集した場合や、発信までに時間を置いた場合、すでに記述した文書をスクロール操作によって戻って閲覧した場合に、見直しをしているものとして評価指標が増加するように算出することで、十分に検討したと検討度を推定しても良い。【０１６０】
また、他の検討度推定の方法（派生方法２）として、評価対象文書で用いられている用語を辞書やインターネット上の検索エンジンで検索した回数から検討度を推定しても良い。例えば、インターネット上の検索エンジンで検索した回数から検討度を推定することや、検索して見つけた文書に実際にアクセスした数から検討度を推定することができる。この場合、検索やアクセスの数が多いほど検討したものとして、評価指標が増加するように算出することで、十分に検討したと検討度を推定すればよい。【０１６１】
以上、本実施形態の好適な実施形態について説明したが、本発明の技術的範囲は、上記した実施形態に限定されるものではなく、情報評価システムの用途や規模に応じて、最適な実装方法を選択し、適当なその他の変形を加えることができる。例えば、上記した各実施形態は、適宜組み合わせて用いることが可能である。【０１６２】
また例えば、上記した実施形態では、主に参照先文書が文書データであるものとして説明したが、例えば、ユーザが文書中で、楽曲データ、静止画データ、動画データ、プレゼンテーション等に言及する場合においても同様の原理にて、深く検討がなされたか否かの評価指標を得ることができる。特に、ネットワークを用いた通信教育（Ｅ−Ｌｅａｒｎｉｎｇ）や販促コンテンツの配布等においては、受講者（視聴者）がどのように視聴していたかを量る一つの指標を得ることができる。
【産業上の利用可能性】
【０１６３】
本発明は、文書の評価指標を提示する情報評価システムのほか、閲覧者に信頼のできる情報を提供する情報検索システムに文書の評価手段として組み込むことで適用できる。また、大量の文書を統計的に解析するデータマイニングの前処理システムといった用途にも適用できる。【０１６４】
本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施例ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【図１】
2009078397.tif 000003
【図２】
2009078397.tif 000004
【図３】
2009078397.tif 000005
【図４】
2009078397.tif 000006
【図５】
2009078397.tif 000007
【図６】
2009078397.tif 000008
【図７】
2009078397.tif 000009
【図８】
2009078397.tif 000010
【国際調査報告】
2009078397.tif 000011
2009078397.tif 000012
2009078397.tif 000013
2009078397.tif 000014
2009078397.tif 000015
2009078397.tif 000016
2009078397.tif 000017