(57)【要約】【課題】レビューワの能力を定量的に評価すること。【解決手段】レビューワ評価装置は、文書のレビューごとに、前記文書に対するレビューワによる指摘事項に応じて指摘箇所を示す情報を記憶するレビュー履歴記憶手段と、前記レビュー履歴記憶手段が記憶する情報に基づいて、同一の指摘箇所に対する指摘回数に応じて重み付けを大きくして該重み付けを各指摘事項に付与し、前記指摘事項の総数に対する前記重み付けの総和の割合を前記レビューワの評価値として算出する評価値算出手段と、前記評価値を出力する出力手段とを有する。【選択図】図３
2011145996.tif 000002
【特許請求の範囲】
【請求項１】
文書のレビューごとに、前記文書に対するレビューワによる指摘事項に応じて指摘箇所を示す情報を記憶するレビュー履歴記憶手段と、
前記レビュー履歴記憶手段が記憶する情報に基づいて、同一の指摘箇所に対する指摘回数に応じて重み付けを大きくして該重み付けを各指摘事項に付与し、前記指摘事項の総数に対する前記重み付けの総和の割合を前記レビューワの評価値として算出する評価値算出手段と、
前記評価値を出力する出力手段とを有するレビューワ評価装置。
【請求項２】
前記算出手段は、初回の指摘箇所に対する指摘事項について、過去のレビュー時に前記文書に含まれていた箇所に対する該指摘事項の前記重み付けは、過去のレビュー時に前記文書に含まれていない箇所に対する該指摘事項の前記重み付けよりも大きくする請求項１記載のレビューワ評価装置。
【請求項３】
前記出力手段は、複数のレビューワについて、同一のレビューイに係る文書に関して算出された前記評価値を表示させる請求項１又は２記載のレビューワ評価装置。
【請求項４】
前記文書の文書データを表示させ、該文書データにおいて選択された箇所に対して前記指摘事項を入力させ、前記選択された箇所を示す情報を当該指摘事項に応じた前記指摘箇所を示す情報として前記レビュー履歴記憶手段に記録する入力制御手段を有する請求項１乃至３いずれか一項記載のレビューワ評価装置。
【請求項５】
コンピュータが、
文書のレビューごとに、前記文書に対するレビューワによる指摘事項に応じて指摘箇所を示す情報を記憶するレビュー履歴記憶手段が記憶する情報に基づいて、同一の指摘箇所に対する指摘回数に応じて重み付けを大きくして該重み付けを各指摘事項に付与し、前記指摘事項の総数に対する前記重み付けの総和の割合を前記レビューワの評価値として算出する評価値算出手順と、
前記評価値を出力する出力手順とを実行するレビューワ評価方法。
【請求項６】
コンピュータに、
文書のレビューごとに、前記文書に対するレビューワによる指摘事項に応じて指摘箇所を示す情報を記憶するレビュー履歴記憶手段が記憶する情報に基づいて、同一の指摘箇所に対する指摘回数に応じて重み付けを大きくして該重み付けを各指摘事項に付与し、前記指摘事項の総数に対する前記重み付けの総和の割合を前記レビューワの評価値として算出する評価値算出手順と、
前記評価値を出力する出力手順とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レビューワ評価装置、レビューワ評価方法、及びプログラムに関し、特に文書のレビューにおけるレビューワを評価するレビューワ評価装置、レビューワ評価方法、及びプログラムに関する。
【背景技術】
【０００２】
ソフトウェア等の設計書等のドキュメントのレビューにおいて、通常、レビューイ（ドキュメントの作成者等、レビューを受ける者）より専門的知識や経験の豊富な先輩又は上司等（以下、「上級者」という。）がレビューワとしての役割を担う。上級者によってレビューを受けることにより、ドキュメントの品質の向上、ひいては当該ドキュメントに基づいて開発されるソフトウェア等の品質の向上が期待される。
【０００３】
但し、単に、上級者であることのみをもって、レビューワとして適任であるとは言い切れない。例えば、技術的知識は豊富な上級者であっても、他人に対する指導力が不足している場合もある。適任者でないレビューワによってレビューが行われた場合、ドキュメントの品質の向上に必要以上に時間が費やされてしまう可能性が高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６１−１６０１５２号公報
【特許文献２】特開平１１−２２４１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、レビューは、人と人との対話的な作業によって行われるものであり、案件ごとにレビュー対象となるドキュメントは異なる。したがって、従来、レビューワの能力を定量的に把握するのは困難であった。
【０００６】
本発明は、上記の点に鑑みてなされたものであって、レビューワの能力を定量的に評価することのできるレビューワ評価装置、レビューワ評価方法、及びプログラムの提供を目的とする。
【課題を解決するための手段】
【０００７】
そこで上記課題を解決するため、レビューワ評価装置は、文書のレビューごとに、前記文書に対するレビューワによる指摘事項に応じて指摘箇所を示す情報を記憶するレビュー履歴記憶手段と、前記レビュー履歴記憶手段が記憶する情報に基づいて、同一の指摘箇所に対する指摘回数に応じて重み付けを大きくして該重み付けを各指摘事項に付与し、前記指摘事項の総数に対する前記重み付けの総和の割合を前記レビューワの評価値として算出する評価値算出手段と、前記評価値を出力する出力手段とを有する。
【発明の効果】
【０００８】
開示された技術によれば、レビューワの能力を定量的に評価することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態におけるレビューワ評価システムの構成例を示す図である。
【図２】本発明の実施の形態におけるレビューワ評価装置のハードウェア構成例を示す図である。
【図３】本発明の実施の形態におけるレビューワ評価システムの機能構成例を示す図である。
【図４】レビューワ評価システムの全体の処理手順を説明するためのフローチャートである。
【図５】レビュー履歴記憶部の構成例を示す図である。
【図６】レビュー係数の算出処理の処理手順を説明するためのフローチャートである。
【図７】分散分析のために作成されるデータベースの例を示す図である。
【図８】学習効率の算出結果及び分散分析の結果の出力例を示す図である。
【図９】レビュー履歴情報の入力及び記録処理の処理手順の一例を説明するためのフローチャートである。
【図１０】レビュー画面の初期状態の表示例を示す図である。
【図１１】新規指摘事項の入力例を示す図である。
【図１２】継続指摘事項の入力例を示す図である。
【図１３】指摘箇所の新規又は放置をユーザに判断させる場合のレビュー画面の表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態におけるレビューワ評価システムの構成例を示す図である。同図のレビューワ評価システム１において、レビューワ評価装置１０と、一台以上のレビューワ端末２０とは、ＬＡＮ（Local Area Network）又はインターネット等のネットワーク３０（有線又は無線の別は問わない。）によって通信可能に接続されている。
【００１１】
レビューワ端末２０は、レビューワがレビューイの作成した文書等に対するレビュー結果（レビュー内容）を入力するために利用するＰＣ（Personal Computer）等のコンピュータである。なお、レビューワとはレビューを行う者をいう。レビューイとはレビューを受ける者をいう。
【００１２】
レビューワ評価装置１０は、レビューワ端末２０を介して入力されたレビュー結果の履歴を蓄積し、当該履歴に基づいて、レビューワを評価するための評価値を算出するＰＣ（Personal Computer）等のコンピュータである。
【００１３】
図２は、本発明の実施の形態におけるレビューワ評価装置のハードウェア構成例を示す図である。図２のレビューワ評価装置１０は、それぞれバスBで相互に接続されているドライブ装置１００と、補助記憶装置１０２と、メモリ装置１０３と、ＣＰＵ１０４と、インタフェース装置１０５と、表示装置１０６と、入力装置１０７とを有する。
【００１４】
レビューワ評価装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００１５】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従ってレビューワ評価装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はキーボード及びマウス等であり、様々な操作指示を入力させるために用いられる。
【００１６】
なお、レビューワ端末２０についても、図２と同様のハードウェア構成を備えていればよい。
【００１７】
図３は、本発明の実施の形態におけるレビューワ評価システムの機能構成例を示す図である。同図において、レビューワ端末２０は、入力制御部２１を有する。また、レビューワ評価装置１０は、レビュー係数算出部１１、学習効率算出部１２、統計処理部１３、出力部１４、及びレビュー履歴記憶部１５等を有する。これら各部は、レビューワ端末２０又はレビューワ評価装置１０にインストールされたプログラムがそれぞれのＣＰＵに実行させる処理によって実現される。
【００１８】
入力制御部２１は、ソフトウェア設計書やプロジェクト計画書等のドキュメント（文書）に関するレビューが行われるたびに、レビューの実施結果を示す情報（レビュー履歴情報）の入力をユーザより受け付ける。入力制御部２１は、入力されたレビュー履歴情報をレビュー履歴記憶部１５に記録する。レビュー履歴記憶部１５は、補助記憶装置１０２等を用いてレビュー履歴情報を記憶する。
【００１９】
学習効率算出部１２は、レビュー履歴記憶部１５に記録（蓄積）されたレビュー履歴情報に基づいて、文書単位に、レビューワの評価値としてレビューの効率性を示す指標（以下、「学習効率」という。）を算出する。学習効率の値が小さい程、レビューワの評価は高くなる。レビュー係数算出部１１は、学習効率を算出する際に、レビューにおける指摘事項に対する重み付けの係数として用いられる値（レビュー係数）を算出する。レビュー係数の値は、指摘事項が初めての指摘箇所に関するものであるか、過去に指摘された指摘箇所に関するものであるか、又は過去のレビュー時にレビューの対象となっていた部分（すなわち、既存部分）に関するものであるかに応じて設定される。
【００２０】
統計処理部１３は、レビュー履歴記憶部１５に記録されたレビュー履歴情報に対して所定の統計処理を行う。本実施の形態では、統計処理として分散分析が利用される。分散分析により、学習効率算出部１２による学習効率について、レビューワ要因並びにレビューワ及びレビューイの組み合わせの交互作用の有意性を確認することができる。すなわち、或るレビューワの学習効率が低いという算出結果が得られた場合に、当該算出結果が偶然的なものであるのか、又は当該レビューワに起因するものであるのか等が分析される。また、レビューワとレビューイとの組み合わせの適否（相性の善し悪し）についても分析される。
【００２１】
出力部１４は、学習効率算出部１２による処理結果若しくは統計処理部１３による処理結果、又は双方による処理結果を出力する。当該処理結果の出力先は、表示装置１０６、補助記憶装置１０２、又は非図示のプリンタ等である。
【００２２】
なお、レビューワ評価装置１０は、レビューイ端末２０の機能を備えていてもよい。すなわち、図３に示される機能が、一台のコンピュータにおいて実現されてもよい。
【００２３】
以下、レビューワ評価システム１における処理手順について説明する。図４は、レビューワ評価システムの全体の処理手順を説明するためのフローチャートである。
【００２４】
ステップＳ１０１において、入力制御部２１は、一回分のレビューのレビュー履歴情報の入力を受け付け、当該レビュー履歴情報をレビュー履歴記憶部１５に記録する。
【００２５】
図５は、レビュー履歴記憶部の構成例を示す図である。同図に示されるレビュー履歴記憶部１５の記録内容は、一つの文書に対するレビュー履歴情報の記録結果を示す。レビュー履歴記憶部１５における一つのレコードは、当該文書に対する一つの指摘事項に対応する。したがって、例えば、１回のレビューにおいて、１０箇所の指摘事項が有った場合、１０個のレコードがレビュー履歴記憶部１５に記録される。また、１つの文書に対するレビュー回数は１回に限られない。例えば、指摘事項が有った場合、当該指摘事項が修正されているか否かを確認するためのレビューが行われる。
【００２６】
レビュー履歴記憶部１５のレコードは、指摘ＩＤ、文書ＩＤ、種別、指摘箇所ＩＤ、前回指摘ＩＤ、指摘内容、レビュー回数、レビュー係数、レビューワＩＤ、及びレビューイＩＤ等の項目を有する。
【００２７】
指摘ＩＤは、各レコード（すなわち、各指摘事項）の識別子である。文書ＩＤは、レビューの対象とされた文書の識別情報である。文書ＩＤは、例えば、文書名であってもよいし、非図示の文書管理データベースにおいて文書に割り当てられているＩＤ等であってもよい。種別は、指摘事項の種別を示す情報である。本実施の形態において、指摘事項は、新規、継続、又は放置のいずれかに分類される。新規の指摘事項（新規指摘事項）は、過去に一度もレビューを受けていない（レビューの対象となっていない）部分に対する指摘事項をいう。したがって、初めてレビューを受ける文書に対する指摘事項は、全て新規指摘事項となる。継続の指摘事項（継続指摘事項）は、過去に指摘箇所とされた部分に対する指摘事項をいう。すなわち、同じ箇所に対する継続的な指摘事項である。放置の指摘事項（放置指摘事項）は、過去のレビュー時にレビューの対象となっていた部分（すなわち、既存部分）に対する指摘事項をいう。換言すれば、放置指摘事項は、前回のレビューまで、指摘が看過された事項（指摘漏れの事項）であるといえる。
【００２８】
指摘箇所ＩＤは、指摘箇所を識別するための情報である。指摘箇所ＩＤの形態は、レビュー対象となる文書の形態に合わせて適切なものを採用すればよい。例えば、当該文書が紙文書であれば、ページ番号及び行番号等によって指定される範囲を示すものであってもよい。当該文書が電子文書（電子データ）であれば、当該電子データのデータ形式に応じて、文書内の位置を示す情報であってもよいし、指摘箇所に含まれる文字列自体であってもよい。又は、文書内の位置を示す情報や指摘箇所に含まれる文字列が記録された記憶流域（ファイル等）への参照情報（ファイル名等）であってもよい。いずれの場合であっても、指摘箇所ＩＤによって、文書中における指摘箇所の位置及び範囲が特定可能であるとする。
【００２９】
前回指摘ＩＤは、種別が「継続」であるレコードについて、同一の指摘箇所に対する過去のレビューにおけるレコードの指摘ＩＤである。すなわち、前回指摘ＩＤによって、同一の指摘箇所に対する複数のレコード（指摘事項）が関連付けられる。
【００３０】
指摘事項は、指摘箇所に対する修正指示等のコメントである。レビュー回数は、レコードが登録された際の文書に対するレビュー回数である。すなわち、レビュー回数の値によって、何回目のレビューにおいて登録されたレコードであるかが判定される。レビュー係数は、当該レコードに係る指摘事項に対するレビュー係数である。レビューワＩＤは、レビューワの識別情報（例えば、レビューワの名前）である。レビューイＩＤは、レビューイの識別情報（例えば、レビューイの名前）である。
【００３１】
なお、ステップＳ１０１では、レビュー係数以外の各項目の値が記録される。また、レビュー履歴情報の入力者は、レビューワであってもよいし、レビューワよりレビュー履歴情報を受け付けたオペレータ等であってもよい。更に、レビュー履歴情報の入力方法は、所定のものに限定されない。
【００３２】
続いて、レビュー係数算出部１１は、レビュー履歴記憶部１５に登録されたレコード（指摘事項）ごとにレビュー係数を算出し、算出結果を各レコードのレビュー係数として記録する（Ｓ１０２）。ステップＳ１０２は、ステップＳ１０１と同期的に（すなわち、レビュー履歴情報が記録されるたびに）実行されてもよいし、ステップＳ１０３以降と同期的に（すなわち、学習効率が算出される際に）実行されてもよい。なお、ステップＳ１０１とステップＳ１０３とは、必ずしも同期的に実行されなくてもよい。レビュー履歴情報が或る程度蓄積された後に、ステップＳ１０３以降が実行されるようにしてもよい。
【００３３】
レビュー係数の算出処理の詳細について説明する。図６は、レビュー係数の算出処理の処理手順を説明するためのフローチャートである。同図は、レビュー履歴記憶部１５における一つのレコードに対するレビュー係数の算出処理を示す。したがって、処理対象となるレコードが複数存在する場合は、同図の処理が各レコードについて実行される。レコードは、古い順（すなわち、登録順）に処理対象とされる。
【００３４】
ステップＳ２０１において、レビュー係数算出部１１は、処理対象のレコード（以下、「対象レコード」という。）の種別を確認する。対象レコードの種別が「新規」である場合、レビュー係数算出部１１は、対象レコードのレビュー係数を「１」とする（Ｓ２０２）。対象レコードの種別が「放置」である場合、レビュー係数算出部１１は、対象レコードの指摘箇所が指摘されるまでに要したレビュー回数を対象レコードのレビュー係数とする（Ｓ２０３）。具体的には、例えば、当初より文書に記載された箇所について、２回目のレビューにおいて初めて指摘事項が発生した場合、当該指摘事項に対するレビュー係数は、「２」となる。なお、対象レコードの指摘箇所が指摘されるまでに要したレビュー回数を自動的に判定するために、文書データのバージョン管理を行えばよい。具体的には、例えば、レビューごとに、当該レビュー時の文書データをレビュー回数に関連付けて保存しておけばよい。そうすることにより、対象レコードの指摘箇所ＩＤに基づいて、当該指摘箇所が何回目のレビュー時に含まれていたかを判定することができる。その結果、指摘されるまでに要したレビュー回数を判定することができる。
【００３５】
また、対象レコードの種別が「継続」である場合、レビュー係数算出部１１は、対象レコードの前回指摘ＩＤに係るレコードのレビュー係数に１を加算した値を、対象レコードのレビュー係数とする（Ｓ２０４）。
【００３６】
図６に示される処理手順より明らかなように、レビュー係数は、基本的に、同一の指摘箇所に対する指摘回数に応じて値が大きくされる。但し、初回の指摘箇所（初めての指摘箇所）に対する指摘事項については、過去のレビュー時に文書データに含まれていた箇所（既存部分）に対するレビュー係数の値は、過去のレビュー時に文書データに含まれていない箇所に対するレビュー係数の値よりも大きくされる。
【００３７】
なお、図Ｆ３のステップＳ２０４における加算値は「１」とされているが、継続指摘事項が発生した場合のレビューワの評価をより低くする場合は、加算値を２以上としてもよい。同様に、放置指摘事項が発生した場合のレビューワの評価をより低くする場合は、指摘されるまでに要したレビュー回数＋αを放置指摘事項に対するレビュー係数としてもよい。
【００３８】
また、放置指摘事項を新規指摘事項と同様に扱ってもよい。具体的には、放置指摘事項と新規指摘事項との区別を無くしてもよい。但し、本実施の形態のように新規指摘事項と放置指摘事項とを明確に区別することにより、指摘事項が放置された場合のレビューワの評価をより適切なものとすることができる。
【００３９】
図４に戻る。レビュー係数の算出処理に続いて、学習効率算出部１２は、レビュー対象とされた文書ごとに、レビュー履歴記憶部１５に基づいて学習効率を算出する（Ｓ１０３）。なお、本実施の形態では、１つの文書について１回以上行われるレビューにおいて、レビューワとレビューイの組み合わせは不変であるとする。すなわち、文書Ａについて５回のレビューが行われたとすると、５回のレビューのレビューワは、常にＢさんであり、レビューイは、常にＣさんである。したがって、文書ごとに学習効率が算出されるということは、文書、レビューワ、及びレビューイの組み合わせごとに学習効率が算出されることを意味する。
【００４０】
１つの文書に対する学習効率は、以下の式（１）を用いて算出される。
【００４１】
【数１】
2011145996.tif 000003
【００４２】
式（１）において、Ｎは、レビュー係数の値である。すなわち、学習効率は、指摘事項の総数に対するレビュー係数の総和の割合として算出される。このことは、本実施の形態における学習効率は、指摘事項が指摘されたレビュー回数の重心として定義されることを意味する。したがって、学習効率の値が小さい程、レビュー過程の上流において指摘された指摘事項の割合が高いことになる。レビュー過程の上流における指摘事項の割合が高いほど、効率的なレビューが行われている可能性が高い。したがって、学習効率の値が低い程、レビューワの評価は高くなる。なお、上述したように、下流における指摘事項であっても、指摘箇所が新規な箇所（例えば、前回のレビュー後に追加された部分）であれば、レビュー係数は「１」とされるまた、初回の指摘箇所に対する指摘事項であっても、当該指摘箇所が既存部分であれば、放置されたレビュー回数もレビュー係数に反映される。したがって、図６の処理によって、学習効率の妥当性は適切に確保される。
【００４３】
例えば、図５のレビュー履歴記憶部１５において、レビュー係数１の指摘事項の数（レコードの数）は４である。また、レビュー係数２の指摘事項の数は２である。したがって、この場合の学習効率は、
（１×４＋２×２）÷６＝１．３（小数点第２位四捨五入）
となる。
【００４４】
ステップＳ１０３が複数の文書について実行され、学習効率の算出結果が或る程度蓄積された後、統計処理部１３は、自動的に又はユーザによる指示入力に応じて、蓄積された学習効率について分散分析を実行する（Ｓ１０４）。具体的には、統計処理部１３は、レビューワＩＤ及びレビューイＩＤを独立変数とし、文書ごとの学習効率を従属変数とするデータベースを補助記憶装置１０２に作成する。統計処理部１３は、当該データベースに基づく分散分析によって、レビューワＩＤ、並びにレビューワＩＤ及びレビューイＩＤの交互作用への効果を検出する。
【００４５】
図７は、分散分析のために作成されるデータベースの例を示す図である。同図のデータベース２００において、レビューワ１〜５は、レビューワＩＤを示す。また、レビューイ１〜５は、レビューイＩＤを示す。すなわち、同図のデータベース２００（テーブル）は、レビューワとレビューイとの組み合わせごとに、３つの文書に関する学習効率が記録されたものである。例えば、レビューワ１とレビュー１との組み合わせについては、３つの文書について、「１．５」、「１．８」、「１．７」の学習効率が記録されている。なお、同図の例では、レビューワ及びレビューイの全ての組み合わせについサンプル数（学習効率の数）が揃えられているが、サンプル数は組み合わせごとに異なっていてもよい。
【００４６】
データベース２００に基づいて分散分析を行うと、レビューワ要因に関するＦ値は２．５６となる。また、レビューワ及びレビューイの交互作用に関するＦ値は１．８５となる。いずれのＦ値についても、５％以上の有意水準Ｐに収まっており、レビューワ要因及び交互作用のいずれもが学習効率に対して有意である（影響がある）ことが検出される。
【００４７】
続いて、出力部１４は、学習効率の算出結果及び分散分析の結果を表示装置１０６等に出力する（Ｓ１０５）。
【００４８】
図８は、学習効率の算出結果及び分散分析の結果の出力例を示す図である。同図の例では、レビューワごとに、各レビューイとの組み合わせによる学習効率の平均値が対比されてグラフ化されて表示されている。学習効率の平均値とは、当該組み合わせにおける複数の文書に対する学習効率の平均値である。図７に基づけば、本実施の形態では、３つの文書に対する学習効率の平均値となる。また、学習効率に対する分散分析の結果（Ｆ値及び当該Ｆ値が有意水準Ｐに収まっていることを示す情報）がグラフの下に表示されている。
【００４９】
同図のグラフより、レビューワ３の学習効率が相対的に低いことが分かる。また、レビューワ３とレビューイ４との組み合わせの学習効率が相対的に見て顕著に低いことが分かる。したがって、この場合、レビューワ３のレビュー能力の向上を図ったり、レビューイ４のレビーについては、レビューワ３以外の担当者をレビューワに割り当てたりするといった対策を検討することができる。
【００５０】
なお、分散分析については、学習効率の算出結果が有意であること（偶然ではないこと）を確認するためのものである。したがって、有意性の確認が不要である場合、分散分析は行われなくてもよい。
【００５１】
続いて、ステップＳ１０１の一例について詳細に説明する。図９は、レビュー履歴情報の入力及び記録処理の処理手順の一例を説明するためのフローチャートである。同図において、レビュー対象の文書は電子データ（文書データ）であるとする。
【００５２】
レビューワが、レビュー端末２０において、レビュー対象の文書データを指定してレビュー画面の表示指示を入力すると、入力制御部２１は、レビュー画面をレビューワ端末２０の表示装置に表示させる（Ｓ３０１）。
【００５３】
図１０は、レビュー画面の初期状態の表示例を示す図である。同図において、レビュー画面３００は、文書表示領域３１０、指摘事項表示領域３２０、指摘事項ボタン３３０、及び完了ボタン３４０等を含む。
【００５４】
文書表示領域３１０は、レビュー対象の文書データの内容（文書）が表示される領域である。指摘事項表示領域３２０は、指摘事項が入力された場合に、当該指摘事項が表示される領域である。指摘事項ボタン３３０は、指摘事項の入力指示を受け付けるためのボタンである。完了ボタン３４０は、レビューの完了指示を受け付けるためのボタンである。
【００５５】
レビューワは、レビュー画面３００の文書表示領域３１０に表示された文書を閲覧してレビューを行う。レビューの過程において、指摘事項が発生した場合、レビューワは、文書中において指摘事項の対象となる箇所（領域）を選択し、指摘事項ボタン３３０を押下する。指摘事項ボタン３３０の押下に応じ、入力制御部２１は、コメント入力欄を指摘事項表示領域３２０に表示させる（Ｓ３０３）。入力制御部２１は、コメント入力欄に入力される指摘事項（コメント）をレビューワ端末２０のメモリ装置を用いて記憶しておく（Ｓ３０４）。なお、ステップＳ３０４において入力される指摘事項は、新規指摘事項である。
【００５６】
図１１は、新規指摘事項の入力例を示す図である。同図では、領域３１１が選択されることにより表示されたコメント入力欄３２１に、指摘事項（「目的が曖昧。具体的に記述すること。」）が入力された例が示されている。なお、同図では、領域３１１とコメント入力欄３２１との関係が容易に視認可能なように、コメント入力欄３２１は、領域３１１からの吹き出しの形態によって表示されている。
【００５７】
続いて、入力制御部２１は、文書データにおいて、選択された領域３１１に係る箇所を示す指摘箇所ＩＤを生成する（Ｓ３０５）。上述したように、指摘箇所ＩＤは文書データのデータ形式等に応じ、文書データ中における一部分の特定に適したデータとして生成されればよい。続いて、入力制御部２１は、領域３１１に係る箇所（指摘箇所）がレビュー対象の文書データの過去バージョンに含まれているか否かを判定する（Ｓ３０６）。過去バージョンとは、レビュー対象の文書データについて過去に行われたレビュー時の文書データをいう。過去バージョンの文書データは、例えば、レビュー回数に関連付けられて補助記憶装置１０２に保存されている。ステップＳ３０６の判定は、例えば、ステップＳ３０５において生成された指摘箇所ＩＤに対応する箇所（指摘箇所）が過去バージョンの文書データに含まれているか否かに基づいて行えばよい。なお、レビューが既に複数回行われている場合は、複数の過去バージョンについて指摘箇所を含むか否かの判定が行われる。
【００５８】
指摘箇所は、いずれの過去バージョンにも含まれていない場合、又はレビューが初回の場合（過去バージョンが無い場合）（Ｓ３０６でＮｏ）、入力制御部２１は、新たに登録するレコード（以下、「対象レコード」という。）の種別を「新規」とする（Ｓ３０７）。続いて、入力制御部２１は、今回のレビュー回数を対象レコードに設定する（Ｓ３０８）。なお、今回のレビュー回数は、レビュー対象の文書データに対応するレビュー履歴記憶部１５において最後に登録されているレコードのレビュー回数に１を加算したものとすればよい。又は、レビュー履歴記憶部１５にレビュー回数を別途関連付けて記録しておき、当該レビュー回数に基づいて今回のレビュー回数を判定するようにしてもよい。
【００５９】
続いて、入力制御部２１は、レビュー係数を除く残りの項目の値を対象レコードに設定する（Ｓ３０９）。具体的には、レビュー履歴記憶部１５に記録されている最後のレコードの指摘ＩＤに１が加算された値が対象レコードの指摘ＩＤとされる。また、ステップＳ３０５において生成された指摘箇所ＩＤが対象レコードの指摘箇所ＩＤとされる。また、ステップＳ３０４において入力された指摘事項が対象レコードの指摘事項とされる。また、レビューを行っているユーザのレビューワＩＤが対象レコードのレビューワＩＤとされる。更に、レビュー対象の文書データの作成者のレビューイＩＤが対象レコードのレビューイＩＤとされる。なお、レビューワＩＤは、レビュー画面３００の表示前にレビューワに入力させればよい。または、レビューワ端末２０へのログインユーザ名がレビューワＩＤとしてＯＳ（Operating System）より取得されてもよい。また、レビューイＩＤは、文書データより取得されてもよいし、レビュー画面３００の表示前にレビューワに入力させてもよい。
【００６０】
続いて、入力制御部２１は、対象レコードを、レビュー対象の文書データに対応するレビュー履歴記憶部１５に登録する（Ｓ３３１）。
【００６１】
一方、ステップＳ３０６において、指摘箇所がいずれかの過去バージョンに含まれている場合（Ｓ３０６でＹｅｓ）、入力制御部２１は、対象レコードの種別を「放置」とする（Ｓ３１１）。続いて、入力制御部２１は、今回のレビュー回数を対象レコードに設定する（Ｓ３１２）。続いて、入力制御部２１は、レビュー係数を除く残りの項目の値を対象レコードに設定する（Ｓ３１３）。ステップＳ３１３の処理内容は、ステップＳ３０９と同様でよい。続いて、入力制御部２１は、対象レコードを、レビュー対象の文書データに対応するレビュー履歴記憶部１５に登録する（Ｓ３３１）。
【００６２】
また、レビュー画面３００において、指摘事項表示領域３２０に表示されているいずれかのコメント入力欄が選択され、指摘事項ボタン３３０が押下されると、入力制御部２１は、新たなコメント入力欄を指摘事項表示領域３２０に表示させる（Ｓ３０３）。なお、レビューが２回目以降である場合、レビュー画面３００の指摘事項表示領域３２０には、その初期状態において、前回までの指摘事項に対応するコメント入力欄が表示される。また、文書表示領域３１０において、前回までの指摘箇所が選択状態とされる。入力制御部２１は、コメント入力欄に入力される指摘事項（コメント）をレビューワ端末２０のメモリ装置を用いて記憶しておく（Ｓ３３２）。なお、ステップＳ３３２において入力される指摘事項は、継続指摘事項である。
【００６３】
図１２は、継続指摘事項の入力例を示す図である。同図では、コメント入力欄３２１が選択されることにより表示されたコメント入力欄３２２に、指摘事項（「目的が抽象的にすぎるので、下位概念書いたらどうか」）が入力された例が示されている。なお、同図では、コメント入力欄３２１とコメント入力欄３２２との関係が容易に視認可能なように、コメント入力欄３２２は、コメント入力欄３２１からの吹き出しの形態によって表示されている。
【００６４】
続いて、入力制御部２１は、対象レコードの種別を「継続」とする（Ｓ３２３）。続いて、入力制御部２１は、選択されたコメント入力欄３２１に対応するレコード（以下、「親レコード」という。）の指摘ＩＤを対象レコードの前回指摘ＩＤとする（Ｓ３２４）。続いて、入力制御部２１は、親レコードの指摘箇所ＩＤを対象レコードの指摘箇所ＩＤとする（Ｓ３２５）。続いて、入力制御部２１は、今回のレビュー回数を対象レコードに設定する（Ｓ３２６）。続いて、入力制御部２１は、レビュー係数を除く残りの項目の値を対象レコードに設定する（Ｓ３２７）。具体的には、レビュー履歴記憶部１５に記録されている最後のレコードの指摘ＩＤに１を加算された値が対象レコードの指摘ＩＤとされる。また、ステップＳ３２２において入力された指摘事項が対象レコードの指摘事項とされる。また、レビューを行っているユーザのレビューワＩＤが対象レコードのレビューワＩＤとされる。更に、レビュー対象の文書データの作成者のレビューイＩＤが対象レコードのレビューイＩＤとされる。続いて、入力制御部２１は、対象レコードを、レビュー対象の文書データに対応するレビュー履歴記憶部１５に登録する（Ｓ３３１）。
【００６５】
また、レビュー画面３００において、完了ボタン３４０が押下されると、入力制御部２１は、レビュー画面３００を消去させ、図９の処理を終了させる。
【００６６】
なお、図９の処理中において、すなわち、レビュー履歴情報の登録時においてレビュー係数が登録されてもよい。この場合、例えば、ステップＳ３０９、Ｓ３１３、Ｓ３２７の後で、それぞれ、図６のステップＳ２０２、２０３、又はＳ２０４が実行されればよい。レビュー履歴情報の登録時においてレビュー係数が登録される場合、図４のステップＳ１０２は実行されなくてよい。
【００６７】
ところで、図９では、指摘箇所が過去バージョンに含まれているか否か、すなわち、指摘事項が新規であるか放置であるかを入力制御部２１が自動的に判断する例について説明したが、当該判断をユーザに任せてもよい。この場合、レビュー画面は、図１３に示されるようなものとすればよい。
【００６８】
図１３は、指摘箇所の新規又は放置をユーザに判断させる場合のレビュー画面の表示例を示す図である。図１３中、図１０と同一部分には同一符号を付し、その説明は省略する。
【００６９】
同図に示されるレビュー画面３００ａは、指摘事項ボタン３３０の代わりに、新規指摘事項ボタン３３１及び放置指摘事項ボタン３３２を有する。新規指摘事項ボタン３３１は、文書表示領域３１０において選択された領域に対する指摘事項が新規指摘事項に該当する場合に押下されるボタンである。放置指摘事項ボタン３３２は、文書表示領域３１０において選択された領域に対する指摘事項が放置指摘事項に該当する場合に押下されるボタンである。
【００７０】
レビュー画面３００ａが採用される場合の処理手順は、図９に示したものとほぼ同様でよい。但し、ステップＳ３０６における分岐先は、押下されたボタンが新規指摘事項ボタン３３１であるのか放置指摘事項ボタン３３２であるのかに基づいて判断されればよい。すなわち、新規指摘事項ボタン３３１が押下された場合は、ステップＳ３０７以降が実行される。放置指摘事項ボタン３３２が押下された場合は、ステップＳ３１１以降が実行される。
【００７１】
上述したように、本実施の形態によれば、学習効率に基づいて、レビューワの指導力を定量的に評価することが可能となる。
【００７２】
また、学習効率の算出にあたり、同一の指摘箇所について指摘が繰り返された場合は、指摘回数に応じて学習効率に対する重み付け（レビュー係数）が大きくされる一方で、初めての指摘箇所についてはレビュー回数に拘わらずレビュー係数は「１」とされる。すなわち、継続指摘事項については指摘回数に応じてレビュー係数は大きくされる一方で、新規指摘事項については指摘回数に応じてレビュー係数は「１」とされる。したがって、単に、レビュー回数に応じた指摘事項の減少傾向を評価する場合に比べて、新たに追記された部分に対する指摘事項が、マイナス方向に評価されるのを回避することができる。
【００７３】
また、初めての指摘箇所であっても、当該指摘箇所が既存部分である場合は、放置指摘事項とし、新規指摘事項とレビュー係数の与え方が変えられるため、看過された（放置された）指摘箇所に対する評価を適切に学習効率に反映させることができる。
【００７４】
また、レビューワとレビューイとの組み合わせに応じた学習効率を比較することにより、相性の悪い組み合わせを検出することができる。
【００７５】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００７６】
以上の説明に関し、更に以下の項を開示する。
（付記１）
文書のレビューごとに、前記文書に対するレビューワによる指摘事項に応じて指摘箇所を示す情報を記憶するレビュー履歴記憶手段と、
前記レビュー履歴記憶手段が記憶する情報に基づいて、同一の指摘箇所に対する指摘回数に応じて重み付けを大きくして該重み付けを各指摘事項に付与し、前記指摘事項の総数に対する前記重み付けの総和の割合を前記レビューワの評価値として算出する評価値算出手段と、
前記評価値を出力する出力手段とを有するレビューワ評価装置。
（付記２）
前記算出手段は、初回の指摘箇所に対する指摘事項について、過去のレビュー時に前記文書に含まれていた箇所に対する該指摘事項の前記重み付けは、過去のレビュー時に前記文書に含まれていない箇所に対する該指摘事項の前記重み付けよりも大きくする付記１記載のレビューワ評価装置。
（付記３）
前記出力手段は、複数のレビューワについて、同一のレビューイに係る文書に関して算出された前記評価値を表示させる付記１又は２記載のレビューワ評価装置。
（付記４）
前記文書の文書データを表示させ、該文書データにおいて選択された箇所に対して前記指摘事項を入力させ、前記選択された箇所を示す情報を当該指摘事項に応じた前記指摘箇所を示す情報として前記レビュー履歴記憶手段に記録する入力制御手段を有する付記１乃至３いずれか一項記載のレビューワ評価装置。
（付記５）
コンピュータが、
文書のレビューごとに、前記文書に対するレビューワによる指摘事項に応じて指摘箇所を示す情報を記憶するレビュー履歴記憶手段が記憶する情報に基づいて、同一の指摘箇所に対する指摘回数に応じて重み付けを大きくして該重み付けを各指摘事項に付与し、前記指摘事項の総数に対する前記重み付けの総和の割合を前記レビューワの評価値として算出する評価値算出手順と、
前記評価値を出力する出力手順とを実行するレビューワ評価方法。
（付記６）
前記算出手順は、初回の指摘箇所に対する指摘事項について、過去のレビュー時に前記文書に含まれていた箇所に対する該指摘事項の前記重み付けは、過去のレビュー時に前記文書に含まれていない箇所に対する該指摘事項の前記重み付けよりも大きくする付記５記載のレビューワ評価方法。
（付記７）
前記出力手順は、複数のレビューワについて、同一のレビューイに係る文書に関して算出された前記評価値を表示させる付記５又は６記載のレビューワ評価方法。
（付記８）
前記文書の文書データを表示させ、該文書データにおいて選択された箇所に対して前記指摘事項を入力させ、前記選択された箇所を示す情報を当該指摘事項に応じた前記指摘箇所を示す情報として前記レビュー履歴記憶手段に記録する入力制御手順を有する付記５乃至７いずれか一項記載のレビューワ評価方法。
（付記９）
コンピュータに、
文書のレビューごとに、前記文書に対するレビューワによる指摘事項に応じて指摘箇所を示す情報を記憶するレビュー履歴記憶手段が記憶する情報に基づいて、同一の指摘箇所に対する指摘回数に応じて重み付けを大きくして該重み付けを各指摘事項に付与し、前記指摘事項の総数に対する前記重み付けの総和の割合を前記レビューワの評価値として算出する評価値算出手順と、
前記評価値を出力する出力手順とを実行させるためのプログラム。
（付記１０）
前記算出手順は、初回の指摘箇所に対する指摘事項について、過去のレビュー時に前記文書に含まれていた箇所に対する該指摘事項の前記重み付けは、過去のレビュー時に前記文書に含まれていない箇所に対する該指摘事項の前記重み付けよりも大きくする付記９記載のプログラム。
（付記１１）
前記出力手順は、複数のレビューワについて、同一のレビューイに係る文書に関して算出された前記評価値を表示させる付記９又は１０記載のプログラム。
（付記１２）
前記文書の文書データを表示させ、該文書データにおいて選択された箇所に対して前記指摘事項を入力させ、前記選択された箇所を示す情報を当該指摘事項に応じた前記指摘箇所を示す情報として前記レビュー履歴記憶手段に記録する入力制御手順を有する付記９乃至１１いずれか一項記載のプログラム。
【符号の説明】
【００７７】
１            レビューワ評価システム
１０          レビューワ評価装置
１１          レビュー係数算出部
１２          学習効率算出部
１３          統計処理部
１４          出力部
１５          レビュー履歴記憶部
２０          レビューワ端末
２１          入力制御部
３０          ネットワーク
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
１０６        表示装置
１０７        入力装置
Ｂ            バス
【図１】
2011145996.tif 000004
【図２】
2011145996.tif 000005
【図３】
2011145996.tif 000006
【図４】
2011145996.tif 000007
【図５】
2011145996.tif 000008
【図６】
2011145996.tif 000009
【図７】
2011145996.tif 000010
【図８】
2011145996.tif 000011
【図９】
2011145996.tif 000012
【図１０】
2011145996.tif 000013
【図１１】
2011145996.tif 000014
【図１２】
2011145996.tif 000015
【図１３】
2011145996.tif 000016