(57)【特許請求の範囲】
【請求項１】
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段と、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容とを比較する比較手段と、
前記比較手段によって比較された比較結果に基づいて、前記いずれかの時刻における前記画面内の前記特定手段によって特定された前記項目領域の表示内容と前記情報領域の表示内容とがともに変化しているか否かを判定する判定手段と、
前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定された場合に、前記いずれかの時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力し、前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定されなかった場合には、前記いずれかの時刻に関連する操作ログを出力しない出力手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記画面の一連の表示内容のうち、いずれかの選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定手段と、
前記第１の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定手段と、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段と、を備え、
前記特定手段は、
前記第２の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定するとともに、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記情報領域として特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記出力手段によって時系列に連続する第１および第２の時刻の操作ログが出力された結果、当該第１および第２の時刻の操作ログに基づいて、前記第１の時刻に選択されている項目に対応する情報の表示時間を算出する算出手段を備え、
前記出力手段は、
前記算出手段によって算出された表示時間を出力することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記比較結果に基づいて、前記いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第１の判断手段と、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第２の判断手段と、を備え、
前記判定手段は、
前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定することを特徴とする請求項１〜３のいずれか一つに記載の情報処理装置。
【請求項５】
前記第１の判断手段は、
前記比較結果に基づいて、前記いずれかの時刻に選択されていた前記項目の配置位置と、前記いずれかの時刻直前に画面変化があった際に選択されていた前記項目の配置位置とが一致するか否かを判断し、
前記判定手段は、
前記第１の判断手段によって前記項目の配置位置が一致すると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第３の判断手段を備え、
前記判定手段は、
前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第３の判断手段によって前記情報領域内の画面差分があると判断された場合、前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定することを特徴とする請求項４または５に記載の情報処理装置。
【請求項７】
コンピュータを、
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容とを比較する比較手段、
前記比較手段によって比較された比較結果に基づいて、前記いずれかの時刻における前記画面内の前記特定手段によって特定された前記項目領域の表示内容と前記情報領域の表示内容とがともに変化しているか否かを判定する判定手段、
前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定された場合に、前記いずれかの時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力し、前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定されなかった場合には、前記いずれかの時刻に関連する操作ログを出力しない出力手段、
として機能させることを特徴とする情報処理プログラム。
【請求項８】
前記コンピュータを、
前記画面の一連の表示内容のうち、いずれかの選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定手段、
前記第１の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定手段、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段としてさらに機能させ、
前記特定手段は、
前記第２の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定するとともに、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記情報領域として特定することを特徴とする請求項７に記載の情報処理プログラム。
【請求項９】
コンピュータが、
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定工程と、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容とを比較する比較工程と、
前記比較工程によって比較された比較結果に基づいて、前記いずれかの時刻における前記画面内の前記特定工程によって特定された前記項目領域の表示内容と前記情報領域の表示内容とがともに変化しているか否かを判定する判定工程と、
前記判定工程によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定された場合に、前記いずれかの時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力し、前記判定工程によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定されなかった場合には、前記いずれかの時刻に関連する操作ログを出力しない出力工程と、
を実行することを特徴とする情報処理方法。
【請求項１０】
前記コンピュータが、
前記画面の一連の表示内容のうち、いずれかの選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定工程と、
前記第１の領域判定工程によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定工程と、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定工程と、をさらに実行し、
前記特定工程は、
前記第２の領域判定工程によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定するとともに、前記特徴判定工程によって判定された判定結果に基づいて、前記残余の図形領域を前記情報領域として特定することを特徴とする請求項９に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作に関するログを取得する情報処理装置、情報処理プログラム、および情報処理方法に関する。
【背景技術】
【０００２】
従来から、業務分析のために、アプリケーションが発行するログを用いて作業時間を計測することが行われている。ところが、対象となるアプリケーションがログを発行しないものであれば、何らかの手法により間接的にログを取得する必要がある。従来において、画面の画像データを所定時間前の画像データと比較して、画像データの一致不一致から画面の表示内容の切り替えタイミングを判断する手法がある。
【０００３】
また、予め定められた複数の業務項目について実際にかかった時間を計測する技術がある（たとえば、下記特許文献１参照。）。具体的には、計測装置は、特定の業務を開始する際の被測定者による特定の業務項目ボタンのクリックに応じて、時間計測を開始する。そして、計測装置は、特定の業務が終了して特定の業務項目の選択入力が行われると、特定の業務項目の時間計測の終了に関する情報を記録する。
【０００４】
また、対話システムの応答時間を測定する技術がある（たとえば、下記特許文献２参照。）。具体的には、測定装置は、ディスプレイに表示された画像情報の予め定められた第１の位置における画像情報の変化を検知し、その時刻をプログラムの動作開始時刻として記録する。そして、測定装置は、画像情報の予め定められた第２の位置における画像情報の変化を検知し、その時刻をプログラムの動作終了時刻として記録し、動作開始時刻と動作終了時刻から応答時間を計算する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１０７４７３号公報
【特許文献２】特開２００４−３８６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術では、画面内に複数の枠（表示領域）を有し、一の枠内の項目群のいずれかを選択すると、他の枠内の表示内容が切り替わるアプリケーションにおける項目の選択操作に関するログを取得することが難しいという問題がある。
【０００７】
具体的には、画面全体の画像データの一致不一致から表示内容の切り替えタイミングを判断する従来手法では、各枠のスクロール操作による画面変化も検出してしまうため、項目の選択操作に関するログのみを正確に取得することが難しいという問題がある。
【０００８】
また、枠内の各項目に座標を与えて、項目の選択操作にともなう画面変化を検出することも考えられる。しかしながら、アプリケーションの種類、設定およびウィンドウサイズによって各枠の配置位置が異なるため、各項目の配置位置を一意に特定することが難しいという問題がある。
【０００９】
本発明は、上述した従来技術による問題点を解消するため、効率的かつ高精度に項目の選択操作に関するログを取得することができる情報処理装置、情報処理プログラム、および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するため、開示の情報処理装置、情報処理プログラム、および情報処理方法は、画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定し、所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較し、比較された比較結果に基づいて、特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定し、前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力することを要件とする。
【発明の効果】
【００１１】
本情報処理装置、情報処理プログラム、および情報処理方法によれば、効率的かつ高精度に項目の選択操作に関するログを取得することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本実施の形態の概要の一例を示す説明図である。
【図２】情報処理装置のハードウェア構成を示すブロック図である。
【図３】情報処理装置の機能的構成を示すブロック図である。
【図４】イベントＤＢの記憶内容の一例を示す説明図である。
【図５】画面ＤＢの記憶内容の一例を示す説明図である。
【図６】領域ＤＢの記憶内容の一例を示す説明図である。
【図７】操作ログＤＢの記憶内容の一例を示す説明図である。
【図８】レポート情報の具体例を示す説明図である。
【図９】特定部の機能的構成の一例を示すブロック図である。
【図１０】リスト領域および本文領域の特徴を示す説明図である。
【図１１】非背景色テーブルの記憶内容の一例を示す説明図である。
【図１２】基準画面ＤＢの記憶内容の一例を示す説明図である。
【図１３】選択リストＤＢの記憶内容の一例を示す説明図である。
【図１４】判定部の機能的構成の一例を示すブロック図である。
【図１５】画面差分の具体例を示す説明図（その１）である。
【図１６】画面差分の具体例を示す説明図（その２）である。
【図１７】画面差分の具体例を示す説明図（その３）である。
【図１８】画面差分の具体例を示す説明図（その４）である。
【図１９】画面差分の具体例を示す説明図（その５）である。
【図２０】画面差分の具体例を示す説明図（その６）である。
【図２１】画面差分の具体例を示す説明図（その７）である。
【図２２】情報処理装置の情報処理手順の一例を示す説明図である。
【図２３】イベントログ取得処理の具体的処理手順の一例を示すフローチャートである。
【図２４】画面取得処理の具体的処理手順の一例を示すフローチャートである。
【図２５】特定処理の具体的処理手順の一例を示すフローチャートである。
【図２６】領域判定処理の具体的処理手順の一例を示すフローチャートである。
【図２７】特徴判定処理の具体的処理手順の一例を示すフローチャート（その１）である。
【図２８】特徴判定処理の具体的処理手順の一例を示すフローチャート（その２）である。
【図２９】領域登録処理の具体的処理手順の一例を示すフローチャートである。
【図３０】領域ＤＢの記憶内容の変遷例を示す説明図である。
【図３１】判定処理の具体的処理手順の一例を示すフローチャート（その１）である。
【図３２】判定処理の具体的処理手順の一例を示すフローチャート（その２）である。
【図３３】判定処理の具体的処理手順の一例を示すフローチャート（その３）である。
【図３４】基準画面登録処理の具体的処理手順の一例を示すフローチャートである。
【図３５】操作ログ登録処理の具体的処理手順の一例を示すフローチャートである。
【図３６】出力処理の具体的処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して、この発明にかかる情報処理装置、情報処理プログラム、および情報処理方法の好適な実施の形態を詳細に説明する。
【００１４】
（実施の形態の概要）
まず、本実施の形態の概要の一例について説明する。図１は、本実施の形態の概要の一例を示す説明図である。図１において、画面１００は、項目群を表示する項目領域Ｒ１と、項目群から選ばれた項目に対応する情報を表示する情報領域Ｒ２と、を含む複数ペイン構造である。
【００１５】
画面１００において、項目領域Ｒ１内の項目群の中から項目ｘが選択されている。このため、画面１００では、項目領域Ｒ１内の項目ｘが強調表示（ハイライト表示）されている。さらに、画面１００では、項目ｘに対応する情報Ｘが情報領域Ｒ２内に表示されている。
【００１６】
（１）画面１００において、項目領域Ｒ１内の項目ｘから項目ｙに切り替えるためのクリック操作が行われると、画面１００の表示内容が画面１１０の表示内容に変化する。具体的には、画面１１０では、項目ｙが選択された結果、項目領域Ｒ１内の項目ｙが強調表示され、項目ｙに対応する情報Ｙが情報領域Ｒ２内に表示されている。
【００１７】
（２）画面１００において、項目領域Ｒ１内の表示内容を切り替えるためのスクロール操作が行われると、画面１００の表示内容が画面１２０の表示内容に変化する。具体的には、画面１２０では、項目領域Ｒ１内の表示内容は変化しているが、選択されている項目ｘが切り替わっていないため、情報領域Ｒ２内の表示内容は変化していない。
【００１８】
そこで、本実施の形態では、画面内の項目領域Ｒ１と情報領域Ｒ２を特定し、情報領域Ｒ２の画面変化をともなう項目領域Ｒ１の画面変化を検知することで、情報領域Ｒ２の表示内容を切り替えるための項目の選択操作が行われたことを判断する。
【００１９】
画面１１０では、項目領域Ｒ１および情報領域Ｒ２の表示内容がともに変化しているため、情報領域Ｒ２の表示内容を切り替えるための項目の選択操作が行われたと判断される。一方、画面１２０では、項目領域Ｒ１の表示内容のみが変化しているため、情報領域Ｒ２の表示内容を切り替えるための項目の選択操作は行われていないと判断される。
【００２０】
このように、本実施の形態によれば、複数ペイン構造の画面内の項目領域Ｒ１と情報領域Ｒ２に着目して表示内容の変化を判断することで、効率的かつ高精度に情報領域Ｒ２の表示内容を切り替えるための項目の選択操作が行われたことを判断することができる。
【００２１】
（情報処理装置のハードウェア構成）
つぎに、本実施の形態にかかる情報処理装置２００のハードウェア構成について説明する。図２は、情報処理装置のハードウェア構成を示すブロック図である。図２において、情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３と、磁気ディスクドライブ２０４と、磁気ディスク２０５と、光ディスクドライブ２０６と、光ディスク２０７と、ディスプレイ２０８と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０９と、キーボード２１０と、マウス２１１と、スキャナ２１２と、プリンタ２１３と、を備えている。また、各構成部はバス２２０によってそれぞれ接続されている。
【００２２】
ここで、ＣＰＵ２０１は、情報処理装置２００の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。磁気ディスクドライブ２０４は、ＣＰＵ２０１の制御にしたがって磁気ディスク２０５に対するデータのリード／ライトを制御する。磁気ディスク２０５は、磁気ディスクドライブ２０４の制御で書き込まれたデータを記憶する。
【００２３】
光ディスクドライブ２０６は、ＣＰＵ２０１の制御にしたがって光ディスク２０７に対するデータのリード／ライトを制御する。光ディスク２０７は、光ディスクドライブ２０６の制御で書き込まれたデータを記憶したり、光ディスク２０７に記憶されたデータをコンピュータに読み取らせたりする。
【００２４】
ディスプレイ２０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ２０８は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【００２５】
インターフェース（以下、「Ｉ／Ｆ」と略する。）２０９は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２１４に接続され、このネットワーク２１４を介して他の装置に接続される。そして、Ｉ／Ｆ２０９は、ネットワーク２１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ２０９には、たとえばモデムやＬＡＮアダプタなどを採用することができる。
【００２６】
キーボード２１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力を行う。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１１は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【００２７】
スキャナ２１２は、画像を光学的に読み取り、情報処理装置２００内に画像データを取り込む。なお、スキャナ２１２は、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）機能を持たせてもよい。また、プリンタ２１３は、画像データや文書データを印刷する。プリンタ２１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
【００２８】
（情報処理装置の機能的構成）
つぎに、情報処理装置２００の機能的構成について説明する。図３は、情報処理装置の機能的構成を示すブロック図である。図３において、情報処理装置２００は、取得部３０１と、特定部３０２と、判定部３０３と、認識部３０４と、算出部３０５と、作成部３０６と、出力部３０７と、を含む構成である。この制御部となる機能（取得部３０１〜出力部３０７）は、具体的には、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されたプログラムをＣＰＵ２０１に実行させることにより、または、Ｉ／Ｆ２０９により、その機能を実現する。
【００２９】
取得部３０１は、監視対象となるアプリケーションの実行中に発生したイベント（事象）のログを取得する機能を有する。ここで、ログとは、監視対象となるアプリケーションが発行するものではなく、たとえば、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）が発行するイベントログである。イベントログは、たとえば、図２に示したキーボード２１０やマウス２１１を用いた操作入力に関するログである。
【００３０】
また、取得部３０１は、監視対象となるアプリケーションに割り当てられている画面（ウィンドウ）のウィンドウサイズを取得する機能を有する。監視対象となるアプリケーションとしては、たとえば、メールソフト、ＲＳＳ（ＲＤＦ  Ｓｉｔｅ  Ｓｕｍｍａｒｙ）リーダ、電子書籍などがある。なお、ウィンドウサイズは、たとえば、画面の縦方向のピクセル数と横方向のピクセル数によって表現される。
【００３１】
具体的には、たとえば、取得部３０１が、ログおよびウィンドウサイズを、ＯＳから取得してもよく、また、監視対象となるアプリケーションを実行中の外部のコンピュータ装置から取得してもよい。なお、取得されたログおよびウィンドウサイズは、たとえば、図４に示す操作イベントＤＢ４００に記憶される。
【００３２】
ここで、イベントＤＢ４００の記憶内容について説明する。図４は、イベントＤＢの記憶内容の一例を示す説明図である。図４において、イベントＤＢ４００は、ログＩＤ、クリック時刻、クリック座標およびウィンドウサイズのフィールド項目を有する。各フィールド項目に情報を設定することで、イベント情報４００−１〜４００−ｎがレコードとして記憶されている。
【００３３】
ログＩＤは、イベントログを識別する識別子である。クリック時刻は、クリックイベントの発生時刻である。クリック座標は、クリックイベントのクリック座標であり、たとえば、画面上での位置を特定する座標である。ウィンドウサイズは、クリックイベント発生時のアプリケーションに割り当てられた画面の大きさである。
【００３４】
なお、イベント情報４００−１〜４００−ｎは、クリック時刻が古いものから順にイベントＤＢ４００に記憶されている。また、イベントＤＢ４００は、たとえば、図２に示したＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【００３５】
図３の説明に戻り、取得部３０１は、所定の時間間隔Ｔで画面の画像データを取得する機能を有する。ここで、画像データとは、画面に表示されている画面イメージのバイナリデータである。具体的には、たとえば、取得部３０１が、画面の画像データを、ＯＳから取得してもよく、また、監視対象となるアプリケーションを実行中の外部のコンピュータ装置から取得してもよい。なお、時間間隔Ｔは、任意に設定可能である（たとえば、１秒間隔、０．３秒間隔など）。取得された画像データは、たとえば、図５に示す画面ＤＢ５００に記憶される。
【００３６】
ここで、画面ＤＢ５００の記憶内容について説明する。図５は、画面ＤＢの記憶内容の一例を示す説明図である。図５において、画面ＤＢ５００は、画面ＩＤ、取得時刻および画像データのフィールド項目を有する。各フィールド項目に情報を設定することで、画面情報５００−１〜５００−ｍがレコードとして記憶されている。
【００３７】
画面ＩＤは、画像データを識別する識別子である。取得時刻は、画像データの取得時刻である。画像データは、画面イメージのバイナリデータである。なお、画面情報５００−１〜５００−ｍは、取得時刻が古いものから順に画面ＤＢ５００に記憶されている。また、画面ＤＢ５００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【００３８】
図３の説明に戻り、特定部３０２は、画面内の複数の表示領域のうち、項目群を表示する項目領域と項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する機能を有する。ここで、表示領域とは、画面（ウィンドウ）を区切って分割された表示枠（ペイン）である。項目とは、たとえば、リスト（見出し）、インデックスなどである。情報とは、各項目に対応付けられている文章、グラフ、数式、表、絵などである。
【００３９】
具体的には、たとえば、特定部３０２が、取得された取得結果に基づいて、ウィンドウ内の複数の表示領域のうち、項目領域および情報領域を特定する。なお、特定部３０２の具体的な処理内容については図９を用いて後述する。また、特定された特定結果は、たとえば、図６に示す領域ＤＢ６００に記憶される。
【００４０】
以下の説明では、監視対象となるアプリケーションを「メールソフト」、項目を「メールのリスト」、項目に対応する情報を「メールの本文」とする。また、項目領域を「リスト領域」、情報領域を「本文領域」と表記する。
【００４１】
ここで、領域ＤＢ６００の記憶内容について説明する。図６は、領域ＤＢの記憶内容の一例を示す説明図である。図６において、領域ＤＢ６００は、クリック時刻、リスト領域範囲、本文領域範囲およびウィンドウサイズのフィールド項目を有する。各フィールド項目に情報を設定することで、画面内のリスト領域および本文領域に関する領域データ（たとえば、領域データ６００−１）がレコードとして記憶されている。
【００４２】
クリック時刻とは、領域データを新規登録する際に基準となったクリックイベントの発生時刻である。リスト領域範囲とは、画面内のリスト領域の位置を特定する情報である。ここでは、リスト領域範囲が、リスト領域を示す矩形の対角頂点の座標によって表現されている。
【００４３】
本文領域範囲とは、画面内の本文領域の位置を特定する情報である。ここでは、本文領域範囲が、本文領域を示す矩形の対角頂点の座標によって表現されている。ウィンドウサイズとは、領域データを新規登録する際に基準となったクリックイベントの発生時刻でのウィンドウサイズである。なお、領域ＤＢ６００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【００４４】
図３の説明に戻り、判定部３０３は、特定された画面内のリスト領域および本文領域の表示内容がともに変化しているか否かを判定する機能を有する。具体的には、たとえば、判定部３０３が、時間間隔Ｔで得られた画面の一連の表示内容のうち、任意の時刻における画面の表示内容と、任意の時刻以前の時刻における画面の表示内容とを比較する。
【００４５】
そして、判定部３０３が、比較された比較結果に基づいて、任意の時刻の画面において、リスト領域および本文領域の表示内容がともに変化しているか否かを判定する。ここで、任意の時刻以前の時刻における画面の表示内容は、たとえば、後述する「基準画面ＳＰ」と「前回のハイライト範囲」によって定義される。なお、判定部３０３の具体的な処理内容については図１４を用いて後述する。また、判定された判定結果は、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶される。
【００４６】
認識部３０４は、リストに表示されている文字列を認識する機能を有する。具体的には、たとえば、認識部３０４が、既存の文字認識技術を利用して、リストに表示されている文字列を認識することができる。なお、認識された認識結果は、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶される。
【００４７】
出力部３０７は、リスト領域と本文領域の表示内容がともに変化していると判定された場合、任意の時刻と関連付けてリスト領域内の一のリストから他のリストに切り替える選択操作に関する操作ログを出力する機能を有する。
【００４８】
具体的には、たとえば、出力部３０７が、一のリストから他のリストに切り替える選択操作に関する操作ログを図７に示す操作ログＤＢ７００に記録することにしてもよい。また、操作ログには、認識された認識結果（リストに表示されている文字列）を含むことにしてもよい。
【００４９】
図７は、操作ログＤＢの記憶内容の一例を示す説明図である。図７において、操作ログＤＢ７００は、操作ログＩＤ、選択時刻および文字列のフィールド項目を有する。各フィールド項目に情報を設定することで、一のリストから他のリストに切り替える選択操作に関する操作ログＯＬ1〜ＯＬsがレコードとして記憶されている。
【００５０】
なお、操作ログＯＬ1〜ＯＬsは、記録時刻が古いものから順に操作ログＤＢ７００に記憶されている。また、操作ログＤＢ７００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶領域に記憶されている。
【００５１】
算出部３０５は、時系列に連続する第１および第２の時刻の操作ログに基づいて、第１の時刻に選択されているリストに対応する本文の表示時間を算出する機能を有する。具体的には、たとえば、算出部３０５が、操作ログＤＢ７００を参照して、操作ログＯＬ1の選択時刻と操作ログＯＬ2の選択時刻の差分を表示時間として求める。
【００５２】
これにより、文字列「業務連絡  山田四郎・・・」が表示されたリストに対応する本文の閲覧時間を推測することができる。ここで、閲覧時間とは、監視対象となるアプリケーション（たとえば、メールソフト）を使用しているユーザが情報（メールの本文）を閲覧するために要した時間である。なお、算出された算出結果は、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶領域に記憶される。
【００５３】
作成部３０６は、算出された算出結果に基づいて、リストに対応する本文の閲覧時間を示すレポート情報を作成する機能を有する。ここで、レポート情報の具体例について説明する。図８は、レポート情報の具体例を示す説明図である。図８において、レポート情報８００には、メールのリストごとの閲覧時間が示されている。レポート情報８００によれば、各リストから特定されるメールの本文を閲覧するために要したユーザの閲覧時間を把握することができる。
【００５４】
また、出力部３０７は、算出された算出結果を出力する機能を有する。具体的には、たとえば、出力部３０７が、作成されたレポート情報８００を出力することにしてもよい。なお、出力形式としては、たとえば、ディスプレイ２０８への表示、プリンタ２１３への印刷出力、Ｉ／Ｆ２０９による外部装置への送信がある。また、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶領域に記憶することとしてもよい。
【００５５】
（特定部の機能的構成）
つぎに、上記特定部３０２の機能的構成について説明する。図９は、特定部３０２の機能的構成の一例を示すブロック図である。図９において、特定部３０２は、選択部９０１と、第１の抽出部９０２と、第１の比較部９０３と、領域判定部９０４と、特徴判定部９０５と、を含む構成である。以下、メールソフトの画面内のリスト領域および本文領域を特定する場合を例に挙げて、各機能部９０１〜９０４の処理内容の一例を説明する。
【００５６】
選択部９０１は、イベントＤＢ４００から任意のイベントログＬｉを選択する（ｉ＝１，２，…，ｎ）。第１の抽出部９０２は、画面ＤＢ５００から、画像データの取得時刻がイベントログＬｉのクリック時刻直前の画面Ｐjの画像データを抽出する（ｊ＝１，２，…，ｍ）。
【００５７】
また、第１の抽出部９０２は、画面ＤＢ５００から、画像データの取得時刻がイベントログＬｉのクリック時刻直後の画面Ｐj+1の画像データを抽出する。なお、画像データの取得時刻がクリック時刻と一致する場合、その取得時刻をクリック時刻直前またはクリック時刻直後の時刻としてもよい。
【００５８】
第１の比較部９０３は、抽出された画面Ｐjの画像データと画面Ｐj+1の画像データとを比較する。具体的には、第１の比較部９０３は、画面Ｐjの画像データと画面Ｐj+1の画像データとの画面差分を抽出する。
【００５９】
ここで、画面差分とは、画面変化の有無をピクセル単位で示す情報である。ここでは、画面差分を、画面変化が有るところと無いところの境界線で囲まれた図形領域（線、矩形、円など）の集合とする。具体的には、たとえば、画面差分、各図形領域の範囲を特定する情報の集合である。なお、２つの画像データの画面差分を抽出する技術は既知のため説明を省略する。
【００６０】
領域判定部９０４は、抽出された画面差分にイベントログＬｉのクリック座標が含まれるか否かを判定する。また、領域判定部９０４は、クリック座標が画面差分に含まれる場合、画面差分のうちクリック座標を含む図形領域（以下、「第１図形領域」という）が規定サイズより大きいか否かを判定する。
【００６１】
ここで、規定サイズとは、リスト領域内のリストが選択された際に強調表示（ハイライト表示）される領域のサイズを規定するものである。具体的には、たとえば、規定サイズは、ハイライト表示される矩形領域の縦横のピクセル数（下限値、下限値および上限値など）によって表現される。より具体的には、たとえば、規定サイズは、「縦のピクセル数が５以上かつ横のピクセル数が３０以上」などである。
【００６２】
特定部３０２は、第１図形領域が規定サイズより大きい場合、第１図形領域をリスト領域として特定する。また、複数のリスト領域が特定された場合、特定部３０２は、複数のリスト領域を重ね合わせることにより、一つのリスト領域として特定する。ただし、複数のリスト領域の、領域が特定された時刻でのウィンドウサイズが同一の場合に限る。
【００６３】
また、領域判定部９０４は、画面差分のうち第１図形領域を除く残余の図形領域を本文領域候補として判定する。具体的には、たとえば、領域判定部９０４が、画面差分のうち第１図形領域を除く残余の図形領域全体を囲む矩形領域を本文領域候補として判定することにしてもよい。
【００６４】
特徴判定部９０５は、本文領域候補の特徴を判定する。具体的には、たとえば、特徴判定部９０５は、リスト領域および本文領域が有する領域の特徴に基づいて、本文領域候補がどちらの特徴に類似しているかを判定することにしてもよい。ここで、リスト領域および本文領域が有する領域の特徴について説明する。
【００６５】
図１０は、リスト領域および本文領域の特徴を示す説明図である。図１０において、メールソフトの画面（ウィンドウ）内に表示されるリスト領域１０１０と本文領域１０２０とが示されている。ここで、リスト領域１０１０には、メールの件名、差出人、受信時刻などの項目単位で文字列が表示されるため、縦方向に規則的な隙間ができる特徴がある。
【００６６】
一方、本文領域１０２０には、メールの本文は段落ごとに空行が入る場合が多いため、横方向に不規則な隙間（空行）ができる特徴がある。そこで、特徴判定部９０５は、本文領域候補に縦方向または横方向の隙間があるか否かを判定することで、本文領域候補の特徴を判定する。なお、以下の説明では、本文領域候補の縦方向のピクセル数をＨピクセルとし、横方向のピクセル数をＷピクセルとする。
【００６７】
具体的には、たとえば、まず、特徴判定部９０５は、ピクセル単位の列（または、行）ごとに、本文領域候補の縦方向（または、横方向）の非背景色のピクセル数を算出する。ただし、背景色は予め設定されている。ここで、隙間の列（または、行）は非背景色のピクセル数が「０」であり、文字のある列は非背景色のピクセル数が大きくなる。
【００６８】
そこで、特徴判定部９０５は、非背景色のピクセル数が急激に閾値ａ（たとえば、ａ＝０）以下となる境界を検出することで隙間を判定する。この際、文字間の隙間を項目間（または、空行）の隙間と判定することを回避するために、一定の幅でピクセル数が「０」となる列（または行）が一定数連続する場合に、隙間として判定する。
【００６９】
以下、本文領域候補の縦方向の隙間の有無を判定する場合を例に挙げて説明する。まず、特徴判定部９０５は、ピクセル単位の列ごとに、本文領域候補の縦方向の非背景色のピクセル数を算出する。なお、算出された非背景色のピクセル数は、たとえば、図１１に示す非背景色テーブル１１００に記憶される。
【００７０】
図１１は、非背景色テーブルの記憶内容の一例を示す説明図である。図１１において、非背景色テーブル１１００は、本文領域候補の列Ｆ0〜ＦW-1ごとに非背景色のピクセル数を有している。この場合、特徴判定部９０５は、非背景色テーブル１１００を参照して、隙間の境界を検出する。
【００７１】
具体的には、たとえば、特徴判定部９０５が、隣接列間で非背景色のピクセル数が、全列Ｆ0〜ＦW-1の非背景色のピクセル数の最大値のα％以上の値から閾値ａ以下となる列を隙間の境界として検出する。ここで、閾値ａを「ａ＝０」とし、非背景色のピクセル数の最大値を「１００」とし、上記αを「α＝５０」すると、たとえば、列Ｆ89が隙間の境界として検出される。
【００７２】
そして、特徴判定部９０５は、隙間の境界として検出された列から、非背景色のピクセル数が閾値ａ以下となる列が一定数β連続する場合に隙間として判定する。ここで、閾値ａを「ａ＝０」とし、一定数βを「４」とすると、列Ｆ89〜列Ｆ92までの４ピクセル連続して非背景色のピクセル数が閾値以下となるため隙間として判定される。
【００７３】
なお、ある列（たとえば、列Ｆ89）から最終列ＦW-1まで連続して非背景色のピクセル数が閾値ａ以下となる場合は、隙間として判定しないことにしてもよい。これにより、リスト領域（または、本文領域）内の空きスペースを項目間（空行）の隙間として判定することを回避することができる。
【００７４】
そして、特定部３０２は、縦方向の隙間がある場合、本文領域候補を本文領域ではない領域（たとえば、リスト領域）と判定する。一方、特定部３０２は、横方向の隙間がある場合、本文領域候補を本文領域と判定する。さらに、特定部３０２は、横方向および縦方向の隙間がいずれもない場合は、本文領域候補を本文領域ではない領域（たとえば、リスト領域）と判定する。
【００７５】
また、複数の本文領域が特定された場合、特定部３０２は、複数の本文領域を重ね合わせることにより、一つの本文領域として特定する。ただし、複数のリスト領域の、領域が特定された時刻でのウィンドウサイズが同一の場合に限る。
【００７６】
（判定部の機能的構成）
つぎに、上記判定部３０３の機能的構成について説明する。ここではまず、判定部３０３に用いられる各種ＤＢの記憶内容について説明する。図１２は、基準画面ＤＢの記憶内容の一例を示す説明図である。図１２において、基準画面ＤＢ１２００は、基準画面ＳＰの画像データＤを有している。
【００７７】
ここで、基準画面とは、任意の時刻における画面の比較対象となる画面である。具体的には、たとえば、基準画面は、任意の時刻直前に画面変化があった際の画面であり、リスト領域内のリストが選択されていない状態での画面である。なお、基準画面ＤＢ１２００への画像データＤの登録処理については、図３４に示すフローチャートを用いて後述する。
【００７８】
図１３は、選択リストＤＢの記憶内容の一例を示す説明図である。図１３において、選択リストＤＢ１３００は、リスト領域から選ばれたリストのハイライト範囲を有している。ここで、ハイライト範囲とは、リスト領域内のリストが選択された際にハイライト表示される領域の範囲である。
【００７９】
選択リストＤＢ１３００には、任意の時刻直前に選ばれたリストのハイライト範囲（前回のハイライト範囲）が登録されている。ただし、選択リストＤＢ１３００の記憶内容は、選択されるリストが切り替わると、その都度更新されることになる。なお、選択リストＤＢ１３００へのハイライト範囲の登録処理については、図３１に示すフローチャートを用いて後述する。
【００８０】
図１４は、判定部３０３の機能的構成の一例を示すブロック図である。図１４において、判定部３０３は、第２の抽出部１４０１と、第２の比較部１４０２と、第１の判断部１４０３と、第２の判断部１４０４と、第３の判断部１４０５と、登録部１４０６と、を含む構成である。
【００８１】
第２の抽出部１４０１は、画面ＤＢ５００から、任意の画面Ｐjの画像データを抽出する。また、第２の抽出部１４０１は、選択リストＤＢ１３００から、リストのハイライト範囲を抽出する。ここで抽出されるハイライト範囲は、任意の時刻直前に選択されていたリストのハイライト範囲（前回のハイライト範囲）である。
【００８２】
第２の比較部１４０２は、画面Ｐjの画像データと、基準画面ＤＢ１２００内の基準画面ＳＰの画像データＤとを比較する。具体的には、たとえば、第２の比較部１４０２が、画面Ｐjの画像データと基準画面ＳＰの画像データＤとの画面差分を抽出する。
【００８３】
第１の判断部１４０３は、抽出された画面差分のうち、規定サイズの画面差分がリスト領域内にあるか否かを判断する。なお、規定サイズとは、上述したように、リスト領域内のリストが選択された際にハイライト表示される領域のサイズを規定するものである。ここでは、規定サイズの画面差分を、規定サイズより大きい矩形の図形領域（以下、「矩形領域」という）とする。
【００８４】
具体的には、たとえば、第１の判断部１４０３が、領域ＤＢ６００内のリスト領域範囲を参照して、リスト領域内に矩形領域が存在するか否かを判断する。すなわち、第１の判断部１４０３が、矩形領域の存在を判断することで、リスト領域内のいずれかのリストが選択されているか否かを判断できる。
【００８５】
また、第１の判断部１４０３は、リスト領域内に矩形領域がある場合、抽出されたリストのハイライト範囲と矩形領域が一致するか否かを判断する。具体的には、たとえば、第１の判断部１４０３が、選択リストＤＢ１３００から抽出された前回のハイライト範囲と矩形領域の範囲が一致するか否かを判断する。すなわち、第１の判断部１４０３が、前回のハイライト範囲と矩形領域の一致不一致を判断することで、選択されるリストが切り替わったか否かを判断できる。
【００８６】
第２の判断部１４０４は、抽出された画面差分のうち、矩形領域を除く他の画面差分がリスト領域内にあるか否かを判断する。具体的には、たとえば、第２の判断部１４０４が、領域ＤＢ６００内のリスト領域範囲を参照して、リスト領域内に矩形領域を除く他の画面差分が存在するか否かを判断する。すなわち、第２の判断部１４０４が、リスト領域内の矩形領域以外の画面差分の存在を判断することで、リスト領域の表示内容がスクロールされたか否かを判断できる。
【００８７】
第３の判断部１４０５は、抽出された画面差分のうち、本文領域内の画面差分があるか否かを判断する。具体的には、たとえば、第３の判断部１４０５が、領域ＤＢ６００内の本文領域範囲を参照して、本文領域内に画面差分が存在するか否かを判断する。すなわち、第３の判断部１４０５が、本文領域内の画面差分の存在を判断することで、本文領域の表示内容がスクロールされたか否かを判断できる。
【００８８】
以下、図１５〜図１７を用いて、画面内のリスト領域および本文領域の表示内容がともに変化する画面変化について説明する。図１５〜図１７は、画面差分の具体例を示す説明図である。ただし、以下に説明する画面差分は、任意の時刻の画面Ｐjと基準画面ＳＰとの画面差分である。
【００８９】
＜第１の画面変化＞
判定部３０３は、前回のハイライト範囲と矩形領域の範囲が一致しないと判断され、かつ、他の画面差分がリスト領域内にないと判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定する。図１５において、リスト領域Ｒ１と本文領域Ｒ２の表示内容がともに変化する場合の画面差分１５００が示されている。
【００９０】
画面差分１５００は、前回のハイライト範囲と今回のハイライト範囲が一致しない場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１内のリストを切り替える選択操作（クリックイベント）が行われたため、本文領域Ｒ２の表示内容が変化している。
【００９１】
この場合、登録部１４０６は、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、前回のハイライト範囲と今回のハイライト範囲が一致しないため、今回のハイライト範囲を以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
【００９２】
＜第２の画面変化＞
判定部３０３は、前回のハイライト範囲と矩形領域の範囲が一致すると判断され、かつ、他の画面差分がリスト領域内にあると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定する。図１６において、リスト領域Ｒ１と本文領域Ｒ２の表示内容がともに変化する場合の画面差分１６００が示されている。
【００９３】
画面差分１６００は、前回のハイライト範囲と今回のハイライト範囲が一致するにも関わらず、リスト領域Ｒ１と本文領域Ｒ２の表示内容がともに変化する場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１の表示内容がスクロールされ、さらに、リストを切り替える選択操作（クリックイベント）が行われたため、本文領域Ｒ２の表示内容が変化している。
【００９４】
この場合、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録する。すなわち、リスト領域の表示内容がスクロールされたため、現在着目している画面Ｐjを用いて基準画面ＳＰを更新する。
【００９５】
なお、登録部１４０６は、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録することにしてもよい。ここでは、前回のハイライト範囲と今回のハイライト範囲が一致するが、今回のハイライト範囲を以降参照するハイライト範囲として選択リストＤＢ１３００に登録してもよい。
【００９６】
＜第３の画面変化＞
判定部３０３は、前回のハイライト範囲と矩形領域の範囲が一致しないと判断され、かつ、他の画面差分がリスト領域内にあると判断され、かつ、本文領域内の画面差分があると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定する。図１７において、リスト領域Ｒ１と本文領域Ｒ２の表示内容がともに変化する場合の画面差分１７００が示されている。
【００９７】
画面差分１７００は、前回のハイライト範囲と今回のハイライト範囲が一致しない場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１の表示内容がスクロールされ、さらに、リストを切り替える選択操作（クリックイベント）が行われたため、本文領域Ｒ２の表示内容が変化している。
【００９８】
この場合、登録部１４０６は、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、前回のハイライト範囲と今回のハイライト範囲が一致しないため、今回のハイライト範囲を以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
【００９９】
また、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録する。すなわち、リスト領域の表示内容がスクロールされたため、現在着目している画面Ｐjを用いて基準画面ＳＰを更新する。
【０１００】
つぎに、図１８〜図２１を用いて、画面内のリスト領域および本文領域のいずれか一方の表示内容が変化する、または、リスト領域および本文領域の表示内容がともに変化しない画面変化について説明する。図１８〜図２１は、画面差分の具体例を示す説明図である。
【０１０１】
＜第４の画面変化＞
判定部３０３は、ハイライト範囲と矩形領域の範囲が一致しないと判断され、かつ、他の画面差分がリスト領域内にあると判断され、かつ、本文領域内の画面差分がないと判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図１８において、リスト領域Ｒ１の表示内容のみが変化する場合の画面差分１８００が示されている。
【０１０２】
画面差分１８００は、前回のハイライト範囲と今回のハイライト範囲が一致しない場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１の表示内容をスクロールする選択操作のみが行われたため、本文領域Ｒ２の表示内容は変化していない。
【０１０３】
この場合、登録部１４０６は、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、前回のハイライト範囲と今回のハイライト範囲が一致しないため、今回のハイライト範囲を以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
【０１０４】
また、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録する。すなわち、リスト領域の表示内容がスクロールされたため、現在着目している画面Ｐjを用いて基準画面ＳＰを更新する。
【０１０５】
＜第５の画面変化＞
判定部３０３は、ハイライト範囲と矩形領域の範囲が一致すると判断され、かつ、他の画面差分がリスト領域内にないと判断され、かつ、本文領域内の画面差分があると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図１９において、本文領域Ｒ２の表示内容のみが変化する場合の画面差分１９００が示されている。
【０１０６】
画面差分１９００は、前回のハイライト範囲と今回のハイライト範囲が一致する場合の画面差分である。ここでは、ユーザの操作入力により、本文領域Ｒ２の表示内容をスクロールする選択操作のみが行われたため、リスト領域Ｒ１の表示内容は変化しない。
【０１０７】
この場合、リスト領域Ｒ１の表示内容が変化していないため、基準画面ＳＰの更新は不要である。ただし、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録することにしてもよい。
【０１０８】
＜第６の画面変化＞
判定部３０３は、リスト領域内に矩形領域がないと判断され、かつ、他の画面差分がリスト領域内にあると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図２０において、リスト領域Ｒ１の表示内容のみが変化する場合の画面差分２０００が示されている。
【０１０９】
画面差分２０００は、リスト領域内にハイライト範囲が存在しない場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１の表示内容をスクロール（選択リストが非表示）する選択操作のみが行われたため、本文領域Ｒ２の表示内容は変化しない。
【０１１０】
この場合、登録部１４０６は、空データをリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、選択リストが非表示でハイライト範囲が存在しないため、空データを以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
【０１１１】
また、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録する。すなわち、リスト領域の表示内容がスクロールされたため、現在着目している画面Ｐjを用いて基準画面ＳＰを更新する。
【０１１２】
＜第７の画面変化＞
判定部３０３は、リスト領域内に矩形領域がないと判断され、かつ、他の画面差分がリスト領域内にないと判断され、かつ、本文領域内の画面差分があると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図２１において、本文領域Ｒ２の表示内容のみが変化する場合の画面差分２１００が示されている。
【０１１３】
画面差分２１００は、リスト領域Ｒ１内にハイライト範囲が存在しない場合の画面差分である。ここでは、ユーザの操作入力により、本文領域Ｒ２の表示内容をスクロール（選択リストが非表示の状態でのスクロール）する選択操作のみが行われたため、リスト領域Ｒ１の表示内容は変化しない。
【０１１４】
この場合、登録部１４０６は、空データをリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、選択リストが非表示でハイライト範囲が存在しないため、空データを以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
【０１１５】
（情報処理装置の情報処理手順）
つぎに、情報処理装置２００の情報処理手順について説明する。図２２は、情報処理装置の情報処理手順の一例を示す説明図である。図２２のフローチャートにおいて、まず、取得部３０１により、メールソフトのプロセスが起動したか否かを判断する（ステップＳ２２０１）。
【０１１６】
ここで、プロセスが起動するのを待って（ステップＳ２２０１：Ｎｏ）、起動した場合（ステップ２２０１：Ｙｅｓ）、各種ＤＢ４００，５００，６００，１２００，１３００を初期化する（ステップＳ２２０２）。具体的には、各種ＤＢ４００，５００，６００の記憶内容をリセットし、基準画面ＤＢ１２００に仮の画像データ（たとえば、白一色の矩形画像）を登録し、選択リスト１３００に空データを登録する。
【０１１７】
このあと、取得部３０１により、イベントログ取得処理の実行を開始し（ステップＳ２２０３）、画面取得処理の実行を開始する（ステップＳ２２０４）。そして、特定部３０２により、イベントログ取得処理および画面取得処理の実行が終了したか否かを判断する（ステップＳ２２０５）。
【０１１８】
ここで、実行が終了するのを待って（ステップＳ２２０５：Ｎｏ）、終了した場合（ステップＳ２２０５：Ｙｅｓ）、特定部３０２により、画面内のリスト領域および本文領域を特定する特定処理を実行する（ステップＳ２２０６）。
【０１１９】
そして、判定部３０３により、特定された画面内のリスト領域および本文領域の表示内容がともに変化しているか否かを判定する判定処理を実行する（Ｓ２２０７）。最後に、出力部３０７により、レポート情報を出力する出力処理を実行して（ステップＳ２２０８）、本フローチャートによる一連の処理を終了する。
【０１２０】
なお、上述した情報処理手順の開始に先立って、情報処理装置２００が、監視対象となるプロセスの名称をメールソフトの設計ファイルから取得することにしてもよい。これにより、複数のメールソフトがインストールされている環境下において、監視対象となるメールソフトを特定することができる。
【０１２１】
＜イベントログ取得処理手順＞
つぎに、図２２に示したステップＳ２２０３のイベントログ取得処理の具体的な処理手順について説明する。図２３は、イベントログ取得処理の具体的処理手順の一例を示すフローチャートである。
【０１２２】
図２３のフローチャートにおいて、まず、取得部３０１により、アプリケーションの実行中に発生したイベント（事象）のイベントログを取得して（ステップＳ２３０１）、取得したイベントログがクリックイベントか否かを判断する（ステップＳ２３０２）。
【０１２３】
ここで、クリックイベントの場合（ステップＳ２３０２：Ｙｅｓ）、取得部３０１により、アプリケーションに割り当てられている画面のウィンドウサイズを取得する（ステップＳ２３０３）。一方、クリックイベントではない場合（ステップＳ２３０２：Ｎｏ）、ステップＳ２３０５に移行する。
【０１２４】
そして、取得部３０１により、取得したイベントログに含まれるクリック時刻、クリック座標およびウィンドウサイズをイベントＤＢ４００に登録する（ステップＳ２３０４）。この結果、イベントＤＢ４００に新たなイベント情報がレコードとして登録されることになる。
【０１２５】
このあと、取得部３０１により、メールソフトのプロセスが終了したか否かを判断して（ステップＳ２３０５）、プロセスが終了していない場合（ステップＳ２３０５：Ｎｏ）、ステップＳ２３０１に戻る。一方、プロセスが終了した場合（ステップＳ２３０５：Ｙｅｓ）、本フローチャートによる一連の処理を終了する。
【０１２６】
＜画面取得処理手順＞
つぎに、図２２に示したステップＳ２２０４の画面取得処理の具体的な処理手順について説明する。図２４は、画面取得処理の具体的処理手順の一例を示すフローチャートである。
【０１２７】
図２４のフローチャートにおいて、まず、取得部３０１により、アプリケーションに割り当てられている画面の画像データを取得して（ステップＳ２４０１）、取得した画像データを取得時刻と関連付けて画面ＤＢ５００に登録する（ステップＳ２４０２）。
【０１２８】
このあと、取得部３０１により、一定時間Ｔ待機して（ステップＳ２４０３）、メールソフトのプロセスが終了したか否かを判断する（ステップＳ２４０４）。ここで、プロセスが終了していない場合（ステップＳ２４０４：Ｎｏ）、ステップＳ２４０１に戻る。一方、プロセスが終了した場合（ステップＳ２４０４：Ｙｅｓ）、本フローチャートによる一連の処理を終了する。
【０１２９】
＜特定処理手順＞
つぎに、図２２に示したステップＳ２２０６の特定処理の具体的な処理手順について説明する。図２５は、特定処理の具体的処理手順の一例を示すフローチャートである。図２５のフローチャートにおいて、まず、選択部９０１により、「ｉ＝１」として（ステップＳ２５０１）、イベントＤＢ４００からイベントログＬｉを選択する（ステップＳ２５０２）。
【０１３０】
このあと、第１の抽出部９０２により、選択されたイベントログＬｉからクリック時刻を特定する（ステップＳ２５０３）。そして、第１の抽出部９０２により、画面ＤＢ５００にクリック時刻前後の画像データがあるか否かを判断する（ステップＳ２５０４）。ここで、クリック時刻前後の画像データがない場合（ステップＳ２５０４：Ｎｏ）、ステップＳ２５１２に移行する。
【０１３１】
一方、クリック時刻前後の画像データがある場合（ステップＳ２５０４：Ｙｅｓ）、第１の抽出部９０２により、画面ＤＢ５００から、画像データの取得時刻がイベントログＬｉのクリック時刻直前の画面Ｐjの画像データを抽出する（ステップＳ２５０５）。また、第１の抽出部９０２により、画面ＤＢ５００から、画像データの取得時刻がイベントログＬｉのクリック時刻直後の画面Ｐj+1の画像データを抽出する（ステップＳ２５０６）。
【０１３２】
つぎに、第１の比較部９０３により、選択されたイベントログＬｉからクリック座標およびウィンドウサイズを特定する（ステップＳ２５０７）。そして、第１の比較部９０３により、画面Ｐjの画像データと画面Ｐj+1の画像データとの画面差分を抽出する（ステップＳ２５０８）。
【０１３３】
このあと、領域判定部９０４により、領域判定処理を実行して（ステップＳ２５０９）、特定部３０２により、リスト領域および本文領域が特定されたか否かを判断する（ステップＳ２５１０）。ここで、リスト領域および本文領域が特定されなかった場合（ステップＳ２５１０：Ｎｏ）、ステップＳ２５１２に移行する。
【０１３４】
一方、リスト領域および本文領域が特定された場合（ステップＳ２５１０：Ｙｅｓ）、特定部３０２により、領域登録処理を実行する（ステップ２５１１）。そして、選択部９０１により、ｉをインクリメントして（ステップＳ２５１２）、「ｉ＞ｎ」か否かを判断する（ステップＳ２５１３）。
【０１３５】
ここで、「ｉ≦ｎ」の場合（ステップＳ２５１３：Ｎｏ）、ステップＳ２５０２に戻る。一方、「ｉ＞ｎ」の場合（ステップＳ２５１３：Ｙｅｓ）、図２２に示したステップＳ２２０７に移行する。
【０１３６】
＜領域判定処理手順＞
つぎに、図２５に示したステップＳ２５０９の領域判定処理の具体的な処理手順について説明する。図２６は、領域判定処理の具体的処理手順の一例を示すフローチャートである。図２６のフローチャートにおいて、まず、領域判定部９０４により、図２５に示したステップＳ２５０８において抽出された画面差分にイベントログＬｉのクリック座標が含まれるか否かを判定する（ステップＳ２６０１）。
【０１３７】
ここで、クリック座標が含まれない場合は（ステップＳ２６０１：Ｎｏ）、図２５に示したステップＳ２５１０に移行する。一方、クリック座標が含まれる場合（ステップＳ２６０１：Ｙｅｓ）、領域判定部９０４により、画面差分からクリック座標を含む第１図形領域を抽出する（ステップＳ２６０２）。
【０１３８】
そして、領域判定部９０４により、第１図形領域が規定サイズより大きいか否かを判定する（ステップＳ２６０３）。ここで、規定サイズより小さい場合は（ステップＳ２６０３：Ｎｏ）、図２５に示したステップＳ２５１０に移行する。
【０１３９】
一方、規定サイズより大きい場合（ステップＳ２６０３：Ｙｅｓ）、特定部３０２により、第１図形領域をリスト領域として特定する（ステップＳ２６０４）。このあと、領域判定部９０４により、画面差分のうち第１図形領域を除く残余の図形領域全体を囲む矩形領域を本文領域候補として判定する（ステップＳ２６０５）。
【０１４０】
ここで、矩形領域が本文領域候補として判定されなかった場合（ステップＳ２６０６：Ｎｏ）、図２５に示したステップＳ２５１０に移行する。一方、矩形領域が本文領域候補として判定された場合（ステップＳ２６０６：Ｙｅｓ）、領域判定部９０４により、画面差分から本文領域候補を抽出する（ステップＳ２６０７）。
【０１４１】
そして、特徴判定部９０５により、本文領域候補の特徴を判定する特徴判定処理を実行する（ステップＳ２６０８）。このあと、特定部３０２により、本文領域候補は本文領域と判定されたか否かを判断する（ステップＳ２６０９）。ここで、本文領域と判定されなかった場合（ステップＳ２６０９：Ｎｏ）、図２５に示したステップＳ２５１０に移行する。
【０１４２】
一方、本文領域と判定された場合（ステップＳ２６０９：Ｙｅｓ）、特定部３０２により、本文領域候補を本文領域として特定して（ステップＳ２６１０）、図２５に示したステップＳ２５１０に移行する。
【０１４３】
＜特徴判定処理手順＞
つぎに、図２６に示したステップＳ２６０８の特徴判定処理の具体的な処理手順について説明する。なお、以下の説明において、本領域候補の任意の列を「列Ｆp」と表記し（ｐ＝０，１，…，Ｗ−１）、任意の行を「行Ｒq」と表記する（ｑ＝０，１，…，Ｈ−１）。
【０１４４】
図２７および図２８は、特徴判定処理の具体的処理手順の一例を示すフローチャートである。図２７のフローチャートにおいて、まず、特徴判定部９０５により、本文領域候補の列ごとに、非背景色のピクセル数を算出する（ステップＳ２７０１）。そして、特徴判定部９０５により、「ｐ＝０」とし（ステップＳ２７０２）、列Ｆpを選択する（ステップＳ２７０３）。
【０１４５】
つぎに、特徴判定部９０５により、列Ｆpの非背景色のピクセル数は全列Ｆ0〜ＦW-1の非背景色のピクセル数の最大値のα％以上か否かを判断する（ステップＳ２７０４）。ここで、α％未満の場合（ステップＳ２７０４：Ｎｏ）、ステップＳ２７０８に移行する。
【０１４６】
一方、α％以上の場合（ステップＳ２７０４：Ｙｅｓ）、特徴判定部９０５により、非背景色のピクセル数が閾値ａ以下となる列が、列Ｆpからβ以上連続するか否かを判断する（ステップＳ２７０５）。ここで、β以上連続しない場合（ステップＳ２７０５：Ｎｏ）、ステップＳ２７０８に移行する。
【０１４７】
一方、β以上連続する場合（ステップＳ２７０５：Ｙｅｓ）、特徴判定部９０５により、最終列ＦW-1まで連続して非背景色のピクセル数が閾値ａ以下となるか否かを判断する（ステップＳ２７０６）。
【０１４８】
ここで、最終列ＦW-1まで連続して閾値ａ以下とならない場合（ステップＳ２７０６：Ｎｏ）、特徴判定部９０５により、本文領域候補をリスト領域として判定して（ステップＳ２７０７）、図２６に示したステップＳ２６０９に移行する。
【０１４９】
一方、最終列ＦW-1まで連続して閾値ａ以下となる場合（ステップＳ２７０６：Ｙｅｓ）、特徴判定部９０５により、ｐをインクリメントして（ステップＳ２７０８）、「ｐ＞Ｗ−１−β」か否かを判断する（ステップＳ２７０９）。
【０１５０】
ここで、「ｐ≦Ｗ−１−β」の場合（ステップＳ２７０９：Ｎｏ）、ステップＳ２７０３に戻る。一方、「ｐ＞Ｗ−１−β」の場合（ステップＳ２７０９：Ｙｅｓ）、図２８にステップＳ２８０１に移行する。
【０１５１】
図２８のフローチャートにおいて、まず、特徴判定部９０５により、本文領域候補の行ごとに、非背景色のピクセル数を算出する（ステップＳ２８０１）。そして、特徴判定部９０５により、「ｑ＝０」とし（ステップＳ２８０２）、行Ｒqを選択する（ステップＳ２８０３）。
【０１５２】
つぎに、特徴判定部９０５により、行Ｒqの非背景色のピクセル数は全行Ｒ0〜行ＲH-1の非背景色のピクセル数の最大値のα％以上か否かを判断する（ステップＳ２８０４）。ここで、α％未満の場合（ステップＳ２８０４：Ｎｏ）、ステップＳ２８０８に移行する。
【０１５３】
一方、α％以上の場合（ステップＳ２８０４：Ｙｅｓ）、特徴判定部９０５により、非背景色のピクセル数が閾値ａ以下となる行が、行Ｒqからβ以上連続するか否かを判断する（ステップＳ２８０５）。ここで、β以上連続しない場合（ステップＳ２８０５：Ｎｏ）、特徴判定部９０５により、ｑをインクリメントして（ステップＳ２８０８）、「ｑ＞Ｈ−１−β」か否かを判断する（ステップＳ２８０９）。
【０１５４】
ここで、「ｑ≦Ｈ−１−β」の場合（ステップＳ２８０９：Ｎｏ）、ステップＳ２８０３に戻る。一方、「ｑ＞Ｈ−１−β」の場合（ステップＳ２８０９：Ｙｅｓ）、特徴判定部９０５により、本文領域候補をリスト領域として判定して（ステップＳ２８１０）、図２６に示したステップＳ２６０９に移行する。
【０１５５】
また、ステップＳ２８０５において、β以上連続する場合（ステップＳ２８０５：Ｙｅｓ）、特徴判定部９０５により、最終行ＲH-1まで連続して非背景色のピクセル数が閾値ａ以下となるか否かを判断する（ステップＳ２８０６）。
【０１５６】
ここで、最終行ＲH-1まで連続して閾値ａ以下とならない場合（ステップＳ２８０６：Ｎｏ）、特徴判定部９０５により、本文領域候補を本文領域として判定して（ステップＳ２８０７）、図２６に示したステップＳ２６０９に移行する。一方、最終行ＲH-1まで連続して閾値ａ以下となる場合（ステップＳ２８０６：Ｙｅｓ）、ステップＳ２８１０に移行する。
【０１５７】
＜領域登録処理手順＞
つぎに、図２５に示したステップＳ２５１１の領域登録処理の具体的な処理手順について説明する。図２９は、領域登録処理の具体的処理手順の一例を示すフローチャートである。図２９のフローチャートにおいて、まず、特定部３０２により、領域ＤＢ６００の記憶内容は空か否かを判断する（ステップＳ２９０１）。
【０１５８】
ここで、空の場合（ステップＳ２９０１：Ｙｅｓ）、ステップＳ２９０８に移行する。一方、空ではない場合（ステップＳ２９０１：Ｎｏ）、特定部３０２により、領域ＤＢ６００から最後尾の領域データを選択する（ステップＳ２９０２）。そして、特定部３０２により、選択された領域データのウィンドウサイズは、図２５に示したステップＳ２５０７において特定されたウィンドウサイズと同じか否かを判断する（ステップＳ２９０３）。
【０１５９】
ここで、ウィンドウサイズが違う場合（ステップＳ２９０３：Ｎｏ）、ステップＳ２９０８に移行する。一方、ウィンドウサイズが同じ場合（ステップＳ２９０３：Ｙｅｓ）、特定部３０２により、選択された領域データのリスト領域と、特定されたリスト領域の両方を含む新たなリスト領域範囲を算出する（ステップＳ２９０４）。なお、特定されたリスト領域とは、図２６に示したステップＳ２６０４において特定されたリスト領域である。
【０１６０】
このあと、特定部３０２により、選択された領域データの本文領域と、特定された本文領域の両方を含む新たな本文領域範囲を算出する（ステップＳ２９０５）。なお、特定された本文領域とは、図２６に示したステップＳ２６１０において特定された本文領域である。
【０１６１】
そして、特定部３０２により、新たなリスト領域範囲と本文領域範囲が重なるか否かを判断する（ステップＳ２９０６）。ここで、重ならない場合（ステップＳ２９０６：Ｎｏ）、特定部３０２により、新たなリスト領域範囲と本文領域範囲を設定して領域ＤＢ６００の最後尾の領域データを更新して（ステップＳ２９０７）、図２５に示したステップＳ２５１２に移行する。
【０１６２】
一方、重なる場合（ステップＳ２９０６：Ｙｅｓ）、特定部３０２により、図２５に示したステップＳ２５０３とステップＳ２５０７において特定されたクリック時刻とウィンドウサイズを設定して新たな領域データを領域ＤＢ６００に登録する（ステップＳ２９０８）。
【０１６３】
そして、特定部３０２により、登録された領域データに、図２６に示したステップＳ２６０４において特定されたリスト領域範囲を設定する（ステップＳ２９０９）。また、特定部３０２により、登録された領域データに、図２６に示したステップＳ２６１０において特定された本文領域範囲を設定して（ステップＳ２９１０）、図２５に示したステップＳ２５１２に移行する。
【０１６４】
ここで、領域ＤＢ６００の記憶内容の変遷について説明する。図３０は、領域ＤＢの記憶内容の変遷例を示す説明図である。図３０において、「（１）→（２）」では、新たなリスト領域範囲が設定されて領域データ６００−１が更新されている（図２９に示したステップＳ２９０７の処理）。また、図３０において、「（２）→（３）」では、新たな領域データ６００−２が領域ＤＢ６００に登録されている（図２９に示したステップＳ２９０８〜Ｓ２９１０の処理）。
【０１６５】
＜判定処理手順＞
つぎに、図２２に示したステップＳ２２０７の判定処理の具体的な処理手順について説明する。図３１〜図３３は、判定処理の具体的処理手順の一例を示すフローチャートである。
【０１６６】
図３１のフローチャートにおいて、まず、第２の抽出部１４０１により、「ｊ＝１」として（ステップＳ３１０１）、画面ＤＢ５００から画面Ｐjの画像データを抽出する（ステップＳ３１０２）。そして、第２の抽出部１４０１により、基準画面ＤＢ１２００から基準画面ＳＰの画像データＤを抽出する（ステップＳ３１０３）。
【０１６７】
このあと、第２の抽出部１４０１は、選択リストＤＢ１３００からリストのハイライト範囲（以下、「前回のハイライト範囲」という）を抽出する（ステップＳ３１０４）。そして、第２の比較部１４０２により、領域ＤＢ６００から画面Ｐjの取得時刻以前の最新の領域データを特定する（ステップＳ３１０５）。
【０１６８】
つぎに、第２の比較部１４０２により、画面Ｐjの画像データと基準画面ＳＰの画像データＤとの画面差分を抽出する（ステップＳ３１０６）。そして、第１の判断部１４０３により、抽出された画面差分のうち、特定された領域データのリスト領域範囲に、規定サイズの画面差分（以下、「矩形領域」という）があるか否かを判断する（ステップＳ３１０７）。
【０１６９】
ここで、矩形領域がある場合（ステップＳ３１０７：Ｙｅｓ）、判定部３０３により、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録する（ステップＳ３１０８）。そして、第２の判断部１４０４により、リスト領域範囲に矩形領域を除く他の画面差分があるか否かを判断する（ステップＳ３１０９）。
【０１７０】
ここで、他の画面差分がある場合（ステップＳ３１０９：Ｙｅｓ）、登録部１４０６により、基準画面ＳＰの画像データＤを更新する基準画面登録処理を実行して（ステップＳ３１１０）、図３２に示すステップＳ３２０１に移行する。一方、他の画面差分がない場合（ステップＳ３１０９：Ｎｏ）、図３３に示すステップＳ３３０１に移行する。
【０１７１】
また、ステップＳ３１０７において、矩形領域がない場合（ステップＳ３１０７：Ｎｏ）、登録部１４０６により、選択リストＤＢ１３００に空データを登録する（ステップＳ３１１１）。そして、第２の判断部１４０４により、リスト領域範囲に矩形領域を除く他の画面差分があるか否かを判断する（ステップＳ３１１２）。
【０１７２】
ここで、他の画面差分がない場合（ステップＳ３１１２：Ｎｏ）、ステップＳ３１１４に移行する。一方、他の画面差分がある場合（ステップＳ３１１２：Ｙｅｓ）、登録部１４０６により、基準画面ＳＰの画像データＤを更新する基準画面登録処理を実行する（ステップＳ３１１３）。
【０１７３】
そして、第２の抽出部１４０１により、ｊをインクリメントして（ステップＳ３１１４）、「ｊ＞ｍ」か否かを判断する（ステップＳ３１１５）。ここで、「ｊ≦ｍ」の場合（ステップＳ３１１５：Ｎｏ）、ステップＳ３１０２に戻る。一方、「ｊ＞ｍ」の場合（ステップＳ３１１５：Ｙｅｓ）、図２２に示したステップＳ２２０８に移行する。
【０１７４】
つぎに、図３２のフローチャートにおいて、まず、第１の判断部１４０３により、矩形領域（以下、「今回のハイライト範囲」という）と前回のハイライト範囲が一致するか否かを判断する（ステップＳ３２０１）。
【０１７５】
ここで、一致する場合（ステップＳ３２０１：Ｙｅｓ）、ステップＳ３２０３に移行する。一方、一致しない場合（ステップＳ３２０１：Ｎｏ）、第３の判断部１４０５により、領域データの本文領域範囲に画面差分があるか否かを判断する（ステップＳ３２０２）。
【０１７６】
ここで、画面差分がある場合（ステップＳ３２０２：Ｙｅｓ）、操作ログ登録処理を実行して（ステップＳ３２０３）、図３１に示したステップＳ３１１４に移行する。一方、画面差分がない場合（ステップＳ３２０２：Ｎｏ）、図３１に示したステップＳ３１１４に移行する。
【０１７７】
つぎに、図３３のフローチャートにおいて、まず、第１の判断部１４０３により、今回のハイライト範囲と前回のハイライト範囲が一致するか否かを判断する（ステップＳ３３０１）。ここで、一致しない場合（ステップＳ３３０１：Ｎｏ）、操作ログ登録処理を実行して（ステップＳ３３０２）、図３１に示したステップＳ３１１４に移行する。一方、一致する場合（ステップＳ３３０１：Ｙｅｓ）、図３１に示したステップＳ３１１４に移行する。
【０１７８】
＜基準画面登録処理手順＞
つぎに、図３１に示したステップＳ３１１０，Ｓ３１１３の基準画面登録処理の具体的な処理手順について説明する。図３４は、基準画面登録処理の具体的処理手順の一例を示すフローチャートである。図３４のフローチャートにおいて、まず、登録部１４０６により、抽出された画面差分からハイライト範囲を表わす矩形領域を抽出する（ステップＳ３４０１）。
【０１７９】
ここで、矩形領域が抽出されなかった場合（ステップＳ３４０２：Ｎｏ）、ステップＳ３４０４に移行する。一方、矩形領域が抽出された場合（ステップＳ３４０２：Ｙｅｓ）、登録部１４０６により、画面Ｐjの矩形領域の背景色と文字色を修正してハイライト表示されていない状態に変換する（ステップＳ３４０３）。
【０１８０】
そして、登録部１４０６により、画面Ｐjの画像データを基準画面ＳＰの画像データＤとして基準画面ＤＢ１２００に登録して（ステップＳ３４０４）、図３２に示したステップＳ３２０１または図３１に示したステップＳ３１１４に移行する。
【０１８１】
＜操作ログ登録処理手順＞
つぎに、図３２に示したステップＳ３２０３および図３３に示したステップＳ３３０２の操作ログ登録処理の具体的な処理手順について説明する。図３５は、操作ログ登録処理の具体的処理手順の一例を示すフローチャートである。
【０１８２】
図３５のフローチャートにおいて、まず、認識部３０４により、抽出された画面差分からハイライト範囲を表わす矩形領域を抽出する（ステップＳ３５０１）。そして、認識部３０４により、抽出された矩形領域から文字列を認識する（ステップＳ３５０２）。
【０１８３】
このあと、出力部３０７により、画面の取得時刻を特定し（ステップＳ３５０３）、認識された文字列と取得時刻を操作ログＤＢ７００に登録して（ステップＳ３５０４）、図３１に示したステップＳ３１１４に移行する。なお、取得時刻は選択時刻として操作ログＤＢ７００に登録される。
【０１８４】
＜出力処理手順＞
つぎに、図２２に示したステップＳ２２０８の出力処理の具体的な処理手順について説明する。図３６は、出力処理の具体的処理手順の一例を示すフローチャートである。なお、以下の説明において、任意の操作ログを「操作ログＯＬk」と表記する（ｋ＝１，２，…，ｓ）。
【０１８５】
図３６のフローチャートにおいて、まず、算出部３０５が、「ｋ＝１」として（ステップＳ３６０１）、操作ログＤＢ７００から操作ログＯＬkを選択する（ステップＳ３６０２）。つぎに、算出部３０５により、操作ログＯＬkの選択時刻Ｔkを特定し（ステップＳ３６０３）、操作ログＯＬk+1の選択時刻Ｔk+1を特定する（ステップＳ３６０４）。
【０１８６】
そして、算出部３０５により、操作ログＯＬkの選択時刻Ｔkと操作ログＯＬk+1の選択時刻Ｔk+1との差分を閲覧時間として算出する（ステップＳ３６０５）。このあと、作成部３０６により、操作ログＯＬkの文字列と算出された閲覧時間を用いてレポート情報を作成する（ステップＳ３６０６）。
【０１８７】
このあと、算出部３０５により、ｋをインクリメントして（ステップＳ３６０７）、「ｋ＞ｓ」か否かを判断する（ステップＳ３６０８）。ここで、「ｋ≦ｓ」の場合（ステップＳ３６０８：Ｎｏ）、ステップＳ３６０２に戻る。一方、「ｋ＞ｓ」の場合（ステップＳ３６０８:Ｙｅｓ）、出力部３０７により、作成されたレポート情報を出力して（ステップＳ３６０９）、本フローチャートによる一連の処理を終了する。
【０１８８】
以上説明したように、本実施の形態によれば、画面内のリスト領域と本文領域を特定し、本文領域の画面変化をともなうリスト領域の画面変化を判断することで、一のリストから他のリストに切り替える選択操作に関する操作ログを取得することができる。これにより、アプリケーションから発行されるログを必要とすることなく、効率的かつ高精度にリストの選択操作が行われたことを判断することができる。
【０１８９】
また、本実施の形態によれば、時系列に連続して取得された操作ログの取得時刻を用いて、一のリストから他のリストに切り替わるまでの本文の表示時間を算出することで、本文の閲覧時間を推測することができる。
【０１９０】
また、本実施の形態によれば、リスト領域内に規定サイズの画面差分があり、かつ、リスト領域内に他の画面差分がない場合に、リスト領域と本文領域の表示内容がともに変化していると判定する。これにより、リスト領域でのスクロール操作をともなわないリストの選択操作が行われたことを判断することができる。
【０１９１】
また、本実施の形態によれば、前回のハイライト範囲と今回のハイライト範囲が一致し、かつ、リスト領域内に他の画面差分がある場合に、リスト領域と本文領域の表示内容がともに変化していると判定する。これにより、リスト領域でのスクロール操作により、前回のハイライト範囲と今回のハイライト範囲が偶然一致する場合であっても、リストの選択操作が行われたことを判断することができる。
【０１９２】
また、本実施の形態によれば、リスト領域内に規定サイズの画面差分があり、かつ、リスト領域内に他の画面差分があり、かつ、本文領域内に画面差分がある場合に、リスト領域と本文領域の表示内容がともに変化していると判定する。このように、本文領域の画面変化も判断することで、リスト領域でのスクロール操作により画面変化が発生し、リストの選択操作が行われたと誤って判断してしまうことを回避することができる。
【０１９３】
また、本実施の形態によれば、ハイライト範囲に表示されている文字列を認識して操作ログと関連付けて出力することで、閲覧対象となるメールの本文を特定するために必要となる情報を提供することができる。
【０１９４】
また、本実施の形態によれば、時系列に連続する画面の表示内容の差分を表わす図形領域の集合のうち、クリック座標を含む規定サイズより大きい第１図形領域をリスト領域として特定することで、リスト領域の配置位置を正確に特定することができる。
【０１９５】
また、本実施の形態によれば、時系列に連続する画面の表示内容の差分を表わす図形領域の集合のうち、リスト領域および本文領域が有する特徴に基づいて、第１図形領域を除く残余の図形領域の特徴を判定することで、本文領域の配置位置を正確に特定することができる。
【０１９６】
これらのことから、本情報処理装置、情報処理プログラム、および情報処理方法によれば、監視対象となるアプリケーションがログを発行しないものやログの取得機能をプラグインできないものであっても、効率的かつ高精度にリストの選択操作に関する操作ログを取得することができる。
【０１９７】
なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本情報処理プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
【０１９８】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０１９９】
（付記１）画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段と、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較する比較手段と、
前記比較手段によって比較された比較結果に基づいて、前記特定手段によって特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定する判定手段と、
前記判定手段によって前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力する出力手段と、
を備えることを特徴とする情報処理装置。
【０２００】
（付記２）前記出力手段によって時系列に連続する第１および第２の時刻の操作ログが出力された結果、当該第１および第２の時刻の操作ログに基づいて、前記第１の時刻に選択されている項目に対応する情報の表示時間を算出する算出手段を備え、
前記出力手段は、前記算出手段によって算出された表示時間を出力することを特徴とする付記１に記載の情報処理装置。
【０２０１】
（付記３）前記比較結果に基づいて、前記任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第１の判断手段と、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第２の判断手段と、を備え、
前記判定手段は、前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記１または２に記載の情報処理装置。
【０２０２】
（付記４）前記第１の判断手段は、前記比較結果に基づいて、前記任意の時刻に選択されていた前記項目の配置位置と、前記任意の時刻以前の時刻に選択されていた前記項目の配置位置とが一致するか否かを判断し、
前記判定手段は、前記第１の判断手段によって前記項目の配置位置が一致すると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記３に記載の情報処理装置。
【０２０３】
（付記５）前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第３の判断手段を備え、
前記判定手段は、前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第３の判断手段によって前記情報領域内の画面差分があると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記３または４に記載の情報処理装置。
【０２０４】
（付記６）前記規定サイズの画面差分に含まれる文字列を認識する認識手段を備え、
前記出力手段は、前記認識手段によって認識された文字列を前記操作ログと関連付けて出力することを特徴とする付記３〜５のいずれか一つに記載の情報処理装置。
【０２０５】
（付記７）前記画面の一連の表示内容のうち、任意の選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定手段と、
前記第１の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定手段と、を備え、
前記特定手段は、前記第２の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定することを特徴とする付記１〜６のいずれか一つに記載の情報処理装置。
【０２０６】
（付記８）前記特定手段は、前記規定サイズとなる図形領域が複数判定された場合、当該複数の図形領域を重ね合わせた図形領域を前記項目領域として特定することを特徴とする付記７に記載の情報処理装置。
【０２０７】
（付記９）前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段を備え、
前記特定手段は、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記本文領域として特定することを特徴とする付記７または８に記載の情報処理装置。
【０２０８】
（付記１０）前記特徴判定手段は、前記残余の図形領域のピクセル単位の列ごとの背景色のピクセル数または／および行ごとの背景色のピクセル数に基づいて、前記残余の図形領域の特徴を判定することを特徴とする付記９に記載の情報処理装置。
【０２０９】
（付記１１）コンピュータを、
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較する比較手段、
前記比較手段によって比較された比較結果に基づいて、前記特定手段によって特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定する判定手段、
前記判定手段によって前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力する出力手段、
として機能させることを特徴とする情報処理プログラム。
【０２１０】
（付記１２）前記出力手段によって時系列に連続する第１および第２の時刻の操作ログが出力された結果、当該第１および第２の時刻の操作ログに基づいて、前記第１の時刻に選択されている項目に対応する情報の表示時間を算出する算出手段を備え、
前記出力手段は、前記算出手段によって算出された表示時間を出力することを特徴とする付記１１に記載の情報処理プログラム。
【０２１１】
（付記１３）前記コンピュータを、
前記比較結果に基づいて、前記任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第１の判断手段、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第２の判断手段、として機能させ、
前記判定手段は、前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記１１または１２に記載の情報処理プログラム。
【０２１２】
（付記１４）前記第１の判断手段は、前記比較結果に基づいて、前記任意の時刻に選択されていた前記項目の配置位置と、前記任意の時刻以前の時刻に選択されていた前記項目の配置位置とが一致するか否かを判断し、
前記判定手段は、前記第１の判断手段によって前記項目の配置位置が一致すると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記１３に記載の情報処理プログラム。
【０２１３】
（付記１５）前記コンピュータを、
前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第３の判断手段として機能させ、
前記判定手段は、前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第３の判断手段によって前記情報領域内の画面差分があると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記１３または１４に記載の情報処理プログラム。
【０２１４】
（付記１６）前記コンピュータを、
前記規定サイズの画面差分に含まれる文字列を認識する認識手段として機能させ、
前記出力手段は、前記認識手段によって認識された文字列を前記操作ログと関連付けて出力することを特徴とする付記１３〜１５のいずれか一つに記載の情報処理プログラム。
【０２１５】
（付記１７）前記コンピュータを、
前記画面の一連の表示内容のうち、任意の選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定手段、
前記第１の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定手段、として機能させ、
前記特定手段は、前記第２の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定することを特徴とする付記１１〜１６のいずれか一つに記載の情報処理プログラム。
【０２１６】
（付記１８）前記特定手段は、前記規定サイズとなる図形領域が複数判定された場合、当該複数の図形領域を重ね合わせた図形領域を前記項目領域として特定することを特徴とする付記１７に記載の情報処理プログラム。
【０２１７】
（付記１９）前記コンピュータを、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段として機能させ、
前記特定手段は、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記本文領域として特定することを特徴とする付記１７または１８に記載の情報処理プログラム。
【０２１８】
（付記２０）前記特徴判定手段は、前記残余の図形領域のピクセル単位の列ごとの背景色のピクセル数または／および行ごとの背景色のピクセル数に基づいて、前記残余の図形領域の特徴を判定することを特徴とする付記１９に記載の情報処理プログラム。
【０２１９】
（付記２１）コンピュータが、
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定工程と、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較する比較工程と、
前記比較工程によって比較された比較結果に基づいて、前記特定工程によって特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定する判定工程と、
前記判定工程によって前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力する出力工程と、
を実行することを特徴とする情報処理方法。
【０２２０】
（付記２２）前記コンピュータが、
前記出力工程（以下、「第１の出力工程」という）によって時系列に連続する第１および第２の時刻の操作ログが出力された結果、当該第１および第２の時刻の操作ログに基づいて、前記第１の時刻に選択されている項目に対応する情報の表示時間を算出する算出工程と、
前記算出工程によって算出された表示時間を出力する第２の出力工程と、
を実行することを特徴とする付記２１に記載の情報処理方法。
【０２２１】
（付記２３）前記コンピュータが、
前記比較結果に基づいて、前記任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第１の判断工程と、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第２の判断工程と、を実行し、
前記判定工程は、前記第１の判断工程によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断工程によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記２１または２２に記載の情報処理方法。
【０２２２】
（付記２４）前記第１の判断工程は、前記比較結果に基づいて、前記任意の時刻に選択されていた前記項目の配置位置と、前記任意の時刻以前の時刻に選択されていた前記項目の配置位置とが一致するか否かを判断し、
前記判定工程は、前記第１の判断工程によって前記項目の配置位置が一致すると判断され、かつ、前記第２の判断工程によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記２３に記載の情報処理方法。
【０２２３】
（付記２５）前記コンピュータが、
前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第３の判断工程を実行し、
前記判定工程は、前記第１の判断工程によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断工程によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第３の判断工程によって前記情報領域内の画面差分があると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記２３または２４に記載の情報処理方法。
【０２２４】
（付記２６）前記コンピュータが、
前記規定サイズの画面差分に含まれる文字列を認識する認識工程を実行し、
前記出力工程は、前記認識工程によって認識された文字列を前記操作ログと関連付けて出力することを特徴とする付記２３〜２５のいずれか一つに記載の情報処理方法。
【０２２５】
（付記２７）前記コンピュータが、
前記画面の一連の表示内容のうち、任意の選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定工程と、
前記第１の領域判定工程によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定工程と、を実行し、
前記特定工程は、前記第２の領域判定工程によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定することを特徴とする付記２１〜２６のいずれか一つに記載の情報処理方法。
【０２２６】
（付記２８）前記特定工程は、前記規定サイズとなる図形領域が複数判定された場合、当該複数の図形領域を重ね合わせた図形領域を前記項目領域として特定することを特徴とする付記２７に記載の情報処理方法。
【０２２７】
（付記２９）前記コンピュータが、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定工程を実行し、
前記特定工程は、前記特徴判定工程によって判定された判定結果に基づいて、前記残余の図形領域を前記本文領域として特定することを特徴とする付記２７または２８に記載の情報処理方法。
【０２２８】
（付記３０）前記特徴判定工程は、前記残余の図形領域のピクセル単位の列ごとの背景色のピクセル数または／および行ごとの背景色のピクセル数に基づいて、前記残余の図形領域の特徴を判定することを特徴とする付記２９に記載の情報処理方法。
【符号の説明】
【０２２９】
２００  情報処理装置
３０１  取得部
３０２  特定部
３０３  判定部
３０４  認識部
３０５  算出部
３０６  作成部
３０７  出力部
４００  イベントＤＢ
５００  画面ＤＢ
６００  領域ＤＢ
７００  操作ログＤＢ
９０１  選択部
９０２  第１の抽出部
９０３  第１の比較部
９０４  領域判定部
９０５  特徴判定部
１２００  基準画面ＤＢ
１３００  選択リストＤＢ
１４０１  第２の抽出部
１４０２  第２の比較部
１４０３  第１の判断部
１４０４  第２の判断部
１４０５  第３の判断部
１４０６  登録部
【図１】
0005428681.tif 000002
【図２】
0005428681.tif 000003
【図３】
0005428681.tif 000004
【図４】
0005428681.tif 000005
【図５】
0005428681.tif 000006
【図６】
0005428681.tif 000007
【図７】
0005428681.tif 000008
【図８】
0005428681.tif 000009
【図９】
0005428681.tif 000010
【図１０】
0005428681.tif 000011
【図１１】
0005428681.tif 000012
【図１２】
0005428681.tif 000013
【図１３】
0005428681.tif 000014
【図１４】
0005428681.tif 000015
【図１５】
0005428681.tif 000016
【図１６】
0005428681.tif 000017
【図１７】
0005428681.tif 000018
【図１８】
0005428681.tif 000019
【図１９】
0005428681.tif 000020
【図２０】
0005428681.tif 000021
【図２１】
0005428681.tif 000022
【図２２】
0005428681.tif 000023
【図２３】
0005428681.tif 000024
【図２４】
0005428681.tif 000025
【図２５】
0005428681.tif 000026
【図２６】
0005428681.tif 000027
【図２７】
0005428681.tif 000028
【図２８】
0005428681.tif 000029
【図２９】
0005428681.tif 000030
【図３０】
0005428681.tif 000031
【図３１】
0005428681.tif 000032
【図３２】
0005428681.tif 000033
【図３３】
0005428681.tif 000034
【図３４】
0005428681.tif 000035
【図３５】
0005428681.tif 000036
【図３６】
0005428681.tif 000037