(57)【特許請求の範囲】
【請求項１】
撮影画像を解析してユーザの黒目を検出する解析部と、
前記ユーザの黒目が検出された場合に、前記撮影画像における前記ユーザの黒目の位置が、アプリケーション画面が表示される表示画面に対応する画面対応領域内にあるか否か判定する位置判定部と、
前記ユーザの黒目の位置が前記画面対応領域内にある場合に、前記黒目の位置に基づき、前記表示画面における前記ユーザの視点を示す視点座標を算出する視点座標算出部と、
前記表示画面に表示されているアプリケーション画面の座標情報と、前記視点座標を用いて、前記ユーザが見ているアプリケーション画面を提供するアプリケーションを特定するアプリケーション特定部と、
特定された前記アプリケーションが、業務で使用される既定のアプリケーションであるか否か判定するアプリケーション判定部と、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記既定のアプリケーションであると判定されたアプリケーションの使用時間を算出する時間算出部と、
前記ユーザの黒目が検出されなかった場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する閲覧判定部とを含み、
前記アプリケーション判定部は、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記時間算出部は、前記ユーザの黒目が検出されなかった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、
業務管理システム。
【請求項２】
撮影画像を解析してユーザの黒目を検出する解析部と、
前記ユーザの黒目が検出された場合に、前記撮影画像における前記ユーザの黒目の位置が、アプリケーション画面が表示される表示画面に対応する画面対応領域内にあるか否か判定する位置判定部と、
前記ユーザの黒目の位置が前記画面対応領域内にある場合に、前記黒目の位置に基づき、前記表示画面における前記ユーザの視点を示す視点座標を算出する視点座標算出部と、
前記表示画面に表示されているアプリケーション画面の座標情報と、前記視点座標を用いて、前記ユーザが見ているアプリケーション画面を提供するアプリケーションを特定するアプリケーション特定部と、
特定された前記アプリケーションが、業務で使用される既定のアプリケーションであるか否か判定するアプリケーション判定部と、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記既定のアプリケーションであると判定されたアプリケーションの使用時間を算出する時間算出部と、
前記ユーザの黒目の位置が前記画面対応領域外にある場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する閲覧判定部とを含み、
前記アプリケーション判定部は、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記時間算出部は、前記ユーザの黒目の位置が前記画面対応領域外にあった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、
業務管理システム。
【請求項３】
前記ユーザの黒目の位置が前記画面対応領域外にある場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する閲覧判定部を含み、
前記アプリケーション判定部は、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記時間算出部は、前記ユーザの黒目の位置が前記画面対応領域外にあった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、請求項１に記載の業務管理システム。
【請求項４】
前記アプリケーション特定部は、
前記ユーザの黒目が検出された場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付け、
前記ユーザの黒目が検出されなかった場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付けず、
前記閲覧判定部は、特定された前記アプリケーションの識別情報が、前記過去の特定期間に対応する前記撮影画像の日時情報に関連付けられているか否か判定することにより、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する、請求項１に記載の業務管理システム。
【請求項５】
前記アプリケーション特定部は、
前記ユーザの黒目の位置が前記画面対応領域内にある場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付け、
前記ユーザの黒目の位置が前記画面対応領域外にある場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付けず、
前記閲覧判定部は、特定された前記アプリケーションの識別情報が、前記過去の特定期間に対応する前記撮影画像の日時情報に関連付けられているか否か判定することにより、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する、請求項２又は３に記載の業務管理システム。
【請求項６】
前記既定のアプリケーションであると判定されたアプリケーションの使用時間、及び当該アプリケーションの使用時間に基づく単位時間当たりの当該アプリケーションの使用率の少なくとも一方を、アプリケーション毎に表示する画像を生成する表示画像生成部をさらに含む、請求項１〜５のいずれか１項に記載の業務管理システム。
【請求項７】
コンピュータが、
撮影画像を解析してユーザの黒目を検出し、
前記ユーザの黒目が検出された場合に、前記撮影画像における前記ユーザの黒目の位置が、アプリケーション画面が表示される表示画面に対応する画面対応領域内にあるか否か判定し、
前記ユーザの黒目の位置が前記画面対応領域内にある場合に、前記ユーザの黒目の位置に基づき、前記表示画面における前記ユーザの視点を示す視点座標を算出し、
前記表示画面に表示されているアプリケーション画面の座標情報と、前記視点座標を用いて、前記ユーザが見ているアプリケーション画面を提供するアプリケーションを特定し、
特定された前記アプリケーションが、業務で使用される既定のアプリケーションであるか否か判定し、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記既定のアプリケーションであると判定されたアプリケーションの使用時間を算出し、
前記ユーザの黒目が検出されなかった場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定し、
前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記ユーザの黒目が検出されなかった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、
業務管理方法。
【請求項８】
コンピュータが、
撮影画像を解析してユーザの黒目を検出し、
前記ユーザの黒目が検出された場合に、前記撮影画像における前記ユーザの黒目の位置が、アプリケーション画面が表示される表示画面に対応する画面対応領域内にあるか否か判定し、
前記ユーザの黒目の位置が前記画面対応領域内にある場合に、前記ユーザの黒目の位置に基づき、前記表示画面における前記ユーザの視点を示す視点座標を算出し、
前記表示画面に表示されているアプリケーション画面の座標情報と、前記視点座標を用いて、前記ユーザが見ているアプリケーション画面を提供するアプリケーションを特定し、
特定された前記アプリケーションが、業務で使用される既定のアプリケーションであるか否か判定し、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記既定のアプリケーションであると判定されたアプリケーションの使用時間を算出し、
前記ユーザの黒目の位置が前記画面対応領域外にある場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定し、
前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記ユーザの黒目の位置が前記画面対応領域外にあった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、
業務管理方法。
【請求項９】
前記ユーザの黒目の位置が前記画面対応領域外にある場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定し、
前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記ユーザの黒目の位置が前記画面対応領域外にあった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、請求項７に記載の業務管理方法。
【請求項１０】
前記ユーザの黒目が検出された場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付け、
前記ユーザの黒目が検出されなかった場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付けず、
特定された前記アプリケーションの識別情報が、前記過去の特定期間に対応する前記撮影画像の日時情報に関連付けられているか否か判定することにより、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する、請求項７に記載の業務管理方法。
【請求項１１】
前記ユーザの黒目の位置が前記画面対応領域内にある場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付け、
前記ユーザの黒目の位置が前記画面対応領域外にある場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付けず、
特定された前記アプリケーションの識別情報が、前記過去の特定期間に対応する前記撮影画像の日時情報に関連付けられているか否か判定することにより、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する、請求項８又は９に記載の業務管理方法。
【請求項１２】
前記既定のアプリケーションであると判定されたアプリケーションの使用時間、及び当該アプリケーションの使用時間に基づく単位時間当たりの当該アプリケーションの使用率の少なくとも一方を、アプリケーション毎に表示する画像を生成する、請求項７〜１１のいずれか１項に記載の業務管理方法。
【請求項１３】
コンピュータに、請求項７〜１２のいずれか１項に記載の業務管理方法を実行させる、業務管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、業務管理システム、業務管理方法、及び業務管理プログラムに関し、特に、アプリケーションプログラム（以下、単に「アプリケーション」とする。）を使用する作業者の業務実態を把握するための業務管理システム、業務管理方法、及び業務管理プログラムに関する。
【背景技術】
【０００２】
従来、テレワークを行っている作業者の作業状況を監視するための種々の技術が提案されている。例えば、特許文献１が開示する遠隔作業状況監視システムでは、作業者のＰＣ（Personal Computer）の動作状態に基づいて、作業者の作業状況を監視することを意図している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−４８０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１が開示する遠隔作業状況監視システムでは、ＰＣの動作状態として、ゲーム等の非職務プロセスやスクリーンセーバの作動状態を監視するのみであるため、作業者が業務で使用するアプリケーションの使用時間を把握することができず、作業者の業務実態を詳細に把握できないという問題があった。
【０００５】
本発明の目的は、上述した課題を鑑み、アプリケーションを使用する作業者の業務実態を把握することが可能な業務管理システム、業務管理方法、及び業務管理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る業務管理システムは、撮影画像を解析してユーザの黒目を検出する解析部と、ユーザの黒目が検出された場合に、撮影画像におけるユーザの黒目の位置が、アプリケーション画面が表示される表示画面に対応する画面対応領域内にあるか否か判定する位置判定部と、ユーザの黒目の位置が画面対応領域内にある場合に、黒目の位置に基づき、表示画面におけるユーザの視点を示す視点座標を算出する視点座標算出部と、表示画面に表示されているアプリケーション画面の座標情報と、視点座標を用いて、ユーザが見ているアプリケーション画面を提供するアプリケーションを特定するアプリケーション特定部と、特定されたアプリケーションが、業務で使用される既定のアプリケーションであるか否か判定するアプリケーション判定部と、特定されたアプリケーションが既定のアプリケーションであると判定された場合、既定のアプリケーションであると判定されたアプリケーションの使用時間を算出する時間算出部とを含む。
【発明の効果】
【０００７】
本発明により、アプリケーションを使用する作業者の業務実態を把握することが可能な業務管理システム、業務管理方法、及び業務管理プログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る業務管理システムの一実施形態を示す概略図である。
【図２】本発明の一実施形態に係るユーザＰＣの詳細な構成を示すブロック図である。
【図３】本発明の一実施形態に係る管理サーバの詳細な構成を示すブロック図である。
【図４】本発明の一実施形態に係るユーザＰＣ及び管理サーバが備える主要な構成要素を示すブロック図である。
【図５】データ記憶テーブルの一例を示す図である。
【図６】本発明の一実施形態に係るユーザＰＣが実行する処理の一例を示すフローチャートである。
【図７】本発明の一実施形態に係る管理サーバが実行する処理の一例を示すフローチャートである。
【図８】本発明の一実施形態に係る管理サーバが実行する処理の一例を示すフローチャートである。
【図９】既定の時間が加算される加算対象時間の一例を示す図である。
【図１０】撮影画像の一例を示す図である。
【図１１】視点座標の算出方法を説明するための図である。
【図１２】本発明の一実施形態に係る管理サーバが生成する画像の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の一実施形態について説明する。図１は、本発明の業務管理システム１の一実施形態を示す概略図である。業務管理システム１は、ユーザＰＣ１０と、管理サーバ２０と、管理者ＰＣ３０と、ユーザＰＣ５０と、撮影装置６０とを含む。
【００１０】
ユーザＰＣ１０、管理サーバ２０及び管理者ＰＣ３０は、管理対象の作業者の勤務先、例えば、企業等に設置することができる。ユーザＰＣ１０、管理サーバ２０及び管理者ＰＣ３０は、ＬＡＮ（Local Area Network）等の社内ネットワーク４０を介して、相互にデータを通信することができる。
【００１１】
ユーザＰＣ１０は、遠隔で操作可能なリモートデスクトップ機能に対応した情報処理装置であり、管理対象の作業者がユーザＰＣ５０を用いて、ユーザＰＣ１０が有するアプリケーションやデータを利用することができる。ユーザＰＣ１０の機能の詳細については、図２を参照して後述する。
【００１２】
管理サーバ２０は、ユーザＰＣ１０が提供した情報を用いて、アプリケーション毎の使用時間、業務外作業時間、管理対象の作業者が退席している時間を算出する情報処理装置である。管理サーバ２０の機能の詳細については、図３を参照して後述する。
【００１３】
管理者ＰＣ３０は、管理対象の作業者の管理者が使用する情報処理装置である。管理者ＰＣ３０は、管理サーバ２０に対し、アプリケーション毎の使用時間、業務外作業時間、管理対象の作業者が退席している時間を示す画像を要求し、管理サーバ２０から取得した画像を管理者ＰＣ３０の表示装置に表示する。
【００１４】
ユーザＰＣ５０及び撮影装置６０は、管理対象の作業者の自宅等の作業空間に設置される。ユーザＰＣ５０は、ユーザＰＣ１０を遠隔で操作可能なリモートデスクトップ機能を有しており、ＶＰＮ（Virtual Private Network）７０を介して、会社内のユーザＰＣ１０にアクセスし、ユーザＰＣ１０が有するアプリケーションやデータを利用することができる。
【００１５】
撮影装置６０は、ユーザＰＣ５０と通信可能に接続され、ユーザＰＣ５０のユーザの顔、特にユーザの目を撮影可能な位置に設置される。撮影装置６０は、所定の時間間隔で撮影処理を実行する。所定の時間間隔は、一般的に人が文章を読み際に一箇所に目を留めている時間（２００ミリ秒等）とすることができる。撮影装置６０は、撮影処理を実行して撮影画像を生成すると、当該撮影画像をユーザＰＣ５０に送信する。なお、ユーザＰＣ５０に一体的に組み込まれた撮影装置を、撮影装置６０の代わりに使用してもよい。
【００１６】
ユーザＰＣ５０は、撮影装置６０が提供した撮影画像、管理対象の作業者であるユーザが使用しているアプリケーションが提供する画面（以下、「アプリケーション画面」とする。）の座標情報、及びアプリケーション画面の前後関係を示す情報を、ＶＰＮ７０及び社内ネットワーク４０を介して、会社内のユーザＰＣ１０に送信する。アプリケーション画面の座標情報には、ユーザＰＣ５０の表示装置に表示されたアプリケーション画面の座標を示す情報と、当該アプリケーション画面を提供するアプリケーションの識別情報と、当該アプリケーション画面が表示された日時情報が含まれる。アプリケーション画面の前後関係を示す情報は、仮想的に重複表示されているアプリケーション画面の前後関係を示す情報と、当該アプリケーション画面を提供するアプリケーションの識別情報と、当該アプリケーション画面が表示された日時情報が含まれる。ユーザＰＣ５０は、これらの情報を、上述した所定の時間間隔でユーザＰＣ１０に送信することができる。
【００１７】
図２は、本発明の一実施形態に係るユーザＰＣ１０の詳細な構成を示すブロック図である。ユーザＰＣ１０は、演算装置１００と、通信インタフェース（Ｉ／Ｆ）１１０、記憶装置１２０とを備える。演算装置１００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の演算装置であり、本発明の一実施形態に係る業務管理プログラムを実行することにより、本発明の一実施形態に係る業務管理方法を実行する。演算装置１００が実行するプログラムには、監視部１０１、解析部１０２、位置算出部１０３、位置判定部１０４、視点座標算出部１０５、アプリケーション（ＡＰ）特定部１０６、データベース（ＤＢ）処理部１０７、及び情報提供部１０８が含まれる。これらのプログラムモジュールは、ＵＣ（Unified Communications）アプリケーションの機能として実装することができる。
【００１８】
監視部１０１は、ユーザＰＣ５０から、撮影画像、並びにアプリケーション画面の座標情報及び前後関係を示す情報を受信したか否か判断するプログラムモジュールである。監視部１０１は、これらの情報を受信すると、記憶装置１２０に保存する。
【００１９】
解析部１０２は、記憶装置１２０に保存されている撮影画像を解析して、ユーザの黒目を検出するプログラムモジュールである。解析部１０２は、記憶装置１２０から撮影画像を取得し、ユーザの黒目が撮影画像に含まれるか否か判断する。
【００２０】
位置算出部１０３は、撮影画像におけるユーザの黒目の位置を算出するプログラムモジュールである。位置算出部１０３は、図１０に示すように、ユーザの黒目の中心位置Ｃ、すなわち、瞳孔の中心位置を算出することができる。
【００２１】
位置判定部１０４は、ユーザＰＣ５０の表示装置の表示画面に対応する領域（以下、「画面対応領域」とする。）内に、ユーザの黒目の中心位置Ｃがあるか否か判定するプログラムモジュールである。図１０に示すように、画面対応領域の左上端部Ｐｔｌ、左下端部Ｐｂｌ、右上端部Ｐｔｒ、右下端部Ｐｂｒは、それぞれユーザＰＣ５０の表示装置の表示画面の右上端部、右下端部、左上端部、左下端部に対応する。
【００２２】
画面対応領域の左上端部Ｐｔｌは、ユーザがユーザＰＣ５０の表示装置の表示画面の右上端部を見ているときの黒目の中心位置Ｃに相当する。画面対応領域の左下端部Ｐｂｌは、ユーザが表示画面の右下端部を見ているときの黒目の中心位置Ｃに相当する。画面対応領域の右上端部Ｐｔｒは、ユーザが表示画面の左上端部を見ているときの黒目の中心位置Ｃに相当する。画面対応領域の右下端部Ｐｂｒは、ユーザが表示画面の左下端部を見ているときの黒目の中心位置Ｃに相当する。画面対応領域の各端部Ｐｔｌ，Ｐｂｌ，Ｐｔｒ，Ｐｂｒは、ユーザＰＣ５０の表示装置の表示画面の各端部を個別に点灯させ、ユーザが表示画面の各端部を見ているときの撮影画像を用いて決定することができる。
【００２３】
視点座標算出部１０５は、画面対応領域におけるユーザの黒目の中心位置Ｃに基づき、ユーザＰＣ５０の表示装置の表示画面におけるユーザの視点を示す視点座標を算出するプログラムモジュールである。具体的には、図１１に示すように、ユーザＰＣ５０の表示装置の表示画面の左下端部を原点とする場合、視点座標算出部１０５は、当該原点に対応する画面対応領域の右下端部Ｐｂｒから中心位置ＣまでのＸ方向及びＹ方向の距離を算出する。例えば、画面対応領域のＸ方向及びＹ方向の長さをそれぞれ１とすると、図１１に示す中心位置ＣのＸ方向及びＹ方向の距離は、それぞれ０．７及び０．５となる。ユーザＰＣ５０の表示装置の表示画面の解像度が１９２０×１０８０である場合、ユーザの視点座標は、（Ｘ，Ｙ）＝（１３４４（＝１９２０×０．７），５４０（＝１０８０×０．５））となる。
【００２４】
ＡＰ特定部１０６は、ユーザＰＣ５０の表示画面に表示されているアプリケーション画面の座標情報と、ユーザの視点座標を用いて、ユーザが見ているアプリケーション画面を提供するアプリケーションを特定するプログラムモジュールである。ＡＰ特定部１０６は、記憶装置１２０からアプリケーション画面の座標情報を取得し、当該座標情報が規定する領域内、すなわち、アプリケーション画面内にユーザの視点座標が含まれるか否か判断する。アプリケーション画面内にユーザの視点座標が含まれる場合、ＡＰ特定部１０６は、当該アプリケーション画面を提供するアプリケーションを特定する。
【００２５】
アプリケーション画面が仮想的に重複表示されている場合、ＡＰ特定部１０６は、記憶装置１２０からアプリケーション画面の座標情報に加えて、アプリケーション画面の前後関係を示す情報を取得する。ＡＰ特定部１０６は、アプリケーション画面が仮想的に重複表示されている領域内にユーザの視点座標が含まれる場合、アプリケーション画面の前後関係を示す情報に基づき、最前面のアプリケーション画面を提供するアプリケーションを特定することができる。
【００２６】
ＤＢ処理部１０７は、他のプログラムモジュールの要求に応じて、記憶装置１２０に生成されるデータ記憶テーブルに情報を登録するプログラムモジュールである。図５に示すように、データ記憶テーブルには、撮影画像の生成日時を示す日時情報と、ユーザの黒目及び視点に関する判定結果と、視点座標と、アプリケーションの識別情報とが登録される。
【００２７】
ユーザの黒目及び視点に関する判定結果には、ユーザの黒目の中心位置Ｃが画面対応領域内にある旨の判定結果、ユーザの黒目の中心位置Ｃが画面対応領域外にある旨の判定結果、ユーザの黒目が検出されなかった旨の判定結果がある。ユーザの黒目の中心位置Ｃが画面対応領域内にある旨の判定結果は、ユーザがユーザＰＣ５０の表示装置の表示画面を見ていることを意味する。ユーザの黒目の中心位置Ｃが画面対応領域外にある旨の判定結果は、ユーザがユーザＰＣ５０の表示装置の表示画面以外を見ていることを意味する。アプリケーションの識別情報は、ユーザが見ているアプリケーション画面を提供するアプリケーションの識別情報である。
【００２８】
ユーザの黒目の中心位置Ｃが画面対応領域内にある場合、その旨を示す判定結果と、視点座標と、アプリケーションの識別情報が、日時情報に関連付けて登録される。ユーザの黒目の中心位置Ｃが画面対応領域外にある場合、その旨を示す判定結果が、日時情報に関連付けて登録される。ユーザの黒目が検出されなかった場合、その旨を示す判定結果が、日時情報に関連付けて登録される。
【００２９】
情報提供部１０８は、データ記憶テーブルに記録された情報を管理サーバ２０に提供するプログラムモジュールである。情報提供部１０８は、ユーザの業務の終了時等の任意のタイミングで、データ記憶テーブルに記録された情報を管理サーバ２０に提供することができる。
【００３０】
通信Ｉ／Ｆ１１０は、ユーザＰＣ１０とユーザＰＣ５０及び管理サーバ２０との間で、社内ネットワーク４０及びＶＰＮ７０を介した種々のデータを送受信する装置である。記憶装置１２０は、本発明の一実施形態に係るプログラム、ユーザＰＣ５０が提供した撮影画像、アプリケーション画面の座標情報及び前後関係を示す情報、並びにデータ記録テーブル等の種々の情報が保存される記憶装置である。
【００３１】
図３は、本発明の一実施形態に係る管理サーバ２０の詳細な構成を示すブロック図である。管理サーバ２０は、演算装置２００と、通信インタフェース（Ｉ／Ｆ）２１０と、記憶装置２２０とを備える。
【００３２】
演算装置２００は、ＣＰＵやＭＰＵ等の演算装置であり、本発明の一実施形態に係るプログラムを実行することにより、本発明の一実施形態に係る方法を実行する。演算装置２００が実行するプログラムには、監視部２０１、アプリケーション（ＡＰ）判定部２０２、閲覧判定部２０３、時間算出部２０４、及び表示画像生成部２０５が含まれる。
【００３３】
監視部２０１は、ユーザＰＣ１０が送信した情報を受信したか否か判断するプログラムモジュールである。監視部２０１は、ユーザＰＣ１０から当該情報、すなわち、ユーザＰＣ１０のデータ記憶テーブルに記録された情報を受信すると、当該情報を記憶装置２２０のデータ記録テーブルに登録する。
【００３４】
ＡＰ判定部２０２は、記憶装置２２０のデータ記録テーブルに識別情報が登録されているアプリケーションが、ユーザＰＣ５０のユーザが業務で使用する既定のアプリケーションであるか否か判定するプログラムモジュールである。既定のアプリケーションは、当該ユーザの業務を管理する者等が予め決定することができる。ＡＰ判定部２０２は、記憶装置２２０のデータ記録テーブルに登録されているアプリケーションの識別情報が、既定のアプリケーションの識別情報と一致するか否か判定することにより、データ記録テーブルに識別情報が登録されているアプリケーションが、既定のアプリケーションであるか否か判定できる。
【００３５】
閲覧判定部２０３は、撮影画像の生成日時を基準とする過去の特定期間において、ユーザＰＣ５０のユーザがアプリケーション画面を見ていたか否か判定するプログラムモジュールである。過去の特定期間は、例えば、撮影画像の生成日時である日時情報が示す時刻から１０秒遡った期間とすることができる。閲覧判定部２０３は、記憶装置２２０のデータ記録テーブルを参照し、過去の特定期間に相当する日時情報に、アプリケーションの識別情報が関連付けられているか否か判定することにより、当該特定期間においてユーザＰＣ５０のユーザがアプリケーション画面を見ていたか否か判定することができる。
【００３６】
時間算出部２０４は、ユーザＰＣ５０のユーザによるアプリケーションの使用時間、業務外作業時間、及び退席中の時間を算出するプログラムモジュールである。時間算出部２０４は、撮影装置６０の撮影処理の実行周期に基づく既定の時間（例えば、２００ミリ秒）を加算することにより、アプリケーションの使用時間、業務外作業時間、及び退席中の時間を算出することができる。
【００３７】
表示画像生成部２０５は、既定のアプリケーションであると判定されたアプリケーション毎の使用時間、及び単位時間（例えば、一日の労働時間等）当たりの当該アプリケーション毎の使用率の少なくとも一方と、業務外作業時間と、退席中の時間と表示する画像を生成するプログラムモジュールである。アプリケーションの使用率は、アプリケーションの使用時間に基づいて算出することができる。表示画像生成部２０５は、管理者ＰＣ３０からの要求に応じて、当該画像を生成し、当該画像を管理者ＰＣ３０に提供する。管理者ＰＣ３０の表示装置には、図１２に示すような画像が表示される。図１２に示す画像は、アプリケーション毎の使用時間、業務外作業時間、及び退席中の時間を表示する。
【００３８】
通信Ｉ／Ｆ２１０は、管理サーバ２０とユーザＰＣ１０及び管理者ＰＣ３０との間で、社内ネットワーク４０を介した種々のデータの送受信を行う装置である。記憶装置２２０は、本発明の一実施形態に係るプログラム及びデータ記録テーブル等の種々の情報が保存される記憶装置である。
【００３９】
図４は、本発明の一実施形態に係るユーザＰＣ１０及び管理サーバ２０が備える主要な構成要素を示すブロック図である。ユーザＰＣ１０は、解析部１０２と、位置判定部１０４と、視点座標算出部１０５と、ＡＰ特定部１０６とを備える。管理サーバ２０は、ＡＰ判定部２０２と、閲覧判定部２０３と、時間算出部２０４とを備える。
【００４０】
図６は、本発明の一実施形態に係るユーザＰＣ１０が実行する処理の一例を示すフローチャートである。ユーザＰＣ１０は、記憶装置１２０の保存されている全ての撮影画像について図６の処理を実行する。ステップＳ１０１では、ユーザＰＣ１０の解析部１０２は、ユーザＰＣ５０が提供した撮影画像を、記憶装置１２０から取得して解析する。ステップＳ１０２では、解析部１０２は、ユーザの黒目を検出したか否か判断する。ユーザの黒目を検出しなかった場合（ＮＯ）、ステップＳ１０３で解析部１０２は、ＤＢ処理部１０７を用いて、黒目が検出されなかった旨の判定結果をデータ記録テーブルに登録し、図６の処理が終了する。
【００４１】
一方、ユーザの黒目を検出した場合（ＹＥＳ）、ステップＳ１０４に処理が分岐する。ステップＳ１０４では、位置算出部１０３が、撮影画像におけるユーザの黒目の中心位置Ｃを算出する。ステップＳ１０５では、位置判定部１０４が、黒目の中心位置Ｃが画面対応領域内にあるか否か判定する。黒目の中心位置Ｃが画面対応領域外にある場合（ＮＯ）、ステップＳ１０６で位置判定部１０４は、ＤＢ処理部１０７を用いて、黒目の中心位置Ｃが画面対応領域外にある旨の判定結果をデータ記録テーブルに登録し、図６の処理が終了する。
【００４２】
一方、黒目の中心位置Ｃが画面対応領域内にある場合（ＹＥＳ）、ステップＳ１０７で視点座標算出部１０５が、画面対応領域におけるユーザの黒目の中心位置Ｃに基づき、ユーザＰＣ５０の表示装置の表示画面におけるユーザの視点座標を算出する。ステップＳ１０８では、ＡＰ特定部１０６が、ステップＳ１０１で取得した撮影画像に関連する、ユーザＰＣ５０の表示装置に表示されているアプリケーション画面の座標情報及び前後関係を示す情報を、記憶装置１２０から取得する。ＡＰ特定部１０６は、撮影画像の生成日時と、当該アプリケーション画面が表示された日時情報に基づいて、撮影画像に関連するアプリケーション画面の座標情報及び前後関係を示す情報を特定することができる。
【００４３】
ステップＳ１０９では、ＡＰ特定部１０６は、ユーザの視点座標と、アプリケーション画面の座標情報及び前後関係を示す情報に基づき、ユーザが見ているアプリケーション画面を提供するアプリケーションを特定する。ステップＳ１１０では、ＡＰ特定部１０６は、ＤＢ処理部１０７を用いて、黒目の中心位置Ｃが画面対応領域内にある旨の判定結果と、ユーザが見ているアプリケーションの識別情報をデータ記録テーブルに登録し、図６の処理が終了する。
【００４４】
図７は、本発明の一実施形態に係る管理サーバ２０が実行する処理の一例を示すフローチャートである。ステップＳ２０１では、ＡＰ判定部２０２が、記憶装置２２０に保存されている記録データの中から１つの時刻に関連する記録データを選択する。ステップＳ２０２では、ＡＰ判定部２０２は、選択した記録データの判定結果に基づき、その内容に応じて処理を分岐させる。具体的には、ユーザの黒目の中心位置Ｃが画面対応領域内にある旨の判定結果の場合、ステップＳ２０３に処理が分岐する。ユーザの黒目の中心位置Ｃが画面対応領域外にある旨の判定結果である場合、ステップＳ２０７に処理が分岐する。ユーザの黒目が検出されなかった旨の判定結果である場合、ステップＳ２０９に処理が分岐する。
【００４５】
ステップＳ２０３では、ＡＰ判定部２０２は、選択した記録データのＡＰ識別情報が示すアプリケーションが既定のアプリケーションであるか否か判定する。ＡＰ識別情報が示すアプリケーションが既定のアプリケーションである場合（ＹＥＳ）、ステップＳ２０４で時間算出部２０４が、当該アプリケーションの使用時間に既定の時間を加算する。一方、ＡＰ識別情報が示すアプリケーションが既定のアプリケーションでない場合（ＮＯ）、ステップＳ２０５で時間算出部２０４は、業務外作業時間に既定の時間を加算する。
【００４６】
ステップＳ２０６では、ＡＰ判定部２０２は、未だ選択していない記録データが有るか否か判断する。未だ選択していない記録データが有る場合（ＹＥＳ）、ステップＳ２０１に処理が戻り、次の１つの時刻に関連する記録データについて上記処理が実行される。一方、未だ選択していない記録データが無い場合（ＮＯ）、図７の処理が終了する。
【００４７】
ステップＳ２０２においてユーザの黒目の中心位置Ｃが画面対応領域外にある旨の判定結果である場合、ステップＳ２０７の処理が実行される。ステップＳ２０７では、閲覧判定部２０３は、記憶装置２２０のデータ記録テーブルを参照し、過去の特定期間に相当する日時を示す日時情報に、アプリケーションの識別情報が関連付けられているか否か判定する。この過去の特定期間は、ステップＳ２０１で選択した記録データの日時情報が示す日時を基準とする期間である。当該特定期間の日時情報の少なくとも一つにアプリケーションの識別情報が関連付けられている場合（ＹＥＳ）、ステップＳ２０３に処理が分岐する。
【００４８】
この場合、ＡＰ判定部２０２は、当該アプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションである場合、時間算出部２０４は、当該アプリケーションの使用時間に既定の時間を加算する。すなわち、時間算出部２０４は、ユーザの黒目の中心位置Ｃが画面対応領域外にあった期間を、既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する。
【００４９】
一方、当該特定期間の日時情報のいずれにもアプリケーションの識別情報が関連付けられていない場合（ＮＯ）、ステップＳ２０８に処理が分岐する。ステップＳ２０８では、時間算出部２０４は、業務外作業時間に既定の時間を加算し、ステップＳ２０６に処理が進む。
【００５０】
ステップＳ２０２においてユーザの黒目が検出されなかった旨の判定結果である場合、ステップＳ２０９の処理が実行される。ステップＳ２０９では、閲覧判定部２０３は、ステップＳ２０７と同様に、記憶装置２２０のデータ記録テーブルを参照し、過去の特定期間に相当する日時を示す日時情報に、アプリケーションの識別情報が関連付けられているか否か判定する。当該特定期間の日時情報の少なくとも一つにアプリケーションの識別情報が関連付けられている場合（ＹＥＳ）、ステップＳ２０３に処理が分岐する。
【００５１】
この場合、ＡＰ判定部２０２は、当該アプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションである場合、時間算出部２０４は、当該アプリケーションの使用時間に既定の時間を加算する。すなわち、時間算出部２０４は、ユーザの黒目が検出されなかった期間を、既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する。
【００５２】
一方、当該特定期間の日時情報のいずれにもアプリケーションの識別情報が関連付けられていない場合（ＮＯ）、ステップＳ２１０に処理が分岐する。ステップＳ２１０では、時間算出部２０４は、退席中の時間に既定の時間を加算し、ステップＳ２０６に処理が進む。
【００５３】
上述した実施形態では、ユーザＰＣ１０の解析部１０２が、撮影装置６０が生成した撮影画像を解析してユーザの黒目を検出したか否か判断する。ユーザの黒目が検出された場合、位置判定部１０４が、撮影画像におけるユーザの黒目の位置が画面対応領域内にあるか否か判定し、判定結果をデータ記録テーブルに登録する。ユーザの黒目の位置が画面対応領域内にある場合、視点座標算出部１０５が、画面対応領域内の黒目の位置に基づいて視点座標を算出し、データ記録テーブルに登録する。次いで、ＡＰ特定部１０６が、表示画面に表示されているアプリケーション画面の座標情報と視点座標を用いて、ユーザが見ているアプリケーション画面を提供するアプリケーションを特定し、当該アプリケーションの識別情報をデータ記録テーブルに登録する。そして、情報提供部１０８が、データ記録テーブルに登録された情報を管理サーバ２０に送信する。
【００５４】
管理サーバ２０は、ユーザＰＣ１０から当該情報を受信すると、ＡＰ判定部２０２が、当該情報に含まれる識別情報が示すアプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションであると判定された場合、時間算出部２０４が、既定のアプリケーションであると判定されたアプリケーションの使用時間を算出する。これにより、業務で使用されるアプリケーションの使用時間が算出されるため、管理者が、業務で使用されるアプリケーションを使用する作業者の業務実態を把握することができる。
【００５５】
また、上述した実施形態では、撮影画像においてユーザの黒目が検出されなかった場合、閲覧判定部２０３が、当該撮影画像の生成日時を基準とする過去の特定期間においてユーザが、アプリケーションの画面を見ていたか否か判定する。過去の特定期間においてユーザがアプリケーションの画面を見ていたと判定された場合、ＡＰ判定部２０２が、当該アプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションであると判定された場合、時間算出部２０４は、ユーザの黒目が検出されなかった期間を当該アプリケーションの使用時間に加算する。
【００５６】
これにより、ユーザが作業中に瞬きをしたことによって黒目が検出されなかった場合でも、図９に示すように黒目が検出されなかった期間をアプリケーションの使用時間に加算することができる。そのため、ユーザによるアプリケーションの使用時間を正確に記録することができ、管理者が、管理対象の作業者の業務実態を正確に把握することができる。
【００５７】
さらに、上述した実施形態では、撮影画像においてユーザの黒目の位置が画面対応領域外にある場合、閲覧判定部２０３が、当該撮影画像の生成日時を基準とする過去の特定期間においてユーザが、アプリケーションの画面を見ていたか否か判定する。過去の特定期間においてユーザがアプリケーションの画面を見ていたと判定された場合、ＡＰ判定部２０２が、当該アプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションであると判定された場合、時間算出部２０４は、ユーザの黒目の位置が画面対応領域外にあった期間を当該アプリケーションの使用時間に加算する。
【００５８】
これにより、例えば、ユーザがアプリケーションを使用しているときに、手元のキーボードやマウス、資料等を見たことにより、ユーザの黒目の位置が画面対応領域外にあった場合でも、黒目の位置が画面対応領域外にあった期間をアプリケーションの使用時間に加算することができる。そのため、ユーザによるアプリケーションの実質的な使用時間を記録することができ、管理者が、管理対象の作業者の業務実態を正確に把握することができる。
【００５９】
さらに、上述した実施形態では、表示画像生成部２０５が、既定のアプリケーションであると判定されたアプリケーションの使用時間、及び当該アプリケーションの使用時間に基づく単位時間当たりの当該アプリケーションの使用率の少なくとも一方を、アプリケーション毎に表示する画像を生成する。これにより、管理者が、管理対象の作業者の業務実態を容易に把握することができる。
【００６０】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００６１】
本発明は上述した実施形態に限られたものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、他の実施形態では、ユーザＰＣ１０の代わりに、ＶＰＣ（Virtual Personal Computer）等の仮想的なＰＣを管理サーバ２０等の情報処理装置に実装してもよい。この場合、管理サーバ２０等の単一の情報処理装置が、ユーザＰＣ１０及び管理サーバ２０が備える上述したプログラムモジュールを含む本発明の一実施形態に係るプログラムを実行し、本発明の一実施形態に係る方法を実行する。本実施形態では、ユーザＰＣ５０は、撮影画像、アプリケーション画面の座標情報及び前後関係を示す情報を、ＶＰＮ７０及び社内ネットワーク４０を介して、当該情報処理装置に送信する。そして、当該情報処理装置が備える演算装置が、図６〜図８に示す処理を実行する。
【００６２】
また、他の実施形態では、ユーザＰＣ１０は、管理対象の作業者を識別する顔認証機能を備えてもよい。この場合、真正のユーザであると認識された場合にのみ、上述した撮影画像の日時情報、判定結果、視点座標及びアプリケーションの識別情報が、データ記録テーブルに登録される。これにより、なり済ましを防止することができ、管理者が、管理対象の作業者の業務実態を詳細に把握することができる。
【００６３】
さらに、他の実施形態では、管理サーバ２０は、管理対象の作業者の勤務先以外の場所に設置された外部サーバとしてもよい。さらに、ユーザＰＣ１０及び管理サーバ２０が備える上記プログラムモジュールの機能を、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の回路によって実現してもよい。
【符号の説明】
【００６４】
１      業務管理システム
１０    ユーザＰＣ
１００  演算装置
１０２  解析部
１０４  位置判定部
１０５  視点座標算出部
１０６  ＡＰ特定部
２０    管理サーバ
２００  演算装置
２０２  ＡＰ判定部
２０４  時間算出部
２０３  閲覧判定部
２０５  表示画像生成部
【図１】
0006908297.tif 000002
【図２】
0006908297.tif 000003
【図３】
0006908297.tif 000004
【図４】
0006908297.tif 000005
【図５】
0006908297.tif 000006
【図６】
0006908297.tif 000007
【図７】
0006908297.tif 000008
【図８】
0006908297.tif 000009
【図９】
0006908297.tif 000010
【図１０】
0006908297.tif 000011
【図１１】
0006908297.tif 000012
【図１２】
0006908297.tif 000013