(57)【要約】【課題】複数人で行われる作業を共同作業と個人作業とに適切に分類することができる。【解決手段】作業者が作業する作業領域を撮像して得られる映像情報を解析して、前記作業領域内の前記作業者の人数を検出する人数検出手段と、前記作業者の行動を検出する行動検出手段と、前記人数検出手段による検出結果から前記人数が複数であると判定した場合に、前記行動検出手段による検出結果に基づき、前記作業者の作業を共同作業と個人作業とに分類する第１の分類処理を実行する分類手段と、を備える。【選択図】図５
2020052983.tif 000002
【特許請求の範囲】
【請求項１】
作業者が作業する作業領域を撮像して得られる映像情報を解析して、前記作業領域内の前記作業者の人数を検出する人数検出手段と、
前記作業者の行動を検出する行動検出手段と、
前記人数検出手段による検出結果から前記人数が複数であると判定した場合に、前記行動検出手段による検出結果に基づき、前記作業者の作業を共同作業と個人作業とに分類する第１の分類処理を実行する分類手段と、を備える
ことを特徴とする作業分類装置。
【請求項２】
前記行動検出手段は、前記映像情報を解析して、前記作業者が対話しているかを検出する対話検出処理を実行し、
前記分類手段は、
前記第１の分類処理において、前記対話検出処理の結果から前記作業者が対話していると判定した場合には、前記作業者の作業を共同作業に分類する
ことを特徴とする請求項１に記載の作業分類装置。
【請求項３】
前記分類手段は、
前記第１の分類処理において、前記対話検出処理の結果から前記作業者が対話していないと判定した場合には、前記作業者の作業を個人作業に分類する
ことを特徴とする請求項２に記載の作業分類装置。
【請求項４】
前記行動検出手段は、入力装置に対する操作の有無を示す操作情報から、前記作業者が前記入力装置を操作中であるかを検出する操作検出処理を実行し、
前記分類手段は、
前記作業者の作業を個人作業に分類した場合、前記操作検出処理の結果に応じて、前記作業者の作業を、前記入力装置に対する操作を伴う入力作業と、前記入力装置に対する操作を伴わない机上作業とにさらに分類する第２の分類処理を実行する
ことを特徴とする請求項２または請求項３に記載の作業分類装置。
【請求項５】
前記分類手段は、
前記第２の分類処理において、前記操作検出処理の結果から前記作業者が前記入力装置を操作中であると判定した場合には、前記作業者の作業を入力作業に分類する
ことを特徴とする請求項４に記載の作業分類装置。
【請求項６】
前記分類手段は、
前記第２の分類処理において、前記操作検出処理の結果から前記作業者が前記入力装置を操作中でないと判定した場合には、前記作業者の作業を机上作業に分類する
ことを特徴とする請求項４または請求項５に記載の作業分類装置。
【請求項７】
前記行動検出手段は、
前記対話検出処理において、前記映像情報と、音声入力装置を介して取得される前記作業者の音声とを解析して、前記作業者が対話しているかを検出する
ことを特徴とする請求項２から請求項６のうちのいずれか１項に記載の作業分類装置。
【請求項８】
前記分類手段は、
前記人数検出手段による検出結果から前記人数が１人であると判定した場合には、前記作業者の作業を個人作業に分類する
ことを特徴とする請求項１から請求項７のうちのいずれか１項に記載の作業分類装置。
【請求項９】
前記人数検出手段と、前記行動検出手段と、前記分類手段とによる処理が定期的または間欠的に実行される
ことを特徴とする請求項１から請求項８のうちのいずれか１項に記載の作業分類装置。
【請求項１０】
前記分類手段による分類結果を時間帯ごとに表示する表示情報を生成し、該表示情報を出力する出力手段をさらに備える
ことを特徴とする請求項１から請求項９のうちのいずれか１項に記載の作業分類装置。
【請求項１１】
作業者が作業する作業領域を撮像する撮像手段と、
前記撮像により得られた前記作業領域の映像情報を解析して、前記作業領域内の前記作業者の人数を検出する人数検出手段と、
前記作業者の行動を検出する行動検出手段と、
前記人数検出手段による前記人数の検出結果と前記行動検出手段による前記行動の検出結果とを送信する送信手段と、を有するモニタリング装置と、
前記モニタリング装置から受信した前記人数の検出結果から前記作業領域内の前記人数が複数であると判定した場合に、前記モニタリング装置から受信した前記行動の検出結果に基づき、前記作業者の作業を共同作業と個人作業とに分類する分類手段と、を有する作業分類装置と、を備える
ことを特徴とする作業モニタリングシステム。
【請求項１２】
作業者が作業する作業領域を撮像して得られる映像情報を解析して、前記作業領域内の前記作業者の人数を検出する人数検出ステップと、
前記作業者の行動を検出する行動検出ステップと、
前記人数を検出した結果から前記人数が複数であると判定した場合に、前記行動を検出した結果に基づき、前記作業者の作業を共同で行われる共同作業と個人作業とに分類する第１の分類処理を実行する分類ステップと、を含む
ことを特徴とする作業分類方法。
【請求項１３】
コンピュータを、請求項１から請求項１０のうちのいずれか１項に記載の作業分類装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主にオフィスにおける作業者の作業状況や行動をモニタリングする技術に関する。
【背景技術】
【０００２】
近年、オフィス等における作業効率を改善させることを目的として、作業者の作業状況や行動をモニタリングし、モニタリングにより得られた情報を分析して、わかりやすい態様で可視化するニーズが増えている。そのようなモニタリングでは、モニタリングする側とモニタリングされる側との双方の負担を軽減するために、人手によるものではなく自動で行うことが望まれる。しかし、自動で行われるモニタリングでは、分析の精度が十分に得られずに作業効率の改善に結びつきづらいことがある。
【０００３】
そこで、精度向上を目的とした手法の一つとして、作業者の作業状況を撮像した映像ログと、作業に用いるパーソナルコンピュータ（ＰＣ）の操作ログ（ＰＣ操作ログ）との両方を分析し、作業状況を可視化するシステムが提案されている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】“PC操作ログと映像ログを用いた業務行動モニタリングシステムの初期検討”、情報処理学会研究報告 Vol. 2010-CVIM-172 No.1
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記システムでは、作業者が共同作業を行っているにもかかわらず、ＰＣ操作ログが存在する時間帯は一律ＰＣ操作中に分類されてしまう。例えば、プロジェクタで資料投影してＰＣからプロジェクタの表示操作をしながら議論するような共同作業の時間帯についても、ＰＣ操作中に分類されてしまう。このように、上記システムでは、複数人での共同作業が個人作業であるＰＣ作業に分類されてしまい、作業者の作業状況や行動の分析が正しく行われなくなる可能性がある。
【０００６】
そこで、本発明は、複数人で行われる作業を共同作業と個人作業とに適切に分類することが可能な作業分類装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による作業分類装置は、作業者が作業する作業領域を撮像して得られる映像情報を解析して、前記作業領域内の前記作業者の人数を検出する人数検出手段と、前記作業者の行動を検出する行動検出手段と、前記人数検出手段による検出結果から前記人数が複数であると判定した場合に、前記行動検出手段による検出結果に基づき、前記作業者の作業を共同作業と個人作業とに分類する第１の分類処理を実行する分類手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数人で行われる作業を共同作業と個人作業とに適切に分類することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態の作業モニタリングシステムの構成の一例を示す図である。
【図２】記録装置に記録される情報の一例を示す図である。
【図３】第１実施形態における各種検出処理を説明するための図である。
【図４】顔領域と視線の方向の抽出を説明するための図である。
【図５】作業分類処理のフローチャートである。
【図６】第１実施形態における制御部が実行する共同作業分類処理のフローチャートである。
【図７】管理用ＰＣのディスプレイ上に表示される作業分類結果の一例を示す図である。
【図８】第２実施形態における作業モニタリングシステムの構成の一例を示す図である。
【図９】第２実施形態における各種検出処理を説明するための図である。
【発明を実施するための形態】
【００１０】
［実施形態１］
以下、本発明を実施するための形態について図面を用いて説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。
【００１１】
＜作業モニタリングシステムの構成＞
図１は、第１実施形態の作業モニタリングシステムの構成の一例を示す図である。図１に示すように、本実施形態の作業モニタリングシステムは、モニタリング装置１０と、サーバ装置１２と、管理用ＰＣ１３とを備える。これらの装置は、ネットワーク１１を介して互いに通信可能である。モニタリング装置１０は、モニタリング対象である作業者Ｘの作業状況を収集し、その結果（作業情報）をサーバに送信する。サーバ装置１２は、モニタリング装置１０から受信した作業情報を分析して作業分類を行い、その結果を記録する。管理用ＰＣ１３は、作業分類の結果を管理者Ｍが確認するためのＰＣである。なお、図１には、説明の簡単のため作業者が１人しか例示されていないが、複数人の作業者がモニタリングされても良い。
【００１２】
＜モニタリング装置の構成＞
モニタリング装置１０は、制御部１０１、作業者（図１に示す例では作業者Ｘ）の作業状況を映像で取得するカメラ１０２、及び、作業者が作業を行う際に入力装置として使用するキーボード１０３とマウス１０４を含む。さらに、モニタリング装置１０は、作業者同士の会話等を音声で取得する音声入力装置（マイク）１０５、及び出力装置であるディスプレイ１０６を含む。なお、モニタリング装置１０は特定の場所に設置されていても良いし、ユーザによって移動可能（持ち運び可能）であってもよい。
【００１３】
制御部１０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等を有する。また、各構成要素１０２〜１０６と接続するためのインターフェースを有する。制御部１０１は、一般的なパーソナルコンピュータ等で代用できる。カメラ１０２は、例えばデジタルビデオカメラであって、制御部１０１からの指示により作業者の作業の様子を撮像する。本実施形態では、カメラ１０２は、作業者が作業を行う所定の領域（作業領域）を撮像する。また本実施形態では、作業領域内の作業者がモニタリング対象とされる。カメラ１０２は、撮像して得られた映像をデータ化して制御部１０１に渡す。キーボード１０３は、作業者によるキー押下などの操作情報をデータ化して制御部１０１に渡す。マウス１０４は、作業者によるクリック操作などの操作情報をデータ化して制御部１０１に渡す。マイク１０５は、作業者の声や作業者同士の会話などの音声をデータ化して制御部１０１に渡す。ディスプレイ１０６は、作業者が作業を行うために必要なソフトウエアの出力画面などを表示する。例えば、制御部１０１で文書作成ソフトウエアを動作させていれば文書作成の画面が、表計算ソフトウエアを動作させていれば表の画面が表示される。
【００１４】
＜サーバ装置の構成＞
サーバ装置１２は、制御部１２１と記録装置１２２とを含む。制御部１２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等を有する。以下、制御部１２１を作業分類装置１２１と表現する場合がある。記録装置１２２は、例えばＨＤＤである。なお、制御部１２１が有するＨＤＤを記録装置１２２として利用するようにしても良い。つまり、記録装置１２２は制御部１２１と独立した装置でなくても良い。
【００１５】
＜管理用ＰＣの構成＞
管理用ＰＣ１３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ、キーボード、マウス、ディスプレイ等を含む。管理用ＰＣ１３は、一般的なパーソナルコンピュータ等で代用できる。
【００１６】
＜モニタリング装置の動作＞
モニタリング装置１０は、作業者（図１に示す例では作業者Ｘ）の作業状況を収集して、収集した作業状況を映像情報、操作情報、音声情報にデータ化する。そして、モニタリング装置１０は、データ化したそれらの情報をサーバに送信する。
【００１７】
モニタリング装置１０は、作業者から電源投入の指示を受けると、あらかじめ制御部１０１内のＨＤＤに格納されたプログラムを読み出し、該プログラムを実行して処理を開始する。本プログラムは複数の処理を並行して同時に実行することが可能なプログラムであるものとする。
【００１８】
制御部１０１は、カメラ１０２に対して撮像開始を指示する。本実施形態では、カメラ１０２は、作業者の作業状況を動画像として撮像する。制御部１０１は、カメラ１０２を介して得た動画像データ（以下、単に動画像とも呼ぶ。）をネットワーク伝送に適した形式に変換し、変換後の動画像データを映像情報として、ネットワーク１１を経由してサーバ装置１２にリアルタイムに送信する。また制御部１０１は、キーボード１０３やマウス１０４から送られてくる作業者の操作情報を、ネットワーク１１を経由してサーバ装置１２に送信する。これらの操作情報は、キーボード１０３やマウス１０４に対して作業者による操作が行われたタイミングで、キーボード１０３やマウス１０４からリアルタイムに送信される。本実施形態では、操作情報として操作の有無を示す情報が得られれば良く、作業者が打ち込んだキーの種類やマウスの移動量といった細かな情報は操作情報に含まれていなくても良い。さらに制御部１０１は、マイク１０５から得られる音声情報をネットワーク伝送に適した形式に変換し、ネットワーク１１を経由してその音声情報をサーバ装置１２にリアルタイムに送信する。
【００１９】
＜サーバ装置の動作＞
サーバ装置１２は、モニタリング装置１０から受信した各種情報を用いて作業者の作業分類を行い、その結果を記録する。
【００２０】
サーバ装置１２は、あらかじめ制御部１２１内のＨＤＤに格納されたプログラムを読み出し、該プログラムを実行して処理を開始する。これにより、後述する図３に示す各種検出処理（人数検出処理、操作イベント検出処理、及び対話検出処理）及び図５に示す作業分類処理が実行される。本実施形態では、サーバ装置１２の初期化処理が行われた後に定期的にまたは間欠的に各種検出処理及び作業分類処理が実行されるものとする。なお、上記プログラムは、複数の処理を並行して同時に実行することが可能なプログラムであるものとする。また上記プログラムには、後述する操作イベントを管理するための操作イベントフラグが設けられているものとする。
【００２１】
サーバ装置１２は、ネットワーク１１を介してモニタリング装置１０から受信した作業状況に関する各種データから作業分類に必要な情報を検出する。そして、サーバ装置１２は、検出した情報に基づき作業分類し、その結果を記録する。図２は、各種検出処理及び作業分類処理が行われた後に記録装置１２２に記録される情報（以下、記録情報と呼ぶ。）の一例を示す図である。記録情報は、レコード単位で一般的なデータベースの形式で保存される。また、各種検出処理と作業分類処理は非同期で実行されるため、各種検出処理と作業分類処理の結果はそれぞれ異なるタイミングで記録される。本実施形態における記録情報には、人数情報、操作イベント情報、対話状態情報、及び作業分類結果と、これらのレコードが記録された時刻とがレコード単位で記録される。図２に示す例では、最初のレコードとして、時刻情報「未設定」、人数情報「０人」、操作イベント情報「イベントなし」、対話状態情報「対話していない」、作業分類結果「未分類」が記録されている。
【００２２】
各種検出処理の結果の記録については、はじめに、サーバ装置１２が、記録装置１２２に記録されているデータベースの最新レコードの時刻情報を参照し、該最新レコードに現在の時刻と同じ時刻が記録されているかを確認する。すなわち、サーバ装置１２は、現在の時刻のレコードが既に存在しているかを確認する。そして、現在の時刻のレコードが存在しない場合は、サーバ装置１２は、直前のレコードを複製して新たにレコードを生成し、生成したレコードの時刻情報を現在の時刻で更新してから、記録したい検出結果の部分を更新する。また現在の時刻のレコードが存在する場合は、サーバ装置１２は、そのレコード内の記録したい検出結果の部分を更新する。
【００２３】
ここで、図３を用いて、サーバ装置１２が実行する各種検出処理を説明する。図３は、第１実施形態におけるサーバ装置１２が実行する、各種検出処理のフローチャートである。なお、各種検出処理のうち、作業者の行動を検出する操作イベント検出処理及び対話検出処理を行動検出処理と表現する場合がある。
【００２４】
＜人数検出処理＞
制御部１２１は、モニタリング装置１０から受信した映像情報（本実施形態では動画像）から人数を検出する人数検出処理を行う。図３（ａ）には、人数検出処理のフローチャートが示されている。まず、制御部１２１は、受信した動画像内の単一フレームの静止画像を解析して、顔に対応する領域（以下、顔領域と呼ぶ。）を抽出する（Ｓ３０１）。顔領域の抽出は、従来から広く知られているＶｉｏｌａ−Ｊｏｎｅｓ法などを用いることで実現できる。図４（ａ）には、人物として作業者Ｘのみが写っている映像（フレーム静止画像）から、作業者Ｘの顔領域４０１が抽出される様子が示されている。次に、制御部１２１は、抽出された顔領域の数を計数する（Ｓ３０２）。図４（ａ）に示す例では、顔領域の数は１である。顔領域の数は、静止画像内（作業領域内）の人数に相当する。最後に、制御部１２１は、顔領域の計数結果を人数情報として記録装置１２２に記録し（Ｓ３０３）、処理を終了する。
【００２５】
＜操作イベント検出処理＞
制御部１２１は、モニタリング装置１０から受信した操作情報から、操作イベントの有無を検出する操作イベント検出処理（以下、単に操作検出処理と呼ぶ場合がある。）を行う。図３（ｂ）には、操作イベント検出処理のフローチャートが示されている。モニタリング装置１０から操作情報を受信したタイミングで、制御部１２１は、操作イベントフラグを操作イベントありの状態に変更する。なお、この処理は、以下のＳ３１１〜Ｓ３１５の処理と非同期で実行される。また、操作イベントフラグは、サーバ装置１２の初期化処理で操作イベントなしの状態に初期化されているものとする。
【００２６】
まず、制御部１２１は、操作イベントフラグを確認する（Ｓ３１１）。操作イベントフラグが操作イベントありの状態である場合には（Ｓ３１２のＹＥＳ）、制御部１２１は、操作イベント情報として「操作イベントあり」を記録装置１２２に記録する（Ｓ３１３）。一方、操作イベントフラグが操作イベントなしの状態である場合には（Ｓ３１２のＮＯ）、制御部１２１は、操作イベント情報として「操作イベントなし」を記録装置１２２に記録する（Ｓ３１４）。最後に、制御部１２１は、操作イベントフラグをクリアして（Ｓ３１５）、処理を終了する。
【００２７】
＜対話検出処理＞
制御部１２１は、モニタリング装置１０から受信した映像情報（本実施形態では動画像）から、作業者の対話を検出する対話検出処理を行う。図３（ｃ）には、対話検出処理のフローチャートが示されている。
【００２８】
まず、制御部１２１は、受信した動画像内の単一フレームの静止画像を解析して、人物（作業者）の頭部（顔）の位置と人物の視線の方向とを抽出する（Ｓ３２１）。これらの抽出は、例えば、「“複数人物の対面会話シーンを対象とした画像中の人物頭部追跡に基づく会話構造のモデル化と確率的推論”、画像の認識・理解シンポジウム（ＭＩＲＵ２００６）、ｐｐ．８４−９１」に記載されている手法により実現できる。図４（ｂ）及び図４（ｃ）には、異なる時間に撮像された静止画像のそれぞれから、顔の位置と視線の方向とが抽出される様子が示されている。図４（ｂ）及び図４（ｃ）に示す静止画像には人物として作業者Ｘと作業者Ｙが写っていて、それぞれの人物の顔領域４０１，４０２と視線４１１，４１２とが抽出されている。次に、制御部１２１は、抽出された顔領域の数が複数であるかを判定する（Ｓ３２２）。図４（ｂ）及び図４（ｃ）に示す例では顔領域の数は２である。
【００２９】
顔領域の数が複数でない場合には（Ｓ３２２のＮＯ）、制御部１２１は、作業者が対話をしていない状態であると判定し、対話状態情報として「対話をしていない」を記録装置１２２に記録して（Ｓ３２４）、処理を終了する。一方、顔領域の数が複数である場合には（Ｓ３２２のＹＥＳ）、制御部１２１は、顔の位置と視線の方向とをもとに、作業者（ここでは作業者Ｘ，Ｙ）が互いに向き合っているか判定する（Ｓ３２３）。図４（ｂ）に示す例のように、作業者Ｘの視線４１１が作業者Ｙの顔領域４０２の方を向いていて、かつ作業者Ｙの視線４１２が作業者Ｘの顔領域４０１の方を向いている場合は、作業者Ｘと作業者Ｙとが向き合っていると判定される。作業者が互いに向き合っている場合には（Ｓ３２３のＹＥＳ）、制御部１２１は、対話している状態であると判定し、対話状態情報として「対話している」を記録装置１２２に記録して（Ｓ３２５）、処理を終了する。一方、図４（ｃ）に示す例のように、作業者Ｙの視線４１２が作業者Ｘの顔領域４０１方を向いていたとしても、作業者Ｘの視線４１１が、作業者Ｙの顔領域４０２の方を向いていない場合には、作業者Ｘと作業者Ｙとが向き合っていないと判定される。作業者同士が向き合っていない場合には（Ｓ３２３のＮＯ）、制御部１２１は、対話していない状態であると判定し、対話状態情報として「対話していない」を記録装置１２２に記録して（Ｓ３２４）、処理を終了する。
【００３０】
上記の各種検出処理によって、記録装置１２２が記憶する記録情報が更新される。具体的には、図２に示すテーブルに新たなレコードが追加されるか、または、テーブル内の最新レコードの時刻情報、人数情報、操作イベント情報、及び対話状態情報の各情報が更新される。
【００３１】
＜作業分類処理＞
制御部１２１は、記録装置１２２が記憶する記録情報をもとに作業者の作業分類処理を行い、その結果を作業分類結果として記録情報に記録する。本処理は、人数情報、操作イベント情報、及び対話状態情報が更新されていて、時刻情報が「未設定」ではなく、かつ作業分類結果が「未分類」であるレコードに対して実行される。図５は、作業分類処理のフローチャートである。
【００３２】
まず、制御部１２１は、記録装置１２２が記憶する記録情報から人数情報を読み出して（Ｓ５０１）、該人数情報から人数が０人かを判定する（Ｓ５０２）。人数が０人である場合は（Ｓ５０２のＹＥＳ）、制御部１２１は、作業状況を離席状態に分類し（Ｓ５０３）、その分類結果を記録装置１２２に記録する（Ｓ５１０）。人数が０人でない場合は（Ｓ５０２のＮＯ）、制御部１２１は、人数情報から人数が２人以上かを判定する（Ｓ５０４）。
【００３３】
人数が２人以上である場合は（Ｓ５０４のＹＥＳ）、制御部１２１は、共同作業分類処理（以下、第１の分類処理とも呼ぶ。）を実行し（Ｓ５０９）、その分類結果を記録装置１２２に記録する（Ｓ５１０）。一方、人数が２人以上でない場合は（Ｓ５０４のＮＯ）、制御部１２１は、人数が１人であると判定する。この場合、Ｓ５０５〜Ｓ５０８に示す分類処理（以下、第２の分類処理と呼ぶ。）が行われる。まず制御部１２１は、記録装置１２２が記憶する記録情報から操作イベント情報を読み出して（Ｓ５０５）、操作イベントの有無を判定する（Ｓ５０６）。操作イベントなしと判定した場合は（Ｓ５０６のＮＯ）、制御部１２１は、作業状況を、ＰＣを用いずに行われる作業であることを示す机上作業に分類し（Ｓ５０７）、その分類結果を記録装置１２２に記録する（Ｓ５１０）。一方、操作イベントありと判定した場合は（Ｓ５０６のＹＥＳ）、制御部１２１は、作業者がＰＣ操作中であると判定して作業状況をＰＣ作業（入力作業とも呼ぶ。）に分類し（Ｓ５０８）、その分類結果を記録装置１２２に記録する（Ｓ５１０）。
【００３４】
ここで、Ｓ５０９の共同作業分類処理については図６を用いて説明する。図６は、第１実施形態における制御部１２１が実行する共同作業分類処理のフローチャートである。まず、制御部１２１は、記録装置１２２に記録された対話状態情報を読み出して（Ｓ６０１）対話状態を判定する（Ｓ６０２）。作業者が対話していない状態である場合は（Ｓ６０２のＮＯ）、制御部１２１は、作業者が１人で作業を行っていると判定し、Ｓ６０３〜Ｓ６０６の処理を実行し、処理を終了する。なお、Ｓ６０３〜Ｓ６０６の処理は、上記のＳ５０４で人数が１人であると判定された場合に実行される第２の分類処理（Ｓ５０５〜Ｓ５０８の処理）と同様であるため説明を省略する。一方、作業者が対話している状態である場合は（Ｓ６０２のＹＥＳ）、制御部１２１は、作業状況を共同作業に分類し（Ｓ６０７）、処理を終了する。
【００３５】
上記の作業分類処理により得られた分類結果は、図２に示すテーブル内の作業分類結果情報の欄に記録される。
【００３６】
本実施形態では、図２に示す記録情報おいてレコードが１０秒間隔で記録されているように、各種検出処理及び作業分類処理が１０秒間隔で実行されることを想定している。しかし、分類結果の時刻精度を細かくしたい場合は、それらの処理の実行間隔を短くしても良い。また、分類結果の時刻精度を粗くしても良い場合は、それらの処理の実行間隔を長くしても良い。
【００３７】
上記のような処理により、人数が複数人でかつ対話状態である区間（図２における区間２１２）の作業が、共同作業に分類されるようになる。それにより、従来手法では一律にＰＣ作業に分類されていた区間（図２における「操作イベントあり」の区間２１１）において、作業者の人数に応じて共同作業とＰＣ作業とに区別できるようになる。したがって、本実施形態によれば、作業領域内に作業者が複数存在する場合でも、作業者の作業を、複数人が共同で行う共同作業とＰＣ作業など作業者が１人で行う個人作業とに適切に分類することが可能となる。よって、例えば、プロジェクタで資料投影してＰＣからプロジェクタの表示操作をしながら議論するようなケースや、会議中に会議の内容をＰＣにテキスト入力して記録するようなケースについても、適切に共同作業として分類することが可能となる。
【００３８】
＜作業分類結果の参照＞
図７は、管理用ＰＣ１３のディスプレイ上に表示される作業分類結果の一例を示す図である。帯状のグラフ７０１は、８時〜２０時までの作業者の各時間帯における作業の分類結果を示すグラフであり、凡例７０２は、グラフ７０１内のそれぞれの領域がどの作業に対応しているかを示している。管理者Ｍが管理用ＰＣ１３に対して作業分類結果を表示するための操作を行うと、管理用ＰＣ１３が管理者Ｍの操作に従って、サーバ装置１２に対して作業分類結果の読み出し指示を行う。サーバ装置１２は管理用ＰＣ１３からの読み出し指示を受け、記録装置１２２が記憶する記録情報から時刻情報と作業分類結果とを読み出し、読み出した情報を管理用ＰＣ１３に送信する。管理用ＰＣ１３は、受信した時刻情報と作業分類結果情報とをもとに図７に示すグラフを表示するための表示情報を生成し、ディスプレイに出力する。これにより管理者Ｍは、作業者の作業状況を容易に確認することができる。
【００３９】
［実施形態２］
図８は、第２実施形態における作業モニタリングシステムの構成の一例を示す図である。図８に示すように、本実施形態における作業モニタリングシステムの構成は、第１実施形態の構成と同様である。ただし、本実施形態の作業モニタリングシステムは、モニタリング装置１０の代わりに、モニタリング装置８０を備える。また、本実施形態の作業モニタリングシステムは、作業用ＰＣ８１をさらに備える。第１実施形態では、各種検出処理をサーバ装置１２が実行する例を説明したが、本実施形態では、人数検出処理及び対話検出処理をモニタリング装置８０が実行し、操作イベント検出処理を作業用ＰＣ８１が実行する例を説明する。なお、図８には、説明の簡単のため作業者が１人しか例示されていないが、第１実施形態と同様に、複数人の作業者がモニタリングされても良い。
【００４０】
＜モニタリング装置の構成＞
モニタリング装置８０は、制御部８０１、作業者（図８に示す例では作業者Ｘ）の作業状況を映像で取得するカメラ１０２、また作業者同士の会話等を音声で取得するためのマイク１０５で構成される。
【００４１】
＜作業用ＰＣの構成＞
作業用ＰＣ８１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ、キーボード、マウス、ディスプレイ等を含む。作業用ＰＣ８１は、例えば、一般的なパーソナルコンピュータであって、作業者が作業を行うためのＰＣである。作業用ＰＣ８１のＨＤＤにはあらかじめ操作イベント検出処理用のプログラムが格納されていて、作業用ＰＣ８１は、ＨＤＤに格納された該プログラムを読み出して実行することで、操作イベント検出処理を開始する。本プログラムには、第１実施形態と同様に、操作イベントを管理するための操作イベントフラグが設けられている。なお、作業用ＰＣ８１は特定の場所に設置されていても良いし、ユーザによって移動可能（持ち運び可能）であってもよい。
【００４２】
＜モニタリング装置の動作＞
モニタリング装置８０は、作業者（図８に示す例では作業者Ｘ）の作業状況を収集して、映像情報、音声情報にデータ化する。さらに、モニタリング装置８０は、人数検出処理及び対話検出処理を実行し、その結果である人数情報及び対話状態情報をサーバに送信する。
【００４３】
モニタリング装置８０は、作業者から電源投入の指示を受けると、あらかじめ制御部８０１内のＨＤＤに格納されたプログラムを読み出して処理の実行を開始する。本プログラムは複数の処理を並行して同時に実行することが可能なプログラムとしても良い。
【００４４】
制御部８０１は、カメラ１０２に対して映像の撮像開始を指示する。カメラ１０２は、第１実施形態と同様に、作業者の作業状況を動画像として撮像する。制御部８０１は、カメラ１０２を介して得た動画像から定期的にまたは間欠的にフレーム静止画像を取り出し、そのフレーム静止画像に対して人数検出処理と対話検出処理を行う。
【００４５】
また制御部８０１は、マイク１０５から得られる音声情報をネットワーク伝送に適した形式に変換し、その音声情報をネットワーク１１を経由してサーバ装置１２にリアルタイムに送信する。
【００４６】
ここで、図９（ａ）（ｂ）を用いて、モニタリング装置８０の制御部８０１が実行する人物検出処理及び対話検出処理を説明する。図９（ａ）には、モニタリング装置８０の制御部８０１が実行する人数検出処理のフローチャートが示されている。Ｓ９０１，Ｓ９０２の処理は、Ｓ５０１，Ｓ５０２と同様であるため説明を省略する。Ｓ９０２の後、制御部８０１は、顔領域の計数結果を人数情報としてサーバ装置１２に送信し（Ｓ９０３）、処理を終了する。
【００４７】
図９（ｂ）には、モニタリング装置８０の制御部８０１が実行する対話検出処理のフローチャートが示されている。Ｓ９１１〜Ｓ９１３の処理は、Ｓ５２１〜Ｓ５２３と同様であるため説明を省略する。Ｓ９１２またはＳ９１３でＮＯと判定した場合、すなわち、作業者が対話していないと判定した場合、制御部８０１は、対話状態情報として「対話していない」をサーバ装置１２に送信し（Ｓ９１４）、処理を終了する。また、Ｓ９１２及びＳ９１３でＹＥＳと判定した場合、すなわち、作業者同士が対話状態であると判定した場合、制御部８０１は、対話状態情報として「対話している」をサーバ装置１２に送信し（Ｓ９１５）、処理を終了する。
【００４８】
＜作業用ＰＣの動作＞
作業用ＰＣ８１は、作業者によるキーボードに対するキー押下やマウスに対するクリック操作などの操作情報を収集してデータ化し、サーバ装置に送信する。図９（ｃ）には、作業用ＰＣが実行する操作イベント検出処理のフローチャートが示されている。作業用ＰＣ８１のキーボードやマウスが作業者によって操作された場合には、作業用ＰＣ８１は、操作イベントフラグを操作イベントありの状態に変更する。なお、この処理は、以下のＳ９２１〜Ｓ９２４の処理と非同期で実行される。また、操作イベントフラグは、作業用ＰＣ８１の初期化処理で操作イベントなしの状態に初期化されているものとする。また、以下のＳ９２１〜Ｓ９２４の処理は、作業用ＰＣ８１の初期化処理が行われた後に定期的にまたは間欠的に実行される。
【００４９】
まず、作業用ＰＣ８１は、操作イベントフラグを確認する（Ｓ９２１）。操作イベントフラグが操作イベントありの状態である場合には（Ｓ９２２のＹＥＳ）、作業用ＰＣ８１は、操作イベント情報として「操作イベントあり」をサーバ装置１２に送信する（Ｓ９２３）。一方、操作イベントフラグが操作イベントなしの状態である場合には（Ｓ９２１のＮＯ）、操作イベント情報として「操作イベントなし」をサーバ装置１２に送信する（Ｓ９２４）。最後に、サーバ装置１２は、操作イベントフラグをクリアして（Ｓ９２５）、処理を終了する。
【００５０】
＜サーバ装置の動作＞
サーバ装置１２の制御部１２１は、モニタリング装置８０から送信される、人数情報及び対話状態情報を受信する。また、制御部１２１は、作業用ＰＣ８１から送信される操作イベント情報を受信する。すると、制御部１２１は、それらを記録装置１２２に記録し、その結果をもとに作業分類処理を行い、その結果を記録装置１２２に記録する。受信した各情報及び作業分類処理で得られた分類結果は、第１実施形態と同様にして記録装置１２２に記録される。
【００５１】
このように、各種処理の実行結果をサーバ装置１２に送信することで、第１実施形態と同様の作業分類結果を記録装置１２２に記録することができる。また、記録装置１２２に記録された作業分類結果を管理用ＰＣ１３のディスプレイ上に表示させることができる。したがって、本実施形態によれば、第１実施形態と同様の効果を得ることができる。
【００５２】
また、上述したように、本実施形態では、各種検出処理をサーバ装置１２ではなく、モニタリング装置８０や作業用ＰＣ８１に実行させ、サーバ装置１２には各種検出処理による検出結果を送信する。それにより、ネットワーク１１上に流れるデータ量を削減することが可能になる。
【００５３】
さらに本実施形態では、各種検出処理を単一の装置内で行うのではなく、モニタリング装置８０と作業用ＰＣ８１とに分散させて実行させている。それにより、複数の作業者をモニタリングする場合に、モニタリング装置８０の台数を減らしたり、設置する場所の自由度を上げたりすることが可能になる。なお、モニタリング装置８０に作業用ＰＣ８１の構成を含ませるようにして、モニタリング装置８０にすべての検出処理を実行させるようにしても良い。
【００５４】
［その他の実施形態］
第１及び第２実施形態では、１台のカメラ１０２から得られる単一映像を、作業者の顔画像や視線情報を検出するための映像情報として用いる例を説明した。しかし、作業者の姿勢によっては、単一映像から顔画像や視線情報が必ず得られるとは限らない。このため、複数のカメラを設置し、複数のカメラから得られる各映像を用いて顔画像や視線情報を検出しても良い。
【００５５】
また、第１及び第２実施形態の共同作業分類処理では、映像情報のみを用いて共同作業か否かを判定していた。しかし、映像情報と音声情報とを併用して共同作業か否かを判定するようにしても良い。具体的には、異なる声色の音声が交互に発声されていると検出した場合は会話していると判定し、さらに、視線情報と合わせて総合的に判定を行って、対話状態であると判定するようにしても良い。それにより、対話検出の精度を向上させることが可能となる。よって、例えば、複数人で１台のＰＣの画面を覗き込みながら該ＰＣを操作して文書の作成や編集をするような共同作業についても、適切に共同作業として分類することが可能となる。
【００５６】
さらに、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2020052983.tif 000003
【図２】
2020052983.tif 000004
【図３】
2020052983.tif 000005
【図４】
2020052983.tif 000006
【図５】
2020052983.tif 000007
【図６】
2020052983.tif 000008
【図７】
2020052983.tif 000009
【図８】
2020052983.tif 000010
【図９】
2020052983.tif 000011