(57)【要約】【課題】  利用者の能力を考慮して複数の業務の同時遂行を学習・支援できる情報処理システムを提供する。【解決手段】  複数の業務を同時に遂行する利用者を支援する学習システム１００であって、前記利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つを検出するデスクワーク状況検出部１と、デスクワーク状況検出部１が検出した情報に基づき前記利用者の心的状態を求め、求めた利用者の心的状態を用いて利用者の業務の多重化の適性の診断結果を通知する処理を行うマルチタスク処理部４０１とを有する。また、マルチタスク処理部４０１は、利用者に同時に遂行してもらう複数の業務を該複数の業務の重なる割合に応じて順次変更するよう提供し、前記複数の業務の重なる割合に応じて前記利用者の業務の多重化の適性の診断結果を通知する処理を行う。【選択図】          図１
2007079647.tif 000002
【特許請求の範囲】
【請求項１】
複数の業務を同時に遂行する利用者を支援する情報処理システムであって、
前記利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つを検出する検出部と、
前記検出部が検出した情報に基づき前記利用者の心的状態を求める算出部と、
前記算出部が求めた利用者の心的状態を用いて前記利用者の業務の多重化の適性を診断する診断部と
を有することを特徴とする情報処理システム。
【請求項２】
前記診断部による診断結果を通知する処理を行う処理部をさらに有することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記複数の業務の時間の重なる割合に応じて前記複数の業務を順次提供する制御部をさらに有し、
前記診断部は、前記複数の業務の時間の重なる割合に応じて前記利用者の業務の多重化の適性を診断することを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記複数の業務の組合せに応じて前記複数の業務を順次提供する制御部をさらに有し、
前記診断部は、前記複数の業務の組合せに応じて前記利用者の業務の多重化の適性を診断することを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記算出部は、所定の時間間隔で前記検出部が検出した情報に基づき前記利用者の心的状態を求めることを特徴とする請求項１に記載の情報処理システム。
【請求項６】
前記算出部は、前記検出部が検出した情報に基づき前記利用者の心的状態として前記利用者の理解度および快適度を求めることを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記処理部は、前記利用者の業務の多重化の適性の有無を視覚化することにより前記診断部による診断結果を通知することを特徴とする請求項２に記載の情報処理システム。
【請求項８】
前記複数の業務のうち第１の業務の状況を表示する第１の表示部と、
前記複数の業務のうち第２の業務の状況を表示する第２の表示部とをさらに有することを特徴とする請求項１に記載の情報処理システム。
【請求項９】
複数の業務を同時に遂行する利用者を支援する情報処理システムであって、
前記利用者の視線を検出する検出部と、
前記複数の業務のうち少なくとも１つの業務の状況の表示を制御する表示制御部と、
前記表示上に前記検出部で検出した利用者の視線の軌跡を提示する処理を行う処理部と
を有することを特徴とする情報処理システム。
【請求項１０】
前記処理部は、前記表示上に模範となる視線の軌跡を提示する処理を行うことを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
前記処理部は、前記表示上に模範となる視線の軌跡と共に、注視範囲および注視時間のうちの少なくとも一方を提示する処理を行うことを特徴とする請求項９に記載の情報処理システム。
【請求項１２】
前記利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つを検出する検出部と、
前記検出部が検出した情報に基づき前記利用者の心的状態を求める算出部とをさらに有し、
前記処理部は、前記算出部が算出した利用者の心的状態に応じて前記表示上に模範となる視線の軌跡を提示する処理を行うことを特徴とする請求項９に記載の情報処理システム。
【請求項１３】
前記模範となる視線の軌跡データを記憶する記憶部をさらに有することを特徴とする請求項１０から請求項１２のいずれか一項に記載の情報処理システム。
【請求項１４】
第１の業務を行う第１の利用者と前記第１の業務と共に第２の業務を行う第２の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つをそれぞれ検出する検出部と、
前記第１の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つに基づいて前記第１の利用者の心的状態を求めると共に、前記第２の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つに基づいて前記第２利用者の心的状態を求める算出部と、
前記第１の利用者の心的状態と前記第２の利用者の心的状態に基づいて前記第２利用者が前記第１の業務と前記第２の業務に意識を傾ける割合を求める判断部とを有することを特徴とする情報処理システム。
【請求項１５】
前記判断部が求めた前記第２の利用者が前記第１の業務と前記第２の業務に意識を傾ける割合を通知する処理を行う処理部をさらに有することを特徴とする請求項１４に記載の情報処理システム。
【請求項１６】
前記算出部は、前記利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つを重み付けして加算することにより得られる評価関数を用いて、前記利用者の心的状態を求めることを特徴とする請求項１、請求項１２又は請求項１４に記載の情報処理システム。
【請求項１７】
前記検出部が検出した利用者の生体情報、前記音声情報および前記業務状況情報を同期させる同期部をさらに有することを特徴とする請求項１、請求項１２又は請求項１４に記載の情報処理システム。
【請求項１８】
前記検出部は、前記利用者の瞳孔径、注視時間、瞬目、脳波および顔面皮膚温のうちの少なくとも一つを前記生体情報として検出することを特徴とする請求項１、請求項１２又は請求項１４に記載の情報処理システム。
【請求項１９】
前記検出部は、前記利用者の発話状況および発話音量の少なくとも一方を前記音声情報として検出することを特徴とする請求項１、請求項１２又は請求項１４に記載の情報処理システム。
【請求項２０】
前記検出部は、所定の入力装置への入力量およびポインティングデバイスの移動量の少なくとも一つを前記業務状況情報として検出することを特徴とする請求項１、請求項１２又は請求項１４に記載の情報処理システム。
【請求項２１】
前記検出部が検出した情報を同期させて記憶する記憶部をさらに有することを特徴とする請求項１、請求項１２又は請求項１４に記載の情報処理システム。
【請求項２２】
前記複数の業務は、時間拘束型の業務、コミュニケーションを伴う業務、会議および所定の端末を用いたデスクワークのうちの少なくとも１つを含むことを特徴とする請求項１から請求項２１のいずれか一項に記載の情報処理システム。
【請求項２３】
複数の業務を同時に遂行する利用者を支援する情報処理方法であって、
前記利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つを検出する検出ステップと、
前記検出ステップで検出した情報に基づき前記利用者の心的状態を求める算出ステップと、
前記算出ステップで求めた利用者の心的状態を用いて前記利用者の業務の多重化の適性を診断する診断ステップと
を有することを特徴とする情報処理方法。
【請求項２４】
前記診断ステップによる診断結果を通知する処理を行う処理ステップをさらに有することを特徴とする請求項２３に記載の情報処理方法。
【請求項２５】
前記複数の業務を順次提供するステップをさらに有することを特徴とする請求項２３に記載の情報処理方法。
【請求項２６】
複数の業務を同時に遂行する利用者を支援する情報処理方法であって、
前記利用者の視線を検出する検出ステップと、
前記複数の業務のうち少なくとも１つの業務の業況を表示する表示部上に、前記検出ステップで検出した利用者の視線の軌跡を提示する処理を行う処理ステップとを有することを特徴とする情報処理方法。
【請求項２７】
前記表示部上に模範となる視線の軌跡を提示する処理を行うステップをさらに有することを特徴とする請求項２６に記載の情報処理方法。
【請求項２８】
第１の業務を行う第１の利用者と前記第１の業務と共に第２の業務を行う第２の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つをそれぞれ検出する検出ステップと、
前記第１の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つに基づいて前記第１の利用者の心的状態を求めると共に、前記第２の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つに基づいて前記第２利用者の心的状態を求める算出ステップと、
前記第１の利用者の心的状態と前記第２の利用者の心的状態に基づいて前記第２利用者が前記第１の業務と前記第２の業務に意識を傾ける割合を求める判断ステップとを有することを特徴とする情報処理方法。
【請求項２９】
前記判断ステップで求めた前記第２の利用者が前記第１の業務と前記第２の業務に意識を傾ける割合を通知する処理を行う処理ステップをさらに有することを特徴とする請求項２８に記載の情報処理方法。
【請求項３０】
請求項２３から請求項２９のいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の業務を同時に遂行する利用者を支援する情報処理システム、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、オフィスにおける業務（タスクともいう）では、コミュニケーション業務も含めた複数の業務を並行して実行することが要求されている。特に、近年のように情報がネットワークで連携され、更にモバイル環境によってどこからでも情報にアクセスできるようになると、ユーザが一つの業務遂行中に他者からコミュニケーションを要求され、かつ新たな業務を依頼されるシーンが増加する。したがって、複数の業務を効率よく、かつ相互に支障を招来することなく、遂行することが重要になってきている。このような技術としては以下のようなものが提案されている。
【０００３】
特許文献１は、複数のアプリケーションの起動情報、可動／休止状況を監視して複数のタスクの実行順序を制御することを提案している。例えば、ある業務がメール待ち状態のときに所望のメールが到来したときには、当該業務を処理できることをユーザに通知する。また、特許文献２は、マルチウィンドウ環境において、ユーザが指定した検索基準を包含しているウインドウをアクティブにする自動ナビゲーションを提案している。
【特許文献１】特開平０７−５６７４８号公報
【特許文献２】特開平０６−９５８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１記載の装置では、アプリケーションの可動／休止状況を対象としたものであり、オフィス業務の多くの部分を占め、かつ個人業務を妨害しやすいと考えられるコミュニケーション業務への対応は難しい。仮に、メールベースのコミュニティサイトをコミュニケーション環境と捉えた場合でも、書き込みがあった全ての瞬間に対して注意を向ける必要は無く、これをユーザに提示することはかえって個人業務の妨害となりえる。
【０００５】
また、特許文献２記載の装置では、アプリケーションを対象としておりコミュニケーション業務への対応が難しく、更に興味項目を予め設定することが可能であるＷＥＢサイトを用いた業務には適用可能であるが、内容が動的に変化する会議態ではこれを適用することは非常に困難であり、更に本来、複数業務を同時進行することを支援する場合、個人業務の遂行状況とのバランスを検討する必要があり、この支援が従来の手法には欠如している。
【０００６】
このため、業務の実際の状況を反映して最適な業務遂行の切替を行えるようにした注意喚起技術が提案されている（特願２００４−３０３５８９号）。この技術は、コミュニケーション業務を含んだ日常の複数業務を並行して遂行する場面において、ユーザの業務実施状況と、遠隔地も含んだ周辺で行われるコミュニケーション状況とから、適切なタスク切換タイミングを表示してユーザに知らせるというものである。
【０００７】
しかしながら、特願２００４−３０３５８９号は、主に業務遂行状況の判定原理について提案されたものであり、実用上、複数の業務を同時に遂行する利用者の能力は一定ではなく、利用者の能力を考慮した効率的な支援ができていないという問題があった。
【０００８】
そこで、本発明は、上記問題点に鑑みてなされたもので、利用者の能力を考慮して複数の業務の同時遂行を学習・支援できる情報処理システム、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、複数の業務を同時に遂行する利用者を支援する情報処理システムであって、前記利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つを検出する検出部と、前記検出部が検出した情報に基づき前記利用者の心的状態を求める算出部と、前記算出部が求めた利用者の心的状態を用いて前記利用者の業務の多重化の適性を診断する診断部とを有する。本発明によれば、複数の業務を同時に遂行する利用者の適性を利用者にフィードバックすることにより、利用者は適性に応じて業務を多重化できる。これにより利用者の能力を考慮して複数の業務の同時遂行を学習・支援できる。
【００１０】
本発明の情報処理システムは、前記診断部による診断結果を通知する処理を行う処理部をさらに有する。本発明の情報処理システムは、前記複数の業務の時間の重なる割合に応じて前記複数の業務を順次提供する制御部をさらに有し、前記診断部は、前記複数の業務の時間の重なる割合に応じて前記利用者の業務の多重化の適性を診断するとよい。本発明によれば、利用者は複数の業務の時間の重なる割合に応じて利用者の業務の多重化の適性を知ることができる。
【００１１】
本発明の情報処理システムは、前記複数の業務の組合せに応じて前記複数の業務を順次提供する制御部をさらに有し、前記診断部は、前記複数の業務の組合せに応じて前記利用者の業務の多重化の適性を診断するとよい。本発明によれば、利用者は複数の業務の組合せに応じて利用者の業務の多重化の適性を知ることができる。前記算出部は、所定の時間間隔で前記検出部が検出した情報に基づき前記利用者の心的状態を求めるとよい。
【００１２】
前記算出部は、前記検出部が検出した情報に基づき前記利用者の心的状態として前記利用者の理解度および快適度を求めるとよい。これにより、理解度と快適度という指標を用いて利用者の業務の多重化の適性を診断できる。前記処理部は、前記利用者の業務の多重化の適性の有無を視覚化することにより前記診断部による診断結果を通知するとよい。本発明の情報処理システムは、前記複数の業務のうち第１の業務の状況を表示する第１の表示部と、前記複数の業務のうち第２の業務の状況を表示する第２の表示部とをさらに有する。
【００１３】
本発明は、複数の業務を同時に遂行する利用者を支援する情報処理システムであって、前記利用者の視線を検出する検出部と、前記複数の業務のうち少なくとも１つの業務の状況の表示を制御する表示制御部と、前記表示上に前記検出部で検出した利用者の視線の軌跡を提示する処理を行う処理部とを有する。本発明によれば、複数の業務を同時に遂行するときの利用者の業務遂行状況を利用者にフィードバックすることができ、視線の無駄な動きを利用者に認知させることができる。これにより利用者の能力を考慮して複数の業務の同時遂行を学習・支援できる。
【００１４】
前記処理部は、前記表示上に模範となる視線の軌跡を提示する処理を行うとよい。本発明によれば、効果的な視線運びを利用者に認知させることができる。前記処理部は、前記表示上に模範となる視線の軌跡と共に、注視範囲および注視時間のうちの少なくとも一方を提示する処理を行うとよい。これにより、利用者はより効率的な視線運びが可能になる。
【００１５】
本発明の情報処理システムは、前記利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つを検出する検出部と、前記検出部が検出した情報に基づき前記利用者の心的状態を求める算出部とをさらに有し、前記処理部は、前記算出部が算出した利用者の心的状態に応じて前記表示上に模範となる視線の軌跡を提示する処理を行うとよい。本発明の情報処理システムは、前記模範となる視線の軌跡データを記憶する記憶部をさらに有する。
【００１６】
本発明は、第１の業務を行う第１の利用者と前記第１の業務と共に第２の業務を行う第２の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つをそれぞれ検出する検出部と、前記第１の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つに基づいて前記第１の利用者の心的状態を求めると共に、前記第２の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つに基づいて前記第２利用者の心的状態を求める算出部と、前記第１の利用者の心的状態と前記第２の利用者の心的状態に基づいて前記第２利用者が前記第１の業務と前記第２の業務に意識を傾ける割合を求める判断部とを有する。
【００１７】
本発明によれば、複数の業務を同時に遂行する利用者は、どちらの業務にどのくらい意識を傾ければ良いかを知ることができる。これにより利用者の能力を考慮して複数の業務の同時遂行を学習・支援できる。また、第１の業務を行う第１の利用者が複数いる場合、例えば、講演中の講演者や、司会者、典型的な視聴者代表者等を選択できる。複数の人物から情報を取得可能にしておいてポーリングする等してもよい。
【００１８】
本発明の情報処理システムは、前記判断部が求めた前記第２の利用者が前記第１の業務と前記第２の業務に意識を傾ける割合を通知する処理を行う処理部をさらに有する。前記算出部は、前記利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つを重み付けして加算することにより得られる評価関数を用いて、前記利用者の心的状態を求めるとよい。これにより利用者の正確な心的状態を求めることができる。
【００１９】
本発明の情報処理システムは、前記検出部が検出した利用者の生体情報、前記音声情報および前記業務状況情報を同期させる同期部をさらに有する。これにより、ユーザの業務遂行状況の指標例えば集中度と、周辺業務に携わる人物の業務状況の指標例えば集中度を、同一時間軸上で時々刻々と比較できる。前記検出部は、例えば前記利用者の瞳孔径、注視時間、瞬目、脳波および顔面皮膚温のうちの少なくとも一つを前記生体情報として検出する。前記検出部は、例えば前記利用者の発話状況および発話音量の少なくとも一方を前記音声情報として検出する。前記検出部は、例えば所定の入力装置への入力量およびポインティングデバイスの移動量の少なくとも一つを前記業務状況情報として検出する。
【００２０】
本発明の情報処理システムは、前記検出部が検出した情報を同期させて記憶する記憶部をさらに有する。このため、記憶部は、前記検出部が検出した利用者の生体情報、前記音声情報および前記業務状況情報を記憶する。したがって、記憶部は、前記利用者の瞳孔径、注視時間、瞬目、脳波および顔面皮膚温のうちの少なくとも一つを前記生体情報として、前記利用者の発話状況および発話音量の少なくとも一方を前記音声情報として、所定の入力装置への入力量およびポインティングデバイスの移動量の少なくとも一つを前記業務状況情報として記憶する。前記複数の業務は、例えば時間拘束型の業務、コミュニケーションを伴う業務、会議および所定の端末を用いたデスクワークのうちの少なくとも１つを含んでいる。
【００２１】
本発明は、複数の業務を同時に遂行する利用者を支援する情報処理方法であって、前記利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つを検出する検出ステップと、前記検出ステップで検出した情報に基づき前記利用者の心的状態を求める算出ステップと、前記算出ステップで求めた利用者の心的状態を用いて前記利用者の業務の多重化の適性を診断する診断ステップとを有する。本発明によれば、複数の業務を同時に遂行する利用者の適性を利用者にフィードバックすることにより、利用者は適性に応じて業務を多重化できる。これにより利用者の能力を考慮して複数の業務の同時遂行を学習・支援できる。
【００２２】
本発明の情報処理方法は、前記診断ステップによる診断結果を通知する処理を行う処理ステップをさらに有する。本発明の情報処理方法は、前記複数の業務を順次提供するステップをさらに有する。
【００２３】
本発明は、複数の業務を同時に遂行する利用者を支援する情報処理方法であって、前記利用者の視線を検出する検出ステップと、前記複数の業務のうち少なくとも１つの業務の業況を表示する表示部上に、前記検出ステップで検出した利用者の視線の軌跡を提示する処理を行う処理ステップとを有する。本発明によれば、複数の業務を同時に遂行するときの利用者の業務遂行状況を利用者にフィードバックすることができ、視線の無駄な動きを利用者に認知させることができる。これにより利用者の能力を考慮して複数の業務の同時遂行を学習・支援できる。
【００２４】
本発明の情報処理方法は、前記表示部上に模範となる視線の軌跡を提示する処理を行うステップをさらに有する。本発明によれば、効果的な視線運びを利用者に認知させることができる。
【００２５】
本発明は、第１の業務を行う第１の利用者と前記第１の業務と共に第２の業務を行う第２の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つをそれぞれ検出する検出ステップと、前記第１の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つに基づいて前記第１の利用者の心的状態を求めると共に、前記第２の利用者の生体情報、音声情報および業務状況情報のうちの少なくとも一つに基づいて前記第２利用者の心的状態を求める算出ステップと、前記第１の利用者の心的状態と前記第２の利用者の心的状態に基づいて前記第２利用者が前記第１の業務と前記第２の業務に意識を傾ける割合を求める判断ステップとを有する。
【００２６】
本発明によれば、複数の業務を同時に遂行する利用者は、どちらの業務にどのくらい意識を傾ければ良いかを知ることができる。これにより利用者の能力を考慮して複数の業務の同時遂行を学習・支援できる。また、第１の業務を行う第１の利用者が複数いる場合、例えば、講演中の講演者や、司会者、典型的な視聴者代表者等を選択できる。複数の人物から情報を取得可能にしておいてポーリングする等してもよい。
【００２７】
本発明の情報処理方法は、前記判断ステップで求めた前記第２の利用者が前記第１の業務と前記第２の業務に意識を傾ける割合を通知する処理を行う処理ステップをさらに有する。本発明のプログラムは、上記情報処理方法をコンピュータに実行させるためのプログラムである。
【００２８】
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
【発明の効果】
【００２９】
本発明によれば、利用者の能力を考慮して複数の業務の同時遂行を学習・支援できる情報処理システム、情報処理方法およびプログラムを提供できる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の実施形態に係る学習システム１００の構成を模式的に示した図である。図１に示すように、情報処理システムとしての学習システム１００は、デスクワーク状況検出部１、周辺業務状況検出部２、コントローラ３、マルチタスク監視部４、デスクワーク表示部５、周辺業務表示部６、診断結果表示部７、学習経過表示部８および遂行情報ＤＢ９を備える。
【００３１】
学習システム１００は、複数の業務を同時に遂行するユーザ（利用者）を支援するものである。また、この学習システム１００は、所定の業務から他の業務へと業務遂行を切り換えるように注意喚起し、特に、業務状況を可視化してユーザに示して最適な業務遂行の切替を学習可能にする機能を有する。また、学習システム１００は、コミュニケーション業務を含んだ日常の複数業務を並行して遂行する場面において、ユーザの初期適性を診断してユーザの過負荷とならない状況をまず設定し、さらに遂行状況の可視化とそれに対応した効果的な複数業務同時遂行な手法を示して学習・支援する機能も有する。
【００３２】
この学習システム１００は、デスクワークの状況を生体情報、音声情報および業務状況情報情報の検出とともに記録し保存した情報と周辺業務の状況を生体情報、音声情報および業務状況情報の検出とともに記録し保存した部分とを同期する手段と、同期された情報から複数業務遂行の状況を判定する部分と、それに基づいて表示する部分に大別される。以下では周辺業務は時間拘束型の業務のうちの会議を例にとって説明する。また、会議はコミュニケーションを伴う業務である。デスクワーク業務は所定の端末を用いて遂行される。
【００３３】
デスクワーク状況検出部１は、ユーザのデスクワーク状況を検出するものである。このデスクワーク状況検出部１は、生体情報検出部１０１、音声情報検出部１０２および業務状況情報検出部１０３を備えている。生体情報検出部１０１は、複数の業務を遂行するデスクワーク中のユーザの生体情報を検出する。ここで生体情報には、例えば瞬きや瞳孔径、注視対象、注視時間など眼球に係る情報や、顔面皮膚温、発話情報、脳波などが含まれる。この生体情報の取得には、特に、ユーザへの計測機器の装着無しに取得可能なものが好ましい。
【００３４】
例えば、瞬きや瞳孔径に係る情報は、公知の手法を用いて視聴者の顔をカメラで撮像した顔画像から顔領域を抽出し（特開２００１−１００８８８号公報）、更に眼領域を特定し、瞬きの数をカウントする手段や、瞳孔径を測定する手段により取得できる。注視対象、注視時間は、注視対象候補側に配置したカメラ等により撮像した画像を用い、前記手法により眼領域を特定し、撮像したカメラの位置より注視対象を特定し、撮像された眼領域の撮影時間から注視時間を特定することにより取得できる。顔面皮膚温は、赤外線カメラ、サーモグラフィ等により視聴者への計測機器を装着することなく取得できる。
【００３５】
図２は、生体情報を表形式のデータシートに保持させた例を示す図である。図２に示すように、このデータシートは、例えば、ユーザごとに、時刻ｔ、瞳孔径ｘ、ｙ、注視対象、注視時間、瞬目の有無（有り：Ｙ、無し：Ｎ）、脳波、顔面皮膚温、発話の有無（有り：Ｙ、無し：Ｎ）などの生体情報を保持している。注視対象は、注視対象側に設置されたカメラから撮像可能であったカメラ位置を特定することで注視対象とする。注視時間は、対象ごとに累積時間を算出して記録する。表現方法は図２に示した例に限らず、グラフ形式等であっても良い。
【００３６】
音声情報検出部１０２は、複数の業務を遂行するユーザの音声情報を検出する。この音声情報検出部１０２は、例えば集音マイクなどの音声検出装置により構成される。図３は、音声情報を表形式のデータシートに保持させた例を示す図である。音声情報は、音声情報検出部１０２により取得されたデータを、例えば表形式のデータシートとして保持する。例えば、ユーザごとに、時刻ｔ、発話状況（発話有無）、発話音量および環境音などの音声情報を保持する。表現方法はこれに限らず、グラフ形式等であっても良い。
【００３７】
業務状況情報検出部１０３は、複数の業務を遂行するユーザのデスクワークの状況情報を検出する。業務状況情報検出部１０３は、例えばビデオカメラなどの映像情報検出装置により構成される。例えば、業務状況情報検出部１０３には、机上の様子やディスプレイに表示される資料やユーザ等が広角で撮像できるカメラを用いるのが好ましい。また、業務状況情報検出部１０３は、計算機を利用した業務の場合、計算機上で動作するアプリケーションの起動状況、計算機に接続されたキーボードの入力状況、計算機に接続されたマウスの操作状況など計算機上の操作のログを取得する手段を用いることができる。業務状況情報検出部１０３は、取得した業務状況情報を例えば一覧形式のデータシートとして保持する。図４は、業務状況情報を表形式のデータシートに保持させた例を示す図である。図４に示すように、ユーザごとに、時刻ｔ、入力装置であるキーボードへの入力量、ポインティングデバイスであるマウスの移動量の業務状況情報が保持されている。
【００３８】
周辺業務状況検出部２は、周辺側の状況を検出するものである。周辺状況検出部２は、生体情報検出部２０１、音声情報検出部２０２および業務状況情報検出部２０３を備えている。生体情報検出部２０１は、デスクワーク状況検出部１の生体情報検出部１０１と同様の機能を有し、周辺業務中のユーザの生体情報を検出する。生体情報検出部２０１により取得した生体情報は、例えば図２に示した表形式のデータシートとして保持される。
【００３９】
音声情報検出部２０２は、音声情報検出部１０２と同様の機能を有し、周辺業務側のユーザの音声情報を検出する。業務状況情報検出部２０３は、業務状況情報検出部２０３と同様の機能を有し、周辺業務の状況を検出するものである。業務状況情報検出部２０３は、ビデオカメラなどの映像情報検出装置などにより構成される。この業務状況情報検出部２０３には、会議で使用されるプレゼンテーション資料や視聴者等が広角で撮像できるカメラを用いるのが好ましい。
【００４０】
コントローラ３は、デスクワーク状況検出部１および周辺業務状況検出部２で検出された、生体情報データ、音声情報データおよび業務状況情報データを同期させ、この同期させた情報を保持する。このコントローラ３の記録機能は、半導体メモリ、ハードディスク、フレキシブルディスクなどの記録装置を用いることができる。コントローラ３により同期されたデータは、例えば表形式のデータシートとして保持される。図５はコントローラ３により同期したデータを保持するデータシートを示す図である。このデータシートには、例えば、ユーザごとに、時刻、瞳孔径、注視対象、注視時間、瞬目、顔面皮膚温などの生体情報と、時刻、発話有無、音量、話者発話有無、話者音量、環境音などの音声情報と、業務状況情報が保持される。コントローラ３によって同期されたデータは所定のタイミングで後述するマルチタスク状況判定情報ＤＢ４０２に転送される。
【００４１】
マルチタスク監視部４は、マルチタスク処理部４０１およびマルチタスク状況判定情報データベース４０２を備えている。マルチタスク監視部４は、例えば、状態推定処理が可能なＣＰＵ（Central Processing Unit）、およびインデックスファイルを保持可能な半導体メモリ、ハードディスク、フレキシブルディスクなどの記録装置により構成される。マルチタスク状況判定情報ＤＢ４０２は、検出部が検出した情報を同期させて記憶する。また、マルチタスク状況判定情報ＤＢ４０２は、コントローラ３により同期付けられた情報やマルチタスク判定に必要な各種情報を記憶する。
【００４２】
マルチタスク処理部４０１は、心的状態を求める状態算出部４０１１、心的状態を用いて利用者の業務の多重化の適性を診断する適性診断部４０１２、利用者がどのタスクに意識を傾けるかを判断する意識判断部４０１３、各種表示処理を行なう表示処理部４０１４および利用者が行うタスクを制御するタスク制御部４０１５を備える。以下、具体的に説明すると、状態算出部４０１１は、第１の業務である会議の参加者の生体情報、音声情報および業務状況情報に基づいて会議の参加者の心的状態を求める。ここで、心的状態には、例えば会議参加者の認知的状態や精神的情報等が含まれる。このとき、状態算出部４０１１は、生体情報、音声情報および業務状況情報を重み付けして加算することにより得られる心理状態同定関数（評価関数）を用いて、会議参加者の心的状態を求める。
【００４３】
次に、意識判断部４０１３は、第２の業務であるデスクワークを遂行するユーザがデスクワークと共に遠隔会議を遂行するときに、会議参加者の心的状態に基づいてデスクワークを遂行するユーザに対して会議に意識を集中するよう注意を喚起する処理を行う。この注意喚起処理は、表示装置への表示以外に、発音装置による発音および匂い発生装置により匂いの発生のなどを含む。このとき、状態算出部４０１１は、デスクワーク行っているユーザの生体情報、音声情報および業務状況情報に基づいてデスクワークを遂行するユーザの心的状態を求める。そして、意識判断部４０１３は、会議参加者の心的状態とデスクワークを遂行するユーザの心的状態とを比較して、デスクワークを遂行するユーザに対して会議に意識を傾けるよう注意を喚起する処理を行う。
【００４４】
適性診断部４０１２は、ユーザの業務遂行の適性を診断する処理を行う。さらに、表示処理部４０１４は、ユーザの複数業務の遂行状況と効果的遂行状況をユーザに通知する処理などを行う。このマルチタスク処理部４０１は、所定のプログラムを実行することによりその機能が実現される。
【００４５】
眼球運動心理学（眼球運動の実験心理学、まばたきの心理学、瞳孔運動の心理学）によれば、興味は瞳孔径に関連し、理解度、記憶度は瞬目に関連し、興奮度、快適度は、瞬目や顔面皮膚温に関連していると考えられている。但し、これら単体では、例えば室内温度環境による顔面皮膚温上昇など、精度を保つことができない。そこで、これらデータ、および発話音量、環境音等を重み付けして加算した評価関数により、状態を同定する。ここでは、心的状態として集中度、理解度、快適度を求める場合の例を示す。式（１）に集中度同定関数、式（２）に理解度同定関数、式（３）に快適度同定関数をそれぞれ示す。
【００４６】
・集中度f1＝w11 * 瞳孔径（変化量,変化速度）＋ w12 * 注視（時間,回数）+ w13 * 瞬目（率,回数,群発瞬目数） + w14 * 顔面皮膚温変化量＋w15 * 脳波+w16 * 発話音量+w17 * キー入力量  ・・・（１）
・理解度f2＝w21＊瞳孔径（変化量,変化速度）＋ｗ22＊注視（時間,回数）＋w23＊瞬目（率,回数,群発瞬目数）＋w24＊顔面皮膚温変化量＋w25＊発話音量＋w26＊話者発話音量+w46＊環境音+w27＊キー入力量  ・・・（２）
・快適度f3＝w31＊瞳孔径（変化量,変化速度）＋w32＊注視（時間,回数）＋w33＊瞬目（率,回数,群発瞬目数）＋w34＊顔面皮膚温変化量＋w35＊発話音量＋w36＊話者発話音量＋w37＊環境音+w38＊キー入力量  ・・・（３）
【００４７】
上記において、ｗは重み係数を示す。例えば、集中度f1において、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きいとき、注意を向けている可能性が高い。脳波において、β波は思考状態を示すと考えられ、注意を向けている可能性が高い。この心理状態同定関数を利用して心理的状態を特定する。このため、集中度f1は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等、キー入力量等をそれぞれ重み係数ｗ１１〜ｗ１ｎで重み付けして加算することで同定される。閾値設定により複数業務同時進行のための適切な切換タイミングを提示することで、常に意識の移行必要候補が膨大となり性能が著しく劣化するということを防止できる。
【００４８】
デスクワーク表示部５は、第２の業務の状況を表示する第２の表示部として機能する。ここでは第２の業務としてデスクワークを例にとっている。デスクワーク表示部５は、デスクワークの状況を表示する表示部５０１およびユーザの属性情報など各種の情報を登録できる登録部５０２を備える。表示部５０１は、マルチタスク監視部４による推定結果を用いて所定の判定条件を満たすタイミングにおいて、そのことを所定の形式で表示する。視覚的提示形態は、例えば、アイコンによるグラフィカル表示形式とし、発音提示形態は機械的信号音、あるいは呼びかけ音声による音声信号表示形式とし、臭い提示形態は注意喚起用に臭いを設定しそれを対応する業務情報側から表示する形態とする。
【００４９】
周辺業務表示部６は、第１の業務である会議の状況を表示する第１の表示部として機能する。なお、デスクワーク表示部５および周辺業務表示部６を同一の表示装置により構成してもよい。周辺業務表示部６は、ボタン操作等により再生要求を行う再生要求部６０１および周辺業務の状況を表示する表示部６０２を備える。再生要求部６０１は、再生要求をするものであり、例えばタッチパネル、マウスまたはキーボードにより構成される。これにより、例えばコミュニケーション環境として会議が行われている場合、切換タイミングよりも少し時間を遡って話の流れや意図を確認したいときにそれを可能にする。この表示により、所望のシーンを効率よく振り返ることができる。なお、ユーザがデスクワークの業務を行っているか、周辺業務を行っているかは、ユーザの注視対象やアプリケーションプロセスの状態等から判断することができる。業務はマルチタスク・マルチウインドウシステムのウインドウで実行され、注意喚起処理により、または注意喚起処理に対するユーザの応答入力に基づいて業務のウインドウをアクティブにするようなものであってもよい。
【００５０】
表示処理部４０１４は、ユーザの業務の多重化の適性の診断結果を診断結果表示部７に表示する。学習経過表示部８は、ユーザの視線の軌跡と模範となる視線の軌跡を表示する。遂行情報ＤＢ部９は、記憶部として機能し、効果的マルチタスク遂行情報を格納する効果的マルチタスク遂行情報ＤＢ９０１を有する。効果的マルチタスク遂行情報には、他のユーザの模範となる視線の軌跡データ、理解度および快適度などの情報が含まれる。
【００５１】
図６は、学習システム１００の具体的な構成例を示す図である。図６では、遠隔地で会議が行われており、ユーザは、デスクワークを行いながら、遠隔会議にも参加している状況を示している。遠隔地の会議室２００内には、プロジェクタ２０４、スライド表示部２０５、赤外線カメラ２０１２、２０１３、音圧センサと指向性マイク２０２２および業務状況検出カメラと音声検出マイク２０３１が設置されている。話者２０６は、プロジェクタ２０４およびスライド表示部２０５を用いてプレゼンテーションを行っている。そして、会議参加者２０７１〜２０７４がこのプレゼンテーションを視聴している。プレゼンテーションの内容は、業務状況検出カメラ（音声検出）２０３１により撮影され、撮影された映像は計算機３００に送られる。赤外線カメラ２０１３は、生体情報検出部２０１として機能する。音圧センサと指向性マイク２０２２は、音声情報検出部２０２として機能する。音声検出機能の付加されたカメラ２０３１は、上述した業務状況情報検出部２０３として機能する。
【００５２】
デスクワーク表示部５は、ユーザのデスクワークの状況を表示する。コンピュータ２０８は、上述した業務状況情報検出部１０３として機能し、ユーザのデスクワークログを検出する。このデスクワークログには、キー入力やマウス操作等が含まれる。コンピュータ２０８が検出したデスクワークログは、計算機３００へ送られる。赤外線カメラ２０１１は、上述した生体情報検出部１０１として機能する。この赤外線カメラ２０１１は、デスクワーク中のユーザの瞬きや瞳孔径、注視対象、注視時間など眼球に係る情報や、顔面皮膚温などの生体情報を検出する。この赤外線カメラ２０１１は、ユーザがデスクワーク表示部５を注視した場合に眼球映像が検出される。音圧センサ２０２１は、上述した音声情報検出部１０２として機能し、ユーザの発話情報を検出する。周辺業務表示部６には、周辺業務が表示されており、ユーザはこれを見ることにより周辺業務の状況を把握できる。
【００５３】
コントローラ３は、生体情報検出部１０１、音声情報検出部１０２、業務状況情報検出部１０３、生体情報検出部２０１、音声情報検出部２０２および業務状況情報検出部２０３により検出された生体情報、音声情報および業務状況情報を同期させてファイルとして記録する。なお、図６の例では、上述した診断結果表示部７０１および学習経過表示部８０１は、デスクワーク表示部５として実現されている。
【００５４】
図７は、状態算出部４０１１が上記式（１）で示した集中度同定関数により特定した、デスクワーク状況に関する集中度ｆｔ（ｔ）、周辺業務状況に関する集中度ｆｍ（ｔ）を表形式に示す図である。状態算出部４０１１は、所定の時間間隔でテスクワーク状況検出部１又は周辺業務状況検出部２が検出した情報に基づき利用者の心的状態を求める。ここでは所定の時間間隔を６０秒としている。また、状態算出部４０１１は、ユーザについては、デスクワーク状況に関する集中度ｆｔ（ｔ）を、会議参加者については、周辺業務状況に関する集中度ｆｍ（ｔ）を心的状態としてそれぞれ求めている。
【００５５】
次に、マルチタスク処理部４０１が行うマルチタスク状況判定処理について説明する。図８は、マルチタスク状況判定のフローを示す図である。まず、状態算出部４０１１は、式（１）の集中度同定関数を用いて、時刻ｔにおけるデスクワーク状況に関する集中度ｆｔ（ｔ）および周辺業務状況に関する集中度ｆｍ（ｔ）をそれぞれ算出する（ステップＳ１０）。周辺業務状況に関する集中度ｆｍは、会議参加者のうちの例えばキーパーソンに依存しても良いし、複数の会議参加者の平均値を利用しても良い。次に、意識判断部４０１３は、周辺業務状況に関する集中度ｆｍ（ｔ）−デスクワーク状況に関する集中度ｆｔ（ｔ）を算出する（ステップＳ１１）。
【００５６】
そして、ステップＳ１２で、意識判断部４０１３は、周辺業務状況に関する集中度ｆｍ（ｔ）とデスクワーク状況に関する集中度ｆｔ（ｔ）の正負判断を行い、デスクワーク状況に関する集中度ｆｔ（ｔ）の方が周辺業務状況に関する集中度ｆｍ（ｔ）より大きい場合は会議に意識を傾ける必要はないと判断し、ステップＳ１５に進む。ステップＳ１２で、意識判断部４０１３は、周辺業務状況に関する集中度ｆｍ（ｔ）の方がデスクワーク状況に関する集中度ｆｔ（ｔ）よりも大きい場合は会議に意識を傾ける必要性があると判断し、ステップＳ１３に進む。ここで、周辺業務状況に関する集中度ｆｍ（ｔ）が優位であれば、切換表示の必要性が高いことを意味する。
【００５７】
さらに、意識判断部４０１３は、デスクワーク状況に関する集中度ｆｔ（ｔ）−デスクワーク状況に関する集中度ｆｔ（ｔ−１）を算出し（ステップＳ１３）、デスクワークに関連する集中度の減少傾向を判定する（ステップＳ１４）。すなわち、意識判断部４０１３は、デスクワーク状況に関する集中度ｆｔに強く依存することなく、周辺業務の集中度が高まったのか、あるいはデスクワーク状況に関する集中度ｆｔ（ｔ）が減少した（飽きてきた）ために、相対的に周辺業務状況に関する集中度ｆｍ（ｔ）が高いと判定されたのかを特定する。表示処理部４０１３は、この結果を鑑みて、表示方法を変更する。
【００５８】
また、意識判断部４０１３は、周辺業務状況に関する集中度ｆｍ（ｔ）−デスクワーク状況に関する集中度ｆｔ（ｔ）の正負判断において、デスクワーク状況に関する集中度ｆｔ（ｔ）が優位である場合でも（ステップＳ１２で「−」）、閾値を参照し閾値以下の場合は（ステップＳ１５で「ＹＥＳ」）、会議への意識の切換の必要性を表示する。ステップＳ１５で、閾値を下回った場合（ステップＳ１５で「ＮＯ」）は会議への意識の切換の必要性は無いと判断する。これによりデスクトップ業務と遠隔会議に参加するユーザは、必要な場合にのみ会議に意識を集中すればよいため、いずれの業務も効率良く遂行できる。
【００５９】
図９は、ユーザが意識を切り換えるタイミングを模式的に表現した図である。図１０は、切換提示判断結果を示す図である。図９に示すように、時刻ｔ１においては、意識判断部４０１３は、デスクワーク状況に関する集中度ｆｔ（ｔ）＞周辺業務状況に関する集中度ｆｍ（ｔ）であるため、切換提示の必要性が却下されて表示を必要としない。時刻ｔ２においては、意識判断部４０１３は、周辺業務状況に関する集中度ｆｍが優位であるため、切換強度を高めに設定して表示する。時刻ｔ３においては、意識判断部４０１３は、デスクワーク状況に関する集中度ｆｔが優位であるものの、閾値以上である場合、表示処理部４０１４は、それを考慮し、表示強度を下げて、意識の切換の必要性を表示する。
【００６０】
時刻ｔ４においては、意識判断部４０１３は、デスワーク業務の集中度ｆｔが減少し、相対的に周辺業務状況に関する集中度ｆｍが優位になったと判定し、表示処理部４０１４は、それを考慮して切換の必要性を表示する。これによって、端的には気分の入れ替えを可能にできる。これら一連の処理によって、表示処理部４０１４は、時刻ｔ２、３、４のタイミングで適切な表示強度によって切換タイミングを表示する。
【００６１】
次に、マルチタスク処理部４０１が行う適性診断処理について説明する。図１１は、マルチタスク処理部４０１が行う適性診断のフローを示した図である。図１２は、システムによってマルチタスクの適性の診断を模式的に表現した図である。図１２において、横軸は多重化数などの時間的効果を示し、ここではタスクの重なり率によって表現された多重化パラメータ［％］を示す。左縦軸は理解度［％］などの生産性を、右縦軸は快適度［％］などの人間の負荷状況をそれぞれ示す。横軸はこれ以外にも業務の種類や業務複雑度、重要度であってもよい。この図によって、例えばユーザが２つの業務を重ね合わせたときは、生産性は単純に２つの業務を重ねたものよりも高く、かつ人間的負荷も高くなればこの業務遂行に関しては適性があると判断できる。これに対して、例えば３つの業務を重ねた場合、生産性は理論的生産性を超えていたとしても、人間的負荷が高ければ適性がないと判断し、その結果を診断結果表示部７に表示する。
【００６２】
学習を支援する前に、まず、マルチタスクに対する個人の適性を診断する必要がある。そのために、サンプル課題を予め登録しておき、その課題に対する精度、快適度等からマルチタスクへの適性および限度を診断する。効果的マルチタスク遂行情報ＤＢ９０１は、例えば、２つのビデオ映像を用意し、発話の２つの重なり率をパラメータとして、変更させたものをマルチタスクサンプルとして保持する。タスク制御部４０１５は、これを各パラメータで診断結果表示部７を介してユーザに提示し、内容に対する理解度テスト、そのときの快適度を評価する。理解度理論値は、例えば、重なり率１００％の時、片方を全く無視してもう一方に集中しても平均して５０％の正解率が得られる、ということを示したものである。
【００６３】
図１２に示す例では、タスクの重なり率１００％では、理解度実測値は、理解度理論値を大幅に下回っている。つまり、このユーザにはタスクの重なり率１００％は適さないことを示している。また、タスクの重なり率６０％では、理解度実測値は、理解度理論値を超えているものの、快適度実測値は、５０％と比較して大幅に減少しており、ユーザへの負担という面から、適さないと判断出来る。一方、このユーザは、重なり率５０％では、理解度実測値は、理解度理論値を超え、快適度実測値も５０％以上であることから、理解度および快適度の面から問題なく適応できていることが分かる。
【００６４】
図１１を参照して具体的に処理を説明する。ここでは、タスク制御部４０１５は、複数のタスクの時間の重なる割合に応じて複数のタスクをデスクワーク表示部５および周辺業務表示部６を介して順次提供し、適性診断部４０１２は、複数のタスクの時間の重なる割合に応じて利用者の業務の多重化の適性を診断する。ステップＳ２０で、タスク制御部４０１５は、多重化パラメータが最後かどうかを判断し、最後でない場合はステップＳ２１へ進む。ステップＳ２１で、タスク制御部４０１５は、多重化パラメータに応じて、ユーザに対して同時に遂行してもらう複数の業務を提供する。ここでは、タスク制御部４０１５は、複数の業務の時間の重なる割合に応じて業務を提供する。ステップＳ２２で、状態算出部４０１１は、会議参加者の生体情報、音声情報、業務状況情報に基づいて会議参加者の集中度を求める。次に、ステップＳ２３で、状態算出部４０１１は、デスクワーク行っているユーザの生体情報、音声情報および業務状況情報に基づいてデスクワークを遂行するユーザの集中度を求める。
【００６５】
ステップＳ２４で、意識判断部４０１３は、会議参加者の集中度とデスクワークを遂行するユーザの集中度とを比較して、デスクワークを遂行するユーザに対して会議に意識を傾けるよう注意を喚起する処理を行う。これによって、図６で示すように、デスクワーク表示部５上にマルチタスク判定信号が表示され、デスクワークを行うユーザに会議に意識を傾けるように注意を喚起できる。そして、ユーザは引き続きマルチタスクを遂行する。次に、ステップＳ２５で、状態算出部４０１１は、デスクワーク状況検出部１が検出した情報に基づきユーザの理解度および快適度を求める。次に、適性診断部４０１２は、マルチタスク状況判定情報ＤＢ４０２にアクセスして正解として理解度の理論値を取得し、求めたユーザの理解度、快適度および正解により得た理解度の理論値を用いて、ユーザのマルチタスクの適性を診断する。さらに、表示処理部４０１４は、適性診断部４０１２による診断結果を診断結果表示部７を介してユーザに通知する処理を行う。なお、ここでは、状態算出部４０１１は、ユーザの理解度および快適度をユーザの心的状態として求めているがこれには限定されない。
【００６６】
ステップＳ２６で、多重化パラメータをインクリメントしてステップＳ２０に戻り、多重化パラメータが最後に到達するまで上記処理を繰り返す。なお、多重化パラメータとしてタスクの重なり率を用いたが、多重化パラメータとしてタスクの組合せを用いてもよい。この場合、タスク制御部４０１５は、ユーザに同時に遂行してもらうタスクの組合せに応じてタスクの組合せを順次提供する。そして、適性診断部４０１２は、タスクの組合せに応じてユーザのマルチタスクの適性を診断する。表示処理部４０１４は、その診断結果を診断結果表示部７を介してユーザに通知する処理を行う。
【００６７】
図１３は、多重化パラメータをタスクの組合せで表現した場合の例を説明する図である。図１３において、横軸はタスクの組合せで表現された多重化パラメータ、縦軸は理解度［％］および快適度［％］をそれぞれ示す。図１４は、タスクの組合せで表現された多重化パラメータを説明する図である。図１４に示す例では、タスクの組合せは、対話、ヒアリング、文書作成および文書理解のうちの少なくとも一つの業務の組合せである。ここで、対話と対話の組合せＤの場合に多重化パラメータが一番大きいものとなる。この場合の理論値は、精度５０％をとるか、あるいは効果的マルチタスク遂行情報ＤＢ９０１から他のユーザの精度平均値を取る等する。
【００６８】
マルチタスク状況判定情報ＤＢ４０２は、タスクの組合せを多重化パラメータとして、組合せを変更させたものをマルチタスクサンプルとして保持している。タスク制御部４０１５は、これを各パラメータでデスクワーク表示部５および周辺業務表示部６を介してユーザにタスクを提示する。適性診断部４０１２は、タスクの内容に対する理解度テスト、そのときの快適度を評価する。図１３に示す例では、タスクの組合せＥでは、理解度実測値および快適度実測値は、５０％を大幅に下回っている。つまり、このユーザにはタスク組合せＥは適さないことを示している。また、タスクの組合せＤでは、理解度実測値は、理解度理論値５０％を超えているものの、快適度実測値は、５０％と比較して大幅に減少しており、ユーザへの負担という面から、適さないと判断出来る。一方、このユーザは、タスク組合せＡ、ＢおよびＣでは、理解度実測値は、理解度理論値５０％を超え、快適度実測値も快適度理論値５０％以上であることから、理解度および快適度の面から問題なく適応できていることが分かる。
【００６９】
次に、診断結果表示部７に表示される診断結果について説明する。図１５は、本システムの適性診断結果を模式的に表現した図である。図１５において、横軸はタスクの重なり率によって決定される多重化パラメータ、縦軸はマルチタスク処理部４０１が求めた快適度をそれぞれ示す。表示処理部４０１４は、利用者のマルチタスクの適性の有無を視覚化することにより適性診断部４０１２による診断結果を通知する。具体的には、表示処理部４０１４は、ユーザのマルチタスクの適性をアイコンＫ１〜Ｋ５を使用して模式的にユーザに示す。図１５の例では、ユーザはタスクの重なり率が０〜５０％の範囲では快適に業務の多重化は問題なく適応できるが、タスクの重なり率が７０〜１００％の範囲では業務の多重化は適応できないことが分かる。このようにして、ユーザに適性をフィードバックすることによって、ゲーム性を高めるなどモチベーションを高めることができる。なお、ここではタスクの重なり率による多重化パラメータを用いた例について示したが、タスクの組合せによる多重化パラメータを用いることもできる。
【００７０】
図１６は、すべてのパラメータに対する適正を一覧するための図である。また、表示処理部４０１４は、図１６に示すように、利用者のマルチタスクの適性の有無を視覚化することにより適性診断部４０１２による診断結果を通知する。タスクの組合せＡ〜Ｄおよびタスクの重なり率０〜２０％の範囲ではユーザは快適にこれらのマルチタスクを遂行できる。また、タスクの組合せＤおよびタスクの重なり率６０％では、快適ではないがマルチタスクに問題ないことが分かる。これによってパラメータを横断するユーザの適性を一覧できる。
【００７１】
次に、学習経過表示部８の表示例について説明する。図１７は、本システムの学習指導画面を模式的に表現した図である。ここでは、図６に示したデスクワーク表示部５および周辺業務表示部６が共に学習経過表示部８として機能している。また、上述の例では、一方のディスプレイ装置にデスクワークの状況を表示し、他方のディスプレイ装置には会議の状況を表示する例について説明したが、ここでは２つのディスプレイ装置に別々の遠隔地で行われている会議の状況が表示されているケースを取り上げる。図１９は、マルチタスク処理部４０１が行う学習指導処理のフローチャートである。まず、ステップＳ４０で、生体情報検出部１０１はユーザの視線を検出する。
【００７２】
ステップＳ４１で、表示処理部４０１４は、複数の業務のうち少なくとも１つの業務の業況を学習経過表示部８に表示するよう制御する。ここでは、２つの学習経過表示部８に異なる遠隔地で行われる会議の状況が表示されている。ステップＳ４２で、表示処理部４０１４は、学習経過表示部８の表示上に生態情報検出部１０１で検出したユーザの視線の軌跡を提示する処理を行う。これによりユーザの視線軌跡を動的にトーレスして学習経過表示部８に表示される。図１７中の破線の軌跡がユーザの視線軌跡であり視線の散逸具合を示し、視線の無駄な動きをユーザに認知させることができる。
【００７３】
ステップＳ４３で、表示処理部４０１４は、学習経過表示部８の表示上に模範となる視線の軌跡を提示する処理を行う。実線で示された軌跡が当該業務における効果的な視線軌跡の一例を示している。これにより効果的な視線運びをユーザに認知させることができる。ステップＳ４４で、表示処理部４０１４は、学習経過表示部８上に、注視範囲と注視時間とを提示する処理を行う。図１７では、注視範囲や注視時間を円Ｐを用いて表現している。なお、表示処理部４０１４は、状態算出部４０１１が算出した利用者の心的状態を調べ、この利用者の心的状態よりも状態のよい利用者の視線の軌跡を示すデータを効果的マルチタスク遂行情報ＤＢ９０１から取得し、学習経過表示部８の表示上に模範となる視線の軌跡を提示する処理を行うようにするとよい。
【００７４】
このように、実施した業務を効果的マルチタスク遂行情報ＤＢ９０１の中から検索し、その効果的な遂行状況を可視化して提示することで、ユーザは視線を向ける方向を学習することができる。可視化は、たとえば、表示処理部４０１４によって信号が表示された際、ユーザがディスプレイを見る見方を視線軌跡によって示し、注視範囲や注視時間をディスプレイ上に円形で示すのがよい。音声等に関する効果的な注意配分をグラフなどによって可視化して表現することもできる。なお、これらはユーザの複数業務遂行状況と合わせて表示され、回数を重ねれば、学習効果も確認できる。
【００７５】
次に、学習経過表示部８の他の表示例について説明する。図１８は、本システムの学習指導画面を模式的に表現した図である。ここでは、図６に示したデスクワーク表示部５および周辺業務表示部６が共に学習経過表示部８として機能している。また、上述の例では、一方のディスプレイ装置にデスクワークの状況を表示し、他方のディスプレイ装置には会議の状況を表示する例について説明したが、ここでは２つのディスプレイ装置に別々の遠隔地で行われている会議の状況が表示されているケースを取り上げる。周辺業務表示部６は、遠隔地Ａの会議の状況を表示している。また、デスクワーク表示部５は、遠隔地Ｂの会議の状況を表示している。
【００７６】
図２０は、マルチタスク処理部４０１が行う学習指導処理のフローチャートである。なお、遠隔地Ａおよび遠隔地Ｂには、上述した周辺業務状況検出部２がそれぞれ設けられているものとして以下説明する。参照符号の後ろにＡが付くものは遠隔地Ａに設けられているものであり、Ｂが後ろに付くものは遠隔地Ｂに設けられているものであるとする。また、心的状態として集中度を利用する。ステップＳ５０で、周辺業務状況検出部２Ａは、遠隔地Ａの会議参加者の生体情報、音声情報および業務状況情報を検出する。ステップＳ５１で、周辺業務状況検出部２Ｂは、遠隔地Ｂの会議参加者の生体情報、音声情報および業務状況情報を検出する。
【００７７】
ステップＳ５２で、状態算出部４０１１は、遠隔地Ａの会議参加者の生体情報、音声情報および業務状況情報に基づいて遠隔地Ａの会議参加者の集中度を求めると共に、遠隔地Ｂの会議参加者の生体情報、音声情報および業務状況情報に基づいて遠隔地Ｂの会議参加者の集中度を求める。ステップＳ５３で、意識判断部４０１３は、遠隔地Ａの会議参加者の集中度と遠隔地Ｂの会議参加者の集中度に基づいて遠隔地Ａおよび遠隔地Ｂの会議に参加するユーザＵが第１の業務である遠隔地Ａの会議と第２の業務である遠隔地Ｂの会議に対して意識を傾ける割合を判断する。表示処理部４０１４は、学習経過表示部８内のインジケータ５Ｉおよび６Ｉによって利用者が意識を傾ける割合を通知する処理を行う。これによって、ユーザは、学習経過表示部８のインジケータ５Ｉおよび６Ｉによって、どちらの画面に集中すべきかを動的に知ることができる。従って、両画面に均等に集中する必要がないことを促し、体得させることができる。なお、ステップＳ５３では、図８で示した処理を適用することもできる。
【００７８】
以上本実施形態によれば、ユーザの複数業務同時遂行に対する適性の提示と、ユーザの業務遂行状況にあった支援が可能である。業務の実際の状況を反映して最適な業務遂行の切り換えを行なえる。より具体的には、コミュニケーション業務を含む、日常の業務において、適切な切換タイミングを提示することによって、ユーザが複数の業務を同時に遂行することができる。
【００７９】
以上本発明の好ましい実施形態について詳述したが、本発明は上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば上記各実施形態ではコミュニケーション状況として会議を用いて説明したが、ビデオセミナの視聴等にも適用できる。この場合、ビデオセミナの音声や映像を分析して周辺業務状況を判別できる。また、切換の表示は視覚的なものに限定されず、例えば、発音、香り、匂い等で行っても良い。また切り換え判断により直接にタスクの切り換えを行っても良い。例えば、マルチタスクマルチウインドウ環境の各ウインドウでそれぞれの業務を行っているときに切り換え先のウインドウをアクティブにするようにしてもよい。
【００８０】
また、上述例では周辺業務表示部６にプレゼンテーションの内容を表示するようにしたが、ユーザがプレゼンテーションの現場にいてもよい。また、切り換え対象の業務が３つ以上あっても良い。また、切り換えるように注意喚起し所望の業務が行なわれている状態で、元のあるいは他の業務へ切り換えるように注意喚起しても良い。例えば、上述の例ではデスクワーク業務から周辺業務へ切り換えるように注意喚起したが、さらに、周辺業務からデスクワーク業務へ切り換えるように注意喚起するようにしても良い。
【００８１】
なお、本発明による情報処理方法は学習システム１００により実現される。また学習システム１００の一部の機能は、所定のプログラムを実行することにより実現される。したがって、本発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施形態に係る学習システムの構成を模式的に示した図である。
【図２】生体情報を表形式のデータシートに保持させた例を示す図である。
【図３】音声情報を表形式のデータシートに保持させた例を示す図である。
【図４】業務状況情報を表形式のデータシートに保持させた例を示す図である。
【図５】コントローラ３により同期したデータを保持するデータシートを示す図である。
【図６】学習システムの具体的な構成例を示す図である。
【図７】デスクワーク状況に関する集中度、周辺業務状況に関する集中度ｆｍを表形式に示す図である。
【図８】マルチタスク状況判定のフローを示す図である。
【図９】ユーザが意識を切り換えるタイミングを模式的に表現した図である。
【図１０】切換提示判断結果を示す図である。
【図１１】マルチタスク処理部が行う適性診断のフローを示した図である。
【図１２】システムによってマルチタスクの適性の診断を模式的に表現した図である。
【図１３】多重化パラメータをタスク組合せで表現した場合の例を説明する図である。
【図１４】タスクの組合せで表現された多重化パラメータを説明する図である。
【図１５】本システムの適性診断結果を模式的に表現した図である。
【図１６】すべてのパラメータに対する適正を一覧するための図である。
【図１７】本システムの学習指導画面を模式的に表現した図である。
【図１８】本システムの学習指導画面を模式的に表現した図である。
【図１９】マルチタスク処理部が行う学習指導処理のフローチャートである。
【図２０】マルチタスク処理部が行う学習指導処理のフローチャートである。
【符号の説明】
【００８３】
１  デスクワーク状況検出部
２  周辺業務状況検出部
３  コントローラ
４  マルチタスク監視部
４０１  マルチタスク処理部
４０１１  状態算出部
４０１２  適性診断部
４０１３  意識判断部
４０１４  表示処理部
４０１５  タスク制御部
５  デスクワーク表示部
６  周辺業務表示部
１００  表示システム
１０１  生体情報検出部
１０２  音声情報検出部
１０３  業務状況情報検出部
２０１  生体情報検出部
２０２  音声情報検出部
【図１】
2007079647.tif 000003
【図２】
2007079647.tif 000004
【図３】
2007079647.tif 000005
【図４】
2007079647.tif 000006
【図５】
2007079647.tif 000007
【図６】
2007079647.tif 000008
【図７】
2007079647.tif 000009
【図８】
2007079647.tif 000010
【図９】
2007079647.tif 000011
【図１０】
2007079647.tif 000012
【図１１】
2007079647.tif 000013
【図１２】
2007079647.tif 000014
【図１３】
2007079647.tif 000015
【図１４】
2007079647.tif 000016
【図１５】
2007079647.tif 000017
【図１６】
2007079647.tif 000018
【図１７】
2007079647.tif 000019
【図１８】
2007079647.tif 000020
【図１９】
2007079647.tif 000021
【図２０】
2007079647.tif 000022