(57)【要約】【課題】ワークヒストリの登録の手間を省きデジタルデバイドによりワークヒストリそのものが記録として残されないようにすること。【解決手段】ユーザ端末とサーバがネッワーク接続され、単独或いは複数の人が関与する作業或いはコミュニケーションの状況を記録して当事者或いは他の人に情報として提示できる監視システムであって、当該事象に関わる様々な付帯事項の記録部１３と、その事象自体には直接関与していないが事象内に現れる構成要素のいずれかに関わる事象のデータベース１４を有し、それらのデータの関係性を自動記録或いは抽出することにより、作業或いはコミュニケーションの記録とそれに関連づけられた情報群であるワークヒストリを情報ソースのひとつとして扱う機能を有する。【選択図】　　　図１
2004030293.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末とサーバがネッワーク接続され、単独或いは複数の人が関与する作業或いはコミュニケーションの状況を記録して当事者或いは他の人に情報として提示できる監視システムであって、
当該事象に関わる様々な付帯事項の記録部と、
その事象自体には直接関与していないが事象内に現れる構成要素のいずれかに関わる事象のデータベースと、
それらのデータの関連性を自動記録或いは抽出することにより、作業或いはコミュニケーションの記録と該作業或いはコミュニケーションに関連づけられた情報群であるワークヒストリを情報ソースのひとつとして扱う機能と、を備えることを特徴とする監視システム。
【請求項２】
当事者が携帯或いは操作している装置の状態から当事者情報、位置や時刻、及び当事者の業務内容の情報を取り込むことにより入力デバイスを選定および制御できる手段を備え、
前記ワークヒストリ或いはその一部を成す映像や音声を自動的に記録することを特徴とする請求項１記載の監視システム。
【請求項３】
当事者が携帯或いは操作している装置の状態から当事者情報、位置や時刻、及び当事者の業務内容の情報を取り込み、ワークヒストリ或いはその一部を成す映像や音声を自動的に記録する機能を備えたことを特徴とする請求項１記載の監視システム。
【請求項４】
当事者が携帯或いは操作している装置の状態から、作業やコミュニケーションが行われた際に活用された情報或いは共起した事象の所在を特定し記録する機能を備えたことを特徴とする請求項１記載の監視システム。
【請求項５】
当事者が携帯或いは操作している装置及び該装置が通信している装置のシステムログに含まれる情報を解析することにより、作業やコミュニケーションが行われた際に活用された情報或いは共起した事象の所在を特定し記録する機能を備えたことを特徴とする請求項１記載の監視システム。
【請求項６】
当事者が携帯或いは操作している装置の画面にアプリケーションが表示した情報を読み取り、作業やコミュニケーションが行われた際に活用された情報或いは共起した事象の所在を特定し記録する機能を備えたことを特徴とする請求項１記載の監視システム。
【請求項７】
当事者が携帯或いは操作している装置のアプリケーションソフトの稼動状態に含まれる情報を解析することにより、作業やコミュニケーションが行われた際に活用された情報或いは共起した事象の所在を特定し記録する機能を備えたことを特徴とする請求項１記載の監視システム。
【請求項８】
会話状況を監視・分析する手段を備え、自動的にワークヒストリの取り込みをオン、オフすることを特徴とする請求項１記載の監視システム。
【請求項９】
話者の関与状況を監視・分析する手段を備え、自動的にワークヒストリの取り込みをオン、オフすることを特徴とする請求項１記載の監視システム。
【請求項１０】
討議を支援する装置やツールの利用状況を監視・分析する手段を備え、自動的にワークヒストリの取り込みをオン、オフすることを特徴とする請求項１記載の監視システム。
【請求項１１】
作業及びコミュニケーションにおける情報の活用状況を監視・分析する手段を備え、自動的にワークヒストリの取り込みをオン、オフすることを特徴とする請求項１記載の監視システム。
【請求項１２】
ワークヒストリの情報或いはそれを変換した情報を細分化、抜粋・要約することを特徴とする請求項１記載の監視システム。
【請求項１３】
ワークヒストリの情報或いはそれを変換した情報を細分化、抜粋・要約した情報のアイコンやアノテーションに対してきっかけを与えることにより、徐々に詳しい情報を提供することを特徴とする請求項１記載の監視システム。
【請求項１４】
ワークヒストリの情報或いはそれを変換した情報を細分化、抜粋・要約した情報をフローチャート的に表示する機能を備えることを特徴とする請求項１記載の監視システム。
【請求項１５】
映像や音声が有する意味情報を自動的にテキスト情報に変換する機能を備えることを特徴とする請求項１記載の監視システム。
【請求項１６】
請求項４乃至７で扱う情報から得られる共起関係を活用することにより、ワークヒストリに含まれるビジュアルな情報や参照された情報をテキストの近くに配置する機能を備えることを特徴とする請求項１５記載の監視システム。
【請求項１７】
請求項８乃至１１において監視・分析した結果特徴をテキストの特徴に変換することにより読み手に伝えることを特徴とする請求項１５記載の監視システム。
【請求項１８】
言語解析、構造解析などの情報の解析技術によりテキストを切り分け、ビジュアライゼーションの技術を用いて表示することを特徴とする請求項１５記載の監視システム。
【請求項１９】
作業或いはコミュニケーションに関わる事象の変化をタイムチャートとして視覚化する機能を備えることを特徴とする請求項１記載の監視システム。
【請求項２０】
作業或いはコミュニケーションに関わって変化する音量の変化をタイムチャートとして視覚化する機能を備えることを特徴とする請求項１記載の監視システム。
【請求項２１】
作業或いはコミュニケーションに関わっている参加者毎の発言状況の変化をタイムチャートとして視覚化する機能を備えることを特徴とする請求項１記載の監視システム。
【請求項２２】
タイムチャート化された表示の一部を選択することにより、ワークヒストリ或いはワークヒストリを別の表現形式に変換した情報の視聴部分を選択することを特徴とする請求項１９記載の監視システム。
【請求項２３】
ワークヒストリの情報或いはそれを変換した情報を細分化、抜粋・要約された情報にアノテーションを付与できる機能を備えることを特徴とする請求項１記載の監視システム。
【請求項２４】
前記タイムチャート上に参照を促すためのマークやテキストなどのアノテーションを付与できることを特徴とする請求項１９記載の監視システム。
【請求項２５】
ワークヒストリの情報或いはそれを変換した情報を作業或いはコミュニケーションが進行中においても平行して視聴するための機能を備えることを特徴とする請求項１記載の監視システム。
【請求項２６】
それぞれの映像を独立して制御できるシステムを備えることを特徴とする請求項２５記載の監視システム。
【請求項２７】
それぞれの音を独立して制御できるシステムを備えることを特徴とする請求項２５記載の監視システム。
【請求項２８】
それぞれの音を独立して制御できるヘッドホンシステムを備えることを特徴とする請求項２５記載の監視システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、作業やコミュニケーションの監視システム或いはグループウェアとして応用される技術に関するものである。
【０００２】
【従来の技術】
従来よりコンシューマ向けの映像記録・再生装置の分野では、映像の参照性向上に取り組まれてきた。しかし、従来技術は、主に映像上の特徴、及びその番組（映像）に関わる付帯条件、例えば放映日時といった情報の活用による頭出し、及び早送りによる頭だしを決定する方法等にとどまっており、ワークヒストリとしてマルチメディア情報を業務に活用するためには不十分である。
特開２００１−８４２０９公報では、「仮想空間履歴記録方式及び装置」が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、この場合も映像と音声の記録及び再生にその発明が限定されており、ワークヒストリを知的業務に活用するにおいて必要となるであろう情報、例えば、どんなシチュエーションにおいて如何なる業務が行なわれているのか、それに関連する情報連鎖がどのようであるか、等の情報取り込み、履歴記録の開始・終了トリガの最適度、極めて短時間に要所をおさえた内容把握を行うための操作性に関する配慮等々においては課題が残されている。
また、特開２００１−１０１２０５公報では、「映像構造化装置、映像構造化方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体」が提案されている。この場合も、上記と同様の観点から、ワークヒストリとしての活用方法及びシステムとしては課題がある。
本発明は上記従来技術の問題点に鑑みなされたもので、本発明が解決しようとする課題は、ワークヒストリの登録の手間を省きデジタルデバイドによりワークヒストリそのものが記録として残されないようにすることである。
また、別の課題は、情報が断片的であるがゆえにその影響力が限られてしまうといった状況下において、その情報に至る背景や経緯をワークヒストリとして一元的に知らしめ記憶想起或いは共有体験化させることである。
また、別の課題は、作業或いはコミュニケーションの状況を選択的に記録することによりシステムの資源やコストをセーブできるシステムを提供することである。
また、別の課題は、短時間で効率良くワークヒストリの内容を把握できることである。
【０００４】
【課題を解決するための手段】
前記の課題を解決するために、請求項１記載の発明では、ユーザ端末とサーバがネッワーク接続され、単独或いは複数の人が関与する作業或いはコミュニケーションの状況を記録して当事者或いは他の人に情報として提示できる監視システムであって、当該事象に関わる様々な付帯事項の記録部と、その事象自体には直接関与していないが事象内に現れる構成要素のいずれかに関わる事象のデータベースと、それらのデータの関連性を自動記録或いは抽出することにより、作業或いはコミュニケーションの記録と該作業或いはコミュニケーションに関連づけられた情報群であるワークヒストリを情報ソースのひとつとして扱う機能と、を備えることを特徴とする。
請求項２記載の発明では、当事者が携帯或いは操作している装置の状態から当事者情報、位置や時刻、及び当事者の業務内容の情報を取り込むことにより入力デバイスを選定および制御できる手段を備え、前記ワークヒストリ或いはその一部を成す映像や音声を自動的に記録することを特徴とする。
請求項３記載の発明では、当事者が携帯或いは操作している装置の状態から、当事者情報、位置や時刻、当事者の業務内容など様々な情報を取り込み、ワークヒストリ或いはその一部を成す映像や音声を自動的に記録する機能を有する請求項１記載の監視システムを主要な特徴とする。
請求項４記載の発明では、当事者が携帯或いは操作している装置の状態から、作業やコミュニケーションが行われた際に活用された情報或いは共起した事象の所在を特定し記録する機能を有する請求項１記載の監視システムを主要な特徴とする。
【０００５】
請求項５記載の発明では、当事者が携帯或いは操作している装置及びその装置が通信している装置のシステムログに含まれる情報を解析することにより、作業やコミュニケーションが行われた際に活用された情報或いは共起した事象の所在を特定し記録する機能を有する請求項１記載の監視システムを主要な特徴とする。
請求項６記載の発明では、当事者が携帯或いは操作している装置の画面にアプリケーションが表示した情報を読み取り、作業やコミュニケーションが行われた際に活用された情報或いは共起した事象の所在を特定し記録する機能を有する請求項１記載の監視システムを主要な特徴とする。
請求項７記載の発明では、当事者が携帯或いは操作している装置のアプリケーションソフトの稼動状態に含まれる情報を解析することにより、作業やコミュニケーションが行われた際に活用された情報或いは共起した事象の所在を特定し記録する機能を有する請求項１記載の監視システムを主要な特徴とする。
請求項８記載の発明では、会話状況を監視・分析する手段を有し、自動的にワークヒストリの取り込みをオン、オフする請求項１記載の監視システムを主要な特徴とする。
請求項９記載の発明では、話者の関与状況を監視・分析する手段を有し、自動的にワークヒストリの取り込みをオン、オフする請求項１記載の監視システムを主要な特徴とする。
請求項１０記載の発明では、討議を支援する装置やツールの利用状況を監視・分析する手段を有し、自動的にワークヒストリの取り込みをオン、オフする請求項１記載の監視システムを主要な特徴とする。
請求項１１記載の発明では、作業及びコミュニケーションにおける情報の活用状況を監視・分析する手段を有し、自動的にワークヒストリの取り込みをオン、オフする請求項１記載の監視システムを主要な特徴とする。
【０００６】
請求項１２記載の発明では、ワークヒストリの情報或いはそれを変換した情報を細分化、抜粋・要約する請求項１記載の監視システムを主要な特徴とする。
請求項１３記載の発明では、ワークヒストリの情報或いはそれを変換した情報を細分化、抜粋・要約した情報のアイコンやアノテーションに対してきっかけを与えることにより、徐々に詳しい情報を提供する請求項１記載の監視システムを主要な特徴とする。
請求項１４記載の発明では、ワークヒストリの情報或いはそれを変換した情報を細分化、抜粋・要約した情報をフローチャート的に表示する機能を有する請求項１記載の監視システムを主要な特徴とする。
請求項１５記載の発明では、映像や音声が有する意味情報を自動的にテキスト情報に変換する機能を有する請求項１記載の監視システムを主要な特徴とする。請求項１６記載の発明では、請求項４〜７で扱う情報から得られる共起関係を活用することにより、ワークヒストリに含まれるビジュアルな情報や参照された情報をテキストの近くに配置する機能を有する請求項１５記載の監視システムを主要な特徴とする。
請求項１７記載の発明では、請求項８〜１１において監視・分析した結果特徴をテキストの特徴に変換することにより読み手に伝える請求項１５記載の監視システムを主要な特徴とする。
請求項１８記載の発明では、言語解析、構造解析などの情報の解析技術によりテキストを切り分け、ビジュアライゼーションの技術を用いて表示する請求項１５記載の監視システムを主要な特徴とする。
請求項１９記載の発明では、作業或いはコミュニケーションに関わる事象の変化をタイムチャートとして視覚化する機能を有する請求項１記載の監視システムを主要な特徴とする。
請求項２０記載の発明では、作業或いはコミュニケーションに関わって変化する音量の変化をタイムチャートとして視覚化する機能を有する請求項１記載の監視システムを主要な特徴とする。
【０００７】
請求項２１記載の発明では、作業或いはコミュニケーションに関わっている参加者毎の発言状況の変化をタイムチャートとして視覚化する機能を有する請求項１記載の監視システムを主要な特徴とする。
請求項２２記載の発明では、タイムチャート化された表示の一部を選択することにより、ワークヒストリ或いはワークヒストリを別の表現形式に変換した情報の視聴部分を選択する請求項１９記載の監視システムを主要な特徴とする。
請求項２３記載の発明では、ワークヒストリの情報或いはそれを変換した情報を細分化、抜粋・要約された情報にアノテーションを付与できる機能を有する請求項１記載の監視システムを主要な特徴とする。
請求項２４記載の発明では、前記タイムチャート上に参照を促すためのマークやテキストなどのアノテーションを付与できる請求項１９記載の監視システムを主要な特徴とする。
請求項２５記載の発明では、ワークヒストリの情報或いはそれを変換した情報を作業或いはコミュニケーションが進行中においても平行して視聴するための機能を有する請求項１記載の監視システムを主要な特徴とする。
請求項２６記載の発明では、それぞれの映像を独立して制御できるシステムを有する請求項２５記載の監視システムを主要な特徴とする。
請求項２７記載の発明では、それぞれの音を独立して制御できるシステムを有する請求項２５記載の監視システムを主要な特徴とする。
請求項２８記載の発明では、それぞれの音を独立して制御できるヘッドホンシステムを有する請求項２５記載の監視システムを主要な特徴とする。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明に係わる実施形態について説明する。本発明において、作業或いはコミュニケーションが行われる場は、実世界であっても仮想空間（サイバースペース）であってもよく、或いは両者が混在することも可能である。実世界においてはユーザ端末部を会議室などで共有されている装置やツールと読み替えるものとする。尚、ユーザ端末部と表記した部分には端末装置の傍或いは周囲に配置された複数の装置やツールまでも包含している。
カメラを例にとれば端末に固定された主として表情などをとらえるカメラ、当事者の様子がわかるワイドカメラ、やや遠方に配置されたフロア状況をとらえるカメラといった具合である。
ホワイトボードなども実世界と仮想空間（この場合はＰＣのアプリケーションのひとつ）の両方が想定されている。また、ネットワークは有線、無線を問わない。
【０００９】
図１は本発明の実施形態に係る監視システムの構成図である。具体的にはグループウェアにおけるワークヒストリ記録及び活用システムの構成例であり、複数のユーザ端末１と、サーバ２がネットワーク３で接続されている。尚、活用情報・共起情報ＤＢ４が外部システムとして接続されている。
サーバ２は、ワークヒストリ管理部１１、コンテンツ記録部１２、付帯事項記録部１３、間接関与情報管理部１４、監視・分析処理部１５、ネットワーク制御部１６、ユーザＩ／Ｆ制御部１７を備える。ユーザＩ／Ｆ制御部１７内にはワークヒストリのユーザ・インタラクションと表示を行うソフトウェアが含まれる。これらは必要に応じていくつかは省略可能であり、またクライアント側に置かれることもありうる。
ここで、図２はワークヒストリのビジュアライゼーション表示例のフローチャートである。また図３はワークヒストリの選択視聴（タイムチャート）及び平行視聴の表示例を示す図である。
当事者が携帯或いは操作している装置の状態から当事者情報、位置や時刻、当事者の業務内容を取り込む例としては、ＩＤカード内に保存されたＰＩＭ情報を参照するなどが挙げられる。また、制御の例としては、ＰＩＭ情報から最適なカメラを選定したり、業務内容により角度、ズームなどの撮影条件を変更したりすることが考えうる。
例えば業務内容に関わる部分において、当該作業につながった宿題事項の記述を取り込み、ワークヒストリに添えて参照できるようにすることにより活用しやすくするといったこともできる。
当事者が携帯或いは操作している装置の状態とは、例えばあるユーザや装置とオンラインであるという状態を認識し、ピア・ツー・ピア技術などにより情報の分類保管先などを特定していくといった状態が一例に挙がる。
当事者が携帯或いは操作している装置及びその装置が通信している装置のシステムログに含まれる情報とは、その時点でオンラインになっている作業或いはコミュニケーション参加者全員の情報や関与した情報などである。
当事者が携帯或いは操作している装置の画面にアプリケーションが表示した情報を読み取る手段の一例として文書画像認識技術を用いることができる。
当事者が携帯或いは操作している装置のアプリケーションソフトの情報とはコマンド、レスポンス、或いは取り扱ったデータに含まれる情報などである。
【００１０】
会話状況を監視・分析する材料の例としては、テンポ、密度、音量などがある。
話者の関与状況を監視・分析する例としては、開催通知、発言内容、音声特徴などから話者を特定した上で、責任ある立場の人間の発言のみ記録していくといったことが挙げられる。
討議を支援する装置やツールとは、ホワイトボード、何らかのポインター、マイク、アプリケーションソフトウェア或いはその所定モード（スライドショーのようなものなど）などが一例として考えうる。
作業及びコミュニケーションにおける情報の活用状況を監視・分析する手段には請求項４〜７が該当する。
ワークヒストリの情報或いはそれを変換した情報を細分化、抜粋・要約するには、繰り返し使われる用語や係り受けなど言語的な解析による手段があるが、その他の方法を用いることによっても可能である。
短時間で概要を把握する必要がある場合などは、必要に応じて詳細な情報を得られることが望ましいが、その一例として、最初は他人が付与した重要点マークのようなものから順に重要語、重要文、ショートクリップ、全文、全体映像というように進むことが挙げられる。
議論の経過と結果を短時間で把握する必要がある場合に、ワークヒストリの情報或いはそれを変換した情報をフローチャート的に表示することは問題の整理された把握という点で役に立つ。そこで一例としては、前記の段階的な表示において比較的上位の情報（重要語、重要文）を言語処理などにより得られた話題や問題の分岐フロー上に配置してみせるということが挙げられる。
【００１１】
映像や音声が有する意味情報を自動的にテキスト情報に変換するにあたり、単なる音声認識技術を用いるのみならず、ルビや脚注を織り込むなどワークヒストリ活用者の知識不足を補うといったことも一例としてあげることができる。請求項４〜７で得られた情報を活用するなどして実現する。
例えば、ワークヒストリに含まれるビジュアルな情報や参照された情報のサムネイルをテキストの近くに配置する。
テキストにおける特徴としては、部分的なフォント変更、色、記号の付与等を例として挙げることができる。
前記のテキスト、サムネイルなどの細分化された情報を適宜目的に合わせた配置で表示するためにビジュアライゼーションの技術を用いれば、ある話題に関しての発言だけを見せたりすることができる。
タイムチャートとして表すのに適した事象は、音声や使われていたホワイトボードの頁など様々なものが考えうる。
音量の変化を表示する際、ひそひそ話、プレゼンテーション、強い意見などを区別できるだけのクラス分け表示であっても良いし、アナログ的に変化するような表示であっても良い。また、場所を移動してホワイトボードやスクリーンの前でプレゼンテーションを行うなどの場合においてマイク音源を特定し表示情報に加えると選択視聴に役立つ。
参加者毎の発言状況を特定するには話者識別が必要であるが、オンライン参加者であればＩＤなどによる特定は容易である。また、音声成分の分析などにより同一話者であることを確認し、開催通知情報や重要語抽出結果などに本人を特定する情報を求めることもできる。
視聴部分として選択するタイムチャート化された表示の一部とは、情報の単位として切り分けられたものの一部であっても良いし、アナログ表示など図示されたもののある点であっても良い。
【００１２】
アノテーションの付与手段として、ペンタブレット型の液晶パネルを利用するなどが一例として挙げられる。
参照を促すためのマーク付与に関して「それは確かに重要ですね」などの言葉などから直前の発言部分にマークを付与するといった自動化が考えうる。また、参加者の誰でもが重要と思った部分にお勧めマークをつけることができる。また誰が付与したアイコンかが判別できる。複数の人が大切と感じた場合にアイコン上でレイティング表示できるなどの工夫を施すことにより更に効果的な運用となる。
会議に遅れて参加した人が議論に追いつくために会議の場でワークヒストリを参照するようなケースでは＜現在進行中の議論からのディスターブなどがあるために、即座にワークヒストリの視聴を中断、或いは再開できなければならない。特に再開においては、ワークヒストリの冒頭にもどっていては効率が悪いので＜中断直前の意味が咀嚼しやすいところまで戻る必要がある。最も近い音声の無音部まで戻って再開するといった工夫もできる。
映像の同時並行については、現在進行中の議論からのディスターブがあった際にワークヒストリの映像が自動的に現在進行中の映像に切り替わる、或いは表示サイズの大小が逆転するといった工夫が一例となる。また、頁めくりなどを参加者自信が行わなければいけない場合などは自動的にめくっておいてくれるような機能が有効である。
音の同時並行においては、音量の調節や中断直前の意味が咀嚼しやすいところまで戻るといったことが有効な例として挙げられる。
音の同時並行において、静粛性の高い会議などであれば、それぞれの音を独立して制御できるヘッドホンシステムなどが有効である。これは、再生ソフトの設計により容易に実現しうる。
【００１３】
【発明の効果】
以上説明したように、本発明により、従来、人手によらなければ実現できなかった短時間での体験共有、重要なポイントの伝達や記憶の想起が可能となる。
また、ニュアンスなど共有の次元が飛躍的に高まる。また、打ち合わせに参画しながら参加できていなかった部分の情報を得るという同時並行的な効率の向上を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る監視システムの構成図である。
【図２】ワークヒストリのビジュアライゼーション表示例のフローチャートである。
【図３】ワークヒストリの選択視聴（タイムチャート）及び平行視聴の表示例を示す図である。
【符号の説明】
１　ユーザ端末、２　サーバ、３　ネットワーク、１１　ワークヒストリ管理部、１２　コンテンツ記録部、１３　付帯事項記録部、１４　間接関与情報管理部、１５　監視・分析処理部、１６　ネットワーク制御部、１７　ユーザＩ／Ｆ制御部
【図１】
2004030293.tif 000003
【図２】
2004030293.tif 000004
【図３】
2004030293.tif 000005