(57)【要約】【課題】非電子的な大きなボードを用いた共同作業において、該ボード上への書き込みに関する活動の履歴や背景を保存することができるようにする。【解決手段】ボード上に生成された共同作業コンテンツを自動的に検知する方法であって、（ａ）複数の共同作業者が前記ボードの近辺に存在することによって共同イベントを検知し、（ｂ）前記ボード上のコンテンツの変化を検知し、（ｃ）前記ボード上のコンテンツの変化と前記共同イベントとの間の関係を判定することにより共同作業コンテンツを判定し、（ｄ）前記共同作業コンテンツを格納する。前記ボードの画像を受信する、ことをさらに含み、（ｂ）が、それぞれの画像を、それ以前の時刻において得られた先行画像と比較することを含んでもよい。【選択図】図２Ａ
2010244526.tif 000002
【特許請求の範囲】
【請求項１】
ボード上に生成された共同作業コンテンツを自動的に検知する方法であって、
（ａ）複数の共同作業者が前記ボードの近辺に存在することによって共同イベントを検知し、
（ｂ）前記ボード上のコンテンツの変化を検知し、
（ｃ）前記ボード上のコンテンツの変化と前記共同イベントとの間の関係を判定することにより共同作業コンテンツを判定し、
（ｄ）前記共同作業コンテンツを格納する、
方法。
【請求項２】
前記ボードの画像を受信する、
ことをさらに含み、
（ｂ）が、それぞれの画像を、それ以前の時刻において得られた先行画像と比較することを含む、
請求項１に記載の方法。
【請求項３】
前記共同作業コンテンツが、前記共同イベント中に生成された第１のコンテンツ、前記共同イベント中に修正された第２のコンテンツ、及び前記第１のコンテンツもしくは前記第２のコンテンツに隣接しかつ関連する第３のコンテンツ、の１つ又は複数を含む、請求項１に記載の方法。
【請求項４】
（ｃ）が、前記共同イベントの前にキャプチャされた第１の画像と、前記共同イベントが開始された後にキャプチャされた少なくとも１つの第２の画像と、を比較することを含む、請求項２に記載の方法。
【請求項５】
前記共同作業者を識別することをさらに含む、請求項２に記載の方法。
【請求項６】
前記共同作業コンテンツを前記共同作業者へ伝送することにより前記共同作業コンテンツを前記共同作業者と共有することをさらに含む、請求項５に記載の方法。
【請求項７】
前記ボードの前記画像をキャプチャすることをさらに含み、
前記ボードの前記画像をキャプチャすることが、
一定時間間隔、
前記ボード近辺での活動を感知した後から始まり、前記ボード近辺での活動がない所定の期間を感知した後に終わる一定時間間隔、
それぞれの共同イベントが別の共同イベントへ変化した後、あるいは、
前記ボードへの視界が遮蔽されないことが感知される場合、
に実行される、請求項２に記載の方法。
【請求項８】
ボード上の共同作業コンテンツを自動的に検知するシステムであって、
前記ボードでの共同イベントを検知するための少なくとも１つのセンサと、
前記ボード上の前記コンテンツ及び前記ボードにおける前記共同イベントの指標と、を含む、前記ボードにおいて収集されたデータを受信し、格納するデータベースと、
前記共同イベントに関係している前記ボード上の前記コンテンツを、前記共同作業コンテンツとして判定するための少なくとも１つのプロセッサと、
を含み、
前記共同作業コンテンツは、前記ボード上の前記コンテンツの変化と前記共同イベントの前記指標との間の関係から判定される、
システム。
【請求項９】
前記ボードの画像をキャプチャするカメラをさらに含み、
前記ボード上の前記コンテンツの変化は、それぞれの画像をそれ以前の時刻において得られた先行画像と比較することにより検知される、請求項８に記載のシステム。
【請求項１０】
前記共同イベントにおける共同作業者の識別を検知する少なくとも１つの検知装置をさらに含み、
前記少なくとも１つの検知装置は、顔認識モジュール及びアクティブバッジを含む、
請求項８に記載のシステム。
【請求項１１】
前記ボードの前記画像をキャプチャすることが、
一定時間間隔、
前記ボード近辺での活動を感知した後から始まり、前記ボード近辺での活動がない所定の期間を感知した後に終わる一定時間間隔、
それぞれの共同イベントが別の共同イベントへ変化した後、あるいは、
前記ボードへの視界が遮蔽されないことが感知される場合、
に実行されることを特徴とする、請求項８に記載のシステム。
【請求項１２】
ボード上のコンテンツの経時変化を非シーケンシャルに可視化する方法であって、
該方法は、ユーザのエピソード記憶を利用して前記ユーザにより前記ボード上で生成もしくは修正されたコンテンツの場所を検出するように構成されており、
該方法が、
（ａ）所定の時間幅に亘ってキャプチャされた画像であって、それぞれの画像が前記ボードのサブ領域に対応する複数のサブ画像に分割されている、前記ボードの画像を検索し、
（ｂ）それぞれの画像をそれ以前の時刻において得られた先行画像と比較して、前記サブ領域のそれぞれに対するスコアを、前記サブ領域に対応するサブ画像のある画像から別の画像への変化を示す関数として決定し、
（ｃ）前記スコアを頻度マップに写像することによりスコアを可視化し、
（ｄ）前記頻度マップをユーザに表示する、
方法。
【請求項１３】
（ｃ）が、前記ボードの２次元表示へ前記スコアを写像することによって前記頻度マップを作製することを含み、
前記方法が、
前記ユーザからの前記ボードの第１の領域の選択を受信し、
前記第１の領域に対応する前記ボードのサブ画像を前記ユーザに表示する、
ことをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記所定の時間幅に亘って前記ボードの前記画像をキャプチャし、
前記画像をデータベースに格納し、
それぞれの画像を複数のサブ画像に分割し、
それぞれの画像を複数のサブ画像に分割する前に、前記ボードの前記画像が変化しているかどうかを判定するためにそれぞれの画像を先行画像と比較する、
ことをさらに含む、請求項１２に記載の方法。
【請求項１５】
前記所定の時間幅の中に含まれる複数の時間間隔のそれぞれの時間間隔における前記画像の変化の関数として、第１のスコアを決定し、
前記第１のスコアを前記時間間隔に区分されたタイムラインに写像することにより、１次元の頻度マップを形成し、
前記ユーザから、前記複数の時間間隔の中から少なくとも１つの第１の時間間隔の選択を受信し、
前記少なくとも１つの第１の時間間隔に対応する前記ボードの前記画像を前記ユーザに表示する、
ことをさらに含む、請求項１４に記載の方法。
【請求項１６】
前記ボードのコンテンツの経時変化を非シーケンシャルに可視化するシステムであって、
該システムは、ユーザのエピソード記憶を利用して前記ユーザにより前記ボード上で生成あるいは修正されたコンテンツの場所を検出するように構成されており、
該システムが、
所定の時間幅に亘ってキャプチャされ、前記ボードのサブ領域に対応する複数のサブ画像に分割された画像を受信する入力インタフェースと、
それぞれの画像を先行画像と比較して、前記サブ領域のそれぞれに対するスコアを、前記サブ領域に対応するサブ画像のある画像から別の画像への変化を示す関数として決定する少なくとも１つのプロセッサと、
前記スコアを頻度マップへ写像することにより、スコアを可視化する可視化モジュールと、
前記頻度マップを前記ユーザへ表示する出力インタフェースと、
を含む、システム。
【請求項１７】
コンピュータに、
複数の共同作業者がボードの近辺に存在することによって共同イベントが検知されたことを受信し、
前記ボード上のコンテンツの変化が検知されたことを受信し、
前記ボード上のコンテンツの変化と前記共同イベントとの間の関係を判定することにより共同作業コンテンツを判定し、
前記共同作業コンテンツを格納する、
手順を実行させ、前記ボード上に生成された共同作業コンテンツを自動的に検知するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に大面積の非電子的な垂直ディスプレイの利用を支援し促進する方法及びシステムに関し、より具体的には、ディスプレイ利用のデジタルフォトグラフィとの結合、さまざまなセンサからのデータストリームの融合、そして、ホワイトボードなどの非電子的垂直ディスプレイに特徴的な望ましい機能性及び特徴を支援し改善するための空間データ処理、に関する。
【背景技術】
【０００２】
ディスプレイは共同作業上の価値が高い。ホワイトボードのような大面積の垂直ディスプレイは、出版、創造的デザイン、ソフトウェア開発から、手術や医薬に至る広範な分野における沢山の共同活動を支援する。共同活動に関する研究によって、これらのさまざまな分野においてホワイトボードが情報伝達を大幅に改良することが示されてきた。例えば、ソフトウェア開発に関する一研究では、ソフトウェア開発者たちは表記されたコードに根ざしているが、コードを表す図を頻繁に描くことが示されている。さらにこの研究では、ソフトウェア開発者たちが既存のコードを理解するために従来型のホワイトボードを使用し、また、同僚の協力を要請して設計上の行き詰まりを打開するための臨時会議でも使用することが示された。病院の外傷センタにおける別の研究では、会話によるコミュニケーションがしばしば中断されやすい、雑音の多い環境においては在来型の手書きのホワイトボードがコミュニケーションを改善することが示された。
【０００３】
共同作業のユーザ達は文字や図をボードに書くことにより考えや概念を迅速に具体化することができ、共同作業者間の理解に資するとともに、対話による成果物にその後の議論の根拠を与えることができる。例えば、あるユーザが高レベルのシステム設計を伝えるためにプロセスフロー図を素早く描いて、その後、手まね及び直示的な参照の仕方を用いて議論を導いていくことができる。ホワイトボードはまた、ブレーンストーミングや、それに関連する熟考、再解釈などの創造的活動に効果的な支援を提供する。それは、オーバヘッドの小さい、共有の作業面が提供されることにより、その場にいるすべてのユーザによる情報の自由な修正が可能となるからである。
【０００４】
現場での実作業に関するいくつかの研究によりこれらの利点の価値が示された。ソフトウェアチームのホワイトボード利用に関するある研究では、ディスプレイが通常、認識および共同作業のツールとして使われていることがわかった。特にディスプレイが、議論を助け、集中できるためのポイントや成果と共に、現在の活動に関する継続的な要約を提供できることをユーザが評価している、ということが研究者にはわかった。さらに、すべてのユーザがボードのコンテンツを容易に編集することができるので、ディスプレイ上に含まれる情報に係わり、責任を持つようになることが多い。別の研究では、ソフトウェア開発の範囲でだけでいえば、多くの共同作業が垂直ディスプレイを利用して行われることがわかった。これらの共同作業は、設計活動から、教育、あるいは顧客とのソフトウェアの特徴及び機能性に関するやり取りまでの広範囲に及ぶ。
【０００５】
ある分野の研究では、電子的なホワイトボードの付近におけるユーザの活動を検知し、そのユーザの活動に関する情報を使ってユーザとホワイトボードの対話に関する暗黙の仮定を作る。工学設計チームについてのある研究では、非公式のミーティングに参画したエンジニアは書き込む段階と解析する段階とを繰り返し、これらのサイクルはエンジニアとホワイトボードとの間の物理的な距離の変化に応じている、ということを示した。書き込んでいるときユーザはボードの近くに立ち、書いたものに対して議論しているときはそれより後ろにいる。また議論後の業務をしているときはさらに後ろに下がっている。従って、ユーザが立っているホワイトボードからの距離に基づいて、その時行われている活動をホワイトボードが推定する。上述したように、これらの研究は特製の電子スタイラス及びスタイラスを保持するためのトレイを必要とする電子ホワイトボードに関連する。
【０００６】
ホワイトボード上に図や文字を書き込むことは、同様の機能をコンピュータスクリーンを利用して行うよりも早くて簡単である。従って、コンピュータスクリーンと比較した場合、ホワイトボードはユーザの努力及び訓練に関するオーバヘッドは小さいと考えられる。訓練を受けていなくて集中できていないユーザでも、事前の訓練なしでかつ電子デバイスの使い方を最初に習わなくても、ホワイトボードに近寄ってきて一時的かつ、要請に応じた対話で、すぐにアイディアを共有することに集中できる。ホワイトボードでは共同作業が終わった後でも情報を継続的に見ることも可能である。情報が持続することは、活動の連携及び仕事の進捗状況の認識に役立つ。例えば、アクションアイテムのリストはディスプレイに残しておくことができ、完了した時に線を引いて消すことができる。また、ホワイトボードは単純なツールであり、他のほとんどの単純なツールと同じように、頑丈であり、ハイテクツールの苦痛とは無縁である。ホワイトボード上の情報は、停電やハードウェアの誤動作、あるいはソフトウェアの欠陥などの影響を受けない。その一方で、コンピュータスクリーンやホワイトボード相当の電子機器の利用は、何らかの程度の訓練を必要とする。文字や図を書くのにコンピュータディスプレイを使用するとしても、一般的にはディスプレイはホワイトボード程大きくはなく、通常は一人のユーザの個人用である。他方、ホワイトボードを使用する場合には一人のユーザのフレーズやスケッチを他のユーザが簡単に修正することが可能で、アイディアを迅速に進化させ成熟させることが可能となる。さらに、電子デバイスは、いつも手元にあって、スイッチが入っている訳ではないし、非電子的なホワイトボードよりもよりコストがかかり、しかも壊れて突然に情報を失う可能性がある。
【０００７】
ある先行研究では、通常のデスクトップコンピュータと支援インタフェースを利用すると、大きなディスプレイとデスクトップコンピュータとの間の対話によってユーザが、大きなディスプレイあるいは例えば廊下の壁などのような共通の作業面で複数のユーザが相互に対話できることが調査されている。このような先行研究の一例は、遠隔のホワイトボードにリアルタイムで入力する(live feed)デスクトップのアプリケーションと、ユーザの注釈を遠隔のホワイトボードに投影する天井に取り付けられたプロジェクタと、を利用して、遠隔のユーザが遠隔の物理的なホワイトボードに対してコンテンツを加えることを可能とする。このシステムではプロジェクタを使用することが必要となる。さらに、すべての情報の共有はホワイトボード上のみでしかできない。
【０００８】
別の先行する研究分野では、ユーザが、実際のホワイトボードを対話面として使用することによりユーザがアクションを実行できるシステムの開発が進められている。一例では、大きなディスプレイ上に直接置くことのできる目印となる物、すなわちタグを利用する。そのような目印は、仕事を割り当てたり、状況を更新したり、その他の機能を遂行するのに利用することができる。タグには特殊なコードが含まれていて、そこをズームで拡大できるカメラによって視覚的にデコードされる。別の例では、ユーザがディスプレイ上に目印となる物を置いて、ディスプレイのコンテンツの写真を保存し、後で検索できるように格納して置くように要求することができる。このシステムは、ホワイトボードのコンテンツ、コード、及びホワイトボード上に配置されたタグやトークンの能動的な構文解析を必要とする。
【０００９】
大きな垂直ディスプレイは時間がたてば消去され書き直される。ホワイトボードを消去できる利点は、その一方で消去された情報が喪失されるという欠点でもある。時間の経過により、ホワイトボード上の情報のほとんどは消去され書き直される。また、消去されない情報でも単に薄れて消えてしまうこともある。従って、ホワイトボード上のすべての情報は時間と共に失われていくものである。
【００１０】
そのため、ホワイトボードのような非電子的な大きな垂直ディスプレイの利点は、ホワイトボード上への書き込みに反映された活動の履歴や背景を保存することができないという主要な弱点によって弱められてしまう。特定の議論をしている間、議論の進展に伴い前の書き込みや図が消去されたり修正されたりすることがある。その結果、ホワイトボード上に残された情報は、他の者にとっては、何が議論され、どの問題や課題が解決され、又は新たに出てきたか、あるいは何らかの作業計画の決定がなされたかどうか、等々を理解するためには不十分となる。従って、ホワイトボードの利用を観察する研究者は、ユーザがただ背景を復旧するためだけに情報を再構築し、過去の議論を繰り返すことにかなりの時間を費やしていることに気づくことがしばしばである。
【００１１】
大きな垂直ディスプレイは、一部分は継続的な書き込み用に使用される。ホワイトボードの１つの特徴は、やるべき項目、重要なアイディア、電話番号リスト、等々の継続的覚え書のためにその一部分が使用されることである。ユーザは、特別の事項やアイディアを忘れないようにするためにホワイトボード上に自分のためのメモ書きをする。これらの覚え書は長期間に亘ってディスプレイ上に残されがちであるために、他の用途に利用できるディスプレイの面積を減少させることになる。電話番号リストは長く残りがちな書き込みの別の例である。これらの覚え書や電話番号リストを消去すればホワイトボード上のスペースが利用可能になる。しかし、消去するとその人が情報を失うことになる。
【００１２】
電子ホワイトボードは継続的書き込みを保存し、あるいはユーザが近寄ってきたことを検出した場合にそのコンテンツをボード中心の左右に移動させることによってボード全面にスペースを作ることができる。しかし、電子ホワイトボードには、前述したような非電子的ホワイトボードが持つ、操作上のオーバヘッドの小ささと、使用の簡単さ、とがない。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】チェルビニ(Cherubini)ら、「ホワイトボードへ行こう：どうやって、そして、どうして、ソフトウェア開発者は図を使うのか(Let's Go to the Whiteboard: How and Why Software Developers use Drawings)」、コンピューティングシステムにおけるヒューマンファクタに関するＡＣＭカンファレンス抄録(Proceedings of the ACM Conference on Human Factors in Computing Systems)、２００７年、p. ５５７-５６６（USA）
【非特許文献２】フーテ(Foote)ら、「リモートインタラクティブグラフィッチ(Remote Interactive Graffiti)」、マルチメディアに関するＡＣＭカンファレンス抄録(Proceedings of ACM Conference on Multimedia)、２００４年、p. ７６２-７６３（USA）
【非特許文献３】プリヤンサ(Priyantha)ら、「クリケットロケーションサポートシステム(The Cricket location-support system)」、モバイルコンピューティングおよびネットワーキングに関する国際カンファレンス抄録(Proceedings of the International Conference on Mobile Computing and Networking)、２０００年、p. ３２-４３
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記に鑑みて、本発明の課題は、非電子的な大きなボードを用いた共同作業において、該ボード上への書き込みに関する活動の履歴や背景を保存することができるようにすることである。
【課題を解決するための手段】
【００１５】
本発明の態様は、上述した従来技術に関する１つ又は複数の前記及びその他の問題を実質的に取り除くための方法及びシステムに係わる。
【００１６】
ホワイトボードなどの大面積ディスプレイは共同作業上の価値が高く、ホワイトボードが非電子的であることにより、訓練及び使用に関して低コストでオーバヘッドが小さく、かつ信頼性が高い。その一方で、ホワイトボード上の情報は一般的にはそのホワイトボード上でしか入手できず、しかも一人の人のオフィスにしまい込まれことがある。さらに、そのボード上に書かれたすべての情報は、時間が経過すると消去されなくなってしまう。非電子ホワイトボードのさらに別の欠点は、ボード上の継続的書き込みがボードスペースを占有して共同活動をするためのボードの効用を減じてしまうことである。
【００１７】
本発明の一態様は、共同活動時にホワイトボード上に生成された情報の自動検知及び共有と、非シーケンシャルアクセスで特定のエピソードにアクセスできるような情報の経緯のアーカイブ及び保存と、ボード上の継続的書き込みの検知、アーカイブ及び提示とを提供する。その結果として、ボード上の情報は関連する共同作業者に配布される。さらに情報を失うことなくボードを消去できるように、書き込み及び書き込みの経緯は、簡単にアクセスできるように保存される。
【００１８】
本発明の一態様は、共同活動時にホワイトボード上に生成された情報の自動検知及び共有について扱う。
【００１９】
本発明の一態様は、ホワイトボードで行われた共同活動を自動的に検知し、共同活動時に修正されたホワイトボードの領域が共同作業者の一部あるいはすべての人に入手できるようにする方法及びシステムを記述する。
【００２０】
本発明の一態様は、集積された可視化を介してホワイトボード活動への非シーケンシャルなアクセスを提供する。
【００２１】
これらの態様は、ホワイトボード上の書き込みの経緯及び背景の消失、及び普通のホワイトボード上への書き込みが短命な性質であることから時間の経過と共にホワイトボード上に書き込まれた種々のタイプの情報が一般的に消失することに対する取り組みをしている。
【００２２】
本発明の一態様は、そのままにしておけばホワイトボードを消せば失われる情報を保存するために、ホワイトボード画像をデジタル的にキャプチャする。アーカイブされたキャプチャ画像が増えると、古い画像を見つけることが次第に困難になってくる。本発明の一態様は、変化のパターンに基づいて画像中に情報を組み込むことにより、画像の収集を運用する方法及びシステムを提供する。画像はコンテンツ解析及びメタデータによりグループ分けされ、ユーザが、このグループ分けの視覚表示と対話しながら収集された画像をフィルタリングすることができる。
【００２３】
ホワイトボード上への書き込みに反映された活動の履歴や背景の消失に対処するために、ホワイトボードのコンテンツが、ホワイトボードのコンテンツから撮影したデジタル写真として保存されアーカイブされる。大きなディスプレイのコンテンツをキャプチャした後、本発明の態様は、過去の共同活動に関する背景情報を提供する。例えば、時間と共にコンテンツが変遷した履歴は、共同活動によってアイディアがどのように展開されていったかを理解し、あるいは議論されたが採用されなかったアイディアを見つけるのに利用することができる。本発明の態様は、ホワイトボードの履歴、及びホワイトボードのコンテンツが時間経過とともにどのように変化し、展開されていったかの情報を提供する。共同活動に参加、あるいは貢献した共同作業者の識別もまた、アーカイブされた画像と共にメタデータとしてアーカイブされる。
【００２４】
本発明の一態様は、ホワイトボードから継続的な書き込み及び覚え書を再利用する方法及びシステムを提供する。
【００２５】
本発明の一態様は、覚え書あるいは他の継続的書き込みを表すホワイトボードの領域をユーザが半自動的あるいは自動的に選択することができる方法及びシステムを提供する。覚え書領域はデスクトップ上のオーバレイとして表示することが可能で、消去された後でも覚え書としての役目を果たす。さらに、覚え書をユーザのデスクトップに移すことによって、覚え書はユーザがホワイトボードを見ていない時あるいはオフィスにいない時でも利用することができる。覚え書は移動してサイズを変えることができる。そして選択された覚え書領域は覚え書がデスクトップに移された後は隠れてしまってもよい。
【００２６】
本発明の一態様は、ユーザがボード上のコンテンツの開発に参加している場合、ボードのコンテンツをボードのユーザへ自動的に伝送する方法及びシステムを提供する。この方法が、ボードの所にいる１人又は複数のユーザをユーザエンティティとして識別するステップと、ボードの所にいるユーザエンティティに従ってイベントを区分し、ユーザのうち誰かがいなくなったり、新しいユーザが来たりすることによってユーザエンティティが変化するときに第１のイベントから第２のイベントに変化し、かつすべてのユーザが去ってボードでの活動が終わるときに第１のイベントが終わるようにイベントを区分するステップと、イベントの１つに応答してボードのコンテンツに生じる変化を検知するステップと、ボードのコンテンツ変化を検知したステップに対応するイベント時にボードの所に居たユーザエンティティに対してのみ変化したボードの領域を伝送するステップと、を含む。ボードのコンテンツの変化を検知するステップが、イベントの前にキャプチャされたボードの第１のデジタル画像を、イベントが始まった後にキャプチャされたボードの第２のデジタル画像と比較するステップと、ボードの変化した領域を、第１のデジタル画像から第２のデジタル画像へ修正されたコンテンツを有するボード領域に関係する領域として検知するステップと、を含んでいる。ユーザエンティティの１人又は複数のユーザは、ユーザエンティティ以外の他の人へ変化領域を伝送してもよい。システムが、ボードで収集されたデータを受信し格納するためのデータベースと、ボードにおけるイベントの発生を判定し、それぞれのイベントに関連するコンテンツを判定する１つ又は複数のプロセッサと、を含み、ここで、データはボードの画像と、ボードの所で検知される１人又は複数の貢献者の識別とを含み、イベントのそれぞれはボードの所で検知される１人又は複数の貢献者の識別によって画定され、またそれぞれのイベントに関連するコンテンツはそのイベント中に修正されたボードの画像の一部を含んでいる。システムは、それぞれのイベントに関連するコンテンツをそのイベントに貢献した人の個人のコンピュータ装置へ伝送するための、入力及び出力インタフェースも含む。それぞれのイベントは、単独の貢献者による個人的なイベントであってもよいし、あるいは２人以上の貢献者を含む共同作業であってもよい。個人的イベントの後で個人的なコンテンツがボード上で修正されたことが検知されるコンテンツを含み、共同イベントの後で共同作業コンテンツはボード上で修正されたことが検知されるコンテンツを含む。個人的コンテンツは、その個人的コンテンツに関連した個人的イベントへの単独貢献者に関連する個人用コンピュータ装置へ伝送される。共同作業コンテンツは、共同作業コンテンツに関連した共同イベントへの貢献者に関連する個人用コンピュータ装置へ伝送される。システムは、ボードの画像をキャプチャするためのデジタルカメラと、ボードでの人間の活動の指標を検知するための１つ又は複数のセンサも含んでよい。
【００２７】
本発明の第１の態様は、ボード上に生成された共同作業コンテンツを自動的に検知する方法であって、（ａ）複数の共同作業者が前記ボードの近辺に存在することによって共同イベントを検知し、（ｂ）前記ボード上のコンテンツの変化を検知し、（ｃ）前記ボード上のコンテンツの変化と前記共同イベントとの間の関係を判定することにより共同作業コンテンツを判定し、（ｄ）前記共同作業コンテンツを格納する。
【００２８】
本発明の第２の態様は、第１の態様の方法であって、前記ボードの画像を受信する、ことをさらに含み、（ｂ）が、それぞれの画像を、それ以前の時刻において得られた先行画像と比較することを含む。
【００２９】
本発明の第３の態様は、第１の態様の方法であって、前記共同作業コンテンツが、前記共同イベント中に生成された第１のコンテンツ、前記共同イベント中に修正された第２のコンテンツ、及び前記第１のコンテンツもしくは前記第２のコンテンツに隣接しかつ関連する第３のコンテンツ、の１つ又は複数を含む。
【００３０】
本発明の第４の態様は、第２の態様の方法であって、（ｃ）が、前記共同イベントの前にキャプチャされた第１の画像と、前記共同イベントが開始された後にキャプチャされた少なくとも１つの第２の画像と、を比較することを含む。
【００３１】
本発明の第５の態様は、第２の態様の方法であって、前記共同作業者を識別することをさらに含む。
【００３２】
本発明の第６の態様は、第５の態様の方法であって、前記共同作業コンテンツを前記共同作業者へ伝送することにより前記共同作業コンテンツを前記共同作業者と共有することをさらに含む。
【００３３】
本発明の第７の態様は、第２の態様の方法であって、前記ボードの前記画像をキャプチャすることをさらに含み、前記ボードの前記画像をキャプチャすることが、一定時間間隔、前記ボード近辺での活動を感知した後から始まり、前記ボード近辺での活動がない所定の期間を感知した後に終わる一定時間間隔、それぞれの共同イベントが別の共同イベントへ変化した後、あるいは、前記ボードへの視界が遮蔽されないことが感知される場合、に実行される。
【００３４】
本発明の第８の態様は、ボード上の共同作業コンテンツを自動的に検知するシステムであって、前記ボードでの共同イベントを検知するための少なくとも１つのセンサと、前記ボード上の前記コンテンツ及び前記ボードにおける前記共同イベントの指標と、を含む、前記ボードにおいて収集されたデータを受信し、格納するデータベースと、前記共同イベントに関係している前記ボード上の前記コンテンツを、前記共同作業コンテンツとして判定するための少なくとも１つのプロセッサと、を含み、前記共同作業コンテンツは、前記ボード上の前記コンテンツの変化と前記共同イベントの前記指標との間の関係から判定される。
【００３５】
本発明の第９の態様は、第８の態様のシステムであって、前記ボード上の前記コンテンツの変化は、それぞれの画像をそれ以前の時刻において得られた先行画像と比較することにより検知される。
【００３６】
本発明の第１０の態様は、第８の態様のシステムであって、前記共同イベントにおける共同作業者の識別を検知する少なくとも１つの検知装置をさらに含み、前記少なくとも１つの検知装置は、顔認識モジュール及びアクティブバッジを含む。
【００３７】
本発明の第１１の態様は、第８の態様のシステムであって、前記ボードの前記画像をキャプチャすることが、一定時間間隔、前記ボード近辺での活動を感知した後から始まり、前記ボード近辺での活動がない所定の期間を感知した後に終わる一定時間間隔、それぞれの共同イベントが別の共同イベントへ変化した後、あるいは、前記ボードへの視界が遮蔽されないことが感知される場合、に実行されることを特徴とする。
【００３８】
本発明の第１２の態様は、ボード上のコンテンツの経時変化を非シーケンシャルに可視化する方法であって、該方法は、ユーザのエピソード記憶を利用して前記ユーザにより前記ボード上で生成もしくは修正されたコンテンツの場所を検出するように構成されており、該方法が、（ａ）所定の時間幅に亘ってキャプチャされた画像であって、それぞれの画像が前記ボードのサブ領域に対応する複数のサブ画像に分割されている、前記ボードの画像を検索し、（ｂ）それぞれの画像をそれ以前の時刻において得られた先行画像と比較して、前記サブ領域のそれぞれに対するスコアを、前記サブ領域に対応するサブ画像のある画像から別の画像への変化を示す関数として決定し、（ｃ）前記スコアを頻度マップに写像することによりスコアを可視化し、（ｄ）前記頻度マップをユーザに表示する。
【００３９】
本発明の第１３の態様は、第１２の態様の方法であって、（ｃ）が、前記ボードの２次元表示へ前記スコアを写像することによって前記頻度マップを作製することを含み、前記方法が、前記ユーザからの前記ボードの第１の領域の選択を受信し、前記第１の領域に対応する前記ボードのサブ画像を前記ユーザに表示する、ことをさらに含む。
【００４０】
本発明の第１４の態様は、第１２の態様の方法であって、前記所定の時間幅に亘って前記ボードの前記画像をキャプチャし、前記画像をデータベースに格納し、それぞれの画像を複数のサブ画像に分割し、それぞれの画像を複数のサブ画像に分割する前に、前記ボードの前記画像が変化しているかどうかを判定するためにそれぞれの画像を先行画像と比較する、ことをさらに含む。
【００４１】
本発明の第１５の態様は、第１４の態様の方法であって、前記所定の時間幅の中に含まれる複数の時間間隔のそれぞれの時間間隔における前記画像の変化の関数として、第１のスコアを決定し、前記第１のスコアを前記時間間隔に区分されたタイムラインに写像することにより、１次元の頻度マップを形成し、前記ユーザから、前記複数の時間間隔の中から少なくとも１つの第１の時間間隔の選択を受信し、前記少なくとも１つの第１の時間間隔に対応する前記ボードの前記画像を前記ユーザに表示する、ことをさらに含む。
【００４２】
本発明の第１６の態様は、前記ボードのコンテンツの経時変化を非シーケンシャルに可視化するシステムであって、該システムは、ユーザのエピソード記憶を利用して前記ユーザにより前記ボード上で生成あるいは修正されたコンテンツの場所を検出するように構成されており、該システムが、所定の時間幅に亘ってキャプチャされ、前記ボードのサブ領域に対応する複数のサブ画像に分割された画像を受信する入力インタフェースと、それぞれの画像を先行画像と比較して、前記サブ領域のそれぞれに対するスコアを、前記サブ領域に対応するサブ画像のある画像から別の画像への変化を示す関数として決定する少なくとも１つのプロセッサと、前記スコアを頻度マップへ写像することにより、スコアを可視化する可視化モジュールと、前記頻度マップを前記ユーザへ表示する出力インタフェースと、を含む。
【００４３】
本発明の第１７の態様は、ボード上に生成された共同作業コンテンツを自動的に検知するためのコンピュータプログラムであって、コンピュータに、複数の共同作業者がボードの近辺に存在することによって共同イベントが検知されたことを受信し、前記ボード上のコンテンツの変化が検知されたことを受信し、前記ボード上のコンテンツの変化と前記共同イベントとの間の関係を判定することにより共同作業コンテンツを判定し、前記共同作業コンテンツを格納する、手順を実行させる。
【００４４】
第１の態様の方法において、（ａ）が、前記ボードに向けられた少なくとも１つのカメラでキャプチャされたビデオ画像の変化を検出することと、前記ボードに向けられた前記少なくとも１つのカメラでキャプチャされた静止画像の変化を検出することと、のいずれか１つ、あるいはその組合せを含むようにしてもよい。
【００４５】
第１の態様の方法において、（ａ）が、前記ボード付近における行動を感知するためのカメラ画像、音響センサ、動きセンサ、振動センサ、荷重センサ、ＲＦＩＤ装置、無線通信装置、の１つ又は複数からのデータを利用することを含むようにしてもよい。
【００４６】
第６の態様の方法において、前記ボードの前記画像を、前記画像をキャプチャした時刻及び前記ボードの位置を示す第１のメタデータと共に格納し、前記共同作業コンテンツを、前記共同イベントにおける前記共同作業者の識別、前記共同イベントの日付、時刻、継続時間、及び前記ボードの位置を示す第２のメタデータと共に格納する、ことをさらに含むようにしてもよい。
【００４７】
第８の態様のシステムにおいて、前記共同イベントを検知するための前記少なくとも１つのセンサが、活動の有無のいずれかを示す、人の活動のバイナリ指標を提供するようにしてもよい。
【００４８】
第８の態様のシステムにおいて、前記共同イベントを検知する前記少なくとも１つのセンサが、前記ボードの近辺の静止画像をキャプチャするカメラと、前記ボードの近辺で感知されるオーディオストリームを感知する音響センサと、前記ボードの近辺で感知されるビデオストリームを感知するビデオセンサと、振動センサと、荷重センサと、動きセンサと、ＲＦＩＤ装置と、無線通信装置と、顔検出モジュールと、の内の少なくとも１つを含み、前記少なくとも１つのセンサにより収集された前記指標は融合されるようにしてもよい。
【００４９】
第８の態様のシステムにおいて、前記ボードにおいて収集された前記データが、前記ボードの位置と、前記ボードの前記画像のそれぞれのキャプチャ時刻とをさらに含むようにしてもよい。
【００５０】
第１２の態様の方法において、前記変化の特質としては追加、消去、置換を含み、前記変化の発生は、変化があるかないかを示すバイナリ変化と、数字で表した変化の度合いとから選択されるようにしてもよい。
【００５１】
第１２の態様において、前記サブ画像の前記変化の関数としてスコアを決定することが、前記変化の発生の関数として前記スコアを決定することを含むようにしてもよい。
【００５２】
第１６の態様のシステムにおいて、前記出力インタフェースは前記頻度マップを含む前記ボードの２次元表示を前記ユーザに表示し、前記システムが、前記ユーザからの前記ボードの第１の領域の選択を受信するグラフィカルユーザインタフェース（ＧＵＩ）をさらに含み、前記出力インタフェースは、前記第１の領域に対応する前記ボードの前記サブ画像を前記ユーザに表示するようにしてもよい。
【００５３】
第１６の態様のシステムにおいて、前記ボードの前記画像をキャプチャするカメラと、前記ボードの前記画像を格納するデータベースと、をさらに含み、前記入力インタフェースが前記カメラから前記ボードの前記画像を受信し、前記少なくとも１つのプロセッサはそれぞれの画像を前記複数のサブ画像に分割し、それぞれの画像を複数のサブ画像に分割する前に、前記少なくとも１つのプロセッサが、前記ボードの前記画像が変化しているかどうかを検知するためにそれぞれの画像を先行画像と比較するようにしてもよい。
【００５４】
第１６の態様のシステムにおいて、前記少なくとも１つのプロセッサが、前記所定の時間幅の中に含まれる複数の時間間隔のそれぞれの時間間隔の間における前記画像の変化を示す第１のスコアを決定し、前記少なくとも１つのプロセッサが、前記第１のスコアを前記時間間隔に区分されたタイムラインに写像することにより、１次元の頻度マップを形成し、前記入力インタフェースが、前記複数の時間間隔の中から少なくとも１つの第１の時間間隔の選択を前記ユーザから受信し、前記出力インタフェースが、前記少なくとも１つの第１の時間間隔に対応する前記ボードの前記画像を前記ユーザに表示するようにしてもよい。
【００５５】
本発明の一態様は、ボードのコンテンツから継続的覚え書を抽出する方法であって、（ａ）前記ボードの画像を受信し、（ｂ）前記継続的覚え書に対応する前記画像のサブ画像を、検知されたサブ画像として検知し、（ｃ）前記検知されたサブ画像を抽出されたサブ画像として抽出し、（ｄ）前記抽出されたサブ画像を格納する。
【００５６】
上記態様の方法において、（ｂ）が、前記継続的覚え書に対応する覚え書領域を選択することを含むようにしてもよい。
【００５７】
さらに、前記覚え書領域が、ユーザにより提供された入力に応答して手動で選択されるようにしてもよい。
【００５８】
また、前記覚え書領域は、前記ボードの縁から第１の距離内に位置し、かつ第１の継続期間の間持続するマークを有した第１の領域と、前記ボードの前記縁から第２の距離内に位置し、かつ境界線で囲まれた第２の領域と、所定のトークンを有する第３の領域と、の内の少なくとも１つとして自動的に選択され、前記第１の距離、前記第１の継続時間、及び前記第２の距離は、事前に決定されるか、あるいはユーザからの入力として受信され、前記第１の継続時間の間持続する前記マークは、少なくとも前記第１の継続時間に等しい期間を越えてキャプチャされる前記ボードの画像のデータベースを参照して決定されてもよい。
【００５９】
前記覚え書領域は、ユーザ入力に従って事前に設定され、かつ変化したことが検知されたコンテンツを有する第１の領域として半自動的に選択されてもよい。
【００６０】
上記態様の方法において、少なくとも１つの前記抽出されたサブ画像をユーザに表示することをさらに含み、前記抽出されたサブ画像の表示はユーザ動作により、あるいは自動的に起動され、スクリーン上に表示されている前記抽出されたサブ画像の表示が、前記スクリーン上の他のウィンドウのオーバレイとなる、オーバレイによる遮蔽を防ぐために変更可能な程度の透明度を有する、前記ユーザにより前記サブ画像のサイズ変更、倍率変更、移動、隠蔽、表示、削除を含む修正が可能となっている、あるいは、前記ユーザにより追加の詳細を加えられる、ようになっており、表示されている前記抽出されたサブ画像は、ほかのユーザと電子的に共有され、前記抽出されたサブ画像は、個人情報管理ソフトウェアを介して利用されてもよい。
【００６１】
上記態様の方法において、前記ボードの前記画像をキャプチャすることをさらに含んでもよい。
【００６２】
さらに、それぞれの画像に対するメタデータをキャプチャし、前記抽出されたサブ画像のそれぞれに対するレコードを前記データベースに格納し、前記レコードは抽出されたサブ画像のそれぞれと、前記抽出されたサブ画像を含む前記画像に対応するメタデータと、を含み、サブ画像の重複を排除するために、それぞれのレコードをそれ以前に格納されたレコードと比較する、ことをさらに含み、前記メタデータは、前記画像をキャプチャしたカメラの所有者の少なくとも１つの識別と、前記抽出されたサブ画像が抽出される前記画像の識別と、前記抽出されたサブ画像が抽出される領域の識別と、前記領域の形状と、前記画像をキャプチャした日付及び時刻と、前記抽出したサブ画像を継続的覚え書に対応するものとして最初に検知した時刻と、前記レコードを生成した日付及び時刻と、を含んでもよい。
【００６３】
本発明の一態様は、ボードのコンテンツから継続的覚え書を抽出するシステムであって、前記ボードの画像を受信する入力インタフェースと、所定の期間に亘ってキャプチャされた前記ボードの前記画像として保存された前記ボードの履歴を格納するデータベースであって、前記ボードの履歴は前記ボード上に継続して存在している書き込みを識別することに利用される、データベースと、前記継続的覚え書に対応する画像のサブ画像を検知されたサブ画像として検知し、かつ前記検知されたサブ画像を抽出されたサブ画像として抽出する少なくとも１つのプロセッサと、を含む。
【００６４】
上記態様のシステムにおいて、前記継続的覚え書に対応する前記サブ画像の検知が、前記継続的覚え書に対応する、前記画像の覚え書領域の選択を含み、前記覚え書領域は、ユーザからの入力に応答して手動選択されてもよい。
【００６５】
上記態様のシステムにおいて、前記継続的覚え書に対応する前記サブ画像の検知が、前記継続的覚え書に対応する、前記画像の覚え書領域の選択を含み、前記覚え書領域は自動的に選択されてもよい。
【００６６】
上記態様のシステムにおいて、前記継続的覚え書に対応する前記サブ画像の検知が、前記継続的覚え書に対応する、前記画像の覚え書領域の選択を含み、前記覚え書領域は半自動的に選択されてもよい。
【００６７】
上記態様のシステムにおいて、前記抽出されたサブ画像をユーザに表示するインタフェースと、前記画像をキャプチャするカメラと、をさらに含んでもよい。
【００６８】
本発明に関するその他の態様は、以下の説明で部分的に説明され、また以下の説明で部分的に明白であり、又は本発明の実行により習得することができる。本発明の態様は、構成要素、及び種々の構成要素と以下に詳細を記述する説明及び添付の請求範囲に特に指定された態様との組合せ、によって実現及び達成することができる。
【００６９】
上述及び以下の説明はいずれも、単に例示及び説明を目的とするものであり、特許請求の範囲に記載の発明もしくはその応用を限定することは全く意図していないことを理解されたい。
【発明の効果】
【００７０】
本発明によれば、非電子的な大きなボードを用いた共同作業において、該ボード上への書き込みに関する活動の履歴や背景を保存することができる。
【図面の簡単な説明】
【００７１】
【図１Ａ】本発明の態様による、ホワイトボードを利用して行われる共同活動のコンテンツ及び背景の自動検知及び伝達の模式的表示である。
【図１Ｂ】本発明の態様による、ホワイトボードを利用して行われる共同活動のコンテンツ及び背景の自動検知及び伝達の模式的表示である。
【図１Ｃ】本発明の態様による、ホワイトボードを利用して行われる共同活動のコンテンツ及び背景の自動検知及び伝達の模式的表示である。
【図１Ｄ】本発明の態様による、ホワイトボードを利用して行われる共同活動のコンテンツ及び背景の自動検知及び伝達の模式的表示である。
【図２Ａ】本発明の態様による、共同作業コンテンツの検知方法のフローチャートである。
【図２Ｂ】本発明の態様による、ホワイトボードを利用して行われる共同活動のコンテンツ及び背景の自動検知及び伝達の方法のフローチャートである。
【図３Ａ】本発明の態様による、ホワイトボードのコンテンツの変化を検知しキャプチャ画像を保存する方法のフローチャートである
【図３Ｂ】本発明の態様による、ホワイトボード画像の修正部分を検知する例示の方法のフローチャートである。
【図４Ａ】本発明の態様による、共同活動情報をアーカイブし共有するためのシステムを示す。
【図４Ｂ】本発明の態様による、感知されたイベントとキャプチャされた画像間の対応の模式的表示である。
【図５Ａ】本発明の態様による、特定のユーザに示されたキャプチャ画像の外観例を示す。
【図５Ｂ】本発明の態様による、特定のユーザに示されたキャプチャ画像の外観例を示す。
【図５Ｃ】本発明の態様による、特定のユーザに示されたキャプチャ画像の外観例を示す。
【図５Ｄ】本発明の態様による、特定のユーザに示されたキャプチャ画像の外観例を示す。
【図６】本発明の態様による、ホワイトボードでのコンテンツ修正の頻度マップを生成する例示の方法のフローチャートである。
【図７】本発明の態様による、ホワイトボードの修正対象領域における変化の頻度を可視化するための例示的な２次元頻度マップ、すなわちヒートマップである。
【図８】本発明の態様による、ホワイトボード上のコンテンツの変化の頻度を表す例示的な１次元頻度マップ、すなわちタイムラインである。
【図９】本発明の態様による、変化頻度を利用した画像データベースから画像を検索する例示の方法のフローチャートである。
【図１０Ａ】本発明の態様による、ホワイトボード画像から覚え書を抽出し、その画像を個人用装置上にオーバレイとして表示する方法の模式的表示である。
【図１０Ｂ】本発明の態様による、ホワイトボード画像から覚え書を抽出し、その画像を個人用装置上にオーバレイとして表示する方法の模式的表示である。
【図１０Ｃ】本発明の態様による、ホワイトボード画像から覚え書を抽出し、その画像を個人用装置上にオーバレイとして表示する方法の模式的表示である。
【図１０Ｄ】本発明の態様による、ホワイトボード画像から覚え書を抽出し、その画像を個人用装置上にオーバレイとして表示する方法の模式的表示である。
【図１１Ａ】本発明の態様による、ホワイトボード画像から覚え書を抽出し、その覚え書をユーザの電子ディスプレイ上にオーバレイとして格納ないし表示する方法のフローチャートを示す。
【図１１Ｂ】本発明の態様による、ホワイトボード画像から覚え書を抽出し、その覚え書をユーザの電子ディスプレイ上にオーバレイとして格納ないし表示する方法のフローチャートを示す。
【図１２】本発明のシステムを実装するコンピュータプラットフォームの例示的実施形態を示す。
【図１３】本発明のさまざまな態様とコンピュータプラットフォームの関連を示すための例示的機能図である。
【発明を実施するための形態】
【００７２】
以下の詳細な説明においては添付の図面を参照する。ここで、同一の機能的要素は同様の符号で示される。前述の添付図面は、本発明の原理に合致する特定の実施形態及び実装形態を限定としてではなく、例示として示す。これらの実装形態は、当業者が本発明を実行できるように十分詳細に説明される。また、本発明の範囲及び趣旨を逸脱することなしに、他の実装形態が利用されてもよいこと、及び様々な要素の構造上の変更及び／又は代用が行われてもよいことを理解されたい。従って、以下の詳細な説明は限定的な意味で解釈されるべきではない。さらに、説明される本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェアの形態、又は専用ハードウェアの形態、あるいはソフトウェアとハードウェアの組合せ、のいずれで実施されてもよい。
【００７３】
本明細書を通じて、「ホワイトボード」という用語は、手を使って描いたり、書き込んだりするために用いられ、かつ簡単に消去できる、ホワイトボードや黒板などの大きな面を指す。この面は実質的に垂直に置かれてもよいし、水平あるいは、別の、書いたり描いたりするのに都合のよい方向に向けられていてもよい。本明細書で使用される「ホワイトボード」は、マーカーボード、ドライイレースボード、ドライワイプボード、ペンボードなどとしても知られている、光沢表面を有し、最も一般的には白い色をしていて、非永続書き込みができる、通常のホワイトボードであってよい。本明細書で使用している「ホワイトボード」は、黒板のことも含んでよい。ホワイトボードへの記入は、消去可能なインクを含む特製ペン、チョーク、あるいは簡単に消すことのできるその他の種類のマーカなどを使用できる。ホワイトボードはメラミン樹脂、ポリエステル被膜スチールや、エナメル処理スチールで作られる。本発明で使用する「ホワイトボード」という用語は、ホワイトボードを模擬し、仮想的なホワイトボードと呼ばれている、コンピュータソフトのアプリケーションは含まない。実効的に特殊用途のコンピュータである電子ホワイトボードは、非電子ホワイトボードとして写真撮影することはできる。従って、本発明の態様は電子ホワイトボードにも適用し得るが、その場合は電子ホワイトボードの電子的特性には依存しない。
【００７４】
本発明のさまざまな態様は、ホワイトボードにおいて行われ、かつそのホワイトボードへ文字や図を書くことを含む、共同活動において生成される情報の自動検知、アーカイブ、及び共有を含む。
【００７５】
本発明の態様は、ホワイトボード上に生成されたコンテンツをその関連の背景と共に自動検知しキャプチャする。関連する背景としては、共同活動に参加してホワイトボード上のコンテンツを生成した、一人ひとりの識別が含まれる。そうすると、コンテンツ及び背景情報は、参加する共同作業者がウェブベースのユーザインタフェース（ＵＩ）を介して自動的に入手可能となる。ＵＩはまた、仲間との共同活動の経緯を共有する機能と共に、キャプチャされた経緯を通して検索及びブラウズする能力もサポートする。共同作業者へのコンテンツ及び背景情報の収集及び伝達の結果、支援する現場の共同作業に与えるホワイトボードの全体の価値が増大する。
【００７６】
図１Ａ、図１Ｂ、図１Ｃ、図１Ｄは、本発明の態様による、ホワイトボードを利用して行われる共同活動のコンテンツ及び背景の自動検知及び伝達を表す例示的な模式図である。
【００７７】
図１Ａ、図１Ｂ、図１Ｃ、図１Ｄはそれぞれ光景１００、２００、３００、４００を含み、これらは以下に説明するようにさまざまな場所で起きるイベントのタイムラインを示す。これらのイベントは、本発明の態様の自動検知、アーカイブ及び共有の方法及びシステムの操作例を説明するためのものである。
【００７８】
図１Ａは第１の光景１００を示し、ホワイトボード９０とカメラ９５を含んでいる。カメラ９５はホワイトボード９０に向けられ、ボードのコンテンツ画像を取得する。光景１００では、第１のユーザ１０１がホワイトボード９０に近づき、ボード上に文字や図を書いて第１のコンテンツ１０３を生成する。例示したコンテンツ１０３はＥｒｉｃａとＴｉｍの電話番号であり、ボードの左上隅に書かれている。第１のコンテンツ１０３は共同作業で生成されたものではなく、このコンテンツは第１のユーザ１０１が単独で生成したものである。第１のコンテンツ１０３は個人の、すなわち一人のイベントで作られた個人的コンテンツである。
【００７９】
図１Ｂは、時間的にこの後に起きる第２の光景２００を示す。光景２００においては、第１のユーザ１０１がまだホワイトボードの所にいるときに、第２のユーザ２０１がホワイトボード９０に近づく。第１のユーザ１０１と第２のユーザ２０１とがホワイトボードの所にいる間に、第２のコンテンツ２０３が二人のユーザ１０１、２０１のいずれかによって、あるいは二人の共同で生成される。第２のコンテンツ２０３は、第１のユーザあるいは第２のユーザのいずれかによって生成されるか、もしくは両者からの貢献を含む。しかし、このコンテンツは二人のユーザが共にボードの前にいる、時刻２００に生成されたものであり、第２のコンテンツ２０３は第１のユーザ１０１と第２のユーザ２０１との共同作業の産物として生成されたと想像される。従って、第２のコンテンツ２０３は、そのコンテンツを生成した一人のユーザとか複数のユーザとかによってではなく、コンテンツが生成された時間にその場にいたユーザによって識別され、二人以上の人がその場にいたから、第２のコンテンツ２０３は共同作業コンテンツと見なされる。
【００８０】
図１Ｃは第２の光景２００の後に起きる、第３の光景を示す。光景３００ではユーザ１０１、２０１は二人ともホワイトボードから去ってしまっている。さらに、光景３００では第１のコンテンツ１０３及び第２のコンテンツ２０３の両方がボード９０上に残っている。
【００８１】
図１Ｄは第３の光景３００の後に起きる、第４の光景を示す。光景４００では、ユーザ１０１、２０１のそれぞれは、自分のオフィス４０１、４０２に戻っている。第１のユーザ１０１は、自分のオフィス４０１に第１のパソコン４０５を有している。第２のユーザ２０１は、自分のオフィス４０２に第２のパソコン４０７を有している。ホワイトボード９０の画像がそれぞれのユーザのパソコン４０５、４０７のスクリーン上に示されている。第１のユーザ１０１は、第１のコンテンツ１０３及び第２のコンテンツ２０３の両方が生成された時にその場にいた。従って、第１のユーザには、第１のコンテンツ１０３及び第２のコンテンツ２０３の両方が、第１のユーザに属する第１のパソコン４０５のディスプレイすなわちスクリーン上に提供される。第２のユーザ２０１は、第２のコンテンツ２０３の作成の時だけその場にいた。従って、第２のコンテンツ２０３のみが、第２のユーザ２０１に属する第２のパソコン４０７に提供される。言い換えれば、ユーザのオフィスで再表示されるコンテンツ及び情報は、再表示される場所に基づいて決定される。
【００８２】
図１Ｄに示される例示的な実施形態においては、パソコン４０５、４０７はホワイトボード９０の全体を示すが、表示されるのはそれぞれのユーザに許可されたホワイトボードのコンテンツのみである。別の実施形態では、パソコン４０５、４０７上に表示される画像は、ホワイトボード９０の全体を示すか、その許可された部分だけを示すかは調整可能となっている。例えば、共同作業コンテンツ２０３部分のみ表示する、第２のオフィス４０２にあるパソコン４０７は、ボード９０の内の共同作業コンテンツ２０３を含む部分のみしか表示しなくてもよい。
【００８３】
さらに、パソコンのディスプレイ、つまりスクリーンに表示されるそれぞれの画像は、パソコンのユーザによって拡大、回転、あるいはその他の操作を行うことができる。
【００８４】
ボード９０を示している光景１００、２００、３００のそれぞれは、動き検知器（センサ）６００と共同作業検知器（センサ）７００も含んでいる。第１のユーザ１０１のみがボードの所にいる光景１００においては、動きが検知され、共同作業は検知されないので、動き検知器６００のみがハイライトされている。共同作業は、ボードの所に二人以上の人を検出することが含まれる。第１のユーザ１０１及び第２のユーザ２０１の両方がボードの所にいる光景２００においては、動きも共同作業も検知されるので、動き検知器６００及び共同作業検知器７００の両方がハイライトされている。光景３００では、動きも共同作業も検知されず、どちらの検知器もハイライトされていない。
【００８５】
コンテンツ１０３、２０３の他に、単一ユーザあるいは共同作業ユーザの識別、コンテンツの生成時間、ボードの位置、などの様々な背景に関する情報が、メタデータとしてそれぞれのコンテンツに関連付けられ、ユーザはパソコン４０５、４０７でそれを入手できる。
【００８６】
図２Ａは本発明の態様による、共同作業コンテンツの検知方法のフローチャートである。
【００８７】
図２Ａに示された方法は全体の概要を示す。この方法がステップ２１００で始まる。ステップ２１０１においてボードでの共同作業が検知される。本発明の一態様によれば、ボードに向けられたビデオカメラからのビデオストリーミングが、ボードでの活動を判定するのに利用される。他のタイプのセンサも同様に利用可能である。ステップ２１０２で、ボードのコンテンツの変化が検知される。コンテンツの変化は、ボードに向けられたデジタルカメラでキャプチャされた、連続したスチール写真を比較することによって検知される。ステップ２１０３においてプレビューとして提供されるコンテンツを、ステップ２１０４においてユーザは所望により修正することができる。ステップ２１０５で、本方法は共同作業者が識別されたかどうかを判定する。共同作業者の識別はいくつかの自動的な方法で判定される。共同作業者の識別がわからない場合には、ステップ２１０６でユーザが共同作業者を選択する機会を与えられる。共同作業者の識別がわかっている場合、あるいはユーザが共同作業者を選択した後、ステップ２１０７において、共同作業コンテンツがｅメールを含む様々は形態でユーザの装置に伝達されて、共同作業者の間で共有される。ステップ２１０８でこのプロセスが完了する。
【００８８】
本発明の一態様では、活動の検知とボードコンテンツのキャプチャには異なる装置が使用される。ある態様では、活動あるいは共同作業の検知と、コンテンツの検知及びキャプチャの両方の段階に、例えば同一のデジタルカメラとか同一のビデオカメラが使用される。ある態様では、ボード画像のキャプチャはその時々の様子に応じて、カメラの視界が遮られない場合に実行される。ある態様では、ボードでの動きが検出されなくなってある期間が経ってから、最後の画像がキャプチャされる。
【００８９】
コンテンツの変化は、それが一人の書き手によって行われようが、二人以上の書き手によって共同作業的に行われようがそれには関係なしに、検知されてデータベースに記録される。ボードコンテンツにおいて共同作業による有意の変化があったかどうかの検知は、後で、ホワイトボードのコンテンツの変化を、ボードの前の書き手及び共同作業者の動きと相関を取る段階になって可能となる。共同作業コンテンツと共同作業者との関連は、データベースあるいは個人ファイルシステムに格納される。共同作業コンテンツは、共同作業者あるいはその関係者のすべてあるいは一部に送信されてもよいし、されなくてもよい。
【００９０】
図２Ｂは本発明の態様による、ホワイトボードを利用して行われる共同活動のコンテンツ及び背景の自動検知及び伝達の例示的な方法のフローチャートである。
【００９１】
この方法はステップ２０００で始まる。ステップ２００１で、動きなどのような活動が、ボードあるいはその近辺で検知もしくは感知される。ボードあるいはその近辺とは、ボードの付近全般をさす。活動が、一人のユーザによる個人活動であると感知あるいは識別される。ステップ２００２で、第１のコンテンツ１０３を含むホワイトボードの第１の画像がキャプチャされる。第１のコンテンツが生成されたときにその場にいた第１のユーザ１０１の識別を含むメタデータもキャプチャされる。第１のコンテンツは第１のユーザに関連する個人コンテンツである。ステップ２００３では、ボードあるいはその近辺、及びボードの付近全般において、共同作業の発生が検知あるいは感知される。ステップ２００４で、第２のホワイトボード画像がキャプチャされる。この中には第２のコンテンツ２０３と、ホワイトボードでの共同作業の発生及びその詳細を示すメタデータとが含まれる。第２のコンテンツは、第１のユーザと第２のユーザの両方に関連する共同作業コンテンツである。ステップ２００５で、ボードでの感知される活動がなくなり、第１のユーザ１０１と第２のユーザ２０１がいなくなったことがわかる。ここで、ある時間が経過した後であり、ボードでの活動が感知及び検知されなくなった後にボードからキャプチャされた画像から第２のコンテンツが決定される。ステップ２００６において、第１のコンテンツ１０３と第２のコンテンツ２０３が第１のユーザに関連する第１のオフィスに再表示のために送信され、第２のコンテンツ２０３のみが第２のユーザに関連する第２のオフィスに送信される。ステップ２００７でこの方法が完了する。
【００９２】
ステップ２００１および２００３では、共同作業の感知は、ユーザの識別とは独立して遂行される。例えば、動きセンサが、参加者を識別することなしに活動を示すのに利用される。本発明の一態様においては、共同活動の発生はオーディオストリームの解析から検知される。このシステムは、振幅閾値法を用いて会話が行われていることを検知できる。このフィルタは、人の声があるかないかだけを検出し、参加者のプライバシーを保護するためにその内容は検出できないように調節可能である。他のセンサによっても共同作業を示唆する有益なデータを提供することができる。振動センサ、動きセンサ、及び荷重センサが、共同作業の議論との相関の可能性がある、オフィス内の活動の上昇を示すことができる。これらのセンサは、参加者の識別はしない。
【００９３】
本発明のさまざまな実施形態において、活動場面への参加者の識別を自動あるいは手動のいずれかで行うことができる。
【００９４】
自動検出には、参加者の顔を認識するためにカメラのストリーム情報の解析が含まれる。例えば、ユーザがボードに近づくとき、それぞれの人は画像の解析・認識方法によって識別される。この場合、ユーザが一人であるか複数であるかの識別が先行し、従って個人イベントの発生であるか共同作業の発生であるかが示される。
【００９５】
自動的な共同作業の検出に関しては、ホワイトボードに特定のユーザがいるかいないかを検知する、バイナリ共同作業ディテクタが利用される。バイナリ共同作業ディテクタは、オーディオレコーダ、カメラや、振動センサ、荷重センサ、動きセンサを含む種々のセンサからの情報ストリームを融合することにより実装される。そのような複数の手法を併用することにより精度が向上する。
【００９６】
別の方法としては、ステップ２００３で広範囲な人追跡装置が利用されてもよい。人追跡装置は２種類の情報を同時に提供する。すなわち、個人イベントの発生か共同活動の発生かということと、参加者の識別、である。ステップ２００３で共同作業を検知するために人追跡装置を利用する場合には、ステップ２００６でホワイトボード画像の適切な部分を共同活動に参加したすべての人に自動的に送ることができる。オフィスにおけるカメラ以外のものを用いる人追跡装置の一例としては、人が身につけるバッジの利用がある。バッジがオフィス内に埋め込まれたセンサのネットワークへ信号を伝送する。このタイプのシステムは室内用の位置特定システムである。その他にも沢山のアクティブセンサを利用する方法があり、ブルートゥース・タグ，ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）バッジ、あるいはその他の技術によるバッジ、等が含まれる。パッシブバッジもまた人追跡に利用することができる。パッシブバッジシステムは通常、ＲＦＩＤアンテナを着用したユーザと、ネットワーク状のリーダ基盤施設とを含む。一実施例では、ドアマットに埋め込まれたＲＦＩＤリーダがユーザの靴にあるＲＦＩＤアンテナを検知する。
【００９７】
本発明のある実施形態では、自動検知ができない場合、あるいは望ましくない場合には、参加者に識別情報を手動で入力するように要求するフィードバックインタフェースを利用することもできる。あるいはまた、画像のキャプチャリングをしているカメラのオペレータに、その共同作業時にその場にいた参加者を選択してもらうという方法もある。共同作業は、共同イベントとも称される。従って、カメラのオペレータはステップ２００６でのホワイトボード画像の再表示を、参加者がその場にいたかどうかに基づいて判断する。
【００９８】
図２Ｂに示すフローチャートにおいては、ボードでの活動を検知すると、続いてホワイトボードのコンテンツのキャプチャが行われる。あるいは、ホワイトボードのコンテンツは一定時間間隔でキャプチャされてもよい。ボードが共通エリアにおかれていて常に活動があり、コンテンツが頻繁に修正されるような場合には、この方法は特に有効である。個人用のオフィスにホワイトボードが置かれている場合には、活動があった時にキャプチャにトリガをかける方が経済的である。
【００９９】
さらに、個人活動（ステップ２００２）あるいは共同活動（ステップ２００４）に対応する最終の画像のキャプチャは、ある時間が経過し、かつボードでの活動が感知されなくなった後に行われる。こうして、キャプチャされた画像がボードの最終状態を反映していることがこの方法により保証される。
【０１００】
図３Ａは本発明の態様による、ホワイトボードのコンテンツの変化を検知しキャプチャ画像を保存する方法のフローチャートである。
【０１０１】
この方法がステップ３１００で始まる。ステップ３１０１でボードからの最初の画像がキャプチャされる。ステップ３１０２で、この最初の画像がカレント画像として設定される。ステップ３１０３で、ネクスト画像がボードからキャプチャされる。ステップ３１０４で、このネクスト画像がカレント画像と比較され、コンテンツに変化があったかどうかが検知される。変化が検知された場合には、ネクスト画像はカレント画像とは同一ではなく、プロセスはステップ３１０５へ移動する。ネクスト画像がカレント画像と同一の場合は、プロセスはステップ３１０３へ戻り、もう一度画像をキャプチャする。ステップ３１０５では、カレント画像とは違い追加情報を含んでいるので、ネクスト画像も保存される。ステップ３１０６では、このネクスト画像をカレント画像として設定する。そして画像のキャプチャが続く間このプロセスが反復される。ネクスト画像がカレント画像として設定される度に、ステップ３１０７でキャプチャを継続するかどうかをプロセスが判断する。キャプチャが停止したら、プロセスはステップ３１０８で終了する。
【０１０２】
図３Ｂは本発明の態様による、ホワイトボード画像の修正部分を検知する例示の方法のフローチャートである。
【０１０３】
図１Ｂ及び図１Ｃに示したシステム、及び図２Ｂの方法において、共同作業コンテンツ２０３はボード９０のコンテンツの一部分に過ぎず、共同作業コンテンツ２０３は、カメラの使用のされ方によっては、図２Ｂのフローチャートのステップ２００４でホワイトボードからキャプチャされた画像の一部分でしかない。図２Ｂのステップ２００６及び図１Ｄにおいて、画像の共同作業部分は識別され、共同作業者１０１、２０１へ送信される。一方、個人コンテンツ１０３に対応する非共同作業部分は、このコンテンツの単独の生成者１０１のみへ送信される。図３Ｂのフローチャートは、ホワイトボード画像内の特定のイベントに対応する部分を識別する例示的方法の１つを示している。図３Ｂのフローチャートは共同イベントに対応する共同作業コンテンツを識別するために使用される。
【０１０４】
この方法はステップ３０００から始まる。ステップ３００１において、最初の場合には活動がボードで感知され、第１のイベントとして記録される。イベントへの参加者も識別され記録される。ステップ３００２でボードの第１の画像がキャプチャされ処理される。この第１の画像は第１のイベントに対応する。第１のイベントが、時間枠が事前設定されている予定されたイベントではない場合には、イベントの終りがわかっていないので、この第１のイベントに対応する幾つかの画像が取得される。イベントの期間が判然としない場合には、第１のイベントの終わりの一番近くでキャプチャされた画像が、第１の画像として判定される。ステップ３００３で、２番目の時間に対応してボード近辺での第２のイベントが検知される。イベントへの参加者が識別され記録される。ステップ３００４で、第２の画像がホワイトボードからキャプチャされ、処理される。ステップ３００５で、第２の画像がその前の画像、この例では第１の画像、と比較され、前後の画像で変化がないかどうかが判定される。第２の画像の内、第１の画像と比較して変化したエリアが第２のイベントに対応し、第２のコンテンツの指標となる。ステップ３００６で、これらのエリアを利用して第２のコンテンツが識別される。第２のコンテンツは第２のイベントに対応し、第２のイベントに関係すると識別された参加者への送信を予定される。ステップ３００７でこの方法が完了する。表示はされてはいないが、この方法にはフィードバックステップも含まれ、ステップ３００１〜３００５の任意のステップの後にあってもよい。フィードバックステップにおいては、連結されたディスプレイもしくはホワイトボードの近くに配置されたパソコン上に、ユーザへのフィードバックが与えられる。
【０１０５】
第２のイベントは独立したイベントであるか、ホワイトボードで進行中の活動の変形である。第１のイベントの後に活動がないことはイベントとは見なされない。それは参加者がボードから去ってしまうと、コンテンツは最早修正されず、このプロセスによってコンテンツの変化は検知されないからである。そうではなくて、第１のイベントの参加者に少しでも変化があれば第２のイベントが生じる。第２のイベントは、第２の人物がボードにいる第１の人物に加わると生じる。第１のイベントの１人又は複数の共同作業者が共同作業からいなくなって、違う組合せの共同作業者が構成されるか、個人イベントがもたらされるかによって、第２のイベントが生じる。イベントは参加者によって区分される。従って、参加者が変わると、第２のイベント画像が、前のイベントの終わりに対応する画像と比較される。
【０１０６】
さらに、第２のコンテンツの検知（ステップ３００３）には３つの部分がある。１）ボードにおける参加者の変化が検知される。これは第２のイベントを示す。２）第２のイベントに符合してボードのコンテンツの修正も検知される。３）ボードの修正された部分から第２のコンテンツの境界が推定される。
【０１０７】
図３Ｂのフローチャートがそれぞれのイベントに対応するコンテンツを確立する。イベントは、ボードへの参加者の変化によって区分される。イベントは単独であるか共同であるかである。従って、図３Ｂの方法によって検知され伝達されるコンテンツは、単独コンテンツであるか共同作業コンテンツであるかである。単独と個人とはこの説明では同じ概念である。
【０１０８】
上述したように、共同作業コンテンツあるいは共同修正は、２人以上の人物がボードの近辺に居てホワイトボードが修正されたこと指す。この場合、実際に２人以上の人がボード上に文字や絵を書いたかどうかは問題ではない。言い換えれば、共同作業は複数のユーザがボードの所にいることを指す。必ずしも、そこにいるすべてのユーザがボードに書く必要はない。
【０１０９】
本発明の一態様においては、共同作業コンテンツの生成は、ボードからキャプチャされた画像を解析することで検知される。ボード上に生成されたコンテンツの修正を検知するために、本方法あるいは本システムにおいては、カメラストリームの解析により、画像の中で大きく変化したエリアを検知するために連結成分ラベリング法を利用する。カメラの視野の中で大きな時間変化エリアが、共同活動中に生成された共同作業コンテンツに対応する。従って、共同作業コンテンツの生成を検知するために、大きな時間変化エリアの存在が、複数の人がボード付近にいることと関連付けられる。本発明の一態様では、ラベリングエラーの少ない赤外線カメラが修正されたコンテンツの検知に使用される。このような活動のある期間の後にホワイトボード画像が以前の良好な画像から変化していれば、その変化はホワイトボードが共同作業によって修正されたことの証拠となる。
【０１１０】
本発明の方法もしくはシステムは、ディスプレイに向けられた１つ又は複数のカメラで撮られたビデオストリームからの画像差分を利用して、共同作業中に大きなディスプレイに行われた変化を検知することができる。この技術を用いると、このシステムで、共同活動に参加したユーザ及び活動の時刻や場所も含んだメタデータと共に、ディスプレイに生成されたコンテンツを自動的にキャプチャできる。共同作業セッションは、共同イベントとも称される。
【０１１１】
本発明の方法あるいはシステムが、共同活動を認識したことを連結されたあるいは付近にあるディスプレイを介してフィードバックすることができる。連結されたディスプレイはホワイトボードそのものを、例えばプロジェクタを介して拡大することができる。本システムは近くにあるデスクトップなどのような、近接のディスプレイ上に同じ情報を表示することもできる。
【０１１２】
図４Ａは本発明の態様による、共同活動情報のアーカイブ及び共有のための例示的なシステムを示す。
【０１１３】
共同活動情報をアーカイブし共有するための共同システム４０００は、ホワイトボード９０、デジタルカメラ９５、動き及び共同作業センサ６００、７００、そしてさらにユーザの１つ又は複数のパソコン４０５、４０７と通信で繋がっている。動き及び共同作業センサ６００、７００は、活動の存在を感知し、より具体的には、二人以上の人物がホワイトボードの所にいる場合を判定できる。共同システム４０００は、デジタルカメラ９５及び動き及び共同作業センサ６００、７００からのデータを受信し、ユーザのパソコン４０５、４０７へ適切なコンテンツを送信する。
【０１１４】
図２Ｂ及び図３Ｂの方法を実行するように構成されているシステム４０００は、コンテンツの共同作業部分を判定することが可能である。システムは、共同イベントが行われていたときにディスプレイのどの部分が修正され、どの部分が修正されなかったかを検知できる。その後システムは、共同イベントの間、共同作業に使用されたホワイトボードの共同作業部分のみを収集し、アーカイブするように選択できる。この機能により、例えば個人のやることのリスト、電話番号、等のホワイトボード上のコンテンツの個人的な部分を、メンバとの間で共有しないで済むように保護できる。ホワイトボードの管理者はこの機能を無効化して、任意のコンテンツを明確に含んでユーザに伝達することができる。
【０１１５】
図４Ｂは本発明の態様による、感知されたイベントとキャプチャされた画像間の対応の模式的表示である。
【０１１６】
図４Ｂでは、２つの同時で平行なタイムラインが４１１０と４１２０で表されている。ボードで検知された共同イベントは４１２０に沿って表示され、ボードからの画像のキャプチャは４１１０に沿って表示されている。４つの共同イベント４１１２、４１１４、４１１６、４１１８がタイムライン４１２０に沿って示されている。対応するタイムライン４１１０に沿う矢印で示したように、イベント４１１２、４１１６、４１１８に対する画像がキャプチャされた。共同イベントと画像は別々に記録される。しかし、それぞれのタイムスタンプにより、本発明の態様の方法あるいはシステムでは、イベントとその画像を囲む点線の箱で示すように、それぞれのイベントを対応する画像に提携させることが可能である。例えば共同イベント４１１４のように、キャプチャされた画像がないイベントもある。その一方で、画像４１１９のように、キャプチャされ保存された画像に対応するイベントの記録がないものもある。
【０１１７】
図５Ａ、図５Ｂ、図５Ｃ、図５Ｄは、本発明の態様による、特定のユーザに示されたキャプチャ画像の外観例を示す。
【０１１８】
図５Ａは、第１の人物５１００のオフィスにあるコンピュータスクリーン上で見たホワイトボードの画像を示す。図５Ｂ、図５Ｃ、図５Ｄは図５Ａの中の挿入図に対応し、コンピュータスクリーン上で表示されている詳細である。この例示の態様において、ホワイトボードとコンピュータは共に、ジェイクという名前の第１の人物の同一オフィスの中にある。コンピュータスクリーンはホワイトボードの３つの画像５００１、５００２、５００３を含んでいる。図５Ａはさらにコンピュータスクリーンにカレンダ５０１０も示しており、これがコンテンツの修正イベントを識別する。表示されていないが、オフィスにはカメラもあり、時間の関数として、あるいはボード付近での活動の感知に応答して、ボードから画像をキャプチャする。
【０１１９】
ジェイクと呼ばれる第１の人物５１００に加えて、第２の人物ジェーン、第３の人物スコットもホワイトボードにアクセスしており、コンテンツの修正イベントのときにコンテンツを修正したかもしれない。従って、コンテンツ修正イベントは個人イベントであってもよく、一人の人だけがボードの所にいて、ボードにコンテンツを追加するか、さもなければボードのコンテンツを修正する。コンテンツ修正イベントは共同イベントであってもよく、二人以上の人がボードの所にいて、そのうちの一人又は複数がボードにコンテンツを追加するか、さもなければボードのコンテンツを修正する。
【０１２０】
２つの単独ユーザイベントおよび２つの共同イベントが、カレンダの１２月１５日と１６日に示されている。最初の単独ユーザイベントは１２月１５日に起きており、第２の単独ユーザイベントは１２月１６日に起きている。２つの共同イベントは１２月１６日に起きている。これらのイベントはその発生のタイムラインに従ってスクリーン上に現れる。時間的に先に発生したイベントがスクリーンの左側に現れ、より直近に起きたイベントが右側に現れる。
【０１２１】
１２月１５日の、図５Ｂに示される光景は、単独ユーザイベントであり、ジェーンがジェイクのオフィスに居て、ジェイクのオフィスに置いてあったボード上のコンテンツを修正したことを示している。修正されたコンテンツはボード上に５１１１としてハイライトされている。ボードはジェイクのオフィスに置かれているが、イベントが単独ユーザイベントとして登録されていることから、修正コンテンツ５１１１が作成されている間ジェイク自身がそこにいたようには感知されていない。その単独ユーザイベント５１１１の間、ジェイクもスコットもそこにいたようには感知されていない。しかし、ボードがジェイクのオフィスにあるので、ジェイクは修正コンテンツ５１１１を見ることが可能である。またそれを作成ないしは修正したのはジェーンであるからジェーンも見ることができる。さらに、ジェイクかジェーンのいずれかがシステムを無効化してスコットにも情報共有を決定したことにより、スコットも修正コンテンツを見ることができる。
【０１２２】
拡大して図５Ｃとして表示されている光景は、別の単独ユーザイベントを表しており、この時ジェイクが自分自身のオフィスに置いてあるボード上のコンテンツを修正した。修正されたコンテンツはボード上に５１１２としてハイライトされている。イベントは単独ユーザイベントとして登録されており、ジェイク以外の誰も、修正コンテンツ５１１２を作成していた時そこにいたようには感知されていないので、この修正コンテンツ５１１２はジェイクの個人的なものと考えられ、ジェイクのみしか見ることができない。その単独ユーザイベント５１１２の間、ジェイクもスコットもそこにいたようには感知されていない。ジェイクが彼の個人コンテンツ５１１２を共有することに決めると、システムを無効化して他のユーザが見られるようにコンテンツを送信することができる。
【０１２３】
拡大して図５Ｄとして表示されている光景は、共同イベントであり、その間ジェイクとジェーンはジェイクのオフィスのボードの所にいたことが感知されている。この二人のどちらか、あるいは両方が、５１１３としてハイライトされているボード上のコンテンツを修正した。システムはどのユーザがコンテンツを修正したかは記録していない。ただどのユーザがそこにいたかだけを記録している。修正されたコンテンツ５１１３はジェイクとジェーンとの共有コンテンツであるとみなされ、ジェイクおよびジェーンがそれぞれのコンピュータで見ることができる。この共同イベント５１１３の間、スコットはその場にいたようには感知されていない。従ってスコットはこのコンテンツを受信しない。ジェイクかジェーンのいずれかが共同作業コンテンツ５１１３をスコットと共有することを決定できる。その場合、どちらかの共同作業者がシステムを無効化して、スコットを含むその他のユーザが見られるようにコンテンツを送信することができる。
【０１２４】
上記がこのシステムがどのように操作されるかを示す一例である。上での説明と等価なさまざまな変形が可能であり、それらは本発明の範囲内である。
【０１２５】
システムは、共有をサポートするとともに、検知された共同作業セッションをユーザが閲覧できるようにする、カメラ用のインタフェースを提供する。図５Ａはその挿入図の図５Ｂ、図５Ｃ、図５Ｄと共に、ある時間の間にキャプチャされた共有情報の可視化を示す。図５Ａに示された外観では、単独ユーザセッション５１１１及び５１１２が自動検出された共同セッション５１１３に並んで示されている。これらの図においては「共同作業Ｙ」とは、「ジェイクのオフィス」でのユーザ「ジェーン」とカメラの所有者である「ジェイク」との間の共同作業であった。本発明の一態様では、共同作業セッションの間に作られた入力は編集可能かつ共有可能である。このインタフェースは一連の議論と共に、キャプチャされた共同作業セッションを他のユーザと共有することをサポートする。関連するｅメールが、一連の議論の一例である。ｅメールは一緒にグループ化され、ユーザがやり取りの経緯を理解できるようにする。一連の議論は、成果物の周りのコメントを整理するのにしばしば利用される。ｅメールの他に、写真のウェブサイト及びブログが一連の議論リストを含むことの多いさらに２つの例である。
【０１２６】
以下で説明する本発明のある態様は、消去、追加、修正による変化の対象となっていたボードの部分を識別し、ユーザに提示することができる。本発明のこれらの態様は、修正したボードの領域に関してエピソード記憶を有するユーザが、修正したコンテンツのおよその位置をシステムに与えることによりその修正を検索できるようになっている。ユーザがコンテンツの修正をしたと思われるおよその時間範囲についての記憶があれば、およその位置とおよその時間範囲との両方をシステムに与えて所望のコンテンツの検索ができる。
【０１２７】
人は考えを表現し、理解し、伝達し、記憶するためにホワイトボードに書く。時間が経過すると、ホワイトボード上の情報は、消去され、書き直される。ホワイトボード上に情報を残したままにすることは最適な選択ではない。使用可能なスペースを減少させ、従って進行中の活動に対するボードの有効さを減じることになるからである。ホワイトボードの限界を緩和する一つの方法は、ホワイトボードの画像をデジタルでキャプチャし、キャプチャした画像のすべてを保存及びアーカイブすることである。そうしてホワイトボードを消して、以前の情報をなくさずにそのスペースを再利用することができる。しかし、キャプチャした画像をすべてアーカイブすることは、時間の経過と共に量が膨大になり、利用が困難になるであろう。従って、データの所望部分を簡単に識別し検索可能となるようにデータとその表示を編成することが課題となる。
【０１２８】
アーカイブ中のデータはコンテンツ解析あるいはそれぞれの画像に関連するメタデータに基づいて編成することができる。例えば、一定の時間間隔で変化された領域、あるいは書き込まれた色、あるいはまた生成された時間及び場所、などのメタデータとして画像に関連する項目によって画像がグループ分けされてもよい。そのような画像のアーカイブが有効かどうかは、アーカイブから情報を検索するためのやさしい使用ツールにかかっている。本発明の態様は、キャプチャされた特定の画像をより容易に検索するための、ホワイトボードのキャプチャ画像の編成の方法及び手段のいくつかを説明する。沢山の画像が格納されているデータベースから１つ又は複数の所望の画像を検索するのに、さまざまな対話式の方法が利用できる。さまざまな可視化手法を利用して、ボードのそれぞれの領域における変化の頻度を示すことができる。ヒートマップ及びタイムラインを利用する可視化方法及び対話式方法の２つの例を以下で説明する。
【０１２９】
ヒートマップは連続的な２次元の可視化方法であって、単一変数の複数の値が異なる色でマップされる。可視化されている単一変数がコンテンツの変化頻度であるとすると、マップ上の赤色のエリアは頻繁に変化があることを示し、マップ上の青色のエリアは変化の少ないことを示す。ヒートマップ上の白色のエリアは、例えばそのエリアではコンテンツの変化がないことを示している。
【０１３０】
図６は本発明の態様による、ホワイトボード上のコンテンツ修正の頻度マップを生成する例示の方法のフローチャートである。
【０１３１】
この方法がステップ６１００で始まる。ステップ６００１で、ある時間幅に亘ってキャプチャされたボード画像がデータベースに受信される。ステップ６００２で、画像がデータベース中に格納される。ステップ６００３で、それぞれの画像が複数のサブ画像に分割される。ステップ６００４で、それぞれの画像が先行画像と比較され、サブ画像のそれぞれがある画像から別の画像に変化していないかどうかが判定される。ステップ６００５で、それぞれのサブ領域に対して、対応するサブ画像の変化回数に応じた数でスコアが決定される。ステップ６００６で、そのスコアを頻度マップに写像して、スコアを可視化する。ステップ６００７で、頻度マップがユーザに表示される。ステップ６００８でこの方法が完了する。
【０１３２】
方法として、２パス方式が用いられてもよい。２パス方式では、それぞれの画像を複数のサブ画像に分割する前にそれぞれの全体画像を先行画像と比較して、画像の分割及び比較の前にボードの全体画像の変化の有無を検知する。つまり、２パス方式を利用する方法では、大雑把で、コンピュータ使用において安価なパスを先ず行い、次いで第２のパスが必要な場合にだけ、詳細でコンピュータ使用における精緻なパスが行われる。あるボード画像から次の画像への変化がない場合には、その画像は頻度マップを決定するための分割を行わない。
【０１３３】
画像が元々あった場所としてユーザが記憶しているボード上の大まかな位置か、ボードコンテンツに対して変更が行われた大まかな時刻のいずれかの記憶、もしくは位置と時刻の両方の記憶の組合せに従って、ユーザがマップの一部分を選択してもよい。頻度マップは、図７に示すような２次元ヒストグラム、すなわちヒートマップであってよい。２次元ヒートマップがボードの表示に重ねて表示され、ユーザに提示されると、ユーザは変化に対応し、ユーザが修正したことを覚えているマップ上のエリアを選択することができる。そうするとシステムがその位置の個別画像をユーザに提供し、ユーザがそれを検査する。頻度マップは、図８に示すような１次元ヒストグラム、すなわちタイムラインであってもよい。１次元の頻度マップは、ユーザが変化のおよその時刻を覚えている場合に利用される。この記憶を、頻度マップで与えられた変化に関するデータと組み合わせて確認することにより、ユーザは時間の間隔を正確に指定することができる。そうして選択された時間間隔に対応する画像をシステムが提供し、ユーザがそれを検査する。
【０１３４】
ステップ６００１で、データベースで受信されるボードの画像が、時刻１から時刻２まで継続する時間の幅に亘って、規則的時間間隔でキャプチャされる。例えば、１日ごとの画像が１月のひと月に亘ってボードからキャプチャされてもよい。もし画像が、毎日というような定期的な時間間隔でキャプチャされる場合には、任意の日数の集合を、頻度の基準として用いることができる。不規則な間隔を用いてもよく、例えば１つの画像がある日の終わりにキャプチャされ、次の画像がその週の終りにキャプチャされるというようであってもよい。これは頻度の基準を決めるのに影響するだけである。別の例として、画像は活動をベースとしてキャプチャされてもよい。カメラシステムがボードコンテンツを定期的にチェックし、ボードでの活動を検知した時のみ画像をキャプチャしてもよいし、あるいはコンテンツの変化を検知した時のみ画像を保存してもよい。
【０１３５】
ステップ６００３で、それぞれの画像が複数のサブ画像に分割される。一実施例では、画像が、ボードのサイズ及びアスペクト比に依存していくつかのサブ画像に分割される。この段階では、利用されるサブ画像の数が、変化を判定する際の分解能を決定する。例として、画像が、ボードの長辺を２０分割し、短辺を１０分割した２００（２０×１０＝２００）の小さな正方形にそれぞれ分解される。これは画像のピクセルに類似した区画を生成する。しかしピクセルは画像に属するが、このサブ画像はボードの特定の領域、あるいはサブ領域に属する。次に、１つの画像のそれぞれの四角形がそれ以前の画像の対応する四角形と比較され、２つの画像の間でボード上の書き込みが、その特定の四角形において変化してないかどうかが検知される。これに代わって、あるいはそれと同時に、それぞれの画像が１００個のより大きい四角形（１０ｘ１０）に分割され、連続する画像間での同様な比較がこの大きな四角形の上で行われてもよい。いずれの方法もある画像から次の画像への変化をもたらす。しかし、この２つの例の間では特定の位置の変化を識別するためのサブ領域の大きさが異なる。ボードを四角形の領域あるいはサブ領域に分割すること、あるいは画像を四角形のサブ画像に分割することは例示である。ボード全体をカバーする任意の不規則な分割であっても、その同じ分割をうけるすべての画像が解析される限り利用できる。
【０１３６】
ステップ６００４で、それぞれの画像が前の画像と比較され、エリアに変化があったかどうかが判定される。この段階では、サブ画像のそれぞれが、それと同じサブ領域に属する対応する以前のサブ画像と比較され、サブ画像に変化がないかどうかが判定される。実質的には、それぞれの領域あるいはサブ領域の画像が、同じ領域あるいはサブ領域の以前の画像と比較され、その領域あるいはサブ領域が、消去されたり、書き込まれたり、書き直されたりすることにより変化していないかどうかが判定される。変化の判定は、ある閾値に基づいて行われるか、あるいは少しでも変化があるかないかのバイナリ判定に基づいて行われるかである。一実施例では、コンテンツに十分大きな変化があるすべての領域が、対応するカメラの識別情報や、画像やキャプチャ時間の識別情報などのような１つ又は複数のメタデータと共に、データベースに記録される。記録を始動させる十分大きな変化は、ユーザが入力した所定の値であってもよいし、あるいは画像の全体としての変化の度合いに基づいて自動的に決定されてもよい。別の実施例では、変化がある、なしの２進数で変化を表すことができる。変化は、変化の度合いを数値で表現されてもよく、度合いは［０，１］の範囲に正規化されてよい。変化の度合いは、キャプチャされた画像を累進的なより小さなサブ画像に区分して、多重スケールで計算されてもよい。それぞれのスケールで同じ計算が実行される。検索時には、ユーザは解析が行われたスケールを特定することができる。変化の特性もまたデータベースに記録される。変化の特性とは、追加、消去、置換である。
【０１３７】
本発明の一態様では、画像及びそのサブ画像はピクセルで構成されている。２つの画像あるいはサブ画像を比較する場合、ある画像から次の画像へのピクセルの変化が検知される。１つの画像あるいはサブ画像のフーリエ変換を、次の画像あるいはサブ画像のフーリエ変換と比較することで変化を検知してもよい。その他の任意の適切な変換あるいは関数によって、ある画像あるいはサブ画像を次のものと比較することで変化を検知してもよい。その他の任意の適切な変化の尺度を利用してもよい。
【０１３８】
ステップ６００５で、それぞれのサブ画像に対するスコアが決定される。サブ画像のスコアは実効的にはそのサブ画像が表すサブ領域に対するスコアである。それぞれのサブ画像のスコアは、ある時間幅の間における、あるいはその時間幅の一部分における、サブ画像に対応する、領域あるいはサブ領域において生じた変化の回数に設定されてもよい。例として、サブ画像のスコアは、サブ画像の被写体であるボードの領域あるいはサブ領域が、１月のひと月間に修正された回数であってもよい。このスコアは、それに関連する２つの種類の区分、すなわち解像度を有する。時間区分の数、あるいは空間区分の数が、結果として得られる時間間隔のサイズ、あるいは、マップの解像度と称される、結果として得られるサブ領域を決定する。画像はボードから１日ごとに撮影されたので、時間分解能は日である。空間分解能は、比較を行うサブ画像のサイズに依存する。画像がキャプチャされると時間分解能は任意とはならない。従って、時間区分のサイズ、すなわち時間分解能は、ボードの撮影スケジュールが決定されるとき決まる。サブ画像のサイズは画像を解析するときに決まり、スコアはいくつかの異なる、任意のサブ画像のサイズに対して決定されてもよい。上記の実施例では画像が日ごとにキャプチャされる。従ってそれぞれのサブ画像のスコアは、サブ画像の領域あるいはサブ領域が１月のひと月間に変化を受けた日数となる。スコア決定に使用される、時間幅の長さは、解析時に変更されてもよい。例えば、１月の第２週に起きた変化の回数をスコアとしてもよい。
【０１３９】
スコアは領域あるいはサブ領域における何らかの変化があった場合と変化のなかった場合をバイナリ値で反映させてもよく、その結果、サブ画像、つまりそのサブ画像が対応するサブ領域のスコアは、ある期間の間にそのサブ画像／サブ領域が何度の変化を受けたかを反映する。このバイナリのシナリオでは、スコアはいくつかの１と０の合計となる。これとは別に、スコアはバイナリ値とは違う変化する値を反映させて、さまざまな変化の程度を、例えば０と１の間で変化する数値で反映させてもよい。スコアはある領域あるいはサブ領域における１つのサブ画像から続くサブ画像への変化の程度の関数として決定されてもよい。同一の領域あるいはサブ領域に対するあるサブ画像から後続のサブ画像への間で変化したピクセルの数あるいはパーセンテージの関数としてスコアを決めてもよい。
【０１４０】
ステップ６００６で、作られたスコアが可視化される。例えば、その領域あるいはサブ領域のスコアを、ボードを表す２次元プロット上に写像することにより、ヒートマップが作られる。データが収集されると、選択された時間間隔あるいは時間範囲に基づいて一連の画像を選択し、次いでその時間間隔の間に変化があった領域あるいはサブ領域を識別することによって可視化することができる。選択した時間範囲内の個々の画像からの寄与を積算することにより、それぞれの領域あるいはサブ領域に対するスコアが計算される。それぞれの領域あるいはサブ領域における変化に対応するスコアは、その領域あるいはサブ領域に対する変化の程度を積算することにより計算できる。しかし、違いを強調したり、抑制したりするために、合計値に、対数変換や段階的な線形変換などのような非線形変換を行うこともある。ある領域のスコアが隣接する領域のスコアよりも数桁も大きい場合には、対数変換を行ってスコアの指標を相互に近づけることができる。可視化するのにスコアの差が小さすぎる場合には、これらのスコア間の差を拡大するために別のタイプの変換を利用してもよい。
【０１４１】
ステップ６００７で、作成された頻度マップが、例えばユーザのコンピュータスクリーン上で、ユーザに表示される。ユーザはこの時点で頻度マップと対話することができる。ユーザは、サブ領域のサイズを変えることにより、頻度マップの解像度を変えることができる。また、変化の頻度を決める時間幅の長さを変えることもできる。
【０１４２】
ある例示的なシナリオにおいては、一連の画像が与えられると、それぞれの画像はサブ領域に対応するサブ画像に分割され、対応するサブ領域間の連続する画像対における差が計算され、選択された一連の画像における特定のサブ領域の変化した回数が決定される。このことは、この変化の尺度はバイナリであって、その領域が変化したか、しなかったかを示すことを意味している。しかし、とびとび、又は連続的な変化指標を実装することも可能であって、例えばその領域内の変化したピクセルの数を数え、領域のサイズがピクセルで与えられていればそれを領域のサイズで正規化するということもできる。この方法は変化の割合を与えることができる。従って、比例的な変化を蓄積するか、あるいは何らかの種類の閾値によってバイナリ出力とするか、のいずれかによってスコアが得られる。
【０１４３】
図７は本発明の態様による、ホワイトボードの修正対象領域における変化の頻度を視覚化するための例示的な２次元頻度マップ、すなわちヒートマップである。
【０１４４】
変化の可視化はヒートマップで達成される。図７は、ホワイトボードコンテンツの変化の頻度を示すヒートマップの例である。ボード全体の画像７０００は四角形のサブ画像７００１に分割される。サブ画像７００１に対応する四角形のサブ領域のそれぞれのボード画像が、ある時刻のものとそれ以前の時刻のものとで比較される。この比較の結果として、２つのエリア７０１０および７０２０が検知される。エリア７０１０および７０２０は活性領域であり、変化の頻度が閾値を超えた領域である。つまり、ホワイトボード上のこれらのエリアにおいて、資料の書き込み、消去、再書き込みが行われることにより、ホワイトボードがエリア７０１０及び７０２０で頻繁に修正された。ボードの周辺に沿う領域はあまり頻繁には修正されていない。従ってヒートマップではこの領域は変化の活性領域としては表示されていない。
【０１４５】
ヒートマップでは、変化の頻度を表すスコアが、色相、明度、あるいは彩度の分布として写像される。例えば、変化の頻度が高い領域は赤で塗られ、頻度が低いか変化のない領域は青で塗られる。変化の頻度はそれぞれの領域のスコアに反映される。領域のスコアとそれを表示する視覚属性との間の写像は、絶対スケール、あるいは特定のサンプルが持っている値の範囲に基づいて正規化することができる。また、画像の選択に使用される時間幅の長さも考慮に入れることができる。頻度は、単位時間当たりの変化の回数として定義される。頻度の計算の基準を成す単位時間は、この場合には、画像を収集するのに用いられる全時間幅、及び２つの連続する画像間の時間間隔を最小とする、この時間幅の任意の部分であってよい。
【０１４６】
ユーザはヒートマップと対話して、領域をクリックするか、選択した四角あるいはエリアをドラッグするか、あるいは他の任意の空間選択技術を介して、所望の一連の画像へ案内することができる。複数選択技術を介して、あるいは領域のスコアの分布へ閾値を設定することによって、２つ以上のクラスタを選択することができる。一連の画像が識別されると、寄与しているそれぞれの画像に対する詳細が表示される。結果リストあるいはメニュー表示からこれらの画像を選択すると、完全な画像とそのメタデータがユーザに提供される。
【０１４７】
本発明の関連においては、図７に見られるように、ホワイトボード領域の画像が時間と共に変化する程度を示すために頻度マップが使用される。それぞれの画像がキャプチャされる度に、そのコンテンツが以前の画像と比較され、ある画像から別の画像への変化がないかどうかが識別され、変化がある場合には、新画像のどの領域が何かが追加されたり除去されたりして変化しているかが識別される。データは、ユーザが特定した時間間隔に亘って集積される。特定の領域が沢山の変化を経験すればするだけ、２次元表示においてより強調される。そのような頻度マップは、ボード上の比較的変化の少ない領域、あるいは頻繁に変化する領域を識別するのに利用できる。そうして、ユーザは、全領域の全画像を詳細に検査するのではなく、変化があった領域に属する画像を検査することができる。さらに、異なる時間間隔でのいくつかの頻度マップが得られると、ある時間間隔に属する頻度マップだけが変化を示している可能性がある。そのような場合には、その特定の時間間隔に属する画像のみを調べればよい。このようにして調査を時間と領域の両方で限定することができる。次に、特定の修正に係わるコンテンツを見つけようとする場合には、その特定の時間間隔内で活動を示した領域のみに係わる画像を、ユーザは目視で検査すればよい。
【０１４８】
図８は本発明の態様による、ホワイトボード上のコンテンツの変化の頻度を表す例示的な１次元頻度マップ、すなわちタイムラインを示している。
【０１４９】
特定の画像の探索を支援するために、収集された画像における変化を可視化する１つの方法として、空間位置に従ってデータを整理し、かつ図７の２次元ヒートマップを生成する方法がある。収集された画像における変化を可視化する別の方法として、画像データを時間によって整理し、図８に示されるタイムラインを生成する方法がある。図８に示すタイムラインは、周期的タイムラインの例である。あるイベントはある曜日に発生し、例えば火曜日の設計会議の間にキャプチャされたすべての画像は、火曜日の設計会議の間にキャプチャされたものとして追加的に識別される。タイムラインは、例えば曜日ごとの変化に基づいて、画像をグループ分けするように構築される。タイムラインの可視化は、選択された画像の組を、曜日などのある反復する特徴に基づいてグループ分けし、そのような特徴のそれぞれについてスコアを計算することにより生成される。次にスコアが棒の高さに写像され、１次元のヒストグラム表示が作られる。スコアは、目で見てデータの違いがわかるようにするために、非線形関数で変換してもよい。
【０１５０】
それぞれの可視化においては、消去、追加、置換を含む変化特性などの追加属性によって、データにさらなるフィルタをかけることができる。
【０１５１】
タイムライン８０１０及び８０２０は、ホワイトボードのコンテンツの変化の１次元頻度マップを示している。第１のタイムライン８０１０は、変化の頻度を曜日毎にグループ化している。タイムライン８０１０で示されるデータは、ある１週間、あるいは連続した期間あるいは特定の不連続な期間の数週間、に係わるものであってよい。例えば、タイムライン８０１０は２００９年１月の第１週に係わるものであってよい。又は、タイムライン８０１０は、２００９年の全週から得られたデータの集合を示してもよい。さらに別のものとして、タイムライン８０１０は、２００９年６月のある週と、２００９年１０月の別のある週に係わるものであってよい。タイムライン８０１０によれば、タイムライン８０１０にプロットされた期間の月曜日に、ボードコンテンツの変化を含む大きな活動が観察される。それとは反対に、そのプロットされた期間の日曜日には活動がない。
【０１５２】
タイムライン８０２０は、ボードコンテンツの変化に係わりかつそれを含む活動を一日の時刻でプロットしたパターンを示す。このプロットもまた、ある１日、あるいは連続した期間あるいは不連続な期間の数日間、に係わるものであってよい。例えば、タイムライン８０２０は研究施設のキッチンにあるホワイトボード上の活動を示す。活動は８時が大きくて、このとき、従業員がコーヒーを入れ、覚え書や通知、発表をキッチンのホワイトボード上に書き込んだりする。正午もボードコンテンツの変化が大きい。
【０１５３】
タイムライン８０１０、８０２０で示される１次元の頻度マップは、ボード全体に係わる場合もあるし、ボードのある部分及び領域に係わる場合もある。例えば、タイムラインはサブ領域に対応するサブ画像の変化の頻度を示すスコアを、ある期間に亘ってそれぞれの時間間隔毎に示している。あるいはまた、ボードのある領域を構成する幾つかのサブ領域のスコアが結合してその領域に係わる合計スコアが得られ、その合計スコアがタイムライン上にプロットされる。さらに別のものとして、その領域のコンテンツの変化の回数を直接調査することにより、個々の領域に係わる頻度のスコアが取得される。
【０１５４】
図９は本発明の態様による、変更頻度を利用した画像データベースから画像を検索する例示の方法のフローチャートである。
【０１５５】
ステップ９０００で方法が始まる。ステップ９００１で、ユーザからの第１の時間間隔の選択をこの方法を実装しているシステムが受信する。例として、そのユーザは、自分がボードに描画し、その後で消されてしまった特定のコンテンツを探している。しかし、このユーザはコンテンツに作業したおよその時間を覚えていて、この記憶にある時間を含む第１の時間間隔を入力する。ステップ９００２で、ボードの第１の領域の選択がユーザから受信される。例として、ユーザは今探しているコンテンツを作成した時に、ボードのどこに書き込み、描画したかを覚えている。ステップ９００３で、ユーザが選択したサブ領域の数をシステムに入力する。例えば、小さいエリアの１つの小さな式を変えたのか、あるいは大きなエリアを包含する全体図を書き直したのかどうかということは、ユーザは大体覚えているものである。ステップ９００４で、本方法を実装するのに用いられているシステムが、変化の頻度を可視化してユーザに表示する。これは２次元の頻度マップ、すなわちヒートマップで提示されてもよい。この可視化は、第１の領域で第１の時間間隔における変化の頻度に関するものである。ステップ９００５で、システムがユーザからの第２の領域の選択を受信する。第２の領域は、ユーザに提供された可視化情報にもとづき、第１の領域の中で頻繁に修正された部分であってよい。ユーザは最初に、ステップ９００２でマークしたボード上のおよその位置を選択し、次にステップ９００５でヒートマップの助けを借りて、より絞り込んだ選択をシステムに提供することができる。ステップ９００６で、システムがユーザからいくつかの第２の時間間隔の選択を受信する。本発明の一態様は、空間をベースとするエピソード記憶が、時間をベースとする記憶よりも一般的に勝っているという研究結果を活用している。従って、ユーザはボード上のおよその位置を特定することがまず許される。その次に、その選択された位置の中に、さらに時間を入れて選択の精度を上げる。ステップ９００７で、システムが、第２の領域で第２の時間間隔のそれぞれに対する頻度マップをユーザに表示する。従って、この段階で、いくつかの頻度マップがユーザに示される。ステップ９００８で、システムがユーザから第２の時間間隔の１つの選択を受信する。ユーザがいくつかの頻度マップを閲覧し、ボードコンテンツの修正が発生した時間間隔を突き止めることができる。ステップ９００９で、ボードの第２の領域で第２の時間間隔の内の選択された１つの時刻においてキャプチャされたボードの画像がユーザに表示される。ユーザはそれぞれの画像を個別に見て検査することができる。画像としては、ボード全体の画像であっても、第２の領域であってもよい。ステップ９０１０でこの方法が完了する。このフローチャートの方法を利用して、ユーザは所望の画像を、時刻とボード上の位置とで限定した。結果として、ユーザがボード上に書き込み、その後消されてしまった可能性のある特定のメモを見つけるために、より少ない画像に目を通すだけで済む。
【０１５６】
ホワイトボードへの書き込み及び描画は一般的に一時的なものである。ホワイトボードはウェブあるいは手持ちカメラを利用して、継続的なホワイトボードの写真がキャプチャされるようにある期間に亘って画像を撮影することができる。写真画像はデスクトップ基本ソフトのフォルダへアップロードされてもよい。基本ソフトの標準ファイルフォルダ閲覧ソフトを利用して、ユーザは個々の画像を、撮影された時刻順に並べ直すことができる。これらの閲覧ソフトのサムネイル表示が、画像に含まれるデータの要約を提供する。最後に、既存の画像の閲覧ソフトあるいは処理ソフトを利用して、詳細検討のために特定の画像を開くことができる。さらに、ユーザが特定の時間範囲やホワイトボードの位置を指定する場合には、キャプチャされたホワイトボード画像の検索及び閲覧ができるウェブベースのアプリケーションを利用してもよい。本発明の態様が、連続する画像間の変化の集成を見るための可視化及び対話のインタフェースを提供する。
【０１５７】
全体としてでも部分的であっても、ホワイトボードコンテンツの自動的キャプチャは、ホワイトボード表面にマーカを直接置くことによって起動することができる。ユーザが明確に特定したコンテンツだけを収集するのとは対照的に、本発明の態様はホワイトボードの全コンテンツを収集する。
【０１５８】
本発明の態様は、嘗てボード上にあってその後消去された可能性のある画像への非シーケンシャルアクセスを与えるために、ホワイトボードの経時変化を可視化する方法及びシステムを記述する。画像をコンテンツ及びメタデータに基づいてグループ化し、また画像を単一のオブジェクトとしてよりもむしろ複数の部品から構成されているとして扱うことによって、可視化がなされる。キャプチャされた画像を分解することにより、標準の類似度メトリックスを利用して画像のグループ化が可能となる。可視化を利用して、過去にキャプチャされた画像に立ち戻ったりそれを再利用したりする目的で、ホワイトボードから収集された大量の画像集団に非シーケンシャルアクセスが提供される。
【０１５９】
上記の特徴によって実質的にすべてのボードコンテンツが保存され、ユーザが特定の画像を探そうとする場合、コンテンツの生成されたおよその時間とボード上のコンテンツの生成されたおよその領域とがわかっていれば、アクセスが提供される。ユーザが探そうとするコンテンツは、一般的には頻繁に修正されたり消去されたりするタイプのものである。以下で述べる本発明の別の態様は、ボード上の継続的書き込みを扱う方法及びシステムに対応するものであり、継続的書き込みのコンテンツを保存しつつボードスペースの確保を図るものである。継続的書き込みは、一般的にはユーザが長期間に亘ってすぐに利用できるか、目につくようにしておきたい覚え書である。従って、ある種の継続的書き込みに対しては、本発明のこれまでに述べた態様のアーカイブ及び検索特性が特に好適とはならない。
【０１６０】
図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄは本発明の態様による、ホワイトボード画像から覚え書を抽出し、その画像を個人用装置上にオーバレイとして表示する方法の一例の模式的表示である。
【０１６１】
本発明の一態様においては、ホワイトボードからのキャプチャ画像の中に継続的覚え書が識別され、その継続的覚え書がホワイボードの所有者のパソコンあるいはその他の個人用電子デバイスのスクリーン上に表示される。例えば、その覚え書がモバイルデバイスに転送されてもよい。その結果、覚え書がユーザのコンピュータスクリーンに存続する一方で、ホワイトボードのスペースが他の利用ができるように解放される。あるいは、覚え書が記憶スペースに格納されて再表示できるようにされてもよい。別の時間に書かれた覚え書が、別のボードに書かれたものでも、結合されてスクリーン上の１つの表示とすることができる。スクリーンに表示される覚え書は、自動あるいは手動、又はそれらが混合された半自動方式で選択される。
【０１６２】
図１０Ａは、覚え書を取り出すホワイトボード１００００の画像を示す。ホワイトボード１００００には、掲示されたメモやピン止めされたメモと共に沢山の文字や図の書き込みがある。ホワイトボード１００００のコンテンツとして例えば、電話番号リスト１０００１、ホワイトボードの所有者のやるべき事項のリスト１０００２、１つ又は複数の統計分布関数の図１０００３、いくつかの数式１０００４、回路図の議論に関するメモ１０００５が含まれている。メモ１０００６もボードにピン止めされている。
【０１６３】
図１０Ｂは、デスクトップ上の覚え書にするホワイトボード領域を選択するための、ユーザのパソコンあるいはその他の電子デバイス上のユーザインタフェースを示す。図１０Ｂはユーザインタフェース１０５００に表示された、同一ホワイトボード１００００の画像を示す。ユーザインタフェース１０５００が、ユーザにホワイトボードのいくつかの領域を選択させ、それをデスクトップ上の覚え書にする。図１０Ｂに示された例示のユーザインタフェース１０５００では、マウスを利用して選択領域１０１０１、１０１０２、１０１０３を囲む四角を描く。選択された領域１０１０１、１０１０２、１０１０３の画像が次に抽出され、ユーザインタフェースのボード画像の横に表示される。マウスを利用した四角形の選択は例示である。その代わりに、ユーザインタフェースへ選択領域を伝える他の任意の手段を利用してもよい。図１０Ｂはユーザインタフェース上のエリア１０６００も示しており、選択を受け取るためのデスクトップ上の領域を生成する命令が、ここで受信されるようになっている。画像にキャプチャされた後、覚え書はホワイトボード上にそのまま残されても、消去されてもよい。ユーザは、ホワイトボードのスペースを他の目的に利用できるようにしながらも、覚え書の外観を保存することが可能となる。
【０１６４】
図１０Ｃは、２つの覚え書と他のコンテンツを表示しているデスクトップの外観を示している。図１０Ｃでは、ユーザに属するデスクトップコンピュータのスクリーン１０５００上に、２つの選択された覚え書１０１０１と１０１０２が表示されている。この外観の例では、左の隅にある覚え書１０１０１はユーザが選択した１００％の不透明度で表示されており、その一方で、上部の右にある覚え書１０１０２は標準の５０％の不透明度で表示されている。
【０１６５】
図１０Ｄは個人情報管理画面であり、ここに覚え書が現れている。選択された覚え書１０１０１がユーザのデスクトップカレンダあるいは他の個人情報管理ソフトウェアのタスク画面に現れるように表示されている。
【０１６６】
図１１Ａは、本発明の態様による、ホワイトボード画像から覚え書を抽出し、後で処理しアクセスするためにデータベースに格納する方法の一例のフローチャートを示している。
【０１６７】
この方法はステップ１１１００で始まる。ステップ１１１０１でボードの画像が受信される。ステップ１１１０２で、継続的覚え書に相当する画像中のサブ画像が検知される。ステップ１１１０３で、検知されたサブ画像が抽出される。ステップ１１１０４で、抽出されたサブ画像がデータベース中に格納される。ステップ１１１０５でこの方法が完了する。
【０１６８】
図１１Ｂは、本発明の態様による、ホワイトボード画像から覚え書を抽出し、その覚え書をユーザの電子ディスプレイ上にオーバレイとして表示する方法のフローチャートを示す。
【０１６９】
この方法はステップ１１０００で始まる。ステップ１１００１で、ホワイトボードの画像がデジタルカメラを利用してキャプチャされる。一実施例では、このホワイトボードはこのユーザに属している。それは一般的に、ホワイトボードの所有者しか、その個人に関する覚え書に関心がないからである。ステップ１１００２で、保存する予定の画像の領域が検知され識別される。領域の検知は機械により自動的に行われる。あるいは、電子デバイスのユーザインタフェースによって、ユーザは、保存するホワイトボードの任意の領域を識別し選択することが可能となる。検知又は識別された領域は、任意の情報を有する任意のホワイトボードの部分に対応することができる。ユーザにより識別された領域は、あるいは機械により自動的に検知された領域は、電話番号リストや、まだ終わっていなくて、従ってホワイトボードに存続して場所を取っている、仕事のリストを有する覚え書領域に対応している。ステップ１１００３で、画像に関連するメタデータ及び検知された領域のそれぞれに関連するメタデータが収集される。検知された領域は、画像の中のサブ画像に対応する。ステップ１１００４で、それぞれの検知された領域に対する記録が生成される。記録は、画像の中のサブ画像、及びそれに関連するメタデータを含む。記録は電子記憶媒体に保存される。ステップ１１００５で、ユーザインタフェースが識別された領域のプレビューをユーザに提供する。この段階で、ユーザは選択の手動入力を選ぶことができる。ステップ１１００６で、デスクトップスクリーン上に表示するための、あるいはユーザの電子カレンダに転送するための１つ又は複数の識別された領域の選択をユーザインタフェースが、受信する。ステップ１１００７で、選択された領域が記憶媒体から検索され、ユーザインタフェース上、もしくはユーザが選んだ装置の別のスクリーン上に表示される。保存された領域はユーザが決めたソフトウェア媒体内に表示されてもよい。例えば、ユーザのパーソナルコンピュータのデスクトップに単純に表示されてもよいし、ユーザが選んだカレンダプログラムの中に表示されてもよい。次に、さまざまな視覚効果が実装されて、保存され表示されている領域の重要性を表したり、保存された領域の主題である覚え書が締切日に近づいていることを表したりする。ステップ１１００８で、ディスプレイに表示された画像を操作して自分の好みに合うようにする。ステップ１１００９で、自動的にあるいはユーザの裁量で、覚え書がプリントされる。ステップ１１０１０でこの方法が完了する。
【０１７０】
上述したように、ホワイトボードの表示された領域は任意の種類のコンテンツを含んでよい。覚え書メモはホワイトボードに残り続けて、有効なスペースを占有する。従って、これらの覚え書は除去することが望ましい。その一方で、ユーザが長期間に亘って参照することを必要とし、その覚え書の内容をなくしたくないと思うことから、覚書は残り続ける。従って、覚え書として役に立つホワイトボードのメモは、本発明のこの態様によって保存・再表示される典型的なタイプの領域である。
【０１７１】
保存候補のコンテンツ領域の検知（ステップ１１００２）は、手動、自動、あるいは半自動であってよい。
【０１７２】
手動の方法を利用するには、ユーザが特定のカメラでキャプチャされたホワイトボード画像を取り出して、保存する領域を選択し、その画像をシステムに記録させる。このように、手動の方法では、ユーザが覚え書を選択し、機械がその選択を利用する。
【０１７３】
候補のコンテンツ領域が覚え書である場合には、覚え書の検知及び識別を自動的に行ってもよい。しかし、検知段階の後は、さらなる処理及び表示の段階は、識別された覚え書と他の種類の識別されたコンテンツとで同じである。自動的な方法では、覚え書がボード上に存続した時間、書き込みや描画で作られたマークの種類、書き込みや描画の位置、等のようなさまざまな基準に則って、システムが覚え書を検知する。
【０１７４】
覚え書の領域を自動的に判定する方法は、覚え書候補の識別にヒューリスティックの利用を含んでもよい。多くの規則が特定される。例えば、次の３つの規則の任意の組合せが、長期に亘る覚え書のある領域を自動的に判定するのに利用される。（１）縁の近くに長期に亘って存在するマークを選択する。（２）縁の近くで枠に取り囲まれたマークを選択する。（３）事前に定義されたトークンを持つマークや、それに関連するマークを選択する。その他のヒューリスティック規則も使用されてよい。例えば、ボード上の任意の場所にある黒丸の付けられた項目は、そのまま残すようにされたリストであるとみなされ、本発明の態様の方法及びシステムで抽出される。
【０１７５】
本発明の一態様では、特定のユーザから最初に十分な覚え書のサンプルが得られる場合には、同じような特性を持つ他の覚え書を検知するのに、分類子モデルや他の機械学習技術が用いられてもよい。本発明のある態様では、自動分類技術が手動あるいは半自動の技術で補強されてもよい。
【０１７６】
半自動で覚え書を識別する方法は以下の１つ又は複数の動作を含んでよい。
（１）覚え書を探すためにスキャンすべき領域を画定するステップ。
（２）覚え書を探すためにスキャンすべきでない領域を画定するステップ。
（３）自動的方法による誤分類を訂正し、これにより分類子モデルを潜在的にトレーニングするステップ。
（４）自動的に生成された示唆のサイズを変えたり、倍率を変えたりするステップ。ユーザが継続的描画に対応する領域を前以って特定し、システムがそれらの領域における変化を覚え書として認識する。
【０１７７】
人手による処理と自動処理とのある組合せで領域が特定されると、その領域に関する記録が生成され保存される（ステップ１１００４）。ファイルシステムかデータベースのような実質的に永続的な方法で、記録は保存することができる。記録には領域に関するメタデータが含まれ、それは、その領域を抽出した元の画像の参照番号、その画像が最初にボード上で検知されたおよその時間、ボードの全体画像におけるその領域の幾何学的配置、その覚え書が生成された日付及び時刻、カメラの所有者の識別、等を含んでいる。ボードが一人のユーザのオフィスに置かれている場合には、カメラの所有者は一般的にボードの所有者である。個々の領域の記録を取得し格納するステップの１つの特徴として、新しく識別された領域を表す記録が、その他の格納されている領域と比較されて、画像の重複が排除される。
【０１７８】
コンピュータスクリーン上に１つ又は複数の保存された領域を表示するステップ（１１００７）は、ユーザの動作によってあるいは自動的に起動が掛けられる。覚え書の表示には様々なユーザインタフェース機構を利用することができる。ある機構では、覚え書がスクリーンの他のウィンドウ上に重ねて表示される。覚え書は要求に応じて表示されてもよいし、通常のウィンドウの上、あるいは下でフロートしていてもよい。覚え書がスクリーン上に表示されている他の情報を遮蔽することを減らすために、覚え書はある程度の透明度を以って表示されてよい。
【０１７９】
１つ又は複数の保存された領域が、ユーザの既存の個人情報管理（ＰＩＭ）ソフトウェアの拡張として表示されてよい。例えば、図１０Ｄに示すように、電子カレンダのユーザのタスクリストに覚え書が含まれている。
【０１８０】
本発明の種々の態様において、ユーザが表示された画像を操作することができる（ステップ１１００８）。表示された画像を動かすことができる。すなわち、サイズを変え、倍率を変えることができ、後ろに隠したり削除したりできる。ユーザがディスプレイに表示された領域を、隠し、削除し、サイズを変え、倍率を変えることができる。ユーザは、色、サイズ、時刻、あるいはそれぞれの領域に関連するその他の任意のメタデータに基づいて表示する領域をフィルタすることができ、領域を選択した全体画像を表示することもできる。領域の不透明度を制御して、下にあるコンテンツとの干渉を減少させることもできる。保存された覚え書にいつでも追加の詳細を加えることができ、保存された領域を電子的に共有することができる。ユーザは、自分の個人情報管理ソフトウェアの既存の機能を利用して、覚え書を閲覧することができる。
【０１８１】
覚え書は自動的に印刷されて（ステップ１１００９）、紙の記録を生成することができる。
【０１８２】
上記の説明が示すように、ユーザに対して表示され、提示される情報の源は、コンピュータを起源とするものではない。むしろ、その情報のオリジナルは、ホワイトボードやその任意の同等物などのような、周囲にある物理的な物体である。さらに、ユーザに提供される表示は、その物体の現況を単純に示すだけではない。むしろ、表示されている物体の過去の状態、例えば、ホワイトボードからその後消されてしまった覚え書もまたユーザに表示されている。
【０１８３】
さらには、本発明の態様では、ホワイトボードのどこにマークがつけられたか、とか覚え書が書かれたかということをユーザが検索のために知っている必要はない。結果として、ホワイトボード上の同一の位置に、別々の時刻に書き込まれた複数の覚え書を、コンピュータディスプレイ上で覚え書が重複することなしに検索することが可能である。
【０１８４】
電子ホワイトボードはコンテンツ領域を完全に覆い隠さず、能率化する特徴を含んでいる。従って、電子ホワイトボードでは、ユーザは覚え書を削除しないで、ボード上に書き込める白いスペースの量を増やすことができる。しかし、本発明の態様は、電子ホワイトボードにも同じように適用できるが、一度消してしまうとその消されたコンテンツを回復することができない、非電子ホワイトボードにおけるスペースの問題に対処する。電子ホワイトボードは、非電子ホワイトボードや黒板の画像を撮るのと同じように、カメラを使用して画像を撮られることができる。
【０１８５】
図１２は、本発明による方法の実施形態を実装することが可能なコンピュータ／サーバシステム１２０００の実施形態を示すブロック図である。
【０１８６】
システム１２０００は、コンピュータ／サーバプラットフォーム１２００１と、周辺装置１２００２と、及びネットワークリソース１２００３とを含む。
【０１８７】
コンピュータプラットフォーム１２００１は、このコンピュータプラットフォーム１２００１の全体に亘って、あるいはその様々な部分間で、情報をやり取りするためのデータバス１２００４又は他の通信機構と、情報を処理し他の計算タスク及び制御タスクを実行するためにバス１２００４に連結されたプロセッサ１２００５と、を含むことができる。また、コンピュータプラットフォーム１２００１は、プロセッサ（ＣＰＵ）１２００５で実行される命令及び様々な情報を格納するためにバス１２００４に連結された、ランダムアクセスメモリ（ＲＡＭ）や他の動的記憶装置のような揮発性ストレージ１２００６も含む。また、揮発性ストレージ１２００６は、プロセッサ１２００５による命令の実行中に一時変数や、その他の中間情報を格納するために使用することも可能である。コンピュータプラットフォーム１２００１は、基本入出力システム（ＢＩＯＳ）や種々のシステム構成パラメータなどのような、プロセッサ１２００５のための静的情報及び命令を格納するために、バス１２００４に連結された読み取り専用メモリ（ＲＯＭあるいはＥＰＲＯＭ）１２００７や、その他の静的記憶装置をさらに含むことができる。情報及び命令を格納するために、磁気ディスク、光ディスク、ソリッドステートフラッシュメモリデバイスなどの永続記憶装置１２００８が設けられ、バス１２００４に連結されている。
【０１８８】
コンピュータプラットフォーム１２００１は、コンピュータプラットフォーム１２００１のシステム管理者あるいはユーザに対して情報を表示するために、バス１２００４を介して、陰極線管（ＣＲＴ）、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）のようなディスプレイ１２００９に連結されている。英数字キー及びその他のキーを含む入力デバイス（キーボード）１２０１０が、情報及びコマンド選択をプロセッサ１２００５に通信するためにバス１２００４に連結されている。別のタイプのユーザ入力デバイスとして、マウスやトラックボールやカーソル方向キーのようなカーソル制御デバイス１２０１１があり、方向情報及びコマンド選択をプロセッサ１２００５に通信し、またディスプレイ１２００９上のカーソルの動きを制御する。この入力デバイスは通常、第１の軸（たとえばｘ軸）及び第２の軸（例えばｙ軸）の２つ軸における自由度２を有しており、これにより平面上の位置を特定することができる。
【０１８９】
コンピュータプラットフォーム１２００１に付加的、あるいはリムーバブルな記憶容量を提供するために、外部記憶装置１２０１２がバス１２００４を介してコンピュータプラットフォーム１２００１に接続されてもよい。コンピュータシステム１２０００のある実施形態においては、他のコンピュータシステムとのデータ交換を容易にするために外部のリムーバブル記憶装置１２０１２が使用されてもよい。
【０１９０】
本発明は、本明細書で説明する技術を実装するためのコンピュータシステム１２０００の利用に関する。ある実施形態では、本発明のシステムがコンピュータプラットフォーム１２００１のようなマシンに備わっている。本発明の一実施形態によれば、ここで説明される技術は、揮発性メモリ１２００６に含まれる１つ又は複数の命令の１つ又は複数のシーケンスを、プロセッサ１２００５が実行するのに応答して、コンピュータシステム１２０００で実行される。このような命令は、永続記憶装置１２００８のような別のコンピュータ可読媒体から揮発性メモリ１２００６に読み込まれてもよい。揮発性メモリ１２００６に含まれる命令のシーケンスを実行することにより、プロセッサ１２００５がここに説明するプロセスステップを実行する。別の実施形態では、本発明を実装するのに、ソフトウェアによる命令の代わりに、あるいはソフトウェアによる命令と組み合わせて、配線による回路が使用されてもよい。したがって、本発明の実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されるものではない。
【０１９１】
本明細書で使用される「コンピュータ可読媒体」という用語は、プロセッサ１２００５に実効命令を与えることに関与する任意の媒体を指す。コンピュータ可読媒体は、本明細書で説明する任意の方法及び／又は技術を実装するための命令を伝える、マシン可読媒体の一例に過ぎない。このような媒体は多くの形態を取ることができ、不揮発性媒体、揮発性媒体及び伝送媒体などが含まれる。ただしこれに限定されるものではない。不揮発性媒体には、記憶装置１２００８のような、例えば光ディスク、あるいは磁気ディスクが含まれる。揮発性媒体には、揮発性ストレージ１２００６のようなダイナミックメモリが含まれる。伝送媒体には、データバス１２００４を構成する配線を含め、同軸ケーブル、銅線及び光ファイバが含まれる。
【０１９２】
コンピュータ可読媒体の一般的形態として、例えば、フロッピディスク（登録商標）、フレキシブルディスク、ハードディスク、磁気テープ、あるいは他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、その他の孔パターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、その他の任意のメモリチップ又はメモリカートリッジ、あるいはコンピュータが読み取ることができる他の任意の媒体、が含まれる。
【０１９３】
様々な形態のコンピュータ可読媒体が、プロセッサ１２００５での実行のために、１つ又は複数の命令の１つ又は複数のシーケンスの伝送に関与し得る。例えば、最初は命令がリモートコンピュータから磁気ディスクで搬送されてもよい。又は、リモートコンピュータが命令をダイナミックメモリに書込み、モデムを使用して電話線で命令を送信することもできる。コンピュータシステム１２０００にローカルなモデムが電話線上でデータを受信し、赤外線送信機を使用してそのデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号で伝送されるデータを受信し、適切な回路によってそのデータをデータバス１２００４に乗せることができる。バス１２００４がデータを揮発性ストレージ１２００６に伝送し、そこからプロセッサ１２００５が命令を取り出して、実行する。揮発性メモリ１２００６によって受信された命令は、プロセッサ１２００５での実行の前後のいずれかに、所望により、永続記憶装置１２００８上に格納されてもよい。この命令は、当技術分野で周知の様々なネットワークデータ通信プロトコルを利用して、インターネットを介してコンピュータプラットフォーム１２００１にダウンロードされてもよい。
【０１９４】
コンピュータプラットフォーム１２００１は、データバス１２００４に連結されたネットワークインタフェースカード１２０１３のような、通信インタフェースも含んでいる。通信インタフェース１２０１３は、ローカルエリアネットワーク（ＬＡＮ）１２０１５に接続されたネットワークリンク１２０１４に連結する双方向のデータ通信を提供する。例えば、通信インタフェース１２０１３が、対応する型式の電話線とのデータ通信接続を提供する、総合デジタル通信網（ＩＳＤＮ）カードあるいはモデムであってもよい。別の例としては、通信インタフェース１２０１３が、互換性のあるＬＡＮとのテータ通信接続を提供する、ローカルエリアネットワークインタフェースカード（ＬＡＮ  ＮＩＣ）であってもよい。よく知られている８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ及びブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））などのような無線リンクもネットワーク実装に利用することができる。これらのいずれの実装においても、通信インタフェース１２０１３が、さまざまなタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号、あるいは光信号を送受信する。
【０１９５】
ネットワークリンク１２０１４が、通常、１つ又は複数のネットワークを介して他のネットワークリソースへのデータ通信を提供する。例えば、ネットワークリンク１２０１４が、ＬＡＮ１２０１５を介してホストコンピュータ１２０１６、あるいはネットワークストレージ／サーバ１２０２２への接続を提供する。これに加えて、もしくはこれに代わって、ネットワークリンク１２０１４はゲートウェイ／ファイアウォール１２０１７を介して、インターネットのような、広域ネットワークあるいはグローバルネットワーク１２０１８へ接続されてもよい。このようにしてコンピュータプラットフォーム１２００１が、リモートネットワークストレージ／サーバ１２０１９のような、インターネット１２０１８上の任意の場所にあるネットワークリソースへアクセスすることができる。その一方で、コンピュータプラットフォーム１２００１も、ＬＡＮ１２０１５、及び／又はインターネット１２０１８の上の任意の場所にいるクライアントからアクセスされ得る。ネットワーククライアント１２０２０及び１２０２１自体が、プラットフォーム１２００１と同様のコンピュータプラットフォームに基づいて実装されてもよい。
【０１９６】
ＬＡＮ１２０１５及びインターネット１２０１８はともに、デジタルデータストリームを搬送する電気信号、電磁信号あるいは光信号を利用する。コンピュータプラットフォーム１２００１へ向けて、又はコンピュータプラットフォーム１２００１からデジタルデータを搬送する、さまざまなネットワークを介する信号、及びネットワークリンク１２０１４上にあって通信インタフェース１２０１３を介する信号が、情報を転送するキャリア波の例示的な形態である。
【０１９７】
コンピュータプラットフォーム１２００１が、インターネット１２０１８とＬＡＮ１２０１５を含む様々なネットワーク、及びネットワークリンク１２０１４、及び通信インタフェース１２０１３を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、システム１２００１がネットワークサーバとして作用する場合に、システムは、クライアント１２０２０及び／又は１２０２１上で動作するアプリケーションプログラム用に要求されるコードあるいはデータを、インターネット１２０１８、ゲートウェイ／ファイアウォール１２０１７、ＬＡＮ１２０１５及び通信インタフェース１２０１３を介して送信する。同様に、システムは他のネットワークリソースからコードを受け取ることもできる。
【０１９８】
受信されたコードはそのままプロセッサ１２００５で実行されるか、及び／又は、後での実行に備えて永続記憶装置１２００８あるいは揮発性記憶装置１２００６、あるいはその他の不揮発性ストレージに格納される。このように、コンピュータシステム１２００１は、搬送波の形式でアプリケーションコードを入手してもよい。
【０１９９】
図１３は、本発明のさまざまな態様とコンピュータプラットフォームの関連を示すための例示的機能図である。この図は、本発明の、共同作業として共有する態様、履歴及び背景を保存する態様、あるいは継続的覚え書を再表示する態様が、どのようにコンピュータプラットフォームと関わるかを示すために使用される。
【０２００】
装置１３０００が共同作業の検知、アーカイブ及び共有の装置であるとすると、装置１３０００は、デジタルカメラからの画像と、動き及び共同作業センサにより伝送される感知データを処理するのに使用される中央処理ユニット（ＣＰＵ）１３００５、及びＲＡＭ／ＲＯＭユニット（揮発性ストレージ）１３００６、（ＥＰＲＯＭ／ファームウェアストレージ）１３００７、（永続ストレージ）１３００８を含んでいてもよい。画像及び感知されたデータは、外部ストレージ１３０１２にアーカイブされる。この外部ストレージは、中央サーバに含まれているか、装置１３０００に連結されていてもよいし、あるいは装置そのものの永続ストレージ１３００８に備わっていてもよい。入出力インタフェース１３０１１あるいはネットワークインタフェースカード１３０１３は、画像及び感知されたデータを受信し、収集されたデータを関連する共同作業者へ送信するのに使用されてもよい。入出力インタフェース１３０１１はまた、ホワイトボードに向けられたカメラを含んでいて、ホワイトボードそのもののデジタル写真を外部カメラから受け取る代わりに収集するようになっていてもよい。さらに、動き及び共同作業センサが、装置１３０００の一部として含まれていてもよい。
【０２０１】
装置１３０００が、本発明の態様に従って履歴及び背景を保存する装置であるとすると、装置１３０００は、デジタルカメラから受信する画像とタイムラインを処理するのに使用される、中央処理ユニット（ＣＰＵ）１３００５、及びＲＡＭ／ＲＯＭユニット１３００６、１３００７、１３００８を含んでいてもよい。画像は、関連するタイムライン及び他のメタデータと一緒に、外部ストレージ１３０１２にアーカイブされる。この外部ストレージは、中央サーバに含まれているか、装置１３０００に連結されていてもよいし、あるいは装置そのものの永続ストレージ１３００８に備わっていてもよい。入出力インタフェース１３０１１もしくはネットワークインタフェースカード１３０１３が、画像及びその関連の時間データを受信するのに使われる。入出力インタフェース１３０１１はまた、ホワイトボードに向けられたカメラを含んでいて、ホワイトボードそのもののデジタル写真を外部カメラから受け取る代わりに収集するようになっていてもよい。画像データの変化は、ＣＰＵ１３００５で処理され、生成されたヒートマップはディスプレイ１３００９に表示されてよい。
【０２０２】
装置１３０００が、本発明の態様に従って継続的メッセージを収集しかつ再表示するシステムであるとすると、装置１３０００は、ホワイトボードからの画像を処理し、継続的メッセージを識別し、それをユーザに対してディスプレイ１３００９などのスクリーン上に再表示する、中央処理ユニット（ＣＰＵ）１３００５、及びＲＡＭ／ＲＯＭユニット１３００６、１３００７、１３００８を含んでいてもよい。画像は、関連するタイムライン及び他のメタデータと一緒に、外部ストレージ１３０１２にアーカイブされる。この外部ストレージは、中央サーバに含まれているか、装置１３０００に連結されていてもよいし、あるいは装置そのものの永続ストレージ１３００８に備わっていてもよい。入出力インタフェース１３０１１あるいはネットワークインタフェースカード１３０１３が、画像及びその関連の継続性データを受信するのに使われてもよい。入出力インタフェース１３０１１はまた、ホワイトボードに向けられたカメラを含んでいて、ホワイトボードそのもののデジタル写真を外部カメラから受け取る代わりに収集するようになっていてもよい。継続性の画像データの検知はＣＰＵ１３００５によって処理され、抽出された覚え書はディスプレイ１３００９上に表示されるか、別のユーザのコンピュータに送られて表示されてもよい。
【０２０３】
最後に、本明細書で説明したプロセス及び技術は特定の装置に生得的に関係するものではなく、構成要素の任意の適切な組み合わせによって実装可能であることを理解されたい。さらに、種々のタイプの汎用デバイスを、ここで説明した教示にしたがって使用することが可能である。ここで説明した方法のステップを実行するための専用の装置を構築することが有利な場合もあり得るであろう。本発明を特定の例に関連して説明したが、これらは全ての点において限定的ではなく説明的であることを意図している。ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが本発明の実行に適することが、当業者には理解されるであろう。例えば、前述のソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、などの広範なプログラム言語あるいはスクリプト言語によって実装することが可能である。
【０２０４】
さらに、ここに開示した本発明の明細書を考察し、本発明を実施すれば、本発明の他の実装が当業者には明らかとなるであろう。前述の実施態様の様々な態様及び／又は構成要素は、本発明のシステムに単独もしくは任意の組み合わせで使用することが可能である。明細書及び実施例は例示としてのみ理解されるべきであり、本発明の真の範囲と精神は添付の特許請求の範囲及びその均等物によって示されるものとする。
【符号の説明】
【０２０５】
９０        ホワイトボード
９５        カメラ
１００      第１の光景
１０１      第１のユーザ
１０３      第１のコンテンツ
２００      第２の光景
２０１      第２のユーザ
２０３      第２のコンテンツ
１２０００  システム
１２００１  コンピュータ／サーバプラットフォーム
１２００２  周辺装置
１２００３  ネットワークリソース
【図１Ａ】
2010244526.tif 000003
【図１Ｂ】
2010244526.tif 000004
【図１Ｃ】
2010244526.tif 000005
【図１Ｄ】
2010244526.tif 000006
【図２Ａ】
2010244526.tif 000007
【図２Ｂ】
2010244526.tif 000008
【図３Ａ】
2010244526.tif 000009
【図３Ｂ】
2010244526.tif 000010
【図４Ａ】
2010244526.tif 000011
【図４Ｂ】
2010244526.tif 000012
【図５Ａ】
2010244526.tif 000013
【図５Ｂ】
2010244526.tif 000014
【図５Ｃ】
2010244526.tif 000015
【図５Ｄ】
2010244526.tif 000016
【図６】
2010244526.tif 000017
【図７】
2010244526.tif 000018
【図８】
2010244526.tif 000019
【図９】
2010244526.tif 000020
【図１０Ａ】
2010244526.tif 000021
【図１０Ｂ】
2010244526.tif 000022
【図１０Ｃ】
2010244526.tif 000023
【図１０Ｄ】
2010244526.tif 000024
【図１１Ａ】
2010244526.tif 000025
【図１１Ｂ】
2010244526.tif 000026
【図１２】
2010244526.tif 000027
【図１３】
2010244526.tif 000028