(57)【要約】【課題】  遠隔協同作業のためにホワイトボードの作業面の鮮明な画像を送信するためのシステムおよび方法。【解決手段】  この画像は、作業面の投影された画像と参加者によりホワイトボードに物理的に付加された書込みという２つの部分に分離される。この分離はいくつかの利点を可能にする。帯域幅要求は、ビデオ電話会議よりはるかに低く、そしてホワイトボード共有の利点が向上する。物理的なホワイトボード上で生成される視覚エコーをキャンセルすることができる。【選択図】  図３
2005253067.tif 000002
【特許請求の範囲】
【請求項１】
ホワイトボード作業面上に書き込まれた書込みをセグメント化するためのコンピュータ実装プロセスであって、
ホワイトボード上に投影された１つまたは複数のアイテムおよびホワイトボード上に書き込まれた書込みを含むホワイトボードの画像をカメラで取り込むプロセス動作と、
前記ホワイトボード上に投影された前記１つまたは複数のアイテムと前記ホワイトボード上に書き込まれた前記書込みとを２つのファイルに分離するプロセス動作と
を備えたことを特徴とするコンピュータ実装プロセス。
【請求項２】
前記ホワイトボード上に書き込まれた前記書込みを含む前記ファイルを遠隔参加者に伝送するプロセス動作をさらに備えたことを特徴とする請求項１に記載のコンピュータ実装プロセス。
【請求項３】
前記ホワイトボード上に書き込まれた前記書込みを含む前記ファイルを保管するプロセス動作をさらに備えたことを特徴とする請求項１に記載のコンピュータ実装プロセス。
【請求項４】
前記ホワイトボード上に投影された前記１つまたは複数のアイテムは、電子プレゼンテーションを含むことを特徴とする請求項１に記載のコンピュータ実装プロセス。
【請求項５】
前記ホワイトボード上に投影された前記１つまたは複数のアイテムは、遠隔参加者から受け取った注釈を含むことを特徴とする請求項１に記載のコンピュータ実装プロセス。
【請求項６】
前記ホワイトボード上に投影された前記１つまたは複数のアイテムと前記ホワイトボード上に書き込まれた前記書込みとを２つのファイルに分離するプロセス動作は、
前記カメラ視野の位置と前記ホワイトボード上に投影された前記１つまたは複数のアイテムとの間の関係を、幾何補正を介して判定するプロセス動作と、
前記ホワイトボード上に書き込まれた前記書込みの色と前記画像に取り込まれた前記ホワイトボード上に書き込まれた前記書込みの色との間の関係を、色補正を介して判定するプロセス動作と、
前記幾何補正および前記色補正の結果を用いて、取り込まれた画像を幾何学的形状および色について前記ホワイトボードにマッチするように補正する視覚エコー画像を推定するプロセス動作と、
前記取り込まれた画像のアルベドと前記視覚エコー画像のアルベドとの比を比較することにより、視覚エコーキャンセレーションを用いて前記ホワイトボード上に書き込まれた書込みを分離するプロセス動作と
を備えたことを特徴とする請求項１に記載のコンピュータ実装プロセス。
【請求項７】
前記視覚エコーは、遠隔参加者からの注釈および投影された内容を含むことを特徴とする請求項６に記載のコンピュータ実装プロセス。
【請求項８】
前記取り込まれた画像のアルベドと前記視覚エコーのアルベドとの比が１未満である場合、与えられた画素［ｘ，ｙ］は、
１−（赤、緑および青の色チャネルの和についてのアルベド比）／３が、（赤、緑および青の色チャネルについての画素の分散の和）／（赤、緑および青の色チャネルについての画素の視覚エコーの和）より大きい場合に限り、前記書込みに属することを特徴とする請求項６に記載のコンピュータ実装プロセス。
【請求項９】
前記書込みに属する画素［ｘ，ｙ］につき、与えられた色チャネルについて、前記取り込まれた画像中の色は、そのアルベド比を前記与えられたチャンネルについて２５５でかけることにより補正することができることを特徴とする請求項８に記載のコンピュータ実装プロセス。
【請求項１０】
ホワイトボード上に書き込まれた内容を識別するためのコンピュータ実装プロセスであって、
ホワイトボードと、カメラによって取り込まれた前記ホワイトボードのビューとの間の幾何学的関係を判定する幾何補正データを得るプロセス動作と、
前記ホワイトボード上に書き込まれた書込みの色と、前記カメラによって取り込まれた画像中のホワイトボード上に書き込まれた書込みの色との間の色関係を判定する色補正データを得るプロセス動作と、
投影された内容および前記ホワイトボード上に書き込まれた書込みを有する前記ホワイトボードの画像を取り込むプロセス動作と、
前記幾何補正データおよび前記色補正データを用いて前記取り込まれた画像の色および幾何学的形状を補正することにより、前記取り込まれた画像の視覚エコーを計算するプロセス動作と、
前記取り込まれた画像のアルベドと前記視覚エコーのアルベドとの比を用いて前記ホワイトボード上の書込みを識別するプロセス動作と
を備えたことを特徴とするコンピュータ実装プロセス。
【請求項１１】
前記識別された書込みをセグメント化するプロセス動作と、
前記セグメント化された書込みを表示のために遠隔地に伝送するプロセス動作と
をさらに備えたことを特徴とする請求項１０に記載のコンピュータ実装プロセス。
【請求項１２】
前記識別された書込みをセグメント化するプロセス動作と、
前記セグメント化された書込みを後の閲覧のために保存するプロセス動作と
をさらに備えたことを特徴とする請求項１０に記載のコンピュータ実装プロセス。
【請求項１３】
幾何補正データを得るプロセス動作は、
長方形パターンのシーケンスを前記ホワイトボード上に投影し、同時に前記長方形パターンのシーケンスを画像のシーケンスに取り込むプロセス動作と、
前記カメラで取り込まれた前記画像のシーケンス中の前記長方形パターンのコーナを検出するプロセス動作と、
前記画像のシーケンス中のコーナの位置と、前記ホワイトボード上の前記長方形パターンのコーナの間の対応を用いて、前記カメラ視野と前記ホワイトボードとの間の幾何学的関係を規定するホモグラフィを推定するプロセス動作と
を備えたことを特徴とする請求項１０に記載のコンピュータ実装プロセス。
【請求項１４】
前記コーナを検出するプロセス動作は、
前記画像をグレースケール画像に変換するプロセス動作と、
エッジ検出を用いて前記グレースケール画像中の前記長方形のエッジを検出し、エッジマップを作成するプロセス動作と、
ハフ変換を用いて前記エッジマップ上の直線を検出するプロセス動作と、
前記検出された直線を用いて前記長方形のそれぞれに四角形をあてはめるプロセス動作と、
前記四角形のコーナを求めるプロセス動作と
を備えたことを特徴とする請求項１３に記載のコンピュータ実装プロセス。
【請求項１５】
前記色補正データを得るプロセス動作は、
赤、緑、青の色空間をビンに量子化するプロセス動作と、
量子化された色のセットのそれぞれについて、
部分領域に分割された前記ホワイトボード全体に既知の色を投影するプロセス動作と、
前記ホワイトボード上に投影された前記既知の色のｎ個の画像をカメラで撮り、前記ｎ個の画像を格納するプロセス動作と、
前記幾何補正によって求めた前記ホモグラフィを用いて前記ｎ個の画像のそれぞれをホワイトボード座標にワープするプロセス動作と、
各部分領域についてｎフレームにわたる各色の平均および分散を計算するプロセス動作と、
前記既知の色について各部分領域の平均および分散のルックアップテーブルを作成するプロセス動作と
を備えたことを特徴とする請求項１０に記載のコンピュータ実装プロセス。
【請求項１６】
前記取り込まれた画像のアルベドと前記視覚エコーのアルベドとの比が１に等しい場合、前記ホワイトボードに何も書き込まれていないことを特徴とする請求項１０に記載のコンピュータ実装プロセス。
【請求項１７】
前記取り込まれた画像のアルベドと前記視覚エコーのアルベドとの比が１未満である場合、前記ホワイトボード上に書き込まれた書込みがあることを特徴とする請求項１０に記載のコンピュータ実装プロセス。
【請求項１８】
前記取り込まれた画像のアルベドと前記視覚エコーのアルベドとの比が１未満である場合、与えられた画素［ｘ，ｙ］は、
１−（赤、緑および青の色チャネルの和についてのアルベド比）／３が、（赤、緑および青の色チャネルについての画素の分散の和）／（赤、緑および青の色チャネルについての画素の視覚エコーの和）より大きい場合に限り、前記書込みに属することを特徴とする請求項１０に記載のコンピュータ実装プロセス。
【請求項１９】
前記書込みに属する画素［ｘ，ｙ］につき、与えられた色チャネルについて、前記取り込まれた画像中の色は、そのアルベド比を前記与えられたチャネルについて２５５でかけることにより補正することができることを特徴とする請求項１８に記載のコンピュータ実装プロセス。
【請求項２０】
ホワイトボード上に書き込まれた内容を遠隔会議参加者に提供するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、
ホワイトボードと、カメラによって取り込まれた前記ホワイトボードのビューとの間の幾何学的関係を判定する幾何補正データを得ることと、
前記ホワイトボード上に書き込まれた書込みの色と、前記カメラによって取り込まれた画像中の前記ホワイトボード上に書き込まれた前記書込みの色との間の色関係を判定する色補正データを得ることと、
投影された内容および前記ホワイトボード上に書き込まれた書込みを有する前記ホワイトボードの画像を取り込むことと、
前記幾何補正データおよび前記色補正データを用いて前記取り込まれた画像の色および幾何学的形状を補正することにより、前記取り込まれた画像の視覚エコーを計算することと、
前記取り込まれた画像のアルベドと前記視覚エコーのアルベドとの比を用いて前記ホワイトボード上の書込みを識別することと
を備えたことを特徴とするコンピュータ可読媒体。
【請求項２１】
遠隔協同作業のためにホワイトボード作業面の鮮明な画像をセグメント化するためのシステムであって、
ホワイトボード上に投影された１つまたは複数のアイテムおよびホワイトボード上に書き込まれた書込みを含むホワイトボードの１つまたは複数の画像を取り込むカメラと、
前記ホワイトボード上に投影された前記１つまたは複数のアイテムと前記ホワイトボード上に書き込まれた前記書込みを２つのファイルに分離する視覚エコーキャンセレーションモジュールと
を備えたことを特徴とするシステム。
【請求項２２】
前記ホワイトボード上に投影された１つまたは複数のアイテムおよび前記ホワイトボード上に書き込まれた書込みを表示するためのディスプレイを備える遠隔地と、
前記ホワイトボード上に投影された１つまたは複数のアイテムおよび前記ホワイトボード上に書き込まれた書込みを前記遠隔地に伝送するためのネットワークと
をさらに備えたことを特徴とする請求項２１に記載のシステム。
【請求項２３】
前記ホワイトボード上に書き込まれた前記書込みおよび前記ホワイトボード上に投影された前記１つまたは複数のアイテムは、２つの別個のファイルとして前記遠隔地に送られることを特徴とする請求項２１に記載のシステム。
【請求項２４】
前記遠隔地は、前記ホワイトボードに注釈を送り返して前記ホワイトボード上に投影された前記１つまたは複数のアイテムと共に表示する機能を有することを特徴とする請求項２２に記載のシステム。
【請求項２５】
前記ホワイトボード上に投影された前記１つまたは複数のアイテムと前記ホワイトボード上に書き込まれた前記書込みを２つのファイルに分離するための前記視覚エコーキャンセレーションモジュールは、
ホワイトボードと、カメラによって取り込まれた前記ホワイトボードのビューとの間の幾何学的関係を判定する幾何補正データを得るためのサブモジュールと、
前記ホワイトボード上に書き込まれた書込みの色と、前記カメラによって取り込まれた画像中の前記ホワイトボード上に書き込まれた前記書込みの色との間の色関係を判定する色補正データを得るためのサブモジュールと、
投影された内容および前記ホワイトボード上に書き込まれた書込みを有する前記ホワイトボードの画像を取り込むためのサブモジュールと、
前記幾何補正データおよび前記色補正データを用いて前記取り込まれた画像の色および幾何学的形状を補正することにより、前記取り込まれた画像の視覚エコーを計算するためのサブモジュールと、
前記取り込まれた画像のアルベドと前記視覚エコーのアルベドとの比を用いて前記ホワイトボード上の書込みを識別するためのサブモジュールと
を備えたことを特徴とする請求項２１に記載のシステム。
【請求項２６】
前記取り込まれた画像のアルベドと前記視覚エコーのアルベドとの比が１未満である場合、与えられた画素［ｘ，ｙ］は、
１−（赤、緑および青の色チャネルの和についてのアルベド比）／３が、（赤、緑および青の色チャネルについての画素の分散の和）／（赤、緑および青の色チャネルについての画素の視覚エコーの和）より大きい場合に限り、前記書込みに属することを特徴とする請求項２５に記載のシステム。
【請求項２７】
前記書込みに属する画素［ｘ，ｙ］につき、与えられた色チャネルについて、前記取り込まれた画像中の色は、そのアルベド比を前記与えられたチャネルについて２５５でかけることにより補正することができることを特徴とする請求項２６に記載のシステム。
【請求項２８】
前記書込みに属する画素［ｘ，ｙ］につき、与えられた色チャネルについて、前記取り込まれた画像中の色は、
前記ホワイトボード上でマークするために使用される最も共通して用いられるマーカに対応する４つの色のクラスを選ぶことと、
前記書込み一式を復元することと、
前記赤、緑、青の色チャネルについて、前記取り込まれた画像中の前記書込みの色を補正することと、
前記書込みの色を、赤、緑、青の色空間から、色相、彩度、明度の色空間に変換して新しい画像を作成すること、
前記４つの色のクラスに対応する書込みを手動で定義し、それらの書込みを色相、彩度、明度によりヒストグラム化することと、
前記ヒストグラムに基づいて、前記新しい画像中の各画素が前記４つのクラスの１つに属する確率を評価することと
によって補正することができることを特徴とする請求項２７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトボードをプロジェクタ−カメラシステムに組み込んだシステムに関する。より詳細には、本発明は、視覚エコーキャンセレーション技術を用いることによって、遠隔協同作業のためにホワイトボード作業面の鮮明な画像を伝送するためのシステムおよび方法に関する。
【背景技術】
【０００２】
ここ数年の間、ビデオカメラおよびプロジェクタは、高価な実験機器から手の届く民生品へと変化してきている。これは、プロジェクタにより提供される大型ディスプレイと、１つまたは複数のカメラからのインテリジェントフィードバックとを組み合わせた、多くの人間−コンピュータ対話システムの創出の引き金となっている。他方、ホワイトボードは、依然として、（講義、プレゼンテーション、ブレーンストーミングを含む）多くの会議に欠くことのできない要素である。というのは、それが、会議参加者が注意を集中し、自然発生的に意見を表明し、交換するための大きな共有空間を提供するためである。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
以前の技術は、ホワイトボードをプロジェクタ−カメラシステム内に統合している。しかしながら、こうした以前の技術は、主として、同じ物理的場所でのグループ協同作業に焦点を合わせたものであった。遠隔参加者がいる場合のホワイトボードの使用は、他方で様々な問題を提示する。例えば、遠隔会議参加者は、物理的にホワイトボードと同じ場所にいないため、ホワイトボード上に書かれた内容に寄与することができない。また、ネットワークを介した遠隔参加者にホワイトボードの画像を送ることは、大きなネットワーク帯域幅を使用し、非常に遅くなることが多い。
【０００４】
したがって、大きな帯域幅を必要とせずに判読可能な形でネットワークを介して遠隔の会議参加者に転送することができる、ホワイトボード上の書込みの内容を取り込み、伝送するためのシステムおよび方法が求められている。また、このシステムは、遠隔参加者がホワイトボードの内容に寄与できるようにし、後日閲覧するためにホワイトボードの内容を保管できるようにすべきである。
【課題を解決するための手段】
【０００５】
本発明のシステムおよび方法は、ホワイトボードを書込み面と投影面の両方に使用することにより、ホワイトボードをプロジェクタ−カメラシステムに統合する。本発明は、カメラでホワイトボードの画像シーケンスまたはビデオを取り込み、ホワイトボード上の書込みをそこに投影された内容から分離する。
【０００６】
遠隔地での表示のために、抽出された書込みを元のコンピュータプレゼンテーション上でデジタル的に付加することにより、遠隔出席者は、ホワイトボード上の書込みが利用できない伝送表示内容をただ閲覧するよりも良好な閲覧体験を得ることができる。また、遠隔出席者は、元の表示内容の品質が劣る未処理のホワイトボードビデオをただ閲覧するよりも良好な閲覧体験を得る。さらに、遠隔出席者がローカルの会議室に注釈（ａｎｎｏｔａｔｉｏｎ）を送る場合、その注釈は、投影されるが、遠隔地に送り返されない。音声による会議でのエコーキャンセレーションに例えて、これは視覚エコーキャンセレーションと呼ばれる。視覚エコーは、厳密な定義によれば、カメラから見た投影された（遠隔出席者からの）注釈の外観（ａｐｐｅａｒａｎｃｅ）である。しかしながら、コンピュータプレゼンテーションはより良好な閲覧品質のために遠隔出席者に送られるので、投影されたプレゼンテーションの外観も視覚エコーと考えなければならない。そこで、視覚エコーキャンセレーションは、ホワイトボード上に投影されたアイテムのビデオまたは画像のシーケンスから物理的な書込みだけを抽出することができれば解決される。このためには、カメラから見たコンピュータ投影内容の外観の正確な予測が必要である。これは、幾何補正（ｇｅｏｍｅｔｒｉｃ  ｃａｌｉｂｒａｔｉｏｎ）および色補正（ｃｏｌｏｒ  ｃａｌｉｂｒａｔｉｏｎ）という２つの基本構成要素を必要とする。幾何補正は、カメラ視野（ｃａｍｅｒａ  ｖｉｅｗ）中の位置とプロジェクタスクリーン、すなわちこの場合はホワイトボード中の位置の間のマッピングに関係する。色補正は、投影された内容の実際の色とカメラから見た色の間のマッピングに関係する。
【０００７】
本発明によるシステムおよび方法を用いることができる典型的なプロセスは以下の通りである。最初に、幾何補正データおよび色補正データを得る。投影されたプレゼンテーションや遠隔参加者により加えられた注釈などその上に投影されたアイテム、ならびに物理的にホワイトボード上に書き込まれた書込みを有するホワイトボードの画像またはビデオを取り込む。次いで、ある所与の取り込み画像の視覚エコーが計算される。次いで、視覚エコーキャンセレーションを用いて、ホワイトボード上に書き込まれた書込みを投影された内容（遠隔参加者の注釈や電子プレゼンテーションなど）から分離する。書込みは、遠隔参加者に送られて、伝送されたプレゼンテーションおよび遠隔参加者により加えられた注釈と併せてリモートディスプレイに表示させることができる。同様に、書込みは、将来の閲覧のために保管することができる。
【０００８】
本発明によるシステムおよび方法のいくつかの直接の利点は、コンピュータプレゼンテーションとホワイトボード上での議論とが１つのセッションにシームレスに統合されることである。会議出席者は、プロジェクタスクリーンからホワイトボード、およびその逆に注意を転じることにより気を散らされることがない。さらに、そのようなシステムは、ローカルおよび遠隔の出席者が、単一の相互に共有された作業空間で互いに協同作業を行うことを可能にする。ローカルの出席者は、電子ホワイトボードなど市販の大型ディスプレイ製品が使用される場合よりもより一層自然な書込み面を得る。最も重要なことだが、このシステムは、現在の会議環境にの上に容易に展開できる。本発明のシステムおよび方法は、それゆえ、専用で通常は高価な機器および付属品の設置を必要とする多くの大型ディスプレイ製品よりもはるかに経済的である。
【０００９】
以下の詳細な説明を添付の図面と併せて読めば、前述の利点に加えて本発明の他の利点が明らかになるであろう。
【００１０】
本発明の具体的特徴、態様および利点は、以下の説明、添付の特許請求の範囲および添付の図面に関してよりよく理解されるであろう。
【発明を実施するための最良の形態】
【００１１】
以下の本発明の好ましい実施形態の説明では、本明細書の一部を形成し、例として、本発明を実施することができる具体的な実施形態が示されている添付の図面を参照する。他の実施形態を利用することもでき、本発明の範囲を逸脱することなく構造上の変更を加えることもできることが理解される。
【００１２】
１．０  例示的動作環境
図１に、本発明を実施することができる適切なコンピューティングシステム環境１００の一例を示す。コンピューティングシステム環境１００は、適切なコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲についていかなる限定を示唆するものではない。また、コンピューティング環境１００は、例示的動作環境１００に示す構成要素のいずれか１つまたはそれらの組合せに関するいかなる依存または要件を有するものとも解釈すべきではない。
【００１３】
本発明は、多数の他の汎用または専用コンピューティングシステム環境または構成で動作する。本発明と共に使用するのに適すると考えられる周知のコンピューティングシステム、環境および／または構成の例には、これらに限られないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド、ラップトップもしくはモバイルコンピュータまたは携帯電話やＰＤＡなどの通信装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境などが含まれる。
【００１４】
本発明は、プログラムモジュールなど、コンピュータにより実行されるコンピュータ実行可能命令の一般的な関連で説明することができる。一般に、プログラムモジュールは、特定のタスクを実行し、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本発明は、通信ネットワークを介してリンクされたリモート処理装置によりタスクが実行される分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含むローカルおよびリモート両方のコンピュータ記憶媒体に位置することがある。図１を参照すると、本発明を実施するための例示的なシステムは、コンピュータ１１０の形態の汎用コンピューティングデバイスを含む。
【００１５】
コンピュータ１１０の構成要素には、これらに限られないが、処理装置１２０、システムメモリ１３０、およびシステムメモリを含む様々なシステム構成要素を処理装置１２０に結合するシステムバス１２１が含まれ得る。システムバス１２１は、メモリバスもしくはメモリコントローラ、周辺バスおよび様々なバスアーキテクチャのいずれかを使用するローカルバスを含むいくつかの種類のバス構造のいずれでもよい。例として、限定ではなく、そのようなアーキテクチャには、ＩＳＡ（Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ  Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ  ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、およびメザニンバスとも呼ばれるＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスが含まれる。
【００１６】
コンピュータ１１０は、通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０によってアクセスすることができる任意の使用可能な媒体とすることができ、揮発性媒体および不揮発性媒体の両方、リムーバブル媒体および非リムーバブル媒体の両方が含まれる。例として、限定はなく、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含み得る。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータなどの情報の格納のための任意の方法または技術で実施された揮発性および不揮発性、リムーバブルおよび非リムーバブルの媒体を含む。コンピュータ記憶媒体は、これらに限られないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくはその他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶もしくはその他の磁気記憶装置、または所望の情報を格納するために使用でき、コンピュータ１１０によってアクセスすることができるその他の任意の媒体を含む。通信媒体は、通常、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータを、搬送波またはその他のトランスポート機構などの変調データ信号に具体化し、任意の情報送達媒体を含む。「変調データ信号」という用語は、信号に情報を符号化するような形でその特性の１つまたは複数を設定または変更した信号を意味する。例として、限定ではなく、通信媒体には、有線ネットワークや直接配線接続などの有線媒体、および音響、ＲＦ、赤外線、その他の無線媒体などの無線媒体が含まれる。上記のいずれの組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００１７】
システムメモリ１３０は、読取り専用メモリ（ＲＯＭ）１３１やランダムアクセスメモリ（ＲＡＭ）１３２などの揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を含む。起動時などに、コンピュータ１１０内の要素間の情報転送を助ける基本ルーチンが入った基本入出力システム（ＢＩＯＳ）１３３は、通常、ＲＯＭ１３１に格納される。ＲＡＭ１３２は、通常、処理装置１２０から直ちにアクセス可能であり、そして／またはそれによって現在処理されているデータおよび／またはプログラムモジュールを収容する。例として、限定ではなく、図１に、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７を示す。
【００１８】
コンピュータ１１０は、また、他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータ記憶媒体を含み得る。例にすぎないが、図１に、非リムーバブル不揮発性磁気媒体との間で読取りまたは書込みを行うハードディスクドライブ１４１、リムーバブル不揮発性磁気ディスク１５２との間で読取りまたは書込みを行う磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭやその他の光媒体など、リムーバブル不揮発性光ディスク１５６との間で読取りまたは書込みを行う光ディスクドライブ１５５を示す。例示的動作環境で使用することができるその他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体には、これらに限られないが、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれる。ハードディスクドライブ１４１は、通常、インターフェース１４０などの非リムーバブルメモリインターフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５２は、通常、インターフェース１５０などのリムーバブルメモリインターフェースによってシステムバス１２１に接続される。
【００１９】
前述し、図１に示したドライブおよび関連するコンピュータ記憶媒体は、コンピュータ１１０にコンピュータ可読命令、データ構造、プログラムモジュールおよびその他のデータの記憶を提供する。図１では、例えば、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６およびプログラムデータ１４７を格納するものとして示されている。これらのコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６およびプログラムデータ１３７と同じであることも、異なることもあることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６およびプログラムデータ１４７には、少なくともそれらが異なるコピーであることを示すために、ここでは異なる番号を付してある。ユーザは、キーボード１６２や、一般にマウス、トラックボールまたはタッチパッドと呼ばれるポインティングデバイス１６１などの入力装置を介してコンピュータ１１０にコマンドおよび情報を入力することができる。他の入力装置（図示せず）には、マイク、ジョイスティック、ゲームパッド、衛星アンテナ、スキャナなどが含まれ得る。これらおよびその他の入力装置は、システムバス１２１に結合されているユーザ入力インターフェース１６０を介して処理装置１２０に接続されることが多いが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）など他のインターフェースおよびバス構造によって接続することもできる。モニタ１９１または他の種類の表示装置もシステムバス１２１にビデオインターフェース１９０などのインターフェースを介して接続される。モニタに加えて、コンピュータは、スピーカ１９７やプリンタ１９６など他の周辺出力装置を含むこともでき、それらは出力周辺インターフェース１９５を介して接続することができる。
【００２０】
さらに、コンピュータ１１０は、入力装置として、画像のシーケンス１９３を取り込むことのできるカメラ１９２（デジタル／電子スチルカメラ、ビデオカメラまたはフィルム／写真スキャナなど）も含み得る。さらに、１台のカメラ１９２だけが図示されているが、複数のカメラがコンピュータ１１０への入力装置として含まれ得るであろう。複数のカメラを使用すると、同時にまたはシーケンス的に１つの画像の複数のビューを取り込むことが可能になり、３次元または奥行き画像、またはシーンのパノラマ画像を取り込むことができる。１つまたは複数のカメラ１９２からの画像１９３は、適当なカメラインターフェース１９４を介してコンピュータ１１０に入力される。このインターフェースはシステムバス１２１に接続され、それによって、画像１９３を、ＲＡＭ１３２、またはコンピュータ１１０に関連付けられたその他の前述のデータ記憶装置のいずれかにルートし、格納することが可能になる。しかしながら、画像データは、カメラ１９２を使用せずに、前述のコンピュータ可読媒体のいずれかからコンピュータ１１０に入力することもできることに留意されたい。
【００２１】
コンピュータ１１０は、リモートコンピュータ１８０など、１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク化された環境で動作することがある。リモートコンピュータ１８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたはその他の共通ネットワークノードとすることができ、図１には記憶装置１８１だけしか図示していないが、通常、コンピュータ１１０に関連して前述した要素の多くまたはすべてを含む。図１に示した論理接続には、ローカルエリアネットワーク（ＬＡＮ）１７１およびワイドエリアネットワーク（ＷＡＮ）１７３を含むが、他のネットワークを含むこともある。そのようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネットおよびインターネットでよく見られるものである。
【００２２】
ＬＡＮネットワーク環境で使用されるとき、コンピュータ１１０はネットワークインターフェースまたはアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーク環境で使用されるとき、コンピュータ１１０は、通常、モデム１７２またはインターネットなどのＷＡＮ１７３を介して通信を確立するその他の手段を含む。モデム１７２は、内蔵でも外付けでもよく、ユーザ入力インターフェース１６０または他の適当な機構を介してシステムバス１２１に接続することができる。ネットワーク化環境では、コンピュータ１１０に関連して示されたプログラムモジュール、またはその一部は、リモートメモリ記憶装置に格納することもできる。例として、限定ではなく、図１に、メモリ装置１８１上にあるリモートアプリケーションプログラム１８５を示す。図示したネットワーク接続は例示的であり、コンピュータ間で通信リンクを確立する他の手段を使用することもできることが理解されるであろう。
【００２３】
以上、例示的動作環境について論じたが、この説明の残りの部分は、本発明を用いるプログラムモジュールおよびプロセスの説明に充てる。
【００２４】
２．０  プロジェクタ−カメラ−ホワイトボードシステムにおける視覚エコーキャンセレーションのシステムおよび方法
本発明のシステムおよび方法は、ホワイトボードを書込み面と投影面の両方に使用することにより、プロジェクタ−カメラシステムにホワイトボードを統合する。本発明は、ホワイトボードのビデオまたは画像のシーケンスを取り込み、ホワイトボード上の書込みを投影された画像から分離する。ホワイトボードの書込みを投影された内容から分離できることは、様々な理由で非常に有益である。例えば、それによって、電話会議の帯域幅要求が劇的に低減する。というのは、抽出された書込みも、コンピュータにより投影された内容も、影や照明の変動によって影響を受けている元のミックスされたビデオに比べて、非常に低い帯域幅で伝送することができるためである。また、抽出された書込みは、会議をアーカイブし、オフラインでブラウズするのに不可欠である。ホワイトボード上の書込みは、普通、会議での重要イベントを示す。その結果を光学式文字認識（ＯＣＲ）システムにフィードすることにより、会議のアーカイブは簡単にアクセスでき、他の形態に移し変えることができる。
【００２５】
２．１  システム概要
図２に、本発明のプロジェクタ−カメラ−ホワイトボードシステム２００の一実施形態を示す。ローカルの会議室２０２は、プロジェクタ２０４、カメラ２０６およびホワイトボード２０８を装備している。プロジェクタ２０４およびカメラ２０６は、好ましくは、相互に固く取り付けられているが、理論上、それらはプロジェクタがホワイトボード２０８上に投影し、カメラから全投影エリア（投影空間と呼ばれる）が見える限り、どこに位置していてもよい。プロジェクタ２０４およびカメラ２０６は、コンピュータ２１０に（無線またはその他）リンクされ、コンピュータは通信ネットワーク２１２（イントラネットまたはインターネットなど）に接続されている。遠隔の出席者２１４も、自身のコンピュータを通信ネットワーク２１２に接続する。会議室のコンピュータとリモートコンピュータの間のデータ伝送は、好ましくは、リアルタイムトランスポートプロトコル（ＲＴＰ）を通して行われる。
【００２６】
電子プレゼンテーション２１６は、ビデオミキサ２１８およびプロジェクタ２０４を介してホワイトボード２０８上に投影され、また、遠隔参加者のところでの表示のためにネットワーク２１２を介して遠隔出席者に送信される。プレゼンテーション２１６は、例えば、プレゼンテーションスライド、スプレッドシート、ＰＤＦファイルなど、会議、講義またはブレーンストーミングセッションで通常提示されるであろうどんなものでもよい。プレゼンテーションのデータのストリーム２２０を図２の「Ｐ」で示す。遠隔出席者２１４は、プレゼンテーションに注釈を加えることができ、その注釈のストリーム２２２を「Ａ」で示す。プレゼンテーションデータストリーム「Ｐ」２２０も注釈データストリーム「Ａ」２２２も、ビデオミキサ２１８を介してミックスされてから、プロジェクタ２０４に送信されてホワイトボード２０８上に投影される。プレゼンテーションの間、プレゼンタまたはその他のローカル出席者は、ホワイトボード上に文字や図を書き込むことができる。カメラ２０６は、投影された内容と書込みの両方を取り込む。幾何補正および色補正を通して、システムは、カメラから見た、投影された「Ｐ」および「Ａ」のデータストリームの外観、すなわち視覚エコーを予測する。コンピュータ２１０中の視覚エコーキャンセレーションモジュール２２４は、カメラによって取り込まれたライブのビデオ／画像から予測された視覚エコーを取り去ることにより、「Ｗ」で示す、ホワイトボード上の書込み２２６のみを抽出する。リモート側では、プレゼンテーションデータストリーム「Ｐ」２２０およびホワイトボード書込みストリーム「Ｗ」２２６は、ミキサ２２８によってミックスされてから、遠隔参加者のコンピュータディスプレイ２３０に表示される。
【００２７】
本発明によるシステムおよび方法によって用いることができる典型的なプロセスを図３に示す。図３に示すように、プロセス動作３０２で、幾何補正データが得られる。同様に、プロセス動作３０４に示すように、色補正が得られる。プロセス動作３０６に示すように、投影されたプレゼンテーションおよび／または遠隔参加者により加えられた注釈など、ホワイトボード上に投影されたアイテムならびに物理的ホワイトボード上に書き込まれた書込みを有するホワイトボードの画像またはビデオが取り込まれる。次いで、プロセス動作３０８に示すように、取り込まれた画像の視覚エコーが計算される。次いで、プロセス動作３１０に示すように、視覚エコーキャンセレーションを用いて、ホワイトボードに書き込まれた書込みを投影された内容（遠隔参加者の注釈や電子プレゼンテーションなど）から分離する。書込みを、遠隔参加者に送って、伝送されたプレゼンテーションおよび遠隔参加者により加えられた注釈を併せてリモートディスプレイに表示することができる。同様に、書込みは、将来の閲覧のために保管することもできる（プロセス動作３１２）。
【００２８】
上述のシステムおよびプロセスの様々な詳細を、以下の各段落で提供する。
【００２９】
２．２  幾何補正
視覚エコーキャンセレーションでは、カメラ視野中の位置とプロジェクタスクリーン中の位置との間の関係を知る必要がある。これは、幾何補正のタスクである。カメラもプロジェクタも線形投影であり、ホワイトボード表面が平面であると想定すると、カメラ視野中の点とプロジェクタスクリーン／ホワイトボード中の点の間のマッピングがホモグラフィであり、あるスケールファクタまで定義される３×３行列Ｈで記述できることを容易に示すことができる。
【００３０】
幾何補正では、カメラもプロジェクタも線形投影であると想定され、プロジェクタが所望のパターンをアクティブに投影できるという事実を利用して、強固で、正確、そして簡単な技法が実施される。
【００３１】
図４に、本発明によるシステムおよび方法によって用いられる幾何補正プロセスの簡略化した流れ図を示す。実際の一実施形態では、幾何補正プロセス全体に要する時間は２分未満であり、プロジェクタに対してカメラが動いたときだけ必要になる。図４に示すように、プロセス動作４０２で、最初に、Ｎ個の長方形がホワイトボード上にシーケンス的に投影され、それらの画像が同時に固定カメラを用いて取り込まれる。本発明の実際の一実施形態では、Ｎ＝４０を使用した。次に、プロセス動作４０４に示すように、画像中で、長方形のそれぞれの４つのコーナが検出される（これについては、以下の段落で論じる）。次いで、４×Ｎ個の検出されたコーナおよびそれらに対応するプロジェクタ空間中の既知の位置を用いて、プロジェクタスクリーン／ホワイトボードとカメラの画像平面の間のホモグラフィを推定する（プロセス動作４０６）。プロジェクタ空間は、コンピュータ表示画面の仮想平面とみなすことができる。コンピュータ画面上のどこにその長方形を表示すべきか制御することができるので、プロジェクタ空間中のコーナの位置は既知である。理論上は、ホモグラフィを推定するには４つの点（すなわち１つの長方形）さえあればよいことに留意すべきである。より高い精度を達成するために、本発明のシステムおよび方法は、ホワイトボードの異なる位置に投影される多数の長方形を使用する。他の幾何補正方法に比べて、本発明によるシステムおよび方法は、カメラと投影面の間の相対的位置が補正時に固定されているということを利用する。それゆえ、異なる画像で検出された対応を単一のホモグラフィを推定するために使用することができ、それによって、コーナ検出アルゴリズムを複雑化することなく本システムおよび方法の精度および強固性を向上している。
【００３２】
２．２．１．幾何補正のためのコーナ検出
コーナ検出に使用できる１つのプロセスを図５に示す。プロセス５０２に示すように、コーナ検出プロセスは、カラー画像をグレースケール画像に変換することによって開始する。エッジマップ中の雑音を低減し、コントラストを上げるために、投影された長方形の内側と外側の領域を求め、グレースケール値を量子化する必要がある。内側領域は明るく均質であるため、ヒストグラムのより高いレンジでピークｐ１を形成し、背景は、より低いレンジでピークｐ２を形成する。粗から密への（ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ）ヒストグラムベースの方法を用いて、これら２つのピークを求め、上限閾値
【００３３】
【数１】
2005253067.tif 000003
【００３４】
および下限閾値
【００３５】
【数２】
2005253067.tif 000004
【００３６】
を設定する。ｈ１を上回るすべての画素のグレースケールレベルはｈ１に設定され、ｈ２を下回る画素のグレースケールレベルはｈ２に設定され、両者の間にある画素のグレースケールレベルは変更せずそのままとされる。長方形のエッジは、次に、従来技術のエッジ検出方法の１つを用いてグレースケール画像で検出されて、エッジマップを作成する（プロセス動作５０４）。次に、ハフ変換（Ｈｏｕｇｈ  ｔｒａｎｓｆｏｒｍ）を用いてエッジマップ上の直線を検出する（プロセス動作５０６）。次いで、プロセス動作５０８に示すように、それらの線を用いて四角形をあてはめる。次いで、その四角形のコーナを求める（プロセス動作５１０）。
【００３７】
２．４  色補正
視覚エコーキャンセレーションでは、ホワイトボード上のプロジェクタ空間中のある所与の画素について、前述の幾何補正を通してカメラ空間中のその画素に対応する位置が分かる。しかしながら、プロジェクタ空間中のその対応する色が取り込まれた画像／ビデオ中でどのように見えるかを知る必要もあり、これは色補正により判定される。プロジェクタ空間中の同じ色は、その色がホワイトボード上のどこに投影されるかに応じて、カメラでは異なって見える。これは、プロジェクタの電球が均一なライティングを生じず、室内の照明がちらつき均一でなく、ホワイトボード面がランバーティアン（Ｌａｍｂｅｒｔｉａｎ）ではないからである。それゆえ、色補正は、色と位置の両方に依存するはずである。
【００３８】
色補正では、視覚エコーの画素は、独立なガウス確率変数としてモデル化され、ルックアップテーブルベースのアプローチが使用される。幾何補正も色補正も、プロジェクタの自動台形補正など、視覚エコーキャンセレーション以外の他のタスクにも役立つはずであることに留意されたい。
【００３９】
図６に、色補正の流れ図を示す。図６に示すように、プロセス動作６０２で、このプロセスは、ＲＧＢ色空間をビン（ｂｉｎ）に量子化することによって開始する。本発明の実際の一実施形態では、９×９×９すなわち７２９のビンが使用された。プロセス動作６０４では、各量子化された色が全表示領域にわたって投影され、その画像を同期して取り込み、各色につきｎフレームを格納する（プロセス動作６０６）。実際の一実施形態では、各色につき５フレームを格納した。プロセス動作６０８で、各画像は、幾何補正で求めたホモグラフィＨを用いて、投影されたスクリーンの座標にワープ（ｗａｒｐ）される。表示領域は、長方形ブロック（例えば、３２×３２すなわち１０２４など）に均一に分割され、プロセス動作６１０に示すように、各ブロック中の各色の平均および分散がｎフレームにわたって計算される。これらの平均値および分散値は色Ｃのルックアップテーブルに入力され（プロセス動作６１２）、すべての量子化された色が投影されるまで、次の色が投影される（プロセス動作６１４および６１６）。
【００４０】
図６のプロセスを使用して、ルックアップテーブルがブロック（例えば１０２４ブロック）のそれぞれにて量子化された色（例えば７２９）について構築される。同じ投影色は、スクリーン／ホワイトボード上の異なる位置で異なる外観を有することになるので、空間的次元（ｓｐａｔｉａｌ  ｄｉｍｅｎｓｉｏｎａｌｉｔｙ）が必要であることに留意されたい。最善の結果は、ルックアップテーブルがあらゆる画素位置について構築された場合であるが、実験データによれば、これは不要であると思われる。というのは、色の外観は表示面にわたってなだらかに変化するためである。
【００４１】
普通は、色補正手順を一度実行すれば十分である。しかしながら、プロジェクタ（色温度、コントラストまたは輝度）またはカメラ（露出またはホワイトバランス）の特定の設定が変更された場合に、色補正手順を再び実行する必要があることがある。７２９×ｎ（ｎ＝５のとき３６４５）フレームを（投影と取り込みが同期されるように）１０ｆｐｓで投影し、取り込むのに、本発明の一実施形態では約６分間かかる。
【００４２】
２．５．視覚エコーキャンセレーション
以下の段落では、視覚エコー推定およびキャンセレーション手順について説明する。
【００４３】
２．５．１  視覚エコー推定
取り込まれた画像の任意の表示内容を仮定して（プロセス動作７０２）、本発明のシステムおよび方法は、図７に示すように、まず各画素を、色補正手順で定義されたルックアップテーブル中のその画像に対応する平均の色で置き換えることにより、視覚エコーＥを推定する（プロセス動作７０４）。テーブルにない色については、２つの最も近接したビンの線形補間が用いられる。そして、プロセス動作７０６に示すように、画像中の各画素がカメラビューにワープされる。また、各画素に制限された誤りの推定を得るために、それらの分散をルックアップし、ワープして、画素単位の分散マップＶを得る（プロセス動作７０８）。
【００４４】
２．５．視覚エコーキャンセレーション
図８に、本発明による一般的な視覚エコーキャンセレーションプロセスの流れ図を示す。その詳細は以下のサブセクションで説明する。図８に示すように、プロセス動作８０２で、プレゼンテーションや注釈など投影された内容、ならびに視覚エコーが計算された（可能な）ホワイトボードの書込みを含むホワイトボードの画像がシステムに入力される。プロセス動作８０４に示すように、画像の投影された内容（投影されたプレゼンテーションや注釈など）が、視覚エコーのアルベドに対する取り込まれた画像のアルベドの比を用いて、補正された画像（視覚エコー）と比較される。アルベド比を用いて、プロセス動作８０６に示すように、ホワイトボード上の書込みが（投影された内容の代わりに）識別され、その色が復元される。
【００４５】
２．５．１．取り込まれた画像の生成プロセス
ホワイトボード上のマーカで書込み／描画を行うことにより、ホワイトボードの表面アルベドが実際に変わり、それゆえ、反射が変わる。そのため、一般的な意味では、ホワイトボード上の書込みを抽出することは、要約すると表面アルベドの変化を検出することになる。
【００４６】
すべての画像が幾何学的に整列されていると仮定し、入射光マップをＰ、ホワイトボードの表面アルベドをＡ、カメラセンサに起因する画素単位の色変換をＣ、視覚エコーをＥで記すと、Ｅ＝Ｃ×Ａ×Ｐである。ホワイトボード上に何も書き込まれていない場合、取り込まれた画像Ｉは、Ｅに等しいはずである。ホワイトボードに何か書き込まれている場合、表面アルベドは変化し、
【００４７】
【数３】
2005253067.tif 000005
【００４８】
で記す。そして、取り込まれた画像は、
【００４９】
【数４】
2005253067.tif 000006
【００５０】
で記述することができる。アルベドの変化は、色チャネルｃ∈｛Ｒ，Ｇ，Ｂ｝における画素［ｘ，ｙ］のアルベド比
【００５１】
【数５】
2005253067.tif 000007
【００５２】
を推定することで計算でき、これは、
【００５３】
【数６】
2005253067.tif 000008
【００５４】
で与えられる。ホワイトボード上の書込みは光を吸収し、そのため、
【００５５】
【数７】
2005253067.tif 000009
【００５６】
であり、結果的にａ［ｘ，ｙ］ｃ≦１となる。
【００５７】
アルベド比ａに基づき、書込みを検出し、それらの色を復元することができる。書込みのないホワイトボード領域のアルベドは１になるはずである。アルベドのセンサ雑音が加法的であり、分散Ｖ／Ｅでゼロ平均ガウス分布を有すると仮定すると、以下の判定規則がもたらされる。
【００５８】
画素［ｘ，ｙ］は、
【００５９】
【数８】
2005253067.tif 000010
【００６０】
の場合に限り、その書込み領域に属する。この判定規則は一方的（ｏｎｅ−ｓｉｄｅｄ）であることに留意されたい。というのは、前述したように、書き込まれたホワイトボード領域のアルベド比は、厳密に１未満であるためである。
【００６１】
色の明度（ｉｎｔｅｎｓｉｔｙ）が０から２５５の範囲であると仮定すると、書込み領域に属する各画素［ｘ，ｙ］について、その色を
Ｗ［ｘ，ｙ］ｃ＝ａ［ｘ，ｙ］ｃ×２５５                  （３）
として書込みを復元することができる。
【００６２】
２．５．２．実際的な検討
幾何補正での雑音のために、ＩとＥは正確には整列されない。１から２画素の誤りがＥ中の強いエッジの近くで最も顕著である。そのため、書込み領域のセグメントでは、まず、暗い領域を増大するＥに関するエロージョン（ｅｒｏｓｉｏｎ）を適用する。エロージョンは、標準的な画像モルフォロジ操作である。バイナリ画像では、これは特定の近傍パターンを有する画素に０（黒）値を割り当てることになる。これは、グレースケール画像およびカラー画像に拡張される。本発明のシステムおよび方法は、カラー画像でその拡張を使用する。そのため、Ｅ中の暗い領域の近くの画素はより高いＡを有し、書込み領域として分類される可能性が小さい。この前処理は誤りを低減する。というのは、書込みをより見やすくするために、ほとんどのユーザは、暗い背景に代えてより明るい背景の上に書き込むことを好むからである。
【００６３】
実際、Ｗ中の色を見えるようにするためには、カメラの露出を、通常よりずっと高めに設定する必要がある。これは、色補正時に露出過度を引き起こす。本発明のシステムおよび方法は、露出を色補正に最適に設定し、書込みの色を復元するための分類法を用いることにより、この問題に対処する。４つの最も共通して使用されるマーカ（赤、黒、青、緑）をクラスＭ０〜Ｍ３として選択する。監督下でのトレーニング（ｓｕｐｅｒｖｉｓｅｄ  ｔｒａｉｎｉｎｇ）の場合、式（２）および（３）を使用して１組の書込みＷを復元し、次いで、それをＲＧＢ色空間からＨＳＩ（色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｉｎｔｅｎｓｉｔｙ））色空間に変換し、新しい画像をＷ’で記す。クラスＭｉのトレーニングデータは、マーカｉで書き込まれた領域を選択し、そのヒストグラムｎｉ（ｈ，ｓ，ｉ）を収集することにより手動でラベル付けされる。
【００６４】
式（３）から得られた画素Ｗ［ｘ，ｙ］を分類するため、そのＲＧＢ値が、ＨＳＩ空間のＷ’［ｘ，ｙ］に変換され、それがクラスタｉに属する可能性を
【００６５】
【数９】
2005253067.tif 000011
【００６６】
として評価する。ここで、Ｎｉは、ヒストグラムｉ中のデータ点の総数である。
【００６７】
カメラセンサ中の雑音のために、ＭＡＰ判定規則は空間的に一貫した結果を与えないことがあり、そのため６１×６１ウィンドウを用いて近傍のすべての画素から投票を収集し、最大投票に基づいて中心の画素を分類する。
【００６８】
３．０  実験結果
幾何補正方法は、様々なプロジェクタ（ＩｎＦｏｃｕｓ  ＬＰ５３０、Ｐｒｏｘｉｍａ  ＤＰ６１５５を含む）および様々なビデオカメラ（Ａｐｌｅｘ  ＵＳＢ２、Ｌｏｇｉｔｅｃｈ  Ｐｒｏ４０００、ＳＯＮＹ  ＥＶＩ３０を含む）を用いて人工照明および自然光条件の両方で行った。対応に基づいてホモグラフィを解くためのフィッティング誤りは、０．３から０．７画素の範囲である。
【００６９】
色補正の場合、ＳＯＮＹのプロジェクタおよびＥＶＩ３０カメラを使用した。推定視覚エコーＥを実際に取り込まれた画像Ｉと比較すると、平均誤りは約３である（色明度の範囲は０〜２５５）。不一致の過半数は、強いエッジを有する領域の周辺であり、幾何補正での雑音のためである。
【００７０】
図９に、様々な背景上での視覚エコーキャンセレーションの結果を示す。過半数の書込みが極めて複雑な背景の上にある部分を除き、復元されていることがわかる。しかし、この場合、人間の眼で書込みを識別することさえ難しい。
【００７１】
以上、本発明についての記述を、図示と説明のために提示した。この説明では、網羅的であることも、または本発明を開示の正確な形態に限定することも意図されていない。上記の教示に鑑みて、多くの修正形態および変更形態が可能である。本発明の範囲は、この詳細な説明によってではなく、添付の特許請求の範囲によって限定されるべきものである。
【図面の簡単な説明】
【００７２】
【図１】本発明を実施するための例示的システムを構成する汎用コンピューティングデバイスを示す一般的なシステム図である。
【図２】本発明によるプロジェクタ−カメラ−ホワイトボードシステムを示す図である。
【図３】本発明による、投影された内容とホワイトボードの書込みとを分離する一般的プロセスを示す例示的な流れ図である。
【図４】本発明による幾何補正プロセスの流れ図である。
【図５】本発明によるシステムおよび方法により用いられるコーナ検出プロセスの流れ図である。
【図６】本発明によるシステムおよび方法により用いられる色補正プロセスの流れ図である。
【図７】本発明によるシステムおよび方法により用いられる視覚エコーの推定を示するための流れ図である。
【図８】本発明によるシステムおよび方法により用いられる視覚エコーをキャンセルするための流れ図である。
【図９】本発明による視覚エコーキャンセレーションシステムおよび方法を用いて得られた実験結果を示す図である。
【符号の説明】
【００７３】
１００  コンピューティングシステム環境
１１０  コンピュータ
１２０  処理装置
１２１  システムバス
１３０  システムメモリ
１３１  ＲＯＭ
１３２  ＲＡＭ
１３３  ＢＩＯＳ
１３４  オペレーティングシステム
１３５  アプリケーションプログラム
１３６  その他のプログラムモジュール
１３７  プログラムデータ
１４０  非リムーバブル不揮発性メモリインターフェース
１４１  ハードディスクドライブ
１４４  オペレーティングシステム
１４５  アプリケーションプログラム
１４６  その他のプログラムモジュール
１４７  プログラムデータ
１５０  リムーバブル不揮発性メモリインターフェース
１５１  磁気ディスクドライブ
１５２  リムーバブル不揮発性磁気ディスク
１５５  光ディスクドライブ
１５６  リムーバブル不揮発性光ディスク
１６０  ユーザ入力インターフェース
１６１  マウス
１６２  キーボード
１７０  ネットワークインターフェース
１７１  ローカルエリアネットワーク
１７２  モデム
１７３  ワイドエリアネットワーク
１８０  リモートコンピュータ
１８１  記憶装置
１８５  リモートアプリケーションプログラム
１９０  ビデオインターフェース
１９１  モニタ
１９２  カメラ
１９３  画像のシーケンス
１９４  カメラインターフェース
１９５  出力周辺インターフェース
１９６  プリンタ
１９７  スピーカ
２００  プロジェクタ−カメラ−ホワイトボードシステム
２０２  ローカル会議室
２０４  プロジェクタ
２０６  カメラ
２０８  ホワイトボード
２１２  通信ネットワーク
２１４  遠隔室
２１６  プレゼンテーション
２１８  ビデオミキサ
２２０  プレゼンテーションデータストリーム
２２２  注釈
２２４  視覚エコーキャンセレーション
２２８  ビデオミキサ
２３０  ディスプレイ
【図１】
2005253067.tif 000012
【図２】
2005253067.tif 000013
【図３】
2005253067.tif 000014
【図４】
2005253067.tif 000015
【図５】
2005253067.tif 000016
【図６】
2005253067.tif 000017
【図７】
2005253067.tif 000018
【図８】
2005253067.tif 000019
【図９】
2005253067.tif 000020