【手続補正書】
【提出日】平成19年2月16日(2007.2.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ホワイトボードのイメージフレームのシーケンスを入力するプロセスアクションと、
前記ホワイトボードの前記イメージフレームのそれぞれをセルに分割するプロセスアクションと、
イメージの前記シーケンスの前記セルにおいて大幅な照明変化があるかどうかを判定するプロセスアクションと、
大幅な照明変化がある場合、ホワイトボードカラーマッチングプロセスを実行して、前記ホワイトボードの背景カラーの定義に使用する前記ホワイトボードのカラーがホワイトボードカラーモデルデータベース内の前記ホワイトボードのカラーを反映しているかどうかを判定するプロセスアクションと、
大幅な照明変化がない場合、前記イメージフレームの前記セルのそれぞれを、前記ホワイトボードに書き込まれたコンテンツの前景セル、ホワイトボード背景セル、またはストロークセルとして分類するプロセスアクションと、
前記セル分類を使用して前記ホワイトボード上の前記ストロークが高画質処理されて表示されるように、前記イメージフレームのシーケンスを高画質処理するプロセスアクションと、
前記ホワイトボードの高画質処理されたイメージフレームのシーケンスをデータストリームで出力するプロセスアクションと
を備えることを特徴とするホワイトボードコンテンツの高画質処理されたデータストリームを作成するコンピュータで実施されるプロセス。
【請求項２】
前記ホワイトボード上の前記ストロークが高画質処理されて表示されるように前記イメージフレームのシーケンスを高画質処理する前記プロセスアクションは、
前記イメージフレームのシーケンス中のホワイトボード背景を表示するセルの前記ホワイトボード背景カラーをより均一にするプロセスアクションと、
前記イメージフレームのシーケンスのイメージノイズを低減するプロセスアクションと、
前記ホワイトボードのコンテンツのストローク彩度を向上させてストロークセルについて前記ストロークをより鮮明かつ読みやすくするプロセスアクションとを含む
ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
【請求項３】
前記ホワイトボードの高画質処理されたイメージフレームのシーケンスをデータストリームで出力する前記プロセスアクションは、高画質処理されたホワイトボードセルおよび高画質処理されたストロークセルのみを使用し、前景セルは使用しないことを含む
ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
【請求項４】
前記ホワイトボードの高画質処理されたイメージフレームのシーケンスをデータストリームで出力する前記プロセスアクションは、高画質処理されたホワイトボードセル、高画質処理されたストロークセル、および前景セルを使用することを含む
ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
【請求項５】
前記ホワイトボードカラーマッチングプロセスアクションは、
新しい照明状態において前記ホワイトボード背景セルの前記カラーが、ホワイトボードカラーモデルデータベース内のホワイトボードカラーモデルに一致するかどうかを判定することと、
前記新しい照明状態において前記ホワイトボード背景セルの前記カラーが、前記ホワイトボードカラーモデルデータベース内の前記背景セルの前記カラーを反映するホワイトボードカラーモデルに対応する場合、このホワイトボードカラーモデルをその後のセル分類に使用することと、
前記新しい照明状態において前記ホワイトボード背景セルの前記カラーが前記ホワイトボードカラーモデルデータベース内で見つからない場合、前記新しい照明状態の前記ホワイトボードの前記ホワイトボード背景セルの前記カラーを反映する新しいホワイトボードカラーモデルを作成することとを含む
ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
【請求項６】
ストロークが前記ホワイトボードに追加されたか、またはホワイトボードから取り除かれたかを判定するプロセスアクション
をさらに備えることを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
【請求項７】
前記イメージフレームの前記セルのそれぞれを、前記ホワイトボードに書き込まれたコンテンツの前景セル、ホワイトボード背景セル、またはストロークセルとして分類する前記プロセスアクションは、
前記イメージのシーケンス中のイメージフレームのすべてのイメージフレームセルについて、
イメージフレームのセルを入力するプロセスアクションと、
前記イメージフレームのセルを、前のフレームの対応する位置にある前記セルと比べるプロセスアクションと、
前記セルが変化していないフレーム数に基づくセルエージ（age）がエージしきい値以下である場合、前記セルを前景セルとして分類するプロセスアクションと、
前記セルエージがエージしきい値より大きい場合、セルカラーに大幅な差があるかどうかを判定するプロセスアクションと、
セルカラーに大幅な差がない場合、前記セルを前景セルとして分類するプロセスアクションと、
セルカラーに大幅な差がある場合、前記セルがエッジを含んでいるかどうかを判定するプロセスアクションと、
前記セルがエッジを含んでいる場合、前記セルをストロークセルとして分類するプロセスアクションと、
前記セルがエッジを含んでない場合、前記セルをホワイトボード背景セルとして分類するプロセスアクションと
を備えることを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
【請求項８】
前記イメージフレームの前記セルのそれぞれを前記ホワイトボードに書き込まれたコンテンツの前景セル、ホワイトボード背景セル、またはストロークセルとして分類する前記プロセスアクションの後、ホワイトボード背景カラーモデルを更新すべきかどうかを判定するプロセスアクション
をさらに備えることを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
【請求項９】
前記セルにおいて大幅な照明変化があるかどうかを判定する前記プロセスアクションは、
前記セルの大部分がカラー変化を呈しているかどうかを判定し、呈している場合は照明変化が生じたことを示すプロセスアクションを含む
ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
【請求項１０】
セルに分割されるホワイトボードイメージのシーケンスの各セルを、ストロークセル、ホワイトボード背景セル、または前景セルとして分類するための分類モジュールと、
前記セルのホワイトボード背景カラーのカラーの判定に使用する動的ホワイトボード背景および初期設定モジュールと、
ホワイトボード背景セル、前景セル、およびストロークセルから成るイメージを高画質処理するためのイメージ高画質処理モジュールと、
ホワイトボード背景セルおよびストロークセルを使用して、前記ホワイトボードのイメージを作成するために、ホワイトボードストロークデータを追加および消去するためのモジュールと
を備えたことを特徴とするホワイトボードデータコンテンツをストリームするためのシステム。
【請求項１１】
ホワイトボード背景セル、前景セル、およびストロークセルから成るホワイトボードイメージデータをストリームするためのモジュール
をさらに備えたことを特徴とする請求項１０に記載のシステム。
【請求項１２】
ホワイトボード背景セルおよびストロークセルから成るホワイトボードコンテンツデータをストリームするためのモジュール
をさらに備えたことを特徴とする請求項１０に記載のシステム。
【請求項１３】
ホワイトボードコンテンツデータを分類するための前記モジュールは、
ホワイトボードの前記イメージのシーケンス中のすべてのセルについて
イメージフレームのセルを入力するサブモジュールと、
前記イメージフレームのセルを、前のフレームの同じ位置にあるセルの前記イメージと比べるサブモジュールと、
セルエージがエージしきい値以下の場合、前記セルを前景セルとして分類するサブモジュールと、
Ｎ個を超えるフレームの間静止しているすべてのセルを背景の候補として指定するサブモジュールと、
セルカラーに大幅な差があるかどうかを判定し、前記セルカラーに大幅な差があった場合、前記セルを前景セルとして分類するサブモジュールと、
前景セルとして分類されたセルが他の前景セルに連結されているかどうかを判定するサブモジュールと、
セルが前景セルとして分類され、他のセルに接続されていない場合、その分類を未知まで戻すサブモジュールと、
前記セルはエッジを含んでいるかどうかを判定するサブモジュールと、
前記セルがエッジを含んでいる場合、前記セルをストロークセルとして分類するサブモジュールと、
前記セルがエッジを含んでない場合、前記セルをホワイトボード背景セルとして分類するサブモジュールとを含む
ことを特徴とする請求項１０に記載のシステム。
【請求項１４】
ホワイトボードのビデオストリームに記録されているすべてではなく一部のイメージは前記イメージのシーケンスの作成に使用される
ことを特徴とする請求項１０に記載のシステム。
【請求項１５】
ホワイトボードのビデオストリームに記録されているすべてのイメージは前記イメージのシーケンスの作成に使用される
ことを特徴とする請求項１０に記載のシステム。
【請求項１６】
ホワイトボードのイメージフレームのシーケンスを入力することと、
前記ホワイトボードの前記イメージフレームのそれぞれをセルに分割することと、
イメージの前記シーケンス中の前記セルにおいて大幅な照明変化があるかどうかを判定することと、
大幅な照明変化がある場合、ホワイトボードカラーマッチングプロセスを実行して前記ホワイトボードの前記カラーを判定することと、
大幅な照明変化がない場合、前記イメージフレームの前記セルのそれぞれを、前記ホワイトボードに書き込まれたコンテンツの前景セル、ホワイトボード背景セル、またはストロークセルとして分類することと、
前記セル分類を使用して前記ホワイトボード上の前記ストロークのみが高画質処理されて表示されるように、前記イメージフレームのシーケンスを高画質処理することと
を備えるホワイトボードのビデオストリームを送信するためのコンピュータ実行可能命令を有することを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１７】
前記ホワイトボード背景セルおよびストロークセルのみを使用して前記高画質処理されたイメージのシーケンスを出力するためのコンピュータ実行可能命令をさらに備えることを特徴とする請求項１６に記載のコンピュータ読み取り可能な記録媒体。
【請求項１８】
前記ホワイトボード背景セル、前景セル、およびストロークセルのみを使用して前記高画質処理されたイメージのシーケンスを出力するためのコンピュータ実行可能命令をさらに備えることを特徴とする請求項１６に記載のコンピュータ読み取り可能な記録媒体。
【請求項１９】
キャプチャされたホワイトボードイメージのシーケンスおよび前記キャプチャされたホワイトボードイメージのシーケンスと同期された音声を入力し、前記イメージのそれぞれをセルに分割するための入力モジュールと、
ホワイトボードイメージデータをストロークセル、ホワイトボード背景セル、または前景セルとして分類するための分類モジュールと、
動的ホワイトボード背景および初期設定モジュールと、
前記ストロークセルのストロークを高画質処理し、ホワイトボード背景セルカラーをより均一にするためのイメージ高画質処理モジュールと、
ホワイトボードストロークデータを追加および消去するためのモジュールと、
前記前景セル、ホワイトボード背景セル、および前記ストロークセルを使用して、前景オブジェクトを含む高画質処理されたホワイトボードイメージの第１のデータストリーム、および前記ストロークセルおよびホワイトボード背景セルを使用して、しかし前景セルを使用することなく、前景オブジェクトを含んでいない高画質処理されたホワイトボードイメージの第２のデータストリームを、ネットワークを介して受信装置に送信する送信モジュールと
を含む送信装置
を備えたことを特徴とする高画質処理されたホワイトボードイメージのビデオストリームを送信するためのシステム。
【請求項２０】
前記ネットワークを介して前記送信装置から送信された前記高画質処理されたホワイトボードイメージおよび同期された音声を受信する受信モジュールと、
前記同期された音声を再生するスピーカーモジュールと、
前記受信装置で前記高画質処理されたホワイトボードイメージを表示する表示モジュールと
を含む受信装置
をさらに備えたことを特徴とする請求項１９に記載のシステム。
【請求項２１】
前記送信装置は、後に表示または送信するために前記第１のデータストリームおよび前記第２のデータストリームをアーカーブするためのモジュールをさらに含む
ことを特徴とする請求項１９に記載のシステム。
【請求項２２】
前記動的ホワイトボード背景推定および初期設定モジュールは、第１の入力イメージについて
ピクセルごとにホワイトボード背景カラーを初期設定し、各ピクセルを前記ピクセルカラーの精度を特徴付ける共分散推定と関連付け、前記初期設定されたホワイトボードカラーを前記推定されたホワイトボードカラーとして指定し、
入力イメージが与えられると、前記ホワイトボードの推定されたカラーと、前記入力イメージの実際の観測されたカラーとを各ピクセルで比較し、
前記推定されたカラーおよび前記観測されたカラーが大幅に異なる場合、前記観測されたピクセルはストロークまたは前景オブジェクトの一部であり、そのピクセルの前記カラーは破棄され、
そうでない場合、そのピクセルの前記カラーは、前記ホワイトボードカラーの更新に使用する前記ホワイトボードカラーの観測値であり、
前記推定されたカラーに関して現在の観測されたピクセルがどの程度信頼できるか、前記現在観測されたピクセルが前記推定されたカラーとどの程度異なるか、および前記ピクセルの前記観測されたカラーが周囲のピクセルのカラーとどの程度異なるかに基づいてそれぞれ変更される、破棄されなかったこれらのピクセルの前記カラーを確率的枠組みに基づいて更新する
ことによってホワイトボードカラーを評価する
ことを特徴とする請求項１９に記載のシステム。
【請求項２３】
前記動的ホワイトボード背景推定および初期設定モジュールは、第１の入力イメージについて
ホワイトボードをセルに分割し、
セルごとにホワイトボード背景カラーを初期設定し、各セルを前記セルカラーの精度を特徴付ける共分散推定と関連付け、前記初期設定されたホワイトボードカラーを前記推定されたホワイトボードカラーとして指定し、
入力イメージが与えられると、前記ホワイトボードの推定されたカラーと、前記入力イメージの前記実際の観測されたカラーとを各セルで比較し、
前記推定されたカラーおよび前記観測されたカラーが大幅に異なる場合、前記観測されたセルはストロークまたは前景オブジェクトの一部であり、そのセルの前記カラーは破棄され、
そうでない場合、そのセルの前記カラーは、前記ホワイトボードカラーの更新に使用する前記ホワイトボードカラーの観測値であり、
前記推定されたカラーに対して現在の観測されたセルがどの程度信頼できるか、前記現在観測されたセルが前記推定されたカラーとどの程度異なるか、および前記セルの前記観測されたカラーが前記周囲のセルのカラーとどの程度異なるかに基づいてそれぞれ変更される、破棄されなかったこれらのセルの前記カラーを確率的枠組みに基づいて更新する
ことによってホワイトボードカラーを評価する
ことを特徴とする請求項１９に記載のシステム。
【請求項２４】
状態変数ｘｉ；ｊを推定される各セル（ｉ，ｊ）での前記ホワイトボードの前記カラーとして定義し、観測変数ｚｉ；ｊをイメージから観測される各セル（ｉ；ｊ）での前記ホワイトボードの前記カラーとして定義するプロセスアクションと、
各セルの前記カラーを
【数１】
2004260823.tif 000001
として算出するプロセスアクションとを含み、
式中、第１の反復では、
【数２】
2004260823.tif 000002
として前記予測値の前記平均
【数３】
2004260823.tif 000003
を使用し、式中Ωは周囲のセルの数、ｋ∈［ｉ−１，ｉ＋１］、ｌ∈［ｊ−１，ｊ＋１］、（ｋ，ｌ）≠（ｉ，ｊ）であり、その後の反復では、前の反復からの前記推定値の平均を使用し、
【数４】
2004260823.tif 000004
によって
【数５】
2004260823.tif 000005
の前記共分散が得られ、式中Ｉは単位行列であり、
【数６】
2004260823.tif 000006
であり、第１の反復で
【数７】
2004260823.tif 000007
として前記予測値の平均
【数８】
2004260823.tif 000008
を使用し、観測共分散は
【数９】
2004260823.tif 000009
平滑性共分散行列は
【数１０】
2004260823.tif 000010
状態遷移ノイズは
【数１１】
2004260823.tif 000011
およびその共分散行列は
【数１２】
2004260823.tif 000012
である
ことを特徴とするイメージのシーケンスからホワイトボードカラーをリアルタイムに動的に評価するためのコンピュータで実施されるプロセス。