(57)【要約】  ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込み、高分解能のホワイトボードイメージを生成するためのシステムおよび方法が提供される。背景白色ピクセルおよび前景マーカ色ごとの前景色ピクセルを分類する際に、ホワイトボード内の多数のピクセルの周りの局所パッチが用いられる。背景白色および各前景マーカ色を定義する際に、代替的な色空間において大域的および局所的にクラスタリングが行われる。局所パッチにおける最大局所背景白色および最も暗いピクセル輝度を利用して、前景マーカ色として分類された前景ピクセルごと、およびイメージセンサ色平面ごとに別個に色正規化が行われる。所定の幅を有する前景マーカ色の各ストロークの長さに沿った断面の変曲点のスプライン補間に基づいてストロークが再構成される。メッセージングユーティリティを含むインテリジェントホワイトボード連携システムも提供され、これによって参加者は、関連するバイオメトリクス情報に基づいて、タイムラプスホワイトボードデータにアクセスし、システムおよび他の参加者とコミュニケーションすることを可能にされる。
2020525962.tif 000002
【特許請求の範囲】
【請求項１】
ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込むための方法であって、
前記方法は、
ホワイトボードの４つの角部を計算し、それによって前記ホワイトボードを定義することと、
背景白色を特定し、背景白色ピクセルを識別することと、
前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことと、
所定の幅を有する前景マーカ色ごとにストロークを再構成すること、
を含み、
各ストロークは、前記ホワイトボードビデオ信号に基づいてタイムスタンプと関連付けられる、方法。
【請求項２】
ストロークを再構成することは、
前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、
所定の幅を有する前記ペン曲線に基づいて、再構成されたストロークをレンダリングすることと、
を含む、請求項１に記載の方法。
【請求項３】
前記定の幅は、ストロークの平均幅である、請求項２に記載の方法。
【請求項４】
前記所定の幅は、他の前景マーカ色と比較して、前景マーカ色ごとに変動する、請求項２に記載の方法。
【請求項５】
変曲点を接続することは、前記変曲点にスプライン補間を適用することを含む、請求項２に記載の方法。
【請求項６】
前記スプライン補間は、平滑化スプライン補間である、請求項５に記載の方法。
【請求項７】
前記平滑化スプライン補間は、三次平滑化スプライン補間である、請求項６に記載の方法。
【請求項８】
ホワイトボードを定義することは、
内部が白色の長方形を検出することと、
前記ホワイトボードのアスペクト比を特定することと、
を更に含む、請求項１に記載の方法。
【請求項９】
ホワイトボードを定義することは、台形補正を更に含む、請求項８に記載の方法。
【請求項１０】
背景白色を特定し、背景白色ピクセルを識別することは、
前記ホワイトボード内の各ピクセルを代替的な色空間に変換することと、
その色空間におけるピクセルのクラスタのヒストグラムを生成することと、
最頻色を特定することと、
を更に含み、
前記最頻色は、前記背景白色として定義される、請求項１に記載の方法。
【請求項１１】
前記代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つである、請求項１０に記載の方法。
【請求項１２】
背景白色を特定し、背景白色ピクセルを識別することは、局所パッチのための多数の局所背景白色を推定することを更に含む、請求項１０に記載の方法。
【請求項１３】
前記局所パッチは、多数のピクセルの各々を取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである、請求項１２に記載の方法。
【請求項１４】
前記多数のピクセルは、前記ホワイトボード内の各ピクセルを含む、請求項１３に記載の方法。
【請求項１５】
多数の局所背景白色を推定することは、局所パッチごとに代替的な色空間においてピクセルのクラスタリングを行うことを更に含み、
前記代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つである、請求項１２に記載の方法。
【請求項１６】
局所パッチごとに背景白色ピクセルのバイナリマスクを生成することと、
ピクセルが全ての局所パッチの所定のパーセンテージを超えて背景白色である場合、そのピクセルを背景白色として分類することと、
を更に含む、請求項１５に記載の方法。
【請求項１７】
前記所定のパーセンテージは９０％である、請求項１６に記載の方法。
【請求項１８】
ピクセルが背景白色として分類されない場合、そのピクセルを前景ピクセルとして分類することを更に含む、請求項１６に記載の方法。
【請求項１９】
前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことは、
ｉ）代替的な色空間において前景ピクセルのクラスタリングを行うことであって、前記代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つであることと、
ｉｉ）前記クラスタリングに基づいて前景ピクセルを前景マーカ色として分類することと、
ｉｉｉ）前景マーカ色ごとにバイナリマスクを生成することと、
を更に含み、
各前景マーカ色は、その前景マーカ色として分類された全てのピクセルの最も典型的な色として定義され、
前記最も典型的な色は、その前景マーカ色のメディアンおよび平均のうちの１つである、請求項１に記載の方法。
【請求項２０】
イメージセンサ色平面ごとに、前景マーカ色として分類された各ピクセルを取り囲む局所パッチ内で極大輝度を有する背景白色ピクセルを識別することと、
前記背景白色ピクセルの前記極大輝度で除算することによって前記前景マーカピクセルの値を正規化することと、
を更に含む、請求項１９に記載の方法。
【請求項２１】
前記局所パッチは、前景マーカ色として分類された前記ピクセルを取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである、請求項２０に記載の方法。
【請求項２２】
イメージセンサ色平面ごとに、前景マーカ色として分類された前記ピクセルを取り囲む前記局所パッチにおいて、最も暗い輝度を有する前景マーカ色ピクセルを識別することと、
前景マーカピクセルとして分類された前記ピクセルの前記値を、前記最も暗い輝度を減算することによって正規化し、それによって前記イメージセンサ色平面の正規化されたグレースケールイメージを導出することと、
を更に含む、請求項２１に記載の方法。
【請求項２３】
イメージセンサ色平面ごとに前記正規化されたグレースケールイメージをマージすることによって、高分解能グレースケールイメージを生成することを更に含む、請求項２２に記載の方法。
【請求項２４】
前記高分解能グレースケールイメージにおいて対応する前景マーカ色として分類された各ピクセルに前記最も典型的な前景マーカ色を適用することによって、高分解能カラーイメージを再構成することを更に含み、
前記最も典型的な前景マーカ色は、前記対応する前景マーカ色のメディアンおよび平均のうちの１つである、請求項２３に記載の方法。
【請求項２５】
前記ホワイトボードビデオ信号の時系列を比較することによって、前記ホワイトボードのビューを間欠的に遮る人物を除去することと、
静止していると判断されたイメージからのみホワイトボードデータを取り込むことと、
を更に含む、請求項１に記載の方法。
【請求項２６】
ホワイトボード会議のために、未加工ホワイトボードビデオイメージからタイムスタンプを付されたホワイトボードデータを生成するためのシステムであって、
前記システムは、
前記未加工ホワイトボードビデオイメージからホワイトボードを検出するように適合されたホワイトボード検出ユニットと、
大域背景白色を定義し、ピクセルを背景白色として分類するように適合された背景ユニットと、
各前景マーカ色を定義し、ピクセルを前景マーカ色として分類するように適合された前景マーカユニットと、
各前景マーカ色のストロークを再構成するように適合されたストロークデジタイザと、
タイムスタンプに関連付けられた、再構成されたホワイトボードイメージをレンダリングするように適合されたディスプレイと、
を備え、
各ストロークは前記未加工ホワイトボードビデオイメージに基づくタイムスタンプと関連付けられる、システム。
【請求項２７】
前記ストロークデジタイザは、（ｉ）前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、（ｉｉ）所定の幅を有する前記ペン曲線に基づいて、再構成されたストロークをレンダリングすることと、によって前記再構成されたストロークを生成するように更に適合される、請求項２６に記載のシステム。
【請求項２８】
前記所定の幅は、前記ストロークの平均幅である、請求項２７に記載のシステム。
【請求項２９】
前記所定の幅は、他の前景マーカ色と比較して、前景マーカ色ごとに変動する、請求項２７に記載のシステム。
【請求項３０】
前記ストロークデジタイザは、前記変曲点にスプライン補間を適用することによって前記ペン曲線を導出するように更に適合される、請求項２７に記載のシステム。
【請求項３１】
前記スプライン補間は、平滑化スプライン補間である、請求項３０に記載のシステム。
【請求項３２】
平滑化スプライン補間は、三次平滑化スプライン補間である、請求項３１に記載のシステム。
【請求項３３】
前記背景ユニットは、局所パッチのための多数の局所背景白色を推定し、背景白色のためのバイナリマスクを生成するように更に適合される、請求項２６に記載のシステム。
【請求項３４】
前記局所パッチは、多数のピクセルの各々を取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである、請求項２６に記載のシステム。
【請求項３５】
前記多数のピクセルは、前記ホワイトボード内の各ピクセルを含む、請求項３４に記載のシステム。
【請求項３６】
前記前景マーカユニットは、前景色として分類された各前景ピクセルを取り囲む局所パッチに基づいて、前景マーカ色ごとに別個に、およびイメージセンサ色平面ごとに別個に、色を正規化するように更に適合される、請求項２６に記載のシステム。
【請求項３７】
前記前景マーカユニットは、前記局所パッチ内で識別された、最大局所背景白色および前景色ピクセルの最も暗い輝度に基づいて色を正規化するように更に適合される、請求項３６に記載のシステム。
【請求項３８】
前記前景マーカユニットは、イメージセンサ色平面ごとに別個に正規化されたグレースケールイメージを生成し、それによって、イメージセンサ色平面とごとに別個に正規化されたグレースケールイメージを組み合わせることによって、高分解能のグレースケールイメージを生成するように更に適合される、請求項３７に記載のシステム。
【請求項３９】
前記前景マーカユニットは、前記高分解能グレーイメージにおいて対応する前景マーカ色として分類された各ピクセルに前記定義された前景マーカ色を適用することによって高分解能カラーイメージを再構成するように更に適合される、請求項３８に記載のシステム。
【請求項４０】
再構成されたストロークを、それらのタイムスタンプに基づいてインデックス付けし、前記ディスプレイにおいて、ユーザによって指定されたストロークに対応する前記ホワイトボードビデオイメージの一部を再生するように適合されたビデオストロークレビュアを更に備える、請求項２６に記載のシステム。
【請求項４１】
前記ディスプレイは、タッチスクリーン入力を受信するように更に適合される、請求項４０に記載のシステム。
【請求項４２】
ユーザからの単語入力に基づいて再構成されたストロークを検索し、この単語入力に対応する再構成されたストロークが見つかった場合、これを識別し、前記ディスプレイにおいて、前記再構成されたストロークを所定の色で強調するように適合された単語検出器を更に備える、請求項２６に記載のシステム。
【請求項４３】
ユーザからの音声入力に基づいて前記ホワイトボードビデオイメージ信号を検索し、この音声入力に対応する再構成されたストロークが見つかった場合、これを識別し、前記ディスプレイにおいて、前記再構成されたストロークを所定の色で強調するように適合された音声検出器を更に備える、請求項２６に記載のシステム。
【請求項４４】
前記ディスプレイは、ユーザの入力に対応する再構成されたストロークの隣にクラウドグラフィックを表示するように適合されたワードクラウドパブリッシャを更に備える、請求項２６に記載のシステム。
【請求項４５】
前記ホワイトボード会議の参加者のバイオメトリック署名を記憶し、それによって、前記参加者の前記バイオメトリック署名のうちの１つに基づいて前記参加者が識別されることを可能にするように適合されたバイオメトリックデータベースを更に備える、請求項２６に記載のシステム。
【請求項４６】
前記バイオメトリック署名は、ストローク署名、顔署名、および音声署名のうちの１つである、請求項４５に記載のシステム。
【請求項４７】
複数の参加者のためのホワイトボードビデオ連携システムであって、
請求項４５に記載のシステムと、
前記バイオメトリックデータベースにおける前記参加者の対応する署名のうちの１つに基づいて、タイムスタンプを付されたホワイトボードデータを参加者に配信するように適合されたメッセージングユニットと、
を備える、ホワイトボードビデオ連携システム。
【請求項４８】
前記メッセージングユニットは、Ｓｌａｃｋ、Ｆａｃｅｂｏｏｋ  Ｗｏｒｋｐｌａｃｅ、Ｃｉｓｃｏ  Ｓｐａｒｋ、Ｍｉｃｒｏｓｏｆｔ  Ｔｅａｍｓ、ＨｉｐＣｈａｔ、およびＥｍａｉｌのうちの１つである、請求項４７に記載のシステム。
【請求項４９】
前記メッセージングユニットは、ホワイトボードジェスチャを認識するように更に適合され、前記ホワイトボードジェスチャは、前記ホワイトボード上の四角形、タップ、ドットおよびハッシュタグを含む、請求項４８に記載のシステム。
【請求項５０】
前記メッセージングユニットは、（ｉ）再構成されたホワイトボードイメージ内のハッシュタグを検出し、（ｉｉ）前記検出されたハッシュタグ領域と、所定のユーザチャネルとの間の一致を特定し、（ｉｉｉ）前記検出されたハッシュタグ領域内の前記再構成されたホワイトボードイメージを前記一致したユーザチャネルに投稿するように適合される、請求項４９に記載のシステム。
【請求項５１】
前記ディスプレイは、所定の時刻より後のタイムスタンプを有する再構成されたストロークのみを示し、それによって、前記複数の参加者が、前記所定の時刻から仮想連携セッションを始めることを可能にするように更に適合される、請求項４７に記載のシステム。
【請求項５２】
アナログホワイトボードイメージを再構成するシステムであって、
請求項２６に記載のシステムと、
前記ディスプレイに接続されたインクプリンタと、
を備え、
前記インクプリンタは、前記ディスプレイ内の前記再構成されたホワイトボードイメージに基づいてホワイトボードプリントアウトを出力するように適合される、システム。
【請求項５３】
前記インクプリンタは、前記ホワイトボードプリントアウトのサイズを調整するように更に適合される、請求項５２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、包括的には、ホワイトボードを用いたビデオ会議に関する。特に、本開示は、タイムスタンプを付されたホワイトボードデータを取り込み、高分解能のホワイトボードイメージを生成するためのシステムおよび方法に関する。より詳細には、関連するバイオメトリクス情報に基づいて、参加者がタイムラプスホワイトボードデータにアクセスし、システムおよび他の参加者とコミュニケーションすることが可能にされる、メッセージングユーティリティを含むインテリジェントホワイトボードビデオ連携システムが提供される。
【背景技術】
【０００２】
ホワイトボードは、産業場面および学術場面にわたる対面のミーティングおよびビデオ会議になくてはならないものである。しかしながら、ホワイトボードから内容またはデータを取り込むことは、中でも、照明、ホワイトボード上の反射、色およびストロークの不適切な分解能、および動いている物体または人による遮蔽を含む様々なアーチファクトがあると、いくつかの独自の困難が課される。既存のビデオカメラおよびビデオ会議ハードウェアは、所望の精度および分解能でホワイトボードの内容およびデータを取り込むのに最適化されていない。通例、ホワイトボードからデータを抽出するために光学文字認識技術を適用することができるものの、そのようなデータの使用可能性および精度は限られている。
【０００３】
したがって、ホワイトボードデータを取り込み、高分解能のホワイトボードイメージを生成するための改善された方法およびシステムが必要とされている。参加者によるインテリジェントデータアクセスおよびコミュニケーションを可能にするために、最適化されたホワイトボード連携システムが更に必要とされている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、本開示の目的は、ホワイトボードから内容およびデータを抽出し、高分解能イメージを生成するための方法およびシステムを提供することである。本開示の更なる目的は、時刻および参加者の関連するバイオメトリクスに基づいて、ホワイトボードの内容へのインテリジェントデータアクセスと、ホワイトボードビデオ会議システムにおける参加者間のコミュニケーションとを可能にするユーティリティを提供することである。
【課題を解決するための手段】
【０００５】
特に、本開示によれば、１つの実施形態において、ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込むための方法が提供される。本方法は、ホワイトボードの４つの角部を計算し、それによってホワイトボードを定義することと、背景白色を特定し、背景白色ピクセルを識別することと、前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことと、所定の幅を有する前景マーカ色ごとにストロークを再構成することとを含む。各ストロークはホワイトボードビデオ信号に基づいてタイムスタンプと関連付けられる。
【０００６】
別の実施形態において、ストロークを再構成することは、前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、所定の幅を有するペン曲線に基づいて、再構成されたストロークをレンダリングすることとを含む。
【０００７】
更に別の実施形態において、所定の幅は、ストロークの平均幅である。更なる実施形態において、所定の幅は、前景マーカ色ごとに変動する。
【０００８】
別の実施形態において、変曲点を接続することは、変曲点にスプライン補間を適用することを含む。更に別の実施形態において、スプライン補間は、平滑化スプライン補間である。更なる実施形態において、スプライン補間は、三次平滑化スプライン補間である。
【０００９】
更に別の実施形態において、ホワイトボードを定義することは、内部が白色の長方形を検出することと、ホワイトボードのアスペクト比を特定することとを更に含む。更なる実施形態において、ホワイトボードを定義することは、台形補正を適用することを更に含む。
【００１０】
別の実施形態において、背景白色を特定し、背景白色ピクセルを識別することは、ホワイトボード内の各ピクセルを代替的な色空間に変換することと、その色空間におけるピクセルのクラスタのヒストグラムを生成することと、最頻色を特定することとを更に含む。最頻色は背景白色として定義される。
【００１１】
更なる実施形態において、代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つである。
【００１２】
別の実施形態において、背景白色を特定し、背景白色ピクセルを識別することは、局所パッチのための多数の局所背景白色を推定することを更に含む。更に別の実施形態において、局所パッチは、多数のピクセルの各々を取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである。更なる実施形態において、多数のピクセルは、ホワイトボード内の各ピクセルを含む。別の実施形態において、多数の局所背景白色を推定することは、局所パッチごとに代替的な色空間においてピクセルのクラスタリングを行うことを更に含む。
【００１３】
別の実施形態において、方法は、局所パッチごとに背景白色ピクセルのバイナリマスクを生成することと、ピクセルが全ての局所パッチの所定のパーセンテージを超えて背景白色である場合、そのピクセルを背景白色として分類することとを更に含む。更なる実施形態において、所定のパーセンテージは９０％である。別の実施形態において、背景白色として分類されないピクセルは、前景ピクセルとして分類される。
【００１４】
別の実施形態によれば、前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことは、代替的な色空間において前景ピクセルのクラスタリングを行うことであって、代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つであることと、クラスタリングに基づいて前景ピクセルを前景マーカ色として分類することであって、各前景マーカ色は、その前景マーカ色として分類された全てのピクセルの最も典型的な（平均またはメディアン）色として定義されることと、前景マーカ色ごとにバイナリマスクを生成することとを更に含む。
【００１５】
別の実施形態において、本方法は、イメージセンサ色平面ごとに、前景マーカ色として分類された各ピクセルを取り囲む局所パッチ内で極大輝度を有する背景白色ピクセルを識別することと、背景白色ピクセルの極大輝度で除算することによって前景マーカピクセルの値を正規化することとを更に含む。局所パッチは、前景マーカ色として分類されたピクセルを取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである。
【００１６】
更に別の実施形態において、本方法は、イメージセンサ色平面ごとに、前景マーカ色として分類されたピクセルを取り囲む局所パッチにおいて、最も暗い輝度を有する前景マーカ色ピクセルを識別することと、前景マーカピクセルとして分類されたピクセルの値を、最も暗い輝度を減算することによって正規化し、それによってイメージセンサ色平面の正規化されたグレースケールイメージを導出することとを更に含む。
【００１７】
更なる実施形態において、本方法は、イメージセンサ色平面ごとに正規化されたグレースケールイメージをマージすることによって、高分解能グレースケールイメージを生成することを更に含む。
【００１８】
別の実施形態において、本方法は、高分解能グレースケールイメージにおいて対応する前景マーカ色として分類された各ピクセルに最も典型的な（平均またはメディアン）前景マーカ色を適用することによって、高分解能カラーイメージを再構成することを更に含む。
【００１９】
更に別の実施形態において、ホワイトボードビデオ信号の時系列を比較することと、静止していると判断されたイメージからのみホワイトボードデータを取り込むこととによって、動いている人物によるビューの間欠的遮蔽が除去される。
【００２０】
本開示によれば、別の実施形態において、ホワイトボード会議のために、未加工ホワイトボードビデオ信号からタイムスタンプを付されたホワイトボードデータを生成するためのシステムが提供される。本システムは、未加工ホワイトボードビデオイメージ信号からホワイトボードを検出するように適合されたホワイトボード検出ユニットと、大域背景白色を定義し、ピクセルを背景白色として分類するように適合された背景ユニットと、各前景マーカ色を定義し、ピクセルを前景マーカ色として分類するように適合された前景マーカユニットと、各前景マーカ色のストロークを再構成するように適合されたストロークデジタイザであって、各ストロークは未加工ホワイトボードビデオ信号に基づくタイムスタンプと関連付けられる、ストロークデジタイザと、タイムスタンプに関連付けられた、再構成されたホワイトボードイメージをレンダリングするように適合されたディスプレイとを備える。
【００２１】
更に別の実施形態において、ストロークデジタイザは、前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、所定の幅を有するペン曲線に基づいて、再構成されたストロークをレンダリングすることとによって再構成されたストロークを生成するように更に適合される。
【００２２】
更なる実施形態において、所定の幅は、ストロークの平均幅である。別の実施形態において、所定の幅は、前景マーカ色ごとに変動する。
【００２３】
更に別の実施形態において、ストロークデジタイザは、変曲点にスプライン補間を適用することによってペン曲線を導出するように更に適合される。更なる実施形態において、スプライン補間は、平滑化スプライン補間である。別の実施形態において、スプライン補間は、三次平滑化スプライン補間である。
【００２４】
更なる実施形態において、背景ユニットは、局所パッチのための多数の局所背景白色を推定し、局所背景白色のためのバイナリマスクを生成するように更に適合される。局所パッチは、多数のピクセルの各々を取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである。更に別の実施形態において、多数のピクセルは、ホワイトボード内の各ピクセルを含む。
【００２５】
別の実施形態によれば、前景マーカユニットは、前景色として分類された各前景ピクセルを取り囲む局所パッチに基づいて、前景マーカ色ごとに別個に、およびイメージセンサ色平面ごとに別個に、色を正規化するように更に適合される。更に別の実施形態において、前景マーカユニットは、局所パッチ内で識別された、局所背景白色最大および前景色ピクセルの最も暗い輝度に基づいて色を正規化するように更に適合される。
【００２６】
更なる実施形態において、前景マーカユニットは、イメージセンサ色平面ごとに別個に正規化されたグレースケールイメージを生成し、それによって、イメージセンサ色平面とごとに別個に正規化されたグレースケールイメージを組み合わせることによって、高分解能のグレースケールイメージを生成するように更に適合される。別の実施形態において、前景マーカユニットは、高分解能グレーイメージにおいて対応する前景マーカ色として分類された各ピクセルに定義された前景マーカ色を適用することによって高分解能カラーイメージを再構成するように更に適合される。
【００２７】
別の実施形態によれば、システムは、再構成されたストロークを、それらのタイムスタンプに基づいてインデックス付けし、ディスプレイにおいて、ユーザによって指定されたストロークに対応するホワイトボードビデオイメージの一部を再生するように適合されたビデオストロークレビュアを更に備える。
【００２８】
更に別の実施形態において、ディスプレイは、タッチスクリーン入力を受信するように更に適合される。
【００２９】
別の実施形態において、システムは、ユーザからの単語入力に基づいて再構成されたストロークを検索し、この単語入力に対応する再構成されたストロークが見つかった場合、これを識別し、ディスプレイにおいて、見つかった再構成されたストロークを所定の色で強調するように適合された単語検出器を更に備える。
【００３０】
更に別の実施形態において、システムは、ユーザからの音声入力に基づいてホワイトボードビデオイメージ信号を検索し、この音声入力に対応する再構成されたストロークが見つかった場合、これを識別し、ディスプレイにおいて、見つかった再構成されたストロークを所定の色で強調するように適合された音声検出器を更に備える。
【００３１】
更なる実施形態において、ディスプレイは、ユーザの入力に対応する再構成されたストロークの隣にクラウドグラフィックを表示するように適合されたワードクラウドパブリッシャを更に備える。
【００３２】
別の実施形態において、システムは、ホワイトボード会議の参加者のバイオメトリック署名を記憶し、それによって、参加者のバイオメトリック署名のうちの１つに基づいて参加者が識別されることを可能にするように適合されたバイオメトリックデータベースを更に備える。更に別の実施形態では、バイオメトリックデータベースは、参加者のストローク署名、顔署名、および音声署名のうちの１つを記憶するように適合される。
【００３３】
本開示によれば、更なる実施形態において、複数の参加者のためのホワイトボードビデオ連携システムが提供される。システムは、バイオメトリックデータベースにおける参加者の対応する署名のうちの１つに基づいて、タイムラプスデータを含むホワイトボードデータを参加者に配信するように適合されたメッセージングユニットを更に備える。
【００３４】
別の実施形態において、メッセージングユニットは、Ｓｌａｃｋ、Ｆａｃｅｂｏｏｋ  Ｗｏｒｋｐｌａｃｅ、Ｃｉｓｃｏ  Ｓｐａｒｋ、Ｍｉｃｒｏｓｏｆｔ  Ｔｅａｍｓ、ＨｉｐＣｈａｔ、およびＥｍａｉｌのうちの１つである。更に別の実施形態において、メッセージングユニットは、ホワイトボードジェスチャを認識するように更に適合される。ホワイトボードジェスチャは、ホワイトボード上の四角形、タップ、ドットおよびハッシュタグを含む。
【００３５】
更なる実施形態において、メッセージングユニットは、再構成されたホワイトボードイメージ内のハッシュタグを検出し、検出されたハッシュタグ領域と、所定のユーザチャネルとの間の一致を特定し、検出されたハッシュタグ領域内の再構成されたホワイトボードイメージを一致したユーザチャネルに投稿するように適合される。
【００３６】
別の実施形態によれば、ディスプレイは、所定の時刻より後のタイムスタンプを有する再構成されたストロークのみを示し、それによって、複数の参加者が、所定の時刻から仮想連携セッションを始めることを可能にするように更に適合される。
【００３７】
本開示によれば、別の実施形態において、アナログホワイトボードイメージを再構成するシステムが提供される。システムは、ディスプレイ内の再構成されたホワイトボードイメージに基づいてホワイトボードプリントアウトを出力するように適合されたインクプリンタを更に備える。更なる実施形態において、インクプリンタは、ホワイトボードプリントアウトのサイズを調整するように更に適合される。
【図面の簡単な説明】
【００３８】
【図１】本開示の１つの実施形態による、背景白色を定義し、背景白色ピクセルを分類するための方法を概説する。
【図２】別の実施形態による、前景マーカ色の色正規化、および前景マーカ色ピクセルの分類のための方法を概説する。
【図３】別の実施形態による、前景マーカ色正規化のためのピクセルのクラスタのヒストグラムを示す。
【図４】別の実施形態による、高分解能グレースケールイメージを生成するためにマージされている個々の色平面を示す。
【図５】別の実施形態による、ストローク再構成のための変曲点を示す。
【発明を実施するための形態】
【００３９】
様々な実施形態において、ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込み、高分解能のホワイトボードイメージを生成するためのシステムおよび方法が提供される。１つの実施形態によるインテリジェントホワイトボード連携システムは、メッセージングユーティリティを含み、このメッセージングユーティリティによって、参加者は、関連するバイオメトリクス情報に基づいて、タイムラプスホワイトボードデータにアクセスし、システムおよび他の参加者とコミュニケーションすることを可能にされる。
【００４０】
別の実施形態によれば、背景白色および前景マーカ色を定義する際に、代替的な色空間において大域的および局所的にクラスタリングが行われる。特定の実施形態では、背景白色ピクセルおよび前景マーカ色ごとの前景色ピクセルを分類する際に、ホワイトボードにおける多数のピクセルを取り囲む局所パッチが用いられる。１つの実施形態によれば、局所パッチにおける最大局所背景白色および最も暗いピクセル輝度を利用して、前景マーカ色として分類された前景ピクセルごと、およびイメージセンサ色平面ごとに別個に色正規化が行われる。別の実施形態では、所定の幅を有する前景マーカ色の各ストロークの長さに沿った断面の変曲点のスプライン補間に基づいてストロークが再構成される。
【００４１】
１．ホワイトボード検出および背景最適化
ホワイトボードの内容を取り込むために、特定の実施形態において、カメラは、広い視野（例えば、１００°〜１８０°のＨＦＯＶ）、高分解能センサ（例えば、１２ＭＰ超）、およびイメージセンサよりも分解能が高い光学レンズを有する。特定の実施形態において、そのようなカメラは、二重のイメージパイプラインを有し、一方は、デジタルパンチルトズーム（ＰＴＺ）動作を可能にする、ビデオストリームのためものものであり、他方はホワイトボードの内容のためのものである。
【００４２】
１つの実施形態において、イメージのホワイトボード領域は、内部が白色の長方形と、そのような長方形の４つの角部とを含む、ホワイトボードに関連した特徴を調査することによって検出される。別の実施形態では、ホワイトボード平面は、カメラの光軸に対し垂直ではなく、アスペクト比が特定される。他の実施形態では、ホワイトボードの正しい取り込みを可能にするために、続いて台形補正が行われる。
【００４３】
代替的な実施形態では、インテリジェントホワイトボード連携システムのユーザまたは参加者は、システムが検出した領域が実際にホワイトボード入力領域内にあるか否かを確認するオプションを与えられる。別の実施形態では、ユーザまたは参加者は、ホワイトボードの４つの角部を識別または確認するオプションを与えられる。
【００４４】
ホワイトボードビュー内の人物または物体の間欠的動きは、記録され、連続イメージにおける変化を比較することによって解明される。別の実施形態によれば、イメージのうち、「静止」として分類された一部のみが保持され、ホワイトボード検出およびデータ取り込みにおいて用いられる。これにより、ホワイトボードビデオ取り込みの全体シーケンス中に、カメラビューから永続的に遮られたホワイトボードの部分がないという仮定の下で、ホワイトボード、およびビューの間欠的遮蔽のないその内容の完全な取り込みが可能になる。
【００４５】
ホワイトボードが検出または定義されると、ホワイトボードの背景白色が特定され、背景白色ピクセルが分類される。
【００４６】
ホワイトボードの投じられた影および汚れた表面からのアーチファクト等の一般的なアーチファクトに起因して、ホワイトボードの背景白色は、多くの場合、一貫して完全な白色の色調ではない。これにより、所望の分解能でホワイトボードイメージを生成し、所望の精度でホワイトボードの内容を抽出することに問題が課される。本開示のシステムおよび方法は、これらの問題を軽減し、各ピクセルを取り囲む局所パッチからのデータを利用したホワイトボード背景特定を最適化する。
【００４７】
１つの実施形態において、代替的な色空間におけるピクセルのクラスタリングが行われる。代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢまたはＣＩＥＬＵＶ空間である。例えば、初期のデモザイク処理後に、ピクセルはＲＧＢ空間からＨＳＶ空間に変換される。図１（２）を参照されたい。ＨＳＶ空間におけるピクセルの２次元ヒストグラム（色相および飽和）が生成され、クラスタリング分析が行われる。１つの実施形態によれば、ホワイトボードにおけるピクセルのほとんどが背景白色であると仮定して、最も高い周波数を有する色（色相および飽和）が（大域的）背景白色として特定される。図１（３）を参照されたい。
【００４８】
更なる実施形態では、メディアンフィルタリングは、任意選択により、背景白色ピクセルごとおよびカラーチャネルごとに別個にピクセルの小さなマージン（５×５）を有して実行される。
【００４９】
図１（４〜６）を参照すると、各ピクセルを取り囲む、比較的小さな寸法、例えば、２０×２０、５０×５０または７５×７５を有するピクセルの局所パッチが選択される。そのような局所パッチのためにＨＳＶ空間において２次元色相−飽和散布図が生成される。１つの実施形態では、（大域）背景白色からデルタより離れたピクセルが除去され、残りのピクセルは、背景白色ピクセルとして事前に分類される。図１（７〜８）を参照されたい。全ての５０×５０の局所パッチについて背景白色ピクセルのためのバイナリマスクが生成される。図１（９）を参照されたい。１つの実施形態において、全ての局所パッチにＡＮＤ演算子が適用され、それによって、（大域）背景白色ピクセルが、全ての局所パッチにおいて背景白色である場合にのみ、このピクセルの分類を確認する。代替的な実施形態では、局所パッチにＯＲ演算子が適用され、それによって、（大域）背景白色ピクセルが、局所パッチの少なくとも１つにおいて背景白色として示される場合に、このピクセルの分類を確認する。
【００５０】
別の実施形態では、ピクセルは、局所パッチの所定のパーセンテージにわたって背景白色である場合、（大域）背景白色ピクセルとして最終的に分類される。いくつかの実施形態において、所定のパーセンテージは９０％である。図１（１０）を参照されたい。
【００５１】
２．色正規化
背景白色ピクセルとして分類されない全てのピクセルは、前景ピクセルとみなされる。ピクセルは、初期デモザイク処理後に、前景マーカ色に属する前景ピクセルとして事前に分類することができる。１つの実施形態における背景白色の特定および背景白色ピクセルの分類に続いて、残りのピクセルが、前景ピクセルとして確認される。次に、前景ピクセルに対し、更なる処理および高度な色正規化が行われる。
【００５２】
図２（１）を参照すると、例えば、前景ピクセルのクラスタの２次元ヒストグラムが、ＨＳＶ空間等の代替的な色空間において生成される。独自の前景マーカ色に対し、クラスタリング分析が行われる。１つの実施形態では、本開示のインテリジェントホワイトボード連携システムにおいて、最大で１２の前景マーカ色が許容される。図３を参照すると、例えば、ここでは４つの別個のクラスタ（黒、緑、青、赤）が各前景マーカ色を互いに区別する。ｘ軸における色相は、このクラスタリング分析において、主な差別化要因である。
【００５３】
クラスタリング分析に基づいて、各前景マーカ色のためのバイナリマスクが生成される。各前景マーカ色の最も典型的な色（平均またはメディアン）が推定される。これは、１つの実施形態によればその前景マーカ色として特定される。図２（２）を参照されたい。
【００５４】
特定の実施形態において、各前景マーカピクセルの周りの所定の数のピクセルの小さなマージンが、更なる処理のための前景マーカピクセルの拡張を可能にするように追加される。１つの実施形態では、小さなマージンは、５×５である。
【００５５】
図２（３）を参照すると、イメージセンサ色平面ごとに別個に、各前景色ピクセルの値が、その前景色ピクセルを取り囲む局所パッチにおける背景白色ピクセルの極大輝度で除算することによって正規化される。様々な実施形態において、局所パッチは、各前景色ピクセルを取り囲む２０×２０、５０×５０、または７５×７５ピクセルの寸法である。図２（４）を参照すると、イメージセンサ色平面ごとに別個に、各前景色ピクセルの値が、その前景色ピクセルを取り囲む局所パッチにおける前景ピクセルの最も暗い輝度を減算することにより更に正規化される。
【００５６】
ベイヤ領域における、最大背景白色ピクセルと、最も暗い前景色ピクセルとを用いた上記の局所パッチベースの正規化に続いて、イメージセンサ色平面ごとの正規化されたグレースケール（白黒）イメージが生成される。図４を参照すると、１つの実施形態では、次に、個々の色平面をマージすることによって、高分解能のグレースケールイメージが作成される。特に、ここで示されるように、４つの正規化されたイメージセンサ色平面Ｒ、Ｂ、Ｇｒ、Ｇｂが１つの白黒イメージにマージされる。イメージセンサのベイヤパターンピクセル部位に対応してピクセル位置がシフトされる。
【００５７】
１つの実施形態によれば、最後に、色正規化を完了させるために、高分解能グレースケールイメージ内の全ての前景ピクセルが、対応する前景マーカ色の最も典型的な色（平均またはメディアン）を適用することによって「着色」され、それによって、ホワイトボードの高分解能カラーイメージが再構成される。図３（６）を参照されたい。
【００５８】
３．ストローク再構成
本開示の１つの実施形態によれば、インテリジェントホワイトボード連携システムにおけるアクセスのために、結果として得られるホワイトボードイメージの分解能および一貫性、ならびにホワイトボードデータおよび内容の精度を改善するために、全ての前景マーカ色のストロークが再構成または「デジタル化」される。
【００５９】
図５を参照すると、グレースケールイメージに対し動作して、各ストロークの最急上昇および降下が調べられ、ストロークの断面からの変曲点が識別される。変曲点を接続することによってペン曲線が作成され、ペン曲線に基づいて、所定の幅を採用して再構成されたストロークがレンダリングされる。１つの実施形態における所定の幅は、対応する前景マーカ色の全てのストロークの平均幅である。別の実施形態によれば、様々な前景マーカ色のための再構成されたストロークは、変動する幅を採用する。特定の実施形態において、各前景色のストローク幅は、ホワイトボード連携システムのユーザによって選択することができる。
【００６０】
１つの実施形態によれば、変曲点を接続する際に、スプライン補間が行われ、平滑化スプラインまたは三次平滑化スプラインが作成され、それによって、代替的な実施形態において対応するペン曲線が導出される。
【００６１】
まとめると、様々な実施形態によれば、背景最適化、色正規化、およびストローク再構成時に、結果として得られる再構成されたホワイトボードイメージは、一貫した白色背景と、均一に着色されたストロークと、イメージセンサの元の分解能と比較して数倍高い分解能とを呈する。
【００６２】
４．インテリジェントホワイトボード連携システム
１つの実施形態によれば、本開示のシステムは、ホワイトボード会議のための未加工ホワイトボードビデオ信号からタイムスタンプを付されたホワイトボードデータを生成するように適合される。システムは、ホワイトボード検出ユニット、背景ユニット、前景マーカユニット、ストロークデジタイザ、およびディスプレイを備える。様々な実施形態において、以下に論考される追加のコンポーネントの各々を含む、システムにおける各コンポーネントまたはユニットは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組合せとすることができる。各コンポーネントは、互いに電子的にまたはデジタルで接続され、それによって、データおよび信号が、システム内およびこれらのコンポーネント間で送信される。代替的な実施形態におけるディスプレイは、システムの他のコンポーネントに無線で接続される。別の実施形態では、システムは、各々がホワイトボード会議の個々のユーザまたは参加者によって操作または利用される多数のディスプレイを含む。
【００６３】
ホワイトボード検出ユニットは、未加工ホワイトボードビデオイメージ信号から、ホワイトボードを検出および定義するように適合される。ホワイトボード検出ユニットは、イメージ信号の任意の非ホワイトボード領域を除去する。この発明を実施するための形態のセクション１において上記で検討したように、ホワイトボードの検出において様々な方法が利用される。
【００６４】
背景ユニットは、大域背景白色を背景白色として定義し、ピクセルを背景白色として分類するように適合される。背景ユニットは、背景白色定義の一貫性および背景白色ピクセル分類の精度を改善するために、この発明を実施するための形態のセクション１において上記で検討したように、最適化技法を利用する。例えば、図１を参照されたい。例えば、背景ユニットは、背景白色ピクセルの分類において、ホワイトボード内の多数のピクセルを取り囲む局所パッチからのデータに依拠する。上記で検討したように、背景ユニットは、背景白色を定義する際に、代替的な色空間において大域的および局所的にピクセルのクラスタリングを行い、背景白色のためのバイナリマスクを生成する。例えば、図１を参照されたい。
【００６５】
前景マーカユニットは、各前景マーカ色を定義し、ピクセルを前景マーカ色として分類するように適合される。前景マーカユニットは、前景ピクセルに対する色正規化を行うために、この発明を実施するための形態のセクション２において上記で検討したような様々な方法を用いる。例えば、図２を参照されたい。例えば、前景マーカユニットは、局所最大背景白色と、各前景ピクセルを取り囲む局所パッチにおける最も暗いピクセル輝度とを利用して、イメージセンサ色平面ごとに別個にその色を正規化する。
【００６６】
更なる実施形態における前景マーカユニットは、イメージセンサ色平面ごとに別個に正規化されたグレースケールイメージを生成し、個々の色平面についてそのようなグレースケールイメージをマージして、より高い分解能のグレースケールイメージを形成する。例えば、図４を参照されたい。前景マーカユニットは、より高い分解能のグレーイメージにおける対応する前景マーカ色として分類された各ピクセルに定義された前景マーカ色を適用することによって、高分解能のカラーイメージを構築するように更に適合される。定義された前景マーカ色は、１つの実施形態において、その特定の前景マーカ色の平均またはメディアンである。
【００６７】
ストロークデジタイザは、各前景マーカ色のストロークを再構成またはデジタル化するように適合される。各ストロークは、未加工ホワイトボードビデオ信号に基づいてタイムスタンプと関連付けられる。ストロークデジタイザは、各前景マーカ色のストロークを再構成するために、この発明を実施するための形態のセクション３において上記で検討したような様々な方法を用いる。例えば、図５を参照されたい。
【００６８】
本開示のディスプレイは、タイムスタンプ情報を含む再構成されたホワイトボードイメージをレンダリングするように適合される。様々な実施形態によるディスプレイは、コンピュータ端末、タブレット、スマートフォン、モノのインターネット（「ＩｏＴ」）端末、およびバーチャルリアリティーまたは拡張現実（ＶＲ／ＡＲ）ディスプレイデバイスのうちの１つである。１つの実施形態において、ディスプレイは、タッチスクリーン対応である。別の実施形態では、ディスプレイは、音声入力対応である。ホワイトボード連携システムのユーザまたは参加者は、様々なタイプのディスプレイへのアクセスを有し、それらの全てが、システムおよび他のディスプレイとの通信に対応している。代替的な実施形態では、そのような通信は、有線、無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）経由、または他のネットワーク接続経由である。
【００６９】
別の実施形態では、システムは、ディスプレイに接続されたビデオストロークレビュアを更に備える。ストロークレビュアは、再構成されたストロークを、それらのタイムスタンプに基づいてインデックス付けし、ユーザによって指定された関心対象の１つ以上のストロークに対応するホワイトボードビデオイメージのセグメントをディスプレイにおいて再生するように適合される。ユーザは、レビューされるビデオのセグメントの時間の長さを指定することができる。１つの実施形態では、ユーザは、タッチスクリーン対応のディスプレイにおいて関心対象の単数または複数のストロークを強調することによってこれらを示す。別の実施形態では、ユーザは、マウスカーソルを用いてストロークを囲むことによってそのような関心対象を示す。代替的な実施形態において、ビデオストロークレビュアは、ディスプレイの一部である。別の実施形態において、ディスプレイに結合されたビデオストロークレビュアは、ユーザの関心対象に基づいて、再構成されたストロークのタイムラプスシーケンスを表示するように適合される。
【００７０】
更なる実施形態におけるシステムは、ディスプレイに接続された単語検出器を含む。単語検出器は、ユーザからの単語入力に基づいて、再構成されたストロークを検索し、この単語入力に対応する再構成されたストロークが見つかった場合、これを識別するように適合される。単語検出器は、キーボード入力またはタッチスクリーン入力を受信するように適合される。単語検出器は、ディスプレイ内の再構成されたストロークを所定の色で強調するように更に適合される。１つの実施形態によれば、所定の色は、ユーザによって選択され、所定の色は、混乱を避けるために、システムにおいて認識されたいずれの前景マーカ色でもない。
【００７１】
別の実施形態では、システムは、ディスプレイに接続された音声検出器を含む。音声検出器は、音声認識が可能である。音声検出器は、ユーザからの音声入力に基づいて、ホワイトボードビデオイメージ信号を検索し、この音声入力に対応する再構成されたストロークが見つかった場合、これを識別するように適合される。音声検出器は、ディスプレイにおいて、再構成されたストロークを所定の色で強調するように更に適合される。１つの実施形態によれば、所定の色は、ユーザによって選択される。混乱を避けるために、所定の色は、システムにおいて認識された任意の前景マーカ色と同じいずれの色も除外する。
【００７２】
更なる実施形態において、ディスプレイは、内部にワードクラウドパブリッシャを更に備える。ワードクラウドパブリッシャは、ユーザの入力に対応する再構成されたストロークの隣にクラウドグラフィックを表示するように適合される。１つの実施形態において、ワードクラウドパブリッシャはソフトウェアユーティリティであり、ユーザが再構成されたホワイトボードイメージに対し直接注釈付けまたはコメントすることを可能にする。代替的な実施形態において、ワードクラウドパブリッシャは、関心対象の単数または複数のストロークに基づいてユーザまたは参加者に関心対象のキーワードを表示する。
【００７３】
更なる実施形態における本開示のインテリジェントホワイトボード連携システムは、バイオメトリックデータベースを含む。バイオメトリックデータベースは、ホワイトボード会議の全ての参加者またはインテリジェントホワイトボード連携システムのユーザのバイオメトリック署名を記憶する。バイオメトリックデータベースは、参加者またはユーザが、ストローク署名、顔署名および音声署名を含む、参加者のバイオメトリック署名のうちの１つに基づいて識別されることを可能にする。データベースは、氏名、地位、組織および関心対象を含む、参加者またはユーザの他の識別情報も含む。そのようなシステムは、中でも、参加者のアイデンティティ、バイオメトリック署名および関心対象を含めて、システムのユーザまたは参加者に関して知ることが可能であるという意味でインテリジェントである。このため、本開示のインテリジェントホワイトボード連携システムは、以下で検討されるメッセージングユニット等のユーティリティまたはコンポーネントを用いて、システムのユーザまたは参加者による、およびこれらのユーザまたは参加者間でのスマートな情報共有およびコミュニケーションを可能にする。
【００７４】
特定の実施形態によれば、インテリジェントホワイトボード連携システムは、メッセージングユニットを含む。メッセージングユニットは、参加者の関連するバイオメトリック署名または他の識別情報に基づいて、タイムラプスデータを含むホワイトボードデータを参加者に配信し、参加者が互いにコミュニケーションすることを可能にするように適合される。例えば、メッセージングユニットは、ホワイトボード会議における赤マーカを用いて、この赤マーカの下での全てのストロークデータを参加者に投稿または中継することができる。その参加者は、ホワイトボードにおける関心対象のグラフがメッセージングユニットを介して別の参加者に転送されることも要求することができる。様々な実施形態において、メッセージングユニットは、Ｓｌａｃｋ、Ｆａｃｅｂｏｏｋ  Ｗｏｒｋｐｌａｃｅ、Ｃｉｓｃｏ  Ｓｐａｒｋ、Ｍｉｃｒｏｓｏｆｔ  Ｔｅａｍｓ、ＨｉｐＣｈａｔ、またはＥｍａｉｌである。
【００７５】
別の実施形態において、メッセージングユニットは、ホワイトボードジェスチャを認識するように更に適合される。代替的な実施形態によれば、これらのジェスチャは、ホワイトボード上の四角形、タップ、ドットおよびハッシュタグを含み、未加工ホワイトボードビデオ信号内に存在することができるか、または再構成されたホワイトボードイメージにおいてユーザによって挿入することができる。
【００７６】
特定の実施形態において、メッセージングユニットは、ホワイトボードイメージにおいてハッシュタグを検出し、検出されたハッシュタグ領域と所定のユーザチャネルとの間での一致を特定するように適合される。一致が存在する場合、メッセージングユニットは、一致したユーザチャネルに対し、ハッシュタグ領域内のホワイトボードイメージを投稿する。一致は、ユーザもしくは参加者からの単語もしくは音声入力、またはユーザによって示され、システムによってサポートされる他の基準に基づくことができる。
【００７７】
更なる実施形態によれば、ディスプレイは、所定の時刻よりも後のタイムスタンプを有する再構成されたストロークのみを示すように適合される。これにより、参加者は、所定の時間からのインテリジェントホワイトボード連携システムを用いて仮想連携セッションを始めることが可能になる。実際に、この特徴は、ユーザが所定の時刻よりも古いホワイトボードの内容を仮想的に「消去」し、それによって、無関係のデータをフィルタリング除去することも可能にする。
【００７８】
システムは、メッセージングユニットを介して、所定の時間で区切られたそのようなホワイトボードタイムラプスコンテンツを、ホワイトボード会議後にミーティング概要として参加者に、更には会議に参加することができなかった組織内の人物に配信することができる。
【００７９】
本開示の更なる実施形態において、システムは、無線で、または有線接続を介して、ディスプレイに接続されたインクプリンタを更に含む。インクプリンタは、ディスプレイ内の再構成されたホワイトボードイメージに基づいてホワイトボードプリントアウトを出力するように適合される。更なる実施形態におけるインクプリンタは、ホワイトボードプリントアウトのサイズを調整するように更に適合される。
【００８０】
本明細書における様々な実施形態の説明は、図面および例を含めて、本発明およびその様々な実施形態を例示するものであり、限定するものではない。
【図１】
2020525962.tif 000003
【図２】
2020525962.tif 000004
【図３】
2020525962.tif 000005
【図４】
2020525962.tif 000006
【図５】
2020525962.tif 000007
【国際調査報告】
2020525962.tif 000008