(57)【要約】【課題】カメラなどの撮像装置の視覚に基づくコラボレーション環境にユーザによりなされたマーキングの情報をリアルタイムで、または、ほぼリアルタイムで入力し、そのマーキングに応じた処理を実行すること。【解決手段】撮像装置２３０が、被掲示面に掲示された掲示物を撮像し、コンピュータ処理装置１４０のアドレス指定可能なメモリが、掲示物になされるマーキングを解釈する解釈規則と、マーキングの解釈の結果に基づいて特定される処理の実行規則とに対応する１つ以上の参照画像を記憶し、プロセッサが、１つ以上の参照画像に基づいて撮像装置により撮像された撮像画像に関連する参照画像を決定し、決定された参照画像と撮像画像とに基づいて掲示物になされたマーキングを抽出し、抽出されたマーキングを解釈規則に基づいて解釈し、マーキングに関連する処理の実行規則に基づいて該処理を実行する。【選択図】図１
2012027908.tif 000002
【特許請求の範囲】
【請求項１】
被掲示面に掲示された掲示物を撮像する撮像装置と、
アドレス指定可能なメモリと、
プロセッサと、
を備え、
前記メモリは、前記掲示物になされるマーキングを解釈する解釈規則と、該マーキングの解釈の結果に基づいて特定される処理の実行規則とに対応する１つ以上の参照画像を記憶し、前記プロセッサは、前記撮像装置により撮像された撮像画像に基づいて、前記１つ以上の参照画像の中から前記撮像画像に関連する参照画像を決定し、決定された該参照画像と前記撮像画像とに基づいて前記掲示物になされたマーキングを抽出し、抽出されたマーキングを前記解釈規則に基づいて解釈し、前記マーキングに関連する処理の実行規則に基づいて該処理を実行することを特徴とする視覚処理装置。
【請求項２】
前記プロセッサは、前記撮像画像に対するエッジ検出、幾何学的図形検出、および、バーコード検出のうちの少なくとも１つにより、前記参照画像を決定することを特徴とする請求項１に記載の視覚処理装置。
【請求項３】
前記プロセッサは、前記撮像画像と前記参照画像との間の差の検出、パターン認識、光学式マーク認識、光学式文字認識のうちの少なくとも１つにより、前記マーキングを抽出することを特徴とする請求項１または２に記載の視覚処理装置。
【請求項４】
前記プロセッサは、前記処理の実行規則に基づいて該処理を即時実行することを要求するマーキングを抽出することを特徴とする請求項１〜３のいずれか１項に記載の視覚処理装置。
【請求項５】
被掲示面に掲示された掲示物を撮像する撮像ステップと、
前記掲示物になされるマーキングを解釈する解釈規則と、該マーキングの解釈の結果に基づいて実行される処理の実行規則とに対応する１つ以上の参照画像の中から、前記撮像ステップにおいて撮像された撮像画像に基づいて、前記撮像画像に関連する参照画像を決定する決定ステップと、
該決定ステップにおいて決定された参照画像と前記撮像画像とに基づいて前記掲示物になされたマーキングを抽出する抽出ステップと、
該抽出ステップにおいて抽出されたマーキングを前記解釈規則に基づいて解釈し、前記マーキングに関連する処理の実行規則に基づいて該処理を実行する実行ステップと、
を含むことを特徴とする視覚処理方法。
【請求項６】
前記抽出ステップでは、前記処理の実行規則に基づいて該処理を即時実行することを要求するマーキングを抽出することを特徴とする請求項５に記載の視覚処理方法。
【請求項７】
掲示物と、
該掲示物が掲示される被掲示面と、
前記掲示物を撮像する撮像装置と、
該撮像装置により撮像された撮像画像に基づいて、所定の処理を実行する視覚処理装置と、
を備え、前記視覚処理装置は、
アドレス指定可能なメモリと、
プロセッサと、
を備え、
前記メモリは、前記掲示物になされるマーキングを解釈する解釈規則と、該マーキングの解釈の結果に基づいて特定される処理の実行規則とに対応する１つ以上の参照画像を記憶し、前記プロセッサは、前記撮像装置により撮像された撮像画像に基づいて、前記１つ以上の参照画像の中から前記撮像画像に関連する参照画像を決定し、決定された該参照画像と前記撮像画像とに基づいて前記掲示物になされたマーキングを抽出し、抽出されたマーキングを前記解釈規則に基づいて解釈し、前記マーキングに関連する処理の実行規則に基づいて該処理を実行することを特徴とする視覚処理システム。
【請求項８】
前記掲示物は、フレキシブル材料からなることを特徴とする請求項７に記載の視覚処理システム。
【請求項９】
前記掲示物は、帯電性の材料からなることを特徴とする請求項７または８に記載の視覚処理システム。
【請求項１０】
前記掲示物は、不透明材料からなることを特徴とする請求項７〜９のいずれか１項に記載の視覚処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚処理装置、視覚処理方法、および、視覚処理システムに関する。
【背景技術】
【０００２】
一般に、ホワイトボードコラボレーション環境は、撮像装置、および／または、ＯＣＲ（Optical Character Recognition）を利用して、アクションアイテムのため、あるいは、今後の参照のために、議論している特定のアイテムにタグを付け、ドローイングコントロールを選択し、および／または、コラボレーションシステムにデータを入力する。
【０００３】
なお、特許文献１には、デジタイザ装置上に載置されたフォーム（書式用紙）を自動的に識別するシステムが開示されている。このシステムは、予め印刷されたフォーム上に手書きされたマークの位置を記述するデータを記憶し、そのマークの位置に基づいてフォームを識別する。
【０００４】
また、特許文献２には、複数の識別項目による帳票定義に従って不特定多数の帳票を識別する帳票識別装置が開示されている。この帳票識別装置は、帳票識別を目的としない帳票フォーム内の文字列およびその領域を定義した識別項目と、帳票識別を目的としない帳票フォームに則ったラインおよびその位置を定義した識別項目とを含んだ帳票定義に従って、帳票を識別する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００４−５０４６５０号公報
【特許文献２】特開２００４−５２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、これらの文献に記載された技術は、フォームをデジタイザ、あるいは、スキャナで読み取るものである。そのため、デジタイザ、あるいは、スキャナでフォームを読み取っている間は、フォームにマーキングを施すことができないが、ホワイトボードコラボレーション環境では、ホワイトボードに張り付けられたフォームに施されるマーキングをリアルタイムで、または、ほぼリアルタイムでホワイトボードコラボレーション環境に入力したいという要求がある。また、マーキングに応じた処理についても、リアルタイムで、または、ほぼリアルタイムで実行したいという要求もある。
【０００７】
本発明は、カメラなどの撮像装置の視覚に基づくコラボレーション環境にユーザによりなされたマーキングの情報をリアルタイムで、または、ほぼリアルタイムで入力し、そのマーキングに応じた処理を実行するための機能を有する視覚処理装置、視覚処理方法、および、視覚処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の技術手段に係る視覚処理装置は、被掲示面に掲示された掲示物を撮像する撮像装置と、アドレス指定可能なメモリと、プロセッサと、を備え、前記メモリは、前記掲示物になされるマーキングを解釈する解釈規則と、該マーキングの解釈の結果に基づいて特定される処理の実行規則とに対応する１つ以上の参照画像を記憶し、前記プロセッサは、前記撮像装置により撮像された撮像画像に基づいて、前記１つ以上の参照画像の中から前記撮像画像に関連する参照画像を決定し、決定された該参照画像と前記撮像画像とに基づいて前記掲示物になされたマーキングを抽出し、抽出されたマーキングを前記解釈規則に基づいて解釈し、前記マーキングに関連する処理の実行規則に基づいて該処理を実行することを特徴とする。
【０００９】
本発明の第２の技術手段は、第１の技術手段において、前記プロセッサは、前記撮像画像に対するエッジ検出、幾何学的図形検出、および、バーコード検出のうちの少なくとも１つにより、前記参照画像を決定することを特徴とする。
【００１０】
本発明の第３の技術手段は、第１または第２の技術手段において、前記プロセッサは、前記撮像画像と前記参照画像との間の差の検出、パターン認識、光学式マーク認識、光学式文字認識のうちの少なくとも１つにより、前記マーキングを抽出することを特徴とする。
【００１１】
本発明の第４の技術手段は、第１〜第３のいずれか１つの技術手段において、前記プロセッサは、前記処理の実行規則に基づいて該処理を即時実行することを要求するマーキングを抽出することを特徴とする。
【００１２】
本発明の第５の技術手段に係る視覚処理方法は、被掲示面に掲示された掲示物を撮像する撮像ステップと、前記掲示物になされるマーキングを解釈する解釈規則と、該マーキングの解釈の結果に基づいて実行される処理の実行規則とに対応する１つ以上の参照画像の中から、前記撮像ステップにおいて撮像された撮像画像に基づいて、前記撮像画像に関連する参照画像を決定する決定ステップと、該決定ステップにおいて決定された参照画像と前記撮像画像とに基づいて前記掲示物になされたマーキングを抽出する抽出ステップと、該抽出ステップにおいて抽出されたマーキングを前記解釈規則に基づいて解釈し、前記マーキングに関連する処理の実行規則に基づいて該処理を実行する実行ステップと、を含むことを特徴とする。
【００１３】
本発明の第６の技術手段は、第５の技術手段において、前記抽出ステップでは、前記処理の実行規則に基づいて該処理を即時実行することを要求するマーキングを抽出することを特徴とする。
【００１４】
本発明の第７の技術手段に係る視覚処理システムは、掲示物と、該掲示物が掲示される被掲示面と、前記掲示物を撮像する撮像装置と、該撮像装置により撮像された撮像画像に基づいて、所定の処理を実行する視覚処理装置と、を備え、前記視覚処理装置は、アドレス指定可能なメモリと、プロセッサと、を備え、前記メモリは、前記掲示物になされるマーキングを解釈する解釈規則と、該マーキングの解釈の結果に基づいて特定される処理の実行規則とに対応する１つ以上の参照画像を記憶し、前記プロセッサは、前記撮像装置により撮像された撮像画像に基づいて、前記１つ以上の参照画像の中から前記撮像画像に関連する参照画像を決定し、決定された該参照画像と前記撮像画像とに基づいて前記掲示物になされたマーキングを抽出し、抽出されたマーキングを前記解釈規則に基づいて解釈し、前記マーキングに関連する処理の実行規則に基づいて該処理を実行することを特徴とする。
【００１５】
本発明の第８の技術手段は、第７の技術手段において、前記掲示物は、フレキシブル材料からなることを特徴とする。
【００１６】
本発明の第９の技術手段は、第７または第８の技術手段において、前記掲示物は、帯電性の材料からなることを特徴とする。
【００１７】
本発明の第１０の技術手段は、第７〜第９のいずれか１つの技術手段において、前記掲示物は、不透明材料からなることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、カメラなどの撮像装置の視覚に基づくコラボレーション環境にユーザによりなされたマーキングの情報をリアルタイムで、または、ほぼリアルタイムで入力し、そのマーキングに応じた処理を実行することができる。
【図面の簡単な説明】
【００１９】
【図１】画像ベースのコラボレーションシステム環境の例を示す機能ブロック図である。
【図２】コラボレーションサーバ、リモートサイトのディスプレイ、１以上のオフサイトノード、および／または、データ記憶装置を含む画像ベースのコラボレーションシステム環境の例を示す機能ブロック図である。
【図３】ホワイトボードが複数のシートを含む画像ベースのコラボレーションシステム環境の例を示す機能ブロック図である。
【図４】システムがホワイトボード上の入力フォームやメニューの位置をホットゾーンとして特定した画像ベースのコラボレーションシステム環境の例を示す機能ブロック図である。
【図５】シートのうちの１枚が移動されたか、または、取り去られて新しいものと置き換えられた画像ベースのコラボレーションシステム環境の例を示す機能ブロック図である。
【図６】新しいホットゾーンが特定されてモニタリングのために設定された図５の実施形態をさらに示す図である。
【図７】画像ベースのコラボレーションシステム環境の処理の例を示すフローチャートである。
【図８】ホットゾーンとして指定される入力フォームやメニューの例を示す予め印刷されたシートの表面の印の実施形態の例を示す図である。
【図９】予め印刷されたシートの表面の印の実施形態の例を示す図である。
【図１０】予め印刷されたシートの表面の印の実施形態の例を示す図である。
【図１１】マーキングを有する予め印刷されたシートの表面の印の実施形態の例を示す図である。
【図１２】シート上に抽出されたマーキングを有する表面の印の実施形態の例を示す図である。
【図１３】マーキングを有する予め印刷されたシートの表面の印の実施形態の例を示す図である。
【図１４】シート上に抽出されたマーキングを有する表面の印の実施形態の例を示す図である。
【発明を実施するための形態】
【００２０】
複数の実施形態が、添付の図面中の図において例示されるが、実施形態はこれらに限定されるものではない。実施形態は、カメラなどの撮像装置の視覚に基づくコラボレーション環境にユーザによりなされたマーキングの情報をリアルタイムで、または、ほぼリアルタイムで入力し、そのマーキングに応じた処理を実行するための機能を提供する。実施形態は、ホワイトボードに張り付けられるシート表面の印を撮像し、それに関連する参照画像を判定し、１以上のマーキングのセットをその参照画像に基づいて抽出し、その参照画像と関連する解釈規則および実行規則に基づいて特定の処理を実行するように構成された画像ベースのコンピュータプロセッサのシステム、装置、および、方法に関する。
【００２１】
なお、ここでは、シートを張り付ける箇所がホワイトボードである場合について説明するが、その箇所はホワイトボードに限らず、部屋の壁面や黒板など、シートを掲示できる被掲示面であればよい。また、被掲示面に掲示される掲示物も、シートに限定されず、マーキングをおこなうことが可能な掲示物であればよい。また、以下に説明する各装置は、アドレス指定可能なメモリと、プロセッサとを備え、各種情報をメモリに記憶するとともに、プロセッサがそれらの情報をメモリから読み出して、以下に説明するようなさまざまな処理を実行する。
【００２２】
図１は、画像ベースのコラボレーションシステム環境１００の例を示す機能ブロック図である。図１には、１以上のシート１１２のセットを含むホワイトボード１１０、撮像装置１３０、および、画像ベースのコンピュータ処理装置１４０を備えるシステムの実施形態が示されている。画像ベースのコラボレーションシステム環境１００の実施形態は、リアルタイム、または、ほぼリアルタイムで実行でき、情報は、シート１１２、または、その一部から受信し、読み込み、撮像したものの少なくとも１つから得ることができる。撮像装置１３０は、コラボレーションホワイトボード１１０の一部の画像、例えば、１以上の予め定義された印のセットを含むシート１１２を撮像する。撮像装置１３０は、カメラ、ビデオキャプチャ装置、デジタルビデオレコーダ、走査カメラ、ウェブカム、および、モーションキャプチャ装置の少なくとも１つであってよい。画像ベースのコンピュータ処理装置１４０は、撮像したシート表面の印と、少なくとも１つの参照画像のセットとを比較し、その表面の印に関連する参照画像を判定するように構成されてもよい。撮像したシート表面の印と、少なくとも１つの参照画像のセットとを比較してこれらの間の差異を抽出することにより、１セットのマーキングが特定される。参照画像は、シート１１２になされるマーキングを解釈する解釈規則を含んでいてもよい。マーキングが表面の印から抽出されると、マーキングは当該解釈規則に基づいて解釈される。参照画像はさらに、その解釈に関連する実行規則、すなわち、マーキングに関連する処理の実行規則、または、１セットの指示を含んでいてもよい。
【００２３】
図２は、画像ベースのコラボレーションシステム環境２００の例を示す機能ブロック図である。このコラボレーションシステム環境２００は、ホワイトボード２１０、撮像装置２３０、画像ベースのコンピュータ処理装置２４０、ＬＣＤディスプレイなどのリモートサイトのディスプレイ２５０、コラボレーションサーバ２６０、１以上のオフサイトノード、および／または、関連する参照画像を維持するために使用されるコラボレーションクラウドなどのデータ記憶装置２７０を備える。本実施形態において、ホワイトボード２１０は、コラボレーションコンピュータなどの画像ベースのコンピュータ処理装置２４０と連携するカメラ視覚システムなどの撮像装置２３０によりモニタされる。参照画像は、コラボレーションコンピュータ２４０、コラボレーションサーバ２６０、コラボレーションクラウド２７０のいずれか１つに、または、それらを組み合わせたものに格納される。また、得られる出力をリモートサイトのディスプレイ２５０に表示してもよい。
【００２４】
図３は、画像ベースのコラボレーションシステム環境３００の例を示す機能ブロック図である。このコラボレーションシステム環境３００は、１以上のシート３１２、３１４のセットを含むホワイトボード３１０、撮像装置３３０、画像ベースのコンピュータ処理装置３４０、ＬＣＤディスプレイなどのリモートサイトのディスプレイ３５０、コラボレーションサーバ３６０、１以上のオフサイトノード、および／または、関連する参照画像を維持するために使用されるコラボレーションクラウドなどのデータ記憶装置３７０を備える。本実施形態の例において、ホワイトボード３１０は、コラボレーションコンピュータなどの画像ベースのコンピュータ処理装置３４０によって制御される撮像装置３３０によってモニタされる。参照画像は、コラボレーションコンピュータ３４０、コラボレーションサーバ３６０、コラボレーションクラウドなどのデータ記憶装置３７０、すなわち、分散ネットワークストレージのいずれか１つに、または、それらを組み合わせたものに格納される。また、得られた出力をリモートサイトのディスプレイ３５０に表示してもよい。複数のシート３１２、３１４は、１以上の予め定義された印のセットと、マーキングを受け付けるように構成される表面を含んでもよい。ユーザは、１以上のシートを、本例ではホワイトボード３１０を含むコラボレーション環境中、または、その周囲に配置する。撮像装置３３０は、ホワイトボード３１０上の１以上のシート３１２、３１４の配置、および／または、方向の変更を検出し、シートの表面の印を撮像する。予め定義された印は、固有の識別番号、または、シンボルなどのシート表面の印と、少なくとも１つの参照画像のセットとを比較することにより識別される。
【００２５】
図４は、画像ベースのコラボレーションシステム環境４００の例を示す機能ブロック図である。このコラボレーションシステム環境４００は、１以上のシート４１２、４１４のセットを含むホワイトボード４１０、撮像装置４３０、画像ベースのコンピュータ処理装置４４０、ＬＣＤディスプレイ等のリモートサイトのディスプレイ４５０、コラボレーションサーバ４６０、１以上のオフサイトノード、および／または、関連する参照画像を維持するために使用されるコラボレーションクラウドなどのデータ記憶装置４７０を備える。本実施形態において、ホワイトボード４１０は、コラボレーションコンピュータなどの画像ベースのコンピュータ処理装置４４０によって制御される撮像装置４３０によってモニタされる。参照画像は、コラボレーションコンピュータ４４０、コラボレーションサーバ４６０、コラボレーションクラウドなどのデータ記憶装置４７０のいずれか１つに、または、それらを組み合わせたものに格納される。ホワイトボード４１０は、複数のシート４１２、４１４を含む。例えば、ホワイトボード４１０は、１以上の予め定義された印のセットと、マーキングを受け付けるように構成される表面とを含む２つの入力フォーム、または、メニューを含む。撮像装置４３０は、ホワイトボード４１０の変更を検知して、シート表面の印を撮像する。予め定義された印は、固有の識別番号、または、シンボルなどのシート表面の印と、少なくとも１つの参照画像のセットとを比較することにより識別される。シート４１２と関連する参照画像４８２が決定され、その解釈規則および／または実行規則が、コラボレーションコンピュータ４４０のメモリに選択的にロードされる。本実施形態において、シート４１４と関連する解釈規則および／または実行規則４８４は、コラボレーションクラウドなどのデータ記憶装置４７０のメモリにロードされる。本システムは、ホワイトボード上の入力フォームやメニューの位置をホットゾーンとして特定する。このシステムは、何らかのアクティビティに対して、これらのホットゾーン、すなわち、特定されたシート上のマーキングの変更をモニタしてもよい。また、このシステムは、入力フォーム、または、メニューなどの、表面の印の解釈を向上させるために、ゆがみ補正係数、および／または、回転係数がシステムにより要求されるかどうかを判定する。要求される場合、システムは、ゆがみ補正、および／または、回転の情報をそのホットゾーンに結び付け、その部分における今後の全ての撮像画像が、コンテンツの分析の前に、適切にゆがみ補正、および／または、回転されるようにする。
【００２６】
図５は、画像ベースのコラボレーションシステム環境５００の例を示す機能ブロック図である。このコラボレーションシステム環境５００は、図４の場合と同様に、１以上のシート５１２、５１６のセットを含むホワイトボード５１０、撮像装置５３０、画像ベースのコンピュータ処理装置５４０、ＬＣＤディスプレイなどのリモートサイトのディスプレイ５５０、コラボレーションサーバ５６０、１以上のオフサイトノード、および／または、関連する参照画像を維持するために使用されるコラボレーションクラウドなどのデータ記憶装置５７０を備える。図５には、図４の右下隅のシート４１４が取り去られ、左下隅の新しいシート５１６と差し替えられることが示されている。シート５１２と関連する参照画像５８２が決定され、その解釈規則および／または実行規則が、コラボレーションコンピュータ５４０のメモリに選択的にロードされる。取り去られたシート４１４、および、コラボレーション環境におけるその空間的位置には、暫定的な削除ステータスが与えられる。取り去られたシート４１４に関連する参照画像、および、解釈規則および／または実行規則が、現在のワークスペースから暫定的に削除される（５９０）。また、解釈規則および／または実行規則４８４はキャッシュに保持されることとしてもよい。撮像装置５３０は、ホワイトボード５１０の変更を検出して、新しいシート５１６の表面の印を撮像する。予め定義された印は、固有の識別番号、または、シンボルなどのシート表面の印と、少なくとも１つの参照画像のセットとを比較することにより識別される。新しいシート５１６と関連する参照画像５８６が決定され、解釈規則および／または実行規則はコラボレーションサーバ５６０のメモリに選択的にロードされる。本例では、シートはまたホワイトボード５１０のある領域から別の領域に移動させられ、その後、撮像装置５３０がホワイトボード５１０の変更を検知して、移動したシート表面の印を撮像する。
【００２７】
図６は、画像ベースのコラボレーションシステム環境６００の例を示す機能ブロック図である。このコラボレーションシステム環境６００は、１以上のシート６１２、６１６のセットを含むホワイトボード６１０、撮像装置６３０、画像ベースのコンピュータ処理装置６４０、ＬＣＤディスプレイなどのリモートサイトのディスプレイ６５０、コラボレーションサーバ６６０、１以上のオフサイトノード、および／または、関連する参照画像を維持するために使用されるコラボレーションクラウドなどのデータ記憶装置６７０を備える。新たな表面の印６１６がホワイトボードに配置され、さらに特定される。図６はさらに、図５の実施形態を示しており、そこで新しいホットゾーンが特定され、モニタされるように設定される。シート６１２に関連する参照画像６８２と、解釈規則および／または実行規則とは、既に判定されたように、コラボレーションコンピュータ６４０のメモリに選択的にロードされる。本システムは、ホワイトボード上の入力フォーム、または、メニューの位置をホットゾーンとして特定する。このシステムは、何らかのアクティビティに対して、これらのホットゾーン、すなわち、特定されたシート６１２および６１６上のマーキングの変更をモニタしてもよい。シート６１６に対する解釈規則および／または実行規則６９６が決定され、抽出されたマーキングは解釈規則に基づいて解釈され、さらに、そのマーキングに関連する処理の実行規則に従って、その処理がオプションで実行される。
【００２８】
図７は、画像ベースのコラボレーションシステム環境７００の機能ブロック図の例を示すフローチャートである。このシステムは、撮像装置を用いて、シート表面の印を撮像する（ステップ７１０）。次にその表面の印は、少なくとも１つの参照画像のセットと比較される（ステップ７２０）。表面の印に関連する参照画像は、表面の印と少なくとも１つの参照画像のセットとの比較に基づいて決定される（ステップ７３０）。次のステップにおいて、マーキングは、表面の印と少なくとも１つの参照画像のセットとの比較に基づいて、その表面の印から抽出される（ステップ７４０）。次に、抽出されたマーキングは、参照画像と関連する解釈規則に基づいて解釈される（ステップ７５０）。次に、解釈されたマーキングに関連する処理の実行規則に基づいて、その処理が実行される（ステップ７６０）。
【００２９】
実施形態において、シートの材料は、軟質ビニル、マイラー（登録商標）、ポリシートなどのフレキシブル材料、または、他の類似の材料であってもよい。シートの物理的な特性は、不透明であってもよいし、白などの明るい色のセットを含んでもよい。明るい色は、色の違いの比較などにより、コンピュータ視覚システムがホワイトボード上のメニューを見つけることを容易にする。また、シートは自然に帯電する機能を備え、ホワイトボードの表面に帯電するだけで張り付き、また、ホワイトボードの表面から剥がされるものであってもよい。また、その表面は、ドライイレース、光沢、防水及び水性といった種々の形式のマーカーとイレーサーの使用に対応可能である。また、シートは、気泡の発生やしわを避けるために、厚みのある材料で製造されてもよい。
【００３０】
図８は、予め印刷されたシート８００の表面の印の実施形態の例を示す。シート８００は、固有の識別シンボル、例えば、シート上に印刷された名称８１０、識別番号８１５、バーコード８２０、または、それらを組み合わせたもののいずれかを有する。上記オブジェクトを含む表面の印の一部は、コンピュータ視覚システムによって読取可能であり、シートに関連する参照画像を特定するために使用される。また、撮像されたシート上に印刷された幾何学的図形のエッジを検出したり、幾何学的図形そのものを検出したりして、参照画像のエッジや幾何学的図形と比較することにより、シートに関連する参照画像を特定することとしてもよい。また、シートを見つけ出し、特定し、確認するための機能をシステムに付加するため、ハイライト色（複数可）が上記の方法と併せて使用されることとしてもよい。本実施形態において、シートは、識別マーク８１０、８１５、８２０、境界マーキング８４０、および／または、太いボーダーライン８３０の組み合わせを有し、コンピュータ視覚システムが参照画像の向きと境界を容易に判定できるようにしている。よって、本システムは、これらのオブジェクトに基づいて適宜、ゆがみ補正、および／または、回転を行って、表面の印の表示を正常化する。また、シート８００内のホットゾーン８６０が特定され、そこでマーキングは受け付けられ、シート８００の表面の印からマーキングが捕捉される。
【００３１】
図９は、予め印刷されたシート９００の表面の印の別の実施形態の例を示す。シート９００は固有の識別シンボル、例えば、シート上に印刷された少なくとも１セットの名称９１０、識別番号９１５、バーコード９２０、または、それらを組み合わせたもののいずれかを有する。上記オブジェクトを含む表面の印の一部は、コンピュータ視覚システムによって読取可能であり、シートに関連する参照画像をシステムが特定するために使用される。また、撮像されたシート上に印刷された幾何学的図形のエッジを検出したり、幾何学的図形そのものを検出したりして、参照画像のエッジや幾何学的図形と比較することにより、シートに関連する参照画像を特定することとしてもよい。本実施形態において、シートは、識別マーク９１０、９１５、９２０、および／または、境界マーキング９４０、および／または、太いボーダーライン９３０の組み合わせを有し、コンピュータ視覚システムが参照画像の向きと境界を容易に判定できるようにしている。シート９００の表面の印上のホットゾーン９６０には、いつでもマーキングを行うことができる。
【００３２】
実施形態において、シートは、「ＤＯ ＩＴ ＮＯＷ」オブジェクト９５０を有する。ここで、入力フォーム、または、メニューは、入力や変更が処理される準備が整う前に、複雑な、あるいは、複数回の変更をユーザに要求するかもしれない。これらの入力フォーム、または、メニューは、データを処理する準備ができた旨をシステムに知らせるインジケータとして「ＤＯ ＩＴ ＮＯＷ」オブジェクト９５０を有する。「ＤＯ ＩＴ ＮＯＷ」オブジェクト９５０になされるマーキングは、処理の実行規則に基づいてその処理を即時実行することを要求するものである。もしユーザが「ＤＯ ＩＴ ＮＯＷ」オブジェクト９５０にマーキングをした場合、画像ベースのコンピュータ処理装置はそのマーキングを特定し、関連する参照画像を判定する。ある実施形態においては、ユーザ入力に対する処理が完了すると、システムは、音声のビープ音など、データが処理された旨のフィードバックをユーザに提供する。いくつかの「ＤＯ ＩＴ ＮＯＷ」についての実施形態においては、ホットゾーン９６０が特定され、マーキングが受け付けられ、シート９００の表面の印からマーキングが捕捉される。ある実施形態において、「ＤＯ ＩＴ ＮＯＷ」アクションが実施されることにより、データが処理された旨を示し、あるいは、その旨を通知するビープ音などのフィードバックをシステムから受けると、ユーザはマークを入力フォーム、あるいは、メニューから消去するか、または、シートを取り去って差し替えるか、または、何らかの他のリセット機能により「ＤＯ ＩＴ ＮＯＷ」ボタンをリセットする。システムは、ユーザにより「ＤＯ ＩＴ ＮＯＷ」ボタンがもう一度セットされるまで、ホットゾーン９６０に対するいかなる変更も無視する。本実施形態においては、変更はこの時点で処理されることとしてもよい。他の実施形態では、「ＤＯ ＩＴ ＮＯＷ」アクションにおいて、データが処理された旨を示し、あるいは、その旨を通知するビープ音などのフィードバックをシステムから受けた以後、ユーザが「ＤＯ ＩＴ ＮＯＷ」機能をリセットするために追加のアクションを行わないようにしてもよい。システムは「ＤＯ ＩＴ ＮＯＷ」ボタンがユーザによりまずクリアされ、リセットされるまで、ホットゾーン９６０に対するさらなる変更を無視する。リセットの時点で、変更は「ＤＯ ＩＴ ＮＯＷ」オブジェクト９５０が初めてマークがされた時と同様に処理される。
【００３３】
各表面の印にはホットゾーン９６０が指定され、変更に対するモニタリングがなされるが、参照画像それ自体は、シート９００内の実際の領域を定義している。コンテンツに対して変更がなされると、いくつかのアクション、あるいは、アクティビティが開始されるか、または、システムに入力されるデータが示される。例えば、図８、図９において、サンプルシートは少なくとも１つの「ホットゾーン」８６０、９６０を持つものとして示されている。各撮像画像内で（それはコラボレーションホワイトボードの一部であるかもしれないが）、アクションやアクティビティを発生させ、または、システムに入力されるデータを示す変更を検出するため、シートの特定の領域がモニタされる。
【００３４】
図１０は、図８に示す予め印刷されたシート１０００の表面の印についての実施形態の例を示す。このシートの例は、図やグラフ、チャート等を生成することを支援する特別な目的を有するメニューオプションを含む。上述のように、シート１０００は、シート１０００に印刷された固有の識別シンボル、例えば、シート上に印刷された少なくとも１セットの名称１０１０、識別番号１０１５、バーコード１０２０、または、それらを組み合わせたもののいずれかを有する。上記オブジェクトを含む表面の印の一部は、コンピュータ視覚システムによって読取可能であり、シートに関連する参照画像を特定するために使用される。また、撮像されたシート上に印刷された幾何学的図形のエッジを検出したり、幾何学的図形そのものを検出したりして、参照画像のエッジや幾何学的図形と比較することにより、シートに関連する参照画像を特定することとしてもよい。また、シートを見つけ出し、特定し、確認するための機能を向上させるため、１以上のハイライト色を、上記の方法と併せて使用してもよい。本実施形態において、シートは、識別マーク１０１０、１０１５、１０２０、および／または、境界マーキング１０４０、および／または、太いボーダーライン１０３０の組み合わせを有し、コンピュータ視覚システムが参照画像の向きと境界を容易に判定できるようにしている。よって、本システムは、これらのオブジェクトに基づいて適宜、ゆがみ補正、および／または、回転を行って、表面の印の表示を正常化する。ホットゾーン領域において受け付けたマーキング１０７０は、シートの表面の印から捕捉され、抽出される。
【００３５】
図１１は、予め印刷されたマーキングを伴うシート１１００の表面の印の実施形態の例を示す。このシート１１００の例は、少なくとも１セットの固有の識別シンボルの１つ、例えば、シート上に印刷された少なくとも１セットの名称１１１０、識別番号１１１５、バーコード１１２０、または、それらを組み合わせたもののいずれかを有する。上記オブジェクトを含む表面の印の一部は、シートに関連する参照画像を特定するコンピュータ視覚システムによって読取可能である。シートは、識別マーク１１１０、１１１５、１１２０、および／または、境界マーキング１１４０、および／または、太いボーダーライン１１３０の組み合わせを有し、コンピュータ視覚システムが参照画像の向きと境界を容易に判定できるようにしている。また、シートは、「ＤＯ ＩＴ ＮＯＷ」オブジェクト１１５０を有する。ここで、入力フォーム、または、メニューは、入力や変更が処理される準備が整う前に、複雑な、あるいは、複数回の変更をユーザに要求するかもしれない。特に、このシートの例は、ユーザが定義したメタデータ、または、タグを生成してシステムに入力するのを支援する特別な目的を有するメニューオプションを含む。いくつかの実施形態では、光学式文字認識（ＯＣＲ）処理が適用される。また、いくつかの実施形態において、システムは、手書きテキストにＯＣＲを適用する処理を含み、受け付けたメタデータをバイナリ形式のテキストに変換する。また、シートになされたマーキングは、撮像画像と参照画像との間の差を検出して抽出することや、シートになされたマーキングをＯＣＲで抽出する以外にも、シートになされたマーキングをパターン認識により抽出することや、光学式マーク認識により抽出することとしてもよい。別の実施形態において、システムは、受け付けた各入力メタデータの周囲の画像境界を検知し、手書き文字を小さなビットマップへ変換する。そして、そのビットマップは、現時点でのアクション、アクティビティ、タイムスタンプ、ドキュメントのうちの少なくとも１つのセットに関連するタグとして使用される。
【００３６】
図１２は、シート１２００上に抽出されたマーキングを有する表面の印の実施形態の例を示す。このシート１２００の例は、少なくとも１セットの固有の識別シンボルの１つ、例えば、シート上に印刷された少なくとも１セットの名称１２１０、識別番号１２１５、バーコード１２２０、または、それらを組み合わせたもののいずれかを有する。上記オブジェクトを含む表面の印の一部は、シートに関連する参照画像を特定するコンピュータ視覚システムによって読取可能である。シートは、識別マーク１２１０、１２１５、１２２０の組み合わせ、および／または、境界マーキング１２４０、および／または、太いボーダーライン１２３０の組み合わせを有してもよく、これによりコンピュータ視覚システムが参照画像の向きと境界を容易に判定できるようになる。このシートの例は、図１１のシート１１００から解釈されたマーキングを含む。この実施形態では、「ＤＯ ＩＴ ＮＯＷ」オブジェクト１２５０にマーキングがなされている。このことは、マーキングが解釈され、システムが再びそのマーキングを処理する準備が整ったことを示している。特に、このシート１２００の例は、ＯＣＲ処理により解釈され、バイナリ形式に変換されたテキストを有するメニューオプションを含んでいる。
【００３７】
図１３は、マーキングがなされた予め印刷したシート１３００の表面の印の実施形態の例を示す。このシート１３００の例は、固有の識別シンボル、例えば、シート上に印刷された名称１３１０、識別番号１３１５、バーコード１３２０、または、それらを組み合わせたもののいずれかを有する。上記オブジェクトを含む表面の印の一部は、コンピュータ視覚システムによって読取可能であり、シートに関連する参照画像を特定するために使用される。また、撮像されたシート上に印刷された幾何学的図形のエッジを検出したり、幾何学的図形そのものを検出したりして、参照画像のエッジや幾何学的図形と比較することにより、シートに関連する参照画像を特定することとしてもよい。シートは、識別マーク１３１０、１３１５、１３２０、および／または、境界マーキング１３４０、および／または、太いボーダーライン１３３０の組み合わせを有してもよく、これによりコンピュータ視覚システムが参照画像の向きと境界を容易に判定できるようにしている。特に、このシートの例は、ユーザにより定義されたメタデータ、または、タグを作成してシステムに入力するのを支援する特別な目的をもったメニューオプションを含む。実施形態において、受け付けたメタデータをバイナリ形式のテキストへと変換する特殊なソフトウェアを用いて、システムは、手書きのテキストをＯＣＲ処理がなされたテキストに変換することができる。本実施形態において、システムは、例えば、特定され、電子インクに適用されるべき色の名前などのデータを受け付けてもよい。
【００３８】
図１４は、シート１４００上に抽出されたマーキングを有する表面の印の実施形態の例を示す。このシート１４００の例は、固有の識別シンボル、例えば、シート上に印刷された名称１４１０、識別番号１４１５、バーコード１４２０、または、それらを組み合わせたもののいずれかを有する。本実施形態において、シートは、識別マーク１４１０、１４１５、１４２０、および／または、境界マーキング１４４０、および／または、太いボーダーライン１４３０の組み合わせを有してもよく、これによりコンピュータ視覚システムが参照画像の向きと境界を容易に判定できるようにしている。特に、このシートの例は、ＯＣＲソフトウェアによって解釈され、バイナリ形式のテキストに変換された色の名前とともに、メニューオプションを含んでいる。
【００３９】
上述した実施形態の特定の特徴、および、態様は、さまざまに組み合わせられ、および／または、副次的に組み合わせられてもよく、その組み合わせ、および／または、副次的な組み合わせは、依然として本発明の範囲内であると考えられる。したがって、開示された発明の種々の態様を構成するために、開示された実施形態のさまざまな特徴、および、態様は互いに組み合わせられ、置き換えられることが理解されよう。さらに、本発明の範囲が例示によってここに開示されたが、本発明の範囲は、上述の特に開示された実施形態によって限定されるものではない。
【符号の説明】
【００４０】
１００、２００、３００、４００、５００、６００、７００…コラボレーションシステム環境、１１０、２１０、３１０、４１０、５１０、６１０…ホワイトボード、１１２、３１２、３１４、４１２、４１４、５１２、５１６、６１２、６１６、８００、９００、１０００、１１００、１２００、１３００、１４００…シート、１３０、２３０、３３０、４３０、５３０、６３０…撮像装置、１４０、２４０、３４０、４４０、５４０、６４０…画像ベースのコンピュータ処理装置、２５０、３５０、４５０、５５０、６５０…リモートサイトのディスプレイ、２６０、３６０、４６０、５６０、６６０…コラボレーションサーバ、２７０、３７０、４７０、５７０、６７０…データ記憶装置、４８２、５８２、５８６、６８２…参照画像、４８４、６９６…解釈規則および／または実行規則、８１０、９１０、１０１０、１１１０、１２１０、１３１０、１４１０…名称、８１５、９１５、１０１５、１１１５、１２１５、１３１５、１４１５…識別番号、８２０、９２０、１０２０、１１２０、１２２０、１３２０、１４２０…バーコード、８３０、９３０、１０３０、１１３０、１２３０、１３３０、１４３０…ボーダーライン、８４０、９４０、１０４０、１１４０、１２４０、１３４０、１４４０…境界マーキング、８６０、９６０…ホットゾーン、９５０、１１５０、１２５０…「ＤＯ ＩＴ ＮＯＷ」オブジェクト、１０７０…マーキング
【図１】
2012027908.tif 000003
【図２】
2012027908.tif 000004
【図３】
2012027908.tif 000005
【図４】
2012027908.tif 000006
【図５】
2012027908.tif 000007
【図６】
2012027908.tif 000008
【図７】
2012027908.tif 000009
【図８】
2012027908.tif 000010
【図９】
2012027908.tif 000011
【図１０】
2012027908.tif 000012
【図１１】
2012027908.tif 000013
【図１２】
2012027908.tif 000014
【図１３】
2012027908.tif 000015
【図１４】
2012027908.tif 000016