(57)【要約】【課題】  イメージにマーキングする方法および装置を提供する。【解決手段】  本開示の実施形態によれば、表面上に投影されたイメージにマーキングする方法は、前記表面から第２のイメージを取り込むこと、前記第２のイメージ内のマーキングポイントの存在を検出すること、および第２のイメージ内のマーキングポイントのロケーションに対応するロケーションにグラフィック要素を配置することにより、第１のイメージを変更することを含む。【選択図】図１
2011022983.tif 000002
【特許請求の範囲】
【請求項１】
表面に投影された第１のイメージにマーキングする方法であって、
前記表面から第２のイメージを取り込むこと、
前記第２のイメージ内のマーキングポイントを検出すること、および
前記第２のイメージ内の前記マーキングポイントのロケーションに対応する、前記第１のイメージ内のロケーションに、グラフィック要素を配置することにより、第３のイメージを生成すること
を含む、方法。
【請求項２】
前記第３のイメージを前記表面に投影して、前記第１のイメージに取って代えること
をさらに含む、請求項１に記載の方法。
【請求項３】
前記第３のイメージが表示されている前記表面から第４のイメージを取り込むこと、
前記第４のイメージ内の第２のマーキングポイントを検出すること、
前記第４のイメージ内に第２のグラフィック要素を配置することにより、第５のイメージを生成すること、および
前記第５のイメージを前記表面に投影して、前記第３のイメージに取って代えること
をさらに含む、請求項２に記載の方法。
【請求項４】
前記第１のイメージは、イメージ装置のイメージ投影部によって生成され、前記第２のイメージは、前記イメージ装置のイメージ取り込み部によって取り込まれる、請求項１に記載の方法。
【請求項５】
前記イメージ取り込み部のビューフィールドを前記イメージ投影部の投影フィールドと位置合わせすることにより、前記イメージ装置を較正すること
をさらに含む、請求項４に記載の方法。
【請求項６】
前記マーキングポイントを検出することは、光線によって識別された前記表面上のポイントを検出することを含む、請求項１に記載の方法。
【請求項７】
前記マーキングポイントを検出することは、光源およびビューパスによって画定される前記表面上のポイントを検出することを含む、請求項１に記載の方法。
【請求項８】
前記マーキングポイントを検出することは、マーキング装置によって発せられ、前記表面から反射された光線をフィルタリングすることを含む、請求項１に記載の方法。
【請求項９】
前記マーキングポイントを検出することは、前記第１のイメージと前記第２のイメージとの差異を見つけることを含む、請求項１に記載の方法。
【請求項１０】
前記検出することは、前記第１のイメージ内の対応するピクセルよりも明るい前記第２のイメージ内のピクセルを識別することを含む、請求項１に記載の方法。
【請求項１１】
イメージプロセッサによって実行されるとき前記イメージプロセッサに前記方法を実行させる命令セットとして機械可読媒体に具現される、請求項１に記載の方法。
【請求項１２】
表面に投影された第１のイメージにマーキングする方法であって、
前記表面から第２のイメージを取り込むこと、
前記第２のイメージ内のマーキングポイントを検出すること、
前記第２のイメージ内の前記マーキングポイントのロケーションを決定すること、
前記第２のイメージ内の前記マーキングポイントの前記ロケーションに対応するロケーションにグラフィック要素を配置することにより、前記第１のイメージを変更して、第３のイメージを生成すること、および
前記第３のイメージを前記表面に投影して、前記第１のイメージに取って代えること
を含む、方法。
【請求項１３】
前記グラフィック要素には透明度が関連付けられる、請求項１２に記載の方法。
【請求項１４】
前記取り込みの前に、マーキングモードになる要求を受け取ることをさらに含む、請求項１２に記載の方法。
【請求項１５】
前記取り込みの前に、所定の光特性を検出することをさらに含む、請求項１２に記載の方法。
【請求項１６】
第１のイメージを表面に投影するように構成されたイメージ投影部と、
前記表面から第２のイメージを取り込むように構成されたイメージ取り込み部と、
前記イメージ投影部および前記イメージ取り込み部に結合されたイメージプロセッサであって、前記第２のイメージ内のマーキングポイントを検出し、前記第２のイメージ内の前記マーキングポイントのロケーションに対応するロケーションにグラフィック要素を追加することにより、前記第１のイメージを変更し、第３のイメージを生成するように構成されたイメージプロセッサと
を備える、システム。
【請求項１７】
前記第２のイメージから前記マーキングポイントを検出するために前記イメージ取り込み部に結合されるフィルタをさらに備える、請求項１６に記載のシステム。
【請求項１８】
前記マーキングポイントは、光線によって識別され前記第１のイメージの境界内にある前記表面上のポイントに対応する、請求項１６に記載のシステム。
【請求項１９】
前記イメージ処理部は、前記第１のイメージと前記第２のイメージと差異を見つけることにより、前記マーキングポイントを検出するようにさらに構成される、請求項１６に記載のシステム。
【請求項２０】
前記イメージ処理部は、前記第１のイメージ内の対応するピクセルよりも明るい前記第２のイメージ内のピクセルを見つけることにより、前記マーキングポイントを検出するようにさらに構成される、請求項１６に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
背景
本明細書において別段に示される場合を除き、この項で説明する手法は、本出願の特許請求の範囲に対する先行技術ではなく、またこの項に含めることによって先行技術であることを認めるものでもない。
【０００２】
イメージをスクリーンに投影することは、プレゼンテーション等の目的で広く使用されている。プレゼンテーション中、プレゼンターは、投影されたイメージ上に「電子的に書き込む」か、またはマーキングして、特定のポイントを強調し、または将来に参照するためのメモを書き込み得る。例えば、Microsoft（登録商標）PowerPoint（登録商標）プレゼンテーションがスクリーン上に投影される場合、プレゼンターは、PowerPoint編集機能を使用することにより、プレゼンテーションスライドのうちの１つに直接マーキングすることができる。そして、プレゼンターの入力を含む更新されたスライドをスクリーン上に投影することができる。
【０００３】
代替として、プレゼンターは、プレゼンターの書いたものおよび図を電子的に取り込むことが可能なスクリーン（例えば、ホワイトボード）を頼ることがある。このようなスクリーンは、物理的接触センサまたは光センサを備え得る。そしてスクリーンは、プレゼンターの入力を取り込み表示するように構成することができる。例えば、スクリーンが物理的な接触を検出できるものと考える。プレゼンテーション中、プレゼンターは硬い物体を使用して、スクリーンに押し付けることができる。そして、押し付けによって生成された信号は、スクリーンによって取り込まれ、表示されているイメージ上にマーキングするために利用される。
【発明の概要】
【課題を解決するための手段】
【０００４】
概要
本開示の一実施形態によれば、表面上に投影されたイメージにマーキングする方法は、表面から第２のイメージを取り込むこと、第２のイメージ内のマーキングポイントの存在を検出すること、および第２のイメージ内のマーキングポイントのロケーションに対応するロケーションにグラフィック要素を配置することにより、第１のイメージを変更することを含む。
【０００５】
本開示の別の実施形態によれば、表面上に投影された第１のイメージにマーキングする方法は、第２のイメージを表面から取り込むこと、第２のイメージ内のマーキングポイントを検出すること、第２のイメージ内のマーキングポイントのロケーションを決定すること、第２のイメージ内のマーキングポイントのロケーションに対応するロケーションにグラフィック要素を配置することにより、第１のイメージを変更して、第３のイメージを生成すること、および第３のイメージを表面に投影して、第１のイメージに取って代えることを含む。
【０００６】
本開示のさらなる実施形態によれば、イメージにマーキングするように構成されたシステムは、第１のイメージを表面に投影するように構成されたイメージ投影部と、表面から第２のイメージを取り込むように構成されたイメージ取り込み部と、イメージ投影部およびイメージ取り込み部と結合されたイメージプロセッサとを含む。イメージプロセッサは、第２のイメージ内のマーキングポイントを検出し、第２のイメージ内のマーキングポイントのロケーションに対応するロケーションにグラフィック要素を追加することにより、第１のイメージを変更して、第３のイメージを生成するように構成される。
【０００７】
本開示の上記および他の特徴は、添付図面と併せて、以下の説明および添付の特許請求の範囲からより完全に明らかになるであろう。これら図は本開示によるほんのいくつかの実施形態を示し、そのため、本開示の限定と考えられるべきではない。本開示については、添付図面の使用を通してさらに具体的かつ詳細に説明する。
【図面の簡単な説明】
【０００８】
【図１】イメージ上のマーキングポイントを取り込むように構成されたイメージ装置の一例を示すブロック図である。
【図２】イメージ上のマーキングポイントを取り込むように構成されたイメージ装置の第２の例を示すブロック図である。
【図３】投影イメージ上にマーキングポイントを配置するマーキング装置を利用する際の動作シナリオを示す。
【図４】投影イメージ上のマークの取り込みおよび投影イメージ上へのマークの表示を行うプロセスの一例の流れ図である。
【図５】本開示の少なくともいくつかの実施形態によりすべて構成された、投影イメージ上のマークの較正、取り込み、および投影イメージ上のマークの表示を行うプロセスの一例の流れ図である。
【発明を実施するための形態】
【０００９】
詳細な説明
以下の詳細な説明では、本明細書の一部をなす添付図面を参照する。図面中、同様のシンボルは通常、文脈により別段のことが示される場合を除き、同様の構成要素を識別する。詳細な説明、図面、および特許請求の範囲において説明される例示的な実施形態は、限定を意味しない。本明細書において提示される主題の主旨または範囲から逸脱せずに、他の実施形態の利用も可能であり、他の変更を行うことも可能である。概略的に本明細書において説明され、図に示される本開示の態様が、広範囲の異なる構成で構成、置換、結合、および設計されてもよく、これらはすべて明示的に意図され、本開示の一部をなすことが容易に理解されるであろう。
【００１０】
本開示は、特に、イメージ上へのマーキングに関連する方法、装置、コンピュータプログラム、およびシステムについて書かれる。本開示全体を通して、用語「マーキング装置」は、イメージ内の関心エリアを強調表示することが可能な装置または関心エリアにマーキングさせる装置を広く指す。用語「マーキングポイント」は、マーキング装置によって識別されたイメージ内のマーキングされるべき位置を広く指す。イメージの「マーキング」とは、概して、イメージの指定されたエリア内にグラフィック要素（例えば、線、文字シンボル、および他）を含むようにイメージを変更することを指す。グラフィック要素は、イメージの指定エリア上に配置されたとき、様々な程度の透明度を有し得る。
【００１１】
投影部を有するイメージ装置は、例えば、プレゼンテーション等であるがこれに限定されない目的のために、第１のイメージを表面に投影することができる。表面から第２のイメージを取り込むように構成されたイメージ装置のイメージ取り込み部を使用して、イメージ装置は、マーキング装置から発せられた光をマーキングポイントとして取り込むことができる。いくつかの実施態様では、マーキングポイントは、マーキング装置から発せられた光が反射された、または反射されたように見える表面上のポイントに対応し得る。他の実施態様では、マーキングポイントは、ペンのようなマーキング装置が押し付けられた表面上のポイントに対応し得る。取り込まれた第２のイメージを処理して、マーキングポイントの存在および第２のイメージ内のマーキングポイントのロケーションを検出することができる。
【００１２】
マーキングポイントの存在およびロケーションが確認された後、イメージ装置は、第２のイメージ内の検出されたマーキングポイントのロケーションに対応する第１のイメージ内のロケーションにグラフィック要素を配置することにより、第１のイメージを変更することができる。一実施態様では、変更された第１のイメージは、次に、表面に投影され、元の第１のイメージに取って代わる。言い換えれば、このプロセスにより、マーキング装置は第１のイメージ上にマークを潜在的に残すことができる。さらに、マーキングポイントを取り込み、第１のイメージを変更するプロセスを繰り返すことにより、イメージ装置は、第１のイメージ上に書き込みおよび図をマークすることができる。
【００１３】
図１は、イメージ上のマーキングポイントを取り込むように構成された、本開示の少なくともいくつかの実施形態によるイメージ装置の一例を示すブロック図である。イメージ装置１８０は、特に、イメージプロセッサ１６０と、イメージ装置１８０の内部にあってもよく、または外部にあってもよいメモリ１７０とを含む。イメージ装置１８０は、イメージ投影部１４０、イメージ取り込み部１５０、および随意にフィルタ１３０を含み得る。イメージプロセッサ１６０は、イメージ装置１８０の動作を制御し、イメージ投影部１４０に第１のイメージを表面１１０に投影するように命令することができる。イメージ装置１８０がマーキングモードであるとき、イメージプロセッサ１６０は、イメージ取り込み部１５０に表面１１０から第２のイメージを取り込み、取り込まれた第２のイメージを処理して、第２のイメージに含まれるマーキングポイントを検出するように命令することもできる。検出されたマーキングポイントに基づいて、イメージプロセッサ１６０は、メモリ１７０を利用して、第１のイメージをマーキングし、マーキングされた第１のイメージを表面１１０に投影することもできる。
【００１４】
マーキングモードのイメージ装置１８０および取り込まれた第２のイメージを使用して、一実施態様では、イメージプロセッサ１６０は、第２のイメージ内のマーキングポイントのロケーションを決定し、第２のイメージ内の検出されたマーキングポイントのロケーションに対応するロケーションにグラフィック要素を配置することにより、第１のイメージを変更することに進み得る。次に、イメージプロセッサ１６０は、イメージ投影部１４０に変更された第１のイメージを表面１１０に投影するように命令し得る。
【００１５】
イメージ装置１８０は、いくつかの方法でマーキングモードにし得る。例えば、有線または無線の接続を介してマーキング要求を受け取ったことに応答して、イメージ装置１８０はマーキングモードに切り替わり得る。代替として、イメージ装置１８０は、特定の光特性（例えば、特定の光スペクトル内の光）を探索し得る。その特性が検出された場合、イメージ装置１８０はマーキングモードに切り替わることができる。マーキングモードは、同様にしてオフに切り替えることもできる。例えば、イメージ装置１８０は、マーキングモードをオフに切り替える要求を受け取り得る。代替として、イメージ装置１８０は、光特性がある時間にわたって検出されない場合に、マーキングモードをオフに切り替え得る。非マーキングモードでは、イメージ装置１８０は、単純に変更のないイメージを投影するように構成され得る。
【００１６】
一実施態様では、イメージ投影部１４０は、表面１１０のエリアにイメージを投影するように構成される。このようなエリアは「投影フィールド」と呼ばれる。イメージ投影部１４０は、投影フィールドを調整する追加のハードウェア構成要素および／またはソフトウェア機能を含み得る。例えば、イメージ投影部１４０は、投影フィールドのサイズの増減、表面上の異なるロケーションへの投影フィールドの移動、ならびに／または投影されているイメージの色、コントラスト、およびフォーカスの調整を行うように構成され得る。
【００１７】
一実施態様では、イメージ取り込み部１５０は、表面１１０からイメージおよび／またはビデオを取り込むように構成される。イメージ取り込み部１５０の一例は、レンズを有するカメラ、電荷結合素子（ＣＣＤ）、または相補型金属酸化膜半導体（ＣＭＯＳ）センサであり得る。イメージ取り込み部１５０は、ビデオを取り込み、処理し、記憶するように構成されたカムコーダでもあり得る。次に、取り込まれたイメージおよび／またはビデオは、イメージプロセッサ１６０に送られ、さらに処理される。イメージ取り込み部１５０は、イメージ取り込み部１５０の視点から見て取り込むことが可能な表面１１０上のエリアを表す「ビューフィールド（viewing field）」を有する。ビューフィールドも、イメージ投影部１４０の投影フィールドと同様に調整することができる。一実施態様では、ビューフィールドおよび投影フィールドは、較正プロセスを通して位置合わせすることができる。較正プロセスは、投影部１４０によって投影された投影イメージおよび取り込み部１５０によって取り込まれた取り込みイメージを有意味に（meaningfully）比較し、かつ／または処理して、マーキングポイントを検出できることを保証する。
【００１８】
一実施態様では、表面１１０は、イメージ投影部１４０から投影されたイメージまたはビデオを表示するための表面である。表面１１０は、投影された光を特定のビュー方向に適宜反射することができるように、適切な粗さおよび色を有する表面であり得る。一例では、表面１１０は、片側から投影されているイメージをスクリーンの片側または両側から見られるように設計される投影スクリーンであり得る。他の例では、表面１１０は、部屋の白壁の一部分、床、天井、建物の外壁、または反射性液体表面等であるがこれらに限定されない、不均等であり、湾曲し、かつ／または非平坦な表面であり得る。さらに、表面１１０には、いかなる種類の電子機器または光センサも備える、または結合する必要がない。
【００１９】
一実施態様では、マーキング装置１２０は、光線１１２（例えば、赤外線、レーザ、または他のスペクトルの光）を表面１１０に向けて発することができる。光線１１２が表面１１０に衝突すると、光は１つまたは複数の方向に反射され得、イメージ取り込み部１５０によって取り込まれ得る。イメージ装置１８０がマーキングモードであるとき、光が反射され取り込まれるポイントがマーキングポイントであるとみなされる。光線１１２が表面１１０上で第１のロケーションから第２のロケーションに移動すると、マーキングポイントも第１の場所から第２の場所に移動したものとみなされる。
【００２０】
マーキング装置１２０は、人間にとって可視のスペクトルまたは人間にとって不可視のスペクトルである光を発することができる。光が人間にとって不可視のスペクトル（例えば、赤外線）であり、マーキングモードがイネーブルされている場合、イメージ装置１８０は、マーキングポイント検出機能を利用して、表面１１０上の不可視のマーキングポイントのロケーションを検出し、イメージ変更機能を利用して、投影されるイメージ上にグラフィック要素を配置することができる。その結果、投影されたグラフィック要素により、事実上、人間にとって不可視のマーキングポイントが可視のマーキングポイントになる。
【００２１】
他方、マーキング装置１２０が人間にとって可視であり、イメージ装置により検出可能な光線を発する場合、マーキング装置１２０をレーザポインタとして使用することができる。一実施態様では、ボタンの押下により、マーキングモードをオンにする信号がイメージ装置１８０に送られると、イメージ装置１８０は、光線の移動に基づいて、投影すべきイメージのマーキングを開始することができる。イメージへのマーキングの詳細について以下にさらに説明する。
【００２２】
一実施態様では、光フィルタ１３０をイメージ取り込み部１５０の前に設置して、マーキング装置１２０から発せられた光のうちの特定のスペクトルをフィルタリングして除去し、かつ／または透過させ得る。例えば、マーキング装置１２０が、投影イメージのマーキングに赤外線光を利用する場合、光フィルタ１３０は、マーキング装置１２０から発せられた赤外線光を光フィルタ１３０を介して透過させ、イメージ取り込み部１５０による取り込みを可能にするように構成され得る。したがって、光フィルタ１３０は、十分な強度を有する任意の光があるか否かを評価することにより、マーキングポイントの検出を簡単にすることができる。十分な量の透過光がない場合、マーキングポイントは恐らく存在していない。他方、光フィルタ１３０を透過した光の大半が特定のロケーションからの光であり、十分な強度を有する場合、マーキングポイントは恐らく存在している。
【００２３】
本開示の一実施形態によれば、イメージ投影部１４０およびイメージ取り込み部１５０は、イメージ装置１８０内に統合することができる。イメージ装置１８０は、携帯電話、携帯情報端末（ＰＤＡ）、パーソナルメディアプレーヤ装置、ワイヤレスウェブウォッチ装置、パーソナルヘッドセット装置、特定用途向け装置、または上の任意の機能を含むハイブリッド装置等のポータブル装置として実施することができる。イメージ装置１８０は、ラップトップコンピュータ構成および非ラップトップコンピュータ構成の両方を含むパーソナルコンピュータとして、またはイメージプロジェクタとして実施することができる。イメージ装置１８０は、比較的明るい環境において、高強度光を投影し、イメージを表示／取り込むように実施することもできる。代替の一実施形態では、イメージ投影部１４０および／またはイメージ取り込み部１５０は、イメージ装置１８０の外部にあってもよい。この場合、これら外部イメージ投影装置およびイメージ取り込み装置は、イメージ装置１８０に結合して、上述した機能と同様の機能を実行することができる。さらに別の代替の実施形態では、イメージ投影部１４０およびイメージ取り込み部１５０は、イメージの投影および取り込みが可能な単一の構成要素であってもよい。
【００２４】
図２は、イメージ上のマーキングポイントを取り込むように構成された、本開示の少なくともいくつかの実施形態によるイメージ装置の第２の例を示すブロック図である。図２の表面１１０およびイメージ装置１８０は、図１に示されたものを同様である。図２中、マーキング装置２２０は、マーキングポイントを生成させるに当たって異なる手法を利用する。光線を発することに代えて、図２のマーキング装置２２０は、光を全方向に発する光源を含む。動作に際して、マーキング装置２２０は、表面１１０とイメージ装置１８０との間に配置され得る。例えば、マーキング装置２２０は、イメージ取り込み部１５０の前に保持され得る。マーキング装置２２０の配置は、イメージ投影部１４０から投影されたイメージの遮蔽を回避するように調整されてもよい。
【００２５】
１つのシナリオでは、マーキング装置２２０がイメージ取り込み部１５０の前に配置される場合、マーキング装置２２０から発せられた光は、イメージ取り込み部１５０のビューフィールドからは、まるで表面１１０から反射されたかのように感知され得る。言い換えれば、ビューパス（viewing path）２３０に沿って見ることにより、マーキング装置２２０からの光は、まるで、マーキングポイント２１０のロケーション等の表面１１０上のロケーションから反射された光と同じに見える。イメージ取り込み部１５０によって取り込まれたイメージは、このマーキングポイント２１０をまだ含むであろう。さらに、イメージ投影部１４０と表面１１０との間に位置決めされたマーキング装置２２０は、イメージ投影部１４０から発せられた光を遮蔽し、表面１１０上に影を残す恐れがある。マーキング装置２２０の光源をオンにする前に、マーキング装置２２０の影を使用して、マーキングポイント２１０の配置を較正することができる。例えば、ペン形のマーキング装置２２０は、表面１１０上にペン形の影を残し得る。そのため、光源がマーキング装置２２０の先端にある場合、イメージ投影部１４０の前にあるマーキング装置２２０を調整することにより、マーキング装置２２０の影の先端を、意図されるマーキングポイント２１０に配置することができる。マーキング装置２２０がオンになると、マーキング装置２２０の先端から発せられる光は、まるで、マーキングポイント２１０から発せられた光であるかのように感知される。一実施態様では、マーキング装置２２０をオンにすると、イメージ装置１８０のマーキングモードがオンになり得る。
【００２６】
別のシナリオでは、マーキング装置２２０は、ペンのような装置であり得、表面１１０に押し付けられ得る。表面１１０に対してマーキング装置２２０の先端を押し付けることにより、マーキング装置２２０の発光機能がオンになり得る。マーキング装置２２０の先端は、全方向に光を発し、表面１１０に物理的に接触した状態にあるため、物理的な接触ポイントが、イメージ取り込み部１５０の視点からのマーキングポイント２１０になる。言い換えれば、マーキング装置２２０の先端が表面１１０に押し付けられている限り、マーキング装置２２０を筆記および描画用のペンとして使用することができ、マーキング装置２２０の移動は、マーキングポイント２０１のセットとして取り込まれる。
【００２７】
図３は、本開示の少なくともいくつかの実施形態による、マーキング装置を利用して、投影イメージ上にマーキングポイントを配置するに当たっての動作シナリオを示す。図３中、第１のプレゼンテーションスライド３１０が生成され、イメージ装置によって表面に投影される。マーキング装置を使用して、マーキングポイントを第１のプレゼンテーションスライド３１０上に配置した後、イメージ装置は、マーキングポイントを検出し、第２のプレゼンテーションスライド３２０を生成し、第２のプレゼンテーションスライド３２０を表面に投影して、第１のプレゼンテーションスライド３１０に取って代わるように構成される。追加のマーキングポイントが第２のプレゼンテーションスライド３２０上に配置された場合、第３のプレゼンテーションスライド３３０を同様に生成することができる。
【００２８】
さらに示すため、第１のプレゼンテーションスライド３１０上に楕円３２１を描くために、上述した様々な手法のうちの１つを利用するように構成されたマーキング装置を考える。イメージ装置は、繰り返し表面のイメージを取り込み、取り込まれたイメージを処理することにより、楕円３２１の描画を記録することができる。取り込まれた各イメージは処理されて、単一のマーキングポイントの存在およびロケーションが検出される。検出されたマーキングポイントが使用されて、投影中のイメージが変更される。変更後、変更されたイメージは表面上に投影され、イメージ装置は、別のイメージを取り込み、別のマーキングポイントを検出するように構成される。したがって、繰り返し取り込まれたイメージから検出されたマーキングポイントが蓄積され、投影される１つのイメージ内に含められる。例えば、第１のプレゼンテーションスライド３１０と比較して、第２のプレゼンテーションスライド３２０は、取り込まれたイメージで検出されたマーキングポイントに基づくロケーションに図の楕円３２１を含む。検出された複数のマーキングポイントを蓄積することにより、線、円、および枠等であるがこれらに限定されない他のグラフィック要素を形成し得る。
【００２９】
同様に、イメージ装置は、ある時間間隔内に表面のイメージを複数取り込み、取り込まれた複数のイメージからマーキングポイントを検出することにより、第２のプレゼンテーションスライド３２０上に枠３３１を描くプロセスを記録するか、または取り込むように構成され得る。検出されたマーキングポイントに基づいて、イメージ装置は、枠３３１を生成し、枠３３１を含むように第２のプレゼンテーションスライド３２０を変更し、それから、変更されたプレゼンテーションスライド、すなわちプレゼンテーションスライド３３０を投影し得る。
【００３０】
図４は、本開示の少なくともいくつかの実施形態による、投影イメージ上のマークの取り込みおよび投影イメージ上へのマークの表示を行うプロセスの一例４０１の流れ図を示す。プロセス４０１は、ハードウェア（例えば、専用回路、専用ハードウェアロジック、プログラマブルハードウェアロジック等）、ソフトウェア（処理装置上で実行可能な命令等）、ファームウェア、またはこれらの組み合わせを含み得る処理ロジックによって実行することができる。一実施形態では、プロセス４０１の機械実行可能命令を図１のメモリ１７０に記憶し、図１のプロセッサ１６０によって実行し、かつ／または図１のイメージ装置１８０において実施することができる。
【００３１】
一実施形態では、イメージ装置は、第１のイメージを表面に投影し、反射イメージから第２のイメージを取り込み、第２のイメージ内のマーキングポイントを検出し、マーキングポイントのロケーション情報を決定し、ロケーション情報に基づいて、グラフィック要素を第１のイメージを追加することにより、第３のイメージを生成し、第１のイメージに代えて、第３のイメージを表面に投影することにより、プロセス４０１の機能を実行する。
【００３２】
動作４１０において、イメージ装置は、第１のイメージを生成し、第１のイメージを表面に投影する。イメージ装置のイメージプロセッサは、第１のイメージを生成し、生成されたイメージをイメージ装置のイメージ投影部に送る。次に、イメージ投影部は、第１のイメージを表面に投影することができる。第１のイメージのすべてのピクセルは、白色であり得、結果として、ホワイトボードが表面に表示される。一実施態様では、マーキング装置は、マーキングポイントを第１のイメージ上に配置するように構成される。マーキング装置も、イメージ装置に、表面からのイメージの取り込みを開始して、マーキング装置から発せられた光を検出するように、信号で伝える。
【００３３】
動作４２０において、マーキングポイントを含み得る第２のイメージが、イメージ装置のイメージ取り込み部によって表面から取り込まれる。一実施態様では、イメージ装置のイメージ取り込み部は、ビデオ取り込み装置である。次に、取り込まれたビデオをイメージ装置のイメージプロセッサに転送し、フレーム毎に処理することができ、ビデオの各フレームが第２のイメージとして扱われる。代替として、イメージ装置は、フレームのいくつかをサンプリングし、サンプリングされた各フレームを第２のイメージとして扱ってもよい。例えば、ビデオが１秒あたり３０フレームを含む場合、イメージ装置は、ビデオの各秒の３０フレームから第２のイメージとして１０フレームを選択し得る。このような手法は、マーキングポイントがある時間にわたってビデオフレームから検出されなかった場合、イメージ装置内のリソース消費を低減することができる。イメージ装置は、所定の設定可能な間隔毎（例えば、１０ミリ秒毎）に第２のイメージを取り込むように構成されてもよい。
【００３４】
動作４３０において、イメージ装置のイメージプロセッサは、動作４２０において取り込まれた第２のイメージを処理し、マーキングポイントが第２のイメージ内に存在するかを検出しようとする。一実施態様では、イメージプロセッサは、差異を探して、投影された第１のイメージと取り込まれた第２のイメージとを比較し得る。次に、これら２つのイメージの差異は、マーキング装置から発せられた光を表すピクセルとして識別することができる。比較中、第１のイメージおよび第２のイメージからの各ピクセルまたはピクセル群は、色、輝度、および他の要因に基づいて比較される。投影環境における他の光源からのいくらかのノイズもイメージ装置によって取り込まれ得るため、上の比較は、比較中、取り込まれたノイズを考慮し得る。例えば、第１のイメージからのピクセルが、第２のイメージ内の対応するピクセルと比較して特定の許容レベル内の色または輝度値に関連する場合、それら２つのピクセルを同一と見なし得る。
【００３５】
別の実施態様では、マーキングポイントは、取り込まれた第２のイメージ内のピクセルの輝度を評価することによって検出され得る。例えば、取り込まれた第２のイメージは、投影された第１のイメージ内の対応するピクセルよりも明るい、または暗いピクセルを含み得る。より暗いピクセルは、物体または人体による投影イメージの遮蔽に起因する表面上の影であり得る。しかし、マーキングポイントがイメージ取り込み部のビューフィールド内に導入された場合、光源の追加により、マーキングポイントのピクセルの輝度が増大する。したがって、投影された第１のイメージ内の対応するピクセルよりも明るい、取り込まれた第２のイメージ内のピクセルを識別することにより、マーキングポイントは、検出することができる。
【００３６】
さらに別の実施態様では、マーキングポイントは、投影された第１のイメージを利用せずに、取り込まれた第２のイメージ内のピクセルを評価することによって検出され得る。例えば、マーキング装置から発せられた光のみを透過させるフィルタが設置された場合、マーキングポイントは、特定の輝度レベルを有する、取り込まれた第２のイメージ内のピクセルを識別することにより、容易に検出することができる。別の例では、第１のイメージがホワイトボードとして利用される場合、非白色の色を有するあらゆるピクセルは、マーキングポイントのピクセルとして扱われるであろう。
【００３７】
マーキングポイントが動作４３０において検出された場合、マーキングポイントのロケーション情報も、イメージプロセッサによって決定される。ロケーション情報は、マーキングポイントのピクセルが、取り込まれたイメージ内のどこにあるかを記述する。例えば、ロケーション情報は、マーキングポイントと思われる部分であるすべてのピクセルならびにそれらピクセルのアドレスおよび色情報を含むことができる。マーキングポイントが動作４３０において検出された場合、プロセス４０１は動作４２０に進み、追加のイメージを取り込む。マーキングポイントが検出された場合、プロセス４０１は動作４４０に進む。
【００３８】
動作４４０において、イメージ装置のイメージプロセッサは、マーキングポイントおよび取り込まれた第２のイメージ内のそのロケーション情報に基づいて、第３のイメージを生成する。一実施形態では、第３のイメージは、取り込まれた第２のイメージ内のマーキングポイントのロケーションに対応する、取り込まれた第１のイメージのロケーションに、グラフィック要素を追加することによって生成される。例えば、イメージプロセッサは、第２のイメージ内のマーキングポイントのロケーションに対応するロケーションにある第１のイメージのピクセルの色および強度を変更することにより、第１のイメージを変更することができる。グラフィック要素は、異なる色、形状、または輝度のピクセルを使用して形成することもでき、グラフィック要素を使用して、第１のイメージ内の同様のロケーションにある元のピクセルに取って代えることができる。代替として、グラフィックアイコン、矩形、または丸いオブジェクト等の所定のシンボルをグラフィック要素として利用することができ、第２のイメージ内のマーキングポイントのロケーションと同様のロケーションにおいて、第３のイメージ内に配置することができる。マーキング装置によって生成される新しいマーキングポイントから、表面上に表示されるグラフィック要素を区別するために、グラフィック要素は、マーキングポイントと比較して異なる色、形状、輝度、またはスペクトルを有し得る。
【００３９】
動作４５０において、動作４４０において生成された第３のイメージは、第１のイメージの代わりとして、イメージ装置によって表面に投影される。第３のイメージは、マーキングポイントによって指定されるロケーションに配置されたグラフィック要素を有して生成されるため、投影されると、まるでグラフィック要素がマーキング装置によって投影イメージ上の特定のロケーションに配置されたかのように見える。さらに、上の動作を繰り返して、一連のマーキングポイントを取り込み、線、円、および文字等の複雑なグラフィック要素を表面上に表示することができる。例えば、第１のイメージが、前に生成されたグラフィック要素を含み、続くマーキングプロセスにより、前に生成されたグラフィック要素の次に配置すべき第２のグラフィック要素が生成された場合、結果として生成されるイメージは、線または円の部分をなすことができる複数のグラフィック要素を含む。代替として、一連のマーキングポイントは、一連のマーキングポイントに対応するグラフィック要素のセットを有する第３のイメージが生成される前に、検出することができる。
【００４０】
一実施形態では、マーキングポイントの移動は、さらなる使用のために保存することができる。マーキングポイントのセットが、所定の時間中に検出された場合、このマーキングポイントのセットを評価して、特定の移動パターンを抽出することができる。次に、移動パターンを使用して、追加のコンピュータ機能を始動させることができる。例えば、マーキングポイントのパターンが、特定のロケーションにおいて円移動を示す場合、検出されたパターンを使用して、次のプレゼンテーションスライドの表示等の特定のコンピュータ動作を始動させることができる。
【００４１】
図５は、本開示の少なくともいくつかの実施形態による、投影イメージ上のマークの較正、取り込み、および投影イメージ上へのマークの表示を行うプロセスの一例５０１の流れ図を示す。プロセス５０１は、ハードウェア（例えば、専用回路、専用ハードウェアロジック、プログラマブルハードウェアロジック等）、ソフトウェア（処理装置上で実行可能な命令等）、ファームウェア、またはこれらの組み合わせを含み得る処理ロジックによって実行することができる。一実施形態では、プロセス５０１の機械実行可能命令を図１のメモリ１７０に記憶し、図１のプロセッサ１６０によって実行し、かつ／または図１のイメージ装置１８０において実施することができる。
【００４２】
一実施形態では、イメージ装置は、イメージ装置のイメージ投影部の投影フィールドおよびイメージ取り込み部のビューフィールドを較正することにより、プロセス５０１の機能を実行する。較正後、イメージ装置のイメージ投影部は、第１のイメージを表面に投影する。随意に、フィルタをイメージ取り込み部と併せて使用して、イメージ取り込み部のビューフィールドを通る光をフィルタリングすることができる。イメージ取り込み部は、表面から第２のイメージを取り込むことができる。次に、イメージ装置は、マーキングポイントが第２のイメージ内に存在するか否かを検出する。マーキングポイントが存在する場合、イメージ装置は、第２のイメージ内のマーキングポイントのロケーションを決定し、第２のイメージ内のマーキングポイントのロケーションに対応するロケーションにグラフィック要素を配置することにより、第１のイメージを変更する。その後、第１のイメージは変更されたイメージで置き換えられ、プロセス５０１は、動作５２０から開始して、上の動作を繰り返すことができる。
【００４３】
動作５１０において、較正プロセスを随意に実行して、イメージ装置のイメージ投影部の投影フィールドとイメージ取り込み部とビューフィールドとを位置合わせすることができる。投影フィールドとビューフィールドとを位置合わせすると、マーキングポイントの検出中、投影イメージを取り込まれたイメージと比較する際に必要とされる処理量が低減する。較正プロセスでは、イメージ投影部は、投影フィールドの境界を記述した特別なイメージパターンを含む特別なイメージを表面に投影することができる。次に、イメージ取り込み部は、表面からイメージを取り込み、取り込まれたイメージ内のこれらパターンを検出しようとすることができる。例えば、投影イメージは、投影フィールドの四隅をマークする線を含むことができる。イメージ取り込み部を通してイメージを取り込むと、イメージ装置は、投影フィールドのこれら四隅を確認し、それに従って投影フィールドとビューフィールドとを合わせるように、ビューフィールドを調整することができる。調整は、イメージ取り込み部を物理的に微調整することにより、またはソフトウェア手法により、達成することができる。
【００４４】
動作５２０において、図４の動作４１０と同様に、イメージ投影部は、第１のイメージを表面に投影する。動作５３０において、フィルタが随意、イメージ投影部の前に配置される。フィルタが、マーキング装置から発せられた特定の光のみを透過し、光の他のすべてのスペクトルをフィルタリングして除外することができる場合、続くマーキングポイントの検出動作を大幅に単純化することができる。５４０において、図４の動作４２０と同様に、イメージ装置のイメージ取り込み部は、表面から第２のイメージを取り込む。取り込まれた第２のイメージは、マーキング装置から発せられたマーキングポイントを含み得る。５５０において、取り込まれた第２のイメージは、イメージ取り込み部からイメージ装置のイメージプロセッサに送られる。動作に際して、マーキングポイントは、上述したように、イメージプロセッサによって検出される。５６０において、マーキングポイントのロケーション情報もイメージ装置によって決定される。５７０において、動作５５０において検出されたマーキングポイントおよび動作５６０において確認されたロケーション情報に基づいて、動作５２０の第１のイメージは、第２のイメージ内のマーキングポイントのロケーションに対応するロケーションにグラフィック要素を配置することにより、変更される。動作５８０において、イメージ装置によって、第１のイメージは、変更されたイメージで置き換えられる。その後、プロセス５０１は、随意に、動作５２０に進むことができ、動作５２０において、追加されたグラフィック要素を含む、変更された第１のイメージが表面上に投影される。したがって、プロセス５０１は、追加のマーキングポイントの検出に進むことができる。
【００４５】
システムの態様のハードウェア実施態様とソフトウェア実施態様との間には殆ど区別がなく、ハードウェアを使用するか、それともソフトウェアを使用するかは一般に（しかし、特定の状況では、ハードウェアかソフトウェアかの選択が重要になるという点で、常にではない）、コストと効率とのトレードオフを表す設計の選択である。本明細書において説明したプロセスおよび／またはシステムおよび／または他の技術を実行することができる様々な手段（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）があり、好ましい手段は、プロセスおよび／またはシステムおよび／または他の技術が導入される状況に伴って変わる。例えば、実施者が、速度および精度が最も重要であると決定した場合、実施者は、主にハードウェアおよび／またはファームウェア手段を選び得、柔軟性が最も重要な場合、実施者は主にソフトウェア実施を選び得、またはさらなる代替として、実施者は、ハードウェア、ソフトウェア、および／またはファームウェアの何等かの組み合わせを選び得る。
【００４６】
上記の詳細な説明では、ブロック図、フローチャート、および／または例の使用を介して、装置および／またはプロセスの様々な実施形態について説明した。このようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作含む場合、このようなブロック図、フローチャート、または例内の各機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、またはこれらのほぼあらゆる組み合わせにより、個々におよび／またはまとめて実施できることが当業者により理解されるであろう。一実施形態では、本明細書において説明された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ(ＤＳＰ）、または他の集積フォーマットを介して実施され得る。しかし、本明細書において開示された実施形態のいくつかの態様は、全体的または部分的に、１つまたは複数のコンピュータで実行される１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステムで実行される１つまたは複数のプログラムとして）、１つまたは複数のプロセッサで実行される１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサで実行される１つまたは複数のプログラムとして）、ファームウェアとして、またはこれらのほぼあらゆる組み合わせとして、集積回路において均等に実施可能であり、回路を設計することおよび／またはソフトウェアおよびまたはファームウェアのコードを書くことは、本開示に鑑みて、十分に当業者の技能の範囲内であることを当業者ならば認識するであろう。さらに、本明細書において説明された手段のメカニズムは、様々な形態のプログラム製品として配布することが可能であり、本明細書において説明された手段の例示的な実施形態は、実際に配布を実行するために使用される信号搬送媒体（signal bearing medium）の特定の種類に関わりなく適用されることを、当業者ならば解するであろう。信号を搬送する媒体の例としては、以下：フロッピー（登録商標）ディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ等の記録可能な種類の媒体と、デジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンク等）等の伝送型の媒体が挙げられるがこれらに限定されない。
【００４７】
本明細書において説明したように装置および／またはプロセスを記述することが当分野では一般的であり、そしてその後、工学的手法を使用して、説明されたこのような装置および／またはプロセスをデータ処理システムに統合することを当業者ならば認識するであろう。すなわち、明細書において説明した装置および／またはプロセスの少なくとも部分は、適当な量の実験を経てデータ処理システムに統合することができる。典型的なデータ処理システムが一般に、システムユニット筐体、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリ等のメモリ、マイクロプロセッサおよびデジタル信号プロセッサ等のプロセッサ、オペレーティングシステム、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラム等の計算エンティティ、タッチパッドまたはスクリーン等の１つまたは複数の対話装置、ならびに／あるいはフィードバックループおよび制御モータを含む制御システム（例えば、感知位置および／または速度のフィードバック、構成要素および／または数量の移動および／または調整を行う制御モータ）のうちの１つまたは複数を含むことを当業者ならば認識するであろう。典型的なデータ処理システムは、データ計算／通信および／またはネットワーク計算／通信システムにおいて通常見られるような任意の適した市販の構成要素を利用して実施することができる。
【００４８】
本明細書において説明した手段は、他の異なる構成要素内に含まれた、または他の異なる構成要素に接続された異なる構成要素を時に示す。このような図示の構造が単なる例示であり、同じ機能を達成する他の多くの構造を実施可能なことを理解されたい。概念的に、同じ機能を達成する構成要素の任意の構成は、所望の機能が達成されるように、効率的に「関連付け」られる。したがって、特定の機能を達成するために結合された本明細書における任意の２つの構成要素は、構造または介在する構成要素に関わりなく、所望の機能が達成されるように、互いに「関連付け」られたものと見ることができる。同様に、そのように関連付けられた２つの構成要素は、所望の機能を達成するために、互いに「動作的に接続」または「動作的に結合」されていると見ることもでき、そのように関連付け可能な任意の２つの構成要素は、所望の機能を達成するために、互いに「動作的に結合可能」であると見ることもできる。動作的に結合可能な具体例としては、物理的に併合可能であり、かつ／または物理的に相互作用する構成要素、および／または無線で相互作用可能であり、かつ／または無線で相互作用する構成要素、および／または論理的に相互作用し、かつ／または論理的に相互作用可能な構成要素であるが、これらに限定されない。
【００４９】
本明細書におけるほぼあらゆる複数形および／または単数形の用語の使用に関して、当業者は、状況および／または用途に適うように、複数形から単数形へ、かつ／または単数形から複数形に変換できる。様々な単数／複数置換は、明確にするために、本明細書において明示的に記されていない。
【００５０】
一般に、本明細書、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）において使用される用語が一般に、「オープン」用語として解釈されること（例えば、用語「含む」は、「限定することなく含む」と解釈され、用語「有する」は「少なくとも有する」と解釈され、用語「含む」は「限定することなく含む」と解釈されるなど）を当業者ならば解するであろう。さらに、導入された請求項の記載事項の特定の数が意図される場合、このような意図はその請求項中に明示的に記載され、このような記述がない場合、このような意図が存在しないことを当業者ならば理解するであろう。例えば、理解を助けるために、添付される以下の特許請求の範囲では、請求項の記載事項の導入に、前置き語句「少なくとも１つの」および「１つ又は複数の」を使用することを含み得る。しかし、このような語句の使用は、不定冠詞「ａ」または「ａｎ」が導入された請求項の記載事項が、このように導入された請求項の記載事項を含む特定の任意の請求項を、同じ請求項が前置語句「１つまたは複数の」または「少なくとも１つの」および不定冠詞「ａ」または「ａｎ」を含む場合であっても、このような記載事項を１つのみ含む発明に限定することを暗示するものとして解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は通常、「少なくとも１つの」または「１つまたは複数の」を意味するものとして解釈されるべきである）。同じことが、請求項の記載事項の導入に使用される定冠詞にも当てはまる。さらに、導入された請求項の記載事項の特定の数が明示的に記載されている場合であっても、このような記載事項が通常、少なくともその記載された数を意味するべきである（例えば、他の変更なしの「２つの記載事項」というだけの記載は、通常、少なくとも２つの記載事項、あるいは２つ以上の記載事項を意味する）ことを当業者ならば認識するであろう。さらに、「Ａ、Ｂ、およびＣ等のうちの少なくとも１つ」と同様の決まりが使用される場合、一般に、このような構造は、当業者が慣例（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、Ａのみを有するシステム、Ｂのみを有するシステム、Ｃのみを有するシステム、ＡおよびＢを一緒に有するシステム、ＡおよびＣを一緒に有するシステム、ＢおよびＣを一緒に有するシステム、ならびに／またはＡ、Ｂ、およびＣを一緒に有するシステム等を含むが、これらに限定されないこと）を解するという意味で解釈される。「Ａ、Ｂ、およびＣ等のうちの少なくとも１つ」と同様の決まりが使用される場合、一般に、このような構造は、当業者が慣例（例えば、「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」は、Ａのみを有するシステム、Ｂのみを有するシステム、Ｃのみを有するシステム、ＡおよびＢを一緒に有するシステム、ＡおよびＣを一緒に有するシステム、ＢおよびＣを一緒に有するシステム、ならびに／またはＡ、Ｂ、およびＣを一緒に有するシステム等を含むが、これらに限定されないこと）を解するという意味で解釈される。２つ以上の代替の用語を表すほぼあらゆる離接語および／または語句が、説明中であれ、請求項中であれ、または図面中であれ、用語のうちの１つ、いずれかの用語、または両方の用語を含む可能性を意図することを理解されるべきであることが当業者ならば理解するであろう。例えば、語句「ＡまたはＢ」は、「Ａ」または「Ｂ」または「ＡおよびＢ」の可能性を含むものと理解される。
【００５１】
様々な態様および実施形態を本明細書において説明したが、他の態様および実施形態が当業者には明らかであろう。本明細書において開示した様々な態様および実施形態は、例示を目的とし、限定として意図されず、真の範囲および主旨は以下の特許請求の範囲によって示される。
【図１】
2011022983.tif 000003
【図２】
2011022983.tif 000004
【図３】
2011022983.tif 000005
【図４】
2011022983.tif 000006
【図５】
2011022983.tif 000007
【外国語明細書】
2011022983000001.pdf