(57)【特許請求の範囲】
【請求項１】
表面コンピュータ上に置かれたオブジェクトのイメージを表示するための方法であって、
前記表面コンピュータは、一の表面及び一のスキャナを含み、前記表面を通してマルチタッチ入力を受け取るとともに、前記表面上に表示出力を描画することが可能であり、
（ａ）前記表面コンピュータにより、前記表面上に既にスキャンされた複数のイメージが描画された状態で、当該複数のイメージの少なくとも１つとオーバラップするように前記表面上に置かれた一のオブジェクトを検出するステップと、
（ｂ）前記表面コンピュータにより、前記オブジェクトが置かれた前記表面の一の領域を識別するステップと、
（ｃ）前記スキャナを使用する前記表面コンピュータにより、一の表面イメージを作成するために、前記表面のスキャン可能な部分の全体をスキャンするステップと、
（ｄ）前記オブジェクト・イメージとして、前記表面の前記識別された領域に対応する前記表面イメージの一部を選択するステップと、
（ｅ）前記表面イメージから前記オブジェクト・イメージを切り取るステップと、
（ｆ）前記表面コンピュータにより、前記識別された領域外の前記表面上に描画された前記複数のイメージの部分を修正することなく、前記識別された領域内の前記オブジェクト・イメージ全体を前記表面に描画するステップと、を含む方法。
【請求項２】
前記オブジェクトは、絵入りの文書またはテキスト文書である、請求項１に記載の方法。
【請求項３】
表面コンピュータ上に置かれたオブジェクトのイメージを表示するための表面コンピュータであって、前記表面コンピュータは、一の表面及び一のスキャナを含み、前記表面を通してマルチタッチ入力を受け取るとともに、前記表面上に表示出力を描画することが可能であり、前記表面コンピュータは、プロセッサと、前記プロセッサに動作可能に結合され且つコンピュータ・プログラム命令を保持するメモリとを備え、
前記コンピュータ・プログラム命令が、前記表面コンピュータに、
（ａ）前記表面上に既にスキャンされた複数のイメージが描画された状態で、当該複数のイメージの少なくとも１つとオーバラップするように前記表面上に置かれた一のオブジェクトを検出するステップと、
（ｂ）前記オブジェクトが置かれた前記表面の一の領域を識別するステップと、
（ｃ）前記スキャナを使用することにより、一の表面イメージを作成するために、前記表面のスキャン可能な部分の全体をスキャンするステップと、
（ｄ）前記オブジェクト・イメージとして、前記表面の前記識別された領域に対応する前記表面イメージの一部を選択するステップと、
（ｅ）前記表面イメージから前記オブジェクト・イメージを切り取るステップと、
（ｆ）前記識別された領域外の前記表面上に描画された前記複数のイメージの部分を修正することなく、前記識別された領域内の前記オブジェクト・イメージ全体を前記表面に描画するステップと、
を実行させるようにした、表面コンピュータ。
【請求項４】
前記オブジェクトは、絵入りの文書またはテキスト文書である、請求項３に記載の表面コンピュータ。
【請求項５】
前記ステップ（ａ）に応答して、前記表面コンピュータにより、ユーザに前記オブジェクトをスキャンすべきか否かに関するプロンプトを出すステップと、
前記プロンプトを出す前記ステップに応答して、前記表面コンピュータに対し前記オブジェクトをスキャンするように指令する一のユーザ指示を受け取るステップと、をさらに含み、
前記ステップ（ｃ）が、
前記ユーザ指示を受け取ることに応答して、前記一の表面イメージを作成するために、前記表面のスキャン可能な部分の全体をスキャンするステップをさらに含む、請求項１に記載の方法。
【請求項６】
前記コンピュータ・プログラム命令が、前記表面コンピュータに、
前記ステップ（ａ）に応答して、前記表面コンピュータにより、ユーザに前記オブジェクトをスキャンすべきか否かに関するプロンプトを出すステップと、
前記プロンプトを出す前記ステップに応答して、前記表面コンピュータに対し前記オブジェクトをスキャンするように指令する一のユーザ指示を受け取るステップと、をさらに実行させ、
前記ステップ（ｃ）が、
前記ユーザ指示を受け取ることに応答して、前記一の表面イメージを作成するために、前記表面のスキャン可能な部分の全体をスキャンするステップをさらに含む、請求項３に記載の表面コンピュータ。
【請求項７】
請求項１または２に記載の方法の各ステップをコンピュータに実行させるためのコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表面コンピュータ（surface computer）上に置かれたオブジェクトのイメージを表示するための方法、装置及び製品に係る。
【背景技術】
【０００２】
マルチタッチ式表面コンピューティングは、過去数年間に著しく進歩したコンピューティング分野である。マルチタッチ式表面コンピューティングは、例えば、テーブル・トップとして実装される一の表面を通して、ユーザがコンピュータと相互作用することを可能にする。当該コンピュータは、前記表面上にグラフィカル・ユーザ・インタフェース（ＧＵＩ）を描画し、ユーザは、マウス又はキーボードのような通常の入力装置を使用する代わりに、マルチタッチ技術を使用して、ユーザの手でＧＵＩオブジェクトを直接に操作することができる。このように、ユーザが入力を提供し且つ出力を受け取る装置が、単一の表面に統合されるので、コンピュータと相互作用するための直観的で且つ効率的な機構がユーザに提供されることになる。表面コンピューティングが日常の環境において当たり前になれば、ユーザは、キーボードやマウスのような通常の入力装置を使用する場合に厄介であったタスクを、表面コンピューティングがどれほど直観的に且つ効率的に実行することができるかという進歩を実感するであろう。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
当分野では、表面コンピュータ上に置かれたオブジェクトのイメージを表示するための方法、装置及び製品に対する要請が存在する。
【課題を解決するための手段】
【０００４】
本発明に従った表面コンピュータは、一の表面及び一のスキャナを含み、前記表面を通してマルチタッチ入力を受け取るとともに、前記表面上に表示出力を描画することが可能である。本発明の方法は、
（ａ）前記表面コンピュータにより、前記表面上に置かれた一のオブジェクトを検出するステップと、
（ｂ）前記表面コンピュータにより、前記オブジェクトが置かれた前記表面の一の領域を識別するステップと、
（ｃ）前記スキャナを使用する前記表面コンピュータにより、前記オブジェクトの一のオブジェクト・イメージを作成するために、前記表面の前記識別された領域をスキャンするステップと、
（ｄ）前記表面コンピュータにより、前記識別された領域外で前記表面上に描画される他のイメージの部分を修正することなく、前記識別された領域内の前記オブジェクト・イメージを描画するステップとを含む。
【発明を実施するための最良の形態】
【０００５】
図１は、本発明の実施形態に従った、複数のユーザに文書を表示することができる表面コンピュータ１５２を例示する機能ブロック図である。表面コンピュータ１５２は、当該コンピュータの他のコンポーネントを収容するベース１０３の上に設けられた表面１００を含む。表面１００は、アクリル樹脂、ガラスなどを使用して実装することができる。表面コンピュータ１５２により提供されるコンピューティング機能性に加えて、表面１００は、コーヒー・テーブル、ダイニング・テーブル、会議用テーブル又は他のテーブル用のテーブル・トップとしても使用することができる。本発明の実施形態に従った、個別化された文書をユーザに表示するように改良される表面コンピュータの例は、マイクロソフト社の「Surface」（商標）及び Savant 社の「ROSIE Coffee Table」を含むことができる。好ましい実施形態では、表面１００は、その表示表面の周りに数人が着席するのに十分に大きい。かかる大きさがあれば、例えば、表面コンピュータを会議用テーブルとして使用することができるからである。
【０００６】
表面コンピュータ１５２は、表面１００を通してマルチタッチ入力を受け取り、表面１００上に表示出力を描画することができる。マルチタッチ入力は、オブジェクトと表面１００との間の複数の同時的な接触点を認識する、表面コンピュータ１５２の能力を指す。これらのオブジェクトは、手、指、携帯用電子機器、紙、コップ、皿などを含むことができる。かかる認識は、各接触点の位置及び圧力又はその程度を含み、ジェスチャ（gesture）及び直観的なジェスチャを通しての複数の指又は手との相互作用を許容する。主として表面のサイズに依存して、表面コンピュータは、複数のユーザ又はオブジェクトとの相互作用を同時にサポートする。図１の表面コンピュータ１５２は、複数のユーザとの相互作用をサポートする。
【０００７】
表面コンピュータ１５２は、ベース１０３の内部に設けられた複数の赤外線カメラ１０６を使用して、表面１００の上でオブジェクトに反射する赤外線のイメージを取り込むことにより、表面１００を通してマルチタッチ入力を受け取る。次に、表面コンピュータ１００は、この反射赤外線イメージを使用してパターン・マッチングを実行することにより、当該イメージが表すオブジェクトのタイプを決定することができる。かかるオブジェクトは、指、手、携帯用電子機器、紙などを含むことができる。かかるオブジェクトのイメージを生成するために使用される赤外線は、表面コンピュータ１５２のベース１０３に設けられた赤外線ランプ１０４により提供される。赤外線は、人間の眼には見えないのが普通であるので、赤外線を使用することにより、表面１００を目視するユーザの能力に対する任意の干渉を防止することができる。
【０００８】
前述のように、表面コンピュータ１５２は、赤外線ランプ及びカメラのシステムを使用して、表面１００を通してマルチタッチ入力を受け取る。しかし、かかる実装は、単なる例示であるに過ぎず、本発明の範囲を制限するものではない。実際、本発明に従った、文書を複数のユーザに表示するための表面コンピュータの他の実施形態は、例えば、ＦＴＩＲ（frustrated total internal reflection）のような、他の技術を使用することができる。ＦＴＩＲは、内部反射を使用して、表面を通して光を分散させる技術を指す。一のオブジェクトが当該表面の一方の面に接する場合、当該表面内の分散光が当該表面の他方の面上にある光検出器へ散乱し、これにより、当該オブジェクトが当該表面に接触した点を識別することができる。他の技術は、分散信号技術及び音響パルス認識を含むことができる。
【０００９】
表面コンピュータ１５２は、プロジェクタ１０２を使用して、表面１００上に表示出力を描画する。プロジェクタ１０２は、ユーザが目視するためのＧＵＩを表面１００上に描画する。プロジェクタ１０２は、テキサス・インスツルメント社で最初に開発されたＤＬＰ（Digital Light Processing）技術を使用して実装される。プロジェクタ１０２を実装するために有用な他の技術は、液晶ディスプレイ（ＬＣＤ）技術及びＬＣＯＳ（liquid crystal on silicon）技術を含む。前述のように、表面コンピュータ１５２は、プロジェクタ１０２を使用して、表面１００上に出力を表示する。しかし、かかる実装は、単なる例示であるに過ぎず、本発明の範囲を制限するものではない。実際、本発明に従った、文書を複数のユーザに表示するための表面コンピュータの他の実施形態は、例えば、表面１００へ平面パネル・ディスプレイを表面１００へ埋め込むような、他の技術を使用することができる。
【００１０】
また、表面コンピュータ１５２は、スキャナ１２４、すなわちオブジェクトのデジタル・イメージを取り込む装置を含む。図１の例では、スキャナ１２４は、電荷結合素子（ＣＣＤ）アレイを使用して実装される。ＣＣＤアレイは、小さな光電ダイオードの集合体であり、光子を電子に変換する。各ダイオードは、フォトサイトと呼ばれ、感光性である。すなわち、各フォトサイトに当たる光がより明るくなれば、当該サイトに蓄積する電荷がより大きくなる。スキャンされるオブジェクトのイメージは、一連のミラー、フィルタ及びレンズを通して、ＣＣＤアレイに到達する。これらのコンポーネントの正確な構成は、実施形態に応じて変わることがある。スキャナ１２４は、オブジェクトを照明するための１つ以上のランプを含む。これらのランプは、冷陰極蛍光ランプ（ＣＣＦＬ）、キセノン・ランプ、標準的な蛍光ランプ、ダイオードなどを使用して、これを実装することができる。ランプのサイズ及び数は、当該ランプにより照明される表面１００の部分に関する様々なレベルの粒度を提供するように、当分野では周知の方法で、スキャナ１２４内で構成することができる。幾つかの実施形態では、スキャン中のオブジェクトの直下にあるランプだけをオンに転じることにより、スキャン・プロセス中に表面１００の残りの部分が不明瞭になるのを防止するようにしている。
【００１１】
（ミラー、レンズ、フィルタ、ＣＣＤアレイ、ランプなどを含む）スキャナ１２４は、ステッピング・モータに結合されたベルトにより、表面１００の下側を横切って移動する。スキャナ１２４が表面１００の下側を移動する際に、ウォブル又は偏倚が生じないこと保証するために、スキャナ１２４は、スタビライザ・バー１２６に取り付けられる。スキャナ１２４が表面１００に置かれたオブジェクトの下側を移動すると、当該オブジェクトのイメージが、一連のミラーを通して、レンズ上に反射される。このレンズは、当該イメージをオリジナルの３つのより小さなバージョンに分割する。より小さな各バージョンは、（赤、緑又は青の）カラー・フィルタを通過して、ＣＣＤアレイの個別部分に当たる。次に、スキャナ１２４は、ＣＣＤアレイの３つの部分からのデータを組み合わせて、単一のフルカラー・イメージを形成する。
【００１２】
前述のように、スキャナ１２４は、ＣＣＤ技術を使用する。しかし、本発明の実施形態では、他のスキャン技術も有用である。例えば、幾つかの実施形態におけるスキャナは、密着型イメージ・センサ（ＣＩＳ）技術を使用して実装することができる。ＣＩＳ技術は、ＣＣＤアレイ、ミラー、フィルタ、ランプ及びレンズを、赤、緑及び青の発光ダイオード（ＬＥＤ）の行で置き換える。表面１００の幅方向にわたって配設された何百又は何千もの個別センサから成るイメージ・センサ機構は、オブジェクトが置かれる表面１００に対し、非常に接近して配置される。オブジェクトがスキャンされる場合、これらのＬＥＤは、白色光を提供するように組み合わされる。次に、オブジェクトの照明されたイメージは、センサの行により取り込まれる。また、前述のものとは別のスキャン技術も使用することができる。前述のＣＣＤスキャナ及びＣＩＳスキャナは、単なる例示であるに過ぎず、本発明の範囲を制限するものではない。
【００１３】
図１に示すように、表面コンピュータ１５２は、１つ以上のプロセッサ１５６及びランダム・アクセス・メモリ（ＲＡＭ）１６８を含む。プロセッサ１５６は、フロント・サイド・バス１６２及びバス・アダプタ１５８を通して、システムの他のコンポーネントに接続される。プロセッサ１５６は、高速のメモリ・バス１６６を通してＲＡＭ １６８に接続され、拡張バス１６８を通して拡張コンポーネントに接続される。
【００１４】
ＲＡＭ １６８内に格納されたオブジェクト表示モジュール１２０は、表面コンピュータ１５２の表面１００上に置かれたオブジェクトのイメージを表示するためのコンピュータ・プログラム命令を含むソフトウェアである。一般化して説明すれば、オブジェクト表示モジュール１２０は、表面コンピュータ１５２上に置かれたオブジェクトのイメージを表示するために、（ａ）表面１００上に置かれた一のオブジェクトを検出し、（ｂ）前記オブジェクトが置かれた表面１００の一の領域を識別し、（ｃ）スキャナ１２４を使用して、前記オブジェクトの一のオブジェクト・イメージを作成するために、表面１００の前記識別された領域をスキャンし、（ｄ）前記識別された領域外で表面１００上に描画される他のイメージの部分を修正することなく、前記識別された領域内の前記オブジェクト・イメージを描画するように動作する。表面１００上に置かれるオブジェクトは、写真又は他の印刷済みグラフィックイメージのような絵入りの文書、テキスト文書、手、ポータブル・コンピューティング装置などとすることができる。
【００１５】
また、ＲＡＭ １６８内に格納されたスキャナ用デバイス・ドライバ１２２は、スキャナ１２４を動作させるためのソフトウェア・インタフェースを提供する、１組のコンピュータ・プログラム命令である。スキャナ用デバイス・ドライバ１２２は、アプリケーション・プログラミング・インタフェース（ＡＰＩ）をオブジェクト表示モジュール１２０に露出することにより、表面１００上の特定の領域に置かれた任意のオブジェクトをスキャンして、当該オブジェクトのイメージを作成することができる。スキャナ用デバイス・ドライバ１２２は、種々の方法で実装することができ、ＴＷＡＩＮワーキング・グループにより公表されたＴＷＡＩＮ仕様、 Pixel Translations 社により開発されたＩＳＩＳ（Image and Scanner Interface Specification）、ＳＡＮＥ（Scanner Access Now Easy）仕様などを含む、多様なインタフェースを提供することができる。
【００１６】
また、ＲＡＭ １６８内に格納されたオペレーティング・システム１５４は、表面コンピュータ１５２上に置かれたオブジェクトのイメージを表示する動作に適用するのに有用であり、ＵＮＩＸ（登録商標）、Ｌｉｎｕｘ（商標）、Ｍｉｃｒｏｓｏｆｔ  Ｖｉｓｔａ（商標）、Ｍｉｃｒｏｓｏｆｔ  ＸＰ（商標）、ＡＩＸ（商標）、ＩＢＭ社のｉ５／ＯＳ（商標）、それぞれの派生オペレーティング・システムなどを含むことができる。図１には、オペレーティング・システム１５４、スキャナ用デバイス・ドライバ１２２及びオブジェクト表示モジュール１２０が、ＲＡＭ １６８内に格納されるように示されているが、かかるソフトウェアの多くのコンポーネントは、ディスク・ドライブ１７０のような不揮発性メモリ内にも格納されるのが普通である。
【００１７】
表面コンピュータ１５２は、拡張バス１６０及びバス・アダプタ１５８を通してプロセッサ１５６に結合されたディスク・ドライブ・アダプタ１７２及び他のコンポーネントを含む。ディスク・ドライブ・アダプタ１７２は、ディスク・ドライブ１７０の形式を有するデータ・ストレージを、表面コンピュータ１５２に接続する。これらのディスク・ドライブ・アダプタは、ＩＤＥ（Integrated Drive Electronics）アダプタ、ＳＣＳＩ（Small Computer System Interface）アダプタなどを含む。また、不揮発性メモリは、光ディスク・ドライブ、電気的消去再書き込み可能な読み取り専用メモリ（ＥＥＰＲＯＭ又はフラッシュ・メモリ）、ＲＡＭドライブなどとして実装することができる。
【００１８】
表面コンピュータ１５２は、１つ以上の入出力（Ｉ／Ｏ）アダプタ１７８を含む。これらのＩ／Ｏアダプタは、表示画面又はスピーカ１７１のような出力装置への出力や、音声入力を収集するためのマイクロホン１７６及び表面１００上に置かれたオブジェクトのデジタル・イメージを取り込むためのスキャナ１２４のような入力装置からのユーザ入力を制御するためのソフトウェア・ドライバ及びコンピュータ・ハードウェアを通して、ユーザ指向の入出力を実装する。また、表面コンピュータ１５２は、ＤＬＰアダプタ２０９を含む。このアダプタは、プロジェクタ１８０へのグラフィック出力のために特別に設計されたＩ／Ｏアダプタの１例である。ビデオ・アダプタ２０９は、高速ビデオ・バス１６４、バス・アダプタ１５８及び高速のフロント・サイド・バス１６２を通して、プロセッサ１５６に接続される。
【００１９】
表面コンピュータ１５２は、赤外線カメラ１０６から受け取られたイメージ信号をパターン認識を含む後続の処理のためにデジタル・ビデオに変換する、ビデオ・キャプチャ・ハードウェア１１１を含む。ビデオ・キャプチャ・ハードウェア１１１は、ＭＰＥＧ（Moving Picture Experts Group）ファミリの仕様であるＨ．２６４規格、米国映画テレビ技術者協会の４２１Ｍ規格などに記述されているものを含む、任意のビデオ・コーデックを使用することができる。図１では、ビデオ・キャプチャ・ハードウェア１１１は赤外線カメラ１０６とは別個に示されているが、或る実施形態では、ビデオ・キャプチャ・ハードウェア１１１を赤外線カメラ１０６に統合することができる。かかる実施形態では、赤外線カメラ１０６は、ユニバーサル・シリアル・バス（ＵＳＢ）接続、ファイヤ・ワイヤ接続又は他の任意のデータ通信接続を通して、表面コンピュータ１５２の他のコンポーネントに接続することができる。
【００２０】
また、表面コンピュータ１５２は、集積回路間（Ｉ２Ｃ）バス・アダプタ１１０を含む。Ｉ２Ｃバス・プロトコルは、フィリップス社により１９８２年に最初に公表された、コンピュータ内部の電子部品を接続するためのシリアル・バス・プロトコルである。Ｉ２Ｃは、単純で、低帯域幅の、短距離プロトコルである。Ｉ２Ｃバス・アダプタ１１０を通して、プロセッサ１５６は、赤外線ランプ１０４を制御する。前述のように、表面コンピュータ１５２は、Ｉ２Ｃプロトコルを利用するが、このプロトコルは、単なる例示であるに過ぎず、本発明の範囲を制限するものではない。バス・アダプタ１１０は、例えば、ＩＰＭＩ（Intelligent Platform Management Interface）仕様、ＳＭＢｕｓ（System Management Bus）仕様、ＪＴＡＧ（Joint Test Action Group）仕様などに記述されている他の技術を使用して実装することができる。
【００２１】
また、表面コンピュータ１５２は、データ通信のために表面コンピュータ１５２をデータ通信ネットワーク１０１を通して他のコンピューティング装置と結合するための、通信アダプタ１６７を含む。データ通信ネットワーク１０１は、ユニバーサル・シリアル・バス（ＵＳＢ）、インターネット・プロトコル（ＩＰ）ネットワーク、イーサネット（登録商標）・ネットワークなどの外部バスを使用して、実装することができる。通信アダプタは、１つのコンピュータが直接に又はデータ通信ネットワークを通して他のコンピュータにデータ通信を送信するための、データ通信のハードウェア・レベルを実装する。本発明の実施形態に有用な通信アダプタの例は、有線ダイアルアップ通信用のモデム、有線データ通信ネットワーク通信用のイーサネット（ＩＥＥＥ  ８０２．３）アダプタ及び無線データ通信ネットワーク通信用の８０２．１１のアダプタを含む。
【００２２】
図１に示されている幾つかのコンピューティング装置（１１２、１１４、１１６）は、ネットワーク１０１を通してデータ通信を行うように、表面コンピュータ１５２に接続される。データ通信を確立することができるのは、パーソナル・デジタル・アシスタント１１２、携帯電話機１１４又はラップトップ１１６が表面１００上に置かれる場合である。コンピューティング装置（１１２、１１４、１１６）のイメージを通して、表面コンピュータ１５２は、各装置（１１２、１１４、１１６）を識別するとともに、各装置との無線データ通信接続を構成することができる。装置（１１２、１１４、１１６）内に保持される任意の文書の内容を、表面コンピュータ１５２のメモリへ検索し、これを表面コンピュータ１５２のユーザとの相互作用のために表面１００上に描画することができる。
【００２３】
図１のシステムを構築するネットワーク及び他の装置の構成は、単なる例示であるに過ぎず、本発明の範囲を制限するものではない。本発明の種々の実施形態に有用なデータ処理システムは、図１には示されていない、追加のサーバ、ルータ、他の装置及びピア・ツー・ピア・アーキテクチャを含むことができる。かかるデータ処理システム内のネットワークは、ＴＣＰ（伝送制御プロトコル）、ＩＰ（インターネット・プロトコル）、ＨＴＴＰ（ハイパーテキスト転送プロトコル）、ＷＡＰ（無線アクセス・プロトコル）、ＨＤＴＰ（Handheld Device TransportProtocol）などを含む、多数のデータ通信プロトコルをサポートすることができる。本発明の種々の実施形態は、図１に示すものに加えて種々のハードウェア・プラットフォーム上で実装することができる。
【００２４】
図２及び図３は、表面コンピュータ上に置かれたオブジェクトのイメージを表示するのに有用な表面を例示する線画である。図２及び図３の表面１００は、表面コンピュータ１５２内に含まれる。表面コンピュータ１５２は、表面１００を通してマルチタッチ入力を受け取り、表示出力を表面１００上に描画することができる。表面コンピュータ１５２は、表面１００の下側に設けられたスキャナ１２４を含み、表面１００上に置かれた任意のオブジェクト・イメージを取り込むことができる。
【００２５】
図２の例では、表面コンピュータ１５２は、表面１００上に置かれたオブジェクト２００を検出し、オブジェクト２００が置かれた表面１００の一の領域を識別した後、オブジェクト２００のオブジェクト・イメージ２０２を作成するために、表面１００の下側に設けられたスキャナ１２４を使用して、表面１００の識別された領域をスキャンする。図３の例では、表面コンピュータ１５２は、識別された領域外で表面１００上に描画される他のイメージの部分を修正することなく、識別された領域内のオブジェクト・イメージ２０２を描画する。図２のオブジェクト２００は、写真として実装されるが、当分野で周知の任意のオブジェクトを使用することができる。
【００２６】
図４は、本発明の実施形態に従った、表面コンピュータ上に置かれたオブジェクトのイメージを表示する方法を例示するフローチャートである。表面コンピュータは、一の表面を含み、前記表面を通してマルチタッチ入力を受け取り、前記表面上に表示出力を描画することができる。このようにして、前記表面は、ユーザが表面コンピュータと相互作用するための直観的で且つ効率的な機構を提供する。図４に関連して説明する表面コンピュータは、前記表面上に置かれた任意のオブジェクトのイメージを取り込むことができるスキャナを含む。
【００２７】
図４の方法は、表面コンピュータにより、前記表面上に置かれたオブジェクトを検出するステップ３００を含む。表面コンピュータは、表面イメージ処理を使用して、前記表面上に置かれたオブジェクトを検出することができる。表面コンピュータは、表面イメージ処理を使用して、前記表面のイメージを連続的に取り込むとともに、前記表面の現在のイメージを以前のイメージと比較することにより、前記表面上に一のオブジェクトが置かれる状況を検出することができる。前記現在のイメージ及び前記以前のイメージの間の任意の変更は、一のオブジェクトが前記表面上に置かれたか又は前記表面から除去されたことを指示する。一のオブジェクトが前記表面上に置かれたのか又は前記表面から除去されたのかを識別するため、表面コンピュータは、パターン・マッチング又は当分野で周知の他の認識技術を使用することができる。
【００２８】
表面イメージ処理に加えて、表面コンピュータは、前述のＦＴＩＲを使用して、前記表面上に置かれたオブジェクトを検出することもできる。ＦＴＩＲを使用する場合、表面コンピュータは、前記表面を通して内部的に反射される光の反射パターンにおける任意の変化を識別することにより、前記表面上に一のオブジェクトが置かれる状況を検出することができる。すなわち、前記反射パターンにおける任意の変化は、一のオブジェクトが前記表面上に置かれたか又は前記表面から除去されたことを指示する。一のオブジェクトが前記表面上に置かれたのか又は前記表面から除去されたのかを識別するために、表面コンピュータは、現在のパターンが以前のパターンより多い散乱点か又は少ない散乱点のどちらを有するかを決定することができる。追加の散乱点の存在は、一のオブジェクトが前記表面上に置かれたことを指示するのに対し、より少ない散乱点は、一のオブジェクトが前記表面から除去されたことを指示する。
【００２９】
図４の方法は、前記表面上に置かれた前記オブジェクトを検出することに応答して、表面コンピュータにより、ユーザに前記オブジェクトをスキャンすべきか否かに関するプロンプトを出すステップ３０２を含む。表面コンピュータは、ユーザに前記オブジェクトをスキャンすべきか否かを照会するためのダイアログ・ボックスを前記表面上に描画することにより、このプロンプトを出すことができる。ユーザは、前記ダイアログ・ボックスのＧＵＩボタンを選択することにより、表面コンピュータに対し、前記検出されたオブジェクトをスキャンするか又は前記検出されたオブジェクトのスキャンを差し控えるように指令することができる。他の実施形態では、表面コンピュータは、前記表面上に単一の「スキャン」ボタンだけを描画することができる。この場合、ユーザは、「スキャン」ボタンを押すことにより、表面コンピュータに対し、前記検出されたオブジェクトをスキャンするように指令する。前述のプロンプト技術の態様は、単なる例示であるに過ぎず、本発明の範囲を制限するものではない。実際、ユーザに対しプロンプトを出す他の方法は、当分野で周知の方法を使用することを含む。
【００３０】
また、図４の方法は、ユーザに出されたプロンプトに応答して、表面コンピュータに対し前記オブジェクトをスキャンするように指令するユーザからのユーザ指示を受け取るステップ３０４を含む。表面コンピュータは、前記表面上の特定の位置でユーザにより行われる特定のジェスチャを検出することにより、前記ユーザ指示を受け取ることができる。前記特定のジェスチャは、一のＧＵＩボタンを選択するユーザの操作、一のＧＵＩコンポーネントの動作、特定の手又は指の運動、表面で検出可能な電子装置の動作などとして実装することができる。前述のユーザ指示を受け取る技術の態様は、単なる例示であるに過ぎず、本発明の範囲を制限するものではない。実際、ユーザ指示を受け取る他の方法は、音声コマンド又は他の入力方法を使用することを含む。
【００３１】
図４の方法は、表面コンピュータにより、前記オブジェクトが置かれた前記表面の一の領域を識別するステップ３０６を含む。表面コンピュータは、前記表面上に置かれた前記オブジェクトのエッジを検出し且つこれらのエッジに基づいて前記領域を決定することにより、前記領域を識別することができる。表面コンピュータは、表面イメージ処理又は前述のＦＴＩＲを使用して、前記表面上に置かれたオブジェクトのエッジを検出することができる。
【００３２】
また、図４の方法は、スキャナを使用する表面コンピュータにより、前記オブジェクトのオブジェクト・イメージを作成するために、前記表面の前記識別された領域をスキャンするステップ３０８を含む。前述のように、ステップ３０４において、表面コンピュータは、前記オブジェクトをスキャンするように表面コンピュータに指令するユーザからのユーザ指示を受け取った。従って、ステップ３０８は、前記ユーザ指示を受け取ることに応答して、前記オブジェクトのオブジェクト・イメージを作成するために、前記表面の前記識別された領域をスキャンするステップ３１０を含む。ステップ３１０において、表面コンピュータは、一の表面イメージを作成するために、前記表面の前記識別された領域をスキャンすることができる。すなわち、表面コンピュータは、前記表面のスキャン可能な部分の全体的なイメージを作成し、前記表面のイメージから前記オブジェクトのイメージを切り取る。
【００３３】
しかし、他の実施形態では、ステップ３１０において、表面コンピュータは、前記オブジェクトの前記オブジェクト・イメージを作成するために、前記表面の前記識別された領域のみをスキャンすることができる。すなわち、表面コンピュータは、前記オブジェクトが置かれた前記表面の部分のみのデジタル・イメージを生成し、前記表面の他の部分のデジタル・イメージを生成しない。表面コンピュータのスキャナは、前記表面の前記識別された領域のみを通して前記オブジェクトに光を当てるとともに、前記オブジェクトからの反射光を受け取ることにより、前記表面の前記識別された領域のみをスキャンすることができる。次に、スキャナは、ＣＣＤ技術、ＣＩＳ技術などを使用して、前記反射光を前記オブジェクト・イメージに変換することができる。
【００３４】
また、図４の方法は、表面コンピュータにより、前記識別された領域外で前記表面上に描画される他のイメージの部分を修正することなく、前記識別された領域内の前記オブジェクト・イメージを描画するステップ３１２を含む。表面コンピュータは、前記識別された領域外で前記表面上に表示される内容を格納する表面コンピュータのメモリの部分を変更することなく、前記オブジェクト・イメージを保持するように、前記識別された領域内で前記表面上に表示される内容を格納する表面コンピュータのメモリの部分を変更することにより、前記識別された領域内の前記オブジェクト・イメージを描画することができる。また、表面コンピュータは、スキャナから受け取られる前記オブジェクト・イメージをそのまま描画するか、又はこれを反対の向きで描画することにより、前記識別された領域内の前記オブジェクト・イメージを描画することができる。しかし、前記オブジェクト・イメージをそのまま描画するか、又はこれを反対の向きで描画するかは、単なる例示であるに過ぎず、本発明の範囲を制限するものではない。実際、表面コンピュータ上に置かれたオブジェクトのイメージを表示するのに、当分野で周知の他の方法を使用することができる。
【００３５】
以上、本発明の実施形態を、主として、表面コンピュータ上に置かれたオブジェクトのイメージを表示するための、完全に機能的なコンピュータ・システムの文脈で説明した。しかし、任意の適切なデータ処理システムに関連して使用するためコンピュータ可読媒体上に配置したコンピュータ・プログラム製品においても、本発明を具体化することができる。かかるコンピュータ可読媒体は、磁気媒体、光媒体又は他の適切な媒体を含む、コンピュータ可読情報用の伝送媒体又は記録媒体とすることができる。記録媒体の例は、ハード・ドライブ内の磁気ディスク又はフレキシブル・ディスク、光ドライブ用のコンパクト・ディスク、磁気テープなどを含む。伝送媒体の例は、音声通信用の電話ネットワーク及びデジタル・データ通信ネットワーク（例えば、イーサネット（登録商標）、インターネット・プロトコルで通信するネットワーク、ワールド・ワイド・ウェブ、ＩＥＥＥ  ８０２．１１ファミリの仕様に従って実装されたネットワークのような無線伝送媒体など）を含む。適切なプログラミング手段を有する任意のコンピュータ・システムは、プログラム製品内で具体化されるような本発明の方法のステップを実行することができる。本明細書で説明した実施形態のうちの幾つかは、コンピュータ・ハードウェアにインストールされ且つ当該コンピュータ・ハードウェア上で実行されるソフトウェアに向けられているが、ファームウェア又はハードウェアとして実装される代替的実施形態も本発明の範囲内に属する。
【００３６】
以上の説明から明らかなように、本発明の真の精神から逸脱することなく、本発明の種々の実施形態に多くの修正及び変更を施し得ることが理解されよう。本明細書の記述は、単なる例示であるに過ぎず、これを制限的に解釈すべきではない。本発明の範囲は、請求項の記載によりのみ制限されるものである。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態に従った、表面コンピュータ上に置かれたオブジェクトのイメージを表示することができる表面コンピュータを例示する機能ブロック図である。
【図２】本発明の実施形態に従った、表面コンピュータ上に置かれたオブジェクトのイメージを表示するのに有用な表面を例示する線画である。
【図３】本発明の実施形態に従った、表面コンピュータ上に置かれたオブジェクトのイメージを表示するのに有用な他の表面を例示する線画である。
【図４】本発明の実施形態に従った、表面コンピュータ上に置かれたオブジェクトのイメージを表示する方法を例示するフローチャートである。
【符号の説明】
【００３８】
１００  マルチタッチ表面
１０２  プロジェクタ
１０４  赤外線ランプ
１０６  赤外線カメラ
１１１  ビデオ・キャプチャ・ハードウェア
１２０  オブジェクト表示モジュール
１２２  スキャナ用デバイス・ドライバ
１２４  スキャナ
１５２  表面コンピュータ
１５６  プロセッサ
１６８  ランダム・アクセス・メモリ（ＲＡＭ）
１８０  プロジェクタ
２０９  ビデオ・アダプタ
【図１】
0005159530.tif 000002
【図４】
0005159530.tif 000003
【図２】
0005159530.tif 000004
【図３】
0005159530.tif 000005