(57)【特許請求の範囲】
【請求項１】
表示面と、
前記表示面の少なくとも一部、および、前記表示面の外部の領域を含む対象領域内の視覚データを取得するよう位置決めされているカメラと、
前記カメラが前記表示面に表示される仮想要素を認識することを防ぐ偏光フィルタと、
プロセッサと、
前記プロセッサで実行されるソフトウェアと
を備え、
前記ソフトウェアを前記プロセッサで実行すると、
前記表示面で表示するグラフィック画像を生成し、
前記対象領域内で前記表示面から離れたオブジェクトを特定し、
前記グラフィック画像と前記オブジェクトとのインタラクションを処理する装置。
【請求項２】
第２の対象領域内で視覚データを取得するよう位置決めされている第２のカメラをさらに備え、
前記第２の対象領域は、前記表示面の少なくとも一部と、前記表示面の外側の第２の領域とを含む請求項１に記載の装置。
【請求項３】
前記表示面および前記プロセッサは、タブレットコンピュータに含まれており、
前記カメラおよび前記第２のカメラはそれぞれ、前記表示面と相対的に直立して延伸している固定部によって前記タブレットコンピュータに結合されている請求項２に記載の装置。
【請求項４】
前記ソフトウェアはさらに、前記対象領域を常に監視して、前記対象領域内の前記オブジェクトを特定する請求項１から３のいずれか一項に記載の装置。
【請求項５】
前記ソフトウェアはさらに、前記対象領域を監視するよう求めるコマンドを受信する請求項１から４のいずれか一項に記載の装置。
【請求項６】
前記グラフィック画像との前記オブジェクトとの前記インタラクションは、前記グラフィック画像に対する前記オブジェクトの移動を含む請求項１から５のいずれか一項に記載の装置。
【請求項７】
前記グラフィック画像と前記オブジェクトとの前記インタラクションは、前記グラフィック画像に対する前記対象領域内での前記オブジェクトの位置を含む請求項１から６のいずれか一項に記載の装置。
【請求項８】
前記ソフトウェアはさらに、前記オブジェクトを表す第２のグラフィック画像を生成し、前記第２のグラフィック画像は、前記対象領域内および前記表示面の外側で前記オブジェクトを特定することに応じて前記表示面に表示される請求項１から７のいずれか一項に記載の装置。
【請求項９】
前記ソフトウェアは、前記表示面と前記オブジェクトとの間の距離、角度および配向のうち少なくとも１つに、少なくとも部分的に基づいて、前記第２のグラフィック画像を生成する請求項８に記載の装置。
【請求項１０】
コンピュータに、
表示面の少なくとも一部、および、前記表示面の外部の領域を含む対象領域内の視覚データをカメラによって取得させ、偏光フィルタによって前記カメラが前記表示面に表示される仮想要素を認識することを防ぐ段階と、
グラフィック画像を生成する段階と、
前記グラフィック画像を前記表示面に表示する段階と、
前記対象領域内で前記表示面から離れたオブジェクトを特定する段階と、
前記グラフィック画像と前記オブジェクトとのインタラクションを処理する段階と
を実行させるためのプログラム。
【請求項１１】
前記表示面の少なくとも一部および前記表示面の外側の第２の領域を含む第２の対象領域内で、第２のカメラによって、視覚データを取得する段階をさらに前記コンピュータに実行させるための請求項１０に記載のプログラム。
【請求項１２】
前記表示面は、タブレットコンピュータに含まれており、
前記カメラおよび前記第２のカメラはそれぞれ、前記表示面と相対的に直立して延伸している固定部によって前記タブレットコンピュータに結合されている請求項１１に記載のプログラム。
【請求項１３】
前記対象領域を常に監視して、前記対象領域内で前記オブジェクトを特定する段階をさらに前記コンピュータに実行させるための請求項１０から１２のいずれか一項に記載のプログラム。
【請求項１４】
前記対象領域を監視するように求めるコマンドを受信する段階をさらに前記コンピュータに実行させるための請求項１３に記載のプログラム。
【請求項１５】
前記グラフィック画像と前記オブジェクトとの前記インタラクションは、前記グラフィック画像に対する前記オブジェクトの移動を含む請求項１０から１４のいずれか一項に記載のプログラム。
【請求項１６】
前記グラフィック画像と前記オブジェクトとの前記インタラクションは、前記グラフィック画像に対する前記対象領域内の前記オブジェクトの位置を含む請求項１０から１５のいずれか一項に記載のプログラム。
【請求項１７】
前記対象領域内および前記表示面の外部で前記オブジェクトを特定する段階と、
前記対象領域内および前記表示面の外部で前記オブジェクトを特定する段階に応じて、
前記オブジェクトを表す第２のグラフィック画像を生成する段階と、
前記表示面に前記第２のグラフィック画像を表示する段階と
をさらに前記コンピュータに実行させるための請求項１０から１６のいずれか一項に記載のプログラム。
【請求項１８】
前記第２のグラフィック画像を生成することは、前記オブジェクトと前記表示面との間の距離、角度および配向のうち少なくとも１つに、少なくとも部分的に基づいて実行される請求項１７に記載のプログラム。
【請求項１９】
表示面の少なくとも一部および前記表示面の外側の領域を含む対象領域内で、カメラによって、視覚データを取得し、偏光フィルタによって前記カメラが前記表示面に表示される仮想要素を認識することを防ぐ段階と、
グラフィック画像を生成する段階と、
前記表示面上に前記グラフィック画像を表示する段階と、
前記対象領域内でモニタから離れたオブジェクトを特定する段階と、
前記グラフィック画像と前記オブジェクトとのインタラクションを処理する段階と
を備える方法。
【請求項２０】
前記表示面の少なくとも一部および前記表示面の外側の第２の領域を含む第２の対象領域内で、第２のカメラによって、視覚データを取得する段階とをさらに備える請求項１９に記載の方法。
【請求項２１】
前記表示面は、タブレットコンピュータに含まれており、
前記カメラおよび前記第２のカメラはそれぞれ、前記表示面に対して直立して延伸している固定部によって、前記タブレットコンピュータに結合されている請求項２０に記載の方法。
【請求項２２】
前記対象領域内および前記表示面の外側で前記オブジェクトを特定する段階と、
前記対象領域内および前記表示面の外側で前記オブジェクトを特定することに応じて、
前記オブジェクトを表す第２のグラフィック画像を生成する段階と、
前記第２のグラフィック画像を前記表示面に表示する段階と
をさらに備え、
前記第２のグラフィック画像を生成する段階は、前記オブジェクトと前記表示面との間の距離、角度および配向のうち少なくとも１つに、少なくとも部分的に基づいて実行される請求項１９から２１のいずれか一項に記載の方法。
【請求項２３】
前記ソフトウェアを前記プロセッサで実行すると、さらに、前記表示面の外部の領域および前記表示面の外側の第２の領域内に置かれたオブジェクトを認識してキャリブレーション処理を行う請求項２に記載の装置。
【請求項２４】
前記対象領域内で前記表示面から離れたオブジェクトを特定する処理は、前記表示面および枠を含む第１のシミュレーションビューと、前記表示面および前記表示面の外部の領域を含む第２のシミュレーションビューと、前記表示面のみの第３のシミュレーションビューとを利用する請求項２３に記載の装置。
【請求項２５】
前記コンピュータに、前記表示面の外部の領域および前記表示面の外側の第２の領域内に置かれたオブジェクトを認識してキャリブレーション処理を行う段階をさらに実行させる請求項１０に記載のプログラム。
【請求項２６】
前記対象領域内で前記表示面から離れたオブジェクトを特定する段階は、前記表示面および枠を含む第１のシミュレーションビューと、前記表示面および前記表示面の外部の領域を含む第２のシミュレーションビューと、前記表示面のみの第３のシミュレーションビューとを利用する請求項２５に記載のプログラム。
【請求項２７】
前記表示面の外部の領域および前記表示面の外側の第２の領域内に置かれたオブジェクトを認識してキャリブレーション処理を行う段階をさらに備える請求項１９に記載の方法。
【請求項２８】
前記対象領域内で前記表示面から離れたオブジェクトを特定する段階は、前記表示面および枠を含む第１のシミュレーションビューと、前記表示面および前記表示面の外部の領域を含む第２のシミュレーションビューと、前記表示面のみの第３のシミュレーションビューとを利用する請求項２７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、概してコンピュータデバイスインタラクションを改善するデバイスおよび方法に関し、具体的にはモバイルコンピュータデバイスシステムとオブジェクトとのインタラクションを処理するデバイスおよび方法に関する。
【背景技術】
【０００２】
モバイルコンピュータシステムの処理能力が向上して、当該システムの近傍にある物理的オブジェクトを理解して反応するという機能を持つまでに改良された。システムユーザのコンテクストも用いて、さらにインタラクションを深化させるとしてよい。
【０００３】
オブジェクトを追跡し、働きかけ、フィードバックを提供する機能を持つシステムが出来れば、エンドユーザにとってはモバイルコンピュータの価値が大幅に高まるであろう。このような利点の多くを実現するべく、何年もの間、卓上システムの提案および開発が続けられているが、通常はサイズが大きいので、動かせず、個人用でもない。卓上システム等の先行技術が提供する解決方法に限界がある理由の１つとして、大きなデバイスフットプリントが必要になる点が挙げられる。このようなデバイスは、卓上での動作を、当該システムとのインタラクションとして処理することを目的として、デバイスの下方でさらにハードウェアを利用する。
【０００４】
このように、現時点では、表示機能の増加（例えば、スクリーン、プロジェクタを追加する）を必要とすることなくモバイルコンピュータシステムでのユーザ−オブジェクトインタラクションを改善する解決方法は無い。ユーザ−オブジェクトインタラクションを向上させるメカニズムは、モバイルコンピューティングシステムのノマディック特性に影響を及ぼすことはない。
【図面の簡単な説明】
【０００５】
以下に記載する説明では、本発明の実施形態の実施例として提供される図面について説明する。図面は、本発明の一例として理解されるべきであり、本発明を限定するものとして理解されるべきではない。本明細書では、１以上の「実施形態」という場合、本発明の少なくとも１つの実施例に含まれる特定の特徴、構造または特性を説明するものと理解されたい。このため、「一実施形態において」または「別の実施形態において」といった表現は、本明細書で用いられる場合、本発明のさまざまな実施形態および実施例を説明しており、必ずしも全てが同じ実施形態を意味するものではない。しかし、必ずしも互いに矛盾するものでもない。
以下では、以下で説明する実施形態の一部または全てを図示している図面の説明を含め、本明細書で説明している発明的思想の他の実施形態または実施例の説明と同様に、具体的且つ詳細な内容および実施例を説明する。本発明の実施形態の概要は、以下で説明している。その後、図面を参照しつつより詳細に説明する。
【図１】本発明の実施形態を示すブロック図である。
【図２】本発明の実施形態を示すブロック図である。
【図３】本発明の実施形態を示すフローチャートである。
【図４】本発明の実施形態を利用した用途を説明するための図である。
【図５】本発明の実施形態を利用した用途を説明するための図である。
【図６】本発明の実施形態を利用した用途を説明するための図である。
【発明を実施するための形態】
【０００６】
本発明の実施形態では、少なくとも１つのカメラと、表示スクリーンとを利用して、オブジェクトおよびコンテクスト認識システムを形成するシステムを説明する。より具体的には、本発明の実施形態は、カメラおよびセンサを用いてシステムの周囲を感知し、認識ロジックまたはモジュールを用いてシステム上またはシステムの周囲にあるオブジェクトを検出および認識する。上記の認識ロジックまたはモジュールはさらに、感知して得たデータ、および、ユーザに関して持っている過去のコンテクストまたは情報に基づき、システムユーザの状態および直近の環境を推測するとしてよい。さらに、感知して得たデータを処理して、システムの表示スクリーンを利用して、視覚的なフィードバックを提供すると共に、システムユーザとやり取りする手段としてインタラクション素子（例えば、ボタン、ダイヤル、スライダ等）を提供するとしてよい。
【０００７】
このため、本発明の実施形態は、オブジェクト認識モバイル卓上システムを提供する。本発明の実施形態は、ノマディック機能（固定機能に対するものとして）を得るべく、安定した面上で利用するユビキタスプラットフォーム（例えば、タブレットコンピュータまたはコンバーチブル型タブレット）を利用するとしてもよい。本発明の実施形態は、タブレットコンピュータに動作可能に結合されているカメラ／センサを利用して、環境計器（天井に取り付けられたカメラおよびプロジェクタに対するもの）を回避するとしてよい。これらのカメラ／センサを組み込むことで、非常に可動性が高い自立したシステムとなるが、没入型で低コストという特性も得られる。本発明の実施形態は、モバイルコンピュータ（例えば、タブレットコンピュータ）の表示面の上方に位置しているカメラを利用するので、スクリーン外のオブジェクトを検出可能である（このような検出は、カメラまたはセンサが表示面の下方に位置している場合には不可能である）。カメラは、モバイルデバイスに組み込まれているか、または、デバイスの表示面が見えるようにカメラを配置し得る任意の手段を用いてモバイルデバイスに固定されているとしてよい。
【０００８】
オブジェクト認識に関する処理は、ロジックまたはモジュールで実行するとしてよい。ソフトウェアモジュールは、当該システムのみで実行するとしてもよいし、または、ネットワーク化された複数のシステムおよびバックエンドサーバで実行するとしてもよい。このロジック／モジュールの機能は、センサデータに基づきオブジェクト、ユーザおよび環境状態を解析して、（システム自体のディスプレイ／アクチュエータを用いて）ユーザとどのようにインタラクションするかを決定することにある。上記の処理機能は、基本的なフレームキャプチャ、調整および照明補正、画像セグメント化および特徴抽出、オブジェクトの位置／状態およびユーザの手／位置を認識するための知覚コード、ユーザの手の動き、ならびに、オブジェクトおよびドキュメントからテキストを抽出するための光学式文字認識（ＯＣＲ）、手書きおよびバーコード認識を含む。
【０００９】
図１は、本発明の実施形態を示すブロック図である。システム１００は、タブレットコンピュータ１１０を備える。タブレットコンピュータ１１０は、支持面（例えば、卓上）に対して平坦に載置される表示面１２０を含むモバイルコンピュータシステムの一例として利用される。タブレットコンピュータ１１０は、本発明の実施形態を利用するデバイスの一例と理解されたい。また、タブレットコンピュータの一部の機能（例えば、タッチスクリーンディスプレイ）は必ずしも本発明の実施形態では必要ではないことも理解されたい。
【００１０】
システム１００はさらに、表示面１２０の上方に位置しているカメラ１３０を備えるとしてよい。本実施形態によると、カメラ１３０は、タブレットコンピュータ１１０から延伸可能且つ回転可能なアーム１４０によって、タブレットコンピュータ１１０に動作可能に結合されている。
【００１１】
一実施形態によると、カメラ１３０は、対象領域１５０内の視覚データを取得するように位置決めされている。図１に図示しているように、対象領域１５０は、表示面１２０と、表示面の外部の領域１５５とを含む。
【００１２】
タブレットコンピュータ１１０はさらに、表示すべきグラフィック画像１６０を生成するアプリケーションを実行するとしてよい。このアプリケーションはさらに、カメラ１３０を利用して、公知の感知アルゴリズムに基づき、対象領域１５０内のオブジェクト１７０を特定するとしてよい。このオブジェクトは、対象領域１５０内の任意の箇所にあるとしてよい（つまり、表示面１２０および領域１５５にあってもよい）。このアプリケーションは、オブジェクト１７０と、アプリケーションが生成するグラフィック画像１６０との間のインタラクションを処理するとしてよい。
【００１３】
本例では、オブジェクト１７０が、表示面１２０の外部で、対象領域１５０のサブ領域１５５内の位置にある。タブレットコンピュータ１１０で実行されているアプリケーションは、対象領域１５０内のオブジェクト１７０の位置を特定するようにグラフィック画像（矢印）１６０の配向を決めるとしてよい。本実施形態によると、グラフィック画像１６０は、オブジェクト１７０とスクリーン１２０の中央との間の角度に基づいて生成される。
【００１４】
このように、本発明の実施形態では、コンピューティングデバイスのスクリーンを利用して、オブジェクトの認知結果およびユーザの状態を伝達し、動作に関してユーザにフィードバックを提供し、物理的オブジェクトを操作するか、デジタル形式のスクリーン上の素子とインタラクションするかの選択をユーザに提示するとしてよい。
【００１５】
図２は、２つのカメラを利用した本発明の実施形態を示すブロック図である。システム２００は、表示面２２０を有するタブレットコンピュータ２１０を備える。システム２００はさらに、表示面２２０に対して直立した位置にあるカメラ２３０および２４０を備える。モバイルデバイスおよびウルトラモバイルデバイスの場合は、現実のスクリーンの面積は通常、スクリーン上のデジタルコンテンツを邪魔することなくユーザの手または指をその内部に収めることは不可能な大きさである。複数のカメラを利用することで、タブレットコンピュータ２１０が提供するスクリーン領域が限られているにも関わらず、大きなインタラクション空間が得られる。カメラ２３０および２４０を備えるとした物理的構成によって、システム２００は、タブレットの周囲を取り囲む面（つまり、対象領域２３５および２４５の合計）上にあるオブジェクトとユーザとのインタラクションを観察し、当該インタラクションに応答することが可能となる。このため、システム２００の入力空間（つまり、システムの観察対象）は、出力空間（スクリーン２２０の境界に限定される）よりも大幅に大きくなる。
【００１６】
カメラ２３０および２４０がタブレットスクリーン２２０上に表示される仮想素子を誤って認識しないように、直線偏光フィルタをスクリーン２２０およびカメラに利用するとしてよい（大半のＬＣＤスクリーンは直線偏光されているが、多くのタブレットではタッチセンサ素子が光を拡散させる）。一実施形態によると、カメラ２３０および２４０用の偏光フィルタは、スクリーン２２０の視野を遮蔽するために必要なフィルタ回転を事前に算出する必要が無いように、回転可能に構成される（フィルタを回転させて正しいアラインメントを実現する処理は、１回のみ行う必要がある）。
【００１７】
利用に先立って、システム２００は、カメラ２３０および２４０のカメラ視野を異ならせて、正しいオブジェクト位置を取得できるように、キャリブレーションするとしてよい。一実施形態によると、システムキャリブレーションは、３つの処理で構成され、各処理は１回ずつ行う必要がある。第一の処理では、スクリーン２２０の四隅を、各カメラについて１回ずつ、ユーザが手動で選択する。選択された四隅に基づき、各カメラについて、カメラ視野からスクリーン２２０の平面に変換する際に利用するホモグラフィを算出する。これに代えて、スクリーンの四隅の視覚指標をシステムで自動的に消去することができる。ホモグラフィは、ファイルに格納され、システム２００が始動する際に自動的にロードされるとしてよい。
【００１８】
第１のキャリブレーション処理が完了すると、スクリーン２２０上に置かれているオブジェクトは、カメラ２３０および２４０の両方から受け取る座標が同じであるとしてよい。しかし、テーブル面２６０（つまり、対象領域２３５および２４５の内部）に置かれているオブジェクトは、タブレットスクリーンの平面が表面２６０の平面より高いので、２つのカメラから受け取る座標が異なる。このため、第２のキャリブレーション処理では、一の物理的キャリブレーション指標を面２６０上の、カメラ２３０とカメラ２４０との間の重複領域２６５内に置く（この時点で、システム２００が見ているテーブル上の指標は２つある）。システム２００は、面２６０上にある指標は１つのみであると知らされるので、観察している２つのオブジェクトの中心が並ぶように、これら２つのオブジェクトに適用すべき修正オフセットを算出する。算出したオフセットは、格納されて、後にタブレット２１０の枠の外側にあるオブジェクトの座標に適用される。第２のキャリブレーション処理が完了すると、カメラの重複部分（つまり、領域２６５）内にある一のオブジェクトの座標は重複する座標となり、１回のみ視覚システムによって正しく報告される。
【００１９】
第３の処理では、視覚システム座標と適用空間座標との間のマッピングを行う。先行する処理で得られたキャリブレーション指標を、ユーザ利用空間の四隅に配置する。視覚システムから得た座標を四隅の指標に利用することで、座標変換を算出、格納し、後にシステムのアプリケーションで利用する。
【００２０】
図３は、本発明の実施形態を示すフローチャートである。本明細書では、フローチャートは、さまざまな処理動作の順序の一例を示す。特定の順序で図示している場合でも、特に明記されていない限り、処理の順序は変更可能である。このため、図示している実施例は、一例に過ぎないと理解されるべきであり、図示している処理は順序を変えて実行可能であり、一部の処理については並行に実行するとしてもよい。また、本発明のさまざまな実施形態では、１以上の処理を省略することもできる。このため、前実施例で全ての処理が必要となるわけではない。他の処理フローも実施可能である。
【００２１】
３００において、少なくとも１つのカメラデバイスからフレームを取得する。一実施形態によると、少なくとも２つのカメラを利用して、より大きな対象入力領域を提供する。３１０において、取得したフレームについてバックグラウンド除去を実行する。一実施形態によると、混合正規分布モデル法を利用し、各カメラについて専用モデルを用いて、バックグラウンド除去を行う。３２０において、バックグラウンド除去を適用して、加工前のカメラフレームに対応付けられているバックグラウンド／フォアグラウンドマスクを生成する。
【００２２】
３３０において、システム設定で特定されているキャリブレーションポイントを利用して、オブジェクト検出に利用するシミュレーションビュー群を生成する。一実施形態によると、３つのシミュレーションビューを生成する。第１のシミュレーションビューは、タブレットスクリーンおよび枠の修正ビューを含むビューであって、タブレット上に置かれたオブジェクトをより正確に検出するために有用な「スクリーンおよび枠のビュー」を構成する。第２のシミュレーションビューは、タブレットスクリーンおよび周囲の面の修正ビューを含むビューであって、タブレットスクリーンが修正ビューの上側の象限のうち１つ（左側のカメラまたは右側のカメラのどちらを利用するかに応じて決まる）を含むように算出される「テーブルビュー」を構成する。第３のシミュレーションビューは、タブレットスクリーンのみの修正ビューを含むスクリーンビューを構成する。バックグラウンド除去を利用すると、ビューモジュールは、未加工のカメラフレームと共に受け取ったバックグラウンド／フォアグラウンドマスクを変形させて、第３のシミュレーションビューと一致させる。
【００２３】
一実施形態によると、上述したビュー（未加工のビュー、「スクリーンおよび枠のビュー」、および、「テーブルビュー」）のそれぞれの解像度は、独立して決まっており、検出が必要なオブジェクトの詳細な内容に主に基づいて変更するとしてよい。
【００２４】
一実施形態によると、システムは、上記で生成したビューのいずれか１つに対応する機械学習分類子であって、視覚ベースのオブジェクト認識を行うための機械学習分類子のリストを含む。３４０において、これらのビューはそれぞれ、対応する分類子に供給される。これらのビューは、バックグラウンド除去を行った後で、または、バックグラウンド除去を行うことなく、供給されるとしてよい。この後、３５０において、各分類子は、検出したオブジェクト（存在する場合）のリストを出力する。
【００２５】
３６０において、ビュー毎に、解像度が異なり、且つ、タブレットスクリーンと相対的に決まる座標系が異なるので、オブジェクトをカメラモジュールに供給する前に、各オブジェクトの座標を統一座標系に変換する必要があると理解されたい。一実施形態によると、検出された各オブジェクトの座標は、タブレットの座標系に応じた座標であるので、タブレットスクリーンの左上に置かれたオブジェクトは、例えば、（０、０）という座標になり、タブレットスクリーンの右下の隅に置かれたオブジェクトは、例えば、（１２８０、８００）という座標になる。本例では、この処理の終了時点において、タブレットの左側にあるオブジェクトは、水平座標が負となり、タブレットの手前にあるオブジェクトは、垂直座標が８００より大きくなり、タブレットの右にあるオブジェクトは、水平座標が１２８０より大きくなる。このように単一の座標系に統合することで、オブジェクトがスクリーン上にあるのかスクリーン外にあるのか簡単に判断することができるようになり、可視化された結果も適切に選択されるとしてよい。この後、３７０において、オブジェクトのリストを、それぞれ対応付けられた座標で更新するとしてよい。
【００２６】
システムは、重複している可能性がある複数の異なるビューで分類された複数のオブジェクト群を処理するとしてよい。しかし、各オブジェクトは、最大限でも一回、出力システムに報告しなければならない。このため、３８０において、複数の異なるビューから得られたリストを分析して、複数のリストで挙げられているオブジェクトの繰り返しは削除する。繰り返しがあるか否かは、テンプレート名が同じで、且つ、境界線が、例えば、７５％よりも高い割合で重複しているオブジェクトがあるかどうかで判断する。一実施形態によると、繰り返しが見つかると、システムは、「テーブルビュー」で分類されたものではなく、より高解像度の「スクリーンおよび枠のビュー」で分類されたオブジェクトを優先する。こうして、３８５では、認知処理のために一のオブジェクトリストが供給される。
【００２７】
上記の処理と同様に、３９０において、２つのカメラから得られたオブジェクトを統合する。同じカメラの複数の異なるビューに基づきオブジェクトを統合するのとは異なり、両方のカメラで検出した一のオブジェクトは、ビュー同士が完全に重複していない場合もあると理解されたい。実際、３次元のオブジェクトの場合、完全に重複する可能性は略ない。本発明の一実施形態によると、両方のカメラで見たオブジェクトの重複領域は、当該オブジェクトの基礎として利用される。重複するオブジェクトについて、交差領域のみを出力サブシステムに報告して、その交差面でオブジェクトのタッチポイントを近似して、適切な位置でのフィードバックを供給するとしてよい。
【００２８】
３９５において、システムのカメラの視野内のオブジェクトを特定して、後続処理を行うべくアプリケーションに提供する。このように、システムの入力空間（カメラの監視可能対象）は、システムの出力空間（タブレットスクリーンの範囲）よりもはるかに大きい。
【００２９】
上述したように大きくなった入力空間を利用するアプリケーションはスクリーン外のオブジェクトが存在することを伝達し、タブレットからのオブジェクトの距離を伝達するためにマニピュレータを任意の表現に適用するとしてよい。
【００３０】
一実施形態によると、タブレットスクリーンの中央からテーブル上にあるオブジェクトの方向に矢印を引く。矢印の太さは、タブレットからのオブジェクトの距離を指定および更新するために利用されるとしてよい。例えば、矢印の太さは、オブジェクトの距離が大きくなるについて、薄くなるとしてよい。アルファブレンド値も用いてタブレットからのオブジェクトの距離を示すとしてよい。この可視化技術では、スクリーンからのオブジェクトの距離に基づき、表示のアルファ値を変更する。オブジェクトがスクリーンに接触している場合、アルファ値は１００％である。デフォルト値では、視覚システムの端縁にあるオブジェクトのアルファ値は、２０％である。
【００３１】
別の実施形態では、オブジェクトを表すアイコンをスクリーン上に表示するとしてよい。アイコンの位置は、スクリーンの端縁上の、オブジェクトの中心とスクリーンの中心とをつなぐ仮想線上にアイコンが位置するように、算出されるとしてよい。アイコンは、スクリーンからのオブジェクトの距離を示すように、アルファブレンディングおよびサイズ調整を実施するとしてよい。
【００３２】
別の実施形態によると、上述したアイコンと同様に、オブジェクトの方向を示す矢印をスクリーンの端縁上から引くとしてよい。矢印は、例えば、厚みが薄くなるほど、長さが長くなるほど、オブジェクトがタブレットスクリーンから離れていることを意味するとしてよい。矢印は、これ以外の部分がオブジェクトの距離を示すとしてもよい（例えば、矢印の棒部分が長くなると、オブジェクトまでの距離が長いことを意味する）。
【００３３】
別の実施形態によると、吹き出し（漫画などで使われるものと同様）で、対象領域内のオブジェクトを示すとしてよい。吹き出しの基部は、スクリーン外のオブジェクトに向いている。吹き出しはさらに、名札およびアイコンを含むとしてもよい。吹き出しはさらに、サイズ調整およびアルファブレンディングを実施して、スクリーンからのオブジェクトの距離を示すとしてよい。
【００３４】
図４は、本発明の実施形態を利用するアプリケーションを説明する図である。図４のアプリケーションは、タブレットコンピュータ４００の上およびその周囲にあるオブジェクトを検出してタブレットスクリーン４１０を利用する機能を持つ。このアプリケーションでは、物理的なトークン４０１−４０９を利用して、マス目４２０上で三目並べというゲームを行うとしてよい。システムは、スクリーン４１０上でのトークン４０１−４０９の位置をスクリーン上方に配置されているカメラで認識して、ゲーム板の状態を特定し、画像４１１−４１８（トークン４０９がスクリーン４１０上に配置されていないので、スクリーン４１０上には対応する画像が無い）によって、下方からトークンを強調する。一実施形態によると、スクリーン外にあるトークンは、上述したように、スクリーン４１０の外周でアイコンによって強調および特定するとしてよい。
【００３５】
本実施形態によると、アプリケーション（つまり、三目並べ）は、ユーザから対象領域を監視するように求めるコマンドを受信する。例えば、ユーザは、ゲーム用品をマス目４２０上に置いた後、自分の順番が終わった旨を示すべく、スクリーン４１０に表示されている「次」ボタン４２５を押すとしてよい。この時点において、アプリケーションは、対象領域を観察して、ゲーム板の状態を確認して、スクリーン４１０上のオブジェクトがゲームのルールに従っていること（違反があるか否か、例えば、既に配置したトークンを移動したり、相手のトークンを取り除いたり、１回の順番で２以上のトークンを動かしたり、自分の番でトークンを動かさなかったり、相手のトークンを隠したり等）を確認するとしてよい。ユーザは、音で、そして、スクリーン４１０上に表示される記号によって違反の通知を受けるとしてよい（例えば、ブザー音およびマス目４２０でのルール違反の動きを示す赤色のダッシュ記号）。
【００３６】
図５は、本発明の一実施形態を利用するアプリケーションを説明するための図である。図５のアプリケーションは、タブレットコンピュータ５００のスクリーン５１０外のオブジェクトを、当該アプリケーションへの入力として、検出する機能を持つ。本例では、アプリケーションは、ゴールキーパー５３０と共にサッカーゴール５２５を表示している。ユーザは、仮想のスクリーン上のゴール５２５に向けて、小さなサッカーボール形状のオブジェクト５４０を物理的に転がす（または、蹴る）としてよい。オブジェクト５４０がタブレット５００の筐体に当たれば、仮想のボール５４５が登場して、物理的なオブジェクトと同じ軌道でゴール５２５に向けて飛んでいく。ゴールキーパー５３０は、このボールを止めようと、シュートを打った側へと動く。
【００３７】
このアプリケーションの例では、タブレット５００が地面より高くなっていることを利用して、物理的なオブジェクト５４０がタブレットに当たって、大なり小なり、ユーザの方に戻ってくるようにしている。物質界での速度および加速度をそのまま物理学の式で利用して、物理的な動きを、スクリーン５１０上の仮想ボール５４５の仮想的な動きへと変換する。一実施形態によると、シュートは、２次元のみで進むのではなく、スクリーン５１０上、つまり、３次元で進むので、タブレット５００の上方にあるカメラと相対的に決まるオブジェクト５４０のサイズによって、オブジェクト５４０の地面からの高さが分かる。このため、ゴールの左右だけでなく、ゴールの上方にも蹴ることが可能になる。
【００３８】
図５に図示している本発明の実施形態では、本発明の実施形態によると、タブレットコンピュータ５００の外部のオブジェクトを検出して、速度および軌道を追跡し、スクリーン５１０上でオブジェクトに反応することができる点を強調している。
【００３９】
図６は、本発明の実施形態を利用するアプリケーションを説明するための図である。図６のアプリケーションによると、ユーザは、物理的なオブジェクト、本例では、おもちゃのシマウマ６５０で遊ぶことができ、アプリケーションは、タブレット６００上またはタブレット６００の周囲でのおもちゃの状態に反応することができる。
【００４０】
本実施形態によると、おもちゃのシマウマ６５０は、おもちゃのシマウマの「頭」を表示されたオブジェクト上に置くことで、スクリーン６１０上に表示されたエサ６１５を食べたり、スクリーン６１０上に表示した仮想の水たまり６２０（タイマーによって定期的に水たまりの水をいっぱいにするとしてよい）から水を飲んだりするとしてよい。砂領域６２５は、おもちゃのシマウマ全体をスクリーン６１０の砂領域の内部に置くことで、おもちゃのシマウマ６５０がトイレとして利用できる場所である。
【００４１】
このアプリケーションでは、おもちゃのシマウマ６５０の物理的な配向も利用するとしてよい。具体的には、アプリケーションでシマウマが立っているのか、横たわっているのかを区別するので、おもちゃのシマウマ６５０は寝るとしてもよい。例えば、タブレット５００の手前でおもちゃのシマウマ６５０を横向きに寝かせることで、タブレットのスクリーン６１０に表示されるシマウマの頭の上の吹き出し６３０で野生のシマウマが遊んでいる自然界の映像が流れる、「夢」がトリガされる。おもちゃのシマウマ６５０が夢の途中で立ち上がると、夢は即座に停止する。対象領域内で動きを追跡することで、撫でたりするような動作を認識して感謝することもできるとしてよい。このアプリケーションでは、本発明の実施形態によると対象領域内でオブジェクトを検出して、スクリーン６１０上のオブジェクトとのインタラクションを、タブレットコンピュータ６００の内外に関わらず、処理することが可能な点を強調している。
【００４２】
本明細書で上述したプロセス、サーバ、または、ツールといったさまざまな構成要素は、説明した機能を実行するための手段であるとしてよい。本明細書で説明した各構成要素は、ソフトウェアまたはハードウェア、あるいは、この組み合わせを含む。上述した構成要素は、ソフトウェアモジュール、ハードウェアモジュール、特定用途向けハードウェア（例えば、特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）等）、組込コントローラ、ハードワイヤード回路等として実現可能である。ソフトウェアコンテンツ（例えば、データ、命令および設定）は、実行可能な命令を表すコンテンツを供給するコンピュータ可読格納媒体を含む製造物品によって提供され得る。このコンテンツによって、コンピュータは、本明細書で説明したさまざまな機能／処理を実行することになるとしてよい。コンピュータ可読格納媒体は、コンピュータ（例えば、コンピューティングデバイス、電子システム等）がアクセス可能な形式で情報を提供（つまり、格納および／または送信）する任意の機構を含む。例えば、記録可能媒体／記録不可媒体（例えば、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク格納媒体、光学格納媒体、フラッシュメモリデバイス等）を含むとしてよい。当該コンテンツは、そのまま実行可能であるとしてもよいし（「オブジェクト」形式または「実行可能（ｅｘｅｃｕｔａｂｌｅ）」形式）、ソースコード、または、差分コード（「デルタ」コードまたは「パッチ」コード）であってもよい。コンピュータ可読格納媒体はさらに、コンテンツのダウンロード元となるストレージまたはデータベースを含むとしてよい。コンピュータ可読媒体はさらに、売却時または配送時にコンテンツが既に格納されているデバイスまたは製品を含むとしてよい。このように、コンテンツが格納されているデバイスを提供すること、または、通信媒体を介してダウンロードするコンテンツを提供することは、本明細書で説明したコンテンツを備える製造物品を提供することに等しいと理解されたい。
【図１】
0005548311.tif 000002
【図２】
0005548311.tif 000003
【図３】
0005548311.tif 000004
【図４】
0005548311.tif 000005
【図５】
0005548311.tif 000006
【図６】
0005548311.tif 000007