Source: https://patents.google.com/patent/JP2009523335A/en
Timestamp: 2018-03-24 11:05:41
Document Index: 613304644

Matched Legal Cases: ['application No. 10', 'Application No. 10', 'Application No. 10', 'Application No. 10', 'Application No. 10', 'Application No. 10', 'Application No. 10', 'Application No. 10']

JP2009523335A - Interactive input system - Google Patents
JP2009523335A
JP2009523335A JP2008549731A JP2008549731A JP2009523335A JP 2009523335 A JP2009523335 A JP 2009523335A JP 2008549731 A JP2008549731 A JP 2008549731A JP 2008549731 A JP2008549731 A JP 2008549731A JP 2009523335 A JP2009523335 A JP 2009523335A
JP2008549731A
JP5154446B2 (en )
トレヴァー アキット、
ヴォーン エドワード キーナン、
ジェラルド モリソン、
対話型入力システムは、関心のある領域と関連する少なくとも2つの撮像装置を有している。 Interactive input system includes at least two imaging devices associated with a region of interest. 該少なくとも2つの撮像装置は、異なった場所から、該関心のある領域の画像を取得し、かつ互いに重なる視野を有している。 The at least two imaging devices, from different places, and acquires an image of the area of ​​the function center, and has a field of view that overlap each other. 少なくとも１つの受信機が、アクティブポインターが撮像装置の前記視野の内および外にあるときに、アクティブポインターによって出力されたデータを受信することができる。 At least one receiver, when the active pointer is located within and outside the field of view of the imaging device can receive data output by an active pointer. プロセッサ構造は、前記の少なくとも２つの撮像装置および前記の少なくとも１つの受信機によって取得されたデータを処理して、アクティブポインターの存在を検出し、ポインターの、前記の関心のある領域内の位置を求める。 Processor architecture processes the acquired data by said at least two imaging devices and said at least one receiver to detect the presence of the active pointer, pointer, a position in the region of the interest Ask.
本発明は概して入力システムに関し、特に対話型入力システムに関する。 The present invention relates generally to input systems and, more particularly, the interactive input system.
この特許出願は、2000年7月5日に出願された米国特許出願第09/610,481号と関連する、200４年９月７日に出願された、「カメラベースタッチシステム」とういう名称の米国特許出願第10/312, 983号に関し、その内容をここに参照によって組み込む。 This patent application is related to US patent application Ser. No. 09 / 610,481, filed on July 5, 2000, was filed on September 7, 2004, US patent of the name say shaking "camera-based touch system" application No. 10/312, relates No. 983, incorporated by reference the contents here.
対話型入力システムは当該技術分野でよく知られており、ユーザ入力を生成するためにポインターを用いて接触がなされるタッチ面を有するタッチ画面を含んでいる。 Interactive input systems are well known in the art and include a touch screen having a touch surface on which contacts are made using a pointer in order to generate user input. タッチ画面とのポインター接触は検出され、接触がなされた、タッチ面上の領域に応じて、対応する出力を生成するのに使用される。 Pointer contacts with the touch screen is detected, the contact is made, depending on the region on the touch surface, it is used to generate the corresponding output. 通常のタッチシステムは、タッチ面でポインター命令を特定するために、アナログの抵抗性の、電磁の、容量性の、音響の、またはマシンビジョンを通常用いている。 Typical touch system, to identify the pointer instruction touch surface, analog resistive, electromagnetic, capacitive, is used conventional acoustic or machine vision.
例えば、Morrison等の特許文献１は、コンピュータで生成された画像が提示されるパッシブタッチ面を含むタッチ画面を有する、カメラベースタッチシステムを開示している。 For example, Patent Document 1 Morrison like, having a touch screen that includes a passive touch surface on which a computer-generated image is presented, discloses a camera-based touch system. 矩形のベゼルすなわちフレームがタッチ面を囲み、ディジタルカメラをその隅で支持している。 Rectangular bezel or frame surrounds the touch surface and supports digital cameras at its corners. これらディジタルカメラは、タッチ面を囲み、タッチ面を超えて見える重なる視野を有している。 These digital cameras surrounds the touch surface, and has a field of view overlaps visible beyond the touch surface. ディジタルカメラは異なった場所から画像を取得し、画像データを生成する。 The digital camera acquires an image from different locations and generate image data. ディジタルカメラで取得された画像データは、取得された画像データ中にポインターが存在するかどうか判定するためにディジタルシグナルプロセッサによって処理される。 Image data acquired by the digital cameras is processed by digital signal processors to determine if a pointer exists in the image data obtained. 取得された画像データ中にポインターが存在すると判定されると、ディジタルシグナルプロセッサは、ポインター特徴データをマスターコントローラに送信し、マスターコントローラは、ポインターの、タッチ面に対する(x、y)座標における位置を、三角測量法を用いて求めるためにポインター特徴データを処理する。 When the pointer in the acquired image data is determined to be present, the digital signal processor transmits the pointer characteristic data to a master controller, the master controller pointer, a position in (x, y) coordinates relative to the touch surface processes the pointer characteristic data to determine using the triangulation method. ポインター座標データは、1つまたは複数のアプリケーションプログラムを実行するコンピュータに送信される。 Pointer coordinate data is transmitted to a computer executing one or more application programs. コンピュータはポインター座標データを用いて、タッチ面上に提示されるコンピュータ生成画像を更新する。 Computer using the pointer coordinate data to update the computer-generated image that is presented on the touch surface. したがって、タッチ面上のポインター接触は筆記または描画として記録しまたはコンピュータによって実行されるアプリケーションプログラムの実行を制御するのに使用することができる。 Thus, pointer contacts on the touch surface can be used to control execution of application programs executed by the recording or computer as writing or drawing.
Morrison等の特許文献2はさらに他のカメラベースタッチシステムを開示している。 Patent Document 2 Morrison and others are further disclosed another camera-based touch system. このタッチシステムは、タッチ面を囲む、重なる視野を有する少なくとも2つの、間隔をおいた撮像装置を有する、概ね矩形のタッチ面を有している。 The touch system surrounds the touch surface, at least two have an overlapping field of view, having an imaging device spaced, have a generally rectangular touch surface. 撮像装置は、タッチ面を、最小で、タッチ面の4つの隅を含む眺望を有する斜視図として三次元で見る。 Imaging device, a touch surface, a minimum, viewed in three dimensions as a perspective view with a view comprising four corners of the touch surface. 撮像装置は異なった場所から重なる画像を取得する。 Imaging apparatus obtains an image that overlaps from different locations. プロセッサが、撮像装置の少なくとも1つによって生成された画像データを処理し、ポインターの、タッチ面に対する位置を、三角測量法を用いて求める。 Processor processes the image data generated by at least one imaging device, the pointer position relative to the touch surface, determined using the triangulation method.
上記したカメラベースタッチシステムは、アクティブポインターを用いることができるが、フィンガーまたは円筒材料のようなパッシブポインターと共に用いるのに特に適している。 Camera-based touch system described above can be used in an active pointer is particularly suitable for use with passive pointer such as a finger or cylinder material. パッシブポインターが用いられる、照明が暗い環境では、Akitt等の引用文献３に記載されているような、照らされたベゼルを、タッチ面を囲み、パッシブポインターの検出力を高める適切な背面照明をもたらすために採用してもよい。 Passive pointer is used, the illumination is dark environment, as described in the cited document 3 such Akitt, the illuminated bezel surrounds the touch surface, provide adequate backlighting to enhance the detectability of the passive pointer it may be adopted in order.
アクティブポインターと共に用いられるように設計されたタッチシステムも良く知られている。 Touch systems designed for use with active pointers are also well known. 例えばCologan等の引用文献4は、IR結合された複数の選択ボタンを有するタッチ画面スタイラスを開示している。 For example references 4 such Cologan, discloses a touch screen stylus with a plurality of selection buttons is IR binding. 該スタイラスは無線で、コンピュータと組み合わされた受信機と通信するための赤外線エミッターを含んでいる。 The stylus is wireless and includes an infrared emitter for communicating with a receiver in combination with a computer. 該スタイラスは、タッチ画面の場所にあるスタイラスを指す間、ユーザによって作動させることができるプッシュボタンをその先端に備えている。 The stylus includes while pointing the stylus at the location of the touch screen, a push button that can be actuated by a user at the tip. タッチ画面の組み合わされた作動および１つまたは複数のプッシュボタンの同時の作動は、コンピュータへのマウス入力を行わせるのを可能にする。 Simultaneous actuation of the actuation and one or more pushbuttons combined the touch screen, to allow the to perform mouse input to the computer.
米国特許出願第10/312,983号 U.S. Patent Application No. 10 / 312,983 米国特許出願第10/838,536号 U.S. Patent Application No. 10 / 838,536 米国特許出願第10/354,168号(米国特許第6,972,401号） U.S. Patent Application No. 10 / 354,168 (U.S. Pat. No. 6,972,401) 米国特許第6,529,189号 US Pat. No. 6,529,189
上記のタッチシステムは満足の行くものであるが、対話型入力システムに対する改良が望まれている。 The above touch systems are satisfactory, but improvements to interactive input systems are desired. したがって、本発明の目的は、新規な対話型入力システムを提供することにある。 Accordingly, an object of the present invention is to provide a novel interactive input system.
関心のある領域と関連する少なくとも２つの撮像装置であって、異なった場所から前記の関心のある領域の画像を取得し、かつ互いに重なる視野を有する少なくとも２つの撮像装置と、 And at least two imaging devices associated with a region of interest, acquires the image of the region from different locations above the interest, and at least two imaging devices having a field of view that overlap each other,
アクティブポインターが前記撮像装置の前記視野の内および外にあるときに、前記アクティブポインターによって出力されたデータを受信する少なくとも１つの受信機と、 When the active pointer in and out of the field of view of the imaging device, and at least one receiver for receiving data output by the active pointer,
前記の少なくとも２つの撮像装置および前記少なくとも１つの受信機によって取得されたデータを処理して、アクティブポインターの存在を検出し、前記ポインターの前記の関心のある領域内の位置を求めるプロセッサ構造と、 Processing the acquired data by said at least two imaging devices and said at least one receiver, a processor structure that detects the presence of the active pointer, determine the position of the region of the interest of the pointer,
を有する対話型入力装置が提供される。 Interactive input system with is provided.
前記ディスプレイの前にある、関心のある領域と、 In front of the display, a region of interest,
異なった場所から、前記の関心のある領域の画像を取得する、互いに重なる視野を有する少なくとも２つの光学的記録装置と、 From different places, and acquires an image of the region of the interest, and at least two optical recording apparatus having a field of view that overlap each other,
アクティブポインターが前記光学的記録装置の視野の中および外にあるときときに、前記アクティブポインターによって出力されたデータを受信する少なくとも１つの受信機と、 When current active pointer in and out of the field of view of said optical recording device, and at least one receiver for receiving the data output by the active pointer,
前記の少なくとも２つの光学的記録装置および前記の少なくとも1つの受信機によって取得されたデータを受信、処理し、前記アクティブポインターの、前記の関心のある領域内の位置を検出するプロセッサ構造と、 A processor structure for detecting at least two optical recording devices and receiving the acquired data by the at least one receiver of said processes, the active pointer location in the region of the interest of the,
を有する、カメラベース対話型ディスプレイシステムが提供される。 Having, camera-based interactive display system is provided.
種々の実施態様のために含まれるさらに他の態様は、次の開示と添付の図面を精読することによって当業者にとって明らかになる。 Yet another aspect is included for various embodiments will become apparent to those skilled in the art upon perusal the following disclosure and accompanying drawings.
次に、本発明の実施形態を添付の図面を参照してより詳細に説明する。 Next, an embodiment of the present invention with reference to the accompanying drawings will be described in more detail.
さて、図１を参照すると、カメラベース対話型入力システムが図示され、全体に参照番号50が付けられている。 Referring now to FIG. 1, is shown camera-based interactive input system is reference number 50 is assigned to the whole. 図からわかるように、タッチシステム50は、ポインター接触がなされるべき、関心のある領域を定めるタッチ面54を有するタッチ画面52を含む。 As can be seen, touch system 50, should pointer contact is made, including a touch screen 52 having a touch surface 54 defining a region of interest. この実施形態では、タッチ画面52は、例えば、LCD、プラズマ、HDTV、または他のテレビジョンディスプレイ装置のようなフラットパネルディスプレイ装置の概ね平らな面である。 In this embodiment, the touch screen 52, for example, a generally flat surface of the flat panel display devices such as LCD, plasma, HDTV or other television display device. センサアセンブリ56がタッチ画面52の１つの側部に沿って延びている。 Sensor assembly 56 extends along one side of the touch screen 52. センサアセンブリ56は、タッチ画面52の一方の側縁に固定されたバレンス５８を含んでいる。 The sensor assembly 56 includes one valence 58 secured to the side edges of the touch screen 52. ディジタルカメラ60がバレンス58の対向する両端部に隣接して位置している。 Digital camera 60 is positioned adjacent to the opposite ends of the valence 58. 両ディジタルカメラ60の視野は、タッチ面になされたポインター接触を視覚的に検出できるように、タッチ面54の全アクティブ領域の上で重なっている。 Field of view of both the digital camera 60, such that the visually detectable pointer contact was made on the touch surface, overlap over the entire active area of ​​the touch surface 54.
赤外線(IR)受信機62が、対応するディジタルカメラと近接して位置し、これと通信する。 Infrared (IR) receiver 62 is positioned in close proximity to the corresponding digital camera to communicate with this. 各IR受信機62は家庭用電化製品で見られるものと同様で、ゲイン制御増幅器に接続されたレンズ付きIR検出器を有している。 Each IR receiver 62 is similar to that seen in the consumer electronics, has an IR detector with connected lens to gain control amplifier. ディジタルカメラ60は、例えばUSB-２のような高速データバス66を介してコンピュータまたは他の適切な処理装置64に接続されている。 The digital camera 60 is connected to a computer or other suitable processing device 64 for example via a high speed data bus 66 such as a USB-2. コンピュータ64は1つまたは複数のアプリケーションプログラムを実行し、タッチ画面52上で見ることができるディスプレイ出力を出力する。 Computer 64 executes one or more application programs, and outputs a display output that can be viewed on the touch screen 52. タッチ画面52、コンピュータ64、そしてディスプレイ装置は、タッチ画面52とのポインター接触が筆記（writing）または描画として記録できまたはコンピュータ64によって実行されるアプリケーションプログラムの実行を制御するのに使用できるように閉ループを構成している。 Touch screen 52, computer 64, and display device, a closed loop so that it can be used to pointer contact with the touch screen 52 to control the execution of application programs executed by the recording can or computer 64 as writing (writing) or drawing constitute a.
各ディジタルカメラ60は二次元CMOSセンサと、関連するレンズアセンブリと、ディジタルシグナルプロセッサ(DSP)または他の処理装置のような車載（on-board）処理装置を含んでいる。 Each digital camera 60 includes a two-dimensional CMOS sensor and associated lens assembly, a vehicle (on-board) processing apparatus such as a digital signal processor (DSP) or other processing device. 理解されるように、該ディジタルカメラは米国特許出願第10/312,983号に記載されているものと同様である。 As will be appreciated, the digital cameras are similar to those described in U.S. Patent Application No. 10 / 312,983. イメージセンサは、最大で毎秒200フレームの広範囲なフレームレートにわたって画像を取得するように構成されている。 The image sensor is configured to acquire images over a wide range of frame rates of 200 frames per second at the maximum.
この実施形態では、アクティブポインター70が、タッチ画面と相互作用するのに使用される。 In this embodiment, the active pointer 70 is used to interact with the touch screen. 図2に示すように、アクティブポインター70は、タッチ画面と接触させられるように設計された先端74を一端に有するポインターボディ72を含んでいる。 As shown in FIG. 2, the active pointer 70 includes a pointer body 72 having a tip 74 which is designed to be brought into contact with the touch screen at one end. スクロールホイール80、カラーセレクトスイッチ82、例えば右マウスクリックボタン、ヘルプボタン、インクスタイルセレクターボタン、多数の選択回答・投票ボタン(教室/授業環境で役に立つ)のような1つまたは複数の他のポインターコントロールボタン84がポインターボディ72上に設けられている。 Scroll wheel 80, color select switch 82, for example, right mouse click button, help button, ink style selector button, one or more of the other pointer control, such as the number of selection answer-vote button (useful in the classroom / teaching environment) button 84 is provided on the pointer body 72. マイクロコントーラ90がポインターボディ72内に配置され、スクロールホイール80、カラーセレクトスイッチ82、および他のポインターコントロールボタン84と通信する。 The microcontroller 90 is arranged on the pointer body 72, a scroll wheel 80, it communicates with the color select switch 82 and other pointer control button 84,. マイクロコントローラ90は、同じくポインターボディ72に収容されている再充電可能なバッテリ92から電力が供給される。 The microcontroller 90 is powered from the rechargeable battery 92 is also housed in the pointer body 72. ポインターボディ72内の力変換器94が、ポインターがタッチ面に接触させられたときにマイクロコントローラ90に入力を与える。 Force transducer 94 in the pointer body 72 is, pointer provides input to the microcontroller 90 when brought into contact with the touch surface. ディフューザ98で囲まれた、IR発光ダイオード(LED)の形態の赤外線(IR)送信機96もポインターボディ72の先端に設けられている。 Surrounded by the diffuser 98 in the form of infrared (IR) transmitter 96 of the IR light emitting diode (LED) is also provided at the tip of the pointer body 72.
タッチシステム50の全体動作を次に説明する。 Next will be described the overall operation of the touch system 50. 各ディジタルカメラ60は、その視野内でタッチ面60を横切って見える画像を所望のフレームレートで取得する。 Each digital camera 60 acquires an image viewed across the touch surface 60 within its field of view at a desired frame rate. ポインター70が、力変換器94を作動させるに十分な力でタッチ面54に接触させられると、マイクロコントローラ90は先端74内のIR送信機96を作動させて、ポインター70をして照らさせる。 Pointer 70, when brought into contact with the touch surface 54 with sufficient force to actuate the force transducer 94, microcontroller 90 activates the IR transmitter 96 in the tip 74, thereby illuminated by the pointer 70. 特に、IR送信機96が作動させられると、IR送信機はIRキャリア信号を出力する。 In particular, when the IR transmitter 96 is activated, IR transmitter outputs an IR carrier signal. このように、ディジタルカメラ60がタッチ面54を超えて見える画像を取得するので、照らされたポインター先端74は暗い背景に対して明るい照明点として現れる。 Thus, since acquiring an image digital camera 60 looks beyond the touch surface 54, pointer tip 74 illuminated appears as a bright illumination point relative to the dark background.
さらに、ポインターがタッチ面54に接触する結果として力変換器94が作動させられると、マイクロコントローラ90は、IR送信機92によって出力されたIRキャリア信号を、変調されたキャリア信号がポインターダウン状態を表すデータを搬送するように変調する。 Furthermore, when the pointer force transducer 94 as a result of contact with the touch surface 54 is activated, the microcontroller 90, an IR carrier signal output by the IR transmitter 92, modulated carrier signal is the pointer down modulated to carry data representing. IRキャリア信号は、それがIR受信機62によって取得できるように十分に強い。 IR carrier signal, it is strong enough so that it can be retrieved by the IR receiver 62. IRキャリア信号のDCオフセットレベルも、図3に示すように、照らされたポインターを選択されたカメラフレームレートで、かつディジタルカメラ60から最大ポインター距離で信頼性高く検出するために、ポインターがタッチ面と接触している間、十分な光エネルギーがディジタルカメラ60によって受信されることを保証するに十分である。 Also DC offset level of the IR carrier signal, as shown in FIG. 3, the camera frame rate is selected pointer illuminated, and to reliably detect the maximum pointer distance from the digital camera 60, pointer touch surface while in contact with, it is sufficient to ensure that sufficient light energy is received by the digital camera 60. この方式を用いて、ディジタルカメラ60は、ポインター70が、それがタッチ面54に接触しているとき、絶えず照らされることを見出す。 Using this method, the digital camera 60, the pointer 70 is, when it is in contact with the touch surface 54, it finds that the constantly illuminated.
IR受信機62が、ポインター70によって出力された、変調されたIRキャリア信号を受信すると、IRキャリア信号の周波数に合わせられた、IR受信機62の増幅器は、変調されたIRキャリア信号をデコードする。 IR receiver 62, output by the pointer 70, when receiving the modulated IR carrier signal, keyed to the frequency of the IR carrier signal, the amplifier of the IR receiver 62 decodes the modulated IR carrier signal . このようにして、IRキャリア信号に埋め込まれたデータが取り出され、各ディジタルカメラ60のDSPのデータストリームとして出力される。 In this way, data embedded in the IR carrier signal is extracted and is output as the DSP of the data stream of each digital camera 60.
各ディジタルカメラ60のDSPは、IR受信機62から受信したデータを取得した画像データと同期させ、該データを圧縮し、該データを、高速回線66を介してコンピュータ64に送信する。 DSP of each digital camera 60 synchronizes the image data acquired data received from the IR receiver 62, compresses the data, the data is transmitted to the computer 64 via the high-speed line 66. コンピュータ64は、該データを受信すると、IR受信機62によって出力されたデータを処理し、ポインターダウン事象が発生したことを確認する。 Computer 64 receives the data, processes the data output by the IR receiver 62, the pointer down event confirms that occurred. ポインターダウン事象が一旦確認されると、コンピュータ64は取得された画像を処理し、ポインター70の位置を求める。 When the pointer down event has been verified once, the computer 64 processes the image acquired, determining the position of the pointer 70.
取得された画像の処理中、ポインターが取得された画像中にあり、ポインターダウン状態が確認されると、該画像は、取得された画像中のポインター位置を特定する特徴データを生成するためにコンピュータ64によって処理される。 There while processing the obtained image, in the pointer acquired image, the pointer down condition has been verified, the images are computer to generate characteristic data identifying the pointer position in the captured image It is processed by 64. ポインター特徴データは次に、（xy）座標系におけるポインターの位置を、三角測量法を用いて求めるためにコンピュータ64によって処理される。 Pointer characteristic data is then processed by the computer 64 to determine using a triangulation location of the pointer in (xy) coordinate system. 特に、画像は、本出願の出願人であるスマートテクノロジー社に譲渡され、その内容が参照によって組み込まれる、Morrison等の米国特許出願第10/294,917号に記載されたものと類似の方法でコンピュータ64によって処理される。 In particular, the image is transferred to the smart Technologies, Inc., the assignee of the present application, computer the contents of which are incorporated by reference, an analogous manner as described in U.S. Patent Application No. 10 / 294,917 of Morrison et 64 It is processed by. このようにして、タッチ面54上のポインター接触を囲む境界ボックスが求められ、（xy）座標系でのポインターの位置の算出が可能になる。 In this manner, the bounding box prompts surrounding the pointer contact on the touch surface 54, it is possible to calculate the position of the pointer in (xy) coordinate system. ポインター位置データは、ポインター接触が書き込み事象であるならば筆記またが描画として記録され、またはポインター接触がマウス事象であるならば、コンピュータ64上で実行されているアクティブなアプリケーションプログラムに注入される。 Pointer location data is written also if the pointer contact is a write event is recorded as a drawing, or pointer contact if a mouse event, is injected into the active application program running on the computer 64. コンピュータ64はまた、タッチ面54上に見える画像がポインターの動きを反映するように、ディスプレイ装置に送られた出力を更新する。 Computer 64 is also an image viewed on the touch surface 54 to reflect the movement of the pointer, and updates the output sent to the display device. 理解されるように、画像が処理されるためには、ポインターダウンデータが受信されなければならない。 As will be appreciated, because an image is processed, the pointer down data must be received. このようにして、取得された画像中に現れるポインターデコイを消滅させ(resolved)、無視することができる。 In this way, abolished the pointer decoys appearing in acquired images (resolved), it can be ignored.
ポインターアップ事象が発生すると、マイクロコントローラ90は、IRキャリア信号を、それがポインターアップ状態を表すデータを搬送するように変調する。 When the pointer up event occurs, the microcontroller 90, an IR carrier signal, which is modulated to carry data representing the pointer up condition. ポインターアップ状態を表すデータの受信に応答して、コンピュータ64はポインターダウン状態をクリアして、次のポインターダウン事象が発生し、確認されるまで画像が処理されるのを妨げる。 In response to receiving data representing the pointer up condition, the computer 64 clears the pointer down condition occurs following pointer down event prevents the image is processed until acknowledged. 理解されるように、このことは、システム50が、取得された画像中に現れるポインターデコイを消散させて無視する能力を高める。 As will be appreciated, this system 50, enhances the ability to ignore by dissipating pointer decoys appearing in acquired images.
コンピュータ64がディジタルカメラ60からのデータを入力し、ポインターダウン状態が確認されないと、ポインター70上のホバーボタンが押されない限り、ポインターの存在と位置を検出するように画像は処理されない。 Computer 64 inputs the data from the digital camera 60, when the pointer down condition is not verified, as long as the hover button on the pointer 70 is not pressed, the image to detect the presence and position of the pointer is not processed. この場合、ホバーボタンの操作によって、ホバーデータが、IRキャリア信号を変調するように使用されることになる。 In this case, by operating the hover button, the hover data, will be used to modulate the IR carrier signal. その結果、ホバーデータは画像データと共にコンピュータ64によって受信される。 As a result, the hover data is received by the computer 64 together with the image data. ホバーデータに応答して、コンピュータ64は画像を処理し、ポインター位置を求める。 In response to the hover data, the computer 64 processes the image to determine the pointer location.
他の場合では、IR受信機62によって生成されたデータだけが、スクロール、インキスタイル調整等の適宜な機能が呼び起こされるようにコンピュータ64によって処理される。 In other cases, only the data generated by the IR receiver 62, the scroll is processed by the computer 64 as appropriate functional ink style adjusting etc. are awakened. 特に、スクロールホイール80、カラーセレクトスイッチ82または他のポインターコントロール84を作動させることによってユーザ入力が生成されると、マイクロコントーラ90はIRキャリア信号を、それが該ユーザ入力を含むように変調する。 In particular, the scroll wheel 80, a user input is generated by operating the color select switch 82 or other pointer controls 84, the microcontroller 90 is the IR carrier signal, which is modulated to include the user input. ユーザ入力を表すデータに加えて、マイクロコントローラ90はまた、IRキャリア信号を、ポインター70を用いてタッチ面54に加えられた力を表わすデータおよびバッテリ92の状態を表すデータを含むように変調する。 In addition to data representing user input, the microcontroller 90 is also an IR carrier signal, modulated to to include data representing the state of data and the battery 92 represents the force applied to the touch surface 54 using the pointer 70 . これによって、書き込み事象の間、加えられた力に基づいてライン太さを変えることができ、ポインターバッテリ寿命の可視の画面上表示を備えることが可能になる。 Thus, during a write event, the applied force can change the line thickness based on, it is possible to include the on-screen display of the visible pointer battery life.
カラーセレクトスイッチ82はいつでも選択できるが、選択されたカラーを表すデータは、ポインター70がタッチ面54に接触しているときにだけポインターによって出力される。 Although the color select switch 82 may be selected at any time, data representing the selected color, the pointer 70 is outputted by only the pointer when in contact with the touch surface 54. したがって、カラー変化は書き込み事象の間だけ発生する。 Thus, color changes only occur during write events. 一方、スクロールホイール80は、ポインター70がタッチ面54に接触しているか否かにかかわらずアクティブであるので、スクロールコマンドは、ポインターがタッチ面から離れ、ディジタルカメラ60の視野の外にあるときでもポインターによって出力することができる。 On the other hand, the scroll wheel 80, since the pointer 70 is active irrespective of whether contact with the touch surface 54, scroll commands, pointer away from the touch surface, even when outside the field of view of the digital camera 60 it can be output by the pointer. そのような動作を可能にするために、IR受信機62の視野は、ポインター70が図4に示すようにタッチ面54に近接しているときおよびポインター70が図5に示すようにタッチ面から離れているときにポインター70のIRキャリア信号出力を検出するのに十分に広い。 To enable such operation, the field of view of the IR receiver 62, and the pointer 70 when the pointer 70 is in proximity to the touch surface 54 as shown in FIG. 4 from the touch surface, as shown in FIG. 5 sufficiently wide to detect IR carrier signal output of the pointer 70 when you are away. 図5に示すシナリオでは、ポインター位置AおよびＢにおいて、IR受信機62の1つだけがポインター70のIRキャリア信号出力を受信する。 In the scenario shown in FIG. 5, at pointer positions A and B, only one of the IR receivers 62 receives the IR carrier signal output of the pointer 70.
タッチシステム50を、タッチ画面54上で見ることができる画像を出力するディスプレイ装置を含むものとして記載したが、当業者は、該ディスプレイ装置が必要ないことを理解するであろう。 The touch system 50 has been described as including a display device for outputting an image that can be viewed on the touch screen 54, those skilled in the art will understand that the display device is not required. また、ディスプレイ装置は、フラットパネルディスプレイ装置ではなく、タッチ面上に画像を投影するフロントまたはリアのプロジェクター、タッチ画面52が上に置かれたビデオモニター、またはタッチ面54を見たときに見ることができる画像を表示する他の装置であってもよい。 Further, the display device is not a flat panel display device, watching when the front or rear projector projecting images on the touch surface, the touch screen 52 is viewed video monitor placed in or on the touch surface 54, or another device that displays an image can. また、タッチ画面54は矩形である必要はない。 The touch screen 54 need not be rectangular. タッチ画面は実際、例えばテーブルトップ、壁面等のような基本的に任意の形状の殆どどのような面であってよい。 Touchscreen practice, for example a table top, basically may be any surface almost any shape such as a wall.
米国特許出願第10/312,983号におけるものと同様のディジタルカメラを記載したが、関心のある領域の互いに重なる画像を取得する他の画像または光学の記録装置を用いることができることが理解されるであろう。 U.S. Patent Application No. 10 / has been described a similar digital camera as in No. 312,983, der the ability to use other image or optical recording device for obtaining images overlap each other in the region of interest it is understood wax. 例えば、該カメラは、Morrison等の米国特許出願第10/838,536号に開示されたようなスタンドアロンの撮像装置であってもよい。 For example, the camera may be a stand-alone imaging apparatus such as disclosed in U.S. Patent Application No. 10 / 838,536 of Morrison et. この場合、該複数のカメラは、関心のある体積を囲む互いに重なる視野を有する。 In this case, the plurality of cameras has a field of view that overlaps with each other to enclose the volume of interest. カメラはスタンドアロンなので、バレンスは必要ない。 Since the camera is a standalone, Valence is not necessary. IR受信機をカメラ装置に一体化してもよいことも理解されるであろう。 It will also be understood that may be integrated IR receiver to the camera device.
コンピュータ64を、画像データを処理するものとして記載したが、当業者は、画像処理のいくらかまたは全てを扱うために、ディジタルカメラのオンボード(on-board)処理能力を利用してもことを理解するであろう。 The computer 64 has been described as processing the image data, those skilled in the art understand to handle some or all of the image processing, it also uses the digital camera onboard (on-board) processing capacity It will be.
上述した実施形態では、ディジタルカメラは、有線高速データ回線を経てパーソナルコンピュータと通信するものとして記載した。 In the embodiment described above, the digital camera have been described as communicating with the personal computer via a wired high-speed data line. 当業者は、種々の変形が可能で、他の有線接続もデータをコンピュータに伝えるために使用してもよいことを理解するであろう。 Those skilled in the art, various modifications can be made, will appreciate that it may be used to convey other wired connect data to the computer. 例えば、IR受信機62の出力を、UART、USBまたは他の適切な接続手段によってコンピュータ64に直接、送ってもよい。 For example, the output of the IR receiver 62, UART, directly to the computer 64 via a USB or other suitable connection means may be sent to. あるいは、IR受信機およびディジタルカメラからのデータを無線通信回線によってコンピュータに送ってもよい。 Alternatively, it may be sent to a computer data from the IR receivers and digital cameras by wireless communication line.
ポインター70の構成は例示であって、勿論幾つかの変形が可能である。 Configuration of the pointer 70 is exemplary, and can of course several variations. 例えば、IR LED送信機とディフューザの構成は、先端の周りに重なる視野で取り付けられた多数のIR LEDと代えてもよい。 For example, construction of the IR LED transmitter and diffuser may be replaced with multiple IR LED mounted in overlapping field of view around the tip. 勿論、ポインターに、データを送信する異なった手段を用いてよい。 Of course, the pointer may be used different means for transmitting data. 例えば、無線周波数(RF)通信を用いてもよい。 For example, it is possible to use a radio frequency (RF) communication. さらに、マイクロコントローラに、いつポインターダウン事象が発生したかを検出させるために、力変換器の代わりにチップスイッチを用いてもよい。 Further, the microcontroller, when in order to detect whether the pointer down event has occurred, may be used tip switch instead of the force transducer. ポインターは、再充電可能でない電源を用いてもよい。 Pointer, may be used as the power supply is not rechargeable. 望むならば、ポインターはマイクロフォンを含んでよく、マイクロコントローラ90は、ポインター上のボタンの作動の代わりにまたはこれに加えて、ユーザが音声コマンドでユーザ入力を入力するのを可能にする音声認識ソフトウェアを実行してもよい。 If desired, the pointer may include a microphone, microcontroller 90, in addition to or to place the operation buttons on the pointer, speech recognition software allows the user to enter user input by voice command it may be the execution.
さらに、ポインターは、ポインターがコンピュータ64からコマンドを入力するのを可能にする無線通信機を含んでいてもよい。 Further, the pointer, the pointer may include a wireless communication device that allows for entering commands from the computer 64. このようにして、ポインターの機能はイネーブルにしたりディセーブルにすることができ、再割り当てされたあるいは変更されたポインター上のボタンに属する機能はポインターに、コンテクストに影響されるソフトボタン能力(context sensitive soft button capabilities)を与える。 In this way, the functions of the pointer can be disabled or enabled, functions belonging to a button on the reallocated or modified pointer to pointer, soft buttons ability is affected by the context (context Sensitive soft button capabilities) give.
本発明の好適な実施形態を説明したが、当業者は、添付の特許請求の範囲で定まる要旨と範囲から外れることなく種々の変形および修正がなされることを理解するであろう。 Having described the preferred embodiments of the present invention, those skilled in the art will appreciate that various changes and modifications may be made without departing from the spirit and scope defined by the appended claims.
図1はカメラベース対話型入力システムの概略図である。 Figure 1 is a schematic diagram of a camera-based interactive input system. 図2はアクティブポインターの概略ブロック図である。 Figure 2 is a schematic block diagram of an active pointer. 図3は、図２のアクティブポインターによって出力された、変調されたＩＲキャリア信号の図である。 3, output by the active pointer of Figure 2, a diagram of a modulated IR carrier signal. 図4は、IR受信機の、タッチ面に隣接するアクティブポインターへの視野方向を示す、図１の対話型入力システムの一部分の概略図である。 Figure 4 is an IR receiver, showing the viewing direction to the active pointer adjacent the touch surface, it is a schematic view of a portion of the interactive input system of Figure 1. 図5は、IR受信機の、タッチ面から離れて位置するアクティブポインターへの視野方向を示す、図１の対話型入力システムの一部分の他の概略図である。 Figure 5 is the IR receiver, showing the viewing direction to the active pointer positioned remote from a touch surface, it is another schematic view of a portion of the interactive input system of Figure 1.
関心のある領域と関連する少なくとも２つの撮像装置であって、異なった場所から前記の関心のある領域の画像を取得し、かつ互いに重なる視野を有する少なくとも2つの撮像装置と、 And at least two imaging devices associated with a region of interest, acquires the image of the region from different locations above the interest, and at least two imaging devices having a field of view that overlap each other,
アクティブポインターが前記撮像装置の前記視野の内および外にあるときに、前記アクティブポインターによって出力されたデータを受信する少なくとも1つの信機と、 When the active pointer in and out of the field of view of the imaging device, and at least one signal for receiving data output by the active pointer,
前記少なくとも2つの撮像装置および前記少なくとも１つの受信機によって取得されたデータを処理して、アクティブポインターの存在を検出し、前記ポインターの前記の関心のある領域内の位置を求めるプロセッサ構造と、 Processing the acquired data by the at least two imaging devices and said at least one receiver, a processor structure that detects the presence of the active pointer, determine the position of the region of the interest of the pointer,
を有する対話型入力装置。 Interactive input device having a.
各々が、前記撮像装置の異なった1つに隣接して位置する少なくとも２つの受信機を有する、請求項1に記載の対話型入力装置。 Each having at least two receivers positioned adjacent to a different one of said imaging device, interactive input system according to claim 1.
前記の関心のある領域内に位置するタッチ面をさらに有する、請求項1に記載の対話型入力装置。 Further comprising a touch surface positioned in the region of the interest, interactive input system according to claim 1.
各撮像装置は、前記タッチ面の異なった隅に隣接して位置する、 請求項3に記載の対話型入力装置。 Each imaging device is positioned adjacent to a different corner of said touch surface, interactive input system according to claim 3.
前記各受信機によって受信されたデータが前記各撮像装置によって取得された画像データと同期させられる、請求項2に記載の対話型入力装置。 The data received by each receiver is synchronized with image data acquired by the respective imaging devices, interactive input system according to claim 2.
各受信機によって受信されたデータが前記関連する撮像装置に、前記撮像装置によって前記プロセッサ構造に送信される前に、送られる、請求項5に記載の対話型入力装置。 The imaging device data received by each receiver to the associated, before being sent to the processor structure by said imaging device, sent by interactive input system according to claim 5.
前記撮像装置はデータを有線通信回線によって前記プロセッサ構造に送信する、請求項6に記載の対話型入力装置。 The imaging apparatus transmits the data to the processor structure by wire communication line, interactive input system according to claim 6.
前記撮像装置はデータを無線通信回線によって前記プロセッサ構造に送信する、請求項６に記載の対話型入力装置。 The imaging apparatus transmits the data to the processor structure by a wireless communication line, interactive input system according to claim 6.
前記各受信機と前記各撮像装置はデータを独立して前記プロセッサ構造に送信する、請求項5に記載の対話型入力装置。 Wherein each receiver each imaging device transmits independently data to the processor structure, interactive input system according to claim 5.
前記撮像装置と前記受信機はデータを有線通信回線によって前記プロセッサ構造に送信する、請求項９に記載の対話型入力装置。 The imaging device and the receiver sends the data to the processor structure by wire communication line, interactive input system according to claim 9.
前記撮像装置と前記受信機はデータを無線通信回線によって前記プロセッサ構造に送信する、請求項9に記載の対話型入力装置。 The imaging device and the receiver sends the data to the processor structure by a wireless communication line, interactive input system according to claim 9.
前記タッチ面との接触に応答してデータを出力するアクティブポインターを有する、請求項3に記載の対話型入力装置。 Having an active pointer for outputting data in response to contact with said touch surface, interactive input system according to claim 3.
前記アクティブポインターは、前記タッチ面と閾値力でなされた接触に応答してデータを出力する、請求項12に記載の対話型入力装置。 The active pointer outputs data in response to the made in the touch surface and the threshold force contact, interactive input system according to claim 12.
前記アクティブポインターは、手動で動作可能な少なくとも１つのコントロールボタンを含み、前記アクティブポインターは、コントロールボタンの動作に応答してデータを出力する、請求項13に記載の対話型入力装置。 The active pointer includes at least one control button operable manually, the active pointer outputs data in response to the operation of the control button, the interactive input system according to claim 13.
前記アクティブポインターは、ポインター接触条件が存在するときにのみコントロールボタンの動作に応答してデータを出力する、請求項14に記載の対話型入力装置。 The active pointer outputs data in response to operation of the control button only when the pointer contact condition exists, interactive input system according to claim 14.
前記アクティブポインターは、前記タッチ面との接触に応答して明るくなる、請求項3に記載の対話型入力装置。 The active pointer, brighter in response to contact with said touch surface, interactive input system according to claim 3.
前記アクティブポインターは、前記タッチ面と閾値力でなされた接触に応答して明るくなる、請求項16に記載の対話型入力装置。 The active pointer, brighter in response to the made in the touch surface and the threshold force contact, interactive input system according to claim 16.
前記アクティブポインターは、手動で動作可能な少なくとも１つのコントロールボタンを含み、前記アクティブポインターは、コントロールボタンの動作に応答してデータを出力する、請求項17に記載の対話型入力装置。 The active pointer includes at least one control button operable manually, the active pointer outputs data in response to the operation of the control button, the interactive input system according to claim 17.
前記アクティブポインターは、ポインター接触条件が存在するときにのみコントロールボタンの動作に応答してデータを出力する、請求項18に記載の対話型入力装置。 The active pointer outputs data in response to operation of the control button only when the pointer contact condition exists, interactive input system according to claim 18.
前記データが、前記ポインターによって出力された光を変調するのに使われる、請求項19に記載の対話型入力装置。 The data is used to modulate light output by said pointer, interactive input system according to claim 19.
前記の関心のある領域の画像を異なった場所から取得し、かつ互いに重なる視野を有する少なくとも２つの光学的記録装置と、 Obtained from the location where different images of the region of the interest, and at least two optical recording apparatus having a field of view that overlap each other,
アクティブポインターが前記光学的記録装置の視野の中および外にあるとき、前記アクティブポインターによって出力されたデータを受信する少なくとも１つの受信機と、 When active pointer in and out of the field of view of said optical recording device, and at least one receiver for receiving the data output by the active pointer,
前記の少なくとも２つの光学的記録装置および前記の少なくとも１つの受信機によって取得されたデータを受信、処理し、ポインターの存在を検出し、前記ポインターの、前記の関心のある領域内の位置を検出するプロセッサ構造と、 Receiving the acquired data by said at least two optical recording devices and said at least one receiver, processing to detect the presence of a pointer, the pointer detecting the position in the region of the interest and a processor structure,
を有する、カメラベース対話型ディスプレイシステム。 The a, camera-based interactive display system.
アクティブポインターをさらに有する、請求項21に記載の、カメラベース対話型ディスプレイシステム。 Further comprising an active pointer, according to claim 21, camera-based interactive display system.
JP2008549731A 2006-01-13 2007-01-12 Interactive input system Active JP5154446B2 (en)
US11/331,448 2006-01-13
US11331448 US20070165007A1 (en) 2006-01-13 2006-01-13 Interactive input system
JP2009523335A true true JP2009523335A (en) 2009-06-18
JP5154446B2 JP5154446B2 (en) 2013-02-27
JP2008549731A Active JP5154446B2 (en) 2006-01-13 2007-01-12 Interactive input system
JP2013534012A (en) * 2010-07-06 2013-08-29 ティー―データ・システムズ（エス）ピーティーイー・リミテッド Data storage device with the data input function
KR20130037436A (en) * 2011-10-06 2013-04-16 삼성전자주식회사 Method and apparatus for determining input
EP1971964A1 (en) 2008-09-24 application
CN101375297A (en) 2009-02-25 application
JP5154446B2 (en) 2013-02-27 grant
CN101375297B (en) 2011-08-31 grant
RU2008133213A (en) 2010-02-20 application
US20070165007A1 (en) 2007-07-19 application
WO2007079590A1 (en) 2007-07-19 application
CA2636823A1 (en) 2007-07-19 application
EP1971964A4 (en) 2011-01-05 application
RU2011101366A (en) 2012-07-20 application
KR20080107361A (en) 2008-12-10 application
JP2005182423A (en) 2005-07-07 Coordinate input device
JPH0981305A (en) 1997-03-28 Electronic equipment and its control method