(57)【要約】【課題】  任意の指示物による接触を複数個検出できる座標入力装置を提供する。【解決手段】  映像表示手段１２は、映像信号発生手段１１から出力された映像信号を背面投射型スクリーン１３に裏側より投影する。撮影手段１４は、スクリーン１３を裏側より撮影する。エッジ画像生成手段１０１は、撮影手段１４から画像を１画面取り込み、エッジ画像を生成する。エッジ差分生成手段１０２は現フレームのエッジ画像と、基準となるフレームのエッジ画像との間の差分画像を生成する。差分マスク生成手段１０３は、差分画像に対して閾値処理を行い、差分マスクを生成する。膨張画像生成手段１０４は、差分マスクに対して膨張処理を行う。ラベル画像生成手段１０５は、膨張画像中の連結成分ごとにラベル番号を振る。入力データ生成手段１０６は、各ラベルごとに特徴量を計算し、映像信号発生手段１１に入力するデータを生成する。【選択図】  図１
2006252578.tif 000002
【特許請求の範囲】
【請求項１】
背面投射型のスクリーンと、前記スクリーンに出力する映像信号を発生する映像信号発生手段と、映像信号を前記スクリーンに背面から投影する映像表示手段と、映像信号が投影されたスクリーンを裏側より撮影する撮影手段と、前記ビデオカメラで撮影された画像中における指示物の接触位置を検出する画像処理手段とを備えたことを特徴とする座標入力システム。
【請求項２】
前記座標入力システムにおいて、撮影手段から入力された入力画像中のエッジ強度を計算するエッジ画像生成手段と、前記エッジ画像生成手段で生成された現フレームのエッジ画像と基準となるフレームのエッジ画像との差分を計算するエッジ差分生成手段と、エッジ差分を閾値処理する差分マスク生成手段と、差分マスクに膨張処理を行う膨張画像生成手段と、膨張画像にラベリング処理を行うラベル画像生成手段と、ラベル画像から映像信号発生手段に入力するデータを生成する入力データ生成手段で構成された画像処理手段とを備えたことを特徴とする座標入力システム。
【請求項３】
撮影手段から入力された入力画像中のエッジ強度を計算し、現フレームのエッジ画像と基準となるフレームのエッジ画像との差分を計算し、差分を閾値処理して差分マスクを生成し、差分マスクに膨張処理を行って膨張画像を生成し、膨張画像にラベリング処理を行ってラベル画像を生成し、ラベル画像から映像信号発生手段に入力するデータを生成することを特徴とする座標入力方法。
【請求項４】
撮影手段から入力された入力画像中のエッジ強度を計算するエッジ画像生成処理と、前記エッジ画像生成処理で生成された現フレームのエッジ画像と基準となるフレームのエッジ画像との差分を計算するエッジ差分生成処理と、エッジ差分を閾値処理する差分マスク生成処理と、差分マスクに膨張処理を行う膨張画像生成処理と、膨張画像にラベリング処理を行うラベル画像生成処理と、ラベル画像から映像信号発生手段に入力するデータを生成する入力データ生成処理とをコンピュータに実行させるためのプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータシステム等により情報が表示される画面上で指示物が接触した位置を検出し、その座標を入力する座標入力システム、座標入力方法および座標入力用プログラムを記録した記録媒体に関し、特に複数の指示物が同時に接触している状態においてもそれぞれの位置を検出し、入力することが可能な座標入力システム、座標入力方法および座標入力用プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
コンピュータシステム等により情報が表示される表示装置の画面上を人の指などの指示物によって触れることにより、情報を入力したり、システムに対して種々の指示を与える座標入力装置が利用されている。
【０００３】
特許第２６８３６９９号公報では、光学式の座標入力装置が開示されている。同装置では、表示画面の対応する２辺に赤外線発光ダイオード（ＬＥＤ）等の発光器とフォトトランジスタ等の検出器の複数対を対応して配置してオプトマトリックスを形成し、指、針等のスタイラスによる発光器からの光ビームの遮断を検出器により検出する。
【０００４】
特開平７−１６０４０５号公報では、超音波式の座標入力装置が開示されている。同装置では、画面の表面上に表面弾性波をＸ方向、Ｙ方向それぞれに発生させる。表面弾性波は指先等の接触により減衰を受けるため、非接触時の受信波形と比較することによって接触位置を確定する。
【０００５】
特開平１１−３５３１０１号公報では、感圧式の座標入力装置が開示されている。同装置ではすき間を保って２枚の抵抗膜フィルムをそれぞれＸ方向、Ｙ方向に交差するように張り合わせる。一方の抵抗膜フィルムに接触すると、その位置で他方のフィルムと接触する。２枚のフィルムに電圧を加えておくと、Ｘ軸、Ｙ軸の電極に電流が検出できる。この検出した電流は接触位置に比例するので、接触点の座標を求めることができる。
【０００６】
特開平７−１２９３１号公報では、静電容量方式の座標入力装置が開示されている。同装置では透明な複数のＸ軸電極線と、それに交差するように透明な複数のＹ軸電極線を配置する。指先など導電性のある指示物と電極線との静電結合容量は両者の距離に反比例する関係がある。よって、Ｘ軸電極線、Ｙ軸電極線それぞれについて検出電圧が最も低いものを検出し、その位置を指示物の座標とする。また、電磁誘導式の座標入力装置も存在する。同装置は、Ｘ方向、Ｙ方向にそれぞれ複数配置されたアンテナコイルと、高周波発信器を内蔵したペンから構成される。ペンがアンテナコイルに近接すると、アンテナコイルに電圧が誘起され、各コイルの電圧からペンの位置が求まる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来のシステムでは、次のような問題がある。光学式、超音波式のように指示物で光や波を遮断する方式の装置では、複数の指示物の接触位置を検出できない。その理由は、指示物の接触座標をＸ，Ｙそれぞれ独立に検出する手法では、２つの指示物が接触して例えば図２に示すようにＸ軸方向ではＸ１，Ｘ２が遮断され、Ｙ軸方向ではＹ１，Ｙ２が遮断された場合に、２つの指示物の位置が（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）であるのか、（Ｘ１，Ｙ２），（Ｘ２，Ｙ１）であるのか区別できないからである。
【０００８】
感圧式の座標入力装置においても複数の指示物の接触位置を検出できないという問題がある。その理由は、例えば座標入力装置の両はじが同時に押された場合、分圧作用により出力電圧は抵抗膜に印加された電圧の半分となり、押された位置は装置の中心であると判断してしまい、正しい位置を知ることができないからである。
【０００９】
静電容量方式の座標入力装置においては、指や導電性のある指示物による接触しか検出できないという問題がある。その理由は、導電性があるものでないと電極線との間に静電結合が発生しないからである。
【００１０】
また異なる周波数を発生するペンなどを複数用いれば、図２のような場合にもＸ１，Ｘ２とＹ１，Ｙ２がそれぞれどちらと対応するのかを周波数の違いにより判定できるが、指が複数接触した場合にはそれぞれの接触位置を検出することができない。電磁誘導式の座標入力装置においては、指による接触を検出することができないという問題がある。その理由は、指は高周波を発生しないため、アンテナコイルに電圧を誘起しないからである。
【００１１】
本発明の目的は、任意の指示物による接触を検出できる座標入力装置を提供することにある。
【００１２】
本発明の他の目的は、上記指示物が複数ある場合にもそれぞれの接触位置を検出できる座標入力装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明による座標入力装置は、背面投射型のスクリーン（図１の１３）と、前記スクリーンに出力する映像信号を発生するコンピュータ等の映像信号発生手段（図１の１１）と、映像信号を前記スクリーンに背面から投影するプロジェクタ等の映像表示手段（図１の１２）と、映像信号が投影された前記スクリーンを裏側より撮影するビデオカメラ等の撮影手段（図１の１４）と、前記ビデオカメラで撮影された画像中における指示物（図１の１５）の接触位置を検出する画像処理手段（図１の１００）により構成され、上記画像処理手段は、前記撮影手段から入力された画像中のエッジ強度を計算するエッジ画像生成手段（図１の１０１）と、前記エッジ画像生成手段で生成された現フレームのエッジ画像と、基準となるフレームのエッジ画像との差分を計算するエッジ差分生成手段（図１の１０２）と、前記エッジ差分を閾値処理する差分マスク生成手段（図１の１０３）と、前記差分マスクに膨張処理を行う膨張画像生成手段（図１の１０４）と、前記膨張画像にラベリング処理を行うラベル画像生成手段（図１の１０５）と、前記ラベル画像から前記映像信号発生手段に入力するデータを生成する入力データ生成手段（図１の１０６）と、を有する。前記背面投射型スクリーンを採用することにより、スクリーン裏側では投影映像がぼやけて表示されるのに対し、スクリーン表側、つまりユーザー側には鮮明な映像を表示できるという効果が得られる。
【００１４】
前記エッジ画像生成手段および差分マスク生成手段を有することにより、スクリーン裏側で観測されるぼやけた投影映像の変化には反応せずに、スクリーン表側より指などの指示物がスクリーンに接触した場合に接触部の輪郭部分で観測される強いエッジだけを検出できる。前記膨張手段を有することにより、接触が不充分なために１つの指示物が前記差分マスク生成手段により複数の近接した領域群として抽出された場合にも、同一の領域に併合できる。前記ラベル画像生成手段を有することにより、複数の指示物がスクリーンに接触している場合に、それぞれの接触部分に個別のラベル番号を振り、同一ラベルをもつ画素群それぞれについて重心座標等の特徴量を算出することができる。
【００１５】
従って、指示物が発する特定周波数等を検出する手段や静電容量の変化を検出する手段などを用いず、指示物が接触することにより生じるエッジに着目するため、任意の指示物による接触を検出できるという効果が得られる。
【００１６】
さらに、上記指示物が複数個スクリーンに接触している場合においても、それぞれの接触位置を特定できるという効果が得られる。
【発明の効果】
【００１７】
本発明においては、次のような効果を奏する。
【００１８】
第１の効果は、任意の指示物による接触を検出できることにある。その理由は、指示物の種類によらず、スクリーンに接触する際にスクリーン上に生じるエッジを検出するためである。
【００１９】
第２の効果は、上記指示物が複数個スクリーンに接触している場合においても、それぞれの接触位置を特定できることにある。その理由は、スクリーン上の変化を後方から撮影手段でとらえるためである。
【発明を実施するための最良の形態】
【００２０】
本発明の第１の実施の形態について図１および図３のフローチャートを参照して詳細に説明する。図１を参照すると、本発明の第１の実施の形態は、プログラム制御により動作する画像処理手段１００と、映像信号発生手段１１と、映像表示手段１２と、背面投射型スクリーン１３と、撮影手段１４とから構成されている。
【００２１】
画像処理手段１００は、エッジ画像生成手段１０１と、エッジ差分生成手段１０２と、差分マスク生成手段１０３と、膨張画像生成手段１０４と、ラベル画像生成手段１０５と、入力データ生成手段１０６とを含む。
【００２２】
これらの手段はそれぞれ概略つぎのように動作する。映像表示手段１２（例えばプロジェクタなど）は、映像信号発生手段１１から出力された映像信号を背面投射型スクリーン１３に裏側より投影する。
【００２３】
撮影手段１４は、スクリーン１３を裏側より撮影する。エッジ画像生成手段１０１は、撮影手段１４から画像を１画面取り込み（ステップ３１）、画像中の各画素ごとにエッジ強度を計算してエッジ画像を生成する（ステップ３２）。エッジ差分生成手段１０２はエッジ画像生成手段１０１で生成された現フレームのエッジ画像と、基準となるフレームのエッジ画像との差分を計算する（ステップ３３）。
【００２４】
差分マスク生成手段１０３は、エッジ差分生成手段１０２で計算された差分値に対して閾値処理を行い（ステップ３４）、スクリーン表側より指などの指示物１５がスクリーンに接触する、またはスクリーンに接触していた指示物１５が離れる、または接触している指示物１５が接触したままスクリーン上を移動することによる変化を検出する。差分の形態としては、現フレームのエッジ画像と、現フレームから一定の時間差のあるフレームにおけるエッジ画像との差分を計算するものが考えられる。また、指示物が接触していない状態のエッジ画像をあらかじめ記憶しておき、それと現フレームのエッジ画像との差分を計算してもよい。
【００２５】
膨張画像生成手段１０４は、差分マスク生成手段１０３で生成された差分マスクに対して膨張処理を行い（ステップ３５）、指示物１５の接触不良が原因で得られる複数の近接した領域群を同一の領域に併合する。
【００２６】
ラベル画像生成手段１０５は、膨張画像生成手段１０４で生成された膨張画像に対してラベリング処理を行い、連結成分ごとにラベル番号を振る（ステップ３６）。
【００２７】
入力データ生成手段１０６は、ラベル画像生成手段より入力されたラベル情報から映像信号発生手段１１に入力するデータを生成する（ステップ３７）。取り込んだ画像が最後の画像でなければ次の画像の取り込み（ステップ３１）に戻り、最後の画像であった場合は処理を終了する（ステップ３８）。
【００２８】
次に、本発明の第２の実施の形態について説明する。
【００２９】
本実施の形態は、一度に接触する指示物の数が１つに限定される場合に好ましい。図４を参照すると、本発明の第２の実施の形態は、画像処理手段４００が図１に示された第１の実施の形態におけるラベル画像生成手段１０５および入力データ生成手段１０６をもたない点で異なる。
【００３０】
入力データ生成手段４０４は、差分マスク生成手段４０３で抽出された画素の重心座標等の特徴量を算出し、映像信号発生手段４１に入力する。
【００３１】
その他の手段の動作は、第１の実施の形態の各手段の動作と同じである。
【００３２】
次に、本発明の第３の実施の形態について説明する。
【００３３】
本発明は、その好ましい実施の形態において、座標入力プログラムを記録した記録媒体５６を備える。この記録媒体５６は磁気ディスク、半導体メモリ、磁気テープ、ＣＤ（compact  disk）−ＲＯＭ、ＤＶＤ（digital  versatile  disk）、その他の記録媒体であってもよい。
【００３４】
座標入力プログラムは記録媒体５６から画像処理手段５００に読み込まれ、あるいは、不図示のサーバ等から通信媒体を介してダウンロードして画像処理手段５００に読み込まれ、画像処理手段５００の主記憶にロードして実行することで、画像処理手段５００の動作を制御し、本発明を実施することができる。
【００３５】
座標入力プログラムは、前記第１の実施の形態におけるエッジ画像生成手段１０１と、エッジ差分生成手段１０２と、差分マスク生成手段１０３と、膨張画像生成手段１０４と、ラベル画像生成手段１０５と、入力データ生成手段１０６の処理を画像処理手段５００で実行するためのプログラム、または前記第１の実施の形態におけるエッジ画像生成手段４０１と、エッジ差分生成手段４０２と、差分マスク生成手段４０３と、入力データ生成手段４０４の処理を画像処理手段５００で実行するためのプログラムである。
【００３６】
画像処理手段５００としては、映像信号発生手段５１と通信媒体を介して接続されたコンピュータ、映像信号発生手段５１に内蔵された画像処理ボードなどが挙げられる。
【００３７】
また、映像信号発生手段５１で上記座標入力プログラムを実行することにより、映像信号発生手段５１が画像処理手段５００の役割を果たしてもよい。
【００３８】
（実施例）本発明の第１の実施例を、図１および図６〜図８を参照して説明する。かかる実施例は本発明の第１の実施の形態に対応するものである。
【００３９】
本実施例は、映像信号発生手段としてパーソナルコンピュータ７１を、映像表示手段としてプロジェクタ７２を、撮影手段としてビデオカメラ７４を、画像処理手段としてパーソナルコンピュータ７１に内蔵された画像処理ボード７００を備えている。
【００４０】
画像処理ボード７００はエッジ画像生成手段、エッジ差分生成手段、差分マスク生成手段、膨張画像生成手段、ラベル画像生成手段、入力データ生成手段を有する。これらの各機能手段は、画像処理プロセッサで実行されるプログラム制御によりその処理が実現される。
【００４１】
図８は、本実施例における上記手段の配置を説明するための図である。プロジェクタ８２はスクリーン８３の後方に設置され、プロジェクタ８２に組み込まれた台形歪み補正機能により、表示映像の歪みを補正しておく。ビデオカメラ８４はプロジェクタ８２同様、スクリーン８３の後方に設置される。パーソナルコンピュータ８１はその内部に画像処理ボード８００を備える。ビデオカメラ８４は画像処理ボード８００と、プロジェクタ８２はパーソナルコンピュータ８１とそれぞれ接続されている。
【００４２】
ビデオカメラ８４で撮影された画像とパーソナルコンピュータ８１が発生する映像との間の座標変換式は、例えば特許第００２５５４５７７号公報に開示された方法によってあらかじめ求めておく。操作者はスクリーン８３の表側より指などの指示物８５によってスクリーン８３と接触する。
【００４３】
はじめに、ビデオカメラはスクリーン裏側の映像を撮影し、画像処理ボードに入力する。エッジ画像生成手段では、以下に示す３ｘ３のマトリクスで表されるフィルタを入力画像にかけることによりエッジ画像を生成する。
【００４４】
2006252578.tif 000003
エッジ差分生成手段では、現フレームにおけるエッジ画像と、１フレーム前のエッジ画像との差分を計算する。
【００４５】
差分マスク生成手段では、上記差分値に対して閾値処理を行い、指示物の接触部分の輪郭を抽出し、差分マスクを生成する。図６に例として、現フレームにおいて２つの指示物がスクリーンに接触した場合の現フレームのエッジ画像６１、１フレーム前のエッジ画像６２、両者の差分に対して閾値処理を行って生成された差分マスク６３を示す。膨張画像生成手段では、上記差分６３マスクに含まれない非マスク画素のうち、自身を中心とする近傍領域に上記差分マスク６３に含まれるマスク画素があるものを非マスク画素からマスク画素に変更する処理を行う。この処理を一定回数繰り返し、膨張画像６４を生成する。
【００４６】
ラベル画像生成手段では、上記膨張画像生成手段で生成された膨張画像６４中における連結成分ごとに個別のラベル番号を振る。これにより、接触領域６４１にはラベル１が与えられ、接触領域６４２にはラベル２が与えられる。
【００４７】
最後に、入力データ生成手段は、ラベル画像生成手段より入力されたラベル画像中で、同一ラベルをもつ画素群それぞれについて重心座標を算出する。あらかじめ求めておいた前記座標変換式を用いて、各重心座標をパーソナルコンピュータが発生する映像中の座標に変換し、パーソナルコンピュータに入力する。
【００４８】
次に、本発明の第２の実施例を図９を参照して説明する。
【００４９】
かかる実施例は、第１の実施例と同様、本発明の第１の実施の形態に対応するものであるが、映像信号発生手段としてパーソナルコンピュータ９１と、ＲＳ−２３２Ｃケーブルを介してパーソナルコンピュータ９１から制御可能なビデオ再生機９６を備える点で第１の実施例と異なる。
【００５０】
パーソナルコンピュータ９１は画像処理ボード９００で生成された入力データに基づき、ビデオ再生機９２が出力する映像信号を切りかえる。その他の手段の動作は、第１の実施例の各手段の動作と同じである。
【００５１】
次に、本発明の第３の実施例を説明する。
【００５２】
かかる実施例は、第１の実施例と同様、本発明の第１の実施の形態に対応するものであるが、画像処理手段として画像処理ボード７００の代わりにパーソナルコンピュータ１０００を備える点で第１の実施例と異なる。
【００５３】
パーソナルコンピュータ１０００で生成された入力データはネットワークを介して映像信号発生手段であるパーソナルコンピュータ１００１に入力される。パーソナルコンピュータ１００１は入力データに基づき、出力する映像信号を切りかえる。その他の手段の動作は、第１の実施例の各手段の動作と同じである。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】従来技術の動作の例を示す図である。
【図３】本発明の第１の実施の形態の動作を示すフローチャートである。
【図４】本発明の第２の実施の形態の構成を示すブロック図である。
【図５】本発明の第３の実施の形態の構成を示すブロック図である。
【図６】本発明の第１の実施例の動作の具体例を示す図である。
【図７】本発明の第１の実施例を説明するための図である。
【図８】本発明の第１の実施例を説明するための図である。
【図９】本発明の第２の実施例を説明するための図である。
【図１０】本発明の第３の実施例を説明するための図である。
【符号の説明】
【００５５】
１１  映像信号発生手段
１２  映像表示手段
１３  背面投射型スクリーン
１４  撮影手段
１５  指示物
１００  画像処理手段
１０１  エッジ画像生成手段
１０２  エッジ差分生成手段
１０３  差分マスク生成手段
１０４  膨張画像生成手段
１０５  ラベル画像生成手段
１０６  入力データ生成手段
４１  映像信号発生手段
４２  映像表示手段
４３  背面投射型スクリーン
４４  撮影手段
４５  指示物
４００  画像処理手段
４０１  エッジ画像生成手段
４０２  エッジ差分生成手段
４０３  差分マスク生成手段
４０４  入力データ生成手段
５１  映像信号発生手段
５２  映像表示手段
５３  背面投射型スクリーン
５４  撮影手段
５５  指示物
５６  記録媒体
５００  画像処理手段
６１  現フレームにおけるエッジ画像
６２  １フレーム前におけるエッジ画像
６３  差分マスク
６４  膨張画像
６４１  第１の接触領域
６４２  第２の接触領域
７１  パーソナルコンピュータ
７２  プロジェクタ
７３  スクリーン
７４  ビデオカメラ
７５  指示物
７００  画像処理ボード
８１  パーソナルコンピュータ
８２  プロジェクタ
８３  スクリーン
８４  ビデオカメラ
８５  指示物
８００  画像処理ボード
９１  パーソナルコンピュータ
９２  プロジェクタ
９３  スクリーン
９４  ビデオカメラ
９５  指示物
９６  ビデオ再生機
９００  画像処理ボード
１０００  パーソナルコンピュータ
１００１  パーソナルコンピュータ
１００２  プロジェクタ
１００３  スクリーン
１００４  ビデオカメラ
１００５  指示物
【図１】
2006252578.tif 000004
【図２】
2006252578.tif 000005
【図３】
2006252578.tif 000006
【図４】
2006252578.tif 000007
【図５】
2006252578.tif 000008
【図６】
2006252578.tif 000009
【図７】
2006252578.tif 000010
【図８】
2006252578.tif 000011
【図９】
2006252578.tif 000012
【図１０】
2006252578.tif 000013