(57)【要約】【課題】オペレータが行う押下操作を正確に判定して、その操作信号を生成することができる操作信号入力装置を提供する。【解決手段】対象装置２０に押下操作信号を入力する装置である。人の指又は手を含む画像を撮像する撮像部２と、撮像領域を照明する照明部３と、順次撮像された画像を処理して、押下操作信号を生成する操作信号生成部１０と、操作信号を対象装置２０に入力する操作信号入力部１８とを備える。操作信号生成部１０は、処理画像に含まれる指又は手に対応した特徴値を基に、押下操作の有無を判定する。その際、操作信号生成部１０は、直近の第１の時間帯に得られた第１の画像群、これより過去の第２の時間帯に得られた第２の画像群、及びこれよりも更に過去の第３の時間帯に得られた第３の画像群の各特徴値を基に、押下操作の有無を判定する。【選択図】図１
2020027581.tif 000002
【特許請求の範囲】
【請求項１】
対象装置に押下操作信号を入力する装置であって、
所定の空間領域に撮像領域が設定され、該撮像領域内で移動する人の指又は手を撮像対象とする画像を所定の時間間隔で撮像する撮像部と、
前記撮像領域を照明する照明部と、
前記撮像装置により順次撮像された画像を処理して、前記押下操作信号を生成する操作信号生成部と、
前記操作信号生成部により生成された押下操作信号を前記対象装置に入力する操作信号入力部とを備えた操作信号入力装置において、
前記操作信号生成部は、前記指又は手に対応した画像から得られる特徴値を基に、押下操作の有無を判定し、押下操作が行われたと判定した時に、押下操作信号を生成するように構成され、
更に、前記操作信号生成部は、判定時から所定時間遡った時点までに得られた連続する複数の画像であって、直近の第１の時間帯に得られた第１の画像群、第１の時間帯よりも過去の第２の時間帯に得られた第２の画像群、及び第２の時間帯よりも過去の第３の時間帯に得られた第３の画像群の各特徴値を基に、前記押下操作の有無を判定するように構成されていることを特徴とする操作信号入力装置。
【請求項２】
対象装置に押下操作信号を入力する装置であって、
所定の空間領域に撮像領域が設定され、該撮像領域内で移動する人の指又は手を撮像対象とする画像を所定の時間間隔で撮像する撮像部と、
前記撮像領域を照明する照明部と、
前記撮像装置により順次撮像された画像を処理して、前記押下操作信号を生成する操作信号生成部と、
前記操作信号生成部により生成された押下操作信号を前記対象装置に入力する操作信号入力部とを備えた操作信号入力装置において、
前記操作信号生成部は、前記指又は手に対応した画像から得られる特徴値を基に、押下操作の有無を判定し、押下操作が行われたと判定した時に、押下操作信号を生成するように構成され、
更に、前記操作信号生成部は、順次連続して得られる特徴値について、その前後の特徴値の差分を隣接特徴差分値として逐次算出するように構成されるとともに、順次得られる隣接特徴差分値について、判定時から第１の個数分だけ遡った範囲の第１のデータ群、更に第２の個数分だけ遡った範囲の第２のデータ群、更に第３の個数分だけ遡った範囲の第３のデータ群を基に、前記押下操作の有無を判定するように構成されていることを特徴とする操作信号入力装置。
【請求項３】
前記操作信号生成部は、第１のデータ群の経時的な変動が第１の基準値以下であり、第２のデータ群の経時的な変動が第２の基準値を超えるピーク値を示し、前記第３のデータ群の経時的な変動が第３の基準値以下である条件の場合に、押下操作が行われたと判定するように構成されていることを特徴とする請求項２記載の操作信号入力装置。
【請求項４】
前記操作信号生成部は、第１のデータ群の分散値が第１の基準値以下であり、第２のデータ群の経時的な変動が第２の基準値を超えるピーク値を示し、前記第３のデータ群の分散値が第３の基準値以下である条件の場合に、押下操作が行われたと判定するように構成されていることを特徴とする請求項２記載の操作信号入力装置。
【請求項５】
前記操作信号生成部は、更に、算出時から予め定められた相互に異なる第１の時間、及び第２の時間だけそれぞれ遡った時点の各特徴値の差分を中距離特徴差分値として逐次算出するとともに、算出時から予め定められた第３の時間だけそれぞれ遡った時点の特徴値と算出時の特徴値との差分を遠距離特徴差分値として逐次算出するように構成されるとともに、判定時に、前記隣接差分値が前記条件を満たし、且つ、判定時に算出された隣接特徴差分値が中距離特徴差分値及び遠距離特徴差分値以上である場合に、押下操作が行われたと判定するように構成されていることを特徴とする請求項３又は４記載の操作信号入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばコンピュータなどの対象装置に、少なくとも押下操作信号を入力する操作信号入力装置に関する。
【背景技術】
【０００２】
従来、上述した操作信号入力装置として、ごく一般的には、マウスなどの入力機器が知られているが、不特定のオペレータが当該入力機器を操作する環境下では衛生上の問題を生じ、また、対象装置が大勢の人間が行き交う場所に設置される場合には、このような場所にマウス操作用の台を設置すると邪魔になるといった問題などから、近年では、下記特許文献１に開示されるような非接触式の操作信号入力装置が提案されている。
【０００３】
当該特許文献１に開示されるように、この操作信号入力装置は、所定の空間領域に撮像領域が設定された撮像カメラ、及び前記撮像領域を照明する照明装置を備えており、前記撮像領域内でオペレータが１本の指を用いてポインタを移動させる動作を行うことによって、動作する指の画像が所定の時間間隔で前記撮像カメラによって撮像される。
【０００４】
そして、順次撮像された画像は操作信号生成部により処理され、順次変化する指先の位置がこの操作信号生成部によって認識され、認識された指先の位置に応じた位置操作信号が生成される。また、操作信号生成部は、指先の位置が変化せず、静止した状態であると認識した場合には、クリック操作信号を生成する。そして、生成された位置操作信号及びクリック操作信号が操作信号入力部によって前記対象装置に入力される。尚、このクリック操作は、指先等を下方に移動させる押下動作によって定義づけられる操作（押下操作）であって、一般的にはオペレータの意思決定を伴う操作である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３２１０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、特許文献１に開示された操作信号入力装置のように、指先の位置が変化しない静止した状態のときに、押下操作信号を生成するようにすると、押下操作を正確に認識することができないという問題があった。
【０００７】
即ち、オペレータは、ポインタを移動させる操作の際に、例えば、ポインタを操作しながら何か別のことを思考するときがあり、このような場合に移動動作を停止させることがあるが、特許文献１の操作信号入力装置では、このような場合でもオペレータが押下操作をしたと判定することになり、正確な押下操作の判定をすることができないのである。
【０００８】
本発明は以上の実情に鑑みなされたものであって、オペレータの押下操作を正確に判定して、その信号を生成することができる操作信号入力装置の提供を、その目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するための本発明は、対象装置に押下操作信号を入力する装置であって、
所定の空間領域に撮像領域が設定され、該撮像領域内で移動する人の指又は手を撮像対象とする画像を所定の時間間隔で撮像する撮像部と、
前記撮像領域を照明する照明部と、
前記撮像装置により順次撮像された画像を処理して、前記押下操作信号を生成する操作信号生成部と、
前記操作信号生成部により生成された押下操作信号を前記対象装置に入力する操作信号入力部とを備えた操作信号入力装置において、
前記操作信号生成部は、前記指又は手に対応した画像から得られる特徴値を基に、押下操作の有無を判定し、押下操作が行われたと判定した時に、押下操作信号を生成するように構成され、
更に、前記操作信号生成部は、判定時から所定時間遡った時点までに得られた連続する複数の画像であって、直近の第１の時間帯に得られた第１の画像群、第１の時間帯よりも過去の第２の時間帯に得られた第２の画像群、及び第２の時間帯よりも過去の第３の時間帯に得られた第３の画像群の各特徴値を基に、前記押下操作の有無を判定するように構成された操作信号入力装置に係る。
【００１０】
この態様（第１の態様）の操作信号入力装置によれば、前記照明部により前記撮像領域が照明されるとともに、オペレータが押下操作のために、自身の指又は手を前記撮像領域内で移動させたときの画像（指又は手を含む撮像対象の画像）が前記撮像部によって所定の時間間隔で撮像される。尚、本発明における前記押下操作は、オペレータが指又は手を下方に移動させる押下動作によって定義づけられる操作であって、一般的にはオペレータの意思決定を伴う操作である。また、対象装置はその一例としてコンピュータが例示されるが、これに限られるものではなく、オペレータの意思によって動作又は処理するあらゆる装置が含まれる。
【００１１】
そして、撮像された各画像は前記操作信号生成部により順次処理されて、処理画像に含まれる指又は手に対応した画像から得られる特徴値を基に、押下操作の有無を判定し、押下操作が行われたと判定した時に、押下操作信号を生成する。その際、操作信号生成部は、押下操作の判定を、判定時から所定時間遡った時点までに得られた連続する複数の画像であって、直近の第１の時間帯に得られた第１の画像群、第１の時間帯よりも過去の第２の時間帯に得られた第２の画像群、及び第２の時間帯よりも過去の第３の時間帯に得られた第３の画像群の各特徴値を基に、前記押下操作の有無を判定する。
【００１２】
オペレータが指又は手を大きく上下に移動させる（揺動させる）動作（押下動作）を伴う押下操作は、押下動作の前は指先が停止した状態にあり、押下動作の後も、指又は手は停止した状態にある。したがって、1）第１の画像群の特徴値の変動が小さく、指又は手が停止した状態を示し、2)第２の画像群の特徴値の変動が大きく、指又は手が大きく移動する押下動作を示し、3)第３の画像群の特徴値の変動が小さく、指又は手が停止した状態を示す場合には、オペレータが押下操作を行ったと判定することができる。
【００１３】
斯くして、この第１の態様の操作信号入力装置によれば、オペレータが行う押下操作の動作順序に従った判定手法によって押下操作の有無を判定するようにしているので、正確に押下操作の有無を判定することができる。
【００１４】
また、本発明は、対象装置に押下操作信号を入力する装置であって、
所定の空間領域に撮像領域が設定され、該撮像領域内で移動する人の指又は手を撮像対象とする画像を所定の時間間隔で撮像する撮像部と、
前記撮像領域を照明する照明部と、
前記撮像装置により順次撮像された画像を処理して、前記押下操作信号を生成する操作信号生成部と、
前記操作信号生成部により生成された押下操作信号を前記対象装置に入力する操作信号入力部とを備えた操作信号入力装置において、
前記操作信号生成部は、指又は手に対応した画像から得られる特徴値を基に、押下操作の有無を判定し、押下操作が行われたと判定した時に、押下操作信号を生成するように構成され、
更に、前記操作信号生成部は、順次連続して得られる特徴値について、その前後の特徴値の差分を隣接特徴差分値として逐次算出するように構成されるとともに、順次得られる隣接特徴差分値について、判定時から第１の個数分だけ遡った範囲の第１のデータ群、更に第２の個数分だけ遡った範囲の第２のデータ群、更に第３の個数分だけ遡った範囲の第３のデータ群を基に、前記押下操作の有無を判定するように構成された操作信号入力装置に係る。
【００１５】
この態様（第２の態様）の操作信号入力装置によれば、第１の態様と同様にして、前記照明部により前記撮像領域が照明されるとともに、オペレータが押下操作のために、自身の指又は手を前記撮像領域内で移動させたときの画像（指又は手を含む撮像対象の画像）が前記撮像部によって所定の時間間隔で撮像される。
【００１６】
そして、撮像された各画像は前記操作信号生成部により順次処理されて、処理画像に含まれる指又は手に対応した画像から得られる特徴値を基に、押下操作の有無を判定し、押下操作が行われたと判定した時に、押下操作信号を生成する。その際、操作信号生成部は、押下操作の判定を、順次連続して得られる特徴値について、その前後の特徴値の差分を隣接特徴差分値として逐次算出するとともに、順次得られる隣接特徴差分値について、判定時から第１の個数分だけ遡った範囲の第１のデータ群、更に第２の個数分だけ遡った範囲の第２のデータ群、更に第３の個数分だけ遡った範囲の第３のデータ群を基に、前記押下操作の有無を判定する。
【００１７】
上述したように、オペレータが指又は手を大きく上下に移動させる（揺動させる）動作（押下動作）を伴う押下操作は、押下動作の前は指又は手が停止した状態にあり、押下動作の後も、指又は手は停止した状態にある。したがって、順次得られる隣接特徴差分値の内、1)第１のデータ群に含まれる隣接特徴差分値が所定の基準値よりも小さく、指又は手が停止した状態を示し、2)第２のデータ群に含まれる隣接特徴差分値が所定の基準値よりも大きく、指又は手が大きく動作する押下動作を示し、3)第３のデータ群に含まれる隣接特徴差分値が所定の基準値よりも小さく、指又は手が停止した状態を示す場合には、オペレータが押下操作を行ったと判定することができる。尚、隣接特徴差分値は指又は手の動作量に対応した指標値であり、値が大きければ指又は手が大きく移動したことを示し、値が小さければ指又は手の移動が少ないことを示す。
【００１８】
斯くして、この第２の態様の操作信号入力装置においても、オペレータが行う押下操作の動作順序に従った判定手法によって押下操作の有無を判定するようにしているので、正確に押下操作の有無を判定することができる。
【００１９】
尚、前記第２の態様において、前記操作信号生成部は、第１のデータ群の経時的な変動が第１の基準値以下であり、第２のデータ群の経時的な変動が第２の基準値を超えるピーク値を示し、前記第３のデータ群の経時的な変動が第３の基準値以下である条件の場合に、押下操作が行われたと判定するように構成されていても良い。この態様（第３の態様）の操作信号入力装置によっても、オペレータが行う押下操作の動作順序に従って押下操作の有無を判定することができるので、正確に押下操作の有無を判定することができる。
【００２０】
また、前記第２の態様において、前記操作信号生成部は、第１のデータ群の分散値が第１の基準値以下であり、第２のデータ群の経時的な変動が第２の基準値を超えるピーク値を示し、前記第３のデータ群の分散値が第３の基準値以下である条件の場合に、押下操作が行われたと判定するように構成されていても良い。この態様（第４の態様）の操作信号入力装置によっても、オペレータが行う押下操作の動作順序に従って押下操作の有無を判定することができるので、正確に押下操作の有無を判定することができる。
【００２１】
また、前記第３の態様又は第４の態様において、前記操作信号生成部は、更に、算出時から予め定められた相互に異なる第１の時間、及び第２の時間だけそれぞれ遡った時点の各特徴値の差分を中距離特徴差分値として逐次算出するとともに、算出時から予め定められた第３の時間だけそれぞれ遡った時点の特徴値と算出時の特徴値との差分を遠距離特徴差分値として逐次算出するように構成されるとともに、判定時に、前記隣接差分値が前記条件を満たし、且つ、判定時に算出された隣接特徴差分値が中距離特徴差分値及び遠距離特徴差分値以上である場合に、押下操作が行われたと判定するように構成されていても良い。隣接特徴差分値が中距離特徴差分値及び遠距離特徴差分値以上である場合には、オペレータが指又は手を移動させていると認定することができ、押下操作をより正確に判定することができる。
【発明の効果】
【００２２】
以上のように、本発明によれば、オペレータが行う押下操作の動作順序に従った判定手法によって押下操作の有無を判定するようにしているので、正確に押下操作の有無を判定することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る操作信号入力装置等の概略構成を示したブロック図である。
【図２】本実施形態の操作信号入力装置における動作及び処理のタイミングを示したタイミングチャートである。
【図３】本実施形態の特徴抽出部における処理を説明するための説明である。
【図４】本実施形態の指本数判定部における処理を説明するための説明である。
【図５】本実施形態のクリック操作判定用データ生成部における処理を説明するための説明図である。
【図６】本実施形態の指本数判定部における処理、及び操作データ記憶部に格納されるデータを説明するための説明である。
【図７】本実施形態のクリック操作判定用データ生成部における処理、及びクリック操作判定用データ記憶部に格納されるデータを説明するための説明図である。
【図８】本実施形態のクリック操作判定用データ生成部における処理、及びクリック操作判定用データ記憶部に格納されるデータを説明するための説明図である。
【図９】本実施形態のクリック操作判定用データ生成部における処理、及びクリック操作判定用データ記憶部に格納されるデータを説明するための説明図である。
【図１０】本実施形態のクリック操作判定用データ生成部における処理、及びクリック操作判定用データ記憶部に格納されるデータを説明するための説明図である。
【図１１】本実施形態のクリック操作判定用データ生成部における処理、及びクリック操作判定用データ記憶部に格納されるデータを説明するための説明図である。
【図１２】本実施形態のクリック操作判定用データ生成部における処理、及びクリック操作判定用データ記憶部に格納されるデータを説明するための説明図である。
【図１３】本実施形態のクリック操作判定用データ生成部における処理、及びクリック操作判定用データ記憶部に格納されるデータを説明するための説明図である。
【図１４】本実施形態のクリック操作信号生成部における処理を説明するための説明図である。
【図１５】本実施形態のクリック操作信号生成部における処理を説明するための説明図である。
【図１６】本実施形態の位置操作信号生成部における処理を説明するための説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。図１は、本実施形態に係る操作信号入力装置の構成を示したブロック図である。
【００２５】
図１に示すように、本例の操作信号入力装置１は、撮像部２、照明部５、操作信号生成部１０及び操作信号入力部１８から構成される。また、前記撮像部２は撮像カメラ３及びこの撮像カメラ３によって撮像された画像を取り込む画像入力部４から構成され、前記照明部５は近赤外線ランプ６及びこの近赤外線ランプ６の点灯を制御する照明制御部７から構成される。
【００２６】
また、操作信号生成部１０は、特徴抽出部１１、指本数判定部１２、クリック操作判定用データ生成部１４、クリック操作信号生成部１６、位置操作信号生成部１７、操作データ記憶部１３及びクリック操作判定用データ記憶部１５から構成される。
【００２７】
尚、前記画像入力部４、照明制御部７、特徴抽出部１１、指本数判定部１２、操作データ記憶部１３、クリック操作判定用データ生成部１４、クリック操作判定用データ記憶部１５、クリック操作信号生成部１６、位置操作信号生成部１７及び操作信号入力部１８は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを含むコンピュータから構成され、前記画像入力部４、照明制御部７、特徴抽出部１１、指本数判定部１２、クリック操作判定用データ生成部１４、クリック操作信号生成部１６、位置操作信号生成部１７及び操作信号入力部１８は、コンピュータプログラムによってその機能が実現され、後述する処理を実行する。また、操作データ記憶部１３及びクリック操作判定用データ記憶部１５はＲＡＭなどの適宜記憶媒体から構成される。尚、前記画像入力部４、照明制御部７、特徴抽出部１１、指本数判定部１２、クリック操作判定用データ生成部１４、クリック操作信号生成部１６、位置操作信号生成部１７及び操作信号入力部１８は、適宜電子回路を備えた電子ディバイスによって実現することも可能である。
【００２８】
以下、各部について説明する。
１．撮像部及び照明部
前記撮像部２は、上述したように撮像カメラ３、及びこの撮像カメラ３によって撮像された画像を取り込む画像入力部４から構成される。撮像カメラ３は所定の空間領域に撮像領域が設定されたエリアセンサカメラから成り、例えば、横方向にX列、縦方向にY行に配置された光電変換素子を有し、各光電変換素子は受光量に応じた電圧を出力する。そして、画像入力部４は撮像カメラ３の各光電変換素子から出力される電圧をそれぞれA/D変換して、X列×Y行の画素の画像データとして取り込み、取り込んだ画像データを前記特徴抽出部１１に送信する。尚、各画素が有する値は輝度値である。また、以下では、画像データの横方向をX軸とし、縦方向をY軸とする。
【００２９】
また、照明部５は、上述したように、近赤外線ランプ６及び照明制御部７から構成される。近赤外線は不可視光であり、オペレータは照明光を感じることなく、１本の指を立てた状態で、前記撮像カメラ３の撮像領域内で、指を仮想の平面内で移動させることにより、ポインタを移動させる動作（位置操作）、及び指で叩くクリック動作（クリック操作）を行うことができる。尚、ここでいう仮想の平面は、厳密な意味での平面ではなく、オペレータが位置操作の際に意識する感覚的な平面を意味している。
【００３０】
前記近赤外線ランプ６はその点灯が照明制御部７によって制御される。近赤外線ランプ６のON，OFFのタイミングと、撮像カメラ３から画像を取り込むタイミングを図２に示す。図２において、制御タイミングは、所謂クロック信号を基に、図１には図示しない制御タイミング生成部によって生成され、この制御タイミングに合わせて、各部の処理が行われる。
【００３１】
具体的には、照明制御部７は制御タイミングに合わせて近赤外線ランプ６をON，OFFし、画像入力部４は、近赤外線ランプ６のON，OFFが切り替わる前の所定時間の間に、点灯時の画像と、消灯時の画像のそれぞれを取り込む。このようにして、近赤外線ランプ６の点灯時の画像と消灯時の画像とが、画像入力部４によって順次取り込まれ、取り込まれた画像データが前記特徴抽出部１１に送信される。尚、取り込まれる画像は撮像カメラ３の撮像領域の画像であり、特徴抽出部１１における処理対象は、オペレータが指を当該撮像領域にかざした時の画像である。また、本例では、撮像カメラ３から取り込まれる画像の取り込み速度は３０［フレーム／秒（fps）］である。
【００３２】
２．特徴抽出部
前記特徴抽出部１１は、前記画像入力部４から順次入力される消灯時の画像データと、次に入力される点灯時の画像データとを一組の画像データとして処理する。上述のように、特徴抽出部１１における処理対象の画像は、オペレータが撮像カメラ３の撮像領域に指をかざした時の画像であり、消灯時の画像には、指を含む撮像対象の画像（以下、「指画像」という）が含まれていない外乱光のみの画像であり、点灯時の画像には外乱光の画像及び指画像が含まれている。特徴抽出部１１は、まず、消灯時の画像データと点灯時の画像データとの差分とることによって、指画像のみが含まれた画像データ（差分画像データ）を生成する。ついで、特徴抽出部１１は、得られた差分画像データを２値化処理するとともに、収縮処理により微小ノイズを除去して２値画像データを生成する。尚、本例では、このようにして生成する２値画像データの生成速度は１５［fps］である。
【００３３】
次に、特徴抽出部１１は、生成した２値画像データを基に、「指画像」の領域を抽出する処理を行う。図３は２値画像データを示しており、図３（ａ）は処理前の２値画像データであり、近赤外線光を受光した画素が白色となっており、それ以外の斜線を付した画素が黒色となっている。特徴抽出部１１は、この２値画像データを基に、図３（ｂ）に示すように、白色の画素にラべリング処理を施し、即ち、各白色画素を含む矩形領域（言い換えれば、白色領域に外接する矩形線によって包囲される領域）をそれぞれ設定し、次に、図３（ｃ）に示すように、距離が近い矩形領域を結合して一つの矩形領域とし、次に、図３（ｄ）に示すように、ラべリングされた各矩形領域の面積及び長さを比較して、最も大きい矩形領域を「指画像」の矩形領域として抽出する。
【００３４】
そして、特徴抽出部１１は、抽出した「指画像」に係る矩形領域の画素位置データ（即ち、X-Y座標における位置座標データ）及び前記差分画像データを基に、「指画像」に係る矩形領域の画像データ、即ち、当該矩形領域内の各画素の位置座標、及び各画素の輝度値から構成されるデータを生成し、生成した「指画像」に係る画像データを指本数判定部１２に送信する。
【００３５】
３．指本数判定部
前記指本数判定部１２は、前記特徴抽出部１１から受信した「指画像」に係る画像データを基に、まず、当該矩形領域の上端から所定幅の帯状の画像（画素）を設定し、この画像の中から「指画像」に該当する画像（画素）、即ち、「指先画像」を抽出する。次に、指本数判定部１２は、抽出した「指先画像」に係る画素群の重心位置を算出し（重心位置に対応する画素を特定し）、この重心位置の画素を中心に含む５画素×５画素の領域が抽出した「指画像」に係る領域中に存在する場合に、当該処理画像に含まれる指の本数が１本であると判定する。尚、本例において、重心位置を算出する処理は、前記特許第３３２１０５３号公報に記載された手法を含め、公知のあらゆる手法を適用することができる。
【００３６】
本発明者等が得た知見によれば、指が複数本含まれる画像の場合には、その複数本の指先に対応した画像の重心位置は、当該指先に対応した画像の外側の画素に対応する。したがって、重心位置に対応した画素が指先の領域内に在る場合には、処理画像に含まれる指の本数が１本であると判定することができる。図４に、指の本数と、上記帯状画像に含まれる「指先画像」の重心位置との関係を示している。図４（ａ）に示すように、指の本数が１本の場合には、重心画素を含む５画素×５画素の領域が「指先画像」の領域内に在る。これに対し、指の本数が２本の場合には、図４（ｂ）に示すように、重心画素を含む５画素×５画素の領域が２本の指先の間に在り、指の本数が３本の場合には、図４（ｃ）に示すように、重心画素を含む５画素×５画素の領域の一部は「指先画像」内にあるものの、他の領域は「指先画像」の外に位置している。尚、図４では、撮像対象としてオペレータの手全体の画像を含んでおり、斜線を付した領域は暗部である。
【００３７】
そして、前記指本数判定部１２は、以上のようにして、「指画像」に含まれる指の本数が１本であるか否かを判定した後、得られた指先に係る重心画素の位置座標（X座標、及びY座標）、重心画素の輝度値、並びに判定した指の本数が１本であるか否かのデータを図６に示すようなデータテーブルとして前記操作データ記憶部１３に格納するとともに、当該データ（操作データ）を格納したことを示す信号を前記クリック操作判定用データ生成部１４及び位置操作信号生成部１７に送信する。図６に示すように、指本数判定部１２によって処理されたデータが順次格納され、「判定時[0]」が最も新しい処理データであり、古い処理データは新しい処理データが蓄積される度に繰り下げられ、数字が多くなる従って古い処理データとなる。尚、後述する処理に使用しない古いデータについては、随時、破棄するようにしても良い。
【００３８】
４．クリック操作判定用データ生成部
前記クリック操作判定用データ生成部１４は、前記指本数判定部１２から操作データ記憶部１３にデータを格納したことを示す信号を受信して処理を開始し、前記操作データ記憶部１３に格納されたデータを基に、クリック操作を判定するためのデータを生成する処理を行う。
【００３９】
ところで、本発明者等の知見によると、撮像カメラ３の撮像領域においてオペレータが指を操作し、その際に得られた画像を、上述のように処理して得られる指先の重心画素の輝度値及び位置座標の変動（感度）は、撮像領域内において均一ではなく、図５に示すように、撮像カメラ３のレンズ中心付近の領域（Ａ領域）と、レンズ中心以外の領域（Ｂ領域）とで、それぞれその感度が異なっている。具体的には、座標値について見ると、レンズ中心以外のＢ領域では感度が高いが、レンズ中心付近のＡ領域では感度が低い。一方、輝度値について見ると、レンズ中心付近のＡ領域では感度が高いが、レンズ中心以外のＢ領域では感度が低い。これは撮像カメラ３の撮像領域内を近赤外線ランプ６によって均一に照明できないことや、撮像カメラ３のレンズが凸曲面をとなっていることに起因するものと思われる。
【００４０】
そこで、本例では、座標値と輝度値との二乗平均値に準じた評価値を用いてクリック操作の有無を判定するようにした。図５に示すように、この評価値を用いることで、レンズ中心付近のＡ領域及びレンズ中心以外のＢ領域の双方において、感度の良い判定を行うことができる。尚、図５では、純粋な平均値ではないが、二乗平均値に準じた評価値という意味において、平均値としている。
【００４１】
以上のような背景の下、前記クリック操作判定用データ生成部１４は、前記操作データ記憶部１３に格納されたデータを基に、図７に示した隣接特徴差分値Sdist、図８に示した中距離特徴差分値Mdist、及び図９に示した遠距離特徴差分値Ldistを算出する。
【００４２】
直近の判定時である判定時[0]における前記隣接特徴差分値Sdist[0]は、判定時[0]の画像データ（X[0]、Y[0]、Lm[0]）（特徴値）と、判定時[0]より１個前の画像データ、即ち、判定時[1]の画像データ（X[1]、Y[1]、Lm[1]）（特徴値）との差分値、即ち、変動値に相当するものであり、座標値の差分値と輝度値の差分値との二乗平均値に準じた評価値である。具体的には、判定時のSdist[0]は、以下の算出式によって算出される。
SdistDs[0]＝((X[0]-X[1])2+(Y[0]-Y[1])2)1/2
SdistLm[0]=|Lm[0]-Lm[1]|
Sdist[0]=((SdistDs[0])2+(SdistLm[0])2)1/2
ここで、SdistDs[0]は座標値に関する差分値（変動値）に相当し、SdistLm[0]は輝度値に関する差分値（変動値）に相当する。
【００４３】
また、直近の判定時である判定時[0]における前記中距離特徴差分値Mdist[0]は、判定時[0]より５個前の画像データ、即ち、判定時[5]のときの画像データ（X[5]、Y[5]、Lm[5]）（特徴値）と、判定時[0]より１１個前の画像データ、即ち、判定時[11]のときの画像データ（X[11]、Y[11]、Lm[11]）（特徴値）との差分値、即ち、変動値に相当するものであり、座標値の差分値と輝度値の差分値との二乗平均値に準じた評価値である。具体的には、判定時のMdist[0]は、以下の算出式によって算出される。
MdistDs[0]=((X[5]-X[11])2+(Y[5]-Y[11])2)1/2
MdistLm[0]=|Lm[5]-Lm[11]|
Mdist[0]=((MdistDs[0])2+(MdistLm[0])2)1/2
ここで、MdistDs[0]は座標値に関する差分値（変動値）に相当し、MdistLm[0]は輝度値に関する差分値（変動値）に相当する。
【００４４】
また、直近の判定時である判定時[0]における前記遠距離特徴差分値Ldist[0]は、判定時[0]の画像データ（X[0]、Y[0]、Lm[0]）（特徴値）と、判定時[0]より１１個前の画像データ、即ち、判定時[11]の画像データ（X[11]、Y[11]、Lm[11]）（特徴値）との差分値、即ち、変動値に相当するものであり、座標値の差分値と輝度値の差分値との二乗平均値に準じた評価値である。具体的には、判定時のLdist[0]は、以下の算出式によって算出される。
LdistDs[0]=((X[0]-X[11])2+(Y[0]-Y[11])2)1/2
LdistLm[0]=|Lm[0]-Lm[11]|
Ldist[0]=((LdistDs[0])2+(LdistLm[0])2)1/2
ここで、LdistDs[0]は座標値に関する差分値（変動値）に相当し、LdistLm[0]は輝度値に関する差分値（変動値）に相当する。
【００４５】
前記隣接特徴差分値Sdist[0]、中距離特徴差分値Mdist[0]及び遠距離特徴差分値Ldist[0]は、判定時[0]にそれぞれ算出され、図１０に示すようなデータテーブルとして前記クリック操作判定用データ記憶部１５に順次蓄積され、時間経過とともに繰り下げられ、次第に古いデータとなる。
【００４６】
また、クリック操作判定用データ生成部１４は、前記操作データ記憶部１３に格納した隣接特徴差分値Sdist[0]を基に、図１１に示した静止判定[0]、図１２に示したピーク判定[0]、図１３に示した近傍判定[0]を行い、判定結果を、図１４に示すようなデータテーブルとして前記クリック操作判定用データ記憶部１５に順次格納する。これらの判定結果も時間経過とともに繰り下げられ、次第に古いデータとなる。
【００４７】
前記静止判定[0]では、判定時[5]の隣接特徴差分値Sdist[5]〜判定時[11]の隣接特徴差分値Sdist[11]に基づいて、下式に従った分散値に相当する評価値Eaが、所定の閾値以下である場合に静止していると判定され、これを示すフラグがONとなる。一方、静止していないと判定された場合には、フラグがOFFとなる。
【数１】
2020027581.tif 000003
【００４８】
同様に、前記近傍判定[0]では、判定時[0]の隣接特徴差分値Sdist[0]、及び判定時[1]の隣接特徴差分値Sdist[1]に基づいて、下式に従った分散値に相当する評価値Ebが、所定の閾値以下である場合に近傍であると判定され、これを示すフラグがONとなる。一方、近傍でないと判定された場合には、フラグがOFFとなる。
【数２】
2020027581.tif 000004
【００４９】
また、ピーク判定[0]では、判定時[2]の隣接特徴差分値Sdist[2]〜判定時[4]の隣接特徴差分値Sdist[4]に基づいて判定され、隣接特徴差分値Sdist[3]が最大値を示す場合に、ピークが存在すると判定され、これを示すフラグがONとなる。一方、ピークが存在しないと判定された場合には、フラグがOFFとなる。
【００５０】
５．クリック操作信号生成部
前記クリック操作信号生成部１６は、前記クリック操作判定用データ生成部１４からデータ格納完了信号を受信して、クリック操作信号を生成するための処理を開始し、まず、クリック操作を判定するために使用される判定時[0]〜判定時[11]の各データが正常であるか否かを確認して、クリック操作信号を生成するか否かを決定する。
【００５１】
即ち、前記クリック操作信号生成部１６は、前記操作データ記憶部１３に格納された判定時[0]〜判定時[11]のフラグデータを参照し、判定時[0]〜判定時[11]の処理画像に指が１本で無い画像が含まれると判断される場合には、判定時[0]〜判定時[11]の各データに異常があると判定して、クリック操作信号を生成しないで処理を終了する。一方、判定時[0]〜判定時[11]の処理画像の全てが指１本の画像である場合には、判定時[0]〜判定時[11]の各データが正常であると判定して、クリック操作信号を生成する処理を続行する。
【００５２】
次に、クリック操作信号生成部１６は、以下の４条件がすべて満たされたとき、クリック操作信号を生成し、生成したクリック操作信号を操作信号入力部１８に送信する。一方、以下の４条件が満たされていないときには、クリック操作信号を生成しないで処理を終了する。
＜クリック操作信号生成条件＞
1)クリック操作判定用データ生成部１４に格納された判断時[0]における隣接特徴差分値Sdist[0]が中距離特徴差分値Mdist[0]及び遠距離特徴差分値Ldist[0]以上、即ち、Sdist[0]≧Mdist[0]、且つSdist[0]≧Ldist[0]であること。
2)静止判定[0]において静止と判定されていること。
3)近傍判定[0]において近傍と判定されていること。
4)ピーク判定[0]においてピークが存在すると判定されていること。
【００５３】
Sdist[0]≧Mdist[0]、且つSdist[0]≧Ldist[0]である場合には、指先が移動していると判断されるからである。また、クリック動作は、指先が停止した状態から下に大きく移動した後、上の元の位置に戻って、再び停止した状態となる動作である。したがって、この動作に応じた時系列に沿った隣接特徴差分値Sdist[0]を見ると、図１５に示すように、過去の判定時[5]〜判定時[11]の隣接特徴差分値Sdist[5]〜Sdist[11]を用いた静止判定[0]が静止と判定され、過去の判定時[2]〜判定時[4]の隣接特徴差分値Sdist[2]〜Sdist[4]を用いたピーク判定[0]がピーク有りと判定され、直近の隣接する隣接特徴差分値Sdist[1]及びSdist[2]を用いた近傍判定[0]が近傍であると判定されている場合に、クリック動作が行なわれたと判定することができる。
【００５４】
斯くして、このような判定手法を用いることで、人のクリック動作に則した判定を行うことができ、確実にクリック動作を認識することができる。尚、人がクリック動作に要する時間は約０．６秒程度であり、上述のように、１２フレーム分（０．８秒分）の差分画像データを用いることで、十分にクリック動作を認識することができる。
【００５５】
６．位置操作信号生成部
前記位置操作信号生成部１７は、前記指本数判定部１２からデータ格納完了信号を受信して処理を開始し、前記操作データ記憶部１３に格納されたデータを基に、位置操作信号を生成する処理を行う。
【００５６】
具体的には、位置操作信号生成部１７は、まず、前記操作データ記憶部１３に格納された判定時[0]のフラグデータを参照し、判定時[0]の処理画像に含まれる指が１本で無い場合には、判定時[0]の各データに異常があると判定して、位置操作信号を生成せずに処理を終了する。一方、判定時[0]の処理画像に含まれる指が１本である場合には、判定時[0]の各データが正常であると判定して、位置操作信号を生成する処理を続行する。
【００５７】
ついで、位置操作信号生成部１７は、操作データ記憶部１３に格納された判定時[0]の位置座標X[0]，Y[0]に基づいて、この位置座標X[0]，Y[0]に対応するディスプレイ２１の表示画面上での位置座標を算出して、算出された位置座標を位置操作信号として生成する。図１６に、撮像画像上の位置座標であるX[0]，Y[0]と、ディスプレイ２１の表示画面上での位置座標との関係を示している。
【００５８】
撮像画像上の原点(Xcr,Ycr)を(0,0)、撮像画像のX軸方向の幅をWc、Y軸方向の高さをHcとし、ディスプレイ２１の表示画面（X'軸−Y'軸）上の原点(X'dr,Y'dr)を(0,0)、当該表示画面上においてポインタを表示する表示領域の基準位置を(X'do,Y'do)、表示領域のX'軸方向の幅をWd、Y'軸方向の高さをHdとすると、撮像画像上の位置(X[0],Y[0])に対応する、ディスプレイ２１の表示画面上における位置(X'dp,Y'dp)は、以下の数式によって算出される。
X'dp=(X[0]-Xcr)×(Wd/Wc)+X'do=X[0]×(Wd/Wc)+X'do
Y'dp=(Y[0]-Ycr)×(Hd/Hc)+Y'do=Y[0]×(Hd/Hc)+Y'do
【００５９】
ディスプレイ２１の表示画面上での表示領域を画定する基準位置(X'do,Y'do)、X方向の幅をWd及びY方向の高さをHdは、操作信号入力部１８を介して前記コンピュータ２０から予め取得される。
【００６０】
この設定では、ディスプレイ２１側の基準位置(X'do,Y'do)、X'軸方向の幅をWd及びY'軸方向の高さをHdを任意に設定することで、操作信号入力装置１におけるオペレータの指先の操作を、ディスプレイ２１の表示画面上の任意の位置及び領域に対して反映させることができ、例えば、オペレータが表示画面上で操作できる領域を、特定の領域に限定することができる。
【００６１】
尚、ディスプレイ２１の表示画面全域、即ち、X'軸方向の幅をWd'、Y'軸方向の高さをHd'とする領域を表示領域とする場合には、当該表示画面における位置(X'dp,Y'dp)は、以下の数式によって算出される。
X'dp=X[0]×(Wd'/Wc)
Y'dp=Y[0]×(Hd'/Hc)
【００６２】
このようにすれば、オペレータはディスプレイ２１の表示画面全域を操作することができ、また、オペレータの指の可動範囲が小さい場合でも、可動範囲と表示画面との倍率を調整することで、表示画面全体に対して操作をすることができるようになる。
【００６３】
７．操作信号入力部
前記操作信号入力部１８は、前記クリック操作信号生成部１６からクリック操作信号が送信された場合に、受信したクリック操作信号を前記コンピュータ２０に送信し、また、前記位置操作信号生成部１７から位置操作信号が送信された場合に、受信した位置操作信号を前記コンピュータ２０に送信する処理を行う。
【００６４】
以上の構成を備えた本例の操作信号入力装置１によれば、まず、撮像カメラ３の撮像領域が近赤外線ランプ６によって照明される。尚、近赤外線ランプ６は照明制御部７による制御の下で所定の時間間隔で点灯と消灯とを繰り返している。この状態で、撮像カメラ３によって前記撮像領域の画像が撮像され、画像入力部４による制御の下、撮像画像が３０[fps]の速度で特徴抽出部１１に入力される。
【００６５】
斯くして、オペレータが、コンピュータ２０によって制御されるディスプレイ２１の表示画面上のポインタを移動させたり、コンピュータ２０にクリック操作を入力すべく、自身の指（通常は、人差し指）を１本立てた状態で、当該指を撮像カメラ３の撮像領域内で移動させ、また、クリック動作を実行すると、その画像が順次特徴抽出部１１に入力される。
【００６６】
特徴抽出部１１は、画像入力部４から順次入力される消灯時の画像データと、次に入力される点灯時の画像データとを一組の画像データとして順次処理する。具体的には、一組の画像データの差分を取る処理を行った後、得られた差分画像データを２値化処理するとともに、収縮処理により微小ノイズを除去して２値画像データを生成する。
【００６７】
次に、特徴抽出部１１は、生成した２値画像を基に、「指画像」領域に外接する矩形線によって包囲される矩形領域を抽出する。この処理は、「指画像」のX方向における最も左側の画素及び最も右側の画素、並びにY方向における最も上側の画素及び最も下側の画素を含む矩形線によって包囲される、当該矩形領域内の画素データを抽出する処理であり、簡単かつ迅速に実現することができる。
【００６８】
そして、特徴抽出部１１は、順次抽出した「指画像」に係る矩形領域の画素位置データ（即ち、X-Y座標における位置座標データ）及び前記差分画像データを基に、「指画像」に係る矩形領域の画像データ、即ち、当該矩形領域内の各画素の位置座標、及び各画素の輝度値から構成されるデータを順次生成し、生成した「指画像」に係る画像データを順次指本数判定部１２に送信する。
【００６９】
指本数判定部１２は、特徴抽出部１１から順次入力される「指画像」に係る画像データを順次処理し、まず、当該矩形領域の上端から所定幅の帯状の画像（画素）を設定して、この画像の中から「指先画像」を抽出し、抽出した「指先画像」に係る画素群の重心位置から当該処理画像に含まれる指の本数が１本である否かを判定する。そして、得られた「指先画像」に係る重心画素の位置座標（X座標、及びY座標）、重心画素の輝度値、並びに判定した指の本数が１本であるか否かの操作データを順次前記操作データ記憶部１３に格納するとともに、操作データを格納したことを示す信号をクリック操作判定用データ生成部１４及び位置操作信号生成部１７に送信する。
【００７０】
クリック操作判定用データ生成部１４は、指本数判定部１２からデータ格納完了信号を受信して、操作データ記憶部１３に格納されたデータを基に、クリック操作を判定するためのデータを生成して、前記クリック操作判定用データ記憶部１５に格納する処理を行う。その際、本例では、座標値と輝度値との二乗平均値に準じた評価値を用いてクリック操作の有無を判定するようにしたので、レンズ中心付近のＡ領域及びレンズ中心以外のＢ領域の双方において、感度の良い判定を行うことができる。
【００７１】
具体的には、クリック操作判定用データ生成部１４は、上述した隣接特徴差分値Sdist[0]、中距離特徴差分値Mdist[0]及び遠距離特徴差分値Ldist[0]を算出してクリック操作判定用データ記憶部１５に格納し、また、算出した隣接特徴差分値Sdist[0]を基に、静止判定[0]、ピーク判定[0]及び近傍判定[0]を行い、その判定結果を、クリック操作判定用データ記憶部１５に順次格納する。そして、これらのデータを格納した後、データ格納完了信号をクリック操作信号生成部１６に送信する。
【００７２】
クリック操作信号生成部１６は、クリック操作判定用データ生成部１４からデータ格納完了信号を受信後、まず、操作データ記憶部１３に格納された判定時[0]〜判定時[11]のフラグデータを参照して、クリック操作を判定するために使用される判定時[0]〜判定時[11]の各データが正常であるか否か、即ち、処理画像の全てが指１本を含む正常な画像であるか否かを確認し、正常であると確認された場合にのみ、クリック操作信号の生成処理を実行する。
【００７３】
そして、クリック操作信号生成部１６は、上述した４条件がすべて満たされたとき、クリック操作信号を生成して操作信号入力部１８に送信し、上述した４条件が満たされていないときには、クリック操作信号を生成しないで処理を終了する。
【００７４】
また、位置操作信号生成部１７は、前記指本数判定部１２からデータ格納完了信号を受信して処理を開始し、まず、操作データ記憶部１３に格納された判定時[0]のフラグデータを参照して、判定時[0]の各データが正常であるか否か、即ち、判定時[0]の処理画像が指１本を含む正常な画像であるか否かを確認し、正常であると確認された場合にのみ、位置操作信号の生成処理を実行する。
【００７５】
そして、位置操作信号生成部１７は、操作データ記憶部１３に格納された判定時[0]の指先の位置座標X[0]，Y[0]に基づいて、この位置座標X[0]，Y[0]に対応する、ディスプレイ２１の表示画面上でのポインタの位置座標を算出して、算出された位置座標を位置操作信号として生成し、生成した位置操作信号を操作信号入力部１８に送信する。
【００７６】
操作信号入力部１８は、前記クリック操作信号生成部１６からクリック操作信号が送信された場合に、受信したクリック操作信号を前記コンピュータ２０に送信し、また、前記位置操作信号生成部１７から位置操作信号が送信された場合に、受信した位置操作信号を前記コンピュータ２０に送信する処理を行う。
【００７７】
斯くして、操作信号入力部１８からコンピュータ２０にクリック操作信号が入力されると、当該コンピュータ２０においてこれが認識され、また、コンピュータ２０に位置操作信号が入力されると、当該コンピュータ２０による制御の下で、ディスプレイ２１の表示画面上に表示されたポインタの位置が、入力された位置操作信号に応じて移動する。
【００７８】
以上、本発明の一実施形態について説明したが、本発明が採り得る具体的な態様は、何ら上述したものに限定されるものではない。
【００７９】
例えば、上例では、クリック操作について例示したが、この操作は、オペレータが指又は手を下方に移動させる押下動作によって定義づけられる操作であって、一般的にはオペレータの意思決定を伴う操作であり、このクリック操作を含む一般的な概念としては押下操作と観念することができる。したがって、上例における「クリック操作」は、これを「押下操作」と置き換えることができる。
【００８０】
また、上例では、対象装置の一例としてコンピュータ２０を例示したが、これに限られるものではなく、本発明における対象装置には、オペレータの意思によって動作又は処理するあらゆる装置が含まれる。
【００８１】
また、上例では、指先の画像を基にクリック操作（押下操作）の有無を判定するようにしたが、これに限られるものではなく、指又は手の画像を基にクリック操作（押下操作）の有無を判定するようにしても良い。
【００８２】
また、上例のクリック操作信号生成部１６は、上述した静止判定及び近傍判定において、隣接特徴差分値の分散値に相当する評価値（Ea、Eb）に基づいて、それぞれ静止判定及び近傍判定を行うように構成されているが、これに限られるものではなく、静止判定において、隣接特徴差分値の変動が所定の基準値以下である場合に、静止と判定し、同様に、近傍判定において、隣接特徴差分値の変動が所定の基準値以下である場合に、近傍と判定するようにしても良い。
【００８３】
また、上例において、クリック操作信号生成部１６は、上述した1)〜4)の４つの条件が満たされたときに、クリック操作が行われたと判定するように構成されているが、これに限られるものではなく、上述した2)〜4)の３つの条件が満たされたときに、クリック操作が行われたと判定する構成されていても良い。このようにしても、実用に耐え得る精度でクリック操作の有無を判定することができる。
【００８４】
また、この場合に、クリック操作信号生成部１６は、上述した静止判定、近傍判定及びピーク判定において、隣接特徴差分値Sdistに基づいてこれを判定するように構成されているが、これに限られるものではなく、クリック操作信号生成部１６は、指先の重心画素の位置座標値、輝度値又は位置座標値と輝度値との平均値を特徴値として、その変動から静止判定、近傍判定及びピーク判定を行うようにしても良い。即ち、静止判定において、特徴値の変動値が所定の基準値以下であれば、静止であると判定し、近傍判定において、同じく特徴値の変動値が所定の基準値以下であれば、近傍であると判定し、ピーク判定において、特徴値の変動値が所定の基準値以上であれば、ピークありと判定する。尚、この場合、判断時を含むこれより前の第１の時間帯に得られた第１の画像群を基に近傍判定を行い、第１の時間帯より過去の第２時間帯に得られた第２の画像群を基にピーク判定を行い、第２の時間帯より過去の第３時間帯に得られた第３の画像群を基に静止判定を行う。
【００８５】
また、上例では、前記指本数判定部１２において、重心画素を中心に含む５画素×５画素の領域が抽出した「指画像」に係る領域中に含まれるか否かで、処理画像に含まれる指の本数が１本であるか否を判定するようにしたが、判定に用いる領域は５画素×５画素に限られるものではなく、横ｍ画素×縦ｎ画素の領域を用いても良く、或いは重心画素のみで判定しても良い。尚、ｍ，ｎは自然数である。判定に用いる領域は、狭すぎても、広すぎても不十分であり、３画素×３画素〜７画素×７画素の領域とするのが好ましい。
【符号の説明】
【００８６】
１    操作信号入力装置
２    撮像部
３    撮像カメラ
４    画像入力部
５    照明部
６    近赤外線ランプ
７    照明制御部
１０  操作信号生成部
１１  特徴抽出部
１２  指本数判定部
１３  操作データ記憶部
１４  クリック操作判定用データ生成部
１５  クリック操作判定用データ記憶部
１６  クリック操作信号生成部
１７  位置操作信号生成部
１８  操作信号入力部
【図１】
2020027581.tif 000005
【図２】
2020027581.tif 000006
【図３】
2020027581.tif 000007
【図４】
2020027581.tif 000008
【図５】
2020027581.tif 000009
【図６】
2020027581.tif 000010
【図７】
2020027581.tif 000011
【図８】
2020027581.tif 000012
【図９】
2020027581.tif 000013
【図１０】
2020027581.tif 000014
【図１１】
2020027581.tif 000015
【図１２】
2020027581.tif 000016
【図１３】
2020027581.tif 000017
【図１４】
2020027581.tif 000018
【図１５】
2020027581.tif 000019
【図１６】
2020027581.tif 000020