(57)【要約】【課題】コンピュータに極力負荷を掛けないで非接触入力を行うことができる３次元非接触入力装置を提供する。【解決手段】コンピュータ１に操作者の動作を送信する３次元非接触入力装置１０であって、異なる位置から操作者側に向けられた複数のカメラ１１，１２と、複数のカメラ１１，１２から得られた取得画像１００に基づいて操作者の特定部位１０２の情報を送信する処理部１３とを有しており、処理部１３は、複数のカメラ１１，１２から得られた取得画像１００から深度画像１０２を形成する深度画像形成部２１と、当該深度画像１０２に基づいて、複数のカメラ１１，１２に対して所定距離にある特定部位１０２の座標認識及び形状認識を行う物体認識部２３と、を有しており、物体認識部２３で得られた特定部位１０２の座標及び形状の情報をコンピュータ１に送信可能となっている。【選択図】図２
2017162251.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに操作者の動作を送信する３次元非接触入力装置であって、
異なる位置から前記操作者側に向けられた複数のカメラと、
前記複数のカメラから得られた取得画像に基づいて前記操作者の特定部位の情報を送信する処理部とを有しており、
前記処理部は、
前記複数のカメラから得られた前記取得画像から深度画像を形成する深度画像形成部と、
当該深度画像に基づいて、前記複数のカメラに対して所定距離にある前記特定部位の座標認識及び形状認識を有する物体認識処理を行う物体認識部と、
を有しており、
該物体認識部で得られた前記特定部位の座標及び形状の情報を前記コンピュータに送信可能となっていることを特徴とする３次元非接触入力装置。
【請求項２】
前記処理部には、前記深度画像生成部で得られた前記深度画像における所定距離から外れる深度の画像を消去するフィルタ処理を行う画像前処理部を有することを特徴とする請求項１に記載の３次元非接触入力装置。
【請求項３】
前記物体認識部は、初回は前記画像全体を対象に前記物体認識処理を行い、２回目からは前記物体認識部における前回の前記物体認識処理で得られた前記特定部位の周辺の所定範囲のみを対象に前記物体認識処理を行うことを特徴とする請求項１又は２に記載の３次元非接触入力装置。
【請求項４】
前記物体認識部は、前記画像と予め蓄積されたテンプレート画像とを比較して前記物体認識処理を行うようになっていることを特徴とする請求項１乃至３の何れか１項に記載の３次元非接触入力装置。
【請求項５】
前記処理部には、前記物体認識部で得られた前記特定部位について、座標平均化及び移動カーブ調整を行う画像後処理部を有することを特徴とする請求項１乃至４の何れか１項に記載の３次元非接触入力装置。
【請求項６】
前記コンピュータに対して、ＵＳＢ規格のＨＩＤクラスとして認識、動作させるようになっていることを特徴とする請求項１乃至５の何れか１項に記載の３次元非接触入力装置。
【請求項７】
前記複数のカメラと前記処理部とが一体物で構成されていることを特徴とする請求項１乃至６の何れか１項に記載の３次元非接触入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元非接触入力装置に関し、特に、複数のカメラを有する３次元非接触入力装置に関する。
【背景技術】
【０００２】
従来、操作者の動きをカメラやセンサで捉えて、その情報を基に表示装置やマウスやキーボードに触れずに所定の入力を行う非接触入力システムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１０４２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記した特許文献１のような従来のものは、カメラ等で撮影された画像がコンピュータに送られ、当該コンピュータで画像処理されて入力情報が計算されて位置等が特定されるようになっていた。そのため、他の処理も行っているコンピュータに対する負荷が大き過ぎるという問題が生じていた。
【０００５】
本発明は上記の問題に鑑みてなされたものであり、コンピュータに極力負荷を掛けないで非接触入力を行うことができる３次元非接触入力装置を提供することを課題としている。
【課題を解決するための手段】
【０００６】
かかる課題を解決するために、請求項１に記載の発明は、コンピュータに操作者の動作を送信する３次元非接触入力装置であって、異なる位置から前記操作者側に向けられた複数のカメラと、前記複数のカメラから得られた取得画像に基づいて前記操作者の特定部位の情報を送信する処理部とを有しており、前記処理部は、前記複数のカメラから得られた前記取得画像から深度画像を形成する深度画像形成部と、当該深度画像に基づいて、前記複数のカメラに対して所定距離にある前記特定部位の座標認識及び形状認識を有する物体認識処理を行う物体認識部と、を有しており、該物体認識部で得られた前記特定部位の座標及び形状の情報を前記コンピュータに送信可能となっている３次元非接触入力装置としたことを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の構成に加え、前記処理部には、前記深度画像生成部で得られた前記深度画像における所定距離から外れる深度の画像を消去するフィルタ処理を行う画像前処理部を有する３次元非接触入力装置としたことを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項１又は２に記載の構成に加え、前記物体認識部は、初回は前記画像全体を対象に前記物体認識処理を行い、２回目からは前記物体認識部における前回の前記物体認識処理で得られた前記特定部位の周辺の所定範囲のみを対象に前記物体認識処理を行う３次元非接触入力装置としたことを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項１乃至３の何れか１項に記載の構成に加え、前記物体認識部は、前記画像と予め蓄積されたテンプレート画像とを比較して前記物体認識処理を行うようになっている３次元非接触入力装置としたことを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項１乃至４の何れか１項に記載の構成に加え、前記処理部には、前記物体認識部で得られた前記特定部位について、座標平均化及び移動カーブ調整を行う画像後処理部を有することを特徴とする。
【００１１】
また、請求項６に記載の発明は、請求項１乃至５の何れか１項に記載の構成に加え、前記コンピュータに対して、ＵＳＢ規格のＨＩＤクラスとして認識、動作させるようになっている３次元非接触入力装置としたことを特徴とする。
【００１２】
また、請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の構成に加え、前記複数のカメラと前記処理部とが一体物で構成されている３次元非接触入力装置としたことを特徴とする。
【発明の効果】
【００１３】
請求項１に記載の発明によれば、複数のカメラからの取得画像から深度画像を形成し、当該深度画像に基づいて特定部位の座標認識と形状認識を行った上で、得られた情報をコンピュータに送信するようになっているため、コンピュータ側の負荷を極力軽減させることができ、スムーズな非接触入力を行うことができる。
【００１４】
請求項２に記載の発明によれば、深度画像から非接触入力に不必要と考えられる部分を消去することができるため、確実かつ早く特定部位の認識を行うことができる。
【００１５】
請求項３に記載の発明によれば、２回目の物体認識処理からは１回目の物体認識処理で得られた特定部位の周辺のみを対象に処理を行うようになっているため、確実かつより早い処理を行うことができる。
【００１６】
請求項４に記載の発明によれば、特定部位の座標認識と形状認識を予め蓄積されたテンプレート画像との比較で行うようになっているため、より確実な認識力を発揮することができる。
【００１７】
請求項５に記載の発明によれば、認識された特定部位について座標平均化及び移動カーブ調整を行うため、特定部位の動きをスムーズなものに導くことができる。
【００１８】
請求項６に記載の発明によれば、特別なドライバ等が不要な汎用性のある規格でコンピュータに接続して使用することができる。
【００１９】
請求項７に記載の発明によれば、複数のカメラと処理部とが一体物で構成されているため、コンパクトな構成の装置で非接触入力を行うことができる。
【図面の簡単な説明】
【００２０】
【図１】この発明の実施の形態の３次元非接触入力装置とこれを繋げたコンピュータを示す概略図である。
【図２】同実施の形態の３次元非接触入力装置のブロック図である。
【図３】同実施の形態の３次元非接触入力装置において（ａ）カメラで撮影した取得画像の例と、（ｂ）（ａ）の取得画像から形成した深度画像の例と、（ｃ）（ｂ）の深度画像から形成した特定画像の例を示す説明図である。
【発明を実施するための形態】
【００２１】
以下、この発明の実施の形態について、図面を参照して詳細に説明する。
【００２２】
図１〜図３には、この発明の実施の形態を示す。
【００２３】
この実施の形態の３次元非接触入力装置１０は、図１に示すように、コンピュータ１に繋がれており、３次元非接触入力装置１０の前で所定の動作を行うことで、当該コンピュータ１に非接触で入力を行うものとなっている。
【００２４】
まず、コンピュータ１について説明する。この実施の形態では、コンピュータ１は表示装置２と繋がれており、コンピュータ１からの出力信号により表示装置２に表示がなされるようになっている。また、このコンピュータ１には、外部端子としてＵＳＢ規格の端子４が配設されている。
【００２５】
次に、この実施の形態の３次元非接触入力装置１０について説明する。この３次元非接触入力装置１０は、左右２つのカメラ１１，１２と処理部１３が内蔵された本体部１６とで構成されている。また、本体部１６からコード１４が出ており、その先端にＵＳＢの端子１５が設けられている。そして、この端子１５がコンピュータ１の端子４に差し込まれるようになっている。
【００２６】
また、この実施の形態のカメラ１１，１２は、所定の画素数を有するものが、左右に所定距離離間させた状態で取り付けられている。ここでは、２つのカメラ１１，１２がそれぞれ正面を向いた状態で固定されている。ここで、２つのカメラ１１，１２で撮影された取得画像１００（図３（ａ）参照）は信号となって、本体部１６の中の処理部１３に送信される。
【００２７】
この実施の形態の処理部１３は、複数のカメラ１１，１２から送られてきた取得画像１００（図３（ａ）参照）を処理してコンピュータ１に座標認識データと形状認識データにして送り出すものである。この処理部１３は、図２に示すように、深度画像生成部２１、画像前処理部２２、物体認識部２３、画像後処理部２４、デバイス適合部２５を有する構成となっている。以下、詳述する。
【００２８】
深度画像生成部２１は、図３（ａ）に示すような左右２つのカメラ１１，１２の取得画像１００からステレオマッチング法により図３（ｂ）に示すような深度画像１０１を形成するものである。ここでは、三角測量の原理を使って、左右２枚の画像間に生じる視差を求めて、それを距離に変換するようになっている。その結果、図３（ｂ）に示すような、画像の手前ほど白く、画像の奥側になるほど黒くなる深度画像１０１が形成される。
【００２９】
また、画像前処理部２２は、前記した深度画像１０１を使ってフィルタ処理を行うものである。ここでは、図３（ｂ）に示すような深度画像１０１のうち、カメラ１１，１２に対して所定距離より距離の長い部分（ここでは特定部位１０２以外の部分）を真っ黒に塗りつぶして、図３（ｃ）に示すように、注目すべき特定部位１０２以外を消した特定画像１０３を形成するようになっている。
【００３０】
また、物体認識部２３は、物体認識処理を行うものである。具体的には、まず、画像前処理部２２でフィルタ処理された特定画像１０３を、Ｈａａｒ−Ｌｉｋｅ特徴アルゴリズムにより物体の形状認識を行う。形状認識が成功した場合は、当該物体の座標と大きさ（ｘ，ｙ，ｚ，ｈ）を結果として出力するようになっている。ここでは、複数（例えば、数百種類）のテンプレートデータ（テンプレート画像）を予め蓄積しておき、このテンプレートデータの全てと当該特定画像１０３とを比較することで、種々の形状を確実に認識可能となっている。ここでは、特定部位１０２として手の画像を認識するようになっており、手の形状がどのようになっているか（例えば、グー、チョキ、パーの形状をしているか等）をテンプレートデータと比較して認識し、当該認識した特定部位１０２の代表位置（例えば、テンプレートデータにおける重心位置や中央位置等）の座標及び大きさを測定するようになっている。
【００３１】
また、ここでは、一連の取得画像１００を初めて撮影したときの物体認識処理では、送信された特定画像１０３の全てを見て、特定部位１０２の形状認識及び座標認識を行うようになっている。また、一連の取得画像１００を撮影して処理する２回目以降については、前回の物体認識処理で形状認識及び座標認識された特定部位１０２の周辺の所定範囲以外は見ないようにして、時間短縮を図るようになっている。
【００３２】
また、画像後処理部２４は、座標認識及び形状認識された特定部位１０２の動きがスムーズになるように調整するために、座標平均化と移動カーブ調整を行うものである。
【００３３】
また、デバイス適合部２５は、前記した深度画像形成部２１〜画像後処理部２４で得られた特定部位１０２の座標認識及び形状認識の情報をＵＳＢ規格のＨＩＤクラスのデータにして出力するものである。
【００３４】
そして、２つのカメラ１１，１２から処理部１３に送られた取得画像１００を、深度画像生成部２１，画像前処理部２２，物体認識部２３，画像後処理部２４，デバイス適合部２５の順に処理を行って得られた特定部位１０２の座標認識及び形状認識のＵＳＢ規格のＨＩＤクラスの情報を、コンピュータ１に送信するようになっている。
【００３５】
そして、この情報を受け取ったコンピュータ１は、通常のマウスやキーボードからの情報と同様の処理のみを行って、表示装置２に表示指示を出すものである（例えば、カーソル３を移動させ、クリック状態とする等）。
【００３６】
なお、この２つのカメラ１１，１２での撮影処理からデバイス適合部２５でのＵＳＢ規格のＨＩＤクラスのデータにする処理までは、所謂パイプライン処理化しており、画像取得からＵＳＢ出力までをオートマチックで次々と行うようになっている。これにより、処理時間の短縮を図るようになっている。
【００３７】
以上のように、前記した実施の形態の３次元非接触入力装置１０によれば、複数のカメラ１１，１２からの取得画像１００から深度画像１０１を形成し、当該深度画像１０１に基づいて特定部位１０２の座標認識と形状認識を行った上で、得られた情報をコンピュータ１に送信するようになっているため、コンピュータ１側の負荷を極力軽減させることができ、スムーズな非接触入力を行うことができる。
【００３８】
また、前記した実施の形態の３次元非接触入力装置１０によれば、画像前処理部２２のフィルタ処理によって、深度画像１０１から非接触入力に不必要と考えられる部分を消去することができるため、確実かつ早く特定部位１０２の認識を行うことができる。
【００３９】
また、前記した実施の形態の３次元非接触入力装置１０によれば、２回目の物体認識部２３の物体認識処理からは１回目の物体認識部２３の物体認識処理における座標認識及び形状認識で得られた特定部位１０２の周辺のみを対象に処理を行うようになっているため、確実かつより早い処理を行うことができる。
【００４０】
また、前記した実施の形態の３次元非接触入力装置１０によれば、特定部位１０２の座標認識と形状認識を予め蓄積されたテンプレートデータ（テンプレート画像）との比較で行うようになっているため、より確実な認識力を発揮することができる。
【００４１】
また、前記した実施の形態の３次元非接触入力装置１０によれば、認識された特定部位１０２について座標平均化及び移動カーブ調整を行うため、特定部位１０２の動きをスムーズなものに導くことができる。
【００４２】
また、前記した実施の形態の３次元非接触入力装置１０によれば、特別なドライバ等が不要な汎用性のあるＵＳＢ規格のＨＩＤクラスでコンピュータ１に接続して使用することができる。
【００４３】
また、前記した実施の形態の３次元非接触入力装置１０によれば、複数のカメラ１１，１２と処理部１３とが一体物で構成されているため、コンパクトな構成の装置で非接触入力を行うことができる。
【００４４】
また、前記した実施の形態の３次元非接触入力装置１０によれば、操作者の手の形やその動き、片手か両手かなど、多種多様な動作に応じてそれぞれ異なる操作を設定できるため、マウス等よりも多種多様な操作信号を設定することができる。
【００４５】
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。
【００４６】
例えば、前記した実施の形態では、複数のカメラ１１，１２と処理部１３が一体物となっていたが、これに限るものではなく、カメラ１１，１２同士や処理部１３がそれぞれ独立して離れた位置に配置されていても良い。但し、一体物の方が持ち運びや取り付けの手間は楽になるものである。
【００４７】
また、前記した実施の形態では、２つのカメラ１１，１２が正面を向いた状態で取り付けられていたが、これに限るものではなく、一方又は双方が角度を付けて設置されていても良い。また、カメラの数も２つに限るものではなく、３つ以上設置されていても良い。また、カメラの性能や大きさ等も必要に応じて適宜設定されていれば良い。カメラの画素数、解像度が高い状態であればそれだけ小さな細かいものを特定部位として認識できるようになり、カメラの画素数、解像度が低い状態であればそれだけ動作を速くさせることができるものである。
【００４８】
また、前記した実施の形態では、２つのカメラ１１，１２が左右に離間した形で配置されていたが、これに限るものではなく、深度画像が形成できる状態であれば、上下や斜め等、適宜の方向で離間していても良い。ただし、ほとんど離間していない状態であると深度画像が作成し難いので適さない。
【００４９】
また、前記した実施の形態では、２つのカメラ１１，１２から処理部１３に送られた取得画像１００に対して、深度画像生成部２１，画像前処理部２２，物体認識部２３，画像後処理部２４，デバイス適合部２５の順に処理を行ったが、これに限るものではなく、画像や処理の仕方、最終的に得るデータ形式等によっては、画像前処理部や画像後処理部、デバイス適合部等の処理はなくても良い場合もある。ただし、深度画像形成部と物体認識部の処理は省略できないものである。
【００５０】
また、前記した実施の形態では、物体認識処理において、Ｈａａｒ−Ｌｉｋｅ特徴アルゴリズムにより物体の形状認識を行うものを例に説明したが、これに限るものではなく、他のアルゴリズムによる物体認識処理を行うようになっていても良い。また、予め蓄積された複数のテンプレートデータと画像とを比較する形状認識の仕方以外の方法で形状認識を行うようになっていても良い。
【符号の説明】
【００５１】
１  コンピュータ
２  表示装置
３  カーソル
４  端子
１０  ３次元非接触入力装置
１１  左カメラ
１２  右カメラ
１３  処理部
１４  ケーブル
１５  端子
１６  本体部
２１  深度画像生成部
２２  画像前処理部
２３  物体認識部
２４  画像後処理部
２５  デバイス適合部
１００  取得画像
１０１  深度画像
１０２  特定部位
１０３  特定画像
【図１】
2017162251.tif 000003
【図２】
2017162251.tif 000004
【図３】
2017162251.tif 000005