(57)【要約】【課題】手指の輪郭とその内部情報に基く二値テンプレート画像を用いた手指位置・形状の推定方法を提案する。【解決手段】動画像を撮影するカメラ１と、カメラ１で撮影した連続する撮影画像間での手指位置・形状の変化を推定する画像追跡部２で構成し、画像追跡部２は、前のフレームで推定した追跡対象の位置を中心に任意の範囲で局所探索のための矩形領域（ＲＯＩ：Region of Interest）を設定するＲＯＩ設定部２１と、ＲＯＩに対して空間フィルタを用いて手指の輪郭画像を抽出する輪郭抽出部２２と、ＲＯＩ内をラスタスキャンしてマッチング位置を求めるテンプレートマッチング部２３で構成する。【選択図】 図１
2015001804.tif 000002
【特許請求の範囲】
【請求項１】
取得した撮影画像に対し、手指位置・形状推定パラメータの探索初期点を決定する手段と、
探索初期点の並進成分を中心とした撮影画像内のＲＯＩを決定する手段と、
ＲＯＩに対して輪郭抽出を行い、得られた輪郭画像に対して距離マップを作成する手段と、
テンプレートマッチングにより、手指位置・形状のパラメータを推定する手段と、
を備えたことを特徴とするハンドジェスチャトラッキングシステム。
【請求項２】
前記探索初期点は、直前に取得した撮影画像で得られた推定解とすることを特徴とする請求項１記載のハンドジェスチャトラッキングシステム。
【請求項３】
前記ＲＯＩは、画像フレーム内の手指の大きさに応じて縦横の長さが決定されることを特徴とする請求項１記載のハンドジェスチャトラッキングシステム。
【請求項４】
前記輪郭抽出は、ＲＯＩの各カラー成分（ＲＧＢ）に対し空間フィルタを適用して各成分毎に勾配強度を求め、勾配強度の中で最大の値をそのピクセルの勾配強度し、最終的に得られたＲＯＩの勾配強度をある閾値で二値化してＲＯＩの輪郭画像を得ることを特徴とする請求項１記載のハンドジェスチャトラッキングシステム。
【請求項５】
前記距離マップは、輪郭画像の各ピクセルから最も近い輪郭ピクセルまでの距離を、輪郭画像の各ピクセル位置に記述したマップであることを特徴とする請求項１記載のハンドジェスチャトラッキングシステム。
【請求項６】
前記テンプレートマッチングは、テンプレート画像の手指の輪郭点をワープ関数によって変換した点の位置がＲＯＩ内の輪郭点の位置に近いほど、項の値が小さくなる輪郭評価項に、テンプレート画像の手指の輪郭内部点をワープ関数によって変換した点の位置に対応するＲＯＩ内の手の輪郭内部に輪郭が存在すればするほど、項の値が大きくなるペナルティ項を付加して目的関数化したことを特徴とする請求項１記載のハンドジェスチャトラッキングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器の前面にかざした手指を用いて操作を行う入力システムの実現に向けた、多様に運動する手指を追跡するハンドジェスチャトラッキングシステムに関する。
【背景技術】
【０００２】
カメラで手指を撮影した場合、手指の他に背景や操作者の顔や衣服などが写り込むことが予想される。それにより、手指の認識が困難になる。さらに、低スペックなスマートＴＶのＣＰＵでこのようなシステムを実現するためには認識処理の軽量化が要求される。また、想定している入力システムはポインティングデバイスであり、大雑把な認識で十分なジェスチャ入力システムと違い、高い応答性と位置精度が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
解決しようとする問題点は以上の点であり、本発明は、手指の輪郭とその内部情報に基く二値テンプレート画像を用いた手指位置・形状の推定方法を提案することを目的になされたものである。
【課題を解決するための手段】
【０００４】
そのため本発明は、取得した撮影画像に対し、手指位置・形状推定パラメータの探索初期点を決定する手段と、探索初期点の並進成分を中心とした撮影画像内のＲＯＩを決定する手段と、ＲＯＩに対して輪郭抽出を行い、得られた輪郭画像に対して距離マップを作成する手段と、テンプレートマッチングにより、手指位置・形状のパラメータを推定する手段とを備えたことを最も主要な特徴とする。
【発明の効果】
【０００５】
本発明は、各撮影画像から逐次手指を検出する検出ベースの手法ではなく、連側する撮影画像間での手指位置・形状の変化に基いてそれらを推定する追跡ベースな手法であることを特徴としており、手指周囲の領域のみで処理を行うことで。高い応答性と位置精度を確保できる。
【０００６】
各撮影画像における手指の位置・形状の推定には処理領域の輪郭情報と手指内部に相当する領域での輪郭有無の情報を用いる。それにより、複雑な状況下においても正確な手指位置・形状の推定が可能となる。また、推定のための評価関数は、処理領域の輪郭情報から得られる輪郭点とテンプレートの輪郭点間の距離から構成されており、反復解法に適した滑らかな関数となる。従って、推定解に速く収束し高速性が確保される。このように、本発明は、スマートＴＶへの実装に要求される頑健性と高速性を兼ね備え、かつポインティングデバイスに要求される高い応答性と位置精度を実現した手法となっている。
【図面の簡単な説明】
【０００７】
【図１】本発明を実施したハンドジェスチャトラッキングシステムのブロック図である。
【図２】ハンドジェスチャトラッキングシステムのフローチャートである。
【図３】ＲＯＩの設定方法の説明図である。
【図４】輪郭抽出方法の説明図である。
【図５】手指のテンプレート画像の説明図である。
【図６】マッチングの様子の説明図である。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について説明する。
【０００９】
図１に、本発明を実施したハンドジェスチャトラッキングシステムのブロック図を示す。
ハンドジェスチャトラッキングシステムは、動画像を撮影するカメラ１と、カメラ１で撮影した連続する撮影画像間での手指位置・形状の変化を推定する画像追跡部２で構成し、画像追跡部２は、前のフレームで推定した追跡対象の位置を中心に任意の範囲で局所探索のための矩形領域（ＲＯＩ：Region of Interest）を設定するＲＯＩ設定部２１と、ＲＯＩに対して空間フィルタを用いて手指の輪郭画像を抽出する輪郭抽出部２２と、ＲＯＩ内をラスタスキャンしてマッチング位置を求めるテンプレートマッチング部２３で構成する。
【００１０】
図２に、ハンドジェスチャトラッキングシステムのフローチャートを示す。
処理の流れは、まず、取得した撮影画像に対し、手指位置・形状推定パラメータの探索初期点を決定する（step1）。
【００１１】
ここで、ある時点において取得した撮影画像をフレームｋとすると、その直前に取得した撮影画像はフレームｋ−１で表わされる。フレームｋでの手指位置・形状推定パラメータの探索初期点はフレームｋ−１で得られた推定解とする。想定した入力システムを手指で操作する場合、極端に早い手の動きは現実的ではないので、フレーム間での手指位置・形状の変化はそれほど大きくないと仮定しても問題はないと考えられる。従って、このように決定された推定パラメータの探索初期点とフレームｋでの推定解は、探索空間内において互いに近い位置に存在し、初期点の推定解への収束速度は速くなる。これにより近傍領域を効率的に探索することができる。
【００１２】
次に、探索初期点の並進成分を中心とした撮影画像内のＲＯＩを決定する（step２）。
ここで、フレームｋでの推定パラメータの探索初期点をＰk＝（ｔｘk、ｔｙk、ｓk、θk）Tとする。ただし、ｔｘkとｔｙkはそれぞれ水平と垂直の並進成分であり、ｓkとθkはそれぞれ倍率（スケール）と回転角の成分である。フレームｋ内のピクセル位置（ｔｘk、ｔｙk）を中心として、適当な大きさのＲＯＩを設定する。具体的には、フレーム内の手指の大きさに応じてＲＯＩの縦横の長さが決定されるようにしている（図３を参照）。このように、追跡対象物（手指）の移動は平行移動のみでなく、回転やスケール変化を考慮する。
【００１３】
次に、ＲＯＩに対して輪郭抽出を行い、得られた輪郭画像に対して距離マップを作成する（step３）。
ここで、ＲＯＩに対する輪郭抽出は基本的にSobelフィルタを用いて行っている。具体的には、ＲＯＩの各カラー成分（ＲＧＢ）に対しSobelフィルタを適用し、各成分毎に勾配強度を求める。そして、ＲＯＩの各ピクセルについて、上記で求めた各成分の勾配強度の中で最大の値をそのピクセルの勾配強度とする。最終的に得られたＲＯＩの勾配強度をある閾値で二値化し、ＲＯＩの輪郭画像を得る（図４を参照）。
ＲＯＩの輪郭画像に対する距離マップとは、輪郭画像の各ピクセルから最も近い輪郭ピクセルまでの距離を、輪郭画像の各ピクセル位置に記述したマップである。輪郭ピクセルでの距離マップ上の値は０となり、輪郭ピクセルから遠いピクセルほど距離マップ上の値は大きくなる。
【００１４】
次に、テンプレートマッチングにより、手指位置・形状のパラメータを推定する（step４）。ここで、手指の位置・形状の推定は、二値化した手指のテンプレート画像を用いたマッチングにより行う。まず、テンプレート画像内の手指の輪郭点と手指内部点の位置を記録し、それらの集合をそれぞれＯＵＴ，ＩＮとする（図５を参照）。
マッチングの評価関数は次の数式（１）のように構成する。
数式（１）
【数１】
2015001804.tif 000003
ただし、
【数２】
2015001804.tif 000004
は推定パラメータ、ＩＤは距離マップ、Ｗはワープ関数であり、
【数３】
2015001804.tif 000005
で表される。
Ｒ（θ）はθに関する回転行列である。
【数４】
2015001804.tif 000006
これを最小にするようなパラメータＰを推定する。数式（１）の第１項は手指の輪郭評価項であり、テンプレート画像の手指の輪郭点をワープ関数によって変換した点の位置がＲＯＩ内の輪郭点の位置に近いほど、この項の値は小さくなる。数式（１）の第２項は手指内部のペナルティ項であり、テンプレート画像の手指内部点をワープ関数によって変換した点の位置に対応するＲＯＩの輪郭画像内の位置に輪郭が存在すればするほど、この項の値は大きくなる。本来、手指の内部には輪郭は存在しないと考えられるので、そこに相当する領域に輪郭が多く存在すれば、それは手指ではないと判定される。これにより、複雑な状況下においてもある程度正確に手指の位置・形状の推定が可能となる。評価関数の最小化は勾配法により行う。図６にマッチングの様子を示す。
評価関数は、ＲＯＩの輪郭点とテンプレートの輪郭点間の距離から構成されており、滑らかな関数となる。従って、この評価関数は反復解法に適しており、少ない反復回数で推定解に収束する。
【００１５】
最後に、次の撮影画像を取得し、step1に戻る。
【００１６】
以上のような構成で、まず、手指の初期検出は、撮影画像内の決められた範囲内に手指をかざすことにより行う。この範囲内では、ランダムに推定パラメータが選択され、絶えずマッチングスコアを数式（１）により算出しており、範囲内に手指が存在すれば算出されるマッチングスコアは小さい値となる。このマッチングスコアがある閾値を下回れば手指が検出されたと判定され、手指の追跡が始まる。
【００１７】
また、連続する数枚の撮影画像に対し追跡失敗の判定がされた場合、手指追跡は失敗と判断され手指の初期検出に戻る。手指追跡の成否判定も、マッチングスコアにより行い、その値がある閾値を上回ったら追跡失敗と判定する。
【符号の説明】
【００１８】
１ カメラ
２画像追跡部
２１  ＲＯＩ設定部
２２  輪郭抽出部
２３  テンプレートマッチング部
【図１】
2015001804.tif 000007
【図２】
2015001804.tif 000008
【図３】
2015001804.tif 000009
【図４】
2015001804.tif 000010
【図５】
2015001804.tif 000011
【図６】
2015001804.tif 000012