(57)【要約】【課題】    本願はディスプレー付きの眼鏡などに取り付けられたカメラで指先動作によるコマンドを入力するためのものである。演算量の軽い固定カメラを前提とする前景分離法を導入し、前景を１、背景を０とする2値画にする演算量の少ない方法を提案する。通常は、ユーザの無意識な頭のブレや回転で生じるカメラの移動が余分な前景部分を発生する。  【解決手段】本発明の方法は上記前景分離を行う第1のパスにより得られた2値画像と、別途カメラからの映像を空間低域フィルタを通した後に上記と同じ前景分離を施して、同様に2値化した前景分離画像とする第2のパスを設け、第1のパスの結果と第2のパスの結果を論理AND部に通し、この結果を真の前景分離結果とする動画装置である。【選択図】図１
2019121150.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラからの信号を混合ガウス分布による前景分値を行ない前景領域と背景領域の2値画像とする第1のパスと、上記ビデオカメラからの信号を空間低域通過フィルタに通した後に混合ガウス分布による前景分離を行い2値化する第2のパスと、第1および第2のパスからの前景領域の共通部分を真の前景画像とすることを特徴とする動画像処理装置。
【請求項２】
ビデオカメラからの信号を混合ガウス分布による前景分値を行ない前景領域と背景領域の2値画像とする第1のパスと、上記ビデオカメラからの信号を空間低域通過フィルタに通した後、画素値を間引いて画面の大きさを小さくする画素間引処理部を介して小画面化した画像の前記前景分離を行って2値化し、この2値画像を元の大きさの画面に拡大する操作を施す第2のパスとの論理ＡＮＤを行って真の前景２値画像を得る低演算量化することを特徴とする動画処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関する。特に、本発明は眼鏡等に取り付けられたカメラから目の前に出された指の動作を認識するジェスチャー入力端末を実現するものである。
【背景技術】
【０００２】
映像による監視やジェスチャー入力システムでは、すでにマイクロソフト社からゲーム機のジェスチャー入力システムとして、多数の赤外線スポットビームを前面に投射し、反射赤外線ビームを2台のカメラを用いて受光し、その受光位置よりカメラからスポットビームの反射位置までの距離を測定するKinectが販売している。
【０００３】
ただし、赤外線を用いる場合の問題として、屋外など太陽光の下では自然界の赤外線が存在し、余分な赤外線の存在が誤動作を起こす原因となる。屋内でも窓に近い場所や、ヒーターなどの赤外線を発する熱源機器のある部屋では使用できない。
【０００４】
一方、画像処理により動きを追跡する方法としては、一時自動運転補助システムに使おうとしたオプティカル・フロー技術が有名である。しかし、この処理は１フレーム前の複数画素を用い、次フレームの対応画素が同じ値を持つはずであるという仮定の下に、それぞれの画素がどこに移ったかを調べなくてはならず、そのような画素の集合から「どちらの向きにどの程度移動したか」という情報を画面全体での流れから見出す必要がある。このため、撮影フレーム画面の2次元計測結果より３次元空間の縦、横、深さ方向の移動状況を計算しなければならず、このため、演算量も膨大になる。よって、専用ハードウェアや汎用グラフィックプロセッサ（GPGPU)などの高価なLSIを使用して計算する必要がある。一般に、眼鏡等に付加して用いるウェアラブル端末カメラに応用したい場合は組み込みマイコンの使用が好ましいが、一般的な組み込みマイコンでは演算量が膨大になり、実行できない。
【０００５】
演算量が少なく、正しいジェスチャーの動きを検出する方法として、カメラを利用時間帯には固定し、このカメラが捕えた映像から動きのない画素を背景に属する画素として取り除き、動きのある画素のみを抽出して動きのある前景物体とする混合ガウスモデルを用いた前景抽出法も有名である。この方法では、映像を構成する個々の画素のＲ、Ｇ、Ｂ色成分を特徴量として用い、この特徴量から各画素が前景に属するか背景に属するかを判定し、背景領域を取り除いて前景を抽出する。つまり、すべての画素ごとに、光の微小な時間的な強弱変動の影響を無視して背景を識別する方法である。
【０００６】
この方法は、各画素の入力色成分毎に複数個の背景ガウス分布を設け、個々の画素が背景に属するか否かをガウス分布で判別し、Ｒ、Ｇ，Ｂの入力が全て背景ガウス分布に属する場合を背景画素とする。それ以外を前景画素とする。すなわち、ある画素のＲ、Ｇ、Ｂ成分が一つの色成分でもその色の背景ガウス分布に属さない場合を前景画素とする。すべての前景画素を集めると前景領域が得られる。
【０００７】
各画素単位でＲ、Ｇ、Ｂの色成分を特徴量とし、個々の特徴量に対して各画素に予め設けた複数個の背景ガウス分布を持たせる理由は以下の通りである。いかなる背景画素であっても、画素に入力される光の強さは一定ではなく、変動するのが常である。しかし、その変動を１個のガウス分布と仮定すると、そのガウス分布では平均値を中心にした標準偏差の2倍程度の範囲での変動をそのガウス分布に属するとするため、入力画素各々が背景画素として許容できる範囲を狭くする。このため、標準偏差をある程度狭くする。逆に、標準偏差の許容範囲を狭めすぎると、ほとんど背景ガウス分布に属さなくなる。このため、各画素のＲ，Ｇ，Ｂ特徴量に対して標準偏差の小さいガウス分布を複数個設け、画素のＲ、Ｇ、Ｂの色ごとに複数の背景ガウス分布を割り当てる。よって、ある画素が前景画素となるのは、色特徴量ごとに用意した複数個の背景ガウス分布に含まれない場合が一つでもある場合である。この方法では、入力画素値が各画素の背景ガウス分布に包含されるか否かの判定だけで、背景を構成する画素を検出でる。オプティカル・フローと比べると圧倒的に少ない演算量で正確な前景分離ができる。
【０００８】
また、混合ガウスモデルによる前景分離法では、性能を高めるため、背景ガウス分布の更新を常時行っている。あるフレーム時刻のある画素の入力特徴量が、その画素の背景ガウスに包含される場合は、包含した背景ガウス分布の平均値の値と標準偏差の値を現在の入力特徴量に適合するように、背景ガウス分布の平均値と標準偏差を微少量調整し、今後の検出精度を高めている。要は、入力特徴量を包含する背景ガウス分布の平均値と分散を、現状入力に近づけるように微修正する。入力特徴量を包含しない分布は現状のままにする。
【０００９】
また、どの背景ガウス分布にも属さない場合は、新しい位置に背景ガウス分布の芽を作り、この芽の近辺に、それ以降の入力が多く集まる場合には、複数ある背景ガウス分布のうち、最も使用回数が少ない背景ガウスモデルを削除して、先述した芽を中心にした新しいガウス分布をこの代わりに使うことも行われる。
【００１０】
まとめると、毎フレームごとに、各画素1個に対してＲ、Ｇ、Ｂの3種類の色に複数の背景ガウス分布を用意して前景画素か背景画素か判断する。同時に、その画素の各Ｒ、Ｇ、Ｂに属する背景ガウス分布モデルを更新する。その更新法は、その時点に合わせてガウス分布の平均や標準偏差の範囲を変更させる。使われなくなった背景モデルは、最近の入力状況に即した背景モデルに置き換えることもある。どの動画フレームでも以上の演算で動物体のシルエットを検出できるが、HDTV１フレームの前景分離を行う場合では、横1920画素と縦1080画素の2次元状に広がる画素毎に、各画素に３個以上の背景ガウス分布を想定する。このため、計算量は決して少なくはない。よって、画素の代わりに縦横2画素毎の平均や4画素毎の平均を複数画素の特徴量として扱い、これらを1画素の値の代用とする方法などもある。本願では画素単位での前景分離についてのみ説明するが、以上のような特徴量を平均画素に用いる場合でも本願の範囲以内である。
【００１１】
この結果、前景となる画素には画素値として255を、また、背景となる画素には画素値0を与えると、背景が黒く、前景となる動作中の腕や指の画素は白くなり、2値画像として前景を抽出できる。下記の「非特許文献」で示す文献では、指先の動作認識のため、検出された前景から、前景の重心を求め、その重心からの最遠点となる前景点が指の先端位置であるとして用いている。その動きを追うことで指先ジェスチャー認識が可能になる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特願2015-553443
【非特許文献】
【００１３】
【非特許文献１】松井翔太、山下祥宏、山口亨、西谷隆夫、「ＧＭＭ前景分離を用いたロバストな指先動作検出による空間ジェスチャーインタフェース」ＳＩＣＥシステムインテグレーション（ＳＩ 2013), CD-ROM 1K4-3, 2013.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
最近の端末では、ウェアラブル端末と称して身体に機器を装着して活用することで情報端末の利便性を向上させるものが多い。この場合、指先などの動作によるコマンドを用いて利便性をさらに高めたい。しかし、上記の混合ガウスモデルによる前景分離法で動作を認識する場合、固定カメラの使用が大前提である。固定カメラであるため、このカメラの全ての画素位置には動きのない背景からは常に同じ程度の入力光が得られることを利用している。前提として固定カメラであるため、混合ガウスモデルでは、先に述べたオプティカル・フロー法と比べて演算量が大幅に少ない。しかし、そのままではハンズフリー端末の応用に供することはできない。たとえば、指先のジェスチャー認識への応用である「非特許文献」で示す例では、グーグルグラスやTeleglassT4-N（増永眼鏡株式会社製）のような眼鏡形ウェアラブルモニタにカメラを追加して、ウェアラブルモニタを見ながら指差しジェスチャーでコマンドを入力する。しかし、眼鏡にスマートフォン等のカメラを装着して映像を写す場合は、頭のブレによりカメラが微動する。よって固定カメラを用いることが大前提である混合ガウスモデルによる前景分離法はそのままではジェスチャー認識に利用できない。これは、カメラの微動によって、本来の背景ガウスを有するカメラの画素と入力画素の対応がずれ、背景画素でも前景判定されて不必要な前景領域を発生するためである。この頭ブレは、ユーザには意識できない程度であるが、頭に付けたカメラにはユーザの意識できない微少な平行移動や微小回転が伝わるためである。
【００１５】
ただし、混合ガウスモデルによる前景分離では微小変動であれば全ての画素が前景となることは殆どない。これは、壁の前に家具が置いてあるシーンを考えると容易に理解されよう。壁だけの領域を背景として捉えた画素を考えると、隣接する画素間では同色であることが多い。つまり、隣接する画素の背景ガウス分布どうしは似ていることが多い。また家具側での状況も同様である。ただし、背景の中で色調の変わる境界領域、つまり壁と家具の境周辺の画素では、カメラの微動に伴って、従来の画素位置での背景モデルと、カメラの現時点でのその画素位置が異なる状況が起こる。このため、このような境界領域上の画素ではカメラの微動により、想定した背景ガウス分布の位置を持つ画素と入力画素が異なってくる。このため、前景判定となる。このような場合は色調の異なる境界領域に沿って、多くの明確な前景領域が本来の背景領域内に現れる。
【００１６】
また、頭の微動が平行移動でないこともある。例えば、首を少し傾げる癖のある人などでは、「指先入力のために頭を静止させなければいけない」という意識が働き、頭の位置をその人の通常とは違った位置に設定する場合が多い。この場合、長時間に渡る指先指示を行うと、無意識のうちに頭をその人の自然な位置に戻す微小な頭の回転が起こる。微小な回転の場合、回転の中心周辺ではあまり変化がないものの、中心点から離れると画素数では大きな移動になることもある。このような場合は、本来の背景領域に塊として前景が現れたり、線状の前景が太ったものになる。よって、頭の微小平行移動や微小回転に伴って発生する前景領域のため、「非特許文献１」で使われている指先位置の決定法、つまり、前景の重心からの最遠の前景画素位置として指先を求める動作認識法は利用できなくなる。
【課題を解決するための手段】
【００１７】
本発明の手段は、ビデオカメラからの信号を混合ガウス分布による前景分離を行ない、前景領域と背景領域の2値画像とする第1のパスと、上記ビデオカメラからの信号を空間低域通過フィルタに通した後に混合ガウス分布による前景分離を行って2値化する第2のパスと、第1および第2のパスからの前景領域の共通部分を真の前景画像とすることを特徴とする動画像処理装置である。また、演算量削減のため、第2のパスをカメラからの画像信号に対して空間低域通過フィルタと画素間引き回路によって縮小画像に変換した後に前景分離を行い、この結果を元の画像の大きさに戻す画像拡大部から構成し、パス１とパス２の論理ＡＮＤを行うことにより、パス2での前景分離処理演算量を大幅に軽減することを可能にした動画像処理装置である。
【発明の効果】
【００１８】
本発明においてはこれまでの混合ガウス分布を用いた前景分離であるパス1に対して、第2のパスであるビデオカメラの前景分離の色特徴量入力である画素を空間低域通過フィルタに通した後に混合ガウス分布による前景分離した結果で修正を加えることにより、ウェアラブル端末カメラなどの頭ブレ微動に対し、安定で、低演算量の前景分離技術を提供できる。
【００１９】
また、上記の方法では演算量の多い同じ大きさの前景分離回路が2個必要になるが、第2の方法では、第2のパスで必要となる新たな前景分離演算が画像縮小後に行われ、その後、元画面サイズに戻すことでパス2の前景分離の演算量を大幅に削減できる。このため、頭ブレによる微動カメラによって指先ジェスチャー指示可能なウェアラブル端末を少ない演算量で提供できる。つまり、ユーザの指先動作のみで入力指示が可能な環境を提供できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態を示す画像処理装置の構成図。
【図２】本発明の他の実施形態を示す図
【図３】本発明の基本となる効果を示す図
【発明を実施するための形態】
【００２１】
図1ないし図2は本発明に係る頭ブレに強いウェアラブル端末用の指先ジェスチャー認識の形態に関する。
【００２２】
図１ではカメラ１００からのＲ、Ｇ、Ｂ信号は従来の混合ガウス分布を用いた前景分離回路１０のみを含む第１のパス２００と、空間低域通過フィルタ２０を介して混合ガウス分布を用いた前景分離回路３０からなる第２のパス３００と、第１のパスと第２のパスの出力である前景画素と背景画素の２値画像の画素毎の論理ＡＮＤを行う回路４００から構成されており、出力端子５００からの出力が頭ブレによる妨害を排除した画像信号となる。
【００２３】
ここで混合ガウス前景分離回路１０および３０の機能は「先行技術文献」で記載した「特許文献」特願2015-553443に記載された混合ガウス分布による前景分離処理に詳しい。以降、前景分離法という言葉は混合ガウス分布による前景分離法の事を示す。
【００２４】
第1のパス２００はカメラ１００からの入力画像に対して前景分離回路１０により前景画素と背景画素を表す2値画像化を行う手段である。ただし、すでに述べたように、ウェアラブル端末として頭などに取り付けたカメラ入力では頭ブレが起こるため、カメラへの入力信号は以前のカメラの画素位置とは異なる画素に取り込まれる。よって、頭ブレに起因して、カメラからの光は本来対応する画素位置ではなくなる。このため、背景からの入力であっても、それまで構築してきた背景ガウス分布では対応できなくなる。つまり、所々で前景と誤判定されることが起こる。ただし、このような頭のブレ等の微少移動の場合は画面全体が前景となることは少ないことはすでに述べたとおりである。このことは眼鏡型カメラで撮影した映像の一コマを前景分離した写真からも明らかで、図３（a）の写真の内容は、(パス１の出力に対応する。頭ブレと頭の回転を含む画像の前景分離の結果 で、頭ブレによる細かい線状の前景と、頭の微回転により周辺部に現れる線上の領域が太くなる。
【００２５】
一方第２のパス３００はカメラ１００からのＲ、Ｇ、Ｂ信号を、一旦空間低域通過フィルタ２０を介して前景分離回路３０に伝える。ここで前景分離回路３０は前景分離回路１０と構造は全く同じである。カメラ１００からの画像信号で、Ｒ、Ｇ、Ｂ成分間は各々独立した成分であるので、空間低域通過フィルタ２０の役割は同色の画素要素で近隣の画素の対応する成分と重みづけ加算することで、隣接画素間の色成分の強弱変化を減少させるように働く。前景分離回路３０の内部に構築される色特徴量毎の背景ガウス分布もこのような隣接画素の色特徴量からの影響を受けて構築される。よって、周辺画素の背景ガウス分布の平均値や標準偏差は周辺画素の対応する背景ガウス分布と比べても変化が少なくなる。なお、空間低域通過フィルタ２０の構造は後述する。
【００２６】
以上の様に隣接画素間の同系色の影響を受けた隣接画素間では、前景分離結果により修正を施される背景ガウスモデルも隣接画素の各色の背景ガウス分布の平均と標準偏差の差も縮まる。当然空間低域通過フィルタの低域通過特性を厳しく制限すればするほど、前景分離回路３０内に構築される画素間の背景ガウス分布の差は小さくなる。よって、前景分離回路３０の各画素の持つ各色の背景ガウス分布は、色調が急変するような境界線周りであっても、隣接画素の対応する背景ガウス分布の平均の変化は小さくなる。つまり、入力画素位置が多少変化しても前景になりにくい状況になる。
【００２７】
ただし、空間低域通過フィルタ２０の導入は逆効果も発生する。以下は頭ブレや回転状況とは異なり、静止状態でのカメラでも問題である。ここに指が突然現れると、空間低域通過フィルタ２０により、指周辺の画素の色調も周辺の画素と混じり合ったものになる。指が現れる周辺画素の色特徴量は指が出てこない時期までに構築され背景ガウス分布ばかりであるから、指が現れると、空間低域通過フィルタにより急に現れた指の特徴量が周辺画素に影響を与える。この結果、前景分離回路３０への指周辺画素では背景ガウス分布の平均や分散とは合致しない画素値となって入力される。つまり、それまでに構築された背景ガウス分布と異なったものになる。よって、指の輪郭部の外側の画素位置は前景となる。元々指で覆われる画素には明確に指の特徴量が入力される。この結果、指とともに指周辺の画素は前景判定される。よって、指の位置の画素と共に指周辺部の画素も前景になる。過剰な輪郭は空間低域フィルタの低域通過フィルタの帯域を狭くするほど影響が大きくなる。この影響は図3(a)でも観測でき、画面中心部より離れるに従って太った線上の前景が現れる。
【００２８】
これ等をまとめると、パス２内の前景分離回路３０を用いると空間低域フィルタ20の効果により背景領域の色調が急激に変わる所で発生する背景の境界では前景となりにくく、前景となるべき指や腕の前景部は太った状況になりやすくなる。第１のパス２００で得られた前景の指と比べると、第２のパス３００の出力は色調の境界に起因する前景は発生しにくいものの、指や腕の前景は太った前景領域となる。図3（ｂ）はこの状況を示しており、図３（a）の指以外の線状の前景部はなくなる。観測しにくいものの、太った指や腕は第１のパスの真の指や腕のより太くなり、図3（a）の前景領域を包含する。
【００２９】
第１のパス２００と第２のパス３００の結果は、双方とも前景と背景を論理１である数値２５５と論理０である数値０として表わしたため、これ等の結果は論理ＡＮＤ部４００により双方の対応する画素が画素値２５５を持つ場合だけをそのまま画素値２５５として通し、一方または双方の対応する画素が画素値０を持つ場合は画素値０となる操作を行う。この結果、出力端子６には第１のパス内に現れる通常の指の太さと、第１のパスで現れる背景の急激な色調変化による色調の境界線に沿った細かい線状の前景のうちで、第２のパスの太った指や腕の範囲内のもののみが前景として現れる。
【００３０】
ここで得られた結果に、前述の非特許文献にて使われている指先検出法、つまり、前景の重心からの最遠点を指先位置として用いる方法を利用した場合、指先位置を正確に検出する事が可能となる。よって、スマ−トフォンのようなクリック位置検出や画面スクロール指示などのコマンド起動動作を指先位置の追跡を行うことで可能となる。
【００３１】
ここまで、パス2で使う空間フィルタ２０の構造を省いて説明したが、これはコロナ社2008年1月28日発行の石井六哉著、電子、通信、情報の基礎コース「信号と処理」下巻の４２頁記載の図４．２８に示すものが利用できる。表記されているものは音声などの1次元フィルタの構造であるので、後に述べる2次元フィルタへの修正が必要である。どのような周波数特性を持たせるかという問題は上記の文献の図４．２８に記されたディジタルフィルタの乗算器に与える乗数をどのように決めるかにより定まる。その方法も、同出版物の111頁から始まる「6.4  線形位相FIRディジタルフィルタの設計」の節に詳しく、上記文献の図４．２８に現れる乗算器の乗数を上記の設計法に従って設定するだけである。
【００３２】
今回使用する空間低域通過フィルタの場合は上記文献の図4.28に示す1次元フィルタではなく、画像の縦方向と横方向にこの処理を組み合わせた２次元画像フィルタを用いる。細述すると画像を横方向の画素列と縦方向の画素列に分け、全ての横方向に前述した1次元フィルタ処理を施した結果に縦方向の１次元フィルタ処理を施す。また、上記フィルタ設計では乗算器が必要であるが、簡単に以上の画像処理を行う場合には全ての乗算器の乗数を１と置く平均値フィルタを用いることが可能である。この場合は上記文献の図4.28の乗算器を全て取り外してこれまでの乗算器の入力線を出力線に直結させるだけでよい。平均値フィルタの名前が示す通り、フィルタ内部に保持する全ての画素の平均値を出力するもので、通過帯域は狭い空間フィルタとなる。
【００３３】
指先検出精度を高めたい場合には、論理AND４００で得られる前景で、指からはみ出した線状の前景で、パス２で得られる太った指内の範囲内にあるものを省きたい場合もあろう。これは、モーフォロジー処理として昔から知られている、２値画像の縮小/拡大を利用する方法がある。これは、前景画像のような2値画像に対して縮小と拡大を繰り返す方法である。この場合、大きなブロックは元の大きさに戻るものの、孤立した１画素程度の幅の狭い前景などは縮小時にゼロになるため、再度拡大してもゼロのままであるという原理を使う。この方法のみで処理すると、何回か縮小して元に戻すため、頭の回転などで発生する太くなった領域内の太い線状前景ブロックの「大きさ」を特定できたとしても、縮小を繰り返すことで指先まで消え失せる可能性がある。また、時間のかかる処理でもある。
【００３４】
いずれにせよ、以上の様にすることで、図1に示す方法で、頭ブレや頭の微小回転が起こっても正確な指先追跡が可能になる。
【００３５】
図２は第２の発明であり、図１の演算量削減を狙った変形版である。ウェアラブル端末では演算量を削減することが最重要課題であった。図２は図１と比べると、演算量を約７５％以下にまで削減できる方法である。図2の第1のパスは図1の第1のパスと同じである。図2の第２のパス３００は図1の第2のパス３００の機能の置き換えであり論理AND部３００は図1と同じである。図２の第2のパスはフィルタ21、画素間引き回路２２、前景分離回路３１、画面拡大部40から構成される。
【００３６】
図２を詳述すると、カメラ１００、第１のパス２００、第２のパス３００、論理ＡＮＤ部４００、出力端子５００の構造と役割はそれぞれ図１と同じである。また、第１のパス内も図1と同じである。第２のパス内では空間低域通過フィルタ２１、画素間引回路２２、前景分離回路３１、画面拡大部４０からなり、前景分離回路の対応する画面サイズが縦横1/２に縮小されている。また、論理AND部４００と出力端子５００は図１とおなじである。以下ではパス２の前景分離回路３１の画面サイズを第１のパス内の前景分離回路１０の縦横サイズとも１/２の場合を例示しているが、本発明はこの縮小率を限定するものではない。図２の本質的な変更は演算量の多い混合ガウス分布による前景分離回路の処理画面サイズを縮小して演算量を削減することである。このため、以降ではパス２内部の説明を中心に述べ、図１との効果の違いについて述べる。
【００３７】
まず、空間低域通過フィルタ２１の役割は、図１の空間低域通過回路２０の画素の背景ガウスモデルの差を滑らかにする目的と同時に、その後に続く画素間引きのために画像信号の帯域を制限する双方の役割がある。画素サイズを縮小する場合は画像の空間帯域幅を縦横共に半分にする空間帯域幅のフィルタが必要であるが、図2の場合は周辺の画素との滑らかな変化を実現する空間低域通過フィルタの目的を兼ねたものにする。このため、通過帯域幅を図1のものよりも狭くする。この機能を実現するため、構造の簡単な平均値フィルタを用いる場合は単にフィルタの長さを増加させるだけでこの機能を実現できる。元々平均値フィルタの通過帯域は狭いためである。高次の平均値フィルタは乗算演算は不要であり、簡単な実現方法も昔から知られている。このため、次数の高い平均値フィルタを用いる。
【００３８】
画素間引き回路２２では画面のサイズを縦横共に半減する場合で説明すると、画素の横方向と縦方向の行および列を偶数列と偶数行を取り除く作業である。
【００３９】
前景分離回路３１は画素間引き回路２１からの縮小画像が入力される以外、処理内容は図１の前景分離回路１０、３０と同じである。画素数が行、列ともに半減した画像を扱うため、全体の画素数では１/４になる。
【００４０】
前景分離回路３１の結果は、元の画像サイズから考えると、図1の第２のパスの前景分離回路３０の出力画面サイズが縦横1/２となる。これを画像サイズを縦横共に倍にすると前景処理画像はカメラの出力画像と同じ大きさになる。しかし、空間低域通過フィルタ２１は画像縮小を行う以上に通過帯域を狭くするため、図１の空間低域通過フィルタ２０と同様、隣接する色成分毎の画素値の変化を小さくする効果もある。この結果を前景分離回路３１で処理すると、出力画像の結果は第１のパスでの前景分離結果と比べると、縦横の比率が1/2になることを考慮すれば、図1の前景分離回路３０と指や腕はほぼ同じ比率に縮小した前景となる。また、図1の前景分離回路３０と同様、指や腕の周辺以外は第1のパスで現れる細かい前景が極端に減る。
【００４１】
図2では縮小された前景分離画像を元の画像サイズに戻す画面拡大部４０で処理する。この画像拡大処理は、２値画の場合は簡単で、前景分離回路３１の各画素点の真下、真右隣り、真右下隣りに新しい画素位置を設け、元の画素の画素値をそれぞれの新しく作った画素位置に埋め込むだけでよい。この結果は指や腕は低域通過フィルタのために第1のパスより太くなるものの、第1のパスでの頭ブレに起因した前景である細かい線状の前景は排除できる。
【００４２】
図２の第1のパスの前景分離結果と第2のパスの画像拡大部４０の出力結果は、同じ画像サイズになっている。これらの結果を論理ＡＮＤ４００で画素毎に前景画素に区別された２５５画素値を１と考え、他方を０とする論理ＡＮＤ演算で一つにまとめる。論理ＡＮＤを取る直前で指の太さを確認すると、第1のパスの処理結果は本来通りの大きさで現れるが、第１のパスの前景分離回路１０では、指先以外の不要な線状、ないし小さなブロック状の前景領域を持つ前景がある。しかし、第2のパスでは指や腕の太さが増加するものの、指の周りに頭ブレに起因するような前景となった線状模様や頭ブレによるブロック状の前景はなくなる。よって、これらの2値画像の論理ＡＮＤを取ると、共通部分だけが前景値２５５を持ち、その他は背景値である０となる。よって指の太さが一段と太くなることを別にして、ほとんど図1と同じ結果が得られる。
【００４３】
但し、指や腕の周りからパス2の太った指や腕までの所には、パス1で発生した細かい線状の前景がある場合は、指の周りにこれ等の不要な前景が残る。ただし、第１のパスでの細かい線状の前景が指や腕の周辺にある場合でも、画面に現れる余分な前景はせいぜいパス２で得られた膨張した指の範囲内にある。このため、非特許文献で述べている指先の検出方法、つまり、前景の重心からの最遠点を指先とする方法を用いても、多くの場合は正しく指先位置を求めることが可能となる。また、そうでない場合でも、指先の方向は正しい。ただし、位置の精度には影響を与える。しかし、その場合でも、前景分離回路３１の出力の指が太る量を画面拡大部４０で拡大による太った指だけの誤差を含む程度である。しかも、その前景は指先周辺に現れた場合に限る。このような細かい線状のものも気になる場合は、モーフォロジー処理として知られている２値画の縮小と拡大を行う処理で十分である。
【００４４】
図２のパス2で使う低域通過空間フィルタ２０と画素間間引回路２１の効果は画像縮小する場合の常套手段であり、先に示した石井六哉著、「信号と処理」下巻の１２３からの記述中の図７．４に示すものがほぼ一致している。違うのは図７．４では通過帯域が標本化周波数の半分になるものを使っているが、図２の実施例では空間低域通過フィルタ２０の通過帯域をもっと厳しくする方法を取っている。画像縮小と同時に、図１の空間低域通過フィルタの役目である、指や腕の周辺に頭ブレや頭の微少回転による微少前景の発生を取り除くためである。しかし、標準的な標本化周波数を低下するブロックを用いる場合は、その後に空間低域通過フィルタを別途設けるのも一法であり、本発明のうちである。
【実施例】
【００４５】
ここで必要とされる空間低域通過フィルタ２０，２１であるが、これは背景の複雑度や色彩にも依存する。それ以上に使用者の頭のブレや頭の回転の個人差が大きい。窓際で所々外部の光が漏れこむ状況で実験したところ空間低域通過フィルタでは空間低域通過フィルタはそれぞれ60次/30次辺りでよい結果が得られている。
【符号の説明】
【００４６】
１００  ビデオカメラ
２００  第１の前景分離パス
３００  第２の前景分離パス
４００  論理ＡＮＤ部
５００  出力端子
１０  混合ガウス分布を用いた第１の前景分離回路
２０  空間低域通過フィルタ
２１  画素間引き回路
３０  混合ガウス分布を用いた第２の前景分離回路
４０  画面拡大部
である。
【図１】
2019121150.tif 000003
【図２】
2019121150.tif 000004
【図３】
2019121150.tif 000005