(57)【要約】【課題】対象物（商品棚など）の正面斜め前方の上方に設置された距離画像センサから出力される２次元距離データに基づく距離情報データを解析し、距離情報データにおける対象物の指定した領域において、人物の手のばしを検出する手のばし検出装置を提供することを目的とする。【解決手段】距離画像センサ２から出力される２次元距離データに基づく距離情報データを解析し、対象物３に対する人物４の手のばしを検出する手のばし検出装置１であって、距離情報データにおいて、手のばし検出を行う検出領域を指定する検出領域指定手段と、距離情報データから人物領域を算出する人物領域算出手段と、人物領域と検出領域とが重なる領域を接近領域とし、人物領域のうち接近領域以外の領域を遠隔領域とする接近判定手段と、接近領域と遠隔領域とから人物４の手のばしを判定する手のばし判定手段と、を備える構成とした。【選択図】図１
2014002502.tif 000002
【特許請求の範囲】
【請求項１】
距離画像センサから出力される２次元距離データに基づく距離情報データを解析し、対象物に対する人物の手のばしを検出する手のばし検出装置であって、
前記距離情報データにおいて、手のばし検出を行う検出領域を指定する検出領域指定手段と、
前記距離情報データから人物領域を算出する人物領域算出手段と、
前記人物領域と前記検出領域とが重なる領域を接近領域とし、前記人物領域のうち前記接近領域以外の領域を遠隔領域とする接近判定手段と、
前記接近領域と前記遠隔領域とから前記人物の手のばしを判定する手のばし判定手段と、
を具備することを特徴とする手のばし検出装置。
【請求項２】
前記接近判定手段は、
前記人物領域のうち、前記検出領域と重なる領域であって、距離データの差が閾値より小さい領域を、前記接近領域とする
ことを特徴とする請求項１に記載の手のばし検出装置。
【請求項３】
前記手のばし判定手段は、
前記接近領域の最大幅の所定倍が前記遠隔領域の最大幅より小さい場合に手のばしであると判定する
ことを特徴とする請求項１又は請求項２に記載の手のばし検出装置。
【請求項４】
前記検出領域指定手段は、
前記距離情報データにおいて、複数の前記検出領域を指定する
ことを特徴とする請求項１乃至請求項３に記載の手のばし検出装置。
【請求項５】
前記手のばし検出装置は、さらに、
前記距離画像センサから出力される前記２次元距離データに含まれる距離データを所定の階調に変換して前記距離情報データとする変換手段を、具備する
ことを特徴とする請求項1乃至請求項４に記載の手のばし検出装置。
【請求項６】
前記距離画像センサを設置する位置は、
前記対象物の正面前方であって、前記対象物の鉛直方向中心より片側かつ水平方向中心より上側である
ことを特徴とする請求項１乃至請求項５に記載の手のばし検出装置。
【請求項７】
距離画像センサから出力される２次元距離データに基づく距離情報データを解析し、対象物に対する人物の手のばしを検出する手のばし検出方法であって、
前記距離情報データにおいて、手のばし検出を行う検出領域を指定する検出領域指定ステップと、
前記距離情報データから人物領域を算出する人物領域算出ステップと、
前記人物領域と前記検出領域とが重なる領域を接近領域とし、前記人物領域のうち前記接近領域以外の領域を遠隔領域とする接近判定ステップと、
前記接近領域と前記遠隔領域とから前記人物の手のばしを判定する手のばし判定ステップと、
を含むことを特徴とする手のばし検出方法。
【請求項８】
コンピュータに、距離画像センサから出力される２次元距離データに基づく距離情報データを解析し、対象物に対する人物の手のばしを検出する手のばし検出方法を実行させるためのプログラムであって、
前記コンピュータに、
前記距離情報データにおいて、手のばし検出を行う検出領域を指定する検出領域指定ステップと、
前記距離情報データから人物領域を算出する人物領域算出ステップと、
前記人物領域と前記検出領域とが重なる領域を接近領域とし、前記人物領域のうち前記接近領域以外の領域を遠隔領域とする接近判定ステップと、
前記接近領域と前記遠隔領域とから前記人物の手のばしを判定する手のばし判定ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一の距離画像センサで取得した各画素が距離データからなる２次元距離データを解析し、商品棚などの対象物に対する手のばしを検出する手のばし検出技術に関するものである。
【背景技術】
【０００２】
従来から、店舗などにおける消費者の行動を解析する行動解析システムが開発されている。一般的な行動解析システムでは、ビデオカメラなどによって店舗内の消費者を撮影し、撮影された静止画像や動画像を解析することによって、消費者の動作や移動経路などを把握する。
【０００３】
例えば、特許文献１では、カメラで店舗内を撮影し、カメラ画像を処理することによって各々の消費者を特定し、特定した消費者の移動軌跡を解析する発明が開示されている。
しかし、カメラ画像を用いた行動解析手法では、消費者の顔などが映るため、個人情報保護の観点から問題がある。
【０００４】
また、特許文献２では、非接触ＩＣカードや非接触ＩＣタグなどのＲＦＩＤ（Radio
Frequency Identification）を消費者に所持させ、ＲＦＩＤを検出する検出器を店舗内に設置し、ＲＦＩＤを検出した検出器を時系列で調べることによって、消費者の移動軌跡を解析する発明が開示されている。
【０００５】
しかし、ＲＦＩＤを用いた行動解析手法では、消費者の商品棚等への接近や接触を認識することは可能であるが、詳細な行動を認識することはできないという問題がある。
さらに、ＲＦＩＤを用いて消費者の詳細な行動を解析するためには、ＲＦＩＤの検出器を多数設置することが必要となる。
【０００６】
この点、特許文献３では、距離画像センサが出力する２次元距離データおよび２次元距離データに含まれる距離データを階調に変換することで生成した距離画像を用いて、消費者の手のばしや前屈みを検出する発明が開示されている。この２次元距離データは、各画素が距離画像センサから対象物までの距離データであるため、個人情報は問題とならない。また、２次元距離データには２次元に配列された画素で計測された距離データが含まれるため、２次元距離データに含まれる距離データの差を解析することで、商品棚などの前に存在する消費者の領域を認識でき、画像処理と同様に詳細な行動の解析が可能である。さらに、１台の距離画像センサから正確な２次元距離データを得ることができるため、複数の距離画像センサを設置する必要はない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−３３０４１５号公報
【特許文献２】特開２００２−３２５５０号公報
【特許文献３】特開２０１０−６７０７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献３に記載の手のばし検出技術では、図１６に示すように、距離画像センサ２を商品棚３の上に設置して斜め下方に向け人物４（消費者）を撮像する。そして、図１７に示すように、距離画像の下部領域に特定形状があった場合に、人物４の手のばしと判定している。このため、手(腕)以外の身体箇所が下部領域にあっても、手のばしと誤判定してしまう問題がある。また、商品棚のどこに手をのばしたかが判定しづらいという問題がある。さらに、商品棚と消費者の位置を考慮せず消費者の人物領域情報のみから手のばしを判定するため、商品棚にどの程度手を近づけたかがわからないという問題がある。
【０００９】
本発明は、かかる課題を解決するためになされたものであり、対象物（商品棚など）の正面斜め前方の上方に距離画像センサを設置し、対象物と人物との距離データを用いることによって、対象物の距離画像における指定した領域において、人物の手のばしを正確に検出する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前述した課題を解決するために第１の発明は、距離画像センサから出力される２次元距離データに基づく距離情報データを解析し、対象物に対する人物の手のばしを検出する手のばし検出装置であって、前記距離情報データにおいて、手のばし検出を行う検出領域を指定する検出領域指定手段と、前記距離情報データから人物領域を算出する人物領域算出手段と、前記人物領域と前記検出領域とが重なる領域を接近領域とし、前記人物領域のうち前記接近領域以外の領域を遠隔領域とする接近判定手段と、前記接近領域と前記遠隔領域とから前記人物の手のばしを判定する手のばし判定手段と、を具備することを特徴とする手のばし検出装置である。
【００１１】
第１の発明によって、距離画像において人物ののばした手が対象物と重なっている場合に人物の手のばしを正確に検出することができるとともに、手以外の体が対象物と重なっても手のばしと誤検出されないようにすることができる。また、検出領域を指定することによって、対象物に対する手のばしの位置を正確に検出することができる。
なお、「対象物」とは、商品棚や壁などの手のばしの検出をする対象である。
また、「距離情報データ」とは、距離画像センサから出力される２次元距離データ、又は、２次元距離データを加工したデータであり、例えば、２次元距離データを２５６階調の画像データに変換した距離画像である。
【００１２】
第１の発明における接近判定手段は、前記人物領域のうち、前記検出領域と重なる領域であって、距離データの差が閾値より小さい領域を、前記接近領域とすることが望ましい。
これによって、距離情報データにおいて人物ののばした手が対象物と重なっている場合に人物の手のばしを正確に検出できる。
【００１３】
第１の発明における手のばし判定手段は、前記接近領域の最大幅の所定倍が前記遠隔領域の最大幅より小さい場合に手のばしであると判定することが望ましい。
これによって、人物の手のばしを正確に検出することができるとともに、手以外の体が対象物と重なっても手のばしと誤検出されないようにすることができる。
【００１４】
第１の発明における検出領域指定手段は、前記距離情報データにおいて、複数の前記検出領域を指定することが望ましい。
これによって、対象物の複数の領域において手のばしの検出をすることができる。
【００１５】
第１の発明における手のばし検出装置は、さらに、前記距離画像センサから出力される前記２次元距離データに含まれる距離データを所定の階調に変換して前記距離情報データとする変換手段を、具備することが望ましい。
これによって、手のばし検出装置は、２次元距離データを、例えば、２５６階調の距離画像である距離情報データに変換して、検出領域の指定などのその後の処理を行うことができる。
【００１６】
第１の発明における距離画像センサを設置する位置は、前記対象物の正面前方であって、前記対象物の鉛直方向中心より片側かつ水平方向中心より上側であることが望ましい。あるいは、第１の発明における距離画像センサを設置する位置は、前記対象物の正面前方であって、前記対象物の鉛直方向の外端より外側かつ水平方向の上端より上側であることが望ましい。
これによって、対象物の正面斜め前方の上方から２次元距離データを撮像できるため、対象物に対して人物の手のばしの位置を正確に撮像することができる。
【００１７】
第２の発明は、距離画像センサから出力される２次元距離データに基づく距離情報データを解析し、対象物に対する人物の手のばしを検出する手のばし検出方法であって、前記距離情報データにおいて、手のばし検出を行う検出領域を指定する検出領域指定ステップと、前記距離情報データから人物領域を算出する人物領域算出ステップと、前記人物領域と前記検出領域とが重なる領域を接近領域とし、前記人物領域のうち前記接近領域以外の領域を遠隔領域とする接近判定ステップと、前記接近領域と前記遠隔領域とから前記人物の手のばしを判定する手のばし判定ステップと、を含むことを特徴とする手のばし検出方法である。
第２の発明によって、２次元距離データにおいて人物ののばした手が対象物と重なっている場合に人物の手のばしを正確に検出することがとともに、手以外の体が対象物と重なっても手のばしと誤検出されないようにすることができる。また、検出領域を指定することによって、対象物に対する手のばしの位置を正確に検出することができる。
【００１８】
第３の発明は、コンピュータに、距離画像センサから出力される２次元距離データに基づく距離情報データを解析し、対象物に対する人物の手のばしを検出する手のばし検出方法を実行させるためのプログラムであって、前記コンピュータに、前記距離情報データにおいて、手のばし検出を行う検出領域を指定する検出領域指定ステップと、前記距離情報データから人物領域を算出する人物領域算出ステップと、前記人物領域と前記検出領域とが重なる領域を接近領域とし、前記人物領域のうち前記接近領域以外の領域を遠隔領域とする接近判定ステップと、前記接近領域と前記遠隔領域とから前記人物の手のばしを判定する手のばし判定ステップと、を実行させるためのプログラムである。
第３の発明を汎用のコンピュータにインストールすることによって、第１の発明の手のばし検出装置を得て、第２の発明の手のばし検出方法を実行することができる。
【発明の効果】
【００１９】
本発明により、対象物（商品棚など）の正面斜め前方の上方に距離画像センサを設置し、対象物と人物との２次元距離データを用いることによって、対象物の距離画像上の指定した領域において、人物の手のばしを正確に検出することができる。
【図面の簡単な説明】
【００２０】
【図１】手のばし検出装置の適用例を示す図
【図２】距離画像センサの設置状況と画角範囲を示す模式図
【図３】距離画像センサから出力される２次元距離データの例を示す図
【図４】人物と対象物とを撮像した距離画像の例を示す図
【図５】手のばし検出装置のハードウェア構成を説明する図
【図６】手のばし検出装置の検出領域の指定の前処理を示すフローチャート
【図７】手のばし検出装置の手のばし判定の処理を示すフローチャート
【図８】手のばし検出装置の人物領域の分割処理の詳細を示すフローチャート
【図９】手のばし検出装置の検出領域の指定を示す模式図
【図１０】手のばし検出装置の人物領域の算出を示す模式図
【図１１】人物領域における接近領域と遠隔領域の例を示す模式図
【図１２】人物領域における接近領域の最大幅と遠隔領域の最大幅の例を示す模式図
【図１３】ノイズ除去処理を行う前の距離画像の例を示す図
【図１４】空間フィルタを利用した処理後の距離画像の例を示す図
【図１５】領域分割を利用した処理後の距離画像の例を示す図
【図１６】従来の行動解析システムの適用例を示す図
【図１７】従来の行動解析システムで取得した距離画像の例を示す図
【発明を実施するための形態】
【００２１】
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
本発明の手のばし検出装置１は、距離情報データに広く適用可能なものである。距離情報データとは、距離画像センサ２から出力される２次元距離データ、又は、２次元距離データを加工したデータであり、例えば、２次元距離データを２５６階調の画像データに変換したデータである。この２次元距離データを所定の階調の画像データに変換したデータを距離画像という。
距離画像センサ２は、一般に画角範囲に存在する物体までの距離データを２次元に配列した２次元距離データを出力するものである。
【００２２】
図1は、手のばし検出装置１の適用例を示す図である。図１は、対象物３（商品棚や壁などの人物の手のばしの対象となるもの）と、対象物３に対して手のばしを行う人物４（消費者）と、対象物３の正面斜め前方の上方に柱５などに設置され対象物３及び人物４を画角内に収める距離画像センサ２と、距離画像センサ２から出力される２次元距離データ又は２次元距離データを２５６階調に変換することで生成される距離画像を処理する手のばし検出装置１と、によって構成される店舗内の状況を模式的に示している。
【００２３】
距離画像センサ２には、市販の距離画像センサを利用することができる。距離画像センサ２には、例えば、D-Imager（パナソニック株式会社）、SwissRanger（MESA Imaging）などの光波測距（Time of Flight）式のものや、Kinect（Microsoft株式会社）などのパターン照射（Light Coding）式のものがある。光波測距式の距離画像センサ２は、距離画像センサのＬＥＤから照射された光が物体に反射し、その光が距離画像センサに戻るまでの時間を利用して、距離画像センサから物体までの距離を２次元で配列された画素毎に計測し、各画素の距離情報を所定のフレームレート（例えば、３０ｆｐｓ）で出力する機能を備えている。パターン照射式の距離画像センサ２は、距離画像センサから照射された光学パターンが物体に反射し、そのパターンの幾何学的な歪みを利用し、距離画像センサから物体までの距離を２次元で配列された画素毎に計測し、各画素の距離情報を所定のフレームレート（例えば、３０ｆｐｓ）で出力する機能を備えている。なお、市販の距離画像センサ２には、距離測定機能に加え、画像撮影機能を備えているセンサもあるが、個人情報保護の観点から、本発明の実施形態では、距離測定機能のみを利用し、画像撮影機能を利用しない。
【００２４】
図２は、距離画像センサ２の設置状況と画角範囲を示す模式図である。図２（ａ）は、図１において水平方向左側から見た図に相当するものである。図２（ａ）のように、距離画像センサ２は、対象物３の水平方向の中心を示す破線２１より上側、又は、水平方向の上端を示す破線２２より上側に設置する。距離画像センサ２の垂直方向の画角は例えば６０度で、この画角内に対象物３の手のばしを検出したい領域が収まるように設置する。
【００２５】
また、図２（ｂ）は、図１において鉛直方向上方から見た図に相当するものである。図２（ｂ）のように、距離画像センサ２は、対象物３の鉛直方向の中心を示す破線２３の片側、又は、鉛直方向の外端を示す破線２４の外側に設置する。距離画像センサ２の水平方向の画角は例えば４５度で、この画角内に対象物３の手のばしを検出したい領域が収まるように設置する。
【００２６】
このように、距離画像センサ２を設置することで、対象物３に対する人物４の手のばしの位置を正確に撮像することができる。なお、図２（ｂ）において、距離画像センサ２は、対象物３の正面に向かって右側に設置してあるが、左側に設置してもよい。
【００２７】
図３は、距離画像センサ２から出力される２次元距離データの例を示す図である。この例では、２次元距離データは、水平方向１６０画素×垂直方向１２０画素から構成されている。各画素には、距離画像センサ２から撮像した物体までの距離データが１６進数で表されている。これは、実際の距離であってもよいし、所定の比例定数をかけて実際の距離に変換するものであってもよい。
【００２８】
図４は、図１及び図２のように距離画像センサ２を設置した場合に、実際に距離画像センサ２が、対象物３と人物４とを撮像した距離画像の例である。この距離画像は、可視化のため、各画素が距離データそのものではなく、距離データを２５６階調の濃淡差で表した値に変換したものとなっている。これは、各階調ごとに対応する距離を予め定めておき、各画素の距離データを階調に変換することによって生成することができる。
【００２９】
以下の実施形態において、手のばし検出装置１は、距離画像センサ２から出力される２次元距離データに対して処理を行ってもよいし、前述の方法によって、２次元距離データを所定の階調の画像データである距離画像に変換して、変換した距離画像に対して処理を行ってもよい。
【００３０】
［手のばし検出装置のハードウェア構成］
図５は、手のばし検出装置１のハードウェア構成図である。なお、図５のハードウェア構成は一例であり、用途、目的に応じて様々な構成ととることが可能である。
【００３１】
手のばし検出装置１を実現するコンピュータは、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００３２】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、手のばし検出装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００３３】
記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、各種の手段として実行される。
【００３４】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３５】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。
【００３６】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器（例えば、距離画像センサ２など）を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器（イメージスキャナ、複合機等）とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３７】
［手のばし検出装置の処理］
次に、図６〜図８に示すフローチャートに沿って、図９〜図１５を適宜参照しながら、手のばし検出装置１の処理を説明する。
【００３８】
最初に、手のばし検出装置１における検出領域の指定の前処理について説明する。この前処理は、手のばし検出の対象となる対象物３と距離画像センサ２の設置位置とに応じて一度行えばよい。事前に、距離画像センサ２は、図１に示したように、対象物３（商品棚など）の正面斜め前方の上方に設置しておく。図６は、手のばし検出装置１の検出領域の指定の前処理を示すフローチャートである。適宜参照する図９は、手のばし検出装置１の検出領域の指定を示す模式図である。
【００３９】
図６に示すように、手のばし検出装置１の制御部１１は、距離画像センサ２から、背景画像を読み込む（Ｓ１１）。図９（ａ）は、背景画像の例を示したものである。この背景画像は、人物４がいない時に対象物３を撮像した距離画像である。この背景画像には、対象物３以外の背景３１の部分があってもよい。なお、この背景画像は、事前に撮像して記憶部１２に保存しておいたものを、制御部１１が記憶部１２から読み込んでもよい。
【００４０】
次に、手のばし検出装置１の制御部１１は、背景画像を表示部１６に表示する（Ｓ１２）。これは、手のばし検出装置１のユーザに、背景画像の対象物３において、手のばし検出を行いたい検出領域３２の指定をさせるためである。
【００４１】
次に、ユーザは、手のばし検出装置１の入力部１５から、背景画像の対象物３において、手のばしの検出を行いたい検出領域３２を指定する（Ｓ１３）。この指定には、キーボードで座標を入力したり、マウスで領域を指定したり、タッチパネルディスプレイで領域を指定したりすることができる。
【００４２】
図９（ｂ）は、背景画像において、検出領域３２（斜線部分）が指定された例を示したものである。この検出領域３２は、特に矩形に限られるわけではなく、閉じた領域であれば形状は任意である。また、ユーザは、対象物３に対して、この検出領域３２を複数指定してもよい。検出領域３２が複数指定された場合には、以下の検出領域３２に対する処理は、各検出領域３２に対して行う。
【００４３】
次に、手のばし検出装置１の制御部１１は、背景画像と指定された検出領域３２とから、マスク画像を作成する（Ｓ１４）。具体的には、制御部１１は、背景画像から指定された検出領域３２のみを残し、それ以外の部分の画素値を取り除いた（例えば、最も遠いことを示す値とした）ものをマスク画像として作成する。図９（ｃ）は、マスク画像の例を示したものである。
なお、実際には、背景画像において検出領域３２の判定をするための座標があればよいので、制御部１１は、マスク画像を作成せずに、検出領域３２の座標を、次のＳ１５で保存してもよい。
【００４４】
次に、手のばし検出装置１の制御部１１は、背景画像及びマスク画像を記憶部１２又はＲＡＭに保存する（Ｓ１５）。
以上で、前処理は終了である。
【００４５】
続いて、手のばし検出装置１における手のばし判定の処理について説明する。この処理は、距離画像センサ２が距離画像を撮像するごとに行う処理である。図７は、手のばし検出装置１の手のばし判定の処理を示すフローチャートである。適宜参照する図１０は、手のばし検出装置１の人物領域の算出を示す模式図である。図１１は、人物領域における接近領域と遠隔領域の例を示す模式図である。図１２は、人物領域における接近領域の最大幅と遠隔領域の最大幅の例を示す模式図である。
【００４６】
最初に、手のばし検出装置１の制御部１１は、距離画像センサ２から入力画像を読み込む（Ｓ２１）。図１０の左図に示すように、この入力画像は、前述した背景画像（対象物３及び対象物３以外の背景３１）に人物４を加えて撮像した距離画像である。
【００４７】
次に、手のばし検出装置１の制御部１１は、記憶部１２又はＲＡＭから背景画像及びマスク画像を読み込む（Ｓ２２）。これらは、前述した前処理によって作成及び保存されたものである（図９の（ａ）及び（ｃ））。
【００４８】
次に、手のばし検出装置１の制御部１１は、入力画像及び背景画像のノイズ除去処理を行う（Ｓ２３）。ノイズ除去処理には、従来技術を用いる。制御部１１は、例えば、空間フィルタを利用した処理と、領域分割を利用した処理の２種類の処理を実行する。
【００４９】
空間フィルタを利用した処理としては、例えば、３画素×３画素の移動平均法による平滑化処理が考えられる。また、領域分割を利用した処理としては、例えば、４近傍ラベリング処理により領域の分割を行い、領域の大きさが一定値より小さいノイズを除去することが考えられる。空間フィルタを利用した処理及び領域分割を利用した処理の両方を行うことによって、精度良くノイズを除去することができる。
【００５０】
図１３〜図１５は、距離画像に対するノイズ除去処理の例を示す図である。図１３は、ノイズ除去処理を行う前の距離画像の例、図１４は、空間フィルタを利用した処理後の距離画像の例、図１５は、領域分割を利用した処理後の距離画像の例である。
【００５１】
図７の説明に戻る。次に、手のばし検出装置１の制御部１１は、入力画像と背景画像との差分を人物領域３３として算出する（Ｓ２４）。具体的には、制御部１１は、入力画像の各画素について、その距離データと、背景画像の同一座標の画素の距離データとを比較し、異なる場合には、人物４を構成する画素であるのでそのまま残し、同一である場合には、背景であるので取り除く（例えば、最も遠いことを示す値とする）。これにより、制御部１１は、入力画像において、人物領域３３を算出する。
【００５２】
図１０は、この処理の模式図である。左図の入力画像と、中央の背景画像との上述の意味での差分をとると、右図の人物領域３３を算出することができる。
【００５３】
図７の説明に戻る。次に、手のばし検出装置１の制御部１１は、人物領域３３の画素全体を接近領域と遠隔領域とに分割する（Ｓ２５）。これは、人物領域３３の画素全体を、検出領域３２内にあって対象物３に近いもの（接近領域に含まれる画素であって、「手」と想定されるもの）と、それ以外のもの（遠隔領域に含まれる画素）とに分割する処理である。図８を用いて、この処理の詳細を説明する。
【００５４】
図８は、手のばし検出装置の人物領域の分割処理の詳細を示すフローチャートである。まず、手のばし検出装置１の制御部１１は、人物領域３３の全ての画素を判定したか、判断する（Ｓ３１）。制御部１１は、判定し終えている場合（Ｓ３１でＹｅｓ）、分割処理（図７のＳ２５）を終了する。
【００５５】
手のばし検出装置１の制御部１１は、判定し終えてない場合（Ｓ３１でＮｏ）、未判定の画素Ｐの座標（ｘ，ｙ）はマスク画像の検出領域３２内にあるか、判断する（Ｓ３２）。制御部１１は、検出領域３２内にないと判断した（Ｓ３２でＮｏ）場合、Ｐを遠隔領域を構成する点とし（Ｓ３５）、Ｓ３１に戻る。
【００５６】
手のばし検出装置１の制御部１１は、検出領域３２内にあると判断した（Ｓ３２でＹｅｓ）場合、人物領域３３のＰの距離データと、マスク画像の座標（ｘ，ｙ）の画素Ｑの距離データとの差が閾値より小さいか、判断する（Ｓ３３）。制御部１１は、小さくないと判断した（Ｓ３３でＮｏ）場合、Ｐを遠隔領域を構成する点とし（Ｓ３５）、Ｓ３１に戻る。
【００５７】
手のばし検出装置１の制御部１１は、小さいと判断した（Ｓ３３でＹｅｓ）場合、Ｐを接近領域を構成する点とし（Ｓ３４）、Ｓ３１に戻る。
このように、制御部１１は、人物領域３３の画素全体を接近領域と遠隔領域とに分割する。
【００５８】
図１１は、この様子を示した模式図である。図１１（ａ）のように、人物４が対象物３の前方に立っていて、対象物３の検出領域４に手をのばしているとする。この場合には、人物領域３３の「手」の部分が検出領域３２内にあって、対象物３と近いことになるので、図で黒く塗りつぶした部分が接近領域３４とされ、人物領域３３のそれ以外の部分が遠隔領域３５とされる。
【００５９】
一方、図１１（ｂ）のように、例えば、人物４が対象物３の前方に対象物３に対して背を向けて立っているとする。この場合には、人物領域３３の「体」の半分程度が検出領域３２内にあって、対象物３と近いことになるので、図で黒く塗りつぶした部分が接近領域３４とされ、人物領域３３のそれ以外の部分が遠隔領域３５とされる。
【００６０】
図７の説明に戻る。次に、手のばし検出装置１の制御部１１は、
接近領域の最大幅×５  ＜  遠隔領域の最大幅      ・・・  （１）
が成立するか、判断する（Ｓ２６）。ここでいう領域の最大幅とは、画素を２次元平面を構成する点としたときの領域に含まれる２点間の距離の最大値である。これによって、接近領域が「手」の部分となっていて、遠隔領域が「体」の部分となっていれば、上記の不等式が成立し、手のばしと判定できる。定数５は、手の幅と身長との比を表す程度の値であればよく、５に限られない。なお、処理の簡単のため、最大幅は、２次元平面の垂直方向又は水平方向の最大幅としてもよい。
【００６１】
図１２は、この様子を示した模式図である。図１２（ａ）では、人物領域３３のうち、接近領域３４は「手」の部分で、遠隔領域３５は「体」の部分となっているので、接近領域の最大幅３６と遠隔領域の最大幅３７について、前記（１）式が成り立ち、手のばしと判定されることになる。
【００６２】
一方、図１２（ｂ）では、人物領域３３のうち、接近領域３４は「体」の半分程度となっていて、遠隔領域３５はそれ以外の部分となっているので、接近領域の最大幅３６と遠隔領域の最大幅３７について、前記（１）式が成り立たず、手のばしと判定されない。
【００６３】
図７の説明に戻る。次に、手のばし検出装置１の制御部１１は、Ｓ２６でＹｅｓと判断した場合、「手のばし」と判定する（Ｓ２７）。また、制御部１１は、Ｓ２６でＮｏと判断した場合、「手のばしでない」と判定する（Ｓ２８）。
【００６４】
そして、手のばし検出装置１の制御部１１は、表示部１６に手のばし判定の結果を表示して（Ｓ２９）、終了する。
【００６５】
以上、手のばし検出装置１の手のばし判定の処理について説明した。
なお、手のばし検出装置１の手のばし判定の処理はこれに限定されるものではなく、その趣旨を逸脱しない範囲で変更可能である。
【００６６】
例えば、手のばし判定の処理は、制御部１１が、距離画像センサ２から取得した２次元距離データから生成した距離画像に対して行うとしたが、制御部１１は、予め距離画像センサ２から取得した複数の２次元距離データから生成した複数の距離画像（動画像）を記憶部１２又はＲＡＭに保存しておき、記憶部１２又はＲＡＭから読み出した各距離画像に対して、手のばし判定の処理を行ってもよい。
【００６７】
また、例えば、人物領域の画素全体を接近領域と遠隔領域とに分割する処理において、図８に示すフローチャートでは、Ｓ３１において、人物領域の全ての画素を判定するとしたが、はじめに検出領域の境界で人物領域を分割し、検出領域内の人物領域の各画素に対して、Ｓ３３、及び、Ｓ３４又はＳ３５のステップを行ってもよい。
【００６８】
また、検出領域の指定の前処理において、マスク画像を作成せず、図６のＳ１５において、制御部１１が、背景画像及び検出領域の座標を記憶部１２又はＲＡＭに保存した場合には、図７のＳ２２において、制御部１１は、背景画像及び検出領域の座標を読み込むとともに、図８において、制御部１１は、マスク画像を用いる場合に、検出領域の座標指定がされている背景画像をもちいればよい。
【００６９】
［実施形態の効果］
本実施形態の手のばし検出装置１によって、人物が対象物３（商品棚など）に触れていないが距離画像上重なって見える場合でも、手のばし判定を正確に行うことができる。
また、手以外の体などが対象物３と重なっていても、手のばしでないと判定することができる。
また、対象物３の手のばしされたか知りたい部分を検出領域に指定することによって、どの部分に手のばしされたか知ることができる。
【００７０】
なお、実際に手のばし判定が行いやすいと考えられるシーケンス（動画像）を撮像し、本手のばし検出装置によって、精度を確認した。手のばし判定が行いやすいと考えられる状況として、
・白壁に対する手のばし
・手が体で隠れない場合の手のばし
・人と対象物がはっきり離れている場合の手のばし
を確認した。
【００７１】
この結果、実際に手のばしをした状況で正しく判定された検出精度は８６パーセント、実際に手のばしをしなかった状況で正しく判定された検出精度は９４パーセントであり、シーケンス全体の検出精度は９２パーセントであった。
【００７２】
本発明は、消費者の商品棚などへの手のばしを検出する行動解析システムの一例であるが、広く物体の対象物への接近を検出するシステムへの応用が可能である。
【００７３】
以上、添付図面を参照しながら、本発明に係る手のばし検出装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００７４】
距離画像センサ２と本発明の手のばし検出装置１は、距離画像センサから取得した二次元距離データを解析することで、店舗や施設などに設置されている商品棚や販売促進用什器、タッチパネル端末などに対する消費者の行動を把握することができる。
本発明を利用した調査の特徴として、
・消費者の行動を定量的に把握することができる
・距離情報を可視化したものになるめ、個人情報の問題がない
・距離画像を通じて消費者の行動を共有できる
などがある。
【符号の説明】
【００７５】
１        手のばし検出装置
２        距離画像センサ
３        対象物（商品棚、壁など）
３１      対象物以外の背景
３２      検出領域
３３      人物領域
３４      接近領域
３５      遠隔領域
３６      接近領域の最大幅
３７      遠隔領域の最大幅
４        人物（消費者など）
５        柱
【図１】
2014002502.tif 000003
【図２】
2014002502.tif 000004
【図３】
2014002502.tif 000005
【図５】
2014002502.tif 000006
【図６】
2014002502.tif 000007
【図７】
2014002502.tif 000008
【図８】
2014002502.tif 000009
【図９】
2014002502.tif 000010
【図１０】
2014002502.tif 000011
【図１１】
2014002502.tif 000012
【図１２】
2014002502.tif 000013
【図１６】
2014002502.tif 000014
【図４】
2014002502.tif 000015
【図１３】
2014002502.tif 000016
【図１４】
2014002502.tif 000017
【図１５】
2014002502.tif 000018
【図１７】
2014002502.tif 000019