(57)【要約】【課題】画像上の検出対象物の輪郭を抽出して左右輪郭や上下輪郭から対象物の大きさを測定する場合に、画像の分解能である画素のピッチよりも高い分解能で計測する位置検出技術を提供する。【解決手段】事前に作成して記憶した輪郭テンプレートと、被測定物の画像を取得するカメラと、前記カメラで取得した被測定物が写っている画像に対して、前記輪郭テンプレートを移動させながらマッチング計算をするマッチング計算部と、前記マッチング計算部で計算した結果から、前記テンプレートと最も一致した位置を被測定物の位置として検出する位置検出部と、から構成される位置検出装置において、前記位置検出部は被測定物のＸ方向とＹ方向の少なくとも片方の位置を、左右（あるいは上下）に近接した複数のマッチング計算結果の関数として輪郭の位置をサブピクセルまで測定することを特徴とする。【選択図】図３
2013149228.tif 000002
【特許請求の範囲】
【請求項１】
事前に作成して記憶した輪郭テンプレートと、
被測定物の画像を取得するカメラと、
前記カメラで取得した被測定物が写っている画像に対して、前記輪郭テンプレートを移動させながらマッチング計算をするマッチング計算部と、
前記マッチング計算部で計算した結果から、前記テンプレートと最も一致した位置を被測定物の位置として検出する位置検出部と、
から構成される位置検出装置において、
前記位置検出部は被測定物のＸ方向とＹ方向の少なくとも片方について、左右（あるいは上下）に近接した複数のマッチング計算結果の関数として輪郭の位置をサブピクセルまで測定することを特徴とする位置検出装置。
【請求項２】
被測定物の輪郭の両サイドの位置を測定することで、被測定物の大きさを測定する請求項１に記載の位置検出装置。
【請求項３】
初期位置での被測定物の大きさを測定して記憶する記憶部と、
現在位置での被測定物の大きさを測定した結果と、前記記憶部に記憶した初期位置での被測定物の大きさとを比較することで、被測定物の前記カメラからの距離の変化を測定する移動距離測定部を有することを特徴とする請求項２に記載の位置検出装置。
【請求項４】
前記輪郭テンプレートは、初期位置での被測定物の輪郭画像から作成することを特徴とする請求項３に記載の位置検出装置。
【請求項５】
前記被測定物は机上に配置された使用者の指であり、前記移動距離測定部は机上に配置された前記使用者の指の前記カメラからの距離の変化を測定することを特徴とする請求項３または４に記載の位置検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像の中の対象物の位置を、画像の分解能である画素のピッチよりも高い分解能で検出する技術に関する。
【背景技術】
【０００２】  机上に配置された手指の位置を検出して、仮想キーボード上のどのキーを打鍵したかを検出する技術がある。特許文献１では手指の左右の輪郭から指の幅を画素単位の小数点以下まで計測する技術が開示されている。このように対象物の位置や大きさを画像の分解能以下まで計測する必要がある技術分野が多い。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】  特許第４８４６８７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  特許文献１の場合、手指の幅を決定するために、まず手指の左右輪郭を抽出した上で、各Ｙ座標での左右輪郭の幅を計測して平均値を計算するという手順が必要である。このように計算が煩雑であり、処理時間を要する。【０００５】  本発明の目的は、画像内の対象物の輪郭を抽出して、左右輪郭（上下輪郭も含む）の幅を画像の分解能以下まで精度よく短時間で計測することを目的とする。
【課題を解決するための手段】
【０００６】  上記の課題を解決するために、本発明の位置検出装置は、事前に作成して記憶した輪郭テンプレートと、被測定物の画像を取得するカメラと、前記カメラで取得した被測定物が写っている画像に対して、前記輪郭テンプレートを移動させながらマッチング計算をするマッチング計算部と、前記マッチング計算部で計算した結果から、前記テンプレートと最も一致した位置を被測定物の位置として検出する位置検出部と、から構成される位置検出装置において、前記位置検出部は被測定物のＸ方向とＹ方向の少なくとも片方の位置を、左右（あるいは上下）に近接した複数のマッチング計算結果の関数として輪郭の位置をサブピクセルまで測定することを特徴とする。【０００７】  このように構成することで、複数の対象物の輪郭テンプレートとのマッチング結果から最も高い一致がみられたテンプレートに該当する対象物であることを決定できるとともに、輪郭の位置をサブピクセルまで測定することができる。【０００８】  また、本発明の位置検出装置は、被測定物の輪郭の両サイドを測定することで、被測定物の大きさをサブピクセルまで測定する、ことを特徴とする。【０００９】  また本発明の位置検出装置は、初期位置での被測定物の大きさを測定して記憶する記憶部と、現在位置での被測定物の大きさを測定した結果と、前記記憶部に記憶した初期位置での被測定物の大きさとを比較することで、被測定物のカメラからの距離の変化を測定することを特徴とする【００１０】  また、本発明の輪郭テンプレートは、初期位置での被測定物の輪郭画像から作成することを特徴とする。【００１１】  また、本発明の被測定物の例は机上に配置された使用者の指であり、位置検出部は机上に配置された前記使用者の指の初期位置からの移動距離を測定することを特徴とする。【００１２】  このように構成することで、仮想キーボード上のどのキーを打鍵したのかを正確に判定できる。また仮想キーボードの打鍵よりも高い分解能が求められる仮想マウスの操作に高い有用性を発揮できる。
【発明の効果】
【００１３】  机上の手指の位置と大きさとを精度よく検出することで仮想キーボードや仮想マウスの操作を容易に実現できる。また同様に画像上の対象物の位置と大きさとを精度よく検出する必要がある画像認識の分野に広く使用することができる。
【図面の簡単な説明】
【００１４】
【図１Ａ】仮想マウスの操作の説明図である。
【図１Ｂ】仮想マウスの操作の説明図である。
【図１Ｃ】仮想マウスの操作の説明図である。
【図１Ｄ】仮想マウスの操作の説明図である。
【図２Ａ】指の輪郭と輪郭テンプレートの説明図である。
【図２Ｂ】指の輪郭と輪郭テンプレートの説明図である。
【図２Ｃ】指の輪郭と輪郭テンプレートの説明図である。
【図２Ｄ】指の輪郭と輪郭テンプレートの説明図である。
【図３】相関マッチング結果のパターンを示す図である。
【図４】前後移動距離計算のフローチャートの一例である。
【図５】位置検出装置のハードウエアブロック図の一例である。
【発明を実施するための形態】
【００１５】  以下、本発明の実施形態について図面を参照して説明する。
図１Ａ、図１Ｂ、図１Ｃおよび図１Ｄは仮想マウスの操作の説明図である。図１Ａは机上に近接して配置されたカメラで撮影された画像１００の中の使用者１０１とマウスポインタを操作する右手１０２と人差指１０３を示している。図１Ｂは右手の人差指１０４だけを机上に接触させて静止することで指の初期位置と大きさを示している。図１Ｃは右手の人差指１０５が机上を右前方に移動して画像上の指のサイズが大きくなった図である。図１Ｄは別に設けられている表示画面１０６と表示されているマウスポインタの位置を示している。マウスポインタの初期位置１０７が、図１Ｂの右手人差指１０４の初期位置と大きさに対応付けられ、移動後のマウスポインタの位置１０８が図１Ｃの右手人差指１０５の移動後の位置と大きさに対応付けられる。
【００１６】  右手人差指を前後に動かすことによって人差指の画像上の大きさが変化し、これに合わせてマウスポインタを前後に動かすことになる。従って指の幅を画像上の画素のピッチよりも高い分解能で検出することでマウスポインタを分解能良く前後に動かすことができる。このように画像上の画素のピッチよりもどれだけ高い分解能で対象物の位置を検出できるかで機器の性能が決まる技術分野に広く使用できる技術を提供する。
【００１７】  図２Ａ、図２Ｂ、図２Ｃおよび図２Ｄは指の輪郭と輪郭テンプレートの説明図である。図２Ａの指の右輪郭１１０を切出して図２Ｂに示している。図２Ｂはカメラ画像上の各画素１１２と指の輪郭１１１を重ねて現わしている。指の輪郭１１１はＸ座標の複数画素に渡って検出される。図では約３画素に渡っている例を示している。複数画素に渡る理由は種々ある。指が円筒形であるために輪郭部では光の反射が徐々に変化することや、カメラの焦点がずれている等の光学系の要因がある。
【００１８】  図２Ｂの画素行１１３を取り出して輝度の変化を示したのが図２Ｃである。図２Ｃの横軸はＸ座標であり、縦軸は各画素の輝度であり、各点が一つの画素を示している。指の輪郭の外側の輝度が低く、内側が高い例である。Ｘ方向の微分値が最も大きいのが画素１１４であるがその左右の画素も輝度が変化している。
【００１９】  図２Ｄは輪郭テンプレートの一例である。図２Ｂの有効な輝度変化を持つ画素を抽出したものであり、各画素１１５は原画像１１２のＸ方向微分値の絶対値であり、画素ごとに異なる値を持つ。図では４×４の輪郭テンプレートを示しているが、指輪郭の場合はＹ方向にはさらに多くの画素が輪郭情報として有効であり数十画素のテンプレートとする。輪郭テンプレートは通常は矩形領域で作成されるが、指輪郭の場合は輪郭が斜めになっていることや、爪などの周辺画像がノイズとなるため図２Ｄのように指の輪郭として有効な微分値を持つ画素だけからなる変形したテンプレートとするのが有効である。
【００２０】  このように作成した輪郭テンプレートをＸ軸方向とＹ軸方向に一画素ずつ移動させながら、検出対象となる原画像の各画素をＸ方向微分の絶対値に置き換えた画像（以下微分画像と書く）と相関マッチング計算をすると指の輪郭画像の位置で最大値になる。相関マッチング計算は次の数式１で求めることができる。
【００２１】
【数１】
2013149228.tif 000003
【００２２】  ここでＴ（ｉ，ｊ）は輪郭テンプレートであり、Ｘ軸方向にｉ個の画素、Ｙ方向にｊ個の画素を持つことを示している。Ｉ（ｘ，ｙ）は微分画像である。輪郭テンプレートも微分画像もＸ軸方向に複数の連続した有意な微分値を持つことから、相関マッチング結果が最大値になる（ｘ，ｙ）に隣接する（ｘ−１，ｙ）や（ｘ＋１，ｙ）も有意な相関マッチング結果が得られる。
【００２３】  図３は相関マッチング結果のパターンを示す図である。図３の（１）では画素番号Ｎで最大値になり、両サイドのＸ座標での相関マッチング結果は同じ値になっている。この場合の輪郭のＸ座標はＮになる。図３の（５）ではこれが１画素分右にシフトしており、この場合の輪郭のＸ座標はＮ＋１になる。図３の（３）では画素番号ＮとＮ＋１で同等の最大値を取り、この場合の輪郭のＸ座標はＮ＋１／２になる。これらの中間のパターンである図３の（２）や（４）からわかるように輪郭のＸ座標はこれらのパターンによって微小な座標の違いを識別することができる。数式２は図３のパターンから輪郭のＸ座標を求める式の一例である。
【００２４】
【数２】
2013149228.tif 000004
【００２５】  ここで座標（ｘ，ｙ）は相関マッチング計算の結果が最大となった座標であり、加算する範囲ｉは座標（ｘ，ｙ）を中心に左右に輪郭テンプレートが存在する範囲である。この計算によって加算する範囲ｉにおける相関マッチングの値Ｒ（ｘ＋ｉ，ｙ）を重みとした平均座標が得られる。原理上は画像のＡＤ変換の分解能のレベルまで輪郭位置の分解能が得られる。
【００２６】  以上のようにして指の右輪郭のＸ座標を精度よく検出できたが、同様にして指の左輪郭を検出することで指の幅を精度よく測定することができる。また初期位置での指の幅と移動後の指の幅を精度よく測定することで、指とカメラとの相対距離の変化を計算することができ、これに合わせてマウスポインタを高い分解能で移動させることができる。
【００２７】  図４は前後移動距離計算のフローチャートの一例である。画像上の対象物のカメラに対する前後移動距離を計算している。微分画像の中で検出対象物が存在する可能性のある座標に対して、右輪郭テンプレートをＸ軸方向とＹ軸方向に一画素ずつシフトしながら相関マッチング計算をする（ステップＳ１）。同様にして左輪郭テンプレートでも相関マッチング計算をする（ステップＳ２）。検出対象物がカメラに対して前後移動した場合に、その画像上の大きさの変化には通常上限下限がある。そのためステップＳ１とＳ２ではマッチング計算結果の最大値から順に複数の輪郭候補を抽出しておき、ステップＳ３では左右輪郭の候補の中から対象物の大きさとして許容される輪郭のペアを抽出し、その中で左右の相関マッチング計算値の和の最大のものを選定し、対象物の輪郭として決定する。
【００２８】  決定した左右それぞれの輪郭の精度のよい座標を数式２に従って計算する（ステップＳ４）。相関マッチングの値そのものはステップ１とステップ２で計算済みなので、ステップ４では加重計算をするだけで済む。次に左右輪郭の座標の差から左右輪郭間の幅を求める（ステップＳ５）。これで測定対象物の大きさが求まる。
【００２９】  あらかじめ記憶しておいた測定対象物の初期位置での大きさと、今回の微分画像上での大きさの比較から、所定の計算によって測定対象物のカメラからの前後距離の距離を計算する（ステップＳ６）。
【００３０】  図５は位置検出装置１２０のハードウエアブロック図の一例である。カメラ１２１から取り込まれた画像はプロセッサ１２２によって処理され、ＲＡＭ１２５に保存される。ＲＯＭ１２３に書き込まれたソフトウエアプログラム１２４で図４のフローチャートの処理を実現している。検出された対象物の位置情報はティスプレイ１２６に適宜表示される。
【符号の説明】
【００３１】  １００  カメラで撮影された画像
１０１  使用者
１０２  操作する右手
１０３、１０４、１０５  人差指
１０６  表示画面
１０７  マウスポインタの初期位置
１０８  移動後のマウスポインタ位置
１１０  指の右輪郭
１１１  指の輪郭
１１２  カメラ画像上の各画素
１１３  画素行
１１４  画素
１１５  画素
１２０  位置検出装置
１２１  カメラ
１２２  プロセッサ
１２３  ＲＯＭ
１２４  プログラム
１２５  ＲＡＭ
１２６  ディスプレイ
【図１Ａ】
2013149228.tif 000005
【図１Ｂ】
2013149228.tif 000006
【図１Ｃ】
2013149228.tif 000007
【図１Ｄ】
2013149228.tif 000008
【図２Ａ】
2013149228.tif 000009
【図２Ｂ】
2013149228.tif 000010
【図２Ｃ】
2013149228.tif 000011
【図２Ｄ】
2013149228.tif 000012
【図３】
2013149228.tif 000013
【図４】
2013149228.tif 000014
【図５】
2013149228.tif 000015