(57)【要約】【課題】特定オブジェクトの位置判定を異なる視点からの撮影画像の連結画像から抽出した特徴量に基づいて実行する装置、方法を提供する。【解決手段】異なる視点からの撮影画像を連結した連結画像から特徴量を抽出し、抽出した特徴量に基づいて特定オブジェクトの位置判定処理を実行する。特徴量抽出部は、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行し、離間型フィルタの各フィルタ領域を、連結画像の２つの画像の各々に設定して特徴量抽出処理を実行する。特定オブジェクト認識部は、特徴量抽出部の抽出した異なる離間型フィルタ対応の特徴量を加算したスコアに基づいて特定オブジェクトの位置判定処理を実行する。【選択図】図３
2015118582.tif 000002
【特許請求の範囲】
【請求項１】
異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識部を有し、
前記特徴量抽出部は、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行する情報処理装置。
【請求項２】
前記特徴量抽出部は、
前記離間型フィルタを構成する離間した各フィルタ領域を、前記連結画像の２つの画像の各々に設定して特徴量抽出処理を実行する請求項１に記載の情報処理装置。
【請求項３】
前記特徴量抽出部は、
予め実行した学習処理において前記特定オブジェクトの第１状態と第２状態との識別力が高いと判定したフィルタを選択的に適用して特徴量抽出を実行する請求項１に記載の情報処理装置。
【請求項４】
前記情報処理装置は、
前記特定オブジェクトの第１状態を示す連結画像と、第２状態を示す連結画像を多数入力して、異なる形式の離間型フィルタを適用した特徴量抽出により、識別力の高いフィルタを判別する処理を実行する学習処理部を有する請求項１に記載の情報処理装置。
【請求項５】
前記特定オブジェクト認識部は、
前記特徴量抽出部の抽出した異なる離間型フィルタ対応の特徴量を加算したスコアを算出し、加算スコアに基づいて前記特定オブジェクトの位置判定処理を実行する請求項１に記載の情報処理装置。
【請求項６】
前記特定オブジェクト認識部は、
前記特徴量抽出部の抽出した異なる離間型フィルタ対応の画素対応の特徴量を加算した画素対応のスコアを算出し、算出した画素対応のスコアをさらに加算した総合スコアに基づいて前記特定オブジェクトの位置判定処理を実行する請求項１に記載の情報処理装置。
【請求項７】
前記特徴量抽出部は、
前記特定オブジェクトである指がボードに接触している第１状態と、指がボードに接触していない第２状態を判別する指標値としての特徴量を算出し、
前記特定オブジェクト認識部は、
前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトである指がボードに接触しているか否かの判定処理を実行する請求項１に記載の情報処理装置。
【請求項８】
前記特徴量抽出部は、さらに、
画像内に特定オブジェクトが存在するか否かを判別する指標値としての特徴量を抽出し、
前記特定オブジェクト認識部は、
前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの有無を判定する特定オブジェクト検出処理を実行する請求項１に記載の情報処理装置。
【請求項９】
前記離間型フィルタは、異なる輝度のフィルタ領域を離間して設定したフィルタである請求項１に記載の情報処理装置。
【請求項１０】
前記特徴量抽出部は、
前記連結画像の一方の画像の特徴点と、他方の画像上の前記特徴点に対応するエピポーラライン上に前記離間型フィルタを設定して特徴量抽出を実行する請求項１に記載の情報処理装置。
【請求項１１】
情報処理装置において実行する情報処理方法であり、
特徴量抽出部が、異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出する特徴量抽出処理、、
特定オブジェクト認識部が、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行し、
前記特徴量抽出部は、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行する情報処理方法。
【請求項１２】
情報処理装置において情報処理を実行させるプログラムであり、
特徴量抽出部に、異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出させる特徴量抽出処理、、
特定オブジェクト認識部に、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行させ、
前記特徴量抽出部には、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、並びにプログラムに関する。さらに詳細にはカメラの撮影画像に基づいて特定オブジェクトの有無や位置を解析する情報処理装置、情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像に撮影された被写体の位置を解析するシステムとしてステレオカメラを用いた距離解析処理が知られている。
これは、２つの異なる位置から撮影した２枚の画像の対応点を解析し、この対応点情報に基づいてカメラから被写体までの距離（デプス）を算出するものである。
しかし、２枚の画像の対応点に基づく距離算出処理は、計算コストや処理コストが大きくなり、データ処理能力の十分な装置を用いないと処理遅延が発生する場合がある。
【０００３】
また、画像から特定のオブジェクト、例えば人の顔や手を検出する処理として特徴量を用いた処理が知られている。これは、検出対象の特徴量を示す画像データを予め取得し、撮影画像の中から、この特徴量と類似する画像領域を検出する処理である。例えば人の顔を検出する場合は、人の顔の特徴量を示す画像データを予め取得し、撮影画像の中から、この特徴量と類似する特徴量を持つ画像領域を顔領域として判定する。
【０００４】
特徴量としては、例えば画像内のエッジ抽出によって得られる特徴量が用いられる。予め実行する学習処理によって、複数の特徴量データを集積し、集積した学習データと撮影画像に含まれる画像領域との比較により目的のオブジェクトの検出が実行される。（特許文献１〜３参照）
【０００５】
しかし、従来技術において開示された特徴量を用いたオブジェクト検出処理は、例えば１枚の画像の中から、特定の特徴量と類似する領域を検出して特定のオブジェクトの画像領域を特定することは可能であるが、そのオブジェクトの空間的な位置を判定するものとはなっていない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＵＳ公開２００４−００１３３０４
【特許文献２】ＵＳ公開２００２−０１０２０３４
【特許文献３】ＵＳ特許７０９９５１０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示は、カメラの撮影画像に基づいて例えば人の指など特定オブジェクトが画像に含まれるか否かの判定処理や、特定オブジェクトの位置判定を行う情報処理装置、情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の第１の側面は、
異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識部を有し、
前記特徴量抽出部は、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行する情報処理装置にある。
【０００９】
さらに、本開示の情報処理装置の一実施態様において、前記特徴量抽出部は、前記離間型フィルタを構成する離間した各フィルタ領域を、前記連結画像の２つの画像の各々に設定して特徴量抽出処理を実行する。
【００１０】
さらに、本開示の情報処理装置の一実施態様において、前記特徴量抽出部は、予め実行した学習処理において前記特定オブジェクトの第１状態と第２状態との識別力が高いと判定したフィルタを選択的に適用して特徴量抽出を実行する。
【００１１】
さらに、本開示の情報処理装置の一実施態様において、前記情報処理装置は、前記特定オブジェクトの第１状態を示す連結画像と、第２状態を示す連結画像を多数入力して、異なる形式の離間型フィルタを適用した特徴量抽出により、識別力の高いフィルタを判別する処理を実行する学習処理部を有する。
【００１２】
さらに、本開示の情報処理装置の一実施態様において、前記特定オブジェクト認識部は、前記特徴量抽出部の抽出した異なる離間型フィルタ対応の特徴量を加算したスコアを算出し、加算スコアに基づいて前記特定オブジェクトの位置判定処理を実行する。
【００１３】
さらに、本開示の情報処理装置の一実施態様において、前記特定オブジェクト認識部は、前記特徴量抽出部の抽出した異なる離間型フィルタ対応の画素対応の特徴量を加算した画素対応のスコアを算出し、算出した画素対応のスコアをさらに加算した総合スコアに基づいて前記特定オブジェクトの位置判定処理を実行する。
【００１４】
さらに、本開示の情報処理装置の一実施態様において、前記特徴量抽出部は、前記特定オブジェクトである指がボードに接触している第１状態と、指がボードに接触していない第２状態を判別する指標値としての特徴量を算出し、前記特定オブジェクト認識部は、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトである指がボードに接触しているか否かの判定処理を実行する。
【００１５】
さらに、本開示の情報処理装置の一実施態様において、前記特徴量抽出部は、さらに、画像内に特定オブジェクトが存在するか否かを判別する指標値としての特徴量を抽出し、前記特定オブジェクト認識部は、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの有無を判定する特定オブジェクト検出処理を実行する。
【００１６】
さらに、本開示の情報処理装置の一実施態様において、前記離間型フィルタは、異なる輝度のフィルタ領域を離間して設定したフィルタである。
【００１７】
さらに、本開示の情報処理装置の一実施態様において、前記特徴量抽出部は、前記連結画像の一方の画像の特徴点と、他方の画像上の前記特徴点に対応するエピポーラライン上に前記離間型フィルタを設定して特徴量抽出を実行する。
【００１８】
さらに、本開示の第２の側面は、
情報処理装置において実行する情報処理方法であり、
特徴量抽出部が、異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出する特徴量抽出処理、、
特定オブジェクト認識部が、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行し、
前記特徴量抽出部は、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行する情報処理方法にある。
【００１９】
さらに、本開示の第３の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
特徴量抽出部に、異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出させる特徴量抽出処理、、
特定オブジェクト認識部に、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行させ、
前記特徴量抽出部には、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行させるプログラムにある。
【００２０】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２１】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２２】
本開示の一実施例の構成によれば、特定オブジェクトの位置判定を異なる視点からの撮影画像の連結画像から抽出した特徴量に基づいて実行する装置、方法が実現される。
具体的には、異なる視点からの撮影画像を連結した連結画像から特徴量を抽出し、抽出した特徴量に基づいて特定オブジェクトの位置判定処理を実行する。特徴量抽出部は、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行し、離間型フィルタの各フィルタ領域を、連結画像の２つの画像の各々に設定して特徴量抽出処理を実行する。特定オブジェクト認識部は、特徴量抽出部の抽出した異なる離間型フィルタ対応の特徴量を加算したスコアに基づいて特定オブジェクトの位置判定処理を実行する。
本構成により、特定オブジェクトの位置判定を異なる視点からの撮影画像の連結画像から抽出した特徴量に基づいて実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２３】
【図１】本開示の情報処理装置が実行する処理の概要について説明する図である。
【図２】本開示の情報処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図３】本開示の情報処理装置の構成と処理について説明する図である。
【図４】特徴量抽出に適用するフィルタについて説明する図である。
【図５】特徴量抽出に適用するフィルタについて説明する図である。
【図６】特徴量抽出処理について説明する図である。
【図７】スコア算出処理について説明する図である。
【図８】オブジェクト検出のための学習処理について説明する図である。
【図９】オブジェクト検出のための学習処理について説明する図である。
【図１０】オブジェクト検出のための学習処理について説明する図である。
【図１１】特徴量抽出処理について説明する図である。
【図１２】特徴量抽出処理について説明する図である。
【図１３】総合スコア算出処理について説明する図である。
【図１４】特定オブジェクトの位置判定処理に適用する画像とフィルタについて説明する図である。
【図１５】画像の切り出し処理とＬＲ連結画像の生成処理について説明する図である。
【図１６】ＬＲ連結画像の例について説明する図である。
【図１７】オブジェクト位置判定のための学習処理について説明する図である。
【図１８】オブジェクト位置判定のための学習処理について説明する図である。
【図１９】オブジェクト位置判定のための学習処理について説明する図である。
【図２０】ボードに対する指が接触した画像と比接触画像の差異について説明する図である。
【図２１】エピポーララインを適用したフィルタ適用領域の限定について説明する図である。
【図２２】離間型フィルタの種類と特徴について説明する図である。
【図２３】情報処理装置の構成例について説明する図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示の情報処理装置の実行する処理の概要について
２．情報処理装置の構成と処理について
３．情報処理装置の各構成部の実行する処理について
３−１．学習処理部の特徴量抽出部が実行する処理について
３−２．機械学習部の実行する処理について
３−３．認識処理部の実行する処理について
４．特定オブジェクトの位置判定処理について
４−１．学習処理部の実行する処理について
４−２．認識処理部の実行する処理について
５．フィルタ適用位置を限定した実施例について
６．離間型フィルタのタイプと特性について
７．情報処理装置の構成例について
８．本開示の構成のまとめ
【００２５】
［１．本開示の情報処理装置の実行する処理の概要について］
まず、図１以下を参照して本開示の情報処理装置が実行する処理の概要について説明する。
本開示の情報処理装置は、複数の異なる位置に設置されたカメラの撮影画像を入力し、カメラ撮影画像の解析に基づいて、以下の各処理を実行する。
（ａ）撮影画像内に特定のオブジェクトが含まれるか否かを判定する「特定オブジェクト検出処理」
（ｂ）上記処理（ａ）で検出された特定オブジェクトについての位置を判定する「特定オブジェクトの位置判定処理」
これら（ａ），（ｂ）の各処理を実行する。
【００２６】
なお、以下の実施例では、検出処理、および位置判定の対象とする特定オブジェクトを図１（ａ）に示す人の指３０とした実施例を説明する。
また、特定オブジェクトの位置判定処理は、指３０がボード２１に接触（タッチ）しているか否かの２つの状態の判定処理を行なう実施例について説明する。
【００２７】
図１（ａ）は、画像の撮影環境の一例を示す図である。
図１（ａ）は、ボード２１上に人の指３０があり、指３０がボード２１に接触（タッチ）している状態を示している。
なお、指３０は、随時、移動し、ボード２１に接触していない離れた状態になる場合や、ボード２１から離れて、ボード２１上には存在しなくなる場合もある。
すなわち、指３０の状態としては、以下の３種類の状態がある。
（状態１）指３０がボード２１に接触した状態
（状態２）指３０がボード２１の上にあるが接触していない状態
（状態３）指３０がボード２１に接触せす、ボード２１の上部にもない状態
【００２８】
本開示の情報処理装置は、図１に示す２つのカメラ、すなわちカメラＬ１１とカメラＲ１２の撮影画像に基づいて、上記の３状態を判別する。
【００２９】
カメラＬ１１はボード２１の中心部から見て左上部の位置に固定され、ボード２１の平面を左上部から撮影する。
一方、カメラＲ１２はボード２１の中心部から見て右上部の位置に固定され、ボード２１の平面を右上部から撮影する。
ボード２１上に指３０が存在する場合は、指３０を含む画像をそれぞれ左上部、および右上部から撮影する。
【００３０】
各カメラの撮影画像の例を図１（ｂ）に示す。
Ｌ画像５１は、カメラＬ１１によって撮影された画像である。
Ｒ画像５２は、カメラＲ１２によって撮影された画像である。
この画像例は、指３０がボード２１に接触している状態における撮影画像である。
指３０が、ボード２１に接触していない場合や、指３０がボード２１の上に無い場合には、図１（ｂ）に示す画像とは異なる画像が撮影されることになる。
【００３１】
なお、カメラＬ１１、カメラ１２の撮影画像は静止画でも、動画でもよい。静止画である場合は、撮影された２枚の静止画を利用して上記の（状態１）〜（状態３）のいずれの状態にあるかを判定する。
また、撮影画像が動画である場合は、例えば各撮影フレーム単位、あるいは、予め規定した所定フレーム間隔で上記の（状態１）〜（状態３）のいずれの状態にあるかを判定する。
【００３２】
次に、図２に示すフローチャートを参照して本開示の情報処理装置の実行する処理シーケンスについて説明する。
本開示の情報処理装置は、例えば図１に示す２つの異なる位置に設定されたカメラであるカメラＬ１１、カメラＲ１２の撮影画像を入力して、これらの画像に基づいて、上述した３つの状態、すなわち、
（状態１）指３０がボード２１に接触した状態
（状態２）指３０がボード２１の上にあるが接触していない状態
（状態３）指３０がボード２１に接触も上部にもない状態
上記３状態のいずれの状態であるかを判定する処理を実行する。
【００３３】
図２に示すフローの各ステップの処理について説明する。
（ステップＳ１０１）
まず、情報処理装置は、撮影画像に指が含まれるか否かの指検出処理を実行する。この処理は、図１（ｂ）に示すＬ画像５１、またはＲ画像５２のいずれか一方の画像のみを利用して実行する。
この指検出処理には、予め蓄積した特徴量を示す学習データを利用する。この処理の具体的処理については、後段で説明する。
【００３４】
（ステップＳ１０２〜Ｓ１０３）
情報処理装置は、ステップＳ１０２において、撮影画像から指が検出されたか否かを判定する。
指が検出されなかった場合は、ステップＳ１０３に進み、指が検出されなかったことを示す解析結果を出力し、ステップＳ１０８に進む。
なお。解析結果の出力先は、解析結果に応じた処理を実行するデータ処理部であり、情報処理装置内のデータ処理部でもよいし、情報処理装置に接続された外部装置であってもよい。
【００３５】
（ステップＳ１０４）
ステップＳ１０２において、撮影画像から指が検出されたと判定した場合は、ステップＳ１０４に進む。
ステップＳ１０４では、指の位置検出処理として、指がボードに接触（タッチ）しているか否かの接触判定処理を実行する。
この接触判定処理には、図１（ｂ）に示すＬ画像５１と、Ｒ画像５２の異なる視点から撮影した複数枚の画像を利用する。
この接触判定処理においても、予め蓄積した特徴量を示す学習データを利用する。この処理の具体的処理については、後段で説明する。
【００３６】
（ステップＳ１０５〜Ｓ１０７）
情報処理装置は、ステップＳ１０５において、撮影画像から検出した指がボードに接触した状態であるか否かを判定し、接触していないと判定した場合は、ステップＳ１０６に進み、指がボードに接触していない状態であることを示す解析結果を出力し、ステップＳ１０８に進む。
一方、接触していると判定した場合は、ステップＳ１０７に進み、指がボードに接触している状態であることを示す解析結果を出力し、ステップＳ１０８に進む。
なお。解析結果の出力先は、解析結果に応じた処理を実行するデータ処理部であり、情報処理装置内のデータ処理部でもよいし、情報処理装置に接続された外部装置であってもよい。
【００３７】
（ステップＳ１０８）
次に、情報処理装置は、ステップＳ１０８において、解析処理が終了したか否かを判定する。解析対象となる画像の入力がない場合には、処理終了と判定する。例えば、動画を撮影しながら予め規定したフレーム間隔ごとに解析を継続的に実行する場合には、図２に示すフローに従った処理を所定フレーム間隔ごとに繰り返し実行する。この場合には、ステップＳ１０８の判定はＮｏとなり、ステップＳ１０１に戻り、新たな入力画像に対して、ステップＳ１０１以下の解析処理を繰り返し実行する。
【００３８】
このように、本開示の情報処理装置は、１枚の撮影画像に基づくオブジェクト検出処理を実行し、続いて異なる視点から撮影した画像を適用して、オブジェクト位置判定処理を実行する。
なお、ここで説明する実施例では、オブジェクト検出処理は指の検出処理であり、オブジェクト位置判定処理は、指がボードに接触しているか否かの２つの状態の判別処理として実行する。
【００３９】
［２．情報処理装置の構成と処理について］
次に本開示の情報処理装置の構成例について説明する。
本開示の情報処理装置の構成例を図３に示す。情報処理装置１００は、学習処理部１１０と認識処理部１２０を有する。
学習処理部１１０は、画像入力部１１１、特徴量抽出部１１２、機械学習部１１３、認識辞書記憶部１１４を有する。
学習処理部１１０は、多数の画像を学習画像として入力し、学習画像に基づいて、認識処理部１２０が画像から特定オブジェクトの有無や位置の識別処理に用いる認識辞書を生成する。生成した認識辞書は認識辞書記憶部１１４に格納される。
【００４０】
一方、認識処理部１２０は、画像入力部１２１、特徴量抽出部１２２、特定オブジェクト認識部１２３を有する。
認識処理部１２０は、解析対象画像を入力して、特定オブジェクトの検出と位置判定を行なう。認識処理部１２０は、学習処理部１１０が学習データに基づいて生成し、認識辞書記憶部１１４に格納した認識辞書を用いて、特定オブジェクトの検出と位置判定を行なう。
図２を参照して説明したフローチャートに従った処理は、この認識処理部１２０の実行する処理に相当する。
【００４１】
なお、図３に示す情報処理装置１００は、先に図２に示すフローを参照して説明したように、以下の２つの処理を行なう。
（処理１）画像に指が含まれるか否かのオブジェクト検出処理、
（処理２）検出された指がボードに接触しているか否かを判定するオブジェクト位置判定処理（接触判定処理）
【００４２】
情報処理装置１００の学習処理部１１０は、上記の（処理１）、（処理２）に適用する学習データとしての認識辞書を生成する。
また、認識処理部１２０は、学習処理部の生成した上記の（処理１）、（処理２）に対応する認識辞書を個別に適用して、以下の各処理、すなわち、
（処理１）画像に指が含まれるか否かのオブジェクト検出処理、
（処理２）検出された指がボードに接触しているか否かを判定するオブジェクト位置判定処理（接触判定処理）
これらの各処理を実行する。
【００４３】
［３．情報処理装置の各構成部の実行する処理について］
以下、図３に示す情報処理装置１００の各処理部の実行する処理について、順次、説明する。
【００４４】
［３−１．学習処理部の特徴量抽出部が実行する処理について］
まず、図３に示す情報処理装置１００の学習処理部１１０内の特徴量抽出部１１２が実行する処理について説明する。
学習処理部１１０は、画像入力部１１１から多数の撮影画像を学習画像として入力する。
学習画像は、例えば、図１（ａ）を参照して説明した撮影環境において撮影された多数の画像である。この学習画像には、例えば、以下の各状態の画像が各々多数含まれる。
（状態１）指３０がボード２１に接触した状態
（状態２）指３０がボード２１の上にあるが接触していない状態
（状態３）指３０がボード２１に接触も上部にもない状態
なお、学習処理に際して入力する学習画像の各々には、各画像が上記のどの状態の画像であるかを示す属性情報（ラベル，タグ等）が設定されている。
【００４５】
特徴量抽出部１１２は、画像入力部１１１から入力する学習画像に含まれる特徴量を抽出する。特徴量抽出には、様々なフィルタが用いられる。図４、図５に特徴量抽出に適用する矩形フィルタの例を示す。
【００４６】
図４（ａ）に示す１次微分フィルタは、画像内において白から黒、または、黒から白へ変化する特徴を持つ画素領域を入力画像から抽出する処理に適したフィルタである。
垂直・水平方向フィルタは白から黒、または、黒から白へ変化する方向が垂直または水平方向の場合、斜め方向フィルタは白から黒、または、黒から白へ変化する方向が斜め方向の画素領域を効率的に抽出することができる。
【００４７】
図４（ｂ）に示す２次微分フィルタは、画像内において白／黒／白、または、黒／白／黒と変化する特徴を持つ画素領域を入力画像から抽出する処理に適したフィルタである。
垂直・水平方向フィルタは変化方向が垂直または水平方向の場合、斜め方向フィルタは、変化方向が斜め方向である画素領域を効率的に抽出することができる。
【００４８】
図５（ｃ）に示す３次微分フィルタは、画像内において白／黒／白／黒、または、黒／白／黒／白と変化する特徴を持つ画素領域を入力画像から抽出する処理に適したフィルタである。
垂直・水平方向フィルタは変化方向が垂直または水平方向の場合、斜め方向フィルタは、変化方向が斜め方向である画素領域を効率的に抽出することができる。
なお、図５（ａ）〜（ｃ）に示す矩形フィルタは従来から特徴量抽出に用いられる既存のフィルタである。
【００４９】
図５（ｄ）に示す離間型フィルタは、既存のフィルタではなく、本開示の情報処理装置の実行するオブジェクト位置判定処理に利用するフィルタとして考案したフィルタである。
図１に示す指３０の位置、具体的には、指３０がボード２１に接触しているか否かを判定するために利用するフィルタである。
【００５０】
図５（ｄ）に示す離間型フィルタは、白と黒のパターンが離間して設定されていることが特徴であり、この点が、図４（ａ），（ｂ），図５（ｃ）に示す１次〜３次微分フィルタとは異なる。
この図５（ｄ）に示す離間型フィルタを適用した指の位置判定処理については後段で詳細に説明する。
【００５１】
図３に示す情報処理装置１００の学習処理部１１０内の特徴量抽出部１１２の実行するフィルタを適用した特徴量抽出の一例について、図６を参照して説明する。
図６は、図４（Ａ）に示す１次微分フィルタの左上端に示す黒から白へ横方向に変化するフィルタ１３０を適用して、画像から同様の変化領域を持つ画素領域を抽出する処理例を説明する図である。
【００５２】
図６（Ａ）は入力画像である。ここで、入力画像は学習画像である。
図６（Ｂ）は、図４（Ａ）に示す１次微分フィルタの左上端に示す、黒から白へ横方向に変化するフィルタ１３０を適用したフィルタ演算を実行して得られる画像である。
フィルタ演算は、図に示すように以下の式に従って実行する。
【００５３】
【数１】
2015118582.tif 000003
・・・（式１）
【００５４】
上記式（式１）に示すＧｄ，θは、図４、図５を参照して説明した各フィルタに対応するガウス関数Ｇのｄ次微分関数である。ｄは、図４、図５を参照して説明した次数に相当し、θがフィルタの角度、すなわち図４、図５を参照して説明した垂直、水平（０°，９０°）、斜め（４５°，１３５°）等のフィルタの設定角度に相当する。。
また、Ｉ（ｘi，ｙi，ｓi）の（ｘi，ｙi）は画素位置を示し、ｓiは画像のスケールを意味する。ｉは、適用する画像のスケール識別子である。
Ｉ（ｘi，ｙi，ｓi）はスケールｓiの画像の画素位置（ｘi，ｙi）の画素値、例えば輝度を示す。
上記（式１）は、Ｇｄ，θによって定義されるフィルタと、画像の各画素値との畳み込み演算を実行する式である。
図６に示す例は、図４（Ａ）に示す１次微分フィルタの左上端に示す黒から白へ横方向に変化するフィルタ１３０を適用したフィルタ演算の実行例である。
このフィルタ演算によって、図６（Ａ）入力画像の画素値は図６（Ｂ）に示す画像のように変換される。
【００５５】
図６（Ｃ）は、図４（Ａ）に示すフィルタ１３０に対応する右方向に黒から白へ変化するパターンと、逆に白から黒に変化するパターンを等化させる演算を実行して得られる画像である。この処理により、例えば背景輝度に対して不変な特徴パターンの抽出が実現される。
この画像の生成に適用するフィルタ演算は以下の式に示す演算である。
【００５６】
【数２】
2015118582.tif 000004
・・・（式２）
【００５７】
上記式（式２）は、前述の（式１）の絶対値を算出する処理に相当する。
【００５８】
図６（Ｄ）は、画素位置のずれ等に対する耐性を高めるために、上記（式２）で得られる結果を、図６（Ｃ）に示す画像の所定範囲の画素領域で平滑化する処理を行なったものである。
この画像の生成に適用するフィルタ演算は以下の式に示す演算である。
【００５９】
【数３】
2015118582.tif 000005
・・・（式３）
【００６０】
例えば、上記（式３）によって得られる値が、Ｇｄ，θによって定義されるフィルタに基づいて得られる特徴量（ｘ）となる。
【００６１】
図６に示す例は、図４（Ａ）に示す１次微分フィルタの左上端に示す黒から白へ横方向に変化するフィルタ１３０を適用した特徴量算出処理例であり、フィルタ１３０のパターンと類似する画素領域ほど特徴量（ｘ）の値が大きくなる。
なお、特徴量（ｘ）は各画素対応の値として算出される。
その他のフィルタについても同様の処理を実行して、各フィルタ対応の特徴量（ｘ）を抽出し、抽出結果を図３に示す学習処理部１１３に出力する。
【００６２】
［３−２．機械学習部の実行する処理について］
次に、図３に示す情報処理装置１００の学習処理部１１０内の機械学習部１１３の実行する処理について説明する。
【００６３】
図４、図５に示したフィルタは、それぞれ１つの弱識別器（ＷＬ：ＷｅａｋＬｅａｒｎｅｒ）となり得る。弱識別器は、フィルタを探索領域に重ね合わせて得られる矩形特徴、例えば黒矩形に対応する領域内の輝度値の和と白矩形に対応する領域内の輝度値の和との差（特徴量ｘ）が閾値（ｔｈ）よりも大きいかで、物体を検出したか否かを判定する。
【００６４】
なお、本開示の処理では、特定オブジェクト（指）の検出処理、さらに、
特定オブジェクト（指）の位置判定処理として、指がボートに接触しているか否かの位置判定（接触判定）も行う。
オブジェクト検出処理では、フィルタ適用によって得られた特徴量（ｘ）が閾値より大きいか否かで、特定のオブジェクトが検出されたか否かを判定する。
またオブジェクト位置判定処理（接触判定処理）では、フィルタ適用によって得られた特徴量（ｘ）が閾値より大きいか否かで、オブジェクト（指）がボードに接触しているか否かを判定する。
【００６５】
図４、図５に示す白黒パターンの矩形型フィルタの適用においては、例えば、指の領域が背景より輝度値が低いという学習結果を利用して、矩形特徴に基づいて入力画像から指領域をある程度の確率で判別することができる。
個々の弱識別器のみでは十分な識別能力を発揮することはできないが、複数の弱識別器の識別結果を線形結合することで、より強い識別力を持つ識別器を構築することができる。
機械学習部１１３の実行する処理の１つは、各フィルタ対応の弱識別器によって得られた特徴量抽出結果を統合して、より強い識別器を生成することであり、認識処理部１２０において特定オブジェクト（指）の検出や位置判定に最適な特徴量の選択情報（スコア）を生成することである。
【００６６】
この処理について、図７を参照して説明する。
なお、図７以下では、画像内に指が含まれるか否かのオブジェクト検出処理を行なう場合の処理例について説明する。指がボードに接触しているか否かの位置判定処理については後段で説明する。
【００６７】
図７は、各フィルタを弱識別器１〜ｎとして設定し、各フィルタ対応の弱識別器１〜ｎによって得られる特徴量（ｘ）に基づいて、各画像領域に検出対象（例えば指）が含まれるか否かの判別結果を出力する関数ｆ１（ｘ）〜ｆｎ（ｘ）を設定し、これらの複数の弱識別器によって得られる判別結果に基づくスコアの算出処理例を説明する図である。
【００６８】
各フィルタ対応の弱識別器１〜ｎによって得られる特徴量（ｘ）に基づいて、各画像領域に検出対象（例えば指）が含まれるか否かの判別結果を出力する関数ｆｎ１（ｘ）は以下の式（式４）で示される。
ｆｎ（ｘ）＝ａｎ×ｇ（ｘ＞ｔｈｎ）＋ｂｎ      ・・・（式４）
【００６９】
なお、式（１）においてａｎおよびｂｎは係数（パラメータ）である。また、ｇ（ｘ＞ｔｈｎ）は、特徴量ｘが閾値ｔｈｎより大きい場合、所定領域が検出対象らしいことを示す数値「１」を出力し、特徴量ｘが閾値ｔｈｎ以下である場合、所定領域が検出対象らしくないことを示す数値「０」を出力する関数である。
ｎはフィルタ識別子である。
【００７０】
上記（式４）によって算出される値が、ｆｎ（ｘ）＝ａｎ＋ｂｎである場合、所定領域は検出対象らしく、ｆｎ（ｘ）＝ｂｎである場合、所定領域は検出対象らしくないとの判別がなされる。
【００７１】
このような弱識別器の判別結果ｆｎ（ｘ）の加算値をスコアＦ（ｘ）とする。
スコアＦ（ｘ）は、例えば次式（式５）で示される。
Ｆ（ｘ）＝Σｆｎ（ｘ）      ・・・（式５）
【００７２】
すなわち、スコアＦ（ｘ）はＮ個の弱識別器の判別結果ｆ１（ｘ）〜ｆｎ（ｘ）の和となる。また、スコアＦ（ｘ）の値が所定の閾値ｔｈより大きい場合、画像中に検出対象があるとされ、スコアＦ（ｘ）の出力値が閾値ｔｈ以下である場合、画像中に検出対象がないとされる。
【００７３】
機械学習部１１３は、例えば、多数の学習画像データとして、
指が含まれる画像、
指が含まれない画像、
これらの２種類のカテゴリに分類される画像を入力して、図４、図５を参照して説明したフィルタ１〜ｎを適用した判別結果を出力し、その出力結果に基づく統計学習を実行して、識別力の高い弱識別器を選択する処理を実行する。
この処理について、図８を参照して説明する。
【００７４】
図８には、学習画像の例として、
（Ａ）撮影画像中に識別対象オブジェクトである指が含まれる「指あり画像」
（Ｂ）撮影画像中に識別対象オブジェクトである指が含まれない「指なし画像」
これらの各画像を示している。
これらの学習画像は、上記（Ａ），（Ｂ）のいずれであるかを示す属性情報（ラベル，タグ等）が設定された画像である。
【００７５】
これらの各画像に対して図４、図５を参照して説明したフィルタｆ１〜ｆｎ（＝弱識別器１〜ｎ）を適用して得られる特徴量（ｘ）を算出する。図８に示す１つの矩形のｘ各々が、１つのフィルタを適用した１つの画像のある画素対応の特徴量ｘを示している。
なお、オブジェクト検出処理には、図４（ａ），（ｂ）〜図５（ｃ）に示す１次〜３次微分フィルタを用いる。
オブジェクト位置判定処理には、図５（ｄ）に記す離間型フィルタを用いる。
【００７６】
フィルタ適用処理によって算出される特徴量ｘの値は、フィルタｆ１〜ｆｎ（＝弱識別器１〜ｎ）の識別力に応じて異なる値となるが、識別力が高ければ指あり画像と、指なし画像とでは、その差が大きくなる。
図９に、各学習画像に対してフィルタｆ１を適用した場合の特徴量（ｘ）と度数との対応データを示す。
この度数分布データに示すように、ある程度の識別力がある場合は、指あり画像データの度数分布と、指なし画像データの度数分布は、異なる山を形成する。
【００７７】
しかし、この分布は、適用するフィルタによって異なるものとなる。
図１０（１）は、識別力の低い弱識別器（フィルタ）に基づく度数分布データの例を示している。
また、図１０（２）は、識別力の高い弱識別器（フィルタ）に基づく度数分布データの例を示している。
このように、識別力の低い弱識別器（フィルタ）を適用すると、指あり画像と指なし画像を区別することが困難になり、識別力の高い弱識別器（フィルタ）を適用すると、指あり画像と指なし画像を区別することが容易となる。
【００７８】
この度数分布データに基づいて、識別力の高い弱識別器（フィルタ）のみを選択して、この選択されたフィルタのみから図７を参照して説明したスコアを算出する処理を行なうことで、より信頼度の高い識別処理が実現される。
図１０（３）は、識別力の高い選択された複数の弱識別器（フィルタ）のみから算出したスコアの度数分布データの例を示している。
スコアの閾値は、例えばブースティングやサポート・ベクター、マシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ：ＳＶＭ）などの統計学習器を用いた学習により決定する。
【００７９】
機械学習部１１３は、このような統計学習を実行して識別力の高いフィルタの選択を実行する。
また、先に図７を参照して説明した各フィルタ（弱識別器）により判別結果を出力する関数ｆｎ１（ｘ）、すなわち、
ｆｎ（ｘ）＝ａｎ×ｇ（ｘ＞ｔｈｎ）＋ｂｎ
上記式において利用されるパラメータａｎ，ｂｎ，ｔｈｎについても、この統計学習によって、識別レベルを高く設定するための最適値を算出する。
【００８０】
この学習処理によって算出したパラメータと、識別力の高低を示すデータ（タグ）を各フィルタ（弱識別器）に設定して認識辞書を生成し、認識辞書記憶部１１４に格納する。
【００８１】
［３−３．認識処理部の実行する処理について］
次に、図３に示す情報処理装置１００の認識処理部１２０の実行する処理について説明する。
まず、画像内に指が含まれるか否かの特定オブジェクト検出処理について説明する。
指がボードに接触しているか否かの位置判定処理については後段で説明する。
【００８２】
認識処理部１２０は、画像入力部１２１、特徴量抽出部１２２、特定オブジェクト認識部１２３を有する。
認識処理部１２０は、解析対象画像を入力して、特定オブジェクトの検出と位置判定を行なう。認識処理部１２０は、学習処理部１１０が学習データに基づいて生成し、認識辞書記憶部１１４に格納した認識辞書を用いて、特定オブジェクトの検出と位置判定を行なう。
図２を参照して説明したフローチャートに従った処理は、この認識処理部１２０の実行する処理に相当する。
【００８３】
認識処理部１２０の画像入力部１２１は、解析対象とする画像を入力する。すなわち、図１（ａ）に示す撮影環境のカメラＬ１１の撮影画像とカメラＲ１２の撮影画像である。
この解析対象画像は、学習画像とは異なり、撮影画像中に指が含まれるか否かが不明な画像である。
なお、先に図２を参照して説明したように、
指が存在するか否かの指検出処理には、Ｌ画像またはＲ画像の一方のみを使用し、指がボートに接触しているか否かの判定処理にはＬ画像とＲ画像の２枚の画像を使用する。
【００８４】
特徴量抽出部１２２は、先に説明した学習処理部１１０の特徴量抽出部１１２の実行する特徴量抽出と同様、図４、図５を参照して説明したフィルタを適用した特徴量抽出処理を実行する。
ただし、認識処理部１２０の特徴量抽出部１２２で適用するフィルタ（弱識別器）は、学習処理部１１０の学習結果によって、識別力が高いと判定されたフィルタのみを選択して実行する。
これらは、認識記憶部１１４に格納されたフィルタ情報（タグ）に基づいて選択される。
また、各フィルタ（弱識別器）を用いて算出する特徴量（ｘ）の算出式、すなわち、
ｆｎ（ｘ）＝ａｎ×ｇ（ｘ＞ｔｈｎ）＋ｂｎ
上記式のパラメータａｎ，ｂｎ，ｔｈｎについても、前述した学習処理部１１０の学習処理によって決定され、認識辞書記憶部１１４に格納された値を利用する。
【００８５】
認識処理部１２０は、このように識別力の高い選択されたフィルタを用いて特徴量を算出し、スコアの算出を実行し、スコアの値に基づいて、指検出処理と、指がボードに接触しているか否かの判定処理を行なう。
以下、図を参照して、認識処理部１２０の実行する処理について説明する。
図１１は、認識処理部１２０の画像探索処理手順を模式的に示す図である。
【００８６】
まず、入力画像から、中間画像として積分画像を作成する。
入力画像に対して、直接、図６を参照して説明したフィルタ適用処理を実行してもよいが、中間画像として入力画像に基づく積分画像を生成し、積分画像に対してフィルタ適用を実行することで高速処理が可能となる。
なお、積分画像の生成処理と、積分画像を用いた特徴量算出の高速化処理については、本出願人の先の出願である特開２０１１−１８０７９２に記載されている。本開示の処理においても、この特許文献に記載されたと同様の処理手順に従って積分画像の生成と、積分画像を適用した特徴量算出を実行する。
【００８７】
積分画像は、垂直・水平矩形フィルタ用と斜め方向矩形フィルタ用とで作成方法が異なる。認識処理部１２０の特徴量抽出部１２２は、図４、図５を参照して説明したフィルタに対応する垂直・水平矩形フィルタ用と、斜め方向矩形フィルタ用の２種類の積分画像（Ｉｎｔｅｇｒａｌ  ｉｍａｇｅ）を作成する。
【００８８】
認識処理部１２０の特徴量抽出部１２２は、入力画像から生成した積分画像を用い、積分画像上で各フィルタを適用して特徴量を算出する。すなわち、先に図６を参照して説明した特徴量（ｘ）の算出処理を実行する。具体的には、積分画像をスキャンして、各スキャン位置（ｘ，ｙ）において、前述の式（式１）〜（式３）を適用して特徴量（ｘ）を算出する。
ここで、適用するフィルタは識別レベルの高い選択されたフィルタ（弱識別器）である。
【００８９】
特定オブジェクト認識部１２３は、複数の選択されたフィルタ（弱識別器）を適用して得られた特徴量を加算してスコアを算出する。この処理は、先に図７を参照して説明した処理である。
積分画像を用いることで、スキャン位置毎の矩形特徴を高速に計算することができる。
検出スコアが、予め設定した閾値以上に到達したときに、そのスキャン位置（ｘ，ｙ）で目的オブジェクト、本実施例では指が検出されたと判定する。
【００９０】
画像をスキャンして得られた最大の検出スコア次第で、検出結果が否定的（ｒｅｊｅｃｔｉｏｎ）、すなわち、目的オブジェクト（指）が検出されなかったという結果が返されることもある。また、スケール変換すなわち入力画像の大きさを変えながら、積分画像の生成と検出スコアの計算を繰り返し行なう構成としてもよい。
【００９１】
なお、最初に計算した積分画像をスケール変換すれば任意のサイズのウィンドウの探索が可能になるが、積分画像をスケール変換すると演算量が増大し、積分画像を使用して処理を高速化する効果を相殺することになる。そこで、図１１に示した例では、入力画像をスケール変換する度に積分画像を再計算するようにしている。
【００９２】
画像のスキャン処理例を図１２に示す。
画像の右上から水平方向に順次スキャン処理を実行し、各画素点で個々の選択フィルタに基づく特徴量（ｘ）を算出し、その後、選択フィルタ各々に基づいて算出された特徴量（ｘ）を加算して各画素点に対応するスコアを算出する。
算出したスコアが、あらかじめ規定した閾値を超えたら目的オブジェクト（指）が検出されたと判定する。
【００９３】
図１２に示すように、スコアは各画素位置対応のスコアとして算出される。しかし、例えば１つの画素位置のみスコアが高くても、画像内に目的オブジェクト（指）が検出されたとは言えない。すなわち、例えば指の形状に応じた複数の画素位置に対応する複数の高スコアが検出されなければ、画像内に目的オブジェクト（指）が検出されたとは言えない。
従って、最終的に指が検出されたか否かを判定するためには、複数の画素位置のスコアを総合して評価する必要がある。
【００９４】
特定オブジェクト認識部１２３は、このスコアの総合評価処理を実行する。
図１３を参照してスコアの総合評価処理例について説明する。
図１３には、積分画像に対するスキャン処理によって設定した各画素位置（画素位置１〜ｋ）でのフィルタ適用処理を示す画像と、これら各画素位置で算出したスコア１〜スコアｋを示している。
指が検出されると、これらの各画素位置でのスコアは高くなる。
【００９５】
画像に目的オブジェクト（指）が含まれるか否かを判定する最終的な指標値としての総合評価値である総合スコアは、これら各画素位置のスコアの加算値として算出する。すなわち、
総合スコア＝スコア１＋スコア２＋・・・＋スコアｋ
このように画像の各画素対応ののスコアを加算した値を総合スコアとし、総合スコアが予め設定した閾値以上である場合は、目的オブジェクト（指）が検出されたと判定する。
【００９６】
［４．特定オブジェクトの位置判定処理について］
次に、認識処理部１２０の実行するもう１つの処理である特定オブジェクトの位置判定処理、具体的には、図１に示す指３０がボード２１に接触しているか否かを判定する処理について説明する。
【００９７】
［４−１．学習処理部の実行する処理について］
指３０がボード２１に接触しているか否かを判定する処理を行なう場合も、図３に示す情報処理装置１００の学習処理部１１０が多数の学習画像を利用して認識辞書を生成する。この処理の流れは、上述した説明に従った処理となる。
ただし、この学習処理で学習対象とする画像は、図１に示すカメラＬ１１の撮影画像であるＬ画像と、カメラＲの撮影画像であるＲ画像を連結した連結画像とする。
また、特徴量算出に用いるフィルタ（弱識別器）は、図５（ｄ）に示す離間型フィルタとする。
【００９８】
図１４に処理対象とする画像の例とフィルタ例を示す。
図１４（Ａ）は、処理対象画像であり、図１に示すカメラＬ１１の撮影画像であるＬ画像と、カメラＲの撮影画像であるＲ画像を連結した画像となる。
なお、学習処理部１１０における学習画像を適用した学習処理においても、認識処理部１２０における解析対象画像を入力した認識処理においても、図１４（Ａ）に示すようなＬＲ連結画像を利用する。
【００９９】
図１４（Ｂ）は特徴量（ｘ）の算出に適用するフィルタの例を示している。これらのフィルタは、先に図５（ｄ）を参照して説明した離間型フィルタであり、白領域と黒領域とが離間して設定されたフィルタである。
なお、図には、白領域と黒領域を各々１つの領域とした１次元微分形式相当のフィルタのみを示しているが。白領域を２つ、黒領域を１つとした２次元微分形式や、白領域を２つ、黒領域も２つ設定した３次元形式のフィルタを利用してもよい。
【０１００】
学習画像を適用した学習処理と、解析対象となる画像を入力した認識処理の双方においてこの離間型フィルタを適用する。
【０１０１】
学習処理においては、
（ａ）指がボードに接触している画像、
（ｂ）指がボードに接触していない画像、
上記２つのカテゴリの画像として多数のＬＲ連結画像を生成して学習処理を行なう。
【０１０２】
なお、学習処理に際しては、学習処理部１１０の特徴量抽出部１１２が図１４（Ａ）に示すＬＲ連結画像の生成を行うが、この際、指の含まれる画像領域のみを切り出して連結して連結画像を生成する処理を行なってもよい。
学習処理部１１０の実行する学習処理の目的は、指がボードに接触しているか否かを識別するために適したフィルタを選択することと、フィルタの特徴量算出式に用いるパラメータを決定することである。これらの処理を効率的に実行するために画像句領域の切り出しを行って連結する。
なお、学習処理において決定するパラメータとは、先に説明した各フィルタ（弱識別器）の特徴量算出式、すなわち、
ｆｎ（ｘ）＝ａｎ×ｇ（ｘ＞ｔｈｎ）＋ｂｎ
上記式のパラメータａｎ，ｂｎ，ｔｈｎ
である。
【０１０３】
ＬＲ連結画像の生成と画像切り出し処理例について、図１５を参照して説明する。
図１５には、
（１）図１に示すカメラＬの撮影画像である撮影Ｌ画像
（２）図１に示すカメラＲの撮影画像である撮影Ｒ画像、
（３）特徴量抽出処理対象とするＬＲ連結画像
これらの画像の例を示している。
【０１０４】
図１５（３）に示すＬＲ連結画像は、撮影Ｌ画像と撮影Ｒ画像の一部の画像領域を切り出して連結した画像である。
切り出し処理の方法としては様々な手法が適用できるが、例えば、撮影Ｒ画像に含まれる指の指先と指の根本位置を切り出し画像の中心位置に設定するようにＲ画像を切り出す。撮影Ｌ画像については、撮影Ｒ画像の切り出し位置に対応する領域を切り出す。このような処理を実行してそれぞれの切り出し画像を連結してＬＲ連結画像を生成する。
この処理を行なうことで、多数のＬＲ連結画像の処理が必要となる学習処理において、効率的にフィルタの評価やパラメータの決定が可能となる。
【０１０５】
図１６は、画像切り出し処理と連結処理によって生成した特徴量抽出のためのＬＲ連結画像の例を示す図である。
なお、図１６に示すＬＲ連結画像例１〜２はいずれも模式的な積分画像の例である。学習処理においても解析処理と同様、先に図１１を参照して説明した積分画像を生成して、積分画像に対するスキャン処理を実行して特徴量の算出を行うことが可能である。
【０１０６】
図３の学習処理部１１０の特徴量抽出部１１２は、このようなＬＲ画像を利用したスキャン処理を実行して特徴量抽出を行う。なお、適用するフィルタは、図５（ｄ）や図１４（Ｂ）に示す離間型フィルタである。
【０１０７】
図３の学習処理部１１０の機械学習部１１３は、特徴量抽出部の算出した特徴量を入力してフィルタの評価やパラメータの決定を行う。
学習処理においては、
（ａ）指がボードに接触している画像、
（ｂ）指がボードに接触していない画像、
上記２つのカテゴリの画像として多数のＬＲ連結画像を生成して学習処理を行なう。
【０１０８】
これらの２種類のカテゴリに分類される画像を入力して、図５（ｄ）や図１４（Ｂ）に示す離間型フィルタを適用した判別結果を出力し、その出力結果に基づく統計学習を実行して、識別力の高い弱識別器を選択する処理を実行する。
この処理について、図１７を参照して説明する。
図１７には、学習画像の例として、
（Ａ）指がボードに接触している画像「指接触ＬＲ連結画像」
（Ｂ）指がボードに接触していない画像「指非接触ＬＲ連結画像」
これらの各画像を示している。
これらの学習画像は、上記（Ａ），（Ｂ）のいずれであるかを示す属性情報（ラベルやタグ）が設定された画像である。
【０１０９】
これらの各画像に対して図５（ｄ）や図１４（Ｂ）に示す離間型フィルタｆ１〜ｆｎ（＝弱識別器１〜ｎ）を適用して得られる特徴量（ｘ）を算出する。図１７に示す１つの矩形の各々が算出特徴量ｘを示している。
【０１１０】
なお、学習画像として利用するＬＲ連結画像は、例えば動画像の撮影処理によって得られる複数の連続撮影画像フレームを平均化して作成した平均画像としてもよい。
例えば、
第１フレームから第２０フレームの平均画像に基づいて生成したＬＲ連結画像を第１の学習画像、
第２１フレームから第４０フレームの平均画像に基づいて生成したＬＲ連結画像を第２の学習画像、
このような処理を実行して、複数の学習画像を生成して処理を行なってもよい。
【０１１１】
この特徴量ｘの値は、フィルタｆ１〜ｆｎ（＝弱識別器１〜ｎ）の識別力に応じて異なる値となるが、識別力が高ければ「指接触ＬＲ連結画像」と、「指非接触ＬＲ連結画像」とでは、その差が大きくなる。
図１８に、各学習画像に対してフィルタｆ１を適用した場合の特徴量（ｘ）と度数との対応データを示す。
この度数分布データに示すように、ある程度の識別力がある場合は、「指接触ＬＲ連結画像」対応の度数分布と、「指非接触ＬＲ連結画像」対応の度数分布は、異なる山を形成する。
【０１１２】
しかし、この分布は、適用するフィルタによって異なるものとなる。
図１９（１）は、識別力の低い弱識別器（フィルタ）に基づく度数分布データの例を示している。
また、図１９（２）は、識別力の高い弱識別器（フィルタ）に基づく度数分布データの例を示している。
このように、識別力の低い弱識別器（フィルタ）を適用すると、「指接触ＬＲ連結画像」と「指非接触ＬＲ連結画像」を区別することが困難になり、識別力の高い弱識別器（フィルタ）を適用すると、「指接触ＬＲ連結画像」と「指非接触ＬＲ連結画像」を区別することが容易となる。
【０１１３】
この度数分布データに基づいて、識別力の高い弱識別器（フィルタ）のみを選択して、この選択されたフィルタのみから図７を参照して説明したスコアを算出する処理を行なうことで、より信頼度の高い識別処理が実現される。
図１９（３）は、識別力の高い選択された複数の弱識別器（フィルタ）のみから算出したスコアの度数分布データの例を示している。
スコアの閾値は、例えばブースティングやサポート・ベクター、マシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ：ＳＶＭ）などの統計学習器を用いた学習により決定する。
【０１１４】
機械学習部１１３は、このような統計学習を実行して識別力の高いフィルタの選択を実行する。さらにパラメータの決定を行う。
すなわち、先に図７を参照して説明した各フィルタ（弱識別器）により判別結果を出力する関数、
ｆｎ（ｘ）＝ａｎ×ｇ（ｘ＞ｔｈｎ）＋ｂｎ
上記式において利用されるパラメータａｎ，ｂｎ，ｔｈｎについても、この統計学習によって、識別レベルを高く設定するための最適値を算出する。
【０１１５】
この学習処理によって算出したパラメータと、識別力の高低を示すデータをフィルタ情報として各フィルタ（弱識別器）に対応付けた認識辞書を生成し、認識辞書記憶部１１４に格納する。
【０１１６】
［４−２．認識処理部の実行する処理について］
次に、図３に示す情報処理装置１００の認識処理部１２０がオブジェクト位置判定処理（接触判定処理）において実行する処理について説明する。
認識処理部１２０の画像入力部１２１は。解析対象画像となるＬ画像とＲ画像を入力する。
特徴量抽出部１２２は、これらの入力Ｌ画像とＲ画像を用いて、ＬＲ連結画像を生成して特徴量算出を行う。
【０１１７】
特徴量抽出部１２２は、異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出する際に、フィルタ構成領域を離間して設定した離間型フィルタを適用し、離間型フィルタを構成する離間した各フィルタ領域を、連結画像の２つの画像の各々に設定して特徴量抽出処理を実行する。
また、特定オブジェクト認識部１２３は、特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する。
【０１１８】
特徴量抽出部１２２は、先に説明した学習処理部１１０の特徴量抽出部１１２の実行する特徴量抽出と同様、図５（ｄ）や図１４（Ｂ）に示す離間型フィルタを適用した特徴量抽出処理を実行する。
ただし、認識処理部１２０の特徴量抽出部１２２で適用するフィルタ（弱識別器）は、学習処理部１１０の学習結果によって、識別力が高いと判定されたフィルタのみを利用して実行する。
すなわち、指がボードに接触した状態（第１状態）と、接触していない状態（第２状態）の識別力が高いと判定された離間型フィルタのみを利用して実行する。
【０１１９】
これらは、認識記憶部１１４に格納されたフィルタ情報（タグ）に基づいて選択される。
また、各フィルタ（弱識別器）を用いて算出する特徴量（ｘ）の算出式、すなわち、
ｆｎ（ｘ）＝ａｎ×ｇ（ｘ＞ｔｈｎ）＋ｂｎ
上記式のパラメータａｎ，ｂｎ，ｔｈｎも、前述した学習処理部１１０の学習処理で決定し認識辞書記憶部１１４に格納した値を利用する。
【０１２０】
認識処理部１２０は、識別力の高いと判定されたフィルタを選択的に用いて特徴量を算出し、スコアの算出を実行し、スコアの値に基づいて、指検出処理と、指がボードに接触しているか否かの判定処理を行なう。
【０１２１】
以下、図を参照して、認識処理部１２０の実行する処理について説明する。
認識処理部１２０の実行する処理は、先に特定オブジェクト検出処理の説明において、図１１以下を参照して説明した処理とほぼ同様の処理である。
ただし、処理対象画像がＬＲ連結画像であり、適用するフィルタが図５（ｄ）や図１４（Ｂ）に示す離間型フィルタとなる点が異なる。
【０１２２】
なお、認識処理において処理対象とするＬＲ連結画像は、ＬＲカメラ各々で撮影した１枚の撮影画像フレームを連結したＬＲ画像でもよいし、先に説明した学習画像と同様、動画像の撮影処理によって得られる複数の連続撮影画像フレームを平均化して作成した平均画像としてもよい。
例えば、
第１フレームから第２０フレームの平均画像に基づいて生成したＬＲ連結画像を生成して処理を行なってもよい。
【０１２３】
認識処理部１２０の実行する処理について説明する。
認識処理部１２０は、先に図１１を参照して説明した手順に従って、ＬＲ連結画像から中間画像として積分画像を作成する。
【０１２４】
認識処理部１２０の特徴量抽出部１２２は、積分画像を用いて、積分画像上で各フィルタを適用して特徴量を算出する。すなわち、例えば先に図６を参照して説明した特徴量算出処理を実行する。具体的には、積分画像をスキャンして、各スキャン位置（ｘ，ｙ）において、前述の式（式１）〜（式３）を適用して特徴量（ｘ）を算出する。
ここで、適用するフィルタは、学習処理において選択された識別力の高い離間型フィルタ（弱識別器）である。
複数の選択されたフィルタ（弱識別器）を適用して得られた特徴量を加算してスコアが算出される。この処理は、先に図７を参照して説明した処理と同様の処理である。
積分画像を用いることで、スキャン位置毎の矩形特徴を高速に計算することができる。
検出スコアが、予め設定した閾値以上に到達したときに、そのスキャン位置（ｘ，ｙ）で「指がボードに接触している」と判定する。
【０１２５】
画像をスキャンして得られた最大の検出スコア次第で、検出結果が否定的（ｒｅｊｅｃｔｉｏｎ）、すなわち、「指がボードに接触していない」という結果が返されることもある。また、スケール変換すなわち入力画像の大きさを変えながら、積分画像の生成と検出スコアの計算を繰り返し行なう構成としてもよい。
【０１２６】
なお、最初に計算した積分画像をスケール変換すれば任意のサイズのウィンドウの探索が可能になるが、積分画像をスケール変換すると演算量が増大し、積分画像を使用して処理を高速化する効果を相殺することになる。そこで、図１１に示した例では、入力画像をスケール変換する度に積分画像を再計算するようにしている。
【０１２７】
なお、先に図１２を参照して説明した処理と同様、スコアは各画素位置対応のスコアとして算出される。
前述したように、例えば１つの画素位置のみスコアが高くても、指がボードに接触していると結論付けることはできない。すなわち、複数の画素位置に対応する複数の高スコアが検出されなければ、画像にある指がボードに接触している状態にあると判定することはできない。
従って、最終的に指がボードに接触しているか否かを判定するためには、複数の画素位置のスコアを総合して評価する必要がある。
【０１２８】
特定オブジェクト認識部１２３は、このスコアの総合評価処理を実行する。
この処理は、先に図１３を参照して説明したスコアの総合評価処理と同様の処理となる。
先に図１３を参照して説明した処理と同様の総合スコア算出を行う。すなわち、画像の指がボードに接触しているか否かを判定する最終的な指標値としての総合評価値である総合スコアは各画素位置のスコアの加算値として算出する。すなわち、
総合スコア＝スコア１＋スコア２＋・・・＋スコアｋ
このように画像の各画素対応ののスコアを加算した値を総合スコアとし、総合スコアが予め設定した閾値以上である場合は、指がボードに接触していると判定する。
【０１２９】
図２０は、指がボードに接触している場合のＬＲ連結画像と、指がボードに接触していない場合のＬＲ連結画像の差異を説明する図である。
図２０には以下の２つの平均画像を示している。
（ａ）指がボードに接触しているＬＲ連結画像の平均画像
（ｂ）指がボードに接触していない＋Ｒ連結画像の平均画像
【０１３０】
Ｒ画像の指の位置を一定としたＬＲ連結画像を処理対象画像（学習画像、解析画像）に設定することで、（ａ）に示す指がボードに接触しているＬＲ連結画像は、以下の特徴を有することになる。すなわち、異なるタイミングで撮影された画像でも、ＬＲカメラの位置が固定されており、視差が一定であるので、ＬＲ連結画像上では、ほぼ同じ位置に指の位置が設定される。従って、Ｌ画像の平均画像において、指の輪郭が比較的、明確に示される。
【０１３１】
一方、（ｂ）に示す指がボードに接触していない画像では、指がボードに接触していないので、異なるタイミングで撮影された画像の指の位置が画像ごとに異なる。この結果、Ｌ画像の平均画像では指の輪郭がぼやける。
【０１３２】
［５．フィルタ適用位置を限定した実施例について］
上述したように、指がボードに接触しているか否かを判定するための処理として、複数の異なる視点から撮影した画像の連結画像であるＬＲ連結画像を利用し、離間型フィルタを適用した特徴量抽出を行う実施例について説明した。
【０１３３】
しかし、特徴量抽出に際して、ＬＲ連結画像のすべての画像の画素位置に対するフィルタ適用処理は、時間を要し、結果を出力するまでの時間が長くなる可能性がある。
このような遅延を防止し、高速処理を可能とする実施例として、フィルタ適用位置を限定した実施例について説明する。
図２１を参照してこの実施例にについて説明する。
本実施例は、ＬＲ連結画像に設定されるエピポーラライン上にフィルタ適用位置を限定した実施例である。
【０１３４】
エピポーララインは、異なる視点からの２つの画像において、同一オブジェクト位置の探索ラインとして設定されるラインであり、被写体距離の計測などにおいて利用されるラインである。
【０１３５】
例えば図２１（Ａ）に示すＲ画像を基準画像とした場合、Ｒ画像上のある点（特徴点１５０）に対応するＬ画像上の点は、Ｌ画像に設定したエピポーラライン１５１上に限定される。これはエピポーラ拘束（ｅｐｉｐｏｌａｒ  ｃｏｎｓｔｒａｉｎｔ）と呼ばれる。
【０１３６】
本実施例では、ＬＲ連結画像におけるＲ画像のある特徴点に離間型フィルタの一方のフィルタ領域を設定した場合、分離フィルタのもう一方のフィルタ領域をＬ画像に設定した特徴点対応のエピポーラライン上に設定する。
このように、フィルタ適用位置をエピポーラライン上にのみ限定してフィルタ適用処理を実行する。
【０１３７】
具体的には、例えば、ＬＲ連結画像のＲ画像部分からエッジ領域等の特徴点と判断される点を選択し、その特徴点に対応するエピポーララインをＬ画像上に設定する。次に離間型フィルタの一方のフィルタ領域をＲ画像の特徴点に設定し、もう一方のフィルタ領域をＬ画像上のエピポーラライン上に設定する。
このような設定を行ってフィルタ適用処理を実行して特徴量を算出する。さらに、Ｌ画像上のエピポーラライン上で、フィルタをスライドさせて各画素位置での特徴量を算出してもよい。
このような処理を行なうことで、フィルタ適用処理を実行する画素領域を限定することが可能となり、処理量を削減し、高速化処理を実現する。
【０１３８】
図２１（Ｂ１）は、このようなエピポーラ拘束を適用したフィルタ適用処理を実行した例である。
一方、図２１（Ｂ２）は、なエピポーラ拘束を適用せずにフィルタ適用処理を実行した例である。
図２１（Ｂ２）の例では、ＬＲ全連結画像の全画素領域に対するフィルタ適用処理を行なって全画素対応の特徴量算出が実行されるが、そのほとんどは、有効な特徴量が得られないと推定される。
一方、図２１（Ｂ１）の例では、Ｌ画像とＲ画像の対応点が検出されるエピポーララインによって限定された範囲でフィルタ適用処理を行なうので、処理時間が短縮されるとともに、有効な特徴量のみを選択的に抽出することが可能となる。
【０１３９】
［６．離間型フィルタのタイプと特性について］
先の実施例において説明したように、指がボードに接触しているか否かを判定するための処理には、複数の異なる視点から撮影した画像の連結画像であるＬＲ連結画像を利用し、先に図５（ｄ）や図１４（Ｂ）において説明した離間型フィルタを適用した特徴量抽出を行う。
【０１４０】
指がボードに接触しているか否かの判定処理に適用する離間型フィルタとしては様々なフィルタが利用可能である。
フィルタの形式によって、画像から抽出される特徴量の持つ意味合い、すなわち抽出される画像特性が異なるものとなる。
【０１４１】
図２２に、離間型フィルタの構成例と、各離間型フィルタによって抽出される特徴量データに反映される主な画像特性についてまとめた表を示す。
【０１４２】
（１）フィルタ１は、ほぼ正方形型の傾き４５°の白黒パターンのフィルタ領域が離間した離間型フィルタである。
このフィルタの適用処理によって得られる特徴量データは、主として視差情報を反映した特徴量となる。
（２）フィルタ２は、長方形型の傾き４５°の白黒パターンのフィルタ領域が離間した離間型フィルタである。
このフィルタの適用処理によって得られる特徴量データは、主としてオブジェクト形状を反映した特徴量となる。
（３）フィルタ３は、長方形型の傾き０°の白黒パターンのフィルタ領域が離間した離間型フィルタである。
このフィルタの適用処理によって得られる特徴量データは、主として視差情報を反映した特徴量となる。
（４）フィルタ４は、幅の狭い長方形型の傾き０°の白黒パターンのフィルタ領域が離間した離間型フィルタである。
このフィルタの適用処理によって得られる特徴量データは、主としてオブジェクト形状を反映した特徴量となる。
（５）フィルタ１は、小型の正方形型の傾き４５°の白黒パターンのフィルタ領域が離間した離間型フィルタである。
このフィルタの適用処理によって得られる特徴量データは、主としてオブジェクト形状を反映した特徴量となる。
【０１４３】
なお、図２２に示す離間型フィルタは、適用可能なフィスルタの一例であり、この他にもさまざまなパターンのフィルタが適用可能である。
【０１４４】
［７．情報処理装置の構成例について］
次に、図２３を参照して上述した処理を実行する情報処理装置２００のハードウェア構成例について説明する。
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、先に説明した実施例に従った処理等を実行する。
【０１４５】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３には、ＣＰＵ２０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ２０１、ＲＯＭ２０２、およびＲＡＭ２０３は、バス２０４により相互に接続されている。
【０１４６】
ＣＰＵ２０１はバス２０４を介して入出力インタフェース２０５に接続され、入出力インタフェース２０５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。ＣＰＵ２０１は、入力部２０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部２０７に出力する。
【０１４７】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスク等からなり、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１４８】
入出力インタフェース２０５に接続されているドライブ２１０は、データの記録再生対象となるリムーバブルメディア２１１を駆動し、データの記録、再生を実行する。
ＣＰＵ２０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。
【０１４９】
［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１５０】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識部を有し、
前記特徴量抽出部は、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行する情報処理装置。
【０１５１】
（２）前記特徴量抽出部は、前記離間型フィルタを構成する離間した各フィルタ領域を、前記連結画像の２つの画像の各々に設定して特徴量抽出処理を実行する前記（１）に記載の情報処理装置。
【０１５２】
（３）前記特徴量抽出部は、予め実行した学習処理において前記特定オブジェクトの第１状態と第２状態との識別力が高いと判定したフィルタを選択的に適用して特徴量抽出を実行する前記（１）または（２）に記載の情報処理装置。
【０１５３】
（４）前記情報処理装置は、前記特定オブジェクトの第１状態を示す連結画像と、第２状態を示す連結画像を多数入力して、異なる形式の離間型フィルタを適用した特徴量抽出により、識別力の高いフィルタを判別する処理を実行する学習処理部を有する前記（１）〜（３）いずれかに記載の情報処理装置。
【０１５４】
（５）前記特定オブジェクト認識部は、前記特徴量抽出部の抽出した異なる離間型フィルタ対応の特徴量を加算したスコアを算出し、加算スコアに基づいて前記特定オブジェクトの位置判定処理を実行する前記（１）〜（４）いずれかに記載の情報処理装置。
【０１５５】
（６）前記特定オブジェクト認識部は、前記特徴量抽出部の抽出した異なる離間型フィルタ対応の画素対応の特徴量を加算した画素対応のスコアを算出し、算出した画素対応のスコアをさらに加算した総合スコアに基づいて前記特定オブジェクトの位置判定処理を実行する前記（１）〜（５）いずれかに記載の情報処理装置。
【０１５６】
（７）前記特徴量抽出部は、前記特定オブジェクトである指がボードに接触している第１状態と、指がボードに接触していない第２状態を判別する指標値としての特徴量を算出し、前記特定オブジェクト認識部は、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトである指がボードに接触しているか否かの判定処理を実行する前記（１）〜（６）いずれかに記載の情報処理装置。
【０１５７】
（８）前記特徴量抽出部は、さらに、画像内に特定オブジェクトが存在するか否かを判別する指標値としての特徴量を抽出し、前記特定オブジェクト認識部は、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの有無を判定する特定オブジェクト検出処理を実行する前記（１）〜（７）いずれかに記載の情報処理装置。
【０１５８】
（９）前記離間型フィルタは、異なる輝度のフィルタ領域を離間して設定したフィルタである前記（１）〜（８）いずれかに記載の情報処理装置。
【０１５９】
（１０）前記特徴量抽出部は、前記連結画像の一方の画像の特徴点と、他方の画像上の前記特徴点に対応するエピポーラライン上に前記離間型フィルタを設定して特徴量抽出を実行する前記（１）〜（９）いずれかに記載の情報処理装置。
【０１６０】
（１１）  情報処理装置において実行する情報処理方法であり、
特徴量抽出部が、異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出する特徴量抽出処理、、
特定オブジェクト認識部が、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行し、
前記特徴量抽出部は、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行する情報処理方法。
【０１６１】
（１２）情報処理装置において情報処理を実行させるプログラムであり、
特徴量抽出部に、異なる視点から撮影した画像を連結して生成した連結画像から特徴量を抽出させる特徴量抽出処理、、
特定オブジェクト認識部に、前記特徴量抽出部の抽出した特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行させ、
前記特徴量抽出部には、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行させるプログラム。
【０１６２】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１６３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１６４】
以上、説明したように、本開示の一実施例の構成によれば、特定オブジェクトの位置判定を異なる視点からの撮影画像の連結画像から抽出した特徴量に基づいて実行する装置、方法が実現される。
具体的には、異なる視点からの撮影画像を連結した連結画像から特徴量を抽出し、抽出した特徴量に基づいて特定オブジェクトの位置判定処理を実行する。特徴量抽出部は、フィルタ構成領域を離間して設定した離間型フィルタを適用した特徴量抽出処理を実行し、離間型フィルタの各フィルタ領域を、連結画像の２つの画像の各々に設定して特徴量抽出処理を実行する。特定オブジェクト認識部は、特徴量抽出部の抽出した異なる離間型フィルタ対応の特徴量を加算したスコアに基づいて特定オブジェクトの位置判定処理を実行する。
本構成により、特定オブジェクトの位置判定を異なる視点からの撮影画像の連結画像から抽出した特徴量に基づいて実行する装置、方法が実現される。
【符号の説明】
【０１６５】
１１  カメラＬ
１２  カメラＲ
２１  ボード
３０  指
５１  Ｌ画像
５２  Ｒ画像
１００  情報処理装置
１１０  学習処理部
１１１  画像入力部
１１２  特徴量抽出部
１１３  機械学習部
１１４  認識辞書記憶部
１２０  認識処理部
１２１  画像入力部
１２２  特徴量抽出部
１２３  特定オブジェクト認識部
２００  情報処理装置
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  バス
２０５  入出力インタフェース
２０６  入力部
２０７  出力部
２０８  記憶部
２０９  通信部
２１０  ドライブ
２１１  リムーバブルメディア
【図１】
2015118582.tif 000006
【図２】
2015118582.tif 000007
【図３】
2015118582.tif 000008
【図４】
2015118582.tif 000009
【図５】
2015118582.tif 000010
【図７】
2015118582.tif 000011
【図８】
2015118582.tif 000012
【図９】
2015118582.tif 000013
【図１０】
2015118582.tif 000014
【図１１】
2015118582.tif 000015
【図１２】
2015118582.tif 000016
【図１３】
2015118582.tif 000017
【図１５】
2015118582.tif 000018
【図１７】
2015118582.tif 000019
【図１８】
2015118582.tif 000020
【図１９】
2015118582.tif 000021
【図２３】
2015118582.tif 000022
【図６】
2015118582.tif 000023
【図１４】
2015118582.tif 000024
【図１６】
2015118582.tif 000025
【図２０】
2015118582.tif 000026
【図２１】
2015118582.tif 000027
【図２２】
2015118582.tif 000028