(57)【要約】【課題】オブジェクト追跡方法及び装置を提供する。【解決手段】該オブジェクト追跡方法は、現フレームの視差画像から検出されたオブジェクトの顕著部位を抽出し、次フレームの視差画像中の視差点をクラスタリングしてクラスタを複数生成し、各顕著部位と次フレームの視差画像中の各クラスタとの類似性を計算し、顕著部位と類似する候補クラスタを決定し、各顕著部位間の位置関係に基づいて候補クラスタを分類し、同じオブジェクトに属する候補クラスタを同一グループに分類し、各グループに含まれる各候補クラスタの類似性に基づき、そのグループとオブジェクトの類似性を決定し、類似性の最も高いグループを選択し、当該グループの所在位置をオブジェクトの次フレームの視差画像における位置とする。オブジェクト追跡技術によると、オブジェクトの姿態変化が頻繁に生じる状況や、オブジェクトが一部遮られる状況においても正確な追跡結果が得られる。【選択図】図２
2016110656.tif 000002
【特許請求の範囲】
【請求項１】
現フレームの視差画像から検出されたオブジェクトの顕著部位を抽出するステップと、
次フレームの視差画像中の視差点に対してクラスタリングを行い、複数のクラスタを生成するステップと、
各顕著部位について、次フレームの視差画像中の各クラスタの顕著部位との類似性を計算し、顕著部位と類似した候補クラスタを決定するステップと、
各顕著部位間の位置関係に基づいて前記候補クラスタを分類し、同一のオブジェクトに属する候補クラスタを同一グループに分類するステップと、
各グループに含まれる各候補クラスタの類似性に基づき、各グループと前記オブジェクトとの類似性を決定するステップと、
類似性の最も高いグループを選択し、且つ当該グループの所在位置を、前記オブジェクトの次フレームの視差画像における位置とするステップと、を含む、オブジェクト追跡方法。
【請求項２】
前記現フレームの視差画像中のオブジェクトの各顕著部位の顕著性を決定するステップと、
顕著性が高いほど顕著部位のウェイト値が高くなるように、前記各顕著部位にウェイト値を割振るステップと、をさらに含み、
前記各グループに含まれる各候補クラスタの類似性に基づき、各グループと前記オブジェクトとの類似性を決定するステップは、
各グループに含まれる各候補クラスタの類似性の加重合計を、各グループの前記オブジェクトとの類似性として計算するステップを含み、
各候補クラスタのウェイト値は、該候補クラスタと類似する顕著部位のウェイト値である、請求項１に記載のオブジェクト追跡方法。
【請求項３】
前記現フレームの視差画像中のオブジェクトの各顕著部位の顕著性を決定するステップは、
現フレームの視差画像中のオブジェクト周囲の所定領域内にある各近接対象を決定するステップと、
現フレームの視差画像から検出された各対象の運動情報に基づいて、次フレームにおけるオブジェクト周囲の所定領域内へ移動する可能性のある近接対象を決定するステップと、
現フレームの視差画像中の前記各近接対象の顕著部位を抽出するステップと、
オブジェクトの各顕著部位に対して、それと類似する顕著部位を含んでいる近接対象の数を統計するステップと、を含み、
当該数が大きければ大きいほど、オブジェクトの当該顕著部位の類似性が低くなる、請求項２に記載のオブジェクト追跡方法。
【請求項４】
前記現フレームの視差画像から検出されたオブジェクトの顕著部位を抽出するステップは、
現フレームの視差画像から検出されたオブジェクトの視差点に対してクラスタリングを行い、クラスタリングにより得られたクラスタを顕著部位とするステップ、をさらに含む、請求項１に記載のオブジェクト追跡方法。
【請求項５】
前記オブジェクトは歩行者であり、
前記現フレームの視差画像から検出されたオブジェクトの顕著部位を抽出するステップは、
現フレームの視差画像から検出されたターゲットの歩行者を身体部位に分割するステップと、
分割された各身体部位における視差点をクラスタリングし、且つクラスタリングで得られたクラスタを顕著部位とするステップと、をさらに含む、請求項１に記載のオブジェクト追跡方法。
【請求項６】
前記各顕著部位について、次フレームの視差画像中の各クラスタの顕著部位との類似性を計算し、顕著部位と類似した候補クラスタを決定するステップは、
次フレーム視差画像中の各クラスタについて、
前記クラスタと前記顕著部位のサイズを比較し、
両者のうちサイズの小さい方の第一外接矩形フレームを用いて、サイズの大きい方の第二外接矩形フレーム上をスライドさせ、当該第一外接矩形フレームの当該第二外接矩形フレームと重なる各重畳位置領域について、前記クラスタが当該重畳位置領域に位置する画像と、前記顕著部位が当該重畳位置領域に位置する画像との類似性を計算し、
各位置領域に対応する複数の類似性のうちの最大値を、前記クラスタと前記顕著部位の類似性とするステップと、
類似性が第一所定閾値を超えたクラスタを、顕著部位と類似する候補クラスタとするステップと、をさらに含む、請求項１に記載のオブジェクト追跡方法。
【請求項７】
当該第一外接矩形フレームの当該第二外接矩形フレームと重なる各重畳位置領域について、前記クラスタが当該重畳位置領域に位置する画像と、前記顕著部位が当該重畳位置領域に位置する画像との類似性を計算するステップは、
前記顕著部位にオブジェクトの運動による形状変化が生じているか否かを判断するステップと、
基本的にオブジェクトの運動による形状変化が生じていない顕著部位について、視差ヒストグラム、階調ヒストグラム、地面からの高さのうちの少なくとも１つを用いて、前記クラスタが当該位置領域に位置する画像と、前記顕著部位が当該位置領域に位置する画像との類似性を計算するステップと、
オブジェクトの運動による形状変化が生じている顕著部位について、視差分布、階調分布、地面からの高さのうちの少なくとも１つを用いて、前記クラスタが当該位置領域に位置する画像と、前記顕著部位が当該位置領域に位置する画像との類似性を計算するステップと、を含む、請求項６に記載のオブジェクト追跡方法。
【請求項８】
n個の異なる顕著部位とそれぞれ類似するn個の候補クラスタ間の位置関係が、n個の異なる顕著部位間の位置関係と一致している場合、当該n個の候補クラスタは同一の対象に属し、1<n≦Mであり、Mは顕著部位の数を表す、請求項１に記載のオブジェクト追跡方法。
【請求項９】
任意の数の顕著部位からなる顕著部位グループについて、次フレームの視差画像中の各クラスタの顕著部位グループとの類似性を計算し、当該顕著部位グループと類似する候補クラスタを決定するステップをさらに含む、請求項１に記載のオブジェクト追跡方法。
【請求項１０】
現フレームの視差画像から検出されたオブジェクトの顕著部位を抽出する抽出手段と、
次フレームの視差画像中の視差点をクラスタリングし、複数のクラスタを生成するクラスタリング手段と、
各顕著部位について、次フレームの視差画像中の各クラスタの顕著部位との類似性を計算し、顕著部位と類似した候補クラスタを決定するクラスタ類似性計算手段と、
各顕著部位間の位置関係に基づいて前記候補クラスタを分類し、同一のオブジェクトに属する候補クラスタを同一グループに分類する分類手段と、
各グループに含まれる各候補クラスタの類似性に基づき、各グループとオブジェクトとの類似性を決定するグループ類似性計算手段と、
類似性の最も高いグループを選択し、且つ当該グループの所在位置を、前記オブジェクトの次フレームの視差画像における位置とする位置決定手段と、を含む、オブジェクト追跡装置。
【請求項１１】
現フレームの視差画像から検出されたオブジェクトの顕著部位を抽出するステップと、
次フレームの視差画像中の視差点に対してクラスタリングを行い、複数のクラスタを生成するステップと、
各顕著部位について、次フレームの視差画像中の各クラスタの顕著部位との類似性を計算し、顕著部位と類似した候補クラスタを決定するステップと、
各顕著部位間の位置関係に基づいて前記候補クラスタを分類し、同一のオブジェクトに属する候補クラスタを同一グループに分類するステップと、
各グループに含まれる各候補クラスタの類似性に基づき、各グループと前記オブジェクトとの類似性を決定するステップと、
類似性の最も高いグループを選択し、且つ当該グループの所在位置を、前記オブジェクトの次フレームの視差画像における位置とするステップと、をコンピュータに実行させるためのプログラム。
【請求項１２】
現フレームの視差画像から検出されたオブジェクトの顕著部位を抽出するステップと、
次フレームの視差画像中の視差点に対してクラスタリングを行い、複数のクラスタを生成するステップと、
各顕著部位について、次フレームの視差画像中の各クラスタの顕著部位との類似性を計算し、顕著部位と類似した候補クラスタを決定するステップと、
各顕著部位間の位置関係に基づいて前記候補クラスタを分類し、同一のオブジェクトに属する候補クラスタを同一グループに分類するステップと、
各グループに含まれる各候補クラスタの類似性に基づき、各グループと前記オブジェクトとの類似性を決定するステップと、
類似性の最も高いグループを選択し、且つ当該グループの所在位置を、前記オブジェクトの次フレームの視差画像における位置とするステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理に関し、具体的にはオブジェクト追跡方法及び装置に関する。
【背景技術】
【０００２】
オブジェクト追跡技術は、対象位置特定、監視画像、ロボットナビゲーション、運転支援システム、警告システム等の多くの分野に広く応用されている。現在オブジェクト追跡技術には、ある場面で追跡中の対象を新出現の対象に誤認識したり、追跡中の対象を別の対象に誤認識したり、追跡オブジェクトを見失ったり、するなどの問題が依然として存在している。特に歩行者追跡では、歩行者の姿態が常に変化することや、歩行者が多いと頻繁に遮られてしまうこと等から、問題が一層深刻になっている。
【０００３】
米国特許出願公開第US20120194680号では、検出した画像と予め記憶した人の外輪郭テンプレートとをマッチングすることで歩行者を検出する技術が公開されている。該出願では、歩行者の外輪郭すべてをテンプレートにしているため、追跡された歩行者が遮られた状況での効果は思わしくない。
【０００４】
米国特許第US7418112号では、歩行者全域をまだ識別できない時に、歩行者の頭部領域を利用し、予め記憶した頭部モデルとマッチングすることで歩行者を検出する技術を公開している。この技術では身体全体及び頭部を利用して歩行者を検出するため、身体全体及び頭部が不鮮明であっても他の部位は鮮明である、という状況には全く適していない。
【発明の概要】
【０００５】
本発明の実施例においては、現フレームの視差画像から検出されたオブジェクトの顕著部位を抽出するステップと、次フレームの視差画像中の視差点に対してクラスタリングを行い、複数のクラスタを生成するステップと、各顕著部位について、次フレームの視差画像中の各クラスタの顕著部位との類似性を計算し、顕著部位と類似した候補クラスタを決定するステップと、各顕著部位間の位置関係に基づいて前記候補クラスタを分類し、同一のオブジェクトに属する候補クラスタを同一グループに分類するステップと、各グループに含まれる各候補クラスタの類似性に基づき、各グループと前記オブジェクトとの類似性を決定するステップと、類似性の最も高いグループを選択し、且つ当該グループの所在位置を、前記オブジェクトの次フレームの視差画像における位置とするステップと、を含む、オブジェクト追跡方法を提供する。
【０００６】
本発明の別の実施例においては、現フレームの視差画像から検出されたオブジェクトの顕著部位を抽出する抽出手段と、次フレームの視差画像中の視差点をクラスタリングし、複数のクラスタを生成するクラスタリング手段と、各顕著部位について、次フレームの視差画像中の各クラスタの顕著部位との類似性を計算し、顕著部位と類似した候補クラスタを決定するクラスタ類似性計算手段と、各顕著部位間の位置関係に基づいて前記候補クラスタを分類し、同一のオブジェクトに属する候補クラスタを同一グループに分類する分類手段と、各グループに含まれる各候補クラスタの類似性に基づき、各グループとオブジェクトとの類似性を決定するグループ類似性計算手段と、類似性の最も高いグループを選択し、且つ当該グループの所在位置を、前記オブジェクトの次フレームの視差画像における位置とする位置決定手段と、を含む、オブジェクト追跡装置を提供する。
【０００７】
本発明の実施例におけるオブジェクト追跡技術では、オブジェクトの姿態の変化が頻繁に生じたり、オブジェクトが部分的に遮られたりする状況下でも、正確な追跡結果を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例を応用したオブジェクト追跡技術の一つの場面例である。
【図２】本発明の実施例1であるオブジェクト追跡方法のフローチャートである。
【図３】（a）及び（b）は、それぞれオブジェクトを含んだ現フレームのグレースケール画像及び視差画像の例である。
【図４】図3（b）で示した現フレームの視差画像中のオブジェクトに対してクラスタリングを行った結果例である。
【図５】図3（b）で示した現フレームの視差画像中のオブジェクトに対して身体部位の分割を行った結果例である。
【図６】次フレーム視差画像中の視差点に対しクラスタリングを行って生成した複数のクラスタの概念図である。
【図７】本発明の実施例における次フレーム視差画像中のクラスタと現フレーム中の顕著部位の類似性を計算し、クラスタと顕著部位が類似しているか否かを決定する処理のフローチャートである。
【図８】現フレーム中の顕著部位が次フレーム中のクラスタ上でスライドする過程の概念図である。
【図９】候補クラスタに対しグループ分けをした後の分類結果例である。
【図１０】本発明の実施例における現フレーム視差画像中のオブジェクトの各顕著部位の顕著性を決定する処理のフローチャートである。
【図１１】本発明の実施例におけるオブジェクト追跡装置の機能配置ブロック図である。
【図１２】本発明の実施例におけるオブジェクト追跡システムのハードウェア全体ブロック図である。
【発明を実施するための形態】
【０００９】
当業者の容易な理解のために、以下、本発明の実施形態を図に基づいて更に詳しく説明する。
【００１０】
最初に、本発明に係る技術用語について簡単な説明を行う。
【００１１】
周知のように、グレースケール画像（gray image）とは、各画素で一つの色だけをサンプリングした画像であり、こうした画像は通常、最も暗い黒から最も明るい白までのグレースケールで表現され、黒と白の間で多くの階調の色深度を用いてグレースケール画像が表現される。グレースケール画像は通常、各画素のサンプルが8ビットの非線形尺度を用いて記録され、それによって256階調のグレースケールが保持できる。一方、カラー画像とは、各画素が通常は赤（R）、緑（G）、青（B）の三つの成分により表現するもので、成分の値は（0，255）である。グレースケール画像とカラー画像は、撮影方法や機能等は同一である（色情報を表現するために用いる）ため、通常、当該分野においては、グレースケール画像とカラー画像は特に区分しない。以下ではグレースケール画像を用いて記載するが、グレースケール画像をカラー画像に替えても全く問題はない。
【００１２】
視差画像とは、一対の左画像と右画像のうち、いずれかの画像を基準画像として、サイズが該基準画像のサイズであり、且つ各点（画素）の値が基準画像中の対応点の視差となる画像である。視差画像は本分野でよく知られたステレオマッチング法により、ステレオ画像に基づいて得ることができ、ここでは詳細な説明は行わない。
【００１３】
図1は本発明の実施例を応用した、オブジェクト追跡技術の一つの場面例である。図1に示すように、ユーザーはステレオカメラ202を装備した車201内におり、ステレオカメラが道路を歩く歩行者を追跡撮影して、連続する複数フレームの左画像と右画像を取得する。たとえばICチップを算出する処理装置203が、ステレオカメラで撮影して取得した連続する複数フレームの左画像と右画像に基づいて、対応した連続する複数フレームの視差画像を算出し、且つその視差画像を用いて撮影した歩行者の検出及び追跡を行う。言うまでもなく、図1はあくまでも応用場面を例として示したものに過ぎず、本発明の実施例のオブジェクト追跡技術をたとえば車両の検出及び追跡など、その他場面においても応用することができる。容易な説明及び理解のために、以下で記載の追跡されるオブジェクトは道路上の歩行者とする。
【００１４】
＜実施例1＞
図2は本発明の実施例1であるオブジェクト追跡方法のフローチャートである。
【００１５】
図2に示すように、ステップS201で、現フレーム（Nフレーム）の視差画像から検出したオブジェクトの顕著部位を抽出する。
【００１６】
上述したように、視差画像中の各画素点は視差値を表しており、その視差値はステレオマッチング法によって取得する。しかし、ある画素点に対してはその視差値をステレオマッチング法によって算出することはできず、そうした画素点はつまり視差値がない点となる。ステレオマッチングの原理からして、グレースケールに変化が生じる物体縁部に位置した画素点は、通常すべて視差値を算出できる。したがって、グレースケールに変化が生じる縁部の画素点は、通常すべて視差値がある。たとえば、図3（a）と3（b）は、それぞれオブジェクトを含んだ現フレームのグレースケール画像と視差画像の概念図である。図3（b）中、黒または灰色で示された画素点は視差値を有する視差点であり、白で示された画素点には視差値がない。図3（a）中、白の矩形の中は検出及び追跡するオブジェクトであり、図3（b）中の黒の矩形は視差画像から検出した該オブジェクトを囲んだものである。図3（b）から、該オブジェクトの外輪郭及び胸部のグレースケールが変化した模様部分の外輪郭にはすべて対応する視差点があることが分かる。
【００１７】
顕著部位とは、オブジェクトを特徴づけるのに用いる、顕著性を備えた部位である。オブジェクトの顕著部位は、適切な各種方法によって抽出できる。視差画像中のオブジェクトの外輪郭及びグレースケールに変化が生じる縁部には基本的に対応する視差点がある、という特徴を考慮して、本実施例では一つの例として、現フレームの視差画像から検出したオブジェクトの視差点に対してクラスタリングを行い、クラスタリングで得たクラスタを顕著部位としている。上述した視差点に対するクラスタリングは、たとえばK−MEANS法、CLARANS法、BIRCH法、CURE法など、本分野で知られている様々なクラスタリング法を用いることができ、ここで詳細な説明は行わない。図4は、図3（b）で示した現フレームの視差画像中のオブジェクトに対してクラスタリングを行った結果例である。図4の外接矩形S1−S6で示すように、クラスタリングによって得た6つのクラスタをオブジェクトの顕著部位とする。
【００１８】
視差点に対するクラスタリングによってオブジェクトの顕著部位を取得する実施方法においては、先に現フレームの視差画像から検出した目標の歩行者に対して身体部位の分割を行い、分割された各身体部位における視差点をクラスタリングし、且つクラスタリングで得たクラスタを顕著部位とすることもできる。この方法によって取得した顕著部位はより優れたターゲットの歩行者の特徴づけが可能になる。
【００１９】
具体的に歩行者の身体部位の分割は、実際の状況及び必要に応じて決定することができる。本実施例では、歩行者を頭部、胴体部及び四肢でセグメントしている。その分割方法は、よく見られる分割方法で、既にある様々な方法によって実行できる。たとえば、頭部、胴体部及び四肢にセグメントする通常の方法は、以下を参考にすることができる。「Segmentation  and Tracking  of  Multiple  Humans  in  Crowded  Environments」、Tao  Zhao、Ram  Nevatia、Bo  Wu、IEEE  Trans.  Pattern  Anal.Mach.Intell.30（7）：1198−1211（2008）。図5は、図3（b）で示した現フレームの視差画像中のオブジェクトに対して身体部位の分割を行った結果例である。図5に示すように、身体部位の分割によって1〜5の計5つの部位を得ており、そのうち部位1は頭部、部位3は胴体部、部位2、4、5は四肢となっている。上述のように分割することによって身体部位を得た後、各身体部位中の視差点に対しクラスタリングを行い、且つクラスタリングで得たクラスタを顕著部位とする。
【００２０】
上述の先にオブジェクトに対し身体部位の分割を行い、その後各身体部位でクラスタリングを行う実施方法も、たとえばオブジェクトを車両にするなど、その他のオブジェクトに応用することができ、身体部位の分割を車両の構成パーツ（たとえばタイヤ、車体等）の分割に適用して調整すればよい、ことがわかる。
【００２１】
図2に戻り、ステップS202で、次フレーム（N＋1フレーム）視差画像中の視差点をクラスタリングして複数のクラスタを生成する。
【００２２】
このステップでも同様に、たとえばK−MEANS法、CLARANS法、BIRCH法、CURE法など、本分野で知られている様々なクラスタリング法を用いて、追跡したい次フレーム視差画像中の各視差点に対しクラスタリングを行うことができ、ここで詳細な説明は行わない。図6はN＋1フレーム視差画像中の視差点に対しクラスタリングを行って生成した複数のクラスタの概念図である。
【００２３】
ステップS203で、各顕著部位に対して、次フレーム視差画像中の各クラスタとの類似性を計算し、その顕著部位と類似している候補クラスタを決定する。
【００２４】
このステップでは、Nフレーム中から抽出した各顕著部位すべてに対して類似性の計算を行い、N＋1フレーム中からその類似している候補クラスタを検索する。このステップの具体的な処理を説明する前に、まずは本実施例で用いている、同サイズの二つの画像ブロック（すなわちNフレーム中で抽出した一つの顕著部位と、N＋1フレーム中の一つのクラスタのサイズが同じ時）の類似性の計算方法について紹介する。
【００２５】
本実施例では、顕著部位の異なる性質に合わせて、異なる類似性の計算方法を用いている。具体的には、まず初めに、顕著部位にオブジェクトの運動による顕著な形状変化が生じているか否かを判断する。オブジェクトは歩行者をターゲットの例にしており、理解できることとして、ターゲットの歩行者の胴体部位には基本的にターゲットの歩行者の運動による形状変化が生じることはないが、その四肢にはターゲットの歩行者の運動に伴って顕著な形状変化が生じる。よって、オブジェクトの運動に伴い顕著な形状変化が生じているか否かは、その顕著部位の位置から判断することができる。例として、上述したようにターゲットの歩行者の身体を分割することができ、頭部及び胴体部に位置する顕著部位には基本的にオブジェクトの運動による形状変化が生じることはないが、ターゲットの歩行者の四肢に位置する顕著部位にはターゲットの歩行者の運動に伴って顕著な形状変化が生じる。
【００２６】
基本的にオブジェクトの運動による形状変化が生じない顕著部位（以下、安定顕著部位と呼ぶ）に対して、N＋1フレーム中のクラスタとの類似性をふさわしい様々な方法を用いて計算できる。
【００２７】
たとえば一つの例として、類似性の計算に視差ヒストグラムを用いることができる。視差ヒストグラムは、横軸が視差値を表し、縦軸がその視差値を有する視差点の数を表した統計グラフである。視差ヒストグラムを用いてどのように類似性の計算をするかは本分野でよく知られている。たとえば、仮に安定顕著部位Section1の視差ヒストグラムは（b1、b2…bk）とし、クラスタのCluster1の視差ヒストグラムは（c1、c2…ck）（そのうちbiはSection1中で視差値がiである視差点の個数であり、ciはCluster1中で視差値がiである視差点の個数である）とすると、よく用いられる視差ヒストグラムの類似性計算方法は（1）の表現式のようになる。
【数１】
2016110656.tif 000003
【００２８】
式中のa1は実験又は経験に基づいて設定した常数である。
【００２９】
またたとえば、類似性の計算に階調ヒストグラムを用いることができる。階調ヒストグラムは、横軸が階調レベルを表し、縦軸がその階調レベルを有する画素点の数を表した統計グラフである。階調ヒストグラムを用いてどのように類似性の計算をするかは本分野でよく知られている。たとえば、「Multiple  Histogram  Matching」、Shapira  D.、Avidan  S.、Hel-Or  Y.(2013)、Proceedings  of  The  IEEE  International  Conference  on  Image  Processingで記載されている方法を用いて階調ヒストグラムの類似性を計算できる。或いは、仮に顕著部位Section1の階調ヒストグラムは（g1、g2…g255）とし、クラスタのcluster1の階調ヒストグラムは（g'1、g'2…g'255）（そのうちgiはSection1中で階調レベルがiである画素点の個数であり、g'iはCluster1中で階調レベルがiである画素点の個数である）とすると、よく用いられる階調ヒストグラムの類似性計算方法は（2）の表現式のようになる。
【数２】
2016110656.tif 000004
【００３０】
式中のa2は実験又は経験に基づいて設定した常数である。
【００３１】
その他、顕著部位とN＋1フレーム中のクラスタとの高低差を用いて類似性Similarity3(Section1,Cluster1)を表すこともでき、その高低差とは、顕著部位とN＋1フレーム中のクラスタ各々との中心点から路面までの高度間の距離差である。
【００３２】
もちろん、上述の視差ヒストグラム、階調ヒストグラム及び高低差は、あくまで類似性計算の方法例に過ぎず、決して本実施例を限定するものではない。当業者であれば、表現式（3）に示すような、上述の視差ヒストグラム、階調ヒストグラム及び高低差を組合せて類似性計算をしたり、またはその他の方法を用いて類似性計算をしたりすることができる。
Similarity(Section1,Cluster1)
=(A1×Similarity1＋A2×Similarity2)/(A3×Similarity3)    …（3）
式中のA1、A2及びA3は実験又は経験に基づいて設定した常数である。
【００３３】
オブジェクトの運動に伴って顕著な形状変化が生じる顕著部位（以下、運動顕著部位と呼ぶ）に対しても、やはりふさわしい様々な方法を用いてN＋1フレーム中のクラスタとの類似性を計算することができる。
【００３４】
たとえば例として、類似性の計算に階調分布を用いることができる。たとえば、「Image  retrieval  based  on  color  distribution  entropy」、By:Junding  Sun、Ximin  Zhang、Jiangtao  Cui、Lihua  Zhou  In:  Pattern  Recognition  Letters、2006で記載されている方法を用いて階調分布の類似性を計算できる。或いは、仮に運動顕著部位Section2の階調ヒストグラムは（g1、g2…g255）とし、クラスタのCluster1の階調ヒストグラムは（g'1、g'2…g'255）（そのうちgiはSection2中で階調レベルがiである画素点の個数であり、g'iはCluster1中で階調レベルがiである画素点の個数である）とすると、よく用いられる階調分布の類似性計算方法は（4）の表現式のようになる。
【数３】
2016110656.tif 000005
【００３５】
式中のgavg=(g0＋…g255)/256、g'=(g'0＋…g'255)/256、a4は実験または経験に基づいて設定した常数である。
【００３６】
その他、上述の安定顕著部位と同じように、視差分布または高低差を用いて運動顕著部位とクラスタの類似性を計算することができる。視差分布または高低差を用いてどのように類似性の計算をするかは本分野でよく知られており、ここで説明は行わない。
【００３７】
もちろん、上述の視差分布、階調分布及び高低差は、あくまで類似性計算の方法例に過ぎず、決して本実施例を限定するものではない。当業者であれば、表現式（5）に示すような、上述の視差分布、階調分布及び高低差を組合せて類似性計算をしたり、またはその他の方法を用いて類似性計算をしたりすることができる。
Similarity(Section2,Cluster1)
=(A4×Similarity4＋A5×Similarity5)/(A6×Similarity6)    …（5）
式中のA4、A5及びA6は実験又は経験に基づいて設定した常数であり、Similarity4、Similarity5、Similarity6はそれぞれ、階調分布の類似性、視差分布の類似性及び高低差となる。
【００３８】
もちろん、上述したような安定顕著部位及び運動顕著部位、さらに用いる様々な類似性の計算方法はあくまで例に過ぎず、本発明を限定するものでは決してない。事実上、安定顕著部位及び運動顕著部位を区分せずに同様の方法を用いて類似性を計算することもできる。
【００３９】
以上、本実施例中で用いている同サイズの二つの画像ブロックの類似性の計算方法について紹介を行った。つまり、Nフレーム中から抽出したある顕著部位がN+1フレーム中のクラスタのサイズと同じである時、その類似性を上述のように計算することができる。ところが実際では、Nフレーム中から抽出したある顕著部位とN+1フレーム中のクラスタのサイズとは往々にして異なる。以下は図7を参考に、そのような状況での類似性の計算方法を説明する。図7は本発明の実施例におけるN+1フレーム視差画像中のクラスタとNフレーム中の顕著部位の類似性を計算して、クラスタと顕著部位が類似しているか否かを決定する処理のフローチャートである。
【００４０】
図7に示すように、ステップS701で、上述のクラスタと顕著部位のサイズを比較し、その後ステップS702で、両者のうちサイズが小さい方の第一外接矩形フレームを用いて、サイズの大きい方の第二外接矩形フレーム上をスライドさせる。図8はそのスライド過程の概念図である。図8に示すように、顕著部位Section2のサイズはクラスタのCluster3のサイズより小さいため、顕著部位Section2の外接矩形フレームS2は、クラスタのCluster3の外接矩形フレームS3'の外側の左上の角から始めて所定のステップでS3'上をスライドし、S3'全体を回ってS3'外側の右下の角の位置に達する。
【００４１】
スライド過程では、顕著部位Section2の外接矩形フレームS2がスライドして、外接矩形フレームS3'と重なる各重畳位置領域に対し、上述のクラスタが当該重畳位置領域に位置する画像と、顕著部位が当該位置領域に位置する画像との類似性を計算する。図8で分かるように、外接矩形フレームS2が外接矩形フレームS3'にスライドして完全に入った時、前記の重畳位置領域の大きさが即ち外接矩形フレームS2の大きさであり、外接矩形フレームS2が未だ外接矩形フレームS3'に完全には入るまでスライドしていない時は、前記の重畳位置領域の大きさは外接矩形フレームS2の大きさより小さい。前記のクラスタが重畳位置領域に位置する画像と、顕著部位が重畳位置領域に位置する画像はサイズが同じであると理解できるので、上述の同サイズの二つの画像ブロックの類似性を計算する方法により、類似性を計算することができる。
【００４２】
ステップS703で、前記の各位置領域と対応する複数の類似性のうち、最大値をクラスタと顕著部位の類似性とする。
【００４３】
以上で、Nフレーム中から抽出した顕著部位と、N+1フレーム中のクラスタとの類似性を計算する処理過程を記載した。本実施例では、もしその類似性が予め定めた第一所定閾値を超える場合、そのクラスタは顕著部位と類似する候補クラスタであるとする。上述の方法により、Nフレーム視差画像中の各顕著部位に対して、N+1フレーム視差画像中の各クラスタとの類似性を算出し、且つその類似する候補クラスタを決定することができる。
【００４４】
図2に戻り、ステップS204で、各顕著部位間の位置関係に基づき、前記の候補クラスタに対してグループ分けを行い、同一の対象に属する候補クラスタを同一グループ中に分類する。
【００４５】
上述のステップにより取得した候補クラスタは、ある対象の一部分にすぎない、或いは複数の候補クラスタはおそらく同一の対象に属している、と理解できる。たとえば、図6で示した候補クラスタのClusterAからClusterDはおそらく同一の対象（同一の歩行者）のものである。このステップでは、各顕著部位間の位置関係に基づいて候補クラスタに対しグループ分けを行い、同一の対象に属する候補クラスタを同一グループ中に分類する。
【００４６】
同一の対象に属する候補クラスタを同一グループ中に分類することは、ふさわしい様々な方法を用いることができ、その基本的な原則として、もしn個の異なる顕著部位とそれぞれ類似するn個の候補クラスタ間の位置関係が、前記n個の異なる顕著部位間の位置関係と一致している場合、そのn個の候補クラスタは同一の対象に属しており、そのうち1<n≦Mとなり、Mは顕著部位の数を表す。
【００４７】
たとえば、図6で示した候補クラスタのCluster  AからClusterDを例とする。仮に上述のステップS203で、クラスタのClusterAは図4の外接矩形フレームS1によって示した顕著部位Section1と類似した候補クラスタであるとし、クラスタのClusterBは図4の外接矩形フレームS3によって示した顕著部位Section3と類似した候補クラスタであるとし、クラスタのClusterCは図4の外接矩形フレームS5によって示した顕著部位Section5と類似した候補クラスタであるとし、クラスタのClusterDは図4の外接矩形フレームS6によって示した顕著部位Section6と類似した候補クラスタであると決定したとする。ステップS204では、候補クラスタのClusterAからClusterD間の位置関係が、顕著部位Section1、Section3、Section5及びSection6間の位置関係と一致し合うか否かを判断する。上述の顕著部位間の位置関係は、ターゲットの歩行者の人体構造の特徴に基づいて決定したものであり、たとえば顕著部位Section1、Section3、Section5及びSection6間の位置関係はおそらく、Section3の高さはSection1より少なくとも10cm低く、Section5及びSection6はSection1より少なくとも60cm低く、Section3より少なくとも40cm低く、さらにSection5とSection6の高さの差は10cm以下である、などのようにする。もしClusterBの高さがClusterAより10cm以上低く、ClusterC及びClusterDがClusterAより60cm以上低く、ClusterBより40cm以上低く、さらにClusterCとClusterDの高さの差が10cm以下である場合、クラスタのClusterAからClusterD間の位置関係と、顕著部位Section1、  Section3、Section5及びSection6間の位置関係は一致し合っていると考え、この4つの候補クラスタを同一グループ中に分類する。当然、おそらくはClusterAからClusterDが顕著部位間の位置関係すべてとは一致しないこともあり、たとえばおそらくClusterA、C及びD間の位置関係はSection1、Section5及びSection6間の位置関係と一致しているが、ClusterBの位置関係が一致していない時は、ClusterA、C、Dが同一の対象に属していると考えて同一グループ中に分類し、ClusterBは単独で一つのグループを形成するか、またはその他の候補クラスタと一つのグループに分けられる。
【００４８】
図9は候補クラスタに対しグループ分けをした後の分類結果を例として示している。図9に示すように、点線フレームで表示されたグループ1の中に4つの候補クラスタが分類されており、別の5つの候補クラスタが点線フレームで表示されたグループ2の中に分類されている。当然、図中のその他候補クラスタもおそらく同様に各グループ中に分類されているが、ここではその一つ一つを示していない。
【００４９】
ステップS205で、各グループに対し、それに含まれている各候補クラスタの類似性に基づき、そのグループとオブジェクトの類似性を決定する。
【００５０】
ステップS204で分類して得られた各グループは、実際のところすべてがNフレーム中のオブジェクトの、N+1フレームの中での候補であると理解できる。よってこのステップでは、各グループとオブジェクトの類似性を決定して、どのグループがN+1フレームの中でのオブジェクトなのかを決定する。
【００５１】
一つのグループに含まれている候補クラスタの数が多ければ多いほど、各候補クラスタとオブジェクトの顕著部位の類似性は高くなる、すなわちそのグループとオブジェクトの類似性は高くなる、と理解できる。よってこのステップでは、各グループに対し、そのグループが含む各候補クラスタの類似性を累計して、そのグループとオブジェクトの類似性とする。
【００５２】
ステップS206で、類似性が最も高いグループを選択し、且つそのグループがある位置を次フレーム視差画像中の前記オブジェクトの位置とする。
【００５３】
たとえば、図9ではグループ2の類似性が最も高く、ここでグループ2がある位置を次のN+1フレーム視差画像中のオブジェクトの位置とする。さらに各クラスタとオブジェクトの相対的な位置に基づき、オブジェクト全体の輪郭、つまりオブジェクト全体の外接矩形フレームを取得することができる。
【００５４】
以上で、追跡されるオブジェクトのターゲットを歩行者として、本発明の実施例におけるオブジェクト追跡方法について説明を行った。この追跡方法では、歩行者全体の追跡を行うのではなく、歩行者の各顕著部位に対して追跡を行うので、たとえ歩行者の姿態全体に大きな変化が生じる、または歩行者の一部分が遮られるような状況であったとしても、良い追跡結果を得ることができる。この追跡方法は、たとえばターゲットが車両などの歩行者以外であっても、同様に応用できることは言うまでもない。
【００５５】
また、以上でNフレーム及びN+1フレームを例に、Nフレーム中で決定したオブジェクトの顕著部位をN+1フレーム中で検出することによって、Nフレーム中で出現したオブジェクトを追跡する方法を説明した。言うまでもなく、任意の長さの視差フレームシーケンス中の各フレームに対して追跡検出を実行することで、視差フレームシーケンス全体で対象の追跡を実現することができる。
【００５６】
＜実施例2＞
本実施例におけるオブジェクト検出方法は、実施例1での方法と基本的に同じであり、その違いは、本実施例のオブジェクト検出方法には、さらに、現フレーム視差画像中のオブジェクトの各顕著部位の顕著性を決定すること、前記の各顕著部位にウェイト値を割振り、顕著性の高い顕著部位ほどのウェイト値が高くなるようにすること、さらにその後、実施例1中のステップS205と対応するステップS205'で、各グループに対してオブジェクトとの類似性を決定する時、そのグループが含む各候補クラスタの類似性の加重合計を計算し、グループとオブジェクトの類似性とすること、そのうち各候補クラスタのウェイト値は候補クラスタと類似する顕著部位のウェイト値であることが含まれているだけである。以下でそれらの異なる点について説明する。
【００５７】
現フレーム視差画像中のオブジェクトの各顕著部位の顕著性は、ふさわしい様々な方法によって決定することができる。以下は図10を参考に、本実施例で用いている方法について説明する。図10は本発明の実施例における現フレーム視差画像中のオブジェクトの各顕著部位の顕著性を決定する処理のフローチャートである。
【００５８】
図10に示すように、ステップS1001で、現フレーム視差画像中のオブジェクト周囲の所定領域内にある各近接対象を決定する。
【００５９】
上述した周囲の所定領域は実際の状況に基づいて事前に設定できる。このステップでは、既知の様々な対象検出方法によってオブジェクト周囲の所定領域内から各近接対象を検出している。
【００６０】
ステップS1002で、現フレーム視差画像から検出した各対象の運動情報を基に、次フレーム中でオブジェクト周囲の所定領域内におそらく移動する近接対象を決定する。
【００６１】
ある対象が現フレーム中にあってもオブジェクト周囲にはないが、次フレームではオブジェクト周囲に移動し、オブジェクトの追跡検出に干渉が生じる可能性を考慮して、このステップでは、対象の運動情報に基づいて次フレーム中でオブジェクト周囲の所定領域内におそらく移動する近接対象を予測する。
【００６２】
ステップS1003で、現フレーム視差画像中の各近接対象に対しその顕著部位を抽出する。
【００６３】
このステップでは、上記で説明した方法を用いて前記の各近接対象に対しその顕著部位を抽出することができ、ここでは説明を行わない。
【００６４】
ステップS1004で、オブジェクトの各顕著部位に対し、前記の近接対象の中から、それと類似する顕著部位を含んでいる近接対象の数を統計し、さらに前記の数が大きければ大きいほどオブジェクトの顕著部位の類似性は低くなる。
【００６５】
上記で説明した類似性計算法を用いて近接対象中でオブジェクトの顕著部位と類似する顕著部位を決定することができ、ここでは説明を行わない。また、一つの顕著部位に対し、それと類似する顕著部位を含む近接対象の数が多いほど、その顕著部位をオブジェクトとその他の対象を区別する能力は弱くなる、即ちその顕著部位の類似性は低くなる、と理解できる。
【００６６】
図10を参考に以上で説明した現フレーム視差画像中のオブジェクトの各顕著部位の類似性を決定する方法はあくまでも例に過ぎず、本発明を限定するものでは決してない。当業者であれば実際の状況に基づいてこの方法を調整するか、またはその他のふさわしい決定方法を用いることができる。たとえば、上述のステップS1002は必ずしも必要ではなく、選択可能なステップである。またたとえば、上述のステップS1004で、オブジェクトの各顕著部位について、その顕著部位の顕著性の決定は、それと類似する顕著部位を含んだ対象の数ではなく、それと類似する顕著部位の数に基づいて行うことができる。
【００６７】
上述の各顕著部位にウェイト値を割振り、顕著性の高い顕著部位ほどウェイト値が高くなるようにすることも、割振るウェイト値が顕著部位の顕著性と正比例さえしていれば、ふさわしい様々な方法を用いて割振ることができる。
【００６８】
以下は図6と合わせてステップS205'での処理について簡単に紹介する。図6で示した候補クラスタのclusterAからclusterDを例とする。上述したように、仮にクラスタのclusterAは図4の外接矩形フレームS1によって示した顕著部位Section1と類似した候補クラスタであり、その類似性をvalue1、顕著部位Section1のウェイト値をweight1とし、クラスタのclusterBは図4の外接矩形フレームS3によって示した顕著部位Section3と類似した候補クラスタであり、その類似性をvalue2、顕著部位Section2のウェイト値をweight2とし、クラスタのclusterCは図4の外接矩形フレームS5によって示した顕著部位Section5と類似した候補クラスタであり、その類似性をvalue3、顕著部位Section5のウェイト値をweight5とし、クラスタのclusterDは図4の外接矩形フレームS6によって示した顕著部位Section6と類似した候補クラスタであり、その類似性をvalue4、顕著部位Section6のウェイト値をweight6とする。ステップS205'では、クラスタのClusterAからClusterDを含むグループとオブジェクトの類似性を以下のような表現式で計算できる。
Similarity=(value1×weight1+value2×weight2+value3×weight5+value4×weight6)
…（6）
以上、本発明の実施例2におけるオブジェクト検出方法の説明をしたが、特に実施例2と実施例1の異なる点について説明を行った。本実施例では、ただ簡単に一つのグループ中に含まれる候補クラスタの数に基づき、各候補クラスタとオブジェクトの顕著部位との類似性の高さでそのグループとオブジェクトの類似性を決定する、というのではなく、オブジェクトの各顕著部位の顕著性をも考慮に入れている。顕著部位の顕著性が高ければ高いほど、それを用いてオブジェクトとその他対象を区分する能力も高くなり、類似性計算において及ぼす作用も大きくなる、と理解できる。本実施例では、各顕著部位の顕著性を考慮に入れて候補クラスタとオブジェクトの類似性を計算することによって追跡の正確度を高めている。
【００６９】
＜変形例＞
以上の実施例で説明したオブジェクト追跡方法の、各顕著部位に対し次フレーム視差画像中の各クラスタとの類似性を計算することで、その顕著部位と類似する候補クラスタを決定する以外に、一つのバリエーションとして、さらに任意の数の顕著部位で形成した顕著部位グループに対し次フレーム視差画像中の各クラスタとの類似性を計算することで、その顕著部位グループと類似する候補クラスタを決定することも含められる。それに応じて、図2で示したように、ステップS204で、各顕著部位間の位置関係に基づき前記の候補クラスタに対してグループ分けを行い、同一の対象に属する候補クラスタを同一グループに分類する時に、各候補クラスタ間が各顕著部位間の位置関係と対応しているか否かを考慮するだけでなく、さらに各候補クラスタ間が各顕著部位グループ間、または顕著部位と顕著部位グループ間の位置関係と対応しているか否かを考慮に入れることもできる。
【００７０】
図6で示した候補クラスタのclusterEからclusterIを例とする。仮に上述のステップで、クラスタのclusterEは図4の外接矩形フレームS1及びS2によって示した顕著部位Section1とSection2のグループと類似した候補クラスタであり、クラスタのclusterFは図4の顕著部位Section3と類似する候補クラスタであり、クラスタのclusterGは図4の顕著部位Section4と類似する候補クラスタであり、クラスタのclusterHは図4の顕著部位Section5と類似する候補クラスタであり、クラスタのclusterIは図4の顕著部位Section6と類似する候補クラスタであると決定したとする。ステップS204で、候補クラスタのclusterEからclusterI間の位置関係が、顕著部位Section1とSection2のグループ、Section3、Section4、Section5及びSection6間の位置関係と一致しているかを判断し、且つクラスタのclusterEからclusterIは同一グループに分類されるべきであると最終的に決定する。
【００７１】
この方法によって、本来同一グループに分類されるべきクラスタが抜け落ちることを防ぎ、追跡の正確度を高めることができる。たとえば、図6に示すような状況では、もし各顕著部位だけに対して次フレーム視差画像中の各クラスタとの類似性を計算すると、図6のクラスタのclusterEはおそらくどの顕著部位とも類似しないので、clusterF、clusterG、clusterH及びclusterIと同一グループに分類されることはなく、そうなると必然的にその後のグループとオブジェクトの類似性計算に影響を与えて、追跡の正確度に影響が出てしまう。
【００７２】
＜オブジェクト追跡装置の全体的配置＞
図11は本発明の実施例におけるオブジェクト追跡装置1100の機能配置ブロック図である。
【００７３】
図11に示すように、オブジェクト追跡装置1100は、現フレーム視差画像から検出したオブジェクトから顕著部位を抽出するよう割り当てた抽出部1110、次フレーム視差画像中の視差点に対しクラスタリングして、クラスタを複数生成するよう割り当てたクラスタリング部1120、各顕著部位に対して次フレーム視差画像中の各クラスタとの類似性を計算し、その顕著部位と類似した候補クラスタを決定するよう割り当てたクラスタ類似性計算部1130、各顕著部位間の位置関係に基づいて前記の候補クラスタを分類し、同一のオブジェクトに属する候補クラスタを同一グループに分類するよう割り当てた分類部1140、各グループに対し、そのうちに含まれる各候補クラスタの類似性に基づき、そのグループとオブジェクトとの類似性を決定するよう割り当てたグループ類似性計算部1150、類似性の最も高いグループを選択し、且つそのグループがある位置を次フレーム視差画像中での前記のオブジェクトの位置とするよう割り当てた位置決定部1160を含むことができる。
【００７４】
上述の抽出部1110、クラスタリング部1120、クラスタ類似性計算部1130、分類部1140、グループ類似性計算部1150、及び位置決定部1160の具体的な機能及び操作は上述の図2から図10の関係する説明を参考にでき、ここでもう一度説明は行わない。
【００７５】
＜システムハードウェアの配置＞
図12は本発明の実施例におけるオブジェクト追跡システム1200のハードウェア全体ブロック図である。図12に示すように、オブジェクト追跡システム1200は、画像または情報に関するもの、たとえばステレオカメラが撮影する左視差画像及び右視差画像に基づいて生成した視差画像シーケンスなどを外部から入力するのに用いる、たとえばキーボード、マウス、カメラなどの入力装置1210と、上述の本発明の実施例におけるオブジェクト追跡方法の実施、または上述のオブジェクト追跡装置を実施するのに用いる、たとえばコンピュータのCPUまたは処理能力を備えたICチップなどの処理装置1220、上述のオブジェクト追跡過程を実施して得られた結果、たとえばオブジェクトの位置及びその外輪郭などを外部に出力するのに用いる、たとえばディスプレイ、プリンターなどの出力装置1230、及び上述のオブジェクト追跡過程で関連する、たとえば現フレーム中のオブジェクトから抽出した各顕著部位や、次フレーム中のクラスタリングによって得た各クラスタ、各顕著部位と類似する候補クラスタ及びその類似度、各顕著部位の顕著性等のデータなどを揮発性または非揮発性方法で記憶するのに用いる、たとえばランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、ハードウェア、または半導体メモリなど、各種揮発性または非揮発性メモリ等の記憶装置1240を含むことができる。
【００７６】
以上で本発明の原理を具体的な実施例と合わせて説明したが、述べるべき点として、本公開中で触れた特長、優位性、効果等はあくまで例であって限定的なものではなく、本発明の各実施例はこれら特長、優位性、効果等を備えているべきだとはみなされない。また、上述で公開した具体的なディテールは、あくまで例の効果性及び理解の助けのためであって、限定的なものではなく、上述のディテールは、本発明を必ず上述の具体的なディテールを用いて実現すべきだと限定するものでは決してない。
【００７７】
本公開中で関連する機器、装置、デバイス、システムのブロック図はあくまで例示的なものであり、且つブロック図に示す方法に従って接続、レイアウト、配置すべきだと要求または暗示する意図はない。当業者であれば知っているように、これら機器、装置、デバイス、システムを任意の方法で接続、レイアウト、配置できる。たとえば「含む」「構成する」「備える」などの語句は開放的な語彙であり、「含むがこれに限らない」ということを指し、且つ置き換えて使用できる。ここで用いた「または」及び「及び」という語彙は「及び/または」を指し、且つ置き換えて使用でき、上下文で明確な指示がない限りはそのようである。ここで用いた「たとえば」という語彙は「たとえば〜だがこれに限らない」ということを指し、且つ置き換えて使用できる。
【００７８】
本公開中のステップフローチャート及び上述の方法説明はあくまで例示的なものであり、且つ各実施例のステップを述べた順序に従って実行すべきだと要求または暗示する意図はなく、あるステップは同時に進めたり、互いに単独またはその他適当な順序に従って実行したりできる。また、たとえば「その後」、「それから」、「続いて」などの語句にはステップの順序を限定する意図はない。これら語句は単に読み手がこれら方法説明を読んで理解する助けとして用いている。
【００７９】
またここで用いるような、「少なくとも一つ」で始まる項目の列挙中で用いる「または」とは切り離した列挙を指すために用い、たとえば「A、BまたはCの少なくとも一つ」という列挙は、AまたはBまたはC、またはABまたはACまたはBC、またはABC（即ちA及びB及びC）という意味である。また「例を示す」という用語は説明した例が最適である、または他の例より優れている、という意味ではない。
【００８０】
さらに述べるべき点として、本発明における装置及び方法の中で、各パーツまたは各ステップは分解及び/または再構成できる。これら分解/または再構成は本発明のクレーム範囲内とみなされるべきである。
【００８１】
一般的な当業者とって本公開の方法及び装置の全部またはどんな部分であれ、いかなる計算装置（処理器、メモリ媒体を含む）または計算装置のネットワークにおいても、ハードウェア、ファームウェア、ソフトウェアまたはそれらを組合せて実現できると理解できる。前記ハードウェアは、前記の機能を実行するために設計された汎用処理器、デジタル信号処理器（DSP）、ASIC、フィールドプログラマブルゲートアレイ（FPGA）、またはその他のプログラマブルロジックデバイス（PLD）、ディスクリートゲート、またはトランジスタロジック、離散したハードウェアコンポーネント、またはそれら任意の組合せを用いることができる。汎用処理器はマイクロ処理器でよいが、替わりの処理器として、市場で手に入るいかなる処理器、制御機、マイクロ制御機またはステートマシンでもよい。処理器は計算装置を実現する組合せでもよく、たとえばDSPとマイクロ処理器の組合せ、複数のマイクロ処理器、DSPとコア共同する一つまたは複数のマイクロ処理器、またはそのようなその他いかなる配置でもよい。前記ソフトウェアはコンピュータが読取り可能ないかなる形式の有形メモリ媒体中にも存在できる。限定ではなく例として、そうしたコンピュータが読取り可能な有形メモリ媒体は、RAM、ROM、EEPROM、CD-ROMまたはその他の光ディスクメモリ、ディスクメモリまたはその他のディスクメモリ装置を含めることができ、或いは携帯型またはメモリ・コマンドまたはデータ構造形式の希望するプログラム・コードでもよく、且つコンピュータがアクセスするその他あらゆる有形媒体でもよい。ここで用いたようなディスクには、コンパクトディスク（CD）、レーザーディスク(登録商標)、光ディスク、デジタルバーサタイルディスク（DVD）、フロッピー(登録商標)ディスク及びブルーレイディスクが含まれる。
【００８２】
本発明が公開するインテリジェント制御技術は、あらゆる計算装置上で動く一つのプログラムまたは一組のプログラムによって実現することもできる。前記計算装置は既知の汎用装置でよい。本発明が公開するインテリジェント技術も、ただ単に前記で提供した方法または装置を実現するプログラム・コードを含んだプログラム製品によって実現でき、またはそのようなプログラム製品を記憶した任意のメモリ媒体によって実現できる。
【００８３】
附した特許請求で定義するその指導技術から脱することなく、ここで前記の技術の様々な改変、置換え及び変更を行うことができる。また、本公開の特許請求の範囲は前記の処理、機器、製造、事象の構成、手段、方法または動作の具体的な面に限られない。ここで前記の関連する分野において、基本的に同じ機能の実行、または基本的に同じ結果を実現する、現時点で存在または後に開発される処理、機器、製造、事象の構成、手段、方法または動作にも適用することができる。したがって、そうした処理、機器、製造、事象の構成、手段、方法または動作は附した特許請求の範囲内に含まれる。
【００８４】
以上公開する分野の説明を提供し、いかなる当業者も本発明を実行または使用できるようにした。これらの分野に対する様々な修正も当業者にとっては非常に明確で容易に観察できるものであり、且つここで定義した一般原理はその他の分野でも応用でき、本発明の範囲を出ない。したがって、本発明はここで示した分野に限られることを意図せず、むしろここで公開した原理及び斬新な特徴との一致に基づく最も広い範囲とする。
【００８５】
例示及び説明する目的のため、上記の説明を行った。また、ここでの説明に本発明の実施例をここで公開した形式に限定する意図はない。上記で複数の例示及び実施例を検討したが、当業者であればこれらは変形、修正、改変、追加及びサブ組合が可能であることは認識可能である。
【先行技術文献】
【特許文献】
【００８６】
【特許文献１】米国特許出願公開第US20120194680号
【特許文献２】米国特許第US7418112号
【図１】
2016110656.tif 000006
【図２】
2016110656.tif 000007
【図３】
2016110656.tif 000008
【図４】
2016110656.tif 000009
【図５】
2016110656.tif 000010
【図６】
2016110656.tif 000011
【図７】
2016110656.tif 000012
【図８】
2016110656.tif 000013
【図９】
2016110656.tif 000014
【図１０】
2016110656.tif 000015
【図１１】
2016110656.tif 000016
【図１２】
2016110656.tif 000017