(57)【要約】  オブジェクトを分類するための方法は、複数の信頼値を複数のオブジェクトに適用することを含む。本方法はまた、複数の信頼値に基づいてメトリックを決定することを含む。本方法は、メトリックがしきい値を上回る場合に、ナレッジグラフに基づいて複数のオブジェクトから第１のオブジェクトの分類を決定することをさらに含む。
2017531240.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを分類するための方法であって、
複数の信頼値を複数のオブジェクトに適用することと、
前記複数の信頼値に少なくとも部分的に基づいてメトリックを決定することと、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて前記複数のオブジェクトのうちの第１のオブジェクトの分類を決定することと、
を備える、方法。
【請求項２】
前記ナレッジグラフが、前記第１のオブジェクトが少なくとも第２のオブジェクトに関連付けられている可能性に少なくとも部分的に基づいて決定された重みを含む、請求項１に記載の方法。
【請求項３】
前記分類が、前記ナレッジグラフの前記重みを有する前記第１のオブジェクトに関する前記複数の信頼値のバイアスに少なくとも部分的に基づいて決定される、請求項２に記載の方法。
【請求項４】
前記ナレッジグラフの前記重みを、最高の信頼値を有する前記複数のオブジェクトのうちの１つのオブジェクトに関連付けることをさらに備える、請求項２に記載の方法。
【請求項５】
前記ナレッジグラフの前記重みが、複数のオブジェクトの学習された関係に少なくとも部分的に基づく、請求項２に記載の方法。
【請求項６】
前記しきい値未満の混同値を有する前記複数のオブジェクトからの複数のオブジェクトの学習の関係に少なくとも部分的に基づいて、前記ナレッジグラフの前記重みを更新することをさらに備える、請求項５に記載の方法。
【請求項７】
ユーザ入力に少なくとも部分的に基づいて前記ナレッジグラフの前記重みを更新することをさらに備える、請求項５に記載の方法。
【請求項８】
前記ナレッジグラフの前記重みが、前記第１のオブジェクトが前記第２のオブジェクトに対して出現するときの順序に少なくとも部分的に基づく、請求項２に記載の方法。
【請求項９】
前記ナレッジグラフがディープ畳込みネットワーク（ＤＣＮ）に統合される、請求項１に記載の方法。
【請求項１０】
前記メトリックが、予測されたクラスごとの信頼値に少なくとも部分的に基づく混同メトリックである、請求項１に記載の方法。
【請求項１１】
前記複数のオブジェクトが、少なくとも１つの画像、ビデオ、音声、またはそれらの組合せ内でキャプチャされる、請求項１に記載の方法。
【請求項１２】
オブジェクトを分類するための装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
複数の信頼値を複数のオブジェクトに適用し、
前記複数の信頼値に少なくとも部分的に基づいてメトリックを決定し、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて、前記複数のオブジェクトのうちの第1のオブジェクトの分類を決定する、
ように構成される、装置。
【請求項１３】
前記ナレッジグラフが、前記第１のオブジェクトが少なくとも第２のオブジェクトに関連付けられている可能性に少なくとも部分的に基づいて決定された重みを含む、請求項１２に記載の装置。
【請求項１４】
前記少なくとも１つのプロセッサが、前記ナレッジグラフの前記重みを有する前記第１のオブジェクトに関する前記複数の信頼値のバイアスに少なくとも部分的に基づいて前記分類を決定するようにさらに構成される、請求項１３に記載の装置。
【請求項１５】
前記少なくとも１つのプロセッサが、前記ナレッジグラフの前記重みを、最高の信頼値を有する前記複数のオブジェクトのうちの１つのオブジェクトに関連付けるようにさらに構成される、請求項１３に記載の装置。
【請求項１６】
前記ナレッジグラフの前記重みが、複数のオブジェクトの学習された関係に少なくとも部分的に基づく、請求項１３に記載の装置。
【請求項１７】
前記少なくとも１つのプロセッサが、前記しきい値未満の混同値を有する前記複数のオブジェクトからの複数のオブジェクトの学習の関係に少なくとも部分的に基づいて、前記ナレッジグラフの前記重みを更新するようにさらに構成される、請求項１６に記載の装置。
【請求項１８】
前記少なくとも１つのプロセッサが、ユーザ入力に少なくとも部分的に基づいて前記ナレッジグラフの前記重みを更新するようにさらに構成される、請求項１６に記載の装置。
【請求項１９】
前記ナレッジグラフの前記重みが、前記第１のオブジェクトが前記第２のオブジェクトに対して出現するときの順序に少なくとも部分的に基づく、請求項１３に記載の装置。
【請求項２０】
前記ナレッジグラフがディープ畳込みネットワーク（ＤＣＮ）に統合される、請求項１２に記載の装置。
【請求項２１】
前記メトリックが、予測されたクラスごとの信頼度に少なくとも部分的に基づく混同メトリックである、請求項１２に記載の装置。
【請求項２２】
前記複数のオブジェクトが、少なくとも１つの画像、ビデオ、音声、またはそれらの組合せ内でキャプチャされる、請求項１２に記載の装置。
【請求項２３】
オブジェクトを分類するためのコンピュータプログラム製品であって、
プログラムコードが記録された非一時的コンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
複数の信頼値を複数のオブジェクトに適用するためのプログラムコードと、
前記複数の信頼値に少なくとも部分的に基づいてメトリックを決定するためのプログラムコードと、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて、前記複数のオブジェクトのうちの第1のオブジェクトの分類を決定するためのプログラムコードと、
を備える、コンピュータプログラム製品。
【請求項２４】
オブジェクトを分類するための装置であって、
複数の信頼値を複数のオブジェクトに適用するための手段と、
前記複数の信頼値に少なくとも部分的に基づいてメトリックを決定するための手段と、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて、前記複数のオブジェクトのうちの第１のオブジェクトの分類を決定するための手段と、
を備える、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]本出願は、２０１４年８月１９日に出願された「ＫＮＯＷＬＥＤＧＥ−ＧＲＡＰＨ  ＢＩＡＳＥＤ  ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ  ＦＯＲ  ＤＡＴＡ」と題する米国仮特許出願第６２／０３９，３２９号の米国特許法第１１９条（ｅ）に基づく利益を主張し、その開示は、参照によりその全体が本明細書に明示的に組み込まれる。
【０００２】
[0002]本開示のいくつかの態様は、一般にニューラルシステムエンジニアリングに関し、より詳細には、ナレッジグラフバイアス分類に関する。
【背景技術】
【０００３】
[0003]人工ニューロン（すなわち、ニューロンモデル）の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および／または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が困難、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供することができる。人工ニューラルネットワークは観測から関数を推測することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による関数の設計を煩わしくする用途において、特に有用である。データおよび／またはネットワークアーキテクチャの複雑さに応じて、ニューラルネットワークは、オブジェクト認識のためのパターンの共起を使用しないことがある。したがって、ナレッジグラフのバイアスに基づいてデータ内のオブジェクトを分類するために、ニューロモルフィック受信機を提供することが望ましい。
【発明の概要】
【０００４】
[0004]本開示の一態様では、オブジェクトを分類するための方法が開示される。本方法は、複数の信頼値を複数のオブジェクトに適用することを含む。本方法はまた、複数の信頼値に基づいてメトリックを決定することを含む。本方法は、メトリックがしきい値を上回る場合に、ナレッジグラフに基づいて複数のオブジェクトから第１のオブジェクトの分類を決定することをさらに含む。
【０００５】
[0005]本開示の別の態様は、複数の信頼値を複数のオブジェクトに適用するための手段を含む装置を対象とする。本装置はまた、複数の信頼値に基づいてメトリックを決定するための手段を含む。本装置は、メトリックがしきい値を上回る場合に、ナレッジグラフに基づいて複数のオブジェクトから第１のオブジェクトの分類を決定するための手段をさらに含む。
【０００６】
[0006]本開示の別の態様では、オブジェクトを分類するためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、非一時的プログラムコードが記録された非一時的コンピュータ可読媒体を有する。本プログラムコードは、複数の信頼値を複数のオブジェクトに適用するためのプログラムコードを含む。本プログラムコードはまた、複数の信頼値に基づいてメトリックを決定するためのプログラムコードを含む。本プログラムコードは、メトリックがしきい値を上回る場合に、ナレッジグラフに基づいて複数のオブジェクトから第1のオブジェクトの分類を決定するためのプログラムコードをさらに含む。
【０００７】
[0007]本開示の別の態様は、メモリと、メモリに結合された１つまたは複数のプロセッサとを有するオブジェクトを分類するための装置を対象とする。本プロセッサは、複数の信頼値を複数のオブジェクトに適用するように構成される。本プロセッサはまた、複数の信頼値に基づいてメトリックを決定するように構成される。本プロセッサは、メトリックがしきい値を上回る場合に、ナレッジグラフに基づいて複数のオブジェクトから第1のオブジェクトの分類を決定するように構成される。
【０００８】
[0008]本開示の追加の特徴および利点は、以下で説明される。この開示は、本開示と同じ目的を実行するための他の構造を修正または設計するための基礎として容易に変更され得ることが、当業者によって理解されるべきである。また、添付の特許請求の範囲に記載されるように、そのような等価な構成は本開示の教示から逸脱しないことが、当業者によって理解されるべきである。本開示の特徴と考えられる新規な特徴は、その構成と動作の方法との両方に関して、さらなる目的および利点とともに、添付の図面と関連して考慮されるとき以下の説明からより良く理解されるであろう。しかしながら、図面の各々は単に例示および説明の目的のために提供されているにすぎず、本開示の制限の定義として意図されていないことが、明確には理解されるべきである。
【０００９】
[0009]本開示の特徴、性質、および利点は、同様の参照文字が全体を通して相応して識別する図面を考慮した場合、以下に示される詳細な説明から、より明らかになるだろう。
【図面の簡単な説明】
【００１０】
【図１】[0010]本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。
【図２】[0011]本開示のいくつかの態様による、計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）の処理ユニット（ニューロン）の一例を示す図。
【図３】[0012]本開示のいくつかの態様によるスパイクタイミング依存可塑性（ＳＴＤＰ）曲線の一例を示す図。
【図４】[0013]本開示のいくつかの態様による、ニューロンモデルの挙動を定義するための正レジームおよび負レジームの一例を示す図。
【図５】[0014]オブジェクト認識システムによって処理するためにキャプチャされた画像の例を示す図。
【図６】[0015]本開示のある態様によるナレッジグラフの例を示す図。
【図７】[0016]本開示のある態様による、汎用プロセッサを使用してニューラルネットワークを設計することの例示的な実装形態を示す図。
【図８】[0017]本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得るニューラルネットワークを設計する例示的な実装形態を示す図。
【図９】[0018]本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいてニューラルネットワークを設計する例示的な実装形態を示す図。
【図１０】[0019]本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。
【図１１】[0020]本開示のある態様による、オブジェクトを分類するための方法を示す流れ図。
【発明を実施するための形態】
【００１１】
[0021]添付の図面に関連して以下に示される詳細な説明は、様々な構成の説明として意図されたものであり、本明細書において説明される概念が実現され得る唯一の構成を表すことを意図されるものではない。詳細な説明は、様々な概念の完全な理解を提供する目的で、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしで実施され得ることは、当業者にとっては明らかであろう。いくつかの事例では、よく知られている構造および構成要素が、そのような概念を曖昧にするのを避けるために、ブロック図形式で示される。
【００１２】
[0022]本教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
【００１３】
[0023]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。
【００１４】
[0024]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
【００１５】
例示的なニューラルシステム、トレーニングおよび動作
[0025]図１は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的な人工ニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４（すなわち、フィードフォワード結合）を介してニューロンの別のレベル１０６に結合されたニューロンのあるレベル１０２を有し得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、ニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じ層の他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前の層のニューロンに戻る形で結合し得る。
【００１６】
[0026]図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１に図示せず）のニューロンによって生成され得る入力信号１０８を受信し得る。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル（たとえば、レベル１０６）に転送されるべき出力スパイクを生成し得る。いくつかのモデリング手法では、ニューロンは、信号をニューロンの次のレベルに継続的に転送し得る。この信号は、典型的には膜電位の関数である。そのような挙動は、以下で説明するものなどのアナログおよびデジタル実装形態を含むハードウェアおよび／またはソフトウェアでエミュレートまたはシミュレートされ得る。
【００１７】
[0027]生物学的ニューロンでは、ニューロンが発火するときに生成される出力スパイクは、活動電位と呼ばれる。電気信号は、約１００ｍＶの振幅と約１ｍｓの持続時間とを有する比較的急速で、一時的な神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの特定の実施形態（たとえば、図１におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送）では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数、またはスパイクの時間によってのみ表され得る。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、および他の１つまたは複数のスパイクに対するスパイクの時間によって決定され得る。以下で説明するように、スパイクの重要性は、ニューロン間の接続に適用される重みによって決定され得る。
【００１８】
[0028]図１に示されるように、ニューロンのあるレベルから別のレベルへのスパイクの移動は、シナプス結合（または、単純に「シナプス」）１０４のネットワークを介して達成され得る。シナプス１０４に関して、レベル１０２のニューロンはシナプス前ニューロンと考えられ得、レベル１０６のニューロンはシナプス後ニューロンと考えられ得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信して、調整可能なシナプスの重みｗ１（ｉ，ｉ＋１），．．．，ｗＰ（ｉ，ｉ＋１）に応じてそれらの信号をスケーリングすることができ、上式で、Ｐはレベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数であり、ｉはニューロンレベルの指標である。図１の例では、ｉはニューロンレベル１０２を表し、ｉ＋１は、ニューロンレベル１０６を表す。さらに、スケーリングされた信号は、レベル１０６における各ニューロンの入力信号として合成され得る。レベル１０６におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。
【００１９】
[0029]生物学的シナプスは、シナプス後ニューロンにおける興奮性活動または抑制性（過分極化）活動のいずれかを取り次ぐことができ、ニューロン信号を増幅する役目を果たすことができる。興奮性信号は、膜電位を脱分極する（すなわち、静止電位に対して膜電位を増加させる）。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定の時間期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する（すなわち、低下させる）。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、一般にスカルプチャリングと呼ばれる、ニューロンの発火のパターンを形成することができる。様々なシナプス１０４は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。
【００２０】
[0030]ニューラルシステム１００は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってエミュレートされ得る。ニューラルシステム１００は、たとえば画像およびパターン認識、機械学習、モータ制御、および同様に、かなりの適用範囲において利用され得る。ニューラルシステム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
【００２１】
[0031]一態様では、キャパシタは、ニューロン回路の電流積分デバイスとしては除去され得、その代わりにより小さいメモリスタ（memristor）要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の適用例において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、大規模なニューラルシステムハードウェア実装形態の実装がより実用的になり得る。
【００２２】
[0032]ニューラルシステム１００をエミュレートするニューラルプロセッサの機能は、シナプス結合の重みに依存し得、それは、ニューロン間の結合の強さを制御し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。
【００２３】
[0033]図２は、本開示のいくつかの態様による、計算ネットワーク（たとえば、ニューラルシステムまたはニューラルネットワーク）の処理ユニット（たとえば、ニューロンまたはニューロン回路）２０２の例示的な図２００を示す。たとえば、ニューロン２０２は、図１のレベル１０２のニューロンおよび１０６のニューロンのうちのいずれかに対応し得る。ニューロン２０２は、複数の入力信号２０４1〜２０４Nを受信し得、それらは、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る。入力信号は、電流、コンダクタンス、電圧、実数値および／または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み２０６1〜２０６N（ｗ1〜ｗN）に従って信号をスケーリングするシナプス結合を通してニューロン２０２に伝えられ得、Ｎはニューロン２０２の入力接続の総数であり得る。
【００２４】
[0034]ニューロン２０２は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号２０８（すなわち、信号ｙ）を生成し得る。出力信号２０８は、電流、コンダクタンス、電圧、実数値および／または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値であり得る。出力信号２０８は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン２０２への入力信号として、またはニューラルシステムの出力として伝達され得る。
【００２５】
[0035]処理ユニット（ニューロン）２０２は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつ電気接続によってエミュレートされ得る。処理ユニット２０２ならびにそれの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニット２０２はまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニット２０２はアナログ電気回路であり得る。別の態様では、処理ユニット２０２はデジタル電気回路であり得る。さらに別の態様では、処理ユニット２０２は、アナログ構成要素とデジタル構成要素の両方をもつミックスドシグナル電気回路であり得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを含み得る。そのような処理ユニットを使用した計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。
【００２６】
[0036]ニューラルネットワークをトレーニングする過程で、シナプス重み（たとえば、図１の重みｗ１（ｉ，ｉ＋１），．．．，ｗＰ（ｉ，ｉ＋１）および／または図２の重み２０６1〜２０６N）がランダム値により初期化され得、学習ルールに従って増加または減少し得る。学習ルールの例は、これに限定されないが、スパイクタイミング依存可塑性（ＳＴＤＰ）学習ルール、Ｈｅｂｂ則、Ｏｊａ則、Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｐｐｅｒ−Ｍｕｎｒｏ（ＢＣＭ）則等を含むことを当業者は理解するだろう。いくつかの態様では、重みは、２つの値のうちの１つに安定または収束し得る（すなわち、重みの双峰分布）。この効果が利用されて、シナプス重みごとのビット数を低減し、シナプス重みを記憶するメモリとの間の読取りおよび書込みの速度を上げ、シナプスメモリの電力および／またはプロセッサ消費量を低減し得る。
【００２７】
シナプスタイプ
[0037]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス（non-plastic synapse）（重みおよび遅延の変化がない）、可塑性シナプス（重みが変化し得る）、構造遅延可塑性シナプス（重みおよび遅延が変化し得る）、完全可塑性シナプス（重み、遅延および結合性が変化し得る）、およびそれの変形（たとえば、遅延は変化し得るが、重みまたは結合性の変化はない）であり得る。複数のタイプの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を使用しないで実行される場合がある（またはそのような機能が完了するのを待つ）。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプについての関連する表、式、またはパラメータにアクセスする。
【００２８】
[0038]スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性は、重みの大きさに変化がない場合（たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合）ｓでさえ実行され得、構造可塑性（すなわち、遅延量の変化）は前後スパイク時間差（pre-post spike time difference）の直接関数であり得る。代替的に、構造可塑性は、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大値になるのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
【００２９】
シナプス可塑性の決定
[0039]神経可塑性（または単に「可塑性」）は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。（たとえば、Ｈｅｂｂ則理論による）シナプス可塑性、スパイクタイミング依存可塑性（ＳＴＤＰ）、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
【００３０】
[0040]ＳＴＤＰは、ニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク（すなわち、活動電位）の相対的タイミングに基づいて調整される。ＳＴＤＰプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強（ＬＴＰ）が生じ得る。その場合、その特定の入力はいくらか強くなる。一方、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧（ＬＴＤ）が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がわずかなレベルまで低減されるまで、このプロセスは続く。
【００３１】
[0041]ニューロンは、一般に、出力スパイクを、それの入力の多くが短い期間内に生じる（すなわち、出力をもたらすのに十分な累積がある）ときに生成するので、通常残っている入力のサブセットは、時間において相関付けられた傾向のあった入力を含む。さらに、出力スパイクの前に生じる入力は強化されるので、最も早い十分に累積的な相関の指示を提供する入力は結局、ニューロンへの最終入力となる。
【００３２】
[0042]ＳＴＤＰ学習ルールは、シナプス前ニューロンのスパイク時間ｔpreとシナプス後ニューロンのスパイク時間ｔpostとの間の時間差（すなわち、ｔ＝ｔpost−ｔpre）に応じて、シナプス前ニューロンをシナプス後ニューロンに結合するシナプスのシナプス重みを効果的に適合させ得る。ＳＴＤＰの通常の公式化は、時間差が正である（シナプス前ニューロンがシナプス後ニューロンの前に発火する）場合にシナプス重みを増加させ（すなわち、シナプスを増強し）、時間差が負である（シナプス後ニューロンがシナプス前ニューロンの前に発火する）場合にシナプス重みを減少させる（すなわち、シナプスを抑制する）ことである。
【００３３】
[0043]ＳＴＤＰプロセスでは、経時的なシナプス重みの変化は通常、以下の式によって与えられるように、指数関数的減衰を使用して達成され得る。
【数１】
2017531240.tif 000003
ここで、ｋ+およびｋ-τsign(Δt)はそれぞれ、正の時間差および負の時間差の時間定数であり、ａ+およびａ-は対応するスケーリングの大きさであり、μは正の時間差および／または負の時間差に適用され得るオフセットである。
【００３４】
[0044]図３は、ＳＴＤＰによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングに応じたシナプス重み変化の例示的な図３００を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ３００の部分３０２に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのＬＴＰと呼ばれ得る。グラフ部分３０２から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、ＬＴＰの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ３００の部分３０４に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのＬＴＤをもたらし得る。
【００３５】
[0045]図３のグラフ３００に示すように、ＳＴＤＰグラフのＬＴＰ（原因）部分３０２に負のオフセットμが適用され得る。ｘ軸の交差３０６のポイント（ｙ＝０）は、層ｉ−１からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力（すなわち、スパイクまたはパルスを備える特定の持続時間のフレームの形態である入力）の場合、オフセット値μは、フレーム境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第１の入力スパイク（パルス）が経時的に減衰することが考慮され得る。フレームにおける第２の入力スパイク（パルス）が特定の時間フレームの相関したまたは関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレーム境界で分離され、関連する時間の値が異なり得る（たとえば、１つのフレームよりも大きい場合は負、１つのフレームよりも小さい場合は正）ように、ＳＴＤＰ曲線の１つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にＬＴＰの代わりにＬＴＤの一部であるようにＬＴＰをオフセットするために負のオフセットμが設定され得る。
【００３６】
ニューロンモデルおよび演算
[0046]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、２つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための２つの要素を有する必要がある：入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最終的に、計算上魅力的であるために、良いニューロンモデルは、連続時間において閉形式解と、ニアアトラクター（near attractor）と鞍点とを含む安定した挙動とを有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
【００３７】
[0047]ニューロンモデルは事象、たとえば入力の到着、出力スパイク、または内部的であるか外部的であるかを問わず他の事象に依存し得る。豊かな挙動レパートリーを実現するために、複雑な挙動を示すことができる状態機械が望まれ得る。入力寄与（ある場合）とは別個の事象の発生自体が状態機械に影響を与え、事象の後のダイナミクスを制限し得る場合、システムの将来の状態は、単なる状態および入力の関数ではなく、むしろ状態、事象および入力の関数である。
【００３８】
[0048]一態様では、ニューロンｎは、下記のダイナミクスによって決定される膜電圧ｖn（ｔ）によるスパイキングリーキー積分発火ニューロンとしてモデル化され得る。
【数２】
2017531240.tif 000004
ここでαおよびβは、パラメータであり、ｗm,nは、シナプス前ニューロンｍをシナプス後ニューロンｎに結合するシナプスのシナプス重みであり、ｙm（ｔ）は、ニューロンｎの細胞体に到着するまでΔｔm,nに従って樹状遅延または軸索遅延によって遅延し得るニューロンｍのスパイキング出力である。
【００３９】
[0049]シナプス後ニューロンへの十分な入力が達成された時間からシナプス後ニューロンが実際に発火する時間までの遅延があることに留意されたい。イジケヴィッチの単純モデルなど、動的スパイキングニューロンモデルでは、脱分極しきい値ｖtとピークスパイク電圧ｖpeakとの間に差がある場合、時間遅延が生じ得る。たとえば、単純モデルでは、電圧および復元のための１対の微分方程式、すなわち、
【数３】
2017531240.tif 000005
【数４】
2017531240.tif 000006
によってニューロン細胞体ダイナミクス（neuron soma dynamics）が決定され得る。ここでｖは膜電位であり、ｕは、膜復元変数であり、ｋは、膜電位ｖの時間スケールを記述するパラメータであり、ａは、復元変数ｕの時間スケールを記述するパラメータであり、ｂは、膜電位ｖのしきい値下変動に対する復元変数ｕの感度を記述するパラメータであり、ｖrは、膜静止電位であり、Ｉは、シナプス電流であり、Ｃは、膜のキャパシタンスである。このモデルによれば、ニューロンはｖ＞ｖpeakのときにスパイクすると定義される。
【００４０】
Ｈｕｎｚｉｎｇｅｒ  Ｃｏｌｄモデル
[0050]Ｈｕｎｚｉｎｇｅｒ  Ｃｏｌｄニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの１次元または２次元の線形ダイナミクスは２つのレジームを有することができ、時間定数（および結合）はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
【００４１】
[0051]図４に示すように、モデル４００のダイナミクスは２つの（またはそれよりも多くの）レジームに分割され得る。これらのレジームは、負のレジーム（ｎｅｇａｔｉｖｅ  ｒｅｇｉｍｅ）４０２（ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ（ＬＩＦ）ニューロンモデルと混同されないように、交換可能にＬＩＦレジームとも呼ばれる）、および正のレジーム（ｐｏｓｉｔｉｖｅ  ｒｅｇｉｍｅ）４０４（ａｎｔｉ−ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ（ＡＬＩＦ）ニューロンモデルと混同されないように、交換可能にＡＬＩＦレジームとも呼ばれる）と呼ばれ得る。負レジーム４０２では、状態は将来の事象の時点における静止（ｖ-）の傾向がある。この負レジームでは、モデルは一般に、時間的入力検出特性と他のしきい値下挙動とを示す。正レジーム４０４では、状態はスパイキング事象（ｖs）の傾向がある。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら２つのレジームへのダイナミクスの分離は、モデルの基本的特性である。
【００４２】
[0052]線形二重レジーム２次元ダイナミクス（状態ｖおよびｕの場合）は、慣例により次のように定義され得る。
【数５】
2017531240.tif 000007
【数６】
2017531240.tif 000008
ここでｑρおよびｒは、結合のための線形変換変数である。
【００４３】
[0053]シンボルρは、ダイナミクスレジームを示すためにここで使用され、特定のレジームの関係を論述または表現するときに、それぞれ負レジームおよび正レジームについて符号「−」または「＋」にシンボルρを置き換える慣例がある。
【００４４】
[0054]モデル状態は、膜電位（電圧）ｖおよび復元電流ｕによって定義される。基本形態では、レジームは基本的にモデル状態によって決定される。正確で一般的な定義の微妙だが重要な側面があるが、差し当たり、モデルが、電圧ｖがしきい値（ｖ+）を上回る場合に正レジーム４０４にあり、そうでない場合に負レジーム４０２にあると考える。
【００４５】
[0055]レジーム依存時間定数は、負レジーム時間定数であるτ-と正レジーム時間定数であるτ+とを含む。復元電流時間定数τuは通常、レジームから独立している。便宜上、τuと同様に、指数およびτ+が一般に正となる正レジームの場合に、電圧発展（voltage evolution）に関する同じ表現が使用され得るように、減衰を反映するために負の量として負レジーム時間定数τ-が一般に指定される。
【００４６】
[0056]２つの状態要素のダイナミクスは、事象において、ヌルクラインから状態をオフセットする変換によって結合され得、ここで変換変数は、
【数７】
2017531240.tif 000009
【数８】
2017531240.tif 000010
であり、δ、ε、βおよびｖ-、ｖ+はパラメータである。ｖρのための２つの値は、２つのレジームのための参照電圧のベースである。パラメータｖ-は、負レジームのためのベース電圧であり、膜電位は一般に、負レジームにおいてｖ-に減衰する。パラメータｖ+は、正レジームのためのベース電圧であり、膜電位は一般に、正レジームにおいてｖ+から離れる傾向となる。
【００４７】
[0057]ｖおよびｕのためのヌルクラインは、それぞれ変換変数ｑρおよびｒの負によって与えられる。パラメータδは，ｕヌルクラインの傾きを制御するスケール係数である。パラメータεは通常、−ｖ-に等しく設定される。パラメータβは、両方のレジームにおいてｖヌルクラインの傾きを制御する抵抗値である。τρ時間定数パラメータは、指数関数的減衰だけでなく、各レジームにおいて別個にヌルクラインの傾きを制御する。
【００４８】
[0058]モデルは、電圧ｖが値ｖsに達したときにスパイクするように定義され得る。続いて、状態は（スパイク事象と同じ１つのものであり得る）リセット事象でリセットされ得る。
【数９】
2017531240.tif 000011
【数１０】
2017531240.tif 000012
ここで、
【数１１】
2017531240.tif 000013
およびΔｕはパラメータである。リセット電圧
【数１２】
2017531240.tif 000014
は通常、ｖ-にセットされる。
【００４９】
[0059]瞬時結合の原理によって、状態について（また、単一の指数項による）だけではなく、特定の状態に到達するための時間についても、閉形式解が可能である。近い形式状態解は、次のとおりである。
【数１３】
2017531240.tif 000015
【数１４】
2017531240.tif 000016
【００５０】
[0060]したがって、モデル状態は、入力（シナプス前スパイク）または出力（シナプス後スパイク）などの事象に伴ってのみ更新され得る。また、演算が（入力があるか、出力があるかを問わず）任意の特定の時間に実行され得る。
【００５１】
[0061]その上、瞬時結合原理によって、反復的技法または数値解法（たとえば、オイラー数値解法）なしに、特定の状態に到達する時間が事前に決定され得るように、シナプス後スパイクの時間が予想され得る。前の電圧状態ｖ0を踏まえ、電圧状態ｖfに到達するまでの時間遅延は、次の式によって与えられる。
【数１５】
2017531240.tif 000017
【００５２】
[0062]スパイクが、電圧状態ｖがｖsに到達する時間に生じると定義される場合、電圧が所与の状態ｖにある時間から測定されたスパイクが生じるまでの時間量、または相対的遅延に関する閉形式解は、次のとおりである。
【数１６】
2017531240.tif 000018
ここで、
【数１７】
2017531240.tif 000019
は通常、パラメータｖ+にセットされるが、他の変形も可能であり得る。
【００５３】
[0063]モデルダイナミクスの上記の定義は、モデルが正レジームにあるか、それとも負レジームにあるかに依存する。上述のように、結合およびレジームρは、事象に伴って計算され得る。状態の伝搬のために、レジームおよび結合（変換）変数は、最後の（前の）事象の時間における状態に基づいて定義され得る。続いてスパイク出力時間を予想するために、レジームおよび結合変数は、次の（最新の）事象の時間における状態に基づいて定義され得る。
【００５４】
[0064]Ｃｏｌｄモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、（特定の瞬間における）事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔（たとえば、１ｍｓ）をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を利用するとは限らない。また、事象がステップもしくはステップ間で生じる場合または「ステップ事象」更新によってモデルを更新するのみによって、ステップベースのシミュレータにおいて限られた時間分解能で事象ベースの実装形態が可能である。
【００５５】
深刻なノイズの多いデータに対する堅牢性のためのナレッジグラフバイアス分類
[0065]従来のオブジェクト認識システムは、画像前処理段階と、特徴抽出段階と、分類段階とを含む。具体的には、従来のオブジェクト認識システムでは、画像を前処理し、画像内の特徴をセグメント化するために画像前処理段階が特定されている。
【００５６】
[0066]本出願では、セグメント化は、画像内のオブジェクトの周りの境界を決定することを指す。たとえば、画像は、椅子、机、およびランプを含み得る。これらのオブジェクトの各々は、セグメント化され得る。前述のオブジェクトの各々のセグメントは、たとえば、そのオブジェクトに属するすべてのピクセルを囲む最小の矩形であり得る。
【００５７】
[0067]画像を前処理した後、特徴抽出段階は、前処理された画像から特徴を抽出する。本出願では、特徴は、顔、モニタ、キーボード、および／または撮影され得る他のオブジェクトなどのオブジェクトと称され得る。さらに、特徴を抽出した後、分類器は、抽出された特徴を分類し得る。すなわち、分類は、抽出された各オブジェクトに１つまたは複数の可能なクラスを適用する。また、本出願では、クラスはラベルまたはカテゴリと称され得る点に留意されたい。追加的または代替的に、分類器は、抽出された特徴に基づいて画像全体または画像のサブセットを分類するように指定される。たとえば、画像は日没として分類され得る。
【００５８】
[0068]図５は、オブジェクト認識システムを介して分類され得る画像５００の例を示す。図５に示されるように、画像５００は、ＰＣモニタ５０６、キーボード５０４、およびマウス５０２を含む。したがって、従来のオブジェクト認識システムの段階に基づいて、抽出されたオブジェクトは、ＰＣモニタ５０６、キーボード５０４、およびマウス５０２である。一例として、抽出されたＰＣモニタオブジェクトの推論されるクラスは、ＰＣモニタ、テレビ、および／またはウィンドウであり得る。別の例として、抽出されたキーボードオブジェクトの推論されるクラスは、キーボード、トレイ、およびプレースマットであり得る。
【００５９】
[0069]さらに、分類器は、各オブジェクトから推論される１つまたは複数のクラスの信頼メトリックを提供する。信頼メトリックは、ネットワークに提供されるトレーニングに基づき得る。本出願では、信頼メトリックは、信頼度、信頼スコア、および／または信頼値と称され得る。一例では、特徴抽出器から抽出されたオブジェクトはＰＣモニタであり得、ＰＣモニタの分類器出力は、ＰＣモニタ：５０％、テレビ：４０％、ウィンドウ：１０％であり得る。すなわち、ネットワークは、オブジェクトがＰＣモニタであるという５０％の信頼度、オブジェクトがテレビであるという４０％の信頼度、およびオブジェクトがウィンドウであるという１０％の信頼度を有する。この例では、ＰＣモニタ、テレビ、およびウィンドウは、画像から抽出されたオブジェクトから推論されるクラスである。
【００６０】
[0070]さらに、一構成では、最も高い信頼度と２番目に高い信頼度との間の差が、混同メトリックとして使用され得る。具体的には、この構成では、混同メトリックであり、混同は２つの信頼メトリック間の差に逆相関する。すなわち、２つの信頼スコアの差が小さいと、混同が大きくなる。たとえば、前の例では、ＰＣモニタ（５０％）の信頼メトリックとテレビ（４０％）の信頼メトリックとの間の差は、ＰＣモニタの信頼メトリックとウィンドウ（１０％）の信頼メトリックとの間の差よりも小さい。したがって、前の例では、抽出されたオブジェクトがＰＣモニタであるかウィンドウであるかについての混同と比較して、抽出されたオブジェクトがＰＣモニタであるかテレビであるかについての方がより大きな混同がある。
【００６１】
[0071]一構成では、所与のオブジェクトについて、予測されたクラスごとの信頼度は、降順で、ｋ個の予測についてＰ１、Ｐ２、．．．、Ｐｋである。追加的または代替的に、混同メトリックは、以下のように決定され得る。
分類器混同値＝Ｐ１−Ｐ２                                  （１５）
分類器混同値＝（Ｐ１−Ｐ２）／（Ｐ１＋Ｐ２）              （１６）
分類器混同値＝Ｐ１／ｍｅｄｉａｎ（Ｐ１，Ｐ２，．．．，Ｐｋ）  （１７）
分類器混同値＝Ｐ１／ｍｅａｎ（Ｐ１，Ｐ２，．．．，Ｐｋ）      （１８）
【００６２】
[0072]式１５〜１８において、分類器混同値は混同に逆相関する。すなわち、より低い分類器混同値は、高い混同を示し得る。
【００６３】
[0073]前述のように、メトリックは、ネットワークに提供されるトレーニングに基づき得る。したがって、場合によっては、ネットワークがオブジェクトに対してトレーニングされていない場合、オブジェクトに低い信頼度が与えられ得る。追加的または代替的に、間違ったクラスが最も高い信頼スコアを受信する可能性がある。場合によっては、低画質、閉塞、オブジェクトの不良セグメント化、および／またはその他の要因によって、信頼度の高いメトリックが誤ってクラスに割り当てられることがある。たとえば、図５に示されるように、ＰＣモニタの部分画像のみがキャプチャされる。したがって、図５の例では、オブジェクト認識システムは、ＰＣモニタなどの正しいクラスに割り当てられた信頼度と比較して、ウィンドウなどの間違ったクラスにより高い信頼度を割り当てる可能性がある。
【００６４】
[0074]表１は、画像から抽出されたオブジェクトについて推論されるクラスに割り当てられた信頼度の例を提供する。この例では、表１の信頼メトリックは、ＰＣモニタ５０６が画像内に部分的に示されている図５の例に基づき得る。表１に示されるように、モニタの分類器出力は、ウィンドウ：４０％、モニタ：３５％、テレビ：２５％である。すなわち、ネットワークは、抽出されたＰＣモニタオブジェクトがウィンドウ、モニタ、またはテレビのいずれかであると推論する。さらに、ネットワークは、抽出されたＰＣモニタオブジェクトがウィンドウであるという４０％の信頼度、抽出されたＰＣモニタオブジェクトがモニタであるという３５％の信頼度、抽出されたＰＣモニタオブジェクトがテレビであるという２５％の信頼度を有する。
【表１】
2017531240.tif 000020
【００６５】
[0075]表１に関して、ネットワークは、他の３つのオブジェクトがＣＰＵ（図５に示されていない）、マウス、およびキーボードであるという高い信頼度がある場合に、抽出されたＰＣモニタオブジェクトがＰＣモニタである確率を考慮していない。したがって、表１の例では、オブジェクトがウィンドウであるという信頼度は、オブジェクトがモニタであるという確信に比べて大きい。
【００６６】
[0076]ほとんどの場合、人間の観察者は、画像の遮られていないオブジェクトとオブジェクトの関連に基づいて、画像内の遮られたオブジェクトを正確に決定し得る。たとえば、人間の観察者は、ＣＰＵ、マウス、および／またはキーボードなどの遮られていないオブジェクトとモニタとの関連性に基づいて、遮られたモニタを認識し得る。関連ナレッジは、他のオブジェクトと共通に発生するオブジェクトの関連マップに基づく。
【００６７】
[0077]本開示の態様は、環境内の異なるオブジェクトの共存の確率を示すナレッジグラフを生成することを対象とする。さらに、本開示の態様はまた、ナレッジグラフに基づいて分類器の出力にバイアスをかけることを対象とする。さらに、本開示の態様は、分類器の出力に基づいて既存のナレッジグラフを更新することをさらに対象とする。
【００６８】
[0078]従来のシステムはベイジアン信念ネットワーク（Bayesian belief network）を構築し得る点に留意されたい。たとえば、階層データベースは、英語の語彙辞書から得られたナレッジグラフ上に構築され得る。さらに、他の従来のシステムは、長期間使用して分類結果を改善する。それでもなお、従来のシステムは、ネットワークのトレーニング中に動的に学習されるナレッジグラフに基づく分類システムを使用しない。
【００６９】
[0079]本開示の態様は、分類器を並列ポーリング機構から切り離すことによって柔軟性を提供する。追加的または代替的に、ナレッジグラフ出力に基づいて分類器重みを修正するために、パラレルポーリング機構が分類器に結合される。
【００７０】
[0080]一構成では、ナレッジグラフに基づく分類システムは、遮られた、および／またはカメラから離れた人（またはオブジェクト）にタグ付けする。場合によっては、ユーザは、友人および／または家族などの特定のグループからの１人または複数の個人と一緒に写真を撮る傾向があり得る。時間の経過とともに、ナレッジグラフはユーザを特定の個人と関連付ける。すなわち、ナレッジグラフは、時間の経過とともに撮影された写真に基づいて特定の個人との関連性にバイアスをかける。したがって、一構成では、関連性に基づいて、グループ画像内の特定の個人が、特定の個人と画像内の他の個人との関連のナレッジグラフバイアスに従ってタグ付けされる。より具体的には、たとえ個人の画像が遮られているとき、および／またはノイズが多いときでも、個人がタグ付けされ得る。
【００７１】
[0081]別の構成では、ナレッジグラフに基づく分類システムは、ヘッドマウントディスプレイなどの画像キャプチャデバイスを介してキャプチャされた高速動画にタグ付けする。ヘッドマウントディスプレイなどの一部の画像キャプチャデバイスの性質のために、一部のキャプチャされた画像は、部分的にカメラの視野内にある場合があり、および／またはわずかな時間だけカメラの視野内にある場合がある。すなわち、キャプチャされた画像の一部は、十分にフレームに収められていない可能性がある。
【００７２】
[0082]したがって、この構成では、部分的に画像キャプチャデバイスの視野内にある、および／または画像キャプチャデバイスの視野外にあるオブジェクトの有望なタグがナレッジグラフによって取得される。画像キャプチャデバイスの視野内にないオブジェクトは、ユーザの相対的な環境にあり得る点に留意されたい。可能なオブジェクトクラスの検索スペースを減少させるために、画像キャプチャデバイスに対してナレッジグラフが指定され得る。本開示の態様は、ヘッドマウントディスプレイに限定されず、他の画像キャプチャデバイスにも考慮される。
【００７３】
[0083]別の構成では、ナレッジグラフに基づく分類システムは、人々が写真に含まれるように提案する。具体的には、ナレッジグラフは、キャプチャされた画像内に共通に出現する人々のグループのグラフを構築し得る。したがって、一構成では、グループ写真の構図を決める間に、ナレッジグラフは、ナレッジグラフ情報に基づいて、写真に含まれるべきである他の個人の文脈情報を提供する。
【００７４】
[0084]場合によっては、いくつかのクラスは分類器によって識別されないことがある。したがって、一構成では、ナレッジグラフに基づく分類システムは、オブジェクトタグ付けアプリケーションにおいて可能なクラスのリストを提示する。すなわち、ナレッジグラフは、ユーザが抽出されたオブジェクトに正しいクラスを適用するのを助け得る。たとえば、顔タグ付けアプリケーションでは、１つまたは複数の顔が低い信頼度を有するか、またはセグメント化されないことがある。したがって、この例では、ナレッジグラフは、ユーザが特定の個人と関連付けることができる可能な名前のリストを提供する。さらに、分類器がユーザタグ付き画像からトレーニングされてもよく、および／またはナレッジグラフがユーザタグ付き画像に基づいて更新されてもよい。
【００７５】
[0085]図６は、本開示のある態様に基づくナレッジグラフの例を示す。図６に示されるように、各オブジェクトは別のオブジェクトに関連付けられている。この例では、図６に示されるように、より太い線は共存のより強い確率を表す。たとえば、図６に示されるように、モニタは、ウィンドウと共存する確率と比較して、マウスと共存するより強い確率を有する。別の例では、図６に示されるように、ＤＶＤは、ウィンドウと共存する確率と比較して、テレビと共存するより強い確率を有する。
【００７６】
[0086]一構成では、ナレッジグラフはペアワイズ発生確率の行列として表される。たとえば、図６のナレッジグラフは、表２のナレッジグラフ行列（ＫＧＭ）としてコード化され得る。
【表２】
2017531240.tif 000021
【００７７】
[0087]表２に示されるように、列と行の各交点は、２つのオブジェクトの出現確率を表す。たとえば、表２に示されるように、モニタがテレビとともに発生する確率は０であり、ウィンドウとともに発生する確率は０．２であり、ＤＶＤとともに発生する確率は０．４であり、マウスとともに発生する確率は０．９である。
【００７８】
[0088]以下に示される擬似コードは、外部入力なしで初期データベースからナレッジグラフを生成するための例である。すなわち、ナレッジグラフは、取得された画像に基づいてトレーニングされ得る。この例では、Ａiは画像を指し、Ｌ1．．．ＬNはクラスまたはオブジェクトを指し、Ｆは（Ｌi、Ｌj）によって規定される所与の行列位置の増分量を指すことを指す。一構成では、Ｆは一定のスカラ値である。
ナレッジグラフ行列（ＫＧＭ）のすべての要素を初期化
Ｆｏｒ  ｅａｃｈ｛データベース内の画像、Ａi｝
オブジェクトのラベルインデックス：Ｌ1、Ｌ2、．．．、ＬNを取得
行列エントリ（Ｌi、Ｌj）、｛０＜ｉ，ｊ＜＝Ｎ｝をＦだけインクリメント
【００７９】
[0089]この構成では、各画像がクラスに関して注釈を付けられているものと仮定される。さらに、各クラスが一意のインデックスをもつものと仮定される。たとえば、車などのクラスは７のインデックスを有し、交通信号などの別のクラスは３１のインデックスを有する。したがって、２つのクラスの行列要素（７、３１）および（３１、７）は、車と交通信号などの２つのクラスの共存確率を含む。共存は共起とも呼ばれ、逆もまた同様である。
【００８０】
[0090]本開示の態様は、無向グラフを仮定し、対称ナレッジグラフ行列をもたらす点に留意されたい。さらに、本開示の態様はまた、時間的シーケンスに対しても考慮される。すなわち、ｎ個のタプルモデルを有するスピーチ／音声日付などのいくつかの場合には、共存確率を決定するために出現の順が使用される。別の構成では、ナレッジグラフ行列の次元数は２よりも大きく、したがって次元は一度に２つ以上のオブジェクトの共起統計値を一度にキャプチャし、ならびに／あるいはＧＰＳ位置、および／または時間などの他の環境要因を複数のオブジェクトの共起統計に関連付ける。
【００８１】
[0091]前の例に基づいて、行列要素（７、３１）は、ビデオなどの１つまたは複数の画像内において、車などの１つのオブジェクトの後に交通信号などの別のオブジェクトが続く確率を示し得る。さらに、行列要素（３１、７）は、ビデオなどの１つまたは複数の画像において、交通信号などの１つのオブジェクトの後に車などの別のオブジェクトが続く確率を示し得る。有向グラフのこの例では、共起間の時間を示すために第３の次元が追加され得る。たとえば、行列要素（７、３１、１０）は、ビデオセグメント内の相互の１０個の時間単位内に、車の後に交通信号が続く確率を示し得る。時間単位は、秒、分、時間、または任意の他の時間単位であり得る。
【００８２】
[0092]この例では、所与のクラスに対して並列スコアリングシステムが指定されている。すなわち、オブジェクトがシステムに提示されるとき、上位のｋ個の予測されたクラスに対する信頼メトリックＰ1、Ｐ2、．．．Ｐkがオブジェクトに対して指定される。たとえば、前述のように、表１において、モニタオブジェクトの信頼メトリックなどのメトリックは、４０％（Ｐ1）、３５％（Ｐ2）、および２５％（Ｐ3）であり得る。
【００８３】
[0093]一構成では、システムは、最大信頼メトリックＰ1を有するオブジェクトを決定する。たとえば、表１に基づいて、マウスは最大信頼メトリック（９０％）を有する。さらに、マウス、ＣＰＵ、キーボード、およびモニタなどの画像内のオブジェクトごとに、システムはメトリックを決定する。一構成では、システムは、クラスの信頼度の差に基づいて混同メトリックを決定する。混同メトリックは、以下の式に基づき得る。
分類器混同値＝１／（Ｐ１−Ｐ２）      （１９）
【００８４】
[0094]表１に示されるように、システムは、モニタがウィンドウであるという４０％の信頼度を有し、モニタがモニタであるという３５％の信頼度を有する。したがって、式１５に基づいて、混同メトリックは２０％である。すなわち、混同メトリックは、２つの信頼メトリック間の差を１の値を有する分子で割った商である。
【００８５】
[0095]この構成では、真のオブジェクトが２つの推論されたクラスのうちの１つであるかどうかに関して、混同が存在する高い混同メトリック指標。したがって、画像内のオブジェクトについて、混同メトリックがしきい値未満である場合、予測されたクラスは正しいクラスとして受け入れられる。さらに、オブジェクトの混同メトリックがしきい値よりも大きい場合、システムは、オブジェクトの予測されたクラスを最も信頼度の高いクラスに結び付ける確率を決定する。
【００８６】
[0096]この例では、しきい値は１０％であり得る。したがって、表１では、モニタの分類器の混同が２０％であるため、システムは、ウィンドウなどの最も高い信頼値を有する予測されたクラスを正しいクラスとして受け入れない。したがって、システムは、モニタなどのオブジェクトの予測されたクラスを、マウスなどの最も高い信頼度Ｐ1を有するオブジェクトに結び付ける確率を決定する。
【００８７】
[0097]結付けは、表２のナレッジグラフ行列確率Ｗ1、Ｗ2、．．．、Ｗkに基づき得る。ナレッジグラフ行列確率を決定した後、重み付け信頼度は、オブジェクトの信頼メトリックＰ1、Ｐ2、．．．、Ｐkと、ナレッジグラフ行列確率Ｗ1、Ｗ2、．．．、Ｗkとの積に基づいて決定される。最後に、オブジェクトに対する予測されたクラスの重み付けされた信頼メトリックが、最も高い重み付けされた信頼度を有する予測されたクラスを選択するために使用される。
【００８８】
[0098]この例では、表２に基づいて、最も信頼度の高いオブジェクトがマウスである場合、ウィンドウの重み（Ｗ1）は０であり、モニタの重み（Ｗ2）は０．９である。表２のナレッジグラフ行列は、モニタのクラスの重み付け信頼スコアを決定する。たとえば、モニタの場合、ウィンドウクラスの重み付け信頼度は、元の信頼度Ｐ1（４０％）と重みＷ1（０）との積である。さらに、モニタクラスの重み付け信頼度は、元の信頼度Ｐ2（３５％）と重みＷ2（０．９）との積である。表１および表２に基づく重み付け信頼度が表３に示される。
【表３】
2017531240.tif 000022
【００８９】
[0099]この例では、ウィンドウ、モニタ、およびテレビの信頼度は、マウスをウィンドウに、マウスをモニタに、およびマウスをテレビに接続する、ナレッジグラフ行列確率で重み付けされる。新しい信頼スコアに基づいて、モニタは重み付けされた信頼度が最も高いので、今度は勝利クラスと見なされる。
【００９０】
[00100]すなわち、分類器の出力は、ナレッジグラフ行列に与えられた重みに基づいてバイアスをかけられる。たとえば、表２に示されるように、マウスは、テレビまたはウィンドウのいずれかと共存するのではなく、モニタと共存する可能性がより高い。したがって、マウス／ウィンドウの関係およびマウス／テレビの関係と比較して、マウス／モニタの関係には大きな重みが与えられる。ナレッジグラフ行列に与えられる重みは、システムのトレーニングに基づき得る。
【００９１】
[00101]一構成では、ディープ畳込みネットワーク（ＤＣＮ）分類器の出力はまた、ナレッジグラフ行列を補強する。この構成では、分類器の出力に基づいて、システムは、しきい値未満の混同を有するすべてのオブジェクトを選択し、選択されたオブジェクトからナレッジグラフ行列を構築する。
【００９２】
[00102]たとえば、表１は、ＣＰＵ、マウス、およびキーボードの混同メトリックが低いことを示す。したがって、ＣＰＵ、マウス、およびキーボードなどのエントリは、オブジェクトラベルをペアワイズ形式で接続することによって、ナレッジグラフ行列内のエントリを増分し得る。増分量は、固定であってもよく、ペアワイズ参加クラスラベルの混同の量の関数であってもよい。すなわち、混同がしきい値を下回るオブジェクトは、ナレッジグラフ行列の重みを更新し得る。すなわち、ナレッジグラフ行列の重みを更新することによって、システムがトレーニングされ得る。
【００９３】
[00103]代替的に、または追加で、ユーザは、推論が正しくないときにオブジェクトに割り当てられたクラスを訂正し得る。この構成では、正しいクラスに１００％の信頼度が割り当てられ、修正されたオブジェクトのクラスを他のオブジェクトに接続するナレッジグラフ行列内の対応するエントリが増分される。別の構成では、ナレッジグラフ行列は、漏洩更新（leaky update）などの負の相関で更新される。
【００９４】
[00104]漏洩更新は、経時的な結合性の損失を考慮して、ナレッジグラフ行列の要素ごとの経時的な減衰を指定する。たとえば、ある人が特定の友人グループのメンバーに関連していない場合、ナレッジグラフ行列は、ナレッジグラフ行列内の対応するエントリを減らすことによって、経時的な結合性の損失を反映する。
【００９５】
[00105]前述のように、空間相関は、多次元のナレッジグラフ行列に対しても使用され得る。一態様では、オブジェクトの空間的分離を示すために、第３または第４の次元などの別の次元が指定され得る。たとえば、要素（７、３１、１０）は、相互の１０個の距離単位内の車と交通信号の共起の確率を示し得る。距離単位は、フィート、インチ、メートル、または他の測定単位であり得る。
【００９６】
[00106]したがって、本開示の態様に基づいて、ナレッジグラフ行列は初期データセットを使用し、異なるオブジェクトクラスの共起の確率に基づいて将来の画像にも適応する。一構成では、オブジェクトが信頼できるようにラベル付けされている場合、オブジェクトの空間的および／または時間的関係が考慮される。さらに、本開示の態様はまた、スピーチおよび／またはビデオに適用され得る。たとえば、ビデオフレームは、前のフレームの内容に基づいて再生成され得る。
【００９７】
[00107]一構成では、特徴抽出はディープ畳込みネットワークとして実施される。この構成では、ディープ畳込みネットワークの最上層のすべてのノードを可塑性のあるシナプスに接続することによって、統合されたディープ畳込みネットワークナレッジグラフ行列が特定される。すなわち、各ノードはクラスを表し、そのノードのアクティブ化は特定のクラスの確率である。ナレッジグラフが学習されると、共起するオブジェクトのノード間のシナプスが強化され、非共起するオブジェクトのノード間のシナプスが弱められる。側方シナプスは、他のアクティブ化されたオブジェクトノードに基づいてオブジェクトのノードに入力を追加する。具体的には、ナレッジグラフ行列は、ディープ畳込みネットワークの出力層の側方結合を介して実装される。シナプスの可塑性により、ユーザがナレッジグラフ行列を更新すること、または新しいオブジェクトの共起が継時的に学習されることが可能になる。一構成では、２つの別個のシナプスのセットが提供され、１つはナレッジグラフ行列用であり、もう１つは分類器用である。
【００９８】
[00108]本開示の態様は、ノイズの存在下で分類ネットワークの性能を改善し、可能な出力クラスをプリフェッチし検索空間を縮小することによって分類のレイテンシを低減し、新規なユーザ経験を可能にする。
【００９９】
[00109]図７は、本開示の特定の態様による、汎用プロセッサ７０２を使用するナレッジグラフの関連付けに基づく上述のオブジェクト分類の例示的な実装形態７００を示す。変数（神経信号）、シナプス重み、計算ネットワーク（ニューラルネットワーク）に関連付けられるシステムパラメータ、遅延、および周波数ビン情報は、メモリブロック７０４で記憶され得、汎用プロセッサ７０２で実行される命令はプログラムメモリ７０６からロードされ得る。本開示のある態様では、汎用プロセッサ７０２にロードされる命令は、異なるオブジェクトクラスの共起のペアワイズ確率を計算するナレッジグラフを構築し、ノイズの存在下でオブジェクト分類システムの性能を向上させるためにナレッジグラフを使用し、および／あるいは分類器の出力またはユーザ生成タグからの新しいデータをナレッジグラフに適合させるためのコードを備え得る。
【０１００】
[00110]図８は、本開示のいくつかの態様による、メモリ８０２が、相互接続ネットワーク８０４を介して、計算ネットワーク（ニューラルネットワーク）の個々の（分散した）処理ユニット（ニューラルプロセッサ）８０８とインターフェースされ得るナレッジグラフの関連付けに基づく上述のオブジェクト分類の例示的な実装形態８００を示す。変数（神経信号）、シナプス重み、計算ネットワーク（ニューラルネットワーク）遅延に関連付けられるシステムパラメータ、周波数ビン情報、ナレッジグラフの関連付けは、メモリ８０２で記憶され得、相互接続ネットワーク８０４の接続を介してメモリ８０２から各処理ユニット（ニューラルプロセッサ）８０８にロードされ得る。本開示のある態様では、処理ユニット８０８は、異なるオブジェクトクラスの共起のペアワイズ確率を計算するナレッジグラフを構築し、ノイズの存在下でオブジェクト分類システムの性能を向上させるためにナレッジグラフを使用し、および／あるいは分類器の出力またはユーザ生成タグからの新しいデータをナレッジグラフに適合させるように構成され得る。
【０１０１】
[00111]図９は、ナレッジグラフの関連付けに基づく上述のオブジェクト分類の例示的な実装形態９００を示している。図９に示されるように、１つのメモリバンク９０２は、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット９０４と直接インターフェースされ得る。各メモリバンク９０２は、変数（神経信号）、シナプス重み、および／または対応する処理ユニット（神経プロセッサ）９０４遅延に関連付けられるシステムパラメータ、周波数ビン情報、ならびにナレッジグラフの関連付けを記憶し得る。本開示のある態様では、処理ユニット９０４は、異なるオブジェクトクラスの共起のペアワイズ確率を計算するナレッジグラフを構築し、ノイズの存在下でオブジェクト分類システムの性能を向上させるためにナレッジグラフを使用し、および／あるいは分類器の出力またはユーザ生成タグからの新しいデータをナレッジグラフに適合させるように構成され得る。
【０１０２】
[00112]図１０は、本開示のいくつかの態様による、ニューラルネットワーク１０００の例示的な実装形態を示す。図１０に示すように、ニューラルネットワーク１０００は、上記で説明した方法の様々な動作を実行し得る複数のローカル処理ユニット１００２を有することができる。各ローカル処理ユニット１００２は、ニューラルネットワークのパラメータを記憶する、ローカルステートメモリ１００４およびローカルパラメータメモリ１００６を備え得る。また、ローカル処理ユニット１００２は、ローカルモデルプログラムを記憶するためのローカル（ニューロン）モデルプログラム（ＬＭＰ）メモリ１０１０、ローカル学習プログラムを記憶するためのローカル学習プログラム（ＬＬＰ）メモリ１０１０、およびローカル接続メモリ１０１２を有し得る。さらに、図１０に示されるように、各ローカル処理ユニット１００２は、ローカル処理ユニットのローカルメモリの構成を提供するための構成プロセッサユニット１０１４と、またローカル処理ユニット１００２間のルーティングを提供するルーティング接続処理ユニット１０１６とインターフェースされ得る。
【０１０３】
[00113]一構成では、ニューロンモデルは、ナレッジグラフの関連付けに基づいてオブジェクトを分類するように構成される。ニューロンモデルは、適用手段および決定手段を含む。一態様では、適用手段、および／または決定手段は、記載される機能を実行するように構成された汎用プロセッサ７０２、プログラムメモリ７０６、メモリブロック７０４、メモリ８０２、相互接続ネットワーク８０４、処理ユニット８０８、処理ユニット９０４、ローカル処理ユニット１００２、およびまたはルーティング接続処理ユニット１０１６であり得る。別の構成では、上述の手段は、上記の手段によって記載された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。
【０１０４】
[00114]本開示のいくつかの態様によれば、各ローカル処理ユニット１００２は、ニューラルネットワークの所望の１つまたは複数の機能的特徴に基づいてニューラルネットワークのパラメータを決定して、決定されたパラメータがさらに適応され、同調され、更新されるにつれて、所望の機能的特徴に向けて１つまたは複数の機能的特徴を開発するように構成され得る。
【０１０５】
[00115]図１１は、オブジェクトを分類するための方法１１００を示す。ブロック１１０２において、オブジェクト分類器は、１つまたは複数の信頼スコアをオブジェクトに適用する。すなわち、各オブジェクトは、１つまたは複数の信頼スコアに関連付けられる。さらに、ブロック１１０４において、オブジェクト分類器は、信頼スコアに基づいてメトリックを決定する。最後に、ブロック１１０６において、オブジェクト分類器は、メトリックがしきい値を上回っている場合、ナレッジグラフに基づいて第１のオブジェクトの分類を決定する。
【０１０６】
[00116]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。
【０１０７】
[00117]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。さらに、「決定」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。さらに、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
【０１０８】
[00118]本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。
【０１０９】
[00119]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【０１１０】
[00120]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体で存在し得る。使用され得る記憶媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。
【０１１１】
[00121]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。
【０１１２】
[00122]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
【０１１３】
[00123]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、一例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読出し専用メモリ（ＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読出し専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の任意の適切な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
【０１１４】
[00124]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。論じた様々な構成要素は、ローカル構成要素などの特定の位置を有するものとして説明され得るが、それらはまた、分散コンピューティングシステムの一部として構成されているいくつかの構成要素などの様々な方法で構成され得る。
【０１１５】
[00125]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。あるいは、処理システムは、本明細書に記載のニューロンモデルとニューラルシステムのモデルとを実装するための１つまたは複数のニューロモーフィックプロセッサを備え得る。別の代替として、処理システムは、プロセッサを有する特定用途向け集積回路（ＡＳＩＣ）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部とを用いて、あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、または他の任意の適切な回路、あるいは本開示全体を通じて説明した様々な機能を実行し得る回路の任意の組合せを用いて実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。
【０１１６】
[00126]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。
【０１１７】
[00127]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０１１８】
[00128]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令を記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
【０１１９】
[00129]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。
【０１２０】
[00130]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
【図１】
2017531240.tif 000023
【図２】
2017531240.tif 000024
【図３】
2017531240.tif 000025
【図４】
2017531240.tif 000026
【図５】
2017531240.tif 000027
【図６】
2017531240.tif 000028
【図７】
2017531240.tif 000029
【図８】
2017531240.tif 000030
【図９】
2017531240.tif 000031
【図１０】
2017531240.tif 000032
【図１１】
2017531240.tif 000033
【手続補正書】
【提出日】平成29年4月18日(2017.4.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オブジェクトを分類するためのコンピュータ実施の方法であって、
信頼値を複数のオブジェクトからの第１のオブジェクトの予測された各クラスに適用することと、
前記第１のオブジェクトの第１の予測されたクラスの第１の信頼値と、前記第１のオブジェクトの第２の予測されたクラスの第２の信頼値との間の差に少なくとも部分的に基づいてメトリックを決定することと、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて前記第１のオブジェクトの分類を決定することと、
を備える、コンピュータ実施の方法。
【請求項２】
前記ナレッジグラフが、前記第１のオブジェクトが少なくとも第２のオブジェクトに関連付けられている確率に少なくとも部分的に基づいて決定された重みを含む、請求項１に記載のコンピュータ実施の方法。
【請求項３】
前記分類が、前記ナレッジグラフの前記重みを有する前記第１のオブジェクトに関する各信頼値のバイアスに少なくとも部分的に基づいて決定される、請求項２に記載のコンピュータ実施の方法。
【請求項４】
最高の信頼値を有する前記複数のオブジェクトのうちの１つのオブジェクトに基づいて、各信頼値に適用すべき重みを選択することをさらに備える、請求項２に記載のコンピュータ実施の方法。
【請求項５】
前記ナレッジグラフの前記重みが、複数のオブジェクトの以前に学習された関係に少なくとも部分的に基づく、請求項２に記載のコンピュータ実施の方法。
【請求項６】
前記しきい値未満の混同値を有する前記複数のオブジェクトからの複数のオブジェクト間の関係を学習した後に、前記ナレッジグラフの前記重みを更新することをさらに備える、請求項５に記載のコンピュータ実施の方法。
【請求項７】
ユーザ入力に少なくとも部分的に基づいて前記ナレッジグラフの前記重みを更新することをさらに備える、請求項５に記載のコンピュータ実施の方法。
【請求項８】
前記ナレッジグラフの前記重みが、前記第１のオブジェクトが前記第２のオブジェクトに対して出現するときの順序に少なくとも部分的に基づく、請求項２に記載のコンピュータ実施の方法。
【請求項９】
前記ナレッジグラフがディープ畳込みネットワーク（ＤＣＮ）に統合される、請求項１に記載のコンピュータ実施の方法。
【請求項１０】
前記メトリックが、予測されたクラスごとの信頼値に少なくとも部分的に基づく混同メトリックである、請求項１に記載のコンピュータ実施の方法。
【請求項１１】
前記複数のオブジェクトが、画像、ビデオ、音声、またはそれらの組合せのうちの少なくとも１つをキャプチャするように構成されたセンサによってキャプチャされる、請求項１に記載のコンピュータ実施の方法。
【請求項１２】
オブジェクトを分類するための装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
信頼値を複数のオブジェクトからの第１のオブジェクトの予測された各クラスに適用し、
前記第１のオブジェクトの第１の予測されたクラスの第１の信頼値と、前記第１のオブジェクトの第２の予測されたクラスの第２の信頼値との間の差に少なくとも部分的に基づいてメトリックを決定し、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて、前記第１のオブジェクトの分類を決定する、
ように構成される、装置。
【請求項１３】
前記ナレッジグラフが、前記第１のオブジェクトが少なくとも第２のオブジェクトに関連付けられている確率に少なくとも部分的に基づいて決定された重みを含む、請求項１２に記載の装置。
【請求項１４】
前記少なくとも１つのプロセッサが、前記ナレッジグラフの前記重みを有する前記第１のオブジェクトに関する各信頼値のバイアスに少なくとも部分的に基づいて前記分類を決定するようにさらに構成される、請求項１３に記載の装置。
【請求項１５】
前記少なくとも１つのプロセッサが、最高の信頼値を有する前記複数のオブジェクトのうちの１つのオブジェクトに基づいて、各信頼値に適用すべき重みを選択するようにさらに構成される、請求項１３に記載の装置。
【請求項１６】
前記ナレッジグラフの前記重みが、複数のオブジェクトの以前に学習された関係に少なくとも部分的に基づく、請求項１３に記載の装置。
【請求項１７】
前記少なくとも１つのプロセッサが、前記しきい値未満の混同値を有する前記複数のオブジェクトからの複数のオブジェクト間の関係を学習した後に、前記ナレッジグラフの前記重みを更新するようにさらに構成される、請求項１６に記載の装置。
【請求項１８】
前記少なくとも１つのプロセッサが、ユーザ入力に少なくとも部分的に基づいて前記ナレッジグラフの前記重みを更新するようにさらに構成される、請求項１６に記載の装置。
【請求項１９】
前記ナレッジグラフの前記重みが、前記第１のオブジェクトが前記第２のオブジェクトに対して出現するときの順序に少なくとも部分的に基づく、請求項１３に記載の装置。
【請求項２０】
前記ナレッジグラフがディープ畳込みネットワーク（ＤＣＮ）に統合される、請求項１２に記載の装置。
【請求項２１】
前記メトリックが、予測されたクラスごとの信頼値に少なくとも部分的に基づく混同メトリックである、請求項１２に記載の装置。
【請求項２２】
前記複数のオブジェクトが、画像、ビデオ、音声、またはそれらの組合せのうちの少なくとも１つをキャプチャするように構成されたセンサによってキャプチャされる、請求項１２に記載の装置。
【請求項２３】
オブジェクトを分類するためのプログラムコードが記録された非一時的コンピュータ可読媒体であって、前記プログラムコードがプロセッサによって実行され、
信頼値を複数のオブジェクトからの第１のオブジェクトの予測された各クラスに適用するためのプログラムコードと、
前記第１のオブジェクトの第１の予測されたクラスの第１の信頼値と、前記第１のオブジェクトの第２の予測されたクラスの第２の信頼値との間の差に少なくとも部分的に基づいてメトリックを決定するためのプログラムコードと、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて、前記第１のオブジェクトの分類を決定するためのプログラムコードと、
を備える、非一時的コンピュータ可読媒体。
【請求項２４】
オブジェクトを分類するための装置であって、
信頼値を複数のオブジェクトからの第１のオブジェクトの予測された各クラスに適用するための手段と、
前記第１のオブジェクトの第１の予測されたクラスの第１の信頼値と、前記第１のオブジェクトの第２の予測されたクラスの第２の信頼値との間の差に少なくとも部分的に基づいてメトリックを決定するための手段と、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて、前記第１のオブジェクトの分類を決定するための手段と、
を備える、装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
[00130]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
オブジェクトを分類するための方法であって、
複数の信頼値を複数のオブジェクトに適用することと、
前記複数の信頼値に少なくとも部分的に基づいてメトリックを決定することと、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて前記複数のオブジェクトのうちの第１のオブジェクトの分類を決定することと、
を備える、方法。
［Ｃ２］
前記ナレッジグラフが、前記第１のオブジェクトが少なくとも第２のオブジェクトに関連付けられている可能性に少なくとも部分的に基づいて決定された重みを含む、Ｃ１に記載の方法。
［Ｃ３］
前記分類が、前記ナレッジグラフの前記重みを有する前記第１のオブジェクトに関する前記複数の信頼値のバイアスに少なくとも部分的に基づいて決定される、Ｃ２に記載の方法。
［Ｃ４］
前記ナレッジグラフの前記重みを、最高の信頼値を有する前記複数のオブジェクトのうちの１つのオブジェクトに関連付けることをさらに備える、Ｃ２に記載の方法。
［Ｃ５］
前記ナレッジグラフの前記重みが、複数のオブジェクトの学習された関係に少なくとも部分的に基づく、Ｃ２に記載の方法。
［Ｃ６］
前記しきい値未満の混同値を有する前記複数のオブジェクトからの複数のオブジェクトの学習の関係に少なくとも部分的に基づいて、前記ナレッジグラフの前記重みを更新することをさらに備える、Ｃ５に記載の方法。
［Ｃ７］
ユーザ入力に少なくとも部分的に基づいて前記ナレッジグラフの前記重みを更新することをさらに備える、Ｃ５に記載の方法。
［Ｃ８］
前記ナレッジグラフの前記重みが、前記第１のオブジェクトが前記第２のオブジェクトに対して出現するときの順序に少なくとも部分的に基づく、Ｃ２に記載の方法。
［Ｃ９］
前記ナレッジグラフがディープ畳込みネットワーク（ＤＣＮ）に統合される、Ｃ１に記載の方法。
［Ｃ１０］
前記メトリックが、予測されたクラスごとの信頼値に少なくとも部分的に基づく混同メトリックである、Ｃ１に記載の方法。
［Ｃ１１］
前記複数のオブジェクトが、少なくとも１つの画像、ビデオ、音声、またはそれらの組合せ内でキャプチャされる、Ｃ１に記載の方法。
［Ｃ１２］
オブジェクトを分類するための装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
複数の信頼値を複数のオブジェクトに適用し、
前記複数の信頼値に少なくとも部分的に基づいてメトリックを決定し、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて、前記複数のオブジェクトのうちの第1のオブジェクトの分類を決定する、
ように構成される、装置。
［Ｃ１３］
前記ナレッジグラフが、前記第１のオブジェクトが少なくとも第２のオブジェクトに関連付けられている可能性に少なくとも部分的に基づいて決定された重みを含む、Ｃ１２に記載の装置。
［Ｃ１４］
前記少なくとも１つのプロセッサが、前記ナレッジグラフの前記重みを有する前記第１のオブジェクトに関する前記複数の信頼値のバイアスに少なくとも部分的に基づいて前記分類を決定するようにさらに構成される、Ｃ１３に記載の装置。
［Ｃ１５］
前記少なくとも１つのプロセッサが、前記ナレッジグラフの前記重みを、最高の信頼値を有する前記複数のオブジェクトのうちの１つのオブジェクトに関連付けるようにさらに構成される、Ｃ１３に記載の装置。
［Ｃ１６］
前記ナレッジグラフの前記重みが、複数のオブジェクトの学習された関係に少なくとも部分的に基づく、Ｃ１３に記載の装置。
［Ｃ１７］
前記少なくとも１つのプロセッサが、前記しきい値未満の混同値を有する前記複数のオブジェクトからの複数のオブジェクトの学習の関係に少なくとも部分的に基づいて、前記ナレッジグラフの前記重みを更新するようにさらに構成される、Ｃ１６に記載の装置。
［Ｃ１８］
前記少なくとも１つのプロセッサが、ユーザ入力に少なくとも部分的に基づいて前記ナレッジグラフの前記重みを更新するようにさらに構成される、Ｃ１６に記載の装置。
［Ｃ１９］
前記ナレッジグラフの前記重みが、前記第１のオブジェクトが前記第２のオブジェクトに対して出現するときの順序に少なくとも部分的に基づく、Ｃ１３に記載の装置。
［Ｃ２０］
前記ナレッジグラフがディープ畳込みネットワーク（ＤＣＮ）に統合される、Ｃ１２に記載の装置。
［Ｃ２１］
前記メトリックが、予測されたクラスごとの信頼度に少なくとも部分的に基づく混同メトリックである、Ｃ１２に記載の装置。
［Ｃ２２］
前記複数のオブジェクトが、少なくとも１つの画像、ビデオ、音声、またはそれらの組合せ内でキャプチャされる、Ｃ１２に記載の装置。
［Ｃ２３］
オブジェクトを分類するためのコンピュータプログラム製品であって、
プログラムコードが記録された非一時的コンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
複数の信頼値を複数のオブジェクトに適用するためのプログラムコードと、
前記複数の信頼値に少なくとも部分的に基づいてメトリックを決定するためのプログラムコードと、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて、前記複数のオブジェクトのうちの第1のオブジェクトの分類を決定するためのプログラムコードと、
を備える、コンピュータプログラム製品。
［Ｃ２４］
オブジェクトを分類するための装置であって、
複数の信頼値を複数のオブジェクトに適用するための手段と、
前記複数の信頼値に少なくとも部分的に基づいてメトリックを決定するための手段と、
前記メトリックがしきい値を上回る場合に、ナレッジグラフに少なくとも部分的に基づいて、前記複数のオブジェクトのうちの第１のオブジェクトの分類を決定するための手段と、
を備える、装置。
【国際調査報告】
2017531240.tif 000034
2017531240.tif 000035
2017531240.tif 000036
2017531240.tif 000037