(57)【要約】【課題】本発明は、情報処理方法和情報処理装置を提供する。【解決手段】情報処理方法は、複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出し；及び、複数のサンプルについて、損失関数を最小化することで分類器のパラメータを更新することを含み、損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、また、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、複数のサンプルのうちの各サンプルのクラス内距離は、すべて、第一閾値よりも小さく、２つの異なるクラスのクラス間距離は、第二閾値よりも大きく、且つ第二閾値は、第一閾値の２倍よりも大きい。【選択図】図１
2019096313.tif 000002
【特許請求の範囲】
【請求項１】
情報処理方法であって、
複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出し；及び
前記複数のサンプルについて損失関数を最小化することで、前記分類器のパラメータを更新することを含み、
前記損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、
前記複数のサンプルのうちの各サンプルのクラス内距離は、すべて、第一閾値よりも小さく、２つの異なるクラスのクラス間距離は、第二閾値よりも大きく、前記第二閾値は、前記第一閾値の２倍よりも大きい、方法。
【請求項２】
請求項1に記載の情報処理方法であって、
前記分類器は、畳み込みニューラルネットワークを含む、方法。
【請求項３】
請求項1に記載の情報処理方法であって、
前記２つの異なるクラスについて、前記２つの異なるクラスうちの、１つのクラスの中心ベクトルと、もう１つのクラスの中心ベクトルとの間の距離を、前記２つの異なるクラスのクラス間距離として計算する、方法。
【請求項４】
請求項1に記載の情報処理方法であって、
各サンプルの特徴ベクトルと、該サンプルが属するクラスの中心ベクトルとの間の距離を、該サンプルのクラス内距離として計算する、方法。
【請求項５】
請求項3又は4に記載の情報処理方法であって、
各クラスの前記中心ベクトルは、該クラスに属するすべてのサンプルの特徴ベクトルの平均値である、方法。
【請求項６】
請求項1に記載の情報処理方法であって、
各クラス中のすべてのサンプルの特徴ベクトルに基づいて、各クラスの特徴ベクトル分散を計算し、計算された最小特徴ベクトル分散と最大特徴ベクトル分散との平均値を前記第一閾値とする、方法。
【請求項７】
請求項1に記載の情報処理方法であって、
前記分類器をイテレーションによりトレーニングするときに、前記損失関数に基づいて前記分類器のパラメータを更新することでサンプルの特徴ベクトルを更新し、また、イテレーションを所定回数行う度に、前記第一閾値及び前記第二閾値を更新する、方法。
【請求項８】
請求項1に記載の情報処理方法であって、
前記損失関数は、前記クラス内距離及び前記クラス間距離の他に、softmax損失関数をさらに含む、方法。
【請求項９】
情報処理装置であって、
複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出するための特徴ベクトル抽出ユニット；及び
前記複数のサンプルについて損失関数を最小化することで、前記分類器のパラメータを更新するためのパラメータ更新ユニットを含み、
前記損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、
前記複数のサンプルのうちの各サンプルのクラス内距離は、すべて、第一閾値よりも小さく、２つの異なるクラスのクラス間距離は、第二閾値よりも大きく、前記第二閾値は、前記第一閾値の２倍以上である、装置。
【請求項１０】
プログラムを記憶したコンピュータ可読記憶媒体であって、
前記プログラムは、コンピュータに、請求項１乃至請求項8のうちのいずれか１項に記載の情報処理方法を実行させるためのものである、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理分野に関し、特に、抽出されたサンプルの特徴の可判別性を向上させることができる情報処理方法及び情報処理装置に関する。
【背景技術】
【０００２】
畳み込みニューラルネットワークのトレーニングプロセスでは、損失関数の設計が重要な役割を果たす。異なる損失関数は、畳み込みニューラルネットワークに、完全に異なるパフォーマンスを生じさせることができる。分類を目標とする畳み込みニューラルネットワークのモデルでは、最も良く用いられる損失関数がsoftmax損失関数である。softmax損失関数を使用することにより、異なるクラス（class）に属するサンプルの間に可分性（divisibility）を持たせることができる。分類問題について言えば、サンプルの特徴は、可分性が必要であるだけでなく、可判別性も必要である。後者は、サンプルの特徴がより小さいクラス内距離及びより大きいクラス間距離を有することを要求する。softmax損失関数は、サンプルの特徴の可分性のみを保証しているが、特徴の可判別性を考慮していない。最近、新しいタイプの損失関数centerlossが提案されており、それは、各サンプルの特徴ベクトルからクラスの中心ベクトルまでの距離を最小化することで、サンプルの特徴がより小さいクラス内距離を有するようにさせることができる。しかし、サンプルの可判別性の定義によれば、サンプルの特徴は、より小さいクラス間距離を要するのみならず、より大きいクラス間距離も要する。一方、centerloss損失関数では、クラス間距離が考慮されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述の問題点に鑑み、本開示の目的は、従来技術における１つ又は複数の欠点を解決し得る情報処理方法及び情報処理装置を提供することにある。
【課題を解決するための手段】
【０００４】
本開示の一側面によれば、情報処理方法が提供され、それは、
複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出し；及び
複数のサンプルについて、損失関数を最小化することで分類器のパラメータを更新することを含み、
そのうち、損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、また、複数のサンプルのうちの各サンプルのクラス内距離はすべて第一閾値よりも小さく、２つの異なるクラスのクラス間距離は第二閾値よりも大きく、且つ第二閾値は第一閾値の２倍よりも大きい。
【０００５】
本開示のもう１つの側面によれば、情報処理装置が提供され、それは、
複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出するための特徴ベクトル抽出ユニット；及び
複数のサンプルについて、損失関数を最小化することで分類器のパラメータを更新するためのパラメータ更新ユニットを含み、
そのうち、損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、また、複数のサンプルのうちの各サンプルのクラス内距離はすべて第一閾値よりも小さく、２つの異なるクラスのクラス間距離は第二閾値よりも大きく、且つ第二閾値は第一閾値の２倍よりも大きい。
【０００６】
本開示のまた１つの側面によれば、プログラムを記憶したコンピュータ可読記憶媒体が提供され、前記プログラムは、コンピュータに、複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出し；及び、複数のサンプルについて、損失関数を最小化することで分類器のパラメータを更新することを実行させるためのものであり、そのうち、損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、また、複数のサンプルのうちの各サンプルのクラス内距離はすべて第一閾値よりも小さく、２つの異なるクラスのクラス間距離は第二閾値よりも大きく、且つ第二閾値は第一閾値の２倍よりも大きい。
【０００７】
本開示の他の側面によれば、コンピュータに、上述のような方法を実行させるためのプログラムも提供される。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施例における情報処理方法のフローチャートである。
【図２】本開示の実施例における情報処理装置の構成図である。
【図３】本開示の実施例に用いられる汎用コンピュータの構成図である。
【発明を実施するための形態】
【０００９】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【００１０】
畳み込みニューラルネットワーク分類器においてよく用いられるsoftmax損失関数の定義は、次の通りである。
【数１】
2019096313.tif 000003
【００１１】
公式（1）では、LSは、softmax損失関数の結果であり、Wは、係数行列であり、bは、バイアスベクトルであり、mは、サンプルの総数であり、xi（i＝1，2，…，m）は、１つのサンプルの特徴ベクトルであり（以下、説明の便宜のため、サンプルの特徴ベクトルxiを用いて該サンプルを表す）、yiは、サンプルxiのクラスのラベルであり、nは、クラスの総数である。
【００１２】
従来技術におけるcenterloss損失関数は、サンプルの特徴ベクトルからクラスの中心ベクトルまでの距離を記述（describe）している。この距離を最小化することで、サンプルのクラス内距離を小さくすることができる。なお、centerloss損失関数は、次のような公式で示すことができる。
【数２】
2019096313.tif 000004
【００１３】
公式（2）では、LCは、centerloss損失関数の結果であり、mは、サンプルの総数であり、Cyiは、サンプルxiが属するクラスyiの中心ベクトルである。
【００１４】
また、centerloss損失関数の結果LCの、xiに対しての勾配（gradient）は、
【数３】
2019096313.tif 000005
である。
【００１５】
そして、Cyiの更新は、
【数４】
2019096313.tif 000006
である。
【００１６】
公式（4）では、δ(X)は、条件関数であり、Xの条件を満足した場合、δ(X)＝1であり、そうでない場合、δ(X)＝0である。
【００１７】
従来技術におけるcenterloss損失関数は、各サンプルの特徴ベクトルからクラスの中心ベクトルまでの距離を最小化することで、サンプルの特徴に、より小さいクラス内距離を持たせることができる。しかし、サンプルの可判別性の定義によれば、サンプルの特徴は、より小さいクラス間距離だけでなく、より大きいクラス間距離も要する。一方、centerloss損失関数では、クラス間距離が考慮されていない。
【００１８】
本開示では、改良された損失関数が提供され、該損失関数は、サンプルの特徴ベクトル間のクラス内距離及びクラス間距離を考慮することで、サンプルの特徴がより小さいクラス内距離及びより大きいクラス間距離を有するようにさせる。ここで、２つの閾値がクラス内距離及びクラス間距離を評価するために用いられ、即ち、クラス内マージン及びクラス間マージンである。このようにして、サンプルの特徴のクラス内距離がクラス内マージンよりも小さなり、且つクラス間距離がクラス間マージンよりも大きくなるようにさせれば、抽出された特徴は、可判別性の要求を満たすことができる。よって、このような方法により、抽出されたサンプルの特徴が比較的小さいクラス内距離及び比較的大きいクラス間距離を有するようにさせることができる。
【００１９】
以下、図面を参照しながら、本開示の実施例を詳しく説明する。
【００２０】
まず、図1に基づいて、本開示の実施例における情報処理方法100の処理を説明する。図1は、本開示の実施例における情報処理方法のフローチャートである。図1に示すように、本開示の実施例における情報処理方法100は、特徴ベクトル抽出ステップS102及びパラメータ更新ステップS104を含む。
【００２１】
特徴ベクトル抽出ステップS102では、複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出することができる。
【００２２】
前記複数のサンプルは、サンプルセット中のすべてのサンプルであっても良い。しかし、メモリ占用の問題で、１つの折衷案として、毎回トレーニング分類器に対してイテレーション（iteration（反復処理））を行うときに一定の数のサンプルを選択し、また、毎回分類器をイテレーションでトレーニングするときに選択される具体的なサンプルは、異なっても良い。
【００２３】
分類器は、従来技術における既知のものであって、各サンプルの特徴を表す特徴ベクトルを抽出することができる分類器であれば良い。
【００２４】
パラメータ更新ステップS104では、複数のサンプルについて、損失関数を最小化することで、分類器のパラメータを更新することができ、そのうち、損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、また、複数のサンプルのうちの各サンプルのクラス内距離はすべて第一閾値よりも小さく、２つの異なるクラスのクラス間距離は第二閾値よりも大きく、且つ第二閾値は第一閾値の２倍よりも大きい。
【００２５】
本開示の実施例における情報処理方法100の損失関数では、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離、及び、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離をともに（同時に）考慮することで、損失関数がクラス内距離と正相関し、クラス間距離と負相関するようにさせる。また、クラス内マージンD1（即ち、上述のような第一閾値）及びクラス間マージンD2（即ち、上述のような第二閾値）を導入してクラス内距離及びクラス間距離を評価することにより、複数のサンプルのうちの各サンプルのクラス内距離がすべてクラス内マージンD1よりも小さくなり、２つの異なるクラスのクラス間距離がクラス間マージンD2よりも大きくなるようにさせる。また、２つのクラスを分離（divide）するために、クラス間マージンD2がクラス内マージンD1の２倍よりも大きい（２倍以上であっても良い）。
【００２６】
好ましくは、分類器は、畳み込みニューラルネットワークを含む。なお、畳み込みニューラルネットワークは、例示に過ぎず、分類器は、従来技術における既知のものであって、各サンプルの特徴を表す特徴ベクトルを抽出することができる分類器であれば良い。
【００２７】
好ましくは、本開示の実施例における情報処理方法100では、各サンプルの特徴ベクトルと、該サンプルが属するクラスの中心ベクトルとの間の距離を、該サンプルのクラス内距離として計算する。
【００２８】
以下、mがサンプルの総数であり、xi（i＝1，2，…， m）が１つのサンプルの特徴ベクトルである（以下、説明の便宜のため、サンプルの特徴ベクトルxiを用いて該サンプルを表す）とする。
【００２９】
各サンプルの特徴ベクトルと、該サンプルが属するクラスの中心ベクトルとの間の距離を、該サンプルのクラス内距離とし（上述のように、クラス内距離は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するために用いられる）、該サンプルのクラス内距離は、次のように、
（外１）
2019096313.tif 000007
と表すことができ、そのうち、Cyiは、サンプルxiが属するクラスyiの中心ベクトルである。
【００３０】
また、クラス内損失関数L′cは、次のように、
【数５】
2019096313.tif 000008
と定義する。
【００３１】
公式（5）では、mは、サンプルの総数であり、D1は、クラス内マージンである。L′cを最小化することで、各サンプルの特徴ベクトルと、該サンプルが属するクラスの中心ベクトルとの間の距離がD1よりも小さくなるように保証することができる。
【００３２】
好ましくは、本開示の実施例における情報処理方法100では、２つの異なるクラスについて、この２つの異なるクラスのうちの、１つのクラスの中心ベクトルと、もう１つのクラスの中心ベクトルとの間の距離を、この２つの異なるクラスのクラス間距離として計算する。
【００３３】
異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離は、２つのクラスの中心ベクトル間の距離で表すことができ、即ち、クラス間距離は、次のように、
（外2）
2019096313.tif 000009
と表すことができる。そのうち、caは、１つのクラスの中心ベクトルであり、cbは、もう１つのクラスの中心ベクトルである。
【００３４】
また、クラス間マージンは、D2と定義する。そうすると、クラス間損失関数は、次のような公式で表すことができる。
【数６】
2019096313.tif 000010
【００３５】
公式（6）では、nは、クラスの総数である。公式（6）から分かるように、LDを最小化することで、各２つのクラスの中心ベクトル間の距離がクラス間マージンD2よりも大きくなるようにさせることができる。また、２つのクラスを分離するために、クラス間マージンD2は、少なくとも、クラス内マージンD1の２倍である。
【００３６】
好ましくは、各クラスの中心ベクトルは、該クラスに属するすべてのサンプルの特徴ベクトルの平均値である。一例として、各クラスに属するすべてのサンプルの特徴ベクトルの平均値を該クラスの中心ベクトルとする。
【００３７】
よって、クラス内距離及びクラス間距離を考慮した損失関数は、次のように表すことができる。
【数７】
2019096313.tif 000011
【００３８】
公式（7）では、λは、係数であり、経験に基づいて確定されても良い。公式（7）から分かるように、損失関数Lは、クラス内距離と正相関し、クラス間距離と負相関する。
【００３９】
また、公式（5）から分かるように、L′cの、xiに対しての勾配は、
【数８】
2019096313.tif 000012
である。公式（8）では、myiは、クラスyiのサンプルの数である。
【００４０】
公式（6）から分かるように、LDの、xiに対しての勾配は、
【数９】
2019096313.tif 000013
である。公式（9）では、myiは、クラスyiのサンプルの数であり、nは、クラスの総数である。
【００４１】
なお、中心ベクトルCyiの更新については、従来のcenterloss損失関数と同じである。
【００４２】
好ましくは、各クラス中のすべてのサンプルの特徴ベクトルに基づいて、各クラスの特徴ベクトル分散（variance）を計算し、計算された最小特徴ベクトル分散と最大特徴ベクトル分散との平均値を第一閾値とする。上述のように、第一閾値は、クラス内マージンとも称される。一例として、計算された最小特徴ベクトル分散及び最大特徴ベクトル分散がsmin及びsmaxであれば、クラス内マージンD1は、次のように表すことができる。
【数１０】
2019096313.tif 000014
【００４３】
また、クラス間マージンD2は、D1に基づいて得ることができる。D2が2D1よりも遥かに大きいはずであるので、D2とD1との間は、次のような関係を満足する。
【数１１】
2019096313.tif 000015
【００４４】
好ましくは、分類器をイテレーション（反復処理）によりトレーニングするときに、損失関数に基づいて分類器のパラメータを更新することで、サンプルの特徴ベクトルを更新し、且つイテレーションを所定回数行う度に、前記第一閾値及び前記第二閾値を更新する。一例として、分類器をイテレーションでトレーニングするときに、損失関数に基づいて分類器のパラメータを更新することで、サンプルの特徴ベクトルを更新する。また、クラス内マージンD1及びクラス間マージンD2の計算は、イテレーションを一定回数行った後に一回更新する。例えば、イテレーションの最大回数がNiterであれば、少なくとも、「Niter／10」回のイテレーション後に、D1及びD2パラメータを一回更新し、これにより、クラス間距離及びクラス内距離が１つの合理的な値に収束するように保証することができる。
【００４５】
好ましくは、クラス内距離及びクラス間距離の他に、損失関数は、さらに、softmax損失関数を含んでも良い。一例として、softmax損失関数を考慮したときに、全体の損失関数は、次のような公式で表すことができる。
【数１２】
2019096313.tif 000016
【００４６】
この場合、例えば、分類器の入力が次のようなものであるとし、即ち、トレーニングデータ{xi}；初期化された分類器パラメータθ；損失関数パラメータW及び{cj|j=1，2，…，n}；学習レートα及びパラメータ更新レートμ;λ；イテレーション条件ε;イテレーション回数t＝0である。また、分類器の出力がトレーニング後の分類器パラメータθであるとする。このようにして、公式（12）をもとに、以下の公式で分類器の全体のトレーニングプロセスを簡単に記述することができる。
【数１３】
2019096313.tif 000017
のときに、
【数１４】
2019096313.tif 000018
である。
【００４７】
各iについて、
【数１５】
2019096313.tif 000019
である。
【００４８】
各jについて、
【数１６】
2019096313.tif 000020
である。よって、
【数１７】
2019096313.tif 000021
である。
【００４９】
これで分かるように、該トレーニング方法は、実際に応用するときに、より使いやすい。
【００５０】
以上のことから、本開示の実施例における情報処理方法100では、サンプルの特徴ベクトル間のクラス内距離及びクラス間距離を同時に考慮することで、サンプルの特徴がより小さいクラス内距離及びより大きいクラス間距離を有するようにさせることができ、また、クラス内マージン及びクラス間マージンの２つの閾値を用いてクラス内距離及びクラス間距離を定量評価することで、サンプルの特徴のクラス内距離がクラス内マージンよりも小さくなり、且つクラス間距離がクラス間マージンよりも大きくなるようにさせることができる。これにより、抽出されたサンプルの特徴の可判別性を向上させることができる。また、該情報処理方法100は、実際に応用するときに、より使いやすい。
【００５１】
上述の情報処理方法の実施例に対応して、本開示は、さらに、次のような情報処理装置の実施例を提供する。
【００５２】
図2は、本開示の実施例における情報処理装置200の機能ブロック図である。
【００５３】
図2に示すように、本開示の実施例における情報処理装置200は、特徴ベクトル抽出ユニット202及びパラメータ更新ユニット204を含んでも良い。以下、特徴ベクトル抽出ユニット202及びパラメータ更新ユニット204の機能について詳しく説明する。
【００５４】
特徴ベクトル抽出ユニット202では、複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出することができる。
【００５５】
前記複数のサンプルは、サンプルセット中のすべてのサンプルであっても良い。しかし、メモリ占用の問題で、１つの折衷案として、毎回分類器をイテレーションでトレーニングするときに一定の数のサンプルを選択し、また、毎回分類器をイテレーションでトレーニングするときに選択される具体的なサンプルは、異なっても良い。
【００５６】
分類器は、従来技術における既知のものであって、各サンプルの特徴を表す特徴ベクトルを抽出することができる分類器であれば良い。
【００５７】
パラメータ更新ユニット204では、複数のサンプルについて、損失関数を最小化することで分類器のパラメータを更新し、そのうち、損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、また、複数のサンプルのうちの各サンプルのクラス内距離はすべて第一閾値よりも小さく、２つの異なるクラスのクラス間距離は第二閾値よりも大きく、且つ第二閾値は第一閾値の２倍よりも大きい（２倍以上であっても良い）。
【００５８】
本開示の実施例における情報処理装置200の損失関数では、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離、及び、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離をともに考慮することで、損失関数がクラス内距離と正相関し、クラス間距離と負相関するようにさせる。クラス内マージン（即ち、上述のような第一閾値）及びクラス間マージン（即ち、上述のような第二閾値）を導入してクラス内距離及びクラス間距離を評価することで、複数のサンプルのうちの各サンプルのクラス内距離がすべてクラス内マージンよりも小さくなり、２つの異なるクラスのクラス間距離がクラス間マージンよりも大きくなるようにさせる。また、２つのクラスを分離するために、クラス間マージンは、クラス内マージンの２倍よりも大きくさせる（２倍以上であっても良い）。
【００５９】
好ましくは、分類器は、畳み込みニューラルネットワークを含む。畳み込みニューラルネットワークは、例示に過ぎず、分類器は、従来技術における既知のものであって、各サンプルの特徴を表す特徴ベクトルを抽出することができる分類器であれば良い。
【００６０】
好ましくは、パラメータ更新ユニット204では、各サンプルの特徴ベクトルと、該サンプルが属するクラスの中心ベクトルとの間の距離を、該サンプルのクラス内距離として計算する。
【００６１】
各サンプルの特徴ベクトルと、該サンプルが属するクラスの中心ベクトルとの間の距離を該サンプルのクラス内距離とする。なお、クラス内距離及びクラス内損失関数の例について、上述の方法の実施例中の対応する記載を参照することができるため、ここでは、重複説明を省略する。
【００６２】
好ましくは、パラメータ更新ユニット204では、２つの異なるクラスについて、この２つの異なるクラスうちの、１つのクラスの中心ベクトルと、もう１つのクラスの中心ベクトルとの間の距離を、この２つの異なるクラスのクラス間距離として計算する。
【００６３】
異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離は、２つのクラスの中心ベクトル間の距離で表すことができる。なお、クラス間距離及びクラス間損失関数の例について、上述の方法の実施例中の対応する記載を参照することができるので、ここでは、複説明を省略する。
【００６４】
好ましくは、各クラスの中心ベクトルは、該クラスに属するすべてのサンプルの特徴ベクトルの平均値である。一例として、各クラスに属するすべてのサンプルの特徴ベクトルの平均値を該クラスの中心ベクトルとする。
【００６５】
好ましくは、各クラス中のすべてのサンプルの特徴ベクトルに基づいて各クラスの特徴ベクトル分散を計算し、計算された最小特徴ベクトル分散と最大特徴ベクトル分散との平均値を第一閾値とする。また、第二閾値は、第一閾値に基づいて確定されても良い。なお、第一閾値（クラス内マージン）及び第二閾値（クラス間マージン）の例について、上述の方法の実施例中の対応する記載を参照することができるため、ここでは、重複説明を省略する。
【００６６】
好ましくは、分類器をイテレーションでトレーニングするときに、損失関数に基づいて分類器のパラメータを更新することで、サンプルの特徴ベクトルを更新し、且つイテレーションを所定回数行う度に、前記第一閾値及び前記第二閾値を更新する。一例として、分類器をイテレーションでトレーニングするときに、損失関数に基づいて分類器のパラメータを更新することで、サンプルの特徴ベクトルを更新する。なお、第一閾値（クラス内マージン）及び第二閾値（クラス間マージン）を更新する例について、上述の方法の実施例中の対応する記載を参照することができるので、ここでは、重複説明を省略する。
【００６７】
好ましくは、クラス内距離及びクラス間距離の他に、損失関数は、さらに、softmax損失関数を含んでも良い。なお、softmaxを含む損失関数の例について、上述の方法の実施例中の対応する記載を参照することができるため、ここでは、重複説明を省略する。
【００６８】
また、分類器に対しての全体のトレーニングプロセスについても、上述の方法の実施例中の対応する記載を参照することができるから、ここでは、その詳しい説明を省略する。
【００６９】
以上のことから、本開示の実施例における情報処理装置200では、サンプルの特徴ベクトル間のクラス内距離及びクラス間距離をともに考慮することで、サンプルの特徴がより小さいクラス内距離且つより大きいクラス間距離を有するようにさせることができ、また、クラス内マージン及びクラス間マージンの２つの閾値を用いてクラス内距離及びクラス間距離を定量評価することで、サンプルの特徴のクラス内距離がクラス内マージンよりも小さくなり、且つクラス間距離がクラス間マージンよりも大きくなるようにさせることができる。これにより、抽出されたサンプルの特徴の可判別性を向上させることができる。また、該情報処理装置200は、実際に応用するときに、より使いやすい。
【００７０】
なお、装置の実施例は、上述の方法の実施例に対応するので、ここでの装置の実施例において未記載の内容は、方法の実施例中の対応する記載を参照することができ、ここでは、その詳細な説明を省略する。
【００７１】
また、本開示は、さらに、プログラムを記憶したコンピュータ可読記憶媒体を提供し、前記プログラムは、コンピュータに、複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出し；及び、複数のサンプルについて、損失関数を最小化することで分類器のパラメータを更新することを実行させるためのものであり、そのうち、損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、また、複数のサンプルのうちの各サンプルのクラス内距離はすべて第一閾値よりも小さく、２つの異なるクラスのクラス間距離は第二閾値よりも大きく、且つ第二閾値は第一閾値の２倍よりも大きい（２倍以上であっても）。
【００７２】
また、本開示のもう１つの側面では、さらに、上述の情報処理方法によりトレーニングされた分類器を用いて、入力を分類する方法及び装置を提供する。
【００７３】
また、上述の一連の処理及び装置は、ソフトウェア及び／又はファームウェアにより実現されても良い。ソフトウェア及び／又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェアを有するコンピュータ、例えば、図3に示す汎用コンピュータ300に、該ソフトウェアを構成するプログラムをインストールし、また、該コンピュータは、各種のプログラムがインストールされているときに、各種の機能を実現することができる。
【００７４】
図3では、中央処理装置（CPU）301は、ROM  302に記憶されているプログラム、又は、記憶部308からRAM  303にロードされているプログラムに基づいて、各種の処理を行う。RAM  303には、必要に応じて、CPU  301が各種の処理を実行するときに必要なデータを記憶しても良い。
【００７５】
CPU  301、ROM  302及びRAM  303は、バス304を経由して互いに接続される。また、入力／出力インターフェース305も、バス304に接続される。
【００７６】
また、次のような部品は、入力／出力インターフェース305に接続され、即ち、入力部306（キーボード、マウスなどを含む）、出力部307（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部308（ハードディスクなどを含む）、及び通信部309（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部309は、ネットワーク、例えば、インターネットを経由して通信処理を行う。
【００７７】
なお、必要に応じて、ドライブ310を入力／出力インターフェース305に接続させても良い。また、取り外し可能な媒体311、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを、必要に応じて、ドライブ310にセットし、その中から読み出されたコンピュータプログラムを必要に応じて記憶部308にインスタールするようにさせることができる。
【００７８】
ソフトウェアにより上述の一連の処理を実現する場合、ネットワーク、例えば、インターネット、又は記憶媒体、例えば、取り外し可能な媒体311から、ソフトウェアを構成するプログラムをインストールすることができる。
【００７９】
なお、当業者が理解すべきは、このような記憶媒体は、図3に示すような取り外し可能な311に限定されない。取り外し可能な媒体311は、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器を含む。或いは、記憶媒体は、ROM  302、記憶部308中のハードディスクなどであっても良い。
【００８０】
本発明は、さらに、マシン（たとえば、コンピュータ）可読指令コードを含むプログラムプロダクト（プログラム）に関する。指令コードは、マシン（例えば、コンピュータ）により読み出されて実行されるときに、上述の実施例における方法を実行することができる。
【００８１】
それ相応に、上述のようなマシン可読取指令コードを含むプログラムプロダクトを記憶した記憶媒体も本発明の開示に含まれる。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカードなどを含むが、これらに限定されない。
【００８２】
（付記1）
情報処理方法であって、
複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出し；及び
前記複数のサンプルについて、損失関数を最小化することで、前記分類器のパラメータを更新することを含み、
前記損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、
前記複数のサンプルのうちの各サンプルのクラス内距離は、すべて、第一閾値よりも小さく、２つの異なるクラスのクラス間距離は、第二閾値よりも大きく、前記第二閾値は、前記第一閾値の２倍よりも大きい、方法。
【００８３】
（付記2）
付記1に記載の情報処理方法であって、
前記分類器は、畳み込みニューラルネットワークを含む、方法。
【００８４】
（付記3）
付記1に記載の情報処理方法であって、
前記２つの異なるクラスについて、前記２つの異なるクラスうちの、１つのクラスの中心ベクトルと、もう１つのクラスの中心ベクトルとの間の距離を、前記２つの異なるクラスのクラス間距離として計算する、方法。
【００８５】
（付記4）
付記1に記載の情報処理方法であって、
各サンプルの特徴ベクトルと、該サンプルが属するクラスの中心ベクトルとの間の距離を、該サンプルのクラス内距離として計算する、方法。
【００８６】
（付記5）
付記3又は4に記載の情報処理方法であって、
各クラスの前記中心ベクトルは、該クラスに属するすべてのサンプルの特徴ベクトルの平均値である、方法。
【００８７】
（付記6）
付記1に記載の情報処理方法であって、
各クラス中のすべてのサンプルの特徴ベクトルに基づいて、各クラスの特徴ベクトル分散を計算し、計算された最小特徴ベクトル分散と最大特徴ベクトル分散との平均値を前記第一閾値とする、方法。
【００８８】
（付記7）
付記1に記載の情報処理方法であって、
前記分類器をイテレーションでトレーニングするときに、前記損失関数に基づいて前記分類器のパラメータを更新することで、サンプルの特徴ベクトルを更新し、また、イテレーションを所定回数行う度に、前記第一閾値及び前記第二閾値を更新する、方法。
【００８９】
（付記8）
付記1に記載の情報処理方法であって、
前記クラス内距離及び前記クラス間距離の他に、前記損失関数は、さらに、softmax損失関数を含む、方法。
【００９０】
（付記9）
情報処理装置であって、
複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出するための特徴ベクトル抽出ユニット；及び
前記複数のサンプルについて、損失関数を最小化することで前記分類器のパラメータを更新するためのパラメータ更新ユニットを含み、
前記損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、
前記複数のサンプルのうちの各サンプルのクラス内距離は、すべて、第一閾値よりも小さく、２つの異なるクラスのクラス間距離は、第二閾値よりも大きく、前記第二閾値は、前記第一閾値の２倍よりも大きい、装置。
【００９１】
（付記10）
付記9に記載の情報処理装置であって、
前記分類器は、畳み込みニューラルネットワークを含む、装置。
【００９２】
（付記11）
付記9に記載の情報処理装置であって、
パラメータ更新ユニットでは、前記２つの異なるクラスについて、前記２つの異なるクラスうちの、１つのクラスの中心ベクトルと、もう１つのクラスの中心ベクトルとの間の距離を、前記２つの異なるクラスのクラス間距離として計算する、装置。
【００９３】
（付記12）
付記9に記載の情報処理装置であって、
パラメータ更新ユニットでは、各サンプルの特徴ベクトルと、該サンプルが属するクラスの中心ベクトルとの間の距離を、該サンプルのクラス内距離として計算する、装置。
【００９４】
（付記13）
付記11又は12に記載の情報処理装置であって、
各クラスの前記中心ベクトルは、該クラスに属するすべてのサンプルの特徴ベクトルの平均値である、装置。
【００９５】
（付記14）
付記9に記載の情報処理装置であって、
パラメータ更新ユニットでは、各クラス中のすべてのサンプルの特徴ベクトルに基づいて、各クラスの特徴ベクトル分散を計算し、計算された最小特徴ベクトル分散と最大特徴ベクトル分散との平均値を前記第一閾値とする、装置。
【００９６】
（付記15）
付記9に記載の情報処理装置であって、
前記分類器をイテレーションでトレーニングするときに、前記損失関数に基づいて前記分類器のパラメータを更新することで、サンプルの特徴ベクトルを更新し、また、イテレーションを所定回数行う度に、前記第一閾値及び前記第二閾値を更新する、装置。
【００９７】
（付記16）
付記9に記載の情報処理装置であって、
パラメータ更新ユニットでは、前記クラス内距離及び前記クラス間距離の他に、前記損失関数は、さらに、softmax損失関数を含む、装置。
【００９８】
（付記17）
プログラムを記憶したコンピュータ可読記憶媒体であって、
前記プログラムは、コンピュータに、
複数のサンプルをそれぞれ分類器に入力し、各サンプルの特徴を表す特徴ベクトルを抽出し；及び
前記複数のサンプルについて、損失関数を最小化することで、前記分類器のパラメータを更新することを実行させるためのものであり、
前記損失関数は、同一クラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス内距離と正相関し、異なるクラスに属するサンプルの特徴ベクトル間の距離を評価するためのクラス間距離と負相関し、
前記複数のサンプルのうちの各サンプルのクラス内距離は、すべて、第一閾値よりも小さく、２つの異なるクラスのクラス間距離は、第二閾値よりも大きく、前記第二閾値は、前記第一閾値の２倍よりも大きい、記憶媒体。
【００９９】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2019096313.tif 000022
【図２】
2019096313.tif 000023
【図３】
2019096313.tif 000024