(57)【要約】【課題】本発明は、ディープニューラルネットワークに基づく認識装置、トレーニング装置及方法を提供する。【解決手段】前記ディープニューラルネットワークは、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行うものであり、前記認識装置は、判定ユニットであって、前記ディープニューラルネットワークの出力層が出力した分類結果中の各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定するものを含む。このようにして、ディープニューラルネットワークが出力した分類結果の信頼度を向上させることができる。【選択図】図４
2017201526.tif 000002
【特許請求の範囲】
【請求項１】
ディープニューラルネットワークに基づく認識装置であって、
前記ディープニューラルネットワークは、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行うことにより得られたものであり、
前記装置は、
前記ディープニューラルネットワークの出力層により出力されら分類結果のうちの各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定するための判定ユニットを含む、装置。
【請求項２】
請求項1に記載の装置であって、
前記各正サンプルクラスの信頼度は、前記認識待ちサンプルと、各正サンプルクラスとの類似度である、装置。
【請求項３】
請求項1に記載の装置であって、さらに、
前記ディープニューラルネットワークの出力層により前記分類結果が出力される時に、負サンプルクラス及び前記負サンプルクラスの信頼度を無効と設定するための無効ユニットを含む、装置。
【請求項４】
ディープニューラルネットワークのトレーニング装置であって、
正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力するための入力ユニット；
前記トレーニングサンプルのうちの正のサンプルについて、前記正のサンプルが所在する正サンプルクラスの真値ラベルを1と設定し、他の正サンプルクラスの真値ラベルを0と設定し、前記トレーニングサンプルのうちの負のサンプルについて、すべての正サンプルクラスの真値ラベルを0と設定するための設定ユニット；及び
前記ディープニューラルネットワークの出力層が前記トレーニングサンプルと各正サンプルクラスとの類似度を出力するようにさせるための出力ユニットを含む、装置。
【請求項５】
請求項4に記載の装置であって、さらに、
前記ディープニューラルネットワークの出力層により出力された前記トレーニングサンプルと各正サンプルクラスとの類似度、及び、前記真値ラベルに基づいて得られた前記トレーニングサンプルの真値に基づいて、ネットワーク損失を得るための取得ユニット；
前記トレーニングサンプルのうちの正のサンプルについて、予め設定された重みに基づいて前記ネットワーク損失に対して調整を行うための調整ユニット；及び
調整後の前記ネットワーク損失に基づいて前記ディープニューラルネットワークの逆伝播を行うための逆伝播ユニットを含む、装置。
【請求項６】
請求項5に記載の装置であって、
前記調整ユニットは、
【数１】
2017201526.tif 000004
に基づいて、前記ネットワーク損失に対して調整を行い、
l’は、調整後のネットワーク損失を表し、lは、調整前のネットワーク損失を表し、wは、予め設定された重みを表し、wは、1よりも大きく又は小さい正数であり、s∈{negative}は、現在のトレーニングサンプルが負のサンプルであることを表し、s∈{positive}は、現在のトレーニングサンプルが正のサンプルであることを表す、装置。
【請求項７】
電子機器であって、
請求項1に記載の認識装置又は請求項4に記載のトレーニング装置を含む、電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術分野に関し、特に、ディープニューラルネットワークに基づく認識装置、トレーニング装置及び方法に関する。
【背景技術】
【０００２】
近年、情報技術の絶えざる発展に伴い、ディープニューラルネットワーク（Deep  Neural  Network、DNN）に基づく認識方法は、分類の分野において巨大な成功を収めている。従来のディープニューラルネットワークは、階層的なモデルである。図1は、従来のディープニューラルネットワークを示す図である。図1に示すように、従来のディープニューラルネットワークは、１つの入力層101、若干個の隠れ層102及び１つの出力層103からなる。そのうち、入力層101は、一般的に、処理待ちデータを入力するために用いられ；隠れ層102の類型は、畳み込み層、プーリング層又は全接続層などを含んでも良く；分類問題について言えば、出力層103は、分類器、例えば、softmax分類器又はSVM（Support  Vector  Machine）などであっても良い。
【０００３】
従来のディープニューラルネットワークは、トレーニングを行う時に、一般的に、ネットワーク損失（分類誤差とも称される）の最小化を最適化目標とし、また、最適化方法は、逆伝播（backpropagation）アルゴリズムである。図2は、従来のディープニューラルネットワークに対してのトレーニングを示す図である。図2に示すように、まず、トレーニングサンプルが入力層101に入力され、且つ情報がディープニューラルネットワークに沿って前へ伝播し、各隠れ層102を経て出力層103へ伝播し、そして、出力層103により出力された分類結果がトレーニングサンプルの類別の真の値と比較されることにより、ネットワーク損失が得られ；その後、該ネットワーク損失が層ごとに逆伝播し、これにより、出力層103、隠れ層102及び入力層101のうちの各層のパラメータを修正する。このようなステップを、該ネットワーク損失が一定の収束条件を満足するまで繰り返して行えば、ディープニューラルネットワークの最適化目標を達していると見なされ、トレーニングは終了する。
【０００４】
図3は、従来のトレーニング方法によるトレーニング後のディープニューラルネットワークを用いて認識を行うことを示す図である。図3に示すように、入力された認識待ちサンプルが１つの異常サンプル（例えば、負のサンプル）である時に、出力された各正サンプルクラス（positive  sample  class）の信頼度（confidence  level）は、それぞれ、3%、7%及び90%である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のトレーニング方法によるトレーニング後のディープニューラルネットワークを用いて認識を行う時に、入力された認識待ちサンプルが異常サンプルである場合、出力された分類結果のうちの１つの正サンプルクラスの信頼度（例えば、図3中の90%）が依然としてかなり高いので、該分類結果の信頼性が低くなる。
【０００６】
本発明の実施例は、ディープニューラルネットワークに基づく認識装置、トレーニング装置及方法を提供し、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行い、且つ出力された各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似（suspected）異常サンプルであると判定することにより、ディープニューラルネットワークにより出力された分類結果の信頼度を有効に向上させることができる。
【課題を解決するための手段】
【０００７】
本発明の実施例の第一側面によれば、ディープニューラルネットワークに基づく認識装置が提供され、前記ディープニューラルネットワークは、正のサンプル及び負のサンプルのトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行うことにより得られたものであり、前記装置は、
前記ディープニューラルネットワークの出力層により出力された分類結果のうちの各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定するための判定ユニットを含む。
【０００８】
本発明の実施例の第二側面によれば、ディープニューラルネットワークのトレーニング装置が提供され、それは、
正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力するための入力ユニット；
前記トレーニングサンプルのうちの正のサンプルについて、前記正のサンプルが所在する（属する）正サンプルクラスの真値ラベル（real-value  label）を1と設定し、他の正サンプルクラスの真値ラベルを0と設定し、前記トレーニングサンプルのうちの負のサンプルについて、すべての正サンプルクラスの真値ラベルを0と設定するための設定ユニット；及び
前記ディープニューラルネットワークの出力層が前記トレーニングサンプルと、各正サンプルクラス分類との類似度（similarity）を出力するようにさせるための出力ユニットを含む。
【０００９】
本発明の実施例の第三側面によれば、電子機器が提供され、前記電子機器は、本発明の実施例の第一側面に記載の認識装置又は本発明の実施例の第二側面に記載のトレーニング装置を含む。
【００１０】
本発明の有益な効果は、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行い、且つ出力された各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定することにより、ディープニューラルネットワークにより出力された分類結果の信頼度を有効に向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】従来のディープニューラルネットワークを示す図である。
【図２】従来のディープニューラルネットワークに対してのトレーニングを示す図である。
【図３】従来トレーニング方法によるトレーニング後のディープニューラルネットワークを用いて認識を行うことを示す図である。
【図４】本発明の実施例1中のディープニューラルネットワークに基づく認識装置を示す図である。
【図５】本発明の実施例1においてディープニューラルネットワークを用いて認識を行うことを示す図である。
【図６】本発明の実施例1においてディープニューラルネットワークを用いて認識を行うことを示す他の図である。
【図７】本発明の実施例1中のディープニューラルネットワークのトレーニング装置を示す図である。
【図８】本発明の実施例1においてディープニューラルネットワークに対してトレーニングを行うことを示す図である。
【図９】本発明の実施例1においてディープニューラルネットワークに対してトレーニングを行うことを示す他の図である。
【図１０】本発明の実施例1において負サンプルクラス及びその信頼度を無効と設定すすることを示す図である。
【図１１】本発明の実施例2中の電子機器を示す図である。
【図１２】本発明の実施例2中の電子機器のシステム構成図である。
【図１３】本発明の実施例3中のディープニューラルネットワークに基づく認識方法を示す図である。
【図１４】本発明の実施例3中のディープニューラルネットワークのトレーニング方法を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、以下に開示の実施形態は、例示に過ぎず、本発明を限定するものでない。
【実施例１】
【００１３】
図4は、本発明の実施例1中のディープニューラルネットワークに基づく認識装置を示す図である。図4に示すように、該装置400は、次のようなものを含む。
【００１４】
判定ユニット401：ディープニューラルネットワークの出力層により出力された分類結果のうちの各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定する。
【００１５】
本実施例では、該ディープニューラルネットワーク（DNN）は、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行うことにより得られたものである。
【００１６】
本実施例では、該装置400は、該ディープニューラルネットワークを含んでも良く、また、該ディープニューラルネットワークを含まず、該ディープニューラルネットワークにより出力された分類結果を用いて判定を行っても良い。
【００１７】
本実施例から分かるように、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行い、且つ出力された各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定し、これにより、ディープニューラルネットワークにより出力された分類結果の信頼度を有効に向上させることができる。
【００１８】
本実施例では、該ディープニューラルネットワークは、従来の任意のディープニューラルネットワークであっても良く、例えば、該ディープニューラルネットワークは、従来の畳み込みニューラルネットワーク（Convolutional  Neural  Network、CNN）である。該ディープニューラルネットワークは、１つの入力層、若干個の隠れ層及び１つの出力層を含んでも良い。
【００１９】
本実施例では、該ディープニューラルネットワークの出力層により出力された分類結果には、各正サンプルクラス及び該正サンプルクラスの信頼度のみを含み、負サンプルクラス及びその信頼度を含まない。
【００２０】
本実施例では、該異常サンプルとは、該ディープニューラルネットワークの出力層により出力された各正サンプルクラスに含まれないサンプルを指し、即ち、該異常サンプルは、負のサンプルである。認識待ちサンプルは、疑似異常サンプルであり、該認識待ちサンプルが異常サンプルである可能性があることを意味する。
【００２１】
本実施例では、正サンプルクラスの信頼度は、認識待ちサンプルと各正サンプルクラスとの類似度により表されても良く、また、認識待ちサンプルが各正サンプルクラスに属する確率により表されても良く、本発明の実施例では、該信頼度を表す方法について限定しない。
【００２２】
本実施例では、入力された認識待ちサンプルが異常サンプルである時に、該ディープニューラルネットワークの出力層により出力された各正サンプルクラスの信頼度の和は、1でなくても良い。
【００２３】
図5は、本発明の実施例1においてディープニューラルネットワークを用いて認識を行うことを示す図である。図5に示すように、入力された認識待ちサンプルは、五角星形サンプルであり、即ち、該認識待ちサンプルは、異常サンプルであり、該ディープニューラルネットワークにより出力された各正サンプルクラスの信頼度は、認識待ちサンプルと各正サンプルクラスとの類似度により表され、出力された分類結果は、それぞれ、正方形が0.1、円形が0.15、三角形が0.25である。
【００２４】
図6は、本発明の実施例1においてディープニューラルネットワークを用いて認識を行うことを示す他の図である。図6に示すように、入力された認識待ちサンプルは、五角星形サンプルであり、即ち、該認識待ちサンプルは、異常サンプルであり、該ディープニューラルネットワークにより出力された各正サンプルクラスの信頼度は、各正サンプルクラスに属する確率により表され、出力された結果は、それぞれ、正方形が5%、円形が10%、三角形が20%である。
【００２５】
本実施例では、該所定閾値は、実際のニーズに応じて設定することができ、例えば、該所定閾値は、0.3である。このように、図5及び図6中の該ディープニューラルネットワークが出力した各正サンプルクラスの信頼度がすべて0.3よりも小さいので、判定ユニット401は、該認識待ちサンプルが異常サンプルであると判定する。
【００２６】
本実施例では、該ディープニューラルネットワーク（DNN）は、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行うことにより得られたものである。以下、認識過程において正サンプルクラスの信頼度を、認識待ちサンプルと各正サンプルクラスとの類似度で表し、又は、認識待ちサンプルが各正サンプルクラスに属する確率で表すという２つのケースに基づいて、それぞれ、本発明の実施例中のディープニューラルネットワークのトレーニング装置及びトレーニング方法について例示的に説明する。
【００２７】
図7は、本発明の実施例1中のディープニューラルネットワークのトレーニング装置を示す図である。図7に示すように、該装置700は、
入力ユニット701：正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力し；
設定ユニット702：該トレーニングサンプル中の正のサンプルについて、該正のサンプルが所在する正サンプルクラスの真値ラベルを1と設定し、他の正サンプルクラスの真値ラベルを0と設定し、該トレーニングサンプル中の負のサンプルについて、すべての正サンプルクラスの真値ラベルをすべて0と設定し；
出力ユニット703：該ディープニューラルネットワークの出力層に、該トレーニングサンプルと各正サンプルクラスとの類似度を出力させる。
【００２８】
本実施例では、トレーニングサンプルをディープニューラルネットワークに入力した後に、設定ユニット702は、該ディープニューラルネットワークの各正サンプルクラスの真値ラベルに対して設定を行う。
【００２９】
図8は、本発明の実施例1においてディープニューラルネットワークに対してトレーニングを行うことを示す図である。図8に示すように、トレーニングサンプル中の正のサンプルである正方形について、該正のサンプルが所在する正サンプルクラスの真値ラベルを1と設定し、他の正サンプルクラスの真値ラベルを0と設定し、該トレーニングサンプル中の負のサンプルである五角星形について、すべての正サンプルクラスの真値ラベルをすべて0と設定する。
【００３０】
このように、トレーニングサンプル中の負のサンプルについて、直接、すべての正サンプルクラスの真値ラベルをすべて0と設定し、且つ該トレーニングサンプルと各正サンプルクラスとの類似度のみを出力し、これにより、認識時に出力された類似度の信頼性を向上させることができる。
【００３１】
本実施例では、出力ユニット703は、従来方法を用いて、該ディープニューラルネットワークの出力層に、該トレーニングサンプルと各正サンプルクラスとの類似度を出力させることができ、例えば、sigmoid層を出力層とし、トレーニング過程において、該ディープニューラルネットワークが出力する該トレーニングサンプルと、各正サンプルクラスとの類似度の初期値を従来方法により設定し、例えば、該類似度の初期値をランダムに設定することができる。
【００３２】
本実施例では、該トレーニングサンプルと、各正サンプルクラスとの類似度は、例えば、Euclidean距離により表しても良いが、本発明の実施例では、該類似度を表す方法について限定しない。
【００３３】
本実施例では、該類似度が1よりも小さい正数であり、該類似度を正規化する必要がない。言い換えると、該ディープニューラルネットワークの出力層が出力した該トレーニングサンプルと、各正サンプルクラスとの類似度の和は、1でなくても良い。
【００３４】
本実施例では、図7に示すように、該装置700は、さらに、次のようなものを含んでも良い。
【００３５】
取得ユニット704：該ディープニューラルネットワークの出力層が出力した該トレーニングサンプルと、各正サンプルクラスとの類似度、及び、該真値ラベルに基づいて得られた該トレーニングサンプルの真値に基づいて、ネットワーク損失を取得し；
調整ユニット705：該トレーニングサンプル中の正のサンプルについて、予め設定された重み（Weight）に基づいて該ネットワーク損失に対して調整を行い；
逆伝播ユニット706：調整後の該ネットワーク損失に基づいて、該ディープニューラルネットワークの逆伝播を行う。
【００３６】
本実施例では、トレーニングサンプルの真値は、設定ユニット702が設定した真値ラベルに基づいて得られ、また、取得ユニット704がネットワーク損失（分類誤差とも称される）を得る方法は、従来方法を採用しても良く、例えば、該ディープニューラルネットワークが出力した該トレーニングサンプルと、各正サンプルクラスとの類似度と、該トレーニングサンプルの真値との差をネットワーク損失としても良い。
【００３７】
本実施例では、調整ユニット705は、
【数１】
2017201526.tif 000003
に基づいてネットワーク損失に対して調整を行うことができる。
【００３８】
そのうち、l’は、調整後のネットワーク損失を表し、lは、調整前のネットワーク損失を表し、wは、予め設定された重みを表し、wは、1よりも大きく又は小さい正数であり、s∈{negative}は、現在のトレーニングサンプルが負のサンプルであることを表し、s∈{positive}は、現在のトレーニングサンプルが正のサンプルであることを表す。
【００３９】
本実施例では、該予め設定された重みは、実際の状況に応じて設定することができ、例えば、負のサンプルが比較的簡単である時に、予め設定された重みを1よりも小さい正数と設定しても良く、負のサンプルが比較的複雑である時に、予め設定された重みを1よりも大きい正数と設定しても良い。
【００４０】
このように、正のサンプルの重みを設定してネットワーク損失を調整することにより、ディープニューラルネットワークが出力した分類結果の信頼性をより一層向上させるあことができる。
【００４１】
本実施例では、逆伝播ユニット706が、調整後の該ネットワーク損失に基づいて該ディープニューラルネットワークの逆伝播を行う方法は、従来方法を採用しても良い。
【００４２】
例えば、該ディープニューラルネットワークの出力層、隠れ層及び入力層中の各層のパラメータを修正し、上述の調整ステップを、該ネットワーク損失が一定の収束条件を満足するまで繰り返して行っても良い。
【００４３】
以上、認識過程において正サンプルクラスの信頼度を認識待ちサンプルと各正サンプルクラスとの類似度で表すケースに基づいて、本発明の実施例中のディープニューラルネットワークのトレーニング装置及びトレーニング方法について例示的に説明した。以下、認識過程において正サンプルクラスの信頼度を認識待ちサンプルが各正サンプルクラスに属する確率で表すケースに基づいて、本発明の実施例中のディープニューラルネットワークのトレーニング方法について例示的に説明する。
【００４４】
図9は、本発明の実施例1においてディープニューラルネットワークに対してトレーニングを行うことを示す他の図である。該ディープニューラルネットワークの出力層は、例えば、softmax層である。図9に示すように、出力された分類結果は、各正サンプルクラス及び該トレーニングサンプルが各正サンプルクラスに属する確率、並びに、負サンプルクラス及び該トレーニングサンプルが負サンプルクラスに属する確率を含む。
【００４５】
本実施例では、認識過程において正サンプルクラスの信頼度を認識待ちサンプルが各正サンプルクラスに属する確率で表すケースについて、ディープニューラルネットワークに対してトレーニングを行う時に、調整ユニット705を用いてネットワーク損失を調整しても良く、その調整方法は、上述と同じであるため、ここでは、その詳しい説明を省略する。
【００４６】
本実施例では、トレーニング過程においてディープニューラルネットワークの出力結果が負サンプルクラス及びその信頼度を含む時に、図4に示すように、該認識装置400は、さらに、次のようなものを含んでも良い、
無効ユニット402：該ディープニューラルネットワークの出力層が分類結果を出力する時に、負サンプルクラス及び負サンプルクラスの信頼度を無効と設定する。
【００４７】
本実施例では、無効ユニット402は、オプションであり、図4中では点線枠で表されている。
【００４８】
図10は、本発明の実施例1において負サンプルクラス及びその信頼度を無効と設定することを示す図である。図10に示すように、認識過程において出力された各正サンプルクラス及びその確率は、それぞれ、正方形が5%、円形が10%、三角形が20%であり、負サンプルクラスの確率は、65%であり、該負サンプルクラス及びその確率は、無効と設定され、即ち、該負サンプルクラス及びその確率は、出力されない。このように、認識過程において出力された各分類結果の確率の和は、100%よりも小さい。
【００４９】
このように、正サンプルクラス及びその信頼度のみを出力することにより、出力された分類結果の信頼度をより一層向上させることができる。
【００５０】
本実施例から分かるように、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行い、且つ出力された各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定し、これにより、ディープニューラルネットワークが出力した分類結果の信頼度を有効に向上させることができる。
【実施例２】
【００５１】
本発明の実施例は、さらに、電子機器を提供する。図11は、本発明の実施例2中の電子機器を示す図である。図11に示すように、電子機器1100は、ディープニューラルネットワークに基づく認識装置1101又はディープニューラルネットワークのトレーニング装置1102を含み、そのうち、認識装置1101及びトレーニング装置1102の構造及び機能は、実施例1と同じであるので、ここでは、その詳しい説明を省略する。
【００５２】
図12は、本発明の実施例2中の電子機器のシステム構成図である。図12に示すように、電子機器1200は、中央処理装置1201及び記憶器1202を含み、記憶器は、中央処理装置1201に接続される。該図は、例示に過ぎず、さらに、他の類型の構造を用いて該構造に対して補充又は代替を行うことにより、電気通信機能又は他の機能を実現することできる。
【００５３】
図12に示すように、該電子機器1200は、さらに、入力ユニット1203、表示器1204、電源1205を含んでも良い。
【００５４】
一実施方式では、実施例1に記載のディープニューラルネットワークに基づく認識装置の機能は、中央処理装置1201に統合することができる。そのうち、中央処理装置1201は、次のように構成されても良く、即ち、前記ディープニューラルネットワークの出力層が出力した分類結果中の各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定する。
【００５５】
そのうち、前記各正サンプルクラスの信頼度は、前記認識待ちサンプルと、各正サンプルクラスとの類似度である。
【００５６】
そのうち、中央処理装置1201は、さらに、次のように構成されても良く、即ち、前記ディープニューラルネットワークの出力層が前記分類結果を出力する時に、負サンプルクラス及び前記負サンプルクラスの信頼度を無効と設定する。
【００５７】
他の実施方式では、実施例1に記載のディープニューラルネットワークのトレーニング装置の機能は、中央処理装置1201に統合することができる。そのうち、中央処理装置1201は、次のように構成されても良く、即ち、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力し；前記トレーニングサンプル中の正のサンプルについて、前記正のサンプルが所在する正サンプルクラスの真値ラベルを1と設定し、他の正サンプルクラスの真値ラベルを0と設定し、前記トレーニングサンプル中の負のサンプルについて、すべての正サンプルクラスの真値ラベルをすべて0と設定し；前記ディープニューラルネットワークの出力層に、前記トレーニングサンプルと各正サンプルクラスとの類似度を出力させる。
【００５８】
そのうち、中央処理装置1201は、さらに、次のように構成されても良く、前記ディープニューラルネットワークの出力層が出力した前記トレーニングサンプルと各正サンプルクラスとの類似度、及び、前記真値ラベルに基づいて得られた前記トレーニングサンプルの真値に基づいて、ネットワーク損失を取得し；前記トレーニングサンプル中の正のサンプルについて、予め設定された重みに基づいて前記ネットワーク損失を調整し；調整後の前記ネットワーク損失に基づいて前記ディープニューラルネットワークの逆伝播を行う。
【００５９】
本実施例では、電子機器1200は、必ずしも図12中のすべての部品を含む必要がない。
【００６０】
図12に示すように、中央処理装置1201は、制御器又は操作コントローラと称される場合もあり、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでも良く、中央処理装置1201は、入力を受信し、電子機器1200の各部品の操作を制御することができる。
【００６１】
記憶器1202は、例えば、バッファ、フレッシュメモリ、ＨＤＤ、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの１つ又は複数であっても良い。また、中央処理装置1201は、該記憶器1202に記憶のプログラムを実行することで、情報の記憶又は処理などを実現することができる。他の部品の機能は、従来に類似したので、ここでは、その詳しい説明を省略する。電子機器1200の各部品は、専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良く、これらは、すべて、本発明の技術的範囲に属する。
【００６２】
本実施例から分かるように、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行い、且つ出力された各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定し、これにより、ディープニューラルネットワークが出力した分類結果の信頼度を有効に向上させることができる。
【実施例３】
【００６３】
本発明の実施例は、さらに、ディープニューラルネットワークに基づく認識方法を提供し、それは、実施例1のディープニューラルネットワークに基づく認識装置に対応する。図13は、本発明の実施例3中のディープニューラルネットワークに基づく認識方法を示す図である。図13に示すように、該方法は、次のようなステップを含む。
【００６４】
ステップ1301：ディープニューラルネットワークの出力層が出力した分類結果中の各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定する。
【００６５】
図14は、本発明の実施例3中のディープニューラルネットワークのトレーニング方法を示す図である。図14に示すように、該方法は、次のようなステップを含む。
【００６６】
ステップ1401：正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力し；
ステップ1402：トレーニングサンプル中の正のサンプルについて、該正のサンプルが所在する正サンプルクラスの真値ラベルを1と設定し、他の正サンプルクラスの真値ラベルを0と設定し、トレーニングサンプル中の負のサンプルについて、すべての正サンプルクラスの真値ラベルをすべて0と設定し；
ステップ1403：該ディープニューラルネットワークの出力層に、該トレーニングサンプルと各正サンプルクラスとの類似度を出力させる。
【００６７】
本実施例では、認識待ちサンプルの判定方法、真値ラベルの設定方法及び類似度の出力方法は、すべて、実施例1と同じであるため、ここでは、その詳しい説明を省略する。
【００６８】
本実施例から分かるように、正のサンプル及び負のサンプルを含むトレーニングサンプルをディープニューラルネットワークの入力層に入力してトレーニングを行い、且つ出力された各正サンプルクラスの信頼度がすべて所定閾値よりも小さい時に、認識待ちサンプルが疑似異常サンプルであると判定し、これにより、ディープニューラルネットワークが出力した分類結果の信頼度を有効に向上させることができる。
【００６９】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、ディープニューラルネットワークに基づく認識装置、ディープニューラルネットワークのトレーニング装置又は電子機器中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、前記ディープニューラルネットワークに基づく認識装置、ディープニューラルネットワークのトレーニング装置又は電子機器中で実施例3に記載の認識方法又はトレーニング方法を実行させる。
【００７０】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、ディープニューラルネットワークに基づく認識装置、ディープニューラルネットワークのトレーニング装置又は電子機器中で実施例3に記載の認識方法又はトレーニング方法を実行させる。
【００７１】
また、本発明の実施例による認識装置、電子機器及び認識方法は、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、flashメモリなどにも関する。
【００７２】
また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、本願に記載の機能を実行するための汎用処理器、デジタル信号処理器（DSP）、専用集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組む合わせとして実現されても良い。さらに、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、計算装置の組み合わせ、例えば、DSP及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPと通信により接続される１つ又は複数のマイクロプロセッサ又は他の任意のこのような構成として構成されても良い。
【００７３】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2017201526.tif 000005
【図２】
2017201526.tif 000006
【図３】
2017201526.tif 000007
【図４】
2017201526.tif 000008
【図５】
2017201526.tif 000009
【図６】
2017201526.tif 000010
【図７】
2017201526.tif 000011
【図８】
2017201526.tif 000012
【図９】
2017201526.tif 000013
【図１０】
2017201526.tif 000014
【図１１】
2017201526.tif 000015
【図１２】
2017201526.tif 000016
【図１３】
2017201526.tif 000017
【図１４】
2017201526.tif 000018