(57)【要約】【課題】本発明は、画像分類器の訓練装置、ターゲット検出装置及び電子機器を提供する。【解決手段】ターゲット検出装置は、画像における、ターゲットと検出された特徴部分を含む領域を抽出する第一抽出ユニット；前記領域の画素値に基づいて前記領域の画像特徴を抽出する第二抽出ユニット；及び、畳み込みニューラルネットワークに基づく画像分類器により、抽出された前記画像特徴に対して分類を行い、前記領域に前記ターゲットが含まれるかを識別する識別ユニットを含む。【選択図】図８
2020205035.tif 000002
【特許請求の範囲】
【請求項１】
ターゲットを検出する装置であって、
画像における、ターゲットと検出された特徴部分を含む領域を抽出する第一抽出ユニット；
前記領域の画素値に基づいて前記領域の画像特徴を抽出する第二抽出ユニット；及び
畳み込みニューラルネットワークに基づく画像分類器により、抽出された前記画像特徴に対して分類を行い、前記領域に前記ターゲットが含まれるかを識別する識別ユニットを含む、装置。
【請求項２】
請求項1に記載の装置であって、
前記領域の画像特徴は前記領域中の画素値の勾配の所定のk個の方向における分布情報であり、kは自然数である、装置。
【請求項３】
請求項1に記載の装置であって、
前記第二抽出ユニットが前記領域の画像特徴を抽出することは、
前記領域を複数のサブ領域に分割し、それぞれ、各サブ領域の画素値の勾配ベクトルの第一方向及び第二方向の成分の勾配行列Gx及びGyを計算し、前記第一方向は前記画像の幅方向であり、前記第二方向は前記画像の高さ方向であり；
前記勾配行列Gx及びGyに対して極座標変換を行い、各サブ領域の画素値の勾配ベクトルのモジュール行列GA及び角度行列Gθを計算し；
各サブ領域の前記モジュール行列GA及び角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解し、所定のk個の方向のうちの各方向の勾配ベクトルのモジュールの和を計算し、所定のk個の方向の勾配ベクトルのモジュールの和は第一ベクトルlを構成し；及び
前記領域における全てのサブ領域に対応する各第一ベクトルlにより第一行列Lを生成し、該第一行列Lは前記領域の画像特徴であることを含む、装置。
【請求項４】
請求項3に記載の装置であって、
各サブ領域の前記モジュール行列GA及び前記角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解することは、
前記サブ領域内の各画素について、該画素の前記勾配ベクトルに対応する前記角度行列Gθ中の角度要素の値が所定のk個の方向のうちの隣接する2つの方向の角度の間にあるときに、該画素の前記勾配ベクトルに対応する前記モジュール行列GA中のモジュール要素の値をそれぞれ該隣接する2つの方向に分解することを含む、装置。
【請求項５】
請求項4に記載の装置であって、
各サブ領域の前記モジュール行列GA及び前記角度行列Gθについて、所定のk個の方向のうちの各方向の勾配ベクトルのモジュールの和を計算することは、
所定のk個の方向のうちの各方向について、該方向に分解されたモジュール要素の値の和を求め、該方向の勾配ベクトルのモジュールの和とすることを含む、装置。
【請求項６】
畳み込みニューラルネットワークに基づく画像分類器を訓練する装置であって、
訓練画像における所定の領域について、前記領域の画素値に基づいて前記領域の画像特徴を抽出する第三抽出ユニット；及び
抽出された前記画像特徴に基づいて、畳み込みニューラルネットワークに基づく画像分類器に対して訓練を行う訓練ユニットを含む、装置。
【請求項７】
請求項6に記載の装置であって、
前記領域の画像特徴は前記領域中の画素値の勾配の所定のk個の方向における分布情報であり、kは自然数である、装置。
【請求項８】
請求項6に記載の装置であって、
前記第三抽出ユニットが前記領域の画像特徴を抽出することは、
前記領域を複数のサブ領域に分割し、それぞれ、各サブ領域の画素値の勾配ベクトルの第一方向及び第二方向の成分の勾配行列Gx及びGyを計算し、前記第一方向は前記画像の幅方向であり、前記第二方向は前記画像の高さ方向であり；
前記勾配行列Gx及びGyに対して極座標変換を行い、各サブ領域の画素値の勾配ベクトルのモジュール行列GA及び角度行列Gθを計算し；
各サブ領域の前記モジュール行列GA及び角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解し、所定のk個の方向のうちの各方向の勾配ベクトルのモジュールの和を計算し、所定のk個の方向の勾配ベクトルのモジュールの和は第一ベクトルlを構成し；及び
前記領域における全てのサブ領域に対応する各第一ベクトルlにより第一行列Lを生成し、該第一行列Lは前記領域の画像特徴であることを含む、装置。
【請求項９】
請求項8に記載の装置であって、
各サブ領域の前記モジュール行列GA及び前記角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解することは、
前記サブ領域内の各画素について、該画素の前記勾配ベクトルに対応する前記角度行列Gθ中の角度要素の値が所定のk個の方向のうちの隣接する2つの方向の角度の間にあるときに、該画素の前記勾配ベクトルに対応する前記モジュール行列GA中のモジュール要素の値をそれぞれ該隣接する2つの方向に分割することを含む、装置。
【請求項１０】
電子機器であって、
請求項1-5のうちの任意の1項に記載の、ターゲットを検出する装置；及び／又は
請求項6-9のうちの任意の1項に記載の、畳み込みニューラルネットワークに基づく画像分類器を訓練する装置を含む、電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子情報技術分野に関する。
【背景技術】
【０００２】
交通ビデオ監視分野では、ターゲット（対象物）の検出が非常に重要な課題であり、該ターゲットは、例えば、車両などであっても良い。今のところ、ターゲット検出技術が大きく新歩しており、多くの技術により、昼間でも良い効果を来すことができる。
【０００３】
夜間又はトンネル内などの外界の光が弱い環境では、ターゲット検出技術は、通常、ターゲットが自ら発する光に基づいて該ターゲットの検出を行い、例えば、前景画像から顕著領域を検出及び追跡の対象物として抽出する。このような顕著領域は、例えば、車両のライトなどである。
【０００４】
ときには、画像に幾つかの必要のないハイライト領域が存在する可能性があり、これは、車両のライトなどの顕著領域の検出に影響を与え、誤検出を引き起こすことがある。
【０００５】
幾つかの場合、これらの必要のないハイライト領域は、他の発光物体、例えば、路傍の照明装置、交通信号機、遠いところの建物の照明などに由来する。このような場合、画像に関心領域（ROI）マスク（mask）を設けることで、このような影響を無くすことができる。
【０００６】
また、幾つかの場合、これらの必要のないハイライト領域は、車両のライトからの光の道路上の反射光点に由来する。このような場合、反射光点による誤検出を無くすために、次のような方法で反射光点を検出することができ、即ち、閾値分割法：例えば、輝度の閾値を設定することで車両のライトと反射光点を区別し；形状区別法：車両のライトの幾何学的特徴を用いて前照灯と反射光点を区別し、例えば、多くの場合、車両のライトの形状が小さく且つ円形であり、これに対して、反射光点の面積がより大きく且つ楕円形のようであり；色空間情報によってライトと反射光点を区別する方法：例えば、反射光点と真のライトからとの間の色調、飽和度などの色空間情報が異なるので、色空間情報に基づいて両者を区別することができ；及び、ガウス（Gaussian）演算子のラプラス関数を用いて反射抑制画像を計算し、さらに大気散乱モデルを用いることで、反射光点と真のライトを区別する方法である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の発明者が次のようなことを発見した。即ち、反射光点を検出する従来の方法の各々には制限があり、例えば、反射光点がかなり強く又はカメラの動的範囲が不十分であるときに、閾値分割法は、良く行うことができず；画像に基づいて検出された反射光点の形状がカメラの角度及び位置並びに道路状況に依存するため、形状区別法も誤検出することがあり；色空間情報によって検出を行う方法では、色空間情報がカメラ、道路、発光スペクトラム、反射強度などのファクターの影響を受ける可能性があるから、該方法も不安定であり；ガウス演算子による方法の場合、ライト領域にブラックホールを生成し得るので、さらなる処理を要し、且つ不安定であり、また、大気散乱モデルの計算時間が長すぎることも、1つの制限である。
【０００８】
本発明の実施例は、ターゲット検出装置、画像分類器の訓練装置及び電子機器を提供する。該ターゲット検出装置は、画像の、大まかな検出でターゲットと判断された部分を含む領域から画像特徴を抽出し、そして、畳み込みニューラルネットワーク（CNN）に基づく画像分類器を用いて該画像特徴に対して分類を行うことで、該領域にターゲットが含まれるかを識別し、これにより、簡単で且つ正確な方法で画像におけるターゲットを検出し、誤検出を避けることができる。例えば、車両のライトに基づいて車両の検出を行う場合、本発明の実施例によるターゲット検出装置は、画像における反射光点を認識し、誤検出を低減することができる。
【課題を解決するための手段】
【０００９】
本発明の実施例の第一側面によれば、画像におけるターゲットを検出する装置が提供され、該装置は、
第一抽出ユニットであって、画像における、ターゲットと検出された特徴部分を含む領域を抽出するもの；
第二抽出ユニットであって、前記領域の画素値に基づいて前記領域の画像特徴を抽出するもの；及び
識別ユニットであって、畳み込みニューラルネットワーク（CNN）に基づく画像分類器を用いて、抽出された前記画像特徴に対して分類を行い、前記領域に前記ターゲットが含まれるかを識別するものを含む。
【００１０】
本発明の実施例の第二側面によれば、畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置が提供され、該装置は、
第三抽出ユニットであって、訓練画像における所定の領域について、前記領域の画素値に基づいて前記領域の画像特徴を抽出するもの；及び
訓練ユニットであって、抽出された前記画像特徴に基づいて、畳み込みニューラルネットワーク（CNN）に基づく画像分類器に対して訓練を行うものを含む。
【００１１】
本発明の実施例の第三側面によれば、電子機器が提供され、それは、前述の第一側面に記載の、画像におけるターゲットを検出する装置、及び／又は、前述の第二側面に記載の、畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置を含む。
【００１２】
本発明の有益な効果は、簡単で且つ正確な方法で画像におけるターゲットを検出することにより、誤検出を避けることができることにある。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例の第一側面における画像中のターゲットの検出方法を示す図である。
【図２】図1に示す方法における操作102の実現方法を示す図である。
【図３】関心領域を示す図である。
【図４】画素（i，j）の勾配ベクトル及び所定のk個の方向を示す図である。
【図５】（a）は、領域300に反射光点があることを示す図であり、（b）は、領域300に車両のライトがあることを示す図である。
【図６】図1に示す方法における操作103が使用する畳み込みニューラルネットワーク（CNN）ベースの画像分類器を示す図である。
【図７】本発明の実施例の第一側面におけるCNNベースの画像分類器600の訓練方法を示す図である。
【図８】本発明の実施例の第二側面における画像中のターゲットの検出装置を示す図である。
【図９】本発明の実施例の第二側面における訓練装置を示す図である。
【図１０】本発明の実施例の第三側面における電子機器の構成図である。
【発明を実施するための形態】
【００１４】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【００１５】
＜実施例の第一側面＞
本発明の実施例の第一側面では、画像におけるターゲットを検出する方法が提供される。
【００１６】
図1は、本発明の実施例の第一側面における画像中のターゲットの検出方法を示す図である。該方法100は、以下の操作を含む。
【００１７】
操作101：画像における、ターゲットと検出された特徴部分を含む領域を抽出し；
操作102：前記領域の画素値に基づいて前記領域の画像特徴を抽出し；及び
操作103：畳み込みニューラルネットワーク（CNN）に基づく画像分類器を用いて、抽出された前記画像特徴に対して分類を行い、前記領域に前記ターゲットが含まれるかを検出する。
【００１８】
操作101では、ターゲットと検出された特徴部分について、誤検出が存在する可能性がある。よって、操作102及び操作103により、操作101の検出結果に対してさらなる識別を行うことで、検出の正確性を向上させることができる。
【００１９】
本発明の実施例の第一側面によれば、該画像中のターゲットの検出方法では、画像における、大まかな検出でターゲットと判断された部分を含む領域から画像特徴を抽出し、そして、畳み込みニューラルネットワーク（CNN）に基づく画像分類器を用いて該画像特徴に対して分類を行うことで、該領域にターゲットが含まれるかを識別することができ、これにより、簡単で且つ正確な方法で画像におけるターゲット検出をすることにより、誤検出を避けることができる。例えば、車両のライトに基づいて車両の検出を行う場合、本発明の実施例の第一側面における画像中のターゲットの検出方法により、画像における反射光点を識別することで、誤検出を低減することができる。これにより、外界の光が弱い環境でも、車両のライトを正確に識別し、車両を正確に検出することができる。
【００２０】
本発明の少なくとも1つの実施例では、画像中のターゲットは、例えば、車両であっても良く、ターゲットの特徴部分は、例えば、車両のライトなどの部分であっても良く、画像における、ターゲットと検出された特徴部分を含む領域は、例えば、車両のライトと検出された部分を含む領域であっても良く、該領域は、例えば、関心領域（Region  of  Interest、ROI）と称される。
【００２１】
操作101では、以下のような操作1011、操作1012及び操作1013によって画像中の関心領域を抽出することができる。
【００２２】
操作1011：車両のライトに基づいて、前進方向の車両を検出し、例えば、まず、背景モデリングの方法を採用して画像の前景を抽出し、それから、従来の方法を採用して画像の前景から車両のライトが出現し得る比較的明るい領域を検出する。例えば、動的閾値分割法を利用して車両のライトが出現し得る比較的明るい領域を検出しても良い。該ライトは、例えば、車両のヘッドライト（headlight）又はテールライトなどであっても良い。
【００２３】
操作1011では、検出方法が原因で、検出された車両のライトが出現し得る比較的に明るい領域が反射光点などの必要のないハイライト領域である可能性がある。操作102及び操作103により、操作1011の検出結果に対してさらなる検出を行うことで、反射光点などの必要のないハイライト領域を識別し、検出の正確性を向上させることができる。
【００２４】
操作1012：関心領域の抽出を行う。例えば、操作1011で検出された車両のライトが出現し得る比較的明るい領域について、該比較的明るい領域の輪郭を抽出する。それから、対称特性（symmetrical  characteristic）を用いて矩形状領域を取得し、該矩形状領域は、同一車両の2つのライト領域の輪郭を含む。最後に、該矩形状領域の形状を調整することで関心領域を取得し、該関心領域の形状は、例えば、正方形であっても良く、また、該関心領域中の画像も取得する。
【００２５】
操作1013：操作1012で得られた関心領域を、操作102で画像特徴の抽出をしやすいように所定のサイズに調整する。所定のサイズは、例えば、第一方向にw個の画素を有し、第二方向にh個の画素を有しても良い。このようにして、該所定のサイズは、h×wと表され、例えば、h=w=128である。第一方向は、第二方向に垂直であり、第一方向は、画像の幅方向であっても良く、第二方向は、画像の高さ方向であっても良い。
【００２６】
本発明の少なくとも1つの実施例では、操作102で抽出された画像特徴は、関心領域の画素値の勾配に関連して良く、例えば、該画像特徴は、該関心領域における画素値の勾配の所定のk個の方向上での分布情報であっても良く、ここで、kは、自然数であっても良く、例えば、kは、8、9、又は12などに等しい。
【００２７】
図2は、操作102の実現方法を示す図である。図2に示すように、操作102は、以下の操作を含んでも良い。
【００２８】
操作1021：関心領域を複数のサブ領域に分割し、それぞれ、各サブ領域の画素値の勾配ベクトルの第一方向及び第二方向の成分の勾配行列Gx及びGyを計算し；
操作1022：前記勾配行列Gx及びGyに対して極座標変換を行い、各前記サブ領域の画素値の勾配ベクトルのモジュール行列GA及び角度行列Gθを計算し；
操作1023：各サブ領域のモジュール行列GA及び角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解し、前記k個の方向の各方向の勾配ベクトルのモジュールの和を計算し、ここで、該k個の方向の勾配ベクトルのモジュールの和は、第一ベクトルlを構成し；及び
操作1024：前記領域における全部のサブ領域に対応する各第一ベクトルlにより第一行列Lを生成し、該第一行列Lは、前記領域の画像特徴である。
【００２９】
図3は、関心領域を示す図である。図3に示すように、関心領域300のサイズがh×wであり、関心領域300を複数のサブ領域301に分割することができ、各サブ領域301のサイズがm×nであり、即ち、各サブ領域301は、第一方向にm個の画素を有し、第二方向にn個の画素を有する。関心領域300におけるサブ領域301の数がp×qであり、即ち、第一方向には、p個のサブ領域301があり、第二方向には、q個のサブ領域301がある。
【００３０】
操作1021では、それぞれ、各サブ領域301の画素値の勾配ベクトルの第一方向及び第二方向の成分の勾配行列Gx及びGyを計算し、ここで、Gx及びGyは、それぞれ、以下のように表すことができる。
【数１】
2020205035.tif 000003
【００３１】
ここで、勾配行列Gxにおける要素Xijは、画素（i，j）の画素値の勾配ベクトルの第一方向の成分を示し、勾配行列Gyにおける要素Yijは、画素（i，j）の画素値の勾配ベクトルの第二方向の成分を表す。画素（i，j）は、サブ領域301において第一方向に順番号がiであり且つ第二方向に順番号がjである画素を示す。ここで、サブ領域301の左上角の画素が画素（1，1）であり、サブ領域301の右下角の画素が画素（m，n）であり、i及びjは、ともに、自然数であり、1≦i≦m、1≦j≦nである。
【００３２】
操作1022では、勾配行列Gx及びGyの要素に対して極座標変換を行い、各画素の画素値の勾配ベクトルの第一方向の成分及び第二方向の成分を極座標の角度成分及びモジュール成分に変換し、ここで、モジュール成分は、該画素の勾配ベクトルの値の大小を表し、角度成分は、該画素の勾配ベクトルの角度を表す。
【００３３】
サブ領域301では、各画素の勾配ベクトルのモジュール成分は、モジュール行列GAを構成することができ、各画素の勾配ベクトルの角度成分は、角度行列Gθを構成することができる。ここで、GA及びGθは、それぞれ、以下のように表すことができる。
【数２】
2020205035.tif 000004
【００３４】
ここで、モジュール行列GAにおける要素Aijは、画素（i，j）の勾配ベクトルの極座標のモジュール成分を示し、角度行列Gθにおける要素θijは、画素（i，j）の勾配ベクトルの極座標の角度成分を示す。
【００３５】
図4は、画素（i，j）の勾配ベクトル及び所定のk個の方向を示す図である。
【００３６】
図4に示すように、画素（i，j）の勾配ベクトルが401であり、画素（i，j）の勾配ベクトルの極座標のモジュール成分がAijであり、画素（i，j）の勾配ベクトルの極座標の角度成分がθijである。
【００３７】
図4に示すように、所定のk個の方向の角度は、θ1、θ2、…、θs、…、θk-1、θkと示されても良く、ここで、sは、自然数であり、或る方向ｎの該k個の方向の中の順番号を示し、1≦s≦kである。kは、4よりも大きくも良く、例えば、kは、8、9又は12などに等しい。
【００３８】
少なくとも1つの実施例では、該k個の方向は、周方向に均一分布しても良く、即ち、隣接する2つの方向の間の夾角が互いに等しい。なお、本発明は、これに限られず、該k個の方向は、周方向に均一分布しなくても良い。
【００３９】
操作1023では、画素（i，j）について、その勾配ベクトルの角度成分のθijが所定のk個の方向のうちの隣接する2つの方向s及びs+1の角度θs及びθs+1間にあるときに、画素（i，j）の勾配ベクトルのモジュール成分Aijをそれぞれ該隣接する2つの方向に分解し、方向sの成分がAsであり、方向s+1の成分がAs+1である。
【００４０】
上述の分解は、非線形分解であっても良く、例えば、以下の式（1）及び式（2）を用いて非線形分解を行ることで、As及びAs+1を計算することができる。
【数３】
2020205035.tif 000005
【００４１】
また、上述の分解は、線形分解であっても良く、例えば、以下の式（3）及び式（4）を用いて線形分解を行うことで、As及びAs+1を計算することもできる。
【数４】
2020205035.tif 000006
【００４２】
操作1023では、サブ領域301における各画素（i，j）の勾配ベクトルについて、そのモジュール成分Aijを、角度θijに隣接する方向s及び方向s+1に分解し、また、該k個の方向のうちの各方向について、該方向に分解されたモジュールの成分の和を計算し、例えば、方向sについて、該方向に分解されたモジュールの成分の和ATsを計算する。これにより、サブ領域301について、該k個の方向のうちの各方向のATsが第一ベクトルlを構成し、第一ベクトルlは、以下のように表すことができる。
【数５】
2020205035.tif 000007
【００４３】
操作1024では、領域300における全部のサブ領域301に対応する各第一ベクトルlにより第一行列Lを生成し、該第一行列Lは、領域300の画像特徴とされる。
【００４４】
例えば、第一行列Lは、以下のように表すことができる。
【数６】
2020205035.tif 000008
【００４５】
ここで、第一行列Lにおける要素Luvは、順番号が（u，v）であるサブ領域301に対応する第一ベクトルlを示し、ここで、領域300における左上角のサブ領域301の順番号が（1，1）であり、領域300における右下角のサブ領域301の順番号が（p，q）であり、u及びvは、ともに、自然数であり、1≦u≦p、1≦v≦qである。
【００４６】
第一行列Lの次元数がp×q×kであり 、例えば、領域300のサイズが128画素×128画素であり、サブ領域301のサイズが8画素×8画素であり、k=9である場合、第一行列Lの次元数は、16×16×9である。
【００４７】
少なくとも1つの実施例では、操作102dで抽出された領域300の第一行列Lが操作103において畳み込みニューラルネットワーク（CNN）に基づく画像分類器に入力されることで、該畳み込みニューラルネットワーク（CNN）に基づく画像分類器を用いて、抽出された第一行列Lに対して分類を行い、領域300にターゲットが含まれるかを識別することができる。
【００４８】
例えば、操作103では、該畳み込みニューラルネットワーク（CNN）に基づく画像分類器の第一行列Lに対しての分類結果が第一分類結果である場合、識別領域300にターゲットが含まれると判断し、ここで、該第一分類結果は、例えば、車両のライトに対応する分類結果であっても良い。
【００４９】
また、例えば、操作103では、該畳み込みニューラルネットワーク（CNN）に基づく画像分類器の第一行列Lに対しての分類結果が第二分類結果である場合、領域300にターゲットが含まれないと判断し、ここで、該第二分類結果は、例えば、反射光点に対応する分類結果であっても良い。
【００５０】
これにより、操作103では、畳み込みニューラルネットワーク（CNN）に基づく画像分類器により画像の特徴に対して分類を行うことで、操作101で使用される、ターゲットの特徴部分に対しての検出結果に対してさらなる検出を行うことができ、これにより、検出の正確性を向上させることができる。
【００５１】
図5の（a）は、領域300に反射光点があることを示す図であり、図5の（b）は、領域300に車両のライトがあることを示す図である。
【００５２】
図6は、操作103で使用される畳み込みニューラルネットワーク（CNN）に基づく画像分類器を示す図である。図6に示すように、畳み込みニューラルネットワーク（CNN）に基づく画像分類器600は、3つの畳み込み層6011、6012、6013、3つのプーリング層6021、6022、6023、及び3つ全結合層6031、6032、6033を有しても良い。
【００５３】
また、図6に示すように、畳み込みニューラルネットワーク（CNN）に基づく画像分類器600は、さらに、フラット化層（Flatten）604を有しても良い。
【００５４】
なお、図6に示す畳み込みニューラルネットワーク（CNN）に基づく画像分類器600は、例示に過ぎず、本発明は、これに限定されず、即ち、畳み込み層、プーリング層、全結合層の数及び構造は、図6に示すものに限られない。
【００５５】
少なくとも1つの実施例では、畳み込みニューラルネットワーク（CNN）に基づく画像分類器600に入力される第一行列Lの次元数が、例えば、16×16×9であり、該画像分類器600の第一行列Lに対しての分類の正確率が95%に達することができる。
【００５６】
以下の表1は、図6に示す畳み込みニューラルネットワーク（CNN）に基づく画像分類器600のパラメータリストである。
【表１】
2020205035.tif 000009
【００５７】
表1に示すように、畳み込みニューラルネットワーク（CNN）に基づく画像分類器600に入力される行列の次元数が16×16×9であるから、該畳み込みニューラルネットワーク（CNN）に基づく画像分類器600のパラメータ総数が比較的少なく、198054であり、画像分類器600の処理速度が速い。
【００５８】
これに対して、画像分類器600に入力される画像特徴が第一行列Lでなく、画像300の画素値である場合、入力されるデータの次元数が128×128×1であり、画像分類器600の各層の出力形状及び各層のパラメータ数が表1とは異なる。
【００５９】
例えば、入力されるデータの次元数が128×128×1のときに、図6に示す畳み込みニューラルネットワーク（CNN）に基づく画像分類器600のパラメータリストは、以下の表2に示す通りである。
【表２】
2020205035.tif 000010
【００６０】
表2に示すように、画像300を画像分類器600に入力する場合、画像分類器600におけるパラメータ総数が6646950であり、訓練可能なパラメータ総数も6646950であり、この数は、表1における訓練可能能なパラメータ総数の33.56倍である。
【００６１】
本発明の発明者は、実際のテストを行うことで、次のようなことを発見した。即ち、インテルI7−790の中央処理器（CPU）を用いてウィンドウ（Windows）7のフラットフォームでテストを行うときに、画像の1つの領域300について、操作102で画像特徴を抽出するにかかる時間、及び、操作103で畳み込みニューラルネットワーク（CNN）に基づく画像分類器600を用いて抽出された画像特徴を分類するにかかる時間の総和が1.4msであり、これは、直接、領域300の画素値を同じ層の構造の畳み込みニューラルネットワーク（CNN）に基づく画像分類器600に入力して分類してもらうにかかる時間の約15%である。
【００６２】
また、表1及び表2では、出力形状におけるNは、分類器の訓練時のバッチサイズ（batch  size）を示す。
【００６３】
本発明の実施例の第一側面では、画像特徴を抽出し、画像特徴を画像分類器600に入力することで、画像分類器600におけるデータ量を大幅に低減することができ、これにより、画像分類器600の処理速度を上げ、分類の効率及び分類の正確性を向上させることができる。ここで、該画像特徴が関心領域の画素値の勾配に関連するため、該画像特徴をCNNベースの画像分類器600に入力するときに、分類器600に必要な畳み込みカーネルが比較的小さく、パラメータが比較的少ないので、分類器の訓練及び識別プロセスを加速することができる。また、該画像特徴が所定のk個の方向において勾配情報を保留するから、入力される画像特徴のチャンネル数を増加させ、画像分類器600の分類の正確性を保証することができる。
【００６４】
少なくとも1つの実施例では、CNNに基づく画像分類器600は、訓練により得ることができる。
【００６５】
図7は、本発明の実施例の第一側面におけるCNNベースの画像分類器600の訓練方法を示す図である。図7に示すように、該訓練方法は、以下の操作を含む。
【００６６】
操作701：訓練画像における所定の領域について、前記領域の画素値に基づいて前記領域の画像特徴を抽出し；及び
操作702：抽出された前記画像特徴に基づいて、畳み込みニューラルネットワーク（CNN）に基づく画像分類器に対して訓練を行う。
【００６７】
操作701では、訓練画像における所定の領域は、事前にラベル付けされた領域であっても良く、例えば、第一類型領域とラベル付けされた車両のライトの領域を含み、また、第二類型領域とラベル付けされた反射光点の領域を含む。
【００６８】
操作701では、所定の領域の画像特徴を抽出する方法は、操作102に係る説明を参照することができ、例えば、操作701にも、操作1021、操作1022、操作1023及び操作1024が含まれても良い。操作701で抽出された画像特徴は、例えば、所定の領域に対応する第一行列Lであっても良く、第一行列Lの次元数は、例えば、16×16×9である。
【００６９】
操作702では、操作701で抽出された第一行列Lに基づいて畳み込みニューラルネットワーク（CNN）に基づく画像分類器600に対して訓練を行うことができ、例えば、畳み込みニューラルネットワーク（CNN）に基づく画像分類器600における各層のパラメータの値に対して調整を行い、ここで、畳み込みニューラルネットワーク（CNN）に基づく画像分類器600における各層の訓練可能なパラメータの数は、上述の表1に示す通りである。操作702での具体的な訓練プロセスについては、関連技術を参照することができる。
【００７０】
少なくとも1つの実施例では、20個のエポック（epochs）の訓練により、畳み込みニューラルネットワーク（CNN）に基づく画像分類器600の識別の正確率は、例えば、95%に達することができる。
【００７１】
＜実施例の第二側面＞
本発明の実施例の第二側面では、画像におけるターゲットを検出する装置が提供される。この装置は、実施例の第一側面における画像中のターゲットの検出方法に対応する。
【００７２】
図8は、本発明の実施例の第二側面における画像中のターゲットの検出装置を示す図である、図8に示すように、該装置800は、第一抽出ユニット801、第二抽出ユニット802及び識別ユニット803を含む。
【００７３】
ここで、第一抽出ユニット801は、画像における、ターゲットと検出された特徴部分を含む領域を抽出する。第二抽出ユニット802は、前記領域の画素値に基づいて前記領域の画像特徴を抽出する。識別ユニット803は、畳み込みニューラルネットワーク（CNN）に基づく画像分類器を用いて、抽出された前記画像特徴に対して分類を行い、前記領域に前記ターゲットが含まれるかを識別する。
【００７４】
少なくとも1つの実施例では、領域300の画像特徴は、該領域の画素値の勾配の所定のk個の方向における分布情報であり、kは、自然数である。
【００７５】
少なくとも1つの実施例では、第二抽出ユニット802が領域300の画像特徴を抽出することは、以下の操作を含む。
【００７６】
操作1021：前記領域を複数のサブ領域に分割し、それぞれ、各サブ領域の画素値の勾配ベクトルの第一方向及び第二方向の成分の勾配行列Gx及びGyを計算し、ここで、前記第一方向は、前記画像の幅方向であり、前記第二方向は、前記画像の高さ方向であり；
操作1022：前記勾配行列Gx及びGyに対して極座標変換を行い、各サブ領域の画素値の勾配ベクトルのモジュール行列GA及び角度行列Gθを計算し；
操作1023：各サブ領域の前記モジュール行列GA及び角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解し、前記k個の方向の各方向の勾配ベクトルのモジュールの和を計算し、ここで、該k個の方向の勾配ベクトルのモジュールの和は、第一ベクトルlを構成し；及び
操作1024：前記領域における全部のサブ領域に対応する各第一ベクトルlにより第一行列Lを生成し、該第一行列Lは、前記領域の画像特徴である。
【００７７】
少なくとも1つの実施例では、操作1023において、各サブ領域の前記モジュール行列GA及び前記角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解することは、前記サブ領域内の各画素について、該画素の前記勾配ベクトルに対応する前記角度行列Gθ中の角度要素の値が前記k個の方向のうちの隣接する2つの方向の角度の間にあるときに、該画素の前記勾配ベクトルに対応する前記モジュール行列GA中のモジュール要素の値をそれぞれ該隣接する2つの方向に分解することを含む。
【００７８】
少なくとも1つの実施例では、操作1023において、各サブ領域の前記モジュール行列GA及び前記角度行列Gθについて、前記k個の方向の各方向の勾配ベクトルのモジュールの和を計算することは、前記k個の方向のうちの各方向について、該方向に分解されたモジュール要素の値の和を求め、該方向の勾配ベクトルのモジュールの和とすることを含む。
【００７９】
本発明の実施例の第二側面では、さらに、畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置が提供される。この装置は、実施例の第一側面における畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練方法に対応する。
【００８０】
図9は、本発明の実施例の第二側面における訓練装置を示す図である。図9に示すように、該訓練装置900は、第三抽出ユニット901及び訓練ユニット902を含む。
【００８１】
ここで、第三抽出ユニット901は、訓練画像における所定の領域について、前記領域の画素値に基づいて前記領域の画像特徴を抽出する。訓練ユニット902は、抽出された前記画像特徴に基づいて、畳み込みニューラルネットワーク（CNN）に基づく画像分類器に対して訓練を行う。
【００８２】
少なくとも1つの実施例では、訓練画像における所定の領域は、事前に類型がラベル付けされた領域であっても良い。なお、第三抽出ユニット901の説明については、第二抽出ユニット802の説明を参照することができる。
【００８３】
本発明の実施例の第二側面によれば、画像特徴を抽出し、画像特徴を画像分類器600に入力することで、画像分類器600におけるデータ量を大幅に減少させることができ、これにより、画像分類器600の処理速度を上げ、分類の効率及び分類の正確性を向上させることができる。ここで、該画像特徴が関心領域の画素値の勾配に関連するため、該画像特徴をCNNベースの画像分類器600に入力するときに、分類器600に必要な畳み込みカーネルが比較的小さく、パラメータが比較的少ないから、分類器の訓練及び識別プロセスを加速することができる。また、該画像特徴が所定のk個の方向において勾配情報を保留するので、入力される画像特徴のチャンネル数を増やし、画像分類器600の分類の正確性を保証することもできる。
【００８４】
＜実施例の第三側面＞
本発明の実施例の第三側面では、電子機器が提供される。前記電子機器は、実施例の第二側面に記載の画像におけるターゲットを検出する装置、又は、畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置を含む。
【００８５】
図10は、本発明の実施例の第三側面における電子機器の構成図である。図10に示すように、電子機器1000は、中央処理装置（CPU）1001及び記憶器1002を含んでも良い。記憶器1002は、中央処理装置1001に接続される。ここで、該記憶器1002は、各種のデータを記憶することができる。また、制御用のプログラムをさらに記憶することができ、且つ中央処理器1001の制御下で該プログラムを実行することができる。
【００８６】
一実施例では、画像におけるターゲットを検出する装置800、又は、畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置900における機能が中央処理器1001に統合されても良い。
【００８７】
ここで、中央処理器1001は、実施例の第一側面に記載の画像中のターゲットの検出方法、又は、畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練方法を実行するように構成されても良い。
【００８８】
他の実施例では、画像におけるターゲットを検出する装置800、又は、畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置900は、処理器1001と別々で配置されても良く、例えば、画像におけるターゲットを検出する装置800又は畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置900を、処理器1001に接続されるチップとして構成し、処理器1001の制御により、画像におけるターゲットを検出する装置800又は畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置900の機能を実現しても良い。
【００８９】
また、図10に示すように、電子機器1000は、さらに、入出力ユニット1003及び表示ユニット1004などを含んでも良い。ここで、これらの部品の機能が従来技術と同様であるから、ここでは、詳しい説明を省略する。なお、電子機器1000は、図10に示す全部の部品を含む必要がない。また、電子機器1000は、さらに、図10に示さない部品を含んでも良く、これについては、従来技術を参照することができる。
【００９０】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、ここで、画像におけるターゲットを検出する装置又は畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置又は電子機器中で前記プログラムを実行するときに、前記プログラムは、画像におけるターゲットを検出する装置又は電子機器に、実施例の第一側面に記載の画像中のターゲットの検出方法を実行させ、或いは、前記プログラムは、畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練装置又は電子機器に、実施例の第一側面に記載の畳み込みニューラルネットワーク（CNN）に基づく画像分類器の訓練方法を実行させる。
【００９１】
本発明の実施例は、さらに、上述のようなコンピュータ可読プログラムを記憶した記憶媒体を提供する。
【００９２】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【００９３】
また、以上の実施例などに関して、更に次のように付記を開示する。
【００９４】
（付記1）
画像におけるターゲットを検出する方法であって、
画像における、ターゲットと検出された特徴部分を含む領域を抽出し；
前記領域の画素値に基づいて前記領域の画像特徴を抽出し；及び
畳み込みニューラルネットワーク（CNN）に基づく画像分類器を用いて、抽出された前記画像特徴に対して分類を行い、前記領域に前記ターゲットが含まれるかを識別することを含む、方法。
【００９５】
（付記2）
付記1に記載の方法であって、
前記領域の画像特徴は、前記領域の画素値の勾配の所定のk個の方向における分布情報であり、kは、自然数である、方法。
【００９６】
（付記3）
付記1に記載の方法であって、
記領域の画像特徴を抽出することは、
前記領域を複数のサブ領域に分割し、それぞれ、各サブ領域の画素値の勾配ベクトルの第一方向及び第二方向の成分の勾配行列Gx及びGyを計算し、前記第一方向は前記画像の幅方向であり、前記第二方向は前記画像の高さ方向であり；
前記勾配行列Gx及びGyに対して極座標変換を行い、各前記サブ領域の画素値の勾配ベクトルのモジュール行列GA及び角度行列Gθを計算し；
各サブ領域の前記モジュール行列GA及び角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解し、前記k個の方向のうちの各方向の勾配ベクトルのモジュールの和を計算し、該k個の方向の勾配ベクトルのモジュールの和は第一ベクトルlを構成し；及び
前記領域における全てのサブ領域に対応する各第一ベクトルlにより第一行列Lを生成し、該第一行列Lは前記領域の画像特徴であることを含む、方法。
【００９７】
（付記4）
付記3に記載の方法であって、
各サブ領域の前記モジュール行列GA及び前記角度行列Gθについて 、前記勾配ベクトルを所定のk個の方向に分解することは、
前記サブ領域内の各画素について、該画素の前記勾配ベクトルに対応する前記角度行列Gθ中の角度要素の値が前記k個の方向のうちの隣接する2つの方向の角度の間にあるときに、該画素の前記勾配ベクトルに対応する前記モジュール行列GA中のモジュール要素の値をそれぞれ該隣接する2つの方向に分解することを含む、方法。
【００９８】
（付記5）
付記4に記載の方法であって、
各サブ領域の前記モジュール行列GA及び前記角度行列Gθについて、前記k個の方向のうちの各方向の勾配ベクトルのモジュールの和を計算することは、
前記k個の方向のうちの各方向について、該方向に分解されたモジュール要素の値の和を求め、該方向の勾配ベクトルのモジュールの和とすることを含む、方法。
【００９９】
（付記6）
畳み込みニューラルネットワーク（CNN）に基づく画像分類器を訓練する方法であって、
訓練画像における所定の領域について、前記領域の画素値に基づいて前記領域の画像特徴を抽出し；及び
抽出された前記画像特徴に基づいて、畳み込みニューラルネットワーク（CNN）に基づく画像分類器に対して訓練を行うことを含む、方法。
【０１００】
（付記7）
付記6に記載の方法であって、
前記領域の画像特徴は、前記領域の画素値の勾配の所定のk個の方向における分布情報であり、kは、自然数である、方法。
【０１０１】
（付記8）
付記6に記載の方法であって、
前記領域の画像特徴を抽出することは、
前記領域を複数のサブ領域に分割し、それぞれ、各サブ領域の画素値の勾配ベクトルの第一方向及び第二方向の成分の勾配行列Gx及びGyを計算し、前記第一方向は前記画像の幅方向であり、前記第二方向は前記画像の高さ方向であり；
前記勾配行列Gx及びGyに対して極座標変換を行い、各前記サブ領域の画素値の勾配ベクトルのモジュール行列GA及び角度行列Gθを計算し；
各サブ領域の前記モジュール行列GA及び角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解し、前記k個の方向のうちの各方向の勾配ベクトルのモジュールの和を計算し、該k個の方向の勾配ベクトルのモジュールの和は第一ベクトルlを構成し；及び
前記領域における全てのサブ領域に対応する各第一ベクトルlにより第一行列Lを生成し、該第一行列Lは前記領域の画像特徴であることを含む、方法。
【０１０２】
（付記9）
付記8に記載の方法であって、
各サブ領域の前記モジュール行列GA及び前記角度行列Gθについて、前記勾配ベクトルを所定のk個の方向に分解することは、
前記サブ領域内の各画素について、該画素の前記勾配ベクトルに対応する前記角度行列Gθ中の角度要素の値が前記k個の方向のうちの隣接する2つの方向の角度の間にあるときに、該画素の前記勾配ベクトルに対応する前記モジュール行列GA中のモジュール要素の値をそれぞれ該隣接する2つの方向に分割することを含む、方法。
【０１０３】
（付記10）
付記9に記載の方法であって、
各サブ領域の前記モジュール行列GA及び前記角度行列Gθについて、前記k個の方向のうちの各方向の勾配ベクトルのモジュールの和を計算することは、
前記k個の方向のうちの各方向について、該方向に分解されたモジュール要素の値の和を求め、該方向の勾配ベクトルのモジュールの和とすることを含む、方法。
【０１０４】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2020205035.tif 000011
【図２】
2020205035.tif 000012
【図３】
2020205035.tif 000013
【図４】
2020205035.tif 000014
【図５】
2020205035.tif 000015
【図６】
2020205035.tif 000016
【図７】
2020205035.tif 000017
【図８】
2020205035.tif 000018
【図９】
2020205035.tif 000019
【図１０】
2020205035.tif 000020