(57)【要約】【課題】  本発明は改善されたFaster R-CNNアルゴリズムにより複雑な交通環境におけるターゲット検出に達成し、安全運転支援機能を提供する深層学習に基づく車載ビデオターゲット検出方法を開示する。【解決手段】  従来のターゲット追跡アルゴリズムに小さなターゲットの検出漏れが重大に存在するが、本発明は深層情報チャンネルを追加して元のカラー画像チャンネルと並行して接続し、チャンネル次元で融合を行い、融合済特徴画像で候補ボックスの抽出及びターゲット検出を行い、小さなターゲットの検出率を向上させ、訓練で難しいサンプルに対する訓練を追加し、アルゴリズムの全体的なターゲット認識率を向上させる。本発明は充分にFaster R-CNNアルゴリズムに存在する小さなターゲットの検出漏れを考慮し、深層の画像特徴融合及び難しいサンプルの掘り出し方法により複雑な交通シーンにおける車認識の正確率を向上させることができる。【選択図】図１
2021530062.tif 000002
【特許請求の範囲】
【請求項１】
下記のステップを含むことを特徴とする深層学習に基づく車載ビデオターゲット検出方法：
ステップ1）深層座標の下のピクセルをカラー座標の下に合わせ、深層画像及びカラー画像を各々CNNにより特徴抽出を行い、各々の畳み込み層が出力したフィーチャーマップをチャンネル次元で直列接続融合を行って最終的RGB-D特徴を取得して畳み込み以降の畳み込み特徴マッピングにし、
領域提案ネットワークRPNを作成し、前記の領域提案ネットワークRPNは3×3の畳み込み層の1つ及び1×1の並行畳み込み層の2つを含み、融合済畳み込み特徴マッピングを3×3の畳み込み層に入力し、入力した特徴マッピングでピクセル単位でプリセットしたサイズのネットワークをスライドさせると、各スライド箇所に所定寸法のアンカーポイントが生じ、
生じたアンカーポイントを1×1の並行畳み込み層の2つに入力して位置復帰及び前後シーンの判断を行い、各々アンカーポイントの前後シーン信頼度及びすべての候補ボックス位置を出力し、プリセットした条件に従って取得した矩形候補ボックスから所定条件を満たすプリセットした数のゾーンを抽出し、最終的ゾーンの提案コレクションCを取得し、
ステップ2）Fast  R-CNNモデルを作成し、
前記のFast R-CNNモデルはROIプーリングレイヤーの2つ、完全に接続されたレイヤーの1つ及び完全に並行して接続されたレイヤーの2つからなり、各々当該ゾーンの信頼度及びフレーム復帰済候補ボックス位置を出力し、融合済畳み込み特徴をFast  R-CNNモデルに入力し、画像におけるターゲットの位置種類及び信頼度を出力し、
ステップ3）RPNネットワークを訓練するコスト関数及びFast  R-CNNネットワークを訓練するコスト関数を作成し、
ステップ4）スタンダードZFモデル訓練及び微調整ネットワークの各パラメータにより設定した標準偏差のゼロ平均ガウス分布から重みを抽出してランダムにすべての新規レイヤーの初期化を行い、
ステップ5）逆伝播アルゴリズム、確率的勾配降下アルゴリズム及びネットワークのRPNとFast R-CNNに対する交替訓練によりモデルに対する訓練を行い、プリセットしたパラメータにより順序にレイヤーごとのニューラルネットワークの重みを調整し、
ステップ6）事前に取得した訓練コレクションにより大体に訓練しておいたFaster  R-CNNモデルをテストし、難しいサンプルの判断式により難しいサンプルを選出し、
ステップ7）ステップ6で生じた難しいサンプルを訓練コレクションに入れ、ネットワークに対する再訓練を行い、ステップ5〜7を繰り返して最適なFaster  R-CNNモデルを取得し、
ステップ8）実際に採集した車載ビデオ画像を処理し、訓練しておいたFaster  R-CNNモデルに入力し、当該画像におけるターゲット種類、信頼度及びターゲット位置を出力する。
【請求項２】
前記のステップ2に記載のRGB-D特徴はRPNとFast  R-CNNが共有する畳み込み特徴マッピングとしてマトリックス形式が下記であることを特徴とする請求項1に記載の深層学習に基づく車載ビデオターゲット検出方法。
2021530062.tif 000005
その中、
i、j、k：中間変数
i〜［０，ｈ‐１］、j〜［０，ｗ‐１］、ｋ〜［０，２ｃ‐１］、
h：フィーチャーマップの高さ
w：フィーチャーマップの幅
c：RGBのチャンネルの3つ
ＹRGB（ｉ，ｊ，ｋ）：チャンネル直列接続済画像特徴
Ｙdepth（ｉ，ｊ，ｋ‐ｃ）：カラー画像特徴
Ｙmerge（ｉ，ｊ，ｋ）：深層画像特徴
【請求項３】
前記のRPNネットワークを訓練するコスト関数が下記であることを特徴とする請求項1に記載の深層学習に基づく車載ビデオターゲット検出方法。
2021530062.tif 000006
その中、
較正された真実なデータとの引渡し率最大または少なくとも0.7にあるアンカーポイントを正サンプルに表示する。
Ｐi：想定信頼度
Ｐi*：ラベル値、1である場合に正サンプル、0である場合に負サンプルを表す。
ｉ：アンカーポイントの索引
Ｎcls：アンカーポイント総数
Ｎreg：正サンプルの数
ｔi：想定アンカーポイントバウンディングボックスの補正値
ｔi*：実際のアンカーポイントバウンディングボックスの補正値
Ｌcls：分類コスト
Ｌreg：フレーム復帰コスト
λ：バランスウェイト
【請求項４】
前記のFast  R-CNNネットワークを訓練するコスト関数が下記であることを特徴とする請求項1に記載の深層学習に基づく車載ビデオターゲット検出方法。
2021530062.tif 000007
その中、
u： u類目
ｔu：u類目のフレーム復帰想定補正値
v：実際の補正値
Ｌreg：フレーム復帰コスト
ｐ：分類想定結果
【請求項５】
前記のステップ6で、前記の難しいサンプル判別関数が下記であることを特徴とする請求項1に記載の深層学習に基づく車載ビデオターゲット検出方法。
2021530062.tif 000008
その中、
LIoU：フレーム誤差
Ｌscore：分類誤差
o：サンプルとターゲットとの交差率
ｋ：しきい値に対する感度係数
oとpの値の範囲：0〜1
【請求項６】
ステップ5）の具体的なステップが下記であることを特徴とする請求項1に記載の深層学習に基づく車載ビデオターゲット検出方法：
（1）逆伝播アルゴリズム及び確率的勾配アルゴリズムによりRPNモデルを訓練し、この段階を80000回に重複し、
（2）RPNに生成した候補ボックスをFast R-CNNの入力にし、独立した訓練を行い、この段階を40000回に重複し、
（3）（2）における結果によりRPNネットワークの構成の初期化を行い、共有畳み込み層（共有畳み込み層の学習率を0にする）を固定し、RPNネットワークのパラメータを更新し、この段階を80000回に重複し、
（4）共有畳み込み層（共有畳み込み層の学習率を0にする）を固定し、Fast R-CNNネットワークの構成を微調整し、その完全に接続されたレイヤー的パラメータを更新し、この段階を40000回に重複する。
【請求項７】
ステップ5）におけるパラメータ設定はネットワーク初期学習率を0.01、最低学習率を0.0001、勢いを0.9、重み減衰係数を0.0005、Dropout値を0.5に設定することを含むことを特徴とする請求項1に記載の深層学習に基づく車載ビデオターゲット検出方法。
【請求項８】
事前に訓練コレクション及びテストコレクションを取得する方法は下記のステップを含むことを特徴とする請求項1に記載の深層学習に基づく車載ビデオターゲット検出方法：
KITTIデータコレクションにより訓練サンプルコレクション及びテストサンプルコレクションを作成し、
PASCAL VOCフォーマットによりKITTIの種類を転換し、KITTIデータコレクションを車、歩行者及び交通という3種に分け、
ラベル情報を転換し、ラベルファイルをtxtからxmlに転換し、ラベルにおける他の情報を削除し、3種のみを保留し、最後に、訓練検証コレクション及びテストコレクションを生成する。
【請求項９】
所定条件を満たすプリセットした数のゾーンを選出する方法が下記であることを特徴とする請求項1に記載の深層学習に基づく車載ビデオターゲット検出方法：
取得した矩形候補ボックスをsoftmaxの得点により降順で並べ替え、トップ2000ゾーンを保留し、更に非最大値抑制アルゴリズムにより見込み信頼度が一番高いトップ所定数のゾーンを選出する。
【請求項１０】
ステップ4に記載の設定した標準偏差が0.01であることを特徴とする請求項1に記載の深層学習に基づく車載ビデオターゲット検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は深層学習に基づく車載ビデオターゲット検出方法に関わり、ビデオ画像処理技術分野に属する。
【背景技術】
【０００２】
運転中に、車前の車、歩行者及び他の障害物に対するターゲット検出及び追跡を行い、それにより前車の行動に対する分析を行うのは安全運転支援システムの基礎である。従来のターゲット検出方法は主なステップとして、ターゲット特徴の抽出、該当する分類子に対する訓練、ウィンドウのスライドによる検索、重複及び誤検知フィルタリングが普通である。このようなターゲット検出はスライディングウィンドウ選択策略に焦点がなく、タイミングの複雑さが高く、ウィンドウが冗長性につながり、手作りデザインの特徴の堅牢性が下手であり、分類子が信頼できないと同時に、需要に応じて有効な特徴を学習して個別検出を完成するように柔軟にデータを訓練できない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は従来の技術の前記の不足を解決して深層学習に基づく車載ビデオターゲット検出方法を提供することを目的にする。
【課題を解決するための手段】
【０００４】
上記の目的を達成するために、本発明は以下の技術的解決策を採用する。
【０００５】
深層学習に基づく車載ビデオターゲット検出方法は下記のステップを含む。
【０００６】
ステップ1）深層座標の下のピクセルをカラー座標の下に合わせ、深層画像及びカラー画像を各々CNNにより特徴抽出を行い、各々の畳み込み層が出力したフィーチャーマップをチャンネル次元で直列接続融合を行って最終的RGB-D特徴を取得して畳み込み以降の畳み込み特徴マッピングにする。
【０００７】
ステップ2）領域提案ネットワークRPNを作成する。前記の領域提案ネットワークRPNは3×3の畳み込み層の1つ及び1×1の並行畳み込み層の2つを含む。融合済畳み込み特徴マッピングを3×3の畳み込み層に入力し、入力した特徴マッピングでピクセル単位でプリセットしたサイズのネットワークをスライドさせると、各スライド箇所に所定寸法のアンカーポイントが生じる。
【０００８】
生じたアンカーポイントを1×1の並行畳み込み層の2つに入力して位置復帰及び前後シーンの判断を行い、各々アンカーポイントの前後シーン信頼度及びすべての候補ボックス位置を出力しプリセットした条件に従って取得した矩形候補ボックスから見込み信頼度が一番高いトップ所定数のゾーンを選出し、最終的ゾーンの提案コレクションCを取得する。
【０００９】
Fast  R-CNNモデルを作成する。前記のFast  R-CNNモデルはROIプーリングレイヤーの2つ、完全に接続されたレイヤーの1つ及び完全に並行して接続されたレイヤーの2つからなり、各々当該ゾーンの信頼度及びフレーム復帰済候補ボックス位置を出力する。融合済畳み込み特徴をFast R-CNNモデルに入力し、画像におけるターゲットの位置種類及び信頼度を出力する。
【００１０】
ステップ3）RPNネットワークを訓練するコスト関数及びFast  R-CNNネットワークを訓練するコスト関数を作成する。
【００１１】
ステップ4）スタンダードZFモデル訓練及び微調整ネットワークの各パラメータにより設定した標準偏差のゼロ平均ガウス分布から重みを抽出してランダムにすべての新規レイヤーの初期化を行う。
【００１２】
ステップ5）逆伝播アルゴリズム、確率的勾配降下アルゴリズム及びネットワークのRPNとFast R-CNNに対する交替訓練によりモデルに対する訓練を行い、プリセットしたパラメータにより順序にレイヤーごとのニューラルネットワークの重みを調整する。
【００１３】
ステップ6）事前に取得した訓練コレクションにより大体に訓練しておいたFaster  R-CNNモデルをテストし、難しいサンプルの判断式により難しいサンプルを選出する。
【００１４】
ステップ7）ステップ6）で生じた難しいサンプルを訓練コレクションに入れ、ネットワークに対する再訓練を行い、ステップ5〜7を繰り返して最終に最適なFaster  R-CNNモデルを取得する。
【００１５】
ステップ8）実際に採集した車載ビデオ画像を処理し、訓練しておいたFaster  R-CNNモデルに入力し、当該画像におけるターゲット種類、信頼度及びターゲット位置を出力する。
【発明の効果】
【００１６】
本発明の効果は以下のとおりである。
【００１７】
第一、本発明提案に基づく畳み込みニューラルネットワークモデルに基づいて、深層情報補完に基づくターゲット検出モデルを提出し、改善されたFaster  R-CNN深層情報チャンネルを追加し、カラー画像及び深層画像を各々同じ構成のCNNにより特徴抽出を行い、CNNの2つについて並行して接続した構成を採用し、元のカラー画像特徴マッピングを深層画像特徴マッピングと直列接続融合を行って最終的画像特徴を取得する。従来のアルゴリズムと比べてみると、本発明による画像特徴が更に豊かであり、車の細部関係の情報を補充し、時間コスト上昇の恐れがなく、複雑なシーンにおけるターゲット検出を向上させることの需要を満たすことができる。
【００１８】
第二、本発明は訓練段階に難しいサンプルの掘り出し策略を追加したので、モデルが元より更に難しいサンプルに注意をはらい、更によく車及び疑似車の背景を区分し、正確性向上の目的に達成できる。
【００１９】
第三、本発明は共有畳み込みネットワークにより提案候補ボックスを抽出するFaster  R-CNNアルゴリズムがリアルタイムで顕著に向上したものである。このアルゴリズムは従来のゾーン提案アルゴリズムを放棄し、深層ネットワークにおける畳み込み層により候補ボックスを抽出するので、大量に時間コストを削減できるものである。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施例のプロセスチャート。
【図２】本発明の実施例の改善されたFaster R-CNアルゴリズムの訓練プロセスチャート。
【発明を実施するための形態】
【００２１】
次に図と合わせて本発明について更に説明する。下記の実施例は更にはっきりして本発明の技術的な解決策について説明するためのものだけであり、本発明の保護範囲を制限するものではない。
【００２２】
本発明は深層学習に基づく車載ビデオターゲット検出方法を提供することを目的にし、Faster  R-CNNの上、深層画像の特徴マッピングを追加して車の細部関係の情報を補充し、抽出カラー画像の特徴と同じ畳み込みニューラルネットワークを採用し、カラー画像チャンネル及び深層画像チャンネルを並行して接続した構成にし、抽出した特徴が直列接続融合を行われて最終的RGB-D特徴を取得して、訓練に難しいサンプル掘り出しの策略を追加し、複雑な交通シーンにおける小さなターゲット及び難しいターゲットに対するアルゴリズムによる検出の正確性を向上させる。
【００２３】
図1は本発明の方法の実施例のプロセスチャートである。
【００２４】
本発明を実施する際に当たり事前に取得した訓練コレクションサンプルコレクション及びテストコレクションサンプルに基づいてもいいし、需要に応じて訓練コレクション及びテストコレクションを作成してもいい。本実施例で、KITTIデータコレクションにより訓練サンプルコレクション及びテストサンプルコレクションを作成する場合、下記のステップ1を含む。即ち、PASCAL  VOCデータコレクションのフォーマット及び評価アルゴリズム工具を利用する。先ず、KITTIの種類を転換する。PASCAL  VOCは20種あり、都市の交通シーンで重要な検出対象が車、歩行者及び交通標識であるので、データコレクションを前記の3種に分ける。次に、ラベル情報を転換する。ラベルファイルをtxtからxmlに転換し、ラベルにおける他の情報を削除し、3種のみを保留する。最後に、訓練検証コレクション及びテストコレクションを生成する。
【００２５】
図1の通りに、本発明による方法は下記のステップを含む。
【００２６】
ステップ2）領域提案ネットワーク（Regional  Proposal  Network,RPN）及びFast  R-CNNネットワークを整合した改善されたFaster  R-CNNモデルを作成する。
【００２７】
2.1）畳み込みニューラルネットワーク（Convolutional  Neural  Networks,CNN）
【００２８】
先ず、深層座標の下のピクセルをカラー座標の下に合わせ、CNNについてZFモデルで特徴が抽出されたネットワークを選択し、構成が同じCNNの2つを並行して接続する（元のカラー画像チャンネルはチャンネル1、並行して接続した深層画像チャンネルはチャンネル2である）。画像の2種がCNN特徴により抽出されてから、フィーチャーマップはサイズがともにhwc（ここで、h、wは各々フィーチャーマップの高さ及び幅を表し、cはRGBのチャンネルの3つである）である。カラー画像特徴及び深層画像特徴はチャンネルの2つとして特徴融合を行い、融合済フィーチャーマップはサイズが2hwc である。
【００２９】
2.2）領域提案ネットワークRPNは3×3の畳み込み層の1つ及び1×1の並行畳み込み層の2つを含む。
【００３０】
融合済畳み込み特徴マッピングを3×3の畳み込み層に入力し、入力した特徴マッピングでピクセル単位で小さなネットワークをスライドさせる。本実施例では各々寸法の3つ及びアスペクト比の3つを採用する場合、各スライド箇所に異なる寸法のアンカーポイントのk=3×3=9個が生じ、アンカーポイントの計hwk個が生じ、矩形候補ボックスのhwk個を取得する。
【００３１】
1×1の並行畳み込み層の2つは上層のアンカーポイント位置復帰及び前後シーンに対する判断を行い、各々アンカーポイントの前後シーン信頼度及び候補ボックス位置を出力する。候補ボックス位置は候補ボックス中心点座標のx、y、幅w’及び高さh’というパラメータの4つを含む。
【００３２】
2.2）2.1）で取得した矩形候補ボックスに対してプリセットした条件に従ってプリセットした条件を満たす予定数のゾーンを選出する。本実施例では、取得した矩形候補ボックスに対してsoftmaxの得点により降順で並べ替え、トップ2000ゾーンを保留し、更に非最大値抑制アルゴリズム（Non-Maximum Suppression、NMS）により見込み信頼度が一番高いゾーンのトップ300を選出し、最終的ゾーンの提案コレクションCを取得する。
【００３３】
2.3）Fast  R-CNNはROIプーリングレイヤーの2つ、完全に接続されたレイヤーの1つ及び完全に並行して接続されたレイヤーの2つからなり、各々当該ゾーンの信頼度及びフレーム復帰済候補ボックス位置を出力する。
【００３４】
ROIプーリングレイヤーはゾーンの提案コレクションCと融合済畳み込み特徴マッピングに対するプーリング操作を行い、入力したイメージによりROIを特徴マッピングの対応位置にマッピングし、マッピング済ゾーンを同一のサイズのセクションに分け、各セクションに対して最大プーリング操作を行う。
【００３５】
完全に接続されたレイヤーはROIプーリングレイヤーの出力結果を併合し、最後に完全に並行して接続されたレイヤーの2つを入力し、候補ボックスに対してゾーン分類及びフレーム復帰を行い、画像におけるターゲットの位置及その種類、信頼度を出力する。
【００３６】
ステップ3）RPNネットワークを訓練するコスト関数及びFast  R-CNNネットワークを訓練するコスト関数を作成する。
【００３７】
本実施例では、RPNネットワークを訓練するコスト関数は下記である。
【００３８】
【数１】
2021530062.tif 000003
その中、
アンカーポイントとground  truth(即ち較正された真実なデータ)との引渡し率（Intersection  over  Union、IoU）最大または少なくとも0.7にある正サンプルに表示する。
Ｐi：想定信頼度
Ｐi*：ラベル値、1である場合に正サンプル、0である場合に負サンプルを表し、ｉはアンカーポイントの索引である。
Ｎcls：アンカーポイント総数
Ｎreg：正サンプルの数
ｔi：想定アンカーポイントバウンディングボックスの補正値
ｔi*：実際のアンカーポイントバウンディングボックスの補正値
Ｌcls：分類コスト
Ｌreg：フレーム復帰コスト
λ：バランスウェイト
【００３９】
本実施例では、Fast  R-CNNネットワークを訓練するコスト関数は下記である。
【００４０】
【数２】
2021530062.tif 000004
その中、
u：u類目
ｔu：u類目のフレーム復帰想定補正値
v：実際の補正値
Ｌcls：分類コスト
Ｌreg：フレーム復帰コスト
λ：バランスウェイト
【００４１】
ステップ4）スタンダードZFモデル訓練及び微調整ネットワークの各パラメータにより設定した標準偏差のゼロ平均ガウス分布から重みを抽出してランダムにすべての新規レイヤーの初期化を行う。
【００４２】
ステップ5）逆伝播アルゴリズム、確率的勾配降下アルゴリズム及びネットワークのRPNとFast  R-CNNに対する交替訓練によりモデルに対する訓練を行い、順序にレイヤーごとのニューラルネットワークの重みを調整し、ネットワーク初期学習率を0.01、最低学習率を0.0001、勢いを0.9、重み減衰係数を0.0005、Dropout値を0.5に設定する。具体的なステップは下記である。
【００４３】
（1）逆伝播アルゴリズム及び確率的勾配アルゴリズムによりRPNモデルを訓練し、この段階を80000回に重複する。
【００４４】
（2）RPNに生成した候補ボックスをFast  R-CNNの入力にし、独立した訓練を行い、この段階を40000回に重複する。
【００４５】
（3）（2）における結果によりRPNネットワークの構成の初期化を行い、共有畳み込み層（共有畳み込み層の学習率を0にする）を固定し、RPNネットワークのパラメータを更新し、この段階を80000回に重複する。
【００４６】
（4）共有畳み込み層（共有畳み込み層の学習率を0にする）を固定し、Fast  R-CNNネットワークの構成を微調整し、その完全に接続されたレイヤー的パラメータを更新し、この段階を40000回に重複する。
【００４７】
ステップ6）訓練コレクションにより大体に訓練しておいたFaster  R-CNNモデルをテストし、本発明の難しいサンプル判別式により難しいサンプルを選出する。
【００４８】
ステップ7）ステップ6）で生じた難しいサンプルを訓練コレクションに入れ、ネットワークに対する再訓練を行い、ステップ5を繰り返してネットワークの難しいサンプルに対する判別力を強化し、最終に最適なFaster  R-CNNモデルを取得する。訓練の過程について図2を参照できる。
【００４９】
ステップ8）実際に採集した車載ビデオ画像を処理し、訓練しておいたFaster  R-CNNモデルに入力し、当該画像におけるターゲット種類、信頼度及びターゲット位置を出力する。
【００５０】
本発明は充分にFaster  R-CNNアルゴリズムに存在する小さなターゲットの検出漏れを考慮し、深層の画像特徴融合及び難しいサンプルの掘り出し方法により複雑な交通シーンにおける車認識の正確率を向上させる。
【００５１】
本発明で使用する畳み込みニューラルネットワークに基づくターゲット検出アルゴリズムは柔軟にデータを訓練する場合に需要に応じて有効な特徴を学習して個別検出を完成できる。R-CNNアルゴリズムは候補ボックス提案と畳み込みニューラルネットワークが結び合わせたターゲット検出アルゴリズムであり、ゾーン提案アルゴリズムが生じた多数の提案候補ボックス及び高い時間コストにより、リアルタイム性及び正確性で改善の余地がまだ大きい。共有畳み込みネットワークにより提案候補ボックスを抽出するFaster  R-CNNアルゴリズムはリアルタイムで顕著に向上したものであり、従来のゾーン提案アルゴリズムを放棄し、深層ネットワークにおける畳み込み層により候補ボックスを抽出するので、大量に時間コストを削減できるが、小さなターゲットが多く、複雑なシーンでは、検出漏れが顕著であるので、改善の余地がまだ大きいである。
【００５２】
上記のものが本発明の好ましい実施形態だけであるので、本技術分野の普通の技術者にとって、本発明の技術原理を離れない前提で若干の改善または変形を行うことができ、該当する改善でも変形でも本発明の保護範囲にある。
【図１】
2021530062.tif 000009
【図２】
2021530062.tif 000010
【国際調査報告】
2021530062.tif 000011
2021530062.tif 000012
2021530062.tif 000013
2021530062.tif 000014