(57)【要約】道路オブジェクトの暗視赤外画像に対して、まずＧＢＶＳモデル（グラフ理論に基づく画像顕著性解析アルゴリズム）を用いて局所コントラストに基づく顕著性領域の粗抽出を行い、暗視赤外画像の顕著性画像ＣＣを取得するステップＳ１と、超複素周波数領域のスペクトルスケール空間に基づく方法を用いて、全体的特徴に基づいて、顕著性画像ＣＣに対して顕著性領域の再抽出を実行し、暗視赤外画像の顕著性画像ＺＺを取得するステップＳ２と、全体および局所の情報の融合に基づく顕著性抽出方法を用いて、顕著性画像ＺＺに対して全体および局所の情報の融合を行うことで、顕著性画像ＡＡを取得するステップＳ３と、を備える。【選択図】図１
2019523509.tif 000002
【特許請求の範囲】
【請求項１】
道路オブジェクトの暗視赤外画像に対して、まずＧＢＶＳモデル（グラフ理論に基づく画像顕著性解析アルゴリズム）を用いて局所コントラストに基づく顕著性領域の粗抽出を行い、暗視赤外画像の顕著性画像ＣＣを取得するステップＳ１と、
超複素周波数領域のスペクトルスケール空間に基づく方法を用いて、全体的特徴に基づいて、顕著性画像ＣＣに対して顕著性領域の再抽出を実行し、暗視赤外画像の顕著性画像ＺＺを取得するステップＳ２と、
全体および局所の情報の融合に基づく顕著性抽出方法を用いて、顕著性画像ＺＺに対して全体および局所の情報の融合を行うことで、顕著性画像ＡＡを取得するステップＳ３と、
を備えることを特徴とする、暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法。
【請求項２】
前記ステップＳ２における、超複素周波数領域のスペクトルスケール空間に基づく方法を用いて、全体的特徴に基づいて、顕著性画像ＣＣに対して顕著性領域の再抽出を実行することは、
顕著性画像ＣＣの赤と緑と青の３つの成分を組合せて計算することで、顕著性画像ＣＣの３つの特徴図Ｕ、ＲＧ、ＢＹを取得するステップＳ２．１と、
特徴図Ｕ、ＲＧ、ＢＹを整合することで、計算により顕著性画像ＣＣの超複素行列ｆ（ｘ，ｙ）を取得するステップＳ２．２と、
超複素行列ｆ（ｘ，ｙ）に対して超複素フーリエ変換を行い、その後、顕著性画像ＣＣの振幅スペクトルＡ、位相スペクトルｐ、特性軸スペクトルｋｋを算出するステップＳ２．３と、
振幅スペクトルＡに対して畳み込みを行うことで、顕著性画像ＣＣのスペクトルスケール空間｛ＡＡｋ｝を取得するステップＳ２．４と、
顕著性画像ＣＣのスペクトルスケール空間｛ＡＡｋ｝に基づいて、計算により顕著性画像ＣＣの顕著図列｛Ｚｉ｝を取得するステップＳ２．５と、
最大分散に基づく原理を用いて、顕著図列｛Ｚｉ｝から選んだ一つの顕著図列を暗視赤外画像の顕著性画像ＺＺとするステップＳ２．６と、
を備えることを特徴とする請求項１に記載の暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法。
【請求項３】
前記ステップＳ３における、全体および局所の情報の融合に基づく顕著性抽出方法を用いて、顕著性画像ＺＺに対して全体および局所の情報の融合を行うことで、顕著性画像ＡＡを取得することは、
スーパーピクセルセグメンテーションの方法を用いて、顕著性画像ＺＺを複数の小画像領域に分割するステップＳ３．１と、
全体コントラストに基づいてステップＳ３．１における複数の小画像領域に対して計算を行い、顕著性画像ＺＺの低レベルモデルの顕著性画像を取得するステップＳ３．２と、
閾値分割の方法に従って顕著性画像ＺＺの低レベルモデルの顕著性画像を処理することで、顕著性画像ＺＺの高レベルモデルの背景のコーディング辞書ＢＣおよび高レベルモデルの顕著性オブジェクトのコーディング辞書ＦＣを取得するステップＳ３．３と、
顕著性画像ＺＺの高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像ｐｇ（ｗｉ）を算出するステップＳ３．４と、
顕著性画像ＺＺの高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像とを融合することで、顕著性画像ＺＺの高レベルモデルの顕著性画像を取得するステップ３．５と、
顕著性画像ＺＺの低レベルモデルの顕著性画像と、高レベルモデルの顕著性画像とを融合することで、最終の顕著性画像ＡＡを取得するステップＳ３．６と、を備えることを特徴とする請求項１に記載の暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法。
【請求項４】
前記ステップＳ２．２における超複素行列ｆ（ｘ，ｙ）の数式は、式（４）になり、
【数１】
2019523509.tif 000020
ここで、
【数２】
2019523509.tif 000021
は、それぞれ３次元直交座標系におけるｘ、ｙ、ｚ軸と同じ方向の単位ベクトルであることを特徴とする請求項２に記載の暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法。
【請求項５】
前記ステップＳ２．３におけるスペクトルＡの数式は、Ａ＝｜Ｆ（ｆ（ｘ，ｙ））｜になり、ここで、｜｜は振幅を求めることを表し、Ｆ（）は超複素フーリエ変換を表すことを特徴とする請求項２に記載の暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法。
【請求項６】
前記ステップＳ２．５における顕著図列｛Ｚｉ｝の数式は、Ｚｉ＝ｇ＊｜Ｆ−１｛ＡＡｋ（ｘ，ｙ）ｅｋｋ×ｐ（ｘ，ｙ）｝｜２になり、ここで、位相スペクトルｐはｐ＝φ（Ｆ（ｆ（ｘ，ｙ）））であり、特性軸スペクトルｋｋは（式９）になり、
【数３】
2019523509.tif 000022
｜｜は振幅を求めることを表し、Ｆ（）は超複素フーリエ変換を表し、φ（）は位相を表し、ｇはガウスカーネルを表し、＊は畳み込みを表し、×は乗積を表し、Ｆ−１は逆フーリエ変換を表し、ｖ（）はフーリエ変換後のベクトル部分を表し、｜｜  ｜｜はベクトルモジュールを求めることを表すことを特徴とする請求項２に記載の暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法。
【請求項７】
前記ステップＳ３．３における高レベルモデルの背景のコーディング辞書ＢＣと高レベルモデルの顕著性オブジェクトのコーディング辞書ＦＣの閾値分割原則は、ＢＣ＝ｗｉ（ｉｆ  Ｐｄ（ｗｉ）＜λ１）、ＦＣ＝ｗｉ（ｉｆ  Ｐｄ（ｗｉ）＞λ２)になり、ここで、λ１は背景のコーディングにおいて選択した閾値であり、λ２は顕著性オブジェクトのコーディングにおいて選択した閾値であることを特徴とする請求項３に記載の暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法。
【請求項８】
前記ステップＳ３．４における顕著性画像ＺＺの高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像の計算過程は、コンピュータにより懲罰的な考慮と正規化との間のバランス係数μをランダムに選択し、式（１３）を満たし、
【数４】
2019523509.tif 000023
ここで、ｂｂiは式（１４）になり、
【数５】
2019523509.tif 000024
局所アダプタｄｄｗｉは式（１５）になり、
【数６】
2019523509.tif 000025
Ｕｉは暗視赤外画像に対する説明であり、Ｄはコーディング辞書であり、。は乗算要素であり、ｃｃｉは共分散行列であり、λは正規化係数であり、×は乗積であり、ｔｒ（ｃｃｉ）は行列ｃｃｉの対角要素の和であり、Ｈｎはコーディング辞書のベクトルであり、ｎはコーディング辞書における要素の数であり、αはアダプタの重み係数であり、ｄｉｓｔ（Ｕｉ，Ｈｎ）はＵｉとＨｎの間のユークリッド距離である場合、高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像ｐｇ（ｗｉ）は、式（１６）になる
【数７】
2019523509.tif 000026
ことを特徴とする請求項３に記載の暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマシンビジョンの分野に属し、特に、暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法に関するものである。
【背景技術】
【０００２】
視覚的顕著性メカニズムは、複雑な道路シーンにおいて運転の安全性に大きな影響を与える顕著性領域の抽出に用いられ、コンピュータビジョンの後処理に基盤を築き、コンピュータビジョンの後続処理の有効性と効率を改善した。複雑な道路情勢に対して、すべてのコンテンツをコンピュータビジョンによって処理する場合は、コンピュータによるデータ処理量は非常に大きくなり、処理効率も非常に低くなる。したがって、研究者は人間の視覚システムにおける視覚的注意メカニズムに触発され、マシンビジョンも人間の視覚システムのように原始入力データに対して一度スクリーニングすることによって、後処理の計算量を減らし、その効率を改善することが望まれる。したがって、マシンビジョンの視覚的顕著性モデルが提案された。
【０００３】
視覚的顕著性は神経生理学および心理学の概念であり、各国の神経生理学者および心理学者は、人間の視覚系の注意力を説明するための様々なモデルを提案してきた。例えば、人間の視覚的注意メカニズムの効率的なデータスクリーニング能力をシミュレートするための周辺−中心神経抑制メカニズムなどが提案され、それに伴い、各国の研究者は如何にしてマシンビジョンにも人間の視覚的顕著性のようなデータスクリーニング能力を与えられるのかと言う問題に対して、幅広く研究を行なっている。
【０００４】
中国特許（ＣＮ１０２９９９９２６Ａ）には、基礎的特徴融合に基づく画像視覚的顕著性計算方法が開示された。この方法は、色やテクスチャ等の基礎的特徴を融合して顕著性区域を取得するものであるが、それは基礎的特徴に基づくのみで、高レベルの特徴を考慮していないため、顕著性抽出の精度が低い。中国特許（ＣＮ１０３０２０９９３Ａ）には、デュアルチャンネルカラーコントラストフュージョンによる視覚的顕著性検出方法が開示された。この方法は、スーパーピクセル法を用いて色の特徴値を計算し、得られた色の特徴量に基づいて顕著性画像を取得するものであるが、時間領域のみで処理を行い、色の特徴のみに基づき、周波数領域の顕著性を考慮していないため、顕著性領域の抽出が全面的でない。上記の方法は、顕著性領域の抽出過程においてそれぞれ上記のような欠点があり、処理されるのは自然状態の原画像であって、原画像に対応する暗視赤外画像を処理することは考慮していないため、夜道シーンにおける検出は精度が低くなり、背景環境における光の干渉を受けやすく、顕著性オブジェクトのアウトラインの明確さが不十分であるという欠点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明によれば、オリジナルの可視光画像に対応する暗視赤外画像を処理することにより、夜間のオリジナル可視光画像における非顕著性の背景環境におけるライトの影響を回避し、それによって夜間の道路シーンにおける顕著性オブジェクトの抽出精度を向上させる。
【０００６】
従来技術の欠点に対して、本発明は、暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法を提案し、既存の視覚注意モデルが夜道シーンにおけるオブジェクト検出の正解率が低く、自然風景において非顕著性領域からの干渉を受けやすく、夜間道路画像におけるライトの影響を受けやすく、顕著性オブジェクトのアウトラインがはっきりしないなどの問題を解決することができる。
【課題を解決するための手段】
【０００７】
本発明は、以下の技術手段により上記技術目的を達成する。
【０００８】
本発明による暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法は、道路オブジェクトの暗視赤外画像に対して、まずＧＢＶＳモデル（グラフ理論に基づく画像顕著性解析アルゴリズム）を用いて局所コントラストに基づく顕著性領域の粗抽出を行い、暗視赤外画像の顕著性画像ＣＣを取得するステップＳ１と、超複素周波数領域のスペクトルスケール空間に基づく方法を用いて、全体的特徴に基づいて、顕著性画像ＣＣに対して顕著性領域の再抽出を実行し、暗視赤外画像の顕著性画像ＺＺを取得するステップＳ２と、全体および局所の情報の融合に基づく顕著性抽出方法を用いて、顕著性画像ＺＺに対して全体および局所の情報の融合を行うことで、顕著性画像ＡＡを取得するステップＳ３と、を備える。
【０００９】
さらに、前記ステップＳ２における、超複素周波数領域のスペクトルスケール空間に基づく方法を用いて、全体的特徴に基づいて、顕著性画像ＣＣに対して顕著性領域の再抽出を実行することは、顕著性画像ＣＣの赤と緑と青の３つの成分を組合せて計算することで、顕著性画像ＣＣの３つの特徴図Ｕ、ＲＧ、ＢＹを取得するステップＳ２．１と、特徴図Ｕ、ＲＧ、ＢＹを整合することで、計算により顕著性画像ＣＣの超複素行列ｆ（ｘ，ｙ）を取得するステップＳ２．２と、超複素行列ｆ（ｘ，ｙ）に対して超複素フーリエ変換を行い、その後、顕著性画像ＣＣの振幅スペクトルＡ、位相スペクトルｐ、特性軸スペクトルｋｋを算出するステップＳ２．３と、振幅スペクトルＡに対して畳み込みを行うことで、顕著性画像ＣＣのスペクトルスケール空間｛ＡＡｋ｝を取得するステップＳ２．４と、顕著性画像ＣＣのスペクトルスケール空間｛ＡＡｋ｝に基づいて、計算により顕著性画像ＣＣの顕著図列｛Ｚｉ｝を取得するステップＳ２．５と、最大分散に基づく原理を用いて、顕著図列｛Ｚｉ｝から選んだ一つの顕著図列を暗視赤外画像の顕著性画像ＺＺとするステップＳ２．６と、を備える。
【００１０】
さらに、前記ステップＳ３における、全体および局所の情報の融合に基づく顕著性抽出方法を用いて、顕著性画像ＺＺに対して全体および局所の情報の融合を行うことで、顕著性画像ＡＡを取得することは、スーパーピクセルセグメンテーションの方法を用いて、顕著性画像ＺＺを複数の小画像領域に分割するステップＳ３．１と、全体コントラストに基づいてステップＳ３．１における複数の小画像領域に対して計算を行い、顕著性画像ＺＺの低レベルモデルの顕著性画像を取得するステップＳ３．２と、閾値分割の方法に従って顕著性画像ＺＺの低レベルモデルの顕著性画像を処理することで、顕著性画像ＺＺの高レベルモデルの背景のコーディング辞書ＢＣおよび高レベルモデルの顕著性オブジェクトのコーディング辞書ＦＣを取得するステップＳ３．３と、顕著性画像ＺＺの高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像ｐｇ（ｗｉ）を算出するステップＳ３．４と、顕著性画像ＺＺの高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像とを融合することで、顕著性画像ＺＺの高レベルモデルの顕著性画像を取得するステップＳ３．５と、顕著性画像ＺＺの低レベルモデルの顕著性画像と、高レベルモデルの顕著性画像とを融合することで、最終の顕著性画像ＡＡを取得するステップＳ３．６と、を備える。
【００１１】
さらに、前記ステップＳ２．２における超複素行列ｆ（ｘ，ｙ）の数式は、式（４）になり、
【００１２】
【数１】
2019523509.tif 000003
【００１３】
ここで、
【００１４】
【数２】
2019523509.tif 000004
【００１５】
は、それぞれ３次元直交座標系におけるｘ、ｙ、ｚ軸と同じ方向の単位ベクトルである。
【００１６】
さらに、前記ステップＳ２．３におけるスペクトルＡの数式は、Ａ＝｜Ｆ（ｆ（ｘ，ｙ））｜になり、ここで、｜｜は振幅を求めることを表し、Ｆ（）は超複素フーリエ変換を表す。
【００１７】
さらに、前記ステップＳ２．５における顕著図列｛Ｚｉ｝の数式は、Ｚｉ＝ｇ＊｜Ｆ−１｛ＡＡｋ（ｘ，ｙ）ｅｋｋ×ｐ（ｘ，ｙ）｝｜２になり、ここで、位相スペクトルｐはｐ＝φ（Ｆ（ｆ（ｘ，ｙ）））であり、特性軸スペクトルｋｋは（式９）になり、
【００１８】
【数３】
2019523509.tif 000005
【００１９】
｜｜は振幅を求めることを表し、Ｆ（）は超複素フーリエ変換を表し、φ（）は位相を表し、ｇはガウスカーネルを表し、＊は畳み込みを表し、×は乗積を表し、Ｆ−１は逆フーリエ変換を表し、ｖ（）はフーリエ変換後のベクトル部分を表し、｜｜  ｜｜はベクトルモジュールを求めることを表す。
【００２０】
さらに、前記ステップＳ３．３における高レベルモデルの背景のコーディング辞書ＢＣと高レベルモデルの顕著性オブジェクトのコーディング辞書ＦＣの閾値分割原則は、ＢＣ＝ｗｉ（ｉｆ  Ｐｄ（ｗｉ）＜λ１）、ＦＣ＝ｗｉ（ｉｆ  Ｐｄ（ｗｉ）＞λ２)になり、ここで、λ１は背景のコーディングにおいて選択した閾値であり、λ２は顕著性オブジェクトのコーディングにおいて選択した閾値である。
【００２１】
さらに、前記ステップＳ３．４における顕著性画像ＺＺの高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像の計算過程は、コンピュータにより懲罰的な考慮と正規化との間のバランス係数μをランダムに選択し、式（１３）に満たし、
【００２２】
【数４】
2019523509.tif 000006
【００２３】
ここで、ｂｂiは式（１４）になり、
【００２４】
【数５】
2019523509.tif 000007
【００２５】
局所アダプタｄｄｗｉは式（１５）になり、
【００２６】
【数６】
2019523509.tif 000008
【００２７】
Ｕｉは暗視赤外画像に対する説明であり、Ｄはコーディング辞書であり、は乗算要素であり、ｃｃｉは共分散行列であり、λは正規化係数であり、×は乗積であり、ｔｒ（ｃｃｉ）は行列ｃｃｉの対角要素の和であり、Ｈｎはコーディング辞書のベクトルであり、ｎはコーディング辞書における要素の数であり、αはアダプタの重み係数であり、ｄｉｓｔ（Ｕｉ，Ｈｎ）はＵｉとＨｎの間のユークリッド距離である場合、高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像ｐｇ（ｗｉ）は、式（１６）になる。
【００２８】
【数７】
2019523509.tif 000009
【００２９】
本発明の有益な効果は以下の通りである。まずＧＢＶＳモデルを用いて顕著性を抽出した上で、超複素周波数領域のスペクトルスケール空間の方法を用いて全体の特徴を抽出することによって、周波数領域において顕著性特徴を抽出することができ、周波数領域と時間領域とでの顕著性を組み合わせることができる。最後に、全体および局所の情報を融合させる顕著性抽出方法を用いて、全体と局所の顕著性特徴を結合して顕著性オブジェクトのアウトラインを鮮明にすることにより、顕著性オブジェクトの抽出精度とアウトラインの明確さが向上される。本発明によれば、顕著性領域を有効に際立たせながら非顕著性領域を抑制して、更に精度高い顕著性オブジェクトの抽出が実現できる。
【図面の簡単な説明】
【００３０】
【図１】図１は暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法を示すフローチャートである。
【図２】図２は全体および局所の情報の融合に基づく顕著性抽出方法を示すフローチャートである。
【図３】図３は本発明に基づいて得た顕著性画像であり、図３（ａ）は歩行者の暗視赤外画像であり、図３（ｂ）は本発明に基づいて得た歩行者の顕著性画像であり、図３（ｃ）は車両の暗視赤外画像であり、図３（ｄ）は本発明に基づいて得た車両の顕著性画像である。
【発明を実施するための形態】
【００３１】
以下、添付図面を参考しながら本発明について詳細に説明するが、本発明の保護範囲はこれに限らない。
【００３２】
図１に示すように、暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法のフローチャートは、以下のステップを含む。
【００３３】
Ｓ１、道路オブジェクトの暗視赤外画像に対して、まずＧＢＶＳモデル（グラフ理論に基づく画像顕著性解析アルゴリズム）を用いて局所コントラストに基づく顕著性領域の粗抽出を行い、暗視赤外画像の顕著性画像ＣＣを取得する。
【００３４】
Ｓ１．１、古典的なＩｔｔｉ視覚的顕著性モード（顕著性に基づく視覚的注意モデル）を用いて、暗視赤外画像の特徴図を抽出する。
【００３５】
Ｓ１．２、マルコフ確率場を用いて、特性図のマルコフ連鎖を構築する。
【００３６】
マルコフ確率場について、一つの画像の小領域内のピクセルの顕著性はそれに隣接するピクセルの顕著性のみに関係し、他の箇所のピクセルの顕著性とは関係ない場合に、当該画像の小領域内のピクセルの集合が一つのマルコフ確率場となる。
【００３７】
Ｓ１．３、マルコフ連鎖の平衡分布を求めることにより、顕著性画像ＣＣを取得する。
【００３８】
Ｓ２、超複素周波数領域のスペクトルスケール空間に基づく方法（超複素フーリエ変換を用いて顕著性画像ＣＣを時間領域から超複素周波数領域のスペクトルスケール空間へ変換させる）を用いて、全体的特徴に基づいて、顕著性画像ＣＣに対して顕著性領域の再抽出を実行する。
【００３９】
Ｓ２．１、顕著性画像ＣＣの赤と緑と青の３つの成分を組み合わせて計算することで、顕著性画像ＣＣの３つ特徴図Ｕ、ＲＧ、ＢＹを取得する。顕著性画像ＣＣの３つ特徴図Ｕ、ＲＧ、ＢＹは下記の数式によって算出される。
【００４０】
Ｕ＝（ｒ+ｇ+ｂ）／３                                        （１）
【００４１】
ＲＧ＝［ｒ−（ｇ+ｂ）／２］−［ｇ−（ｒ+ｂ）／２］                      （２）
【００４２】
ＢＹ＝［ｂ−（ｒ+ｇ）／２］−［（ｒ+ｇ）／２−｜ｒ−ｇ｜／２−ｂ］            （３）
【００４３】
ここで、ｒ、ｇ、ｂはそれぞれ顕著性画像ＣＣの３つの成分の赤と緑と青の値である。
【００４４】
Ｓ２．２、特徴図Ｕ、ＲＧ、ＢＹを整合することで、計算により顕著性画像ＣＣの超複素行列ｆ（ｘ，ｙ）を取得する。超複素行列ｆ（ｘ，ｙ）の数式は下記のようになる。
【００４５】
【数８】
2019523509.tif 000010
【００４６】
ここで、
【００４７】
【数９】
2019523509.tif 000011
【００４８】
は、それぞれ３次元直交座標系におけるｘ、ｙ、ｚ軸と同じ方向の単位ベクトルである。
【００４９】
Ｓ２．３、超複素行列ｆ（ｘ，ｙ）に対して超複素フーリエ変換を行い、その後、顕著性画像ＣＣの振幅スペクトルＡ、位相スペクトルｐ、特性軸スペクトルｋｋを算出する。振幅スペクトルＡの数式は下記のようになる。
【００５０】
Ａ＝｜Ｆ（ｆ（ｘ，ｙ））｜                                    （５）
【００５１】
ここで、｜｜は振幅を求めることを表し、Ｆ（）は超複素フーリエ変換を表す。
【００５２】
Ｓ２．４、振幅スペクトルＡに対して畳み込みを行うことで、顕著性画像ＣＣのスペクトルスケール空間｛ＡＡｋ｝を取得する。スペクトルスケール空間｛ＡＡｋ｝の数式が下記のようになる。
【００５３】
｛ＡＡｋ｝＝ｇ＊Ａ                              （６）
【００５４】
ここで、ｇはガウスカーネルを表し、＊は畳み込みを表す。
【００５５】
Ｓ２．５、顕著性画像ＣＣのスペクトルスケール空間｛ＡＡｋ｝に基づいて、計算により顕著性画像ＣＣの顕著図列｛Ｚｉ｝を取得する。顕著図列｛Ｚｉ｝の数式は下記のようになる。
【００５６】
Ｚｉ＝ｇ＊｜Ｆ−１｛ＡＡｋ（ｘ，ｙ）ｅｋｋ×ｐ（ｘ，ｙ）｝｜２                  （７）
【００５７】
ここで、位相スペクトルｐは式（８）になり、特性軸スペクトルｋｋは式（９）になり、｜｜は振幅を求めることを表し、Ｆ（）は超複素フーリエ変換を表し、φ（）は位相を表し、ｇはガウスカーネルを表し、＊は畳み込みを表し、×は乗積を表し、Ｆ−１は逆フーリエ変換を表し、ｖ（）はフーリエ変換後のベクトル部分を表し、｜｜  ｜｜はベクトルモジュールを求めることを表す。
【００５８】
ｐ＝φ（Ｆ（ｆ（ｘ，ｙ）））        （８）
【００５９】
【数１０】
2019523509.tif 000012
【００６０】
Ｓ２．６、最大分散に基づく原理を用いて、顕著図列｛Ｚｉ｝から選んだ一つの顕著図列を暗視赤外画像の顕著性画像ＺＺとする。
【００６１】
Ｓ３、図２に示すように、全体および局所の情報の融合に基づく顕著性抽出方法を用いて、顕著性画像ＺＺに対して全体および局所の情報の融合を行うことで、顕著性画像ＡＡを取得する。
【００６２】
Ｓ３．１、スーパーピクセルセグメンテーションの方法（スーパーピクセルセグメンテーションとは、顕著性画像ＡＡから、位置が隣接し且つ色、明るさ、テクスチャなどの特徴が類似する一連のピクセルポイントにより構成された小画像領域を分割することを指す）を用いて、顕著性画像ＺＺを複数の小画像領域に分割する。
【００６３】
Ｓ３．２、全体コントラストに基づいてＳ３．１における複数の小画像領域に対して計算を行い、顕著性画像ＺＺの低レベルモデルの顕著性画像を取得する。全体コントラストに基づいて複数の小画像領域に対して計算を行う過程は下記のようになる。
【００６４】
【数１１】
2019523509.tif 000013
【００６５】
ここで、ＯＫ（ｑ）はピクセルｑが顕著性オブジェクト領域に入る頻度であり、ｗｉはスーパーピクセルから分割された複数の小画像領域であり、Ｎｗｉは領域ｗｉに入るピクセルの数である。
【００６６】
【数１２】
2019523509.tif 000014
【００６７】
ここで、（ｘ，ｙ）は顕著性画像ＺＺの平均座標であり、（ｘ０，ｙ０）は画像の中心座標であり、ＶＸ、ＶＹは小画像領域の幅と高さによって決まるパラメータである。
【００６８】
式（１０）と式（１１）によって得られる低レベルモデルの顕著性画像Ｐｄ（ｗｉ）は式（１２）のようになる。
【００６９】
【数１３】
2019523509.tif 000015
【００７０】
ここで、ｃｊは顕著性画像ＺＺの境界に位置する小画像領域であり、Ｍは顕著性画像ＺＺの境界に位置する小画像領域の数であり、ｄｄ（ｗｉ，ｃｊ）はユークリッド計量によって得られた小画像領域ｗｉとｃｊの差である。
【００７１】
Ｓ３．３、閾値分割の方法（閾値を設定することで画像を分割する）に従って顕著性画像ＺＺの低レベルモデルの顕著性画像を処理することで、顕著性画像ＺＺの高レベルモデルの背景のコーディング辞書（ｃｏｄｉｎｇ  ｄｉｃｔｉｏｎａｒｙ）ＢＣおよび高レベルモデルの顕著性オブジェクトのコーディング辞書ＦＣをそれぞれ取得する。高レベルモデルの背景のコーディング辞書ＢＣと高レベルモデルの顕著性オブジェクトのコーディング辞書ＦＣの閾値分割原則は、ＢＣ＝ｗｉ（ｉｆ  Ｐｄ（ｗｉ）＜λ１）、ＦＣ＝ｗｉ（ｉｆ  Ｐｄ（ｗｉ）＞λ２)である。
【００７２】
ここで、λ１は背景のコーディングにおいて選択した閾値であり、λ２は顕著性オブジェクトのコーディングにおいて選択した閾値である。
【００７３】
Ｓ３．４、顕著性画像ＺＺの高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像の計算過程は下記のようになる。
【００７４】
コンピュータにより懲罰的な考慮と正規化との間のバランス係数μをランダムに選択し、下記の式（１３）の関係を満たすようにする。
【００７５】
【数１４】
2019523509.tif 000016
【００７６】
ここで、Ｕｉは暗視赤外画像に対する説明であり、Ｄはコーディング辞書であり、。は乗算要素である。
【００７７】
式（１３）のｂｂｉは式（１４）のようになる。
【００７８】
【数１５】
2019523509.tif 000017
【００７９】
ここで、ｃｃｉは共分散行列であり、λは正規化係数であり、×は乗積であり、ｔｒ（ｃｃｉ）は行列ｃｃｉの対角要素の和である。
【００８０】
式（１３）の局所アダプタｄｄｗｉは式（１５）のようになる。
【００８１】
【数１６】
2019523509.tif 000018
【００８２】
ここで、Ｈｎはコーディング辞書のベクトルであり、ｎはコーディング辞書における要素の数であり、αはアダプタの重み係数であり、ｄｉｓｔ（Ｕｉ，Ｈｎ）はＵｉとＨｎの間のユークリッド距離である。
【００８３】
式（１３）、式（１４）と式（１５）を用いて高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像ｐｇ（ｗｉ）が得られる。
【００８４】
【数１７】
2019523509.tif 000019
【００８５】
Ｓ３．５、顕著性画像ＺＺの高レベルモデルの背景の顕著性画像と、高レベルモデルの顕著性オブジェクトの顕著性画像とを融合することで、顕著性画像ＺＺの高レベルモデルの顕著性画像を取得する。
【００８６】
Ｓ３．６、顕著性画像ＺＺの低レベルモデルの顕著性画像と、高レベルモデルの顕著性画像とを融合することで、最終の顕著性画像ＡＡを取得する。
【００８７】
本発明の暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法によって、図３の示すように歩行者及び車両の顕著性画像が得られる。
【００８８】
上記実施例は本発明の好ましい例であり、本発明はこれに限らない。本発明の本質から逸脱しない前提で、本分野の当業者によってなされる任意の明らかな変更、交換または変形は本発明の保護範囲である。
【図１】
2019523509.tif 000027
【図２】
2019523509.tif 000028
【図３（ａ）】
2019523509.tif 000029
【図３（ｂ）】
2019523509.tif 000030
【図３（ｃ）】
2019523509.tif 000031
【図３（ｄ）】
2019523509.tif 000032
【国際調査報告】
2019523509.tif 000033
2019523509.tif 000034
2019523509.tif 000035
2019523509.tif 000036