(57)【特許請求の範囲】
【請求項１】
画像を順次取得する画像取得手段と、
順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断手段と、
第１の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第１結合重みベクトル記憶手段と、
第２の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第２結合重みベクトル記憶手段と、
前記注目位置ベクトル判断手段により判断される前記画像中の注目位置ベクトルに基づき、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに近づける第１結合重みベクトル更新手段と、
前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第１の自己組織化マップの出力ベクトルを生成する第１出力ベクトル生成手段と、
前記第１出力ベクトル生成手段により生成される前記第１の自己組織化マップの出力ベクトルに基づき、前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第２結合重みベクトル更新手段と、を含み、
前記画像のうち前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行う、
ことを特徴とする画像解析装置。
【請求項２】
請求項１に記載の画像解析装置において、
第３の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第３結合重みベクトル記憶手段と、
前記第１出力ベクトル生成手段により生成される前記第１の自己組織化マップの出力ベクトルに基づき、前記第３結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第３結合重みベクトル更新手段と、
前記第３結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第３の自己組織化マップの出力ベクトルを生成する第３出力ベクトル生成手段と、をさらに含み、
前記第２結合重みベクトル更新手段は、前記第３出力ベクトル生成手段により生成される前記第３の自己組織化マップの出力ベクトルに基づき、前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける、
ことを特徴とする画像解析装置。
【請求項３】
請求項１又は２に記載の画像解析装置において、
前記所定の画像解析処理は、前記注目位置ベクトル判断手段による前記画像中の注目位置ベクトルを判断する処理である、
ことを特徴とする画像解析装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像解析装置において、
前記注目位置ベクトル判断手段は、前記画像中の注目位置ベクトルとともに該注目位置ベクトルに関する重要度を判断し、
前記第１結合重みベクトル更新手段は、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置とともに判断される重要度に応じて該注目位置ベクトルに近づける、
ことを特徴とする画像解析装置。
【請求項５】
請求項１乃至４のいずれかに記載の画像解析装置において、
前記第１出力ベクトル生成手段は、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのそれぞれについて、周囲のユニットに対応する前記結合重みベクトルとの密集度を算出し、該密集度に応じて選択される前記結合重みベクトルを前記第１の自己組織化マップの出力ベクトルとして生成する、
ことを特徴とする画像解析装置。
【請求項６】
画像を順次取得する画像取得ステップと、
順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断ステップと、
前記注目位置ベクトル判断ステップにより判断される前記画像中の注目位置ベクトルに基づき、第１結合重みベクトル記憶手段に記憶される、第１の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルのうち、該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを、第２結合重みベクトル記憶手段に記憶される、第２の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルに近づける第１結合重みベクトル更新ステップと、
前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第１の自己組織化マップの出力ベクトルを生成する第１出力ベクトル生成ステップと、
前記第１出力ベクトル生成ステップで生成される前記第１の自己組織化マップの出力ベクトルに基づき、前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第２結合重みベクトル更新ステップと、を含み、
前記画像のうち前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行う、
ことを特徴とする画像解析方法。
【請求項７】
画像を順次取得する画像取得手段、
順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断手段、
第１の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第１結合重みベクトル記憶手段、
第２の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第２結合重みベクトル記憶手段、
前記注目位置ベクトル判断手段により判断される前記画像中の注目位置ベクトルに基づき、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに近づける第１結合重みベクトル更新手段、
前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第１の自己組織化マップの出力ベクトルを生成する第１出力ベクトル生成手段、及び
前記第１出力ベクトル生成手段により生成される前記第１の自己組織化マップの出力ベクトルに基づき、前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第２結合重みベクトル更新手段としてコンピュータを機能させるとともに、
該コンピュータに、前記画像のうち前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行わせる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像解析装置、画像解析方法及びプログラムに関し、特に画像中の解析対象箇所を判断する情報処理に関する。
【背景技術】
【０００２】
車両前方の歩行者を素早く確実に検知して、車両運転者に報知する各種システムが提案されている。例えば、下記特許文献１には、ステレオカメラからの画像に基づいて歩行者を検出して、それにより各種警報を行う歩行者検出装置が開示されている。
【特許文献１】特開２００５−２２８１２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
車両前方を撮像した画像を解析して、そこから歩行者等の対象物体を検知し、またその対象物体の重要度を判定しようとする場合、画像全体を常に解析対象とするのは非効率であり、対象物体の検知及びその重要度の判定を素早く行うことが困難となる。そこで、画像の一部領域のみを解析対象とすることが考えられる。
【０００４】
この点、人間は現に目視できている歩行者を監視し、重要度が低いと（危険が去ったと）判断すると、過去の経験に基づいて他の歩行者が居そうな場所に目線を写す。このように、車両前方のうち現在及び過去の知見を総合勘案して、適切な箇所に対して監視等のための画像解析を行うことは、この種の情報処理を合理化するのに極めて重要である。
【０００５】
本発明は上記課題に鑑みてなされたものであって、その目的は、現在及び過去の知見を総合勘案して、撮像された画像中の適切な箇所に対して監視等のための画像解析を行うことができる画像解析装置、画像解析方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像解析装置は、画像を順次取得する画像取得手段と、順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断手段と、第１の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第１結合重みベクトル記憶手段と、第２の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第２結合重みベクトル記憶手段と、前記注目位置ベクトル判断手段により判断される前記画像中の注目位置ベクトルに基づき、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに近づける第１結合重みベクトル更新手段と、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第１の自己組織化マップの出力ベクトルを生成する第１出力ベクトル生成手段と、前記第１出力ベクトル生成手段により生成される前記第１の自己組織化マップの出力ベクトルに基づき、前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第２結合重みベクトル更新手段と、を含み、前記画像のうち前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行う、ことを特徴とする。
【０００７】
また、本発明に係る画像解析方法は、画像を順次取得する画像取得ステップと、順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断ステップと、前記注目位置ベクトル判断ステップにより判断される前記画像中の注目位置ベクトルに基づき、第１結合重みベクトル記憶手段に記憶される、第１の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルのうち、該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを、第２結合重みベクトル記憶手段に記憶される、第２の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルに近づける第１結合重みベクトル更新ステップと、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第１の自己組織化マップの出力ベクトルを生成する第１出力ベクトル生成ステップと、前記第１出力ベクトル生成ステップで生成される前記第１の自己組織化マップの出力ベクトルに基づき、前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第２結合重みベクトル更新ステップと、を含み、前記画像のうち前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行う、ことを特徴とする。
【０００８】
また、本発明に係るプログラムは、画像を順次取得する画像取得手段、順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断手段、第１の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第１結合重みベクトル記憶手段、第２の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第２結合重みベクトル記憶手段、前記注目位置ベクトル判断手段により判断される前記画像中の注目位置ベクトルに基づき、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに近づける第１結合重みベクトル更新手段、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第１の自己組織化マップの出力ベクトルを生成する第１出力ベクトル生成手段、及び前記第１出力ベクトル生成手段により生成される前記第１の自己組織化マップの出力ベクトルに基づき、前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第２結合重みベクトル更新手段としてコンピュータを機能させるとともに、該コンピュータに、前記画像のうち前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行わせる、ことを特徴とする。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の各種のコンピュータ読み取り可能な情報記憶媒体に格納されてよい。
【０００９】
本発明によれば、第２の自己組織化マップの結合重みベクトルは、過去の注目位置ベクトルを反映したものとなる。一方、第１の自己組織化マップの結合重みベクトルは、こうした性格を有する第２の自己組織化マップの結合重みベクトルを基礎に、そこに最近の注目位置ベクトルの影響を加えたものとなる。従って、過去の注目位置ベクトルに近似する注目位置ベクトルがカメラによる撮像画像その他の画像から得られた場合には、該注目位置ベクトルに応じた少なくとも一部が、素早く、該注目位置ベクトルに非常に近いものに変わる。また、注目位置ベクトルの入力が無ければ、第１の自己組織化マップの結合重みベクトルは、時間経過に従って第２の自己組織化マップの結合重みベクトルに近づく。従って、第１の自己組織化マップの結合重みベクトルに基づいて画像中の画像解析処理の対象領域を決定すると、注目位置があればその位置に応じた領域が画像解析処理の対象領域となり、注目位置が無くなれば過去の注目位置に応じた領域が画像解析処理の対象領域となる。このため、あたかも人間のように、現在及び過去の知見を総合勘案して、画像中の適切な箇所に対して監視等のための画像解析処理を行うことができる。
【００１０】
本発明の一態様では、第３の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第３結合重みベクトル記憶手段と、前記第１出力ベクトル生成手段により生成される前記第１の自己組織化マップの出力ベクトルに基づき、前記第３結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第３結合重みベクトル更新手段と、前記第３結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第３の自己組織化マップの出力ベクトルを生成する第３出力ベクトル生成手段と、をさらに含み、前記第２結合重みベクトル更新手段は、前記第３出力ベクトル生成手段により生成される前記第３の自己組織化マップの出力ベクトルに基づき、前記第２結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける。こうすれば、第３の自己組織化マップをいわばバッファのように使用して、第１の自己組織化マップの出力ベクトルに基づいて第２の自己組織化マップの結合重みベクトルが更新されるのを遅延させることができ、第２の自己組織化マップの結合重みベクトルの変動を抑制することができるようになる。
【００１１】
また、本発明の一態様では、前記所定の画像解析処理は、前記注目位置ベクトル判断手段による前記画像中の注目位置ベクトルを判断する処理である。こうすれば、注目位置ベクトルを判断する処理を画像の適切な一部に限ることができ、処理を高速化することができる。
【００１２】
また、本発明の一態様では、前記注目位置ベクトル判断手段は、前記画像中の注目位置ベクトルとともに該注目位置ベクトルに関する重要度を判断し、前記第１結合重みベクトル更新手段は、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置とともに判断される重要度に応じて該注目位置ベクトルに近づける。こうすれば、注目位置ベクトルに応じて第１の自己組織化マップの結合重みベクトルを更新する場合に、その注目位置ベクトルの重要度が高いほど大きく更新され、注目位置ベクトルに大きく近づくようにできる。
【００１３】
また、本発明の一態様では、前記第１出力ベクトル生成手段は、前記第１結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのそれぞれについて、周囲のユニットに対応する前記結合重みベクトルとの密集度を算出し、該密集度に応じて選択される前記結合重みベクトルを前記第１の自己組織化マップの出力ベクトルとして生成する。あるユニットに対応する結合重みベクトルの密集度が高ければ、その結合重みベクトルと近似する注目位置ベクトルが繰り返し第１の自己組織化マップに入力されたと評価することができるから、この態様によれば、繰り返し入力された注目位置ベクトルを選択的に第１の自己組織化マップの出力とすることができる。この結果、第２の自己組織化マップの結合重みベクトルを、繰り返し入力された注目位置ベクトルに応じたものとすることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について図面に基づき詳細に説明する。
【００１５】
図１は、本発明の実施形態に係る画像解析装置の構成を示す図である。同図に示すように、この画像解析装置１０は、動画像カメラ１２、フレーム画像取得部１４、画像解析部１６、解析領域判断部１８、重要度算出部２０、警告部２２を含んで構成されている。フレーム画像取得部１４、画像解析部１６、解析領域判断部１８、重要度算出部２０は、公知のコンピュータに解析用プログラムを実行させることにより実現されており、この解析用プログラムは、例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体により、コンピュータにインストールされる。
【００１６】
画像解析装置１０は、例えば自動車に設置され、車両運転上の危険を運転者に報知するものであり、動画像カメラ１２は車両前方の動画像を撮像するよう設置される。動画像カメラ１２により撮像された車両前方の動画像データは、図２に示すように、所定時間（例えば１／６０秒）毎の車両前方の画像（フレーム画像）を含んでおり、フレーム画像取得部１４は、この動画像データから各時刻のフレーム画像を切り出す。そして、このフレーム画像を示すフレーム画像データを画像解析部１６に供給する。図３は、図２に示す動画像データから切り出されたフレーム画像を示している。同図に示すように、フレーム画像の中央には道路（画像解析装置１０が搭載された自動車が走行する車線）が映し出され、場合により該道路を横切る歩行者Ｔが映し出される。
【００１７】
画像解析部１６は、フレーム画像データにより示されるフレーム画像から、歩行者Ｔ（図３参照）の有無及び歩行者Ｔの位置座標（フレーム画像における位置を特定する座標）を判断し、フレーム画像に歩行者が表れている場合には、その位置座標を示す注目位置ベクトルＸｓを重要度算出部２０及び解析領域判断部１８に供給する。
【００１８】
画像解析部１６は、フレーム画像を解析して、歩行者Ｔの有無及び歩行者Ｔの位置座標を判断する際、フレーム画像全体では無く、図４の符号Ｒで示されるフレーム画像中の部分領域のように、フレーム画像の一部を画像解析対象としている。この解析対象となる一部は、解析領域判断部１８から供給される解析領域データによって特定されるものであり、フレーム画像において歩行者が映し出されている可能性が高い部分である。
【００１９】
画像解析部１６では、解析領域判断部１８から供給される解析領域データによって特定される画像領域に対して、各種の移動物体検出処理を施すことにより、歩行者Ｔの有無及び歩行者Ｔの位置座標を判断することができる。例えばモラベックオペレータ（Moravec Operator）を適用することにより、フレーム画像における特徴点を特定し、さらにフレーム画像のフレーム間差分を算出することにより、フレーム画像における動きのある領域（差分領域）を特定する。そして、特徴点のうち差分領域に含まれるものから、所定基準により移動物体（歩行者Ｔ）の位置を判断する。その他、人間の外観によるパターンマッチングでフレーム画像における歩行者Ｔの有無及び歩行者Ｔの位置座標を判断してもよい。
【００２０】
重要度算出部２０は、画像解析部１６から供給される歩行者Ｔの位置座標を示すデータ、すなわち注目位置ベクトルＸｓに基づいて、該注目位置ベクトルＸｓの重要度ｄを算出する。ここでは、歩行者Ｔが道路の左右どちらにいるか、歩行者Ｔの移動速度、歩行者Ｔの位置によって、歩行者Ｔに迫る危険の程度が異なることに着目して、重要度ｄを算出する。このため、図５に示すように、まずフレーム画像に映し出された道路が遠方で消失する点である、道路消失点Ｄを判定し、この道路消失点Ｄの位置よりも左側（領域Ａ）に歩行者Ｔが映し出されているか、右側（領域Ｂ）に映し出されているかを判断する。また、フレーム画像の左上隅を原点とし、下方をｙ方向、右方をｘ方向として、現在時刻ｔにおける歩行者Ｔが映し出されている位置座標（ｘ（ｔ），ｙ（ｔ））を求める。また、ｘ（ｔ）のフレーム間差分より、歩行者Ｔの右方向に移動しているか、左方向に移動しているかを判定する。さらに、この位置座標（ｘ，ｙ）のフレーム時間間隔における移動距離より、歩行者Ｔの移動速度Ｓ（ｔ）を求める。
【００２１】
その後、以下の式（１）〜（４）によって重要度ｄを算出する。すなわち、歩行者Ｔが領域Ａに映し出され、歩行者Ｔの移動方向が左であれば、式（１）により重要度ｄを算出する。また、歩行者Ｔが領域Ａに映し出され、歩行者Ｔの移動方向が右であれば、式（２）により重要度ｄを算出する。また、歩行者Ｔが領域Ｂに映し出され、歩行者Ｔの移動方向が左であれば、式（３）により重要度ｄを算出する。さらに、歩行者Ｔが領域Ｂに映し出され、歩行者Ｔの移動方向が右であれば、式（４）により重要度ｄを算出する。ここで、ｋ１〜ｋ４は定数であり、ｋ４＜ｋ１＜ｋ３＜ｋ２を満足する。
【００２２】
【数１】
0004696245.tif 000002
【００２３】
なお、上記の道路消失点Ｄの検出は、例えば、Hough変換やクラスタリング手法により直線を検出して、これら直線の交点から検出するようにしてもよい。
【００２４】
図１に戻り、警告部２２はＬＣＤ等の表示装置やスピーカ等の発音装置を含んで構成されており、重要度算出部２０により算出される重要度ｄが所定値以上であれば、表示装置にその旨を表示したり、発音装置により警告音を出力したりして、車両運転者に警告を行うものである。
【００２５】
また、重要度算出部２０により算出される重要度ｄは、解析領域判断部１８にも供給されている。解析領域判断部１８は、この重要度ｄと画像解析部１７６から供給される注目位置ベクトルＸｓとに基づいて、解析領域データを生成するものである。
【００２６】
図６は、解析領域判断部１８の構成を詳細に示している。同図に示すように、解析領域判断部１８は、３つの自己組織化マップ（ＳＯＭ；Self Organizing Map）を管理しており、短期記憶用ＳＯＭ管理部１８ｓと、中期記憶用ＳＯＭ管理部１８ｍと、長期記憶用ＳＯＭ１８ｌと、を含んで構成されている。
【００２７】
短期記憶用ＳＯＭ管理部１８ｓは、図７に示す短期記憶用ＳＯＭ（第１の自己組織化マップ）を管理するものであり、短期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑの更新、出力ベクトルの算出を行う。短期記憶用ＳＯＭには、注目位置ベクトルＸｓが入力されており、競合層にＮ行Ｍ列に配置されたユニットＵｓｐ，ｑのそれぞれに関する結合重みベクトルＷｓｐ，ｑは、入力された注目位置ベクトルＸｓ及び重要度ｄにより更新される。
【００２８】
すなわち、短期記憶用ＳＯＭには、画像解析部１６から供給される注目位置ベクトルＸｓが入力される。この注目位置ベクトルＸｓは、次式（５）に示すように２次元ベクトルである。
【００２９】
【数２】
0004696245.tif 000003
【００３０】
また、図６に示されるように、短期記憶用ＳＯＭ管理部１８ｓには、長期記憶用ＳＯＭ管理部１８ｌにより管理される長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑがフィードバックされており、短期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑは次式（６）に従って更新されている。
【００３１】
【数３】
0004696245.tif 000004
【００３２】
ここで、Ｗｓｐ，ｑ（ｔ）は時刻ｔにおける短期記憶用ＳＯＭの結合重みベクトルであり、ｏｂｊは時刻ｔのフレーム画像に歩行者Ｔが映し出されていれば１の値をとり、映し出されていなければ０の値をとる。また、βｓは所与の定数である。さらに、αｓは、重要度ｄを用いて次式（７）によって算出される。
【００３３】
【数４】
0004696245.tif 000005
【００３４】
ここで、σは定数であり、ｐｃ及びｑｃは競合層における勝者ユニットを特定するものであり、勝者ユニットは次式（８）により特定される。
【００３５】
【数５】
0004696245.tif 000006
【００３６】
更新式（６）における第２項は、結合重みベクトルＷｓｐ，ｑを入力ベクトルである注目位置ベクトルＸｓに近づける働きを有する。この際、注目位置ベクトルＸｓに近づく程度は、式（７）により重要度ｄに比例する。また、第３項は、結合重みベクトルＷｓｐ，ｑを長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑに近づける働きを有する。更新式（６）によれば、短期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑは、通常は、長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑに近づいており、注目位置ベクトルＸｓが入力されると、その影響を受けて注目位置ベクトルＸｓに近づくことになる。
【００３７】
短期記憶用ＳＯＭの出力を決定するにあたり、短期記憶用ＳＯＭ管理部１８ｓでは、次式（９）により各結合重みベクトルＷｓｐ，ｑの密集度ｃｏｎｆｓｐ，ｑを算出する。
【００３８】
【数６】
0004696245.tif 000007
【００３９】
ここで、ｄｓｐ，ｑは、ユニットＵｓｐ，ｑの結合重みベクトルＷｓｐ，ｑと、その周囲のユニットＵｓｐ＋１，ｑ、Ｕｓｐ−１，ｑ、Ｕｓｐ，ｑ＋１、Ｕｓｐ，ｑ−１の結合重みベクトルＷｓｐ＋１，ｑ、Ｗｓｐ−１，ｑ、Ｗｓｐ，ｑ＋１、Ｗｓｐ，ｑ−１と、平均距離であり、次式（１０）により表される。
【００４０】
【数７】
0004696245.tif 000008
【００４１】
そして、短期記憶用ＳＯＭからは、密集度ｃｏｎｆｓｐ，ｑが所定の閾値θｓ以上であるユニットＵｓｐ，ｑについてのみ、その結合重みベクトルＷｓｐ，ｑが出力される。短期記憶用ＳＯＭ管理部１８ｓからは、結合重みベクトルＷｓｐ，ｑ、その結合重みベクトルＷｓｐ，ｑに係る密集度ｃｏｎｆｓｐ，ｑが、中期記憶用ＳＯＭ管理部１８ｍに入力されている。
【００４２】
また、短期記憶用ＳＯＭ管理部１８ｓは、短期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑのうち、密集度ｃｏｎｆｓｐ，ｑの最大値に対応するものを、注視点として選出するとともに、その周囲の所定の広さを有する領域のデータを解析領域データとして画像解析部１６にフィードバックしている。これにより、画像解析部１６における画像解析処理をフレーム画像の一部領域に限定している。
【００４３】
中期記憶用ＳＯＭ管理部１８ｍは、図８に示す中期記憶用ＳＯＭ（第３の自己組織化マップ）を管理するものであり、中期記憶用ＳＯＭの結合重みベクトルＷｍｐ，ｑの更新、出力ベクトルの算出を行う。中期記憶用ＳＯＭには、密集度ｃｏｎｆｓｐ，ｑが閾値θｓ以上である短期記憶用ＳＯＭのユニットＵｓｐ，ｑの結合重みベクトルＷｓｐ，ｑが入力されている。そして、競合層にＮ行Ｍ列に配置されたユニットＵｍｐ，ｑのそれぞれに関する結合重みベクトルＷｍｐ，ｑは、入力された結合重みベクトルＷｓｐ，ｑ及び密集度ｃｏｎｆｓｐ，ｑにより更新される。
【００４４】
すなわち、中期記憶用ＳＯＭには、次式（１１）のように、短期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑのうち、密集度ｃｏｎｆｓｐ，ｑが閾値θｓ以上のものが、入力ベクトルＸｍとして入力される。
【００４５】
【数８】
0004696245.tif 000009
【００４６】
そして、中期記憶用ＳＯＭの結合重みベクトルＷｍｐ，ｑは、次式（１２）に従って更新されている。
【００４７】
【数９】
0004696245.tif 000010
【００４８】
ここで、Ｗｍｐ，ｑ（ｔ）は時刻ｔにおける中期記憶用ＳＯＭの結合重みベクトルであり、ｏｂｊは時刻ｔのフレーム画像に歩行者Ｍが映し出されていれば１の値をとり、映し出されていなければ０の値をとる。また、βｍは所与の定数である。Ｗｉｎｉｔｐ，ｑは、中期記憶用ＳＯＭの結合重みベクトルＷｍｐ，ｑの初期配置である。さらに、αｍは、中期記憶用ＳＯＭ管理部１８ｓから入力される密集度ｃｏｎｆｓｐ，ｑを用いて、次式（１３）によって算出される。
【００４９】
【数１０】
0004696245.tif 000011
【００５０】
ここで、σは定数であり、ｐｃ及びｑｃは競合層における勝者ユニットを特定するものであり、勝者ユニットは上記式（８）と同様にして特定される。
【００５１】
更新式（１２）における第２項は、結合重みベクトルＷｍｐ，ｑを入力ベクトルＸｍに近づける働きを有する。この際、入力ベクトルＸｍに近づく程度は、式（１３）により密集度ｃｏｎｆｓｐ，ｑに比例する。また、第３項は、結合重みベクトルＷｍｐ，ｑを初期配置Ｗｉｎｉｔｐ，ｑに近づける働きを有する。更新式（１２）によれば、中期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑは、フレーム画像に歩行者Ｔが映し出されている間は、入力ベクトルＸｍ、すなわち短期記憶用ＳＯＭの密集度ｃｏｎｆｓｐ，ｑが高い値の結合重みベクトルＷｓｐ，ｑに近づき、フレーム画像から歩行者Ｔが消えると、初期配置Ｗｉｎｉｔｐ，ｑに近づく。
【００５２】
中期記憶用ＳＯＭの出力を決定するにあたり、中期記憶用ＳＯＭ管理部１８ｍでは、次式（１４）により各結合重みベクトルＷｍｐ，ｑの密集度ｃｏｎｆｍｐ，ｑを算出する。
【００５３】
【数１１】
0004696245.tif 000012
【００５４】
ここで、ｄｍｐ，ｑは、ユニットＵｍｐ，ｑの結合重みベクトルＷｍｐ，ｑと、その周囲のユニットＵｍｐ＋１，ｑ、Ｕｍｐ−１，ｑ、Ｕｍｐ，ｑ＋１、Ｕｍｐ，ｑ−１の結合重みベクトルＷｍｐ＋１，ｑ、Ｗｍｐ−１，ｑ、Ｗｍｐ，ｑ＋１、Ｗｍｐ，ｑ−１と、平均距離であり、次式（１０）と同様にして求められる。
【００５５】
そして、フレーム画像から歩行者Ｔが消失した場合に、中期記憶用ＳＯＭから結合重みベクトルＷｍｐ，ｑが出力される。そして、中期記憶用ＳＯＭ管理部１８ｍからは、結合重みベクトルＷｍｐ，ｑ、その結合重みベクトルＷｍｐ，ｑに係る密集度ｃｏｎｆｍｐ，ｑが、長期記憶用ＳＯＭ管理部１８ｌに入力される。
【００５６】
長期記憶用ＳＯＭ管理部１８ｌは、図９に示す長期記憶用ＳＯＭ（第２の自己組織化マップ）を管理するものであり、長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑの更新、出力ベクトルの算出を行う。長期記憶用ＳＯＭには、フレーム画像から歩行者Ｍが消失した際、中期記憶用ＳＯＭのユニットＵｍｐ，ｑの結合重みベクトルＷｍｐ，ｑが入力されている。そして、競合層にＮ行Ｍ列に配置されたユニットＵｌｐ，ｑのそれぞれに関する結合重みベクトルＷｌｐ，ｑは、入力された結合重みベクトルＷｍｐ，ｑ及び密集度ｃｏｎｆｍｐ，ｑにより更新される。
【００５７】
すなわち、長期記憶用ＳＯＭには、次式（１５）のように、中期記憶用ＳＯＭの結合重みベクトルＷｍｐ，ｑが、入力ベクトルＸｌとして入力される。
【００５８】
【数１２】
0004696245.tif 000013
【００５９】
そして、長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑは、次式（１６）に従って更新されている。
【００６０】
【数１３】
0004696245.tif 000014
【００６１】
ここで、Ｗｌｐ，ｑ（ｔ）は時刻ｔにおける長期記憶用ＳＯＭの結合重みベクトルであり、Δｔは中期記憶用ＳＯＭの記憶時間（フレーム画像に歩行者Ｍが表れてから、歩行者Ｔが消失するまでの時間）である。さらに、αｌは、中期記憶用ＳＯＭ管理部１８ｍから入力される密集度ｃｏｎｆｍｐ，ｑを用いて、次式（１７）によって算出される。
【００６２】
【数１４】
0004696245.tif 000015
【００６３】
ここで、σは定数であり、ｐｃ及びｑｃは競合層における勝者ユニットを特定するものであり、勝者ユニットは上記式（８）と同様にして特定される。
【００６４】
更新式（１６）における第２項は、結合重みベクトルＷｌｐ，ｑを入力ベクトルＸｌに近づける働きを有する。この際、入力ベクトルＸｌに近づく程度は、式（１７）により密集度ｃｏｎｆｍｐ，ｑに比例する。更新式（１２）によれば、長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑは、中期記憶用ＳＯＭの結合重みベクトルＷｍｐ，ｑに近づく。こうして更新される結合重みベクトルＷｌｐ，ｑは、短期記憶用ＳＯＭ管理部１８ｓにフィードバックされ、短期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑの更新に用いられる。
【００６５】
本実施形態によれば、長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑは、過去の注目位置ベクトルＸｓを反映したものとなる。一方、短期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑは、こうした性格を有する長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑを基礎に、そこに最近の注目位置ベクトルＸｓの影響を加えたものとなる。従って、過去の注目位置ベクトルＸｓに近似する注目位置ベクトルＸｓが動画像カメラ１２による撮像されたフレーム画像から得られた場合には、該注目位置ベクトルＸｓに応じた少なくとも一部が、素早く、該注目位置ベクトルＸｓに非常に近いものに変わる。また、注目位置ベクトルＸｓの入力が無ければ（歩行者Ｍがフレーム画像から消失すれば）、短期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑは、時間経過に従って長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑに近づく。従って、短期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑに基づいてフレーム画像中の画像解析処理（歩行者Ｔの有無及び歩行者Ｔの位置座標の算出処理）の対象領域を決定すると、歩行者Ｔがフレーム画像に表れていればその位置に応じた領域が画像解析処理の対象領域となり、歩行者Ｔがフレーム画像から消失すれば過去の注目位置に応じた領域が画像解析処理の対象領域となる。このため、あたかも人間のように、現在及び過去の知見を総合勘案して、フレーム画像中の適切な箇所に対して歩行者Ｔの検出処理を行うことができる。
【００６６】
図１０は、本実施形態に係る画像解析装置１０を用いて、車両前方の動画像を処理した様子を示している。同図の最上段は、時刻ｔ＝０、ｔ＝１０、ｔ＝２０、ｔ＝３０、ｔ＝４０におけるフレーム画像を示している。上段の各フレーム画像に表された矩形は、歩行者Ｔの位置を示している。また、各フレーム画像の下には、ｔ＝０、ｔ＝２０、ｔ＝３０、ｔ＝４０における短期記憶用ＳＯＭ、中期記憶用ＳＯＭ、長期記憶用ＳＯＭの結合重みベクトルＷｓｐ，ｑ、Ｗｍｐ，ｑ、Ｗｌｐ，ｑがそれぞれ上から順に示されている。短期用ＳＯＭの結合重みベクトルＷｓｐ，ｑの図には、注視点が丸印で示されている。これらの図から解るように、フレーム画像に歩行者Ｔが映し出されていると、通常はその位置に近い位置が注視点となる（ｔ＝１０，２０，３０）。しかし、フレーム画像に歩行者Ｔが映し出されていても、歩行者Ｔがフレーム画像の端に移動するなどして、その重要度ｄが低下すると、注視点は歩行者Ｔの位置から離れ、長期記憶用ＳＯＭの結合重みベクトルＷｌｐ，ｑに応じた位置に移る。このように、本実施形態によれば、あたかも人間のように、現在及び過去の知見を総合勘案して、フレーム画像中の適切な箇所に対して歩行者Ｔの検出処理を行うことができる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施形態に係る画像解析装置の構成図である。
【図２】動画像データの一例を示す図である。
【図３】動画像データから切り出されるフレーム画像データの一例を示す図である。
【図４】解析対象領域を示す図である。
【図５】注目位置の重要度を算出する処理を説明する図である。
【図６】解析領域判断部の構成図である。
【図７】短期記憶用ＳＯＭを示す図である。
【図８】中期記憶用ＳＯＭを示す図である。
【図９】長期記憶用ＳＯＭを示す図である。
【図１０】本実施形態に係る画像解析装置の動作例を示す図である。
【符号の説明】
【００６８】
１０  画像解析装置、１２  動画像カメラ、１４  フレーム画像取得部、１６  画像解析部、１８  解析領域判断部、１８ｓ  短期記憶用ＳＯＭ管理部、１８ｍ  中期記憶用ＳＯＭ管理部、１８ｌ  長期記憶用ＳＯＭ管理部、２０  重要度算出部、２２  警告部。
【図１】
0004696245.tif 000016
【図２】
0004696245.tif 000017
【図３】
0004696245.tif 000018
【図４】
0004696245.tif 000019
【図５】
0004696245.tif 000020
【図６】
0004696245.tif 000021
【図７】
0004696245.tif 000022
【図８】
0004696245.tif 000023
【図９】
0004696245.tif 000024
【図１０】
0004696245.tif 000025