(57)【特許請求の範囲】
【請求項１】
対象となる入力映像から、その入力映像の中で顕著な特性を持つ時空間領域を表示した映像である注目度映像を抽出する注目領域抽出方法であって、
入力映像を構成するあるフレームから、当該フレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出する基礎注目度画像抽出過程と、
前記基礎注目度画像抽出過程により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像において、各画素の値である基礎注目度が最も大きい領域である最大基礎注目度領域を、前記基礎注目度画像抽出過程により前記入力映像の現在フレームから抽出された基礎注目度画像において抑制することにより、瞬時抑制後注目度画像を抽出する注目度瞬時抑制過程、
または、
前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像について、時間軸方向で顕著な値を持つ領域を抽出し、前記基礎注目度画像抽出過程により前記入力映像の当該フレームから抽出された基礎注目度画像、または、前記注目度瞬時抑制過程により前記入力映像の当該フレームから抽出された瞬時遷移注目度画像において、抽出した前記領域を強調するとともに他の領域を抑制することにより、漸進抑制後注目度画像を抽出する注目度漸進抑制過程
の一方、または、両方の過程と、
前記基礎注目度画像抽出過程と、注目度瞬時抑制過程または注目度漸進抑制過程の一方または両方の過程とを、前記入力映像の各フレームに対して順に繰り返して実行することにより、前記瞬時抑制後注目度画像または前記漸進抑制後注目度画像の時系列である漸進抑制後注目度映像を抽出し、これを注目度映像として出力する注目度映像出力過程と
を有することを特徴とする注目領域抽出方法。
【請求項２】
前記基礎注目度画像抽出過程は、
前記入力映像のあるフレームから、基礎特徴画像を複数種類抽出する基礎特徴画像抽出過程と、
前記基礎特徴画像抽出過程により抽出された基礎特徴画像の各種類について、その多重解像度表現である多重解像度画像を抽出する多重解像度画像抽出過程と、
前記多重解像度画像抽出過程により抽出された多重解像度画像の各種類について、解像度の異なる画像の間の差分である解像度差分画像を複数抽出する解像度差分画像抽出過程と、
前記解像度差分画像抽出過程により抽出された解像度差分画像の各種類について、解像度の異なる解像度差分画像を統合することにより、顕著度画像を抽出する顕著度画像抽出過程と、
前記顕著度画像抽出過程により抽出された顕著度画像について、複数種類の顕著度画像を統合することにより、基礎注目度画像を抽出する顕著度画像統合過程とからなり、
前記注目度漸進抑制過程は、基礎注目度画像に代えて漸進抑制画像を用いて顕著度画像を抽出する
ことを特徴とする請求項１に記載の注目領域抽出方法。
【請求項３】
さらに、
前記基礎注目度画像抽出過程により抽出された基礎注目度画像から前記最大基礎注目度領域を抽出し、複数種類の顕著度画像について前記最大基礎注目度領域に対応する領域の中の値を算出し、その値の大きさから、対応する顕著度画像の重みである顕著度画像統合比率を決定する顕著度画像統合比率算出過程と
を有し、
前記基礎注目度画像抽出過程は、前記入力映像の１つ前のフレームについて前記顕著度画像統合比率算出過程により算出された顕著度画像統合比率によって顕著度画像を重み付けして統合することにより、基礎注目度画像を抽出する
ことを特徴とする請求項１または請求項２に記載の注目領域抽出方法。
【請求項４】
前記顕著度画像統合比率算出過程は、
前記入力映像の１つの前のフレームについて算出された前記顕著度画像統合比率を初期値とし、各顕著度画像について算出された前記最大基礎注目度領域の中の値を当該初期値に対しての差分値として新たな顕著度画像統合比率を更新する
ことを特徴とする請求項３に記載の注目領域抽出方法。
【請求項５】
前記注目度瞬時抑制過程は、
前記基礎注目度画像抽出過程により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像から前記最大基礎注目度領域を抽出する最大基礎注目度領域検出過程と、
前記最大基礎注目度領域検出過程により抽出された前記最大基礎注目度領域を遮蔽する画像である最大基礎注目度領域遮蔽画像を抽出する最大基礎注目度領域遮蔽画像抽出過程と、
前記最大基礎注目度領域遮蔽画像抽出過程により抽出された最大基礎注目度領域遮蔽画像によって遮蔽されている領域について、その領域における遮蔽を低減する画像である注目度漸進回復画像を抽出する注目度漸進回復画像抽出過程と、
前記最大基礎注目度領域遮蔽画像抽出過程により抽出された最大基礎注目度領域遮蔽画像、及び、前記注目度漸進回復画像抽出過程により抽出された注目度漸進回復画像を統合することにより注目度瞬時抑制画像を生成する注目度瞬時抑制画像生成過程と、
前記注目度瞬時抑制画像生成過程により生成された注目度瞬時抑制画像、及び、基礎注目度画像抽出過程により抽出された前記入力映像の現在のフレームの基礎注目度画像を統合することにより瞬時抑制後注目度画像を生成する瞬時抑制後注目度画像生成過程とからなる
ことを特徴とする請求項１から請求項４のいずれかの項に記載の注目領域抽出方法。
【請求項６】
前記注目度漸進抑制過程は、
前記基礎注目度画像抽出過程により抽出された基礎注目度画像を漸進的に遮蔽する画像である注目度漸進遮蔽画像を生成する注目度漸進遮蔽画像生成過程と、
前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像もしくは顕著度画像について、時間軸方向で顕著な値を持つ領域を抽出し、その領域に対応する前記基礎注目度画像もしくは前記瞬時抑制後注目度画像における領域の基礎注目度の抑制を解除させる画像である注目度瞬時回復画像を生成する注目度瞬時回復画像生成過程と、
前記注目度漸進遮蔽画像生成過程により生成された注目度漸進遮蔽画像、及び、前記注目度瞬時回復画像生成過程により生成された注目度瞬時回復画像を統合することにより注目度漸進抑制画像を生成する注目度漸進抑制画像生成過程と、
前記基礎注目度画像抽出過程により抽出された基礎注目度画像、もしくは、前記注目度瞬時抑制過程により抽出された瞬時抑制後注目度画像と、前記注目度漸進抑制画像生成過程に生成された注目度漸進抑制画像とを統合することにより漸進抑制後注目度画像を生成する漸進抑制後注目度画像生成過程とからなる
ことを特徴とする請求項１から請求項５のいずれかに記載の注目領域抽出方法。
【請求項７】
対象となる入力映像から、その入力映像の中で顕著な特性を持つ時空間領域を表示した映像である注目度映像を抽出する注目領域抽出装置であって、
入力映像を構成するあるフレームから、当該フレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出する基礎注目度画像抽出部と、
前記基礎注目度画像抽出部により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像において、各画素の値である基礎注目度が最も大きい領域である最大基礎注目度領域を、前記基礎注目度画像抽出部により前記入力映像の現在フレームから抽出された基礎注目度画像において抑制することにより、瞬時抑制後注目度画像を抽出する注目度瞬時抑制部、
または、
前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像について、時間軸方向で顕著な値を持つ領域を抽出し、前記基礎注目度画像抽出部により前記入力映像の当該フレームから抽出された基礎注目度画像、または、前記注目度瞬時抑制部により前記入力映像の当該フレームから抽出された瞬時遷移注目度画像において、抽出した前記領域を強調するとともに他の領域を抑制することにより、漸進抑制後注目度画像を抽出する注目度漸進抑制部
の一方、または、両方と、
前記入力映像の各フレームに対して、注目度瞬時抑制部が抽出した前記瞬時抑制後注目度画像、または、前記注目度漸進抑制部が抽出した前記漸進抑制後注目度画像の時系列である漸進抑制後注目度映像を抽出し、これを注目度映像として出力する注目度映像出力部と
を備えることを特徴とする注目領域抽出装置。
【請求項８】
対象となる入力映像から、その入力映像の中で顕著な特性を持つ時空間領域を表示した映像である注目度映像を抽出する注目領域抽出装置として用いられるコンピュータに、
入力映像を構成するあるフレームから、当該フレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出する基礎注目度画像抽出過程と、
前記基礎注目度画像抽出過程により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像において、各画素の値である基礎注目度が最も大きい領域である最大基礎注目度領域を、前記基礎注目度画像抽出過程により前記入力映像の現在フレームから抽出された基礎注目度画像において抑制することにより、瞬時抑制後注目度画像を抽出する注目度瞬時抑制過程、
または、
前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像について、時間軸方向で顕著な値を持つ領域を抽出し、前記基礎注目度画像抽出過程により前記入力映像の当該フレームから抽出された基礎注目度画像、または、前記注目度瞬時抑制過程により前記入力映像の当該フレームから抽出された瞬時遷移注目度画像において、抽出した前記領域を強調するとともに他の領域を抑制することにより、漸進抑制後注目度画像を抽出する注目度漸進抑制過程
の一方、または、両方の過程と、
前記基礎注目度画像抽出過程と、注目度瞬時抑制過程または注目度漸進抑制過程の一方または両方の過程とを、前記入力映像の各フレームに対して順に繰り返して実行することにより、前記瞬時抑制後注目度画像または前記漸進抑制後注目度画像の時系列である漸進抑制後注目度映像を抽出し、これを注目度映像として出力する注目度映像出力過程と
を実行させることを特徴とするコンピュータプログラム。
【請求項９】
対象となる入力映像から、その入力映像の中で顕著な特性を持つ時空間領域を表示した映像である注目度映像を抽出する注目領域抽出装置として用いられるコンピュータに、
入力映像を構成するあるフレームから、当該フレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出する基礎注目度画像抽出過程と、
前記基礎注目度画像抽出過程により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像において、各画素の値である基礎注目度が最も大きい領域である最大基礎注目度領域を、前記基礎注目度画像抽出過程により前記入力映像の現在フレームから抽出された基礎注目度画像において抑制することにより、瞬時抑制後注目度画像を抽出する注目度瞬時抑制過程、
または、
前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像について、時間軸方向で顕著な値を持つ領域を抽出し、前記基礎注目度画像抽出過程により前記入力映像の当該フレームから抽出された基礎注目度画像、または、前記注目度瞬時抑制過程により前記入力映像の当該フレームから抽出された瞬時遷移注目度画像において、抽出した前記領域を強調するとともに他の領域を抑制することにより、漸進抑制後注目度画像を抽出する注目度漸進抑制過程
の一方、または、両方の過程と、
前記基礎注目度画像抽出過程と、注目度瞬時抑制過程または注目度漸進抑制過程の一方または両方の過程とを、前記入力映像の各フレームに対して順に繰り返して実行することにより、前記瞬時抑制後注目度画像または前記漸進抑制後注目度画像の時系列である漸進抑制後注目度映像を抽出し、これを注目度映像として出力する注目度映像出力過程と
を実行させるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号における注目領域を抽出する注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体に関する。
【背景技術】
【０００２】
ディジタルカメラの普及、記録媒体の大容量化、低価格化、大容量ネットワークの普及により、多様な画像・映像を蓄積して検索・利用する技術が必要となってきている。中でも、言葉では表現しにくい色・形状・構図・模様などの概念から、全体として類似した画像・映像を高速に引き出してくる技術は、ショッピングサイトや動画共有サイトなど、幅広い分野で開発が求められている。
【０００３】
上記のような検索技術の実現において、ユーザの検索意図を反映させるために、画像・映像の中で人間が重要と感じる度合いを注目度として抽出し、この抽出した注目度に基づいて画像の類似性を判断する方法が有望である。前記注目度を算出する技術として非特許文献１及び非特許文献２に記載の方法が、また前記注目度に基づいて画像の類似性を判断する技術として特許文献１に記載の方法が知られている。
【特許文献１】特開２００６−３３８３１３号公報
【非特許文献１】L. Itti et al.，“A model of saliency-based visual attention for rapid scene analysis”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Volume 20，Number11，pp. 1254-1259，November 1998.
【非特許文献２】L. Itti et a1.，“Realistic avatar eye and head animation using a neurobiological model of visual attention”，Proceedings of SPIE International Symposium on Optical Science and Technology，Volume 5200，pp. 64-78，August 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の方法では、注目度が時間的に変動する側面についてはほとんど考慮されていない。本発明は、このような事情に鑑みてなされたものであり、その目的は、時間的変動を考慮した新たな注目度の算出方法を導入した注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体を提供することにある。
【０００５】
すなわち、本発明においては、以下の２点により、注目度の時間的変動を考慮した注目度算出方法を実現する。
【０００６】
（１）注目度が最大となる領域の瞬時的な移動の導入。
人間の初期視覚において、できるだけ早く視野全体の情報を把握するために、注視点が高速に移動する「視覚探索」という現象が知られている（R.M. Klein: "Inhibition of return," Trends in Cognitive Sciences, Vol.4, No.4, pp.138-147, April 2000.；非特許文献３）。本発明ではこの「視覚探索」を注目度の算出に導入する。
【０００７】
（２）変動の小さい視覚的刺激に対する注目度の抑制の導入。
人間の初期視覚において、できるだけ少ない注視点移動で視野全体の情報を把握するために、視覚的刺激が小さい領域に対する注目の度合いが時間経過と共に低下する「視覚適応」という現象が知られている（S. Martinez-Conde, S. L. Macknik and D. H. Hubel: "The role of fixational eye movements in visual perception," Nature Reviews, Vol.5, pp.229-240, March 2004.；非特許文献４）。本発明では、これの「視覚適応」を注目度の算出に導入する。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明は、対象となる入力映像から、その入力映像の中で顕著な特性を持つ時空間領域を表示した映像である注目度映像を抽出する注目領域抽出方法であって、入力映像を構成するあるフレームから、当該フレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出する基礎注目度画像抽出過程と、前記基礎注目度画像抽出過程により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像において、各画素の値である基礎注目度が最も大きい領域である最大基礎注目度領域を、前記基礎注目度画像抽出過程により前記入力映像の現在フレームから抽出された基礎注目度画像において抑制することにより、瞬時抑制後注目度画像を抽出する注目度瞬時抑制過程、または、前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像について、時間軸方向で顕著な値を持つ領域を抽出し、前記基礎注目度画像抽出過程により前記入力映像の当該フレームから抽出された基礎注目度画像、または、前記注目度瞬時抑制過程により前記入力映像の当該フレームから抽出された瞬時遷移注目度画像において、抽出した前記領域を強調するとともに他の領域を抑制することにより、漸進抑制後注目度画像を抽出する注目度漸進抑制過程の一方、または、両方の過程と、前記基礎注目度画像抽出過程と、注目度瞬時抑制過程または注目度漸進抑制過程の一方または両方の過程とを、前記入力映像の各フレームに対して順に繰り返して実行することにより、前記瞬時抑制後注目度画像または前記漸進抑制後注目度画像の時系列である漸進抑制後注目度映像を抽出し、これを注目度映像として出力する注目度映像出力過程とを有することを特徴とする注目領域抽出方法である。
【０００９】
上記発明では、注目度瞬時抑制過程によって、注目度が最大となる領域の瞬時的な移動を導入し、「視覚探索」現象を信号処理により実現する。また、注目度漸進抑制過程によって、変動の小さい視覚的刺激に対する注目度の抑制を導入し、「視覚適応」現象を信号処理により実現する。
【００１０】
また、本発明は、上述する注目領域抽出方法であって、前記基礎注目度画像抽出過程は、前記入力映像のあるフレームから、基礎特徴画像を複数種類抽出する基礎特徴画像抽出過程と、前記基礎特徴画像抽出過程により抽出された基礎特徴画像の各種類について、その多重解像度表現である多重解像度画像を抽出する多重解像度画像抽出過程と、前記多重解像度画像抽出過程により抽出された多重解像度画像の各種類について、解像度の異なる画像の間の差分である解像度差分画像を複数抽出する解像度差分画像抽出過程と、前記解像度差分画像抽出過程により抽出された解像度差分画像の各種類について、解像度の異なる解像度差分画像を統合することにより、顕著度画像を抽出する顕著度画像抽出過程と、前記顕著度画像抽出過程により抽出された顕著度画像について、複数種類の顕著度画像を統合することにより、基礎注目度画像を抽出する顕著度画像統合過程とからなり、前記注目度漸進抑制過程は、基礎注目度画像に代えて漸進抑制画像を用いて顕著度画像を抽出することを特徴とする。
【００１１】
また、本発明は、上述する注目領域抽出方法であって、さらに、前記基礎注目度画像抽出過程により抽出された基礎注目度画像から前記最大基礎注目度領域を抽出し、複数種類の顕著度画像について前記最大基礎注目度領域に対応する領域の中の値を算出し、その値の大きさから、対応する顕著度画像の重みである顕著度画像統合比率を決定する顕著度画像統合比率算出過程とを有し、前記基礎注目度画像抽出過程は、前記入力映像の１つ前のフレームについて前記顕著度画像統合比率算出過程により算出された顕著度画像統合比率によって顕著度画像を重み付けして統合することにより、基礎注目度画像を抽出することを特徴とする。
【００１２】
また、本発明は、上述する注目領域抽出方法であって、前記顕著度画像統合比率算出過程は、前記入力映像の１つの前のフレームについて算出された前記顕著度画像統合比率を初期値とし、各顕著度画像について算出された前記最大基礎注目度領域の中の値を当該初期値に対しての差分値として新たな顕著度画像統合比率を更新することを特徴とする。
【００１３】
また、本発明は、上述する注目領域抽出方法であって、前記注目度瞬時抑制過程は、前記基礎注目度画像抽出過程により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像から前記最大基礎注目度領域を抽出する最大基礎注目度領域検出過程と、前記最大基礎注目度領域検出過程により抽出された前記最大基礎注目度領域を遮蔽する画像である最大基礎注目度領域遮蔽画像を抽出する最大基礎注目度領域遮蔽画像抽出過程と、前記最大基礎注目度領域遮蔽画像抽出過程により抽出された最大基礎注目度領域遮蔽画像によって遮蔽されている領域について、その領域における遮蔽を低減する画像である注目度漸進回復画像を抽出する注目度漸進回復画像抽出過程と、前記最大基礎注目度領域遮蔽画像抽出過程により抽出された最大基礎注目度領域遮蔽画像、及び、前記注目度漸進回復画像抽出過程により抽出された注目度漸進回復画像を統合することにより注目度瞬時抑制画像を生成する注目度瞬時抑制画像生成過程と、前記注目度瞬時抑制画像生成過程により生成された注目度瞬時抑制画像、及び、基礎注目度画像抽出過程により抽出された前記入力映像の現在のフレームの基礎注目度画像を統合することにより瞬時抑制後注目度画像を生成する瞬時抑制後注目度画像生成過程とからなることを特徴とする。
【００１４】
また、本発明は、上述する注目領域抽出方法であって、前記注目度漸進抑制過程は、前記基礎注目度画像抽出過程により抽出された基礎注目度画像を漸進的に遮蔽する画像である注目度漸進遮蔽画像を生成する注目度漸進遮蔽画像生成過程と、前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像もしくは顕著度画像について、時間軸方向で顕著な値を持つ領域を抽出し、その領域に対応する前記基礎注目度画像もしくは前記瞬時抑制後注目度画像における領域の基礎注目度の抑制を解除させる画像である注目度瞬時回復画像を生成する注目度瞬時回復画像生成過程と、前記注目度漸進遮蔽画像生成過程により生成された注目度漸進遮蔽画像、及び、前記注目度瞬時回復画像生成過程により生成された注目度瞬時回復画像を統合することにより注目度漸進抑制画像を生成する注目度漸進抑制画像生成過程と、前記基礎注目度画像抽出過程により抽出された基礎注目度画像、もしくは、前記注目度瞬時抑制過程により抽出された瞬時抑制後注目度画像と、前記注目度漸進抑制画像生成過程に生成された注目度漸進抑制画像とを統合することにより漸進抑制後注目度画像を生成する漸進抑制後注目度画像生成過程とからなることを特徴とする。
【００１５】
また、本発明は、対象となる入力映像から、その入力映像の中で顕著な特性を持つ時空間領域を表示した映像である注目度映像を抽出する注目領域抽出装置であって、入力映像を構成するあるフレームから、当該フレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出する基礎注目度画像抽出部と、前記基礎注目度画像抽出部により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像において、各画素の値である基礎注目度が最も大きい領域である最大基礎注目度領域を、前記基礎注目度画像抽出部により前記入力映像の現在フレームから抽出された基礎注目度画像において抑制することにより、瞬時抑制後注目度画像を抽出する注目度瞬時抑制部、または、前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像について、時間軸方向で顕著な値を持つ領域を抽出し、前記基礎注目度画像抽出部により前記入力映像の当該フレームから抽出された基礎注目度画像、または、前記注目度瞬時抑制部により前記入力映像の当該フレームから抽出された瞬時遷移注目度画像において、抽出した前記領域を強調するとともに他の領域を抑制することにより、漸進抑制後注目度画像を抽出する注目度漸進抑制部の一方、または、両方と、前記入力映像の各フレームに対して、注目度瞬時抑制部が抽出した前記瞬時抑制後注目度画像、または、前記注目度漸進抑制部が抽出した前記漸進抑制後注目度画像の時系列である漸進抑制後注目度映像を抽出し、これを注目度映像として出力する注目度映像出力部とを備えることを特徴とする注目領域抽出装置である。
【００１６】
また、本発明は、対象となる入力映像から、その入力映像の中で顕著な特性を持つ時空間領域を表示した映像である注目度映像を抽出する注目領域抽出装置として用いられるコンピュータに、入力映像を構成するあるフレームから、当該フレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出する基礎注目度画像抽出過程と、前記基礎注目度画像抽出過程により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像において、各画素の値である基礎注目度が最も大きい領域である最大基礎注目度領域を、前記基礎注目度画像抽出過程により前記入力映像の現在フレームから抽出された基礎注目度画像において抑制することにより、瞬時抑制後注目度画像を抽出する注目度瞬時抑制過程、または、前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像について、時間軸方向で顕著な値を持つ領域を抽出し、前記基礎注目度画像抽出過程により前記入力映像の当該フレームから抽出された基礎注目度画像、または、前記注目度瞬時抑制過程により前記入力映像の当該フレームから抽出された瞬時遷移注目度画像において、抽出した前記領域を強調するとともに他の領域を抑制することにより、漸進抑制後注目度画像を抽出する注目度漸進抑制過程の一方、または、両方の過程と、前記基礎注目度画像抽出過程と、注目度瞬時抑制過程または注目度漸進抑制過程の一方または両方の過程とを、前記入力映像の各フレームに対して順に繰り返して実行することにより、前記瞬時抑制後注目度画像または前記漸進抑制後注目度画像の時系列である漸進抑制後注目度映像を抽出し、これを注目度映像として出力する注目度映像出力過程とを実行させることを特徴とするコンピュータプログラムである。
【００１７】
また、本発明は、対象となる入力映像から、その入力映像の中で顕著な特性を持つ時空間領域を表示した映像である注目度映像を抽出する注目領域抽出装置として用いられるコンピュータに、入力映像を構成するあるフレームから、当該フレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出する基礎注目度画像抽出過程と、前記基礎注目度画像抽出過程により前記入力映像の現在より１つ前のフレームから抽出された基礎注目度画像において、各画素の値である基礎注目度が最も大きい領域である最大基礎注目度領域を、前記基礎注目度画像抽出過程により前記入力映像の現在フレームから抽出された基礎注目度画像において抑制することにより、瞬時抑制後注目度画像を抽出する注目度瞬時抑制過程、または、前記入力映像の現在のフレーム以前のいくつかのフレームから算出された基礎注目度画像について、時間軸方向で顕著な値を持つ領域を抽出し、前記基礎注目度画像抽出過程により前記入力映像の当該フレームから抽出された基礎注目度画像、または、前記注目度瞬時抑制過程により前記入力映像の当該フレームから抽出された瞬時遷移注目度画像において、抽出した前記領域を強調するとともに他の領域を抑制することにより、漸進抑制後注目度画像を抽出する注目度漸進抑制過程の一方、または、両方の過程と、前記基礎注目度画像抽出過程と、注目度瞬時抑制過程または注目度漸進抑制過程の一方または両方の過程とを、前記入力映像の各フレームに対して順に繰り返して実行することにより、前記瞬時抑制後注目度画像または前記漸進抑制後注目度画像の時系列である漸進抑制後注目度映像を抽出し、これを注目度映像として出力する注目度映像出力過程とを実行させるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１８】
本発明によれば、映像から注目領域を抽出する際に、注目度が最大となる領域の瞬時的な移動の導入、変動の小さい視覚的刺激に対する注目度の抑制を行うことにより、映像の注目度の時間的変更を考慮し、人間が重要と感じる部分に近い注目領域を抽出することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を用いて本発明の実施形態を説明する。
【００２０】
［第１の実施形態］
図１は、本発明の第１の実施形態による注目領域抽出装置の機能ブロック図である。
同図に示す注目領域抽出装置は、基礎注目度画像抽出部１と、注目度瞬時抑制部３と、注目度映像出力部５とにより構成され、注目度抽出の対象となる映像のデータである入力映像を入力し、入力画像の中で注目度の高い顕著な特性を持つ時空間領域を表示した映像である注目度映像を出力する。映像は、複数のフレームの画像からなる。
【００２１】
基礎注目度画像抽出部１は、入力映像のあるフレームである入力画像を入力し、そのフレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出し、その基礎注目度画像を出力する。
基礎注目度画像の抽出方法は特に限定されるものではないが、本実施形態においては、基礎注目度画像抽出部１が、基礎特徴画像抽出部１１と、多重解像度画像抽出部１２と、解像度差分画像抽出部１３と、顕著度画像抽出部１４と、顕著度画像統合部１５とによって構成される場合の特徴抽出方法について述べる。
【００２２】
基礎特徴画像抽出部１１は、入力画像を入力し、複数の特徴抽出方法により入力画像からそれぞれ基礎特徴画像を抽出し、それら基礎特徴画像の集合を出力する。
基礎特徴画像の抽出方法は特に限定されるものではないが、本実施形態においては、基礎特徴画像抽出部１１が、輝度特徴画像抽出部１１１と、色特徴画像抽出部１１２と、方向特徴画像抽出部１１３と、点滅特徴画像抽出部１１４と、運動特徴画像抽出部１１５とによって構成される場合の特徴抽出方法について述べる。
【００２３】
輝度特徴画像抽出部１１１は、入力画像を入力し、入力画像の輝度成分を表現する輝度特徴画像を出力する。輝度特徴画像は、入力画像のＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）成分の平均として、以下の（式１）のように求める。
【００２４】
【数１】
0004750758.tif 000002
【００２５】
ここで、ｒ（ｉ），ｇ（ｉ），ｂ（ｉ）は、それぞれｉ番目の入力画像（＝入力映像のｉ番目のフレーム）におけるＲ（赤色），Ｇ（緑色），Ｂ（青）の各成分であり、画素値はそれぞれ０から１の実数値で表されている。また、Ｉ（ｉ）は、ｉ番目の入力画像から計算される輝度特徴画像である。
【００２６】
色特徴画像抽出部１１２は、入力画像を入力し、入力画像の色成分を表現する色特徴画像を出力する。色特徴画像抽出部１１２では、赤色・緑色・青色・黄色にそれぞれ対応する４種類の色特徴画像を抽出する。これらの色特徴画像はそれぞれ、以下の（式２）〜（式４）のように求める。ただし、ｍａｘは、括弧｛｝内の値のうちの最大値を示す。
【００２７】
【数２】
0004750758.tif 000003
【００２８】
ここで、Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ），Ｙ（ｉ）は、それぞれ赤色・緑色・青色・黄色に対応する、ｉ番目の入力画像から計算される色特徴画像である。また、Ｒ（ｉ）（ｘ，ｙ）は、座標（ｘ，ｙ）における色特徴画像Ｒ（ｉ）の画素値である。以降の説明において、必要な場合を除いて、下添字の（ｘ，ｙ）は省略するものとする。
【００２９】
方向特徴画像抽出部１１３は、入力画像を入力し、入力画像の方向成分を表現する方向特徴画像を出力する。方向特徴画像は、輝度特徴画像抽出部１１１によって求めた前記輝度特徴画像Ｉ（ｉ）にガボールフィルタを作用させることによって、以下の（式６）のように求められる。なお、ガボールフィルタとは、画像の局所的な濃淡情報を取り出すものである。
【００３０】
【数３】
0004750758.tif 000004
【００３１】
ここで、ｇφは回転角φを持つガボールフィルタ、＊は畳み込み（関数を平行移動しながらもう一方の関数を重ね足し合わせる）を表現する演算子である。また、Ｏφ（ｉ）はｉ番目の入力画像から計算される、回転角φに対応する方向特徴画像である。方向特徴画像は、ｎφ通りの回転角について抽出される。このとき回転角φは、π＝１８０°を均等にｎφ分割するように、以下の（式７）のように選択される。
【００３２】
【数４】
0004750758.tif 000005
【００３３】
点滅特徴画像抽出部１１４は、入力画像を入力し、入力画像の点滅成分を表現する点滅特徴画像を出力する。点滅特徴画像は、輝度特徴画像抽出部１１１により、現在及びそれ以前のいくつかの入力画像から計算される前記輝度特徴画像Ｉ（ｉ）を用い、以下の（式８）のように計算される。
【００３４】
【数５】
0004750758.tif 000006
【００３５】
ここで、ｎＦは点滅特徴画像を抽出する際に参照する輝度特徴画像の数（ただし現在の入力画像から抽出された輝度特徴画像は除く）、Ｆ（ｉ）はｉ番目及びそれ以前の入力画像から計算される点滅特徴画像である。ｎＦ＝１としたとき、Ｆ（ｉ）＝｜Ｉ（ｉ）−Ｉ（ｉ−１）｜となり、非特許文献２に記載の方法と一致する。
【００３６】
運動特徴画像抽出部１１５は、入力画像を入力し、入力画像の運動成分を表現する運動特徴画像を出力する。運動特徴画像の抽出方法は特に限定されるものではないが、本実施形態においては、輝度特徴画像の各点におけるオプティカルフローを求めることによって抽出する。オプティカルフローの導出方法は特に限定されるものではないが、本実施形態においては、例えば、一般にLucas-Kanade法と呼ばれる画像勾配に基づく方法を用いて、以下の（式９）〜（式１０）のように計算する。
【００３７】
【数６】
0004750758.tif 000007
【００３８】
ここで、Ａ（ｘ，ｙ）は座標（ｘ，ｙ）の近傍領域、Ｍｘ（ｉ），Ｍｙ（ｉ）はそれぞれ運動の水平成分・垂直成分に対応する運動特徴画像である。
【００３９】
上記の通り、基礎特徴画像抽出部１１は、前記輝度特徴画像、前記色特徴画像、前記方向特徴画像、前記点滅特徴画像、及び前記運動特徴画像を、それぞれ基礎特徴画像とし、それら基礎特徴画像の集合を出力する。
【００４０】
多重解像度画像抽出部１２は、前記基礎特徴画像の集合を入力し、各基礎特徴画像について、その多重解像度表現である多重解像度画像を抽出し、多重解像度画像の集合を出力する。
本実施形態においては、いずれの基礎特徴画像についても同様の処理を行うため、輝度特徴画像を例に処理の説明を行うものとする。輝度特徴画像についての多重解像度表現である輝度多重解像度画像は、輝度特徴画像にガウシアンフィルタを繰り返し作用させることによって以下の（式１１）のように抽出される。ガウシアンフィルタとは、画像のノイズ除去するための平滑化フィルタのひとつであり、注目画素からの距離に基づく重み付けにガウス関数を用いる。
【００４１】
【数７】
0004750758.tif 000008
【００４２】
ここで、Ｇσは分散σを持つガウシアンフィルタ、Ｉ（ｉ；ｌ）は輝度特徴画像Ｉ（ｉ）から抽出した第ｌレベルの輝度多重解像度画像、ｎｌは多重解像度画像のレベル数である。第０レベルの輝度多重解像度画像は輝度特徴画像そのもの、すなわちＩ（ｉ；０）＝Ｉ（ｉ）とする。
【００４３】
他の基礎特徴画像についても同様にして多重解像度画像を抽出することができる。このとき、輝度多重解像度画像がｎｌ枚抽出されるのに対して、色特徴画像Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ），Ｙ（ｉ）を用いた場合の色多重解像度画像Ｒ（ｉ；ｌ），Ｇ（ｉ；ｌ），Ｂ（ｉ；ｌ），Ｙ（ｉ；ｌ）は合計４ｎｌ枚、方向特徴画像Ｏφ（ｉ）を用いた場合の方向多重解像度画像Ｏφ（ｉ；ｌ）は合計ｎφｎｌ枚、点滅特徴画像Ｆ（ｉ）を用いた場合の点滅多重解像度画像Ｆ（ｉ；ｌ）はｎｌ枚、運動特徴画像Ｍｘ（ｉ），Ｍｙ（ｉ）を用いた場合の運動多重解像度画像Ｍｘ（ｉ；ｌ），Ｍｙ（ｉ；ｌ）は合計２ｎｌ枚、それぞれ抽出される。
【００４４】
上記の通り、多重解像度画像抽出部１２は、前記輝度多重解像度画像、前記色多重解像度画像、前記方向多重解像度画像、前記点滅多重解像度画像、及び前記運動多重解像度画像をそれぞれ多重解像度画像とし、それら多重解像度画像の集合を出力する。
【００４５】
解像度差分画像抽出部１３は、多重解像度画像抽出部１２が出力した前記多重解像度画像の集合を入力し、多重解像度画像の各種類（輝度・色など）について、解像度レベルの異なる画像の間の差分画像である解像度差分画像を抽出し、解像度差分画像の集合を出力する。
本実施形態においては、以下の（式１２）〜（式１７）のようにして解像度差分画像を抽出する。
【００４６】
【数８】
0004750758.tif 000009
【００４７】
ここで、ＲＳＩ（ｉ；ｃ，ｓ）は第ｃレベルと第ｓレベルの輝度多重解像度画像から得られる輝度解像度差分画像であり、以降、（ｃ，ｓ）レベル輝度解像度差分画像と呼ぶことにする。同様に、ＲＳＲＧ（ｉ；ｃ，ｓ）及びＲＳＢＹ（ｉ；ｃ，ｓ）はそれぞれ（ｃ，ｓ）レベルＲＧ色解像度差分画像及び（ｃ，ｓ）レベルＢＹ色解像度差分画像、ＲＳＯ（ｉ；φ；ｃ，ｓ）は回転角φの（ｃ，ｓ）レベル方向解像度差分画像、ＲＳＦ（ｉ；ｃ，ｓ）は（ｃ，ｓ）レベル点滅解像度差分画像、
【００４８】
【数９】
0004750758.tif 000010
【００４９】
（以下、「ＲＳＭｋ（ｉ；ｃ，ｓ）」と記載）はｋ方向の（ｃ，ｓ）レベル運動解像度差分画像である。また、Ｌｃ，Ｌｓは輝度解像度差分画像を抽出する際に考慮する解像度レベルの集合であり、それぞれ中心解像度レベル集合、周辺解像度レベル集合と呼ぶ。
このとき、輝度解像度差分画像が｜Ｌｃ・Ｌｓ｜枚抽出されるのに対して、色解像度差分画像は４｜Ｌｃ・Ｌｓ｜枚、方向解像度差分画像はｎφ｜Ｌｃ・Ｌｓ｜枚、点滅解像度差分画像は｜Ｌｃ・Ｌｓ｜枚、運動解像度差分画像は２｜Ｌｃ・Ｌｓ｜枚、それぞれ抽出される。
【００５０】
上記の通り、解像度差分画像抽出部１３は、前記輝度解像度差分画像、前記色解像度差分画像、前記方向解像度差分画像、前記点滅解像度差分画像、及び前記運動解像度差分画像をそれぞれ解像度差分画像とし、それら解像度差分画像の集合を出力する。
【００５１】
顕著度画像抽出部１４は、解像度差分画像抽出部１３により出力された前記解像度差分画像の集合を入力し、解像度差分画像の各種類（輝度・色など）について解像度差分画像を統合した画像である顕著度画像を抽出し、それら顕著度画像の集合を出力する。
顕著度画像の抽出方法は特に限定されるものではないが、本実施形態においては、顕著度画像抽出部１４が解像度差分画像正規化部１４１と、正規化解像度差分画像積算部１４２とによって構成される場合の顕著度画像抽出方法について述べる。
【００５２】
解像度差分画像正規化部１４１は、解像度差分画像抽出部１３により出力された前記解像度差分画像の集合を入力し、各解像度差分画像について正規化処理を施した画像である正規化解像度差分画像を抽出し、正規化解像度差分画像の集合を出力する。
本実施形態においては、いずれの解像度差分画像についても同様の処理を行うため、あるｃ∈Ｌｃ，ｓ∈Ｌｓを選んだときの（ｃ，ｓ）レベル輝度解像度差分画像ＲＳＩ（ｉ；ｃ，ｓ）を例に処理の説明を行うものとする。解像度差分画像に対する正規化処理は、以下の（式１８）〜（式２０）ようにして行われ、正規化解像度差分画像Ｎ（ＲＳＩ（ｉ；ｃ，ｓ））を得る。
【００５３】
【数１０】
0004750758.tif 000011
【００５４】
ここで、ｍ＊（ＲＳＩ（ｉ；ｃ，ｓ））は、（ｃ，ｓ）レベル輝度解像度差分画像の中の最大画素値である。
【００５５】
【数１１】
0004750758.tif 000012
（以下、￣ｍ（ＲＳＩ（ｉ；ｃ，ｓ））と記載）は、（ｃ，ｓ）レベル輝度解像度差分画像の局所領域における最大値の平均、Ａは、￣ｍ（ＲＳＩ（ｉ；ｃ，ｓ））を計算する際の局所領域、ｎＡはそのような局所領域の総数である。各局所領域は、例えば、画像を格子状に分割したときの１つの格子（領域）とする。なお、以下では、文字の上に￣や〜が付いた文字は、￣や〜を文字の前に記載して表す（例えば、上述する「￣ｍ」）。
【００５６】
他のレベルの輝度解像度差分画像、及び他の種類の輝度解像度差分画像についても同様にして正規化処理を行うことができ、それぞれの正規化解像度差分画像、すなわち、正規化輝度解像度差分画像、正規化ＲＧ色解像度差分画像、正規化ＢＹ色解像度差分画像、正規化方向解像度差分画像、正規化方向解像度差分画像、正規化点滅解像度差分画像、正規化運動解像度差分画像を得る。
【００５７】
正規化解像度差分画像積算部１４２は、解像度差分画像正規化部１４１により得られた前記正規化解像度差分画像の集合を入力し、それら正規化解像度差分画像を各種類（輝度・色など）について積算することにより顕著度画像を抽出し、顕著度画像の集合を出力する。
本実施形態において、正規化解像度差分画像は、以下の（式２１）〜（式２５）のようにして積算される。
【００５８】
【数１２】
0004750758.tif 000013
【００５９】
ここで、ＣＭＩ（ｉ）、ＣＭＣ（ｉ）、ＣＭＯ（ｉ）、ＣＭＦ（ｉ）、ＣＭＭ（ｉ）はそれぞれ輝度顕著度画像、色顕著度画像、方向顕著度画像、点滅顕著度画像、運動顕著度画像であり、正規化解像度差分画像Ｎ（ＲＳＩ（ｉ；ｃ，ｓ））、正規化ＲＧ色解像度差分画像Ｎ（ＲＳＲＧ（ｉ；ｃ，ｓ））及び正規化ＢＹ色解像度差分画像Ｎ（ＲＳＢＹ（ｉ；ｃ，ｓ））、正規化方向解像度差分画像Ｎ（ＲＳＯ（ｉ；φ；ｃ，ｓ））、正規化方向解像度差分画像Ｎ（ＲＳＦ（ｉ；ｃ，ｓ））、正規化点滅解像度差分画像Ｎ（ＲＳＦ（ｉ；ｃ，ｓ））、正規化運動解像度差分画像Ｎ（ＲＳＭｋ（ｉ；ｃ，ｓ））を用いて同様に求められる。
【００６０】
上記の通り、顕著度画像抽出部１４は、前記輝度顕著度画像、前記色顕著度画像、前記方向顕著度画像、前記点滅顕著度画像、及び前記運動顕著度画像を、それぞれ顕著度画像とし、それら顕著度画像の集合を出力する。
【００６１】
顕著度画像統合部１５は、顕著度画像抽出部１４により出力された前記顕著度画像の集合を入力し、顕著度画像を統合した画像である基礎注目度画像を抽出し、その基礎注目度画像を出力する。
基礎注目度画像の抽出方法は特に限定されるものではないが、本実施形態においては、顕著度画像統合部１５が、顕著度画像正規化部１５１と、正規化顕著度画像積算部１５２とによって構成される場合の基礎注目度画像抽出方法について述べる。
【００６２】
顕著度画像正規化部１５１は、顕著度画像抽出部１４により出力された顕著度画像の集合を入力し、各顕著度画像（輝度顕著度画像、色顕著度画像、方向顕著度画像、点滅顕著度画像、運動顕著度画像）それぞれについて正規化処理を施した画像である正規化顕著度画像を抽出し、正規化顕著度画像の集合を出力する。
顕著度画像に対する正規化処理は、前記解像度差分画像正規化部１４１による正規化処理と同様である。
【００６３】
正規化顕著度画像積算部１５２は、顕著度画像正規化部１５１により出力された正規化顕著度画像の集合を入力し、それら正規化顕著度画像を積算することにより基礎注目度画像を抽出し、その基礎注目度画像を出力する。
本実施形態において、正規化顕著度画像Ｎ（ＣＭｊ（ｉ））（ｊ＝Ｉ，Ｃ，Ｏ，Ｆ，Ｍ）は、以下の（式２６）のようにして積算される。ただし、〜ｊは、式中でｊと区別するために用いているが、ｊと同様、〜ｊ＝Ｉ，Ｃ，Ｏ，Ｆ，Ｍである。
【００６４】
【数１３】
0004750758.tif 000014
【００６５】
ここで、Ｓ（ｉ）はｉ番目の入力画像から抽出される基礎注目度画像、ｗｊ（ｉ）は後述の第３の実施形態の顕著度画像統合比率算出部２により抽出される顕著度画像ＣＭｊ（ｉ）に対応する顕著度画像統合比率であるが、本実施形態及び後述する第２の実施形態では、顕著度画像統合比率算出部２を用いないため、ｗｊ（ｉ）＝１／５∀（ｉ，ｊ）とする。（∀は任意を示す。）
【００６６】
上記の通り、基礎注目度画像抽出部１は、前記基礎注目度画像を抽出し、これを出力する。
【００６７】
注目度瞬時抑制部３は、基礎注目度画像抽出部１により、現在及び１時点前の入力画像から算出された前記基礎注目度画像を入力し、１時点前の入力画像から算出された基礎注目度画像について、その基礎注目度画像の各画素の値である基礎注目度が最も大きい領域である最大基礎注目度領域を抑制することにより、瞬時抑制後注目度画像を抽出し、その瞬時抑制後注目度画像を出力する。
【００６８】
瞬時抑制後注目度画像の抽出方法は特に限定されるものではないが、本実施形態においては、注目度瞬時抑制部３が、最大基礎注目度領域検出部３１と、最大基礎注目度領域遮蔽画像抽出部３２と、注目度漸進回復画像抽出部３３と、注目度瞬時抑制画像生成部３４と、瞬時抑制後注目度画像生成部３５とによって構成される場合の瞬時抑制後注目度画像抽出方法について述べる。
【００６９】
最大基礎注目度領域検出部３１は、１時点前の入力画像から算出された前記基礎注目度画像を入力し、入力された基礎注目度画像における前記最大基礎注目度領域を抽出し、この最大基礎注目度領域を出力する。
最大基礎注目度領域の抽出方法は特に限定されるものではないが、本実施形態においては、最大基礎注目度領域ＭＳＲ（ｉ−１）を、基礎注目度画像Ｓ（ｉ−１）の画素値（基礎注目度）が最も大きい箇所（（￣ｘ），（￣ｙ））を中心とした半径εの円によって抽出する。すなわち、以下の（式２７）のように表現される。ただし、ａｒｇｍａｘは、直後の項を最大化する値を返す演算子である。例えば、（式２７）においては、Ｓ（ｉ−１）（ｘ’，ｙ’）を最大化する（ｘ’，ｙ’）を返す。
【００７０】
【数１４】
0004750758.tif 000015
【００７１】
最大基礎注目度領域遮蔽画像抽出部３２は、現在の入力画像から算出された前記基礎注目度画像、現在及びそれ以前の入力画像から算出された前記最大基礎注目度領域、及び１時点前における注目度瞬時抑制画像生成部３４の出力である注目度瞬時抑制画像を入力し、最大基礎注目度領域を新たに遮蔽する画像である最大基礎注目度領域遮蔽画像を抽出し、この最大基礎注目度領域遮蔽画像を出力する。
最大基礎注目度領域遮蔽画像の抽出方法は特に限定されるものではないが、本実施形態においては、以下の方法によって抽出する。
【００７２】
１時点前の注目度瞬時抑制画像生成部３４における処理により、注目度瞬時抑制画像ＩＤ（ｉ−１）がすでに得られているものとする。
ここで、現在の入力画像がｉ番目の入力画像であるとする。このとき、１時点前の最大基礎注目度領域ＭＳＲ（ｉ−１）を新たに遮蔽するようにＩＤ（ｉ−１）を更新することで、現在の最大基礎注目度領域遮蔽画像ＩＤ１（ｉ）を以下の（式２８）〜（式２９）のように生成する。ただし、ｍｏｄは、除算の余りを示す。
【００７３】
【数１５】
0004750758.tif 000016
【００７４】
ここで、μ（０＜μ≦１）は、最大基礎注目度領域を遮蔽する度合を表現する係数であり、μ＝１のときには、その領域における基礎注目度の大きさによらずその領域を完全に遮蔽する。また、ΔｔＩ≧１は最大基礎注目度領域による遮蔽の間隔を制御する定数である。特に、ΔｔＩ＝１のときには、すべてのフレームにおいて最大基礎注目度領域による遮蔽を行う。
【００７５】
別の実施形態として、１時点前の最大基礎注目度領域遮蔽画像ＩＤ１（ｉ−１）によって遮蔽されている領域を、その領域の動きに追随して移動させることも可能である。ｋ番目の入力画像から算出された最大基礎注目度領域ＭＳＲ（ｋ）の時点ｉ（ｉ≧ｋ）での位置ＭＳＲ（ｉ；ｋ）は、以下の（式３０）〜（式３２）のようにして算出される。
【００７６】
【数１６】
0004750758.tif 000017
【００７７】
ただし、ＭＳＲ（ｉ；ｉ）＝ＭＳＲ（ｉ）とする。このとき、最大基礎注目度領域遮蔽画像ＩＤ１（ｉ）は、以下の（式３３）〜（式３５）のようにして算出される。
【００７８】
【数１７】
0004750758.tif 000018
【００７９】
上記（式３３）の第１行は１時点前の最大基礎注目度領域を遮蔽する操作、第２行は既に遮蔽されている最大基礎注目度領域を前記運動特徴画像の画素値を利用して移動させる操作、第３行は第２行で移動する前の領域の遮蔽を解除する操作である。
【００８０】
注目度漸進回復画像抽出部３３は、最大基礎注目度領域遮蔽画像抽出部３２の算出した前記最大基礎注目度領域遮蔽画像によって遮蔽されている領域における遮蔽を低減させる画像である注目度漸進回復画像を抽出し、この注目度漸進回復画像を出力する。
本実施形態において、注目度漸進回復画像ＩＤ２（ｉ）は、全ての画素値がα（０≦α≦１）である画像とする。
【００８１】
【数１８】
0004750758.tif 000019
【００８２】
注目度瞬時抑制画像生成部３４は、最大基礎注目度領域遮蔽画像抽出部３２の算出した前記最大基礎注目度領域遮蔽画像及び注目度漸進回復画像抽出部３３の出力した注目度漸進回復画像を入力し、これら画像を統合することにより注目度瞬時抑制画像を生成し、この注目度瞬時抑制画像を出力する。
本実施形態において、注目度瞬時抑制画像ＩＤ（ｉ）は、以下の（式３７）のようにして得られる。ただし、ｍｉｎは、括弧｛｝内の値のうちの最小値を示す。
【００８３】
【数１９】
0004750758.tif 000020
【００８４】
瞬時抑制後注目度画像生成部３５は、前記注目度瞬時抑制画像及び前記基礎注目度画像を入力し、これら画像を統合することにより瞬時抑制後注目度画像を生成し、この瞬時抑制後注目度画像を出力する。
本実施形態において、瞬時抑制後注目度画像ＳＩ（ｉ）は、以下の（式３８）のようにして得られる。
【００８５】
【数２０】
0004750758.tif 000021
【００８６】
ここで、ωＩ（ｉ）≧０は注目度瞬時抑制画像ＩＤ（ｉ）に対する重みを表現する係数である。
【００８７】
上記の通り、注目度瞬時抑制部３は、前記瞬時抑制後注目度画像を抽出し、これを出力する。
【００８８】
注目度映像出力部５は、前記基礎注目度画像抽出部１〜注目度瞬時抑制部３を、各入力画像について順に繰り返して実行することにより抽出された前記瞬時抑制後注目度画像の時系列である瞬時抑制後注目度映像を抽出し、これを注目度映像として出力する。
【００８９】
図２に、本実施形態の動作例を示す。
同図において、上段（ａ）は入力画像、中段の（ｂ）は注目度瞬時抑制画像、下段の（ｃ）は瞬時抑制後注目度画像であり、それぞれ左から時系列順に整列している。
【００９０】
［第２の実施形態］
図３は、本発明の第２の実施形態による注目領域抽出装置の機能ブロック図である。
本実施形態に示す注目領域抽出装置は、基礎注目度画像抽出部１と、注目度瞬時抑制部３と、注目度漸進抑制部４と、注目度映像出力部５とで構成され、注目度抽出の対象となる入力映像を入力し、入力画像の中で注目度の高い領域を表示した映像である注目度映像を出力する。なお、注目領域抽出装置を、注目度瞬時抑制部３を用いずに、基礎注目度画像抽出部１と、注目度漸進抑制部４と、注目度映像出力部５とで構成することも可能である。同図において、第１の実施形態と同様の構成は同じ符号を付し、説明を省略する。基礎注目度画像抽出部１、及び注目度瞬時抑制部３は、第１の実施形態と同様である。
【００９１】
注目度漸進抑制部４は、現在及びそれ以前の入力画像のうちいくつかから算出された前記顕著度画像、及び前記基礎注目度画像もしくは前記瞬時抑制後注目度画像を入力し、顕著度画像について時間軸方向で顕著な値を持つ領域を抽出し、その領域に対応する基礎注目度画像もしくは瞬時抑制後注目度画像における領域を強調し、そうではない領域を抑制することにより、漸進抑制後注目度画像を抽出し、その漸進抑制後注目度画像を出力する。
【００９２】
漸進抑制後注目度画像の抽出方法は特に限定されるものではないが、本実施形態においては、注目度漸進抑制部４が、注目度漸進遮蔽画像生成部４１と、注目度瞬時回復画像生成部４２と、注目度漸進抑制画像生成部４３と、漸進抑制後注目度画像生成部４４とによって構成される場合の漸進抑制後注目度画像抽出方法について述べる。
【００９３】
注目度漸進遮蔽画像生成部４１は、前記基礎注目度画像を漸進的に遮蔽する画像である注目度漸進遮蔽画像を生成し、この注目度漸進遮蔽画像を出力する。
注目度漸進遮蔽画像の生成方法は、特に限定されるものではないが、本実施形態においては、基礎注目度画像Ｓ（ｉ）の全ての画素値を１時点ごとにβ（０＜β≦１）ずつ減少させることで以下の（式３９）のように注目度漸進遮蔽画像ＧＤ１（ｉ）を生成する。
【００９４】
【数２１】
0004750758.tif 000022
【００９５】
注目度瞬時回復画像生成部４２は、現在及びそれ以前の入力画像のうちいくつかの入力画像から算出された前記顕著度画像を入力し、それら顕著度画像について、時間軸方向で顕著な値を持つ領域を抽出し、その領域に対応する前記基礎注目度画像もしくは前記瞬時抑制後注目度画像における領域の基礎注目度の抑制を解除させる画像である注目度瞬時回復画像を生成し、この注目度瞬時回復画像を出力する。
注目度瞬時回復画像の生成方法は、特に限定されるものではないが、本実施形態においては、注目度瞬時回復画像生成部４２が、時間顕著度画像生成部４２１と、時間顕著度画像二値化部４２２とによって構成される場合の注目度瞬時回復画像生成方法について述べる。
【００９６】
時間顕著度画像生成部４２１は、現在及びそれ以前の入力画像のうちいくつかの入力画像から算出された前記顕著度画像を入力し、それら顕著度画像について、時間軸方向で顕著な値を持つ領域を示す画像である時間顕著度画像を生成し、この時間顕著度画像を出力する。
時間顕著度画像の生成方法は、特に限定されるものではないが、本実施形態においては、以下、２通りの方法について記述する。
【００９７】
第１の時間顕著度画像生成方法では、L. Itti and P. Baldi，"A principled approach to detecting surprising events in video," in Proc. Conference on Computer Vision and Pattern Recognition (CVPR), pp. 631-637, June 2005.（非特許文献５）に記載の方法に基づき、既定の確率モデルとの一致度を利用して時間顕著度画像を生成する。
【００９８】
以下の（式４０）に示すガンマ分布の確率密度関数Ｐγ（λ：ρ１，ρ２）について、１時点前の入力画像を用いた本処理部における出力により、この確率密度関数のパラメータであるガンマ分布係数（ρ１，ρ２）＝（ρ１（ｉ−１），ρ２（ｉ−１））が決定されているものとする。
【００９９】
【数２２】
0004750758.tif 000023
【０１００】
ここで、Γ（・）はガンマ関数である。
【０１０１】
第１の時間顕著度画像生成方法の基本的な考え方は、各解像度差分画像の各画素に対応する形でそれぞれ上記のガンマ分布係数ρ１，ρ２が保持されており、各時点の解像度差分画像の画素値に応じてガンマ分布係数を更新しながら、時間顕著度画像を生成する枠組である。以下、簡単のため、ある（ｃ，ｓ）レベル輝度解像度差分画像ＲＳＩ（ｉ；ｃ，ｓ）を例として処理を説明する。
【０１０２】
まず、輝度解像度差分画像ＲＳＩ（ｉ；ｃ，ｓ）の各画素（ｘ，ｙ）について、その画素におけるガンマ分布の入力λの推定値であるガンマ分布推定入力係数λＩ（ｉ）（ｘ，ｙ）を、輝度解像度差分画像における（空間的・時間的双方の意味を含めた）注目画素周辺の画素値及び注目画素に対応するガンマ分布係数ρ１，Ｉ（ｉ−１）（ｘ，ｙ），ρ２，Ｉ（ｉ−１）（ｘ，ｙ）から導出する。次に、導出されたガンマ分布推定入力係数λＩ（ｉ）（ｘ，ｙ）を用いてガンマ分布係数ρ１，Ｉ（ｉ−１）（ｘ，ｙ），ρ２，Ｉ（ｉ−１）（ｘ，ｙ）を以下の（式４１）、（式４２）ように更新する。
【０１０３】
【数２３】
0004750758.tif 000024
【０１０４】
ここで、ζ（０＜ζ＜１）は係数更新における履歴の反映率を表現する係数である。上記の処理により導出されたガンマ分布係数から、輝度成分についての時間方向の顕著性を表す画像である（ｃ，ｓ）レベル輝度時間顕著度画像ＳＰＩ（ｉ；ｃ，ｓ）を以下のように導出する。
【０１０５】
【数２４】
0004750758.tif 000025
【０１０６】
ここで、Ｄ（Ｐ‖Ｐ’）は確率密度関数ＰとＰ’との間のKullback-Liebler divergenceである。また、Ψ（ｘ）はdigamma functionと呼ばれ、以下の（式４５）で表される。
【０１０７】
【数２５】
0004750758.tif 000026
【０１０８】
なお、表記の簡略化のため、輝度成分を表すＩ及び注目画素を示す（ｘ，ｙ）は省略している。
【０１０９】
このようにして導出された輝度時間顕著度画像ＳＰＩ（ｉ）と、同様の処理によって導出された色時間顕著度画像ＳＰＣ（ｉ）・方向時間顕著度画像ＳＰＯ（ｉ）・点滅時間顕著度画像ＳＰＦ（ｉ）・運動時間顕著度画像ＳＰＭ（ｉ）を統合して、時間顕著度画像ＳＰ（ｉ）を生成する。具体的には、以下の（式４６）〜（式５１）のようにして生成する。
【０１１０】
【数２６】
0004750758.tif 000027
【０１１１】
これに対し、第２の時間顕著度画像生成方法では、解像度差分画像抽出部１３と類似の方法に基づき、時間軸における重み付き差分処理を利用して時間顕著度画像を生成する。
まず、現在及びそれ以前ｎＴ時点前までの各種類（輝度・色など）の顕著度画像ＣＭｊ（ｉ−ｔ）（０≦ｔ≦ｎＴ）から、ガウス分布によって重み付けされた時間軸方向の差分処理によって、時間応答画像Ｔｊ（ｉ）を（式５２）のように算出する。
【０１１２】
【数２７】
0004750758.tif 000028
【０１１３】
ここで、ησ（ｔ）は、平均０、分散σ２を持つガウス分布の確率密度関数である。上記時間応答画像を統合することで、時間顕著度画像ＳＰ（ｉ）を（式５３）のように算出する。
【０１１４】
【数２８】
0004750758.tif 000029
【０１１５】
時間顕著度画像二値化部４２２は、前記時間顕著度画像を入力し、時間顕著度画像を二値化することによって注目度瞬時回復画像を生成し、この注目度瞬時回復画像を出力する。
本実施形態において、時間顕著度画像ＳＰ（ｉ）は以下のように二値化され、注目度瞬時回復画像ＧＤ２（ｉ）が（式５４）のように生成される。
【０１１６】
【数２９】
0004750758.tif 000030
【０１１７】
ここで、θは時間顕著度画像の二値化における閾値であり、予め決められる。
【０１１８】
上記の通り、注目度瞬時回復画像生成部４２は、注目度瞬時回復画像ＧＤ２（ｉ）を生成し、これを出力する。
【０１１９】
注目度漸進抑制画像生成部４３は、前記注目度漸進遮蔽画像及び前記注目度瞬時回復画像を入力し、これら画像を統合することにより注目度漸進抑制画像を生成し、この注目度漸進抑制画像を出力する。
本実施形態において、注目度漸進抑制画像ＧＤ（ｉ）は、以下の（式５５）のようにして得られる。
【０１２０】
【数３０】
0004750758.tif 000031
【０１２１】
漸進抑制後注目度画像生成部４４は、前記注目度漸進抑制画像、及び前記基礎注目度画像または前記瞬時抑制後注目度画像を入力し、これら画像を統合することにより漸進抑制後注目度画像を生成し、この漸進抑制後注目度画像を出力する。
漸進抑制後注目度画像の生成方法は、特に限定されるものではないが、本実施形態においては、瞬時抑制後注目度画像ＳＩ（ｉ）と注目度漸進抑制画像ＧＤ（ｉ）とを統合して、漸進抑制後注目度画像ＳＬ（ｉ）を（式５６）〜（式５７）のように生成する。
【０１２２】
【数３１】
0004750758.tif 000032
【０１２３】
ここで、ωＧ（ｉ）≧０は注目度漸進抑制画像ＧＤ（ｉ）に対する重みを表現する係数である。上記に示すように、注目度瞬時抑制部３の出力する瞬時抑制後注目度画像ＳＩ（ｉ）を用いた式を、基礎注目度画像抽出部１の出力する基礎注目度画像Ｓ（ｉ）を用いた式により算出することが可能である。ここで、ωＩ（ｉ）＝０のときには、注目度瞬時抑制部３を用いない場合と等価になる。
【０１２４】
上記の通り、注目度漸進抑制部４は、前記漸進抑制後注目度画像を抽出し、これを出力する。
【０１２５】
注目度映像出力部５は、前記基礎注目度画像抽出部１〜注目度漸進抑制部４を、各入力画像に対して順に繰り返して実行することにより抽出された前記漸進抑制後注目度画像の時系列である漸進抑制後注目度映像を抽出し、これを注目度映像として出力する。
【０１２６】
図４は、本実施形態の動作例を示す。同図において、（ａ）は入力画像、（ｂ）は注目度漸進抑制画像、（ｃ）は漸進抑制後注目度画像であり、それぞれ左から時系列順に整列している。
【０１２７】
［第３の実施形態］
図５は、本発明の第３の実施形態による注目領域抽出装置の機能ブロック図である。
本実施形態に示す注目領域抽出装置は、基礎注目度画像抽出部１と、顕著度画像統合比率算出部２と、注目度瞬時抑制部３と、注目度漸進抑制部４と、注目度映像出力部５とで構成され、注目度抽出の対象となる入力映像を入力し、入力画像の中で注目度の高い領域を表示した映像である注目度映像を出力する。同図において、第１、第２の実施形態と同様の構成は同じ符号を付し、説明を省略する。基礎注目度画像抽出部１、注目度瞬時抑制部３、注目度漸進抑制部４、及び注目度映像出力部５は、第１もしくは第２の実施形態と同様である。
【０１２８】
顕著度画像統合比率算出部２は、それぞれ現在の入力画像から抽出された前記顕著度画像の集合及び前記基礎注目度画像を入力し、前記基礎注目度画像から最大基礎注目度領域を抽出する。そして、各顕著度画像について抽出した最大基礎注目度領域に対応する領域の中の値を算出し、その値の大きさから、対応する顕著度画像の重みである顕著度画像統合比率を決定し、その顕著度画像統合比率の集合を出力する。
【０１２９】
顕著度画像統合比率の計算方法は、特に限定されるものではないが、本実施形態においては、V. Navalpakkam and L. Itti: "Optimal cue selection strategy," in Advances in Neural Information Processing Systems (NIPS), pp.987-994, December 2005.（非特許文献６）に記載の方法に基づき、最大基礎注目度領域における各顕著度画像の画素値を用いて顕著度画像統合比率を逐次更新していく。
【０１３０】
１時点前の入力画像を用いた本処理部における処理により、各顕著度画像ＣＭｊ（ｉ−１）（ｊ＝Ｉ，Ｃ，Ｏ，Ｆ，Ｍ）に対応する顕著度画像統合比率ｗｊ（ｉ−１）が既に得られているものとする。まず、基礎注目度画像Ｓ（ｉ）から最大基礎注目度領域ＭＳＲ（ｉ）を抽出する。抽出方法は、前述の最大基礎注目度領域検出部３１における抽出方法と同様である。次に、各顕著度画像ＣＭｊ（ｉ）に対応する顕著度画像統合比率ｗｊ（ｉ）を、以下のように決定する。
【０１３１】
【数３２】
0004750758.tif 000033
【０１３２】
ここで、δは重み更新における履歴の反映比率を与える定数である。
【０１３３】
続いて、本発明の実施形態を用いた実験データを以下に示す。
入力映像として、大きさ６４０×４８０ピクセル、長さ８〜１５秒の映像６種類を用意した。また、各実施形態に示した記号の実際の数値として、以下の値を用いた。
【０１３４】
ｎφ＝４，  ｎＦ＝３，  σ＝１．２５，  ｎｌ＝８，  Ｌｃ＝｛２，３，４｝，  Ｌｓ＝｛ｃ＋３，ｃ＋４｝（ｃ∈ＬＣ），  ｎＡ＝３２×２４＝７６８，  ε＝２５，  μ＝１．０，  ｔＩ＝１０，  α＝１／ｔＩ＝０．１，  β＝０．００２５，  ｔＴ＝８，  θ＝０．２５ｍａｘ（ｘ，ｙ）ＳＰ（ｉ）（ｘ，ｙ），  δ＝０．１
【０１３５】
本発明の効果を確認するため、本発明の実施形態及び既知の方法によって得られる注目度映像がどの程度人間の視覚特性を模擬できているかを比較した。人間の視覚特性を表現する数量として、人間が実際に入力映像を見ている際の視線の位置を採用した。５名の被験者に入力映像を提示し、既存の視線測定装置を用いて各被験者の入力映像中の注視位置を逐次測定した。各被験者について、１種類の入力映像を２回提示した。これにより、各被験者・各入力映像について、注視位置の時系列を２本獲得した。この注視位置の時系列を、時刻の整合性を保ちながら入力映像の各フレーム（すなわち入力画像）に対応付けることで、各被験者・各入力画像について２通りの注視位置を獲得した。
【０１３６】
人間の視覚特性を模擬できているかどうかの評価尺度として、被験者の注視位置における注目度を採用した。本発明の方法もしくは既知の方法により入力映像から抽出した注目度映像について、入力画像ＩＮ（ｉ；ｋ）（ｋ＝１，２，…，６：映像の種類に対応）に対応する注目度映像のフレームである注目度画像ＳＦ（ｉ；ｋ）を考える。本発明の第１の実施形態においては瞬時抑制後注目度画像が注目度画像と等しい、すなわちＳＦ（ｉ；ｋ）＝ＳＩ（ｉ；ｋ）であり、本発明の第２の実施形態においては漸進抑制後注目度画像が注目度画像と等しい、すなわちＳＦ（ｉ；ｋ）＝ＳＩ（ｉ；ｋ）である。入力画像ＩＮ（ｎ；ｋ）における被験者ｎ（ｎ＝１，２，…，５）の注視位置を（ｘ（ｉ；ｋ，ｎ），ｙ（ｉ；ｋ，ｎ））と表記するとき、被験者ｎを「教師」とする注目度画像ＳＦ（ｉ；ｋ）の評価値Ｖ（ｉ；ｋ，ｎ）を以下の（式６０）で定めた。
【０１３７】
【数３３】
0004750758.tif 000034
【０１３８】
上記（式６０）の右辺において、分母は、注目度画像を正規化するために付与されている。注目度映像｛ＳＦ（ｉ；ｋ）｝ｉの評価値Ｖ（ｋ）は、（式６１）に示すように、各注目度画像についての評価値を総計し、さらに被験者について平均を取ることで得る。ｎＥは被験者の数（すなわち、本評価例においては「５」）である。
【０１３９】
【数３４】
0004750758.tif 000035
【０１４０】
上記の評価値により、本発明の第１〜第３の実施形態による方法と既知の方法とを比較した。既知の方法として、非特許文献１に記載の方法、及び非特許文献２に記載の方法を用いた。図６は、非特許文献１に記載の方法、非特許文献２に記載の方法、第１の実施形態による方法（本発明の実施形態１）、第２の実施形態による方法（本発明の実施形態２）、第３の実施形態による方法（本発明の実施形態３）を用いた場合の入力映像（Ｖｉｄｅｏ１〜６）ごとの評価値（図中ではＮＥＴＲ  Ｖａｌｕｅ）を比較したグラフ、図７に各方法毎に全入力映像について平均を取った評価値を比較したグラフを示す。図７では、左から非特許文献１に記載の方法（Still image algorithm）、非特許文献２に記載の方法（Moving algorithm）、第１の実施形態による方法（Case 1）、第２の実施形態による方法（Case 2）、第３の実施形態による方法（Case 3）の平均評価値を示している。ここで、本発明の第１〜第３の実施形態による方法では、漸進抑制後注目度画像生成部４４に注目した、３通りの設定について評価している。第１の設定（図中、本発明の第１の実施形態による方法）では、漸進抑制後注目度画像生成部４４において（ωＩ（ｉ），ωＧ（ｉ））＝（１，０）∀ｉとした。第２の設定（図中、本発明の第２の実施形態による方法）では、漸進抑制後注目度画像生成部４４において（ωＩ（ｉ），ωＧ（ｉ））＝（０，１）∀ｉとした。第３の設定（図中、本発明の第３の実施形態による方法）では、漸進抑制後注目度画像生成部４４において（ωＩ（ｉ），ωＧ（ｉ））＝（１，１）∀ｉとした。図７からわかるように、入力映像について平均したときに、本発明の第２の実施形態の設定が最も良い評価値を示した。また、図６からわかるように、本発明の第２の実施形態の設定は、いずれの入力映像についてもその他の方法を上回る評価値を示した。さらに、図６からわかるように、本発明の第１の及び第３の実施形態の設定は、いくつかの入力映像について既知の方法を上回る評価値を示した。
【０１４１】
なお、上述の注目領域抽出装置は、内部にコンピュータシステムを有している。そして、注目領域抽出装置の基礎注目度画像抽出部１、顕著度画像統合比率算出部２、注目度瞬時抑制部３、注目度漸進抑制部４、及び、注目度映像出力部５の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
【０１４２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【図面の簡単な説明】
【０１４３】
【図１】本発明の第１の実施形態による注目領域抽出装置の構成を示すブロック図である。
【図２】図１に示す注目領域抽出装置の動作例を示す図である。
【図３】本発明の第２の実施形態による注目領域抽出装置の構成を示すブロック図である。
【図４】図３に示す注目領域抽出装置の動作例を示す図である。
【図５】本発明の第３の実施形態による注目領域抽出装置の構成を示すブロック図である。
【図６】本発明と従来技術を用いた方法による入力映像ごとの評価値を示すグラフである。
【図７】図６に示す各方法の評価値の平均を示すグラフである。
【符号の説明】
【０１４４】
１…基礎注目度画像抽出部
１１…基礎特徴画像抽出部
１１１…輝度特徴画像抽出部
１１２…色特徴画像抽出部
１１３…方向特徴画像抽出部
１１４…点滅特徴画像抽出部
１１５…運動特徴画像抽出部
１２…多重解像度画像抽出部
１３…解像度差分画像抽出部
１４…顕著度画像抽出部
１４１…解像度差分画像正規化部
１４２…正規化解像度差分画像積算部
１５…顕著度画像統合部
２…顕著度画像統合比率算出部
３…注目度瞬時抑制部
３１…最大基礎注目度領域検出部
３２…最大基礎注目度領域遮蔽画像抽出部
３３…注目度漸進回復画像抽出部
３４…注目度瞬時抑制画像生成部
３５…瞬時抑制後注目度画像生成部
４…注目度漸進抑制部
４１…注目度漸進遮蔽画像生成部
４２…注目度瞬時回復画像生成部
４３…注目度漸進抑制画像生成部
４４…漸進抑制後注目度画像生成部
５…注目度映像出力部
【図１】
0004750758.tif 000036
【図２】
0004750758.tif 000037
【図３】
0004750758.tif 000038
【図４】
0004750758.tif 000039
【図５】
0004750758.tif 000040
【図６】
0004750758.tif 000041
【図７】
0004750758.tif 000042