(57)【要約】【課題】ピクセルまたはピクセルグループの知覚関連性を考慮して低減シーケンスを生成することにより、ユーザの見やすさを改善すること。【解決手段】本発明は、ソース画像からなり第１シーケンスと称されるシーケンスから、、低減された画像からなり第２シーケンスと称されるシーケンスを生成する方法に関する。上記の低減された画像は、ソース画像以下のサイズを有しており、ソース画像から、抽出ウィンドウによって区切られたこのソース画像の画像部分を抽出することにより、低減された画像を生成する。この方法ではソース画像のピクセルの知覚関心値に基づいて初期抽出ウィンドウを定め、この初期抽出ウィンドウを移動して、移動後の初期抽出ウィンドウが、移動前の初期抽出ウィンドウの知覚関心重心にセンタリングされるようにし、移動後の初期抽出ウィンドウを抽出ウィンドウとすることによって抽出ウィンドウを定める。【選択図】図１
2007035038.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのソース画像からなり第１シーケンスと称されるシーケンスから、少なくとも１つの低減された画像からなり第２シーケンスと称されるシーケンスを生成する方法であって、
前記の少なくとも１つの低減された画像は、前記の少なくとも１つのソース画像以下のサイズを有しており、
前記の少なくとも１つのソース画像から、抽出ウィンドウ（２３）によって区切られた当該のソース画像の少なくとも１つの画像部分を抽出することにより、前記の少なくとも１つの低減された画像を生成する形式の、低減された画像からなるシーケンスを生成する方法において、
前記抽出ウィンドウ（２３）をつぎのステップ、すなわち
−  前記の少なくとも１つのソース画像のピクセルの知覚関心値に基づいて初期抽出ウィンドウ（２２）を定めるステップと、
−  該初期抽出ウィンドウ（２２）を移動して、移動後の初期抽出ウィンドウ（２２）が、移動前の初期抽出ウィンドウ（２２）の知覚関連重心にセンタリングされるようにし、移動後の初期抽出ウィンドウ（２２）を前記抽出ウィンドウ（２３）とするステップとによって定めることを特徴とする、
低減された画像からなるシーケンスを生成する方法。
【請求項２】
前記の初期抽出ウィンドウ（２２）を定めるステップには、
ａ）  カレント最顕著ピクセルと称される、ソース画像の最も知覚関心の高いピクセルを中心として、ソース画像に予備ウィンドウ（２０）を配置するステップ（１０）と、
ｂ）  前記予備ウィンドウ（２０）に関連付けられている知覚関心値と、前記ソース画像に関連付けられている知覚関心値との間のカレント比を計算するステップ（１１）と、
ｃ）  当該のカレント比があらかじめ定めた第１閾値よりも小さい場合には、前記の予備ウィンドウ（２０）のサイズを適合させる（１２）ことによって初期抽出ウィンドウ（２２）を定めて、初期抽出ウィンドウ（２２）に関連付けられている知覚関心値が、予備ウィンドウ（２０）に関連付けられている知覚関心値よりも大きくなるようにし、
その他の場合には予備ウィンドウ（２０）を初期抽出ウィンドウ（２２）とすることによって初期抽出ウィンドウ（２２）を定めるステップとを有する、
請求項１に記載の方法。
【請求項３】
前記の初期抽出ウィンドウ（２２）を移動するステップの後、前記の抽出ウィンドウ（２３）がソース画像に完全に含まれていない場合、抽出ウィンドウ（２３）を平行移動してソース画像に完全に含まれるようにする、
請求項１または２に記載の方法。
【請求項４】
前記知覚関連重心座標ｉGCおよびｊGCはつぎのように計算され、すなわち、
【数１】
2007035038.tif 000018
であり、ここで
−（ｉp,ｊp）は抽出ウィンドウＷEのピクセルｐの座標であり、
−ｓ(ｉp,ｊp)はピクセルｐに関連付けられている知覚関連値である、
請求項１から３までいずれか１項に記載の方法。
【請求項５】
前記の初期抽出ウィンドウ（２２）を定めるステップｃ）では連続するつぎの４つのステップ、すなわち、
・  カレントウィンドウと称されるウィンドウを前記予備ウィンドウ（２０）によって初期化するステップと、
・  カレントウィンドウ（２０）の高さを第１増分値だけ増大させ、カレントウィンドウ（２０）の幅を第２増分値だけ増大させるステップ（１２）と、
・  カレントウィンドウに関連付けられている知覚関心値と、ソース画像に関連付けられている知覚関心値との間の新しい比を計算し、カレント比を前比にし、また新しい比をカレント比にするステップと、
・  カレント比と前比との間の差分があらかじめ定めた第２閾値よりも小さい場合には、カレントウィンドウを初期抽出ウィンドウ（２３）とすることによって前記の初期抽出ウィンドウ（２２）を定め、その他の場合には前記の増大ステップ（１２）に戻るステップとを実行する、
請求項２から４までのいずれか１項に記載の方法。
【請求項６】
前記シーケンスには少なくとも２つの画像が含まれており、
前記方法を当該シーケンスの画像に連続して適用する、
請求項１から５までのいずれか１項に記載の方法。
【請求項７】
前記の第１画像の最顕著ピクセルと、第１画像に続く第２画像の最顕著ピクセルとの間の間隔があらかじめ定めた閾値よりも小さい場合、前記の第２画像の予備ウィンドウ（２０）を、第１画像の最顕著ピクセルと同じ位置にあるピクセルに中心としてセンタリングする、
請求項２から６までのいずれか１項に記載の方法。
【請求項８】
前記の初期抽出ウィンドウ（２２）を定めるステップは以下のステップ、すなわち、
ａ）  カレント最顕著ピクセルと称される最も知覚関心の高い、ソース画像の点を中心として、ソース画像にカレントウィンドウを配置するステップと、
ｂ）  ソース画像に配置されている各画像に関連付けられている知覚関心値の和と、ソース画像に関連付けられている知覚関心値との間のカレント比を計算するステップと、
ｃ）  カレント比があらかじめ定めた第３閾値よりも小さい場合には、
・  カレント最顕著ピクセルの知覚関心値より小さいがつぎに最大の知覚関心値を有しかつ新最顕著ピクセルと称される、ソース画像のピクセルを識別し、
・  ソース画像にて前記の新最顕著ピクセルを中心として新たなウィンドウを配置し、新最顕著ピクセルをカレント最顕著ピクセルとし、また新たなウィンドウをカレントウィンドとし、
・  ステップｂに戻り、
その他の場合には、配置されたすべてのウィンドウを含む小さいウィンドウを初期抽出ウィンドウ（２２）とすることによって初期抽出ウィンドウ（２２）を定めるステップとを有する、
請求項１に記載の方法。
【請求項９】
知覚関心値は顕著性値である、
請求項１から８までのいずれか１項に記載の方法。
【請求項１０】
いくつかの画像からなる組み合わせ形低減シーケンスを生成する方法において、
請求項１，２または８のいずれか１項に記載された方法にしたがってソースシーケンスから画像の第１低減シーケンスを生成し、
前記ソースシーケンスをダウンサンプリングすることによって画像の第２低減シーケンスを生成し、
前記の第１低減シーケンスのあらかじめ定めた個数の連続画像を第２低減シーケンスの相応する画像によって置き換えることにより、第１低減シーケンスから前記の組み合わせ形低減シーケンスを生成することを特徴とする、
組み合わせ形低減シーケンスを生成する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも１つのソース画像からなりソースシーケンスと称される第１シーケンスから、このソースシーケンスの画像内のピクセルまたはピクセルグループの知覚関連性を特徴付ける情報に基づいて、少なくとも１つの画像からなり低減シーケンスと称され、サイズが低減された第２シーケンスを生成する方法に関する。
【背景技術】
【０００２】
本発明はソースシーケンスから低減シーケンスを生成することに関する。実際、大量の画像シーケンスに目を通そうとする場合、一目でシーケンスが選択されると便利である。このためには低減シーケンスを生成することが有効である。低減シーケンスとは、この低減シーケンスが生成される元のソースシーケンスよりも、サイズが小さいシーケンスのことである。例えばシーケンスに目を通すという状況において、いくつかの低減シーケンスを所定の再生装置で表示する（例えばＴＶセットのディスプレイに低減シーケンスのモザイクを表示する）ことにより、さまざまなシーケンスからの画像の１シーケンスを選択することが容易になり、また迅速化することができる。低減シーケンスを生成する古典的な方法は、ソースシーケンスの画像をダウンサンプリングすることである。この場合、サイズを大きく低減し過ぎると、低減シーケンスの最も重要な部分が極めて小さくなり、ユーザには見にくくなってしまうのである。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の課題は、低減シーケンスが生成される元であるソースシーケンスの画像内の、以下ではリージョンと称される複数のピクセルまたはピクセルグループの知覚関連性を考慮して低減シーケンスを生成することにより、上記のようなユーザの見やすさを改善することである。
【課題を解決するための手段】
【０００４】
上記の課題は、本発明の請求項１に記載された、少なくとも１つのソース画像からなりソースシーケンスと称されるシーケンスから、少なくとも１つの低減された画像からなり低減シーケンスと称されるシーケンスを生成する方法によって解決され、ここでこの少なくとも１つの低減された画像は、上記の少なくとも１つのソース画像以下のサイズを有しており、少なくとも１つの低減された画像は、上記の少なくとも１つのソース画像から、抽出ウィンドウによって区切られたソース画像の少なくとも１つの画像部分を抽出することによって生成される。この抽出ウィンドウはつぎのステップで定められる。すなわち、
−  少なくとも１つのソース画像のピクセルの知覚関心値（perceptual interest value）に基づいて初期抽出ウィンドウを定めるステップと、
−  この初期抽出ウィンドウを移動して、移動後の初期抽出ウィンドウが、移動前の初期抽出ウィンドウの知覚関連重心（perceptual relevancy gravity center）にセンタリングされるようにし、移動後の初期ウィンドウを抽出ウィンドウとするステップとによって定められる。
【発明を実施するための最良の形態】
【０００５】
第１の実施形態によれば初期抽出ウィンドウを定める上記のステップには以下のステップが含まれる。すなわち、
ａ）  カレント最顕著ピクセル（current most conspicuous pixel）と称される、ソース画像の最も知覚関心の高いピクセルを中心として、ソース画像に予備ウィンドウを配置するステップと、
ｂ）  上記の予備ウィンドウに関連付けられている知覚関心値と、ソース画像に関連づけられている知覚関心値との間のカレント比（current ratio）を計算するステップと、
ｃ）  このカレント比があらかじめ定めた第１閾値よりも小さい場合には、上記の予備ウィンドウのサイズを適合させることによって初期抽出ウィンドウを定めて、この初期抽出ウィンドウに関連付けられている知覚関心値が、上記の予備ウィンドウに関連付けられている知覚関心値よりも大きくなるようにし、その他の場合には、上記の予備ウィンドウを初期抽出ウィンドウとすることによって初期抽出ウィンドウを定めるステップとが含まれる。
【０００６】
有利には上記の初期抽出ウィンドウを移動するステップの後、抽出ウィンドウがソース画像に完全に含まれていない場合、この抽出ウィンドウを平行移動してソース画像に完全に含まれるようにする。
【０００７】
１実施形態では上記の知覚関連重心座標ｉGCおよびｊGCをつぎのように計算する。すなわち、
【数１】
2007035038.tif 000003
であり、ここで
−（ｉp,ｊp）は抽出ウィンドウＷEのピクセルｐの座標であり、
−ｓ(ｉp,ｊp)はピクセルｐに関連付けられている知覚関連値である。
【０００８】
有利には上記の初期抽出ウィンドウを定めるステップｃ）ではつぎの４つの連続したステップを実行する。すなわち、
・  カレントウィンドウと称されるウィンドウを上記の予備ウィンドウによって初期化するステップと、
・  カレントウィンドウの高さを第１増分値だけ増大させ、またカレントウィンドウの幅を第２、増分値だけ増大させるステップと、
・  カレントウィンドウに関連付けられている知覚関心値と、ソース画像に関連付けられている知覚関心値との間の新しい比を計算し、カレント比を前比（previous ratio）にし、また新しい比をカレント比にするステップと、
・  カレント比と前比との差分があらかじめ定めた第２閾値よりも小さい場合には、カレントウィンドウを初期抽出ウィンドウとすることによって初期抽出ウィンドウを定め、その他の場合には、上記の増大ステップに戻るステップとを実行する。
【０００９】
１実施形態では上記のシーケンスは少なくとも２つの画像を含んでおり、上記の方法をこのシーケンスの画像に連続して適用する。有利には、第１画像の最顕著ピクセルと、この第１画像に続く第２画像の最顕著ピクセルとの間の間隔があらかじめ定めた閾値よりも小さい場合、第２画像の予備ウィンドウを、第１画像の最顕著ピクセルと同じ位置にあるピクセルを中心としてセンタリングする。
【００１０】
第２の形態によれば、初期抽出ウィンドウを定めるステップには以下のステップが含まれる。すなわち、
ａ）  カレント最顕著ピクセルと称される最も知覚関心の高い、ソース画像のピクセルを中心として、ソース画像にカレントウィンドウを配置するステップと、
ｂ）  ソース画像に配置されている各ウィンドウに関連付けられている知覚関心値の和と、このソース画像に関連付けられている知覚関心値との間のカレント比を計算するステップと、
ｃ）  このカレント比があらかじめ定めた第３閾値よりも小さい場合には、
・  カレント最顕著ピクセルの知覚関心値より小さいがつぎに最大の知覚関心値を有しかつ新最顕著ピクセルと称される、ソース画像のピクセルを識別し、
・  ソース画像において新最顕著ピクセルを中心として新しいウィンドウを配置し、この新最顕著ピクセルをカレント最顕著ピクセルとし、またこの新しいウィンドウをカレントウィンドウとし、
・  ステップｂに戻り、
その他の場合には、配置されたすべてのウィンドウを含むより小さなウィンドウを初期抽出ウィンドウとすることによって初期抽出ウィンドウを定めるステップとを有する。
【００１１】
有利には知覚関心値は顕著性値（saliency value）である。
【００１２】
また本発明はいくつかの画像からなる組み合わせ形低減シーケンスを生成する方法に関する。このため、画像の第１低減シーケンスをソースシーケンスから生成し、ソースシーケンスをダウンサンプリングすることによって画像の第２低減シーケンスを生成する。ここでは第１低減シーケンスのあらかじめ定めた個数の連続画像を第２低減シーケンスの相応する画像によって置き換えることにより、第１低減シーケンスから上記の組み合わせ形低減シーケンスを生成する。
【実施例】
【００１３】
本発明の他の機能および利点は、図面に関連して行われるいくつかの実施形態についての以下の説明から明らかになろう。
【００１４】
本発明は、ソースシーケンスの画像内のピクセルの知覚関連性についての副情報に基づき、画像のソースシーケンスから、画像の低減シーケンスを生成する方法に関する。本発明はまた単一のソース画像から単一の低減画像を生成するためにも使用可能である。上記の副情報は、外部の手段によって、例えばデータファイルで供給することができる。これはまたソースシーケンスの各画像のピクセル毎に知覚関連性値を決定する以下の方法によって供給することも可能である。各ピクセルに関連付けられた知覚関連値は、顕著性値とすることが可能である。この場合、顕著性マップ（saliency map）が各ソース画像に関連付けられる。顕著性マップｓは、画像の顕著性の２次元の地形図的表現である。このマップは例えば０〜２５５に正規化される。したがってこの顕著性マップにより、知覚関連を特徴付けるピクセル毎の顕著性値ｓ(i, j)が得られる（ここで(i, j)はピクセル座標を表す）。ｓ(i, j)値が大きければ大きいほど、座標(i, j)のピクセルの関連性が高い。与えられた画像に対する顕著性マップは、明細書EP 1 544 792およびO. Le Meur等による"From low level perception to high level perception, a coherent approach for visual attention modeling"という題名の記事に記載された方法によって得ることができ、ここでこの記事は、SPIE Human Vision and Electronic Imaging IX (HVEI'04), San Jose, CA, (B. Rogowitz, T. N. Pappas Ed.), ２００４年１月の紀要において刊行されている。"Performance assesment of a visual attention system entirely based on a human vision modeling"という題名で２００４年１０月のＩＣＩＰの紀要において刊行されているO. Le Meur等による記事にも上記の顕著性モデルが説明されている。このモデルにはつぎのステップが含まれる。すなわち、
−  画像が単色画像である場合、輝度成分にしたがって画像を投影し、また画像が色画像の場合、輝度成分および色成分にしたがって投影するステップと、
−  人間の眼の視覚閾値（visibility threshold）にしたがい、周波数領域において、投影された成分を知覚サブバンド分解するステップとを有し、ここでこのサブバンドは、半径方向空間周波数および方位の両方において周波数領域を切り分けることによって得られ、結果的に得られる各サブバンドは、空間周波数範囲および特定の方位に調整された視細胞集団に相応する神経画像（neural image）とみなすことができ、
上記のモデルはさらに、
−  輝度成分に関連するおよび色成分に関連するサブバンドの顕著性要素（salient element）、すなわちサブバンドから得られる最も重要な情報を抽出するステップと、
−  輝度および色成分に関連する各サブバンドにおいて顕著性要素の輪郭を強調するステップと、
−  輝度成分に関連する各サブバンドの顕著性要素の強調輪郭から輝度成分に対する顕著性マップを計算するステップと、
−  色成分に関連する各サブバンドの顕著性要素の強調輪郭から色成分に対する顕著性マップを計算するステップと、
−  サブバンド毎に得られた顕著性マップの関数として顕著性マップを作成するステップとを有する。
【００１５】
わかりやすくするため、上記の方法のステップを単一のソース画像について説明するが、これはソースシーケンスの各画像に並列にまたは相次いで適用して、低減シーケンスを生成することができる。
【００１６】
以下ではつぎの記法を使用する。すなわち、
・  ソース画像、すなわちソースシーケンスの画像は、（ｏｒｉｇsx，ｏｒｉｇsy）と記されるサイズを有する。ここでｏｒｉｇsxは画像の幅、ｏｒｉｇsyは画像の高さである；
・  （ｒｅｄsx0，ｒｅｄsy0）は低減シーケンスの画像のより一層小さなサイズであり、ここでｒｅｄsx0は低減された画像の幅、ｒｅｄsy0は高さである。これらはユーザが選択可能である；
・  （ｒｅｄsxitermax，ｒｅｄsyitermax）は低減シーケンスの画像のより一層大きなサイズであり、ここでｒｅｄsxitermaxは低減された画像の幅、ｒｅｄsyitermaxは高さであり、これらもユーザが選択可能である；
・  画像、画像部分またはウィンドウに関連付けられている顕著性値はそれぞれ、これらの画像、画像部分またはウィンドウの各ピクセルに関連付けられている顕著性値の和である。
【００１７】
第１の実施形態によれば、上記の方法は図１において参照符号１０，１１，１２，１３が付された４つのステップを含む。図１および２を参照すると、ステップ１０は、サイズ（ｒｅｄsx0, ｒｅｄsy0）の予備ウィンドウ２０をソース画像２に配置する第１サブステップを含む。ここでこの予備ウィンドウは、ソース画像２内での顕著性値が最大である座標ｉmaxおよびｊmaxのピクセル２１、すなわちカレント最大顕著ピクセルを中心としてセンタリングされる。このウィンドウにより、ソース画像２の画像部分が区切られる。この結果、ウィンドウおよび画像部分という語は、このウィンドウによって区切られる画像部分を示すために同等に使用される。有利には予備ウィンドウ２０を配置して、これがソース画像２に完全に含まれるようにしなければならない。このため、ステップ１０は第２のサブステップを含むことがあり、このサブステップでは予備ウィンドウ２０を平行移動してこれがソース画像２に完全に含まれているようにする。
【００１８】
（ｉmax−ｒｅｄsx0／２）≧０かつ（ｊmax−ｒｅｄsy0／２）≧０の場合、予備ウィンドウ２０はソース画像２に完全に含まれるため、平行移動する必要はない。このウィンドウの左上コーナの座標（ｃｏｒx，ｃｏｒy）はつぎのように計算される。すなわち、
ｃｏｒx ＝ ｉmax−ｒｅｄsx0／２
ｃｏｒy ＝ ｊmax−ｒｅｄsy0／２
である。
【００１９】
予備ウィンドウ２０がソース画像２に完全に含まれない場合、これはベクトル
【数２】
2007035038.tif 000004
だけ平行移動しなければならない。ここでこのベクトルの座標は、座標（ｉmax，ｊmax）のピクセル２１の位置に依存する。この場合、平行移動される予備ウィンドウ２０の左上コーナの座標はつぎのように計算される。すなわち、
ｃｏｒx ＝ ｉmax−ｒｅｄsx0／２＋ｔx
ｃｏｒy ＝ ｊmax−ｒｅｄsy0／２＋ｔy
である。
【００２０】
ｉmaxおよびｊmaxの値に依存していくつかのケースが生じる。予備ウィンドウ２０が、水平または垂直方向のいずれであっても一方向においてソース画像２の境界を越える場合、
−  図３に示したように（ｊmax−ｒｅｄsy0／２）＜０であれば、
【数３】
2007035038.tif 000005
であり、これはウィンドウを正方向に垂直に平行移動することであり、
−  図４に示したように（ｊmax＋ｒｅｄsy0／２）＞ｏｒｉｇsyであれば、
【数４】
2007035038.tif 000006
であり、これはウィンドウを負方向に垂直に平行移動することであり、
−  （ｉmax−ｒｅｄsx0／２）＜０であれば、
【数５】
2007035038.tif 000007
であり、これはウィンドウを正方向に水平に平行移動することであり、
−  （ｉmax＋ｒｅｄsx0／２）＞ｏｒｉｇsxであれば、
【数６】
2007035038.tif 000008
であり、これはウィンドウを負方向に水平に平行移動することである。
【００２１】
予備ウィンドウ２０が、水平および垂直の両方においてソース画像２の境界を越える場合、
−  図５に示したように
（ｊmax−ｒｅｄsy0／２）＜０かつ（ｉmax−ｒｅｄsx0／２）＜０であれば、
【数７】
2007035038.tif 000009
であり、
−  （ｊmax＋ｒｅｄsy0／２）＞ｏｒｉｇsyかつ
（ｉmax＋ｒｅｄsx0／２）＞ｏｒｉｇsxであれば、
【数８】
2007035038.tif 000010
であり、これはウィンドウを垂直および水平に負方向に平行移動することであり、
−  （ｊmax−ｒｅｄsy0／２）＜０かつ
（ｉmax＋ｒｅｄsx0／２）＞ｏｒｉｇsxであれば、
【数９】
2007035038.tif 000011
であり、
−  （ｊmax＋ｒｅｄsy0／２）＞ｏｒｉｇsyかつ
（ｉmax−ｒｅｄsx0／２）＜０であれば、
【数１０】
2007035038.tif 000012
である。
【００２２】
上記の平行移動のサブステップは、ソース画像に含まれているウィンドウ２０の部分だけを考慮することによって回避することができる。この場合、以下のステップ１１，１２，１３は、予備ウィンドウ２０全体の代わりにこの部分に適用される。
【００２３】
ステップ１１ではまず、平行移動され得る予備ウィンドウ２０に関連付けられかつＳＭreducedと記される顕著性値を計算する。予備ウィンドウ２０の知覚関心を推定するため、ＳＭreducedは顕著性値ＳＭimageと比較され、ここでこの顕著性値は、比Ψ＝ＳＭreduced／ＳＭimageを計算することによって、ソース画像２
【数１１】
2007035038.tif 000013
に関連付けられる。有利な有利な実施形態によれば、比Ψが０に近い場合、すなわちΨが、図１においてＴ2と記されたあらかじめ定めた第２閾値より小さい場合（例えばΨ＜０．２）、最顕著ピクセル２１はおそらく異常点または瞬時的な点である。それは十分に顕著なリージョンが予備ウィンドウ２０に含まれていないからである。この結果、カレント最顕著ピクセル２１に関連付けられている顕著性値より小さいがつぎに最大の顕著性値を有するピクセルが識別される。新最顕著ピクセルがカレント最顕著ピクセルになると、ステップ１０および１１が再度これに適用される。あらかじめ定めた第２閾値よりもΨが大きい場合、ステップ１２が直接適用される。
【００２４】
ステップ１２では繰り返し方式で予備ウィンドウ２０のサイズがダイナミックに画像コンテンツに適合されて、図２で参照符号２２が付された初期抽出ウィンドウが生成される。実際に知覚関心の高いリージョンのサイズは画像毎に変わり得る（例えば、ズームまたは画像内にいくつかの関心リージョンがある場合）。この適合は、ステップ１１で計算される値Ψ主導で行われる。Ψが１に近い場合、あらかじめ定めた第1閾値よりもΨが大きければ（例えばΨ≧０．８の場合）、予備ウィンドウ２０のサイズは適合されない。それは予備ウィンドウ２０に関連付けられる顕著性値が十分に大きいからである。この場合、初期抽出ウィンドウ２２は、予備ウィンドウ２０に等しく設定される。すなわち初期抽出ウィンドウ２２は、予備ウィンドウ２０を初期抽出ウィンドウ２２とすることによって定められるのである。Ψが１に近くない場合、あらかじめ定めた第１閾値よりもΨが小さければ、予備ウィンドウ２０のサイズは繰り返して増大される。最初に、カレントウィンドウと称されるウィンドウが定められる（すなわち初期化される）。ここでこれは予備ウィンドウ２０をカレントウィンドウすることによって行われる。ｋ番目の繰り返しにおいて、カレントウィンドウのサイズはつぎに示すように（ｒｅｄsxk-1，ｒｅｄsyk-1）から（ｒｅｄsxk，ｒｅｄsyk）に増大される。すなわち、
【数１２】
2007035038.tif 000014
である。ここで
−  δxおよびδyは任意の設定値；
−  ｋは繰り返しの番号を表す整数である。
【００２５】
カレントウィンドウのサイズは、ｋ＞ｉｔｅｒmaxまたはΔΨk≦εまで増大され、ここでεは、あらかじめ定められる第３閾値であり、これは任意に設定される（例えばε＝１０-3）。初期抽出ウィンドウ２２のサイズは、最後の繰り返しで計算されるサイズに等しい。すなわち、初期抽出ウィンドウ２２は、最後に定めたカレントウィンドウを初期抽出ウィンドウ２２とすることによって定められるのである。有利には、サイズが２の倍数である再生装置に低減シーケンスを表示しなければならない場合、δxおよびδyは２の倍数としてアップ／ダウンサンプリングフィルタの決定を容易にする。
【００２６】
ステップ１３では、初期抽出ウィンドウ２２によって区切られたソース画像の画像部分を抽出することによって、低減された画像を生成する。低減された画像の第１ピクセルは、初期抽出ウィンドウ２２の左上ピクセルに相当する。
【００２７】
有利な実施形態では、ステップ１２にはステップ１２′が続き、ここでは最終的にＷEとも称される、初期抽出ウィンドウ２２を新たな位置に移動させて、置き換えられた抽出ウィンドウ２３が生成される。これは初期抽出ウィンドウ２２の重心ＧＣを計算することによって達成される。重心を計算するためにピクセルに関連付けられる係数は、ピクセルの知覚関心値（例えば顕著性値）である。したがって重心ＧＣの座標（ｉGC, ｊGC）はつぎのように計算される。すなわち、
【数１３】
2007035038.tif 000015
であり、ここで
−（ｉp,ｊp）は抽出ウィンドウＷEのピクセルｐの座標であり、
−ｓ(ｉp,ｊp)は、ピクセルｐに関連付けられている知覚関連値（例えば顕著性値）である。
【００２８】
このようにして初期抽出ウィンドウ２２は新たな位置に移動されて、その中心は重心ＧＣに配置される。移動された抽出ウィンドウ２３がソース画像２に完全に含まれるようにするため、移動された抽出ウィンドウ２３は、ステップ１０の第２サブステップにしたがって平行移動することができる。
【００２９】
少なくとも２つの画像からなるソースシーケンスの場合、有利にはステップ１０を変更して、カレントソース画像２においてサイズ（ｒｅｄsx0，ｒｅｄsy0）のウィンドウの中心が、最顕著ピクセル２１とは異なり得る座標ＩcurmaxおよびＪcurmaxのピクセルに配置されるようにする。ＩcurmaxおよびＪcurmaxを計算するのは、シーケンスの時間的な緊密性（coherency）を保証するためであり、これはソース画像における予備ウィンドウ２０の空間位置が１ソース画像からつぎのソース画像に変わる際に劇的に変化することを回避することによって行われる。このために連続する２つのソース画像における２つの最顕著ピクセル（すなわち顕著性値が最大のピクセル）間の変位ｄをつぎの式によって計算する。すなわち、
【数１４】
2007035038.tif 000016
ここで
−  （ｉcurmax, ｊcurmax）はカレントソース画像における最顕著ピクセルの座標であり、
−  （ｉprevmax, ｊprevmax）は、カレントソース画像に先行する前ソース画像における最顕著ピクセルの座標である。
【００３０】
揺れ動きを回避するため、２つの最顕著ピクセル間の小さな変位ｄに対し、カレントソース画像における予備ウィンドウ２０の中心は、前ソース画像において最顕著ピクセルの座標に等しい座標を有するピクセルに配置される。これによってｄ≦ThStillであれば、ＩcurmaxおよびＪcurmaxの値はそれぞれ、ｉprevmaxおよびｊprevmaxに等しく設定される。ThStillに対して値７は適当であると思われる。ThStillはウィンドウのサイズにも依存し得る。
【００３１】
比較的大きな変位に対して、すなわちｄ＞ThMoveに対して時間的な緊密性は危うくなる。値ThMoveは、予備ウィンドウ２０のサイズに依存する。例えばこの値は、予備ウィンドウ２０の対角線に等しく、例えば
【数１５】
2007035038.tif 000017
である。したがって予備ウィンドウ２０の中心は、カレントソース画像においてつぎのように計算される座標ＩcurmaxおよびＪcurmaxのピクセルに配置される。すなわち、
Ｉcurmax ＝ｉprevmax＋（ｉcurmax−ｉprevmax）／２、および
Ｊcurmax ＝ｊprevmax＋（ｊcurmax−ｊprevmax）／２
である。
【００３２】
有利な１実施形態によれば、１つ以上のウィンドウを使用して、低減された画像を生成する。この場合、ステップ１０，１１，１２および１３を以下のステップによって置き換える。図７を参照すると、第１ウィンドウ７０はソース画像２において、その中心がソース画像２の第１最顕著ピクセルになるように配置される。すなわちその顕著性値はソース画像２内で最大である。ここでは第１ウィンドウ７０に関連付けられる顕著性値ＳＭreduced＿70およびソース画像２に関連付けられている顕著性値ＳＭimageを計算する。比Ψ0 ＝ ＳＭreduced＿70／ＳＭimageが１に近い場合、すなわちあらかじめ定めた第５閾値よりも大きい場合（例えばΨ0≧０．８）、低減された画像は、第１ウィンドウ７０によって区切られるソース画像２の画像部分を抽出することによって生成される。Ψが１に近くない場合、すなわちあらかじめ定めた第５閾値よりも小さい場合、ソース画像２において第２ウィンドウ７１が配置されて、その中心がソース画像２の第２最顕著ピクセルになるようにされる。つまり、顕著性値が第１最顕著ピクセルの顕著性値よりも小さいがつぎに最も顕著であるソース画像２のピクセルに第２ウィンドウ７１の中心が配置されるのである。つぎに第２のウィンドウ７１に関連付けられている顕著性値ＳＭreduced＿71を計算する。比
Ψ1 = （ＳＭreduced＿70＋ＳＭreduced＿71）／ＳＭimage
が１に近い場合、低減された画像を生成するためにソース画像２から抽出される画像部分は、第１ウィンドウ７０および第２ウィンドウ７１を含むより小さいウィンドウ７に相応する。比Ψ1が１に近くない場合、ソース画像２において第３ウィンドウが配置されて、その中心がソース画像２の第３最顕著ピクセルになるようにされる。すなわち顕著性値が第２最顕著ピクセルの顕著性値よりも小さいがつぎに最も顕著であるソース画像２のピクセルに中心が配置されるのである。これらの３つのウィンドウに関連付けられた３つの顕著性値の和と、顕著性値ＳＭimageとの比が１と比較される。この比が１に近い場合、低減された画像を生成するためにソース画像２から抽出される画像部分は、３つのウィンドウを含むより一層小さいウィンドウになる。これが１に近くない場合、新しいウィンドウを配置する処理は、配置された各ウィンドウに関連付けられている顕著性値の和と、ＳＭimageとの比が１に近くなるまで繰り返される。したがって繰り返しｋ毎に、ソース画像２において新しいウィンドウが配置され、その中心は、顕著性値が前の最顕著ピクセル（ｋ−１）の顕著性値よりも小さいがつぎに最も顕著であるピクセル（ｋ）に位置付けられるのである。
【００３３】
この場合、低減された画像は、配置されたすべてのウィンドウを含む一層小さいウィンドウによって区切られた画像部分をソース画像２から抽出することによって生成される。有利にはこれらの顕著性値を計算する前にウィンドウを平行移動して、これがソース画像に完全に含まれるようにおよび／またはステップ１２′にしたがって移動されるようにする。
【００３４】
別の実施形態によれば、上記ステップ１０，１１および１２は以下のステップによってが置き換えられる。すなわちこれらのステップでは、ソース画像２において顕著性値が、あらかじめ定めた第４閾値よりも大きいピクセルを識別することによって初期抽出ウィンドウ２２を配置する。したがってこの初期抽出ウィンドウ２２は、その左上コーナおよび右下コーナによって定められる。横座標が最小でありかつ識別されたピクセルのうちで、最も小さな縦座標を有するピクセルが初期抽出ウィンドウ２２の左上コーナとして設定される。横座標が最大でありかつ識別されたピクセルのうちで、最も大きな縦座標を有するピクセルが初期抽出ウィンドウ２２の右下コーナになる。
【００３５】
つぎにステップ１３が適用され、初期抽出ウィンドウ２２によって区切られるソース画像の画像部分を抽出することにより、低減された画像が生成される。この低減された画像の第１ピクセルは、初期抽出ウィンドウ２２の左上ピクセルに相応する。
【００３６】
１実施形態によれば、１つ以上の画像からなるソースシーケンスの場合、ステップ１３には有利にはつぎのステップが続く。このステップでは、第１低減シーケンスと称される本発明によって低減されたシーケンスと、第2低減シーケンスと称される古典的な手法にしたがって低減されたソースシーケンスとの間で切り換えることにより、組み合わせ形低減シーケンスが生成される。古典的な手法とは、ソースシーケンスの画像を単にダウンサンプリングして、低減シーケンスを生成する方法のことである。上記の組み合わせ形低減シーケンスにより、グローバルシーン（例えばソース画像をダウンサンプリングしたもの）をビューワーに提供することによって、このビューワーのシーンに対する理解を改善したい。上記のスイッチングステップはΨの値によって行われる。このために比Ψをカレント画像に対して計算する。値Ψが１に近くない場合、図６に示したように、古典的に低減されたビデオ（すなわちダウンサンプリングされたソース画像）がΔ秒の間伝送される。値Δはユーザが設定可能である。このスイッチングを自動的に駆動して、例えばΔ秒毎に定期的に２つの低減された画像の間で切り換えを行うことによって、または例えばΔ秒毎に第１低減シーケンスの所定数の絵を、第２低減シーケンスの相応する絵によって置き換えることによって、シーンのグローバルなスケッチが提供されるようにすることも可能である。
【００３７】
別の１実施形態によれば、低減された画像をいくつかの部分（例えば４つのサブ画像）に分けることによっていくつかの関心領域を処理することができる。ここで各部分は、ソースシーケンスまたは最顕著リージョン（すなわち顕著性値の大きなリージョン）のうちの１つのいずれかを含む。
【００３８】
最顕著リージョンに相応する部分は、つぎの連続する４つのステップによって決定される。すなわち、
・  抑制されたピクセルでない、ソース画像の最顕著ピクセルを識別するステップと、
・  前の位置にセンタリングされたサイズ（ｒｅｄsx0，ｒｅｄsy0）の１画像部分を上記のソース画像から抽出するステップと、
・  抽出した画像部分に相応する最顕著ピクセルを抑制するステップと、
・  あらかじめ定めた個数の画像部分が抽出されるまで上記の識別ステップに戻るステップとによって決定されるのである。
【００３９】
当然のことであるが、本発明は上記の実施形態には限定されない。当業者は上記のすべての実施形態を組み合わせることができる。ピクセルまたはピクセルのグループの知覚関連性を特徴付けるのであれば、顕著性値または顕著性マップ以外の情報を副情報として使用可能である。
【００４０】
最も重要なリージョンを中心としてセンタリングされた低減シーケンスを形成することのいくつかの利点（すなわちいいかえると、画像内でリージョンの知覚関心によって低減を行う利点）を以下に列挙する。すなわち、
・  選択時間が低減される（これによって画像に目を通すのが容易になる）、
・  シーケンスが一目でわかる、
・  信頼性の高いソースシーケンスの要約が得られる、
・  最も有効な情報を失うことなく、限られた帯域幅を介して多くシーケンスを伝送することができる、などの利点が得られるのである。
【００４１】
別の実施形態では、以下に挙げた利点のうちのいくつかが得られる。すなわち、
・  低減されたフレームの適応形サイズ計算を使用することによって、または１つ以上のウィンドウを使用することによって大量のマルチメディアコンテンツ（例えば、知覚関心の高い１つ以上のリージョン）が扱われる、
・  ウィンドウの重心を使用することにより、低減されたウィンドウをソースフレームにおいて容易に再配置する手法が提供される、
・  良好な時間的緊密性が提供される、
・  シーンのグローバルな理解が可能になる、
などの利点のうちのいくつかが得られるのである。
【００４２】
上記の方法は、シーケンスを要約する、目を通す、シーケンスに索引を付けるなどのさまざまな応用に使用可能である。本発明は有利にも小さなディスプレイ（例えば、ＰＤＡ、または携帯電話、またはデジタルカメラ）で画像シーケンスを見るためにも使用可能である。
【図面の簡単な説明】
【００４３】
【図１】本発明による方法の一般的なフローチャートである。
【図２】本発明の方法の相異なるステップにおける、ソース画像内のウィンドウの位置を示す図である。
【図３】ソース画像に完全に含まれるようにするため、ウィンドウをどのように平行移動するかを示す図である（垂直方向の正の平行移動）。
【図４】ソース画像に完全に含まれるようにするため、ウィンドウをどのように平行移動するかを示す図である（垂直方向の負の平行移動）。
【図５】ソース画像に完全に含まれるようにするため、ウィンドウをどのように平行移動するかを示す図である（垂直および水平方向の正の平行移動）。
【図６】顕著性比の経過を示すグラフである。
【図７】２つのウィンドウから低減画像を生成することを示す図である。
【符号の説明】
【００４４】
２  ソース画像、  ７，７０，７１  ウィンドウ、  ２０  予備ウィンドウ、  ２１  ピクセル、  ２２  初期抽出ウィンドウ、  ２３  抽出ウィンドウ
【図１】
2007035038.tif 000019
【図２】
2007035038.tif 000020
【図３】
2007035038.tif 000021
【図４】
2007035038.tif 000022
【図５】
2007035038.tif 000023
【図６】
2007035038.tif 000024
【図７】
2007035038.tif 000025