(57)【要約】【課題】画像からその上の一連の注目すべき点を通る経路を抽出できるようにする。【解決手段】少なくとも１つの画像に関連する画像データを処理する方法が提供され、本方法は、上記または各画像の選択された注目部分の配置および注目度に関連するデータを使用すること、および上記部分のそれぞれに少なくとも１つの注目度ベクトルをそれぞれ生成することを含む方法と、本方法により動作可能な装置を提供する。【選択図】図１
2006012154.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの画像に関連する画像データを処理する方法であって、
前記または各画像の選択された注目部分の配置および注目度に関連するデータを使用すること、および
前記部分のそれぞれに少なくとも１つの注目度ベクトルをそれぞれ生成すること、
を含む、画像データを処理する方法。
【請求項２】
少なくとも１つの各方位選択的重み付け関数を使用して、前記選択された注目部分の配置および注目度に関連する前記データを重み付けすることをさらに含む、請求項１記載の画像データを処理する方法。
【請求項３】
前記または各方位選択的重み付け関数は、二次元レムニスケートガウス核である、請求項２記載の画像データを処理する方法。
【請求項４】
少なくとも１つの前記注目度ベクトルを使用して、前記選択された注目部分間に少なくとも１つの注目経路を構築することをさらに含む、請求項１記載の画像データを処理する方法。
【請求項５】
前記または各注目経路上にある前記または各画像の部分を表示することをさらに含む、請求項１記載の画像データを処理する方法。
【請求項６】
前記または各画像の前記選択された注目部分の配置および注目度に関連する前記データを使用して、前記または各画像の局所最大注目度に関連するデータを生成することをさらに含む、請求項１記載の画像データを処理する方法。
【請求項７】
前記局所最大注目度は、所定のしきい値を上回る注目度を有する、請求項６記載の画像データを処理する方法。
【請求項８】
画像を処理する方法であって、
前記画像の注目度マップを生成すること、
該注目度マップを使用して、前記画像の注目部分の関係を求めることであって、それによって注目度場を生成する、求めること、および
前記注目度場を使用して、前記画像の注目経路を構築すること、
を含む、画像を処理する方法。
【請求項９】
前記注目度マップを使用して前記画像の局所最大注目度を求めることをさらに含み、前記画像の注目部分の関係を求めることは、前記求められた局所最大注目度を使用して前記画像の注目部分の前記関係を求めることを含む、請求項８記載の画像を処理する方法。
【請求項１０】
前記画像の前記注目部分の前記関係は、グループ化核を使用して求められる、請求項８記載の画像を処理する方法。
【請求項１１】
前記注目部分の関係を求めることは、
前記グループ化核から方位選択的グループ化核のセットを生成すること、
前記注目度マップおよび各方位選択的グループ化核を使用して、前記方位のそれぞれにおける前記画像の前記注目部分の前記関係を含む注目度場のセットを生成すること、および
前記注目度場から複合注目度場を生成すること、
をさらに含む、請求項１０記載の画像を処理する方法。
【請求項１２】
前記注目度マップは、前記画像の前記局所最大注目度のマップである、請求項１１記載の画像を処理する方法。
【請求項１３】
前記または各画像の閲覧ウィンドウを画定すること、および
前記注目経路に沿って前記または各画像にわたって前記閲覧ウィンドウを移動させること、
をさらに含む、請求項８記載の画像を処理する方法。
【請求項１４】
前記画像は二次元であり、前記閲覧ウィンドウのエリアは前記画像のエリアよりも小さい、請求項１３記載の画像を処理する方法。
【請求項１５】
前記グループ化核はレムニスケートガウス核である、請求項８記載の画像を処理する方法。
【請求項１６】
前記注目度場を使用して前記画像に少なくとも１つの二次注目経路を生成することをさらに含み、前記または各二次注目経路の少なくとも一部は、前記最初に述べた注目経路と異なる、請求項８記載の画像を処理する方法。
【請求項１７】
好ましい注目経路についての情報を受け取ること、および
前記好ましい注目経路に関連する情報を使用して、前記最初に述べた注目経路または前記もしくは各二次注目経路から経路を選択すること、
をさらに含む、請求項１６記載の画像を処理する方法。
【請求項１８】
前記好ましい注目経路についての前記情報は、
経路長、
前記経路の全体の注目度、
前記経路の曲率、
前記画像のエッジに対する前記経路の近接度、
前記画像の注目部分閲覧に利用可能な時間、および／または
利用可能なディスプレイサイズ
のうちの少なくとも１つを含む、請求項１７記載の画像を処理する方法。
【請求項１９】
第２の画像に前記第２の注目経路を生成することをさらに含み、
必要な場合、前記注目経路の終点は、前記第２の注目経路の一部に実質的に対応するように調整される、請求項８記載の画像を処理する方法。
【請求項２０】
前記第２の画像は前記最初に述べた画像に関連する、請求項１９記載の画像を処理する方法。
【請求項２１】
複数の画像にわたる注目経路を生成する方法であって、
前記画像のそれぞれについて、各注目度マップを生成すること、
前記注目度マップを使用して前記画像の注目部分の前記関係を求めることであって、それによって前記画像のそれぞれに各注目度場を生成する、求めること、および
前記注目度場のそれぞれを使用して前記画像のそれぞれに少なくとも１つの注目経路を生成すること、
を含み、
前記注目経路は、前記画像のうちの１つの前記注目経路の少なくとも一部が、前記画像のうちの別の画像の前記注目経路の一部に実質的に対応するようにそれぞれの各末尾部分に制約される、複数の画像にわたる注目経路を生成する方法。
【請求項２２】
前記注目経路の各対応部分は、前記経路のうちの１つの冒頭部分または末尾部分である、請求項２１記載の複数の画像にわたる注目経路を生成する方法。
【請求項２３】
以下の基準：
前記経路が結合されたときに連続する、
前記経路間のミスマッチがミスマッチしきい値を下回る、
のうちの少なくとも１つが満たされる場合、２つの経路は互いに実質的に対応する、請求項２１記載の複数の画像にわたる注目経路を生成する方法。
【請求項２４】
少なくとも１つの画像を処理するようになっている装置であって、前記画像の選択された注目部分の配置および注目度に関連するデータを使用し、前記選択された注目部分に少なくとも１つの注目度ベクトルのそれぞれを生成する処理システムを備えた、少なくとも１つの画像を処理するようになっている装置。
【請求項２５】
該装置のディスプレイを使用して前記画像の少なくとも一部を表示するように動作可能である、請求項２４記載の少なくとも１つの画像を処理するようになっている装置。
【請求項２６】
前記画像の閲覧に利用可能な時間長に関連するデータを受け取り、該受け取ったデータに基づいて前記画像の表示部分を決定するように動作可能なプロセッサをさらに備える、請求項２５記載の少なくとも１つの画像を処理するようになっている装置。
【請求項２７】
画像の注目度マップを生成すること、
該注目度マップを使用して、前記画像の注目部分の関係を求めることであって、それによって注目度場を生成する、求めること、および
前記注目度場を使用して、前記画像の注目経路を構築すること、
以上のように動作可能である装置。
【請求項２８】
前記注目経路に沿って前記画像の少なくとも一部を表示するようにさらに動作可能である、請求項２７記載の装置。
【請求項２９】
前記画像の閲覧に利用可能な時間長に関連するデータを受け取るように動作可能なプロセッサをさらに備える、請求項２７記載の装置。
【請求項３０】
前記プロセッサは、前記受け取ったデータに基づいて前記画像の表示部分を決定するように動作可能である、請求項２９記載の装置。
【請求項３１】
少なくとも１つのユーザ操作インタフェースをさらに備え、該装置は、前記または各ユーザ操作選択装置から受け取るデータに基づいて、前記画像を処理するように動作可能である、請求項２７記載の装置。
【請求項３２】
前記少なくとも１つのユーザ操作インタフェースは、多方位ボタンであり、前記データは前記ボタンの起動方位に関連する、請求項３１記載の装置。
【請求項３３】
前記ユーザ操作インタフェースは、該装置のメニューシステムを制御するようになっており、前記メニューシステムは、該装置の前記プロセッサの機能を制御するように動作可能であり、前記メニューシステムは、生成された注目経路のパラメータに関連するメニュー項目を含む、請求項３１記載の装置。
【請求項３４】
前記インタフェースを使用して選択された前記メニュー項目に基づいて、前記画像の少なくとも一部の表示を容易にするように動作可能である、請求項３３記載の装置。
【請求項３５】
コンピュータプログラム命令を有するコンピュータ可読媒体を含むコンピュータプログラム製品であって、前記プログラムは、ロードされると、コンピュータ実行手順に、画像の選択された注目部分の配置および注目度に関連するデータを使用して前記または各画像を処理させ、またさらに前記画像を処理させて、前記部分のそれぞれに少なくとも１つの注目度ベクトルのそれぞれを生成させる、コンピュータプログラム製品。
【請求項３６】
コンピュータ可読媒体に記憶されるプログラムであって、コンピュータに、画像の選択された注目部分の配置および注目度に関連するデータを使用して前記または各画像を処理させ、またさらに、前記画像を処理させて、前記部分のそれぞれに少なくとも１つの注目度ベクトルのそれぞれを生成させるように構成された命令を含む、コンピュータ可読媒体に記憶されるプログラム。
【請求項３７】
画像の選択された注目部分の配置および注目度に関連するデータを使用して動作し、前記部分のそれぞれに少なくとも１つの注目度ベクトルのそれぞれを生成するように動作するように構成される論理回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理の分野に関する。
【０００２】
（優先権主張）
本出願は、２００４年６月２４日に出願された、「画像処理」と題する出願第ＧＢ０４１４０６４．６号を有する同時係属中の英国特許出願に対して優先権を主張するものであり、この特許出願は参照により本明細書に援用される。
【背景技術】
【０００３】
（背景）
特定の状況では、閲覧のために、画像の注目エリアを通る静止画像または動画像にわたる経路を生成可能であることが望ましい。これは、時間の制約により、または使用されている特定の閲覧プラットフォームの機能が適していないため、たとえば、プラットフォームが特定の画像サイズに適応するように設計されていないために、画像全体を見ることが現実的ではない状況において特に有用である。一般に、生成されるこのような経路は、画像にわたる経路を辿り、経路に沿った画像の部分のみが表示されるように画像をズームインする仮想カメラの使用を介して、画像の関心ポイントを画像の他のエリアに優先して表示できるようにする。
【０００４】
このようなシステムは、たとえば、カメラ内蔵式携帯電話等、撮像機能を有する移動体機器において特に有利である。このような装置のサイズにより必然的に、装置の表示画面は比較的小型になり、したがって、画像が多数のディテールを含む高解像度画像である場合に特に、取り込まれたまたは受信した画像を表示するのにあまり適さない。
【０００５】
同時係属中の英国特許第０１０４５８９．７号では、画像内の注目位置の解明、および注目構造を注目位置から決定できるようにする方法が考察されている。この構造から、画像にわたる注目閲覧経路を提供することができる。
【０００６】
「Automatic Browsing of Large Pictures on Mobile Devices」, Microsoft Research China, MSR-TR-2003-49では、注目度を、画像内で何に関心があるかを決定するベースとして使用すること、および情報フォレージング理論（theory of information foraging）を使用して、閲覧経路の使用を介して画像の展開エリアを選択することを考察している。
【０００７】
既知の方法は、画像の注目材料を表示する適度に効率的な方法を提供する。しかし、欠点がある。生成された表示経路は、画像の注目エリアを単調にしか展開しない。注目エリアに、表示経路に沿った知覚的な繋がりがない。また、MSR-TR-2003-49では特に、画像の関心領域およびそれぞれの程度をマークする必要がある。注目度は、関心領域の得点付けのためにだけ使用される。
【発明の開示】
【課題を解決するための手段】
【０００８】
（概要）
第１の例示的な一実施形態によれば、少なくとも１つの画像に関連する画像データを処理する方法が提供され、本方法は、上記または各画像の選択された注目部分の配置および注目度に関連するデータを使用すること、および上記部分のそれぞれに少なくとも１つの注目度ベクトルをそれぞれ生成すること、を含む。
【０００９】
第２の一実施形態によれば、画像を処理する方法が提供され、本方法は、画像の注目度マップを生成すること、注目度マップを使用して、画像の注目部分の関係を求めることであって、それによって注目度場を生成する、求めること、および注目度場を使用して、画像の注目経路を構築すること、を含む。
【００１０】
第３の一実施形態によれば、複数の画像にわたる注目経路を生成する方法が提供され、本方法は、画像のそれぞれについて、各注目度マップを生成すること、注目度マップを使用して画像の注目部分の関係を求めることであって、それによって上記画像のそれぞれに各注目度場を生成する、求めること、および注目度場のそれぞれを使用して画像のそれぞれに少なくとも１つの注目経路を生成すること、を含み、注目経路は、上記画像のうちの１つの注目経路の少なくとも一部が、上記画像のうちの別の画像の注目経路の一部に実質的に対応するようにそれぞれの各末尾部分に制約される。
【００１１】
第４の一実施形態によれば、画像の注目度マップを生成するように動作可能な装置が提供され、本装置は、注目度マップを使用して、画像の注目部分の関係を求めることであって、それによって注目度場を生成する、求めること、および注目度場を使用して、画像の注目経路を構築すること、を含む。
【００１２】
本発明をよりよく理解するために、また本発明を実施する方法をさらに強調するために、各種実施形態について、添付の図面を参照して例としてのみこれより説明する。
【００１３】
「含む／含んでいる」という語は、本明細書において使用される場合、記された特徴、完全体、ステップ、または構成要素の存在を特定するが、１つまたは複数の他の特徴、完全体、ステップ、構成要素、またはこれらのグループの存在または追加を除外するものではないことを明確にされたい。
【発明を実施するための最良の形態】
【００１４】
（詳細な説明）
図１は、本方法の一実施形態によるフローチャートである。１０１において、少なくとも１つの画像の注目部分が、画像データ１００から選択され、この注目部分は、配置データおよび注目度データを含み、１０３において、上記部分のそれぞれに少なくとも１つの注目度ベクトルをそれぞれ生成するために使用される。
【００１５】
添付図面の図２は、一実施形態による注目度グループ化ベクトル場（saliency grouping vector field）の生成に関連するフローチャートである。
【００１６】
注目度グループ化ベクトル場は、画像内の各注目位置の様々な方位において、画像内の他の注目画像位置が関連する確率を示す。
【００１７】
２０１において、画像の注目領域が求められる。画像の注目領域を求めるために使用することができる複数の方法がある。好ましい一実施形態では、位置は、以下でさらに詳細に説明するように、画像から文脈なし（context-free）の注目度マップを生成することによって求められる。
【００１８】
２０３において、２０１において求められたマップから、注目度クラスタマップが生成される。より具体的には、以下説明するように、適した演算子が２０１の注目度マップに適用されて、注目度マップを離散スカラー場から、すべての局所最大位置に値１を有し、その他の場所では値０を有するバイナリスカラー場に変換する。
【００１９】
２０５において、注目度クラスタマップが、方位選択的グループ化核（orientation-selective grouping kernel）で畳み込まれ、グループ化場（grouping field）の集合を生成し、このグループ化場は、２０７において正規化される。正規化されたグループ化場は、対応する方位に沿った注目応答の強さを示し、より詳細に以下で説明する。
【００２０】
２０９において、正規化されたグループ化場が強調されて、画像の注目度最大の知覚構造を導き出す。知覚構造は、画像の閲覧者が重要であると知覚し得る、画像の構成要素の選択された特徴間の関係の測度であることができる。
【００２１】
図１および図２を参照して説明した方法について、これよりさらに詳細に説明する。
【００２２】
画像の注目度マップは、適した既知の方法を用いて作成される。一実施形態では、Itti、Koch、およびNiebur (「A Model of Saliency-based Visual Attention for Rapid Scene Analysis（迅速なシーン分析のための、注目度に基づいた注視モデル）」IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11): 1254-1259, 1998)によって提案される方法が用いられて、画像の適した注目度マップ、より厳密には文脈なしの関心マップを画像から生成する。
【００２３】
画像の適した注目度マップは、複数の代替の方法を用いて生成可能であることが当業者により理解されよう。たとえば、C. M. PriviteraおよびL. W. Stark（「Evaluating image processing algorithms that predict regions of interest」Pattern Recognition Letters, 19(11): 1037-1043, September 1998、および「Algorithms for defining visual regions-of-interest: Comparison with eye fixations（興味視野領域を定義するためのアルゴリズム：注視との比較）」IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(9): 970-982, September 2000）の研究もまた、ボトムアップ注目度モデルを定義しようと試みている。
【００２４】
本明細書において説明する方法（Itti、Koch、およびNieburの方法）は、注目度を解明する生物学的に妥当な原理に基づいており、マルチスケール画像特徴を組み合わせて１つの地勢画像マップにする。本方法にとって重要なのは、処理すべき画像から注目度マップを得る方法ではなく、結果得られる注目度マップのみであるため、この方法については詳細に説明しない。
【００２５】
添付図面の図３は、本方法により動作可能な例示的な装置の概略図である。より具体的には、図３は、デジタルカメラ、または撮像機能を備えた携帯電話もしくはＰＤＡ等の装置の例示的な撮像モジュールを表す。しかし、本方法は撮像機能を備えず、処理すべき画像を、カメラまたは他の画像取り込み装置等の（装置から）離れた場所から受け取る装置によっても実施することが可能であることが理解されよう。このような画像は、既知の有線（たとえば、ＬＡＮ、インターネット等）技法または無線（たとえば、ＷｉＦｉ、ブルートゥース等）技法を用いて受け取ることができる。
【００２６】
撮像要素３０１は、レンズアセンブリ３０３、フィルタ３０５、画像センサ３０７、およびデジタル信号プロセッサ３１１を備える。関心のある画像またはシーンが、レンズアセンブリ３０３を通る光から取り込まれる。この光は、フィルタ３０５を使用してフィルタリングすることができる。次いで、画像は、上述した装置のいずれであってもよい画像センサ３０７によって電気信号に変換される。次いで、生の画像データはデジタル信号プロセッサ（ＤＳＰ）３１１に渡される。
【００２７】
さらに、図３の装置３０１を参照すると、バスまたは同様のもの３１３が、データおよび／または制御信号をＤＳＰ３１１、メモリ３１７、および中央演算処理装置（ＣＰＵ）３１９の間で伝送するように動作可能である。
【００２８】
メモリ３１７は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）であることができ、不揮発性メモリ（たとえば、フラッシュ、ＲＯＭ、ＰＲＯＭ等）および／またはリムーバブルメモリ（たとえば、メモリカード、ディスク等）のいずれかを含むことができる。メモリ３１７は、生の画像デジタルデータならびに処理済みの画像デジタルデータの記憶に使用することができる。ＣＰＵ３１９は、装置３０１に関連する各種タスクを実行するようにプログラムすることができるプロセッサである。
【００２９】
図３の撮像要素には多くの異なる構成があることに留意されたい。一実施形態では、ＣＰＵ３１９およびＤＳＰ３１１は、たとえば、単一チップ上に存在してもよい。他の実施形態では、ＣＰＵ３１９およびＤＳＰ３１１は、たとえば、２つ以上の別個のチップ上に存在してもよい。さらなる組み合わせが可能であるが、上で概説した撮像要素３０１および／または撮像要素３０１内の構成要素の厳密な構造は、限定を意図するものではなく、単に、本方法が機能する移動体機器の典型的な画像取り込み要素を例示するために提示されることに留意されたい。
【００３０】
たとえば、ＣＰＵ３１９は、移動体機器のＣＰＵに加えてのものであってもよく、または撮像要素により要求されるタスク以外のタスクを実行してもよい。メモリ３１７は、たとえば、移動体機器の他の機能にも使用することができる。
【００３１】
本方法により動作可能な撮像機能のない装置は、少なくとも、要素３０３、３０５、および３０７を有さないことを除いては、図３に示すものと同様であろう。
【００３２】
添付図面の図４ａおよび図４ｂはそれぞれ、画像およびItti、Koch、およびNieburの方法を用いて得られた対応する注目度マップである。
【００３３】
図４ｂは単に、適した注目度マップの図にすぎず、限定を意図するものではないことが当業者により理解されよう。図４ｂでは、注目エリアが白（および白の陰影）で示され、画像４ｂの注目度の低いエリアほど、暗いエリアで示される。この場合、画像４ｂの各位置には対応する注目値が関連付けられ、これは図４ｂではグラフィックで表されている。図４ｂ等の画像の生成は、注目度マップ自体の生成に寄与するものではなく、これは注目度マップの表現である。一般に、注目度マップは、画像内の選択部分の配置および注目度に対応するデータを含む。このような部分は、たとえば、ピクセル、ボクセル、または画像のより大きな、または小さなエリアであることができる。
【００３４】
上述した方法等、適した方法を用いて図４ｂ等の適した注目度マップを生成した後、演算子Ｍがマップに適用されて、マップの離散スカラー場をバイナリスカラー場に変換する。
【００３５】
好ましい一実施形態では、Ｍは、離散スカラー場からバイナリスカラー場への変換を行うように成分が配置され、注目度マップの行列表現に適用されて処理済み注目度マップを提供する行列である。
【００３６】
演算子の適用後、注目度マップのすべての局所最大には値１が割り当てられ、他のすべてのエリアは値０を有する。したがって、画像内の注目位置は、注目度マップの非最大除去によって求められる。このようにして、注目度クラスタマップが生成される。
【００３７】
注目度マップが行列Ｓとして表される場合、処理済み注目度マップは、注目度クラスタマップ行列Ｓｍａｘとして表すことができ、したがって、注目度クラスタマップ行列Ｓｍａｘは、
【００３８】
【数１】
2006012154.tif 000003
【００３９】
に従って生成される。
【００４０】
注目度マップ、演算子Ｍ、および注目度クラスタマップの代替表現が可能であり得ることが理解されよう。たとえば、それぞれがバイナリまたは他のデータ列であってもよく、または上記を適したデジタル信号またはアナログ信号で表してもよい。
【００４１】
注目度クラスタマップから、注目応答に、マップに適用される重み付け核を使用して重み付けすることができる。応答は、様々な方位での各注目位置から、問題となっている位置に関連する他の注目位置が見つけられる確率の指標を提供する。
【００４２】
好ましい一実施形態では、パラメトリックレムニスケート核が注目応答の重み付けに使用される。この核は、方位選択的グループ化核である。たとえば、極座標表現を使用して、現在位置からの距離
【００４３】
【数２】
2006012154.tif 000004
【００４４】
および角度
【００４５】
【数３】
2006012154.tif 000005
【００４６】
における応答の場合、核
【００４７】
【数４】
2006012154.tif 000006
【００４８】
は、
【００４９】
【数５】
2006012154.tif 000007
【００５０】
として定義され、これは
【００５１】
【数６】
2006012154.tif 000008
【００５２】
の場合であり、その他の場所ではすべて、核の出力はゼロと定義される。パラメータは核の空間の台を定義し、ｎには方位選択性が関連付けられる。好ましい一実施形態では、４つの回転グループ化核
【００５３】
【数７】
2006012154.tif 000009
【００５４】
（ｎ＝１，・・・，４）のセットが使用される。このセットは、有限数の方位角度
【００５５】
【数８】
2006012154.tif 000010
【００５６】
をカバーする。
【００５７】
したがって、各回転核は、
【００５８】
【数９】
2006012154.tif 000011
【００５９】
から得られる。
【００６０】
回転グループ化核を生成するために少数または多数の方位角度セットを使用することができることが当業者には理解されよう。さらに、上述したもの等のレムニスケート核を使用する必要はなく、複数の方位における注目応答の重み付けを提供するようになっている任意の適した核の使用が可能である。したがって、上記および以下の考察は限定を意図するものではない。
【００６１】
各核
【００６２】
【数１０】
2006012154.tif 000012
【００６３】
は、マップＳｍａｘで畳み込まれて、
【００６４】
【数１１】
2006012154.tif 000013
【００６５】
のような４つのグループ化場Ｇ'ｎのセットを作成する。
【００６６】
好ましい一実施形態では、Ｇ'ｎは、各注目位置（ｘ，ｙ）において正規化されて、
【００６７】
【数１２】
2006012154.tif 000014
【００６８】
に従って、
【００６９】
【数１３】
2006012154.tif 000015
【００７０】
のようなグループ化場の正規化セットＧｎを提供し、これは、対応する方位に沿った各応答の強度を示す。
【００７１】
所与のＳｍａｘを、画像の注目位置Ｍｉにおけるｍ個のディラックパルスの重ね合わせによって表すことができる場合、グループ化場もまた、Ｍｉに配置されたｎ個のグループ化核の重ね合わせによって表すことができることに留意されたい。
【００７２】
また、疎行列、より具体的には、成分が最大の位置でのみ非ゼロである行列が使用されるため、畳み込みは、Ｓｍａｘの行列表現の非ゼロ成分のみを考慮して、事実上、最大の位置のみの加重和を実施することによって大幅に加速化することができる。畳み込みの表記は明確にするためにのみ使用されていることが当業者により理解されよう。
【００７３】
グループ化核は、特に、２つ以上が核の台内に入る場合に、注目度最大間の関係を実質的に取り込む。しかし、殆どの場合、応答にはかなりの曖昧さがある。これは概して、使用される注目度モデルが直接方位情報を提供しないことによる。
【００７４】
好ましい一実施形態によれば、注目度最大の構造を導き出すために、場の知覚的に位置合わせされた構成要素を漸進的に強調し、知覚構造を示さない構成要素を抑圧する反復強調プロセスが使用される。
【００７５】
有利なことに、強調反復は、最大ｉの位置（ｘｉ，ｙｉ）に対する場の以下の更新から成る。
【００７６】
【数１４】
2006012154.tif 000016
【００７７】
ここで、Ｒｎ（ｘ，ｙ）は、場のｎ番目の構成要素を強調すべきである場合は正であり、抑圧すべき場合は負である各方位のスカラー強調関数のセットである。パラメータ
【００７８】
【数１５】
2006012154.tif 000017
【００７９】
は利得係数であり、有利なことに、実質的に、単位元
【００８０】
【数１６】
2006012154.tif 000018
【００８１】
未満の値に設定される。
【００８２】
強調関数は、２つの単純な原理、ａ）各位置における最強場構成要素を強調すること、およびｂ）最強場構成要素が同じ方位を有する他の近傍がある場合には構成要素を強調すること、を実施する。
【００８３】
好ましい一実施形態では、強調関数は、強調関数Ｒ'ｎのセットに対して正規化された関数である。したがって、各方位ｎの正規化された強調関数Ｒｎのセットは、
【００８４】
【数１７】
2006012154.tif 000019
【００８５】
によって与えられ、ここで、考慮中の画像の非正規化された注目度マップから、
【００８６】
【数１８】
2006012154.tif 000020
【００８７】
である。
【００８８】
スカラー場
【００８９】
【数１９】
2006012154.tif 000021
【００９０】
は、各位置における平均方位応答を表す。したがって、値
【００９１】
【数２０】
2006012154.tif 000022
【００９２】
は、特定の位置および特定の方位における応答が平均応答
【００９３】
【数２１】
2006012154.tif 000023
【００９４】
を上回る場合に正であり、それにより、最強応答が優先されることを保証し、特定の位置および特定の方位における応答が平均応答
【００９５】
【数２２】
2006012154.tif 000024
【００９６】
を下回る場合には負である（したがって、弱い応答は抑圧される）。
【００９７】
グループ化核
【００９８】
【数２３】
2006012154.tif 000025
【００９９】
での畳み込み（または同様の処理）により、優勢な同じ方位に沿った近傍構成要素がＲ'ｎに対して正の寄与を提供し、優勢ではないものは負の寄与を提供することが保証される。
【０１００】
添付図面の図５は、好ましい一実施形態による強調更新手順の線図である。
【０１０１】
位置Ａには、位置（ｘ，ｙ）におけるベクトル場の４つの構成要素
【０１０２】
【数２４】
2006012154.tif 000026
【０１０３】
がある。負の寄与は、丸で囲まれたマイナスの符号で示される。図５の例では、ポイントＡでの最強応答は５０１と記される。他の２つの位置である図５のＢおよびＣにも、各構成要素が示される。Ｂには、５０１と同じ方位に強い正の構成要素５０３があるが、Ｃには、５０１および５０３と異なる方位に最強応答５０５があり、５０１および５０３の方位に負の寄与５０７がある（この方位に沿った応答が平均を下回ったことによる）。
【０１０４】
核
【０１０５】
【数２５】
2006012154.tif 000027
【０１０６】
で畳み込むことにより、この寄与は、問題となっているポイントにおいて使用される特定の核の台内に入るその他の応答の性質に応じて重み付けされる。図５は、好ましいレムニスケートグループ化核を示す。上述したように、代替の重み付け核を使用することができる。
【０１０７】
図５の特定の場合では、全体の影響としてはＲｎ（ｘ，ｙ）はわずかに正であり、これは、図示の核が、図示の応答で畳み込まれた場合、Ｂは基準方位５０１に位置合わせされ、問題となっている位置（ｘ，ｙ）により近いことから、ＣよりもＢにおける応答により大きな重みを与えるためである。
【０１０８】
添付図面の図６ａに、グループ化場が重ねられた、画像から得られた注目度マップを示す。グループ化場は、少なくともベクトルを含み、ベクトルの１つが、図６ａにおいて参照６０１によって示される。
【０１０９】
図６ｂに、強調プロセスが図６ａのグループ化場に適用された後の結果を示す。強調ベクトルを６０３で示す。
【０１１０】
上述したように強調注目度グループ化ベクトル場が生成された後、画像の知覚構造化された注目位置を、画像の他のエリアよりも優先して表示することができるように、場を使用して画像にわたる経路を生成することができる。
【０１１１】
これは、取り込まれた画像を、比較的解像度の低いディスプレイを有する装置を使用して表示すべき場合に特に有利である。
【０１１２】
たとえば、デジタルカメラまたは撮像機能を組み込んだ他の移動体機器、たとえば図３を参照して説明した機能を備えたもの等、モバイルステーション（携帯電話）、個人情報端末（ＰＤＡ）、またはページャ等では、取り込まれた画像は装置のディスプレイを使用して表示することができる。このような装置の性質により、このようなディスプレイは、装置の電源および装置上のスペースを保存できるように、装置の寸法に対して小さくする必要があることを含意する。
【０１１３】
したがって、画像が、装置を使用して表示される際に、いくらかの画像情報が失われる、または装置ディスプレイが小型で低解像度である可能性がある性質により、直接見ることができない場合がある。好ましい一実施形態によれば、このような表示画像は、装置自体によって取り込まれた画像、またはたとえば、他の手段によって取り込まれて装置にアップロードされた画像等、装置が受け取った画像である。
【０１１４】
好ましい一実施形態では、ズームイン（画像に対して）ウィンドウが画像にわたって平行移動し、このウィンドウは、グループ化ベクトル場に関連して生成された注目経路を辿る。したがって、画像全体ではなく画像の一部が表示され、表示部分は、平行移動ウィンドウのサイズおよび注目経路によって画定され、画像の概念上関連する構成要素が実質的に一緒に見られるような構造を示す。
【０１１５】
添付図面の図７は、画像のグループ化ベクトル場に関連して生成される、画像７００にわたる注目経路７０１の線図である。
【０１１６】
経路７０１は実質的に、画像の注目部分におけるベクトルのサブセットに位置合わせされ、注目部分の１つを７０３に示す。経路の好ましい方位は、経路７０１の矢印によって示される。好ましい方位は、画像のグループ化ベクトル場のベクトルの方位に実質的に従い、一般に、注目部分に対応する注目度最大を通る。
【０１１７】
経路７０１の生成において、平滑な曲線を要件とする等の制約を課すことができる。これには、場合によっては経路が注目度最大をわずかに「外れ」、それにより、注目経路の「ぎくしゃくした」部分が、選択された画像位置の閲覧に有害な影響を与える閲覧装置に使用する注目経路により適した平滑な曲線を提供することが必要になり得る。
【０１１８】
経路を生成する際に、他の制約／基準を課すことも可能である。たとえば、グループ化ベクトル場によって定義される所望の注目度最大を通るが、平滑であり、したがって求められる次数まで連続した導関数を有する最小距離の曲線であるように経路を制約することができる。注目経路を生成する際に、他の制約／基準を適用することも可能であることが当業者により理解されよう。また、図７に示す注目経路に対する代替の注目経路が可能であることも理解されよう。経路７０１は単に、画像７００にわたる注目経路の一例として示され、限定を意図するものではない。
【０１１９】
画像のグループ化ベクトル場は一般に、複数の優勢注目位置を保存し、それによって複数の注目経路を生成することができる場を作成する。
【０１２０】
グループ化ベクトル場が関連付けられた、画像にわたる可能な各注目経路の中から、複数の基準に従っての経路のランク付けに基づいて、表示するものを選択することができる。たとえば、可能な各経路を、画像の他の経路に対する、注目経路を通るのにかかる時間に従ってランク付けすることができ、最長時間または最短時間を有する経路が高くランク付けされ、その後、他の経路がそれに従ってランク付けされる。
【０１２１】
別法として、注目経路の可能なセットを、経路の全体の注目度に従ってランク付けすることができ、ここで、全体の注目度は、経路が辿る注目位置の密度に関連する注目度の測度を提供することができる。たとえば、画像に対して、その画像のグループ化ベクトル場を使用して２つの注目経路を生成することができるが、一方の経路には他方の経路よりも多くの注目位置が含まれ得る。この場合、経路を、特定の注目経路に沿って発生する注目位置の数に従ってランク付けすることができる。他の代替も可能である。
【０１２２】
好ましい一実施形態によれば、ランク付けは、受け取る選好に従って調整することができる。たとえば、受け取る選好が最短距離経路に関連する場合、経路をそれに従ってランク付けすることができ、最短距離の経路は最高にランク付けされ、他のすべての経路もそれに従ってランク付けされる。他の代替も可能である。
【０１２３】
可能な経路のセットを順序付ける他の様々な方法を採用することも可能であり、上記は限定を意図するものではないことが理解されよう。
【０１２４】
添付図面の図８は、上述したもの等の画像取り込み装置において注目経路を生成する手順を表すフローチャートである。
【０１２５】
８０１において、装置が被写体またはシーンに関連する画像データを受け取る。データは、装置自体が取り込んだ被写体またはシーンの画像（この場合、データは、装置のプロセッサで「受け取ら」れる）、または別の装置によって取り込まれた被写体またはシーンの画像（この場合、装置は、通信媒体、たとえば無線周波通信ネットワーク等を使用してデータを受け取る）に関連することができる。たとえば、装置間に確立されたブルートゥースリンクを介してデータを受け取る、インターネットを介して、または赤外線リンクを使用してデータを受け取る等、当該技術分野における慣例のような他の代替も可能である。
【０１２６】
８０３において、受け取った画像データが次いで、装置において処理されて、上述したように画像に関連する強調注目マップが生成される。
【０１２７】
８０５において、注目経路が、８０３のマップを使用して装置において生成される。図７を参照して上述したように、注目経路は、画像の注目位置におけるベクトルのサブセットと実質的に位置合わせされ、経路の好ましい方位はこういったベクトルの方位に従う。各ベクトルは、画像の注目部分の配置および方位に関連するデータを含む。
【０１２８】
８０７において、８０５の経路に沿った画像の部分が、装置のディスプレイを使用して表示される。好ましくは、より詳細に上述したように、ズームインウィンドウが、画像の注目位置のみが見られるように、画像にわたって経路に沿って平行移動する。
【０１２９】
上記実施態様について、装置内で画像データを処理することを参照して説明してきたが、画像データの任意の処理を装置から離れて行うことができることが理解されよう。
【０１３０】
たとえば、取り込まれた画像に関連するデータは、たとえば、データを処理して、上述した強調注目度マップを生成するように動作可能な、サーバ等の（取り込み装置から）離れた処理装置にアップロードすることができる。このようなアップロードは、有線通信リンクまたは無線通信リンクを使用して従来の任意の様式で行うことができる。サーバは、データに関連する画像にわたって注目経路を生成して、低解像度かつ／または小型のディスプレイでの閲覧に適した画像の注目部分を提供するように動作可能であることができる。注目経路および関連する画像部分に関連するデータは、上述した複数の通信方法を使用して閲覧装置に送ることができる。
【０１３１】
さらなる別法として、遠隔処理装置は、画像データから強調注目度マップを生成するように動作可能であることができ、次いで装置がこのデータを受け取り、マップを使用して、問題となっている画像にわたる注目経路を生成することができる。変形が可能であり、遠隔処理装置および移動体機器が、連携して各種タスクを実行して、移動体機器で使用するための注目経路を生成するように動作可能である。
【０１３２】
添付図面の図９は、重ねられた注目経路９０１および装置（図示せず）のディスプレイに表示される画像９０３の対応する部分（白線内に包含して示す）を示す画像９００の線図である。図示の部分９０３は、特定サイズのズームインウィンドウが経路を辿る結果表示される画像９００のエリアに対応する。異なる装置は異なるディスプレイサイズ、および異なる処理能力を有するため、ズームインウィンドウのサイズをディスプレイサイズおよび処理能力に従って調整可能であることが理解されよう。図９の部分は限定を意図するものではなく、明確にする方法で示されているだけである。ズームインウィンドウの寸法は、図示される幅ｘに対応する。したがって、線９０５、９０７は、経路９０１を辿る高さｘのズームインウィンドウのサイドが辿る経路を表す。
【０１３３】
このようにして、上述した方法を使用して求められた画像９００の注目位置は、画像９００に生成された注目経路９０１に沿って平行移動するズームインウィンドウで見られる。
【０１３４】
好ましい一実施形態では、移動体機器のユーザは、画像の注目位置を見るために利用可能な時間を入力することができる。したがって、ズームインウィンドウが注目経路９０１上を平行移動する速度は、経路全体を所与の時間内で辿るように調整される。所与のリフレッシュレートのディスプレイの場合、これにより、部分９０３の異なるエリアが異なる時間に表示されることになる。たとえば、比較的長い閲覧時間が選択される場合、経路９０１を辿る速度は遅く、表示される部分９０３のエリアの数は多くなる。より短い時間が指定される場合、経路９０１を辿る速度はより速く、したがって利用可能な時間内に表示される画像部分９０３のエリアの数は少なくなる。最短（および／または最長）閲覧時間を装置（図示せず）のメモリに予め設定して、経路を辿る速度が速くなりすぎる場合を回避することができる。
【０１３５】
本方法は、ウィンドウのズーム倍率が、たとえば、異なる注目エリアに応答して注目経路の長さに沿って変化するような動的平行移動ウィンドウを使用することができる状況においても適用可能であることがさらに理解されよう。
【０１３６】
本方法は、パノラマ画像または映像を構成する一連の画像に関連するもの等、複数の関連する画像に適用される場合にも有用である。
【０１３７】
たとえば、各画像がパノラマにしたいシーンまたは被写体に関連するように、パノラマ画像を複数の別個に取り込まれた画像から生成する場合、本方法は、各画像の注目経路を独立して、またはパノラマ画像の生成後に生成することができる。
【０１３８】
一般に、パノラマ画像は、既知の技法、たとえばスティッチング等を用いて生成される。したがって、パノラマが生成されると、注目経路をパノラマ画像に対して適宜生成することができる。
【０１３９】
別法として、注目経路が、パノラマを生成したい個々の画像のそれぞれに生成される場合、画像の注目経路の冒頭と末尾を位置合わせすることが望ましい場合がある。この場合、画像をスティッチングする必要はなく、適切な処理を施して適したディスプレイを使用して仮想パノラマツアーを実施することができる。
【０１４０】
より具体的には、添付図面の図１０を参照すると、画像１００１、１００３、１００５、および１００７が、被写体またはシーンのパノラマを生成することができる画像である。画像を使用して仮想パノラマツアーを実施する場合、１００１の注目経路の末尾を、１００３の注目経路の冒頭に対応させ、１００３の注目経路の末尾を１００５の注目経路の冒頭に対応させ、以下同様であることが望ましい。
【０１４１】
適宜対応した経路を図１０に示す。このようにして、各画像の注目経路を辿り、対応する画像の部分を適したディスプレイに表示することができる。或る画像の注目経路の末尾に達したときに、ディスプレイは、次の画像の部分の表示を、この次の画像からの注目経路を辿って開始し、それにより、被写体またはシーンのパノラマが取り込まれたという錯覚が与えられる。続く注目経路は、画像を結合することによって生成されるパノラマにわたって連続した注目経路という効果を有する。
【０１４２】
図１０の画像は、上で説明したようにスティッチングすることができ、この場合、各画像に生成された、マッチングした注目経路を使用してもよく、またはスティッチングされたパノラマ全体に対する新しい注目経路を生成してもよい。いずれの注目経路も、パノラマを得た結果として生じる画像のいずれの重複または平行移動も考慮に入れるように調整することができる。
【０１４３】
図１０に示すよりも多数または少数の画像を使用することも可能であり、画像および生成される注目経路の性質は限定を意図するものではない。
【０１４４】
好ましい一実施形態では、２つの経路は、２つの経路を結合した結果得られる経路が実質的に連続する場合、または２つの画像が結合されてパノラマの一部を形成する際に、各注目経路の末尾間の距離が、たとえば、特定の「ミスマッチしきい値」を下回る場合に、実質的に対応すると言える。このようなしきい値は、たとえば、ｍｍのオーダであってもよく、またはパノラマもしくはその構成画像の画像ディテールの粒度を考慮に入れてケースバイケースで決定してもよい。特定の状況では、上記の組み合わせも適切である場合もある。
【０１４５】
映像の場合、本方法は、映像の連続した画像フレームに対して適用することができる。この場合、生成される注目経路は、空間注目経路について説明した上記実施態様とは対照的に、時間的な経路である。より具体的には、注目経路は複数の画像フレームにわたって生成され、各画像フレームは時間に関して可変である。映像の画像の強調注目度マップから、注目位置が、問題となっている画像の最も注目度の高い位置、あるいはユーザからの入力を使用して選択された位置において選択され、これは、上述した方法に従ってランク付けされた位置に基づくことができる。
【０１４６】
映像を構成する他の画像の位置が選択され、次いで、これら位置を繋ぐ注目経路が生成される。したがって、映像の注目部分のみが表示されるように、映像を構成する画像を「通して」ズームインウィンドウを平行移動させることができる。
【０１４７】
連続した各画像をこの様式で処理する必要はない。特定の状況では、たとえば、６枚毎の画像を処理することのみが適切または望ましいであろう。注目経路はそれでも、映像のすべての画像に延びることができるが、この例では、画像を通る経路を画定するポイントはしたがって、６枚毎の画像においてのみ発生する。
【０１４８】
図１１は、映像を構成する複数の画像の線図である。このような５つの画像１１０１、１１０３、１１０５、１１０７、および１１０９がある。映像内にははるかに多数のこのような画像が存在することが理解されよう。明確にするために、５つの画像のみを示す。
【０１４９】
図１１の例では、各画像１１０１、１１０３、１１０５、１１０７、および１１０９は、その画像の注目度場を使用して選択されたポイント１１１１、１１１３、１１１５、１１１７、１１１９を含む。各ポイントは、その特定の画像内で最も注目度の高いポイントであってもよく、または画像１１０１、１１０３、１１０５、１１０７、および１１０９を通る連続した注目経路を画定するのに最も適した各画像内のポイントであってもよい。いずれの場合でも、映像に生成された経路に対して、平滑な曲線を要件とする等、特定の制約を課すことができる。これにより、或る例では経路が注目度最大をわずかに「外れ」ることが必要になり、それにより、注目経路の「ぎくしゃくした」部分が、選択された画像位置の閲覧に有害な影響を与える閲覧装置に使用する注目経路により適した平滑な曲線を提供することが必要になり得る。
【０１５０】
経路を生成する際に、他の制約／基準を課すことも可能である。たとえば、所望の画像ポイント１１１１、１１１３、１１１５、１１１７、１１１９を通るが、平滑であり、したがって求められる次数まで連続した導関数を有する最小距離の曲線であるように経路を制約することができる。注目経路を生成する際に、他の制約／基準を適用することも可能であることが当業者により理解されよう。
【０１５１】
図１２は、本方法の一態様に対応するフローチャートである。
【０１５２】
１２０１において、画像（図示せず）の注目度マップが生成される。１２０３において、画像の注目部分の関係が注目度マップを使用して求められ、１２０５において、注目部分から注目度場が生成される。１２０７において、画像の注目経路が注目度場を使用して構築される。
【図面の簡単な説明】
【０１５３】
【図１】本方法の一態様に対応するフローチャートである。
【図２】本方法の一態様に対応するフローチャートである。
【図３】本方法により動作可能な装置の概略図である。
【図４ａ】一実施形態による画像例である。
【図４ｂ】一実施形態により画像に生成された注目度マップ例である。
【図５】一実施形態によるグループ化核の線図である。
【図６ａ】対応する注目度マップに重ねられた、一実施形態によるグループ化ベクトル場の一例である。
【図６ｂ】対応する注目度マップに重ねられた、一実施形態による強調グループ化ベクトル場の一例である。
【図７】一実施形態による対応する注目経路をさらに示す対応する注目度マップが重ねられた、一実施形態による強調グループ化ベクトル場の線図である。
【図８】本方法の一態様を表すフローチャートである。
【図９】重ねられた注目経路および対応する表示部分を有する画像である。
【図１０】複数の関連画像に適用される本方法の線図である。
【図１１】複数の関連画像に適用される本方法の線図である。
【図１２】本方法の一態様に対応するフローチャートである。
【符号の説明】
【０１５４】
３０１・・・撮像要素
３０３・・・レンズ
３０５・・・フィルタ
３０７・・・画像センサ
３１１・・・デジタル信号プロセッサ
３１３・・・バスまたはそれと同様のもの
３１７・・・メモリ
３１９・・・中央演算処理装置
５０１・・・ポイントＡでの最強応答
５０３・・・ポイントＢでの強い正の構成要素
５０５・・・ポイントＣでの最強応答
５０７・・・負の寄与
６０１・・・グループ化場に含まれるベクトル
６０３・・・強調ベクトル
７００・・・画像
７０１・・・注目経路
７０３・・・注目部分
９００・・・画像
９０１・・・注目経路
９０３・・・表示される部分
９０５・・・線
９０７・・・線
１００１・・・画像
１００３・・・画像
１００５・・・画像
１００７・・・画像
１１０１・・・画像
１１０３・・・画像
１１０５・・・画像
１１０７・・・画像
１１０９・・・画像
１１１１・・・画像内のポイント
１１１３・・・画像内のポイント
１１１５・・・画像内のポイント
１１１７・・・画像内のポイント
１１１９・・・画像内のポイント
【図１】
2006012154.tif 000028
【図２】
2006012154.tif 000029
【図３】
2006012154.tif 000030
【図４ａ】
2006012154.tif 000031
【図４ｂ】
2006012154.tif 000032
【図５】
2006012154.tif 000033
【図６ａ】
2006012154.tif 000034
【図６ｂ】
2006012154.tif 000035
【図７】
2006012154.tif 000036
【図８】
2006012154.tif 000037
【図９】
2006012154.tif 000038
【図１０】
2006012154.tif 000039
【図１１】
2006012154.tif 000040
【図１２】
2006012154.tif 000041
【外国語明細書】
IMAGE PROCESSING
TECHNICAL FIELD
[01] The present invention relates to the field of image processing.
CLAIM TO PRIORITY
[02] This application claims priority to copending United Kingdom utility application entitled, "IMAGE PROCESSING," having serial no. GB 0414064.6, filed June 24, 2004, which is entirely incorporated herein by reference.
BACKGROUND
[03] In certain circumstances it is desirable to be able to generate a path across a static or video image which passes through salient areas of the image for viewing.  This is particularly useful in situations where viewing an entire image is not practical either due to time constraints, or because characteristics of the particular viewing platform being used are not suitable, for example, because the platform is not designed to accommodate a particular image size.  In general, such a generated path will enable interesting points of the image to be displayed in preference to other areas of the image via the use of a virtual camera which follows the path across the image and which is zoomed-in with respect to the image such that only portions of the image along the path are displayed.
[04] Such a system is particularly advantageous in mobile devices which have imaging functionality, such as mobile phones with built-in cameras, for example.  The size of such devices dictates that device display screens are relatively small and therefore not particularly well suited to displaying captured or received images, especially if the images are high resolution images which contain a lot of detail.
[05] Co-pending United Kingdom Patent application number 0104589.7 discusses the elucidation of salient locations in an image, and how salient structure can be determined from these locations.  From this structure, a salient viewing path over the image can be provided.
[06] "Automatic Browsing of Large Pictures on Mobile Devices", Microsoft Research China, MSR-TR-2003-49 discusses the use of saliency as the basis for determining what is interesting in an image, and uses the theory of information foraging to select areas of an image to explore via the use of a viewing path.
[07] The known methods provide reasonably effective ways of displaying the salient material of an image.  However, there are drawbacks.  The generated display paths only monotonically explore the salient areas of an image.  There is no perceptual linkage in the salient areas along a display path.  Also, MSR-TR-2003-49, in particular, requires that interesting regions of an image and their extent are marked.  Saliency is only used to score regions of interest.
SUMMARY
[08] According to a first exemplary embodiment, there is provided a method of processing image data relating to at least one image comprising using data relating to disposition and saliency of selected salient portions of the or each image, generating at least one respective saliency vector for respective said portions.
[09] According to a second embodiment, there is provided a method of processing an image comprising generating a saliency map for the image, determining a relationship of salient portions of the image using the saliency map in order to generate a saliency field, and constructing a salient path for the image using the saliency field.
[10] According to a third embodiment, there is provided a method of generating a salient path across a plurality of images, the method comprising, for the respective images, generating respective saliency maps determining the relationship of salient portions of the images using the saliency maps in order to generate respective saliency fields for respective said images, and generating at least one salient path for respective images using respective saliency fields, wherein the salient paths are constrained at their respective end portions such that at least part of a salient path in one of said images substantially corresponds to part of a salient path in another of said images.
[11] According to a fourth embodiment, there is provided a device operable to generate a saliency map for an image, determine a relationship of salient portions of the image using the saliency map in order to generate a saliency field, and construct a salient path for the image using the saliency field.
BRIEF DESCRIPTION OF THE DRAWINGS
[12] For a better understanding of the present invention, and to further highlight the ways in which it may be brought into effect, various embodiments will now be described, by way of example only, with reference to the following drawings in which:
[13] Figure 1 is a flow chart corresponding to an aspect of the present method;
[14] Figure 2 is a flow chart corresponding to an aspect of the present method;
[15] Figure 3 is a diagrammatic representation of a device operable in accordance with the present method;
[16] Figures 4a and 4b are examples of an image and of a saliency map generated for the image according to an embodiment respectively;
[17] Figure 5 is a diagrammatic representation of a grouping kernel according to an embodiment;
[18] Figure 6a is an example of a grouping vector field according to an embodiment overlaid with a corresponding saliency map;
[19] Figure 6b is an example of a reinforced grouping vector field according to an embodiment overlaid with a corresponding saliency map;
[20] Figure 7 is a diagrammatic representation of a reinforced grouping vector field according to an embodiment overlaid with a corresponding saliency map further indicating a corresponding salient path according to an embodiment;
[21] Figure 8 is a flow chart representing an aspect of the present method;
[22] Figure 9 is an image with an overlaid salient path and corresponding display portions;
[23] Figure 10 is a diagrammatic representation of the present method as applied to a plurality of related images;
[24] Figure 11 is a diagrammatic representation of the present method as applied to a plurality of related images; and
[25] Figure 12 is a flow chart corresponding to an aspect of the present method.
[26] It should be emphasized that the term "comprises/comprising" when used in this specification specifies the presence of stated features, integers, steps or components but does not preclude the presence or addition of one or more other features, integers, steps, components or groups thereof.
DETAILED DESCRIPTION
[27] Figure 1 is a flow chart according to an embodiment of the present method.  At 101, salient portions of at least one image are selected from image data 100, which portions comprise disposition and saliency data and are used in order to generate, at 103, at least one respective saliency vector for respective said portions.
[28] Figure 2 of the accompanying drawings is a flow chart relating to the generation of a saliency grouping vector field according to an embodiment.
[29] The saliency grouping vector field indicates, at each salient location in an image, and in various directions, the probability of there being other salient image locations in an image associated to it.
[30] At 201, the salient regions of an image are determined.  There are a number of methods which can be used in order to determine salient regions of an image.  In a preferred embodiment, the locations are determined by generating a context-free saliency map from an image as will be described in greater detail below.
[31] At 203, a saliency cluster map is generated from the map determined at 201.  More specifically, a suitable operator, as will be described below, is applied to the saliency map of 201 in order to transform it from a discrete scalar field into a binary one with a value of 1 at the location of all local maxima, and a value of 0 elsewhere.
[32] At 205, the saliency cluster map is convolved with a set of orientation-selective grouping kernels in order to generate a set of grouping fields which are then normalized at 207.  The normalized grouping fields indicate the strength of a saliency response along the corresponding orientation, and will be described in more detail below.
[33] At 209, the normalized grouping fields are reinforced in order to elicit the perceptual structure of the saliency maxima of the image.  The perceptual structure can be a measure of the relationship between selected characteristics of image components, as might be perceived as important by a viewer of the image.
[34] The method as described with reference to figures 1 and 2 will now be described in greater detail.
[35] A saliency map of an image is created using a suitable known method.  In one embodiment the method as proposed by Itti, Koch and Niebur ("A Model of Saliency-based Visual Attention for Rapid Scene Analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11): 1254-1259, 1998) is used in order to generate a suitable saliency map of an image, or more precisely, a context-free interest map from an image.  
[36] It will be appreciated by those skilled in the art that a suitable saliency map of an image can be generated using a number of alternative methods.  For example, the work of C.M. Privitera and L.W. Stark ("Evaluating image processing algorithms that predict regions of interest" Pattern Recognition Letters, 19(11):1037-1043, September 1998, and "Algorithms for defining visual regions-of- interest: Comparison with eye fixations", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(9):970-982, September 2000) has also attempted to define a model for bottom-up saliency.
[37] The method described herein (the Itti, Koch and Niebur method), which is based on biologically plausible principles of saliency elucidation, combines multiscale image features into a single topographical image map.  The method will not be described in detail since only the resulting saliency map is of importance for the present method, and not the route used to obtain it from an image to be processed.
[38] Figure 3 of the accompanying drawings is a diagrammatic representation of an exemplary device operable in accordance with the present method.  More specifically, figure 3 represents an exemplary imaging module of a device such as a digital camera or a mobile telephone or PDA with imaging functionality.  It will be appreciated, however, that the present method may be implemented by a device which does not include imaging functionality, and which has received an image to be processed from a remote (from the device) location such as a camera or other image capture device.  Such an image may be received using known wired (e.g. LAN, internet etc) or wireless (e.g. WiFi, Bluetooth etc) techniques.
[39] The imaging element 301 comprises a lens assembly 303, a filter 305, image sensor 307, and a digital signal processor 311.  An image or scene of interest is captured from light passing through the lens assembly 303.  The light may be filtered using the filter 305.  The image is then converted into an electrical signal by image sensor 407 which could be either of the devices mentioned above.  The raw image data is then passed to the digital signal processor (DSP) 311.  
[40] Further, with reference to the device 301 of figure 3, a bus, or similar, 313 is operable to transmit data and/or control signals between the DSP 311, memory 317, and the central processing unit (CPU) 319. 
[41] Memory 317 may be dynamic random-access memory (DRAM) and may include either non-volatile memory (e.g., flash, ROM, PROM, etc.) and/or removable memory (e.g., memory cards, disks, etc.).  Memory 317 may be used to store raw image digital data as well as processed image digital data.  CPU 319 is a processor which can be programmed to perform various tasks associated with the device 301.   
[42] It should be noted that there are many different configurations for the imaging element of figure 3.  In one embodiment, the CPU 319 and the DSP 311 may reside on a single chip, for example.  In other embodiments, the CPU 319 and DSP 311 reside on two or more separate chips, for example.  Further combinations are possible, but it should be noted that the exact architecture of the imaging element 301 and/or the components therein as outlined above are not intended to be limiting, and are merely presented in order to exemplify the typical image capture elements of a mobile device with which the present method will function.
[43] For example, the CPU 319 may be in addition to a CPU of the mobile device, or may perform tasks additional to those as required by the imaging element.  Memory 317 may also be used for other functions of the mobile device, for example.
[44] A device devoid of imaging functionality operable in accordance with the present method would be similar to that depicted in figure 3, except that it would not have elements 303, 305 and 307, at least.
[45] Figures 4a and 4b of the accompanying drawings are an image and the corresponding saliency map respectively, obtained using the method of Itti, Koch and Niebur.
[46] It will be appreciated by those skilled in the art that figure 4b is merely a representation of a suitable saliency map and is not intended to be limiting.  In figure 4b, salient areas are depicted in white (and shades thereof), with less salient areas of the image 4b being depicted by darker areas.  In this case, each location of the image 4b has a corresponding saliency value associated with it, which has been graphically represented in 4b.  The generation of an image such as figure 4b does not constitute the generation of a saliency map per se, it is a representation of the saliency map.  In general, a saliency map comprises data corresponding to the disposition and saliency of selected portions in an image.  Such portions may be pixels, voxels, or larger or smaller areas of an image, for example.
[47] Following generation of a suitable saliency map such as that of figure 4b using a suitable method such as that described above, an operator M is applied to the map in order to transform the discrete scalar field of the map into a binary one. 
[48] In a preferred embodiment, M is a matrix, the elements of which are arranged in order to effect the transform from a discrete scalar field to a binary one, and which is applied to a matrix representation of the saliency map in order to provide a processed saliency map.
[49] All local maxima of the saliency map are assigned a value of 1 following the application of the operator, with all other areas having a value of zero.  Salient locations in an image are therefore determined by non-maxima suppression of the saliency map.  In this manner, a saliency cluster map is generated.
[50] If the saliency map is represented as a matrix S,  the processed saliency map may be represented as a saliency cluster map matrix Smax which is therefore generated according to:
【数１】
2006012154.tif 000042
[51] It will be appreciated that alternative representations of the saliency map, the operator M and the saliency cluster map are possible.  For example, each may be a string of data, binary or other, or the above may be represented by a suitable digital or analogue signal.
[52] From the saliency cluster map, saliency responses can be weighted using a weighting kernel applied to the map.  The responses provide an indication, from each salient location in various directions, of the probability of finding other salient locations associated with the location in question.
[53] In a preferred embodiment, a parametric lemniscate kernel is used to weight saliency responses.  The kernel is an orientation-selective grouping kernel.  Using a polar coordinate representation, for example, for a response at a distance
【数２】
2006012154.tif 000043
and angle
【数３】
2006012154.tif 000044
from the current location the kernel
【数４】
2006012154.tif 000045
is defined as:
【数５】
2006012154.tif 000046
for
【数６】
2006012154.tif 000047
, with the output of the kernel defined as zero elsewhere.  The parameter   defines the spatial support of the kernel whereas n is associated to the orientation selectivity.  In a preferred embodiment, a set of four rotated grouping kernels 
【数７】
2006012154.tif 000048
(n=1..4) is used.  The set covers a finite number of orientation angles
【数８】
2006012154.tif 000049
.
Each rotated kernel is therefore obtained from
【数９】
2006012154.tif 000050
.
It will be appreciated by those skilled in the art that a set of fewer or greater orientation angles can be used in order to generate the rotated grouping kernels.  In addition, a lemniscate kernel such as that described above need not be used, and any suitable kernel adapted to provide a weighting of saliency responses in a number of directions is appropriate.  The above, and the following discussion is not, therefore, intended to be limiting.
[54] Each of the kernels,
【数１０】
2006012154.tif 000051
, are convolved with the map Smax in order to create a set of four grouping fields G’n such that:
【数１１】
2006012154.tif 000052
[55] In a preferred embodiment, the G’n are normalized at each salient location (x,y) in order to provide a normalized set of grouping fields Gn according to:
【数１２】
2006012154.tif 000053
such that 
【数１３】
2006012154.tif 000054
, indicating the strength of each response along the corresponding orientation.
[56] Note that given Smax  can be represented by a superposition of m Dirac pulses at the salient locations Mi  of an image, the grouping fields can also be represented by the superposition of the n grouping kernels placed at the Mi .
[57] Also, since a sparse matrix is used, and more specifically a matrix whose elements are non-zero only at the location of the maxima, convolution can be speeded up considerably by taking into account only the non-zero elements of a matrix representation of Smax , effectively implementing a weighted sum only at the locations of the maxima.  It will be appreciated by those skilled in the art that the convolution notation has been used only for clarity.
[58] The grouping kernels substantially capture the relationship between saliency maxima, in particular when two or more fall within the support of the kernel.  However, in most cases there is considerable ambiguity in the responses.  This is generally due to the fact that the saliency model used includes no provision for direct orientation information.  
[59] According to a preferred embodiment, in order to elicit a structure of the saliency maxima, an iterative reinforcement process is used which progressively reinforces perceptually aligned components of the field and inhibits components that exhibit no perceptual structure.
[60] Advantageously, the reinforcement iterations consist of the following updates of the fields with respect to the location (xi,yi) of a maxima i:
【数１４】
2006012154.tif 000055
where the Rn(x,y) are a set of scalar reinforcement functions for each direction which are positive when the nth component of the field is to be reinforced, and negative when it is to be inhibited.  The parameter
【数１５】
2006012154.tif 000056
is a gain factor, and is advantageously set to a value substantially less than unity
【数１６】
2006012154.tif 000057
.
[61] The reinforcement function implements two simple principles: a) reinforcing the strongest field component at each location and b) reinforcing a component if it has other neighbors whose strongest field components have the same orientation.
[62] In a preferred embodiment, the reinforcement functions are normalized functions with respect to the set of reinforcement functions R'n .  The set of normalized reinforcement functions Rn for each direction n is thus given by:
【数１７】
2006012154.tif 000058
where, from an un-normalized saliency map   of an image being considered,
【数１８】
2006012154.tif 000059
.
[63] The scalar field
【数１９】
2006012154.tif 000060
represents the average orientation response at each location.  Accordingly, the value
【数２０】
2006012154.tif 000061
is positive when a response at a particular location and in a particular direction is above the average response
【数２１】
2006012154.tif 000062
,
thereby ensuring that the strongest responses are favoured, and negative when a response at a particular location and in a particular direction is below the average response
【数２２】
2006012154.tif 000063
(so that weak responses are inhibited).
[64] The convolution (or similar processing) with the grouping kernels
【数２３】
2006012154.tif 000064
ensures that neighboring components along the same direction that are also dominant provide a positive contribution to R'n, whereas those which are not as dominant have a negative contribution.
[65] Figure 5 of the accompanying drawings is a diagrammatic representation of a reinforcement update procedure according to a preferred embodiment.
[66] At location A, there are four components of the vector field
【数２４】
2006012154.tif 000065
at a point (x,y).  Negative contributions are indicated by circled minus signs.  In the example of figure 5, the strongest response at point A is labeled as 501.  At two other locations, B and C of figure 5, the respective components are also shown.  At B there is a strong positive component 503 in the same direction as 501, whereas at C, the strongest response 505 is in a different direction to 501 and 503, with a negative contribution 507 in the direction of 501, 503 (due to the fact that the response along this direction was below average).
[67] By convolving with the kernels
【数２５】
2006012154.tif 000066
, the contributions are weighted depending on the nature of the other responses falling within the support of the particular kernel used at the point in question.  Figure 5 shows a preferred lemniscate grouping kernel.  As mentioned, alternative weighting kernels can be used.
[68] In the specific case of figure 5, the overall effect is that Rn(x,y) is slightly positive as the kernel shown, when convolved with the responses shown, will give a larger weighting to the responses at B rather than C since B is aligned with the reference direction 501, and is closer to the location (x,y) in question.
[69] Figure 6a of the accompanying drawings shows a saliency map obtained from an image with the grouping fields overlaid.  The grouping field comprises at least a vector, one of which is indicated by the reference 601 on figure 6a.
[70] Figure 6b shows the result after the reinforcement process has been applied to the grouping fields of figure 6a.  A reinforced vector is indicated at 603.
[71] Following generation of a reinforced saliency grouping vector field as described above, a path across an image can be generated using the field in order that perceptually structured salient locations of an image can be displayed in preference to other areas of an image.  
[72] This is particularly advantageous if a captured image is to be displayed using a device with a relatively low resolution display.  
[73] For example, in a digital camera, or other mobile device incorporating imaging functionality such as a mobile station (mobile telephone), personal digital assistant (PDA), or pager for example, such as that including the functionality described with reference to figure 3, a captured image can be displayed using a display of the device.  The nature of such devices implies that such a display is necessarily small with respect to the dimensions of the device in order to enable the conservation of power of the device, and space on the device.
[74] Accordingly, when an image is displayed using the device some image information can be lost, or may not be directly viewable due to the nature of the possibly small, low resolution, device display.  According to a preferred embodiment, such a displayed image is an image captured by the device itself, or is an image received by the device, such as an image captured by other means and uploaded to the device, for example.
[75] In a preferred embodiment, a zoomed-in (with respect to an image) window is translated across an image, the window following a salient path generated in association with the grouping vector field.  Therefore, a portion of an image is displayed instead of the entire image, and the displayed portions, as defined by the size of the translation window and the salient path, exhibit a structure such that notionally related components of an image are viewed substantially together.
[76] Figure 7 of the accompanying drawings is a diagrammatic representation of a salient path 701 across an image 700 generated in association with the grouping vector field for the image.
[77] The path 701 is substantially aligned with a subset of the vectors at salient portions of the image, one of which is indicated at 703.  A preferred direction of the path is indicated by the arrow of the path 701.  The preferred direction substantially follows the direction of the vectors of the grouping vector field of the image and generally passes through the saliency maxima corresponding to the salient portions.  
[78] Constraints on the generation of the path 701 can be imposed, such as requiring that it is a smooth curve.  This may necessitate that the path just 'misses' a saliency maxima in some instances, thereby providing a smooth curve which is more suited to a salient path for use in a viewing device where 'jerks' in the salient path would be detrimental to the viewing of the selected image locations.  
[79] Other constraints/criteria can also be imposed when generating the path.  For example, the path can be constrained to be the curve of minimum length which passes through the desired saliency maxima as defined by the grouping vector field, but which is smooth and therefore has continuous derivatives up to the order required.  It will be appreciated by those skilled in the art that other constraints/criteria can be applied when generating a salient path.  Also, it will be appreciated that alternative salient paths to that shown in figure 7 are possible.  Path 701 is depicted merely as an example of a salient path across the image 700 and it is not intended to be limiting.
[80] A grouping vector field for an image will generally preserve a number of dominant salient positions thereby creating a field from which numerous salient paths can be generated.
[81] Each possible salient path across an image with an associated grouping vector field can be selected for display based on a ranking of paths according to a number of criteria.  For example, each possible path can be ranked according to a time taken to traverse the salient path with respect to other paths for the image, with either the path with the longest or shortest time being ranked highly, and other paths being ranked accordingly thereafter.
[82] Alternatively, a possible set of salient paths can be ranked according to the overall saliency of a path, where the overall saliency could provide a measure of saliency with respect to the density of salient locations which are traversed by the path.  For example, two salient paths can be generated for an image using the grouping vector field for that image, however, one path may encounter more salient locations than the other.  In this respect, the paths can be ranked according to the number of salient locations occurring along the particular salient path.  Other alternatives are possible.
[83] According to a preferred embodiment, a ranking can be adjusted according to received preferences.  For example, if received preference relates to a path of shortest length, the paths may be ranked accordingly, with the path of shortest length being ranked highest and all other paths ranked accordingly.  Other alternatives are possible.
[84] It will be appreciated that various other ways of ordering a set of possible paths can be employed, and that the above are not intended to be limiting.
[85] Figure 8 of the accompanying drawings is a flow chart representing a procedure for generating a salient path in an image capture device such as those described above.
[86] At 801, image data relating to an object or scene is received by a device.  The data can relate to an image of an object or scene captured by the device itself in which case the data is preferably 'received' in a processor of the device, or captured by another device, in which case the data is received by the device using a communications medium such as a radio frequency telecommunications network, for example.  Other alternatives are possible as are customary in the art such as receiving data over a Bluetooth link established between devices, receiving data via the internet or using an infra-red link, for example.
[87] At 803, the received image data is then processed in the device in order to generate a reinforced saliency map relating to the image as described above.
[88] At 805, a salient path is generated in the device using the map of 803.  As described above with reference to figure 7, the salient path is substantially aligned with a subset of the vectors at salient locations of the image, with the preferred direction of the path following that of these vectors.  Each vector comprises data relating to a disposition and direction of a salient portion of the image.
[89] At 807, parts of an image along the path of 805 are displayed using a display of the device.  Preferably, and as described above in more detail, a zoomed-in window is translated across the image along the path, such that only salient locations of an image are viewed.
[90] Although the above implementation has been described with reference to processing image data in device, it will be appreciated that any processing of image data can be performed remotely from the device.  
[91] For example, data relating to a captured image can be uploaded to a remote (from the capture device) processing device such as a server, for example, which is operable to process the data in order to generate a reinforced saliency map as described above.  Such uploading can be performed in any conventional manner using a wired or wireless communications link.  The server can be operable to generate a salient path across an image associated with the data in order to provide salient portions of an image suitable for viewing on low-resolution and/or small display.  The data relating to the salient path and the relevant image portions can be sent to a device for viewing using a number of communications methods as described above.  
[92] Further alternatively, the remote processing device can be operable to generate the reinforced saliency map from image data, which data is then received by a device in order that it can use the map in order to generate a salient path across the image in question.  Variations are possible, with the remote processing device and the mobile device operable to perform various tasks in association with one another in order to generate a salient path for use on the mobile device.
[93] Figure 9 of the accompanying drawings is a diagrammatic representation of an image 900 showing an overlaid salient path 901 and the corresponding portion (shown enclosed in white lines) of the image 903 displayed on a display of a device (not shown).  The portion 903 shown corresponds to the area of the image 900 displayed as a result of a path followed by a zoomed-in window of a specific size.  It will be appreciated that different devices will have different display sizes and different processing capabilities, and consequently the size of the zoomed-in window can be adjusted accordingly.  The portions of figure 9 are not intended to be limiting and are only shown in the manner in which they are for the sake of clarity.  A dimension of a zoomed-in window corresponds to the width x shown on the figure.  The lines 905,907 therefore represent the path followed by a side of a zoomed-in window of height x which follows the path 901.
[94] In this manner, salient locations of the image 900 as determined using the method as described above are viewed by a zoomed-in window which is translated along the generated salient path 901 for the image 900.
[95] In a preferred embodiment, a user of a mobile device is able to input the time available for viewing the salient locations of an image.  The speed at which a zoomed-in window is therefore translated over the salient path 901 is adjusted so that the entire path is traversed in the given time.  For a display of a given refresh rate, this will result in different areas of the portion 903 being displayed at different times.  For example, if a relatively long time for viewing is selected, then the path 901 will be traversed slowly and more areas of the portion 903 will be displayed.  If a shorter time is specified, the path 901 is traversed more quickly, and therefore less areas of the image portion 903 will be displayed in the time available.  A minimum (and/or maximum) viewing time can be preset in a memory of the device (not shown) in order to avoid the case where the path is traversed too quickly.
[96] It will be further appreciated that the present method is applicable in situations in which a dynamic translational window can be used, such that the zoom factor of the window varies along the length of the salient path in response to different areas of saliency, for example.
[97] The present method is also useful when applied to multiple related images such as those relating to a panoramic image, or a sequence of images making up a video.
[98] For example, if a panoramic image is to be generated from a plurality of separately captured images, such that each image relates to the scene or object from which the panorama is desired, the present method is able to generate a salient path for each image independently, or following the generation of the panoramic image.
[99] In general, the panoramic image will be generated using known techniques such as stitching, for example.  Once a panorama has been generated, a salient path can therefore be generated for the panoramic image proper.
[100] Alternatively, if a salient path is generated for each individual image from which the panorama is to be generated, it may be desirable to align the beginnings and ends of the salient paths for the images.  In this respect, the images need not be stitched, but a virtual panorama tour can be implemented using a suitable display with the appropriate processing.
[101] More specifically, and with reference to figure 10 of the accompanying drawings, images 1001,1003,1005 and 1007 are images from which a panorama of an object or scene may be generated.  If a virtual panorama tour is be implemented using the images, it is desirable for the end of the salient path of 1001 to correspond with the beginning of the salient path for 1003, the end of the salient path for 1003 to correspond with the beginning of the salient path for 1005 and so forth.
[102] Suitably corresponding paths are shown in figure 10.  In this manner, a salient path for each image can be followed and portions of the corresponding image displayed on a suitable display.  When the end of a salient path for one image is reached, the display begins to display portions of the next image following the salient path from this next image thereby giving the illusion that a panorama of the object or scene was captured.  The salient paths, as followed, have the effect of a continuous salient path across the panorama which would be generated by joining the images.
[103] The images of figure 10 can be stitched as explained above, in which case the matched salient paths generated for each image can be used, or a new salient path for the entire stitched panorama can be generated.  Any salient path can be adjusted to take account of any overlapping or translation of images as a result of obtaining a panorama.
[104] More or less images than that shown in figure 10 may be used, and the nature of the images and the generated salient paths thereon is not intended to be limiting. 
[105] In a preferred embodiment, two paths can be said to substantially correspond if a path which would result from them being joined is substantially continuous, or if, when two images are joined in order to form a portion of a panorama, the distance between the ends of the respective salient paths is less than a certain 'mismatch threshold', for example.  Such a threshold can be of the order of millimeters, for example, or can be determined on a case by case basis taking into account the granularity of image detail in a panorama or its constituent images.  A combination of the above may also be appropriate in certain circumstances.
[106] In the case of video, the present method may be applied to consecutive image frames of the video.  In this respect, a generated salient path will be a temporal path, as opposed to the above described implementations which describe spatial salient paths.  More specifically, a salient path will be generated across a plurality of image frames, each of which can be varying with respect to time.  From the reinforced saliency map for an image of a video, a salient location is selected, either the most salient location of the image in question, or a location selected using input from a user, which can be based on ranked locations in line with that described above.  
[107] Locations are selected for other images from which the video is comprised, and a salient path linking these locations is then generated.  A zoomed-in window can therefore be translated 'through' the images comprising the video such that only a salient portion of the video is displayed.
[108] It is not necessary for each consecutive image to be processed in this manner.  In certain circumstances, it will be appropriate or desirable only to process, for example, every 6th image.  The salient path can still extend through all images of the video, but the points defining its path through the images will therefore only occur every 6th image in this example.
[109] Figure 11 is a diagrammatic representation of a number of images from which a video is comprised.  There are five such images 1101, 1103, 1105, 1107 and 1109.  It will be appreciated that many more of such images will be present in a video.  Only five images are depicted for the sake of clarity.
[110] In the example of figure 11, each image 1101, 1103, 1105, 1107 and 1109 includes a point thereon 1111, 1113, 1115, 1117, 1119 which has been selected using the saliency field for that image.  Each point may be the most salient point in that particular image, or each point may be the most appropriate point in each image which defines a continuous salient path through the images 1101, 1103, 1105, 1107 and 1109.  In either case, certain constraints may be imposed on a path generated for a video such as requiring that it is a smooth curve.  This may necessitate that the path just 'misses' a saliency maxima in some instances, thereby providing a smooth curve which is more suited to a salient path for use in a viewing device where 'jerks' in the salient path would be detrimental to the viewing of the selected image locations.  
[111] Other constraints/criteria can also be imposed when generating the path.  For example, the path can be constrained to be the curve of minimum length which passes through the desired image points 1111, 1113, 1115, 1117, 1119, but which is smooth and therefore has continuous derivatives up to the order required.  It will be appreciated to those skilled in the art that other constraints/criteria can be applied when generating a salient path.  
[112] Figure 12 is a flowchart corresponding to an aspect of the present method.
[113] At 1201 a saliency map for image (not shown) is generated.  At 1203 a relationship of salient portions of the image is determined using the saliency map from which a saliency field is generated at 1205.  At 1207 a salient path for the image is constructed using the saliency field.
CLAIMS
1.   A method of processing image data relating to at least one image comprising:
using data relating to disposition and saliency of selected salient portions of the or each image; and
generating at least one respective saliency vector for respective said portions.
2.   A method as claimed in claim 1, further comprising:
weighting said data relating to disposition and saliency of said selected salient portions using at least one respective orientation-selective weighting function.
3.   A method as claimed in claim 2, wherein the or each orientation-selective weighting function is a two-dimensional lemniscate Gaussian kernel.
4.   A method as claimed in claim 1, further comprising:
constructing at least one salient path between said selected salient portions using at least one said saliency vector.
5.   A method as claimed in claim 1, further comprising:
displaying parts of the or each image lying on the or each salient path.
6.   A method as claimed in claim 1, further comprising:
using said data relating to disposition and saliency of said selected salient portions of the or each image, generating the data relating to local saliency maxima of the or each image.
7.   A method as claimed in claim 6, wherein the local saliency maxima have a saliency above a predetermined threshold value.  
8.   A method of processing an image comprising:
generating a saliency map for the image;
determining a relationship of salient portions of the image using the saliency map in order to generate a saliency field; and
constructing a salient path for the image using the saliency field.
9.   A method as claimed in claim 8, further comprising:
determining local saliency maxima of the image using the saliency map, wherein determining a relationship of salient portions of the image comprises determining the relationship of salient portions of the image using said determined local saliency maxima.
10.  A method as claimed in claim 8, wherein the relationship of the salient portions of the image is determined using a grouping kernel.
11.  A method as claimed in claim 10, wherein the determination of the relationship of salient portions further comprises:
generating a set of orientation selective grouping kernels from the grouping kernel;
using the saliency map and respective orientation selective grouping kernels, generating a set saliency fields comprising the relationship of the salient portions of the image in the respective orientations; and
generating a composite saliency field from the saliency fields.
12.  A method as claimed in claim 11, wherein the saliency map is a map of the local saliency maxima of the image.
13.  A method as claimed in claim 8, further comprising:
defining a viewing window for the or each image; and
moving the viewing window across the or each image along the salient path.
14.  A method as claimed in claim 13, wherein the image is two-dimensional, and an area of the viewing window is less than the area of the image.
15.  A method as claimed in claim 8, wherein the grouping kernel is a lemniscate Gaussian kernel.
16.  A method as claimed in claim 8, further comprising:
generating at least one secondary salient path for the image using the saliency field, wherein at least part of the or each secondary salient path differs from the first-mentioned salient path.
17.  A method as claimed in claim 16, further comprising:
receiving information about a preferred salient path; and 
using information relating to the preferred salient path to select a path from the first-mentioned salient path or the or each secondary salient path.
18.   A method as claimed in claim 17, wherein said information about the  preferred salient path includes at least one of:
path length;
overall saliency of the path;
curvature of the path;
proximity of the path to the edges of the image;
available time to view salient portions of the image; and/or
available display size.
19.  A method as claimed in claim 8, further comprising:
generating the second salient path for a second image; wherein
the end point of the salient path is adjusted if necessary in order to substantially correspond to a portion of the second salient path.
20.  A method as claimed in claim 19, wherein the second image is related to the first-mentioned image.
21.  A method of generating a salient path across a plurality of images, the method comprising:
for the respective images, generating respective saliency maps;
determining the relationship of salient portions of the images using the saliency maps in order to generate respective saliency fields for respective said images; and
generating at least one salient path for the respective images using the respective saliency fields; wherein
the salient paths are constrained at their respective end portions such that at least part of the salient path in one of said images substantially corresponds to part of the salient path in another of said images.
22.  A method as claimed in claim 21, wherein each corresponding part of the salient paths is a beginning or end part of one of the paths.
23.  A method as claimed in claim 21, wherein two paths substantially correspond to one another if at least one of the following criteria are satisfied:
the paths are continuous when joined;
a mismatch between the paths is below a mismatch threshold.  
24.  A device adapted to process at least one image, comprising a processing system that uses data relating to disposition and saliency of selected salient portions of the image, and that generates at least one respective saliency vector for the selected salient portions.
25.  A device as claimed in claim 24, operable to display at least a portion of the image using a display of the device.
26.  A device as claimed in claim 25, further comprising a processor operable to receive data relating to a length of time available to view the image and determine the portion of the image to display on the basis of the received data.
27.  A device operable to:
generate a saliency map for an image;
determine a relationship of salient portions of the image using the saliency map in order to generate a saliency field; and
construct a salient path for the image using the saliency field.
28.  A device as claimed in claim 27, the device further operable to display at least a part of the image along the salient path.
29.  A device as claimed in claim 27, further comprising a processor operable to receive data relating to a length of time available to view the image.
30.  A device as claimed in claim 29, wherein the processor is operable to determine a portion of the image to display on the basis of the received data.
31.  A device as claimed in claim 27, further comprising at least one user operated interface, the device operable to process the image on the basis of data received from the or each user operated selection device.
32.  A device as claimed in claim 31, wherein the at least one user operated interface is a multi-directional button, and the data relates to a direction of actuation of the button.
33.  A device as claimed in claim 31, wherein the user operated interface is adapted to control a menu system of the device, the menu system operable to control a function of the processor of the device, the menu system including menu items relating to parameters of a generated salient path.
34.  A device as claimed in claim 33, wherein the device is operable to facilitate display of at least a portion of the image on the basis of the menu item selected using the interface.
35.  A computer program product comprising a computer readable medium having thereon computer program instructions, such that, when said program is loaded, cause a computer execute procedure to process an image using data relating to disposition and saliency of selected salient portions of the or each image, and to further process the image generating at least one respective saliency vector for respective said portions.
36.  A program stored on computer-readable medium, the program comprising instructions configured to cause a computer to process an image using data relating to disposition and saliency of selected salient portions of the or each image, and to further process the image generating at least one respective saliency vector for respective said portions.
37.  A logic circuit configured to operate using data relating to disposition and saliency of selected salient portions of the or each image, and operate generating at least one respective saliency vector for respective said portions.
ABSTRACT
[114] A method of processing image data relating to at least one image comprising using data relating to disposition and saliency of selected salient portions of the or each image, generating at least one respective saliency vector for respective said portions, and a device operable in accordance with the method.
2006012154.tif 000067
2006012154.tif 000068
2006012154.tif 000069
2006012154.tif 000070
2006012154.tif 000071
2006012154.tif 000072
2006012154.tif 000073
2006012154.tif 000074
2006012154.tif 000075
2006012154.tif 000076
2006012154.tif 000077
2006012154.tif 000078