(57)【要約】      （修正有）【課題】トリミング枠をユーザが求めているように高精度で自動設定できる装置を得る。【解決手段】オリジナル画像データが示す画像から注目領域を抽出する注目領域抽出手段11と、抽出された注目領域の各々の特徴量を検出する特徴量検出手段12と、各注目領域について検出された特徴量に基づいて、その注目領域を枠内に配置するか枠外に配置するかを決定した上で、前記画像内にトリミング枠を設定するトリミング枠設定手段13と、オリジナル画像データから、設定されたトリミング枠内の画像を示す画像データを抽出する画像データ抽出手段14とを備えてなる画像トリミング装置において、設定されたトリミング枠と前記注目領域の各々との位置関係を判別し、ある特徴量を持つ注目領域がトリミング枠内に配置されていれば、以後それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を上げる学習を行う手段15,16,17を設ける。【選択図】図１
2009268085.tif 000002
【特許請求の範囲】
【請求項１】
オリジナル画像データが示す画像から注目領域を抽出する注目領域抽出手段と、
抽出された注目領域の各々の特徴量を検出する特徴量検出手段と、
各注目領域について検出された特徴量に基づいて、その注目領域を枠内に配置するか枠外に配置するかを決定した上で、前記画像内にトリミング枠を設定するトリミング枠設定手段と、
前記オリジナル画像データから、前記設定されたトリミング枠内の画像を示す画像データを抽出する画像データ抽出手段とを備えてなる画像トリミング装置において、
設定されたトリミング枠と前記注目領域の各々との位置関係を判別し、ある特徴量を持つ注目領域がトリミング枠内に配置されていれば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を上げる第１の学習および／または、ある特徴量を持つ注目領域がトリミング枠外に配置されていれば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を下げる第２の学習を行う学習手段が設けられたことを特徴とする画像トリミング装置。
【請求項２】
前記学習手段が、
前記トリミング枠が設定された後、そのトリミング枠内にある前記注目領域についてはその特徴量のうちの少なくとも一つを、トリミング枠内に配置される確率を上げる方向に修正する第１の補正および／または、トリミング枠外にある前記注目領域についてはその特徴量のうちの少なくとも一つを、トリミング枠内に配置される確率を下げる方向に修正する第２の補正を行う補正手段と、
この補正がなされた後の前記特徴量を記憶する記憶手段と、
次に前記特徴量検出手段による特徴量の検出が行われるとき、その特徴量と類似している特徴量を前記記憶手段から検索し、その検索で得られた特徴量を前記トリミング枠設定手段に入力する制御手段とから構成されていることを特徴とする請求項１記載の画像トリミング装置。
【請求項３】
前記特徴量検出手段が前記特徴量の一つとして、注目領域のトリミング枠内位置を検出するように構成され、
前記トリミング枠設定手段が、前記特徴量に基づくトリミング枠設定を行う前に、前記トリミング枠内位置を規定するための初期トリミング枠を設定するように構成されていることを特徴とする請求項１または２記載の画像トリミング装置。
【請求項４】
前記トリミング枠設定手段が、予め定められた一定のトリミング枠を前記初期トリミング枠として設定するように構成されていることを特徴とする請求項３記載の画像トリミング装置。
【請求項５】
前記トリミング枠設定手段が、外部から入力された枠指定情報に基づいて前記初期トリミング枠を設定するように構成されていることを特徴とする請求項３記載の画像トリミング装置。
【請求項６】
コンピュータを、
オリジナル画像データが示す画像から注目領域を抽出する注目領域抽出手段と、
抽出された注目領域の各々の特徴量を検出する特徴量検出手段と、
各注目領域について検出された特徴量に基づいて、その注目領域を枠内に配置するか枠外に配置するかを決定した上で、前記画像内にトリミング枠を設定するトリミング枠設定手段と、
前記オリジナル画像データから、前記設定されたトリミング枠内の画像を示す画像データを抽出する画像データ抽出手段と、
設定されたトリミング枠と前記注目領域の各々との位置関係を判別し、ある特徴量を持つ注目領域がトリミング枠内に配置されていれば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を上げる第１の学習および／または、ある特徴量を持つ注目領域がトリミング枠外に配置されていれば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を下げる第２の学習を行う学習手段として機能させるプログラム。
【請求項７】
前記学習手段を、
前記トリミング枠が設定された後、そのトリミング枠内にある前記注目領域についてはその特徴量のうちの少なくとも一つを、トリミング枠内に配置される確率を上げる方向に修正する第１の補正および／または、トリミング枠外にある前記注目領域についてはその特徴量のうちの少なくとも一つを、トリミング枠内に配置される確率を下げる方向に修正する第２の補正を行う補正手段と、
この補正がなされた後の前記特徴量を記憶する記憶手段と、
次に前記特徴量検出手段による特徴量の検出が行われるとき、その特徴量と類似している特徴量を前記記憶手段から検索し、その検索で得られた特徴量を前記トリミング枠設定手段に入力する制御手段とからなるものとしてコンピュータを機能させることを特徴とする請求項６記載のプログラム。
【請求項８】
前記特徴量検出手段が、前記特徴量の一つとして、注目領域のトリミング枠内位置を検出するものであり、
前記トリミング枠設定手段が、前記特徴量に基づくトリミング枠設定を行う前に、前記トリミング枠内位置を規定するための初期トリミング枠を設定するものであることを特徴とする請求項６または７記載のプログラム。
【請求項９】
前記トリミング枠設定手段が、予め定められた一定のトリミング枠を前記初期トリミング枠として設定するものであることを特徴とする請求項８記載のプログラム。
【請求項１０】
前記トリミング枠設定手段が、インターフェイスを介して入力された枠指定情報に基づいて前記初期トリミング枠を設定するものであることを特徴とする請求項８記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある画像を示す画像データから、その画像内の一部領域のみを示す画像データを抽出する画像トリミング装置に関するものである。
【０００２】
また本発明は、コンピュータを、そのような画像トリミング装置として機能させるためのプログラムに関するものである。
【背景技術】
【０００３】
従来、ある画像を示す画像データから、その画像内の一部領域のみを示す画像データを抽出することが広く行われている。このような画像トリミングは、例えばデジタル画像データが示す１枚の写真を、無駄な部分を除いた構図の写真に加工する等のために適用されている。
【０００４】
具体的にこの画像トリミングは、多くの場合コンピュータシステムを利用して実行されており、オリジナル画像データに基づいて画像表示手段に表示された画像上でオペレータがトリミング枠を手動設定すると、その枠内の画像を示す画像データがオリジナル画像データから抽出されるようになっている。
【０００５】
また最近では、例えば特許文献１に記載があるように、オペレータによるトリミング枠の手動設定を省いて、ユーザが求めていると考えられるトリミング枠を自動設定することも提案されている。このようなトリミング枠の自動設定は、基本的に、
オリジナル画像データが示す画像から注目領域を抽出する注目領域抽出手段と、
抽出された注目領域の各々の特徴量を検出する特徴量検出手段と、
各注目領域について検出された特徴量に基づいて、その注目領域を枠内に配置するか枠外に配置するかを決定した上で、前記画像内にトリミング枠を設定するトリミング枠設定手段と、
前記オリジナル画像データから、前記設定されたトリミング枠内の画像を示す画像データを抽出する画像データ抽出手段とを備えてなる画像トリミング装置によって実行することができる。
【０００６】
なお具体的にこのような画像トリミング装置は、例えばコンピュータシステムを所定のプログラムに従って上記各手段として機能させることにより実現可能である。
【０００７】
また、上述のように画像データが示す画像から注目領域を抽出するには、例えば非特許文献１に記載がある技術を適用することができる。この技術については後に詳しく説明する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2007-258870号公報
【非特許文献】
【０００９】
【非特許文献１】IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 20, No. 11, NOVEMBER 1998  “A Model of Saliency-Based Visual Action for Rapid Scene Analysis”, Laurent Itti, Christof Koch and Emst Neibur
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、上述のようにトリミング枠を自動設定する従来技術においては、トリミング枠をユーザが求めているように設定する精度が低いという問題が認められている。すなわち、ユーザがトリミング後の画像に残しておきたいと考えている部分（例えば人物写真における人物部分）を含まないようにトリミング枠が設定されたり、反対に、ユーザがトリミング後の画像では不要と考えている部分（例えば人物写真における辺縁の物体など）が大きく残るようにトリミング枠が設定されたりすることがある。
【００１１】
本発明は上記の事情に鑑みてなされたものであり、トリミング枠をユーザが求めているように高精度で自動設定できる画像トリミング装置を提供することを目的とする。
【００１２】
また本発明は、コンピュータを、上述のような画像トリミング装置として機能させることができるプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明による画像トリミング装置は、前述したようにトリミング枠を自動設定する機能を備えた画像トリミング装置、すなわち、
オリジナル画像データが示す画像から注目領域を抽出する注目領域抽出手段と、
抽出された注目領域の各々の特徴量を検出する特徴量検出手段と、
各注目領域について検出された特徴量に基づいて、その注目領域を枠内に配置するか枠外に配置するかを決定した上で、前記画像内にトリミング枠を設定するトリミング枠設定手段と、
前記オリジナル画像データから、前記設定されたトリミング枠内の画像を示す画像データを抽出する画像データ抽出手段とを備えてなる画像トリミング装置において、
設定されたトリミング枠と前記注目領域の各々との位置関係を判別し、ある特徴量を持つ注目領域がトリミング枠内に配置されていれば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を上げる第１の学習および／または、ある特徴量を持つ注目領域がトリミング枠外に配置されていれば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を下げる第２の学習を行う学習手段が設けられたことを特徴とするものである。
【００１４】
ここで、上に説明した通り第１の学習と第２の学習は、両方行われてもよいし、あるいは片方だけ行われてもよい。
【００１５】
なお上述の学習手段は、より具体的には、
前記トリミング枠が設定された後、そのトリミング枠内にある前記注目領域についてはその特徴量のうちの少なくとも一つを、トリミング枠内に配置される確率を上げる方向に修正する第１の補正および／または、トリミング枠外にある前記注目領域についてはその特徴量のうちの少なくとも一つを、トリミング枠内に配置される確率を下げる方向に修正する第２の補正を行う補正手段と、
この補正がなされた後の前記特徴量を記憶する記憶手段と、
次に前記特徴量検出手段による特徴量の検出が行われるとき、その特徴量と類似している特徴量を前記記憶手段から検索し、その検索で得られた特徴量を前記トリミング枠設定手段に入力する制御手段とから構成することができる。
【００１６】
ここで、上に説明した通り第１の補正と第２の補正は、両方行われてもよいし、あるいは片方だけ行われてもよい。
【００１７】
また本発明の画像トリミング装置においては、前記特徴量検出手段が前記特徴量の一つとして、注目領域のトリミング枠内位置を検出するように構成され、
前記トリミング枠設定手段が、前記特徴量に基づくトリミング枠設定を行う前に、前記トリミング枠内位置を規定するための初期トリミング枠を設定するように構成されていることが望ましい。
【００１８】
そして、トリミング枠設定手段が上記初期トリミング枠を設定するものである場合、該トリミング枠設定手段は例えば、予め定められた一定のトリミング枠を初期トリミング枠として設定するように構成される。
【００１９】
あるいは、トリミング枠設定手段が上記初期トリミング枠を設定するものである場合、該トリミング枠設定手段は、外部から入力された枠指定情報に基づいて初期トリミング枠を設定するように構成されてもよい。
【００２０】
一方、本発明によるプログラムは、コンピュータを、
オリジナル画像データが示す画像から注目領域を抽出する注目領域抽出手段と、
抽出された注目領域の各々の特徴量を検出する特徴量検出手段と、
各注目領域について検出された特徴量に基づいて、その注目領域を枠内に配置するか枠外に配置するかを決定した上で、前記画像内にトリミング枠を設定するトリミング枠設定手段と、
前記オリジナル画像データから、前記設定されたトリミング枠内の画像を示す画像データを抽出する画像データ抽出手段と、
設定されたトリミング枠と前記注目領域の各々との位置関係を判別し、ある特徴量を持つ注目領域がトリミング枠内に配置されていれば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を上げる第１の学習および／または、ある特徴量を持つ注目領域がトリミング枠外に配置されていれば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を下げる第２の学習を行う学習手段として機能させるものである。
【００２１】
なおこのプログラムはより好ましくは、上記学習手段を、
前記トリミング枠が設定された後、そのトリミング枠内にある前記注目領域についてはその特徴量のうちの少なくとも一つを、トリミング枠内に配置される確率を上げる方向に修正する第１の補正および／または、トリミング枠外にある前記注目領域についてはその特徴量のうちの少なくとも一つを、トリミング枠内に配置される確率を下げる方向に修正する第２の補正を行う補正手段と、
この補正がなされた後の前記特徴量を記憶する記憶手段と、
次に前記特徴量検出手段による特徴量の検出が行われるとき、その特徴量と類似している特徴量を前記記憶手段から検索し、その検索で得られた特徴量を前記トリミング枠設定手段に入力する制御手段とからなるものとしてコンピュータを機能させるように構成される。
【００２２】
この本発明によるプログラムにおいて、
前記特徴量検出手段は、前記特徴量の一つとして、注目領域のトリミング枠内位置を検出するものであり、
前記トリミング枠設定手段は、前記特徴量に基づくトリミング枠設定を行う前に、前記トリミング枠内位置を規定するための初期トリミング枠を設定するものであることが望ましい。
【００２３】
そして、トリミング枠設定手段が上記初期トリミング枠を設定するものである場合、該トリミング枠設定手段は例えば、予め定められた一定のトリミング枠を初期トリミング枠として設定するように構成される。
【００２４】
あるいは、トリミング枠設定手段が上記初期トリミング枠を設定するものである場合、該トリミング枠設定手段は、外部から入力された枠指定情報に基づいて初期トリミング枠を設定するように構成されてもよい。
【発明の効果】
【００２５】
本発明の画像トリミング装置においては、上述した通り、ある特徴量を持つ注目領域がトリミング枠内に配置されたならば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を上げる第１の学習および／または、ある特徴量を持つ注目領域がトリミング枠外に配置されたならば、以後、それと類似する特徴量を持つ注目領域についてはトリミング枠内に配置される確率を下げる第２の学習を行う学習手段が設けられているので、トリミング枠の自動設定が行われる度の学習効果により、各画像に対して好ましいトリミング枠が設定される確率が高くなる。またこのときトリミング枠が設定される対象の画像群に対して繰り返し学習を行うことで学習の効果は高まり、個々の画像に設定されるトリミング枠もより好ましくなる。
【００２６】
さらに、ユーザが好ましいと考える構図の画像を事前に学習させておく、または自動設定の結果についてユーザの意図を反映するような構成にしておくことで、ユーザがトリミング後の画像に残しておきたいと考えている部分が残るように、あるいはユーザが不要と考えている部分が削除されるようにトリミング枠が設定される確率が高くなる。それにより本発明の画像トリミング装置によれば、トリミング枠をユーザが求めているように高精度で自動設定できるようになる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態による画像トリミング装置を示す概略構成図
【図２】上記画像トリミング装置における処理の流れを示すフローチャート
【図３Ａ】オリジナル画像に設定されるトリミング枠の例を示す概略図
【図３Ｂ】オリジナル画像に設定されるトリミング枠の別の例を示す概略図
【図４】注目領域の抽出方法を説明する図
【図５Ａ】オリジナル画像の一例を示す図
【図５Ｂ】図５Ａのオリジナル画像に対応する注目度マップの例を示す図
【図６Ａ】オリジナル画像の別の例を示す図
【図６Ｂ】図６Ａのオリジナル画像に対応する注目度マップの例を示す図
【符号の説明】
【００２８】
1    画像トリミング装置
10    オリジナル画像記憶手段
11    注目領域抽出手段
12    特徴量検出手段
13    トリミング枠設定手段
14    画像データ抽出手段
15    補正手段
16    特徴量記憶手段
17    制御手段
18    表示手段
ＲＯＩ１、ＲＯＩ２、ＲＯＩ３  注目領域
Ｐ    オリジナル画像
Ｔ    トリミング枠
【発明を実施するための形態】
【００２９】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００３０】
図１は、本発明の一実施形態による画像トリミング装置１の概略構成を示すものである。この画像トリミング装置１は、図示外の補助記憶装置に読み込まれたアプリケーションプログラムが、ワークステーション等のコンピュータ上で実行されることにより実現される。画像トリミングの処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体に格納して配布されて、その記録媒体からコンピュータにインストールされてもよいし、あるいはインターネット等のネットワーク経由で接続されたサーバからダウンロードされた後にコンピュータにインストールされてもよい。また、本実施形態例では写真店での使用が想定されているが、このプログラムはユーザのＰＣ（パーソナル・コンピュータ）等において用いられてもよい。
【００３１】
なお、コンピュータをこの画像トリミング装置1として機能させるための操作は、通常のキーボードやマウス等のＩ／Ｏインターフェイスを用いてなされるが、それらについては図示を省略し、また特に必要の無い限り説明も省略する。
【００３２】
この画像トリミング装置1は、オリジナル画像Ｐをデジタル画像データ（オリジナル画像データ）の形で記憶するオリジナル画像記憶手段10と、オリジナル画像Ｐの色、明度、および、このオリジナル画像Ｐに現れた直線成分の方向に基づいて、オリジナル画像Ｐの中から注目領域を抽出する注目領域抽出手段11と、この注目領域抽出手段11が抽出した注目領域の各々の特徴量を検出する特徴量検出手段12と、この特徴量検出手段12が検出した各注目領域の特徴量に基づいて、その注目領域を枠内に配置するか枠外に配置するかを決定した上で、オリジナル画像Ｐ内にトリミング枠を設定するトリミング枠設定手段13と、オリジナル画像データＰから、前記設定されたトリミング枠内の画像を示す画像データを抽出する画像データ抽出手段14とを備えている。
【００３３】
上記オリジナル画像記憶手段10としては、ハードディスクドライブなどの大容量記憶装置が好適に用いられる。このオリジナル画像記憶手段10には、デジタルスチルカメラやデジタルビデオカメラによって撮影された画像、あるいは、画像作成用ソフトなど用いて作成したイラスト画像などが記憶される。このオリジナル画像Ｐは通常は静止画像であり、以下、それを前提として説明する。
【００３４】
またこの画像トリミング装置1は、上記注目領域抽出手段11、特徴量検出手段12およびトリミング枠設定手段13に接続された補正手段15と、この補正手段15に接続された特徴量記憶手段16と、この特徴量記憶手段16並びに前述の特徴量検出手段12およびトリミング枠設定手段13に接続された制御手段17と、この制御手段17に接続された液晶表示装置やＣＲＴ表示装置等の表示手段18とを備えている。
【００３５】
以下、上記構成を有する画像トリミング装置1の作用について、本装置における処理の流れを示す図２も参照して説明する。画像の自動トリミングに際しては、まず注目領域抽出手段11によってオリジナル画像記憶手段10からオリジナル画像Ｐを示す画像データが読み取られ、そこから、注目領域が自動抽出される（図２のステップ101：以下同様に示す）。この注目領域の例を図３Ａに概略的に示す。同図では、オリジナル画像Ｐの中に３つの注目領域ＲＯＩ１、ＲＯＩ２およびＲＯＩ３が存在している例を示している。これらの注目領域としては、例えば人物写真画像の中の人物や、あるいは風景写真画像中で明らかに周囲と異なるようなもの、例えば建物、動物等が挙げられる。なお、このような注目領域、およびその自動抽出については後に詳述する。
【００３６】
次に特徴量検出手段12において、抽出された全ての注目領域の特徴量が検出される（ステップ102）。この特徴量として本実施形態は、例えば〔色、テクスチャ、サイズ、トリミング枠内位置、注目度〕が利用される。また上記のトリミング枠内位置とは、図３Ａにそれぞれａ、ｂ、ｃで示す、領域中心からトリミング枠Ｔ上下辺までの距離、左右辺までの距離、枠中心までの距離等で定義されるものである。
【００３７】
なお上記のトリミング枠内位置は、システムが最初に使用されるときには実際の値は未知であるので、予め決定する必要がある。そのための一つの方法として、適当な初期トリミング枠Toを設定し、その中での位置をトリミング枠内位置とすることが考えられる。そのような初期トリミング枠Toとしては、全ての注目領域が枠内に配置されるように画像周縁に設定するもの、または画像の中心付近にある注目領域のみが枠内に配置されるように画像中心から上下左右に各々所定長さ離れたところに設定するものなど、注目領域との位置関係に応じたものを設定することができる。あるいは、注目度等のその他の特徴量が特定の閾値以上である注目領域だけが枠内に配置されるようになる初期トリミング枠Toを設定してもよい。さらに、装置オペレータの意図を反映したい場合には、前述したＩ／Ｏインターフェイス等を用いてオペレータが手動で枠指定情報を入力するようにし、その枠指定情報に基づいて初期トリミング枠Toを設定してもよい。
【００３８】
このようにして初期トリミング枠Toを設定した後に、取り敢えず、その枠Toにおいて定められるトリミング枠内位置を用い、以降の処理でトリミング枠Ｔが設定されてから実際のトリミング枠内位置が求められることになる。
【００３９】
また上記注目度は、各注目領域が注目される確率がどの程度有るかを示す指標であり、これは上記注目領域抽出手段11で注目領域が抽出される際に求められる。この注目度は例えば数値で表され、その値が大きいほど注目領域は注目度が高い、つまりトリミング枠Ｔ内に配置されるべき性質が大であるということになる。
【００４０】
次にトリミング枠設定手段13において、上述のようにして求められた注目領域ＲＯＩ１、ＲＯＩ２およびＲＯＩ３の特徴量に基づいて、例えば注目度が閾値より高いものは枠内に、低いものは枠外に配置する、もしくは、特定の色やテクスチャを持つものは枠内に配置するなどの条件に従って、各注目領域を枠内に配置するか枠外に配置するかを決定した上で、オリジナル画像Ｐ内にトリミング枠Ｔが設定される（ステップ103）。図３Ａおよび図３Ｂには、そのようにして設定されたトリミング枠Ｔの例を示しており、前者においては注目領域ＲＯＩ１とＲＯＩ２が枠内に、そして注目領域ＲＯＩ３が枠外に配置されるようにトリミング枠Ｔが設定され、後者においては、注目領域ＲＯＩ２が枠内に、そして注目領域ＲＯＩ１とＲＯＩ３が枠外に配置されるようにトリミング枠Ｔが設定されている。
【００４１】
なおこのトリミング枠Ｔの設定は、完全な自動処理とはしないで、一旦自動処理で求められたトリミング枠が制御手段17を介して表示手段18に表示され、それを確認した装置オペレータがＩ／Ｏインターフェイスにより適宜修正可能とし、枠が最適に設定されていることを確認してオペレータが決定の操作をしたならば、最終的に枠が設定されるように装置が構成されることが望ましい。このような構成とすることでユーザに、より精度の高いトリミング画像を提供できるようになる。なお、この時オペレータが修正した結果を学習に反映させて、残りの画像に対して再び上記のトリミング処理を行う事で学習の効率および作業の効率はより高まる。
【００４２】
次に画像データ抽出手段14において、オリジナル画像データから、設定されたトリミング枠Ｔ内の画像を示す画像データが抽出される（ステップ104）。こうして抽出された画像データＤｔを用いれば、トリミング枠Ｔ内の画像だけを、記録媒体の記録領域一杯に記録させたり、あるいは画像表示装置の表示領域一杯に表示させたりすることができる。
【００４３】
次に、トリミング枠Ｔを、ユーザが求めているように高精度で自動設定可能とする学習機能について説明する。トリミング枠設定手段13によるトリミング枠Ｔの設定が完了すると、次に補正手段15により、注目領域抽出手段11で抽出された注目領域全てが、トリミング枠Ｔ内にあるものと外に有るものとに分類される（ステップ105）。そして、トリミング枠Ｔ内にある注目領域については、それに関して既に求められている特徴量〔色、テクスチャ、サイズ、トリミング枠内位置、注目度〕のうち〔注目度〕を所定値だけ上げる補正が、他方、トリミング枠Ｔ外にある注目領域については注目度を所定値だけ下げる補正がなされる（ステップ106）。この補正がなされた後の各注目領域に関する特徴量〔色、テクスチャ、サイズ、トリミング枠内位置、注目度〕は、各注目領域と対応付けて特徴量記憶手段16に記憶される（ステップ107）。
【００４４】
そして、これ以降に別のオリジナル画像Ｐについてトリミングがなされるとき、その画像に関して特徴量検出手段12が検出した特徴量の一部が、上記特徴量記憶手段16に記憶されたものと置き換えられる。すなわち、このとき特徴量検出手段12が検出した特徴量（〔色、テクスチャ、サイズ、注目度〕が制御手段17に送られ、制御手段17はその送られて来た特徴量〔色、テクスチャ、サイズ、注目度〕と類似した特徴量〔色、テクスチャ、サイズ、注目度〕を持つ注目領域を特徴量記憶手段16から検索する（ステップ108）。
【００４５】
なお、特徴量記憶手段16に記憶されていた特徴量は、そのうちの注目度が前述の通りに補正されたものであるから、もし、送られて来た特徴量と検索で見つかった特徴量とを比較したとき、〔色、テクスチャ、サイズ〕が類似、もしくは等しいものであるとすると、残りの〔注目度〕はそれら２つの特徴量間で異なることになる。つまり、その注目領域が、トリミング枠Ｔ内に配置されるべきものであるならば、送られて来た特徴量よりも検索で見つかった特徴量における〔注目度〕の方がより大きく、反対にその注目領域が、トリミング枠Ｔの外に配置されるべきものであるならば、送られて来た特徴量よりも検索で見つかった特徴量における〔注目度〕の方がより小さくなっている。
【００４６】
次に上記検索で見つかった特徴量〔色、テクスチャ、サイズ、トリミング枠内位置、注目度〕は、特徴量検出手段12が検出した特徴量と等しくなるように、もしくはその特徴量に近づく方向に変更される。
【００４７】
このとき、学習の強度をより高めたい場合には、検索で見つかった特徴量は、特徴量検出手段12が検出した特徴量よりも、注目領域を枠内あるいは枠外に配置する上での影響がより強くなる特徴量に変更されてもよい。すなわち、例えば〔注目度〕の大きさが、注目領域を枠内に配置する上で大きな影響を持つ場合には、検索で見つかった〔注目度〕は特徴量検出手段12が検出した〔注目度〕よりも大きな値に変更されてもよい。
【００４８】
このようにして変更された特徴量は、トリミング枠設定手段13に送られる（ステップ109）。そしてトリミング枠設定手段13は、この変更された特徴量〔色、テクスチャ、サイズ、トリミング枠内位置、注目度〕に基づいて、前述のようにトリミング枠Ｔを設定する。
【００４９】
こうすることにより、過去のトリミング枠設定においてトリミング枠Ｔ内に配置された注目領域と類似した注目領域については、トリミング枠Ｔ内に配置される確率がより高くなるように第１の学習がなされ、逆に、過去のトリミング枠設定においてトリミング枠Ｔの外に配置された注目領域と類似した注目領域については、トリミング枠Ｔ内に配置される確率がより低くなるように第２の学習がなされる。そこで、ユーザがトリミング枠Ｔ内に残すべきと考える注目領域はより高確率でトリミング枠Ｔ内に配置し、また、ユーザがトリミング枠Ｔ内に残したくないと考える注目領域はより高確率でトリミング枠Ｔの外に配置するように画像トリミングがなされるようになる。そして上記確率は、基本的に、画像トリミングを繰り返す毎により高くなって行くので、同じ画像群に対して画像トリミングを複数回繰り返すことが望ましい。
【００５０】
ここで、学習効率を高めるための事前の学習について説明する。この場合、トリミング枠を設定したいオリジナル画像Pに対して、本処理を行う前に教師データとなる画像群Qを用意する。この画像群Qは写真店側に予め用意されていてもよいし、ユーザから好ましい画像を受け取ってそれらを画像群Qとしてもよいし、さらにはオペレータにいくつかの画像を提示して好ましいトリミングを行わせ、そのトリミング後のいくつかの画像を画像群Qとしてもよい。
【００５１】
なお、これらの事前の学習も完全に自動化したい場合には、ユーザが撮影する画像においては中心付近に、トリミング枠内に設定したい注目領域が写っている可能性が高いことから、これらの画像群の中心位置から一定の範囲をトリミングした画像を教師データとなる画像群Qとしてもよい
このようにして用意された画像群Qは画像として、あるいはユーザの好みから、好ましい構図になっている。次に、この画像群Qの画像各々に対して画像全体に毎回トリミング枠が設定されているとみなして前述のステップ１０１から１０９の処理を行う（１０３の処理で毎回画像全体が設定される）。
【００５２】
このようにして学習処理を行うことで、画像の中に入っている注目領域の特徴量は全て枠内に配置すべき注目領域であるとして特徴量記憶手段16に記憶される。こうして事前の学習を行った上でオリジナル画像Pに対して本処理を開始することで、より好ましいトリミングが行われるようになる。
【００５３】
なお、上述した第１および第２の学習は、どちらか一方のみ行うようにしても構わない。
【００５４】
ここで、前述した注目領域および注目度について詳しく説明する。オリジナル画像Ｐを目視で確認したときに注目される部分が注目領域である。例えば、オリジナル画像Ｐ上の一部で色が周囲の色と異なる部分、オリジナル画像Ｐ上の一部で周囲に比べて非常に明るい部分、平坦な画面上に現れた直線部分などが画像を見たとき注目される領域となる。そこで、オリジナル画像Ｐの色、明度、および、オリジナル画像Ｐに現れた直線成分の方向に基づいて、オリジナル画像Ｐ中の各部分の特徴がその部分の周囲に位置する部分の特徴と異なる度合いを求め、これらの異なる度合いが大きいところを注目領域として抽出することができる。
【００５５】
このように視覚的に注目される注目領域は、色、明度、画像中に現れた直線成分などの画像を構成する要素が周囲と異なる特徴を持っている。そこで、オリジナル画像Ｐの色（Color）、オリジナル画像Ｐの明度（Intensity）、オリジナル画像Ｐに現れた直線成分の方向（Orientation）を用いて、画像中の各部分の特徴が、その部分の周囲に位置する部分の特徴と異なる度合いを求め、異なる度合いが大きい部分が視覚的に注目される注目領域であると考えられる。具体的には、前述した非特許文献１に記載されている手法を用いて、注目領域を自動的に抽出することができる。
【００５６】
以下、図４に従って、この手法を用いて注目領域を抽出する処理の流れについて説明する。
【００５７】
まず、オリジナル画像Ｐにフィルタリング処理を施して、明度をあらわす画像と、複数の色成分に分けた色成分の画像とをそれぞれ生成する（Ｓｔｅｐ１）。次にオリジナル画像Ｐから明度の画像Ｉを生成して、さらに、明度の画像ＩのGaussian pyramidを生成する。このGaussian pyramidの各階層の画像をI（σ）（σは画素のスケールを表し、σ∈[0..8]とする）とする。
【００５８】
次に、オリジナル画像Ｐを４つの色成分の画像Ｒ（赤），Ｇ（緑），Ｂ（青），Ｙ（黄）に分ける。さらに、これらの画像Ｒ，Ｇ，Ｂ，Ｙから４種類のGaussian pyramidを生成して、各階層の画像をＲ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）とする。
【００５９】
次に、これらの画像I（σ）、Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）から、オリジナル画像Ｐ上の各部分の特徴がその周囲部分とどの程度異なるかを表す特徴量マップを生成する（Ｓｔｅｐ２）。
【００６０】
画面上のある部分の明度がその周囲の明度とは違うと感知される場所は、周囲が明るいところに暗い部分が存在する場所、あるいは、周囲が暗いところに明るい部分が存在する場所である。そこで、周囲の明度に比べて中心部分の明度がどの程度異なるかは、細かい画素で表された画像Ｉ（ｃ）と、荒い画素で表された画像Ｉ（ｓ）とを用いて求める。荒い画像Ｉ（ｓ）の画素１個の値は、細かい画像Ｉ（ｃ）の画素を複数個分まとめた値を表しているので、画像Ｉ（ｃ）の画素の値（中心部の明度）と、この画素に対応する位置にある画像Ｉ（ｓ）の画素の値（周囲の明度）の差を求める（center-surroundと呼ばれる）ことによって、画像上の各部分が周囲とどの程度異なるかを求めることができる。例えば、細かい画素で表された画像Ｉ（ｃ）のスケールをｃ∈｛２，３，４｝とし、荒い画素で表された画像Ｉ（ｓ）のスケールをｓ＝ｃ＋δ（δ∈｛３，４｝）として明度の特徴マップＭＩ（ｃ，ｓ）を求める。この明度の特徴マップＭＩ（ｃ，ｓ）は下式（１）のように表される。
【数１】
2009268085.tif 000003
【００６１】
各色成分についても同様に、Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）から特徴マップを生成する。画面上のある部分の色がその周囲の色と違うと感知される場所は、色相環で正反対に位置する色（反対色）の組み合わせから見つけることができる。例えば、赤/緑と緑/赤の組み合わせから特徴マップＭＲＧ（ｃ，ｓ）を取得し、青/黄と黄/青の組み合わせから特徴マップＭＢＹ（ｃ，ｓ）を取得する。この色の特徴マップは下式（２）（３）のように表される。
【数２】
2009268085.tif 000004
【００６２】
さらに、画像上に表れた直線成分の方向について、各部分に現れた直線成分の方向とその周囲の直線成分との違いが感知される部分は、明度の画像Ｉから直線成分の方向を検出するGaborフィルターなどを利用して見つけることができる。Ｉ（σ）の各階層の画像に対してGaborフィルターを用いて、θ∈｛0°,45°,90°,135°｝の各方向の直線成分を検知して特徴マップＭＯ（ｃ，ｓ,θ）を取得する。この方向の特徴マップは下式（４）のように表される。
【数３】
2009268085.tif 000005
【００６３】
ｃ∈｛２，３，４｝とし、ｓ＝ｃ＋δ（δ∈｛３，４｝）とした場合には、明度の特徴マップは６個、色の特徴マップは１２個、方向に関する特徴マップは２４個得られ、これらのマップを総合的にみて、視覚的に注目される注目領域を抽出する。
【００６４】
これらの４２個の特徴マップＭＩ，ＭＲＧ，ＭＢＹ，ＭＯは、ダイナミックレンジの違いや抽出する情報の違いなどにより、各部分とその周囲の違いが大きく表れるものとあまり大きく表れないものがある。そのため、４２個の特徴マップＭＩ，ＭＲＧ，ＭＢＹ，ＭＯの値をそのまま用いて判定を行ったのでは、違いが大きい特徴マップに影響されて、違いが少ない特徴マップの情報が反映されない場合がある。そこで、これらの４２個の特徴マップＭＩ，ＭＲＧ，ＭＢＹ，ＭＯを規格化した後に組み合わせて、注目領域を抽出するのが好ましい。
【００６５】
具体的には、例えば、明度の特徴マップＭＩ（ｃ，ｓ）の６個を規格化して組み合わせた明度の要素別注目度マップＭＣＩを取得し、色の特徴マップＭＲＧ（ｃ，ｓ）、ＭＢＹ（ｃ，ｓ）の１２個を規格化して組み合わせた色の要素別注目度マップＭＣＣを取得し、方向に関する特徴マップＭＯ（ｃ，ｓ,θ）の２４個を規格化して組み合わせた方向の要素別注目度マップＭＣＯを取得する（Ｓｔｅｐ３）。さらに、要素別注目度マップＭＣＩ、ＭＣＣ、ＭＣＯを線形結合して、オリジナル画像Ｐの各部分の注目度の分布を表した注目度マップＭＳを取得する（Ｓｔｅｐ４）。この注目度が所定の閾値を越えた領域を注目領域として抽出する（Ｓｔｅｐ５）。
【００６６】
また、注目領域を抽出する際に、オリジナル画像Ｐの色、明度、オリジナル画像Ｐに現れた直線成分の傾きが周囲と異なる度合いの影響を変えるように、オリジナル画像Ｐの色、明度、オリジナル画像Ｐに現れた直線成分の傾きのそれぞれの度合いと、各度合いそれぞれに対して重み付けした重み付け度合いを変えることによって、抽出される注目領域を変えることができる。例えば、要素別注目度マップＭＣＩ、ＭＣＣ、ＭＣＯを線形結合するときの重みを変えることによって抽出される注目領域ＲＯＩを変えることができる。あるいは、要素別注目度マップＭＣＩ、ＭＣＣ、ＭＣＯを取得するときに、各明度の特徴マップＭＩ（ｃ，ｓ）、色の特徴マップＭＲＧ（ｃ，ｓ）、ＭＢＹ（ｃ，ｓ）、方向に関する特徴マップＭＯ（ｃ，ｓ,θ）のそれぞれのマップの影響を変えるように、各特徴マップＭＩ（ｃ，ｓ）、ＭＲＧ（ｃ，ｓ）、ＭＢＹ（ｃ，ｓ）、ＭＯ（ｃ，ｓ,θ）に対する重みを変えるようしてもよい。
【００６７】
具体例で説明すると、例えば図５Ａに示すように、画像の中心付近に赤い道路標識が撮影されている画像では、周囲の山や道路は茶〜灰色の色が多くて道路標識の色が周囲と大きく異なるため、注目度マップＭＳ上の注目度が高く表れる。そこで、図５Ｂに示すように、所定の閾値以上の部分が注目領域ＲＯＩとして抽出される。あるいは、図６Ａに示すように、赤い矩形（細かいハッチングの部分）が１つと緑の矩形（粗いハッチングの部分）が多数とが、様々な方向を向いて並んでいる場合には、図６Ｂに示すように、赤い矩形の部分や、緑の矩形のうち傾きが他のものと比べて大きく傾いている部分の注目度が高くなるので、そのような部分が注目領域ＲＯＩとして抽出される。
【図１】
2009268085.tif 000006
【図２】
2009268085.tif 000007
【図３Ａ】
2009268085.tif 000008
【図３Ｂ】
2009268085.tif 000009
【図４】
2009268085.tif 000010
【図５Ａ】
2009268085.tif 000011
【図５Ｂ】
2009268085.tif 000012
【図６Ａ】
2009268085.tif 000013
【図６Ｂ】
2009268085.tif 000014