(57)【要約】【課題】元画像における注目領域以外の部分により視覚的に認識される当該元画像の特徴に関する視覚的情報を保ちつつ注目領域を強調したサムネイル画像を生成する。【解決手段】実施形態によれば、第１領域処理部と、第２領域処理部と、変形情報算出部と、変形処理部とを備える。第１領域処理部は、対象となる画像から、拡大するように変形すべき第１領域を求める。第２領域処理部は、前記第１領域又は前記第１領域を含む領域が拡大するように変形されるのに応じて縮小するように変形させるための第２領域を求める。変形情報算出部は、前記第１領域又は前記第１領域を含む領域の変形方法を示す変形情報を求める。変形処理部は、前記変形情報に基づいて前記第１領域又は前記第１領域を含む領域を拡大するように変形するとともに、これに応じて前記第２領域を縮小するように変形する変形処理を行う。【選択図】図１
2013196009.tif 000002
【特許請求の範囲】
【請求項１】
対象となる画像から、拡大するように変形すべき第１領域を求める第１領域処理部と、
前記第１領域又は前記第１領域を含む領域が拡大するように変形されるのに応じて縮小するように変形させるための第２領域を求める第２領域処理部と、
前記第１領域又は前記第１領域を含む領域の変形方法を示す変形情報を求める変形情報算出部と、
前記変形情報に基づいて前記第１領域又は前記第１領域を含む領域を拡大するように変形するとともに、これに応じて前記第２領域を縮小するように変形する変形処理を行う変形処理部とを含むことを特徴とする画像処理装置。
【請求項２】
前記対象となる画像の所定の単位の部分の各々について、その所定の単位の部分が変形されたときに当該部分の外観に与える影響の程度を示す変形影響度を算出する変形影響度算出部を更に備え、
前記第２領域処理部は、前記変形影響度に基づいて、前記第２領域を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２領域処理部は、前記変形影響度に基づいて、前記変形を受けたときに外観に与える影響のより大きな領域を除外するように、前記第２領域を求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２領域処理部は、前記第２領域を複数個求めるものであることを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記変形処理の対象として、複数の前記第２領域の全部又は一部を、逐次的に選択する第２領域選択部を更に含み、
前記第２領域選択部により前記第２領域が選択された場合に、該選択された前記第２領域について、前記変形情報算出部が前記変形情報を求めて前記変形処理部が前記変形処理を行うことを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２領域処理部は、複数の前記第２領域の配置関係に基づいて、又は、各々の前記第２領域の重要度の大小関係に基づいて、前記逐次的な選択を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記重要度は、各々の前記第２領域について変形を受けたときに外観に与える影響の程度を示す変形影響度により算出される請求項６に記載の画像処理装置。
【請求項８】
複数の前記第２領域の各々は、互いに交差しない閉ループを構成するものであることを特徴とする請求項４ないし７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２領域は、前記第１領域を含む閉ループを構成するものであることを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第２領域は、前記第１領域に近い側の第１境界及び前記第２領域の有する前記第１領域に遠い側の第２境界を有し、
前記変形処理部は、前記変更処理にあたって、前記第２領域の前記第１境界に内包される領域を、前記第２領域の前記第２境界までの範囲で、拡大することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記対象となる画像は、多角形パッチで構成されるメッシュにより表現されるものであり、
前記第１領域処理部は、前記多角形パッチを最小の単位として、前記第１領域を求め、
前記第２領域処理部は、前記多角形パッチを最小の単位として、前記第２領域を求め、
前記変形処理部は、前記多角形パッチを変形することによって、前記変形処理を行うことを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記変形情報は、前記第１領域又は前記第１領域を含む領域を変形する際の拡大中心及び拡大倍率であることを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記第１領域処理部は、前記対象となる画像の中から、特徴的な部分又は注目され易い部分を抽出することによって、前記第１領域を求める請求項１ないし１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記第１領域を指定するための指定情報を入力する指定部を更に備え、
前記第１領域処理部は、前記指定情報に基づいて、前記第１領域を求める請求項１ないし１３のいずれか１項に記載の画像処理装置。
【請求項１５】
第１領域処理部と第２領域処理部と変形情報算出部と変形処理部とを備えた画像処理装置の画像処理方法であって、
前記第１領域処理部が、対象となる画像から、拡大するように変形すべき第１領域を求めるステップと、
前記第２領域処理部が、前記第１領域又は前記第１領域を含む領域が拡大するように変形されるのに応じて縮小するように変形させるための第２領域を求めるステップと、
前記変形情報算出部が、前記第１領域又は前記第１領域を含む領域の変形方法を示す変形情報を求めるステップと、
前記変形処理部が、前記変形情報に基づいて前記第１領域又は前記第１領域を含む領域を拡大するように変形するとともに、これに応じて前記第２領域を縮小するように変形する変形処理を行うステップとを含むことを特徴とする画像処理方法。
【請求項１６】
画像処理装置としてコンピュータを機能させるためのプログラムであって、
対象となる画像から、拡大するように変形すべき第１領域を求める第１領域処理部と、
前記第１領域又は前記第１領域を含む領域が拡大するように変形されるのに応じて縮小するように変形させるための第２領域を求める第２領域処理部と、
前記第１領域又は前記第１領域を含む領域の変形方法を示す変形情報を求める変形情報算出部と、
前記変形情報に基づいて前記第１領域又は前記第１領域を含む領域を拡大するように変形するとともに、これに応じて前記第２領域を縮小するように変形する変形処理を行う変形処理部とをコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
例えば多数の画像をディスプレイに表示するような場合などに、限られた表示スペースを有効利用する方法として、サムネイル画像を使用して表示する方法がある。もとの画像からサムネイル画像を生成する方法には、幾つかの手法が知られている。例えば、一般的な手法として、画像全体を一様に縮小することによってサムネイル画像を生成する手法が良く知られている。しかし、この手法で作成されたサムネイルには、画像の特徴を表す物体（例えば建造物又は人物など）が視認しにくく、一目で画像の内容を理解しにくいという問題がある。また、他の手法として、もとの画像の中から、何らかの基準で、その画像に特徴的と思われる領域或いはユーザに注目され易いと思われる領域（注目領域）を選択或いは抽出し、その注目領域（もしくは注目領域とその近傍周辺）以外の画像を削り取ることによって（すなわち、注目領域もしくはこれとその近傍周辺（以下、注目領域等）だけ残すことによって）、相対的に注目領域等が強調されたサムネイル画像を生成するクリッピングという手法もある。この手法によれば、前傾のような問題は解決されるが、しかしながら、注目領域等以外の情報が欠落してしまうために、例えば、ある人物をあるシチュエーションで撮影した画像と、同一人物を異なるシチュエーションで撮影した他の画像とを比較したときに、それらの画像の内容の判別若しくは区別又は理解等が難しくなるという問題が依然として存在する。
【０００３】
以上のような問題を解決する技術として、画像内の注目領域を拡大しつつ注目領域以外の領域を歪める変形処理を行う方法がある。この方法では、変形処理を実行した後に、画像全体を一様に縮小することによって、サムネイル画像を作成する。例えば、対象となる画像に対して、その注目領域は拡大することによって強調し、注目領域以外の領域は歪めることによって圧縮する。これによって、画像全体の情報を削らずに注目領域を強調することができる。しかしながら、この技術によれば、注目領域以外は歪められることから、例えば、注目領域以外の領域において当該画像のシチュエーションを構成している物体（例えば建物又は人物又は移動物体又は動植物又は背景物体など）が歪み、その結果、もとの画像の持つシチュエーション或いは雰囲気等が、大きく崩れてしまうといった問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１３５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
元画像の中でユーザに注目され易いと思われる領域或いは特徴的と思われる注目領域（例えば、建造物又は人物など）以外の元画像における部分により視認される、当該元画像の特徴に関する視覚的情報（例えば、当該元画像が撮影されたシチュエーション或いは当該元画像のもつ雰囲気など）をある程度保ちつつ、注目領域を強調（拡大）したサムネイル画像を生成することはできなかった。
【０００６】
本実施形態は、元画像における注目領域以外の部分により視認される、当該元画像の特徴に関する視覚的情報をある程度保ちつつ注目領域を強調したサムネイル画像を生成することの可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、第１領域処理部と、第２領域処理部と、変形情報算出部と、変形処理部とを備える。第１領域処理部は、対象となる画像から、拡大するように変形すべき第１領域を求める。第２領域処理部は、前記第１領域又は前記第１領域を含む領域が拡大するように変形されるのに応じて縮小するように変形させるための第２領域を求める。変形情報算出部は、前記第１領域又は前記第１領域を含む領域の変形方法を示す変形情報を求める。変形処理部は、前記変形情報に基づいて前記第１領域又は前記第１領域を含む領域を拡大するように変形するとともに、これに応じて前記第２領域を縮小するように変形する変形処理を行う。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】同本実施形態の画像処理装置による画像処理について説明するための図である。
【図３】メッシュにより表現される元画像の一例について説明するための図である。
【図４】接続情報の一例について説明するための図である。
【図５】注目領域の拡大処理の一例について説明するための図である。
【図６】同実施形態の画像処理装置の処理手順の一例を示すフローチャートである。
【図７】非メッシュ画像生成部について説明するための図である。
【図８】メッシュ画像生成部について説明するための図である。
【図９】変形影響領域の生成方法の一例について説明するための図である。
【図１０】変形影響領域の生成方法の一例について説明するための図である。
【図１１】拡大倍率の決定方法の一例について説明するための図である。
【図１２】第２の実施形態に係る画像処理装置の構成例を示す図。
【図１３】同実施形態の画像処理装置の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【００１０】
（第１の実施形態）
以下、第１の実施形態について説明する。
【００１１】
本実施形態に係る画像処理装置は、処理の対象とする画像（以下、元画像とも呼ぶ。）を加工処理することによって、該元画像に対応するサムネイル画像を生成するものである。
【００１２】
本実施形態では、元画像がメッシュ（三角形パッチを含むメッシュ）により表現される場合を例にとって説明するが、これに制限されるものではなく、本実施形態は元画像に用いる表現形式に応じて適宜変形することが可能である。
【００１３】
図１に、本実施形態に係る画像処理装置の構成例を示す。
【００１４】
図１に示されるように、本実施形態の画像処理装置は、メッシュ取得部１１、注目領域算出部（第１領域処理部）１２、変形影響度算出部１３、変形影響領域群算出部（第２領域処理部）１４、変形影響領域選択部（第２領域選択部）１５、変形情報算出部１６、メッシュ変形部（変形処理部）１７、及び、メッシュ提示部１８を含んでいる。
【００１５】
本実施形態の画像処理装置は、例えば、画像を表示することが可能な情報端末であっても良いし、情報端末の内部に組み込まれるハードウェア若しくはソフトウェア又はそれらの組み合わせなどであっても良いし、情報端末の外部に接続される装置であっても良いし、情報端末の外部に接続される装置に組み込まれるハードウェア若しくはソフトウェア又はそれらの組み合わせなどであっても良い。情報端末は、例えば、ＰＣ（パーソナルコンピュータ）、ＰＤＡ、携帯電話、スマートフォン、デジタルカメラなどであっても良い。ただし、これらは一例であり、本実施形態の画像処理装置の実装方法に制限はない。
【００１６】
ここで、まず、図２を参照しながら、本実施形態の画像処理装置が元画像からサムネイル画像を生成する処理について説明する。ここでは、元画像がメッシュにより表現されるかどうかにかかわりなく、処理の概要を説明する。
【００１７】
図２には、元画像の一例として、ある園内の牧草エリアに複数の羊がいる風景を撮影した画像が示されている。ここでは、画像中央の羊が、図２の画像の特徴的と思われる物体或いはユーザに注目され易いと思われる物体の例である。また、図２を見れば、例えば元画像が撮影されたシチュエーションを視覚的に容易に認識することができる。しかし、従来の方法により図２の元画像からサムネイル画像を生成すると、例えば、画像中央の羊以外の部分は、大きく歪まされ、或いは、全く削除されることになり、そのようにして作成されたサムネイル画像を見ても、ただ羊が認められるだけであって、図２の元画像が持っているシチュエーション或いは雰囲気等を認識或いは推測等することは困難又は不可能である。
【００１８】
そこで、本実施形態では、そのサムネイル画像を見れば、元画像が持っているシチュエーション或いは雰囲気等を認識することが可能になるように、サムネイル画像を生成する。
【００１９】
まず、画像処理装置は、処理の対象とする元画像における「注目領域」を算出する。注目領域は、例えば、元画像の中でユーザに注目され易いと思われる領域或いは特徴的と思われる領域である。注目領域は、良く知られている注目領域抽出技術を利用した処理を行うことによって、算出されても良い。図２の元画像において、例えば、２００で示される部分（画像中央の羊を含む部分）が注目領域として抽出される。この注目領域２００が後に拡大されることになる。
【００２０】
次に、画像処理装置は、注目領域２００を拡大するための処理を行うのに先立って、１又は複数の「変形影響領域」を算出する。変形影響領域は、注目領域２００の拡大に伴って圧縮させる（歪ませる）ために設定される領域である。変形影響領域（図中の２０１，２０２，２０３の閉ループ或いは閉じた帯状或いはドーナツ状の領域）は、注目領域２００を取り囲むように、又は、注目領域２００に加えて自身より内側にある１つ又は複数の変形影響領域を取り囲むように、構成される。変形影響領域は、１つ定義するだけでもサムネイル画像の生成は可能であるが、複数定義するのが望ましい。なお、以下の説明では、主に、変形影響領域が複数設けられ、複数の変形影響領域に関する繰り返し処理を伴う場合を例にとって説明するが、変形影響領域を１つ定義するだけ場合には、繰り返し処理が省かれることになる。
【００２１】
図２の例に示されるように、注目領域２００に最も近い（最も内側の）変形影響領域２０１は、注目領域２００を取り囲むように構成されている。変形影響領域２０１が有する二つの境界のうち、注目領域２００を含む領域に接している方の境界２１１を「内接境界」、もう一方の境界２１２を「外接境界」と定義する。図２の例では、変形影響領域２０１の内接境界２１１は、注目領域２００の境界と一致しているが、内接境界２１１の全部又は一部が注目領域２００の境界と一致しない場合があっても良い。
【００２２】
注目領域２００に次に近い（次に内側の）変形影響領域２０２は、自身の内側に存在する変形影響領域２０１及び注目領域２００を取り囲むように構成される。図中、２２１が変形影響領域２０２の内接境界、２２２が外接境界である。
【００２３】
次の変形影響領域２０３は、自身の内側に存在する２つの変形影響領域２０１，２０２及び注目領域２００を取り囲むように構成される。図中、２３１が変形影響領域２０３の内接境界、２３２が外接境界である。
【００２４】
図２の例では、変形影響領域２０３の内接境界２３１は、変形影響領域２０２の外接境界２２２と一致しておらず、変形影響領域２０２の内接境界２２１は、変形影響領域２０１の外接境界２１２と一致していないが、外側の変形影響領域の内接境界の一部又は全部が、隣接する内側の変形影響領域の外接境界と一致していても良い。
【００２５】
さらに変形影響領域がある場合には、各々の変形影響領域は、同じ要領で、自身の内側にある全ての変形影響領域及び注目領域２００を取り囲むように構成される。
【００２６】
なお、各々の変形影響領域は、変形されたときに受ける影響の大きい領域部分を避けるように設けられるのが望ましい。例えば、図２に例示されるように、注目領域２００の外部に存在する羊を含まないように、変形影響領域が設定されると望ましい（例えば、図２の１００，１０１参照）。このための処理の詳細については後述する。
【００２７】
以下、算出された１又は複数の変形影響領域からなる集合を「変形影響領域群」と呼ぶものとする。
【００２８】
変形影響領域群において、各々の変形影響領域は、変形影響領域識別子により識別されても良い。ここでは、一例として、各々の変形影響領域に、変形影響領域識別子として領域番号が付与されるものとして説明する。この領域番号は、ここでは、注目領域に最も近い（最も内側の）変形影響領域から外側に向かって次第に値が大きくなる通し番号であるものとする。例えば、図２の例において、注目領域２００に最も近い変形影響領域２０１の領域番号を“０”とすると、領域番号“０”〜“２”が存在し、次に外側の変形影響領域２０２の領域番号が“１”、最も外周に位置する変形影響領域２０３の領域番号が“２”となる。この場合、変形影響領域の領域番号から直接、その変形影響領域の最内側又は最外側からの順番を、或いは、その変形影響領域に隣接する変形影響領域を、特定することができる。
【００２９】
なお、変形影響領域識別子或いは領域番号は、上記に制限されるものではない。なお変形影響領域識別子或いは領域番号から、最内側又は最外側からの順番或いは隣接する変形影響領域等を特定できると望ましい。
【００３０】
なお、画像処理装置は、元画像のメッシュを構成する各エッジに対して変形影響度を計算し、さらに、変形影響度に基づいて、変形影響領域の補正を行うが、詳しくは後で説明する。変形影響度は、例えば、「その領域が変形されると、どの程度、見た目（外観）に影響を与えるか」を示す指標である。
【００３１】
続いて、画像処理装置は、まず、変形影響領域群から、一つの変形影響領域（例えば、２０１）を選択する。そして、該選択された変形影響領域の内接境界（例えば、２１１）により内包される領域を、所定の方法に従って、拡大する。
【００３２】
例えば、該選択された変形影響領域（例えば、２０１）の外接境界（例えば、２１２）と内接境界（例えば、２１１）との一方又は両方に基づいて、該内接境界により内包される領域（すなわち、該内接境界の内部の画像）を拡大しても良い。なお、上記所定の閉ループは、該内接境界の外側に位置されるものである。また、上記所定の閉ループは、好ましくは、該外接境界であっても良いし、その内側に位置されるものであっても良い。
【００３３】
具体的には、例えば、以下の方法をはじめとして種々の方法が考えられる。
【００３４】
（１）該内接境界（例えば、２１１）が該外接境界（例えば、２１２）に接するようになるまで、該内接境界により内包される領域を拡大する。
【００３５】
（２）該外接境界（例えば、２１２）と該内接境界（例えば、２１１）との間を通過する閉ループに、該内接境界が接するようになるまで、該内接境界により内包される領域を拡大する。
【００３６】
（３）該内接境界（例えば、２１１）が、所定の量（例えば所定の画素分（例えば１画素分）だけ外側に大きくなるまで、該内接境界により内包される領域を拡大する。
【００３７】
また、これらの他にも、種々の方法により、選択された変形影響領域の内接境界により内包される領域を拡大することが可能である。
【００３８】
画像処理装置は、上記のような拡大処理を、変形影響領域群に含まれる変形影響領域の全部又は一部について、逐次的に（例えば、領域番号の小さい順に）、繰り返すことによって、元画像を加工したサムネイル画像を生成する。
【００３９】
この結果、元画像における注目領域２００内の画像が拡大され、１又は複数の変形影響領域内の画像が縮小されたものが、サムネイル画像となる。
【００４０】
次に、図３及び図４を参照しながら、処理の対象とする画像（元画像）について説明する。
【００４１】
図３に、元画像の表現形式の一例を示す。
【００４２】
図３に示されるように、元画像は、位置（ｘ，ｙ）及び輝度Ｉで定義される座標空間において、複数のパッチ５０１を含むメッシュにより表現されても良い。以下、メッシュにより表現された画像を「メッシュ画像」と呼ぶものとする。
【００４３】
ここで、パッチ５０１とは、頂点５０２どうしを接続するエッジ５０３により囲まれた一つの面をいう。図３では、パッチの例として、三角形の形状をした三角形パッチが示されているが、パッチは、三角形パッチに制限されるものではなく、他の形状をしたパッチであっても良い。なお、以下では、三角形パッチが使用される場合を例にとって説明する。
【００４４】
メッシュは、各頂点５０２の「座標情報（ｘ，ｙ，Ｉ）」、及び、各頂点５０２がエッジ５０３によりどの頂点５０２と接続されているかを示す「接続情報」により表わされても良い。
【００４５】
図４の（ａ）に、ｘｙ座標上に元画像を表示した例を示し、（ｂ）に、（ａ）の画像の一部分（２４０）に対応する頂点間の接続関係の例を示す。接続情報は、例えば、図４の（ｂ）のような接続について、「頂点Ｐ１は頂点Ｐ２〜Ｐ８と接続される」ということを示すような情報である。なお、接続情報は、どのようなフォーマットで表現されても良い。
【００４６】
各パッチには、各パッチを識別するためのパッチ識別子が付されていても良い。また、各エッジには、各エッジを識別するためのエッジ識別子が付されていても良い。また、各頂点には、各頂点を識別するための頂点識別子が付されていて良い。
【００４７】
なお、上記では、各頂点が輝度Ｉのみを持つ場合を例にとって説明したが、例えば、元画像がカラー画像である場合には、各頂点は、輝度Ｉに加えて又は輝度Ｉの代わりに、色情報（例えば、ＲＧＢ値）を含むことができる。
【００４８】
次に、図５を参照しながら、元画像がメッシュにより表現される場合における本実施形態の注目領域の拡大処理の一例について説明する。
【００４９】
図５のメッシュは、元画像の一部分を表すものである。図５において、中央の領域３００が注目領域を表している。注目領域３００の外周は、いずれかのパッチのいずれかのエッジにより構成される。
【００５０】
また、図５において、注目領域３００の周りを取り囲む領域が、変形影響領域３０１であり、さらにその外側にある領域が、変形影響領域３０２である。また、図５において、内接境界３１１，３２１と外接境界３１２，３２２が示されている。内接境界は、いずれかのパッチのいずれかのエッジにより構成され、外接境界は、いずれかのパッチのいずれかのエッジにより構成される（なお、図５では、内接境界と外接境界とを区別するために、便宜上、一部分を、エッジ上ではなくエッジの近傍に記載した）。
【００５１】
図５において、拡大処理を行う場合には、例えば、変形影響領域３０１の内接境界３１１の内部の画像が、例えば前述したような所定の方法によって、外接境界３１２までの範囲内で拡大され、また、変形影響領域３０２の内接境界３２１の内部の画像が、同様に、外接境界３１２までの範囲内で拡大される。
【００５２】
さて、以下では、処理の対象とする元画像がメッシュにより表現される場合について本実施形態の画像処理装置及びこれによるサムネイル画像の生成処理についてさらに詳しく説明する。
【００５３】
以下、図１の画像処理装置の各ブロックの概要について説明する。
【００５４】
メッシュ取得部１１は、元画像を構成するメッシュを取得するためのものである。
【００５５】
注目領域算出部（第１領域処理部）１２は、メッシュ取得部１１により取得された元画像の中の注目領域を算出するためのものである。
【００５６】
変形影響度算出部１３は、元画像のメッシュを構成するエッジごとに、「その領域が変形されると、どの程度、見た目（外観）に影響を与えるか」を示す指標である変形影響度を算出するためのものである。
【００５７】
変形影響領域群算出部（第２領域処理部）１４は、メッシュ取得部１１により取得された元画像について、１又は複数の変形影響領域（望ましくは、複数の変形影響領域）を算出するためのものである。
【００５８】
変形影響領域群算出部１４は、例えば、変形影響度と、現時点で最も外側にある変形影響領域（ただし、変形影響領域がまだ算出されていないときは、注目領域）に基づいて、更にその外側を取り囲む新たな変形影響領域を算出する処理を繰り返す。なお、現時点で最も外側にある変形影響領域は、例えば、領域番号を使用する場合には、現時点で最も値の大きい領域番号に対応する変形影響領域である。
【００５９】
例えば、図５の例において、まず、注目領域３００の外側を取り囲む変形影響領域３０１が生成され、次いで、変形影響領域３０１の外側を取り囲む変形影響領域３０２が生成される。
【００６０】
なお、変形影響領域群算出部１４は、例えば、変形影響領域の生成が不能になるまで、変形影響領域の生成を繰り返しても良いし、予め定められた回数だけ、変形影響領域の生成を繰り返しても良いし、或いは、それらの組み合わせであっても良い。その他にも、変形影響領域群算出部１４が変形影響領域の生成を繰り返す回数を決定する方法については、様々な方法があり得る。
【００６１】
変形影響領域選択部（第２領域選択部）１５は、変形影響領域群算出部１４により算出された変形影響領域群から、所定の順番で、一つずつ逐次的に変形影響領域を選択するためのものである。
【００６２】
変形影響領域選択部１５は、例えば、変形影響領域群から、最も内側から外側へ向かう順に、変形影響領域を選択しても良い。なお、最も内側から外側へ向かう順は、例えば、領域番号を使用する場合には、小さい領域番号を有する順である。
【００６３】
変形情報算出部１６は、変形影響領域選択部１５により選択された変形影響領域（以下、「被選択変形影響領域」と呼ぶ）に関する情報に基づいて、該選択された変形影響領域の内接境界の内部の画像を拡大する際の拡大中心及び拡大倍率を算出するためのものである。
【００６４】
メッシュ変形部１７（変形処理部）は、被選択変形影響領域の内接境界及び該内接境界により内包される領域を構成する頂点群（以下、「被変形頂点群」と呼ぶ）を、変形情報算出部１６により算出された拡大中心及び拡大倍率に基づいて、移動させることによって、該メッシュの一部を拡大するためのものである。
【００６５】
メッシュ提示部１８は、元画像を変形した画像（メッシュ画像）を、メッシュで表現されない一般的な画像表現（非メッシュ画像）に変換する。この非メッシュ画像が、サムネイル画像となる。
【００６６】
次に、図６に、本実施形態の画像処理装置のサムネイル画像を生成する処理手順の一例を示す。
【００６７】
以下、処理の流れに沿って、各ブロックによる処理等について詳しく説明する。
【００６８】
＜メッシュ取得部１１＞
メッシュ取得部１１は、処理の対象とする元画像（メッシュ画像）を取得する（ステップＳ１０１）。
【００６９】
メッシュ取得部１１は、あらかじめ生成されたメッシュ画像を、外部から元画像として取得するものであっても良い。この場合に、メッシュ取得部１１は、例えば、ＲＯＭ若しくはＲＡＭ又はＨＤＤなどのような一般的な記憶媒体にあらかじめ記録されたメッシュ画像を取得するものでも良い。また、メッシュ取得部１１は、例えば、インターネット又はイントラネットなどのような有線又は無線のネットワークを介してメッシュ画像を取得するものでも良い。また、メッシュ取得部１１は、有線又は無線で直接接続された近隣の固定型又は携帯型の装置からメッシュ画像を取得するものでも良い。或いは、メッシュ画像は、この画像処理装置の上でユーザにより作成されたものであっても良い。この他にも、様々な取得方法が可能である。
【００７０】
＜注目領域算出部１２＞
注目領域算出部１２は、元画像について、ユーザに注目され易いと思われる領域或いは特徴的と思われる領域である注目領域を算出する（ステップＳ１０２）。
【００７１】
例えば、まず、メッシュ画像である元画像を、メッシュで表現されない一般的な画素により構成される画像（非メッシュ画像）に変換する。この変換は、例えば、各ピクセルのＸＹ座標と、ＸＹ平面上でその座標を含むパッチとから、輝度Ｉを算出することによって、実現可能である。なお、元画像がカラー画像である場合には、輝度Ｉをチャネルごとに算出すれば良い。
【００７２】
なお、この変換のために、例えば、図７の（ａ）の構成例に示すように、注目領域算出部１２がメッシュ画像から非メッシュ画像を生成する非メッシュ画像生成部２１を備えても良い。また、その代わりに、図７の（ｂ）の構成例に示すように、メッシュ取得部１１が非メッシュ画像生成部２１を備えて、取得したメッシュ画像から非メッシュ画像を生成し、そして、メッシュ取得部１１から注目領域算出部１２へメッシュ画像と非メッシュ画像を供給しても良い。
【００７３】
そして、例えば、非メッシュ画像から、画像処理分野で一般的に行われる任意の注目領域検出方法を用いて、まず、注目領域のもととなる非メッシュ画像における領域（以下、「基礎注目領域」と呼ぶ）を算出すれば良い。例えば、  
（１）非メッシュ画像から誘目度マップを生成した後に、該非メッシュ画像から誘目度が高い領域を取り出して、その領域を基礎注目領域とする、又は、  
（２）非メッシュ画像から誘目度マップを生成した後に、さらに画像クラスタリングを行い、これによって得られるクラスタの中の誘目度を算出して、最も誘目度が高いクラスタを基礎注目領域とする、又は、  
（３）顔検出を利用して非メッシュ画像から人物を認識し、人物を含むクラスタを基礎注目領域とする、  
などの種々の方法が可能である。
【００７４】
その後、例えば、元画像における複数のパッチのうち、抽出された基礎注目領域と所定の関係にあるパッチからなるパッチ群を、求めるべき元画像における注目領域としても良い。ここで、上記の所定の関係にあるパッチとは、例えば、（１）そのパッチの少なくとも一部分が、基礎注目領域と重なるもの、或いは、（２）そのパッチの基礎注目領域と重なる部分の面積をそのパッチの全面積で除して得られる割合が、所定の閾値を越えるもの、或いは、（３）基礎注目領域にそのパッチの全面が内包されるものなど、種々の基準が使用可能である。
【００７５】
ところで、メッシュ取得部１１は、例えば、上記したような取得方法によって、メッシュ画像の代わりに非メッシュ画像を取得しても良い。この場合には、例えば、図８の構成例に示すように、メッシュ取得部１１が非メッシュ画像からメッシュ画像を生成するメッシュ画像生成部２２を備えて、例えば“中村 徳裕、阿部 英彦、西尾 孝治、小堀 研一、“Delaunay三角形分割を用いた解像度変換に関する一手法”、画像電子学会誌、Vol.35、No.5、2005.”に開示されたような方法などによって、取得した非メッシュから、メッシュ画像である元画像を新たに生成し、そして、メッシュ取得部１１から注目領域算出部１２へメッシュ画像と非メッシュ画像を供給しても良い。
【００７６】
なお、メッシュ取得部１１により取得された非メッシュ画像からメッシュ画像である元画像が生成される場合には、注目領域算出部１２は、メッシュ取得部１１から供給された非メッシュ画像をそのまま使用しても良い。
【００７７】
＜変形影響度算出部１３＞
変形影響度算出部１３は、メッシュを構成する各エッジに対して変形影響度を計算する（ステップＳ１０３）。
【００７８】
変形影響度としては、例えば、幾何的特徴量を利用することができる。この幾何的特徴量としては、例えば、エッジを構成要素として持つ２つの面の法線ベクトルのなす角度ＤＡｎｇｌｅ、面積Ａｒｅａの最小値、面積Ａｒｅａの平均値など、種々のものが利用できる。好適な例としては、例えば、  
変形影響度＝ＤＡｎｇｌｅ                                  …（１）  
変形影響度＝Ｍｉｎ（Ａｒｅａ）＊ＤＡｎｇｌｅ              …（２）  
変形影響度＝Ａｖｅｒａｇｅ（Ａｒｅａ）＊ＤＡｎｇｌｅ      …（３）  
などが挙げられるが、これに制限されるものではなく、これら以外の組み合わせも可能である。また、角度ＤＡｎｇｌｅ、面積Ａｒｅａの最小値、面積Ａｒｅａの平均値以外の幾何的特徴量を利用することも可能である。
【００７９】
ところで、注目領域算出部１２による処理と変形影響度算出部１３による処理は、いずれを先に実行しても良く、また、同時に実行しても良い。メッシュ取得部１１によりメッシュ画像である元画像が取得される場合には、注目領域算出部１２による非メッシュ画像から基礎注目領域を抽出する処理が開始される前の任意のタイミングで、非メッシュ画像を生成しても良い。また、メッシュ取得部１１により非メッシュ画像が取得される場合には、注目領域算出部１２による元画像における注目領域を算出する処理又は変形影響度算出部１３による処理が開始される前の任意のタイミングで、メッシュ画像である元画像を生成しても良い。
【００８０】
＜変形影響領域群算出部１４＞
変形影響領域群算出部１４は、注目領域をもとに、それを取り囲むような１つ又は複数の変形影響領域（望ましくは、複数の変形影響領域）を設定する。
【００８１】
以下、この処理について、図９及び図１０を参照しながら詳しく説明する。
【００８２】
図９の（ａ）は、注目領域算出部１２により注目領域４００が生成された状態が例示されている。
【００８３】
まず、変形影響領域群算出部１４は、例えば、注目領域４００とそれ以外の領域（注目領域４００の外部の領域）との境界を構成する頂点を構成頂点として持つパッチ群のうち、注目領域４００を構成するパッチ以外のパッチからなる集合を、変形影響領域候補パッチ群として選択する（ステップＳ１０４）。
【００８４】
次に、ステップＳ１０５（詳しくは後述する）において、上記の選択された変形影響領域候補パッチ群がそのまま変形影響領域として採用されるものとすると、図９の（ｂ）に示すように、変形影響領域４０１が最も内側の変形影響領域となる。また、後述するように、変形影響領域４０１の重要度が求められる。
【００８５】
次に、ステップＳ１０７（詳しくは後述する）において、更に変形影響領域を生成するものと判定された場合には、例えば、変形影響領域候補パッチ群４０１と該パッチ群４０１の外側の領域との境界を構成する頂点を構成頂点として持つパッチ群のうち、パッチ群４０１を構成するパッチ以外のパッチからなる集合を、新たな変形影響領域候補パッチ群として選択する（ステップＳ１０４）。例えば、図９（ｃ）のように、４０２で示すパッチ群が新たな変形影響領域候補パッチ群として選択される。
【００８６】
次に、変形影響領域群算出部１４は、図６のステップＳ１０５の処理を行う。以下、図１０を参照しながら、この処理について詳しく説明する。
【００８７】
図１０の（ａ）は、図９の（ｃ）に矢印を追加した図である。
【００８８】
変形影響領域群算出部１４は、まず、変形影響領域候補パッチ群４０２の中の任意の１つのパッチ（例えば、図１０の（ａ）の左方にある点線のエッジで示した三角形パッチ）を選択する。
【００８９】
選択されたパッチから、変形影響領域候補パッチ群４０２内のパッチを、例えば図１０の（ａ）の矢印で示すように、隣接している順に探索する。なお、図１０の例では、反時計回りに探索するが、時計回りに探索しても構わない。
【００９０】
以下では、現在選択されているパッチを「最適化対象パッチ」と定義する。
【００９１】
変形影響領域群算出部１４は、最適化対象パッチの構成エッジが現在の変形影響領域候補パッチ群４０２のより外側の領域（例えば、図１０におけるパッチ群４０２の外側のハッチングされていないパッチ群）と接している場合（例えば、最適化対象パッチが図１０（ｂ）のパッチ４４１である場合）において、そのまま現在の変形影響領域候補パッチ群４０２を経由した場合（図中、パッチ４４１からパッチ４４２へ矢印４５１のように経由した場合）に通過するエッジの変形影響度の合計値と、より外側の領域を経由した場合（図中、パッチ４４１からパッチ４４２へ矢印４５２のように経由した場合）に通過するエッジの変形影響度の合計値とをそれぞれ求める。そして、それら合計値を比較して、前者の合計値が後者の合計値以下である場合には、現在の変形影響領域候補パッチ群４０２を維持し、後者の合計値が前者の合計値を下回る場合には、変形影響領域候補パッチ群４０２について、外部の経路４５２に係るパッチ（４４３，４４４のパッチ）で内部の経路４５１に係るパッチ（破線４５０で囲んだパッチ）４４３，４４４を置き換えて更新したものを、新たな変形影響領域候補パッチ群４０２とする。
【００９２】
例えば、図１０（ｂ）のパッチ４４１が最適化対象パッチである場合に、そのパッチの次に探索されるパッチと共有するエッジを構成する頂点のうち、外周に接している頂点を基準に、現在の変形影響領域候補パッチ群４０２のより外側の領域を、現在の変形影響領域候補パッチ群４０２に含まれるパッチ（図１０（ｂ）ではパッチ４４２）に再度戻るまで、変形影響度を加算しながら探索し、その結果得られた総和を、第１の補正評価値とする。これによって、パッチ４４２を特定した後、あらためて変形影響領域候補パッチ群４０２の内部を、パッチ４４１からパッチ４４２まで、変形影響度を加算しながら探索し、その結果得られた総和を、第２の補正評価値とする。ここで、第１の補正評価値が第２の補正評価値より小さい場合に、図１０（ｃ）に示すように変形影響領域候補パッチ群４０２を補正する。
【００９３】
例えば、破線４５０で囲んだパッチに特徴的なオブジェクトが存在するような場合などに、この補正が発生する。これによって、変形されたときに受ける影響の大きい領域部分を避けるように、変形影響領域候を設けることが可能になる。
【００９４】
始点パッチ４４１から終点パッチ４４２への経路の比較が行われた後に、補正がなされた場合には、例えば、終点パッチ４４２から、新たに探索を続行する。
【００９５】
一方、始点パッチ４４１から終点パッチ４４２への経路の比較が行われた後に、補正が行われなかったとすると、順番通りに、パッチ４４１に隣接する次のパッチを探索する。
【００９６】
これを、探索開始時に選択したパッチに戻るまで繰り返したものを1セットとし、所定セット（例えば、１セット）の範囲内で、補正処理が行われなくなるまで繰り返す。ただし、探索開始時に選択したパッチが、補正によって変形影響領域候補パッチ群４０２に含まれなくなった場合、前述した第２の補正評価値を求める際に必ず対象のパッチが含まれるので、その場合も１セットが終了したものとする。
【００９７】
なお、上記では、補正評価値を求める際に、変形影響度の合計を使用したが、合計の代わりに、例えば平均値、最大値、最小値などの他の演算を使用しても良い。
【００９８】
また、上記では、補正処理後は、パッチ４４２から探索を開始しているが、パッチ４４１から開始しても良い。この場合、１セット処理を行うのみで十分な補正が行われる。また、補正処理で新たに加えられたパッチのうちで始点パッチ４４１に隣接するパッチ４４３から、新たに探索を続行する方法など、他の方法も可能である。
【００９９】
ここまでの処理により補正された変形影響領域候補パッチ群４０２を、新たな変形影響領域４０２（図１０の（ｃ））とする。そして、変形影響領域４０２の重要度を算出する。例えば、変形影響領域４０２に含まれるエッジの変形影響度を合計して、その合計値を重要度としても良い。なお、ここでの領域に含まれるエッジとは、エッジを共有する2枚のパッチがいずれも変形影響領域４０２に含まれているものを指す。
【０１００】
さて、新たに決定された変形影響領域が画像の境界を構成するパッチを含んでいない場合には、新たに追加された変形影響領域の外側のパッチ群を新たな変形影響領域候補パッチ群とし、前述した補正処理を繰り返す（ステップＳ１０６，Ｓ１０５，Ｓ１０７）。
【０１０１】
新たな変形影響領域候補パッチ群の決定方法としては、例えば、新たに追加された変形影響領域の外接境界を構成する頂点を構成頂点として持つパッチ群のうち、新たに追加された変形影響領域に含まれないものを選択する方法などがある。
【０１０２】
また、新たに決定された変形影響領域が画像の境界を構成するパッチを含んでいる場合には、繰り返し処理のループを抜けて、ステップＳ１０８に進む。
【０１０３】
＜変形影響領域選択部１５＞
次に、変形影響領域選択部１５は、生成された変形影響領域群から、変形により圧縮される（歪められる）ための変形影響領域を１つ選択する（ステップＳ１０８）。
【０１０４】
選択方法としては、例えば、領域番号の小さい順に選択する方法、領域番号の大きい順に選択する方法、変形影響領域ごとに算出されている重要度が低い順に選択する方法など、種々の方法があり得る。
【０１０５】
なお、ここで選択された変形影響領域については、これより後のステップＳ１０８の選択における選択候補から外すものとする。すなわち、今回のステップＳ１０８では、以前のステップＳ１０８で選択された（すなわち、既に変形を受けた）変形影響領域は、選択されないことになる。ただし、例えば、領域番号の小さい順に選択する方法又は領域番号の大きい順に選択する方法においては、既に選択された（変形が行われた）変形影響領域は、自ずと選択候補から外れることになる。
【０１０６】
なお、上記では、既に選択された（変形が行われた）変形影響領域については選択候補から外すものとしたが、例えば、重要度が低い順に選択する場合において、変形が行われても変形影響領域は残っているため、再度、その重要度を算出することは可能である。それゆえ、既に選択された（変形が行われた）変形影響領域についても、選択候補から外さずに、再度、重要度を算出するようにしても良い。
【０１０７】
また、ここで重要度を使用しない場合には、変形影響領域群算出部１４により重要度の算出は、省いても構わない。
【０１０８】
＜変形情報算出部１６＞
次に、変形情報算出部１６は、拡大を実行する際に使用する拡大中心と拡大倍率を求める（ステップＳ１０９）。
【０１０９】
拡大中心を求める方法としては、例えば、被選択変形影響領域の内接境界を構成する頂点の座標の平均値を求めて、これを拡大中心として使用する方法、被選択変形影響領域の内接境界の内部に含まれるパッチ群の重心を求めて、これを拡大中心として使用する方法など、種々の方法が可能である。
【０１１０】
拡大倍率を求める方法にも、種々の方法がある。
【０１１１】
例えば、被選択変形影響領域の内接境界を構成する各頂点と拡大中心のＸＹ平面上での距離とをそれぞれ求めた後、その最大値を元の距離Ｌとし、Ｌに対してあらかじめ決められた値ａを加算したＬ’を求めた後、Ｌ’／Ｌ（＝１＋ａ／Ｌ）を求めて、これを拡大倍率として用いる方法がある。
【０１１２】
また、他の方法も可能である。例えば、図１１に示すように、拡大中心８０２から被選択変形影響領域８０１の内接境界を構成する頂点８０３への半直線を考え、半直線がさらに外接境界と交差する交点８０６を求め、頂点８０３と交点８０６との間の距離を求める処理を、内接境界を構成する全ての頂点に対して行った後に、その最小値ＬＩｍｉｎを求める。また、これと共に、例えば、拡大中心８０２から外接境界を構成する頂点８０４への線分を考え、線分がさらに内接境界と交差する交点８０５を求め、頂点８０４と交点８０５との間の距離を求める処理を、外接境界を構成する全ての頂点に対して行った後に、その最小値ＬＯｍｉｎを求める。求められたＬＩｍｉｎとＬＯｍｉｎとのうちで小さい方の値を最終的なａとする。そして、ＬＩｍｉｎが最小値の場合には、最小値をとった際の頂点８０３までの距離をＬとし、ＬＯｍｉｎが最小値の場合には、最小値をとった際の交点８０５までの距離をＬとして、上記と同様に拡大倍率を求める。
【０１１３】
また、この他にも、例えば、拡大倍率を１．０から段階的に大きくし、その都度、外接境界と内接境界とが交差するかを確認して、交差した時点の一つ前の拡大倍率を採用する方法など、種々の方法が可能である。
【０１１４】
＜メッシュ変形部１７＞
メッシュ変形部１７は、変形情報処理部１６で求めた拡大中心と拡大倍率で、メッシュ画像における被選択変形影響領域に係る被変形頂点群を拡大する（ステップＳ１１０）。ただし、輝度Ｉ又は色情報ＲＧＢのような成分については拡大せず、ＸＹ座標値についてのみ拡大するものとする。
【０１１５】
なお、メッシュ変形部１７は、被選択変形影響領域の内部のメッシュを、被変形頂点群の拡大に応じて、縮小しても良い。
【０１１６】
さて、上記までで、一つの変形影響領域に関する拡大処理が実行されたわけであるが、変形影響領域群に要素が存在し、且つ、予め指定された拡大倍率まで拡大されていない場合には（ステップＳ１１１）、ステップＳ１０８に戻って同様の処理を繰り返す。
【０１１７】
また、変形影響領域群に要素が存在しないか、又は、上記指定された拡大倍率に達した場合には（ステップＳ１１１）、繰り返し処理のループを抜けて、ステップＳ１１２に進む。
【０１１８】
拡大倍率は、画像処理装置内に予め固定的に設定されていても良いし、その都度、外部から画像処理装置へ（例えば、ユーザ又は他のプロセスが）指定しても良いし、画像処理装置が所定の方法で自立的に設定しても良い。
【０１１９】
予め指定された拡大倍率まで拡大されたか否かの判断は、例えば、それまでの拡大処理における拡大倍率をすべて乗じて得た値が、予め指定された拡大倍率以上であるか否かによって、判定するなど、種々の判定方法が可能である。
【０１２０】
また、ステップＳ１１１における更なる繰り返し処理を行うかどうかの判断については、他にも種々の方法が可能である。
【０１２１】
＜メッシュ提示部１８＞
メッシュ提示部１８では、サムネイル画像を（例えば表示画面上に）提示する（ステップＳ１１２）。
【０１２２】
なお、この提示に先立って、これまでの処理によって変形された元画像（メッシュ画像）を、メッシュで表現されない一般的な画像表現（非メッシュ画像）に変換して、これをサムネイル画像とする。これは、例えば、各ピクセルのＸＹ座標と、ＸＹ平面上でその座標を含むパッチとから、輝度Ｉを算出（カラー画像の場合にはチャネルごとに算出）することで可能である。
【０１２３】
なお、メッシュ提示部１８が、前述の非メッシュ画像生成部２１と同様の非メッシュ画像生成部（図示せず）を備えて、この変換処理を行っても良い。
【０１２４】
また、前述の非メッシュ画像生成部２１がこの変換処理を行っても良い。また、前述の非メッシュ画像生成部２１は、メッシュ提示部１８の内部又は他の箇所にあっても良い。
【０１２５】
なお、サムネイル画像においては、変形が行われた変形影響領域に対応する箇所の内部に、その変形影響領域に対応する元画像における画像を縮小したもの（以下、縮小画像と呼ぶ）が含まれるが、サムネイル画像におけるその縮小画像の部分を、例えばその周りの領域の画素値に基づいて、より目立たない画像になるように、修正しても良い。
【０１２６】
なお、メッシュ提示部１８は、生成されたサムネイル画像を（例えば表示画面上に）提示するのに加えて又はその代わりに、生成されたサムネイル画像を所定の対象に出力しても良い。
【０１２７】
この場合に、メッシュ提示部１８は、例えば、ＲＯＭ若しくはＲＡＭ又はＨＤＤなどのような一般的な記憶媒体にサムネイル画像を保存しても良いし、インターネット又はイントラネットなどのような有線又は無線のネットワークを介して所定の宛先にサムネイル画像を送信しても良いし、有線又は無線で直接接続された近隣の固定型又は携帯型の装置にサムネイル画像を保存しても良い。
【０１２８】
本実施形態によれば、元画像の中でユーザに注目され易いと思われる領域或いは特徴的と思われる注目領域（例えば、建造物又は人物など）以外の元画像における部分により視認される、当該元画像の特徴に関する視覚的情報（例えば、当該元画像が撮影されたシチュエーション或いは当該元画像のもつ雰囲気など）をある程度保ちつつ、注目領域を強調（拡大）したサムネイル画像を生成することが可能になる。
【０１２９】
（第２の実施形態）
以下、第２の実施形態について第１の実施形態と相違する点を中心に説明する。
【０１３０】
図１２に、本実施形態の画像処理装置の構成例のブロック図を示す。
【０１３１】
図１２に示されるように、本実施形態の構成例は、第１の実施形態の構成例（図１）に更に領域指定部（指定部）１９を備えたものである。
【０１３２】
＜領域指定部１９＞
領域指定部１９は、注目領域をユーザがある程度指定できるようにするために、外部から領域指定情報を取得するためのものである。
【０１３３】
領域指定情報とは、例えば、特定の間隔で、直線又は曲線をつないだ閉ループであり、端点位置及び順序などが保存される。
【０１３４】
領域指定情報は、例えば、マウス入力などのユーザ入力により、リアルタイムに生成しても良いし、上記の情報が記憶されたファイルを読み込んでも良い。その他の手段であっても、上記のような閉ループが入力されれば良い。
【０１３５】
図１３に、本実施形態の画像処理装置の処理手順例のフローチャートを示す。第１の実施形態（図６）と相違する点は、「領域指定情報の取得」が追加されている点である。なお、「領域指定情報の取得」は、注目領域算出部１２による処理が実行される以前の任意のタイミングで行われても良い。
【０１３６】
本実施形態において、領域指定部１９以外で、第１の実施形態と相違する点があるのは、注目領域算出部１２である。
【０１３７】
以下、注目領域算出部１２について、第１の実施形態と相違する点を説明する。
【０１３８】
本実施形態における注目領域算出部１２は、領域指定部１９から取得した領域指定情報に基づいて、注目領域を算出する。
【０１３９】
注目領域算出部１２は、例えば、上記閉ループ（領域指定情報）に含まれるパッチを全て算出し、そのパッチ群を、注目領域とする。
【０１４０】
閉ループに含まれるか否かの基準については、例えば、  
（１）当該パッチの一部分でも閉ループ内に存在すれば、当該パッチが閉ループに含まれるものとする、  
（２）当該パッチの閉ループ内に存在する部分の面積を当該パッチの全面積で除して得られる割合が、予め定められた閾値を超えるときのみ、当該パッチが閉ループに含まれるものとする、  
（３）当該パッチの全面が閉ループに内包されるときのみ、当該パッチが閉ループに含まれるものとする、  
など、種々の基準が考えられる。
【０１４１】
例えば、図５の例において、１３０で示される閉ループが指定された場合に、上記の（３）の基準を使用したときに、３００で示される注目領域が得られる。
【０１４２】
本実施形態によれば、第１の実施形態に加えて、注目領域をユーザにとって制御可能とすることができる。
【０１４３】
ところで、上述の実施形態（第１の実施形態、第２の実施形態）の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の画像処理装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータ又は組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であっても良い。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の画像処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでも良い。  
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行しても良い。  
さらに、本実施形態における記録媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記録媒体も含まれる。  
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であっても良い。
【０１４４】
なお、本実施形態におけるコンピュータ又は組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。  
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
【０１４５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１４６】
１１…メッシュ取得部、１２…注目領域算出部、１３…変形影響度算出部、１４…変形影響領域群算出部、１５…変形影響領域選択部、１６…変形情報算出部、１７…メッシュ変形部、１８…メッシュ提示部、１９…領域指定部、２１…非メッシュ画像生成部、２２…メッシュ画像生成部２２。
【図１】
2013196009.tif 000003
【図２】
2013196009.tif 000004
【図３】
2013196009.tif 000005
【図４】
2013196009.tif 000006
【図５】
2013196009.tif 000007
【図６】
2013196009.tif 000008
【図７】
2013196009.tif 000009
【図８】
2013196009.tif 000010
【図９】
2013196009.tif 000011
【図１０】
2013196009.tif 000012
【図１１】
2013196009.tif 000013
【図１２】
2013196009.tif 000014
【図１３】
2013196009.tif 000015