(57)【要約】【課題】少ない処理量およびメモリ消費量で画像の変形を行うことができる画像処理装置を提供する。【解決手段】入力された画像の少なくとも一部を変形する画像処理装置であって、入力画像を取得する画像取得手段と、前記入力画像に含まれる、変形対象のオブジェクトを特定するオブジェクト特定手段と、二次元平面における画素の移動量を定義したマップである移動量マップを記憶するマップ記憶手段と、前記移動量マップを、前記変形対象のオブジェクトの形状にあわせて変形させるマップ変形手段と、前記変形後の移動量マップに基づいて、前記オブジェクトに対応する画素の移動量を決定し、当該画素を移動させることで画像の変形を行う画像変形手段と、を有する。【選択図】図１
2015176251.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像の少なくとも一部を変形する画像処理装置であって、
入力画像を取得する画像取得手段と、
前記入力画像に含まれる、変形対象のオブジェクトを特定するオブジェクト特定手段と、
二次元平面における画素の移動量を定義したマップである移動量マップを記憶するマップ記憶手段と、
前記移動量マップを、前記変形対象のオブジェクトの形状にあわせて変形させるマップ変形手段と、
前記変形後の移動量マップに基づいて、前記オブジェクトに対応する画素の移動量を決定し、当該画素を移動させることで画像の変形を行う画像変形手段と、
を有することを特徴とする、画像処理装置。
【請求項２】
前記変形対象のオブジェクトについて、画素を移動させる方向を設定する移動方向設定手段をさらに有し、
前記画像変形手段は、前記設定された方向に対象の画素を移動させる
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクト特定手段は、変形対象のオブジェクトに対応する制御点を抽出し、
前記移動方向設定手段は、前記制御点の位置に基づいて、前記移動量マップを変形させる
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記画像変形手段は、前記変形後の移動量マップと、前記変形対象のオブジェクトとの位置合わせを行い、画素に対応する移動量を決定する
ことを特徴とする、請求項２または３に記載の画像処理装置。
【請求項５】
前記移動方向設定手段は、前記画像上に目標点を設定することで画素を移動させる方向を設定し、
前記移動量マップは、前記目標点に対応する点の座標を有しており、
前記画像変形手段は、前記目標点を用いて、変形後の移動量マップと、前記変形対象のオブジェクトとの位置合わせを行う
ことを特徴とする、請求項４に記載の画像処理装置。
【請求項６】
前記マップ記憶手段は、複数の移動量マップを記憶しており、
前記マップ変形手段および画像変形手段は、複数の移動量マップのうち、変形対象のオブジェクトに対応する移動量マップを選択して処理を行う
ことを特徴とする、請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
入力された画像の少なくとも一部を変形する画像処理装置が行う画像処理方法であって、
入力画像を取得する画像取得ステップと、
前記入力画像に含まれる、変形対象のオブジェクトを特定するオブジェクト特定ステップと、
二次元平面における画素の移動量を定義したマップである移動量マップを、前記変形対象のオブジェクトの形状にあわせて変形させるマップ変形ステップと、
前記変形後の移動量マップを用いて、前記オブジェクトに対応する画素の移動量を決定し、当該画素を移動させることで画像の変形を行う画像変形ステップと、
を含むことを特徴とする、画像処理方法。
【請求項８】
入力された画像の少なくとも一部を変形する画像処理装置に、
入力画像を取得する画像取得ステップと、
前記入力画像に含まれる、変形対象のオブジェクトを特定するオブジェクト特定ステップと、
二次元平面における画素の移動量を定義したマップである移動量マップを、前記変形対象のオブジェクトの形状にあわせて変形させるマップ変形ステップと、
前記変形後の移動量マップを用いて、前記オブジェクトに対応する画素の移動量を決定し、当該画素を移動させることで画像の変形を行う画像変形ステップと、
を実行させることを特徴とする、画像処理プログラム。
【請求項９】
請求項８に記載の画像処理プログラムが記録された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の一部を変形させる画像処理装置に関する。
【背景技術】
【０００２】
近年、被写体をより美しく写すための機能を搭載したデジタルカメラや、撮影された画像をより美しく加工する機能を有したソフトウェアが普及している。このような機能の一つに、画像の一部を変形させる機能がある。当該機能を用いると、例えば、写真に写った人物の顔や口を小さく補正したり、目を大きく補正したりすることができる。
【０００３】
画像の一部を、当該画像を鑑賞する人に違和感を与えないように変形させる方法について、様々な手法が開発されている。例えば、特許文献１に記載の画像変形装置では、画像中の補正したい領域（例えば人の顔など）をグリッドで分割し、グリッドごとに画素の移動量や移動方向を算出することで画像の変形を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５２４０７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の装置では、メモリ空間に画像データを一旦展開し、三次元スプライン補間を利用してグリッドごとに補正の度合いを算出することで画像の変形処理を行っている。一方、画像を変形させる機能を携帯電話などのポータブルデバイスに搭載する場合、メモリ容量や処理速度の制限により、大量のデータを展開して複雑な演算を行うことが困難である場合が多い。
【０００６】
本発明は上記の課題を考慮してなされたものであり、少ない処理量およびメモリ消費量で画像の変形を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、画像の少なくとも一部を変形させることで、当該画像に含まれる対象物（以下、オブジェクト）を所望の形状に変形させる装置である。
【０００８】
具体的には、本発明の第一の様態に係る画像処理装置は、
入力された画像の少なくとも一部を変形する画像処理装置であって、入力画像を取得する画像取得手段と、前記入力画像に含まれる、変形対象のオブジェクトを特定するオブジェクト特定手段と、二次元平面における画素の移動量を定義したマップである移動量マップを記憶するマップ記憶手段と、前記移動量マップを、前記変形対象のオブジェクトの形状にあわせて変形させるマップ変形手段と、前記変形後の移動量マップに基づいて、前記オブジェクトに対応する画素の移動量を決定し、当該画素を移動させることで画像の変形を行う画像変形手段と、を有することを特徴とする。
【０００９】
オブジェクト特定手段は、画像に含まれる変形対象のオブジェクトを特定する手段である。変形対象のオブジェクトとは、例えば、被写体が人間の顔である場合、顔全体であってもよいし、目や口などであってもよい。また、人間の顔以外であってもよい。また、変形対象のオブジェクトは、自動的に検出してもよいし、ユーザによって指定されてもよい。
【００１０】
移動量マップは、画素の移動量を定義した二次元のマップである。本発明に係る画像処理装置は、マップ変形手段が、移動量マップをオブジェクトの形状にあわせて変形させ、変形後の移動量マップに基づいて画素の移動量を決定する。かかる構成によれば、複雑な演算を行わずとも、マップと画素との対応関係をとるだけで、オブジェクトを変形させるために必要な画素の移動量を求めることができる。すなわち、画像の変形を行うための処理コストを低く抑えることができる。
【００１１】
また、本発明に係る画像処理装置は、前記変形対象のオブジェクトについて、画素を移動させる方向を設定する移動方向設定手段をさらに有し、前記画像変形手段は、前記設定された方向に対象の画素を移動させることを特徴としてもよい。
【００１２】
移動方向設定手段によって、画素を移動させる方向を設定することで、オブジェクトの変形方法を指定することができる。例えば、「人物の顔に対応する画素を、顔の中心に向けて移動させる」とした場合、被写体として写っている人物の顔を小さく補正することができる。画素を移動させる方向は、ユーザから取得してもよいし、自動的に決定するようにしてもよい。例えば、オブジェクトの中心点を推定し、当該中心点に向けて画素を移動させるようにしてもよい。
【００１３】
また、前記オブジェクト特定手段は、変形対象のオブジェクトに対応する制御点を抽出し、前記移動方向設定手段は、前記制御点の位置に基づいて、前記移動量マップを変形させることを特徴としてもよい。
【００１４】
制御点とは、変形を行うオブジェクトの形状を特徴づける点であり、典型的には、オブジェクトのエッジやコーナーを表す点であるが、これに限られない。制御点を用いることで、変形対象のオブジェクトの形状により合った形状に移動量マップを変形させることができる。
【００１５】
また、前記画像変形手段は、前記変形後の移動量マップと、前記変形対象のオブジェクトとの位置合わせを行い、画素に対応する移動量を決定することを特徴としてもよい。
【００１６】
変形後の移動量マップと、変形対象のオブジェクトとの位置を合わせることで、移動させるべき画素とその移動量を対応付けることができる。なお、画像が有する画素ピッチと、マップのピッチとが一致していない場合、どちらかを拡大または縮小することでピッチを一致させるようにしてもよい。
【００１７】
また、前記移動方向設定手段は、前記画像上に目標点を設定することで画素を移動させる方向を設定し、前記移動量マップは、前記目標点に対応する点の座標を有しており、前記画像変形手段は、前記目標点を用いて、変形後の移動量マップと、前記変形対象のオブジェクトとの位置合わせを行うことを特徴としてもよい。
【００１８】
移動量マップの形状と、変形対象のオブジェクトの形状は必ずしも一致していない。そこで、移動量マップとオブジェクトとの位置を合わせるための共通の座標として、目標点を利用することができる。
【００１９】
また、前記マップ記憶手段は、複数の移動量マップを記憶しており、前記マップ変形手段および画像変形手段は、複数の移動量マップのうち、変形対象のオブジェクトに対応する移動量マップを選択して処理を行うことを特徴としてもよい。
【００２０】
このように、マップ記憶手段に、オブジェクトの種類または形状、変形の方法ごとにそ
れぞれ対応する複数の移動量マップを記憶させ、適合する移動量マップを用いて処理を行うようにしてもよい。このようにすることで、より自然な変形結果を得ることができる。
【００２１】
なお、本発明は、上記手段の少なくとも一部を含む画像処理装置として特定することができる。また、本発明は、画像処理方法として特定することもできる。また、本発明は、コンピュータに上記画像表示方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２２】
本発明によれば、少ない処理量およびメモリ消費量で画像の変形を行うことができる画像処理装置を提供することができる。
【図面の簡単な説明】
【００２３】
【図１】実施形態に係る撮像装置のシステム構成図である。
【図２】第一の実施形態で用いる移動量マップの例である。
【図３】変形を行う対象画像の例である。
【図４】制御点と目標点の配置位置を表した図である。
【図５】移動量マップの変形方法を説明する第一の図である。
【図６】移動量マップの変形方法を説明する第二の図である。
【図７】移動量マップの変形方法を説明する第三の図である。
【図８】画素の移動方法を説明する図である。
【図９】第一の実施形態に係る撮像装置の処理フローチャートである。
【図１０】第二の実施形態で用いる移動量マップの例である。
【発明を実施するための形態】
【００２４】
（第一の実施形態）
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
第一の実施形態に係る撮像装置は、撮影した画像から人の顔を検出し、当該顔や、顔に含まれる器官のサイズを補正する機能を有する撮像装置である。例えば、被写体である人物の顔や口のサイズを小さく補正することができる。図１は、第一の実施形態に係る撮像装置１０のシステム構成図である。
【００２５】
撮像装置１０は、撮像部１１、抽出部１２、移動量マップ記憶部１３、画像変形部１４、入出力部１５、メモリ１６から構成される。
【００２６】
撮像部１１は、画像を撮像する手段であり、典型的には、光学系と撮像素子、およびそのインタフェースからなる。画像を撮像することができれば、撮像部１１はどのような機器で構成されていてもよい。
【００２７】
抽出部１２は、撮像部１１によって撮像された画像から、変形を行う対象（以下、オブジェクト）を抽出する手段である。具体的には、画像中から人物の顔が含まれる領域を特定したうえで、当該領域に含まれる、目や口などの器官に対応する特徴点を抽出する。抽出した特徴点は、器官と対応づけて記憶される。
【００２８】
移動量マップ記憶部１３は、画素の移動量を定義した二次元のマップ（移動量マップ）を記憶する手段である。
図２は、移動量マップ記憶部１３に記憶される移動量マップの例である。マップ２０１の各格子に書かれた数値は、画素の移動量を表す値である。本実施形態では、画素の移動量を表す値としてピクセル数を用いるが、移動量は特定の単位に限定されない。例えば、
移動量に比例する係数であってもよい。
マップ２０１の中央に位置する黒丸は、画素を移動させる目標となる点（以下、目標点）である。また、マップ２０１中の点線２０２は、移動量のピークを図形で描画したものである（以下、移動量ピーク）。すなわち、マップ２０１は、「円周の近傍にある画素を円の中心に向けて移動させる」という変形に対応するマップである。マップ２０１は、二次元配列で表された移動量と、目標点の座標から構成される。
【００２９】
なお、移動量ピークは、移動量マップを変形する際に用いられる。移動量ピークについての情報は、移動量マップ自体に持たせてもよいし、移動量の配列からその都度求めるようにしてもよい。
【００３０】
画像変形部１４は、抽出部１２が抽出した特徴点と、移動量マップ記憶部１３に記憶された移動量マップに基づいて、画像を構成する画素の移動量と移動方向を決定したうえで、画像の変形を行う手段である。具体的な方法については後述する。
【００３１】
また、入出力部１５は、ユーザが行った入力操作を受け付け、ユーザに対して情報を提示する手段である。具体的には、タッチパネルとその制御手段、液晶ディスプレイとその制御手段から構成される。タッチパネルおよび液晶ディスプレイは、本実施形態では一つのタッチパネルディスプレイからなる。
メモリ１６は、変形を行った後の画像を記憶する手段である。メモリ１６は、フラッシュメモリ等の不揮発メモリであってもよいし、固定ディスクドライブなどであってもよい。
【００３２】
以上に説明した各手段の制御は、制御プログラムをＣＰＵなどの処理装置が実行することによって実現される。また、当該制御機能は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。
【００３３】
次に、撮影画像を変形する方法について説明する。
図３は、撮像部１１によって撮影された画像の例である。第一の実施形態に係る撮像装置１０は、撮影画像から人物の口を検出し、当該口のサイズを小さく補正する機能を有する撮像装置である。図３に示した画像を用いて、撮影画像を変形する方法について説明する。
【００３４】
（１）変形対象オブジェクトの特定処理
最初に、抽出部１２が行う処理について説明する。抽出部１２は、撮像部１１が撮影した画像から顔を検出し、変形を行うオブジェクトを特定する処理を行う。具体的には、以下の４つのステップを実行する。なお、画像の取得は完了しているものとする。
【００３５】
（１−１）顔領域の検出
最初のステップとして、まず、取得した画像から、顔が存在する領域（顔領域３０１）を検出する。画像に含まれる顔を検出する方法は公知のものであるため、詳細な説明は省略する。
【００３６】
（１−２）顔に含まれる器官の検出
次に、検出した顔領域３０１の内部から、目、鼻、口といった器官を検出する。検出対象の器官は、顔に含まれるものであれば、どのような器官であってもよい。例えば、目尻、目頭、口端点、あご、こめかみなどであってもよい。また、顔自体を検出対象としてもよいし、複数の器官を検出するようにしてもよい。本例では、口を対象として変形処理を行うため、口が存在する領域（口領域３０２）を抽出する。
なお、器官の検出には、公知の手法を用いることができる。例えば、テンプレート画像によるパターンマッチングを利用してもよいし、明暗の差によるパターンマッチングを利用してもよい。また、特徴点を抽出し、当該特徴点の位置関係に基づいて器官を特定してもよい。
【００３７】
（１−３）制御点の配置
次に、抽出部１２が、抽出した口領域３０２に制御点を配置する。制御点とは、変形を行う際の基準となる点であり、対象器官の形状を特徴づける点であることが好ましい。例えば、対象器官が目や口である場合、外縁を検出したうえで、制御点を当該外縁上に配置するとよい。また、器官のコーナー（例えば目尻や目頭、唇の両端など）を検出して制御点を配置するようにしてもよい。
図４は、口領域３０２を拡大した図である。ここでは、図４に示した制御点４０１Ａ〜Ｄを配置するものとする。なお、器官を検出する際に特徴点を抽出している場合、当該特徴点の位置を制御点の位置としてもよい。
【００３８】
（１−４）目標点の配置
次に、抽出部１２が、画像上に目標点を配置する。目標点とは、画像を変形させる際の、画素の移動方向を表す点である。本実施形態では、画像に含まれる人物の口を小さく補正するため、符号４０２で示したように、目標点を口の中心に配置する。このようにすることで、口に対応する画素を口の中心方向へ移動させることができ、結果として、口のサイズを小さく補正することができる。
なお、目標点の位置は、制御点の位置関係に基づいて求めるようにしてもよい。例えば、制御点４０１Ａ〜Ｄを通る楕円の重心を目標点としてもよい。また、器官を検出する際に特徴点を抽出している場合、当該特徴点の位置に基づいて目標点の位置を決定してもよい。例えば、対象の器官が目である場合、瞳の中心に目標点を設定するようにしてもよい。
【００３９】
なお、前述した例では、抽出部１２が、人物の口が含まれる領域を自動で抽出して、制御点および目標点の配置を行うようにしたが、制御点および目標点の配置は、ユーザが手動で行うようにしてもよい。また、制御点と目標点のいずれか、あるいは両方を手動で配置するようにしてもよい。制御点や目標点を手動で配置する場合、タッチパネルディスプレイに画像を表示し、所望の位置を指定できるようにしてもよい。また、所望の器官のみをユーザが指定し、指定された器官についてのみ、制御点や目標点の配置を行うようにしてもよい。
【００４０】
（２）画像の変形処理
次に、画像変形部１４が行う処理について説明する。画像変形部１４は、移動量マップに基づいて、撮影画像を変形する処理を行う。具体的には、以下の４つのステップを実行する。
【００４１】
（２−１）制御点と目標点に基づいて、移動量マップを変形する
まず、移動量マップ記憶部１３に記憶された移動量マップを取得し、当該移動量マップを、変形対象の器官に適した形状に変形する。
図２に示したマップ２０１は、正円に対応したオブジェクトを変形するためのマップであるが、変形を行う対象である口は正円ではない。そこで、マップ２０１の形状を変形することで、口の形状にマッチさせる処理を、以下の手順によって行う。
【００４２】
まず、配置した制御点を全て通る楕円を生成する。図４の例の場合、図５のように、制御点４０１Ａ〜Ｄを通る楕円５０１が生成される。
次に、生成した楕円の長径ＬXと短径ＬYを取得し、マップ２０１における移動量ピーク
２０２の直径（Ｄpとする）との比率をそれぞれ求める。そして、この結果得られた比率
によって、マップ２０１をＸ方向およびＹ方向に縮小させる。例えば、ＬX／Ｄpが０．９であり、ＬY／Ｄpが０．６であった場合、マップ２０１をＸ方向に９０％、Ｙ方向に６０％縮小させる。この処理により、マップ２０１は、図６に示したマップ６０１のような形状となる。
なお、本例では制御点を通るような楕円を生成したが、楕円に限らず、制御点の全てあるいは一部を通る任意の曲線または直線を生成するようにしてもよい。また、移動量マップを、変形対象の器官の形状と合わせることができれば、例示した方法とは異なる方法を用いて変形を行ってもよい。
【００４３】
（２−２）移動量マップの位置合わせを行う
次に、変形後の移動量マップと、変形を行う画像との位置合わせを行う。具体的には、マップ６０１が有している目標点と、画像に設定された目標点の座標を一致させ、マップ６０１の解像度を、画像の解像度と一致させる。解像度の変更は、例えばバイリニアサンプリングや、ニアレストネイバーサンプリング、線形補間など、既知の方法で行うことができる。図７は、マップ６０１の解像度を、画像の解像度と一致させた後の例である。
なお、移動量が、本実施形態のようにピクセルで定義されている場合には、マップの変形や解像度の変更に応じて、移動量の値を補正してもよい。
【００４４】
このような処理を行うと、変形を行う画像と、移動量マップに定義された移動量とが画素単位で対応した状態となる。すなわち、変形対象の画像が有する画素をどれだけ動かせばよいかという情報を得ることができる。
【００４５】
（２−３）移動量マップを用いて、対象画像の画素を移動させる
次に、移動量マップを用いて、対象画像の画素を移動させる処理を行う。具体的には、変形を行う対象画像の画素一つひとつについて、移動量マップによって移動量が割り当てられているかを判定し、当該移動量を用いて画素の移動を行う。
【００４６】
図８は、画素の移動方法を説明する図である。ここでは、画素８０１に「５」という移動量が割り当たっており、画素８０２に「３」という移動量が割り当たっていたものとする。まず、画素８０１について説明する。画像変形部１４は、処理対象の画素である画素８０１と目標点とを直線で結び、当該直線上にあって、処理対象の画素よりも外方にある画素の画素値を取得する。本例では、５ピクセル分の距離だけ離れて外方に位置する点８０３に対応する画素値を取得し、変更後の画素８０１に対応する画素値とする。また、画素８０２に対して処理を行う場合、３ピクセル分の距離だけ離れて外方に位置する点８０４に対応する画素値を取得し、変更後の画素８０２に対応する画素値とする。
なお、移動量が０である場合、元の画素値が使用される。
このような処理を全画素に対して行うと、変形後の画像を生成することができる。
【００４７】
なお、変形後の画像は、新規にメモリ領域を確保したうえで生成してもよいし、既存の画像に対して画素値を上書きすることで生成してもよい。後者の方法を用いる場合、後で当該画素が参照されるか否かを考慮しながら画素の処理順を決定すればよい。
また、画素値を取得する対象の点８０３および点８０４は、必ずしも特定の画素に対応しない場合がある（画素と画素の中間に位置する場合など）。このような場合、周辺の画素から画素値を補間することによって画素値を取得する。補間処理は、例えばバイリニア補間などの既知の方法によって行うことができる。
また、画素の移動は、例示した方法に限られず、他の公知のモーフィング手法を用いて行うようにしてもよい。
【００４８】
次に、以上に説明した機能を実現するための処理フローチャートについて説明する。
図９は、第一の実施形態に係る撮像装置１０が行う処理のフローチャートである。当該処理は、ユーザの操作（例えば、画像を撮像する操作）によって開始される。
【００４９】
まず、ステップＳ１１で、撮像部１１が画像を撮像する。
次に、ステップＳ１２で、抽出部１２が、撮影した画像から、人の顔が含まれる領域（顔領域）を検出し、当該顔領域に含まれる器官（本実施形態では口）を検出する。本ステップでは、（１−１）および（１−２）で説明した処理が行われる。なお、顔や器官の判別は、パターンマッチング等を用いて行ってもよいし、複数の特徴点を検出したうえで、当該特徴点の位置関係を用いて行ってもよい。
【００５０】
ステップＳ１３では、抽出部１２が、対象の器官に対して制御点と目標点を配置する。本ステップでは、（１−３）および（１−４）で説明した処理が行われる。本実施形態では、口の外縁に制御点を４つ配置し、口の中心に目標点を配置する。
【００５１】
次に、ステップＳ１４で、画像変形部１４が、移動量マップ記憶部１３から移動量マップを取得し、設定された制御点に基づいて変形を行ったうえで、位置合わせを行う。本ステップでは、（２−１）および（２−２）で説明した処理が行われる。
次に、ステップＳ１５で、画像変形部１４が、変形後の移動量マップを用いて対象画像に含まれる画素を移動させ、変形後の画像を生成する。本ステップでは、（２−３）で説明した処理が行われる。変形後の画像は、メモリ１６に格納され、ユーザに供される。
【００５２】
以上説明したように、第一の実施形態に係る撮像装置は、画像の変形を行う際に、予め記憶された移動量マップを変形させることで、画素の移動量と移動方向を決定する。従来の手法では、画素やグリッドといった移動対象ごとに補正の度合いを算出するため、複雑な計算を行う必要があるが、本実施形態に係る撮像装置では、単純な処理で画像の変形を行うことができるため、より少ない処理量で画像の変形を実現することができる。また、画素の参照依存関係が単純であるため、処理順序を工夫することで、バッファリング用のメモリを用いずとも、変形後の画像を取得することができる。
【００５３】
（第二の実施形態）
第一の実施形態では、移動量マップ記憶部１３に単一の移動量マップを記憶させた。これに対し、第二の実施形態は、移動量マップ記憶部１３に複数の移動量マップを記憶させ、対象に適合する移動量マップを選択して画像変形処理を行う実施形態である。
第二の実施形態に係る撮像装置の構成は、第一の実施形態と同様であるため、詳細な説明は省略し、相違点のみを説明する。
【００５４】
第二の実施形態では、変形対象のオブジェクトや、変形の方法ごとにそれぞれ対応する複数の移動量マップを、移動量マップ記憶部１３に記憶させる。本実施形態では、図２に示したマップ２０１に加え、図１０に示したマップ１００１を移動量マップ記憶部１３に記憶させる例を用いて説明する。マップ１００１は、「水平方向に位置する画素を中心線１００２の方向に引き寄せる」という変形に対応する移動量マップである。これにより、例えば、口の横方向のサイズはそのままで唇を薄くするといった効果を得ることができる。
【００５５】
第二の実施形態は、ステップＳ１３で、抽出部１２が目標点を配置するかわりに、ユーザが、入出力部１５（タッチパネル）を通して画素の移動方向を指定する。ここでは、画素の移動方向として、点もしくは直線を描画によって指定するものとする。
【００５６】
ステップＳ１４では、第一の実施形態で説明した処理に加え、記憶された複数の移動量マップから使用するマップを選択する処理が追加される。例えば、ユーザによって点が指
定された場合、マップ２０１を選択し、直線が指定された場合、マップ１００１を選択する。
【００５７】
移動量マップを変形する処理は、第一の実施形態と同様であるが、画素の移動方向として直線（以下、目標線）が指定された場合、当該目標線の向きに応じて、マップ１００１を回転する処理を付加してもよい。また、図１０の例の場合、移動量ピークは符号１００３および１００４で示した直線によって表される。当該移動量マップを変形する際の変形量は、当該移動量ピークが、画像中に配置された制御点と重なるような値としてもよい。
また、移動量マップの位置合わせは、第一の実施形態では目標点を用いて行ったが、第二の実施形態では、目標線を用いて行う。
【００５８】
このように、第二の実施形態では、オブジェクトの変形方法に応じて複数の移動量マップから、使用する移動量マップを選択する。これにより、複数の変形方法をユーザが選択できるようになる。
【００５９】
なお、第二の実施形態では、画素の移動方向が点によって指定された場合と、直線によって指定された場合とで、使用する移動量マップを切り替えたが、使用する移動量マップは他の方法によって選択してもよい。例えば、変形の強さをユーザに指定させ、当該強さに応じて異なる移動量マップを選択するようにしてもよい。また、変形対象のオブジェクトを選択できる場合、選択されたオブジェクトの種類や形状に応じて、適合する移動量マップを選択するようにしてもよい。
【００６０】
（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
【００６１】
例えば、実施形態の説明では、撮像部を有する撮像装置を例に説明を行ったが、画像は必ずしもカメラを介して取得する必要はなく、例えば、装置の外部から有線または無線ネットワークを介して取得するようにしてもよい。また、ディスクドライブやフラッシュメモリ等の記憶装置に記憶された画像を取得するようにしてもよい。このように、本発明は、入力された画像を変形する画像処理装置として実施してもよい。また、画像処理ソフトウェアとして実施してもよい。
【００６２】
また、実施形態の説明では、人間の顔を検出し、顔に含まれる器官を縮小させる例を挙げたが、変形対象は必ずしも人の顔でなくてもよい。また、実施形態の説明では、画素を移動させる目標をマップの中心側に配置することで、オブジェクトを縮小させる例を挙げたが、画素を移動させる目標をマップの外側に配置することで、オブジェクトを拡大させるようにしてもよい。また、目標点はマップの中心側に配置したままで、移動量を負の値とすることでオブジェクトを拡大するようにしてもよい。
【００６３】
また、実施形態の説明では、移動量マップの例として、マップ２０１およびマップ１００１を挙げたが、移動量マップは、画素の移動量と移動方向を定義することができれば、他のどのような形式であってもよい。また、画素を移動させる方向は、点や線以外で定義してもよい。
【符号の説明】
【００６４】
１０  撮像装置
１１  撮像部
１２  抽出部
１３  移動量マップ記憶部
１４  画像変形部
１５  入出力部
１６  メモリ
【図１】
2015176251.tif 000003
【図２】
2015176251.tif 000004
【図３】
2015176251.tif 000005
【図４】
2015176251.tif 000006
【図５】
2015176251.tif 000007
【図６】
2015176251.tif 000008
【図７】
2015176251.tif 000009
【図８】
2015176251.tif 000010
【図９】
2015176251.tif 000011
【図１０】
2015176251.tif 000012