(57)【要約】  【課題】  人物画像を鮮明に表示でき、かつ、遊戯性を高め得る、画像処理方法を提供する。  【解決方法】  入力画像における身体部分領域の位置を検出する。検出した身体部分領域の位置に合わせて、装飾の座標系の原点の位置を定める。定めた原点の位置に基づいて、入力画像に装飾を配置した画像を出力する。入力画像において、人物被写体が移動したときに、その移動に応じて、装飾を移動させる。人物画像及び装飾の双方が動いていても、装飾が人物画像に干渉しないようにすることができ、人物画像を鮮明に表示でき、装飾の動きを人物画像の動きに協調させることにより、遊戯性を高めることができる。【選択図】  図１
2004171543.tif 000002
【特許請求の範囲】
【請求項１】
入力画像における身体部分領域の位置を検出するステップと、
検出した身体部分領域の位置に合わせて、装飾の座標系の位置を定めるステップと、
定めた位置に基づいて、入力画像に装飾を配置した画像を出力するステップとを含む、画像処理方法。
【請求項２】
前記出力するステップでは、装飾を入力画像に描画した画像データを出力する請求項１記載の画像処理方法。
【請求項３】
前記出力するステップでは、入力画像と装飾とを関連付けた画像データを出力する請求項１記載の画像処理方法。
【請求項４】
入力画像と装飾とは、メタファイルにより関連付けられる請求項３記載の画像処理方法。
【請求項５】
前記メタファイルは、ＳＭＩＬ形式である請求項４記載の画像処理方法。
【請求項６】
入力画像における身体部分領域のサイズを検出するステップと、
検出した身体部分領域のサイズに合わせて、装飾の座標系のスケールを定めるステップと、
定めたスケールに基づいて、入力画像に装飾を配置した画像を出力するステップとを含む、画像処理方法。
【請求項７】
身体部分領域の、入力画像の平面内での回転量を検出するステップと、
検出した回転量に合わせて、装飾の座標系の回転量を定めるステップと、
定めた回転量に基づいて、入力画像に装飾を配置した画像を出力するステップとを含む、画像処理方法。
【請求項８】
身体部分領域の、入力画像の平面に対する回転量を検出するステップと、
検出した回転量に合わせて、装飾の座標系の回転量を定めるステップと、
定めた回転量に基づいて、入力画像に装飾を配置した画像を出力するステップとを含む、画像処理方法。
【請求項９】
入力画像における身体部分領域を検出するステップと、
装飾の不透明度を、検出した身体部分領域の前景側にある領域と、背景側にある領域とで、異なるように定めるステップと、
定めた不透明度に基づいて、入力画像に装飾を配置した画像を出力するステップとを含む、画像処理方法。
【請求項１０】
装飾が、身体部分領域に衝突する際、装飾の移動方向を、身体部分領域から離れる向きに、変更する、請求項１記載の画像処理方法。
【請求項１１】
身体部分領域は、人物被写体の顔領域である、請求項１から１０記載の画像処理方法。
【請求項１２】
入力画像を記憶する入力画像記憶部と、
身体部分領域のテンプレートを記憶するテンプレート記憶部と、
前記テンプレート記憶部のテンプレートを用いて、前記入力画像記憶部に記憶された入力画像から、身体部分領域を検出する検出部と、
装飾情報を記憶する装飾情報記憶部と、
前記検出部が検出した身体部分領域の変化に同調するように、装飾の配置情報を定める装飾配置部とを備える、画像処理装置。
【請求項１３】
前記装飾配置部が定めた配置情報に基づいて、装飾を入力画像に配置した画像を出力する合成部を備える、請求項１２記載の画像処理装置。
【請求項１４】
前記検出部は、身体部分領域の、入力画像の平面内での回転量を検出し、前記装飾配置部は、前記検出部が検出した回転量の変化に同調するように、装飾の配置情報を定める、請求項１２から１３記載の画像処理装置。
【請求項１５】
前記検出部は、身体部分領域の、入力画像の平面に対する回転量を検出し、前記装飾配置部は、前記検出部が検出した回転量の変化に同調するように、装飾の配置情報を定める、請求項１２から１３記載の画像処理装置。
【請求項１６】
前記装飾情報は、装飾画像データと、トランスフォームプロパティとが、関連付けて構成される、請求項１２から１５記載の画像処理装置。
【請求項１７】
前記装飾情報は、装飾画像データと、マスクデータとが、関連付けて構成される、請求項１２から１６記載の画像処理装置。
【請求項１８】
入力画像を記憶する入力画像記憶部と、
身体部分領域のテンプレートを記憶するテンプレート記憶部と、
前記テンプレート記憶部のテンプレートを用いて、前記入力画像記憶部に記憶された入力画像から、身体部分領域を検出する検出部と、
装飾情報を記憶する装飾情報記憶部と、
前記検出部が検出した身体部分領域の変化に同調するように、装飾の配置情報を定める装飾配置部とを備える、携帯電話。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を用いる通信装置（例えば、テレビ電話、テレビ会議、ビデオメールあるいはビデオチャットのための装置やドアフォン等）に組み込まれる画像処理装置に関し、さらに詳しくは、人物画像（例えば、利用者の顔画像や全身画像など）を編集する画像処理装置に関するものである。
【背景技術】
【０００２】
利用者を撮影した画像を、各種の印刷媒体に印刷して出力する遊戯機器がある。このものは、撮影した人物画像に、装飾（例えば、絵柄や模様など）のフレームを重ね合わせて合成し、印刷媒体（例えば、シールなど）に印刷して出力するようになっている。
【０００３】
このような遊戯機器は、それ自体において、人物画像と装飾との位置関係を調整する機能を持たない。したがって、利用者が、人物画像を、装飾フレーム内に収まるように配置しても、装飾が人物画像に重なり、顔部分や頭部分などが隠れてしまって、人物画像が不鮮明になることがあった。
【０００４】
特許文献１（特開２０００−２２９２９号公報）は、この点を考慮したものであり、装飾が、人物画像の身体部分、特に、その顔や頭に対応して設定された身体部分領域に、重ならないようにした上で、装飾を付加する技術を、提案している。
【０００５】
一方、最近、撮影した人物画像に、装飾フレームと重ね合わせて合成し、合成した画像を送信する機能を備えた、カメラ付き携帯電話が、実用化されている。送信者が、このようなカメラ付き携帯電話を使用すると、受信者は、送信者が編集した画像を見るという、楽しみを享受できる。
【特許文献１】特開２０００−２２９２９号公報（第３−７頁）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１では、装飾が、動かないことを前提とする。そして、この文献記載の技術では、人物画像の身体部分、特に、その顔や頭に対応して設定された身体部分領域に、装飾が重ならないように、装飾を付加している。
【０００７】
この文献では、印刷媒体への印刷を、出力としており、また、一旦印刷された画像を、印刷後に編集することは、通常あり得ないから、このような考え方は、妥当であるといえよう。
【０００８】
ところが、上述のようなカメラ付き携帯電話が普及してきており、ここでは、合成画像は、普通の場合、印刷媒体へ印刷されずに、ディスプレイに表示されることになる。そして、今後、利用者は、さらなる楽しさを得るために、装飾を動かしたいと思うようになるであろう。
【０００９】
しかしながら、従来技術では、動かない装飾を、動かない人物画像に付加することしか考慮されておらず、動く装飾の付加ということは、全く考慮されていない。このため、単純に、従来技術を、動く人物画像に適用すると、人物画像と装飾とが干渉して、人物画像が不鮮明になったり、遊戯性を高めるような利用ができない。
【００１０】
そこで本発明は、人物画像を鮮明に表示でき、かつ、遊戯性を高め得る、画像処理方法及びその間連技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１記載の画像処理方法では、入力画像における身体部分領域の位置を検出するステップと、検出した身体部分領域の位置に合わせて、装飾の座標系の位置を定めるステップと、定めた位置に基づいて、入力画像に装飾を配置した画像を出力するステップとを含む。
【００１２】
この構成によれば、入力画像において、人物被写体が移動したときに、その移動に応じて、装飾を移動させることができる。
【００１３】
請求項２記載の画像処理方法では、出力するステップでは、装飾を入力画像に描画した画像データを出力する。
【００１４】
この構成により、出力される画像の転送先では、入力画像と装飾とを合成する必要はない。
【００１５】
請求項３記載の画像処理方法では、出力するステップでは、入力画像と装飾とを関連付けた画像データを出力する。
【００１６】
この構成により、出力される画像の転送先は、入力画像を復元しやすく便利である。
【００１７】
請求項４記載の画像処理方法では、入力画像と装飾とは、メタファイルにより関連付けられる。
【００１８】
この構成により、入力画像と装飾とを簡潔に関連付けることができる。
【００１９】
請求項５記載の画像処理方法では、メタファイルは、ＳＭＩＬ形式である。
【００２０】
この構成により、入力画像と装飾との関連付けを、容易に実施できる。
【００２１】
請求項６記載の画像処理方法では、入力画像における身体部分領域のサイズを検出するステップと、検出した身体部分領域のサイズに合わせて、装飾の座標系のスケールを定めるステップと、定めたスケールに基づいて、入力画像に装飾を配置した画像を出力するステップとを含む。
【００２２】
この構成によれば、人物被写体が撮像体に近づいたときは、装飾のサイズ及び移動パスが、共に大きくなる。逆に、遠くなったときは、装飾のサイズ及び移動パスが、共に小さくなる。これにより、人物被写体の前後方向の動きに対して、装飾が、追従しているように見せることができる。
【００２３】
請求項７記載の画像処理方法では、身体部分領域の、入力画像の平面内での回転量を検出するステップと、検出した回転量に合わせて、装飾の座標系の回転量を定めるステップと、定めた回転量に基づいて、入力画像に装飾を配置した画像を出力するステップとを含む。
【００２４】
この構成によれば、顔を横に傾けたようなときに、装飾を傾け、かつ装飾の移動パスも傾けることができるので、人物の入力画像の平面内における、回転方向の変化に対しても、装飾が追従しているように見せることができる。
【００２５】
請求項８記載の画像処理方法では、身体部分領域の、入力画像の平面に対する回転量を検出するステップと、検出した回転量に合わせて、装飾の座標系の回転量を定めるステップと、定めた回転量に基づいて、入力画像に装飾を配置した画像を出力するステップとを含む。
【００２６】
この構成によれば、人物が「回れ右」をしているような場合、装飾と移動パスを、人物の回転に応じて変形させることができる。したがって、人物が、入力画像の平面に対する向きの変化に対して、装飾が追従しているように見せることができる。
【００２７】
請求項９記載の画像処理方法では、入力画像における身体部分領域を検出するステップと、装飾の不透明度を、検出した身体部分領域の前景側にある領域と、背景側にある領域とで、異なるように定めるステップと、定めた不透明度に基づいて、入力画像に装飾を配置した画像を出力するステップとを含む。
【００２８】
この構成によれば、装飾の移動パスが、身体部分領域の背面に来たときに装飾を消すことができるので、あたかも、装飾が、身体部分領域を取り巻き、それを中心に立体的に動いているように見せることができる。
【００２９】
請求項１０記載の画像処理方法では、装飾が、身体部分領域に衝突する際、装飾の移動方向を、身体部分領域から離れる向きに、変更する。
【００３０】
この構成によれば、装飾に、身体部分領域にぶつかったときに反射するような動きを、与えることができる。
【００３１】
請求項１１記載の画像処理方法では、身体部分領域は、人物被写体の顔領域である。
【００３２】
この構成において、顔は、人物の意思や感情を如実に示すため、顔領域を身体部分領域に選べば、遊戯性を高める効果大である。
【発明の効果】
【００３３】
本発明によれば、人物画像及び装飾の双方が動いていても、装飾が人物画像に干渉しないようにすることができ、人物画像を鮮明に表示でき、しかも、装飾の動きを人物画像の動きに協調させることにより、遊戯性を高めることができる。
【発明を実施するための最良の形態】
【００３４】
以下図面を参照しながら、本発明の実施の形態を説明する。まず、具体的な構成の説明に先立って、重要な用語を解説する。
【００３５】
「人物画像」とは、人物の一部または全部の画像が含まれる画像である。従って、人物全体の画像でもよいし、人物の顔だけや後姿だけ、あるいは、上半身だけの画像であってもよい。また、複数の人物が写っている画像でもよい。勿論、背景に人物以外の風景や模様などのいかなるパターンがあっても良い。
【００３６】
「身体部分」とは、人物の身体の一部という意味であり、身体部分に服や帽子や靴を装着している皮膚が見えなくても、人物の身体の一部であることが認識可能な部分であれば、身体部分に含まれる。従って、顔も身体部分であるし、頭も身体部分である。さらに、目、鼻、口、耳、眉、髪、首、服を着た上半身、手、腕、足、靴を履いた脚、帽子を被った頭、めがねを掛けた目なども身体部分である。
【００３７】
「身体部分領域」とは、人物画像において、身体部分が占める領域として定められる領域のことであり、身体部分領域は、その内部に身体部分でない部分を含んでいてもよいし、身体部分の内部に位置する領域であってもよい。
【００３８】
すなわち、身体部分が顔であるとすると、身体部分領域は、顔に対応する身体部分領域が顔の周囲にある領域を含んでいてもよいし、両眼と口と鼻とを囲む最小サイズの長方形であって額や耳を含まないものであってもよい。
【００３９】
「装飾」とは、追加される画像パターンのことであり、この画像パターンは予め保持されている画像パターンであってもよいし、コンピュータグラフイックス技術で生成される画像パターンであってもよい。また、この画像パターンは、文字や記号のパターンや図形のパターンであってもよい。
【００４０】
図１は、本発明の一実施の形態における画像処理装置の機能ブロック図である。図１に示すように、本形態の画像処理装置は、次の構成要素を有する。
【００４１】
画像入力部１は、入力画像を得る。本形態では、入力画像に人物画像が含まれ、この人物画像が動くことを許容しており、入力画像は、通常、動画像の１フレーム分の画像を意味することになる。
【００４２】
但し、この入力画像は、カメラで撮影された直後のものでも良いし、撮影後、ＭＰＥＧ等の符号化方式に従って符号化されたデータ（記録媒体に記録されたものをロードしても良いし、送信装置から受信したものでも良い。）を、復号して得られるものでも良い。
【００４３】
制御部２は、図１に示す各要素を、図１１のフローチャートに沿って、制御する。
【００４４】
画像出力部３は、入力画像に装飾が合成された画像を、出力画像として出力する。この出力画像は、表示デバイスに表示される他、上記符号化方式に従って符号化して記録媒体に保存することもできるし、他の通信装置で送信することもできる。
【００４５】
入力画像記憶部４は、画像入力部１が入力した、入力画像を記憶する。
【００４６】
テンプレート記憶部５は、身体部分領域のテンプレートを記憶する。以下、本形態では、顔領域を身体部分領域として取り上げる。
【００４７】
テンプレートは、図６（ａ）、（ｂ）、（ｃ）に示すように、顔部品（頭、目、鼻、口）のそれぞれの輪郭をモデル化したものを、各種サイズ分だけ用意して使用する。
【００４８】
また、図７（ｂ）、（ｃ）に示すように、図７（ａ）に示す、基本姿勢によるテンプレートの他、入力画像の平面内での回転量を持つテンプレートを併用する。これにより、顔の回転による傾きを、検出できる。
【００４９】
また、図８（ｂ）、（ｃ）に示すように、図８（ａ）に示す、基本姿勢によるテンプレートの他、入力画像の平面に対する回転量を持つテンプレートを併用する。これにより、顔の向きが基本姿勢と異なる場合（顔の中心を通る法線ベクトルが入力画像の平面に対して直交しない場合）に、顔の向きを検出できる。
【００５０】
図１において、検出部６は、テンプレート記憶部５のテンプレートを用いて、入力画像記憶部４に記憶された入力画像から、身体部分領域を検出する。
【００５１】
ここで、図９に示しているように、検出部６は、入力画像記憶部４の入力画像に微分フィルタをかけて、エッジ成分を抽出する。また、検出部６は、テンプレート記憶部５からテンプレート５３を選び、選んだテンプレート５３と、エッジ成分とを用いて、パターンマッチマッチングを実行する。
【００５２】
このパターンマッチングは、テンプレート５３（Ｎｘ＊Ｎｙ画素）を、それより大きい入力画像（Ｍｘ＊Ｍｙ画素）内の探索範囲（Ｍｘ−Ｎｘ＋１）（Ｍｙ−Ｎｙ＋１）上で動かし、次式に示す残差Ｒが、最小となるようなテンプレート画像の左上位置（ａ，ｂ）を求める処理である。
【００５３】
【数１】
2004171543.tif 000003
【００５４】
但し、（数１）において、Ｉ（ａ，ｂ）（ｍｘ，ｍｙ）は入力画像の部分画像、Ｔ（ｍｘ，ｍｙ）はテンプレート５３の画像である。
【００５５】
また、（数１）に替えて、次式で示す相互相関係数Ｃを求め、相互相関係数Ｃが最大になる、テンプレート画像の左上位置（ａ，ｂ）を求めてもよい。
【００５６】
【数２】
2004171543.tif 000004
【００５７】
検出部６は、図６、図７、図８に示す、各種のテンプレートを使用し、（数１）を用いるときは残差Ｒが最小となるテンプレート、（数２）を用いるときは、相関係数Ｃが最大となるテンプレートを求める。そして、検出部６は、求めたテンプレートの、位置、サイズ、傾き、向きを、入力画像における顔画像の、それぞれの値とする。
【００５８】
顔画像の場合は、毎フレーム毎（あるいは数フレーム毎）に同一処理を施すことにより、顔の位置とサイズ、傾き、向きの遷移を求めることができる。
【００５９】
なお、検出部６は、画像に複数の顔が存在している場合、既に検出された１人目の顔部分領域を除いた領域内で、残差Ｒが低い位置もしくは相関係数Ｃが高い位置を、２人目の顔部分領域として検出する。
【００６０】
さらに、３人目以降の顔についても同じく、検出部６は、既に検出された顔部分領域を除いた領域内で残差Ｒが低い位置、相関係数Ｒが高い位置を顔部分領域として設定しながら、以下、予め定められたしきい値よりも残差Ｒが大きくなるまで、もしくは相関係数Ｃが小さくなるまで繰り返し検出する。これにより、複数の人物の顔部分領域を検出できる。
【００６１】
勿論、以上の検出は、常に全て実施する必要はなく、顔領域の位置及びサイズの検出を除けば、適宜取捨選択して差し支えない。
【００６２】
図１において、装飾情報記憶部７は、装飾情報を記憶する。次に、図１０を用いて、装飾情報について説明する。
【００６３】
図１０（ａ）に示す例（装飾情報（その２））では、装飾情報は、装飾画像データと、トランスフォームプロパティとが、関連付けて構成される。
【００６４】
「装飾画像データ」のフィールドには、装飾画像データそのものか、または、装飾画像データそのものを指す、ＩＤまたはポインタが格納される。なお、図１０（ａ）に図示しているように、装飾画像データは、画像データだけで構成されていても良いし、さらに、付加的な属性（衝突時の振る舞いなど）を持つものでも良い。
【００６５】
「トランスフォームプロパティ」のフィールドは、装飾レイヤーに対して装飾をどう動かすか、また装飾レイヤーをどう重ね合わせるかという情報である。
【００６６】
具体的には、装飾は、トランスフォームプロパティによって、入力画像とは別のローカルな座標系（アンカーポイントを原点とする）によって定義され、さらに、この座標系は、位置、スケール（拡大縮小率）、回転、不透明度という属性を持つ。
【００６７】
さらに詳しくは、アンカーポイントは、装飾に係るローカルな座標系の座標原点の位置と向きを示す。そして、「位置」、「スケール」、「回転」の各フィールドにセットされる値は、そのアンカーポイントが持つ座標系（ローカル座標系）に対する実際の画像の位置、スケール（拡大縮小率）、回転の度合いを示す。
【００６８】
また、図１０（ｂ）に示す例（装飾情報（その１））では、装飾情報は、装飾画像データと、マスクデータとが、関連付けて構成される。
【００６９】
このときの、「装飾画像データ」は、地模様として表示される画像のデータであり、「マスクデータ」は、地模様のデータ部分（斜線部）と、顔領域の画像があらわれる部分（非斜線部）の、領域のサイズ及び位置関係を示す。
【００７０】
図１において、装飾配置部８は、検出部６が検出した身体部分領域の変化に同調するように、装飾の配置情報を定める。
【００７１】
検出部６は、図７に示すテンプレートで最大のマッチングが得られたなら、身体部分領域の、入力画像の平面内での回転量を検出し、装飾配置部８は、検出部６が検出した回転量の変化に同調するように、装飾の配置情報を定める。
【００７２】
検出部６は、図８に示すテンプレートで最大のマッチングが得られたなら、身体部分領域の、入力画像の平面に対する回転量を検出し、装飾配置部８は、検出部６が検出した回転量の変化に同調するように、装飾の配置情報を定める。
【００７３】
なお、装飾配置部８の詳細な処理は、後に、数種の例を挙げながら、詳述する。
【００７４】
図１において、合成部１０は、装飾配置部８が定めた配置情報に基づいて、装飾を入力画像に配置した画像を出力する。この画像は、一旦、出力画像記憶部１１に蓄積されてから、画像出力部３から出力される。
【００７５】
なお、合成部１０は、表示デバイスに表示を行うために、
（データ形態１）装飾を入力画像に直接描画した画像データ
を生成するが、合成部１０は、記録媒体や他の通信装置へ転送するための画像データとして、
（データ形態２）入力画像と、装飾を描画する際のパラメータとを関連付けた画像データ
を生成し、これを転送するようにしてもよい。データ形態２によると、容易に、入力画像を復元できるため有利である。なお、データ形態２については、後に説明を補足する。
【００７６】
さらに図１において、操作部１２は、利用者が、制御部２に操作情報を入力するためのものである。
【００７７】
次に、図２を用いて、図１に示す画像処理装置及びその周辺部分の具体的構成例を説明する。図２は、同画像処理装置のブロック図である。
【００７８】
図２の例では、カメラ付き携帯電話に、図１の画像処理装置を組み込んである。図２に示すように、このカメラ付き携帯電話は、次の要素を有する。
【００７９】
ＣＰＵ２１は、バス２０を介して、図２の各要素を制御し、ＲＯＭ２３に記録され、図３のフローチャートに従う制御プログラムを実行する。
【００８０】
ＲＡＭ２２には、ＣＰＵ２１が処理上必要とする一時記憶領域が確保されている。フラッシュメモリ２４は、記録媒体に相当するデバイスである。
【００８１】
また、アンテナ２５を経由して、通信処理部２６は、外部の通信装置と、データの送受信を行う。
【００８２】
画像処理部２７は、ＭＰＥＧ等の符号化方式に関するエンコーダ／デコーダ等からなり、カメラ２８が撮影した画像を処理したり、ＣＰＵ２１から指示された画像データに基づいて、ＬＣＤ（表示デバイスの一例）２９の表示状態を制御する。
【００８３】
音声処理部３０は、マイク３１からの入力と、スピーカ３２を介しての音声出力とを、制御する。
【００８４】
また、バス２０には、インターフェイス３３が接続され、インターフェイス３３を介して、利用者は、キーセット３４による操作情報の入力を行えるようになっており、さらにポート３５を介して、別のデバイスを接続できるように構成されている。
【００８５】
ここで、図１における、画像入力部１は、フラッシュメモリ２４に記録されたデータ、あるいは、カメラ２８が撮影したデータを、ＣＰＵ２１または画像処理部２７が処理することにより実現される。
【００８６】
また、制御部２、検出部６、装飾配置部８及び合成部１０は、ＣＰＵ２１が、ＲＡＭ２２、フラッシュメモリ２４などと、データのやりとりを行いながら、演算を実施することにより実現される。
【００８７】
さらに、入力画像記憶部４、テンプレート記憶部５、装飾情報記憶部７、配置情報記憶部９及び出力画像記憶部１１は、ＲＡＭ２２、ＲＯＭ２３あるいはフラッシュメモリ２４のいずれかに確保された領域に相当する。また、図２のキーセット３４は、図１の操作部１２に相当する。
【００８８】
なお、ＣＰＵ２１は、利用者がキーセット３４に対して行う操作の認識、カメラ２８からの画像の取得、カメラ画像の圧縮とフラッシュメモリ２４への保存、保存画像の読み込みと伸張、画像合成、画像再生、ＬＣＤ２９ヘの表示などを行うが、これらの処理のうちいくつかを、画像処理部２７で行うようにしても良い。
【００８９】
図３は、本形態の画像処理装置の外観を示す。上述したように、本形態の画像処理装置は、カメラ付き携帯電話に組み込まれている。図３のカメラ付き携帯電話は、上側筐体４２と下側筐体４１とが、結合部４３により、折畳可能に結合される、二つ折りタイプのものである。勿論、画像処理装置の外形は、任意であり、本発明は、ＰＤＡ等、携帯電話以外の装置にも適用できる。
【００９０】
次に、図４を参照しながら、データ形態２について、説明を補足する。ここでは、図４（ｂ）に示す入力画像（ファイル名”ｆａｃｅ．ｒｍ”）があり、これに図４（ｃ）に示す装飾（ファイル名”ｓｔａｒ．ｓｗｆ”）とを関連付けるものとする。
【００９１】
このとき、図４（ａ）に示すＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｌａｎｇｕａｇｅ）形式のメタファイルを用いるのが、好ましい。図４（ａ）では、＜ｐａｒ＞と＜／ｐａｒ＞とに挟まれた、＜ｖｉｄｅｏ  ｓｒｃ＝”ｆａｃｅ．ｒｍ”＞なる行と、＜ａｎｉｍａｔｉｏｎ  ｓｒｃ＝”ｓｔａｒ．ｓｗｆ”＞なる行とが、同時に実行される。つまり、表示時に、図４（ｂ）の入力画像と図４（ｃ）の装飾とが、合成される。
【００９２】
なお、図４に示すような関連づけを行う場合には、図４（ｂ）の入力画像と図４（ｃ）の装飾とを合成した画像そのものを作成する必要はない。
【００９３】
また、以上のＳＭＩＬ形式のメタファイルではなく、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）形式のファイルや、ＭＰ４等を使用しても差し支えない。つまり、データ形態２を使用する際には、何らかの形式で、入力画像と、装飾とが、関連付けられていればよい。
【００９４】
次に、図１、図５、図１２を用いて、本形態の画像処理装置による処理の流れの概要を説明する。ここでは、図１０（ａ）に示す装飾情報（その１）が使用されるものとする。
【００９５】
まず、制御部２は、ステップ１にて、動画像を構成する全てのフレームについて、処理を完了したかどうかチェックする。完了していれば終了し、完了していなければ、ステップ２へ処理が移る。
【００９６】
ステップ２では、画像入力部１が、図１２（ａ）に示すような入力画像を得て、制御部２は、これを入力画像記憶部４に保存する。
【００９７】
次に、ステップ３にて、制御部２は、検出部６に顔領域の検出を命ずる。これにより、検出部６は、テンプレート記憶部５のテンプレート（図１２（ｂ））を用いて、顔領域の検出を行う。
【００９８】
次に、ステップ４にて、制御部２は、装飾配置部８に配置情報を定めるように命ずる。これにより、装飾配置部８は、装飾情報記憶部７の装飾情報を使用して、配置情報を定め、これを配置情報記憶部９に保存する。その結果、図１２（ｃ）に示すような、装飾レイヤー上の装飾画像が得られる。
【００９９】
次に、ステップ５にて、制御部２は、合成部１０に入力画像と装飾との合成を命ずる。これにより、合成部１０は、装飾情報記憶部７に保存された装飾情報に従って、図１２（ｄ）に示すように、装飾を入力画像に合成し、結果を出力画像記憶部１１に保存する。
【０１００】
次に、ステップ６にて、制御部２は、出力画像記憶部１１の合成画像を、画像出力部３を経由して、外部へ出力する。
【０１０１】
制御部２は、ステップ１以下の処理を、全フレームに対する処理が完了するまで繰り返す。
【０１０２】
次に、図９を用いて、ユーザインターフェイスの構成例を説明する。ここでは、利用者によって選択されたアプリケーションが、画像編集ソフトであり、しかも、利用者によって撮影された人物画像と装飾とを、合成する画像合成モードであるものとする。
【０１０３】
まず、図１１（ａ）に示すように、ＬＣＤ２９には、編集する対象の人物画像が表示される。そして、この人物画像に添えて、編集ボタン４０と戻るボタン４１が表示される。
【０１０４】
ここで、利用者が、キーセット３４により、編集ボタン４０を選択すると、図１１（ｂ）に示すように、挿入可能な装飾のリストが表示される。
【０１０５】
そして、利用者が、「涙」というアイテムを選択し、決定ボタン４３を押すと、人物画像の顔領域が検出され、それに合う装飾配置情報が求められ、装飾「涙」がこの装飾配置情報に従って、入力画像に合成されて、結果が、図１１（ｃ）に示すように、ＬＣＤ２９に表示される。なお、涙の装飾５０、５１は、入力画像に追加されたものである。ここで、涙は、静止画の他に、移動するアニメーションとして挿入される。
【０１０６】
さて、従来技術では、涙は、配置されたまま移動することはない。また、仮にアニメーションが挿入されたとしても、このアニメーションの動きは、人物画像の動きと全く無関係に動くことになる。
【０１０７】
例えば、自動的に目の下に涙が挿入されることはなく、また、涙が額の頬あたりで止まるように自動的に調整されることはなく、涙がそのまま顔より下の方向へ流れていってしまう。また、顔が傾いたり動いたりするときに、涙の動きを顔に合わせて修正することはできない。
【０１０８】
一方、本形態では、涙を挿入する前に、身体部分領域（例えば、本形態では、顔領域内の目）の位置及びサイズを検出することにより、身体部分領域の動きに同調して、自動的に目の下に涙が挿入されるようにしてある。しかも、顔の動きに、装飾を追従させることができる。
【０１０９】
以下、本形態の応用例を示しながら、装飾配置情報について、さらに説明する。図１３は、入力画像と装飾の座標系の位置関係説明図である。
【０１１０】
ここで、各応用例の説明に先立つ補足として、一般のアニメーションを作成する手順について簡単に説明する。基本的に、装飾が動くアニメーションは、トランスフォームプロパティと関連付けられた、装飾レイヤーを動かすことにより、作成される。
【０１１１】
すなわち、アニメーションを作成するには、トランスフォームの属性（位置、回転など）をキーとなるフレーム（時間軸上に並ぶ存在）毎に設定し、時間の経過に合わせて、属性の各値を変化させる。
【０１１２】
ここで、キーフレームとは、基準となる時点のレイヤーの位置などの値を定めたものである。値の違う２つのキーフレーム（当然これらの時間軸上の位置は異なる）があれば、時間軸において、これらのキーフレーム間に位置するフレームについては、中間値を計算することにより、属性の各値を決定できる。つまり、（１）キーフレームの作成、（２）それらの補間による移動軌跡設定、という作業を繰り返せば、アニメーションを作成できる。
【０１１３】
次に、図１４に示すアニメーションを例に、上述の要領による、アニメーション作成の手順を説明する。ここでは、図１４（ａ）〜（ｄ）に示すように、レイヤーの位置と回転、スケールの値を変化させて、左手前から右上奥に飛行機が飛んでいくアニメーションを作成するものとする。
【０１１４】
まず、装飾レイヤーを配置する座標系を定義するため、この座標系のアンカーポイントを設定する。本例では、図１３に示すように、アンカーポイントを元画像の中心である（Ｘ０、Ｙ０）に設定し、座標軸の方向も、元画像座標系と同一であるとする。
【０１１５】
そして、このアンカーポイントは、アニメーションの最後まで固定とする。この結果、位置、回転については、全てこのアンカーポイントが持つ座標系によった値となる。
【０１１６】
次に、時間軸において、キーフレームの位置と、その間を結ぶ移動軌跡を設定する。例えば、図１５に示すように、飛行機は最初のフレームでＡ地点に、２秒後にＢ地点に、４秒後にＣ地点に移動したとし、その間は曲線で結ばれているとする。また、回転、拡大縮小率についても、同様にポイントとなるフレームに対して設定する。そして、時間軸において、これらのキーフレームの間に位置するフレームについて、隣り合うキーフレームの補間により、移動軌跡を設定する。以上の結果、図１４に示すような、右上奥にロケットが飛んでいくアニメーションを作成できる。
【０１１７】
（応用例１）
本例では、テンプレートマッチングによって顔部分領域の位置及び範囲が設定された後、その位置に応じた場所に装飾を表現する座標系の原点（アンカーポイント）を設定する。
【０１１８】
図１６（ａ）には、装飾画像データを、図１６（ｃ）には、局所的には楕円軌道を描く装飾の座標系の原点であるアンカーポイントを、顔領域の頭部に設定した結果を示している。
【０１１９】
次に、この人物の顔部分領域が検出されると、図１６（ｂ）に示すように、これに応じて、顔領域の頭部にアンカーポイントを移動させる。また、顔領域のサイズが変化したときは、顔領域のサイズに比例して、座標系のスケールを変化させる。
【０１２０】
また、向きが変わったときは、座標系の軸の方向が最初に設定した方向と同一方向を向くように変化させる。
【０１２１】
これによって、人間が撮影装置に対して相対的に動いたとしても、常に頭部に楕円軌道を描く装飾が、人間の動きに追従するようになる。
【０１２２】
また、違う場面で撮影した複数枚の顔画像において、それぞれの顔位置、範囲、傾き、向きに応じて常に頭部、頭部の大きさに比例した軌道で装飾を移動させることができるため、遊戯性がより高まることになる。
【０１２３】
（応用例２）
本例では、装飾情報（その２）を使用し、合成フレーム装飾の不透明度を、顔領域の移動に追随して、変化させる。
【０１２４】
本例では、図１０（ｂ）に示す装飾情報（その２）を使用する。ここで、図５におけるステップ１〜ステップ３までの処理は、図１０（ａ）に示す装飾情報（その１）を使用する場合と、同様である。
【０１２５】
但し、図５のステップ４〜ステップ６において、図１２（ｅ）のマスクのうち、斜線部に、図１２（ｆ）に示す静止画が、見えるように配置し、入力画像の内、顔領域として検出された部分の画像を、非斜線部にサイズあわせをして貼り付け、これを出力する。
【０１２６】
即ち、背景となる静止画との合成マスクを、装飾配置情報として使用し、顔検出した結果に応じて合成マスクの中心が、顔の中心となるように配置し、そのマスクによって、静止画と入力画像とを合成するときに不透明度の設定を制御する。
【０１２７】
以上の結果、別の画像と合成するときに、顔領域に静止画がかからないようにすることができる。
【０１２８】
（応用例３）
本例では、図１７に示すように、視点に対する奥行き情報（Ｚ軸）を、入力画像及び装飾の双方に、追加する。
【０１２９】
そして、装飾が、入力画像の投射面に相当する仮想面６０で切断されるとき、装飾を、この仮想面６０の前景側にある前景領域６１と、背景側にある背景領域６２とに、分ける。
【０１３０】
さらに、前景領域６１と、背景領域６２の不透明度を変えて、合成する。これにより、図１８に示すように、顔の周囲を星が回っているようなアニメを作成することができる。
【０１３１】
これには、顔を通過するような軌跡になるように、意図的にアンカーポイントを設定すればよい。そして、顔の背面を通過する、背景領域６２を、透明にすれば、入力画像に、三次元ライクで動きのある装飾を、追加できる。
【０１３２】
（応用例４）
本例では、図１９に示すように、過去数フレーム分の位置と向きの系列、現在の位置と向き、過去数フレーム分等から、次のフレームにおける装飾の属性を、推定する。例えば、装飾が、等速運動するものと仮定すれば、簡単な式で、装飾の属性を推定できる。
【０１３３】
さらに、身体部分領域と重なった場合、軌道の修正するようにすればよい。複数の装飾を登場させる際には、それぞれの装飾は、互いに無関係に移動するようにするとよい。
【０１３４】
本例では、図２０に示すように、装飾が、身体部分領域あるいは入力画像の外郭線に衝突する際、装飾の移動方向を、身体部分領域から離れる向きに、変更する。このようにすると、装飾に、身体部分領域にぶつかったときに反射するような動きを、与えることができ、遊戯性を向上できる。
【産業上の利用可能性】
【０１３５】
本発明に係る画像処理装置は、例えば、カメラ付き携帯電話等に搭載して好適に利用できる。
【図面の簡単な説明】
【０１３６】
【図１】本発明の一実施の形態における画像処理装置の機能ブロック図
【図２】本発明の一実施の形態における画像処理装置のブロック図
【図３】本発明の一実施の形態における画像処理装置の外観図
【図４】（ａ）本発明の一実施の形態におけるメタファイルの例示図  （ｂ）本発明の一実施の形態における入力画像ファイルの例示図  （ｃ）本発明の一実施の形態における装飾ファイルの例示図
【図５】本発明の一実施の形態における画像処理装置のフローチャート
【図６】（ａ）本発明の一実施の形態におけるテンプレートの例示図  （ｂ）本発明の一実施の形態におけるテンプレートの例示図  （ｃ）本発明の一実施の形態におけるテンプレートの例示図
【図７】（ａ）本発明の一実施の形態におけるテンプレートの例示図  （ｂ）本発明の一実施の形態におけるテンプレートの例示図  （ｃ）本発明の一実施の形態におけるテンプレートの例示図
【図８】（ａ）本発明の一実施の形態におけるテンプレートの例示図  （ｂ）本発明の一実施の形態におけるテンプレートの例示図  （ｃ）本発明の一実施の形態におけるテンプレートの例示図
【図９】本発明の一実施の形態におけるパターンマッチングの説明図
【図１０】（ａ）本発明の一実施の形態における装飾情報の構成図  （ｂ）本発明の一実施の形態における装飾情報の構成図
【図１１】（ａ）本発明の一実施の形態におけるユーザインターフェイスの表示例図  （ｂ）本発明の一実施の形態におけるユーザインターフェイスの表示例図  （ｃ）本発明の一実施の形態におけるユーザインターフェイスの表示例図
【図１２】（ａ）本発明の一実施の形態における画像処理装置の処理過程説明図  （ｂ）本発明の一実施の形態における画像処理装置の処理過程説明図  （ｃ）本発明の一実施の形態における画像処理装置の処理過程説明図  （ｄ）本発明の一実施の形態における画像処理装置の処理過程説明図  （ｅ）本発明の一実施の形態における画像処理装置の処理過程説明図  （ｆ）本発明の一実施の形態における画像処理装置の処理過程説明図  （ｇ）本発明の一実施の形態における画像処理装置の処理過程説明図
【図１３】本発明の一実施の形態における座標系の説明図
【図１４】（ａ）本発明の一実施の形態におけるアニメーションの説明図  （ｂ）本発明の一実施の形態におけるアニメーションの説明図  （ｃ）本発明の一実施の形態におけるアニメーションの説明図  （ｄ）本発明の一実施の形態におけるアニメーションの説明図
【図１５】本発明の一実施の形態におけるアニメーションの説明図
【図１６】（ａ）本発明の一実施の形態における装飾の例示図  （ｂ）本発明の一実施の形態におけるアンカーポイントの説明図  （ｃ）本発明の一実施の形態における合成画像の例示図
【図１７】本発明の一実施の形態における装飾の例示図
【図１８】本発明の一実施の形態における合成画像の例示図
【図１９】本発明の一実施の形態における装飾の例示図
【図２０】本発明の一実施の形態における合成画像の例示図
【符号の説明】
【０１３７】
１  画像入力部
２  制御部
３  画像出力部
４  入力画像記憶部
５  テンプレート記憶部
６  検出部
７  装飾情報記憶部
８  装飾配置部
９  配置情報記憶部
１０  合成部
１１  出力画像記憶部
１２  操作部
【図１】
2004171543.tif 000005
【図２】
2004171543.tif 000006
【図３】
2004171543.tif 000007
【図４】
2004171543.tif 000008
【図５】
2004171543.tif 000009
【図６】
2004171543.tif 000010
【図７】
2004171543.tif 000011
【図８】
2004171543.tif 000012
【図９】
2004171543.tif 000013
【図１０】
2004171543.tif 000014
【図１１】
2004171543.tif 000015
【図１２】
2004171543.tif 000016
【図１３】
2004171543.tif 000017
【図１４】
2004171543.tif 000018
【図１５】
2004171543.tif 000019
【図１６】
2004171543.tif 000020
【図１７】
2004171543.tif 000021
【図１８】
2004171543.tif 000022
【図１９】
2004171543.tif 000023
【図２０】
2004171543.tif 000024