(57)【要約】【課題】  原画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成する。【解決手段】  マスク画像情報作成プログラム７０の要素画像選択部７１が、マスク画像の作成に使用する少なくとも１つの要素画像を選択する。引き続き、マスク画像情報作成プログラム７０の要素画像振る舞い指定部７２が、選択された要素画像それぞれの振る舞い指定を行う。そして、マスク画像情報作成プログラム７０の位置及び大きさ指定部７３が、原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う。【選択図】  図３
2005269625.tif 000002
【特許請求の範囲】
【請求項１】
原画像に重ねて表示させるマスク画像を作成するためのマスク画像情報の作成するマスク画像情報作成方法であって、
前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択工程と；
前記選択された要素画像それぞれの振る舞い指定を行う要素画像振る舞い指定工程と；
前記原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う位置及び大きさ指定工程と；を備えるマスク画像情報作成方法。
【請求項２】
前記振る舞いの指定には、表示時間指定が含まれる、ことを特徴とする請求項１に記載のマスク画像情報作成方法。
【請求項３】
前記振る舞いの指定には、前記選択された要素画像の内における時間順次表示をすべき組合せについて、時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定が含まれる、ことを特徴とする請求項２に記載のマスク画像情報作成方法。
【請求項４】
前記振る舞いの指定には、前記選択された要素画像の内における同時表示をすべき組合せについて、同時に表示することを指定する同時表示指定が含まれる、ことを特徴とする請求項１〜３のいずれか一項に記載のマスク画像情報作成方法。
【請求項５】
前記位置指定は、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められる座標系における座標位置による指定である、ことを特徴とする請求項１〜４のいずれか一項に記載のマスク画像情報作成方法。
【請求項６】
前記大きさ指定は、前記着目像領域の大きさに対する比率の指定である、ことを特徴とする請求項１〜５のいずれか一項に記載のマスク画像情報作成方法。
【請求項７】
前記要素画像を、素材画像を編集して作成する素材画像編集工程を更に備える、ことを特徴とする請求項１〜６のいずれか一項に記載のマスク画像情報作成方法。
【請求項８】
前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー工程を更に備える、ことを特徴とする請求項１〜７のいずれか一項に記載のマスク画像情報作成方法。
【請求項９】
前記プレビュー表示を参照して、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定の少なくとも一部を修正する修正工程を更に備える、ことを特徴とする請求項８のいずれか一項に記載のマスク画像情報作成方法。
【請求項１０】
前記原画像は動画像である、ことを特徴する請求項１〜９のいずれか一項に記載のマスク画像情報作成方法。
【請求項１１】
原画像に重ねて表示させるマスク画像を作成するためのマスク画像情報の作成するマスク画像情報作成装置であって、
前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択手段と；
前記選択された要素画像それぞれの振る舞い指定を行う要素画像振る舞い指定手段と；
前記原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う位置及び大きさ指定手段と；を備えるマスク画像情報作成装置。
【請求項１２】
前記要素画像を、素材画像を編集して作成する素材画像編集手段を更に備える、ことを特徴とする請求項１１に記載のマスク画像情報作成装置。
【請求項１３】
前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー手段を更に備える、ことを特徴とする請求項１１又は１２に記載のマスク画像情報作成装置。
【請求項１４】
原画像に重ねて表示させるマスク画像を作成するためのマスク画像情報の作成するマスク画像情報作成プログラムであって、
前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択手順と；
前記選択された要素画像それぞれの振る舞い指定を行う要素画像振る舞い指定手順と；
前記原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う位置及び大きさ指定手順と；を計算機に実行させるマスク画像情報作成プログラム。
【請求項１５】
前記要素画像を、素材画像を編集して作成する素材画像編集手順を、前記計算機に更に実行させる請求項１４に記載のマスク画像情報作成プログラム。
【請求項１６】
前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー手順を、前記計算機に更に実行させる請求項１４又は１５に記載のマスク画像情報作成プログラム。
【請求項１７】
原画像を取得する原画像取得手段と；
請求項１１〜１３のいずれか一項に記載のマスク画像情報作成装置によって作成されたマスク画像情報と、前記原画像とに基づいて、前記原画像上に重ねて表示されるマスク画像を作成するマスク画像作成手段と；
前記原画像上にマスク画像を重ねた合成画像を作成する合成画像作成手段と；を備える情報通信端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、マスク画像情報作成方法、マスク画像情報作成装置、マスク画像情報作成プログラム及び情報通信端末装置に係るものである。より詳しくは、原画像上に重ねられるマスク画像を作成するためのマスク画像情報を作成するマスク画像情報作成方法、当該マスク画像情報作成方法を使用するマスク画像情報作成装置、当該マスク画像情報作成方法を計算機に実行させるマスク画像情報作成プログラム、及び当該マスク画像情報に基づいてマスク画像を作成する情報通信端末装置に関するものである。
【背景技術】
【０００２】
従来から、取得された原画像を処理する画像処理が様々な手法で行われている。こうした画像処理の技術としては、例えば、デジタルカメラ等により取得された原画像に人の顔像が存在することを認識する顔認識技術がある。また、この顔認識を更に進めて、顔の形状特徴を抽出し、個人を特定する顔認証技術もある（非特許文献１、特許文献１、２等参照）。
【０００３】
こうした顔像に関する画像処理技術の存在を背景として、例えば、送信側端末装置のカメラで撮像された画像がそのまま送信されて、受信側端末装置に表示されるばかりではなく、送信側端末装置の利用者のプライバシを保護するために、撮像結果における背景像を他の画像に変更する画像処理を行った後に、受信側端末装置へ送信するテレビ電話の技術も提案されている（特許文献３参照）。この技術では、まず、送信側端末装置のカメラで撮像された画像における送信側話者像を抽出する。そして、抽出された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、送信側話者の所在位置というプライバシ情報を受信側話者に知らせることなく、違和感のない対面会話を行うことができるようになっている。
【０００４】
また、送信側端末装置の利用者のプライバシを保護するために、送信側話者のリアルタイム画像を使用せずに、予め用意しておいた当該送信側話者あるいは他の話者についての複数の静止画像から送信側話者の音声に合わせて選択した画像を、受信側端末装置へ送信する技術も提案されている（特許文献３参照）。なお、この場合にも、選択された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信することができる。
【０００５】
この技術では、予め利用者又は他の者について、例えば母音及び必要に応じて撥音の発音時ごとの静止像を用意しておく。そして、利用者の話中における発生音を解析し、解析結果として得られた発生音に対する画像を選択する。引き続き、選択された画像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、入浴中である等のリアルタイム画像を送信することがプライバシ保護の観点から不適切な場合にも、画像を参照しつつ違和感のない会話を行うことができるようになっている。
【０００６】
【非特許文献１】アイマティックジャパン株式会社、“技術情報”、［2003年12月29日検索］、インターネット＜URL:http://www.eyematic.co.jp/tech.html＞
【特許文献１】特許公開２００３−２７１９５８号公報
【特許文献２】特許公開２００３−２９６７３５号公報
【特許文献３】特許公開２００３−３０９８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した従来の画像認識、画像認証、画像トラッキングなどの画像処理技術は、動画に適用できる非常に優れたものであり、様々な応用が考えられる。しかしながら、こうした画像処理技術では、利用者が、自身の趣味感に合わせて原画像を加工し、自身の内心等を表現するということは、技術的な視野には入っていなかった。このため、例えば、テレビ電話に従来の画像処理技術を適用しても、テレビ電話の機能を発揮させつつ、送信側話者の趣味感を反映した画像を伴った楽しい会話を行うという観点からは、十分なものとはなっていなかった。
【０００８】
すなわち、従来の画像処理技術では、原画像に対して利用者の感情の強調等を当該利用者の趣味感に合わせた演出を施したものとすることができれば、利用者にとっての楽しさを増進させることができると考えられるが、こうした演出を画像に施すことは、特に原画像が動画である場合にはできなかった。
【０００９】
こうした画像の演出は、原画像が固定的な静止画像である場合には、その静止画像の所望の位置に所望の大きさで所望の形状や色のアクセサリ画像を重ねて表示することにより行うことができる。しかし、送信する画像が、時間の経過に伴い刻々と変化する動画像又は動画像に相当する画像である場合には、表示画面の固定的な位置にアクセサリ像を重ねて表示するのでは、違和感のある表示画像となってしまう。
【００１０】
例えば、利用者の顔像が含まれる原画像における当該顔像の目の位置にハートマークをほぼ目の大きさで表示させる演出を行う際に、ハートマークを表示画面の固定位置に重ねて表示するのでは、刻々と変化する動画像における顔像の目の位置にハートマークを表示させることはできない。また、表示位置だけでなく、ハートマークの表示の大きさについても、動画像における顔像の大きさに応じたものとしなければ、違和感のある表示画像となってしまう。
【００１１】
このため、原画像が静止画である場合ばかりではなく、動画像である場合であっても、簡易に利用者による演出を違和感なく表現できる技術が待望されている。
【００１２】
本発明は、上記の事情を鑑みてなされたものであり、原画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができるマスク画像情報の作成方法及び作成装置を提供することを目的とする。
【００１３】
また、本発明は、原画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができるマスク画像情報作成プログラムを提供することを目的とする。
【００１４】
また、本発明は、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を作成することができる情報通信端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明のマスク画像情報作成方法は、原画像に重ねて表示させるマスク画像を作成するためのマスク画像情報の作成するマスク画像情報作成方法であって、前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択工程と；前記選択された要素画像それぞれの振る舞い指定を行う要素画像振る舞い指定工程と；前記原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさの指定を行う位置及び大きさ指定工程と；を備えるマスク画像情報作成方法である。
【００１６】
このマスク画像情報作成方法では、まず、要素画像選択工程において、マスク画像の作成に使用する少なくとも１つの要素画像を選択する。引き続き、要素画像振る舞い指定工程において、例えば表示実行時間や表示順序等といった要素画像それぞれの振る舞い指定を行う。そして、位置及び大きさ指定工程において、原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う。なお、要素画像振る舞い指定工程を位置及び大きさ指定工程の後に行うことも可能である。
【００１７】
この結果、マスク画像の要素となるべき要素画像が振る舞い、並びに着目像領域と関連した表示位置及び表示大きさというマスク画像情報が作成される。したがって、本発明のマスク画像情報作成方法によれば、原画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができる。
【００１８】
本発明のマスク画像情報作成方法では、前記振る舞いの指定には、表示時間指定が含まれることとすることができる。当該表示間指定に従ってマスク画像を作成することにより、所望の要素画像それぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像に関するマスク画像情報を作成することができる。
【００１９】
また、本発明のマスク画像情報作成方法では、前記振る舞いの指定には、前記選択された要素画像の内における時間順次表示をすべき組合せについて、時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定が含まれることとすることができる。この場合には、当該時間順次表示指定の情報に従ってマスク画像を作成することにより、原画像上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示するマスク画像に関するマスク画像情報を作成することができる。
【００２０】
また、本発明のマスク画像情報作成方法では、前記振る舞いの指定には、前記選択された要素画像の内における同時表示をすべき組合せについて、同時に表示することを指定する同時表示指定が含まれることとすることができる。この場合には、所望の複数の要素画像それぞれが、所望の位置に表示されるマスク画像に関するマスク画像情報を作成することができる。この結果、様々なバリエーションのマスク画像に関するマスク画像情報を作成することができる。
【００２１】
また、本発明のマスク画像情報作成方法では、前記位置指定を、前記着目像領域の代表点を原点とし、前記着目像領域に固有に座標軸の方向が定められる座標系における座標位置による指定とすることができる。この場合には、要素画像の表示位置を、原画像における着目像領域の代表点位置及び傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易な形式で表現したマスク画像情報を作成することができる。
【００２２】
また、本発明のマスク画像情報作成方法では、前記大きさ指定を、前記着目像領域の大きさに対する比率の指定とすることができる。この場合には、原画像内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像を含むマスク画像に関するマスク画像情報を作成することができる。
【００２３】
また、本発明のマスク画像情報作成方法では、前記要素画像を、素材画像を編集して作成する素材画像編集工程を更に備えることとすることができる。この場合には、素材画像編集工程において、様々な経路で入手した素材画像に対して大きさの変更や回転転換等の編集を施すことにより、マスク画像要の表示画像とし利用しやすい要素画像とすることができる。
【００２４】
また、本発明のマスク画像情報作成方法では、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー工程を更に備えることとすることができる。この場合には、プレビュー工程において、選択した要素画像、振る舞い指定、位置指定及び大きさ指定を使用して、マスク画像を作成し、着目像あるいは着目像と想定される画像にマスク画像を重ねた合成像のプレビュー表示を行う。このプレビュー表示により、利用者は、その段階におけるマスク像による原画像の演出効果を確認することができる。
【００２５】
ここで、前記プレビュー表示を参照して、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定の少なくとも一部を修正する修正工程を更に備えることとすることができる。この場合には、修正工程において、プレビュー表示を参照して、選択された要素画像、振る舞い指定、位置指定及び前記大きさ指定の少なくとも一部を修正する。この結果、プレビュー表示と修正とを繰り返して行うことにより、利用者の意図した演出効果を奏することができるマスク画像を作成するためのマスク画像作成情報を作成することができる。
【００２６】
また、本発明のマスク画像情報作成方法では、前記原画像を動画像とすることができる。この場合には、原画像における着目像の位置、傾き及び大きさ等が変化する動画像に対して、ダイナミックかつ違和感のないマスク画像に関するマスク画像情報を作成することができる。
【００２７】
本発明のマスク画像情報作成装置は、原画像に重ねて表示させるマスク画像を作成するためのマスク画像情報の作成するマスク画像情報作成装置であって、前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択手段と；前記選択された要素画像それぞれの振る舞い指定を行う要素画像振る舞い指定手段と；前記原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う位置及び大きさ指定手段と；を備えるマスク画像情報作成装置である。
【００２８】
このマスク画像情報作成装置では、まず、要素画像選択手段が、マスク画像の作成に使用する少なくとも１つの要素画像を選択する。引き続き、要素画像振る舞い指定手段が、例えば表示実行時間や表示順序等といった要素画像それぞれの振る舞い指定を行う。そして、位置及び大きさ指定手段が、原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う。
【００２９】
すなわち、本発明のマスク画像情報作成装置は、上述した本発明のマスク画像情報作成方法を使用して、マスク画像情報を作成する。したがって、本発明のマスク画像情報作成装置によれば、原画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができる。
【００３０】
本発明のマスク画像情報作成装置では、前記要素画像を、素材画像を編集して作成する素材画像編集手段を更に備える構成とすることができる。この場合には、素材画像編集手段が、様々な経路で入手した素材画像に対して大きさの変更や回転転換等の編集を施すことにより、マスク画像要の表示画像とし利用しやすい要素画像とすることができる。
【００３１】
また、本発明のマスク画像情報作成装置では、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー手段を更に備える構成とすることができる。この場合には、プレビュー手段により、選択した要素画像、振る舞い指定、位置指定及び大きさ指定を使用して、マスク画像を作成し、着目像あるいは着目像と想定される画像にマスク画像を重ねた合成像のプレビュー表示を行う。このプレビュー表示により、利用者は、その段階におけるマスク像による原画像の演出効果を確認することができる。
【００３２】
本発明のマスク画像情報作成プログラムは、原画像に重ねて表示させるマスク画像を作成するためのマスク画像情報の作成するマスク画像情報作成プログラムであって、前記マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択手順と；前記選択された要素画像それぞれの振る舞い指定を行う要素画像振る舞い指定手順と；前記原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、前記選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う位置及び大きさ指定手順と；を計算機に実行させるマスク画像情報作成プログラムである。
【００３３】
このマスク画像情報作成プログラムでは、計算機により、まず、要素画像選択手順が実行されて、マスク画像の作成に使用する少なくとも１つの要素画像が選択される。引き続き、要素画像振る舞い指定手順が実行されて、例えば表示実行時間や表示順序等といった要素画像それぞれの振る舞い指定が行われる。そして、位置及び大きさ指定手順が実行されて、原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、選択された要素画像それぞれを表示させる位置指定及び大きさ指定が行われる。
【００３４】
すなわち、本発明のマスク画像情報作成プログラムが計算機により実行されることにより、上述した本発明のマスク画像情報作成方法を使用して、マスク画像情報が作成される。したがって、本発明のマスク画像情報作成プログラムによれば、原画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができる。
【００３５】
本発明のマスク画像情報作成プログラムでは、前記要素画像を、素材画像を編集して作成する素材画像編集手順を、前記計算機に更に実行させることとすることができる。この場合には、計算機により素材画像編集手順が実行されることにより、様々な経路で入手した素材画像に対して大きさの変更や回転等の編集が施され、マスク画像用の表示画像とし利用しやすい要素画像とすることができる。
【００３６】
本発明のマスク画像情報作成プログラムでは、前記選択された要素画像、前記振る舞い指定、前記位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー手順を、前記計算機に更に実行させることとすることができる。この場合には、計算機によりプレビュー手順が実行されることにより、選択した要素画像、振る舞い指定、位置指定及び大きさ指定を使用して、マスク画像を作成し、着目像あるいは着目像と想定される画像にマスク画像を重ねた合成像のプレビュー表示が行われる。このプレビュー表示により、利用者は、その段階におけるマスク像による原画像の演出効果を確認することができる。
【００３７】
本発明の情報通信端末装置は、原画像を取得する原画像取得手段と；本発明のマスク画像情報作成装置によって作成されたマスク画像情報と、前記原画像とに基づいて、前記原画像上に重ねて表示されるマスク画像を作成するマスク画像作成手段と；前記原画像上にマスク画像を重ねた合成画像を作成する合成画像作成手段と；を備える情報通信端末装置である。
【００３８】
この情報通信端末装置では、原画像取得手段によって取得された原画像と、マスク画像情報作成装置によって作成されたマスク画像情報とに基づいて、マスク画像作成手段が原画像上に重ねて表示されるマスク画像を作成する。そして、合成画像作成手段が、原画像上にマスク画像を重ねた合成画像を作成する。したがって、本発明の情報通信端末装置によれば、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を作成することができる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明の一実施形態を、図１〜図２１を参照して説明する。図１には、本発明の一実施形態に係るマスク画像情報作成装置５０と、情報通信端末装置である携帯電話装置１０とを備える画像処理システム１００が示されている。この画像処理システム１００では、マスク画像情報作成装置５０が、通信ネットワークＭＮＴ、記憶媒体ＭＣＤ又は有線インターフェースケーブルＩＦＣを介して、携帯電話装置１０へ送られるようになっている。
【００４０】
マスク画像情報作成装置５０は、図１に示されるように、（ａ）装置本体５１と、（ｂ）マスク画像情報作成装置５０の利用者が装置本体５１内の後述する処理装置６１（図２参照）に対して指令や文字データを入力するストロークデバイスであるキーボード５２と、（ｃ）処理装置６１による制御のもとで、図形や文字等を表示する表示装置５３と、（ｄ）マスク画像情報作成装置５０の利用者が処理装置６１に対して表示装置５３の表示領域における位置を指定するポインティングデバイスであるマウス５４と、（ｅ）処理装置６１による制御のもとで、所望の対象物体を撮影するカメラ装置５５とを備えている。
【００４１】
装置本体５１は、図２に示されるように、（ｉ）様々なデータ処理を行うとともに、マスク画像情報作成装置５０全体を統括制御する処理装置６１と、（ii）通信ネットワークＭＮＴとの間で通信を制御する通信制御装置６２と、（iii）様々なデータを記憶する記憶装置６３と、（iv）記憶媒体ＭＣＤからデータを読み出したり、記憶媒体ＭＣＤにデータを書き込んだりするための記憶媒体アクセス装置６４と、（ｖ）インターフェースケーブルＩＦＣを介して、他の装置と接続ための外部インターフェース装置６５とを備えている。
【００４２】
ここで、マスク画像情報作成装置５０は計算機システムとして構成されており、処理装置６１において各種のプログラムが実行されて、様々なデータ処理及びマスク画像情報作成装置５０全体の統括制御がなされるようになっている。こうしたプログラムの１つとして、マスク画像情報作成プログラム７０がある。
【００４３】
このマスク画像情報作成プログラム７０は、図３に示されるように、（ｉ）マスク画像の作成に使用する少なくとも１つの要素画像を選択する要素画像選択部７１と、（ii）選択された要素画像それぞれの振る舞い指定を行う要素画像振る舞い指定部７２と、（iii）原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う位置及び大きさ指定部７３とを備えている。また、マスク画像情報作成プログラム７０は、（iv）要素画像を、素材画像を編集して作成する素材画像編集部７４と、（ｖ）選択された要素画像、振る舞い指定、位置指定及び前記大きさ指定を使用して、プレビュー表示を行うプレビュー部７５とを、更に備えている。
【００４４】
なお、記憶装置６３には、マスク画像情報作成プログラム７０が使用する領域として、要素画像格納領域８１、標準着目像格納領域８２、マスク画像情報格納領域８３、及びマスク画像情報作成プログラム７０が編集中のマスク画像情報である編集中マスク画像情報格納領域８４を有している。
【００４５】
ここで、マスク画像情報格納領域８３には、マスク画像情報ファイル４０が格納される。このマスク画像情報ファイル４０は、図４（Ａ）に示されるように、（ｉ）原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述が格納された表示指定ファイル４１jと、（ii）表示指定ファイル４１jにおける表示指定記述によって指定される要素画像データが格納された要素画像ファイル４２jとから構成されている。
【００４６】
要素画像ファイル４２jは、図４（Ｂ）に示されるように、要素画像ＥＭＭが格納されている。なお、要素画像ファイル４２jに格納されている第ｉ番目の要素画像を以下においては、要素画像ＥＭＭjiと記すものとする。なお、図４（Ｂ）では、要素画像ファイル４２jに格納されている要素画像が複数ある場合が示されているが、要素画像ファイル４２jに格納されている要素画像の数は１つの場合もあるし、２つ以上の場合もある。要素画像ＥＭＭjiとしては、例えば、ハート図形画像、唇図形画像等がある。
【００４７】
こうした、要素画像ＥＭＭjiは、図５において要素画像ＥＭＭ11について代表的に示されるように、要素画像に固有の座標系、すなわち要素画像ＥＭＭjiの代表点（図５では、要素画像ＥＭＭ11の中心点）を原点ＯEとするＸEＹE座標系において作成されている。そして、要素画像ＥＭＭjiの大きさ情報としては、ＸE軸方向における最大幅ＬＸEi（図５においては、最大幅ＬＸE1）を使用するようになっている。図６においては、要素画像ＥＭＭjiをハート図形の要素画像ＥＭＭ11としたが、形状や大きさの異なる要素画像であっても、同様である。
【００４８】
上記の表示指定ファイル４１jにおける表示指定記述の例が、図６及び図７に示されている。なお、本実施形態における表示指定記載は、ＳＭＩＬ（Synchronized Multimedia Integration Language）形式に準じた形式で記述されるようになっている。
【００４９】
これらの表示指定記述の例に先立って、要素画像の表示位置の指定に使用する着目像座標系について説明する。なお、以下においては、説明を簡易に行う都合上、原画像における被撮影体の表示面に対する構造を考慮せずに２次元的に取り扱うこととし、表示面における奥行き方向の沿った被撮影体の構造は考えないものとする。
【００５０】
着目像座標系（ＸWＹW座標系）は、図８（Ａ）及び図８（Ｂ）において総合的に示されるように、原画像座標系（ＸSＹS座標系）が定義される原画像領域ＯＭＲにおける着目像領域ＷＭＲの傾きの有無にかかわらず、着目像領域ＷＭＲに対して固有に定義される。すなわち、着目像領域ＷＭＲにおける所定の画像的に特徴的な点（以下、「代表点」ともいう）をＸWＹW座標系の原点ＯWとする。こうした代表点としては、着目像領域ＷＭＲの重心位置、着目像が特定人物の顔像である場合における当該顔像における鼻の突端位置等といった画像解析によって得られる着目像領域における特徴的な点を採用することができる。
【００５１】
また、着目像領域ＷＭＲにおける特徴的な一方向をＸW軸方向とする。こうしたＸW軸としては、例えば、着目像領域ＷＭＲの形状が楕円近似できる場合には近似楕円の長軸方向若しくは短軸方向、又は、着目像が特定人物の顔像である場合における当該顔像における両目の中心位置を結ぶ方向等を採用することができる。そして、ＸW軸方向と垂直な方向をＹW軸方向とする。こうして、着目像座標（ＸWＹW座標系）が定義される。
【００５２】
以下、図６及び図７に示されている表示指定記述の例について説明する。
【００５３】
図６（Ａ）には、着目像領域の位置、傾き、及び大きさに応じて定まる２つの位置（例えば、着目像が特定の人物の顔像である場合における両目の位置）に、定常的に同一の要素画像が同時を表示させる表示指定を行うための例が表示指定ファイル４１1として示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記載された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。
【００５４】
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞との間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW11，ＹW11）に、「要素画像指定」によって指定される要素画像ＥＭＭ11が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ11のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ1の長さとされる。なお。後述する表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ11は常時表示されることが指定されている。
【００５５】
付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW12，ＹW12）に、「要素画像指定」によって指定される要素画像ＥＭＭ11が表示される。これ以外の指定については、付加画像１の場合と同様の指定が行われていることから、付加画像１の場合と同様の表示指定が行われている。
【００５６】
なお、図６（Ａ）のような表示指定ファイル４１1の場合、表示指定ファイル４１1に対応する要素画像ファイル４２1には、要素画像として、要素画像ＥＭＭ11のみが格納される。
【００５７】
図６（Ｂ）には、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置（例えば、着目像が特定の人物の顔像である場合における口の位置）に、表示内容が時間的に変化する１つの付加画像１が表示させる表示指定を行うための例が表示指定ファイル４１2として示されている。なお、図６（Ｂ）の表示指定ファイル４１jでは、複数の要素画像を同時に表示させないので、図６（Ａ）における同時表示に関連する＜同時表示指定＞及び＜同時表示指定終了＞が記述されていない。
【００５８】
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、まず、第１の「要素画像指定」によって指定される要素画像ＥＭＭ21が、第１の「表示位置指定」によって指定される着目像領域が予め定められた基準となる大きさ情報ＬＸEが値ＬＸE0である場合におけるＸWＹW座標系の座標位置（ＸW21，ＹW21）に表示される。また、第１の「大きさ指定」によって指定されるように、要素画像ＥＭＭ21の表示時のＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ21の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ21が、時間Ｔ21にわたって表示される。
【００５９】
要素画像ＥＭＭ21の時間Ｔ21の表示が終了すると、次に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ22が、第２の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ21の場合と同様の位置に表示される。また、第２の「大きさ指定」によって指定されるように、要素画像ＥＭＭ22の表示時におけるＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ22の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ22が、時間Ｔ22にわたって表示される。
【００６０】
要素画像ＥＭＭ22の時間Ｔ22の表示が終了すると、次に、第３の「要素画像指定」によって指定される要素画像ＥＭＭ23が、第３の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ21の場合と同様の位置に表示される。また、第３の「大きさ指定」によって指定されるように、要素画像ＥＭＭ23の表示時におけるＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ23の長さとされる。また、第３の「表示時間指定」によって指定されるように、要素画像ＥＭＭ23が、時間Ｔ23にわたって表示される。
【００６１】
こうして、要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の時間順次の表示が終了すると、再度、上記と同様の態様で要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の時間順次の表示がされる。こうして、要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の指定態様による表示が、時間順次に繰り返される。
【００６２】
図７には、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置に、常時１つの要素画像を表示させるとともに、着目像領域の位置、傾き、及び大きさに応じて定まる他の２つの位置に、時間順次に異なる２つの要素画像を択一的に表示させる表示指定を行うための例が表示指定ファイル４１3として示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記載された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。
【００６３】
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW31，ＹW31）に、「要素画像指定」によって指定される要素画像ＥＭＭ31が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ31のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ31の長さとされる。なお、表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ31は常時表示されることが指定されている。
【００６４】
付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、まず、第１の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW32，ＹW32）に、第１の「要素画像指定」によって指定される要素画像ＥＭＭ32が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ32のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ32の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ32が、時間Ｔ32にわたって表示される。
【００６５】
付加画像２においては、要素画像ＥＭＭ32の時間Ｔ32の表示が終了すると、次に、第２の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸ0である場合におけるＸWＹW座標系の座標位置（ＸW33，ＹW33）に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ33が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ33のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ33の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ33が、時間Ｔ33にわたって表示される。
【００６６】
こうして、付加画像１と付加画像２とを合わせて、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に行われる。これらの表示が終了すると、再度、上記と同様の態様で、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に行われる。こうして、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に繰り返される。
【００６７】
図９及び図１０には、図１の携帯電話装置１０の構成が概略的に示されている。ここで、図９（Ａ）には、携帯電話装置１０の外観の正面図が示され、図９（Ｂ）には、携帯電話装置１０の外観の裏面図が示されている。また、図１０には、携帯電話装置１０の機能ブロック構成が示されている。
【００６８】
図９及び図１０において総合的に示されるように、携帯電話装置１０は、（ａ）後述する制御部２１等を備える携帯電話本体１１と、（ｂ）電話番号を制御部２１へ入力するためのテンキー、及び、動作モードの切替等の各種指令を制御部２１へ入力するためのファンクションキーを有する操作部１２と、（ｃ）制御部２１による指令に応じて、操作案内、動作状況、受信メッセージ等を表示する液晶表示装置を有する表示部１３とを備えている。また、携帯電話装置１０は、（ｄ）通話時に通信相手から送られてきた音声信号を再生する通話用スピーカ１４と、通話時に音声を入力するためのマイクロフォン１５と、（ｅ）制御部２１による指令に応じて、着信音や案内音を発生するための案内用スピーカ１６とを備えている。更に、携帯電話装置１０は、（ｆ）送受信部２２と接続され、基地局との間で無線信号を授受するためのアンテナ１７とを備えている。さらに、携帯電話装置１０は、（ｇ）表示部１３における表示を見ながら操作部１２を操作する操作者側を撮影する、すなわち、いわゆる自分撮りの態様で撮影を行うための撮像光学系１８と、（ｈ）当該操作者の視線方向を視野方向とする撮影を行う、すなわち、いわゆる相手撮りの態様で撮影を行うための撮像光学系１９とを備えている。
【００６９】
携帯電話本体１１は、図１０に示されるように、（ｉ）携帯電話装置１０の全体の動作を統括制御するとともに、様々なデータ処理を行う制御部２１と、（ii）基地局との間でアンテナ１７を介して無線信号を送受信するための送受信部２２と、（iii）様々なデータを記憶するための記憶部２３とを備えている。また、携帯電話本体１１は、（iv）制御部２１の制御に応じて、撮像光学系１８を介した光及び撮像光学系１９を介した光のいずれかを、後述する撮像素子２５へ向けて射出する切換光学系２４と、（ｖ）切換光学系２４を介した光が受光面に形成する光学像を撮像するＣＣＤ素子等の撮像素子２５とを備えている。また、携帯電話本体１１は、（vi）記憶媒体ＭＣＤからデータを読み出したり、記憶媒体ＭＣＤにデータを書き込んだりするための記憶媒体アクセス部２６と、（ｖ）インターフェースケーブルＩＦＣを介して他の装置と接続ための外部インターフェース部２７とを備えている。ここで、撮像素子２５は、制御部２１の制御のもとで撮像動作を行い、撮像結果を制御部２１へ通知するようになっている。
【００７０】
制御部２１は、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）等を備えている。そして、制御部２１で実行されるプログラムとして構成された基本制御部２９やマスク画像処理部３０により、携帯電話機能を実現するために、様々なデータ処理を行うとともに、上述した他の構成要素の動作制御を行うようになっている。ここで、基本制御部２９は、マスク画像処理部３０の動作の開始及び停止を制御するとともに、制御部２１の外部に配置された各要素の制御、及び、後述するマスク画像作成の画像処理以外のデータ処理を行う。
【００７１】
上記のマスク画像処理部３０は、図１１に示されるように、着目像情報抽出部３１と、マスク画像作成部３２と、合成画像作成部３３とを備えている。着目像情報抽出部３１は、撮像素子２５からの原画像データＯＭＤに基づいて、例えば原画像における特定人物（例えば、携帯電話装置１０の利用者）の顔領域等の着目像領域を特定し、原画像における着目像領域の代表点の位置情報、原画像における着目像領域の傾き情報及び着目像領域の大きさ情報から成る着目像情報ＷＭＤを抽出する。
【００７２】
上記のマスク画像作成部３２は、着目像情報抽出部３１によって抽出された着目像情報ＷＭＤと、上述した記憶部２３に記憶されたマスク画像情報ＭＤＤとに基づいて、マスク画像データＭＭＤを作成する。なお、マスク画像情報ＭＤＤ及びマスク画像作成部３２によるマスク画像データＭＭＤの作成については、後述する。
【００７３】
上記の合成画像作成部３３は、原画像データＯＭＤ及びマスク画像データＭＭＤに基づいて、原画像上にマスク画像を重ねた合成画像データＳＭＤを作成する。なお、合成画像作成部３３によって作成された合成画像データＳＭＤを基本制御部２９へ通知されるようになっている。
【００７４】
図１０に戻り、記憶部２３には、上述したマスク画像情報ファイル４０が記憶される。このマスク画像情報ファイル４０は、携帯電話装置１０に対して、マスク画像情報作成装置５０から通信ネットワークＭＮＴ、記憶媒体ＭＣＤ又は有線インターフェースケーブルＩＦＣを介して、携帯電話装置１０へ送られてきたものが記憶されるようになっている。
【００７５】
次に、上述のように構成されたマスク画像情報作成装置５０によるマスク画像情報の作成について説明する。
【００７６】
マスク画像情報の作成に先立って、マスク画像情報作成装置５０では、要素画像が作成される。こうした要素画像の作成には、マスク画像情報作成プログラム７０の素材画像編集部７４により行われ、作成された要素画像は、要素画像格納領域８１に格納される（図３参照）。ここで、素材画像編集部７４は、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による描画指令に応じて要素画像を作成し、要素画像格納領域８１に格納する。また、素材画像編集部７４は、通信ネットワークＭＮＴ、記憶媒体ＭＣＤ又は外部インターフェースケーブルＩＦＣを介して取得した素材画像を、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による拡大・縮小や回転の指令に応じて編集して要素画像を作成し、要素画像格納領域８１に格納する。また、素材画像編集部７４は、カメラ装置５５によって得られた撮像結果を、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による切り出し、並びに切り出し結果の拡大・縮小及び回転の指令に応じて編集して要素画像を作成し、要素画像格納領域８１に格納する。こうして作成された要素画像の例が、上述した図５、並びに図１２及び図１３に示されている。
【００７７】
以上のようにして要素画像が要素画像格納領域８１に格納されていることを前提として、マスク画像情報の作成が、次のようにして行われる。
【００７８】
まず、マスク画像情報作成プログラム７０の要素画像選択部７１により、マスク画像に使用する要素画像が選択される。この要素画像の選択は、要素画像格納部８１に格納されている要素画像の中から、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による要素画像の選択指令により行われる。
【００７９】
例えば、上述した図６（Ａ）の表示指定を含むマスク画像情報を作成する場合には、要素画像ＥＭＭ11（図５参照）が選択される。また、上述した図６（Ｂ）の表示指定を含むマスク画像情報を作成する場合には、要素画像ＥＭＭ21，ＥＭＭ22，ＥＭＭ23（図１２参照）が選択される。また、上述した図８の表示指定を含むマスク画像情報を作成する場合には、要素画像ＥＭＭ31，ＥＭＭ32，ＥＭＭ33（図１３参照）が選択される。こうして選択された要素画像は、要素画像振る舞い指定部７２に通知される。
【００８０】
引き続き、マスク画像情報作成プログラム７０の要素画像振る舞い指定部７２により、マスク画像における選択された各要素画像の振る舞い、すなわち、各要素画像に対応させて表示時間、表示順序、同時表示させる組合せが指定される。この各要素画像の振る舞い指定は、利用者により表示装置５３を見ながら行われるキーボード５２又はマウス５４による要素画像の振る舞い指定指令に従って行われる。
【００８１】
例えば、上述した図６（Ａ）の表示指定を含むマスク画像情報を作成する場合には、（ｉ）定常的に表示される要素画像ＥＭＭ11が付加画像１の構成要素であること、（ii）定常的に表示される要素画像ＥＭＭ11が付加画像２の構成要素であること、（iii）付加画像１と付加画像２とが同時表示されることが指定される。また、上述した図６（Ｂ）の表示指定を含むマスク画像情報を作成する場合には、（ｉ）時間Ｔ21にわたって表示される要素画像ＥＭＭ21、時間Ｔ22にわたって表示される要素画像ＥＭＭ22、及び、時間Ｔ23にわたって表示される要素画像ＥＭＭ23が付加画像１の構成要素であること、（ii）要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の順で繰り返し表示されることが指定される。また、上述した図７の表示指定を含むマスク画像情報を作成する場合には、（ｉ）定常的に表示される要素画像ＥＭＭ11が付加画像１の構成要素であること、（ii）時間Ｔ32にわたって表示される要素画像ＥＭＭ32、及び、時間Ｔ33にわたって表示される要素画像ＥＭＭ33が付加画像２の構成要素であること、（ii）付加画像２において、要素画像ＥＭＭ32及び要素画像ＥＭＭ33の順で繰り返し表示されること、（iv）付加画像１と付加画像２とが同時表示されることが指定される。こうして指定された振る舞い指定結果は、選択された要素画像とともに、位置及び大きさ指定部７３に通知される。
【００８２】
次に、マスク画像情報作成プログラム７０の位置及び大きさ指定部７３により、選択された各要素画像の表示位置及び大きさが指定される。この表示位置及び大きさが指定に際して、位置及び大きさ指定部７３は、まず、標準着目像格納領域８２に格納された標準着目像ＷＭＴ（図１４参照）を読み出して、表示装置５３に表示する。この標準着目像ＷＭＴの表示例が図１４に示されている。図１４（Ａ）に示されるように標準着目像ＷＭＴにおいては、着目像座標系（ＸWＹW座標系）が定義されている。ここで、標準着目像ＷＭＴは、例えば人物の顔像等であり、経験的且つ統計的に定められたものであってもよいし、カメラ装置５５によって撮像された特定人物像から切り出されたものであってもよい。なお、本実施形態においては、標準着目像ＷＭＴは、図１４（Ａ）に示されるような人物の顔像等であり、経験的且つ統計的に定められたものとしている。また、本実施形態では、標準着目像ＷＭＴの領域の大きさを代表する特徴的な長さである標準着目像ＷＭＴの領域のＸW軸上における幅が長さＬＸ0となっているものとする。
【００８３】
引き続き、位置及び大きさ指定部７３により、利用者により表示装置５３における標準着目像ＷＭＴを見ながら行われるキーボード５２又はマウス５４を用いた各要素画像のドラッグや拡大／縮小操作による表示位置及び表示大きさの指定が行われる。こうした指定の完了時における表示装置５３における表示の例が、図６（Ａ）の表示指定を含むマスク画像情報を作成する場合について、図１４（Ｂ）に示されている。この図１４（Ｂ）の場合には、（ｉ）付加画像１における要素画像ＥＭＭ11の表示位置が、標準着目像ＷＭＴの場合に、ＸWＹW座標系における座標位置［ＸW11，ＹW11］であり、当該要素画像ＥＭＭ11の表示大きさ、すなわち、ＸW軸と平行とされる上述した要素画像座標系（ＸEＹE座標系）におけるＸE軸方向に沿った当該要素画像ＥＭＭ11の表示時の最大幅と、標準着目像ＷＭＴの領域の大きさＬＸ0との比率が、値Ｒ1であることが指定される。また、図１４（Ｂ）の場合には、（ii）付加画像２における要素画像ＥＭＭ11の表示位置が、標準着目像ＷＭＴの場合に、ＸWＹW座標系における座標位置［ＸW11，ＹW11］であり、ＸE軸方向に沿った当該要素画像ＥＭＭ11の表示時の最大幅と、長さＬＸ0との比率が、値Ｒ1であることが指定される。
【００８４】
なお、図６（Ｂ）又は図７の表示指定を含むマスク画像情報を作成する場合にも、上記と同様にして、位置及び大きさ指定部７３により、各要素画像の表示位置及び表示大きさの指定が行われる。
【００８５】
この結果、図６（Ｂ）の表示指定を含むマスク画像情報を作成する場合には、（ｉ）付加画像１における要素画像ＥＭＭ21の表示位置が、標準着目像ＷＭＴの場合に、ＸWＹW座標系における座標位置［ＸW2，ＹW2］であり、ＸE軸方向に沿った当該要素画像ＥＭＭ21の表示時の最大幅と、長さＬＸ0との比率が、値Ｒ21であることが指定される。また、（ii）付加画像１における要素画像ＥＭＭ22の表示位置が、標準着目像ＷＭＴの場合に、ＸWＹW座標系における座標位置［ＸW2，ＹW2］であり、ＸE軸方向に沿った当該要素画像ＥＭＭ22の表示時の最大幅と、長さＬＸ0との比率が、値Ｒ22であることが指定される。（iii）付加画像１における要素画像ＥＭＭ23の表示位置が、標準着目像ＷＭＴの場合に、ＸWＹW座標系における座標位置［ＸW2，ＹW2］であり、ＸE軸方向に沿った当該要素画像ＥＭＭ23の表示時の最大幅と、長さＬＸ0との比率が、値Ｒ23であることが指定される。
【００８６】
また、図７の表示指定を含むマスク画像情報を作成する場合には、（ｉ）付加画像１における要素画像ＥＭＭ31の表示位置が、標準着目像ＷＭＴの場合に、ＸWＹW座標系における座標位置［ＸW31，ＹW31］であり、ＸE軸方向に沿った当該要素画像ＥＭＭ31の表示時の最大幅と、長さＬＸ0との比率が、値Ｒ31であることが指定される。また、（ii）付加画像２における要素画像ＥＭＭ32の表示位置が、標準着目像ＷＭＴの場合に、ＸWＹW座標系における座標位置［ＸW32，ＹW32］であり、ＸE軸方向に沿った当該要素画像ＥＭＭ32の表示時の最大幅と、長さＬＸ0との比率Ｒが、値Ｒ32であることが指定される。（iii）付加画像２における要素画像ＥＭＭ33の表示位置が、標準着目像ＷＭＴの場合に、ＸWＹW座標系における座標位置［ＸW33，ＹW33］であり、ＸE軸方向に沿った当該要素画像ＥＭＭ33の表示時の最大幅と、長さＬＸ0との比率Ｒが、値Ｒ33であることが指定される。
【００８７】
こうして、マスク画像情報を構成する要素画像、並びに各要素画像の振る舞い、表示位置及び表示大きさの指定が一旦完了すると、位置及び大きさ指定部７３は、上述したマスク画像情報ファイル４０と同様の形式で、編集中マスク画像情報格納領域８４に格納する。
【００８８】
次いで、利用者によるキーボード５２又はマウス５４を用いたプレビュー実行指令に応じて、プレビュー部７５が、編集中マスク画像情報格納領域８４に格納された編集中マスク画像情報を使用してプレビュー処理を行い、表示装置５３にプレビュー結果を表示する。すなわち、プレビュー部７５は、カメラ装置５５によって撮像された原画像及び当該編集中マスク画像情報に基づいて、マスク画像を作成した後、当該マスク画像を原画像上に重ねた合成画像を作成して、表示装置５３に表示される。
【００８９】
ここで、図６（Ａ）、図６（Ｂ）及び図７の表示指定を有する編集中マスク画像情報の場合のプレビュー動作である第１〜第３のプレビュー動作について説明する。
【００９０】
前提として、プレビュー部７５は、記憶部２３における編集中マスク画像情報格納領域８４に格納された編集中マスク画像情報を既に読み込んでいるものとする。また、原画像における着目像ＷＭＭは、図１５（Ａ）に示されるような特定の人物の顔像であるものものとする。そして、図１５（Ｂ）に示されるように、着目像ＷＭＭにおける鼻の突端位置を原点ＯWとし、両面を結ぶ方向をＸW軸方向とし、当該ＸW軸方向と垂直な方向をＹW軸方向とするＸWＹW座標系（着目像座標系）が定義されるものとする。なお、原点ＯW及びＸW軸方向は、原画像における着目像を画像解析して求められ、ＹW軸方向は、求められたＸW軸方向に基づいて求められるものとする。
【００９１】
《第１のプレビュー例》
まず、第１のプレビュー例を説明する。この例は、上述した図６（Ａ）において、両目の位置を表示位置とし、要素画像データＥＭＭ11が、図５に示されるハート型図形画像であり、当該要素画像ＥＭＭ11が着目像ＷＭＭの大きさを表す長さ値ＬＸWに対して比率Ｒ1の大きさで表示されるマスク画像が、原画像に重ねて表示される合成画像の例である。
【００９２】
まず、カメラ装置５５において撮像された原画像ＯＭＭのデータである原画像データが、プレビュー部７５へ通知される。ここで、得られた原画像ＯＭＭの例が、図１６に示されている。
【００９３】
プレビュー部７５は、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を抽出する。引き続き、着目像情報抽出部３１は、着目像ＷＭＭを解析して、原画像座標系（ＸSＹS座標系）における着目像ＷＭＭにおける鼻の突端位置（ＸSW，ＹSW）を着目像座標（ＸWＹW座標系）の原点ＯWの位置として求めるとともに、両目の瞳の中央位置同士を結ぶ線分が延びる方向をＸWＹW座標系のＸW軸方向として求める。そして、求められたＸW軸方向とＸS軸方向との交差角度θWを求める。さらに、着目像情報抽出部３１は、着目像ＷＭＭのＸW軸上における幅ＬＸWを求める。この結果、着目像領域の位置情報としての位置（ＸSW，ＹSW）、着目像領域の傾き情報としての角度θW、着目像領域の大きさ情報としての長さＬＸWが求められる。
【００９４】
引き続き、プレビュー部７５は、付加画像１における要素画像ＥＭＭ11のＸSＹS座標系における表示位置（ＸE11，ＹE11）を、次の（１）式及び（２）式により算出する。
ＸE11＝（ＬＸW／ＬＸ0）(ＸW11・ｃｏｓθW−ＹW11・ｓｉｎθW)＋ＸSW    …（１）
ＹE11＝（ＬＸW／ＬＸ0）(ＸW11・ｓｉｎθW＋ＹW11・ｃｏｓθW)＋ＹSW    …（２）
【００９５】
次に、プレビュー部７５は、付加画像１における要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ11を、次の（３）式により算出する。
Ｍ11＝Ｒ1・ＬＸW／ＬＸE1                                            …（３）
【００９６】
次いで、プレビュー部７５は、要素画像ＥＭＭ11をＸSＹS座標系において原点ＯEを中心として倍率Ｍ11で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ11をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ11を、ＸSＹS座標系における座標位置（ＸE11，ＹE11）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【００９７】
次に、プレビュー部７５は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ11のＸSＹS座標系における表示位置（ＸE12，ＹE12）を、次の（４）式及び（５）式により算出する。
ＸE12＝（ＬＸW／ＬＸ0）(ＸW12・ｃｏｓθW−ＹW12・ｓｉｎθW)＋ＸSW    …（４）
ＹE12＝（ＬＸW／ＬＸ0）(ＸW12・ｓｉｎθW＋ＹW12・ｃｏｓθW)＋ＹSW    …（５）
【００９８】
引き続き、プレビュー部７５は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ12を、次の（６）式により算出する。
Ｍ12＝Ｒ1・ＬＸW／ＬＸE1                                            …（６）
【００９９】
次いで、プレビュー部７５は、要素画像ＥＭＭ11をＸSＹS座標系において原点ＯEを中心として倍率Ｍ12で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ11をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ11、ＸSＹS座標系における座標位置（ＸE12，ＹE12）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１００】
以上の結果、図１６（Ｂ）に示されるようなマスク画像ＭＭＭＡが作成される。そして、プレビュー部７５は、原画像データＯＭＭ上にマスク画像ＭＭＭＡを重ねた合成画像ＳＭＭＡを作成する。こうして作成された合成画像ＳＭＭＡが図１７（Ａ）に示されている。
【０１０１】
以上のようにして、本例の場合における合成画像が作成される。このため、撮像中の原画像における着目像ＷＭＭが上記の例から平行移動したとしても、図１７（Ｂ）に示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＢが作成される。
【０１０２】
また、撮像中の原画像における着目像ＷＭＭが縮小したとしても、図１７（Ｃ）に示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＣが作成される。また、撮像中の原画像における着目像ＷＭＭが回転したとしても、図１７（Ｄ）に示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさを有し、かつ、着目像ＷＭＭの原画像中における傾きと同一の傾きを持って表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＤが作成される。なお、撮像中の原画像における着目像ＷＭＭが縮小、拡大又は回転した場合には、一般に、着目像領域における鼻の突端位置の原画像座標系（ＸSＹS座標系）における座標位置の変化を伴うこととなる。
【０１０３】
《第２のプレビュー例》
次に、第２のプレビュー例を説明する。この例は、上述した図６（Ｂ）において、口の位置を表示位置とし、図１２（Ａ）に示される要素画像ＥＭＭ21、図１２（Ｂ）に示される要素画像ＥＭＭ22、及び図１２（Ｃ）に示される要素画像ＥＭＭ23が時間順次に繰り返して表示されるマスク画像が、原画像に重ねて表示される合成画像の例である。
【０１０４】
なお、図６（Ｂ）の記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ21，ＥＭＭ22，ＥＭＭ23が表示される。すなわち、要素画像ＥＭＭ21は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対してＲ21の大きさで表示される。また、要素画像ＥＭＭ22は長さ値ＬＸWに対して比率Ｒ22の大きさで表示される。さらに、要素画像ＥＭＭ23は長さ値ＬＸWに対して比率Ｒ23の大きさで表示される。
【０１０５】
まず、上記の第１の合成画像作成例と同様にして、カメラ装置５５において撮像された原画像ＯＭＭの原画像データが、プレビュー部７５へ通知される。引き続き、プレビュー部７５が、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を特定し、着目像情報ＷＭＲを抽出する。そして、プレビュー部７５は、着目像領域の位置情報としての位置（ＸSW，ＹSW）、着目像領域の傾き情報としての角度θW、及び着目像領域の大きさ情報としての長さＬＸWを求める。
【０１０６】
次に、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ21のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、次の（７）式及び（８）式により算出する。
ＸE2＝（ＬＸW／ＬＸ0）(ＸW2・ｃｏｓθW−ＹW2・ｓｉｎθW)＋ＸSW      …（７）
ＹE2＝（ＬＸW／ＬＸ0）(ＸW2・ｓｉｎθW＋ＹW2・ｃｏｓθW)＋ＹSW      …（８）
【０１０７】
次に、プレビュー部７５は、第１の要素画像ＥＭＭ21の拡大又は縮小の倍率Ｍ21を、次の（９）式により算出する。
Ｍ21＝Ｒ21・ＬＸW／ＬＸE21                                        …（９）
【０１０８】
次いで、プレビュー部７５は、上記の第１のプレビュー例と同様にして、要素画像ＥＭＭ21をＸSＹS座標系において原点ＯEを中心として倍率Ｍ21で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ21をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ21を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１０９】
以上の結果、図１８（Ａ）に示されるようなマスク画像ＭＭＭ21が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ21を作成する。こうして作成された合成画像ＳＭＭ21が図１９（Ａ）に示されている。
【０１１０】
以後、プレビュー部７５は、時間Ｔ21にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ21を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ21の大きさで表示するマスク画像を作成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ21を倍率Ｍ21で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ21にわたって逐次作成する。
【０１１１】
こうして、時間Ｔ21が経過すると、プレビュー部７５は、付加画像１における第２要素画像ＥＭＭ22のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、上記の（７）式及び（８）式により算出する。引き続き、マスク画像作成部３２は、第２の要素画像ＥＭＭ22の拡大又は縮小の倍率Ｍ22を、次の（１０）式により算出する。
Ｍ22＝Ｒ22・ＬＸW／ＬＸE22                                    …（１０）
【０１１２】
次に、プレビュー部７５は、上記の第１の要素画像ＥＭＭ21の場合と同様にして、要素画像ＥＭＭ22をＸEＹE座標系において原点ＯEを中心として倍率Ｍ22で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ22をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ22を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１１３】
以上の結果、図１８（Ｂ）に示されるようなマスク画像ＭＭＭ22が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ22を作成する。こうして作成された合成画像ＳＭＭ22が図１９（Ｂ）に示されている。
【０１１４】
以後、プレビュー部７５は、時間Ｔ22にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ22を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ22の大きさで表示するマスク画像を生成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ22を倍率Ｍ22で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ22にわたって作成する。
【０１１５】
こうして、時間Ｔ22が経過すると、プレビュー部７５は、付加画像１における第３要素画像ＥＭＭ3のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、上記の（７）式及び（８）式により算出する。引き続き、プレビュー部７５は、第３の要素画像ＥＭＭ3の拡大又は縮小の倍率Ｍ23を、次の（１１）式により算出する。
Ｍ23＝Ｒ23・ＬＸW／ＬＸE23                                  …（１１）
【０１１６】
次に、プレビュー部７５は、上記の第１の要素画像ＥＭＭ21の場合と同様にして、要素画像ＥＭＭ23をＸEＹE座標系において原点ＯEを中心として倍率Ｍ23で拡大又は縮小を行う。引き続き、プレビュー部７５は、拡大又は縮小された要素画像ＥＭＭ23をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ23を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１１７】
以上の結果、図１８（Ｃ）に示されるようなマスク画像ＭＭＭ23が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭ23を重ねた合成画像ＳＭＭ23を作成する。こうして作成された合成画像ＳＭＭ23が図１９（Ｃ）に示されている。
【０１１８】
以後、プレビュー部７５は、時間Ｔ23にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ23を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ23の大きさで表示するマスク画像を生成する。この結果、プレビュー部７５は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ23を倍率Ｍ23で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ23にわたって作成する。
【０１１９】
こうして、時間Ｔ23が経過すると、プレビュー部７５は、上記と同様にして、上述した要素画像ＥＭＭ21を使用したマスク画像、要素画像ＥＭＭ22を使用したマスク画像及び要素画像ＥＭＭ23を使用したマスク画像の時間順次の作成を繰り返す。そして、プレビュー部７５は、原画像データＯＭＤとマスク画像データＭＭＤとに基づいて、原画像における着目像の口の位置に指定の大きさに拡大又は縮小された要素画像ＥＭＭ21、要素画像ＥＭＭ22、及び要素画像ＥＭＭ23からなるマスク画像が重ねられた合成画像を逐次作成する。
【０１２０】
《第３のプレビュー例》
次に、第３のプレビュー例を説明する。この例は、上述の図７におけるマスク画像指定に対応するものであり、要素画像及び着目像に対する表示位置が固定的な表示である付加画像１、並びに、要素画像及び着目像に対する表示位置が時間的に変化する付加画像２を同時表示するマスク画像が、原画像に重ねて表示される合成画像の例である。
【０１２１】
ここで、付加画像１における要素画像ＥＭＭ31は、図１３（Ａ）に示されるものであるものとする。また、付加画像２における第１要素画像ＥＭＭ32は、図１３（Ｂ）に示されるものであり、また、付加画像２における第２要素画像ＥＭＭ33は、図１３（Ｃ）に示されるものであるものとする。
【０１２２】
なお、図７の記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ31，ＥＭＭ32，ＥＭＭ33が表示される。すなわち、要素画像ＥＭＭ31は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示される。また、要素画像ＥＭＭ32は長さ値ＬＸWに対する比率Ｒ32の大きさで表示される。さらに、要素画像ＥＭＭ33は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ33の大きさで表示される。
【０１２３】
まず、上記の第１又は第２の合成画像作成と同様にして、カメラ装置５５において撮像された原画像のデータが、プレビュー部７５に通知される。引き続き、プレビュー部７５が、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を特定し、着目像情報を抽出する。そして、プレビュー部７５は、着目像領域の位置情報としての位置（ＸSW，ＹSW）、着目像領域の傾き情報としての角度θW、及び着目像領域の大きさ情報としての長さＬＸWを求める。
【０１２４】
次に、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）を、次の（１２）式及び（１３）式により算出する。
ＸE31＝（ＬＸW/ＬＸ0）(ＸW31・ｃｏｓθW−ＹW31・ｓｉｎθW)＋ＸSW    …（１２）
ＹE31＝（ＬＸW/ＬＸ0）(ＸW31・ｓｉｎθW＋ＹW31・ｃｏｓθW)＋ＹSW    …（１３）
【０１２５】
次に、プレビュー部７５は、第１の要素画像ＥＭＭ31の拡大又は縮小の倍率Ｍ31を、次の（１４）式により算出する。
Ｍ31＝Ｒ31・ＬＸW／ＬＸE31                                        …（１４）
【０１２６】
次いで、プレビュー部７５は、上記の第１又は第２のプレビュー例と同様にして、要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として倍率Ｍ31で拡大又は縮小を行う。引き続き、プレビュー部７５は、拡大又は縮小された要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ31を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１２７】
次に、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ31の場合と同様に、付加画像２における第２要素画像ＥＭＭ32のＸSＹS座標系における表示位置（ＸE32，ＹE32）を、次の（１５）式及び（１６）式により算出する。
ＸE32＝（ＬＸW／ＬＸ0）(ＸW32・ｃｏｓθW−ＹW32・ｓｉｎθW)＋ＸSW  …（１５）
ＹE32＝（ＬＸW／ＬＸ0)(ＸW32・ｓｉｎθW＋ＹW32・ｃｏｓθW）＋ＹSW  …（１６）
【０１２８】
次に、プレビュー部７５は、第２の要素画像ＥＭＭ32の拡大又は縮小の倍率Ｍ32を、次の（１７）式により算出する。
Ｍ32＝Ｒ32・ＬＸW／ＬＸE32                                        …（１７）
【０１２９】
次いで、プレビュー部７５は、上記の要素画像ＥＭＭ31の場合と同様にして、要素画像ＥＭＭ32をＸEＹE座標系において原点ＯEを中心として倍率Ｍ32で拡大又は縮小を行う。引き続き、プレビュー部７５は、拡大又は縮小された要素画像ＥＭＭ32をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ32を、ＸSＹS座標系における座標位置（ＸE32，ＹE32）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１３０】
以上の結果、図２０（Ａ）に示されるようなマスク画像ＭＭＭ31が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭ31を重ねた合成画像ＳＭＭ31を作成する。こうして作成された合成画像ＳＭＭ31が図２１（Ａ）に示されている。
【０１３１】
以後、プレビュー部７５は、時間Ｔ32にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ32を長さ値ＬＸWに対する比率Ｒ32の大きさで表示マスク画像を生成する。そして、プレビュー部７５は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ31にわたって作成する。
【０１３２】
こうして、時間Ｔ32が経過すると、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）及び倍率Ｍ31を、上記の（１２）式〜（１４）式により算出する。そして、プレビュー部７５は、ＸEＹE座標系において原点ＯEを中心として、要素画像ＥＭＭ31を倍率Ｍ31で拡大又は縮小した後に角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ2を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１３３】
次に、プレビュー部７５は、付加画像１における第１要素画像ＥＭＭ31の場合と同様に、付加画像２における要素画像ＥＭＭ33のＸSＹS座標系における表示位置（ＸE33，ＹE33）を、次の（１８）式及び（１９）式により算出する。
ＸE33＝（ＬＸW／ＬＸ0）(ＸW33・ｃｏｓθW−ＹW33・ｓｉｎθ)＋ＸSW    …（１８）
ＹE33＝（ＬＸW／ＬＸ0）(ＸW33・ｓｉｎθW＋ＹW33・ｃｏｓθ)＋ＹSW    …（１９）
【０１３４】
次に、プレビュー部７５は、第３要素画像ＥＭＭ33の拡大又は縮小の倍率Ｍ33を、次の（２０）式により算出する。
Ｍ33＝Ｒ33・ＬＸW／ＬＸE33                                        …（２０）
【０１３５】
次いで、プレビュー部７５は、上記の第１要素画像ＥＭＭ31の場合と同様にして、要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として倍率Ｍ33で拡大又は縮小を行う。引き続き、プレビュー部７５は、拡大又は縮小された要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ33を、ＸSＹS座標系における座標位置（ＸE33，ＹE33）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１３６】
以上の結果、図２０（Ｂ）に示されるようなマスク画像ＭＭＭ32が作成される。そして、プレビュー部７５は、原画像ＯＭＭ上にマスク画像ＭＭＭ32を重ねた合成画像ＳＭＭ32を作成する。こうして作成された合成画像ＳＭＭ32が図２１（Ｂ）に示されている。
【０１３７】
以後、プレビュー部７５は、時間Ｔ33にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ33を長さ値ＬＸWに対する比率Ｒ33の大きさで表示マスク画像を生成する。そして、プレビュー部７５は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ32にわたって作成する。
【０１３８】
こうして、時間Ｔ33が経過すると、プレビュー部７５は、上記と同様にして、上述した要素画像ＥＭＭ31及び要素画像ＥＭＭ32を使用したマスク画像、並びに要素画像ＥＭＭ31及要素画像ＥＭＭ33を使用したマスク画像の時間順次の作成を繰り返す。そして、プレビュー部７５は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を逐次作成する。
【０１３９】
以上のようにして行われるプレビュー表示を見て、利用者は、マスク画像が意図通りにできたか否かを判断する。この判断が肯定的であった場合には、利用者は、キーボード５２又はマウス５４を操作して、その旨をマスク画像情報作成プログラム７０の位置及び大きさ指定部７３へ通知する。この通知を受けた位置及び大きさ指定部７３は、編集中のマスク画像情報の内容を含むマスク画像情報ファイル４０を作成して、マスク画像情報格納領域８３に格納する。
【０１４０】
一方、上記の判断が否定的であった場合には、編集中のマスク画像情報における要素画像、又は、各要素画像の振る舞い、表示位置若しくは表示大きさの指定を、上記の指定の場合と同様にして再指定することにより変更する。そして、変更後の指定内容を含む編集中マスク画像情報を用いて、再度プレビューを行う。こうして、要素画像、又は、各要素画像の振る舞い、表示位置若しくは表示大きさの再指定と、プレビューとを、マスク画像が意図通りにできるまで繰り返す。そして、マスク画像が意図通りにできたと判断されると、利用者は、キーボード５２又はマウス５４を操作して、その旨をマスク画像情報作成プログラム７０の位置及び大きさ指定部７３へ通知する。この通知を受けた位置及び大きさ指定部７３は、編集中のマスク画像情報の内容を含むマスク画像情報ファイル４０を作成して、マスク画像情報格納領域８３に格納する。
【０１４１】
以上のようにして作成された、マスク画像情報ファイル４０は、マスク画像情報作成装置５０から、通信ネットワークＭＮＴ、記憶媒体ＭＣＤ又は有線インターフェースケーブルＩＦＣを介して、携帯電話装置１０へ送られる。そして、携帯電話装置１０は、受け取ったマスク画像情報ファイル４０を記憶部２３に格納する。
【０１４２】
次に、携帯電話装置１０におけるマスク画像の作成と、当該マスク画像を原画像上に重ねた合成像の作成について説明する。
【０１４３】
携帯電話装置１０においては、制御部２１で動作するプログラムであるマスク画像処理部３０が、上述したマスク画像情報作成装置５０におけるマスク画像情報プログラム７０のプレビュー部７５と同等の動作を行うようになっている。すなわち、マスク画像処理部３０の着目像情報抽出部３１が、撮像素子２５によって撮像された原画像ＯＭＭのデータＯＭＤを画像処理して、着目像ＷＭＭの領域を特定し、着目像領域の位置情報としての位置（ＸSW，ＹSW）、着目像領域の傾き情報としての角度θW、及び着目像領域の大きさ情報としての長さＬＸWを着目像情報ＷＭＤとして抽出するようになっている。また、マスク画像処理部３０のマスク画像作成部３２が、着目像情報ＷＭＤ及びマスク画像情報ＭＤＤに基づいて、マスク画像を作成するようになっている。そして、合成画像作成部３３が、原画像データＯＭＤ及びマスク画像データＭＭＤに基づいて、原画像上にマスク画像を重ねた合成像を作成するようになっている。
【０１４４】
このように構成されたマスク画像処理部３０が、撮像素子２５によって撮像された原画像ＯＭＭのデータＯＭＤ及び記憶部に格納されたマスク画像情報に基づいて、上述したプレビュー部７５と同様にして、マスク画像の作成と、当該マスク画像を原画像上に重ねた合成像の作成する。
【０１４５】
こうして作成された合成画像の情報データＳＭＤは、マスク画像処理部３０の合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭを表示部１３に表示したり、送受信部２２を介して、通話相手先へ送信したりする。
【０１４６】
以上説明したように、本実施形態では、まず、マスク画像情報作成プログラム７０の要素画像選択部７１が、マスク画像の作成に使用する少なくとも１つの要素画像を選択する。引き続き、マスク画像情報作成プログラム７０の要素画像振る舞い指定部７２が、選択された要素画像それぞれの振る舞い指定を行う。そして、マスク画像情報作成プログラム７０の位置及び大きさ指定部７３が、原画像において着目されるべき着目像領域の位置及び大きさと関連付けて、選択された要素画像それぞれを表示させる位置指定及び大きさ指定を行う。
【０１４７】
この結果、マスク画像の要素となるべき要素画像の振る舞い、並びに着目像領域と関連した表示位置及び表示大きさというマスク画像情報が作成される。したがって、本実施形態によれば、原画像に対して利用者の演出を施すためのマスク画像作成用のマスク画像情報を簡易に作成することができる。
【０１４８】
また、本実施形態では、振る舞いの指定に表示時間指定が含まれることとしている。このため、当該表示間指定に従ってマスク画像を作成することにより、所望の要素画像それぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像に関するマスク画像情報を作成することができる。
【０１４９】
また、本実施形態では、振る舞いの指定に、選択された要素画像の内における特定の組合せについて、時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定が含まれ得ることとしている。このため、当該時間順次表示指定の情報に従ってマスク画像を作成することにより、原画像上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示するマスク画像に関するマスク画像情報を作成することができる。
【０１５０】
また、本実施形態では、振る舞いの指定に、選択された要素画像の内における特定の組合せについて、同時に表示することを指定する同時表示指定が含まれ得ることとすることとしている。こため、所望の複数の要素画像それぞれが、所望の位置に表示されるマスク画像に関するマスク画像情報を作成することができる。この結果、様々なバリエーションのマスク画像に関するマスク画像情報を作成することができる。
【０１５１】
また、本実施形態では、位置指定を、着目像領域の代表点を原点とし、着目像領域に固有に座標軸の方向が定められる座標系における座標位置による指定としている。このため、要素画像の表示位置を、原画像における着目像領域の代表点位置及び傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易な形式で表現したマスク画像情報を作成することができる。
【０１５２】
また、本実施形態では、要素画像の表示大きさ指定を、着目像領域の大きさに対する比率により指定とすることとしている。このため、原画像内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像を含むマスク画像に関するマスク画像情報を作成することができる。
【０１５３】
また、本実施形態では、素材画像を編集して要素画像を作成する素材画像編集部７４を備える構成としている。このため、様々な経路で入手した素材画像に対して、素材画像編集部７４が、大きさの変更や回転転換等の編集を施すことにより、マスク画像の作成に利用しやすい要素画像と準備することができる。
【０１５４】
また、本実施形態では、選択された要素画像、並びに、選択された要素画像それぞれの振る舞い指定、表示位置指定及び表示大きさ指定を使用して、プレビュー表示を行うプレビュー部７５を備える構成としている。このため、プレビュー部７５が、選択した要素画像、振る舞い指定、位置指定及び大きさ指定を使用して、マスク画像を作成し、着目像あるいは着目像と想定される画像にマスク画像を重ねた合成像のプレビュー表示を行うことができる。このプレビュー表示により、利用者は、その段階におけるマスク画像による原画像の演出効果を確認することができる。そして、演出効果の確認の結果、利用者の意図と齟齬が在る場合には、要素画像の選択、又は、選択された要素画像それぞれの振る舞い指定、表示位置指定若しくは表示大きさ指定を変更することにより、利用者の意図通りのマスク画像を作成するためのマスク画像情報を作成することができる。
【０１５５】
なお、上記の実施形態では、原画像を動画としたが、原画像が静止画であっても、本発明を適用することができる。
【０１５６】
また、携帯電話装置における原画像としては、いわゆる自分撮りの態様で撮像される結像光学系１８を介した光の結像結果、いわゆる相手撮りの態様で撮像される結像光学系１９を介した光の結像結果、又は、記憶部２３に記憶されている画像のいずれを採用することもできる。
【０１５７】
また、上記の実施形態では、原画像における着目像領域における着目物体について奥行きに沿った構造を考慮せず、マスク画像に利用する要素画像も２次元モデルで作成されたものとした。これに対し、着目像領域における着目物体について奥行きに沿った構造を考慮し、マスク画像に利用する要素画像を３次元モデルで作成されたものとすることもできる。この場合には、着目物体が、表示面と平行な軸の回りの回転成分を有する動きをしたときであっても、その回転に追従しつつ違和感のないマスク画像を作成することができる。
【０１５８】
また、同時に表示する要素画像の数は任意である。さらに、時間順次表示を行う要素画像の数も任意である。
【０１５９】
また、上記の実施形態では、各付加画像の表示に際して、何らかの要素画像が常に表示されることとした。これに対して、付加画像における時間順次の要素画像の指定に、何も表示しないブランク表示指定を混在させることもできる。
【０１６０】
また、着目像情報に基づいて着目像領域において予め定められた現象が発生したか否かを判定する所定現象発生したことを判定することとし、当該所定現象が発生したことをトリガとしてマスク画像の作成を開始させることもできる。例えば、特定人物の顔像を着目画像としたときに、瞼が閉じられたときに、目の位置から涙が流れる合成画像を作成することとすることもできる。
【０１６１】
また、上記の実施形態では、携帯電話装置に本発明を適用したが、他の種類の情報通信端末装置にも本発明を適用することができる。さらに、パーソナルコンピュータ等の一般の電子機器にも本発明を適用することができる。
【産業上の利用可能性】
【０１６２】
以上説明したように、本発明のマスク画像情報作成処理方法、マスク画像情報作成装置及びマスク画像情報作成プログラムは、原画像を装飾するためのマスク画像を作成するためのマスク画像情報の作成に適用することができる。また、本発明の情報通信端末装置は、画像メイル機能やテレビ電話機能を有する情報通信端末装置に適用することができる。
【図面の簡単な説明】
【０１６３】
【図１】本発明の一実施形態に係るマスク画像情報作成装置及び携帯電話装置を含む画像処理システムの構成を説明するための概念図である。
【図２】図１のマスク画像情報作成装置の構成を説明するための機能ブロック図である。
【図３】図２のマスク画像情報作成プログラムの構成を説明するための機能ブロック図である。
【図４】図３のマスク画像情報ファイルの構成を説明するための図である。
【図５】要素画像の例を示す図（その１）である。
【図６】図４の表示指定ファイルの内容例を示す図（その１）である。
【図７】図４の表示指定ファイルの内容例を示す図（その２）である。
【図８】着目像領域情報を説明するための図である。
【図９】図１の携帯電話装置の外観構成を概略的に示す図である。
【図１０】図９の携帯電話装置の内部構成を説明するための機能ブロック図である。
【図１１】図１０のマスク画像処理部の内部構成を説明するための機能ブロック図である。
【図１２】要素画像の例を示す図（その２）である。
【図１３】要素画像の例を示す図（その３）である。
【図１４】標準着目像を使用した要素画像の表示位置及び表示大きさの指定方法を説明するための図である。
【図１５】着目像の例を示す図である。
【図１６】（Ａ）は、原画像の例を示す図であり、（Ｂ）はマスク画像の例を示す図（その１）である。
【図１７】合成画像の例を示す図（その１）である。
【図１８】マスク画像の例を示す図（その２）である。
【図１９】合成画像の例を示す図（その２）である。
【図２０】マスク画像の例を示す図（その３）である。
【図２１】合成画像の例を示す図（その３）である。
【符号の説明】
【０１６４】
１０…携帯電話装置（移動体端末装置）、１１…携帯電話本体、１２…操作部、１３…表示部（表示手段）、１４…通話用スピーカ、１５…マイクロフォン、１６…案内用スピーカ、１７…アンテナ、１８，１９…撮像光学系、２１…制御部、２２…送受信部、２３…記憶部、２４…切換光学系、２５…撮像素子、２６…記憶媒体アクセス部、２７…外部インターフェース部、２９…基本制御部、３０…マスク画像処理部、３１…着目像情報抽出部、３２…マスク画像作成部（マスク画像作成手段）、３３…合成像作成部（合成像作成手段）、４０…マスク画像情報ファイル、４１j…表示指定ファイル、４２j…要素画像ファイル、５０…マスク画像情報作成装置、５１…装置本体、５２…キーボード、５３…表示装置、５４…マウス、５５…カメラ装置、６１…処理装置、６２…通信制御装置、６３…記憶装置、６４…記憶媒体アクセス装置、６５…外部インターフェース装置、７０…マスク画像情報作成プログラム、７１…要素画像選択部（要素画像選択手段）、７２…要素画像振る舞い指定部（要素画像振る舞い指定手段）、７３…位置及び大きさ指定部（位置及び大きさ指定手段）、７４…素材画像編集部（素材画像編集手段）、７５…プレビュー部（プレビュー手段）。
【図１】
2005269625.tif 000003
【図２】
2005269625.tif 000004
【図３】
2005269625.tif 000005
【図４】
2005269625.tif 000006
【図６】
2005269625.tif 000007
【図７】
2005269625.tif 000008
【図８】
2005269625.tif 000009
【図９】
2005269625.tif 000010
【図１０】
2005269625.tif 000011
【図１１】
2005269625.tif 000012
【図１５】
2005269625.tif 000013
【図１７】
2005269625.tif 000014
【図５】
2005269625.tif 000015
【図１２】
2005269625.tif 000016
【図１３】
2005269625.tif 000017
【図１４】
2005269625.tif 000018
【図１６】
2005269625.tif 000019
【図１８】
2005269625.tif 000020
【図１９】
2005269625.tif 000021
【図２０】
2005269625.tif 000022
【図２１】
2005269625.tif 000023