(57)【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
前記入力した画像中の対象者の顔領域の大きさと位置を、前記入力した画像の縮小率を変えながら顔のテンプレートとの類似度を求めることにより検出する顔領域検出手段と、
前記検出した顔領域から顔部品の複数の候補点を検出し、前記複数の候補点の中から顔部品のテンプレートとの類似度および候補点同士の位置関係に基づいて選択することにより、目、鼻、または、口の顔部品の位置を検出する顔部品位置検出手段と、
前記入力した画像と合成するための図形または画像の内容と位置を決定する図形計算手段と、
前記入力した画像に対し、前記決定した図形または画像を合成する画像合成手段と、
前記合成された画像を出力する画像出力手段と、
を有し、
前記図形計算手段は、
複数の図形または画像の集合からなる登録図形パターンの情報であって、
（Ａ）登録図形パターンにおいて基準となる顔領域または顔部品、
（Ｂ）前記登録図形パターンにおける前記顔領域の大きさに基づく相対基準量ベクトル、および、
（Ｃ）前記合成するための図形または画像と前記登録図形パターン中の前記顔領域または前記顔部品との相対的な位置関係を前記相対基準量ベクトルを用いて表現した相対位置ベクトル、
を含む登録図形パターン情報を保持する情報保持手段と、
前記顔領域検出手段により検出された前記顔領域の位置と大きさ、または、前記顔部品位置検出手段により検出された前記顔部品の位置の情報と、前記保持された登録図形パターン情報とを用いて、合成する図形または画像の位置と大きさを決定する重ね合わせ位置計算手段と、
を有し、
前記重ね合わせ位置計算手段は、前記顔部品位置検出手段により検出された前記顔部品の位置を基準として、
前記登録図形パターン情報に含まれる前記相対位置ベクトル、および、
前記顔領域検出手段により検出された前記顔領域の大きさに基づく相対基準量ベクトル
を用いて前記合成する図形または画像の位置と大きさを決定する、
ことを特徴とする画像処理装置。
【請求項２】
画像を入力する画像入力手段と、
前記入力した画像中の対象者の顔領域の大きさと位置を、前記入力した画像の縮小率を変えながら顔のテンプレートとの類似度を求めることにより検出する顔領域検出手段と、
前記検出した顔領域から顔部品の複数の候補点を検出し、前記複数の候補点の中から顔部品のテンプレートとの類似度および候補点同士の位置関係に基づいて選択することにより、目、鼻、または、口の顔部品の位置を検出する顔部品位置検出手段と、
前記入力した画像を変換する内容と位置を決定する図形計算手段と、
前記入力した画像における前記決定した位置を前記決定した内容に変換する画像合成手段と、
前記変換された画像を出力する画像出力手段と、
を有し、
前記図形計算手段は、
複数の図形または画像の集合からなる登録図形パターンの情報であって、
（Ａ）登録図形パターンにおいて基準となる顔領域または顔部品、
（Ｂ）前記登録図形パターンにおける前記顔領域の大きさに基づく相対基準量ベクトル、および、
（Ｃ）前記合成するための図形または画像と前記登録図形パターン中の前記顔領域または前記顔部品との相対的な位置関係を前記相対基準量ベクトルを用いて表現した相対位置ベクトル、
を含む登録図形パターン情報を保持する情報保持手段と、
前記顔領域検出手段により検出された前記顔領域の位置と大きさ、または、前記顔部品位置検出手段により検出された前記顔部品の位置の情報と、前記保持された登録図形パターン情報とを用いて、変換する領域の位置と大きさを決定する画像変換手段と、
を有し、
前記画像変換手段は、前記顔部品位置検出手段により検出された前記顔部品の位置を基準として、
前記登録図形パターン情報に含まれる前記相対位置ベクトル、および、
前記顔領域検出手段により検出された前記顔領域の大きさに基づく基準ベクトル
を用いて前記変換する領域の位置と大きさを決定する
ことを特徴とする画像処理装置。
【請求項３】
前記顔領域検出手段、または、前記顔部品位置検出手段は、
前記入力した画像が動画である場合に、
前記動画の前フレームにおいて検出された前記顔領域の位置の近傍、または、
前記動画の前フレームにおいて検出された前記顔部品の各々の位置の近傍
のみを探索領域として検出を行い、前記動画の現フレームにおける顔領域、または、顔部品を検出する
ことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
画像処理装置によって行われる画像処理方法であって、
画像入力手段が画像を入力する画像入力ステップと、
顔領域検出手段が、前記画像入力手段によって入力された画像中の対象者の顔領域の大きさと位置を、前記画像入力手段によって入力された画像の縮小率を変えながら顔のテンプレートとの類似度を求めることにより、検出する顔領域検出ステップと、
顔部品位置検出手段が、前記顔領域検出手段によって検出された顔領域から顔部品の複数の候補点を検出し、前記複数の候補点の中から顔部品のテンプレートとの類似度および候補点同士の位置関係に基づいて選択することにより、目、鼻、または、口の顔部品の位置を検出する顔部品位置検出ステップと、
図形計算手段が、前記画像入力手段によって入力された画像と合成するための図形または画像の内容と位置を決定する図形計算ステップと、
画像合成手段が、前記画像入力手段によって入力された画像に対し、前記図形計算手段に決定された図形または画像を合成する画像合成ステップと、
画像出力手段が前記画像合成手段によって合成された画像を出力する画像出力ステップと、
を有し、
前記図形計算ステップは、
複数の図形または画像の集合からなる登録図形パターンの情報であって、
（Ａ）登録図形パターンにおいて基準となる顔領域または顔部品、
（Ｂ）前記登録図形パターンにおける前記顔領域の大きさに基づく相対基準量ベクトル、および、
（Ｃ）前記合成するための図形または画像と前記登録図形パターン中の前記顔領域または前記顔部品との相対的な位置関係を前記相対基準量ベクトルを用いて表現した相対位置ベクトル、
を含む登録図形パターン情報を情報保持手段が保持する情報保持ステップと、
重ね合わせ位置計算手段が、前記顔領域検出手段によって検出された前記顔領域の位置と大きさ、または、前記顔部品位置検出手段によって検出された前記顔部品の位置の情報と、前記情報保持手段によって保持された前記登録図形パターン情報とを用いて、合成する図形または画像の位置と大きさを決定する重ね合わせ位置計算ステップと、
を有し、
前記重ね合わせ位置計算ステップでは、前記重ね合わせ位置計算手段が、前記顔部品位置検出ステップにおいて前記顔部品位置検出手段によって検出された前記顔部品の位置を基準として、
前記情報保持手段に保持された前記登録図形パターン情報に含まれる相対位置ベクトル、および、
前記顔領域検出ステップにおいて前記顔領域検出手段によって検出された前記顔領域の大きさに基づく相対基準量ベクトル
を用いて前記合成する図形または画像の位置と大きさを決定する
ことを特徴とする画像処理方法。
【請求項５】
画像処理装置によって行われる画像処理方法であって、
画像入力手段が画像を入力する画像入力ステップと、
顔領域検出手段が、前記画像入力手段によって入力された画像中の対象者の顔領域の大きさと位置を、前記画像入力手段によって入力された画像の縮小率を変えながら顔のテンプレートとの類似度を求めることにより検出する顔領域検出ステップと、
顔部品位置検出手段が、前記検出された顔領域から顔部品の複数の候補点を検出し、前記複数の候補点の中から顔部品のテンプレートとの類似度および候補点同士の位置関係に基づいて選択することにより、目、鼻、または、口の顔部品の位置を検出する顔部品位置検出ステップと、
図形計算手段が、前記画像入力手段によって入力された画像と合成するための図形または画像の内容と位置を決定する図形計算ステップと、
画像合成手段が、前記画像入力手段によって入力された画像に対し、前記決定された図形または画像を合成する画像合成ステップと、
画像出力手段が、前記画像合成手段によって合成された画像を出力する画像出力ステップと、
を有し、
前記図形計算ステップは、
複数の図形または画像の集合からなる登録図形パターンの情報であって、
（Ａ）登録図形パターンにおいて基準となる顔領域または顔部品、
（Ｂ）前記登録図形パターンにおける前記顔領域の大きさに基づく相対基準量ベクトル、および、
（Ｃ）前記合成するための図形または画像と前記登録図形パターン中の前記顔領域または前記顔部品との相対的な位置関係を前記相対基準量ベクトルを用いて表現した相対位置ベクトル、
を含む登録図形パターン情報を情報保持手段が保持する情報保持ステップと、
画像変換手段が、前記顔領域検出ステップにおいて前記顔領域検出手段によって検出された前記顔領域の位置と大きさ、または、前記顔部品位置検出ステップにおいて前記顔部品位置検出手段によって検出された前記顔部品の位置の情報と、前記情報保持手段によって保持された前記登録図形パターン情報とを用いて、変換する領域の位置と大きさを決定する画像変換ステップと、
を有し、
前記画像変換ステップでは、前記画像変換手段が、前記顔部品位置検出ステップにおいて前記顔部品位置検出手段によって検出された前記顔部品の位置を基準として、
前記情報保持手段によって保持された前記登録図形パターン情報に含まれる前記相対位置ベクトル、および、
前記顔領域検出ステップにおいて前記顔領域検出手段によって検出された前記顔領域の大きさに基づく相対基準量ベクトル
を用いて前記変換する領域の位置と大きさを決定する
ことを特徴とする画像処理方法。
【請求項６】
前記顔領域検出ステップ、または、前記顔部品位置検出ステップでは、前記顔領域検出手段、または、前記顔部品位置検出手段は、
前記画像入力手段によって入力された画像が動画である場合に、
前記動画の前フレームにおいて検出された前記顔領域の位置の近傍、または、
前記動画の前フレームにおいて検出された前記顔部品の各々の位置の近傍
のみを探索領域として検出を行い、前記動画の現フレームにおける顔領域、または、顔部品を検出する
ことを特徴とする請求項４または５記載の画像処理方法。
【請求項７】
コンピュータを、
画像を入力する画像入力手段、
前記画像入力手段によって入力された画像中の対象者の顔領域の大きさと位置を、前記画像入力手段によって入力された画像の縮小率を変えながら顔のテンプレートとの類似度を求めることにより検出する顔領域検出手段、
前記顔領域検出手段によって検出された顔領域から顔部品の複数の候補点を検出し、前記複数の候補点の中から顔部品のテンプレートとの類似度および候補点同士の位置関係に基づいて選択することにより、目、鼻、または、口の顔部品の位置を検出する顔部品位置検出手段、
前記画像入力手段によって入力された画像と合成するための図形または画像の内容と位置を決定する図形計算手段、
前記画像入力手段によって入力された画像に対し、前記図形計算手段によって決定された図形または画像を合成する画像合成手段、および、
前記画像合成手段によって合成された画像を出力する画像出力手段、
として機能させ、
前記図形計算手段は、
複数の図形または画像の集合からなる登録図形パターンの情報であって、
（Ａ）登録図形パターンにおいて基準となる顔領域または顔部品、
（Ｂ）前記登録図形パターンにおける前記顔領域の大きさに基づく相対基準量ベクトル、および、
（Ｃ）前記合成するための図形または画像と前記登録図形パターン中の前記顔領域または前記顔部品との相対的な位置関係を前記相対基準量ベクトルを用いて表現した相対位置ベクトル、
を含む登録図形パターン情報を保持する情報保持手段、および、
前記顔領域検出手段により検出された前記顔領域の位置と大きさ、または、前記顔部品位置検出手段により検出された前記顔部品の位置の情報と、前記情報保持手段によって保持された登録図形パターン情報とを用いて、合成する図形または画像の位置と大きさを決定する重ね合わせ位置計算手段、
を有し、
前記重ね合わせ位置計算手段は、前記顔部品位置検出手段により検出された前記顔部品の位置を基準として、
前記情報保持手段に保持された前記登録図形パターン情報に含まれる相対位置ベクトル、および、
前記顔領域検出手段により検出された前記顔領域の大きさに基づく相対基準量ベクトル
を用いて前記合成する図形または画像の位置と大きさを決定する、
ことを特徴とする画像処理プログラムを記録した記録媒体。
【請求項８】
コンピュータを、
画像を入力する画像入力手段、
前記画像入力手段に入力された画像中の対象者の顔領域の大きさと位置を、前記画像入力手段に入力された画像の縮小率を変えながら顔のテンプレートとの類似度を求めることにより検出する顔領域検出手段、
前記顔領域検出手段によって検出された顔領域から顔部品の複数の候補点を検出し、前記複数の候補点の中から顔部品のテンプレートとの類似度および候補点同士の位置関係に基づいて選択することにより、目、鼻、または、口の顔部品の位置を検出する顔部品位置検出手段、
前記画像入力手段に入力された画像と合成するための図形または画像の内容と位置を決定する図形計算手段、
前記画像入力手段に入力された画像に対し、前記図形決定手段によって決定された図形または画像を合成する画像合成手段、および、
前記画像合成手段によって合成された画像を出力する画像出力手段、
として機能させ、
前記図形計算手段は、
複数の図形または画像の集合からなる登録図形パターンの情報であって、
（Ａ）登録図形パターンにおいて基準となる顔領域または顔部品、
（Ｂ）前記登録図形パターンにおける前記顔領域の大きさに基づく相対基準量ベクトル、および、
（Ｃ）前記合成するための図形または画像と前記登録図形パターン中の前記顔領域または前記顔部品との相対的な位置関係を前記相対基準量ベクトルを用いて表現した相対位置ベクトル、
を含む登録図形パターン情報を保持する情報保持手段、および、
前記顔領域検出手段により検出された前記顔領域の位置と大きさ、または、前記顔部品位置検出手段により検出された前記顔部品の位置の情報と、前記情報保持手段により保持された前記登録図形パターン情報とを用いて、変換する領域の位置と大きさを決定する画像変換手段、
を有し、
前記画像変換手段は、前記顔部品位置検出手段により検出された前記顔部品の位置を基準として、
前記情報保持手段に保持された前記登録図形パターン情報に含まれる前記相対位置ベクトル、および、
前記顔領域検出手段により検出された前記顔領域の大きさに基づく相対基準量ベクトル
を用いて前記変換する領域の位置と大きさを決定する
ことを特徴とする画像処理プログラムを記録した記録媒体。
【請求項９】
前記顔領域検出手段、または、前記顔部品位置検出手段は、
前記画像入力手段によって入力された画像が動画である場合に、
前記動画の前フレームにおいて検出された前記顔領域の位置の近傍、または、
前記動画の前フレームにおいて検出された前記顔部品の各々の位置の近傍
のみを探索領域として検出を行い、前記動画の現フレームにおける顔領域、または、顔部品を検出する、
ことを特徴とする請求項７または８記載の画像処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術の分野】
本発明は、画像に図形等を合成する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
顔画像処理を利用したシステムとして様々なものがある。
【０００３】
例えば、存在検知、個人認証、視線・顔向き検出等の高度な利用法がある。また、顔領域に着目した上で、画像に変形を加えることを主目的としたものとして以下のものが挙げられる。
【０００４】
１．めがね着せ替えシステム
２．動画編集システム
３．髪型着せ替えシステム
４．カップル子供シミュレーションシステム
５．写真シール製造器（いわゆるプリクラ（商標））のフレーム装飾
６．ＳＩＧＧＲＡＰＨ９７で提案された顔変形システム
等がある。
【０００５】
１．では、特徴点を手動で指定をし、静止画に対する処理のものが製品化され、眼鏡装用シミュレーション装置（特開平６−１３９３１８号）のような公知例がある。特徴点の自動化についても、特許が出願されている。
【０００６】
２．は、動画に対する処理で、手動で対応点等を指定するシステムがテレビ局等で用いられ、放送に利用されている。なお、モーフィングについては、静止画用のモーフィングソフトについても様々なものが市販されている。
【０００７】
３．は、画像処理装置（特開平８−３２９２７８号）で開示されているように、顔の輪郭を検出し、髪の部分を領域として求めた後、他の髪型を重ねるというものである。
【０００８】
４．は、２人の人物、もしくは人物と他の画像とのモーフィングを行い、例えば２人の人物の子供の画像を合成する装置であり、商品化されている。顔部品の検出はハーフミラーに表示された位置に顔を合わせて検出を簡略化している。
【０００９】
５．については、顔の位置は特定しておらず、画像の枠に装飾を施すことを主目的としている。また特定の領域に顔の位置を自分で調整してフレームの位置に移動する必要がある。
【００１０】
６．については、文献［Darrell,T.Gordon,F.,Woodfill W.,Baker,H.:′′A MagicMorphin Mirror′′,SIGGRAPH′97 Visual Proceedings,ACM Press,1997］で提案され、色、距離情報とパターン情報を組み合わせて人物の顔位置を見つけ、その顔位置の画像を変形させることにより、顔の形状が曲げられたような効果を表示する装置である。
【００１１】
それぞれの用途、特徴として、１，３については、髪型、めがね等のファッションを検討するためのシステムである。２，４，６は画像を局所的に変形させ、映像的な効果を向上させることを目的としたシステムである。５は画像認識を必要とせず、自動的に検出を行うものではない。
【００１２】
【発明が解決しようとする課題】
本発明はこれらの装置には該当せず、それぞれ本発明の次の目的を達成するには機能的に不十分であった。
【００１３】
すなわち、本発明は、主として動画を対象とし、位置や大きさが多様に変化する顔領域に追随し、自動的に顔領域や顔部品を検出する機能を利用して、顔の領域の位置、大きさ、また、顔部品の位置大きさにあわせて、顔領域の様々な部分に、鮮やかな色彩を持つ図形表示を行うことで、画像中の人物を瞬時に変装させたり、装飾したりすることを目的としたものである。
【００１４】
また、自動的に顔の検出を行うために、利用者の手を煩わすことがなく、利用者が移動しても、移動した画面位置で同じ効果の合成画像が得られることも目的としている。
【００１５】
これにより、本発明は、アミューズメントとしての効果が大きく、瞬時に印象の異なる様々な人物の変装画像を自動的に得ることが可能になる画像処理装置及びその方法を提供する。
【００１６】
【課題を解決するための手段】
本発明は、画像を入力する画像入力手段と、前記入力した画像中の対象者の顔領域の大きさと位置を検出する顔領域検出手段と、前記検出した顔領域から目、鼻、または、口の顔部品の位置を検出する顔部品位置検出手段と、前記入力した画像と合成するための図形または画像の内容と位置を決定する図形計算手段と、前記入力した画像に対し、前記決定した図形または画像を合成する画像合成手段と、前記合成された画像を出力する画像出力手段と、を有し、前記図形計算手段は、複数の図形、または、画像の集合からなる登録図形パターン情報であり、かつ、前記顔領域、または、前記顔部品の位置、前記合成するための図形または画像と前記顔部品との相対的な位置関係、並びに、前記顔領域の大きさに基づいて設定可能な登録図形パターン情報を保持する情報保持手段と、前記顔領域の位置と大きさ、または、顔部品の位置の情報と、前記保持された登録図形パターン情報とを用いて、合成する図形または画像の位置と大きさを決定する重ね合わせ位置計算手段と、を有し、前記重ね合わせ位置計算手段は、前記登録図形パターン情報に含まれる相対的な位置関係を表すベクトルを用いるものであり、前記検出した顔部品の位置を中心として前記ベクトルによって前記合成する図形または画像の位置を決定することを特徴とする画像処理装置である。
【００１７】
また、本発明は、画像を入力する画像入力手段と、前記入力した画像中の対象者の顔領域を検出する顔領域検出手段と、前記検出した顔領域から目、鼻、または、口の顔部品の位置を検出する顔部品位置検出手段と、前記入力した画像を変換する内容と位置を決定する図形計算手段と、前記入力した画像における前記決定した位置を前記決定した内容に変換する画像合成手段と、前記変換された画像を出力する画像出力手段と、を有し、前記図形計算手段は、変換する領域の形状の集合からなる登録図形パターン情報であり、かつ、前記顔領域、または、前記顔部品の位置、前記変換する領域の形状と前記顔部品との相対的な位置関係、並びに、前記顔領域の大きさに基づいて設定可能な登録図形パターン情報を保持する情報保持手段と、前記顔領域の位置と大きさ、または、顔部品の位置の情報と、前記保持された登録図形パターン情報とを用いて、変換する領域の位置と大きさを決定する画像変換手段と、を有し、前記画像変換手段は、前記登録図形パターン情報に含まれる相対的な位置関係を表すベクトルを用いるものであり、前記検出した顔部品の位置を中心として前記ベクトルによって前記変換する領域の位置を決定することを特徴とする画像処理装置である。
【００３８】
【発明の実施の形態】
以下に本発明の実施例について説明する。
【００３９】
［実  施  例  １］
本発明の実施例１の画像処理装置について説明する。
【００４０】
画像処理装置では、図２（ａ）のように、入力された画像に対して、顔領域と顔部品の大きさ、位置を検出し、図２（ｂ）（ｃ）のように、所定の図形を検出された顔部品位置に応じて、相対的に位置、大きさを変え、図２（ｂ）（ｃ）のように、入力画像と共に重ね合わせた表示、加工をする。これにより、表示された内容は、認識対象となった人物があたかも瞬時に変装したように見せることができる。
【００４１】
このような効果を狙った画像生成を行うためには、画像処理装置は、図１のような画像入力部１００、顔領域検出部２００、顔部品検出部３００、画像出力部４００、図形計算部５００、図形合成部６００が必要であり、以下、それぞれの構成要素に対して説明する。
【００４２】
なお、画像処理装置は、例えば、カメラを備えたパソコンで実現可能であり、各構成要素の機能を果たすプログラムをこのパソコンにインストールして記憶させておけばよい。また、このプログラムをＦＤ，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等の記録媒体に記録させておき、他のパソコンに移植してもよい。さらに、写真シール製造器等に使用してもよい。
【００４３】
（画像入力部１００）
画像入力部１００は、人物が写っている静止画像、または動画像を得るためのものである。基本的な構成としては図３に示すように、カメラ１０１、フレームグラバ１０２からなり、人間の顔を撮影するために用いる。入力画像は、カラー、モノクロに限らない。
【００４４】
また、画像入力部１００の別の構成として、カメラの代わりに、ＴＶチューナー、ＶＣＲ、ＤＶＤ等でもよい。
【００４５】
さらに、画像入力部１００の別の構成として、ファイルに記録されたデジタルビデオデータやネットワークを経由して得られるビデオデータを入力としてもよい。
【００４６】
もちろん動画、静止画の種類を問わない。フレームグラバ１０２上のメモリ１０３に入力画像が保存され、それぞれの各処理部からアクセスされる。
【００４７】
（顔領域検出部２００）
顔領域検出部２００は、画像入力部１００から得られた画像に対して、画像中から人物の顔領域を検出する。
【００４８】
顔領域の検出方法として、予め収集した顔画像から生成されたテンプレートを用いて、画像の各部分に当てはめ、テンプレートと高い相関をもつ部分を顔領域とする。
【００４９】
図４に示すように、顔領域検出部２００は、画像変換部２０１とテンプレート計算部２０２と領域決定部２０３からなる。
【００５０】
画像変換部２０１は、入力画像がカラー画像の場合は、モノクロ画像に変換し、さらに入力画像を数段階の大きさに縮小し、いくつかの大きさの画像を生成する。縮小率等はカメラのレンズ系、画角等の情報や画像の大きさ等から、想定される顔領域の大きさを予め判断し数段階の割合を決定しておく。
【００５１】
テンプレート計算部２０２は、用意されたテンプレートを用いて、縮小画像に対し、画像をラスタースキャンし、各部分画像に対してテンプレートとの類似度を求める。類似度の計算方法としては、テンプレートとして、学習パターンを用いて構成された部分空間を用いて、部分空間法［エルッキ・オヤ著，小川英光，佐藤誠訳，“パターン認識と部分空間法”，産業図書,1986 参照］を用いて類似度を求めてもよい。この場合、顔に類似しているが、顔ではないような擬似顔画像のテンプレートも用意しておき、同時に類似度を計算することによって、誤った領域を検出しないようにもできる。
【００５２】
領域決定部２０３は、各縮小画像における各部分画像での類似度から判断して、もっとも顔らしいと判定された領域についての情報を出力する。具体的には、縮小画像の縮小率、検出された場所の検出位置である。テンプレートの大きさと縮小率を考慮し、元の入力画像の大きさにあわせて、顔領域を表す矩形の大きさと、矩形の位置を出力とする。
【００５３】
（顔部品検出部３００）
顔部品検出部３００は、顔領域と判定された領域について、目、鼻、口といった顔の部品を検出する。
【００５４】
図５に示すように、顔部品検出部３００は、画像変換部３０１、候補点抽出部３０２、候補点検証部３０３、候補点決定部３０４で構成される。
【００５５】
画像変換部３０１では、入力画像から、顔領域検出部２００によって決定された領域を注目領域とし、その領域の濃淡値の低い部分に対して処理を行うための、処理画素を決定する。
【００５６】
候補点抽出部３０２では、文献［福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」,電子情報通信学会論文誌（D）,vol.J80-D-II,No.8,pp2170--2177 （1997）］で述べられている分離度フィルタを用いて円形領域の候補点を検出する。候補は複数個の点として表される。
【００５７】
候補点検証部３０３では、また候補点をパターン認識手法により、各顔部品のテンプレートとの類似性の判定する。
【００５８】
候補点決定部３０４では、候補点の位置関係の組み合わせを用いて候補点を絞り、候補点の位置を出力する。
【００５９】
図６を用いて説明する。
【００６０】
図６の３５１は時間Ｔにおける入力画像を表し、顔領域検出部２００によって顔領域を検出した結果、その矩形領域を図６の３５２に示す。
【００６１】
顔部品検出部３００では、この矩形領域内部について、円形領域の候補点を検出し（図６の３５３）、位置関係、パターンの類似性等を満たすような４つの候補を選択し目鼻特徴点を得る（図６の３５４）。
【００６２】
また、本実施例では、ある入力画像に対して、瞳位置、鼻孔位置を検出した場合、その次のフレームではその検出位置付近のみを部品の探索範囲として、高速に部品検出を行うトラッキング探索を行う。
【００６３】
図６の３５５は時間Ｔにおける入力画像を表し、前述したような検出方法で目鼻特徴点を検出されたとする。その後時間Ｔ＋１では、再び全画面中から顔検出、目鼻検出を行うのではなく、図６の３５６に示したように、検出した点の近傍領域の矩形の部分だけに対して、候補点抽出部３０２の円形領域の候補点の検出、候補点検証部３０３における、各顔部品のテンプレートとの類似性判定を行い、候補点を絞り、候補点の位置を出力する。
【００６４】
時間Ｔ＋１の時点では、画像が図６の３５７のように別の方向を向いているように、変化していても、わずかな時間であれば人物の動作が少ないため、探索範囲を前述のように絞っても、特徴点の抽出が可能となる。
【００６５】
また、大きな動作を行い、時間Ｔ＋ａの時点では、画像が図６の３５８のように部品の探索範囲から外れた場合には、顔領域検出部２００により、顔領域の検出を行い、顔部品の再度検索を行う。
【００６６】
このトラッキング処理により、顔部品位置を求める時間が短縮され、スムーズな画像の合成、変換処理を行えるようになる。
【００６７】
本実施例では、目の瞳の位置の中心座標、鼻孔の位置の中心座標を出力する。
【００６８】
もちろん、口やその他の顔部品の位置を検出し、その出力としてもよい。
【００６９】
（画像出力部４００）
画像出力部４００は、合成内容を付加された入力画像を、出力機器に送る。
【００７０】
図７に示すように、画像を画面に出力する場合には、画像合成部６００の画像メモリにある合成結果をビデオＲＡＭ４１０に転送する。Ｄ／Ａ変換を介してディスプレイ４１１に表示する。
【００７１】
ファイルへの出力の場合には、ファイルポインタ、もしくはバッファに対して画像データを転送する。
【００７２】
ファイルは磁気ディスク４３０、メモリ４４０等に保存される。
【００７３】
また、画像の圧縮や画像のフォーマット変換等を行うエンコーダ４２０を通して画像を保存、出力してもよい。
【００７４】
また、ネットワーク４４０を会して、別の装置にデータを送付しても良い。
【００７５】
また、通信を行う場合は、合成した結果の画像を送信することも出来、入力と合成部分の画像を分ける等の方法や、図形計算部５００に必要な合成に必要な情報のみを送信し、受信側で合成を行う等の方法でもよい。
【００７６】
出力メディアが画像やデジタルビデオの場合には、各画像のメモリを描画内容にしたがって各画素の情報を変更し、記録メディア（ファイル）に保存する。
【００７７】
（図形計算部５００）
図形計算部５００は、入力画像に重ね合わせるための所定の図形や画像を保持、選択、位置計算を行う。図２（ｂ）（ｃ）で示したような重ね合わせるための所定の図形や画像の情報のことを、「登録図形パターン情報」と呼ぶ。
【００７８】
１ 登録図形パターン情報の内容
まず、登録図形パターン情報について説明する。
【００７９】
登録図形パターン情報の内容としては、表示する線、多角形、円、楕円、円弧等の規定図形、またビットマップと呼ばれるような画素集合等の規定画像等の、図形の属性を示すもの、また図形の色、テクスチャ等の属性、顔領域との相対的な位置関係を表す位置情報、等があり、これをオブジェクトと呼ぶ。
【００８０】
一例として図１１に示すような構造体で各オブジェクトを表現する。
【００８１】
ここで、各引数は図形を表現するための、パラメータや、相対的な位置関係を表現するための関係情報を表現するためのものである。そのオブジェクトを複数個有し、ある意味を持った図形配置の行うものを登録図形パターン情報と呼ぶ。
【００８２】
図２（ｂ）の例では、"ｃａｔ"を表す登録図形パターン情報であり、図１０に示すように９個のオブジェクトからなる。５１１，５１２，５１３多角形オブジェクト、５１４，５１５，５１６，５１７，５１８，５１９は線オブジェクトである。顔に合わせて相対的な位置関係に図形を配置することにより、猫に「変装」させることができる。
【００８３】
各オブジェクトは、オブジェクトの図形属性によって、それを表現する構造が異なる。例えば、多角形オブジェクトの場合は、多角形の角の個数、そして各ポイントの位置情報を表す変数が定義される。線オブジェクトの場合は、２点の位置情報が定義される。また色属性を表すためのＲＧＢ値を表す変数、またはテクスチャを表すための変数等も定義されている。
【００８４】
図１２は、オブジェクトの相対位置を指定するための指定方法についての説明図である。
【００８５】
図１２（ａ）のような顔がカメラに入力されると、顔領域検出部２００、顔部品検出部３００の機能により、図１２（ｂ）に示す各ポイントが検出される。
【００８６】
図１２（ｃ）は、その検出された特徴点から、いくつかの基準となりうる点について、ラベルをつけたもので、その名前を示すことにより、各特徴点の座標位置を得ることができる。
【００８７】
図１２（ｄ）は、各特徴点を用いて、相対的に位置を表すための、いくつかのベクトル情報を示しており、それぞれのラベルで位置情報を指定できる。
【００８８】
実際に、入力された画像に対して、図１２（ｆ）で示すような、多角形（三角形）を描画する方法について説明する。
【００８９】
まず、図形の種類（現在は多角形）を指定し、その位置情報を指定する。
【００９０】
図１２（ｅ）に示すように、ｐ１，ｐ２，ｐ３の各点を目の位置ｂ１からの相対的な位置関係で表現する。
【００９１】
そのためには、ａ１,ａ２,ａ３のベクトルを次のように指定する。
【００９２】
まず、基準として、ｂ１（目）を選び、相対的な位置を表現するベクトルａ１を表す。
【００９３】
そのために、例えば、顔領域を基準とした
FACE_WIDTH,FACE_HEIGHT
というベクトルを用いて表現すると、
a1 = t1 * FACE_WIDTH + t2 * FACE_HEIGHT
よって、
p1 = b1 + a1 = b1 + FACE_WIDTH * t1 + FACE_HEIGHT* t2
といった記述をすればよい（ｔ１,ｔ２は実数値）。
【００９４】
そして、図１２（ｆ）のような白い三角形を書くためには、以下の記述で可能となる。
【００９５】
FG_FILL_POLYGON 3
RIGHT_EYE ADD FACE_WIDTH t1 ADD FACE_HEIGHT t2
RIGHT_EYE ADD FACE_WIDTH -t3 ADD FACE_HEIGHT t4
RIGHT_EYE ADD FACE_WIDTH t5 ADD FACE_HEIGHT -t6
COLOR 255 255 255
５１１のオブジェクトの場合は、まず、表示位置を指定するために、基準となる顔部品の特徴点を指定する。
【００９６】
顔部品の特徴点としては、瞳位置、鼻孔位置、顔領域の中心、各部品間の中点等複数の候補があるが、５１１の場合、２つの鼻孔の中点を基準特徴点として選択し、その基準特徴点からの相対位置を設定する。
【００９７】
相対位置の設定は、顔の大きさが変化した場合にも、大きさをあわせて図形を重ね合わせるためであり、相対基準量を用いて指定する。
【００９８】
相対基準量は、検出された顔領域の大きさや２つの目の間の距離等が選択できる。
【００９９】
５１１では３角形を表示するために、相対基準量として、顔領域の大きさを選び、その定数倍のｘ、ｙ座標位置に３点を指定する。色属性は、５１１の場合は塗りつぶしを行い、ＲＧＢ値を指定している。
【０１００】
５１２，５１３の場合も同様に、基準特徴点として、それぞれの瞳位置を選択し、その上方に相対基準量を用いて、各点の指定を行っている。
【０１０１】
５１４から５１９は線オブジェクトであるために、２点を指定する。この場合も、基準特徴点と相対基準量を用いて指定する。線の場合は、実線、破線等の指定、色属性の指定等も行える。
【０１０２】
その他、円オブジェクトについても、円の中心を表す変数、円の大きさを表す変数等が定義され、その他の図形オブジェクトについても、同様に構造が定義される。
【０１０３】
ビットマップオブジェクトについては、表示を行う場合の位置、または表示させる場合の拡大率等を指定する。
【０１０４】
なお、これらのオブジェクトは描画順序によって描かれる結果が異なるために、描画順序を規定し、オブジェクトの記述順に画像に施されるとする。
【０１０５】
２ 図形計算部５００の内容
次に、図形計算部５００の振る舞いについて説明する。
【０１０６】
図形計算部５００は、図９に示すように図形データベース５０１、重ね合わせ位置計算部５０１から構成される。
【０１０７】
図形データベース５０１には、複数の登録図形パターン情報が保存されており、これらの登録図形パターンはファイルとして管理され、自由に新規追加、削除等が行われる。データベースには、パターン情報の個数や大きさ等の情報が管理される。
【０１０８】
各パターンの情報の構造は、図１３に示すように、データベースには複数の登録図形パターンがあり、各登録図形パターンは、それぞれオブジェクトの集合として構成されている。
【０１０９】
このデータベースは、磁気ディスクまたはメモリユニットから構成されている。そして、登録図形パターンのデータベースを記憶したＦＤ，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等の記録媒体を別途用意しておき、これをパソコンである画像処理装置にインストール等によって記憶させてもよい。この場合に、登録図形パターンのデータベースの記録媒体のみを製造、販売してもよい。
【０１１０】
パターン編集部５０４によって、登録図形パターンの入出力を可能にする。例えば、可搬型磁気ディスク、可搬型メモリユニット等の交換を目的としたメディア、またはネットワーク経由によるデータ交換等を目的としたインタフェースを有してもよいし、編集エディタ機能を有してもよい。
【０１１１】
これらの登録図形パターン情報は、あるスクリプト言語によって記述することができる。
【０１１２】
例えば、“ｃａｔ”を表す登録図形パターン情報は、図８に示すようなテキスト情報で記述されたスクリプトとして表現される。これにより、テキストファイルを編集することで、合成する図形情報を修正することができ、このファイルをネットワークを通じて流通させること等も可能である。
【０１１３】
重ね合わせ位置計算部５０２は、必要となる基準特徴点の情報や相対基準量の情報を、顔領域検出部２００や顔部品検出部３００から読み込み、引数によって指定されたそれぞれの位置を計算する。
【０１１４】
図１４のフローチャートを用いて説明する。
【０１１５】
まず、登録図形データ情報を図形データベース５０１の中からひとつを選択して、メモリに読み込む（ステップ５０２０１）。その選択は選択部５０３によって選ばれる。
【０１１６】
選択部５０３は、利用者によって選択された登録図形パターンのＩＤ（例えば、認識番号）を重ね合わせ位置計算部５０２に送り、そのＩＤのパターンを読み込む。
【０１１７】
ここで、選択部５０３に乱数発生機構やタイマを持たせ、一定時間間隔であるパターンの変更シーケンスを行ったり、パターンをランダムに切り替える等の演出効果を導入することも可能である。
【０１１８】
メモリにロードされた登録図形パターン情報について、複数のオブジェクトについて次の処理を行う。
【０１１９】
まず記述された順序通りに一つのオブジェクトを読み込む（ステップ５０２０２）。
【０１２０】
そのオブジェクトの中で定義されている引数の読み込みを行う（ステップ５０２０３）。
【０１２１】
引数には、位置情報を表すものとパラメータ（円の半径の大きさ等）を表すものがあるが、それぞれについて指定された引数の情報にしたがって処理をする。
【０１２２】
説明は位置情報の場合で説明する。始めに位置情報を表すための変数の初期化を行う。位置情報を表す点（ａｘ，ａｙ）とすると、ａｘ，ａｙについて、ａｘ，ａｙ共に０を代入する（ステップ５０２０４）。
【０１２３】
次に指定されている顔部品等の位置情報もしくは、顔部品から得られる図１２で示したベクトル等を用いて指定された長さを読み込む（ステップ５０２０５）。
【０１２４】
その位置情報に係数を施す（定数倍する）処理を行う（ステップ５０２０６）。
【０１２５】
そして位置情報を表す変数であるａｘ，ａｙに加算する（ステップ５０２０７）。
【０１２６】
さらに引数に記述がある場合には、ステップ５０２０５から繰り返し、そうでなければ（ａｘ，ａｙ）がその位置情報となる（ステップ５０２０８）。
【０１２７】
さらに引数がある場合には、繰り返し（ステップ５０２０９）、全てのオブジェクトの引数について値が決まった場合に終了する（ステップ５０２１０）。
【０１２８】
この手順により検出した顔の位置の情報に対応する、合成画像の位置が決定する。
【０１２９】
（画像合成部６００）
画像合成部６００は、指定された登録図形パターン情報を図形計算部５００によって計算された位置に、それぞれの属性で合成、または画像の加工を行う。
【０１３０】
画像合成部６００の構成例を図１５に示す。
【０１３１】
画像メモリ６１０は、入力画像を保持し、それぞれの合成部６１２に渡される。
【０１３２】
各合成部６１２は、登録図形パターン情報で記述された形状の種類、処理方法に応じて選択的に用いられる。その指示は、図形計算部５００から渡される形状、位置情報、パラメータ、画像情報をオブジェクト情報制御部６１１が受取り、指定のオブジェクトの数だけ処理を繰り返す。
【０１３３】
画像メモリ６１０に保持されている画像は合成部６１２によって変換され、画像メモリ６１３に保持される。処理が繰り返される場合は、画像メモリ６１３から画像メモリ６１０に画像がコピーされ、処理が繰り返される。
【０１３４】
オブジェクト情報制御部６１１は、全ての合成が終了すると、画像メモリ６１３の画像を外部に渡す。
【０１３５】
これまで、画像に対して図形を合成することについて述べたが、次にビットマップ画像の重ね合わせについて説明する。
【０１３６】
ビットマップの重ね合わせは、図１６のように行われる。フローチャートは図１７である。
【０１３７】
図１６の６５０は処理対象となる入力画像であり、わかりやすくするために、検出した目鼻に円をつけて表示したものである。
【０１３８】
検出された位置応じて計算される位置に合わせて、図１６の６５２で表されるようなビットマップ画像（サル）を重ね合わせ、図１６の６５１の合成画像を得ることを目的とする。
【０１３９】
図１７のステップ６６１では、合成するビットマップの画像を読み込み、同時に埋め込みの際の排除色（合成しない領域を表し、図１６の６５２の白い領域の色を指す。）を読み込む。
【０１４０】
ステップ６６２では、ビットマップ画像が合成される位置を図１６の６５３のように前述のような位置指定から計算する。
【０１４１】
ステップ６６３では、入力画像を読み込み、ビットマップ画像の合成を開始する。合成位置は拡大、縮小されることもあるため、対象となる領域のなかでの画素位置を求め（ステップ６６４）、それぞれの合成位置によって処理が異なる（ステップ６６５）。図１６の６５４の場所に対応する図１６の６５５の位置では、排除色の場合（図１６の６５６）は入力画像の画素値をそのまま出力し（ステップ６６６）、排除色ではなく図柄がある場合（図１６の６５７）はビットマップ画像の画素値を出力とする（ステップ６６７）。
【０１４２】
全ての対象領域に対して処理が行われたかを判断し（ステップ６６８）、終わっていれば、図１６の６５１に示したような合成画像を出力する。
【０１４３】
もちろん、一枚の入力画像に複数のビットマップ合成を行っても良い。
【０１４４】
なお、合成部６１２の構成を変え、画像メモリを一つにしてもよいし、その構成は問わない。
【０１４５】
また、出力メディアがディスプレイ等で、リアルタイムに表示を行う場合は、ＶＲＡＭに直接画像変換を加えるような構成でもよい。
【０１４６】
出力メディアが画像やデジタルビデオの場合には、各画像のメモリを描画内容にしたがって各画素の情報を変更し、記録メディアに保存すればよい。
【０１４７】
［実  施  例  ２］
実施例２の画像処理装置について説明する。
【０１４８】
実施例２の画像処理装置では、実施例１で述べた画像合成部６００に画像変換部７００を加える。
【０１４９】
画像合成部６００に画像変換部７００の機能を追加した構成例を図１８に示す。
【０１５０】
画像合成部６００で説明した各機能と同列で、画像を変換する機能をもつもの、例えば画像のある領域に対してモザイク化を行うモザイク処理部７０１や画像のある部分領域を拡大、縮小する部分拡大縮小処理部７０２やその他の画像変換部７０３を追加する。
【０１５１】
画像合成部６００を用いた実施例では、図形や画像の重ね合わせによる合成のみであるが、画像自身に画像変換を加えることで、様々な印象の異なる画像を得ることがさらに可能となる。
【０１５２】
図１９に画像変換の例を示す。
【０１５３】
図１９（ａ）は処理対象となる入力画像であり、わかりやすくするために、検出した目鼻に円をつけて表示したものである。
【０１５４】
この画像に対し、検出された顔領域、目鼻位置の情報を用いて、顔領域付近以外の場所について、モザイク化の処理を行ったものが図１９（ｂ）である。
【０１５５】
また、顔領域付近のみに対しモザイク化の処理を行ったものが図１９（ｃ）であり、このような画像自身に対して画像変換を行う処理を提供する。
【０１５６】
もちろん、顔領域を自動的に追跡しているために、図１９（ｃ）（ｄ）のように、人物が移動しても、その場所でモザイク化の処理を行うことで、常時顔領域がモザイクが処理された画像を得ることができる。
【０１５７】
また、入力画像の一部分を拡大、縮小する機能により、図１９（ｅ）（ｆ）のように、目部分の拡大や鼻部分の拡大といった効果を施すこともできる。
【０１５８】
従って、目鼻等の部品情報も用いた変形制御が可能であるため従来例の６．で述べたようなシステムとは異なる。
【０１５９】
処理手順は以下の通りである。
【０１６０】
画像メモリ６１０は、入力画像を保持し、それぞれの画像変換部に渡す。
【０１６１】
各画像変換部７０１，７０２，７０３は、登録図形パターン情報で記述された画像変換の種類、処理方法に応じて選択的に用いられる。
【０１６２】
その指示は、図形計算部５００から渡される形状、位置情報、パラメータ、をオブジェクト情報制御部６１１が受取り、画像メモリ６１０に保持されている画像を変換部７０１によって変換し、画像メモリ６１３に保持する。処理が繰り返される場合は、画像メモリ６１３から画像メモリ６１０に画像がコピーされ、処理が再度行われる。オブジェクト情報制御部６１１は、全ての合成、画像変換が終了すると、画像メモリ６１３の画像を外部に渡す。
【０１６３】
各画像変換部は、図２０のフローチャートで動作する。ここでは、部分拡大処理を行う部分拡大縮小処理部７０２の動作を例に説明する。
【０１６４】
まず、ステップ７１１では、画像変換の情報を読み込む。部分拡大処理部７０２では、目の領域の拡大率等を読み込む。
【０１６５】
ステップ７１２では、画像変換を施すための画像変換の位置情報を計算する。
【０１６６】
部分拡大縮小処理部７０２では、原画像の目領域と拡大後の目領域の大きさのを求める。図２０の７２１のように拡大前の目領域の位置を求め、ステップ７１１で得られた拡大率を元に、図２０の７２２の拡大後の目領域の位置を求める。
【０１６７】
ステップ７１３では、画像変換を施すための対象画像をメモリから読み込み、ステップ７１４において、画像変換を施す。
【０１６８】
部分拡大縮小処理７０２では、先の拡大を対象領域に対して行い、７２３のような画像をえる。そして、ステップ７１５で、その画像を出力する。
【０１６９】
もちろんこのような画像変形を複数回行ってもよいし、多重に操作してもよい。図形の合成と組み合わせて利用することでさらなる効果が期待できる。
【０１７０】
また、このような画像変換だけでなく、色調の補正や対象領域のエッジだけを抽出する等の別の処理でもよい。
【０１７１】
［変  形  例］
以下、上記実施例の変形例を幾つか説明する。
【０１７２】
（変形例１）
図２１のように、音声出力部７００を加え、画像の合成に合わせて音声、音楽等を出力してもよい。
【０１７３】
この場合、図形計算部５００で、合成が開始されたフレームに同期して、音声を出力させてもよい。また、合成が行われているときに、バックグラウンドミュージックを出力してもよい。音声情報は、登録図形パターン情報に付随して保持させればよい。
【０１７４】
（変形例２）
また、図２２のように、音声認識部８００を加え、音声による合成内容の選択を行っても良い。
【０１７５】
例えば、「サル」という声をシステムに対して入力すると音声認識部８００により、「サル」という言葉を認識し、その言葉に対応する
変装内容を選択部５０３への指示で選択し、図１６のような変装が行われることが実現できる。
【０１７６】
もちろん、このために登録図形パターン情報にキーワードをつける拡張を施して良い。
【０１７７】
これにより、次々に合成情報につけられたキーワードを発声することで次々に様々な画像変形を楽しむことが出来る。
【０１７８】
（変形例３）
実施例１，２では、顔領域、顔部品の位置と大きさだけであったが、顔から得られる副次的な特徴をくわえ、さらにバリエーションを加えることができる。
【０１７９】
ここで、副次的な特徴とは、瞬き、顔の向き、瞳の位置、視線方向、口のあけ方、個人同定情報等をさす。
【０１８０】
例えば、顔の向きに応じて図形を変形させることにより、各図形オブジェクトにアフィン変換等の変形操作を加え、顔の向きに対応した図形出力が可能になる。
【０１８１】
また、顔の状態によって、表示、合成するオブジェクトの数を変更する等の拡張を行ってもよい。
【０１８２】
例えば、人間の目のまばたきを行うことをスイッチとして、目を閉じているフレームでは、別のオブジェクトが表示されることや、オブジェクトの属性（色、大きさ、位置、形状）を変更させることも可能である。このような拡張のためには、オブジェクトの記述法と登録図形パターン情報の構造を変更する必要がある。
【０１８３】
また、顔の特徴として、目鼻の位置だけであったが、口等を検出する部も加えれば、さらに表現能力を高めることができる。
【０１８４】
（変更例４）
現在は、入力画像自身には変更を加えてないが、画像にもモーフィングに代表されるような変形を加え、図形表示と組み合わせることで、表現力を高めることができる。
【０１８５】
例えば、ある動物の骨格に合わせて、顔の領域を変形させ、その後図形表示を行えば、さらにリアリティも向上させることができる。
【０１８６】
（変更例５）
また、入力画像の情報にあわせて各オブジェクトの属性を変更することも可能である。
【０１８７】
例えば、入力画像の色調にあわせて、色属性を変更する等がその例である。暗い画像が入力された場合には、明度や彩度を落として重ね合わせれば効果的である。
【０１８８】
（変更例６）
顔の検出は、実施例では一人で説明を行ったが、複数人を検出し、複数人の顔部品情報を同時に検出する方法に変更し、複数人を同時に仮装させることも可能である。
【０１８９】
【発明の効果】
本発明によれば、瞬時に様々な変形パターン含んだ顔画像を得ることができ、アミューズメントやプレゼンテーション、画像通信、ビデオメール等の画像効果を向上させることが可能になる。
【０１９０】
また、通常とは異なる動画像を簡単に生成できるために、コミュニケーションのツールとしての効果をもたらすことが期待できる。
【図面の簡単な説明】
【図１】本発明の実施例１の画像処理装置のブロック図である。
【図２】合成適用例である。
【図３】画像入力部のブロック図である。
【図４】顔領域検出部のブロック図である。
【図５】顔部品検出部のブロック図である。
【図６】顔部品の検出の説明図である。
【図７】画像出力部のブロック図である。
【図８】登録パターン情報のスクリプト例である。
【図９】図形計算部のブロック図である。
【図１０】登録図形パターンの一例である。
【図１１】オブジェクトの構造体の一例である。
【図１２】オブジェクトの相対位置の指定法である。
【図１３】登録図形パターンの構造である。
【図１４】オブジェクトの相対位置の計算法の流れ図である。
【図１５】画像合成部のブロック図である。
【図１６】ビットマップ合成部の説明図である。
【図１７】ビットマップ合成のフローチャートである。
【図１８】画像変換部のブロック図である。
【図１９】画像変換適用例である。
【図２０】画像変換の説明図とフローチャートである。
【図２１】実施例２の画像処理装置のブロック図である。
【図２２】変更例の画像処理装置であり音声認識部を用いたブロック図である。
【符合の説明】
１００  画像入力部
２００  顔領域検出部
３００  顔部品検出部
４００  画像出力部
５００  図形計算部
６００  図形合成部
【図１】
0003810943.tif 000002
【図２】
0003810943.tif 000003
【図３】
0003810943.tif 000004
【図４】
0003810943.tif 000005
【図５】
0003810943.tif 000006
【図６】
0003810943.tif 000007
【図７】
0003810943.tif 000008
【図８】
0003810943.tif 000009
【図９】
0003810943.tif 000010
【図１０】
0003810943.tif 000011
【図１１】
0003810943.tif 000012
【図１２】
0003810943.tif 000013
【図１３】
0003810943.tif 000014
【図１４】
0003810943.tif 000015
【図１５】
0003810943.tif 000016
【図１６】
0003810943.tif 000017
【図１７】
0003810943.tif 000018
【図１８】
0003810943.tif 000019
【図１９】
0003810943.tif 000020
【図２０】
0003810943.tif 000021
【図２１】
0003810943.tif 000022
【図２２】
0003810943.tif 000023