(57)【要約】【課題】装飾全体のまとまりを維持し、変化に富んでおもしろい、装飾を入力画像に付加できる、画像処理装置を提供する。【解決方法】入力画像を記憶する画像記憶部４と、入力画像における、装飾の配置領域を設定する配置領域設定部７と、設定された配置領域を、一定基準を満たす複数の小領域に分割する領域分割部９と、これらの小領域内における装飾の配置を設定する装飾配置設定部１０と、設定した装飾の配置に従って、入力画像に装飾を合成した合成画像を作成する画像合成部１１とを備える。【選択図】  図１
2004179845.tif 000002
【特許請求の範囲】
【請求項１】
入力画像において、装飾の配置領域を設定するステップと、
配置領域を、一定基準を満たす複数の小領域に分割するステップと、
これらの小領域内における装飾の配置を設定するステップと、
設定した装飾の配置に従って、入力画像に装飾を合成した合成画像を作成するステップとを含む、画像処理方法。
【請求項２】
これらの小領域は、矩形をなし、一定基準は、矩形の縦横比が１：２未満である、請求項１記載の画像処理方法。
【請求項３】
小領域に配置される装飾の密度が、一様となるように、これらの小領域内における装飾の配置を設定する、請求項１から２記載の画像処理方法。
【請求項４】
小領域に配置される装飾の密度が、小領域毎に設定される重みに従うように、これらの小領域内における装飾の配置を設定する、請求項１から２記載の画像処理方法。
【請求項５】
入力画像において、装飾の配置領域を設定するステップと、
装飾の配置を定める配置データを決定するステップと、
決定した配置データに含まれ、かつ、配置領域内に含まれる、装飾の配置を修正するステップと、
修正された配置に従って、入力画像に装飾を合成した合成画像を作成するステップとを含む、画像処理方法。
【請求項６】
配置の修正量は、ランダムに定められる、請求項５記載の画像処理方法。
【請求項７】
入力画像を記憶する画像記憶部と、
入力画像における、装飾の配置領域を設定する配置領域設定部と、
設定された配置領域を、一定基準を満たす複数の小領域に分割する領域分割部と、
これらの小領域内における装飾の配置を設定する装飾配置設定部と、
設定した装飾の配置に従って、入力画像に装飾を合成した合成画像を作成する画像合成部とを備える、画像処理装置。
【請求項８】
前記画像記憶部に記憶された入力画像から、顔領域を検出する顔検出部を備え、
前記配置領域設定部は、入力画像のうち、顔領域でない領域を、装飾の配置領域に設定する、請求項７記載の画像処理装置。
【請求項９】
これらの小領域は、矩形をなし、一定基準は、矩形の縦横比が１：２未満である、請求項７から８記載の画像処理装置。
【請求項１０】
前記装飾配置設定部は、小領域に配置される装飾の密度が、一様となるように、これらの小領域内における装飾の配置を設定する、請求項７から９記載の画像処理装置。
【請求項１１】
前記装飾配置設定部は、小領域に配置される装飾の密度が、小領域毎に設定される重みに従うように、これらの小領域内における装飾の配置を設定する、請求項７から９記載の画像処理装置。
【請求項１２】
入力画像を記憶する画像記憶部と、
入力画像における、装飾の配置領域を設定する配置領域設定部と、
入力画像における、装飾の配置を定める配置データを記憶する配置データ記憶部と、
前記配置データ記憶部の配置データに含まれ、かつ、前記配置領域設定部が設定した配置領域内に含まれる、装飾の配置を修正する配置データ修正部と、
前記配置データ修正部が修正した配置に従って、入力画像に装飾を合成した合成画像を作成する画像合成部とを備える、画像処理装置。
【請求項１３】
前記配置データ修正部は、配置の修正量を、ランダムに定める、請求項１２記載の画像処理装置。
【請求項１４】
前記画像記憶部に記憶された入力画像から、顔領域を検出する顔検出部を備え、
前記配置領域設定部は、入力画像のうち、顔領域でない領域を、装飾の配置領域に設定する、請求項１２から１３記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を用いる通信装置（例えば、テレビ電話、テレビ会議、ビデオメールあるいはビデオチャットのための装置やドアフォン等）に組み込まれる画像処理装置に関し、さらに詳しくは、人物画像（例えば、利用者の顔画像や全身画像など）を編集する画像処理装置に関するものである。
【０００２】
【従来の技術】
利用者を撮影した画像を、各種の印刷媒体に印刷して出力する遊戯機器がある。このものは、撮影した人物画像に、装飾（例えば、絵柄や模様など）のフレームを重ね合わせて合成し、印刷媒体（例えば、シールなど）に印刷して出力するようになっている。
【０００３】
このような遊戯機器は、それ自体において、人物画像と装飾との位置関係を調整する機能を持たない。したがって、利用者が、人物画像を、装飾フレーム内に収まるように配置しても、装飾が人物画像に重なり、顔部分や頭部分などが隠れてしまって、人物画像が不鮮明になることがあった。
【０００４】
特許文献１は、この点を考慮したものであり、装飾が、人物画像の身体部分、特に、その顔や頭に対応して設定された身体部分領域に、重ならないようにした上で、装飾を付加する技術を、提案している。
【０００５】
一方、最近、撮影した人物画像に、装飾フレームと重ね合わせて合成し、合成した画像を送信する機能を備えた、カメラ付き携帯電話が、実用化されている。送信者が、このようなカメラ付き携帯電話を使用すると、受信者は、送信者が編集した画像を見るという、楽しみを享受できる。
【特許文献１】
特開２０００−２２９２９号公報（第３−７頁）
【０００６】
【発明が解決しようとする課題】
ところで、特許文献１では、人物画像のうち、身体部分領域を除く領域を、装飾を配置すべき配置領域としている。そして、この配置領域内において、装飾の位置をランダムに定め、しかも装飾のサイズを変化させることを、提案している。
【０００７】
このようにすると、装飾の有り様は、事実上無限大とおり存在することになり、いわば、万華鏡の模様のように、装飾が千変万化し、面白さを向上できる。
【０００８】
しかしながら、このような取り扱いでは、ある箇所には、装飾が集中して塊が形成されるが、別の箇所では、全く装飾がないというように、しばしば装飾の偏りが発生する。こうなると、装飾全体のバランスあるいは美しさを、損なってしまう。
【０００９】
そこで本発明は、装飾全体としてのまとまりを損なわず、しかも変化に富んでおもしろい、装飾を入力画像に付加できる、画像処理方法及びその間連技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１記載の画像処理方法は、入力画像において、装飾の配置領域を設定するステップと、配置領域を、一定基準を満たす複数の小領域に分割するステップと、これらの小領域内における装飾の配置を設定するステップと、設定した装飾の配置に従って、入力画像に装飾を合成した合成画像を作成するステップとを含む。
【００１１】
この構成において、小領域内において、装飾を配置することにより、装飾全体としてのまとまりを維持することができる。しかも、小領域内で装飾の有り様を変化させることにより、面白い合成画像が得られる。
【００１２】
請求項２記載の画像処理方法では、これらの小領域は、矩形をなし、一定基準は、矩形の縦横比が１：２未満である。
【００１３】
この構成において、小領域を矩形とすることにより、取り扱いを容易にでき、このような一定基準を設けることにより、各小領域の相似的な形状が、過剰にばらつかないようにすることができる。
【００１４】
請求項３記載の画像処理装置では、小領域に配置される装飾の密度が、一様となるように、これらの小領域内における装飾の配置を設定する。
【００１５】
この構成により、装飾全体の配置バランスを、全体として、ほぼ均一にすることができる。
【００１６】
請求項４記載の画像処理方法では、小領域に配置される装飾の密度が、小領域毎に設定される重みに従うように、これらの小領域内における装飾の配置を設定する。
【００１７】
この構成により、重みによって、装飾全体の配置にメリハリを付けることができる。例えば、入力画像の上側の重みを小さくし、下側の重みを大きくすることにより、安定感のある配置とすることができる。
【００１８】
請求項５記載の画像処理方法は、入力画像において、装飾の配置領域を設定するステップと、装飾の配置を定める配置データを決定するステップと、決定した配置データに含まれ、かつ、配置領域内に含まれる、装飾の配置を修正するステップと、修正された配置に従って、入力画像に装飾を合成した合成画像を作成するステップとを含む。
【００１９】
この構成において、配置データに基づいて、装飾の配置を決定するため、装飾全体のまとまりを維持できる。しかも、これに修正を加えることにより、装飾の有り様を変化させ、面白みを向上できる。
【００２０】
請求項６記載の画像処理装置では、配置の修正量は、ランダムに定められる。
【００２１】
この構成により、装飾の有り様を千変万化させ、面白みを一層向上できる。
【００２２】
【発明の実施の形態】
以下図面を参照しながら、本発明の実施の形態を説明する。まず、具体的な構成の説明に先立って、重要な用語を解説する。
【００２３】
「人物画像」とは、人物の一部または全部の画像が含まれる画像である。従って、人物全体の画像でもよいし、人物の顔だけや後姿だけ、あるいは、上半身だけの画像であってもよい。また、複数の人物が写っている画像でもよい。勿論、背景に人物以外の風景や模様などのいかなるパターンがあっても良い。
【００２４】
「身体部分」とは、人物の身体の一部という意味であり、身体部分に服や帽子や靴を装着している皮膚が見えなくても、人物の身体の一部であることが認識可能な部分であれば、身体部分に含まれる。従って、顔も身体部分であるし、頭も身体部分である。さらに、目、鼻、口、耳、眉、髪、首、服を着た上半身、手、腕、足、靴を履いた脚、帽子を被った頭、めがねを掛けた目なども身体部分である。
【００２５】
「身体部分領域」とは、人物画像において、身体部分が占める領域として定められる領域のことであり、身体部分領域は、その内部に身体部分でない部分を含んでいてもよいし、身体部分の内部に位置する領域であってもよい。
【００２６】
すなわち、身体部分が顔であるとすると、身体部分領域は、顔に対応する身体部分領域が顔の周囲にある領域を含んでいてもよいし、両眼と口と鼻とを囲む最小サイズの長方形であって額や耳を含まないものであってもよい。
【００２７】
「装飾」とは、追加される画像パターンのことであり、この画像パターンは予め保持されている画像パターンであってもよいし、コンピュータグラフイックス技術で生成される画像パターンであってもよい。また、この画像パターンは、文字や記号のパターンや図形のパターンであってもよい。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置の機能ブロック図である。図１に示すように、本形態の画像処理装置は、次の構成要素を有する。
【００２９】
制御部１は、ＣＰＵ等からなり、図１に示す各要素を、図２のフローチャートに沿って、制御する。
【００３０】
画像入力部２は、入力画像を得る。入力画像は、静止画であってもよいし、動画像の１フレーム分の画像であってもよい。さらに、この入力画像は、カメラで撮影された直後のものでも良いし、撮影後、ＪＰＥＧやＭＰＥＧ等の符号化方式に従って符号化されたデータ（記録媒体に記録されたものをロードしても良いし、送信装置から受信したものでも良い。）を、復号して得られるものでも良い。
【００３１】
表示部１２は、表示デバイス等からなり、画像入力部２が入力し画像記憶部４に記憶された入力画像や、画像合成部１１が入力画像に装飾の画像を合成したものを表示する。
【００３２】
図１において、装飾情報記憶部２０は、装飾情報を記憶する。装飾情報は、装飾画像データと、サイズの情報と、基準点（例えば、中心点など）の装飾画像における位置とが、関連付けて構成される。装飾画像のデータは、ラスタ画像であってもよいし、ベクトル画像でもよい。本例では、この装飾情報には、星形の装飾画像が含まれ、これが、ユーザにより、選択されるものとする。
【００３３】
操作部３は、ユーザからの入力情報を、受け付けるためのものである。特に、ユーザは、操作部３を用いて、装飾情報記憶部２０に記憶されている装飾の情報のうち、ユーザが、どの装飾に関するものを使用するかという情報を入力する。画像記憶部４は、画像入力部２が入力した、入力画像を記憶する。
【００３４】
テンプレート記憶部５は、身体部分領域のテンプレートを記憶する。以下、本形態では、顔領域を身体部分領域として取り上げる。しかし、手等他の身体部分領域についても、同様に適用できる。
【００３５】
テンプレートは、図３（ａ）、（ｂ）、（ｃ）に示すように、顔部品（頭、目、鼻、口）のそれぞれの輪郭をモデル化したものを、各種サイズ分だけ用意して使用する。
【００３６】
図１において、顔検出部６は、テンプレート記憶部５のテンプレートを用いて、画像記憶部４に記憶された入力画像から、顔領域の位置及びサイズを検出する。
【００３７】
ここで、図４に示しているように、顔検出部６は、画像記憶部４の入力画像に微分フィルタをかけて、エッジ成分を抽出する。また、顔検出部６は、テンプレート記憶部５からテンプレート５３を選び、選んだテンプレート５３と、エッジ成分とを用いて、パターンマッチマッチングを実行する。
【００３８】
このパターンマッチングは、テンプレート５３（Ｎｘ＊Ｎｙ画素）を、それより大きい入力画像（Ｍｘ＊Ｍｙ画素）内の探索範囲（Ｍｘ−Ｎｘ＋１）（Ｍｙ−Ｎｙ＋１）上で動かし、次式に示す残差Ｒが、最小となるようなテンプレート画像の左上位置（ａ，ｂ）を求める処理である。
【数１】
2004179845.tif 000003
【００３９】
但し、（数１）において、Ｉ（ａ，ｂ）（ｍｘ，ｍｙ）は入力画像の部分画像、Ｔ（ｍｘ，ｍｙ）はテンプレート５３の画像である。
【００４０】
また、（数１）に替えて、次式で示す相互相関係数Ｃを求め、相互相関係数Ｃが最大になる、テンプレート画像の左上位置（ａ，ｂ）を求めてもよい。
2004179845.tif 000004
【００４１】
顔検出部６は、図３に示すテンプレートを使用し、（数１）を用いるときは残差Ｒが最小となるテンプレート、（数２）を用いるときは、相関係数Ｃが最大となるテンプレートを求める。そして、顔検出部６は、求めたテンプレートの、位置及びサイズを、入力画像における顔領域の、それぞれの位置及びサイズとする。
【００４２】
顔検出部６は、顔領域の位置及びサイズを求めると、その結果を、図１の配置領域設定部７に出力する。図５（ａ）は、顔検出部６の顔領域検出結果を図示したものである。入力画像２１について、顔領域２２が検出されている。
【００４３】
配置領域設定部７は、入力画像２１のうち、顔領域２２を除く領域（斜線部）を、装飾の配置領域に設定する。配置領域設定部７は、この設定結果を配置領域記憶部８に格納する。
【００４４】
領域分割部９は、配置領域記憶部８に格納された配置領域を、矩形をなす小領域で、それぞれの縦横比が１：２未満であるという、一定基準を満たすものに、分割する。この分割の過程を、図５（ｂ）、（ｃ）を用いて説明する。
【００４５】
図５（ａ）の状態では、配置領域は、未だ分割されておらず、門型をなしている。そこで、領域分割部９は、門型の配置領域を、小領域２３〜２５に分割する。このとき、全ての小領域２３〜２５が、一定基準を満たしていれば、領域分割部９は、その時点で分割を終了する。
【００４６】
しかしながら、図５（ｂ）の状態では、小領域２３〜２５は、いずれも一定基準を満たしていない。そこで、領域分割部９は、各小領域２３〜２５について、分割と一定基準のチェックを、繰り返し実施する。
【００４７】
その結果、本例では、図５（ｃ）に示すように、配置領域は、小領域２６〜３５に分割された。領域分割部９は、これらの小領域２６〜３５の情報を、配置領域記憶部８に格納する。
【００４８】
図１において、装飾配置設定部１０は、これらの小領域内における、装飾の配置を設定する。ここでは、装飾配置設定部１０は、各小領域２６〜３５に配置される、装飾の密度（単位面積あたりの装飾の個数）が一様になるようにする。但し、各小領域２６〜３５内における、装飾の位置は、ランダムに決定される。その結果は、例えば、図５（ｄ）に示すようになる。
【００４９】
ここで、比較的広い小領域３０、３１では、２個の装飾が付加されているが、比較的狭い小領域２７、２８、．．．では、１個の装飾しか付加されていない点に注目されたい。
【００５０】
また、図１において、画像合成部１１は、図５（ｅ）に示すように、装飾配置設定部１０が定めた装飾の配置に従って、入力画像に装飾を追加した、合成画像を作成する。
【００５１】
ところで、以上において、図６（ａ）に示すようにすることもできる。即ち、装飾配置設定部１０は、小領域に配置される装飾の密度が、小領域２６〜３５毎に設定される、重みに従うようにする。図６（ａ）の例では、下部の小領域２６、２７、３４、３５の重みを大きくし、上部の小領域２８〜３３の重みを小さくしてある。その結果、小領域３３と小領域３４とを比較すれば明らかなように、ほぼ同じ面積を持つにもかかわらず、付加される装飾の個数が異なっている点が理解されよう。なお、図示した例では、重みが大きいほど多数の装飾を付加するようにしたが、この関係は、逆にしても差し支えない。
【００５２】
次に、図２を用いて、本形態の画像処理装置における、処理の流れを説明する。まず、ステップ１にて、顔検出部６が入力画像について顔検出を行い、検出された顔領域が領域分割部９に出力される。
【００５３】
そして、ステップ３にて、配置領域設定部７が顔領域を除く領域を、配置領域とし、結果が配置領域記憶部８に格納される。またステップ４にて、領域分割部９が、配置領域を、上述した要領で、複数の小領域に分割し、ステップ５にて、装飾配置設定部１０が各小領域毎に、付加する装飾の個数及び位置を定める。
【００５４】
以上の処理が完了したら、ステップ６にて、画像合成部１１が、入力画像に、装飾を追加した合成画像を作成し、表示部１２にその表示がなされる（ステップ７）。
【００５５】
（実施の形態２）
次に、本発明の実施の形態２について、説明する。図７は、本発明の実施の形態２における画像処理装置の機能ブロック図である。図中、実施の形態１と同様の構成要素については、同一符号を付すことにより、説明を省略する。
【００５６】
図７において、配置データ記憶部１３は、入力画像における、装飾の配置を定める、配置データを記憶する。この配置データとしては、図９（ｂ）に示す（○印は、装飾の位置を示す）ように、互いに装飾が重ならず、かといって、適当にばらけているものが望ましい。
【００５７】
本形態では、配置データは、複数とおり、配置データ記憶部１３に静的に保持されており、この中から、適宜選択するようにした。しかしながら、配置データを、動的に生成するようにしてもよい。
【００５８】
配置データ修正部１４は、配置データ記憶部１３の配置データの中から、選ばれたものに対して、ランダムに修正を加える。具体的には、図９（ｃ）に示すように、装飾の各位置について、ランダムな修正ベクトルｖを加える。修正後の配置データは、例えば、図９（ｄ）のようになる。ここで、配置データが、有限後しか存在しない場合であっても、修正量をランダムに決定することによって、修正後の配置データは、事実上無限大とおり存在することになり、装飾の位置は、千変万化する。
【００５９】
領域内外判定部１５は、図９（ｄ）に示すように、配置データにおける各修飾の位置について、配置領域内（顔領域２２外）にある（例：位置４２）のか、あるいは、そうでない（例：位置４１）のかを、判定する。
【００６０】
以上のように構成された、実施の形態２における画像処理装置について、以下、図８、図９を用いて、処理の流れを説明する。
【００６１】
まず、図８のステップ１１〜ステップ１３は、実施の形態１（図２のステップ１〜ステップ３）と同様である。
【００６２】
次に、ステップ１４にて、制御部１は、配置データ記憶部１３にある、複数の配置データから、ランダムに１つの配置データを選び、選ばれた配置データの各位置について、配置データ修正部１４が修正を加える。
【００６３】
そして、ステップ１６〜ステップ１８において、領域内外判定部１５が、修正された各位置について、配置領域外にあるものを、削除する。その結果、図９（ｅ）に示すように、装飾の位置が決定される。
【００６４】
以降、実施の形態１と同様に、画像合成部１１が画像合成し（ステップ２０）、図９（ｆ）のような、表示がおこなれる（ステップ２１）。
【００６５】
【発明の効果】
本発明によれば、装飾全体のまとまりを維持し、しかも、変化に富んで楽しい、装飾を入力画像に付加できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像処理装置の機能ブロック図
【図２】同画像処理装置のフローチャート
【図３】（ａ）同テンプレートの例示図
（ｂ）同テンプレートの例示図
（ｃ）同テンプレートの例示図
【図４】同パターンマッチングの説明図
【図５】（ａ）同過程説明図
（ｂ）同過程説明図
（ｃ）同過程説明図
（ｄ）同過程説明図
（ｅ）同過程説明図
【図６】（ａ）同過程説明図
（ｂ）同過程説明図
【図７】本発明の実施の形態２における画像処理装置の機能ブロック図
【図８】同画像処理装置のフローチャート
【図９】（ａ）同過程説明図
（ｂ）同過程説明図
（ｃ）同過程説明図
（ｄ）同過程説明図
（ｅ）同過程説明図
（ｆ）同過程説明図
【符号の説明】
１  制御部
２  画像入力部
３  操作部
４  画像記憶部
５  テンプレート記憶部
６  顔検出部
７  配置領域設定部
８  配置領域記憶部
９  領域分割部
１０  装飾配置設定部
１１  画像合成部
１２  表示部
１３  配置データ記憶部
１４  配置データ修正部
１５  領域内外判定部
２０  装飾情報記憶部
２１  入力画像
２２  顔領域
【図１】
2004179845.tif 000005
【図２】
2004179845.tif 000006
【図３】
2004179845.tif 000007
【図４】
2004179845.tif 000008
【図５】
2004179845.tif 000009
【図６】
2004179845.tif 000010
【図７】
2004179845.tif 000011
【図８】
2004179845.tif 000012
【図９】
2004179845.tif 000013