(57)【要約】【課題】  ユーザのイメージにあった３Ｄモデルを作成可能にする。【解決手段】  モデル作成部１３が、抽出されたオリジナルパーツから２Ｄまたは３Ｄのモデルパーツを作成する。このモデルパーツは他の人物被写体あるいは背景と比して相対的な誇張が施されている。ユーザが、オリジナルパーツの抽出された人物被写体のうち、デフォルトパーツを修正する人物被写体を操作部３で選択した場合、モデル調整部１４が、操作部３を介して、修正メニュー項目および修正したいパーツの選択を受け付ける。修正したいパーツの選択がされれば、選択されたメニュー項目と操作部３やタッチパネル１０への入力に応じてパーツを修正したり置換したりする。キャラクタ作成部１５が、修正されたパーツで（修正がなければデフォルトパーツで）キャラクタを作成する。【選択図】  図１
2010066853.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する入力部と、
前記入力部の入力した画像から、所望の第１の人物被写体のパーツを抽出するパーツ抽出部と、
前記パーツ抽出部の抽出したパーツに基づいて、前記第１の人物被写体に対応するモデルパーツを作成するモデルパーツ作成部と、
前記画像に含まれる前記第１の人物被写体以外の属性と前記第１の人物被写体の属性との差異に応じて、前記モデルパーツの属性を相対的に誇張する誇張部と、
を備える画像処理装置。
【請求項２】
前記パーツ抽出部は、前記画像に含まれる前記第１の人物被写体とは異なる第２の人物被写体のパーツを抽出し、
前記誇張部は、前記第２の人物被写体のパーツの属性と前記第１の人物被写体のパーツの属性との差異に応じて、前記第１の人物被写体のパーツの属性を相対的に誇張する請求項１に記載の画像処理装置。
【請求項３】
前記誇張部は、前記画像に含まれる背景の属性と前記第１の人物被写体のパーツの属性との差異に応じて、前記第１の人物被写体のパーツの属性を相対的に誇張する請求項１または２に記載の画像処理装置。
【請求項４】
ユーザの動作を検出する動作検出部と、
前記動作検出部の検出したユーザの動作に基づいて前記第１の人物被写体のパーツもしくは前記パーツの属性を置換または変更するパーツ調整部と、
を備える請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記属性は、形状、色および位置のうち少なくとも１つを含む請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記第１の人物被写体のモデルパーツに基づいてキャラクタを作成するキャラクタ作成部を備える請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記モデルパーツ作成部は、前記第１の人物被写体のサイズに応じてモデルパーツの精度を変更する請求項１〜６のいずれかに記載の画像処理装置。
【請求項８】
コンピュータが、
画像を入力するステップと、
前記入力した画像から、所望の第１の人物被写体のパーツを抽出するステップと、
前記抽出したパーツに基づいて、前記第１の人物被写体に対応するモデルパーツを作成するステップと、
前記画像に含まれる前記第１の人物被写体以外の属性と前記第１の人物被写体の属性との差異に応じて、前記モデルパーツの属性を相対的に誇張するステップと、
を実行する画像処理方法。
【請求項９】
請求項８に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に写った人物被写体からキャラクタを作成する技術に関する。
【背景技術】
【０００２】
特許文献１は、３Ｄモデルを写真又は他の画像から生成することができる自動３Ｄモデリングシステム及び方法であり、例えば、人の顔の３Ｄモデルを自動的に生成することができる。
【０００３】
特許文献２では、画像処理部は、ユーザ入力部から入力された画像中の対象物体の向き、位置および大きさを検出し、既定の大きさの正面向き画像を生成し、それをテクスチャ画像として指定された方向に回転した顔の３次元モデルにレンダリングを行うことで生成される頭部画像と、予め描画された胴体画像または胴体画像を生成するためのベクトルデータから簡単に生成できる胴体画像とを合成することで、３次元計算を頭部のみに限定した少ない計算量で３次元キャラクタ画像を生成する。
【０００４】
特許文献３は、ＣＣＤカメラやＣＭＯＳカメラ、或は既に撮影済みの顔画像データから顔パーツを抽出する技術を開示している。特許文献４は、画像に基づき対象人物の顔画像以外の身体的特徴（身長）を取得する技術を開示している。特許文献５は、肌色、空色を相対的に好ましい明るさに仕上げる技術を開示している。特許文献６は、影のある背景領域、影のない背景領域を抽出する技術を開示している。
【０００５】
非特許文献１では、写真から目・眉毛・鼻・口を自動で認識し、パーツの大きさや形状に類似した平面的な画像パーツが自動で選択されキャラクタ画像が作成される。画像パーツは予めシステム側で用意されている。
【０００６】
非特許文献２では、顔写真から様々な表情の３Ｄ顔写真を作成する。
【０００７】
非特許文献３では、３次元似顔絵でモデルの顔パーツ（両眉、両目、鼻、口）の形、配置、顔の色を強調する。色の誇張により、日焼けした人はさらに日焼けが進んだようになるとする。
【特許文献１】特開２００８−１０２９７２号公報
【特許文献２】特開２００２−３４２７８９号公報
【特許文献３】特開２００７−２７２４３５号公報
【特許文献４】特開２００８−１５８６７９号公報
【特許文献５】特開平１１−１７７８３５号公報
【特許文献６】特開２００６−１１９８１７号公報
【非特許文献１】「顔キャラ」、インターネットＵＲＬ［http://kaochara.jp/］、平成２０年８月１３日検索
【非特許文献２】「Gizmoz」、インターネットＵＲＬ［http://www.gizmoz.com/］、平成２０年８月１３日検索
【非特許文献３】「色も誇張された３次元似顔絵の生成」、インターネットＵＲＬ［http://chihara.aist-nara.ac.jp/gakkai/VIR/PDF/A-16.pdf］、平成２０年８月１３日検索
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のシステムでは画像を元に３Ｄモデルを作成することは出来たが、ユーザの自由な意思を反映することができず、結果的にユーザは、自身の思う通りの３Ｄモデルを作成することができなかった。
【０００９】
本発明は、ユーザのイメージにあった３Ｄモデルを作成可能にすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、画像を入力する入力部と、入力部の入力した画像から、所望の第１の人物被写体のパーツを抽出するパーツ抽出部と、パーツ抽出部の抽出したパーツに基づいて、第１の人物被写体に対応するモデルパーツを作成するモデルパーツ作成部と、画像に含まれる第１の人物被写体以外の属性と第１の人物被写体の属性との差異に応じて、モデルパーツの属性を相対的に誇張する誇張部と、を備える。  
【００１１】
パーツ抽出部は、画像に含まれる第１の人物被写体とは異なる第２の人物被写体のパーツを抽出し、誇張部は、第２の人物被写体のパーツの属性と第１の人物被写体のパーツの属性との差異に応じて、第１の人物被写体のパーツの属性を相対的に誇張する。
【００１２】
誇張部は、画像に含まれる背景の属性と第１の人物被写体のパーツの属性との差異に応じて、第１の人物被写体のパーツの属性を相対的に誇張する。
【００１３】
ユーザの動作を検出する動作検出部と、動作検出部の検出したユーザの動作に基づいて第１の人物被写体のパーツもしくはパーツの属性を置換または変更するパーツ調整部と、を備える。
【００１４】
属性は、形状、色および位置のうち少なくとも１つを含む。
【００１５】
第１の人物被写体のモデルパーツに基づいてキャラクタを作成するキャラクタ作成部を備える。
【００１６】
モデルパーツ作成部は、第１の人物被写体のサイズに応じてモデルパーツの精度を変更する。
【００１７】
コンピュータが、画像を入力するステップと、入力した画像から、所望の第１の人物被写体のパーツを抽出するステップと、抽出したパーツに基づいて、第１の人物被写体に対応するモデルパーツを作成するステップと、画像に含まれる第１の人物被写体以外の属性と第１の人物被写体の属性との差異に応じて、モデルパーツの属性を相対的に誇張するステップと、を実行する。
【００１８】
この画像処理方法をコンピュータに実行させるための画像処理プログラムも本発明に含まれる。
【発明の効果】
【００１９】
本発明は、画像から抽出された第１の人物被写体のパーツに基づいてモデルパーツを作成し、そのパーツを相対的に強調して、これをデフォルトパーツとする。よって、一緒に写っている別の人物や背景に応じて誇張されるデフォルトパーツが異なり、一緒に写っている他人や背景と第１の人物被写体のキャラクタとの差異が明確になる。
【発明を実施するための最良の形態】
【００２０】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係る画像処理装置１００の機能ブロック図である。まず、中央処理装置（ＣＰＵ）１は、操作部３の各種のボタンやキーからの入力、あるいは操作部３に加えられた様々な動作、例えば持ち上げる、下ろす、振る、回す、傾ける、ひねる、握るなどの動作を操作部３がリアルタイムで検出し、その検出された動作に基づいて画像処理装置１００内の各回路を統括制御する。ＣＰＵ１の実行するプログラムは記憶部６のＲＯＭに記憶される。
【００２１】
入力部２は、電子的に接続された外部の記憶媒体（メモリカード、ＣＤＲ、ＤＶＤなど）や各種電子機器（デジカメ、パソコン、携帯電話など）から、画像データその他の情報を入力するデバイスであり、例えばＵＳＢポート、メディアリーダ、ネットワークアダプタなどで構成される。
【００２２】
入力された画像データ（静止画、動画ならびに動画を構成する各コマ画像を含む。以下同様。）はＣＰＵ１で処理され、一旦記憶部６のＲＡＭに記憶された後、その画像が表示制御部７に出力される。表示制御部７は、ビデオエンコーダであり、入力されたＹＣ画像信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換し、ディスプレイなどの表示装置８に出力する。
【００２３】
出力部４は、ＣＰＵ１が処理した画像データを、電子的に接続された外部の記憶媒体（メモリカード、ＣＤＲ、ＤＶＤなど）や電子機器（プリンタ、パソコン、携帯電話など）に出力するデバイスであり、例えばＵＳＢポート、メディアリーダ、ネットワークアダプタなどで構成される。広い意味では出力部４は表示装置８も含む。
【００２４】
カメラ９は、ユーザの望む身体部分の撮影を行なう。カメラ９は、撮像レンズ、ＣＣＤやＣＭＯＳなどの撮像素子、画像処理回路などを備えており、生成された画像データは記憶部６に記憶される。この画像はＣＰＵ１による身体部分の認識に用いられる。
【００２５】
表示装置８にはタッチパネル１０が積層されている。ユーザが指やペンなどで表示装置８の対応部分を押下すると、その押下位置を示す情報がＣＰＵ１に出力される。押下位置を連続的に変化させて得られた押下位置の軌跡をＣＰＵ１が検出することで、描線の入力が可能となる。
【００２６】
操作部３は、動作検出部３１と、位置検出部３２と、コントローラ３３とを有しており、これらは、ユーザが良好に持ち運べるような形態のケースに収められている。動作検出部３１は、操作部３に蓄えられた様々な動作、例えば持ち上げる、下ろす、振る、回す、傾ける、ひねる、握るなどの動作（以下、動的操作と称す）を、指示入力操作としてリアルタイムで検出しＣＰＵ１に出力する。具体的には、動作検出部は、３軸（Ｘ、Ｙ、Ｚ軸）の加速度センサ７０１と、仰角、方位角の角速度・角加速度を検出する回転センサと、操作部３の外装を握った圧力を検出する圧力センサを備えている。プレーヤ動作の検出周期は任意であるが、短いとそれだけ瞬間的な動作を連続的に観察できる。また、動作検出部３１は、温度センサを備え、操作部３を握ったユーザの手の温度を検出することもできる。
【００２７】
位置検出部３２は、プレーヤが表示装置８に映し出された画面における指定位置を検出するための手段である。位置検出部５２は、ＣＭＯＳセンサなどからなる。位置検出部３２からＣＰＵ１に送出される位置情報は、例えば表示装置８の画面上に設定された実空間の２次元以上の座標で表される。位置を連続的に指定すれば、動作の軌跡が指定できる。
【００２８】
コントローラ５３は、ボタンやキーなどの操作部材の押下を検知する回路を備えている。
【００２９】
ＣＰＵ１の実行する処理単位は、画像選択部１１、パーツ抽出部１２、モデル作成部１３、３Ｄモデル調整部１４、キャラクタ作成部１５を含む。これらはプログラムとして記憶部６のＲＯＭに記憶されており、ＣＰＵ１がＲＡＭにロードして実行する。
【００３０】
画像選択部１１は、入力部２に入力された画像のうち、操作部３のコントローラ３３からの指示に応じて、所望の画像を選択する。
【００３１】
パーツ抽出部１２は、画像選択部１１の選択した画像の中から、人物被写体のパーツとその特徴を抽出する。すなわち、まず、パーツ抽出部１２は、人物顔画像のオリジナルパーツ（眉、目、鼻、口、耳、髪など）を抽出する。これは公知の技術、例えば特許文献３の技術により行うことができる。選択画像内に人物の顔領域が複数存在する場合は操作部３から選択された顔領域のみについてパーツを抽出してもよいし、全ての顔領域についてパーツを抽出してもよい。パーツ抽出部１２は、各顔画像に対応する、顔以外の身体的特徴も抽出する。これは公知の技術、例えば特許文献４の技術を用いて行える。顔画像以外の身体的特徴としては、身長の他、顔輪郭や髪形や体型その他の人物被写体構成要素が挙げられる。
【００３２】
図２は、画像からパーツ抽出部１２の抽出した人物被写体のオリジナルパーツおよび背景のパーツの一例を示す。ここでは、３人の人物ＳＢ１、ＳＢ２、ＳＢ３の存在する画像Ｉから、人物ＳＢ１の顔の輪郭Ｘ１、両眉Ｘ２、両目Ｘ３、鼻Ｘ４、口Ｘ５、胴体Ｘ６と、背景に含まれる雲Ｙ１、山Ｙ２が抽出されている。図示は省略するが、ＳＢ２、ＳＢ３についても同様にパーツを抽出できる。
【００３３】
パーツ抽出部１２は、抽出したパーツの特徴を認識し、被写体人物ごとに区分けして記憶部６に記憶する。
【００３４】
図３は、パーツ抽出部１２の抽出した人物被写体のオリジナルパーツに対応する特徴を格納した人物特徴テーブルの一例を示す。人物特徴テーブルは記憶部６のＲＡＭに記憶される。
【００３５】
また、パーツ抽出部１２は、人物以外の撮影シーンの構成要素である背景パーツを抽出する。これは、公知の技術、例えば特許文献６の技術を用いて背景領域を抽出した後、背景領域の中に存在するエッジ成分を検出し、エッジ成分で包含される領域を背景パーツと認識する。そして、パーツ抽出部１２は、背景全体あるいは個々の背景パーツの特徴（色、面積、物体の種類など）を抽出し、記憶部６のＲＡＭに記憶する。
【００３６】
モデル作成部１３は、パーツ抽出部１２の抽出したオリジナルパーツに基づいて、２Ｄあるいは３Ｄのモデルパーツを作成する。２Ｄあるいは３Ｄのパーツは公知の技術、例えば非特許文献２の技術により作成できる。モデルパーツの作成に必要なデータ（大／中／小サイズの目／鼻／口／胴体の画像データなど）は記憶部６に記憶されているものとする。
【００３７】
モデル作成部１３は、選択画像内に人物被写体の顔領域が複数存在する場合は、オリジナルパーツを抽出し、そのパーツに基づいてキャラクタを作成するべき人物被写体の顔領域を、操作部３の操作に応じて、あるいはランダムに１つ決定する。オリジナルパーツを抽出してキャラクタを作成する人物を対象人物、対象人物の顔領域を対象顔領域という。また、対象人物以外の人物被写体を非対象人物、非対象人物の顔領域を非対象顔領域という。
【００３８】
まず、モデル作成部１３は、対象顔領域および非対象顔領域の双方から顔パーツを抽出する。そして、対象顔領域のオリジナル顔パーツに対応する顔モデルパーツを作成する。
【００３９】
次に、モデル作成部１３は、対象顔領域と非対象顔領域の顔パーツとを比較した結果に応じ、上記作成された対象顔領域のオリジナル顔パーツに対応するモデル顔パーツを相対的に誇張する。つまり、対象顔領域のオリジナル顔パーツの特徴量と、非対象顔領域のオリジナル顔パーツの特徴量との相対量に応じて、対象顔領域の顔パーツに対応するモデルパーツを誇張することを、各種類の顔パーツ（目、鼻、口など）について行う。このようにして対象顔領域の全ての種類の顔パーツを誇張し、得られた各種類のモデルパーツでデフォルトの誇張３Ｄモデル（または２Ｄモデル）を作成する。これは、対象顔領域の個人顔ベクトル（形状、色、パーツ配置位置などの属性がベクトル要素となる）をＰ１、非対象顔領域の個人顔ベクトルをＰ２、ａを誇張率、Ｐ’をデフォルトの誇張３Ｄモデルの基礎となる個人顔ベクトル（テクスチャを貼り付けるポリゴン）としたとき、Ｐ’＝Ｐ１＋ａ（Ｐ１−Ｐ２）で表される。ａは０を超える数値であり、予め記憶部６のＲＯＭに記憶されている。Ｐ’に基づいて、顔部分のテクスチャ（２次元画像データ）を貼り付けることで、デフォルトの誇張３Ｄモデルが完成する。
【００４０】
顔以外の身体的特徴についても、顔パーツと同様、対象顔領域に対応するオリジナルパーツの身体的特徴を、非対象顔領域に対応する人物の身体的特徴との特徴量の相対量に応じて、対象顔領域に対応するモデルパーツの身体的特徴を誇張する。例えば、対象顔領域に対応する人物の髪が非対象顔領域に対応する身長／肩幅／腹幅／髪／首の長さ／唇の厚さよりも長ければ、対象顔領域に人物の対応する身長／肩幅／腹幅／髪／首の長／唇の厚さをさらに長くする。逆に対象顔領域に対応する人物の身長／肩幅／腹幅／髪／首の長さ／唇の厚さが非対象顔領域に対応する身長／肩幅／腹幅／髪／首の長さ／唇の厚さよりも短ければ、対象顔領域に対応する人物の身長／肩幅／腹幅／髪／首の長さ／唇の厚さをさらに短くする。対象顔領域に対応する人物の肌の色が非対象顔領域に対応する人物の肌の色よりも白いあるいは黒い場合は、対象顔領域に対応する人物の肌の色のさらに白くあるいは黒くする。
【００４１】
あるいは、眉の角度を増やして眉のつり上がりを強調したり、七三分けの分け目部分の立ち上がりを増して強調したり、眉の面積や瞳の面積や瞼の襞の面積を増すなどしてもよい。
【００４２】
「誇張」とは、増大ないし強化させる方向に値を変化させるだけでなく、減少ないし抑制させる方向に値を変化させることも含む。例えば、図２の被写体ＳＢ１の顔領域よりも被写体ＳＢ２の顔領域の方が、シワ、シミまたはノイズ等の振幅の小さいシワ成分を含むとする。この場合、公知の美肌処理のように、被写体ＳＢ１のシワ成分の周波数帯域の振幅を低減させて、被写体ＳＢ１の方が被写体ＳＢ２よりも肌がきれいなように見せることができる。
【００４３】
このようにして、対象顔領域の人物と対象顔領域の人物との間で相対的な差がある身体特徴量を、モデルパーツにおいてさらに誇張する。これを一般的な式で表すと、次のようになる。対象顔領域の人物の身体的特徴のベクトルをＲ１（顔あるいは顔以外のパーツの形状、色、パーツ配置位置などの属性がベクトル要素となる）、非対象顔領域の人物の身体的特徴のベクトルをＲ２、ｂを誇張率、Ｒ’をデフォルトの誇張３Ｄモデルの個人顔ベクトルとすると、Ｒ’＝Ｒ１＋ｂ（Ｒ１−Ｒ２）である。ここで、ｂは０を超える任意の数値であり、予め記憶部６のＲＯＭに記憶されている。２人以上の非対象領域があれば、それらの身体的特徴の平均Ｍ（Ｒ）で上記式のＲ２を置き換えればよい。すなわち、Ｒ’＝Ｒ１＋ｂ（Ｒ１−Ｍ（Ｒ））とすればよい。この式に従うと、対象顔領域の人物の身体的特徴のうち、他の人物の平均的な身体的特徴と異なる部分が強調される。Ｒ’に基づいて、顔以外の身体部分のテクスチャ（２次元画像データ）を貼り付けることで、デフォルトの誇張３Ｄモデルが完成する。
【００４４】
なお、非特許文献３の２．４．１段落では、誇張の基準が平均顔ベクトルである。つまり、対象顔領域の個人顔ベクトルが平均顔ベクトルと同じならば何も誇張されない。本願実施形態では、誇張の基準が平均顔ベクトルではなく非対象顔領域の個人顔ベクトルである。つまり、対象顔領域の個人顔ベクトルが非対象顔領域の個人顔ベクトルと同じならば何も誇張されない。赤の他人同士が一緒に同じ画像に写っている場合、両者の顔パーツの特徴の違いに基づいて対象人物が相対的に誇張され、一緒に写っている非対象人物に応じて誇張される部分が異なることが本願実施形態の特徴である。極端な例を挙げると、一卵性双生児が一緒に同じ画像に写っている場合は、どのモデルパーツにも誇張が生じないであろう。
【００４５】
同一画像に複数の人物が写っていない場合は、周囲の背景から得られる特徴量と人物の特徴量を比較し、それらの中で相対的に差が大きい部分を誇張する。例えば、背景パーツが青い空、人物パーツが肌色であれば、特許文献５のような公知技術を用いて、青い空に対する肌色を強調する。
【００４６】
モデル作成部１３は、対象人物のサイズに応じて、作成するモデルパーツの詳細度を変えてもよい。例えば、図４（ａ）のように大きく写っている対象人物には詳細なモデルパーツを割り当て、図４（ａ）のように小さく写っている対象人物には簡易なモデルパーツを割り当てる。詳細なモデルパーツは、簡易なモデルパーツよりも、オリジナルパーツからの特徴点のサンプリング数が多いものとする。こうすることで、小さく写って詳細な特徴が把握できないような人物に対して、モデル作成部１３が不釣り合いに詳細なモデルパーツを作成しようとすることを防げ、処理の効率化につながる。
【００４７】
図５は、パーツ抽出部１２の抽出した対象人物のオリジナルパーツ、およびモデル作成部１３がオリジナルパーツに基づいて作成したデフォルトモデルパーツならびに所定の誇張率で相対的に誇張したデフォルトモデルパーツの一例を示す。
【００４８】
モデル調整部１４は、モデル作成部１３の作成したデフォルトモデルパーツにおける、各モデルパーツの特徴の誇張率ａを、操作部３の動的操作に応じて変動させる。顔パーツの特徴の誇張は、非特許文献３のような公知技術で行うことができる。しかしながら、その誇張の程度を操作部３への動的操作で変更可能なことが本願実施形態の特徴である。
【００４９】
例えば、図６に示すように、モデル調整部１４は、モデル作成部１３の作成したデフォルトモデルパーツの調整を行うモデルパーツ調整画面の生成を表示制御部７に指示する。モデルパーツ調整画面側部には、「誇張度変更」、「色調整」、「パーツ形状変更」、「パーツおえかき」という修正メニュー項目が表示され、画面中央には、モデル作成部１３の作成したデフォルトモデルパーツを用いて人物を模したデフォルトキャラクタが表示される。デフォルトキャラクタはキャラクタ作成部１５が作成する。操作部３でポインタＴを所望のメニュー項目に移動させ、その場所でコントローラ３３のボタンを押下するなど、特定の動作を行うことで、ＣＰＵ１がそのメニュー項目の選択を受け付ける。
【００５０】
モデル調整部１４は、操作部３からの操作に応じて、デフォルトモデルパーツの形状、色、誇張度を変化させる、あるいは、操作部３からの操作に応じて、モデルパーツの描画を行い、描画の完成したモデルパーツを、指定されたデフォルトモデルパーツを置き換える。
【００５１】
モデル調整部１４は、操作部３の位置検出部３２が「誇張度変更」メニュー項目の指定を検出したことに応じて、「誇張度変更」処理に移る。すなわち、まずモデル調整部１４は、誇張度を変更したい所望のパーツの選択を、操作部３の操作により受け付ける。モデル調整部１４は、カメラ９で撮影した身体部分を認識し、それに対応するパーツを選択してもよい。例えば、モデル調整部１４は、カメラ９から得られた画像データが右眉、左眉、右目、左目、鼻または口を含んでいることを認識すれば、それぞれ、右眉、左眉、右目、左目、鼻または口を誇張度変更対象のパーツと認識する。モデル調整部１４は、操作部３の位置検出部３２が検出した位置に存在するパーツを、誇張度変更対象のパーツとして識別する。そして、識別された誇張度変更対象のパーツを、段階的に誇張し、段階的に誇張されたパーツの各々を一覧表示（あるいは順次切り替えて表示）させるよう表示制御部７に指示する。
【００５２】
図７は、口のデフォルトパーツが誇張度変更対象のパーツとして選択された場合、口のデフォルトパーツの開口度が段階的に誇張された一覧を例示する。図７（ａ）は最も高い誇張度８０％、（ｂ）は中程度の誇張度５０％、（ｃ）は中の下の程度の誇張度３０％、（ｄ）は  誇張度０％すなわち誇張度変更対象のデフォルトパーツそのものである。
【００５３】
図８は、口のデフォルトパーツが誇張度変更対象のパーツとして選択された場合、口のデフォルトパーツの唇の厚さが段階的に誇張された一覧を例示する。図７（ａ）は最も高い誇張度８０％、（ｂ）は中程度の誇張度５０％、（ｃ）は中の下の程度の誇張度３０％、（ｄ）は  誇張度０％すなわち誇張度変更対象のデフォルトパーツそのものである。
【００５４】
上記のような口の開口度、唇の厚さのように、同じパーツでも誇張度を変えたいパラメータが複数存在する場合、モデル調整部１４は、操作部３で誇張度を変えたいパラメータを予め選択させ、選択されたパラメータの誇張度のみを段階的に変化させてもよい。あるいは、口の開口度と唇の厚さを同時に変えてもよい。
【００５５】
ユーザは、操作部３を介して、段階的に誇張されたパーツの中から所望の誇張度のパーツを選択する。モデル調整部１４は、操作部３を介して選択された誇張度のパーツで、誇張度変更対象のデフォルトパーツを置き換え、キャラクタ作成部１５はモデル調整部１４によってパーツが置き換えられた新しいキャラクタを作成して表示装置８に出力する。これにより、ユーザが自由に誇張度を変え、ユーザの希望に沿わないような過剰な誇張あるいは無個性に近いような乏しい誇張を防ぐことができる。
【００５６】
あるいは、自動的にデフォルトパーツの誇張度を変えるのではなく、操作部３の操作に応じて誇張度を変えてもよい。例えば、モデル調整部１４は、操作部３の動作検出部３１が右に回転する動作を検出した場合は誇張度を増やし、操作部３の動作検出部３１が左に回転する動作を検出した場合、誇張度を減らす。
【００５７】
図９では、操作部３が右に回転したことに応じて開口度が増加する様子、図１０では、操作部３が左に回転したことに応じて開口度が減少する様子を例示している。左回転で誇張度を増加、右回転で誇張度を減少させてもよい。また、モデル調整部１４は、操作部３を前に押し込めば特徴の誇張度を上げ、手前に引けば特徴の誇張度を下げるなどしてもよい。また、モデル調整部１４は、目、鼻、口などの各パーツのうちどのパーツを変化させるか、および、太さ、長さ、色などの属性のうちどの誇張度を変化させるかを、事前にコントローラ３３で選択させておき、選択されたパーツの選択された属性の誇張度を動作検出部３１の検出結果に応じて変化させてもよい。
【００５８】
モデル調整部１４は、操作部３の位置検出部３２が「パーツおえかき」メニュー項目の指定を検出したことに応じて、「パーツおえかき」処理に移る。すなわち、まずモデル調整部１４は、置換したい所望のパーツ（置換対象パーツ）の選択を、操作部３の操作により受け付ける。次に、モデル調整部１４は、タッチパネル１０から指定された押下位置の軌跡を線として認識し、この線の平面座標情報を画像データに変換する。そして、操作部３から「おえかき終了」が指示されたことに応じて、当該画像データで選択されたパーツを置き換える。モデル調整部１４は、カラーパレットを表示装置８に表示させ、指定された所望の領域の所望の色をカラーパレットから操作部３を介して選択させ、選択された色で指定領域を着色してもよい。
【００５９】
図１１では、タッチパネル１０から左手の形状が入力されている。この左手の画像データが、左手の置換対象パーツと置き換わる。タッチパネル１０から入力された形状に応じてモデル調整部１４が置換パーツを自動認識してもよい。例えば、水平線と鋭角をなす横線がタッチパネル１０から入力されれば、その描画データで左眉のデフォルトパーツを置き換える。
【００６０】
モデル調整部１４は、操作部３の位置検出部３２が「パーツ形状変更」メニュー項目の指定を検出したことに応じて、「パーツ形状変更」処理に移る。すなわち、まずモデル調整部１４は、形状変更したい所望のパーツ（変更パーツ）の選択を、操作部３の操作により受け付ける。次に、モデル調整部１４は、操作部３の動作検出部３１が検出した操作部３への圧力（握力）や温度に応じて、変更パーツの形状を変化させる。
【００６１】
例えば、図１２に示すように、所定閾値（例えば１０ｋｇ）以上の握力が検出された場合、変更パーツである口の形状を、口角が上がった状態（笑ったような状態）から口角が下がった状態（怒ったようなへの字型）に変える。あるいは、所定閾値（例えば３０℃）以上の温度上昇が検出された場合、口角が上がった状態から口角が下がった状態に変える。逆に、圧力あるいは温度が所定閾値に下がったことが検出された場合、口角が下がった状態から口角が上がった状態に変える。つまり、ユーザの動作検出に応じてパーツ形状を可逆的に変化させる。
【００６２】
あるいは、コントローラ３３でパーツ形状の変化を指示した後、握力を検知したことで形状変化を確定してもよい。
【００６３】
モデル調整部１４は、操作部３の位置検出部３２が「色調整」メニュー項目の指定を検出したことに応じて、「色調整」処理に移る。すなわち、まずモデル調整部１４は、色調整したい所望のパーツ（変更パーツ）の選択を、操作部３の操作により受け付ける。次に、モデル調整部１４は、操作部３の動作検出部３１が検出した操作部３への回転操作に応じて変更パーツの色を変更する。例えば、モデル調整部１４は、操作部３を左右（方位角）あるいは前後（仰角）に回転することでＲＧＢの色を変えたり、操作部３の上下でコントラストやシャドー値を変える。
【００６４】
特に、圧力あるいは温度が所定閾値を境に上下したことが検出された場合に応じて、キャラクタの顔領域の色を赤にあるいは青に変えたり、上述のように口角を上下させると、操作の力の入れ具合に合ったキャラクタの変化が得られて興趣性が高まる。
【００６５】
キャラクタ作成部１５は、モデル作成部１３が作成したモデルパーツあるいはモデル調整部１４がモデルパーツを置換・調整した場合はその置換・調整されたモデルパーツに基づいて、キャラクタ（ユーザを象徴する画像。アバターなどと呼ばれることもある）を作成する。これは例えば非特許文献２の技術を用いて作成される。モデル調整部１４がモデルパーツを置換・調整する毎にキャラクタを作成してもよいし、全てのモデルパーツの置換・調整が終わった後にキャラクタを作成してもよい。
【００６６】
図１４はＣＰＵ１の実行するキャラクタ作成処理のフローチャートを示す。
【００６７】
Ｓ１では、画像選択部１１が、入力部２の入力した画像のうち、操作部３の検出した操作の内容に応じた所望の画像を選択する。
【００６８】
Ｓ２では、パーツ抽出部１２が、選択された画像からオリジナルパーツを抽出する。
【００６９】
Ｓ３では、モデル作成部１３が、抽出されたオリジナルパーツから２Ｄまたは３Ｄのモデルパーツを作成する。上述のように、このモデルパーツは相対的な誇張が施されている。
【００７０】
ユーザが、オリジナルパーツの抽出された人物被写体のうち、デフォルトパーツを修正する人物被写体を操作部３で選択した場合（Ｓ４）、モデル調整部１４が、操作部３を介して、修正メニュー項目および修正したいパーツの選択を受け付ける。ただし、上述のように、タッチパネル１０から入力された形状に応じてモデル調整部１４が置換パーツを自動認識する場合、修正したいパーツの選択は不要である。修正したいパーツの選択がされれば（Ｓ５）、Ｓ６に進み、修正メニュー項目の選択や修正したいパーツの選択がされなければ（Ｓ７）、Ｓ８に進む。
【００７１】
Ｓ６では、上述のように、選択されたメニュー項目と操作部３やタッチパネル１０への入力に応じてパーツを修正したり置換したりする。
【００７２】
Ｓ８では、Ｓ６で修正されたパーツで（修正がなければデフォルトパーツで）キャラクタを作成する。
【００７３】
ユーザが、オリジナルパーツの抽出された人物被写体のうち、デフォルトパーツを修正する人物被写体を操作部３で選択しなかった場合（Ｓ９）、その人物被写体についてのキャラクタは作成せず、処理を終了する。
【００７４】
以上のように、本願実施形態では、画像から抽出された人物のパーツに基づいてモデルパーツを作成し、そのパーツを相対的に強調して、これをデフォルトパーツとする。よって、一緒に写っている非対象人物に応じて誇張されるデフォルトパーツが異なり、一緒に写っている非対象人物のパーツからできたキャラクタと対象人物のパーツからできたキャラクタとの差異が明確になる。また、操作部３やタッチパネルへの操作入力に応じて、パーツそのものを置換したり、あるいはパーツの属性、特に、誇張率、形状、色を自由に変えることができ、キャラクタのオリジナリティが増し、ユーザの意向も忠実に反映することができる。  
【００７５】
＜第２実施形態＞
オブジェクトの属性を変えてそのオブジェクトを強調するのではなく、強調するオブジェクト以外の画像の属性を変えて、相対的にそのオブジェクトを誇張してもよい。例えば、図２のように複数の被写体ＳＢ１およびＳＢ２が画像中に存在し、被写体ＳＢ１の顔領域の白色成分が被写体ＳＢ２の顔領域の白色成分よりも強いものとする。この場合、被写体ＳＢ１の顔領域の白色成分を増やすのではなく、被写体ＳＢ２の顔領域の黒色成分を増やして、相対的に被写体ＳＢ１の顔領域の白色成分が被写体ＳＢ２よりも増やし、被写体ＳＢ１のほうが被写体ＳＢ２よりも色白に見える。
【００７６】
あるいは、被写体ＳＢ１の顔領域よりも被写体ＳＢ２の顔領域の方が、シワ、シミまたはノイズ等の振幅の小さいシワ成分を含むとする。この場合、被写体ＳＢ２のシワ成分の周波数帯域の振幅を増大させて、被写体ＳＢ１の方が被写体ＳＢ２よりも肌がきれいなように見せることができる。
【図面の簡単な説明】
【００７７】
【図１】画像処理装置のブロック図
【図２】画像から抽出されたパーツの一例を示す図
【図３】人物被写体ごとのパーツの特徴を示す図
【図４】人物被写体が大きくあるいは小さく写った画像の一例を示す図
【図５】誇張されたパーツの一例を示す図
【図６】モデルパーツ調整画面の一例を示す図
【図７】開口度を段階的に誇張した一例を示す図
【図８】唇の厚さを段階的に誇張した一例を示す図
【図９】操作部の検知した動作に応じて口パーツのサイズを大きく変更する様子を示す図
【図１０】操作部の検知した動作に応じて口パーツのサイズを小さく変更する様子を示す図
【図１１】描画されたパーツの一例を示す図
【図１２】操作部の検知した動作に応じて口パーツの形状を変更する様子を示す図
【図１３】操作部の検知した動作に応じて顔の色を変更する様子を示す図
【図１４】キャラクタ作成処理のフローチャート
【符号の説明】
【００７８】
１：ＣＰＵ、２：入力部、３：操作部、４：出力部、５：記憶部、７：表示制御部、８：表示装置、９：カメラ、１０：タッチパネル
【図１】
2010066853.tif 000003
【図２】
2010066853.tif 000004
【図３】
2010066853.tif 000005
【図４】
2010066853.tif 000006
【図５】
2010066853.tif 000007
【図６】
2010066853.tif 000008
【図７】
2010066853.tif 000009
【図８】
2010066853.tif 000010
【図９】
2010066853.tif 000011
【図１０】
2010066853.tif 000012
【図１１】
2010066853.tif 000013
【図１２】
2010066853.tif 000014
【図１３】
2010066853.tif 000015
【図１４】
2010066853.tif 000016