(57)【要約】【課題】キャラクタの顔画像への人物の写真の合成を従来よりも容易に行う。【解決手段】顔を構成するＮ（ただし、Ｎ≧２）の部位のうちのＭ（ただし、１≦Ｍ＜Ｎ）以上Ｎ未満の部位の形態の組合せごとに、その組合せが表わす第一の表情を表情パターン記憶手段に記載させておく。加工処理サーバは、イラストの中のキャラクタのイラスト顔画像６ＨＭから少なくとも１つを部位を検出し、このキャラクタの第二の表情を、表情パターン記憶手段に記載されている、各組合せのうちの検出した部位の形態の組合せの第一の表情であると判別する。そして、イラスト顔画像６ＨＭを、人物の、判別された第二の表情の顔の写真に置き換える。【選択図】図５
2014228937.tif 000002
【特許請求の範囲】
【請求項１】
顔を構成するＮ（ただし、Ｎ≧２）の部位のうちのＭ（ただし、１≦Ｍ＜Ｎ）以上Ｎ未満の部位の形態の組合せごとに、当該組合せが表わす第一の表情を記憶する、表情パターン記憶手段と、
イラストの中のキャラクタの顔から前記Ｎの部位のうちの少なくとも１つをイラスト部位として検出する部位検出手段と、
前記キャラクタの第二の表情を、前記表情パターン記憶手段に記載されている、前記組合せのうちの前記部位検出手段によって検出された前記イラスト部位の形態の組合せの前記第一の表情であると判別する、表情判別手段と、
前記キャラクタの顔を、人物の、前記表情判別手段によって判別された前記第二の表情の顔の写真に置き換えることによって、前記イラストを加工する、加工手段と、
を有することを特徴とする画像加工装置。
【請求項２】
複数の向きの中から前記キャラクタの顔の向きを判別する顔方向判別手段、を有し、
前記表情パターン記憶手段は、前記組合せごとの前記第一の表情を、前記複数の向きのそれぞれについて記憶し、
前記表情判別手段は、前記キャラクタの前記第二の表情を、前記組合せのうちの前記顔方向判別手段によって判別された前記キャラクタの顔の向きの組合せの前記第一の表情であると判別し、
前記加工手段は、前記キャラクタの顔を、前記顔方向判別手段によって判別された向きの顔の写真に置き換えることによって、前記イラストを加工する、
請求項１に記載の画像加工装置。
【請求項３】
前記イラストに前記キャラクタが複数描かれている場合に、
前記部位検出手段は、当該複数のキャラクタそれぞれについて前記イラスト部位を検出し、
前記表情判別手段は、当該複数のキャラクタそれぞれについて前記第二の表情を判別し、
前記加工手段は、当該複数のキャラクタそれぞれの顔を、相違する人物の顔の写真に置き換えることによって、前記イラストを加工する、
請求項１または請求項２に記載の画像加工装置。
【請求項４】
前記イラストが複数ある場合に、
前記部位検出手段は、当該複数のイラストごとに、前記複数のキャラクタそれぞれについて前記イラスト部位を検出し、
前記表情判別手段は、当該複数のイラストごとに、前記複数のキャラクタそれぞれについて前記第二の表情を判別し、
前記加工手段は、当該複数のイラストを、同一のキャラクタの顔を同一の人物の顔の写真に置き換えることによって加工する、
請求項３に記載の画像加工装置。
【請求項５】
前記加工手段は、前記複数のイラストを、後ろのイラストほど高い年齢の顔の写真に置き換えることによって加工する、
請求項４に記載の画像加工装置。
【請求項６】
前記部位検出手段は、前記イラスト部位を２つ以上検出する、
請求項１ないし請求項５のいずれかに記載の画像加工装置。
【請求項７】
顔を構成するＮ（ただし、Ｎ≧２）の部位のうちのＭ（ただし、１≦Ｍ＜Ｎ）以上Ｎ未満の部位の形態の組合せごとに、当該組合せが表わす第一の表情を、表情パターン記憶手段に記憶させておき、
イラストの中のキャラクタの顔から前記Ｎの部位のうちの少なくとも１つをイラスト部位として検出し、
前記キャラクタの第二の表情を、前記表情パターン記憶手段に記載されている、前記組合せのうちの検出した前記イラスト部位の形態の組合せの前記第一の表情であると判別し、
前記キャラクタの顔を、人物の、判別した前記第二の表情の顔の写真に置き換えることによって、前記イラストを加工する、
ことを特徴とする画像加工方法。
【請求項８】
顔を構成するＮ（ただし、Ｎ≧２）の部位のうちのＭ（ただし、１≦Ｍ＜Ｎ）以上Ｎ未満の部位の形態の組合せごとに当該組合せが表わす第一の表情を記憶する表情パターン記憶手段へアクセスしイラストを加工するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
イラストの中のキャラクタの顔から前記Ｎの部位のうちの少なくとも１つをイラスト部位として検出する処理を実行させ、
前記キャラクタの第二の表情を、前記表情パターン記憶手段に記載されている、前記組合せのうちの検出した前記イラスト部位の形態の組合せの前記第一の表情であると判別する処理を、実行させ、
前記キャラクタの顔を、人物の、判別した前記第二の表情の顔の写真に置き換えることによって、前記イラストを加工する処理を、実行させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イラストの中の顔の画像を写真に置き換える技術に関する。
【背景技術】
【０００２】
ビデオカメラで撮影した動画コンテンツを、それに登場する顔の表情に基づいて加工する技術が、提案されている。
【０００３】
例えば、特許文献１に記載する技術によると、顔の表情に応じた装飾画像（台詞の吹出し、汗の画像など）を動画コンテンツに合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６６８４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また、キャラクタの顔のイラストに、実在する人物の写真を合成することが、しばしば行われている。この際に、様々な表情の写真を予め用意しておき、キャラクタの表情に合った写真を合成するのが、好ましい。
【０００６】
しかし、従来、コンピュータによるキャラクタの表情の判断が上手くできないことがあった。したがって、ユーザがキャラクタの表情を判断し写真を選択しなければならないことがあった。
【０００７】
本発明は、このような問題点に鑑み、キャラクタの顔画像への人物の写真の合成を従来よりも容易に行うことを、目的とする。
【課題を解決するための手段】
【０００８】
本発明の一形態に係る画像加工装置は、顔を構成するＮ（ただし、Ｎ≧２）の部位のうちのＭ（ただし、１≦Ｍ＜Ｎ）以上Ｎ未満の部位の形態の組合せごとに、当該組合せが表わす第一の表情を記憶する、表情パターン記憶手段と、イラストの中のキャラクタの顔から前記Ｎの部位のうちの少なくとも１つをイラスト部位として検出する部位検出手段と、前記キャラクタの第二の表情を、前記表情パターン記憶手段に記載されている、前記組合せのうちの前記部位検出手段によって検出された前記イラスト部位の形態の組合せの前記第一の表情であると判別する、表情判別手段と、前記キャラクタの顔を、人物の、前記表情判別手段によって判別された前記第二の表情の顔の写真に置き換えることによって、前記イラストを加工する、加工手段と、を有する。
【０００９】
好ましくは、複数の向きの中から前記キャラクタの顔の向きを判別する顔方向判別手段、を有し、前記表情パターン記憶手段は、前記組合せごとの前記第一の表情を、前記複数の向きのそれぞれについて記憶し、前記表情判別手段は、前記キャラクタの前記第二の表情を、前記組合せのうちの前記顔方向判別手段によって判別された前記キャラクタの顔の向きの組合せの前記第一の表情であると判別し、前記加工手段は、前記キャラクタの顔を、前記顔方向判別手段によって判別された向きの顔の写真に置き換えることによって、前記イラストを加工する。
【００１０】
または、前記イラストに前記キャラクタが複数描かれている場合に、前記部位検出手段は、当該複数のキャラクタそれぞれについて前記イラスト部位を検出し、前記表情判別手段は、当該複数のキャラクタそれぞれについて前記第二の表情を判別し、前記加工手段は、当該複数のキャラクタそれぞれの顔を、相違する人物の顔の写真に置き換えることによって、前記イラストを加工する。
【００１１】
または、前記イラストが複数ある場合に、前記部位検出手段は、当該複数のイラストごとに、前記複数のキャラクタそれぞれについて前記イラスト部位を検出し、前記表情判別手段は、当該複数のイラストごとに、前記複数のキャラクタそれぞれについて前記第二の表情を判別し、前記加工手段は、当該複数のイラストを、同一のキャラクタの顔を同一の人物の顔の写真に置き換えることによって加工する。
【００１２】
または、前記加工手段は、前記複数のイラストを、後ろのイラストほど高い年齢の顔の写真に置き換えることによって加工する。
【００１３】
または、前記部位検出手段は、前記イラスト部位を２つ以上検出する。
【発明の効果】
【００１４】
本発明によると、キャラクタの顔画像への人物の写真の合成を従来よりも容易に行うことができる。
【図面の簡単な説明】
【００１５】
【図１】ドキュメント加工システムの全体的な構成の例を示す図である。
【図２】加工処理サーバのハードウェア構成の例を示す図である。
【図３】加工処理サーバの機能的構成の例を示す図である。
【図４】画像形成装置のハードウェア構成の例を示す図である。
【図５】イラストの例を示す図である。
【図６】男性の顔写真の例を示す図である。
【図７】女性の顔写真の例を示す図である。
【図８】顔方向テーブルの例を示す図である。
【図９】顔方向判別処理の流れの例を説明するフローチャートである。
【図１０】顔の向きごとのパーツの一般的な形態の例を示す図である。
【図１１】表情テーブルの例を示す図である。
【図１２】表情判別処理の流れの例を説明するフローチャートである。
【図１３】向きおよび表情ごとの目の一般的な形状の例を示す図である。
【図１４】向きおよび表情ごとの眉の一般的な形状の例を示す図である。
【図１５】向きおよび表情ごとの口の一般的な形状の例を示す図である。
【図１６】合成画像の例を示す図である。
【図１７】第一の実施形態における加工処理サーバの全体的な処理の流れの例を説明するフローチャートである。
【図１８】加工処理サーバの機能的構成の第二の例を示す図である。
【図１９】絵本の例を示す図である。
【図２０】合成画像の例を示す図である。
【図２１】第二の実施形態における加工処理サーバの全体的な処理の流れの例を説明するフローチャートである。
【図２２】表情テーブルの例を示す図である。
【図２３】表情テーブルの例を示す図である。
【図２４】表情テーブルの例を示す図である。
【図２５】重要度テーブルである。
【図２６】表情ごとの合計点および内訳の例を示す図である。
【発明を実施するための形態】
【００１６】
〔第一の実施形態〕
図１は、ドキュメント加工システム３の全体的な構成の例を示す図である。図２は、加工処理サーバ１のハードウェア構成の例を示す図である。図３は、加工処理サーバ１の機能的構成の例を示す図である。図４は、画像形成装置２０のハードウェア構成の例を示す図である。
【００１７】
ドキュメント加工システム３は、図１に示すように、加工処理サーバ１、画像形成装置２０、端末装置２３、および通信回線４などによって構成される。通信回線４として、インターネット、公衆回線、専用線、またはいわゆるＬＡＮ（Local Area Network）回線などが用いられる。
【００１８】
加工処理サーバ１は、ドキュメントを加工する処理を行う。特に、イラストに対して、そのイラストに含まれる顔の画像を顔の写真に置き換える処理を行う。
【００１９】
加工処理サーバ１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、大容量記憶装置１０ｄ、ＵＳＢ（Universal Serial Bus）インタフェースボード１０ｅ、グラフィックボード１０ｆ、およびＮＩＣ（Network Interface Card）１０ｇなどによって構成される。
【００２０】
ＵＳＢインタフェースボード１０ｅは、キーボードまたはポインティングデバイスなどの入力装置を繋げるためのインタフェースである。
【００２１】
グラフィックボード１０ｆは、画像の信号を生成しディスプレイへ出力する。これにより、ディスプレイに画像が表示される。
【００２２】
ＮＩＣ１０ｇは、ＴＣＰ／ＩＰなどのプロトコルで他の装置と通信を行うための装置である。
【００２３】
ＲＯＭ１０ｃまたは大容量記憶装置１０ｄには、上述の置換の処理のためのイラスト加工プログラム１０Ｐ１が記憶されている。イラスト加工プログラム１０Ｐ１によると、図３に示す合成対象データ取得部１０１、イラスト顔画像検出部１０２、顔方向判別部１０３、表情判別部１０４、特性判別部１０５、写真顔画像選出部１０６、画像合成部１０７、合成画像データ送信部１０８、合成対象データ記憶部１２１、顔方向テーブル記憶部１２２、表情テーブル記憶部１２３、および特性テーブル記憶部１２４などの機能が実現される。
【００２４】
イラスト加工プログラム１０Ｐ１は、ＲＯＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。大容量記憶装置１０ｄとして、ハードディスクドライブまたはＳＳＤ（Solid State Drive）などが用いられる。
【００２５】
画像形成装置２０は、一般に複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれる画像処理装置であって、コピー、ＰＣプリント（ネットワークプリンティング）、ファックス、およびスキャンなどの機能を集約した装置である。「ＰＣプリント機能」は、端末装置２３からの指令に基づいて画像を用紙に印刷する機能である。本実施形態では、画像形成装置２０は、特に、加工処理サーバ１によって処理が施されたイラストを用紙に印刷するために用いられる。
【００２６】
画像形成装置２は、図４に示すように、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、大容量記憶装置２０ｄ、スキャンユニット２０ｅ、プリントユニット２０ｆ、ＮＩＣ２０ｇ、タッチパネルディスプレイ２０ｈ、およびモデム２０ｉなどによって構成される。
【００２７】
スキャンユニット２０ｅは、原稿の用紙に記されている写真、文字、イラスト、または図表などの画像を読み取って画像データを生成する装置である。
【００２８】
プリントユニット２０ｆは、スキャンユニット２０ｅによって読み取られた画像または他の装置から受信した画像データに示される画像を印刷する。
【００２９】
タッチパネルディスプレイ２０ｈは、ユーザに対してメッセージまたは指示を与えるための画面、ユーザが処理の指令および条件を入力するための画面、およびＣＰＵ２０ａの処理の結果を示す画面などを表示する。また、ユーザが指で触れた位置を検知し、検知結果を示す信号をＣＰＵ２０ａに送信する。
【００３０】
ＮＩＣ２０ｇは、通信回線４を介してＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルで他の装置と通信を行う。
【００３１】
モデム２０ｉは、固定電話網を介してＧ３などのプロトコルで他のファックス端末と画像データをやり取りする。
【００３２】
ＲＯＭ２０ｃまたは大容量記憶装置２０ｄには、上述の機能を実現するためのプログラムが記憶されている。これらのプログラムは、必要に応じてＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。大容量記憶装置２０ｄとして、ハードディスクドライブまたはＳＳＤなどが用いられる。
【００３３】
端末装置２３は、加工処理サーバ１および画像形成装置２０の上述の機能を遠隔的に使用するためのクライアントである。端末装置２３として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または携帯電話端末などが用いられる。
【００３４】
図５は、イラスト６Ｃの例を示す図である。図６は、男性の顔写真６Ｐの例を示す図である。図７は、女性の顔写真６Ｐの例を示す図である。図８は、顔方向テーブルＴＬ１の例を示す図である。図９は、顔方向判別処理の流れの例を説明するフローチャートである。図１０は、顔の向きごとのパーツの一般的な形態の例を示す図である。図１１は、表情テーブルＴＬ２の例を示す図である。図１２は、表情判別処理の流れの例を説明するフローチャートである。図１３は、向きおよび表情ごとの目の一般的な形状の例を示す図である。図１４は、向きおよび表情ごとの眉の一般的な形状の例を示す図である。図１５は、向きおよび表情ごとの口の一般的な形状の例を示す図である。図１６は、合成画像６Ｇの例を示す図である。
【００３５】
次に、図３に示す加工処理サーバ１の各部の機能およびユーザによる操作を、図５〜図１６を参照しながら説明する。
【００３６】
ユーザは、画像形成装置２０または端末装置２３などを用いて、加工の対象のイラストの電子データと、このイラストに合成する写真の電子データとを、端末装置２３に用意する。以下、前者を「イラストデータ５Ｃ」と記載し、後者を「写真データ５Ｐ」と記載する。
【００３７】
ユーザは、イラストデータ５Ｃを、例えば、次の方法によって用意すればよい。端末装置２３にインストールされている描画ソフトを用いてイラストを作成することによって、イラストデータ５Ｃを用意する。イラストの電子データを、インターネット上のサーバから端末装置２３へダウンロードし、またはＣＤ−ＲＯＭなどのメディアから端末装置２３へコピーし、これをイラストデータ５Ｃとして用いてもよい。または、用紙にイラストを描き、これを画像形成装置２０に読み取らせることによってイラストデータ５Ｃを生成し、画像形成装置２０から端末装置２３へ転送してもよい。
【００３８】
一方、写真データ５Ｐは、例えば、次の方法によって用意すればよい。端末装置２３に内蔵されているデジタルカメラで人物の顔を撮影することによって、写真データ５Ｐを用意する。イラストの場合と同様、印画紙などから写真を画像形成装置２０に読み取らせることによって写真データ５Ｐを生成し、画像形成装置２０から端末装置２３へ転送してもよい。または、インターネット上のサーバまたはＣＤ−ＲＯＭなどのメディアから取得したデータを写真データ５Ｐとして用いてもよい。
【００３９】
なお、ユーザは、写真データ５Ｐとして、人物が正面を向いた写真、右を向いた写真、および左を向いた顔の写真のデータを、笑っているとき、怒っているとき、および泣いているときそれぞれの表情（感情）について、用意する。さらに、イラストに複数のキャラクタが登場する場合は、キャラクタの数と同数の人物それぞれの、３つの方向および３つの表情の写真データ５Ｐを用意するのが望ましい。
【００４０】
以下、図５に示すイラスト６Ｃのデータがイラストデータ５Ｃとして用意され、図６に示す顔写真６ＰＭ１〜６ＰＭ９および図７に示す顔写真６ＰＷ１〜６ＰＷ９のそれぞれのデータが写真データ５Ｐとして用意された場合を例に説明する。また、笑っているときの表情、怒っているときの表情、および泣いているときの表情をそれぞれ「笑」、「怒」、「泣」と記載することがある。
【００４１】
イラスト６Ｃには、男性のキャラクタの画像（以下、「キャラクタ画像６ＣＭ」と記載する。）および女性のキャラクタの画像（以下、「キャラクタ画像６ＣＷ」と記載する。）が１つずつ含まれている。
【００４２】
顔写真６ＰＭ１〜６ＰＭ９は、１人の男性の人物の顔の写真であって、それぞれ、笑っているときの正面、右向き、および左向きの写真、怒っているときの正面、右向き、および左向きの写真、ならびに泣いているときの正面、右向き、および左向きの写真である。
【００４３】
顔写真６ＰＷ１〜６ＰＷ９は、１人の女性の人物の顔の写真であって、それぞれ、笑っているときの正面、右向き、および左向きの写真、怒っているときの正面、右向き、および左向きの写真、ならびに泣いているときの正面、右向き、および左向きの写真である。
【００４４】
そして、ユーザは、これらのイラストデータ５Ｃおよび写真データ５Ｐを加工処理サーバ１へ送信するための操作を行い、これらのイラストデータ５Ｃおよび写真データ５Ｐを加工処理サーバ１の合成対象データ取得部１０１に取得させる。ここで、ユーザによる操作および合成対象データ取得部１０１の処理の例を説明する。
【００４５】
ユーザは、各イラストデータ５Ｃおよび写真データ５Ｐに、所定の規則に基づいてデータ名を付ける。例えば、イラストデータ５Ｃには、「illustration」というデータ名を付ける。また、各写真データ５Ｐには、「photo」という文字列に、人物の識別子、表情の識別子、および向きの識別子を加えたものを、データ名を付ける。例えば、男性の人物の識別子が「p01」、笑っている表情の識別子が「e01」、および正面の識別子が「d01」である場合は、顔写真６ＰＭ１の写真データ５Ｐに「photo-p01-e01-d01」というデータ名を付ける。
【００４６】
そして、ユーザは、これらのイラストデータ５Ｃおよび写真データ５Ｐを添付した、所定のタイトルの電子メールを、加工処理サーバ１へ宛てて送信する。すると、この電子メールがメールサーバに保存される。
【００４７】
加工処理サーバ１において、合成対象データ取得部１０１は、電子メールサーバにアクセスし、加工処理サーバ１宛ての所定のタイトルの電子メールを受信することによって、イラストデータ５Ｃおよび写真データ５Ｐを取得する。
【００４８】
取得されたイラストデータ５Ｃおよび写真データ５Ｐは、合成対象データ記憶部１２１に記憶される。
【００４９】
イラスト顔画像検出部１０２は、合成対象データ記憶部１２１からイラストデータ５Ｃを読み出し、イラストデータ５Ｃに基づいてキャラクタ画像６ＣＭの中の顔の画像およびキャラクタ画像６ＣＷの中の顔の画像を、例えば次のように検出する。
【００５０】
人間の一般的な形状のパターンのデータを予め幾つか加工処理サーバ１に用意しておく。イラスト顔画像検出部１０２は、これらのパターンをイラストデータ５Ｃに対してマッチングすることによって、キャラクタ画像６ＣＭおよびキャラクタ画像６ＣＷを検出する。そして、キャラクタ画像６ＣＭおよびキャラクタ画像６ＣＷそれぞれから楕円状の領域を検索し、これらの領域を顔の画像として検出する。以下、キャラクタ画像６ＣＭおよびキャラクタ画像６ＣＷから検出された顔の画像をそれぞれ「イラスト顔画像６ＨＭ」および「イラスト顔画像６ＨＷ」と記載する。
【００５１】
顔方向判別部１０３は、イラスト顔画像６ＨＭおよびイラスト顔画像６ＨＷそれぞれの向きを判別する。判別には、顔方向テーブルＴＬ１が用いられる。
【００５２】
顔方向テーブルＴＬ１は、図８のように、一般に人間が正面、右、および左のそれぞれを向いているときに目、眉、および口の各パーツがどのようにイラストに描かれるのかを示している。顔方向テーブルＴＬ１は、顔方向テーブル記憶部１２２に予め記憶されている。ここで、図９を参照しながら、顔の向きの判別の方法を説明する。
【００５３】
顔方向判別部１０３は、イラスト顔画像６ＨＭの中から目の画像を検出する（図９の＃７０１）。目の画像の検出も、顔の画像の検出と同様に、パターンマッチングによって行えばよい。そして、検出した目の画像の形態と顔方向テーブルＴＬ１に示される形態とを比較することによって、イラスト顔画像６ＨＭの向きを判別する（＃７０２）。
【００５４】
具体的には、顔方向テーブルＴＬ１には、図８の通り、「一対」、「片目のみ左方に配置」、および「片目のみ右方に配置」の３つの形態が示されている。イラスト顔画像６ＨＭから目が２つ、つまり、図１０（Ａ）のように１対の目が検出された場合は、顔方向判別部１０３は、「一対」に対応する向き、すなわち、「正面」であると、イラスト顔画像６ＨＭの向きを判別する。または、図１０（Ｂ）のように目が１つだけイラスト顔画像６ＨＭの左方から検出された場合は、「片目のみ左方に配置」に対応する向き、すなわち、「右向き」あると、判別する。または、図１０（Ｃ）のように目が１つだけイラスト顔画像６ＨＭの右方から検出された場合は、「片目のみ右方に配置」に対応する向き、すなわち、「左向き」であると、判別する。
【００５５】
しかし、一般に、目を省略してキャラクタが描かれることがある。または、目が描かれていても目を検出することができないことがある。そこで、目の画像による向きの判別ができない場合は（＃７０３でＮｏ）、顔方向判別部１０３は、眉の画像による判別を次のように試みる。
【００５６】
顔方向判別部１０３は、イラスト顔画像６ＨＭの中から眉の画像を検出する（＃７０４）。眉の画像の検出も、顔の画像および目の画像の検出と同様に、パターンマッチングによって行えばよい。そして、検出した眉の画像の形態と顔方向テーブルＴＬ１に示される形態とを比較することによって、イラスト顔画像６ＨＭの向きを判別する（＃７０５）。
【００５７】
具体的には、顔方向テーブルＴＬ１には、図８の通り、「一対」、「片眉のみ左方に配置」、および「片眉のみ右方に配置」の３つの形態が示されている。イラスト顔画像６ＨＭから眉が２つ、つまり、図１０（Ｄ）のように１対の眉が検出された場合は、顔方向判別部１０３は、「一対」に対応する向き、すなわち、「正面」であると、イラスト顔画像６ＨＭの向きを判別する。または、図１０（Ｅ）のように眉が１つだけイラスト顔画像６ＨＭの左方から検出された場合は、「片眉のみ左方に配置」に対応する向き、すなわち、「右向き」であると、判別する。または、図１０（Ｆ）のように眉が１つだけイラスト顔画像６ＨＭの右方から検出された場合は、「片眉のみ右方に配置」に対応する向き、すなわち、「左向き」であると、判別する。
【００５８】
一般に、目の画像と同様、眉の画像も省略されたり検出できなかったりすることがある。そこで、眉の画像による向きの判別ができない場合は（＃７０６でＮｏ）、顔方向判別部１０３は、口の画像による判別を次のように試みる。
【００５９】
顔方向判別部１０３は、イラスト顔画像６ＨＭの中から口の画像を検出する（＃７０７）。口の画像の検出も、顔の画像、目の画像、および眉の画像の検出と同様に、パターンマッチングによって行えばよい。そして、検出した口の画像の形態と顔方向テーブルＴＬ１に示される形態とを比較することによって、イラスト顔画像６ＨＭの向きを判別する（＃７０８）。
【００６０】
具体的には、顔方向テーブルＴＬ１には、図８の通り、「輪郭内に配置」、「左方の輪郭上に配置」、および「右方の輪郭上に配置」の３つの形態が示されている。イラスト顔画像６ＨＭの輪郭よりもの内側から図１０（Ｇ）のように口が検出された場合は、顔方向判別部１０３は、「輪郭内に配置」に対応する向き、すなわち、「正面」であると、イラスト顔画像６ＨＭの向きを判別する。または、図１０（Ｈ）のように口がイラスト顔画像６ＨＭの左方の輪郭上から検出された場合は、「左方の輪郭上に配置」に対応する向き、すなわち、「右向き」あると、判別する。または、図１０（Ｉ）のように口がイラスト顔画像６ＨＭの右方の輪郭上から検出された場合は、「右方の輪郭上に配置」に対応する向き、すなわち、「左向き」であると、判別する。
【００６１】
イラスト顔画像６ＨＷの向きも同様の方法によって判別される。なお、目の画像、眉の画像、および口の画像のいずれを用いても向きを検出できなかった場合は（＃７０９でＮｏ）、他の公知の方法によって検出すればよい（＃７１０）。または、端末装置２３に対して問合せを行い、ユーザに向きを回答させてもよい。または、後ろを向いていると判別してもよい。
【００６２】
図３に戻って、表情判別部１０４は、イラスト顔画像６ＨＭおよびイラスト顔画像６ＨＷそれぞれの表情を判別する。判別には、顔方向判別部１０３によって判別された向きおよび表情テーブルＴＬ２が用いられる。
【００６３】
表情テーブルＴＬ２は、一般に人間が笑っているとき、怒っているとき、および泣いているときに目、眉、および口の各パーツがどのようにイラストに描かれるのかを示している。
【００６４】
本実施形態では、図１１の通り、表情テーブルＴＬ２として、顔の３つの向きに応じた表情テーブルが加工処理サーバ１に用意され表情テーブル記憶部１２３に記憶されている。表情テーブルＴＬ２１は、正面用の表情テーブルＴＬ２である。表情テーブルＴＬ２２は、右向き用の表情テーブルＴＬ２である。表情テーブルＴＬ２３は、左向き用の表情テーブルＴＬ２である。ここで、図１２を参照しながら、表情の判別の方法を説明する。
【００６５】
表情判別部１０４は、イラスト顔画像６ＨＭの向きに応じた表情テーブルＴＬ２を表情テーブル記憶部１２３から読み出す（図１２の＃７２１）。例えば、顔方向判別部１０３によってイラスト顔画像６ＨＭの向きが「正面」と判別された場合は、表情テーブルＴＬ２１を読み出す。
【００６６】
表情判別部１０４は、イラスト顔画像６ＨＭの中から目の画像を検出する（＃７２２）。そして、検出した目の画像の形態と読み出した表情テーブルＴＬ２に示される形態とを比較することによって、イラスト顔画像６ＨＭの表情を判別する（＃７２３）。
【００６７】
具体的には、次のように判別する。表情テーブルＴＬ２１には、図１１（Ａ）の通り、「両方とも上に凸」、「釣り上がり」、および「垂れ下がり」の３つの形態が示されている。表情判別部１０４は、表情テーブルＴＬ２１を読み出した場合は、イラスト顔画像６ＨＭから検出された２つの目の形状が両方とも図１３（Ａ）のように上に凸であれば、「両方とも上に凸」に対応する表情、すなわち、「笑」であると、イラスト顔画像６ＨＭの表情を判別する。または、図１３（Ｂ）のように釣り上がっているのであれば、「釣り上がり」に対応する表情、すなわち、「怒」であると、判別する。または、図１３（Ｃ）のように垂れ下がっているのであれば、「垂れ下がり」に対応する表情、すなわち、「泣」であると、判別する。
【００６８】
または、顔方向判別部１０３によってイラスト顔画像６ＨＭの向きが「右向き」と判別された場合は、表情判別部１０４は、表情テーブルＴＬ２２を読み出し、イラスト顔画像６ＨＭの表示を次のように判別する。
【００６９】
表情テーブルＴＬ２２には、図１１（Ｂ）の通り、「上に凸」、「左から右へ上がる」、および「左から右へ下がる」の３つの形態が示されている。表情判別部１０４は、イラスト顔画像６ＨＭから検出された目の形状が図１３（Ｄ）のように上に凸であれば、「上に凸」に対応する表情、すなわち、「笑」であると、イラスト顔画像６ＨＭの表情を判別する。または、図１３（Ｅ）のように左から右へ上がっているのであれば、「左から右へ上がる」に対応する表情、すなわち、「怒」であると、判別する。または、図１３（Ｆ）のように左から右へ下がっているのであれば、「左から右へ下がる」に対応する表情、すなわち、「泣」であると、判別する。
【００７０】
または、顔方向判別部１０３によってイラスト顔画像６ＨＭの向きが「右向き」と判別された場合は、表情判別部１０４は、表情テーブルＴＬ２３を読み出し、イラスト顔画像６ＨＭの表示を次のように判別する。
【００７１】
表情テーブルＴＬ２３には、図１１（Ｃ）の通り、「上に凸」、「左から右へ下がる」、および「左から右へ上がる」の３つの形態が示されている。表情判別部１０４は、イラスト顔画像６ＨＭから検出された目の形状が図１３（Ｇ）のように上に凸であれば、「上に凸」に対応する表情、すなわち、「笑」であると、イラスト顔画像６ＨＭの表情を判別する。または、図１３（Ｈ）のように左から右へ下がっているのであれば、「左から右へ下がる」に対応する表情、すなわち、「怒」であると、判別する。または、図１３（Ｉ）のように左から右へ上がっているのであれば、「左から右へ上がる」に対応する表情、すなわち、「泣」であると、判別する。
【００７２】
なお、顔方向判別部１０３が向きを判別するために検出した目の画像を共用してもよい。後述するステップ＃７２６、＃７２９においても同様に、顔方向判別部１０３が検出した眉の画像または口の画像を共用してもよい。
【００７３】
表情判別部１０４は、目の画像を検出できなかった場合および目の画像による表情の判別ができなかった場合は（＃７２４でＮｏ）、眉の画像に基づいて表情の判別を次のように試みる。
【００７４】
表情判別部１０４は、イラスト顔画像６ＨＭの中から眉の画像を検出する（＃７２５）。そして、検出した眉の画像の形態と表情テーブルＴＬ２に示される形態とを比較することによって、イラスト顔画像６ＨＭの表情を判別する（＃７２６）。
【００７５】
顔方向判別部１０３によってイラスト顔画像６ＨＭの向きが「正面」と判別された場合は、表情テーブルＴＬ２１が用いられる。表情テーブルＴＬ２１には、図１１（Ａ）の通り、「両方とも上に凸」、「釣り上がり」、および「垂れ下がり」の３つの形態が示されている。
【００７６】
表情判別部１０４は、表情テーブルＴＬ２１を読み出した場合は、イラスト顔画像６ＨＭから検出された２つの眉の形状が両方とも図１４（Ａ）のように上に凸であれば、「両方とも上に凸」に対応する表情、すなわち、「笑」であると、イラスト顔画像６ＨＭの表情を判別する。または、図１４（Ｂ）のように釣り上がっているのであれば、「釣り上がり」に対応する表情、すなわち、「怒」であると、判別する。または、図１４（Ｃ）のように垂れ下がっているのであれば、「垂れ下がり」に対応する表情、すなわち、「泣」であると、判別する。
【００７７】
または、顔方向判別部１０３によってイラスト顔画像６ＨＭの向きが「右向き」と判別された場合は、表情判別部１０４は、表情テーブルＴＬ２２を読み出し、イラスト顔画像６ＨＭの表示を判別する。
【００７８】
表情テーブルＴＬ２２には、図１１（Ｂ）の通り、「上に凸」、「左から右へ上がる」、および「左から右へ下がる」の３つの形態が示されている。表情判別部１０４は、イラスト顔画像６ＨＭから検出された眉の形状が図１４（Ｄ）のように上に凸であれば、「上に凸」に対応する表情、すなわち、「笑」であると、イラスト顔画像６ＨＭの表情を判別する。または、図１４（Ｅ）のように左から右へ上がっているのであれば、「左から右へ上がる」に対応する表情、すなわち、「怒」であると、判別する。または、図１４（Ｆ）のように左から右へ下がっているのであれば、「左から右へ下がる」に対応する表情、すなわち、「泣」であると、判別する。
【００７９】
または、顔方向判別部１０３によってイラスト顔画像６ＨＭの向きが「左向き」と判別された場合は、表情判別部１０４は、表情テーブルＴＬ２３を読み出し、イラスト顔画像６ＨＭの表示を次のように判別する。
【００８０】
表情テーブルＴＬ２３には、図１１（Ｃ）の通り、「上に凸」、「左から右へ下がる」、および「左から右へ上がる」の３つの形態が示されている。表情判別部１０４は、イラスト顔画像６ＨＭから検出された眉の形状が図１４（Ｇ）のように上に凸であれば、「上に凸」に対応する表情、すなわち、「笑」であると、イラスト顔画像６ＨＭの表情を判別する。または、図１４（Ｈ）のように左から右へ下がっているのであれば、「左から右へ下がる」に対応する表情、すなわち、「怒」であると、判別する。または、図１４（Ｉ）のように左から右へ上がっているのであれば、「左から右へ上がる」に対応する表情、すなわち、「泣」であると、判別する。
【００８１】
表情判別部１０４は、眉の画像を検出できなかった場合および眉の画像による表情の判別ができなかった場合は（＃７２７でＮｏ）、口の画像に基づいて表情の判別を次のように試みる。
【００８２】
表情判別部１０４は、イラスト顔画像６ＨＭの中から口の画像を検出する（＃７２８）。そして、検出した口の画像の形態と表情テーブルＴＬ２に示される形態とを比較することによって、イラスト顔画像６ＨＭの表情を判別する（＃７２９）。
【００８３】
顔方向判別部１０３によってイラスト顔画像６ＨＭの向きが「正面」と判別された場合は、表情テーブルＴＬ２１が用いられる。表情テーブルＴＬ２１には、図１１（Ａ）の通り、「下に凸」および「上に凸」の２つの形態が示されている。
【００８４】
表情判別部１０４は、表情テーブルＴＬ２１を読み出した場合は、イラスト顔画像６ＨＭから検出された口の形状が図１５（Ａ）のように下に凸であれば、「下に凸」に対応する表情、すなわち、「笑」であると、イラスト顔画像６ＨＭの表情を判別する。または、図１５（Ｂ）のように上に凸であれば、「上に凸」に対応する表情、すなわち、「怒」であると、判別する。
【００８５】
または、顔方向判別部１０３によってイラスト顔画像６ＨＭの向きが「右向き」と判別された場合は、表情判別部１０４は、表情テーブルＴＬ２２を読み出し、イラスト顔画像６ＨＭの表示を判別する。
【００８６】
表情テーブルＴＬ２２には、図１１（Ｂ）の通り、「左から右へ上がる」および「左から右へ下がる」の２つの形態が示されている。表情判別部１０４は、イラスト顔画像６ＨＭから検出された口の形状が図１５（Ｃ）のように左から右へ上がっているのであれば、「左から右へ上がる」に対応する表情、すなわち、「笑」であると、イラスト顔画像６ＨＭの表情を判別する。または、図１５（Ｄ）のように左から右へ下がっているのであれば、「左から右へ下がる」に対応する表情、すなわち、「怒」であると、判別する。
【００８７】
または、顔方向判別部１０３によってイラスト顔画像６ＨＭの向きが「左向き」と判別された場合は、表情判別部１０４は、表情テーブルＴＬ２３を読み出し、イラスト顔画像６ＨＭの表示を判別する。
【００８８】
表情テーブルＴＬ２３には、図１１（Ｃ）の通り、「左から右へ下がる」および「左から右へ上がる」の２つの形態が示されている。表情判別部１０４は、イラスト顔画像６ＨＭから検出された口の形状が図１５（Ｅ）のように左から右へ下がっているのであれば、「左から右へ下がる」に対応する表情、すなわち、「笑」であると、イラスト顔画像６ＨＭの表情を判別する。または、図１５（Ｆ）のように左から右へ上がっているのであれば、「左から右へ上がる」に対応する表情、すなわち、「怒」であると、判別する。
【００８９】
上記のいずれの方法によっても表情を判別することができない場合は（＃７３０でＮｏ）、表情判別部１０４は、他の公知の方法によって表情を検出すればよい（＃７３１）。
【００９０】
表情判別部１０４は、イラスト顔画像６ＨＷの表情も、図１１〜図１５で説明した方法によって判別する。
【００９１】
図３に戻って、特性判別部１０５は、キャラクタ画像６ＣＭおよびキャラクタ画像６ＣＷの特性を判別する。本実施形態では、特性として、性別を判別する。例えば、キャラクタ画像６ＣＭから髪の毛の画像を検出し、髪の毛の画像に基づいて髪型を判別する。そして、髪型が男性のものであればキャラクタ画像６ＣＭを男性であると判別し、女性のものであれば女性であると判別する。そのほか、髪の長さ、唇の色、または服装などを検出し、それに基づいて性別を判別してもよい。
【００９２】
写真顔画像選出部１０６は、イラスト顔画像６ＨＭおよびイラスト顔画像６ＨＷそれぞれと置き換える顔写真６Ｐを、顔方向判別部１０３によって判別された向き、表情判別部１０４によって判別された表情、および特性判別部１０５によって判別された特性（上述の例では、性別）に応じて選出する。
【００９３】
上述の通り、顔写真６Ｐとして、男性の９枚の顔写真６ＰＭ１〜６ＰＭ９および女性の９枚の６ＰＷ１〜６ＰＷ９が用意されている。
【００９４】
そこで、写真顔画像選出部１０６は、イラスト顔画像６ＨＭと置き換える顔写真６Ｐ（以下、「置換顔画像６ＰＭｃ」と記載する。）として、顔写真６ＰＭ１〜６ＰＭ９の中から、顔方向判別部１０３によって判別されたイラスト顔画像６ＨＭの向きおよび表情判別部１０４によって判別されたイラスト顔画像６ＨＭの表情に応じたものを選出する。例えば、「正面」および「笑」と判別された場合は、顔写真６ＰＭ１（図６（Ａ）参照）を選出する。または、「右向き」および「泣」と判別された場合は、顔写真６ＰＭ８（図６（Ａ）参照）を選出する。
【００９５】
同様に、写真顔画像選出部１０６は、イラスト顔画像６ＨＷと置き換える顔写真６Ｐ（以下、「置換顔画像６ＰＷｃ」と記載する。）として、顔写真６ＰＷ１〜６ＰＷ９の中から、顔方向判別部１０３によって判別されたイラスト顔画像６ＨＷの向きおよび表情判別部１０４によって判別されたイラスト顔画像６ＨＷの表情に応じたものを選出する。
【００９６】
なお、写真に写っている人物の性別は、公知の方法によって判別すればよい。または、写真データ５Ｐを端末装置２３から加工処理サーバ１へアップロードする際に、ユーザに指定させてもよい。
【００９７】
写真に写っている人物の表情（感情）は、データ名に含まれる、表情の識別子に基づいて判別することができる。または、特許第５１２０７７７号に記載されるような公知の方法によって判別してもよい。
【００９８】
画像合成部１０７は、イラスト６Ｃのイラスト顔画像６ＨＭおよびイラスト顔画像６ＨＷの部分にそれぞれ置換顔画像６ＰＭｃおよび置換顔画像６ＰＷｃを重ね合わせて合成することによって、図１６のような合成画像６Ｇの画像データ５Ｇを生成する。なお、イラスト顔画像６ＨＭおよびイラスト顔画像６ＨＷそれぞれのサイズに合わせて、置換顔画像６ＰＭｃおよび置換顔画像６ＰＷｃを拡大しまたは縮小して重ね合わせればよい。
【００９９】
合成画像データ送信部１０８は、画像合成部１０７によって生成された画像データ５Ｇを端末装置２３へ送信する。例えば、画像データ５Ｇを、ユーザからの電子メールの返信に添付して、ユーザの電子メールアドレスへ宛てて送信する。
【０１００】
端末装置２３は、画像データ５Ｇを受信すると、ＰＣプリントの機能を用いて、合成画像６Ｇを用紙に印刷する処理を画像形成装置２０に実行させる。
【０１０１】
図１７は、第一の実施形態における加工処理サーバ１の全体的な処理の流れの例を説明するフローチャートである。
【０１０２】
次に、イラスト６Ｃに顔写真６Ｐを合成する全体的な処理の流れを、図１７のフローチャートを参照しながら説明する。
【０１０３】
加工処理サーバ１は、端末装置２３からイラスト６Ｃの画像データ（イラストデータ５Ｃ）および顔写真６Ｐの画像データ（写真データ５Ｐ）を取得すると（図１７の＃１１）、イラスト６Ｃからキャラクタの顔画像を抽出する（＃１２）。イラスト６Ｃが図５のようなイラストである場合は、イラスト顔画像６ＨＭおよびイラスト顔画像６ＨＷを抽出する。
【０１０４】
加工処理サーバ１は、抽出した顔画像の向きを顔方向テーブルＴＬ１（図８参照）に基づいて判別する（＃１３）。判別した向きおよび表情テーブルＴＬ２（図１１参照）に基づいて、キャラクタの表情を判別する（＃１４）。さらに、キャラクタの特性（例えば、性別）を判別する（＃１５）。向きの判別の方法は、図６で説明した通りである。表情の判別の方法は、図９で説明した通りである。
【０１０５】
加工処理サーバ１は、キャラクタごとに、判別した向き、表情、および特性に応じた顔写真６Ｐを選出し（＃１６）、イラスト６Ｃの顔画像の上に重ねることによって合成画像６Ｇ（図１６参照）の画像データ５Ｇを生成する（＃１７）。そして、画像データ５Ｇを端末装置２３へ送信する（＃１８）。
【０１０６】
第一の実施形態によると、キャラクタの顔画像への人物の写真の合成を従来よりも容易に行うことができる。特に一部の部位の形態が不明瞭な場合であっても、キャラクタの表情を特定することができ、表情に応じた人物の写真を合成することができる。
【０１０７】
なお、後ろを向いていると顔方向判別部１０３によって判別されたキャラクタについては、表情判別部１０４以降の処理をスキップすればよい。または、後ろ姿の写真を用意しておき、それを合成してもよい。次の第二の実施形態においても、同様である。
【０１０８】
〔第二の実施形態〕
図１８は、加工処理サーバ１の機能的構成の第二の例を示す図である。図１９は、絵本６Ｅの例を示す図である。図２０は、合成画像６Ｈの例を示す図である。
【０１０９】
第一の実施形態では、１枚のイラストに写真を合成した。第二の実施形態では、絵本のような、複数枚のイラストを有しかつ１つのキャラクタが複数回現われるドキュメントへ、写真を合成する。
【０１１０】
第二の実施形態において、ドキュメント加工システム３の全体的な構成は、第一の実施形態の場合と同様であり、図１に示した通りである。加工処理サーバ１および画像形成装置２０のハードウェアの構成も、第一の実施形態の場合と同様であり、それぞれ、図２および図４に示した通りである。
【０１１１】
ただし、加工処理サーバ１のＲＯＭ１０ｃまたは大容量記憶装置１０ｄには、イラスト加工プログラム１０Ｐ２が記憶されている。イラスト加工プログラム１０Ｐ２によると、図１８に示す合成対象データ取得部１５１、イラスト顔画像検出部１５２、顔方向判別部１５３、表情判別部１５４、顔画像選別部１５５、写真顔画像選出部１５６、画像合成部１５７、合成画像データ送信部１５８、合成対象データ記憶部１６１、顔方向テーブル記憶部１６２、および表情テーブル記憶部１６３などの機能が実現される。
【０１１２】
以下、図１８に示す各部の機能を、複数のページによって構成され複数のキャラクタが登場する絵本６Ｅに対して加工の処理を行う場合を例に説明する。なお、第一の実施形態と共通する点については、説明を省略する。
【０１１３】
絵本６Ｅは、図１９に示すように、３ページによって構成される。各ページには、イラスト６Ｆが描かれている。以下、各イラストを、１ページ目から順に「イラスト６Ｆ１」、「イラスト６Ｆ２」、および「イラスト６Ｆ３」と区別して記載することがある。また、絵本６Ｅには、男性の同一のキャラクタおよび女性の同一のキャラクタが１つずつ複数回、登場する。以下、男性のキャラクタの画像を「キャラクタ画像６ＴＭ」と記載し、女性のキャラクタの画像を「キャラクタ画像６ＴＷ」と記載する。さらに、ｘページ目に登場するものを、「キャラクタ画像６ＴＭｘ」または「キャラクタ画像６ＴＷｘ」と区別して記載することがある。例えば、２ページ目に登場するキャラクタ画像６ＴＭを「キャラクタ画像６ＴＭ２」と記載する。
【０１１４】
顔方向テーブル記憶部１６２には、第一の実施形態の顔方向テーブル記憶部１２２（図３参照）と同様に、顔方向テーブルＴＬ１（図８参照）が予め記憶されている。
【０１１５】
表情テーブル記憶部１６３には、第一の実施形態の表情テーブル記憶部１２３と同様に、表情テーブルＴＬ２（図１１参照）が予め記憶されている。
【０１１６】
合成対象データ取得部１５１は、第一の実施形態の合成対象データ取得部１０１と同様に、イラストの画像データおよび顔写真の画像データを端末装置２３から取得する。ただし、合成対象データ取得部１５１は、イラストの画像データとして、絵本６Ｅの画像データ５Ｅを取得する。ユーザは、書籍を画像形成装置２０でスキャンするなどして、画像データ５Ｅを用意すればよい。顔写真の画像データは、第一の実施形態と同様、図６および図７に示した顔写真６ＰＭ１〜６ＰＭ９および顔写真６ＰＷ１〜６ＰＷ９それぞれの写真データ５Ｐである。
【０１１７】
合成対象データ取得部１５１によって取得された画像データ５Ｅおよび写真データ５Ｐは、合成対象データ記憶部１６１に記憶される。
【０１１８】
イラスト顔画像検出部１５２は、絵本６Ｅの各ページのイラスト６Ｆからキャラクタの顔の画像（以下、「イラスト顔画像６ＨＧ」と記載する。）を検出する。検出の方法は、第一の実施形態のイラスト顔画像検出部１０２による検出の方法と同様である。図１９の例の場合は、顔の画像として、５つのイラスト顔画像６ＨＧ１〜６ＨＧ５が検出される。
【０１１９】
顔方向判別部１５３は、顔方向テーブル記憶部１６２から顔方向テーブルＴＬ１を読み出し、第一の実施形態の顔方向判別部１０３と同様の方法で、検出された各イラスト顔画像６ＨＧの向きを検出する。
【０１２０】
表情判別部１５４は、顔方向判別部１５３から表情テーブルＴＬ２を読み出し、第一の実施形態の表情判別部１０４と同様の方法で、検出された各イラスト顔画像６ＨＧの表情を検出する。
【０１２１】
顔画像選別部１５５は、検出された複数のイラスト顔画像６ＨＧをキャラクタごとに選別する。図１９の例では、男性のキャラクタおよび女性のキャラクタそれぞれ１人ずつ登場する。よって、イラスト顔画像６ＨＧを２つのキャラクタのうちのいずれかに選別する。ここで、選別の方法の一例を説明する。
【０１２２】
顔画像選別部１５５は、各ページに登場するキャラクタそれぞれの特性を判別する。例えば、性別を判別する。性別の判別方法は、第一の実施形態で説明した通りである。そして、同一の特性を有するキャラクタを同一のキャラクタとみなし、そのキャラクタのイラスト顔画像６ＨＧ同士をグループ化する。
【０１２３】
図１９の例では、３つのページに延べ５つのキャラクタが描かれている。顔画像選別部１５５は、キャラクタ画像６ＴＭ１、６ＴＭ２、および６ＴＭ３のキャラクタの性別を男性であると判別し、キャラクタ画像６ＴＷ２および６ＴＷ３のキャラクタの性別を男性であると判別する。そして、キャラクタ画像６ＴＭ１、６ＴＭ２、および６ＴＭ３のキャラクタそれぞれのイラスト顔画像６ＨＧ１、６ＨＧ２、および６ＨＧ４を男性のキャラクタに選別し、キャラクタ画像６ＴＷ２および６ＴＷ３のキャラクタそれぞれのイラスト顔画像６ＨＧ３および６ＨＧ５を女性のキャラクタに選別する。
【０１２４】
写真顔画像選出部１５６は、絵本６Ｅに描かれている各イラスト顔画像６ＨＧと置き換える顔写真６Ｐを、顔方向判別部１５３によって判別された向き、表情判別部１５４によって判別された表情、および顔画像選別部１５５によって選別されたキャラクタに応じて選出する。
【０１２５】
図１９の例の場合は、写真顔画像選出部１５６は、イラスト顔画像６ＨＧ１、６ＨＧ２、および６ＨＧ４のそれぞれと置き換える写真を、男性の人物の顔写真、つまり、顔写真６ＰＭ１〜６ＰＭ９（図６参照）の中から選出する。イラスト顔画像６ＨＧ１は、正面を向きかつ笑っているので、これと置き換える顔写真６Ｐとして、顔写真６ＰＭ１を選出する。イラスト顔画像６ＨＧ２は、左を向きかつ笑っているので、これと置き換える顔写真６Ｐとして、顔写真６ＰＭ３を選出する。また、イラスト顔画像６ＨＧ３および６ＨＧ５のそれぞれと置き換える写真を、女性の人物の顔写真、つまり、顔写真６ＰＷ１〜６ＰＷ９（図７参照）の中から選出する。
【０１２６】
画像合成部１５７は、第一の実施形態の画像合成部１０７と同様、写真顔画像選出部１５６によって選出された顔写真６Ｐをイラスト顔画像６ＨＧの上に重ね合わせて合成することによって、合成画像６Ｈの画像データ５Ｈを生成する。
【０１２７】
図１９の例では、イラスト顔画像６ＨＧ１〜６ＨＧ５の上にそれぞれ顔写真６ＰＭ１、６ＰＭ３、６ＰＷ２、６ＰＭ４、および６ＰＷ４を重ね合わせて合成することによって、図２０のような合成画像６Ｈの画像データ５Ｈを生成する。
【０１２８】
合成画像データ送信部１５８は、画像合成部１５７によって生成された画像データ５Ｈを端末装置２３へ送信する。
【０１２９】
端末装置２３は、画像データ５Ｈを受信すると、ＰＣプリントの機能を用いて、合成画像６Ｈを用紙に印刷する処理を画像形成装置２０に実行させる。
【０１３０】
図２１は、第二の実施形態における加工処理サーバ１の全体的な処理の流れの例を説明するフローチャートである。
【０１３１】
次に、絵本６Ｅに顔写真６Ｐを合成する全体的な処理の流れを、図２１のフローチャートを参照しながら説明する。
【０１３２】
加工処理サーバ１は、端末装置２３から絵本６Ｅの画像データ５Ｅおよび顔写真６Ｐの画像データ（写真データ５Ｐ）を取得すると（図２１の＃３１）、絵本６Ｅからキャラクタの顔画像を抽出する（＃３２）。
【０１３３】
加工処理サーバ１は、抽出した顔画像の向きを顔方向テーブルＴＬ１（図８参照）に基づいて判別する（＃３３）。判別した向きおよび表情テーブルＴＬ２（図１１参照）に基づいて、キャラクタの表情を判別する（＃３４）。さらに、キャラクタの特性（例えば、性別）を判別し、同一の特性を有するキャラクタを同一のキャラクタとして選別する（＃３５）。
【０１３４】
加工処理サーバ１は、顔画像ごとに、向き、表情、およびキャラクタに応じた顔写真６Ｐを選出し（＃３６）、顔画像の上に重ねることによって合成画像６Ｈ（図２０参照）の画像データ５Ｈを生成する（＃３７）。そして、画像データ５Ｈを端末装置２３へ送信する（＃３８）。
【０１３５】
第二の実施形態によると、絵本のように時系列に並ぶ複数枚のイラストからなるドキュメントであっても、一貫性を保ちつつ、キャラクタの顔画像への人物の写真の合成を行うことができる。
【０１３６】
第一の実施形態および第二の実施形態では、加工処理サーバ１は、２つのキャラクタの特性として性別を判別したが、他の特性を判別してもよい。
【０１３７】
例えば、大人であるか子どもであるかを判別してもよいし、眼鏡を掛けているか否かを判別してもよい。そして、前者の場合は、ユーザは、大人である人物の写真データ５Ｐおよび子どもである人物のそれぞれの顔写真を用意し、加工処理サーバ１は、イラストへの合成を行えばよい。なお、大人／子どもは、キャラクタの画像の大きさに基づいて判別すればよい。または、顔の皺の本数に基づいて判別してもよい。または、顔の皺の本数に応じて年齢または年代を判別してもよい。
【０１３８】
または、加工処理サーバ１は、複数の種類の特性を判別してもよい。特に、３つ以上のキャラクタが描かれている場合に、これが有効的である。例えば、父親、母親、男の子、および女の子それぞれのキャラクタが描かれている場合は、加工処理サーバ１は、特性として、性別および大人／子どもを、判別する。ユーザは、男性の大人、女性の大人、男性の子ども、および女性の子どもそれぞれの人物の顔写真を用意しておく。そして、加工処理サーバ１は、父親、母親、男の子、および女の子それぞれのキャラクタの顔画像に、男性の大人、女性の大人、男性の子ども、および女性の子どもそれぞれの人物の顔写真を合成すればよい。
【０１３９】
第一の実施形態および第二の実施形態では、目、眉、口に基づいてキャラクタの表情を判別したが、鼻孔および頬などの他の部位に基づいて判別してもよい。例えば、鼻孔が膨らんでいる場合は怒っていると判別してもよい。または、頬がピンク色であれば笑っていると判別し、赤ければ怒っていると判別してもよい。
【０１４０】
第一の実施形態および第二の実施形態では、笑、怒、および泣の表情を判別したが、これら以外の表情を判別してもよい。例えば、黒目が下を向いている場合は、落ち込んでいると判別してもよい。なお、この場合は、各表情に応じた写真を用意しておく。
【０１４１】
第一の実施形態および第二の実施形態では、方向が正面、右向き、および左向きの３つである場合を例に説明したが、３つよりも多くてもよい。
【０１４２】
イラストの中の人物の顔の位置の座標を、加工処理サーバ１が検知する代わりに、ユーザが端末装置２３を操作して予め指定するようにしてもよい。さらに、キャラクタおよび特性も、ユーザが端末装置２３を操作して予め指定するようにしてもよい。
【０１４３】
端末装置２３と加工処理サーバ１との間でのデータのやり取りを電子メールによって行ったが、ＦＴＰ（File Transfer Protocol）またはＨＴＴＰ（Hypertext Transfer Protocol）などで行ってもよい。
【０１４４】
イラストの加工の処理を、加工処理サーバ１の代わりに端末装置２３が行ってもよい。または、画像形成装置２０が行ってもよい。
【０１４５】
第二の実施形態において、絵本６Ｅのストーリが数年以上に渡るものである場合は、ユーザは、同一の人物について、時期の異なる顔写真を用意しておくのが望ましい。例えば、子どもの頃の顔写真、青年の頃の顔写真、および老後の顔写真を用意しておく。そして、加工処理サーバ１は、ある１つのキャラクタに対して、ページが進むにつれて年齢の高い顔写真を合成すればよい。また、後半のページにおいて、回想シーンが現われる場合は、若い頃の顔写真を合成すればよい。
【０１４６】
第一の実施形態および第二の実施形態では、１つのパーツの形態に基づいてキャラクタの表情を判別したが、２つ以上のパーツの形態に基づいて判別してもよい。以下、判別の変形例を２つ説明する。
【０１４７】
〔第一の変形例〕
図２２は、表情テーブルＴＬ３１〜ＴＬ３３の例を示す図である。図２３は、表情テーブルＴＬ３４〜ＴＬ３６の例を示す図である。図２４は、表情テーブルＴＬ３７〜ＴＬ３９の例を示す図である。
【０１４８】
加工処理サーバ１に予め、２つのパーツの各形態の組合せごとの表情を示すテーブルを、顔の向きごとに用意しておく。例えば、目および眉のテーブルとして、図２２に示す３つの表情テーブルＴＬ３１〜ＴＬ３３を用意しておく。
【０１４９】
そして、加工処理サーバ１は、キャラクタの顔画像の中の目および眉の形態を特定できるが口の形態を特定できない場合は、表情テーブルＴＬ３１〜ＴＬ３３のうちの、顔の向きに対応するテーブルに基づいて、このキャラクタの表情を判別する。例えば、目が両方とも上に凸であり、眉が釣り上がっており、かつ、顔の向きが正面である場合は、表情テーブルＴＬ３１に基づいて、加工処理サーバ１は、キャラクタが「渋面」つまり渋い表情をしていると、判別する。
【０１５０】
同様に、目および口のテーブルとして、図２３に示す３つの表情テーブルＴＬ３４〜ＴＬ３６を用意しておく。そして、キャラクタの顔画像の中の目および口の形態を特定できるが眉の形態を特定できない場合は、表情テーブルＴＬ３４〜ＴＬ３６のうちの、顔の向きに対応するテーブルに基づいて、このキャラクタの表情を判別する。また、眉および口のテーブルとして、図２４に示す３つの表情テーブルＴＬ３７〜ＴＬ３９を用意しておく。そして、キャラクタの顔画像の中の眉および口の形態を特定できるが目の形態を特定できない場合は、表情テーブルＴＬ３７〜ＴＬ３９のうちの、顔の向きに対応するテーブルに基づいて、このキャラクタの表情を判別する。
【０１５１】
図２２〜図２４には、３つのパーツのうちの２つのパーツの組合せごとのテーブルを例示したが、Ｎ個（Ｎ≧４）のパーツのうちのＭ個（２≦Ｍ＜Ｎ）のパーツの組合せごとのテーブルを用意しておき、上述の方法で判別してもよい。複数のテーブルを適用することができる場合は、パーツの数がより多いテーブルを用いるのが望ましい。
【０１５２】
〔第二の変形例〕
図２５は、重要度テーブルＴＬ４である。図２６は、表情ごとの合計点および内訳の例を示す図である。
【０１５３】
予め、図２５のような、顔のパーツごとの表情の違いの表われやすさ（表情ごとの形態の差異の大きさ）に応じた点数を示す重要度テーブルＴＬ４を予め用意しておく。
【０１５４】
加工処理サーバ１は、キャラクタの顔画像のパーツごとに表情テーブルＴＬ２（図１１参照）に基づいて形態を判別し、形態ごとに、その形態が表われているパーツの点数Ｐを加算していく。なお、図１１には、目、眉、および口の表情テーブルＴＬ２しか例示していないが、鼻孔および頬の表情テーブルＴＬ２も予め用意しておく。
【０１５５】
そして、加工処理サーバ１は、合計の点数（合計点）が最も大きい表情がキャラクタの表情であると、判別する。
【０１５６】
例えば、加工処理サーバ１は、目、口、鼻孔、および頬それぞれの形態に基づいて「笑」、「怒」、「怒」、および「怒」と判別したが、眉の形態による判別ができなかったとする。この場合に、加工処理サーバ１は、「笑」の合計点Ｓａおよび「怒」の合計点Ｓｂを、図２６に示す通りに算出する。そして、最も大きい合計点つまり合計点Ｓａに対応する表情つまり「笑」がキャラクタの表情であると、判別する。
【０１５７】
その他、ドキュメント加工システム３、加工処理サーバ１の全体または各部の構成、処理内容、処理順序、テーブルの構成などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【０１５８】
１  加工処理サーバ（画像加工装置）
１０３  顔方向判別部（部位検出手段、顔方向判別手段）
１０４  表情判別部（表情判別手段）
１０６  写真顔画像選出部（加工手段）
１２３  表情テーブル記憶部（表情パターン記憶手段）
１５３  顔方向判別部（部位検出手段、顔方向判別手段）
１５４  表情判別部（表情判別手段）
１６３  表情テーブル記憶部（表情パターン記憶手段）
６Ａ  イラスト
６Ｆ  イラスト
６Ｇ  合成画像
６Ｈ  合成画像
ＴＬ２  表情テーブル
ＴＬ３１〜ＴＬ３９  表情テーブル
【図１】
2014228937.tif 000003
【図２】
2014228937.tif 000004
【図３】
2014228937.tif 000005
【図４】
2014228937.tif 000006
【図５】
2014228937.tif 000007
【図６】
2014228937.tif 000008
【図７】
2014228937.tif 000009
【図８】
2014228937.tif 000010
【図９】
2014228937.tif 000011
【図１０】
2014228937.tif 000012
【図１１】
2014228937.tif 000013
【図１２】
2014228937.tif 000014
【図１３】
2014228937.tif 000015
【図１４】
2014228937.tif 000016
【図１５】
2014228937.tif 000017
【図１６】
2014228937.tif 000018
【図１７】
2014228937.tif 000019
【図１８】
2014228937.tif 000020
【図１９】
2014228937.tif 000021
【図２０】
2014228937.tif 000022
【図２１】
2014228937.tif 000023
【図２２】
2014228937.tif 000024
【図２３】
2014228937.tif 000025
【図２４】
2014228937.tif 000026
【図２５】
2014228937.tif 000027
【図２６】
2014228937.tif 000028