【手続補正書】
【提出日】平成16年8月17日(2004.8.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】  明細書
【発明の名称】  画像処理装置
【特許請求の範囲】
【請求項１】レイアウトパターンは文字及び画像のレイアウトのパターンを記述したものであって、前記レイアウトパターンを少なくとも１個以上備えたレイアウトデータベースと、顔画像を入力する画像入力手段と、文字を入力する文字入力手段と、顔画像から抽出するエッジの強度をパラメータの値に応じて制御することが可能なエッジ抽出手段と、前記レイアウトデータベースのレイアウトパターンを参照し、前記エッジ処理手段での処理結果または前記文字入力手段で入力された文字をレイアウトするレイアウト手段と、前記レイアウト手段の処理結果を出力する出力手段と、を備えたことを特徴とする画像処理装置。
【請求項２】、顔画像を入力する画像入力手段と、文字を入力する文字入力手段と、画像入力手段から入力された顔画像の特徴量を抽出する特徴抽出手段と、前記顔画像の特徴量に基づいて入力された顔画像を加工する加工手段と、入力された文字と加工された画像のレイアウトのパターンを記述したレイアウトパターンを少なくとも１個以上備えたレイアウトデータベースを参照し、前記加工手段の処理結果及び前記文字入力手段で入力された文字をレイアウトするレイアウト手段と、前記レイアウト手段の処理結果を出力する出力手段とを備えたことを特徴とする画像処理装置。
【請求項３】加工手段は、入力された顔画像の表情を変化させた顔画像を合成する処理を行うことを特徴とする請求項２記載の画像処理装置。
【請求項４】加工手段は、入力された顔画像の特徴を誇張させた顔画像を合成する処理を行うことを特徴とする請求項２記載の画像処理装置。
【請求項５】加工手段に代えて、顔画像から抽出するエッジの強度を制御するエッジ抽出手段を備えた請求項２記載の画像処理装置。
【請求項６】所定の閾値を用いてエッジ抽出手段から出力される画像を２値化する２値化手段を備えたことを特徴とする請求項５記載の画像処理装置。
【請求項７】エッジ抽出手段から出力される画像に含まれる雑音の除去を行う雑音除去手段を備えたことを特徴とする請求項６記載の画像処理装置。
【請求項８】複数の画像を提示して、ユーザにレイアウト手段にてレイアウトする画像の一つを選択させる画像選択手段を備えたことを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】複数のレイアウトパターンを提示し、提示したパターンの個数以下のレイアウトパターンをユーザに選択させ、選択結果に応じて、前記画像入力手段および前記文字入力手段の入力方法を制御するレイアウト選択手段を備え、前記レイアウト選択手段にて選択されたレイアウトパターンに基づいてレイアウト手段はレイアウトを行うことを特徴とする請求項１〜７のいずれかに記載の画像処理装置。
【請求項１０】葉書用、名刺用、ルーズリーフ用、シール用、スタンプ用の少なくとも1つのレイアウトパターンをレイアウトデータベースに含むことを特徴とする請求項１〜９のいずれかに記載の画像処理装置。
【請求項１１】印刷媒体として普通紙を用い、出力手段にインクジェットプリンタもしくはドットマトリクスプリンタを用いることを特徴とする請求項１〜１０のいずれかに記載の画像処理装置。
【請求項１２】印刷媒体としてシール付きの印画紙を用い、出力手段にビデオプリンタを用いることを特徴とする請求項１〜１０のいずれかに記載の画像処理装置。
【請求項１３】出力手段としてスタンプ作成装置を備え、前記エッジ抽出手段での処理結果の画像を前記２値化手段で処理した結果を前記出力手段でスタンプとして出力することを特徴とする請求項１、５、６、７のいずれかに記載の画像処理装置。
【請求項１４】顔画像を入力する画像入力手段と、文字を入力する文字入力手段と、画像入力手段により入力された画像と文字入力手段により入力される文字とのレイアウトのパターンを記述したレイアウトパターンを少なくとも１個以上備えたレイアウトデータベースを参照し、入力された顔画像と入力された文字を入力可能な噴出し用レイアウトパターンとをレイアウトするレイアウト手段と、前記レイアウト手段の処理結果を出力する出力手段と、を備えたことを特徴とする画像処理装置。
【請求項１５】入力された顔画像の表情を変化させた顔画像を生成する処理を行う加工手段を備えた請求項１４記載の画像処理装置。
【請求項１６】顔画像から抽出するエッジの強度を制御するエッジ抽出手段を備え、出力手段より似顔絵を出力する請求項１４記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像に対して何らかの処理を施した画像を生成するための装置に関するものであり、さらに詳しく言えば、例えば一般家庭、オフィスにおいては、画像を入力するだけで、利用者が容易に手描き風の線画を得ることが可能なワードプロセッサ、また娯楽施設などにおいては、入力画像からその場で似顔絵のシール、スタンプなどを作成することが可能な業務用アミューズメント機器などに応用可能な画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、カメラ、スキャナなどの入力装置より得た顔画像に対して、装飾の意味でのフレームなどを前記顔画像と合成し、普通紙、シール等の印刷物として出力する画像処理装置が、一般家庭ではワープロなどとして、また娯楽施設などで業務用アミューズメント機器として幅広く利用されている。これらの画像処理装置は、入力された画像から顔の存在する領域を切りだし、切り出された顔画像とあらかじめ準備してある背景画像とを合成し、自分の顔が入っているという意味でオリジナルの印刷物をその場で作成するものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置では、エッジを抽出する機能を始めとし、入力画像に何らかの画像処理的な効果を施す機能を持っていないため、出力形態に関わらず、顔の部分はあくまで写真のままであり、出力のバラエティさに欠けるという問題点があった。
【０００４】
顔が写真のまま出力される点は、さらにユーザの層を限定してしまう可能性もある。すなわちユーザの顔がそのまま印刷結果に写真として残るので、例えばそれを何かに添付して他人に渡す時に、場合によっては渡した相手に「リアルすぎる」などの印象を与えてしまうことが、その主たる原因の一つとして考えられるからである。
【０００５】
これに対して、例えば該画像処理装置において、入力画像に何らかの画像処理を行なう手段を加え、前記手段によって入力画像に何らかの処理を施し、写真と全く異なるタッチの画像を生成することができるとすれば、より多種類の合成画像を作成することが可能となる。また、合成画像の形態に応じて出力手段を変更できるようにすれば、装置の構成は同じであってもより多くの用途に適用することが可能となる。このことはすなわち、ユーザとしての選択範囲を増やすことができるようになるため、ユーザ層を増やす可能性も含んでいる。しかしながら、従来の画像処理装置では、例えばワープロにしても業務用アミューズメント機器にしても、写真と異なる線画タッチ等、入力画像を加工した画像を合成する機能が組み込まれていない。なお、該機能を実現した従来の代表的な画像処理装置としては、一般家庭用、オフィス用として用いられるワードプロセッサ機器全般、および業務用アミューズメント機器としての、セガ・エンタープライゼス社の画像処理装置（登録商標名「プリントクラブ」）等がある。
【０００６】
【課題を解決するための手段】
かかる問題を解決するために、本発明による画像処理装置は、顔画像を入力する画像入力手段と、文字を入力する文字入力手段と、画像入力手段から入力された顔画像の特徴量を抽出する特徴抽出手段と、前記顔画像の特徴量に基づいて入力された顔画像を加工する加工手段と、入力された文字と加工された画像のレイアウトのパターンを記述したレイアウトパターンを少なくとも１個以上備えたレイアウトデータベースを参照し、前記加工手段の処理結果及び前記文字入力手段で入力された文字をレイアウトするレイアウト手段と、前記レイアウト手段の処理結果を出力する出力手段とを備えたものである。
【０００７】
【発明を実施の形態】
本発明の実施の形態は、顔画像を入力する画像入力手段と、文字を入力する文字入力手段と、画像入力手段から入力された顔画像の特徴量を抽出する特徴抽出手段と、前記顔画像の特徴量に基づいて入力された顔画像を加工する加工手段と、入力された文字と加工された画像のレイアウトのパターンを記述したレイアウトパターンを少なくとも１個以上備えたレイアウトデータベースを参照し、前記加工手段の処理結果及び前記文字入力手段で入力された文字をレイアウトするレイアウト手段と、前記レイアウト手段の処理結果を出力する出力手段とを備えたものである。
そして、まず画像入力手段において画像を入力する。次に必要であれば、入力画像の特定対象について、特徴抽出手段によって前記対象の特徴が抽出され、前記抽出された特徴を用い、加工手段において前記対象に様々な加工が施される。その加工の内容は様々であるが、例えば対象を人間の顔とすると、顔の表情変化やデフォルメ処理が加工内容の例となる。さらに例えば表情変化処理を例とすると、いくつかの表情の中から好みのものを選択可能にしたいという希望があれば、いくつかの表情画像を作成し、そのうちの一つを選択する操作を画像選択手段によって行えばよい。
【０００８】
続いて、入力画像もしくは加工手段で加工済みの画像をエッジ抽出手段に入力し、前記入力画像のエッジを抽出する。この際もエッジの抽出の強さの度合いによってエッジ画像の出来映えが変わるので、エッジ抽出度合いの強さを変えつつ、いくつかのエッジ画像を作成し、そのうちの一つを選択する操作を画像選択手段によって行えばよい。
【０００９】
さて、レイアウト選択手段は、かくのごとく作成されたエッジ画像をはめこむレイアウトパターンを、レイアウトデータベースから読み込みユーザに提示し、選択させる処理を行う。そのためレイアウトデータベースには、１個以上のレイアウトパターンをあらかじめ格納しておく。必要であればユーザの好みに応じて文字入力手段を用い、１個以上の文字を入力し、出力媒体にあわせて前記入力文字をレイアウトパターン内に配置することも可能である。
【００１０】
このようにして作成されたレイアウトパターンと、前記エッジ処理画像をレイアウト手段において合成し、前記合成結果を出力手段にて出力する。出力手段に例えばインクジェットプリンタもしくはドットマトリクスプリンタを、また出力媒体に普通紙を用いれば、例えばルーズリーフのノートなどが出力可能となる。出力手段に例えばビデオプリンタ、また出力媒体にシール付きの印画紙を用いれば、例えばシールが出力可能となる。出力手段にスタンプ作成装置を用い、２値化手段にて前記エッジ抽出画像を２値化し、前記２値化処理結果の画像を出力手段に渡すことにより、スタンプも出力可能となる。
【００１１】
以下、本発明の一実施の形態を図面を用いて説明する。図１（ａ）は、画像処理装置の構成を示したブロック図である。
【００１２】
本発明による画像処理装置は、カメラやスキャナなどの装置を用いて画像を入力する画像入力手段(101）、キーボードや画面に表示された文字をカーソルボタンで選択する方法などで文字を入力する文字入力手段(102）、画像のレイアウトのパターンを記述したレイアウトパターンを少なくとも１個以上備えたレイアウトデータベース(107）、画像から抽出するエッジの強度をパラメータの値に応じて制御することが可能なエッジ抽出手段(103)、レイアウトデータベース(107)のレイアウトパターンを参照し、エッジ抽出手段(103）での処理結果または文字入力手段(102)で入力された文字をレイアウトするレイアウト手段(104)、複数の画像を提示して、ユーザに該複数の画像の一つを選択させる画像選択手段(106）、複数のレイアウトパターンを提示し、提示したパターンの以下の個数のレイアウトパターンをユーザに選択させるレイアウト選択手段(108）、画像に含まれる雑音の除去の程度をパラメータの値に応じて制御することが可能な雑音除去手段(109）、出力媒体がスタンプである場合のように出力画像を２値にしなければならない時には適当な閾値を用いて画像を２値化する２値化手段(110）、レイアウト手段(104)の処理結果を出力する出力手段(105)、を主たる構成要素として含み、さらに、画像入力手段(101)で取り込んだ画像にエッジ処理を施し出力手段(105)で出力するまでの全体処理を実行するために、上記各手段を制御する処理制御手段(111)、前記制御の手順を書き込んだ処理制御プログラム(112)を備えた構成を有する。
【００１３】
図１（ｂ）の画像処理装置では、図１（ａ）の画像処理装置に対して、さらに、画像入力手段(101)での入力対象を顔に限定し、入力画像から顔の特徴量を抽出する特徴抽出手段(113)、前記顔の特徴量に基づいて入力画像を加工する加工手段(114)を備えた構成となる。
【００１４】
次に本発明の一実施の形態による画像処理装置を構成する各構成要素について説明する。まず、レイアウト選択手段(108)は、レイアウトデータベース(107)に格納されている複数のレイアウトパターンを提示し、提示したパターンの以下の個数のレイアウトパターンをユーザに選択させ、選択結果に応じて、画像入力手段(101)および文字入力手段(102)を制御する。
【００１５】
レイアウトデータベース(107）は、画像のレイアウトのパターンを記述したレイアウトパターンを格納する。レイアウトパターンとは、出力時の様子をデータ化したものである。図２および図３は、出力形態に応じて分類したいくつかのレイアウトパターンを概念的に示した図であり、出力形態として、図２(a),(b）はハガキ、図３(a),(b)はルーズリーフ、図２(c),(d)は名刺、図３(c),(d）はシールの例を示している。少し具体的に説明する。
【００１６】
例えば、図２(a）は出力として似顔絵入りのハガキを想定して作られたレイアウトパターンであるが、ここで、宛先住所(301)、宛名(302)と書かれている部分には、文字入力手段(102）において入力された差出人の住所や名前が、対応する位置に印刷されることを意味する。
【００１７】
また、顔の絵が書かれている部分(303）には、画像を入力してエッジ抽出などの処理をした画像が印刷されるということを意味する。また図３(a),(b）は出力としてルーズリーフの差し込みノートを想定して作られたレイアウトパターンであるが、図３(b）の例では文字の印刷部分と画像の印刷部分の両方が明示されているのに対し、図３(a)の例では文字の印刷部分のみが明示されている。
【００１８】
これは、すべてのレイアウトパターンが文字入力と画像入力の両方を必要とするのではなく、レイアウトパターンによってはその片方のみで良い場合もあるということを示唆する。すなわちまとめるとレイアウトパターンのタイプとして、
・入力画像の処理結果と入力文字とがレイアウト内に組み込まれる場合
・入力画像の処理結果のみがレイアウト内に組み込まれる場合
・入力文字のみがレイアウト内に組み込まれる場合
・レイアウトパターンそのもののみが出力される場合が考えられ、レイアウト選択手段(108）では、このように複数のタイプを持つレイアウトパターンのうち、選択されたレイアウトパターンに従って文字入力手段(102)、画像入力手段(101)を制御する。
【００１９】
さて、レイアウト選択手段(108)から文字入力手段(102)の制御する方法としては、例えば後述の文字入力制御テーブルなどを使う。図４は文字入力制御テーブルを示す図である。ここでいう文字入力制御テーブルとは、選択されたレイアウトパターンが文字入力を必要とする場合に、文字入力手段(102）でユーザからの入力を指示するためのメッセージなどを格納したテーブルであり、文字列の意味内容を識別する見出しと、どのような意味内容の文字をユーザに入力させるかを提示するメッセージ文と、入力可能な最大文字数とを組にしたデータを格納している。
【００２０】
図６は、レイアウト選択手段(108）で選択されたレイアウトパターンに文字入力が必要である場合の、文字入力の手順を示すフローチャートである。文字入力は次の手順で行なわれる。
(601) 文字入力の内容に対応する見出しをテーブルから検索。
(602) 前記見出しに応じて、文字入力を促すメッセージ文、出力可能な最大文字数をユーザに提示。
(603) ユーザによる文字入力(604) 文字入力が必要な箇所がレイアウトパターン内に２箇所以上存在する場合は、全ての箇所の文字入力が終了するまで上記(601)〜(603)の処理を繰り返す。例えば図２(a)のハガキの例で宛名を入力する場合は以下のようになる（各処理の「'」で示した番号は図６の各処理の番号に対応している）。
(601') 図４の第１カラムから見出し「宛名」に相当する行を検索する。
(602') 「宛名」の行の第２カラムのメッセージ文と第３カラムの注意書きとを合成した文「宛名を入力して下さい（全角で２０文字、半角で４０文字）」をユーザに提示する。
(603') ユーザに適当に宛名を入力させる。
(604') 次の文字入力（本例では「宛先住所」）の入力処理に移るか、もしくは処理を終了する。
【００２１】
一方、レイアウト選択手段(108)から画像入力手段(101)の制御する方法としては、レイアウトパターン上で画像を出力する箇所が２箇所以上ある場合、文字入力と同様に、それぞれの箇所にどのような方法で画像を入力するかを記述した画像入力制御テーブルが必要になる。すなわち画像入力制御テーブルは、選択されたレイアウトパターンが画像入力を必要とする場合に、画像入力手段(101)でユーザからの入力を指示するためのメッセージなどを格納したテーブルである。
【００２２】
図５は、画像の入力形態としてカメラ入力、ファイル入力の２つを想定した場合の画像入力制御テーブルを示す図である。本例では画像入力制御テーブルは、入力画像の意味内容を識別する見出しと、どのような意味内容の画像をユーザに入力させるかを提示するメッセージ文と、入力方法とを組にしたデータを格納している。
【００２３】
図７は、レイアウト選択手段(108)で選択されたレイアウトパターンに文字入力が必要である場合の、画像入力の手順を示すフローチャートである。画像入力は次の手順で行なわれる。
(701) 画像入力の内容に対応する見出しをテーブルから検索。
(702) 前記見出しに応じて、画像入力の際のユーザへの指示などを表すメッセージ文をユーザに提示。
(703) ユーザによる画像入力(704) 画像入力が必要な箇所がレイアウトパターン内に２箇所以上存在する場合は、全ての箇所の画像入力が終了するまで上記(701)〜(703)の処理を繰り返す。先ほどの文字入力の例と同様に、図２(a)のハガキの例で似顔絵を入力する場合は以下のようになる（各処理の「'」で示した番号は図７の各処理の番号に対応している）。
(701') 図５の第１カラムから見出し「顔」に相当する行を検索する。
(702') 「顔」の行の第２カラムのメッセージ文
「カメラの方に顔を向けて下さい」をユーザに提示する。
(703') ユーザの顔画像をカメラで取り込む。
(704') 他の画像入力がないので処理を終了する。
【００２４】
さて、実際にレイアウト選択手段(108）にて、レイアウトパターンとして図３（b)のルーズリーフのタイプものが選ばれた場合、画像入力と文字入力との両方が必要となる。この際、画像入力方法は図では明示されていないが、カメラから顔画像を入力するように指定されているとする。この場合の文字と画像の入力は大雑把には以下のようになる。
【００２５】
まず、文字入力においては、自分の名前を入力する必要があることがわかる。これに基づきレイアウト選択手段(108）では文字入力制御テーブルを参照し、ユーザに提示するメッセージを選んでユーザに提示し、続いて文字入力手段(102）にてユーザに名前を入力させる。一方、画像入力においては、ユーザの顔画像を入力する必要があることがわかる。これに基づきレイアウト選択手段(108）では画像入力制御テーブルを参照し、ユーザに提示するメッセージを選んでユーザに提示し、また、入力機器をカメラに切替え、画像入力手段(101）にてユーザの顔画像を入力する。
【００２６】
なお、前記文字入力と前記画像入力は互いに独立した処理であるので、いずれが先に行なわれようと結果に影響を及ぼすことはなく、文字入力と画像入力の順序を入れ換えても問題はない。
【００２７】
エッジ抽出手段(103）は、画像からエッジを抽出する処理を行なうもので、特にエッジ抽出処理の際に、エッジ抽出の強度をパラメータの値に応じて制御できる機能を備えたものである。
【００２８】
従来、エッジ抽出フィルタを使用して入力画像のエッジ抽出処理を行なうものであるが、例えば、該エッジ抽出フィルタは、出力応答が一定値Ｍとなるように重み付け係数が設定された２次元の正方形フィルタが知られている。特に似顔絵向きのエッジフィルタとしてはラプラシアン型が比較的有効なフィルタであると思われる。
【００２９】
一方、パラメータを用いたエッジ抽出の強度の制御については、一般的に知られている方法としてはヒストグラム変換があげられる。これは、画像の濃度値の分布を目的に応じて強制的に変更するもので、例えば、ヒストグラムが平坦になるように画像のおのおのの画素の濃度値を変更すれば、コントラスト強調が可能となる。これをエッジ抽出の強さの制御に応用する場合、例えば次のような方法が考えられる。それはエッジ部分の濃度の範囲を広くしたり狭くしたりする方法である。すなわちエッジ画像の場合、一般的に、エッジ部分の濃度幅が広くなるようにするにつれてエッジが強調される度合が強くなっていく傾向がある。従って、例えば前記パラメータとしてエッジ部分の濃度の幅を用い、これを広くしたり狭くしたりすることによりエッジ抽出の強さを制御することが可能となる。
【００３０】
雑音除去手段(109)は、画像に含まれる雑音の除去を行なう。雑音除去の方法としては、ある画素の値を、その近傍画素との平均値や中央値などで置き換える平滑化フィルターが公知の方法として知られており、ある１画素のみが、該画素の周辺の画素と比して値が大きく異なっている場合には有効に機能するが、ある程度の画素が集まってできた雑音領域を取り除くには、効果的ではない。特に２値化画像に対する雑音除去では、フィルターのサイズを大きくするだけでは大きな雑音領域は除去できないという問題がある。そこで、ここでは、雑音領域の境界の長さに応じた雑音除去方法を用いる。具体的には、ＴN1≦ＴN2を満たす閾値ＴN1、ＴN2に対して、明るさの値が該閾値ＴN1から該閾値ＴN2の間である画素のみで形成される独立した領域の境界の長さが、入力画像の大きさに応じて計算された閾値ＬN以下である場合に、該領域を雑音領域とみなし、該領域内のすべての画素を一定の値に置き換えるものである。
【００３１】
なお、上記方法では、画像に含まれる雑音の除去の程度をパラメータの値に応じて制御することが可能となる。すなわち上記閾値ＴN1、ＴN2、およびＬNが前記パラメータに該当する。一般的には、ＴN1とＴN2の差を大きくすれば、本処理によって除去される雑音は少なくなり、またこれとは独立に、ＬNの値を大きくすれば、本処理によって除去される雑音は多くなる。
【００３２】
なお、エッジ抽出手段(103)における処理、および雑音除去手段(109)における処理については、特願平８ー８１２６８号にて開示済みであるので、ここではこれ以上の説明を省略する。
【００３３】
２値化手段(110)は、適当な閾値を用いて画像を２値化する処理を行なう。この処理は、特に結果としての処理画像が２値である必要がある場合、例えばスタンプの原画像としての画像を作成する必要がある場合に用いられる。
【００３４】
さて前記閾値をどのようにして決定するかが問題であるが、例えば、２値化を行った結果の画像のそれぞれの色の画素の面積比が一定になるような閾値を計算するなどの方法が考えられる。もちろん、前記面積比は入力画像に応じて最適値が変わるが、例えば入力画像を顔のエッジ抽出処理画像に想定した場合、画像全体に対する輪郭部分の画素の占める比率が、おおよそ 0.1 〜 0.3 である場合が適当である。
【００３５】
画像選択手段(106)は、複数の画像を提示して、ユーザに該複数の画像の一つを選択させるものである。具体的には、例えば次のような場合において利用する。
【００３６】
・エッジ抽出手段(103)において複数個の異なるパラメータを順次変更しながらエッジ画像を作成し、それらのエッジ画像から最適なものを選択させる場合。
【００３７】
・雑音除去手段(109)において複数個の異なるパラメータを順次変更しながらエッジ画像に対して雑音除去を施した画像を作成し、それらの雑音除去画像から最適なものを選択させる場合。
【００３８】
提示・選択方法は至極簡単で、例えばユーザに選択させる元になる数枚の画像を同時もしくは順次表示させ、所望のものをボタン操作などで選択させれば良い。
【００３９】
本発明では、入力対象を顔に特定した場合において、前記顔の特徴となる点を種々の画像処理によって抽出し、加工することが可能である。これらの処理を本発明の構成要素である特徴抽出手段(113)、加工手段(114)が行なう。
【００４０】
特徴抽出手段(113)は、入力画像から顔の特徴量を抽出するものである。顔の特徴量といってもさまざま考えられるが、例えば図８のように、顔を構成するいろいろなパーツの形状輪郭の代表点から構成されるものを特徴量と捉えることも一つの方法である。図８において番号付きの黒点は、顔における特徴点の例を示したものである。
【００４１】
また加工手段(114)は、用途に応じたルールを適用し、特徴抽出手段(113)にて抽出された特徴量を加工する。前記用途とは、例えば入力顔画像の
・表情変化
・誇張（デフォルメ）等が考えられる。また前記ルールとは、どの特徴量をどのように変化させるかを用途別に記述したものである。例えば、「デフォルメする」という用途については、対応するルールは、「各特徴量ごとに対応する平均値との差分を計算し、前記差分を一定の割合で増長させた量を加工後の特徴量とする」といったものである。ただ、ここでは説明の都合上文章で表したが、実際には数式で表したり、さらには装置に実装する際には前記数式をコンピュータのプログラムとして記述する方法がとられる。
【００４２】
尚、顔に特定した場合、特徴抽出手段(113）における処理は、特願平４ー９７５３号に、また加工手段(114）における処理として、表情変化については、文献「角、中川、登、前原、"表情・年齢変化の可能な３次元画像合成システム"、電子情報通信学会技術報告、HC91-43、pp.9-16、1992年１月」に、デフォルメについては特願平７ー３２１３９２号にそれぞれ開示済みであるので、ここではこれ以上の説明を省略する。
【００４３】
処理制御手段(111)は、画像を入力する画像入力手段(101)と、文字を入力する文字入力手段(102)と、レイアウト手段(104）の処理結果を出力する出力手段(105)と、入力手段で取り込んだ画像にエッジ処理を施し出力手段(105）で出力するまでの全体処理を実行するために、本発明を構成する各手段を制御する。また処理制御プログラム(112)は、前記制御の手順を書き込んだプログラムである。
【００４４】
処理制御プログラム(112）に関しては用途に応じて書換えが必要であるが、都度書き直すのは手間がかかるため、通常は想定される用途の分だけあらかじめプログラムを準備しておき、実際に装置として実装する場合は、どのプログラムを利用するかをスイッチなどで切替えることで都度対応するのが通常である。
【００４５】
次に本発明による画像処理装置における全体の処理の流れを説明する。図９は本発明による画像処理装置における全体の処理の流れを示すフローチャートである。
(901) レイアウト選択手段(108)にてレイアウトパターンを提示し、ユーザに所望のレイアウトパターンを選択させる。
(902) 処理(901) で選択されたレイアウトパターンにおいて、画像入力および入力画像の処理の必要があれば、以下の画像処理ルーチン(906)-(914)を実行し、処理(903)に進む。
【００４６】
［画像処理ルーチン開始］(906) 画像入力に際してのメッセージ文をユーザに提示する(907) 画像入力手段(101)において、処理する対象となる画像を入力する。
(908) もし表情変化、デフォルメなどの特殊処理が必要な場合は、
まず入力対象の知識を用いて対象の特徴量を認識し(909)、
続いてその特徴量を用途に応じて加工する(910)。
(911) エッジ抽出手段(103)において、複数個の異なるパラメータを順次変更しながらエッジ画像を作成する。
(912) 画像選択手段(106)において、処理(911)で得られたエッジ画像のうちから最適なものをユーザに選択させる。
(913) 雑音除去手段(109)において、エッジ抽出画像に対して、複数個の異なるパラメータを順次変更しながら雑音除去画像を作成する。
(914) 画像選択手段(106)において、処理(913) で得られた雑音除去画像のうちから最適なものをユーザに選択させる。
【００４７】
［画像処理ルーチン終了］(903) 処理(901) で選択されたレイアウトパターンにおいて文字入力の必要があれば、以下の文字入力ルーチン(915)-(916)を実行し、処理(904)に進む。
【００４８】
［文字入力ルーチン開始］(915) 文字入力に際してのメッセージ文をユーザに提示する。
(916) 文字入力手段(102)においてユーザに文字を入力させる。
【００４９】
［文字入力ルーチン終了］(904) 前記画像処理ルーチン、および前記文字入力ルーチンの処理結果とレイアウトパターンを一つにまとめ、出力となる画像を合成する。
(905) 出力媒体に応じて出力手段(105)で、処理(904)で合成された画像を出力し処理を終了する。
【００５０】
以上のように本実施の形態による画像処理装置では、エッジ抽出手段(103)により、入力画像もしくは加工手段(114)によって入力画像を加工した画像に対してエッジ抽出処理を施し、それをレイアウトパターンにはめ込むことにより、従来、入力画像の一部を切り出した画像をそのままレイアウトにはめ込む写真形式のものだけでなく、よりバラエティに富む出力を可能とした。それは、例えば、顔画像を入力し、出力手段(105)に例えばビデオプリンタ、出力媒体にシール付きの印画紙を用いれば、似顔絵のシールが出力可能となる。また、例えば同様に顔画像を入力し、出力手段(105)にスタンプ作成装置を用い、２値化手段(110)にて前記エッジ抽出画像を２値化し、前記２値化処理結果の画像を出力手段(105)に渡すことにより、スタンプが出力可能となる。
【００５１】
また、画像入力手段(101)での入力対象を顔に限定した場合、入力画像から顔の特徴量を抽出する特徴抽出手段(113)と、前記顔の特徴量に基づいて入力画像を加工する加工手段(114)とを備えているため、顔画像を入力して、その顔の構造等を特徴抽出手段(113)において認識し、前記認認識結果を用いて用途に応じた加工を加工手段(114)にて行なうことにより、例えば、
・入力の顔に笑う、泣くなどの表情を付加した似顔絵
・入力の顔の特徴をさらに誇張させた似顔絵などを作成することが可能となる。
【００５２】
以上のように本実施形態によれば、エッジ抽出手段により、入力画像もしくは加工手段によって入力画像を加工した画像に対してエッジ抽出処理を施し、それをレイアウトパターンにはめ込むことにより、よりバラエティに富む画像の出力を可能とした。
さらに、画像入力手段での入力対象を顔に限定した場合、入力画像から顔の特徴量を抽出する特徴抽出手段と、前記顔の特徴量に基づいて入力画像を加工する加工手段とを備えているため、表情を変化させた似顔絵、デフォルメさせた似顔絵なども作成可能となる。
【００５３】
【発明の効果】
以上のように本発明は、入力画像から顔の特徴量を抽出する特徴抽出手段と、前記顔の特徴量に基づいて入力画像を加工する加工手段とを備えているため、よりバラエティに富む顔画像の出力を可能とした。
【図面の簡単な説明】
【図１】
（ａ）本発明の一実施形態の画像処理装置の構成を示したブロック図
（ｂ）同実施形態における画像処理装置の構成を示したブロック図
【図２】
(a) 本発明によるレイアウトパターンの内容例を表した概念図
(b) 本発明によるレイアウトパターンの内容例を表した概念図
(c) 本発明によるレイアウトパターンの内容例を表した概念図
(d) 本発明によるレイアウトパターンの内容例を表した概念図
【図３】
(a) 本発明によるレイアウトパターンの内容例を表した概念図
(b) 本発明によるレイアウトパターンの内容例を表した概念図
(c) 本発明によるレイアウトパターンの内容例を表した概念図
(d) 本発明によるレイアウトパターンの内容例を表した概念図
【図４】
文字入力制御テーブルを示す図
【図５】
画像入力制御テーブルを示す図
【図６】
レイアウト選択手段における文字入力の制御の流れを示すフローチャート
【図７】
レイアウト選択手段における画像入力の制御の流れを示すフローチャート
【図８】
顔画像の特徴量の例を示した概念図
【図９】
本発明による画像処理装置における全体の処理の流れを示すフローチャート
【符号の説明】
１０１  画像入力手段
１０２  文字入力手段
１０３  エッジ抽出手段
１０４  レイアウト手段
１０５  出力手段
１０６  画像選択手段
１０７  レイアウトデータベース
１０８  レイアウト選択手段
１０９  雑音除去手段
１１０  ２値化手段
１１１  処理制御手段
１１２  処理制御プログラム
１１３  特徴抽出手段
１１４  加工手段