(57)【要約】【課題】プルーフ画像のうちの特色の画像部分が、どのように再現されたのかを容易に判別することができる画像処理装置を提供することを目的とする。【解決手段】人物の顔部品を表す顔部品画像を、人物グループに分類してデータベースに記憶しておく。画像中の顔部品画像における不具合を修正するためには、まず、画像中の不具合顔部品画像を検出し、その不具合顔部品画像をデータベースに記憶されており、その不具合顔部品画像が表す顔部品を有する人物に分類された顔部品画像と置き換えて補正後画像を生成する。【選択図】        図９
2004258866.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔部品を表す正常な顔部品画像を、それぞれが１人以上の人物を含む複数の人物グループに分類して記憶するデータベースと、
画像データが表す画像中で不具合を生じている顔部品画像を検出する不具合検出部と、
前記複数の人物グループのうち、前記画像データが表す画像中の顔部品画像が表す顔部品を有する人物が属する人物グループを判定するグループ判定部と、
前記不具合検出部で検出された顔部品画像を、該顔部品画像について前記グループ判定部で判定された人物グループに分類されて前記データベースに記憶された顔部品画像に置き換えることにより前記画像中の不具合を補正する画像補正部とを備えたことを特徴とする画像補正装置。
【請求項２】
前記画像データが表す画像中に正常な顔部品画像が含まれている場合に、該顔部品画像を、前記グループ判定部で判定された人物グループに分類して前記データベースに記憶させて、該データベースを更新するデータベース更新部を備えたことを特徴とする請求項１記載の画像補正装置。
【請求項３】
前記データベースは、前記複数の人物グループに分類した顔部品画像を、予め定められた複数の撮影条件で更に分類して記憶するものであり、
前記画像データが表す画像を基に、前記複数の撮影条件のうち、該画像が撮影された条件に適合した撮影条件を判定する撮影条件判定部を備え、
前記画像補正部は、前記不具合検出部で検出された顔部品画像を、前記グループ判定部で判定された人物グループに分類され、前記撮影条件判定部で判定された撮影条件で更に分類されて前記データベースに記憶された顔部品画像に置き換えることにより前記画像中の不具合を補正するものであることを特徴とする請求項１記載の画像補正装置。
【請求項４】
人物の顔部品を表す正常な顔部品画像を、該顔部品画像における不具合の種類に対応付けて記憶するデータベースと、
画像データが表す画像中で不具合を生じている顔部品画像を検出する不具合検出部と、
前記不具合検出部で検出された顔部品画像を、該顔部品画像で生じている不具合と同種類の不具合に分類されて前記データベースに記憶された顔部品画像に置き換えることにより前記画像中の不具合を補正する画像補正部とを備えたことを特徴とする画像補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を表す画像データに基づいて、画像中の不具合を生じている顔部品画像を補正する画像補正装置に関する。
【０００２】
【従来の技術】
従来より、デジタルカメラで被写体を撮影して得られた撮影画像データに、パーソナルコンピュータなどを使って所望の画像処理を施して、撮影画像の不具合を修正することが行われている。近年では、フィルム式カメラの分野においても、フィルム上に記録されている撮影画像を光学的に読み取って撮影画像データを取得し、デジタルカメラの場合と同様の画像処理を施した撮影画像データを写真プリントすることで、不具合が補正された写真を作成することが広範に行われている。上述した画像処理としては、例えば、フラッシュ撮影時の閃光が網膜の奥で反射して目が赤色や金色に写ってしまう赤目や金目、あるいは、閃光によって目をつぶってしまう目瞑りなどのような人物の顔部品を表す顔部品画像の不具合を補正する処理、空の色や肌の色を好ましい色に修正する処理、および階調補正処理などがあり、撮影画像データにこれらの画像処理を施すことによって、より好ましい画像を得ることができる。
【０００３】
ここで、上記のように、人物の顔部品を表す顔部品画像に関する不具合を解消する方法として、特許文献１には、撮影画像中の赤目などの不具合を検出し、不具合が検出されたときには再撮影を促す方法を適用したシステムについて記載されており、特許文献２には、撮影画像中に目瞑りが生じている場合に、撮影画像中の目瞑りの画像部分を、前後の撮影画像に含まれる正常な目の画像部分と置き換えることにより不具合を補正する方法について記載されている。
【０００４】
【特許文献１】
特開平１２−２９２８５３号公報
【特許文献２】
特開２００１−１９７２９６号公報
【０００５】
【発明が解決しようとする課題】
しかし、例えば、特許文献１に記載されている方法は、撮影枚数の限度などにより撮りなおしが困難な場合には適用することができず、撮りなおしを行ったとしても、必ずしも不具合を生じていない好ましい撮影画像が得られるとは限らないという問題がある。また、特許文献２に記載されている方法によると、前後の撮影画像に所望の被写体が含まれていないときなどには、不具合を補正できないという恐れがある。
【０００６】
また、特許文献１および特許文献２に記載されている方法のほかにも、熟練者が撮影画像中の不具合部分にレタッチ補正を施して画像中の不具合を補正する方法などが従来から行われているが、この方法は、手作業に頼ったものであるために手間と時間がかかり、不具合を補正するコストが上昇してしまうという問題がある。
【０００７】
本発明は、上記事情に鑑み、撮影画像中の顔に関する不具合を検出して、その不具合を適切に補正する画像補正装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の第１の画像補正装置は、人物の顔部品を表す正常な顔部品画像を、それぞれが１人以上の人物を含む複数の人物グループに分類して記憶するデータベースと、
画像データが表す画像中で不具合を生じている顔部品画像を検出する不具合検出部と、
複数の人物グループのうち、画像データが表す画像中の顔部品画像が表す顔部品を有する人物が属する人物グループを判定するグループ判定部と、
不具合検出部で検出された顔部品画像を、顔部品画像についてグループ判定部で判定された人物グループに分類されてデータベースに記憶された顔部品画像に置き換えることにより前記画像中の不具合を補正する画像補正部とを備えたことを特徴とする。
【０００９】
本発明の第１の画像補正装置は、正常な顔部品画像を、例えば、人種ごとのグループや顔部品が似ている人物ごとのグループなどに分類してデータベースに記憶しておく。画像中の不具合を補正する際には、まず、不具合検出部で画像中の不具合を生じている顔部品画像を検出し、その顔部品画像を有する人物の特徴から、その人物が属するグループをグループ判定部で判定する。さらに、画像補正部において、画像中の不具合が生じている顔部品画像と、グループ判定部で判定されたグループに分類されているデータベース内の正常な顔部品画像とを置き換えることによって、容易に不具合が補正された画像を得ることができる。また、例えば、正常な顔部品画像を各個人ごとに分類してデータベースに記憶しておくことによって、画像中の不具合が生じている顔部品画像を、その顔部品画像が含まれている人物本人の正常な顔部品画像と置き換えることができるため、画像中の不具合を違和感なく自然に補正することができる。
【００１０】
また、本発明の第１の画像補正装置は、画像データが表す画像中に正常な顔部品画像が含まれている場合に、顔部品画像を、グループ判定部で判定された人物グループに分類してデータベースに記憶させて、データベースを更新するデータベース更新部を備えることが好ましい。
【００１１】
画像中の正常な顔部品画像をデータベースに記憶させて、データベースを更新することで、データベースに記憶された顔部品画像の種類を充実させ、より精度よく画像中の不具合を補正することができる。
【００１２】
また、本発明の第１の画像補正装置において、上記のデータベースは、複数の人物グループに分類した顔部品画像を、予め定められた複数の撮影条件で更に分類して記憶するものであり、
画像データが表す画像を基に、複数の撮影条件のうち、画像が撮影された条件に適合した撮影条件を判定する撮影条件判定部を備え、
画像補正部は、不具合検出部で検出された顔部品画像を、グループ判定部で判定された人物グループに分類され、撮影条件判定部で判定された撮影条件で更に分類されてデータベースに記憶された顔部品画像に置き換えることにより画像中の不具合を補正するものであることが好ましい。
【００１３】
同じ人物を撮影した撮影画像であっても、例えば、天候や撮影場所などの撮影条件によって顔の表情や顔色などが異なることがある。予め、データベースに、撮影条件ごとに分類された顔部品画像を記憶しておくことで、画像中の不具合をより自然に補正することができる。
【００１４】
さらに、本発明の第２の画像補正装置は、人物の顔部品を表す正常な顔部品画像を、顔部品画像における不具合の種類に対応付けて記憶するデータベースと、
画像データが表す画像中で不具合を生じている顔部品画像を検出する不具合検出部と、
不具合検出部で検出された顔部品画像を、顔部品画像で生じている不具合と同種類の不具合に分類されてデータベースに記憶された顔部品画像に置き換えることにより画像中の不具合を補正する画像補正部とを備えたことを特徴とする。
【００１５】
例えば、データベースに、不具合を生じている顔部品画像と正常な顔部品画像とを対応付けて記憶しておく。画像中の不具合を修正する際には、画像中の不具合と同種の不具合を生じている顔部品画像をデータベース中から、例えば、顔部品画像の形状や色などを用いて探して、その顔部品画像と対応付けられた正常な顔部品画像を取得する。さらに、画像中の不具合を生じている顔部品画像と取得した正常な顔部品画像とを置き換えることにより、容易に画像中の不具合を補正することができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【００１７】
図１は、本発明の一実施形態が適用されたパーソナルコンピュータ１００の外観斜視図、図２はそのハードウェア構成図である。
【００１８】
このパーソナルコンピュータ１００は、外観構成上、本体装置１１０、その本体装置１１０からの指示に応じて表示画面１２１に画像を表示する画像表示装置１２０、本体装置１１０に、キー操作に応じた各種の情報を入力するキーボード１３０、および、表示画面１２１の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス１４０を備えている。この本体装置１１０は、外観上、フレキシブルディスク（以下、ＦＤと省略する）を装填するためのＦＤ装填口１１１、およびＣＤ−ＲＯＭを装填するためのＣＤ−ＲＯＭ装填口１１２を有する。
【００１９】
本体装置１１０の内部には、図２に示すように、各種プログラムを実行するＣＰＵ１１３、ハードディスク装置１１５に格納されたプログラムが読み出されＣＰＵ１１３での実行のために展開される主メモリ１１４、各種プログラムやデータ等が保存されたハードディスク装置１１５、ＦＤ２００が装填され、そのＦＤ２００をアクセスするＦＤドライブ１１６、ＣＤ−ＲＯＭ３００をアクセスするＣＤ−ＲＯＭドライブ１１７、スキャナなどの外部装置から画像データを受け取る入力インタフェース１１８、プリンタなどの外部装置に画像データを送る出力インタフェース１１９が内蔵されており、これらの各種要素と、さらに図１にも示す画像表示装置１２０、キーボード１３０、マウス１４０は、バス１５０を介して相互に接続されている。ＦＤ２００に、ここでは、人物を撮影した撮影画像が記録されている。
【００２０】
ここで、このパーソナルコンピュータ１００を本発明の画像補正装置の第１実施形態として動作させる場合について説明する。
【００２１】
図３は、本発明の画像補正装置の第１実施形態の機能ブロック図である。
【００２２】
画像補正装置４００は、グループ判定部４１０、撮影条件判定部４２０、不具合検出部４３０、画像補正部４４０、データベース更新部４５０、およびデータベース（以下、ＤＢと省略する）５００を備えている。
【００２３】
まず、ＤＢ５００について説明する。
【００２４】
ＤＢ５００は、図２に示すハードディスク装置１１５が役割を担い、例えば目や鼻といった顔部品の種類ごとに用意されたＤＢを含んでいる。それらの各ＤＢは、各顔部品を表す正常な顔部品画像（以下、正常な顔部品画像を正常顔部品画像と称する）を、例えば青い目の人物からなるグループや黒い目の人物からなるグループといった顔部品の特徴が共通している人物からなる複数のグループに分類し、さらに、顔部品画像を含む撮影画像が撮影されたときの例えば撮影場所や撮影時の天候といった撮影条件で分類して記録する。
【００２５】
図４は、ＤＢ５００の概念図である。
【００２６】
ＤＢ５００には、目用ＤＢ５１０や鼻用ＤＢ５２０などのような人物の各顔部品用のＤＢが用意されている。目用ＤＢ５１０では、目を表す正常顔部品画像が、青い目を有する人物からなる青目グループ５１１、黒い目を有する人物からなる黒目グループ５１２、茶色い目を有する人物からなる茶目グループ５１３に分類されており、各グループに分類された正常顔部品画像が、さらに、晴天条件と、曇天条件と、屋内条件という３つの撮影条件で分類されている。ここでは、目用ＤＢ５１０における分類を＜グループ名＞および（撮影条件名）で表現すると、正常顔部品画像は、
＜青目グループ５１１＞
（晴天条件５１１１）一重の目画像５１１１Ａおよび二重の目画像５１１１Ｂ
（曇天条件５１１２）１つ
（屋内条件５１１３）１つ
＜黒目グループ５１２＞
（晴天条件５１２１）なし
（曇天条件５１２２）１つ
（屋内条件５１２３）なし
＜茶目グループ５１３＞
（晴天条件）なし
（曇天条件）なし
（屋内条件）なし
というように分類されて記録されている。これらのグループは、本発明にいう人物グループの一例にあたり、これらの撮影条件は、本発明にいう撮影条件の一例に相当する。さらに、このＤＢ５００に含まれている目用ＤＢ５１０や鼻用ＤＢ５２０は、本発明の画像補正装置におけるデータベースの一例に相当する。
【００２７】
ここで、図３に戻って、ＤＢ５００以外の要素について説明する。
【００２８】
グループ判定部４１０には、図２に示すＦＤ２００に記録された撮影画像が入力される。グループ判定部４１０は、まず、その撮影画像中に含まれる顔部品画像の色や形状などの特徴を認識し、さらに、それらの特徴から、その顔部品画像が表す顔部品を有する人物が属するグループを判定する。このグループ判定部４１０は、本発明の画像補正装置におけるグループ判定部の一例に相当する。顔部品画像と、判定されたグループのグループ名とのセット、および撮影画像は、撮影条件判定部４２０に送られる。
【００２９】
撮影条件判定部４２０は、グループ判定部４１０から撮影画像が送られてくると、その撮影画像中の背景の色などを基に、その撮影画像が撮影されたときの撮影条件を判定する。撮影条件判定部４２０は、グループ判定部４１０から送られてきた顔部品画像とグループ名とのセットに、判定した撮影条件の撮影条件名を加え、顔部品画像とグループ名と撮影条件名とのセットを撮影画像と共に不具合検出部４３０に送る。この撮影条件判定部４２０は、本発明の画像補正装置における撮影条件判定部の一例に相当する。
【００３０】
不具合検出部４３０は、撮影条件判定部４２０から送られてきた顔部品画像のうちの不具合を生じている顔部品画像（以下、不具合を生じている顔部品画像を不具合顔部品画像と称する）を検出する。不具合検出部４３０は、顔部品画像が表す顔部品における正常な色および形状の基準値を基に、顔部品画像の色および形状がその基準値から所定程度以上相違している場合には、その顔部品画像を不具合顔部品画像であると判定する。さらに、不具合検出部４３０は、検出した不具合顔部品画像を撮影条件判定部４２０から送られてきたグループ名および撮影条件名とセットにして、そのセットと撮影画像を画像補正部４４０に送る。一方、撮影条件判定部４２０から送られてきた顔部品画像のうち不具合顔部品画像を除いた正常顔部品画像は、グループ名および撮影条件名とセットにして、そのセットをデータベース更新部４５０に送る。この不具合検出部４３０は、本発明の画像補正装置における不具合検出部の一例に相当する。
【００３１】
画像補正部４４０は、不具合検出部４３０から不具合顔部品画像とグループ名と撮影条件名のセットが送られてくると、ＤＢ５００から、送られてきたグループ名が表すグループおよび撮影条件名が表す撮影条件に分類されている正常顔部品画像を取得する。次に、不具合検出部４３０から送られてきた撮影画像中の不具合顔部品画像を、ＤＢ５００から取得した正常顔部品画像と置き換えて、撮影画像中の不具合が補正された補正後画像を生成する。補正後画像は、図２に示す画像表示装置１２０に送られるとともに、ＣＰＵ１１３からの指示に従って、ＦＤドライブ１１６経由でＦＤ２００にも送られる。この画像補正部４４０は、本発明の画像補正装置における画像補正部の一例に相当する。
【００３２】
データベース更新部４５０は、不具合検出部４３０から正常顔部品画像とグループ名と撮影条件名のセットが送られてくると、正常顔部品画像をそのグループ名が表すグループおよび撮影条件名が表す撮影条件に分類してＤＢ５００に記憶する。このデータベース更新部４５０は、本発明の画像補正装置におけるデータベース更新部の一例に相当する。
【００３３】
本実施形態の画像補正装置は、基本的には以上のように構成されている。
【００３４】
図５は、撮影画像中の不具合を生じている顔部品画像を補正して、さらにＤＢ５００を更新する一連の手順を示すフローチャートである。以下では、このフローチャートを使って、図２のＦＤ２００に記憶されている撮影画像中の不具合を補正して、補正後画像を図１の表示画面１２１に表示し、ＤＢ５００を更新する一連の手順について説明する。
【００３５】
表示画面１２１には、画像補正装置４００を起動するためのアイコンが予め用意されている。まず、オペレータは、マウス１４０を使ってアイコンを選択し、画像補正装置４００を起動させる。アイコンが選択されると、ＦＤ２００に記録されている撮影画像がＦＤドライブ１１６経由で画像表示装置１２０に送られ、その撮影画像を含む選択画面が表示画面１２１に表示される（図５のステップ（ａ））。
【００３６】
図６は、表示画面１２１に表示された選択画面６００を示す図である。選択画面６００には、不具合の補正を指示する自動補正ボタン６２０、次候補の顔部品画像を選択する次候補ボタン６３０、処理の決定を指示する決定ボタン６４０、および処理の取り消しを指示する取消ボタン６５０が備えられており、撮影画像６１０も表示される。この図６に例示されている撮影画像６１０には、青い目７０１を有する人物７００および黒い目７１１を有する人物７１０が含まれており、人物７００の目７０１には、目瞑りが生じている。
【００３７】
オペレータは、表示画面１２１に表示された選択画面６００を確認し、図１のマウス１４０を使って自動補正ボタン６２０をクリックし、不具合の補正を指示する。
【００３８】
図５のフローチャートにおいて、ここでは不具合の補正が指示されたため、ステップ（ｂ）からステップ（ｃ）に進む。
【００３９】
不具合の補正が指示されると、図３に示すグループ判定部４１０には、図２のＦＤ２００に記録されている撮影画像が入力される。
【００４０】
ここで、人物の顔部品には、目、鼻、口などいろいろあるが、以下では、目に着目して説明をする。グループ判定部４１０は、図６に示す撮影画像６１０の人物７００の目７０１、および人物７１０の目７１１を認識し、各人物の目の色から、人物７００は青目グループ、人物７１０は黒目グループに属することを判定する（図５のステップ（ｃ））。また、グループ判定部４１０は、撮影画像６１０中の顔部品画像とグループ名のセットである、目７０１と「青目グループ」のセット、目７１１と「黒目グループ」のセットを撮影画像と共に撮影条件判定部４２０に送る。
【００４１】
撮影条件判定部４２０は、グループ判定部４１０から送られてきた撮影画像を基に、撮影画像が撮影されたときの撮影条件を判定する。この例では、図６の撮影画像６１０は晴天時に屋外で撮影されたものであるとする。撮影条件判定部４２０は、撮影画像６１０に含まれる背景の色などから、撮影条件が晴天条件であることを判定する（図５のステップ（ｄ））。グループ判定部４１０から送られてきた顔部品画像とグループ名のセットに撮影条件名が加えられたセットである、目７０１と「青目グループ」と「晴天条件」のセット、目７１１と「黒目グループ」と「晴天条件」のセットは、撮影画像と共に不具合検出部４３０に送られる。
【００４２】
不具合検出部４３０は、撮影条件判定部４２０から撮影画像が送られてくると、撮影画像に含まれる顔部品画像の形状や色を基に、撮影画像中の不具合顔部品画像を検出する。図６の撮影画像６１０では、人物７００の目７０１が一般的な目の丸い形状とは相違しており、この目７０１には不具合が生じていると検出される（図５のステップ（ｅ））。不具合検出部４３０は、撮影条件判定部４２０から送られてきた顔部品画像とグループ名と撮影条件名のセットのうち、不具合顔部品画像を含むセットにあたる、目７０１と「青目グループ」と「晴天条件」のセットを画像補正部４４０に送り、正常顔部品画像を含むセットにあたる、目７１１と「黒目グループ」と「晴天条件」のセットをデータベース更新部４５０に送る。また、撮影画像は、画像補正部４４０に送られる。
【００４３】
画像補正部４４０は、不具合検出部４３０から不具合顔部品画像とグループ名と撮影条件名のセットが送られてくると、そのグループ名が表すグループおよび撮影条件名が表す撮影条件に分類されている正常顔部品画像をＤＢ５００から取得する。ＤＢ５００内に、不具合検出部４３０から送られてきたグループ名と撮影条件名に対応する正常顔部品画像が存在しない場合には、画像補正部４４０は、予め用意されているデフォルトの正常顔部品画像を候補として取得する。この例では、グループは「青目グループ」、撮影条件は「晴天条件」であるため、図４に示すＤＢ５００内の目用ＤＢ５１０から、青目グループ５１１に分類され、更に晴天条件５１１１に分類された正常顔部品画像のうちの一重の目画像５１１１Ａが第１の候補として取得される。
【００４４】
さらに、画像補正部４４０は、不具合検出部４３０から撮影画像を取得し、その撮影画像中の不具合顔画像部分をＤＢ５００から取得した正常顔部品画像に置き換えて、撮影画像中の不具合を補正する。この例では、図６の撮影画像６１０中の不具合顔部品画像にあたる目７０１を、目用ＤＢ５１０から取得した一重の目画像５１１１Ａに置き換える（図５のステップ（ｆ））。また、撮影画像中の不具合顔部品画像が補正された補正後画像は、図２に示す画像表示装置１２０に送られ、図１の表示画面１２１に表示される（図５のステップ（ｇ））。
【００４５】
図７は、図６の撮影画像６１０中の目７０１を、目用ＤＢ５１０に記憶されている一重の目画像５１１１Ａに置き換えた補正後画像６１１が表示された表示画面１２１を示す図である。図６の撮影画像６１０に含まれる人物７００の目７０１は瞑っているが、補正後画像６１１に含まれる人物７２０の目７２１は開いており、撮影画像中の目瞑りは補正されている。しかし、補正後画像６１１の人物７２０の目は片方が二重で片方が一重であるために不自然な印象があり、オペレータは、図１のマウス１４０で次候補ボタン６３０をクリックして、次候補の顔部品画像を選択する。
【００４６】
図５のフローチャートにおいて、ここでは次候補が選択されたため、ステップ（ｈ）からステップ（ｆ）に戻る。
【００４７】
オペレータによって、次候補の顔部品画像が選択されると、画像補正部４４０はＤＢ５００から、次候補の正常顔部品画像を取得する。図４の目用ＤＢ５１０において、青目グループ５１１および晴天条件５１１１に分類されている正常顔部品画像は、一重の目画像５１１１Ａの他にも、二重の目画像５１１１Ｂがあり、画像補正部４４０は、この二重の目画像５１１１Ｂを第２の候補として取得する。さらに、画像補正部４４０は、上記と同様に、図６の撮影画像６１０中の不具合顔部品画像である目７０１をＤＢ５００から取得した二重の目画像５１１１Ｂと置き換えて補正後画像を生成する（図５のステップ（ｆ））。補正後画像は、図２に示す画像表示装置１２０に送られ、図１の表示画面１２１に表示される（図５のステップ（ｇ））。
【００４８】
図８は、図６の撮影画像６１０中の目７０１を、目用ＤＢ５１０に記憶されている二重の目画像５１１１Ｂに置き換えた補正後画像６１２が表示された表示画面１２１を示す図である。補正後画像６１２中の人物７３０の目７３１は二重であり、補正後画像６１２は図７の補正後画像６１１よりもいっそう違和感がなく好ましい画像である。オペレータは、図１のマウス１４０で決定ボタン６４０をクリックし、補正後画像６１２の記録を指示する。
【００４９】
図５のフローチャートにおいて、ここでは補正後画像６１２の記録が指示されたため、ステップ（ｈ）からステップ（ｉ）に進む。
【００５０】
オペレータによって、補正後画像の記録が指示されると、画像補正部４４０は、補正後画像を図２のＦＤドライブ１１６経由でＦＤ２００に送り、ＦＤ２００に補正後画像が記録される（図５のステップ（ｉ））。
【００５１】
さらに、データベース更新部４５０は、不具合検出部４３０から正常顔部品画像とグループ名と撮影条件名のセットを取得して、その正常顔部品画像をＤＢ５００に送り、ＤＢ５００を更新する。ＤＢ５００に送られてきた正常顔部品画像は、グループ名が表すグループおよび撮影条件名が表す撮影条件に分類されてＤＢ５００に記憶される（図５のステップ（ｊ））。この例では、データベース更新部４５０は、不具合検出部４３０から図６の撮影画像中の正常顔部品画像である人物７１０の目画像７１１と「黒目グループ」と「晴天条件」のセットが送られてくるため、目画像７１１を図４のＤＢ５００に含まれる目用ＤＢ５１０に送り、目画像７１１は黒目グループ５１２および晴天グループ５１２１に分類されて記憶される。
【００５２】
図９は、目画像７１１を記憶させてＤＢ５００を更新した後のＤＢ５００の概念図である。目用ＤＢ５１０の「黒目グループ」および「晴天条件」に分類されて、目画像７１１に相当する目画像５１２１Ａが記憶されている。その結果、目用ＤＢ５１０には、正常顔部品画像が、＜グループ名＞、（撮影条件名）で表現すると、
＜青目グループ５１１＞
（晴天条件５１１１）一重の目画像５１１１Ａおよび二重の目画像５１１１Ｂ
（曇天条件５１１２）１つ
（屋内条件５１１３）１つ
＜黒目グループ５１２＞
（晴天条件５１２１）目画像５１２１Ａ
（曇天条件５１２２）１つ
（屋内条件５１２３）なし
＜茶目グループ５１３＞
（晴天条件）なし
（曇天条件）なし
（屋内条件）なし
のように分類されて記録されている。
【００５３】
このように、正常な顔部品画像をグループに分類してＤＢに記憶しておくことで、撮影画像中の不具合顔部品画像を違和感の少ない正常顔部品画像と置き換えて、より好ましい補正後画像を生成することができる。
【００５４】
以上で、本発明の第１実施形態の説明を終了し、次に、本発明の第２実施形態の画像補正装置について説明する。以下では、第１実施形態と第２実施形態との相違点に注目して説明する。また、図６、図７、および図８は、第１実施形態における撮影画像および補正後画像を説明する際に用いた図であるが、本実施形態における撮影画像および補正後画像を示す図であるとして、これらを再び用いて説明する。
【００５５】
図１０は、本発明の第２実施形態である画像補正装置８００の機能ブロック図である。画像補正装置８００は、図３に示す第１実施形態の画像補正装置４００と同様に、不具合検出部８１０、画像補正部８２０、データベース更新部８３０、およびＤＢ９００を備えているが、画像補正装置４００におけるグループ判定部４１０および撮影条件判定部４２０に相当する要素は備えていない。
【００５６】
まず、ＤＢ９００について説明する。ＤＢ９００は、第１実施形態のＤＢ５００とは異なり、グループおよび撮影条件には分類されておらず、人物の顔部品を表す正常顔部品画像が不具合顔部品画像に対応付けられて記憶されている。
【００５７】
図１１は、ＤＢ９００の概念図である。ＤＢ９００は、人物の顔部品を表す正常顔部品画像９２０と、その顔部品画像に不具合が生じている不具合顔部品画像９１０とが対応付けられて記憶されている。この例では、一重の目瞑り画像９１１と一重の目画像９２１、一重の赤目画像９１２と一重の目画像９２１、二重の赤目画像９１３と二重の目画像９２２、および口開き画像９１４と口画像９２０が対応付けられて記憶されている。
【００５８】
図１０に戻り、ＤＢ９００以外の要素について説明する。
【００５９】
不具合検出部８１０は、図２に示すＦＤ２００に記録された撮影画像を取得し、第１実施形態の不具合検出部４３０と同様に、撮影画像中の不具合を生じている顔部品画像を検出する。検出された不具合顔部品画像および撮影画像は画像補正部８２０に送られる。
【００６０】
画像補正部８２０は、不具合検出部８１０から不具合顔部品画像が送られてくると、ＤＢ９００に記憶されている不具合顔部品画像９１０のうち、不具合検出部８１０から送られてきた不具合顔部品画像と最も画像の色および形状が近似しているものを探し、その不具合顔部品画像９１０と対応付けられている正常顔部品画像９２０を取得する。次に、不具合検出部８１０から送られた撮影画像中の不具合顔部品画像を、ＤＢ９００から取得した正常顔部品画像と置き換えて、撮影画像中の不具合が補正された補正後画像を生成する。補正後画像は、第１実施形態と同様に、図２に示す画像表示装置１２０に送られるとともに、指示に従って、ＦＤドライブ１１６経由でＦＤ２００にも送られる。また、不具合検出部８１０から送られてきた不具合顔部品画像と、ＤＢ９００から取得された正常顔部品画像とのセットは、データベース更新部８３０に送られる。
【００６１】
データベース更新部８３０は、画像補正部８２０から不具合顔部品画像と正常顔部品画像のセットが送られてくると、その不具合顔部品画像と正常顔部品画像をＤＢ９００に送り、不具合顔部品画像に正常顔部品画像を対応付けてＤＢ９００に記憶する。
【００６２】
本実施形態の画像補正装置は、基本的には以上のように構成されている。
【００６３】
図１２は、本実施形態において、撮影画像中の不具合を生じている顔部品画像を補正して、さらにＤＢ５００を更新する一連の手順を示すフローチャートである。以下では、このフローチャートを使って、図２のＦＤ２００に記憶されている撮影画像中の不具合を補正して、補正後画像を図１の表示画面１２１に表示し、ＤＢ９００を更新する一連の手順について説明する。
【００６４】
オペレータが、第１実施形態と同様に、画像補正装置８００を起動するためのアイコンを選択して画像補正装置８００を起動させると、ＦＤ２００に記録されている撮影画像がＦＤドライブ１１６経由で画像表示装置１２０に送られ、その撮影画像を含む選択画面が表示画面１２１に表示される（図１２のステップ（ａ））。
【００６５】
図６は、第１実施形態で用いた図であるが、本実施形態における撮影画像６１０が表示された表示画面１２１を示す図であるとして説明する。撮影画像６１０に含まれている人物７００の目７０１には、目瞑りが生じている。
【００６６】
オペレータは、第１実施形態の場合と同様に、表示画面１２１に表示された選択画面６００を確認し、図１のマウス１４０を使って自動補正ボタン６２０をクリックして、不具合の補正を指示する。
【００６７】
図１２のフローチャートにおいて、ここでは不具合の補正が指示されたため、ステップ（ｂ）からステップ（ｃ）に進む。
【００６８】
不具合の補正が指示されると、図１０に示す不具合検出部８１０には、図２のＦＤ２００に記録されている撮影画像が入力される。
【００６９】
不具合検出部８１０は、撮影画像を取得すると、第１実施形態の不具合検出部４３０と同様に、撮影画像に含まれる顔部品画像の形状や色を基にして、撮影画像中の不具合顔部品画像を検出する。その結果、図６の撮影画像６１０中の目７０１には不具合が生じていると検出される（図１２のステップ（ｃ））。撮影画像６１０および不具合顔部品画像にあたる目７０１は、画像補正部８２０に送られる。
【００７０】
画像補正部８２０は、不具合検出部８１０から不具合顔部品画像が送られてくると、その不具合顔部品画像の色および形状と近似したものをＤＢ９００中の不具合顔部品画像９１０から探す。この例では、不具合顔部品画像に相当する図６の撮影画像６１０中の目７０１と最も近似した不具合顔部品画像として、図１１の一重の目瞑り画像９１１が検索され、その一重の目瞑り画像９１１と対応付けられている一重の目画像９２１が取得される。画像補正部８２０は、さらに、不具合検出部８１０から送られた撮影画像中の目７０１を、ＤＢ９００中の一重の目画像９２１と置き換えて、補正後画像を生成する（図１２のステップ（ｄ））。撮影画像中の不具合顔部品画像が補正された補正後画像は、第１実施形態と同様に、図２に示す画像表示装置１２０に送られ、図１の表示画面１２１に表示される（図１２のステップ（ｅ））。
【００７１】
図７は、第１実施形態で用いた図であるが、本実施形態における画像補正装置８００によって、図６の撮影画像６１０中の目７０１を、ＤＢ９００に記憶されている一重の目画像９２１に置き換えた補正後画像６１１が表示された表示画面１２１を示す図であるものとして説明する。第１実施形態と同様に、補正後画像６１１の人物７２０の目は片方が二重で片方が一重であるため不自然な印象があり、オペレータは、図１のマウス１４０で次候補ボタン６３０をクリックし、次候補の顔部品画像を選択する。
【００７２】
図１２のフローチャートにおいて、ここでは次候補が選択されたため、ステップ（ｆ）からステップ（ｄ）に戻る。
【００７３】
オペレータによって、次候補の顔部品画像が選択されると、画像補正部８２０はＤＢ９００から、次候補の正常顔部品画像を取得する。画像補正部８２０は、図１１のＤＢ９００中から、一重の目画像９２１に近似した二重の目画像９２２を次候補として取得し、第１実施形態と同様に、図６の撮影画像６１０中の不具合顔部品画像である目７０１を表す画像をＤＢ９００から取得した二重の目画像９２２と置き換えて補正後画像を生成する（図１２のステップ（ｄ））。補正後画像は、第１実施形態と同様に、図２に示す画像表示装置１２０に送られ、図１の表示画面１２１に表示される（図１２のステップ（ｅ））。
【００７４】
図８は、本実施形態の画像補正装置８００において、図６の撮影画像６１０中の目７０１を表す画像を、ＤＢ９００に記憶されている二重の目画像９２２に置き換えた補正後画像６１２が表示された表示画面１２１を示す図である。補正後画像６１２中の目７３０は二重であり、補正後画像６１２は図７の補正後画像６１１よりもいっそう違和感がなく好ましい画像である。オペレータは、第１実施形態と同様に、図１のマウス１４０で決定ボタン６４０をクリックし、補正後画像６１２の記録を指示する。
【００７５】
図１２のフローチャートにおいて、ここでは補正後画像６１２の記録が指示されたため、ステップ（ｇ）に進む。
【００７６】
オペレータによって、補正後画像の記録が指示されると、第１実施形態と同様に、画像補正部８２０は、補正後画像を図２のＦＤドライブ１１６経由でＦＤ２００に送り、ＦＤ２００に補正後画像が記録される（図１２のステップ（ｇ））。
【００７７】
また、画像補正部８２０は、不具合顔部品画像と正常顔部品画像のセットである、図６の目７０１と図１１の二重の目画像９２２とのセットをデータベース更新部８３０に送り、データベース更新部８３０は、それらのセットをＤＢ９００に送ってＤＢ９００を更新する。正常顔部品画像にあたる二重の目画像９２２は、不具合顔部品画像にあたる目７０１と対応付けられてＤＢ９００に記憶される。さらに、画像補正部８２０は、不具合検出部８１０から送られてきた撮影画像に含まれる顔部品画像のうち不具合顔部品画像を除く正常顔部品画像をデータベース更新部８３０に送る。この例では、図６の目７１１がデータベース更新部８３０に送られる。データベース更新部８３０は、画像補正部８２０から送られてきた撮影画像中の正常顔部品画像を、ＤＢ９００に送り、不具合顔部品画像とは独立した次候補用画像として記録させることによってＤＢ９００を更に更新する。（図１２のステップ（ｈ））。
【００７８】
図１３は、ＤＢ９００を更新した後のＤＢ９００の概念図である。目７０１を表す画像である二重の目瞑り画像９１５は二重の目画像９２２と対応付けられて記憶されており、撮影画像中の正常顔部品画像である図６の目７１１を表す目画像９２４が正常顔部品画像９２０に含まれて記録されている。
【００７９】
このように、正常な顔部品画像と不具合が生じている顔部品画像とを対応付けて記憶しておくことにより、複数の種類の顔部品を表す顔部品画像が混在した単純なＤＢを用いても、撮影画像中の不具合をより自然に補正することができる。
【００８０】
ここで、上記では、正常顔部品画像が、同じ目の色の人物からなる人物グループに分類されたデータベースを備えた画像補正装置について説明したが、本発明の画像補正装置は、例えば、各個人ごとに正常顔部品画像が分類されたデータベースを備えたものであってもよい。
【００８１】
また、上記では、正常顔部品画像を人物グループおよび撮影条件に分類してデータベースに記憶しておく画像補正装置について説明したが、例えば、正常顔部品画像を人物グループのみで分類して記憶するデータベースを備えた画像補正装置であってもよい。
【００８２】
また、上記では、人物の顔部品の種類ごとに用意された複数のデータベースを備えた画像補正装置について説明したが、本発明の画像補正装置は、例えば、複数の種類の顔部品画像をそれぞれの顔部品画像が表す顔部品を有する個人ごとのグループに分類して、１つのデータベースに記憶するものであってもよい。
【００８３】
また、上記では、不具合顔部品画像と正常顔部品画像とを対応付けて記憶するデータベースを備えた画像補正装置について説明したが、本発明の画像補正装置は、例えば、顔部品画像に関する不具合の種類と正常顔部品画像とを対応付けて記憶するデータベースを備えた画像補正装置であってもよい。
【００８４】
また、上記では、複数の人物の顔部品に関する不具合顔部品画像と正常顔部品画像とを対応付けて記憶するデータベースを備えた画像補正装置について説明したが、例えば、不具合顔部品画像と正常顔部品画像との対応付けを、その正常顔部品画像が表す顔部品を有する人物ごとの人物グループなどに分類して記憶するデータベースを備えた画像補正装置であってもよい。
【００８５】
【発明の効果】
以上、説明したように、本発明によれば、撮影画像中の顔に関する不具合を検出して、その不具合を容易に補正する画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態が適用されたパーソナルコンピュータ１００の外観斜視図である。
【図２】パーソナルコンピュータ１００のハードウェア構成図である。
【図３】本発明の画像補正装置の第１実施形態の機能ブロック図である。
【図４】ＤＢ５００の概念図である。
【図５】撮影画像中の不具合を生じている顔部品画像を補正して、さらにＤＢ５００を更新する一連の手順を示すフローチャートである。
【図６】表示画面１２１に表示された選択画面６００を示す図である。
【図７】図６の撮影画像６１０中の目７０１を、目用ＤＢ５１０に記憶されている一重の目画像５１１１Ａに置き換えた補正後画像６１１が表示された表示画面１２１を示す図である。
【図８】図６の撮影画像６１０中の目７０１を、目用ＤＢ５１０に記憶されている二重の目画像５１１１Ｂに置き換えた補正後画像６１２が表示された表示画面１２１を示す図である。
【図９】目画像７１１を記憶させてＤＢ５００を更新した後のＤＢ５００の概念図である。
【図１０】本発明の第２実施形態である画像補正装置８００の機能ブロック図である。
【図１１】ＤＢ９００の概念図である。
【図１２】撮影画像中の不具合を生じている顔部品画像を補正して、さらにＤＢ５００を更新する一連の手順を示すフローチャートである。
【図１３】目画像９２２を記憶させてＤＢ９００を更新した後のＤＢ９００の概念図である。
【符号の説明】
１００    パーソナルコンピュータ
１１０    本体装置
１２０    画像表示装置
１２１    表示画面
１３０    キーボード
１４０    マウス
１５０    バス
１１１    フレキシブルディスク装填口
１１２    ＣＤ−ＲＯＭ装填口
１１３    ＣＰＵ
１１４    主メモリ
１１５    ハードディスク装置
１１６    ＦＤドライブ
１１７    ＣＤ−ＲＯＭドライブ
１１８    入力インタフェース
１１９    出力インタフェース
２００    ＦＤ
３００    ＣＤ−ＲＯＭ
４００    画像補正装置
４１０    グループ判定部４１０
４２０    撮影条件判定部
４３０    不具合検出部
４４０    画像補正部
４５０    データベース更新部
５００    ＤＢ
５１０    目用ＤＢ
５１１    青目グループ
５１１１    晴天条件
５１１１Ａ    一重の目画像
５１１１Ｂ    二重の目画像
５１１２    曇天条件
５１１３    屋内条件
５１２    黒目グループ
５１２１    晴天条件
５１２１Ａ    目画像
５１２２    曇天条件
５１２３    屋内条件
５１３    茶目グループ
５２０    鼻用ＤＢ
６００    選択画面
６１０    撮影画像
６１１    補正後画像
６１２    補正後画像
６２０    自動補正ボタン
６３０    次候補ボタン
６４０    決定ボタン
６５０    取消ボタン
７００    人物
７０１    目
７１０    人物
７１１    目
７２０    人物
７２１    目
７３０    人物
７３１    目
８００    画像補正装置
８１０    不具合検出部
８２０    画像補正部
８３０    データベース更新部
９００    ＤＢ
９１０    不具合顔部品画像
９１１    一重の目瞑り画像
９１２    一重の赤目画像
９１３    二重の赤目画像
９１４    口開き画像
９１５    二重の目瞑り目画像
９２０    正常顔部品画像
９２１    一重の目画像
９２２    二重の目画像
９２３    口画像
【図１】
2004258866.tif 000003
【図２】
2004258866.tif 000004
【図３】
2004258866.tif 000005
【図４】
2004258866.tif 000006
【図５】
2004258866.tif 000007
【図６】
2004258866.tif 000008
【図７】
2004258866.tif 000009
【図８】
2004258866.tif 000010
【図９】
2004258866.tif 000011
【図１０】
2004258866.tif 000012
【図１１】
2004258866.tif 000013
【図１２】
2004258866.tif 000014
【図１３】
2004258866.tif 000015