(57)【要約】【課題】画像を表す画像データに基づいて画像中の目を検出し、その目に所定種類の不具合が生じている場合にはその不具合を修正する目検出修正方法、目検出修正装置、および目検出修正プログラムにおいて、画像中の目の不具合に対する適切な修正を施す。【解決手段】画像データに基づいて、画像中の目と、その目の状態とを検出する検出過程と、検出過程で複数の目が検出され、それら複数の目のうちのいずれかの目に上記不具合が生じている場合に、その不具合が生じている目を、他の目の状態を参照して修正する修正過程とを経て画像データを修正する。【選択図】　　　　図２
2004118320.tif 000002
【特許請求の範囲】
【請求項１】
画像を表す画像データに基づいて該画像中の目を検出し、その目に所定種類の不具合が生じている場合にはその不具合を修正する目検出修正方法において、
前記画像データに基づいて、画像中の目と、その目の状態とを検出する検出過程と、
前記検出過程で複数の目が検出され、それら複数の目のうちのいずれかの目に前記不具合が生じている場合に、その不具合が生じている目を、他の目の状態を参照して修正する修正過程とを有することを特徴とする目検出修正方法。
【請求項２】
前記修正過程は、不具合を生じている目と対になる目の状態を参照して修正する過程であることを特徴とする請求項１記載の目検出修正方法。
【請求項３】
前記修正過程は、不具合を生じている目の人物とは別の人物の目の状態を参照して修正する過程であることを特徴とする請求項１記載の目検出修正方法。
【請求項４】
画像を表す画像データに基づいて該画像中の目を検出し、その目に所定種類の不具合が生じている場合にはその不具合を修正する目検出修正装置において、
前記画像データに基づいて、画像中の目と、その目の状態とを検出する検出部と、
前記検出部で複数の目が検出され、それら複数の目のうちのいずれかの目に前記不具合が生じている場合に、その不具合が生じている目を、他の目の状態を参照して修正する修正部とを備えたことを特徴とする目検出修正装置。
【請求項５】
画像を表す画像データに基づいて該画像中の目を検出し、その目に所定種類の不具合が生じている場合にはその不具合を修正する目検出修正プログラムにおいて、
前記画像データに基づいて、画像中の目と、その目の状態とを検出する検出部と、
前記検出部で複数の目が検出され、それら複数の目のうちのいずれかの目に前記不具合が生じている場合に、その不具合が生じている目を、他の目の状態を参照して修正する修正部とを備えたことを特徴とする目検出修正プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像中の目を検出して不具合を修正する目検出修正方法、目検出修正装置、および目検出修正プログラムに関する。
【０００２】
【従来の技術】
従来より、デジタルスチルカメラの普及などに伴って、写真分野におけるデジタル化が急速に進んでいる。このようなデジタル化の利点として、撮影画像を電子的に処理して、色味や露光の不具合を修正することができるという点が挙げられ、フォトレタッチソフトと称される、撮影画像をパーソナルコンピュータ上などで修正するソフトウェアツールも普及してきている。
【０００３】
更に近年では、人物をフラッシュ撮影した時に瞳孔が赤くなる赤目現象や、目が金色に光る金目現象や、撮影時に人物が目を閉じてしまった目つぶり状態などといったような、画像中の目に不具合が生じている場合に、この不具合を修正する技術も提案されている。例えば、特許文献１には赤目の修正に関する技術が記載されている。このような不具合は、見栄えの善し悪しに大きく影響するし、一般の撮影者による撮影では発生頻度も高いので、写真の分野では特に修正が望まれるものである。
【０００４】
ここで、修正するべき不具合が画像中のどこに存在するかを特定する方法としては、フォトレタッチソフトなどのユーザが目で見て判断し、特定する方法がもっとも単純な方法として考えられるが、いちいちユーザが特定しているのでは作業効率が悪い。特に、業務としてデジタル写真のプリント出力などを行うところでサービスの一部として画像修正を行う場合などは、作業効率の悪さは大きな問題となる。
【０００５】
これに対し、画像中の不具合を自動検出する技術も提案されており、例えば、特許文献２には、赤目の検出方法が記載されている。このような自動検出によって検出された不具合を修正対象とすることにより、検出から修正までを自動化することができる。
【０００６】
【特許文献１】
特開２０００−７６４２７号公報
【特許文献２】
特開２００１−６１０７１号公報
【０００７】
【発明が解決しようとする課題】
しかし、従来の自動検出修正では、不具合は必ずしも適切に修正されず、例えば、両目のうちの一方の目が修正されたときや、複数の人物のうちの一人の目が修正されたときに、修正された目が違和感を与える場合がある。
【０００８】
上述したような問題は、写真分野のみで生じる問題ではなく、画像中の目を検出して不具合を修正する技術を用いる場合にはどの分野でも生じうる問題である。
【０００９】
本発明は、上記事情に鑑み、画像中の目の不具合に対する適切な修正が可能な目検出修正方法、目検出修正装置、および目検出修正プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成する本発明の目検出修正方法は、画像を表す画像データに基づいて画像中の目を検出し、その目に所定種類の不具合が生じている場合にはその不具合を修正する目検出修正方法において、
画像データに基づいて、画像中の目と、その目の状態とを検出する検出過程と、
検出過程で複数の目が検出され、それら複数の目のうちのいずれかの目に上記不具合が生じている場合に、その不具合が生じている目を、他の目の状態を参照して修正する修正過程とを有することを特徴とする。
【００１１】
人は目の印象には敏感なので、複数の目のそれぞれに単独に修正を施すと、各目自体の修正は適切に見えても、複数の目の相互間でのバランスなどが悪いと異質な印象を与えることとなる。
【００１２】
そこで、本発明の目検出修正方法では、検出過程で目を検出するとともに、例えば、その目が赤目状態にあるか、金目状態、目つぶり状態、あるいは正常な黒目の状態にあるか、その目がどの位置にあるのか、大きさはどれだけか、対になる目が画像中に存在するのか、他人の目が存在するのか等といった目の状態も検出過程で検出し、ある目に生じている不具合を修正するに当たって、他の目の状態を参照して修正することとしている。これにより、複数の目の相互間でのバランスなどが保たれた適切な修正が施されることとなる。
【００１３】
ここで、上記修正過程は、不具合を生じている目と対になる目の状態を参照して修正する過程であることが好ましい。
【００１４】
一人の人物に属する一対の目は、少しでも印象が相違すると違和感を与えることとなるので、修正対象の目と対になる目の状態を参照して修正することで印象の相違を無くすことが望ましい。
【００１５】
また、本発明の目検出修正方法は、上記修正過程が、不具合を生じている目の人物とは別の人物の目の状態を参照して修正する過程であることも好適な形態である。
【００１６】
集合写真等では、人物間での印象の相違も違和感を生じる原因となるので、修正対象の目の人物とは別の人物の目の状態を参照して修正することにより人物間での印象の相違を無くすことが望ましい。
【００１７】
上記目的を達成する本発明の目検出修正装置は、画像を表す画像データに基づいて画像中の目を検出し、その目に所定種類の不具合が生じている場合にはその不具合を修正する目検出修正装置において、
画像データに基づいて、画像中の目と、その目の状態とを検出する検出部と、検出部で複数の目が検出され、それら複数の目のうちのいずれかの目に上記不具合が生じている場合に、その不具合が生じている目を、他の目の状態を参照して修正する修正部とを備えたことを特徴とする。
【００１８】
上記目的を達成する本発明の目検出修正プログラムは、画像を表す画像データに基づいて画像中の目を検出し、その目に所定種類の不具合が生じている場合にはその不具合を修正する目検出修正プログラムにおいて、
画像データに基づいて、画像中の目と、その目の状態とを検出する検出部と、検出部で複数の目が検出され、それら複数の目のうちのいずれかの目に上記不具合が生じている場合に、その不具合が生じている目を、他の目の状態を参照して修正する修正部とを備えたことを特徴とする。
【００１９】
なお、本発明の目検出修正装置および目検出修正プログラムについては、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう目検出修正装置および目検出修正プログラムには、上記の基本形態のみではなく、前述した目検出修正装置の各形態に対応する各種の形態が含まれる。
【００２０】
また、上記本発明の目検出修正装置と、上記目検出修正プログラムとでは、それらを構成する構成要素名として、検出部といった互いに同一の名称を付しているが、目検出修正プログラムの場合は、そのような作用をなすソフトウェアを指し、目検出修正装置の場合は、ハードウェアを含んだものを指している。
【００２１】
さらに、本発明の目検出修正プログラムを構成する検出部などといった構成要素は、１つの構成要素の機能が１つのプログラム部品によって担われるものであってもよく、１つの構成要素の機能が複数のプログラム部品によって担われるものであってもよく、複数の構成要素の機能が１つのプログラム部品によって担われるものであってもよい。また、これらの構成要素は、そのような作用を自分自身で実行するものであってもよく、あるいは、コンピュータに組み込まれている他のプログラムやプログラム部品に指示を与えて実行させるものであっても良い。
【００２２】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【００２３】
ここでは、本発明の目検出修正プログラムの一実施形態がパーソナルコンピュータに組み込まれ、その目検出修正プログラムに基づいてパーソナルコンピュータ上で本発明の目検出修正方法の一実施形態が実行され、その結果、そのパーソナルコンピュータが本発明の目検出修正装置の一実施形態として動作する例について説明する。
【００２４】
図１は、本発明の一実施形態が適用されるパーソナルコンピュータの外観図である。
【００２５】
このパーソナルコンピュータ１００は、ＣＰＵ、ＲＡＭメモリ、ハードディスク等を内蔵した本体部１１０、本体部１１０からの指示により蛍光面１２１に画面表示を行うＣＲＴディスプレイ１２０、このパーソナルコンピュータ１００内にユーザの指示や文字情報を入力するためのキーボード１３０、蛍光面１２１上の任意の位置を指定することによりその位置に応じた指示を入力するマウス１４０を備えている。
【００２６】
本体部１１０は、さらに、外観上、フレキシブルディスクやＣＤ−ＲＯＭが装填されるフレキシブルディスク装填口１１１およびＣＤ−ＲＯＭ装填口１１２を有しており、その内部には、装填されたフレキシブルディスクやＣＤ−ＲＯＭをドライブする、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブも内蔵されている。
【００２７】
ここでは、ＣＤ−ＲＯＭに本発明にいう目検出修正プログラムが記憶されており、このＣＤ−ＲＯＭがＣＤ−ＲＯＭ装填口１１２から本体部１１０内に装填され、ＣＤ−ＲＯＭドライブによりそのＣＤ−ＲＯＭに記憶された目検出修正プログラムがこのパーソナルコンピュータ１００のハードディスク内にインストールされる。このパーソナルコンピュータ１００のハードディスク内にインストールされた目検出修正プログラムが起動されると、このパーソナルコンピュータ１００は、本発明の目検出修正装置の一実施形態として動作し、本発明の目検出修正方法の一実施形態を実行する。
【００２８】
また、本実施形態では、デジタルスチルカメラなどで撮影された撮影画像の画像データがフレキシブルディスクやＣＤ−Ｒなどに記憶され、そのフレキシブルディスクやＣＤ−Ｒが目検出修正装置としてのパーソナルコンピュータ１００に装填されて画像データがハードディスク内に取り込まれる。そして、取り込まれた画像データに対して、後述する赤目修正などが施されて、修正後の画像データがフレキシブルディスクやハードディスクに記録される。
【００２９】
図２は、本発明の目検出修正方法の一実施形態を示すフローチャートである。
【００３０】
この目検出修正方法は、検出過程（ステップＳ０１）と修正過程（ステップＳ０２）とを有する。
【００３１】
検出過程は、画像データが表す画像中に存在している目を検出するとともに、その目について、目の状態も検出する過程であり、本発明の目検出修正方法における検出過程の一例に相当する。ここで検出される目の状態としては、正常な黒目であるかあるいは赤目や金目であるかといったことを示す目の特徴や、目の大きさや位置、対になる目の存在などが含まれる。
【００３２】
また、修正過程は、検出された目に不具合が生じている場合に、その不具合を、他の目の状態を参照して修正する過程であり、本発明の目検出修正方法における修正過程の一例に相当する。本実施形態では、修正対象の目と対になる目の状態を参照するとともに、修正対象の目の人物とは別の人物の目の状態も参照して修正が行われる。
【００３３】
これら各ステップの詳細な内容については後述する。
【００３４】
図３は、本発明の目検出修正プログラムの一実施形態を示す図である。ここでは、この目検出修正プログラム３００は、目検出修正プログラム記憶媒体２００に記憶されている。
【００３５】
この図４に示す目検出修正プログラム記憶媒体２００は、目検出修正プログラム３００が記憶された記憶媒体であればその種類を問うものではなく、例えばＣＤ−ＲＯＭにこの目検出修正プログラム３００が格納されているときはそのＣＤ−ＲＯＭを指し、その目検出修正プログラム３００がローディングされてハードディスク装置に記憶されたときはそのハードディスク装置を指し、あるいはその目検出修正プログラム３００がフレキシブルディスクやＤＶＤやＣＤ−Ｒなどにダウンロードされたときはそのフレキシブルディスクなどを指す。
【００３６】
この目検出修正プログラム３００は、図１に示すパーソナルコンピュータ１００内で実行され、そのパーソナルコンピュータ１００を、画像中の目に関する不具合を修正する目検出修正装置として動作させるものであり、検出部３１０と修正部３２０とを有する。
【００３７】
これら検出部３１０および修正部３２０は、それぞれ、図３に示す検出過程（ステップＳ０１）および修正過程（ステップＳ０２）を実行する役割を担っている。また、これら検出部３１０および修正部３２０は、それぞれ、本発明の目検出修正プログラムにおける検出部および修正部の各一例に相当する。
【００３８】
この目検出修正プログラム３００の各要素の作用については後述する。
【００３９】
図４は、目検出修正装置の一実施形態を示す機能ブロック図である。
【００４０】
この目検出修正装置４００は、図３の目検出修正プログラム３００が、図１に示すパーソナルコンピュータ１００にインストールされて実行されることにより構成されるものである。
【００４１】
この目検出修正装置４００は検出部４１０と修正部４２０とから構成されている。検出部４１０および修正部４２０は、それぞれ、図３に示す目検出修正プログラム３００を構成する、検出部３１０および修正部３２０に対応し、本発明の目検出修正装置における検出部および修正部の各一例に相当する。なお、図４の各要素は、図１に示すパーソナルコンピュータ１００のハードウェアとそのパーソナルコンピュータで実行されるＯＳやアプリケーションプログラムとの組合せで構成されているのに対し、図３に示す目検出修正プログラムの各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。
【００４２】
以下、図４に示す目検出修正装置４００の各要素を説明することによって、図２に示すフローチャートの各ステップと、図３に示す目検出修正プログラム３００の各要素も合わせて説明する。
【００４３】
図４の目検出修正装置４００を構成する検出部４１０には、上述したようにハードディスクに取り込まれた画像データＤ１０が、原画像を表すものとして入力され、その画像データＤ１０に基づいて、原画像中に写っている人物の目が検出される。この検出部４１０では、目の検出に当たり、目の状態として、正常な黒目であるかあるいは赤目や金目であるかといったことを示す目の特徴や、目の大きさや位置、対になる目の存在なども検出される。
【００４４】
このように検出された情報が原画像とともに修正部４２０に送られ、修正部４２０では、上述した目の特徴が赤目を示している目について修正が施されて、修正後の画像を表す画像データＤ２０が生成される。この画像データＤ２０は、上述したようにフレキシブルディスクやハードディスクに記録される。
【００４５】
この修正部４２０における修正では、以下説明するように、修正対象の目以外の他の目の状態が参照される。
【００４６】
図５は、修正例を示す図である。
【００４７】
この図５には、原画像５００の一例が示されており、この原画像５００には、２人の人物が写っている。そして、合計４つの目のうち、ここでは１つの目５１０だけが赤目となっていて、その目５１０と対になる目５２０や、その目５１０の人物とは別の人物の目５３０，５４０は正常な黒目であるものとする。
【００４８】
赤目となっている目５１０を修正する際には、先ず、他の目の状態を参照して対になる目５２０を見つけ、その対になる目５２０の特徴を参照する。ここでは対になる目５２０が正常な黒目であるので、その黒目の黒い茶色いなどといった色合いに一致するように赤目の色合いを修正する。具体的には、赤目の彩度を減少させることによって茶色や黒の目に修正する。更に、それら一対の目５１０，５２０における明るさのバランスが、別の人物が有する一対の目５３０，５４０における明るさのバランスと一致するように、修正対象の目５１０の明るさを調整する。
【００４９】
なお、１人の人物が有する一対の目が両方とも赤目の時は、図４に示す修正部４２０は、その一対の目における色合いのバランスをとりながら両方を修正する。
【００５０】
このような修正により、複数の目の相互間における印象の相違による違和感を回避して、目の不具合が適切に修正されることとなる。
【００５１】
なお、上記説明では、目の不具合として赤目が例示されているが、本発明にいう目の不具合としては、赤目以外の、金目や目つぶりなどといった不具合であってもよい。
【００５２】
また、上記説明では、記憶媒体に記憶された目検出修正プログラムが例示されているが、本発明の目検出修正プログラムは、通信ネットワーク上などで送受信されているものであってもよい。
【００５３】
また、上記説明では、記憶媒体に記憶された画像データを取り込む目検出修正装置が例示されているが、本発明の目検出修正装置は、デジタルスチルカメラからＵＳＢなどで画像データを取り込むものであってもよく、あるいは、通信ネットワークなどを介して画像データを取り込むものであってもよい。
【００５４】
また、上記説明では、修正後の画像データをフレキシブルディスクやハードディスクに記録する目検出修正装置が例示されているが、本発明の目検出修正装置は、修正後の画像データを、ＣＤ−Ｒ、ＤＶＤ、ＭＯなどといった他の種類の記憶媒体に出力するものであってもよく、修正後の画像データを写真プリンタなどに出力するものであってもよく、あるいは、通信ネットワークなどを介して修正後の画像データを出力するものであってもよい。
【００５５】
【発明の効果】
以上説明したように、本発明の目検出修正方法、目検出修正装置、および目検出修正プログラムによれば、画像中の目の不具合に対して適切な修正を施すことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態が適用されるパーソナルコンピュータの外観図である。
【図２】本発明の目検出修正方法の一実施形態を示すフローチャートである。
【図３】本発明の目検出修正プログラムの一実施形態を示す図である。
【図４】目検出修正装置の一実施形態を示す機能ブロック図である。
【図５】修正例を示す図である。
【符号の説明】
１００　　パーソナルコンピュータ
１１０　　本体部
１１１　　フレキシブルディスク装填口
１１２　　ＣＤ−ＲＯＭ装填口
１２０　　ＣＲＴディスプレイ
１２１　　蛍光面
１３０　　キーボード
１４０　　マウス
２００　　目検出修正プログラム記憶媒体
３００　　目検出修正プログラム
３１０　　検出部
３２０　　修正部
４００　　目検出修正装置
４１０　　検出部
４２０　　修正部
５００　　原画像
５１０　　不具合が生じている目
５２０　　対になる目
５３０，５４０　　他の人物の目
Ｄ１０　　原画像を表す画像データ
Ｄ２０　　修正後の画像を表す画像データ
【図１】
2004118320.tif 000003
【図２】
2004118320.tif 000004
【図３】
2004118320.tif 000005
【図４】
2004118320.tif 000006
【図５】
2004118320.tif 000007