(57)【要約】【課題】作業効率を犠牲にすることなく不具合の修正精度を向上させることができる画像修正装置、および画像修正プログラムを提供する。【解決手段】原画像を表す画像データに基づいて、原画像中の局所的な不具合を、複数種類の不具合を区別して検出し、検出した不具合を、その不具合の種類に応じた印を付して表示し、表示した不具合に対する検出間違いの訂正を受け付け、原画像を表す画像データに対して、訂正されたものも含む不具合の種類に応じた修正処理を施す。【選択図】　　　　図１
2004118319.tif 000002
【特許請求の範囲】
【請求項１】
原画像を表す画像データに基づいて、原画像中の局所的な不具合を、不具合の種類を区別して検出する検出過程と、
前記検出過程で検出された不具合を、その不具合の種類に応じた印を付して表示するとともに、表示した不具合に対する検出間違いの訂正も受け付ける表示過程と、
原画像を表す画像データに対して、訂正されたものも含む不具合の種類に応じた修正処理を施す修正過程とを有することを特徴とする画像修正方法。
【請求項２】
前記検出過程が、原画像に含まれている顔の部品について不具合を検出する過程であることを特徴とする請求項１記載の画像修正方法。
【請求項３】
前記検出過程が、原画像に含まれている目について不具合を検出する過程であることを特徴とする請求項１記載の画像修正方法。
【請求項４】
原画像を表す画像データに基づいて、原画像中の局所的な不具合を、不具合の種類を区別して検出する検出部と、
前記検出過程で検出された不具合を、その不具合の種類に応じた印を付して表示するとともに、表示した不具合に対する検出間違いの訂正も受け付ける表示部と、
原画像を表す画像データに対して、訂正されたものも含む不具合の種類に応じた修正処理を施す修正部とを有することを特徴とする画像修正装置。
【請求項５】
原画像を表す画像データに基づいて、原画像中の局所的な不具合を、不具合の種類を区別して検出する検出部と、
前記検出過程で検出された不具合を、その不具合の種類に応じた印を付して表示するとともに、表示した不具合に対する検出間違いの訂正も受け付ける表示部と、
原画像を表す画像データに対して、訂正されたものも含む不具合の種類に応じた修正処理を施す修正部とを有することを特徴とする画像修正プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、原画像を表す画像データに基づいて、原画像中の、傷、赤目、目つぶりなどといった局所的な不具合を修正する画像修正方法、画像修正装置、および画像修正プログラムに関する。
【０００２】
【従来の技術】
従来より、デジタルスチルカメラの普及などに伴って、写真分野におけるデジタル化が急速に進んでいる。このようなデジタル化の利点として、撮影画像を電子的に処理して、色味や露光の不具合を修正することができるという点が挙げられ、フォトレタッチソフトと称される、撮影画像をパーソナルコンピュータ上などで修正するソフトウェアツールも普及してきている。
【０００３】
更に近年では、画像中の傷や、逆光のために主要な被写体が暗く写った状態や、人物をフラッシュで撮影した時に瞳孔が赤くなる赤目現象や、目が金色に光る金目現象や、撮影時に人物が目を閉じたり口を開けたりしてしまった状態などといったような、画像中に局所的な不具合が生じている場合に、この不具合を修正する技術も提案されている。例えば、特許文献１には赤目の修正に関する技術が記載されている。このような不具合は、見栄えの善し悪しに大きく影響するし、一般の撮影者による撮影では発生頻度も高いので、写真の分野では特に修正が望まれるものである。
【０００４】
ここで、修正するべき不具合が画像中のどこに存在するかを特定する方法としては、フォトレタッチソフトなどのユーザが目で見て判断し、特定する方法がもっとも単純な方法として考えられるが、いちいちユーザが特定しているのでは作業効率が悪い。特に、業務としてデジタル写真のプリント出力などを行うところでサービスの一部として画像修正を行う場合などは、作業効率の悪さは大きな問題となる。
【０００５】
これに対し、画像中の不具合を自動検出する技術も提案されており、例えば、特許文献２には、赤目の検出方法が記載されている。
【０００６】
【特許文献１】
特開２０００−７６４２７号公報
【特許文献２】
特開２００１−６１０７１号公報
【０００７】
【発明が解決しようとする課題】
しかし、このような自動検出では、必ずしも正確に検出されるとは限らず、特に、複数種類の不具合それぞれを検出し、不具合の種類に応じた修正を行う場合には、誤検出によって間違った修正が行われて、かえって画質の劣化となる恐れがある。
【０００８】
上述したような問題は、写真分野のみで生じる問題ではなく、画像中の局所的な不具合を検出して修正する技術を用いる場合にはどの分野でも生じうる問題である。
【０００９】
本発明は、上記事情に鑑み、作業効率を犠牲にすることなく不具合の修正精度を向上させることができる画像修正方法、画像修正装置、および画像修正プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成する本発明の画像修正方法は、原画像を表す画像データに基づいて、原画像中の局所的な不具合を、不具合の種類を区別して検出する検出過程と、
検出過程で検出された不具合を、その不具合の種類に応じた印を付して表示するとともに、表示した不具合に対する検出間違いの訂正も受け付ける表示過程と、
原画像を表す画像データに対して、訂正されたものも含む不具合の種類に応じた修正処理を施す修正過程とを有することを特徴とする。
【００１１】
本発明の画像修正方法によれば、検出された不具合が、不具合の種類（例えば、金目、赤目など）に応じた印が付されて表示されるので、検出の有無や検出された種類などが容易に確認でき、作業効率は高い。また、検出間違いがあった場合には、間違いを訂正することができるので、修正の精度が向上する。
【００１２】
画像中の局所的な不具合のうち、顔の部品に関する不具合は画像の見栄えに大きく影響するので、顔の部品に関する不具合を精度よく修正するために、本発明の画像修正方法は、上記検出過程が、原画像に含まれている顔の部品について不具合を検出する過程であることが望ましい。更に、顔の部品のなかでも特に目に関する不具合が最も画像の見栄えに影響するので、目に関する不具合を精度よく修正するために、本発明の画像修正方法は、上記検出過程が、原画像に含まれている目について不具合を検出する過程であることがさらに望ましい。
【００１３】
上記目的を達成する本発明の画像修正装置は、原画像を表す画像データに基づいて、原画像中の局所的な不具合を、不具合の種類を区別して検出する検出部と、
検出過程で検出された不具合を、その不具合の種類に応じた印を付して表示するとともに、表示した不具合に対する検出間違いの訂正も受け付ける表示部と、原画像を表す画像データに対して、訂正されたものも含む不具合の種類に応じた修正処理を施す修正部とを有することを特徴とする。
【００１４】
また、上記目的を達成する本発明の画像修正プログラムは、原画像を表す画像データに基づいて、原画像中の局所的な不具合を、不具合の種類を区別して検出する検出部と、
検出過程で検出された不具合を、その不具合の種類に応じた印を付して表示するとともに、表示した不具合に対する検出間違いの訂正も受け付ける表示部と、原画像を表す画像データに対して、訂正されたものも含む不具合の種類に応じた修正処理を施す修正部とを有することを特徴とする。
【００１５】
なお、本発明にいう画像修正装置および画像修正プログラムについては、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像修正装置および画像修正プログラムの形態には、上記の基本形態のみではなく、前述した画像修正方法の各形態に対応する各種の形態が含まれる。
【００１６】
また、上記本発明の画像修正装置と、上記画像修正プログラムとでは、それらを構成する構成要素名として、検出部や表示部といった互いに同一の名称を付しているが、画像修正プログラムの場合は、そのような作用をなすソフトウェアを指し、画像修正装置の場合は、ハードウェアを含んだものを指している。
【００１７】
また、本発明の画像修正プログラムを構成する検出部などといった構成要素は、１つの構成要素の機能が１つのプログラム部品によって担われるものであってもよく、１つの構成要素の機能が複数のプログラム部品によって担われるものであってもよく、複数の構成要素の機能が１つのプログラム部品によって担われるものであってもよい。また、これらの構成要素は、そのような作用を自分自身で実行するものであってもよく、あるいは、コンピュータに組み込まれている他のプログラムやプログラム部品に指示を与えて実行させるものであっても良い。
【００１８】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【００１９】
ここでは、本発明の画像修正プログラムの一実施形態がパーソナルコンピュータに組み込まれ、その画像修正プログラムに基づいてパーソナルコンピュータ上で本発明の画像修正方法の一実施形態が実行され、その結果、そのパーソナルコンピュータが本発明の画像修正装置の一実施形態として動作する例について説明する。
【００２０】
図１は、本発明の一実施形態が適用されるパーソナルコンピュータの外観図である。
【００２１】
このパーソナルコンピュータ１００は、ＣＰＵ、ＲＡＭメモリ、ハードディスク等を内蔵した本体部１１０、本体部１１０からの指示により蛍光面１２１に画面表示を行うＣＲＴディスプレイ１２０、このパーソナルコンピュータ１００内にユーザの指示や文字情報を入力するためのキーボード１３０、蛍光面１２１上の任意の位置を指定することによりその位置に応じた指示を入力するマウス１４０を備えている。
【００２２】
本体部１１０は、さらに、外観上、フレキシブルディスクやＣＤ−ＲＯＭが装填されるフレキシブルディスク装填口１１１およびＣＤ−ＲＯＭ装填口１１２を有しており、その内部には、装填されたフレキシブルディスクやＣＤ−ＲＯＭをドライブする、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブも内蔵されている。
【００２３】
ここでは、ＣＤ−ＲＯＭに本発明にいう画像修正プログラムが記憶されており、このＣＤ−ＲＯＭがＣＤ−ＲＯＭ装填口１１２から本体部１１０内に装填され、ＣＤ−ＲＯＭドライブによりそのＣＤ−ＲＯＭに記憶された画像修正プログラムがこのパーソナルコンピュータ１００のハードディスク内にインストールされる。このパーソナルコンピュータ１００のハードディスク内にインストールされた画像修正プログラムが起動されると、このパーソナルコンピュータ１００は、本発明の画像修正装置の一実施形態として動作し、本発明の画像修正方法の一実施形態を実行する。
【００２４】
また、本実施形態では、デジタルスチルカメラなどで撮影された撮影画像の画像データがフレキシブルディスクやＣＤ−Ｒに記憶され、そのフレキシブルディスクやＣＤ−Ｒが画像修正装置としてのパーソナルコンピュータ１００に装填されて画像データがハードディスク内に取り込まれる。そして、取り込まれた画像データに対して、後述する赤目修正などが施されて、修正後の画像データがフレキシブルディスクやハードディスクに記録される。
【００２５】
図２は、本発明の画像修正方法の一実施形態を示すフローチャートである。
【００２６】
この画像修正方法は、検出過程（ステップＳ０１）と表示過程（ステップＳ０２）と修正過程（ステップＳ０３）とを有する。
【００２７】
検出過程は、画像データが表す画像中の局所的な不具合を検出する過程であり、本発明の画像修正方法における検出過程の一例に相当する。また、本実施形態では、この検出過程で、局所的な不具合として顔の部品の不具合が検出され、顔の部品の不具合のうちでも特に、赤目現象および金目現象という目の不具合が検出される。
【００２８】
また、表示過程は、検出された不具合を、不具合の種類に応じた印を付して表示するとともに、表示した不具合に対する検出間違いの訂正も受け付ける過程であり、本発明の画像修正方法における表示過程の一例に相当する。本実施形態では、この表示過程で、検出された赤目や金目が、目を囲む印を付されて表示される。
【００２９】
また、修正過程は、検出された不具合を、不具合の種類に応じた修正方法で修正する過程であり、本発明の画像修正方法における修正過程の一例に相当する。本実施形態では、この修正過程で赤目の修正と金目の修正が行われる。
【００３０】
これら各ステップの詳細な内容については後述する。
【００３１】
図３は、本発明の画像修正プログラムの一実施形態を示す図である。ここでは、この画像修正プログラム３００は、画像修正プログラム記憶媒体２００に記憶されている。
【００３２】
この図３に示す画像修正プログラム記憶媒体２００は、画像修正プログラム３００が記憶された記憶媒体であればその種類を問うものではなく、例えばＣＤ−ＲＯＭにこの画像修正プログラム３００が格納されているときはそのＣＤ−ＲＯＭを指し、その画像修正プログラム３００がローディングされてハードディスク装置に記憶されたときはそのハードディスク装置を指し、あるいはその画像修正プログラム３００がフレキシブルディスクやＤＶＤやＣＤ−Ｒなどにダウンロードされたときはそのフレキシブルディスクなどを指す。
【００３３】
この画像修正プログラム３００は、図１に示すパーソナルコンピュータ１００内で実行され、そのパーソナルコンピュータ１００を、画像中の局所的な不具合を修正する画像修正装置として動作させるものであり、検出部３１０と表示部３２０と修正部３３０とを有する。
【００３４】
これら検出部３１０、表示部３２０、および修正部３３０は、それぞれ、図３に示す検出過程（ステップＳ０１）、表示過程（ステップＳ０２）、および修正過程（ステップＳ０３）を実行する役割を担っている。また、これら検出部３１０、表示部３２０、および修正部３３０は、それぞれ、本発明の画像修正プログラムにおける検出部、表示部、および修正部の各一例に相当する。
【００３５】
この画像修正プログラム３００の各要素の作用については後述する。
【００３６】
図４は、本発明の画像修正装置の一実施形態の機能ブロック図である。
【００３７】
この画像修正装置４００は、図３の画像修正プログラム３００が、図１に示すパーソナルコンピュータ１００にインストールされて実行されることにより構成されるものである。
【００３８】
この画像修正装置４００は目検出部４１０と表示部４２０と赤目修正部４３１と金目修正部４３２とから構成されている。目検出部４１０、表示部４２０は、図３に示す画像修正プログラム３００を構成する、検出部３１０、表示部３２０に対応し、本発明の画像修正装置における検出部、表示部の各一例に相当する。また、図４に示す赤目修正部４３１および金目修正部４３２は、図３に示す画像修正プログラム３００の修正部３３０に対応し、本発明の画像修正装置における修正部の一例を構成している。なお、図４の各要素は、図１に示すパーソナルコンピュータ１００のハードウェアとそのパーソナルコンピュータで実行されるＯＳやアプリケーションプログラムとの組合せで構成されているのに対し、図３に示す画像修正プログラムの各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。
【００３９】
以下、図４に示す画像修正装置４００の各要素を説明することによって、図２に示すフローチャートの各ステップと、図３に示す画像修正プログラム３００の各要素も合わせて説明する。
【００４０】
図４の画像修正装置４００を構成する目検出部４１０には、上述したようにハードディスクに取り込まれた画像データＤ１０が、原画像を表すものとして入力され、その画像データＤ１０に基づいて、原画像中に写っている人物の目を検出する。この検出に当たり、赤目現象や金目現象などの不具合が生じているか否かも、不具合の種類を区別して検出される。
【００４１】
表示部４２０では、図１に示すＣＲＴディスプレイ１２０に、画像データが表す原画像が表示されるとともに、その原画像中で検出された不具合が、不具合の種類に応じた印を付されて表示される。
【００４２】
図５は、表示部による表示例を示す図である。
【００４３】
ここに示す表示例には、目４２１の部分だけが示されているが、実際には原画像全体が表示される。
【００４４】
本実施形態では、目４２１に赤目現象が生じていることが検出された場合には、目４２１の瞳を囲む、例えば四角のマーク４２２が付されて、赤目現象を検出したことが表示される。また、目４２１に金目現象が生じていることが検出された場合には、目４２１の瞳を囲む、例えば丸のマーク４２３が付されて、金目現象を検出したことが表示される。各マーク４２２，４２３の大きさは、検出された目の大きさに応じた大きさとなっている。
【００４５】
このように、検出された不具合の種類に応じた印が付されて表示されるので、ユーザは容易に検出結果を確認することができて作業効率は高い。
【００４６】
また、検出された不具合が検出間違いである場合には、図１に示すマウス１４０を用いて間違いを訂正することができる。例えば、検出された位置が本来の位置からずれている場合などは、ドラッグアンドドロップで位置を訂正することができる。また、例えば、検出された不具合の種類が間違っている場合には、右クリックで訂正用のメニューを開いて正しい種類を選択することができる。
【００４７】
このように、検出間違いの訂正も容易に行うことができる。
【００４８】
ここで、本実施形態では採用されていないが、本発明で採用され得る別の表示例について説明する。
【００４９】
図６は、別の表示例を示す図である。
【００５０】
この図６に示す表示例では、目４２１に赤目現象が生じていることが検出された場合には、目４２１の瞳を囲む、例えば赤色のマーク４２４が付されて、赤目現象を検出したことが表示される。また、目４２１に金目現象が生じていることが検出された場合には、目４２１の瞳を囲む、例えば黒色のマーク４２５が付されて、金目現象を検出したことが表示される。さらに、ここでは、両方の目４２１の瞳を繋ぐライン４２６も表示される。このライン４２６が表示されることによって、服の模様などが目と間違われた場合などにも容易にその間違いをユーザが確認することができる。
【００５１】
この図６に示す表示例でも、図５に示す表示例と同様に、検出間違いを訂正することができる。
【００５２】
このように、図４に示す表示部４２０で検出結果が表示され、必要な場合には結果の訂正が行われると、画像データは、赤目修正部４３１および金目修正部４３２のうち、原画像中の不具合の種類に応じた方に入力されてその不具合が、不具合に応じた修正方法で修正される。例えば、不具合が赤目である場合には、瞳の彩度が低減されて赤目が修正され、不具合が金目である場合には、色パレットから選択された色や正常な目として検出された他の目の瞳の色が用いられて瞳が塗りつぶされる。この結果、赤目が補正された画像を表す赤目補正画像データＤ２１や、金目が補正された画像を表す金目補正画像データＤ２２が得られる。
【００５３】
上述したように、表示部での表示および必要な訂正が行われているので、このように得られた赤目補正画像データＤ２１や金目補正画像データＤ２２は、赤目や金目といった不具合が適切に修正された画像を表すものとなり、結果的に、画像修正装置４００では、原画像の不具合が精度よく修正されることとなる。
【００５４】
なお、ここでは、画像データに対して、赤目と金目のいずれか一方の修正が施されるような説明をしたが、これは説明の便宜上のものであり、原画像中に赤目と金目の両方が存在する場合には、両方とも修正の対象となるのは当然である。
【００５５】
また、上記説明では、記憶媒体に記憶された画像修正プログラムが例示されているが、本発明の画像修正プログラムは、通信ネットワーク上などで送受信されているものであってもよい。
【００５６】
また、上記説明では、記憶媒体に記憶された画像データを取り込む画像修正装置が例示されているが、本発明の画像修正装置は、デジタルスチルカメラからＵＳＢなどで画像データを取り込むものであってもよく、あるいは、通信ネットワークなどを介して画像データを取り込むものであってもよい。
【００５７】
また、上記説明では、修正後の画像データをフレキシブルディスクやハードディスクに記録する画像修正装置が例示されているが、本発明の画像修正装置は、修正後の画像データを、ＣＤ−Ｒ、ＤＶＤ、ＭＯなどといった他の種類の記憶媒体に出力するものであってもよく、修正後の画像データを写真プリンタなどに出力するものであってもよく、あるいは、通信ネットワークなどを介して修正後の画像データを出力するものであってもよい。
【００５８】
また、上記説明では、局所的な不具合として赤目や金目が例示されているが、本発明にいう局所的な不具合としては、目以外の口や眉などといった顔の部品の不具合であってもよく、顔の部品以外の、傷や、逆光による部分的な露光不足などといった不具合であってもよい。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、作業効率を犠牲にすることなく不具合の修正精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態が適用されるパーソナルコンピュータの外観図である。
【図２】本発明の画像修正方法の一実施形態を示すフローチャートである。
【図３】本発明の画像修正プログラムの一実施形態を示す図である。
【図４】本発明の画像修正プログラムの一実施形態を示す図である。
【図５】表示部による表示例を示す図である。
【図６】別の表示例を示す図である。
【符号の説明】
１００　　パーソナルコンピュータ
１１０　　本体部
１１１　　フレキシブルディスク装填口
１１２　　ＣＤ−ＲＯＭ装填口
１２０　　ＣＲＴディスプレイ
１２１　　蛍光面
１３０　　キーボード
１４０　　マウス
２００　　画像修正プログラム記憶媒体
３００　　画像修正プログラム
３１０　　検出部
３２０　　表示部
３３０　　修正部
４００　　画像修正装置
４１０　　目検出部
４２０　　表示部
４３１　　赤目修正部
４３２　　金目修正部
【図１】
2004118319.tif 000003
【図２】
2004118319.tif 000004
【図３】
2004118319.tif 000005
【図４】
2004118319.tif 000006
【図５】
2004118319.tif 000007
【図６】
2004118319.tif 000008