(57)【要約】【課題】目が閉じていた場合であっても違和感を感じない処理が可能な画像処理装置及び画像処理プログラムを提供する。【解決手段】証明写真撮影装置等に含まれる画像処理装置１０である。画像処理装置１０は、目を含む目領域を特定する目領域特定部１３と、前記目が開いているか閉じているかを判定する目開閉判定部１４と、前記目が開いているか閉じているかによって、前記目領域に対して異なる処理をする画像処理部１５と、を備える。この画像処理装置１０は、顔が含まれる撮影画像に対して目の開閉を判断して、目の開閉によって異なる処理を行うことができる。このため、目が閉じていた場合に、違和感のない画像を得ることができる。【選択図】図２
2016009306.tif 000002
【特許請求の範囲】
【請求項１】
顔が含まれる撮影画像において、目を含む目領域を特定する目領域特定部と、
前記目が開いているか閉じているかを判定する目開閉判定部と、
前記目が開いているか閉じているかによって、前記目領域に対して異なる処理をする画像処理部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像処理部は、
前記目開閉判定部が、前記目が開いていると判定した場合、前記目領域に鮮鋭化処理を行うこと、
を特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記画像処理部は、
前記目開閉判定部が、前記目が閉じていると判定した場合、前記閉じた瞼のラインを含む領域に対して肌色とアイラインの色とを合成する合成処理を行うこと、
を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記画像処理部は、前記合成処理に用いるテンプレートを複数有すること、
を特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像処理装置において、
前記画像処理部は、前記撮影画像が、開いている目と、閉じている目とを含む場合、それぞれに対して異なる処理を行うこと、
を特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置において、
前記目開閉判定部は、前記目が開いているか閉じているかを、前記目領域の画像を二値化して左右の目の領域ごとに、二値化した画素数により判定すること、
を特徴とする画像処理装置。
【請求項７】
コンピュータを、
顔が含まれる撮影画像において、目を含む目領域を特定する目領域特定手段、
前記目が開いているか閉じているかを判定する目開閉判定手段、及び
前記目が開いているか閉じているかによって、前記目領域に対して異なる処理をする画像処理手段、
として機能させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
証明写真等の撮影において、撮影した人物画像に対して、様々な画像処理を行うサービス（背景合成や美肌など）が存在する。その中の１つのサービスとして、目を強調する画像処理（目の鮮鋭化処理）がある。
目の鮮鋭化処理としては、目を含む所定範囲の領域を特定し、その特定した領域に対して鮮鋭化処理を施す手法が一般的である（特許文献１参照）。また、目の鮮鋭化処理を行うために、二値化して目を検出する手法が用いられている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１２−５０１５０５号公報
【特許文献２】特許第４１５８１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来、目の鮮鋭化処理を行う際に目の開閉判断は行われておらず、目が閉じていた場合、閉じた瞼に対して鮮鋭化処理が適用される。このため、顔の他の領域と比べて瞼の部分の肌のキメが目立ち、違和感のある画像が生成される。
本発明は、目が閉じていた場合であっても違和感を感じない鮮鋭化処理が可能な画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、顔が含まれる撮影画像において、目を含む目領域を特定する目領域特定部と、前記目が開いているか閉じているかを判定する目開閉判定部と、前記目が開いているか閉じているかによって、前記目領域に対して異なる処理をする画像処理部と、を備える画像処理装置である。
第２の発明は、第１の発明の画像処理装置において、前記画像処理部は、前記目開閉判定部が、前記目が開いていると判定した場合、前記目領域に鮮鋭化処理を行うこと、を特徴とする画像処理装置である。
第３の発明は、第１または第２の発明の画像処理装置において、前記画像処理部は、前記目開閉判定部が、前記目が閉じていると判定した場合、前記閉じた瞼のラインを含む領域に対して肌色とアイラインの色とを合成する合成処理を行うこと、を特徴とする画像処理装置である。
第４の発明は、第３の発明の画像処理装置において、前記画像処理部は、前記合成処理に用いるテンプレートを複数有すること、を特徴とする画像処理装置である。
第５の発明は、第１の発明から第４の発明のいずれかの画像処理装置において、前記画像処理部は、前記撮影画像が、開いている目と、閉じている目とを含む場合、それぞれに対して異なる処理を行うこと、を特徴とする画像処理装置である。
第６の発明は、第１の発明から第５の発明のいずれかの画像処理装置において、前記目開閉判定部は、前記目が開いているか閉じているかを、前記目領域の画像を二値化して左右の目の領域ごとに、二値化した画素数により判定すること、を特徴とする画像処理装置である。
第７の発明は、コンピュータを、顔が含まれる撮影画像において、目を含む目領域を特定する目領域特定手段、前記目が開いているか閉じているかを判定する目開閉判定手段、及び前記目が開いているか閉じているかによって、前記目領域に対して異なる処理をする画像処理手段、として機能させる画像処理プログラムである。
【発明の効果】
【０００６】
本発明によれば、目が閉じていた場合であっても違和感を感じない鮮鋭化処理が可能な画像処理装置及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態の写真撮影装置の概略図である。
【図２】写真撮影装置本体のブロック図である。
【図３】画像処理装置で行われる処理の流れを図示した図である。
【図４】画像処理装置で行われる処理のフロチャートである。
【図５】目が開いている状態における目領域の鮮鋭化前と鮮鋭化後の状態を示した図である。
【図６】目が閉じている状態における目領域に対する処理を説明する図である。
【図７】一方の目が開いて、他方の目が閉じている状態における目領域に対する処理を説明する図である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【０００９】
＜写真撮影装置＞
以下、本発明の一実施形態の画像処理装置１０を含む証明写真用の写真撮影装置１について説明する。図１は、本実施形態の写真撮影装置１の概略図であり、図２は写真撮影装置本体２のブロック図である。
【００１０】
図１に示すように写真撮影装置１は、遮光カーテン１ａにより内部空間が外部から遮蔽されたボックス型に形成されている。内部空間には、被写体である人物Ａが座る椅子６と、本実施形態の画像処理装置１０を含む写真撮影装置本体２と、が配置されている。
【００１１】
写真撮影装置本体２は、撮影される画像及び撮影後の画面等を表示する表示部４、人物Ａが操作入力を行う操作部５、及び写真撮影を行うカメラ２０を備える。なお、表示部４をタッチパネルにして操作部５を省略してもよい。
写真撮影装置本体２は、さらに、内部に画像処理装置１０及び出力装置３０等を備える。
【００１２】
カメラ２０は、例えばデジタルカメラ２０であり、図示しないレンズ、シャッタ、撮像素子、Ａ／Ｄ変換器等を有する。カメラ２０は写真撮影装置本体２に固定されている。
人物Ａは、椅子６に座り、表示部４に表示されるスルー画において、顔が所定位置に入るように自ら椅子６の高さを調整する。これにより、人物Ａの顔は、撮影画面内において、照明写真として適切な略一定の大きさ及び位置になる。
【００１３】
撮影準備が出来たところで人物Ａが操作部５より撮影開始を指示すると、カメラ２０により撮影が開始され、レンズを通った被写体光は、人物Ａの像として撮像素子に結像する。撮像素子は、受光面に結像された被写体像を光電変換し、画像信号としてＡ／Ｄ変換器に出力する。Ａ／Ｄ変換器は、撮像素子から出力された画像信号をＡ／Ｄ変換し、撮影画像データを生成し、画像処理装置１０へ出力する。
【００１４】
出力装置３０は、画像処理装置１０により処理された画像を用紙に出力する。出力装置３０の画像出力方式は特に限定されず、インクジェット方式、レーザ方式、昇華型熱転写方式、溶融型熱転写方式等いずれの方式であっても良い。
【００１５】
画像処理装置１０は、図２に示すように、肌領域抽出部１１と、二値化部１２と、目領域特定部１３と、目開閉判定部１４と、画像処理部１５と、を備える。図３は画像処理装置１０で行われる処理の流れを図示したものであり、図４は画像処理装置１０で行われる処理のフロチャートである。
【００１６】
＜肌領域抽出部＞
図３（Ａ）に示すような人物Ａの画像が撮影装置１から入力されると、画像処理装置１０は、肌領域抽出部１１において、画像における肌領域の抽出を行う(ステップＳ１)。
【００１７】
肌領域の抽出は、この方法に限定されないが、一例として特開２００５−２７６１８２に記載の方法により行う。
すなわち、まず、撮影画像における人物画像上に参照領域を定義する。参照領域は、例えば、両目の下方の鼻の両脇の輪郭をまたぐ領域である。この領域内には、当該人物画像の肌の色の標準色が含まれるからである。人物画像の肌領域を構成する額、頬、あご、耳、首などの各部の色は、この参照領域内に含まれているいずれかの色にほぼ近似することなる。
そして、この参照領域内に存在する各画素の３つの色成分ＲＧＢ等の画素値の平均値(平均画素値)を求め、この平均画素値に対する色差が所定範囲内の画素値をもつ画素を選出画素として抽出する。そして、この選出画素の集合からなる領域により、当該人物の肌領域を示す肌領域抽出データを作成する。図３（Ｂ）はこのようにして作成された肌領域抽出データである。
【００１８】
＜二値化部＞
二値化部１２は、例えば、特許４１５８１５３に記載のように、まず、抽出した肌領域の明るさＶの平均値Ｖｍより以下の式により標準偏差σを求める。
【数１】
2016009306.tif 000003
次いで、以下の式のように、その肌領域の明るさの平均値Ｖｍから、その標準偏差σを引いて、定数Ｋによって若干特徴を強調するように調整して閾値Ｖｓを決定する(ステップＳ２)。
Ｖｓ＝Ｖｍ−σ−Ｋ
そして、この決定閾値Ｖｓに基づいて二値化処理を行う（ステップＳ３)。図３（Ｃ）は肌領域抽出データを二値化した後の図である。この二値化により、顔の特徴部分の特定が容易になる。
【００１９】
＜目領域特定部＞
目領域特定部１３は、ステップＳ３で二値化された領域を、図３（Ｄ）に示すように白黒反転(ステップＳ４)したのち、目を含む領域（目領域）を特定する(ステップＳ５)。
証明写真の場合、人物Ａは、上述のように撮影前に、表示部４に表示されたスルー画を見ながら、顔の位置が指定された位置になるよう椅子６の高さやカメラ２０に対する前後位置を調整する。したがって、画面における顔の位置及び大きさは、略一定となる。また、撮影画像の縦横の長さも選択する写真サイズにより一定である。ゆえに、撮影画像における顔の長さ（頭頂部と顎の間）Ｙ１、及び写真の全体長さ（縦方向長さ）Ｙ２の値は特定される（図３（Ｅ）参照）。
【００２０】
このＹ２を用いて、図３（Ｅ）に示すように、写真の上端から０．５Ｙ２を通る線を、下補助線Ｌ１とする。そして、写真の上から０．４Ｙ２を通る線を上補助線Ｌ２とする。
【００２１】
また、顔の長さＹ１をもとに、目領域の横幅Ｘ１を求める。本実施形態でＸ１は、０．５Ｙ１である。ただし、０．３Ｙ１〜０．７Ｙ１の範囲において変更可能である。
そして、写真の横方向中心線ＣＬから左にＸ１／２を通るＣＬと平行な線を左補助線Ｌ３とする。写真の横方向中心線ＣＬから右にＸ１／２を通るＣＬと平行な線を右補助線Ｌ４とする。
【００２２】
下補助線Ｌ１と、上補助線Ｌ２と、左補助線Ｌ３と、センターラインＣＬと、で囲まれた領域を左目領域ＡＬとする。また、下補助線Ｌ１と、上補助線Ｌ２と、右補助線Ｌ４と、センターラインＣＬと、で囲まれた領域を右目領域ＡＲとする（図３（Ｅ），（Ｆ））。
【００２３】
なお、本実施形態では、写真撮影装置１で撮影される写真が証明写真であって、予め顔の位置が特定されているので、このように補助線を用いて目の領域を特定することができる。
このため、例えば全画像をスキャンして顔を特定して、それから目領域を検出するよりも演算時間が短縮することができる。
【００２４】
また、本実施形態では、右目領域ＡＲと左目領域ＡＬとを分けて目の開閉を判断した。これにより、片目が開いて片目が閉じている状態において、開いている目には鮮鋭化処理を行い、閉じている目にはアイライン処理を行うことができる。このため、片目が開いて片目が閉じている状態においても違和感のない処理を行うことが可能である。
【００２５】
＜目開閉判定部＞
目開閉判定部１４は、特定された右目領域ＡＲ及び左目領域ＡＬ内における、二値化した一方の白の画素数が事前に指定した画素数よりも多いか否かで、目が開いているか否かを判断する(図３（Ｇ），ステップＳ６)。
なお、これに限らず、二値化した他方の黒の画素数により目の開閉を判断しても良い。
さらに、例えば、右目領域ＡＲ及び左目領域ＡＬそれぞれに対する、目が開いている状態または閉じている状態のテンプレートを用意し、そのテンプレートと、右目領域ＡＲ及び左目領域ＡＬそれぞれとの二値化した画像とを比較し、一致・不一致により、目の開閉を判断しても良い。
【００２６】
＜画像処理部＞
画像処理部１５は、右目領域ＡＲ及び左目領域ＡＬのそれぞれにおいて、目が開いていると判断された場合(ステップＳ６，ＹＥＳ)、その領域に含まれる目の部分に対して鮮鋭化処理を行う(ステップＳ７)。
鮮鋭化処理は、特表２０１２−５０１５０５に記載のような公知の方法を用いる。たとえば、鮮鋭化処理は、目の輪郭を構成している画素について、それに隣接する画素との濃度差（輝度差）を大きくするように、画像データを変換するフィルタ処理である。
【００２７】
図５は、目が開いている状態における目領域の鮮鋭化前と鮮鋭化後の状態を示した図である。図５（Ａ）は、両目が開いている状態の元の画像（鮮鋭化前の画像）である。（Ｂ）は両目が開いている状態の鮮鋭化処理後の画像である。
図示するように、目領域の鮮鋭化後においては、元の画像より目の輪郭、黒目の縁、黒目のキャッチライトが鮮鋭化している。これにより、より印象の良い写真となる。
【００２８】
図６は、目が閉じている状態における目領域に対する処理を説明する図である。
しかし、図６（Ａ）に示すように、元画像において両目が閉じている場合に、目元の鮮鋭化の処理を施すと、図６（Ｄ）に示すように閉じている瞼及びその近傍が鮮鋭化される。このため、瞼のエッジが際立ち、瞼領域だけ肌のキメが目立った画像となって違和感のある画像が生成される。
【００２９】
そこで、本実施形態では、目が閉じている場合(ステップＳ６，ＮＯ)は、目元の鮮鋭化を行わず、閉じた瞼のラインを含む領域にアイラインを引くアイライン処理を行う(ステップＳ８，図６（Ｂ）)。
なお、このアイライン処理を行うか否かは、例えば操作部５より選択可能であってもよく、アイラン処理を行わない場合、閉じている目に対しては何も処理をしないようにしてもよい（図６（Ｃ）)。
【００３０】
アイライン処理は、たとえば、アルファ合成処理を用いて、閉じた瞼のラインを含む領域に黒、青、紫等の色を加える処理である。アルファ合成処理は、マスク画像と呼ばれる透過したい部分を規定した画像を用意し、その画像に対して、他の画像の透過を行う公知の処理である。
本実施形態では、閉じた瞼のラインに沿った所定幅の領域をマスク画像として用意し、そのマスク画像に対して、透過したい黒、青、紫等の色画像を透過する。
また、本実施形態では、マスク画像として、異なる目の大きさに対応可能なように、複数のテンプレートを用意する。そして、そのうちの選択されたテンプレートをマスク画像として用いて、アイライン処理を行う。
テンプレートの選択は、画像処理部１５が閉じた瞼のラインの長さを自動的に測定して、いずれかのテンプレートを選択してもよく、また、撮影している人物Ａが、好みのテンプレートを操作部５より選択してもよい。
【００３１】
また、一方の目が開いて、他方の目が閉じている、いわゆるウインクしている状態の場合、片目ずつ異なる処理を行う。図７は、このウインク状態における目領域に対する処理を説明する図である。この場合、開いている目には鮮鋭化処理を行い、閉じている目にはアイライン処理を行う。
このように、開いている目には鮮鋭化処理が行われ、閉じている目にはアイラン処理が行われるので、ウインク状態においても違和感のない画像を得ることができる。
【００３２】
（１）以上、本実施形態によると、目が開いている場合は鮮鋭化処理が行われ、目がくっきりした好印象画像を得ることができる。
（２）目が閉じていた場合に目の領域の鮮鋭化処理を行うと、瞼の領域に対して鮮鋭化処理が適用され、瞼のエッジが際立ち、違和感のある画像（瞼領域だけ肌のキメが目立った画像）が生成される。しかし、本実施形態では、目が閉じていた場合は、鮮鋭化処理は行われないので、違和感のない画像を得ることができる。
【００３３】
（３）また、目が閉じていた場合は、アイライン処理を行うことができるので、両目が閉じていた場合であっても好印象の画像を得ることができる。
【００３４】
（４）さらに片目が開いて片目が閉じている場合、開いている目には鮮鋭化処理が行われ、閉じている目にはアイラン処理が行われるので、左右違和感がなく、かつ好印象の画像を得ることができる。
【００３５】
（５）証明写真の場合、予め定められている顔の長さや写真の長さを用いて目領域を特定するので、演算時間を短縮することができる。
【００３６】
（変形形態）
（１）以上、本発明の一実施形態の画像処理装置１０を含む証明写真用の写真撮影装置１について説明したが、本発明はこれに限定されない。たとえば、画像処理装置は、証明写真用の写真撮影装置１に限定されず、シールに印刷された写真を作成する写真撮影装置等にも適用可能である。
また、本発明は、画像処理装置に限定されず、ＰＣにインストールやダウンロード可能なソフトウエア等であってもよく、携帯電話、スマートフォン等にダウンロード可能なアプリケーションであってもよい。
（２）上述の実施形態では、写真撮影装置１で撮影される写真が証明写真であって、予め顔の位置が特定されているので、補助線を用いて目の領域を特定した。しかし、画像中における顔の位置が予め定められていない場合は、撮影画面をスキャン等することにより顔を認識し、認識された顔領域をもとに目領域を求めてもよい。
（３）上述の実施形態では、右目領域ＡＲと左目領域ＡＬとを分けて目の開閉を判断した。ただし、これに限定されず、右目領域ＡＲと左目領域ＡＬとを分けずに処理を行うこともできる。この場合、演算時間を短縮することができる。
【符号の説明】
【００３７】
１：撮影装置、２：写真撮影装置本体、１０：画像処理装置、１１：肌領域抽出部、１２：二値化部、１３：目領域特定部、１４：目開閉判定部、１５：画像処理部、２０：カメラ
【図１】
2016009306.tif 000004
【図２】
2016009306.tif 000005
【図３】
2016009306.tif 000006
【図４】
2016009306.tif 000007
【図５】
2016009306.tif 000008
【図６】
2016009306.tif 000009
【図７】
2016009306.tif 000010