(57)【要約】  サイズ変更後の画像に含まれる被写体の美観が損なわれることを防止する。美顔処理部（２４）は、サイズが変更された後の画像の少なくとも一部に含まれる被写体の肌領域に、サイズ変更率に応じた程度の美顔処理を施す。
2017034012.tif 000002
【特許請求の範囲】
【請求項１】
被写体を含む画像のサイズ変更率を算出するサイズ変更率算出部と、
上記サイズ変更率に基づき上記画像の少なくとも一部のサイズを変更する画像サイズ変更部と、
上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出部と、
上記サイズ変更率に応じた程度の美顔処理を上記肌領域に施す美顔処理部とを備えていることを特徴とする画像処理装置。
【請求項２】
上記美顔処理部は、上記画像の少なくとも一部が縮小された場合、より低い程度の上記美顔処理を上記肌領域に施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記美顔処理部は、上記画像の少なくとも一部が拡大された場合、より高い程度の上記美顔処理を上記肌領域に施すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記被写体の顔の大きさを検出する顔検出部と、
上記顔の大きさに基づき、上記美顔処理の程度を補正するための補正値を生成する補正値生成部とをさらに備え、
上記美顔処理部は、上記サイズ変更率および上記補正値の双方に応じた程度の上記美顔処理を上記肌領域に施すことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は画像処理技術に関し、特には画像に対して適切な美顔処理を施す画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
近年、拡大された画像に所定の画像処理を施すことによって、好適な画像を生成する技術が開発されている。たとえば特許文献１には、電子ズームによって画像の拡大を行った場合でも画像の輪郭部分を鮮鋭に保った画像を得るために、画像の拡大率に応じてカメラ信号手段における輪郭補正ゲインを調整する映像信号処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国公開特許公報「特開２００５−２００６１号（２００５年１月２０日公開）」
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術では、画像を拡大したときに輪郭補正ゲインを高くすることによって画像の輪郭部分を鮮鋭に保つように補正する結果、被写体の顔に現れるシミおよびシワが強調される。このため、サイズ変更後の画像に含まれる被写体の美観が損なわれるという問題が生じる。【０００５】
本発明の一態様は上記の課題を解決するためになされたものである。そしてその目的は、サイズ変更後の画像に含まれる被写体の美観が損なわれることを防止できる画像処理装置およびプログラムを提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、上記の課題を解決するために、被写体を含む画像のサイズ変更率を算出するサイズ変更率算出部と、上記サイズ変更率に基づき上記画像の少なくとも一部のサイズを変更する画像サイズ変更部と、上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出部と、上記サイズ変更率に応じた程度の美顔処理を上記肌領域に施す美顔処理部とを備えていることを特徴としている。
【発明の効果】
【０００７】
本発明の一態様によれば、サイズ変更後の画像に含まれる被写体の美観が損なわれることを防止できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態１に係る画像処理装置を備える画像表示装置の構成を示す機能ブロック図である。
【図２】本発明の実施形態１における画像サイズの変更を説明する図である。
【図３】本発明の実施形態１における肌領域の抽出を説明する図である。
【図４】本発明の実施形態１におけるサイズ変更率と美顔処理の程度との関係を示す図である。
【図５】本発明の実施形態１における陰影重畳処理を説明するための図である。
【図６】本発明の実施形態１に係る画像処理装置によって実行される画像処理方法の流れを表すフローチャートである。
【図７】本発明の実施形態２に係る画像処理装置を備える画像表示装置の構成を示す機能ブロック図である。
【図８】本発明の実施形態２における顔検出の詳細を説明する図である。
【図９】本発明の実施形態２におけるサイズ変更率と美顔処理の程度との関係を示す図である。
【図１０】本発明の実施形態２に係る画像表示装置によって実行される画像処理方法の流れを表すフローチャートである。
【発明を実施するための形態】
【０００９】
本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。各添付図面は、本発明の原理に則った具体的な実施形態を示すに過ぎない。これらは本発明の理解のために用意されたに過ぎず、決して本発明を限定的に解釈させるためのものではない。また、各添付図面に図示される各要素は、本発明の理解を深めるために敢えて誇張して記載されているので、実際の各要素の間隔および大きさとは異なることに留意すべきである。
【００１０】
以下の説明において、ある図面においてある要素に付された符号と同じ符号が他の図面内の同一の要素にも付されている場合、当該同一の要素の構成および機能等は当該ある要素と同一であるため、当該同一の要素についての詳細な説明を省略する。また、以下に記載される「画像」または「コンテンツデータ」とは、静止画像および動画像の両方を含む意味のものである。さらに、動画像に音声情報が含まれる場合、「画像」および「コンテンツデータ」は音声情報も含むものとする。
【００１１】
〔実施形態１〕
本発明に係る実施形態１について、図１〜図６に基づき以下に説明する。
【００１２】
（装置構成）
図１は、本発明の実施形態１に係る画像処理装置２０を備える画像表示装置１の構成を示す機能ブロック図である。この図に示すように、画像表示装置１は、入出力装置１０、画像処理装置２０、および表示部３０を備えている。入出力装置１０は、撮像部１１、送受信部１２、画像入出力部１３、ユーザ入力部１４、および記憶部１５を備えている。画像処理装置２０は、サイズ変更率算出部２１、画像サイズ変更部２２、肌領域抽出部２３、および美顔処理部２４を備えている。
【００１３】
画像表示装置１は、画像を表示することができる各種の装置として実現される。その具体例として、たとえば、テレビジョン受信装置、モニタ、携帯電話、スマートフォン、タブレットＰＣ、ＰＣ、携帯ゲーム機、電子フォトフレーム、デジタルスチルカメラ、およびビデオカメラなどが挙げられる。
【００１４】
（撮像部１１）
撮像部１１は、撮像レンズと、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子とを備えており、被写体を撮像することによって、当該被写体を含む画像（静止画または動画）を生成する。
【００１５】
（送受信部１２）
送受信部１２は、コンテンツデータなどを送信したり受信したりするための一般的なインターフェイスである。送受信部１２は、テレビ放送波、インターネット、およびその他の通信回線を通じて提供される画像を受信する。送受信部１２は、テレビジョン放送の放送波を受信するテレビジョン受信装置などによって提供される、放送波に含まれるコンテンツデータを受信し、これを再生する部材であればよい。あるいは送受信部１２は、インターネットまたはその他の通信回線から配信されたコンテンツデータを受信し、これを再生する部材であってもよい。
【００１６】
（画像入出力部１３）
画像入出力部１３は、入出力装置１０の外部から入力された画像を受け付け、入力画像として出力する一般的な部材である。画像入出力部１３は、コンテンツデータを受信するための部材であれば、如何なる部材であっても構わない。たとえば画像入出力部１３は、ディスクプレイヤなどの外部機器からの画像信号を受け付けるレシーバなどを備えており、これを使用してコンテンツデータを受け付けかつ再生する部材であってもよい。
【００１７】
（ユーザ入力部１４）
ユーザ入力部１４は、画像表示装置１に対するユーザからの指示（画像サイズの変更指示等）などを受信し、これを画像処理装置２０に出力する部材である。ユーザ入力部１４は、たとえばキーボタン、タッチパネル、マウス、またはマイクなどの入力装置、あるいは人体の動きを検知する赤外線照射装置などを使用することによって、ユーザからの指示または音声指示を受信することができる。
【００１８】
（記憶部１５）
記憶部１５は、画像またはコンテンツデータを記録媒体に記憶したり、記録媒体に記憶された画像またはコンテンツデータを読み込んで画像処理装置２０に出力したりすることができる一般的な部材である。記憶部１５は、たとえば所定の記録媒体からコンテンツデータを読み込み、これを再生する部材であってもよい。記録媒体としては、市販のカメラ（デジタルカメラ、ビデオカメラなど）内の記憶装置、または取り外し可能な記憶装置（光磁気ディスクおよび半導体メモリなどの電子媒体）が例示的に挙げられる。
【００１９】
入出力装置１０を構成する撮像部１１、送受信部１２、画像入出力部１３、および記憶部１５は、それぞれ異なる方法で画像を画像処理装置２０に提供するために用いられる部材である。入出力装置１０は、これらのうち少なくとも一つを備えている構成であればよい。以下では、入出力装置１０が撮像部１１、記憶部１５、およびユーザ入力部１４を備えている例について説明する。すなわち本実施形態では、画像表示装置１が撮像部１１によって被写体を撮像し、撮像した画像から被写体のサイズ変更率に応じて適切な美顔処理が施された画像を生成し、生成された画像を表示部３０に表示する場合の例について、説明する。
【００２０】
（表示部３０）
表示部３０は、一般的なＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：液晶ディスプレイ）などで構成されており、外部から入力された画像および文字データなどを表示する。
【００２１】
入出力装置１０および表示部３０は一般的な装置であり、本発明の特徴点とは直接関係しない。そのため、これらについてのこれ以上の詳細な説明は省略する。
【００２２】
（画像処理装置２０）
画像処理装置２０は、入出力装置１０から取得した画像を、ユーザ入力部１４から取得したユーザ指示に基づき処理し、処理後の画像を表示部３０および入出力装置１０の少なくとも一つに出力する。画像処理装置２０は、たとえばＣＰＵ（Central Processing Unit：中央処理装置）またはＧＰＵ（Graphic Processing Unit：画像処理用処理装置）などとして構成できる。
【００２３】
（サイズ変更率算出部２１）
サイズ変更率算出部２１は、ユーザ入力部１４から入力される画像のサイズ変更指示に基づき、画像サイズ変更部２２が画像のサイズを変更する際の変更率（サイズ変更率）を算出する。この処理の詳細は後述する。
【００２４】
（画像サイズ変更部２２）
画像サイズ変更部２２は、算出されたサイズ変更率に基づき、入出力装置１０から画像処理装置２０が取得した画像の少なくとも一部（すなわち画像の一部または全部）のサイズを変更する。この処理の詳細は後述する。
【００２５】
（画像サイズ変更部２２）
肌領域抽出部２３は、画像に含まれる被写体の肌領域を画像から抽出する。この処理の詳細は後述する。
【００２６】
（美顔処理部２４）
美顔処理部２４は、算出されたサイズ変更率に応じた程度の美顔処理を、画像内の被写体の肌領域に施す。この処理の詳細は後述する。
【００２７】
（サイズ変更率算出の詳細）
サイズ変更率算出部２１は、ユーザ入力部１４から入力された画像のサイズ変更指示に基づき、画像のサイズ変更率を算出する。サイズ変更率とは、画像の一部または全部のサイズを変更（拡大または縮小）する際の、基準となる画像の縦画素数とサイズ変更後の画素の縦画素数との比を表す値、または、基準となる画像の横画素数とサイズ変更後の画素の横画素数との比率を表す値、である。サイズ変更率が１であれば、画像のサイズは変更されない。すなわち、このサイズ変更率に基づきサイズ変更された後の画像の縦画素数と、基準となる画像の縦画素数とは、互いに等しい。一方、サイズ変更率が１よりも大きければ画像は拡大され、逆にサイズ変更率が１よりも小さければ画像は縮小される。
【００２８】
画像の一部のサイズを変更する場合、基準となる画像の縦画素数と横画素数として、サイズ変更される範囲の縦画素数と横画素数を用いればよい。
【００２９】
ユーザによる画像表示装置１へのサイズ変更指示の入力方法には様々ある。たとえばユーザは、表示部３０に表示されたソフトウェアキーボードを通じてサイズ変更率を数値として入力することによって、サイズ変更指示を入力することができる。他にも、ユーザは、表示部３０または図示しないリモートコントロール装置に備えられる図示しないタッチパネルへの所定のピンチイン操作またはピンチアウト操作を行うことによって、サイズ変更指示を入力することができる。あるいは、サイズ変更指示を表す所定の動き（ジェスチャ）をユーザが両手を使用して画像表示装置１に提示し、これを画像表示装置１が認識する方式でもよい。
【００３０】
リモートコントロール装置を通じたサイズ変更指示の入力では、ユーザは、サイズ変更率を１．２および０．２などの数値として入力することができる。このとき、入力された数値に応じた画像のサイズ変更範囲を枠として表示すれば、ユーザがサイズ変更率を指定しやすくなるので、好適である。
【００３１】
タッチパネルへのサイズ変更指示の入力では、ユーザはまず２本の指で表示部３０の画面に触れ、それから画面をつまむように指を近づける（ピンチイン）か、あるいは画面をはじくように指を遠ざける（ピンチアウト）。画像表示装置１は、前者の場合にサイズ変更率を１以下に設定することができる、一方、後者の場合はサイズ変更率を１以上に設定することができる。その際、画像表示装置１は、サイズ変更率の値を、２本の指の接触開始点と接触終了点との比率から算出する。
【００３２】
ジェスチャ提示によるサイズ変更指示の入力では、ユーザは左手および右手を動かす。画像表示装置１は、左手と右手とを互いに近づけるジェスチャが提示された場合、サイズ変更率を１以下に設定し、一方、左手と右手とを互いに遠ざけるジェスチャが提示された場合、サイズ変更率を１以上に設定する。画像表示装置１は、サイズ変更率の値を、左手のジェスチャ開始点および右手のジェスチャ開始点と、左手のジェスチャ終了点および右手のジェスチャ終了点との比率から算出することができる。
【００３３】
（画像サイズの変更の詳細）
図２は、本発明の実施形態１における画像サイズの変更を説明する図である。画像サイズ変更部２２は、算出されたサイズ変更率に基づき、入出力装置１０から画像処理装置２０が取得した画像の一部または全部のサイズを変更（拡大または縮小）する。図２の（ａ）に、サイズ変更前の画像１２１を示す。画像１２１の横画素数Ｘ１は１９２０画素であり、縦画素数Ｙ１は１０８０画素である。
【００３４】
画像サイズ変更部２２は、サイズ変更率が０．５である場合、画像１２１を、図２の（ｂ）に示す画像１２２に変換する。画像１２２の横画素数Ｘ２は９６０画素であり、縦画素数Ｙ２は５４０画素である。すなわち画像サイズ変更部２２は、画像１２１のサイズを４分の１に縮小することによって、縮小後の画像１２２を生成する。
【００３５】
一方、画像サイズ変更部２２は、サイズ変更率が２である場合、画像１２１を、図２の（ｃ）に示す画像１２３に変換する。画像１２３の横画素数Ｘ３は３８４０画素であり、縦画素数Ｙ３は２１６０画素である。すなわち画像サイズ変更部２２は、画像１２１のサイズを４倍に拡大することによって、拡大後の画像１２３を生成する。
【００３６】
以上のように、画像処理装置２０は、入力されたサイズ変更率に基づき、元の画像から拡大または縮小された新たな画像を生成する。
【００３７】
（肌領域抽出の詳細）
図３は、本発明の実施形態１における肌領域の抽出を説明する図である。図３の（ａ）に、画像処理装置２０に入力された画像１３１を示す。画像１３１には、人物（女性）を示す被写体１３２が含まれている。肌領域抽出部２３は、画像１３１内の全領域から、以下の式（１）を使用して被写体１３２の肌領域を抽出する。
【００３８】
【数１】
2017034012.tif 000003
【００３９】
式（１）において、Ｒｉ、Ｇｉ、およびＢｉは、画像１３１に含まれる各画素の色を規定する原色（赤、緑、および青）の値である。ｉは画像内のいずれかの画素を示す番号であり、１以上の値を取る。一方、Ｒｓ、Ｇｓ、およびＢｓは、基準となる肌色を規定する原色（赤、緑、および青）の値である。式（１）に示すように、肌領域抽出部２３は、画像１３１内の各画素を規定する原色の値と、基準となる肌色を規定する原色の値との距離Ｄを算出する。そして、算出された距離Ｄが規定の閾値ＴＨ以下である各画素を含む領域を、被写体１３２の肌領域として抽出する。肌領域抽出部２３は、肌領域抽出結果として、図３の（ｂ）に示すように、画像１３１から抽出された肌領域１３４のみがマスクされた画像１３４を、美顔処理部２４に出力する。
【００４０】
基準となる肌色として、理想的な肌色または複数人の肌領域の色を平均した色などを用いればよい。さらに、基準となる異なる肌色を複数設定しておき、入力画像の撮影状況に応じて、肌領域の抽出に使用する基準となる肌色を切り替えるようすれば、多様な撮影状況に対応できるので好適である。また、距離Ｄの算出時に、Ｒ値、Ｇ値、またはＢ値ごとに重みづけを行ってもよい。さらに、距離Ｄの算出時に、Ｒ値、Ｇ値、およびＢ値でなく、色相値、彩度値、および明度値を用いるなど、異なる色空間に応じた色値を使用しても、同等の結果を得ることができる。上述の例では注目画素（１画素）ごとに画素の色と基準となる肌色との距離を算出しているが、注目画素のみならず、注目画素とその周辺画素とによって構成される局所領域における色の平均値および中間値を用いれば、画像中のノイズの影響を抑制できるので、好適である。
【００４１】
（美顔処理の詳細）
美顔処理部２４は、入力されたサイズ変更率に応じた程度の美顔処理を、被写体の肌領域に施す。すなわち、サイズ変更率に応じて美顔処理の程度を変更する。ここでいう美顔処理とは、肌領域に対する平滑化処理、肌色補正処理、または陰影重畳処理などのことである。美顔処理部２４は、これらのうち少なくとも一つの処理を肌領域に施す。
【００４２】
美顔処理の程度を変更することは、たとえば以下のうち少なくとも一つを意味する。
【００４３】
１．平滑化処理の程度を変更することによって、肌領域における毛穴、シミ、およびシワなどの除去の重みを変えること。
【００４４】
２．肌色補正処理の程度を変更することによって、肌領域を美白したり健康的な肌にしたりする程度を変えること。
【００４５】
３．陰影重畳処理の程度を変更することによって、肌領域を含む顔の立体感の強調度を変えること。
【００４６】
図４は、本発明の実施形態１におけるサイズ変更率と美顔処理の程度との関係を示す図である。図４において、横軸はサイズ変更率を表し、縦軸は美顔処理の程度を表す。サイズ変更率が最小値Ｘｍｉｎのとき、美顔処理の程度も最小値Ｙｍｉｎとなる。一方、サイズ変更率が最大値Ｘｍａｘのとき、美顔処理の程度も最大値Ｙｍａｘとなる。美顔処理部２４は、図４に示す直線１４１、曲線１４２、または曲線１４３のいずれかを使用して、サイズ変更率が高くなるほど美顔処理の程度が高くなるように、サイズ変更率に応じて美顔処理の程度を変更する。すなわち美顔処理部２４は、サイズ変更率と美顔処理の程度との関係を、線形の直線１４１、非線形の曲線１４２、または非線形の曲線１４３のいずれかに設定する。
【００４７】
たとえば美顔処理部２４は、入力画像の解像度と、表示部３０における表示領域の解像度とが等しい場合、サイズ変更率と美顔処理の程度との関係を直線１４１に設定する。これにより、画像のサイズ変更率の変化量に対する美顔処理の程度の変化量の割合が、サイズ変更率の値によらず一定になる。この結果、シミおよびシワなどが目立つ可能性が高い被写体を含む画像を拡大して表示する場合、サイズ変更率に応じて美顔処理の程度を適切に高めることができる。一方、シミおよびシワなどが目立つ可能性が低い被写体を含む入力画像を縮小して表示する場合、サイズ変更率に応じて美顔処理の程度を適切に低めることができる。
【００４８】
また、たとえば美顔処理部２４は、入力画像の解像度が、表示部３０における表示領域の解像度よりも大きい場合、サイズ変更率と美顔処理の程度との関係を曲線１４２に設定する。この場合、画像表示装置１は、入力画像が表示領域に収まるように入力画像を縮小した際のサイズ変更率を、サイズ変更率の最小値Ｙｍｉｎに設定すればよい。この場合、入力画像の一部を切り抜いて表示する場合のサイズ変更率は、最小値Ｙｍｉｎよりも大きくなる。このとき、算出されたサイズ変更率が最小値Ｙｍｉｎに近い場合であっても、表示されている画像の解像度が十分に高いので、被写体の顔も大きく写り、シミおよびシワが目立つことがある。そこで、直線１４１と比べてサイズ変更率に対する美顔処理の程度がより大きくなる曲線１４２（上向きカーブの曲線）を使用することによって、美顔処理の程度をより大きい値に変更する。これにより被写体の毛穴、シミ、およびシワなどを適切に除去できるので好適である。
【００４９】
また、たとえば美顔処理部２４は、入力画像の解像度が、表示部３０における表示領域の解像度よりも小さい場合、サイズ変更率と美顔処理の程度との関係を曲線１４３に設定する。この場合、画像表示装置１は、入力画像が表示領域に収まるように入力画像を拡大した際のサイズ変更率を、サイズ変更率の最大値Ｙｍａｘに設定すればよい。このとき、算出されたサイズ変更率が最大値Ｙｍａｘに近い状態であっても、表示された画像の解像度が低いことから被写体のシミおよびシワなどが目立たないので、美顔処理の程度を低めに設定する。また、サイズ変更率が最大値４０５よりも小さい場合、直線１４１に比べて同一のサイズ変更率に対応する美顔処理の程度がより小さい曲線１４３（下向きカーブの曲線）を使用することによって、被写体の顔の特徴をそのまま保ちつつ、被写体の毛穴およびシミおよびシワなどを適切に除去できるので、好適である。
【００５０】
（平滑化処理）
平滑化処理とは、被写体の肌領域に表れる毛穴、シミ、およびシワなどをぼかして除去したり、目立たなくしたりする処理を意味する。美顔処理部２４は、これらの処理を、サイズ変更後の画像に含まれる被写体の肌領域に施す。肌領域抽出部２３は、入力画像から抽出した肌領域と、算出されたサイズ変更率とに基づき、サイズ変更後の画像に含まれる被写体の肌領域を抽出する。たとえば、サイズ変更後の画像内の任意の画素（ｉ、ｊ）に対応する入力画像中の画素（ｋｉ、ｋｊ）が肌領域内の画素であれば、点（ｉ、ｊ）を肌領域を構成する画素として特定する。美顔処理部２４は、特定した各画素からなる所定の領域を、サイズ変更後の画像内の肌領域として抽出する。
【００５１】
画像サイズ変更部２２が、肌領域抽出部２３によって入力画像から抽出された肌領域を、指定されたサイズ変更率で拡大または縮小することによって、サイズ変更後の画像から肌領域を抽出してもよい。この場合も、サイズ変更後の肌領域を同様に抽出することができる。
【００５２】
美顔処理部２４は、次の式（２）を使用することによって、肌領域に平滑化処理を施す。
【００５３】
【数２】
2017034012.tif 000004
【００５４】
式（２）において、Ｉ（ｉ＋ｋ、ｊ＋ｌ）は、平滑化処理前の画像を構成する画素であり、Ｏは、平滑化処理後の画像を構成する画素である。Ｎは自然数である。この式（２）に示すように、平滑化処理では、Ｎ×Ｎの画素からなる局所領域に含まれる全画素値の平均値を、この領域の中央にある画素の出力値として算出するものである。
【００５５】
Ｎの値を大きくすると画像を強くぼかすことができ、Ｎの値を小さくすると画像を弱くぼかすことができる。すなわちＮの値を変更することによって、平滑化処理の程度を変更できる。平滑化処理の程度を高くする（すなわちＮの値を大きくする）と、毛穴、シミ、およびシワなどをぼかして除去する効果が強くなる。一方、平滑化処理の程度を低くする（すなわちＮの値を小さくする）と、毛穴などの除去の効果は弱くなるが、元の画像における肌領域の特徴をそのままに保つことができる。
【００５６】
拡大された画像では肌領域に現れる毛穴などが目立つので、画像を強くぼかすことによって、毛穴、シミ、およびシワなどを除去することが好ましい。一方、縮小された画像では肌領域に現れる毛穴などは目立ちにくいので、画像を弱くぼかしても、毛穴、シミ、およびシワなどを除去する効果を十分に得つつ、さらに元の画像の特徴をそのままに保つ効果も得られる。このとき、肌領域抽出処理時に、本来は肌領域ではない領域（たとえば眉など）が誤って肌領域として抽出された場合でも、眉などがぼかされないので、好適に表示される画像を生成できる。
【００５７】
本実施形態では、平滑化処理として式（２）に示す平均化フィルタを用いた処理を説明したが、その代わりにガウシアンフィルタまたはバイラテラルフィルタなどの他のフィルタを用いても、同様の効果を得ることができる。
【００５８】
なお、サイズ変更後の画像中の肌領域に対して平滑化処理を施すことによって、背景および髪の毛などをぼかすことなく、肌領域のみが平滑化された画像を得ることができる。
【００５９】
（肌色補正処理）
肌色補正処理とは、肌領域の色を好ましい肌色に補正する処理のことである。美顔処理部２４は、たとえば次の式（３）を使用することによって、肌領域に肌色補正処理を施す。
【００６０】
【数３】
2017034012.tif 000005
【００６１】
式（３）において、Ｒａ、Ｇａ、およびＢａは、目標とする肌色を規定する各原色の値である。一方、Ｒｉ、Ｇｉ、およびＢｉは、処理対象の肌領域内の注目画素の色を規定する各原色の値である。αは混合の度合いを表す係数であり、０〜１の範囲に含まれるいずれかの値を取る。美顔処理部２４は、式（３）に示すように、肌領域内の各注目画素に目標の肌色を混合することによって、肌色補正処理を実行する。なお、サイズ変更後の画像中の肌領域にのみ肌色補正処理を施すことによって、背景などの色を変えることなく、肌色のみが補正された画像を得ることができる。
【００６２】
係数αが０では肌色補正処理が行われないので、サイズ変更後の画像中の肌色がそのまま出力画像中の肌色となる。係数αが１のとき、目標とする肌色が出力画像中の肌色となる。このように、係数αの値を変更することによって、肌色補正処理の程度を変更できる。肌色補正処理の程度をより高くする（すなわちαの値をより大きくする）と、サイズ変更後の画像中の肌領域が目標とする肌色により近い肌色に変換される。一方、肌色補正処理の程度をより低くする（すなわちαの値をより小さくする）と、サイズ変更後の画像中の肌領域の肌色を、元の肌色により近い状態に保つことができる。
【００６３】
たとえば、拡大された画像に対しては肌色補正処理の程度をより高くすることによって、肌色のくすみおよびムラなどを補正する効果をより強くできる。一方、縮小された画像では肌領域におけるくすみおよびムラなどが目立ちにくくなるので、肌色補正処理の程度を低くしても十分な効果を得ることができる。さらに、肌領域のみに施す肌色補正処理の程度が小さくなるので、肌色補正処理後の肌領域の色合いと、背景および髪の毛の色合いとの差の発生を抑制できることから、より好適に表示される画像を生成できる。
【００６４】
上述の例では、赤色、緑色、および青色を表すＲＧＢ値によって画素の色を規定する場合の肌色補正処理を説明したが、その代わりに、色相、彩度、および明度を表すＨＳＶ値などによって画素の色を規定する場合の肌色補正処理を使用することもできる。
【００６５】
（陰影重畳処理）
陰影重畳処理とは、肌領域に対して陰影を重畳することによって顔の立体感を強調する処理のことである。美顔処理部２４は、次の式（４）を使用することによって、肌領域に陰影重畳処理を施す。
【００６６】
【数４】
2017034012.tif 000006
【００６７】
式（４）において、Ｓは陰影であり、０〜１の範囲に含まれるいずれかの値を取る。βは、陰影の程度を表す係数であり、０〜１の範囲に含まれるいずれかの値を取る。
【００６８】
美顔処理部２４は、式（４）に示すように、肌領域内の各画素を構成する各原色Ｒｉ、Ｇｉ、Ｂｉに所定の陰影Ｓを重畳することによって、陰影重畳処理を実行する。陰影Ｓの値が小さくなるほど陰影が強くなり、一方、陰影Ｓの値が大きくなるほど陰影が弱くなる。陰影Ｓの一例を、図５に示す。図５は、本発明の実施形態１における陰影重畳処理を説明するための図である。図５の（ａ）に、陰影Ｓの一例として、陰影規定画像１５１に含まれる、被写体の鼻筋および頬の位置に現れる陰影１５２を示す。美顔処理部２４は、この陰影１５２を入力画像中の被写体の肌領域に重畳することによって、図５の（ｂ）に示すように、鼻筋が高く見えかつ頬が引き締まってみえるなどの被写体１５４の立体感が向上した画像１５３を生成することができる。
【００６９】
陰影Ｓは、テンプレートとして記憶部１５などに予め保存されている。美顔処理部２４は、サイズ変更後の画像中の肌領域の大きさに応じて、テンプレートのサイズを変更し、肌領域の位置に配置することによって、陰影Ｓを肌領域に重畳することができる。その際、美顔処理部２４は、肌領域にラベリング処理を施しかつ肌領域の総画素数を算出することによって、肌領域の大きさを推定することができる。また、肌領域の位置として、肌領域の重心位置を用いればよい。
【００７０】
式（４）に含まれる係数βは、０〜１まで範囲に含まれるいずれかの値を取る。係数βが０のとき陰影重畳処理は行われない。したがって、美顔処理として陰影重畳処理のみを実行する構成では、βが０のとき、肌領域に美顔処理が施されない。すなわち、サイズ変更後の画像中の肌領域をそのまま含む画像が生成される。
【００７１】
一方、係数βが０よりも大きいとき、肌領域に対する陰影重畳処理が行われる。係数βがより１に近づくほど、より強い陰影が肌領域に重畳される。このように、係数βを変更することによって、陰影重畳処理の程度を変更できる。すなわち、係数βをより小さくする（陰影重畳の程度がより低くなる）と、肌領域に重畳される陰影はより薄くなり、一方、係数βをより大きくする（陰影重畳の程度がより高くなる）と、肌領域に重畳される陰影はより濃くなる。
【００７２】
たとえば、拡大された画像に対しては係数βをより高くすることによって、被写体の顔の立体感をより強めることができる。一方、縮小された画像に対しては係数βをより低くすることによって、ある程度の立体感を被写体の顔に付与することができる。後者の場合、背景などの陰影と、顔に重畳された陰影との光源環境の不一致を目立たなくすることできるので、好適である。
【００７３】
美顔処理部２４は、上述した平滑化処理、肌色補正処理、および陰影重畳処理のうち、少なくとも１つの美顔処理を実行すればよい。また、肌領域にまず平滑化処理を施し、次に肌色補正処理を施し、最後に陰影重畳処理を施すと、肌領域にある元の不要な陰影を除去した後に、好ましい新たな陰影を肌領域に重畳できるので、好適である。
【００７４】
（全体的な処理の流れ）
図６は、本発明の実施形態１に係る画像処理装置２０によって実行される画像処理方法の流れを表すフローチャートである。この図に示すように、処理が開始されると、画像処理装置２０はまず、入出力装置１０内のいずれかの部材（撮像部１１または送受信部１２など）から、表示用の画像を取得する（Ｓ１）。次に、ユーザ入力部１４が、ユーザによって入力される画像のサイズ変更指示を取得し、画像処理装置２０に出力する（Ｓ２）。
【００７５】
次に、サイズ変更率算出部２１が、入力されたサイズ変更指示に基づき画像のサイズ変更率を算出する（Ｓ３、サイズ変更率算出工程）。もしこのときユーザ入力部１４がサイズ変更指示を取得しなかった場合、サイズ変更率算出部２１は、サイズ変更率を自動的に算出してもよい。たとえば、入力画像が表示部３０の表示領域に収まるように拡大される場合のサイズ変更率を自動的に算出する。
【００７６】
次に、画像サイズ変更部２２が、算出されたサイズ変更率に応じて、入力画像のサイズを変更する（Ｓ４、画像サイズ変更工程）。この結果、画像は拡大または縮小される。次に肌領域抽出部２３が、入力画像に含まれる被写体内の肌領域を抽出する（Ｓ５、肌領域抽出工程）。次に美顔処理部２４が、サイズ変更率に応じた程度の美顔処理を、肌領域に施す（Ｓ６、美顔処理工程）。美顔処理部２４は、美顔処理後の画像を表示部３０に出力し、表示部３０は、入力された画像を表示する（Ｓ７）。これにより図６に示す処理は終了する。
【００７７】
上述した本発明の実施形態１に係る画像処理装置２０を備える画像表示装置１によれば、サイズ変更後の画像に含まれる被写体の美観が損なわれることを防止することができる。言い換えると、画像のサイズが変更された場合でもユーザにとって好ましい画像を生成することができる。
【００７８】
（補足事項）
本実施形態では、画像表示装置１が有する画像処理装置２０によって美顔処理された画像を、同じ画像処理装置２０が有する表示部３０に表示するが、本発明はこれに限定されない。たとえば、他の画像処理装置２０を有する他の画像表示装置１によって美顔処理された画像を、画像処理装置２０が送受信部１２を通じて受信し、表示部３０に表示する構成であってもよい。この構成によれば、送受信部１２を介した遠隔地とのテレビ会議およびビデオチャットなどを行う際に、他の画像表示装置１に美顔処理を実行させることが可能になるので、好適である。
【００７９】
また、本実施形態では、肌領域抽出部２３が入力画像から被写体の肌領域を抽出するが、本発明はこれに限定されない。たとえば、肌領域抽出部２３は、画像サイズ変更部２２によってサイズが変更した後の画像（拡大画像または縮小画像）から、被写体の肌領域（拡大後の肌領域または縮小後の肌領域）を抽出してもよい。特に、縮小画像から肌領域を抽出すると抽出に必要な処理量を削減できるので、好適である。
【００８０】
また、本実施形態では、美顔処理部２４がサイズ変更後の画像中の肌領域に対して美顔処理を施すが、本発明はこれに限定されない。たとえば美顔処理部２４は、美顔処理前の画像を保存しておき、美顔処理前の画像内の肌領域を、美顔処理後の画像内の肌領域に置き換えたりまたは混合したりことによって、美顔処理が施された画像を生成してもよい。特に、美顔処理前の肌領域と美顔処理後の肌領域とを混合すれば、美顔処理の程度変更された画像を容易に生成できるので、好適である。
【００８１】
〔実施形態２〕
本発明に係る実施形態２について、図７〜１０に基づき以下に説明する。上述した実施形態１と共通する各部材には同じ符号を付し、詳細な説明を省略する。
【００８２】
本実施形態と実施形態１と違いは、画像表示装置１ａが、入力画像に含まれる被写体の顔の大きさを検出し、その結果に応じて被写体に施す美顔処理の程度を補正する点にある。
【００８３】
（画像表示装置１ａの構成）
図７は、本発明の実施形態２に係る画像処理装置２０ａを備える画像表示装置１ａの構成を示す機能ブロック図である。この図に示すように、画像表示装置１ａは、入出力装置１０、画像処理装置２０ａ、および表示部３０を備えている。入出力装置１０および表示部３０は実施形態１に係るものとそれぞれ同一であるので、その詳細な説明を省略する。
【００８４】
画像処理装置２０ａは、サイズ変更率算出部２１、画像サイズ変更部２２、肌領域抽出部２３、美顔処理部２４、顔検出部２５、および補正値生成部２６を備えている。すなわち、画像処理装置２０ａは、実施形態１に係る画像処理装置２０にさらに顔検出部２５および補正値生成部２６を追加した構成である。
【００８５】
顔検出部２５は、入力画像に含まれる被写体の顔の大きさを検出する。補正値生成部２６は、検出された顔の大きさに基づき、美顔処理の程度を補正するための補正値を算出する。本実施形態では、美顔処理部２４は、算出されたサイズ変更率および補正値に応じた程度の美顔処理を画像に施す。すなわち美顔処理部２４は、美顔処理の程度を補正値に応じて補正する。
【００８６】
（顔検出の詳細）
図８は、本発明の実施形態２における顔検出の詳細を説明する図である。図８に、被写体を含む画像１８１を示す。顔検出部２５は、この画像１８１に含まれる被写体の顔１８２の大きさを検出する。ここでいう顔の大きさとは、被写体１８２から検出された顔１８２の横画素数Ｘｆおよび縦画素数Ｙｆのことである。画像１８１から顔１８２の大きさを検出する方法として、被写体の肌色を検出することによって顔１８１を特定する方法がある。また、多数の顔画像と顔以外の画像（非顔画像）との学習サンプルに基づき統計的に識別関数を予め求め、この識別関数を使用することによって顔１８２の大きさを検出する方法もある（P.Viola and M.Jones,“Rapid object detection using a boosting cascade of simple features", Proc.IEEE Conf.CVPR, pp.511-518, 2001を参照）。
【００８７】
顔検出部２５は、画像から複数の顔を検出することもできる。この場合、顔検出部２５は、検出された複数の顔の大きさの平均値を算出し、これを補正値算出用の顔の大きさとして補正値生成部２６に出力すればよい。または、検出された複数の顔の大きさのうち最大または最小の顔の大きさを、補正値算出用の顔の大きさとして出力してもよい。あるいは、画像の中心に最も近い顔の大きさを、補正値算出用の顔の大きさとして出力してもよい。
【００８８】
以上の例では、顔検出部２５が入力画像から被写体の顔の大きさを検出するが、本発明はこれに限られない。たとえば、顔検出部２５は、画像サイズ変更部２２によってサイズが変更された後の画像（拡大画像または縮小画像）から、被写体の顔の大きさ（拡大後の顔の大きさまたは縮小後の顔の大きさ）を検出してもよい。特に、縮小画像から顔の大きさを検出する場合は検出に必要な処理量を削減できるので、好適である。
【００８９】
（補正値生成処理）
補正値生成部２６は、検出された顔の大きさに基づき、美顔処理の程度を補正するための補正値を生成する。画像に含まれる被写体の顔がより大きいほど、肌領域のシミおよびシワがより目立つ。そこで補正値生成部２６は、顔の大きさがより大きい場合に、美顔処理の程度をより高くする補正値を生成する。一方、画像に含まれる被写体の顔がより小さいほど、被写体の肌領域のシミおよびシワはより目立たなくなる。そこで補正値生成部２６は、顔の大きさがより小さい場合に、美顔処理の程度をより低くするための補正値を生成する。
【００９０】
本実施形態では、補正値生成部２６は、次に示す式（５）を使用することによって、美顔処理の程度を補正するための補正値を生成する。
【００９１】
【数５】
2017034012.tif 000007
【００９２】
式（５）において、Ｈは補正値を表し、Ｆは顔の大きさ表し、Ｆｍａｘは検出される最大の顔の大きさを表し、Ｆｍｉｎは検出される最小の顔の大きさを表す。補正値の生成時、顔の大きさとして、上述した横画素数または縦画素数の他、検出された顔を構成する総画素数を用いることもできる。式（５）を使用することによって、検出された顔の大きさＦが最大値Ｆｍａｘに等しければ、生成されるＨが１になり、一方、最小値Ｆｍｉｎに等しければ、生成されるＨが０になる。
【００９３】
（美顔処理の程度を変更する処理）
図９は、本発明の実施形態２におけるサイズ変更率と美顔処理の程度との関係を示す図である。この図において、図４と共通するものには同じ部材番号を付し、その詳細な説明を省略する。図９には、サイズ変更率と、美顔処理の程度と、補正値との関係を示す。
【００９４】
美顔処理部２４は、算出された補正値が閾値よりも大きい場合（すなわち顔の大きさが基準値よりも大きい場合）、サイズ変更率と美顔処理の程度との関係が図９の関数１９１になるように、直線１４１から決定した美顔処理の程度を補正値を使用して補正する。関数１９１は、同じサイズ変更率に対する美顔処理の程度が直線１４１よりも大きいので、これは美顔処理の程度をより高める補正である。具体的には、直線１４１から決定された美顔処理の程度に補正値を加算する補正である。
【００９５】
一方、美顔処理部２４は、算出された補正値が閾値よりも小さい場合（すなわち顔の大きさが基準値よりも小さい場合）、サイズ変更率と美顔処理の程度との関係が図９の関数１９２になるように、直線１４１から決定した美顔処理の程度を補正値を使用して補正する。関数１９２は、同じサイズ変更率に対する美顔処理の程度が、直線１４１よりも小さいので、これは美顔処理の程度をより低める補正である。具体的には、直線１４１から決定された美顔処理の程度から補正値を減算する補正である。
【００９６】
美顔処理の程度を補正した結果、補正後の美顔処理の程度が最大値Ｙｍａｘを上回ったり最小値Ｙｍｉｎを下回ったりした場合、補正後の美顔処理の程度を最大値Ｙｍａｘまたは最小値Ｙｍｉｎに一致させればよい。これにより、美顔処理の程度が強すぎて違和感の強い画像が生成されたり、または美顔処理の程度が弱すぎて美顔処理の効果がユーザに分かりづらい画像が生成されたりすることを防止でき、その結果、より適切な程度の美顔処理が施された画像が生成されるので、好適である。
【００９７】
以上のように、本実施形態に係る画像処理装置２０は、画像のサイズ変更率に加えて、顔の大きさに応じた補正値にも基づき、美顔処理の程度を変更する。すなわち、サイズ変更率および補正値の双方に応じた程度の美顔処理を肌領域に施す。この結果、画像中に顔が大きく写っている場合には美顔処理の程度がより高くなり、一方、画像中に顔が小さく写っている場合には美顔処理の程度がより低くなるので、いずれの場合にもより好適な美顔処理が施された画像が得られるので、好適である。
【００９８】
（全体的な処理の流れ）
図１０は、本発明の実施形態２に係る画像表示装置１ａによって実行される画像処理方法の流れを表すフローチャートである。この図に示すように、処理が開始されると、画像処理装置２０ａはまず、入出力装置１０内のいずれかの部材（撮像部１１または送受信部１２など）から、表示用の画像を取得する（Ｓ１１）。次に顔検出部２５が、入力された画像から被写体の顔の大きさを検出する（Ｓ１２）。次に補正値生成部２６が、美顔処理の程度を補正するための補正値を、算出された顔の大きさに基づき生成する（Ｓ１３）。
【００９９】
次に、ユーザ入力部１４が、ユーザによって入力される画像のサイズ変更指示を取得し、画像処理装置２０ａに出力する（Ｓ１４）。このとき、本発明の実施形態１と同様に、サイズ変更指示がなければ、サイズ変更率を自動的に算出してもよい。サイズ変更率算出部２１は、入力されたサイズ変更指示に基づき画像のサイズ変更率を算出する（Ｓ１５）。次に、画像サイズ変更部２２が、算出されたサイズ変更率に応じて、入力画像のサイズを変更する（Ｓ１６）。この結果、画像は拡大または縮小される。
【０１００】
次に肌領域抽出部２３が、入力画像に含まれる被写体内の肌領域を抽出する（Ｓ１７）。次に美顔処理部２４が、サイズ変更率および補正値に応じた程度の美顔処理を、肌領域に施す（Ｓ１８）。美顔処理部２４は、美顔処理後の画像を表示部３０に出力し、表示部３０は、入力された画像を表示する（Ｓ１９）。これにより図１０に示す処理は終了する。
【０１０１】
上述した本発明の実施形態１に係る画像処理装置２０を備える画像表示装置１によれば、サイズ変更率および顔の大きさの双方に応じた適切な美顔処理が施された画像を生成できる。
【０１０２】
本実施形態では、顔検出部２５によって１つの顔の大きさが検出され、そして補正値生成部２６によって１つの補正値が生成されるが、本発明はこれに限定されない。たとえば、顔検出部２５が複数の顔の大きさを検出し、そして補正値がそれぞれの顔の大きさに基づき複数の補正値を生成して美顔処理部２４に出力してもよい。これにより、顔ごとに、肌領域に適用される美顔処理の程度の補正値を変更することができる。その結果、画像中に大きく写っている顔と、小さく写っている顔とが混在したとしても、それぞれの顔の肌領域に顔の大きさに応じた適切な程度の美顔処理を施すことができる。
【０１０３】
〔ソフトウェアによる実現例〕
図１に示す画像処理装置２０および図７に示す画像処理装置２０ａの各機能ブロックは、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【０１０４】
後者の場合、画像処理装置２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）またはＨＤＤ（Hard Disk）などの記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。ここでいうソフトウェアは、いわゆるＯＳ（Operating System）の一部であってもよい。また、ここでいうコンピュータには、周辺機器などのハードウェアを含むものとする。
【０１０５】
上記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク（フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭなど）、カード、半導体メモリ、プログラマブルな論理回路、およびＨＤＤなどの、各種の搬送可能な記録媒体または備え付けの記録媒体を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１０６】
さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークまたは電話回線などの通信回線を介してプログラムを送信する場合の通信回線のように、プログラムを短時間保持する媒体をも含む。さらに、その場合にプログラムをやり取りするサーバおよびクライアントとしてのコンピュータに備えられる揮発性メモリなどの、プログラムを一定時間保持する媒体をも含む。
【０１０７】
また、上述した各実施形態に係る画像処理装置２０（２０ａ）の一部または全部を、典型的には集積回路であるＬＳＩとして実現してもよい。画像処理装置の各機能ブロックを個別にチップ化してもよいし、一部または全部を集積することによってチップ化してもよい。集積回路はＬＳＩに限らず、専用回路または汎用プロセッサによって実現してもよい。本願の出願後に半導体技術の進歩によってＬＳＩを代替する新たな集積回路化の技術が出現した場合、当該技術に基づく新たな集積回路を用いて画像処理装置２０（２０ａ）を実現することも可能である。
【０１０８】
〔まとめ〕
本発明の態様１に係る画像処理装置は、被写体を含む画像のサイズ変更率を算出するサイズ変更率算出部と、上記サイズ変更率に基づき上記画像の少なくとも一部のサイズを変更する画像サイズ変更部と、上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出部と、上記サイズ変更率に応じた程度の美顔処理を上記肌領域に施す美顔処理部とを備えていることを特徴としている。
【０１０９】
上記の構成によれば、画像のサイズ変更率に応じて、適切な程度の美顔処理が肌領域に施される。たとえばサイズ変更率がより大きければより高い程度の美顔処理を施すことによって、拡大後の肌領域における毛穴等を除去する効果を高めることができる。これにより、サイズ変更後の画像に含まれる被写体の美観が損なわれることを防止することができる。
【０１１０】
本発明の態様２に係る画像処理装置は、上記態様１において、上記美顔処理部は、上記画像の少なくとも一部が縮小された場合、より低い程度の上記美顔処理を上記肌領域に施すことを特徴としている。
【０１１１】
上記の構成によれば、縮小された肌領域に対して、適切な程度の美顔処理を施すことができる。
【０１１２】
本発明の態様３に係る画像処理装置は、上記態様１または２において、上記美顔処理部は、上記画像の少なくとも一部が拡大された場合、より高い程度の上記美顔処理を上記肌領域に施すことを特徴としている。
【０１１３】
上記の構成によれば、拡大された肌領域に対して、適切な程度の美顔処理を施すことができる。
【０１１４】
本発明の態様４に係る画像処理装置は、上記態様１〜３のいずれかにおいて、上記美顔処理部は、上記美顔処理として、平滑化処理、肌色補正処理、および陰影重畳処理のうち少なくとも一つの処理を上記肌領域に施すことを特徴としている。
【０１１５】
上記の構成によれば、肌領域を好適に美顔処理することができる。
【０１１６】
本発明の態様５に係る画像処理装置は、上記態様４において、上記美顔処理部は、上記肌領域にまず上記平滑化処理および上記肌色補正処理を施すことによって上記肌領域の元の陰影を除去し、次に上記陰影重畳処理を上記肌領域に施すことによって上記肌領域に新たな陰影を重畳することを特徴としている。
【０１１７】
上記の構成によれば、適切な新たな陰影を肌領域に重畳することができるので、肌領域の立体感をより高めることができる。
【０１１８】
本発明の態様６に係る画像処理装置は、上記態様１〜５のいずれかにおいて、上記被写体の顔の大きさを検出する顔検出部と、上記顔の大きさに基づき、上記美顔処理の程度を補正するための補正値を生成する補正値生成部とをさらに備え、上記美顔処理部は、上記サイズ変更率および上記補正値の双方に応じた程度の上記美顔処理を上記肌領域に施すことを特徴としている。
【０１１９】
上記の構成によれば、サイズ変更率に加えてさらに被写体の顔の大きさにも応じた適切な美顔処理を補正値に施すことができる。
【０１２０】
本発明の態様７に係る画像処理装置は、上記態様６において、上記補正値生成部は、上記顔の大きさがより大きいほど、上記美顔処理の程度をより高くするための上記補正値を生成することを特徴としている。
【０１２１】
上記の構成によれば、毛穴等がより目立ちやすい肌領域に対する毛穴等を除去する効果をより高めることができる。
【０１２２】
本発明の態様８に係る画像処理装置は、上記態様６または７において、上記補正値生成部は、上記顔の大きさがより小さいほど、上記美顔処理の程度をより低くするための上記補正値を生成することを特徴としている。
【０１２３】
上記の構成によれば、毛穴等が目立ちにくい肌領域に対して、不要に高い程度の美顔処理が施されることを防止できる。
【０１２４】
本発明の態様９に係る画像処理方法は、被写体を含む画像のサイズ変更率を算出するサイズ変更率算出工程と、上記サイズ変更率に基づき上記画像の少なくとも一部のサイズを変更する画像サイズ変更工程と、上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出工程と、上記サイズ変更率に応じた程度の美顔処理を上記肌領域に施す美顔処理工程とを有することを特徴としている。
【０１２５】
上記の構成によれば、上述した態様１に係る画像処理装置と同様の効果を奏する。
【０１２６】
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記画像処理装置が備える各部として動作させることによって上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の一態様の範疇に入る。
【０１２７】
（付記事項）
本発明は上述した各実施形態に限定されるものではなく、請求項に示す範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【０１２８】
たとえば、各実施形態に係る各構成要素は、必要に応じて適宜取捨選択できる。
【０１２９】
また、上述の各実施形態に添付した図１および図７では、各部材間の制御線および情報線を、説明上必要と考えられるものに限って示している。すなわち、本発明の実施によって実現される製品において必要な必ずしも全ての制御線および情報線を示しているとは限らない。また、図１および図７中の全ての部材が相互に接続されていてもよい。
（関連出願の相互参照）
本出願は、２０１５年８月２６日に出願された日本国特許出願：特願２０１５−１６６９０８に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【０１３０】
１、１ａ：画像表示装置
１０：入出力装置
１１：撮像部
１２：送受信部
１３：画像入出力部
１４：ユーザ入力部
１５：記憶部
２０、２０ａ：画像処理装置
２１：サイズ変更率算出部
２２：画像サイズ変更部
２３：肌領域抽出部
２４：美顔処理部
３０：表示部
【図１】
2017034012.tif 000008
【図２】
2017034012.tif 000009
【図３】
2017034012.tif 000010
【図４】
2017034012.tif 000011
【図５】
2017034012.tif 000012
【図６】
2017034012.tif 000013
【図７】
2017034012.tif 000014
【図８】
2017034012.tif 000015
【図９】
2017034012.tif 000016
【図１０】
2017034012.tif 000017
【手続補正書】
【提出日】平成30年1月19日(2018.1.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を含む画像の少なくとも一部のサイズを変更する画像サイズ変更部と、
上記サイズが変更された後の上記画像の上記少なくとも一部に含まれる上記被写体の肌領域を抽出する肌領域抽出部と、
上記被写体の顔の大きさを検出する顔検出部と、
上記サイズのサイズ変更率および上記顔の大きさの双方に応じた程度の美顔処理を上記肌領域に施す美顔処理部とを備えていることを特徴とする画像処理装置。
【請求項２】
上記美顔処理部は、上記画像の少なくとも一部が縮小された場合、より低い程度の上記美顔処理を上記肌領域に施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記美顔処理部は、上記画像の少なくとも一部が拡大された場合、より高い程度の上記美顔処理を上記肌領域に施すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記美顔処理部は、上記顔の大きさが大きいほど、上記美顔処理の程度を高くすることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
上記美顔処理部は、上記美顔処理として、平滑化処理、肌色補正処理および陰影重畳処理を、平滑化処理、肌色補正処理、陰影重畳処理の順で上記肌領域に施すことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
【国際調査報告】
2017034012.tif 000018
2017034012.tif 000019
2017034012.tif 000020
2017034012.tif 000021