(57)【要約】【課題】撮像した被写体人物の顔画像に、簡便な操作によって画像処理を実行できる撮像装置及び画像処理方法を提供する。【解決手段】本発明の撮像装置及び画像処理方法は、撮像部によって撮像された被写体人物の撮像画像の顔画像において設定された、しわの部分を含む補正範囲について、画素ごとに平均化された平均画像データを算出し、撮像画像と平均画像データとの差分画像を算出し、撮像画像と差分画像とに基づいて補正範囲に含まれるしわが修正された修正画像を生成する。【選択図】図７
2009055168.tif 000002
【特許請求の範囲】
【請求項１】
被写体人物を撮像して撮像画像を生成する撮像部と、
前記撮像画像の顔画像のうち、しわの部分を含む補正範囲について画素ごとに平均化された平均画像データを算出し、前記撮像画像と前記平均画像データとの差分画像を算出し、前記撮像画像と差分画像とに基づいて前記補正範囲に含まれるしわが修正された修正画像を生成する画像処理手段とを備えている撮像装置。
【請求項２】
前記画像処理部が、平均画像データを算出する平均画像データ算出手段と、
前記撮像画像から前記平均画像データを差し引くことで、差分画像を算出する差分画像算出手段と、
平均画像データと差分画像とを足し合わせることで前記修正画像を生成する修正画像生成手段とを備えていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記差分画像に、予め入力された修正レベルに対応した強調値を加えた差分修正画像を算出し、該差分修正画像を前記差分画像として前記修正画像生成手段へ入力することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記平均画像データ、前記差分画像、前記差分修正画像、前記修正画像のうち少なくとも一つを記憶可能なバッファメモリを備えていることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像画像がＲＡＷデータであることを特徴とする請求項１から４のいずれか１つに記載の撮像装置。
【請求項６】
撮像部によって撮像された被写体人物の撮像画像の顔画像において設定された、しわの部分を含む補正範囲について、画素ごとに平均化された平均画像データを算出するステップと、前記撮像画像と前記平均画像データとの差分画像を算出するステップと、前記撮像画像と差分画像とに基づいて前記補正範囲に含まれるしわが修正された修正画像を生成するステップとを有すことを特徴とする画像処理方法。
【請求項７】
前記画像処理部が、平均画像データを算出するステップと、
前記撮像画像から前記平均画像データを差し引くことで、差分画像を算出するステップと、
平均画像データと差分画像とを足し合わせることで前記修正画像を生成するステップとを有することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記差分画像に、予め入力された修正レベルに対応した強調値を加えた差分修正画像を算出し、該差分修正画像を前記差分画像として前記修正画像生成部へ入力するステップを有することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記平均画像データ、前記差分画像、前記差分修正画像、前記修正画像のうち少なくとも一つをバッファメモリに記憶するステップを有することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記撮像画像がＲＡＷデータであることを特徴とする請求項６から９のいずれか１つに記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像のうち被写体人物の顔画像を画像処理することでしわが除去された顔画像を生成する撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像装置によって被写体の人物を撮像して得られられた画像において、人物の顔画像をパーソナルコンピュータに読み出した後、画像加工ソフトウェアを使用して画像処理することが行われている。例えば、撮像した顔画像を美容上の観点からしわを除去したり、目立たなくしたりする画像処理が行われている。
撮像した顔画像に画像処理を行うものとしては、例えば、下記特許文献に示すものがある。
【０００３】
【特許文献１】特開２００５−３２７００９号公報
【特許文献２】特開２００２−３０４６１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、従来のように撮像画像をパーソナルコンピュータを用いて画像処理を行う場合には、撮像装置で撮像した直後にその場で画像処理することができなかった。また、撮像装置からパーソナルコンピュータへ撮像画像を読み出すためのインフラや、画像処理を行うためのソフトウェアが必要であるという制限があった。また、ソフトウェアを用いて顔画像のしわを除去するには、ある程度のソフトウェアを操作するスキルが求められることが多い。このため、撮像装置で撮像した画像にそのまま画像処理を簡便な操作により実行したいという要望があった。
【０００５】
本発明は、上記事情に鑑みてなされたもので、その目的は、撮像した被写体人物の顔画像に、簡便な操作によって画像処理を実行できる撮像装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の上記目的は、下記構成によって達成される。
（１）被写体人物を撮像して撮像画像を生成する撮像部と、
前記撮像画像の顔画像のうち、しわの部分を含む補正範囲について画素ごとに平均化された平均画像データを算出し、前記撮像画像と前記平均画像データとの差分画像を算出し、前記撮像画像と差分画像とに基づいて前記補正範囲に含まれるしわが修正された修正画像を生成する画像処理手段とを備えている撮像装置。
（２）前記画像処理部が、平均画像データを算出する平均画像データ算出手段と、
前記撮像画像から前記平均画像データを差し引くことで、差分画像を算出する差分画像算出手段と、
平均画像データと差分画像とを足し合わせることで前記修正画像を生成する修正画像生成手段とを備えていることを特徴とする上記（１）に記載の撮像装置。
（３）前記差分画像に、予め入力された修正レベルに対応した強調値を加えた差分修正画像を算出し、該差分修正画像を前記差分画像として前記修正画像生成手段へ入力することを特徴とする上記（２）に記載の撮像装置。
（４）前記平均画像データ、前記差分画像、前記差分修正画像、前記修正画像のうち少なくとも一つを記憶可能なバッファメモリを備えていることを特徴とする上記（３）に記載の撮像装置。
（５）前記撮像画像がＲＡＷデータであることを特徴とする上記（１）から（４）のいずれか１つに記載の撮像装置。
（６）撮像部によって撮像された被写体人物の撮像画像の顔画像において設定された、しわの部分を含む補正範囲について、画素ごとに平均化された平均画像データを算出するステップと、前記撮像画像と前記平均画像データとの差分画像を算出するステップと、前記撮像画像と差分画像とに基づいて前記補正範囲に含まれるしわが修正された修正画像を生成するステップとを有すことを特徴とする画像処理方法。
（７）前記画像処理部が、平均画像データを算出するステップと、
前記撮像画像から前記平均画像データを差し引くことで、差分画像を算出するステップと、
平均画像データと差分画像とを足し合わせることで前記修正画像を生成するステップとを有することを特徴とする上記（６）に記載の画像処理方法。
（８）前記差分画像に、予め入力された修正レベルに対応した強調値を加えた差分修正画像を算出し、該差分修正画像を前記差分画像として前記修正画像生成部へ入力するステップを有することを特徴とする上記（７）に記載の画像処理方法。
（９）前記平均画像データ、前記差分画像、前記差分修正画像、前記修正画像のうち少なくとも一つをバッファメモリに記憶するステップを有することを特徴とする上記（８）に記載の画像処理方法。
（１０）前記撮像画像がＲＡＷデータであることを特徴とする上記（６）から（９）のいずれか１つに記載の画像処理方法。
【０００７】
本発明は、撮像部によって撮像した画像を、画像装置内に設けられた画像処理手段に入力することで、そのまま画像処理を実行することができる。このため、パーソナルコンピュータ等の外部装置を用いることなく、撮像をしたその場で画像処理された画像を確認することができ、使い勝手が良い。また、撮像装置の操作部を用いることで簡単な操作によって撮像画像に画像処理を実行することができる。
【発明の効果】
【０００８】
本発明によれば、撮像した被写体人物の顔画像に、簡便な操作によって画像処理を実行できる撮像装置及び画像処理方法を提供できる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明の一実施形態に係るデジタルカメラのブロック構成図である。本実施形態のデジタルカメラ１０は、被写体像を結像させるための光学ユニット１２と、光学ユニット１２の光軸後方に配設され光学ユニット１２を通して得られる被写体反射光を受光しアナログ画像データを出力するＣＣＤ型撮像素子やＣＭＯＳ型イメージセンサなどの撮像素子１４とを備える。撮像素子１４が被写体人物を撮像して撮像画像を生成する撮像部として機能する。
【００１０】
この光学ユニット１２は、図示は省略するが、ズームレンズ群、フォーカスレンズ、これら撮影レンズの各々を光軸方向に移動させるレンズ移動機構を含んで構成され、焦点距離の変更（変倍）が可能になっている。光学ユニット１２が有する光学歪みは光学ユニット１２の設計で決まり、既知である。
【００１１】
光学ユニット１２は、Ａ／Ｆ制御回路３２に接続されており、Ａ／Ｆ制御回路３２の制御により所望のズーム倍率になるようにズームレンズ群が光軸方向に移動され、光学ユニット１２を通過した被写体像を示す入射光が撮像素子１４の受光面上に結像するようにフォーカスレンズが光軸方向に移動制御される。
【００１２】
また、このデジタルカメラ１０は、撮像素子１４から出力された被写体像を示すアナログ画像データをデジタルの画像データに変換して出力するＡ／Ｄ変換器１６と、Ａ／Ｄ変換器１６から入力された画像データに対して、ホワイトバランス調整，ガンマ補正，シャープネス補正等の各種補正処理やＲＧＢデータをＹＣ信号に変換する処理等を行う信号処理プロセッサ２２と、信号処理プロセッサ２２によって信号処理された画像データを格納するメインメモリ３８とを備えている。また、信号処理プロセッサ２２は、撮像画像に信号処理を実行せず、ＲＡＷデータのままメインメモリ３８に格納させる機能も有している。
【００１３】
更に、このデジタルカメラ１０は、光学ユニット１２を介して被写体を撮影することにより得られた撮像画像の顔画像において、使用者によって選択又は自動的に認識した、顔のしわの部分を含む補正範囲に画像処理を実行する画像処理部２４を備えている。また、デジタルカメラ１０は、各種情報や撮像画像を表示する液晶表示部１８の表示制御を行うＬＣＤ制御部２６と、光学歪みが補正された画像データを記憶する外部記録メディア２８に対する各種情報の読み書きを制御するメディア制御部３０と、レリーズボタンや電源スイッチ，動画／静止画撮影切替等の指示をユーザが入力する操作手段２０に接続されたＩ／Ｆ（インタフェース）部３４と、デジタルカメラ１０の全体制御を司るＣＰＵ３６と、各種プログラムや処理ルーチン等を予め記憶したＲＯＭ４０とを備えている。操作手段２０によって、撮像時に顔画像のしわを修正する処理を実行するモードの設定や、撮像画像において、しわを修正する処理を実行する補正範囲を選択及び決定をすることができる。
【００１４】
信号処理プロセッサ２２、画像処理部２４、ＬＣＤ制御部２６、メディア制御部３０、Ａ／Ｆ制御回路３２、Ｉ／Ｆ部３４、ＣＰＵ３６、メインメモリ３８、及びＲＯＭ４０は、これらを相互接続するバス４２を介して各種データ，信号を入出力する。
【００１５】
図２は、本実施形態のデジタルカメラの動作を説明するフローチャートである。デジタルカメラの起動した後、使用者は、撮像された顔画像にしわ処理を実行するか否かを判断し、しわ処理モードのＯＮ／ＯＦＦを所望に設定することができる。
【００１６】
しわ処理モードがＯＦＦに設定されている場合には、撮像時に通常の撮像が行われる。すなわち、撮像素子１４で生成された撮像画像が、信号処理プロセッサ２２によって所定の画像形式に変換され、メインメモリ３８に記憶される。
【００１７】
しわ処理モードのＯＮに設定されている場合には、撮像時に生成された撮像画像がメインメモリ３８に一旦保存された後、保存された撮像画像を読み出し、撮像画像における被写体人物の顔認識が実行される。そして、認識された顔画像に対してしわを修正する画像処理が実行される。顔のしわが修正された修正画像が、メインメモリ３８に保存される。しわを修正する画像処理の手法については、後述する。
【００１８】
また、本実施形態のデジタルカメラは、通常の撮像処理を行ったあと、撮像画像を液晶表示部１８で視認しつつ、顔のしわ部分を操作手段２０を用いてキー操作で選択し、選択したしわ部分についてしわを修正する画像処理を実行することができる。このとき、しわを修正する際の修正レベルを選択することもできる。
【００１９】
次に、本実施形態のデジタルカメラにおいて顔認識を用いたしわ修正処理の手順を説明する。
図３は、本実施形態のデジタルカメラの構成を示すブロック図である。図４は、本実施形態のデジタルカメラの処理手順を示すフローチャートである。
【００２０】
図３に示すように、画像処理部２４は、しわ修正処理時にメインメモリ３８に保存された撮像画像を読み出し、顔しわの位置を認識する顔しわ認識処理部５２と、顔しわ認識処理部５２によって検出されたしわ部分に対してしわ修正処理を実行する演算部５４とを備えている。
【００２１】
しわ修正がＯＮに設定されている状態で、撮像が行われると、撮像画像に対して顔認識を開始する。本実施形態では、予め撮像画像における顔画像の位置を特定してある状態と仮定する。撮像画像における顔画像の位置を判別する手段は従来の手法をもちいることができる。
【００２２】
本実施形態では、図４に示すように、顔の左目と右目の間隔を認識し（ステップＳ４１）、両目と鼻とのそれぞれの間隔を認識し（ステップＳ４２）、鼻と口との間隔を認識し（ステップＳ４３）、眉毛と顔の間隔を認識する（ステップＳ４４）。これらステップＳ４１〜４４で特定された、顔に対する目と口の位置に基づいて、目と口の周辺近傍のしわ部分を補正範囲に設定する（ステップＳ４５）。なお、本実施形態のステップＳ４１〜４４の順番は特にこれに限定されない。また、各ステップで認識する対象となる目、鼻などの部位は上記のものに限定されない。しわ修正処理を実行する部位の、顔に対する位置を認識し、しわ部分を含む補正範囲を決定することができれば、顔認識の手法は上記のものに限定されない。
【００２３】
次に、撮像画像において、他にしわ修正処理の対象となる顔画像の検査領域があるか否かを判別し（ステップＳ４６）、なければ、設定された補正範囲にしわ修正を実行する（ステップＳ４７）。
【００２４】
しわ修正が実行されたしわ修正画像は、メインメモリ３８に保存され（ステップＳ４８）、しわ修正処理が終了する。
【００２５】
次に、顔画像からしわ部分を含む補正範囲を選択し、しわ修正処理を実行する手順を説明する。
図５は、顔画像からしわ部分を含む補正範囲を選択する状態を説明する図である。図６は、本実施形態のデジタルカメラの構成を示すブロック図である。図７は、顔画像からしわ部分を含む補正範囲を選択し、しわ修正処理を実行する手順を示すフローチャートである。
【００２６】
図５に示すように、撮像画像を液晶表示部１８に表示した状態で、使用者が該液晶表示部１８を視認しつつ、操作手段２０を直接操作することで顔画像と、該顔画像において、修正したしわ部分を含む補正範囲を選択することができる。例えば、使用者は、液晶表示部１８に表示された顔画像に対して、図中は線で示す矩形状のカーソルを操作手段２０のキー操作によって移動させ、目の周辺近傍を補正範囲Ｒ１に設定することや、または、口の周辺近傍を補正範囲Ｒ２に設定することができる。また、図５には示さないが、撮像画像に複数の顔画像が表示されている場合には、任意の顔画像を複数選択し、選択された顔画像を拡大して表示した後、それぞれの選択した顔画像について同様に補正範囲を設定してもよい。
【００２７】
次に、図６及び図７を用いて本実施形態のしわ修正処理の手順を具体的に説明する。なお、本実施形態では、撮像画像として、撮像素子１４で生成され、信号処理プロセッサによる信号処理が施されていない状態のＲＡＷデータを使用する。しかし、撮像画像としては、以下のしわ修正処理の演算を実行することができる範囲であれば、その他の画像形式に変換された画像データを用いてもよい。
【００２８】
図６に示すように、画像処理部２４は、しわ修正処理時にメインメモリ３８から撮像画像を読み出し、平均画像データを算出する平均画像データ算出部６２と、平均画像データ算出部６２によって算出された平均画像データを一時的に記憶するバッファメモリ７２と、撮像画像と平均画像データとの差分に基づいて差分画像を算出し、バッファメモリ７２に該差分画像を出力する差分画像算出部６４と、差分画像に修正レベルに対応して強調値を加えた差分修正画像を生成する差分強調処理部６６と、平均画像データと差分修正画像とを足し合わせることで修正画像を生成する修正画像生成部６８とを備えている。平均画像データ算出部６２、差分画像算出部６４、差分強調処理部６６、修正画像作成部６８はそれぞれ１つのバッファメモリ７２との間で信号を入出力可能に接続されている。また、バッファメモリを複数設けた構成とし、複数のバッファメモリの全部又は一部が、平均画像データ算出部６２、差分画像算出部６４、差分強調処理部６６、修正画像作成部６８のうちのいずかと接続されていてもよい。
【００２９】
しわ修正処理が開始されると、ＲＡＷデータの撮像画像における顔画像から、画像処理の対象となるしわ部分を含む補正範囲が切り出される（ステップＳ７１）。
【００３０】
切り出された補正範囲の画像のうち、修正する一画素が選択され（ステップＳ７２）、この一画素を基準として所定範囲の画素が選択される（ステップＳ７３）。本実施形態では、一画素に対して、画像の縦方向に沿って一方に５０画素（+５０画素）、他方に５０画素（−５０画素）を選択するものとした。
【００３１】
選択された一画素と該一画素の+５０画素及び−５０画素の平均値を算出する（ステップＳ７４）。ここで、画素の平均値とは、例えば０〜２５５で示されるＲＧＢ値を平均して得られる輝度値を用いることができる。算出された平均値を先に選択した一画素の値に設定する（ステップＳ７５）。
【００３２】
次に、修正した一画素の縦方向に隣り合う画素を一画素に設定し（ステップＳ７６）、ステップＳ７５，７６によって、設定された所定範囲の各画素について平均化を行う。そして、これら画素の全部について平均化処理が実行されたかを判別し（ステップＳ７７）、全ての画素について、その画素と+５０画素及び−５０画素による平均化が終わったら、修正する画素を画像に対して横方向に１画素シフトして、ステップＳ７３の一画素に設定し、同様にステップＳ７３〜Ｓ７７の処理を繰り返し実行する。補正範囲の全部の画素について平均化が終了したかを判別し（ステップＳ７９）、全画素が平均化された場合には、補正範囲の平均画像データ（平均ＲＡＷデータ）をバッファメモリ７２に一時的に記憶する（ステップＳ８０）。
【００３３】
次に、最初に切り出したＲＡＷデータから、算出された平均画像データを差し引くことによって差分画像（差分ＲＡＷデータ）を算出する。算出された差分画像は、バッファメモリ７２に一時的に記憶される（ステップＳ８１）。
【００３４】
算出された差分画像に修正レベルに対応した強調値を加えることで差分修正画像（差分修正ＲＡＷデータ）を算出し、バッファメモリ７２に一時的に記憶する（ステップＳ８２）。ここで修正レベルとは、例えば、差分画像の基準値を０とした場合に、−２、−１、＋１、＋２などのパラメータで表すことができる。しわ修正処理時に使用者に設定された修正レベルのパラメータに基づいて差分画像の各画素の値に強調値を乗算することによって差分修正画像を算出することができる。このとき使用者は液晶表示部１８によってしわ修正を確認して適宜修正レベルを調整して差分処理画像を再度作成することもできる。
【００３５】
次に、バッファメモリ７２に保存された平均画像データに差分修正画像を足し合わせることでしわ修正処理の目的の修正画像を生成することができる（ステップＳ８３）。
【００３６】
本実施形態のように、切り出した撮像画像に平均画像データを差し引くことで得られる差分画像を用いて修正画像を生成することで、人間の顔表面の肌の複雑な起伏に順応させることできるため、しわ部分の修正された箇所に視認上違和感がなく、自然な顔画像を得ることができる。
【００３７】
作成された修正画像を元の撮像画像の補正範囲の部分と入れ替え（ステップＳ８４）、しわ修正処理が終了する。なお、メインメモリ３８に、元の撮像画像と修正画像とをともに保存しておくことで、使用者が修正画像を視認して意思にそぐわず気に入らない場合には、元の撮像画像のみを残して保存してもよい。
【００３８】
本実施形態のデジタルカメラによれば、撮像部によって生成した撮像画像を、画像装置内に設けられた画像処理部２４に入力することで、そのまま画像処理を実行することができる。このため、パーソナルコンピュータ等の外部装置を用いることなく、撮像をしたその場で画像処理された画像を確認することができ、使い勝手が良い。また、使用者は撮像装置の操作手段２０を用いて、しわ修正処理の設定を行うだけで自動的に処理されるため、簡単な操作によって撮像画像に画像処理を実行することができる。
【産業上の利用可能性】
【００３９】
本発明にかかる撮像装置及び画像処理手段は、化粧品などの店頭販売や美容形成などの分野で応用が期待できる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態に係るデジタルカメラのブロック構成図である。
【図２】本実施形態のデジタルカメラの動作を説明するフローチャートである。
【図３】本実施形態のデジタルカメラの構成を示すブロック図である。
【図４】本実施形態のデジタルカメラの処理手順を示すフローチャートである。
【図５】顔画像からしわ部分を含む補正範囲を選択する状態を説明する図である。
【図６】本実施形態のデジタルカメラの構成を示すブロック図である。
【図７】顔画像からしわ部分を含む補正範囲を選択し、しわ修正処理を実行する手順を示すフローチャートである。
【符号の説明】
【００４１】
１４    撮像素子
２４    画像処理部
３８    メインメモリ
【図１】
2009055168.tif 000003
【図２】
2009055168.tif 000004
【図３】
2009055168.tif 000005
【図４】
2009055168.tif 000006
【図５】
2009055168.tif 000007
【図６】
2009055168.tif 000008
【図７】
2009055168.tif 000009