(57)【要約】【課題】  画像中から顔領域を抽出する際、顔以外の背景などが含まれてしまい、正確に顔領域を算出することができない場合があった。【解決手段】  画像中から任意の顔領域を抽出する際に、自動または手動で抽出した顔領域から必要領域を改めて抽出することで、顔以外の背景を削除し顔領域検出に関する正確なパラメータを算出することができる。【選択図】      図８
2005352560.tif 000002
【特許請求の範囲】
【請求項１】
画像中の主被写体を抽出する画像処理において、自動または手動で画像中の第１の選択領域を定め、第１の選択領域から主被写体以外を除いた第２の選択領域を設定することを特徴とする画像処理装置。
【請求項２】
該主被写体は、人物の顔であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
該第２の選択領域は、第１の選択領域の内側に位置することを特徴とする請求項１記載の画像処理装置。
【請求項４】
該第２の選択領域の形状は、第１の選択領域を自動で定める場合と手動で定める場合とで異ならせることを特徴とする請求項１記載の画像処理装置。
【請求項５】
該第１の選択領域を手動で定める場合、ユーザのキャリブレーションによって第２の選択領域の形状を定めることを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ディジタルスチルカメラ（以下、単に「デジカメ」と言う）等により撮影して取得した人物ディジタル画像データを補正や加工する際に、顔抽出において従来に比べて精度の高い顔領域のパラメータ算出を実行する装置或いはシステムに用いられる、画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読出可能な記憶媒体、及び当該プログラムに関するものである。
【背景技術】
【０００２】
近年では、例えば、デジカメの普及により、写真画像のディジタル化が手軽になり、特に、パーソナルコンピュータ（以下、単に「パソコン」と言う）上において、写真調の画像をディジタル画像データとして扱う機会が増えてきた。
【０００３】
また、画像を補正や加工できるアプリケーションソフトの普及により、ユーザがパソコン上で自在に画像変換を行えるようになった。例えば、暗く写ってしまった人物画像を明るくする補正や、人物の肌を美白にする加工といったものが上げられる。
【０００４】
このような背景から、さらに精度の高い画像変換をできる技術が、ますます必要となってくる。
【０００５】
特に人物画像の場合、人物の顔が主被写体となる。そのため、顔の明るさや色合いを最適に補正や加工できるよう、画像中から顔領域を抽出して、画像変換に必要なパラメータを算出する技術が求められている。このような顔抽出に関しては、これまで数多くの特許が提案されてきた。しかしながら、処理に負荷をかけず、正確に顔領域を抽出し、必要なパラメータを算出できるものは多くない。
【０００６】
例えば、顔領域の輝度ヒストグラムを求める際に、画像中から顔領域を抽出しても、抽出領域内に顔以外の背景なども含んでしまうことがある。こういった場合、抽出領域のヒストグラム中に顔と背景の両方の輝度値が混在してしまうことになる。
【０００７】
特許文献１、特許文献２、特許文献３では、抽出した領域のヒストグラムを見て、背景が分布する輝度領域を削除するという方法を行っているが、顔の輝度分布領域と背景の輝度分布領域を分別するのが非常に困難となる場合がある。例えば、図３のように顔の輝度分布領域と背景の輝度分布領域が同じ大きさの場合、どちらが顔の輝度分布領域なのかが判別できなくなる。また、図４のように背景の輝度分布領域が顔の輝度分布領域に吸収されてしまった場合も同様、判別ができなくなる。そのため、輝度ヒストグラムを作成する前に抽出された顔領域において背景を削除する必要がある。
【０００８】
また、抽出された顔領域から背景を削除するため、抽出された顔領域から肌色を検出して顔の必要領域を設定する方法がある。例えば、特許文献４が上げられる。ところが、この方法では逆光画像のように顔が極端に暗い画像や、露出オーバーで顔が極端に明るい画像の場合には、顔の色度値が０に近くなり、肌色検出ができなくなる。また、モノクロ画像においても同様、肌色検出ができない。つまり、背景を削除するためには色度値を参照するより、空間的に必要領域の抽出を行うことが好ましい。
【０００９】
さらに、画像中から顔を矩形で抽出し、背景差分法によって顔領域と背景領域に分離することを提案している。しかし、各画素に対して処理を行うと演算負荷が大きくなってしまう（例えば、特許文献５参照）。
【特許文献１】特開平０４−２３６３８９号公報
【特許文献２】特開平０５−２９８４４５号公報
【特許文献３】特開平０８−０９８００６号公報
【特許文献４】特開２０００−０７６４５４号公報
【特許文献５】特開２００２−２６９５４５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、顔を自動抽出する場合と手動抽出する場合とで、抽出する領域の位置や大きさが異なる。そのため、ヒストグラムも異なってしまい、パラメータの値が大きく変わってくる場合がある。これまでは自動抽出の精度が低く、その抽出方法を工夫する必要があったが、近年の技術進歩により、むしろユーザの手動抽出による誤差が大きく、それを低減しなければならなくなっている。
【００１１】
このような課題を鑑みて、本発明は上記の欠点を除去するために成されたもので、画像中から顔領域を抽出した際、顔領域以外の背景領域を削除するため、抽出された領域からさらに必要領域を設定して正確なパラメータを得ることができる画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読出可能な記憶媒体、及び当該プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
斯かる目的下において、画像中から自動または手動で第１の選択領域を定め、第１の選択された領域から主被写体以外を除いた第２の選択領域を設定することを特徴とし、
該主被写体は、人物の顔であることを特徴とし、
該第２の選択領域は、第１の選択領域内に位置することを特徴とし、
該第２の選択領域の形状は、第１の選択領域を自動で定める場合と手動で定める場合とで異ならせることを特徴とし、
該第１の選択領域を手動で定める場合、ユーザのキャリブレーションによって第２の選択領域の形状定めることを特徴とする。
【００１３】
すなわち、本発明の技術内容は以下の構成を備えることにより前記課題を解決できた。
【００１４】
（１）画像中の主被写体を抽出する画像処理において、自動または手動で画像中の第１の選択領域を定め、第１の選択領域から主被写体以外を除いた第２の選択領域を設定することを特徴とする画像処理装置。
【００１５】
（２）該主被写体は、人物の顔であることを特徴とする前記（１）記載の画像処理装置。
【００１６】
（３）該第２の選択領域は、第１の選択領域の内側に位置することを特徴とする前記（１）記載の画像処理装置。
【００１７】
（４）該第２の選択領域の形状は、第１の選択領域を自動で定める場合と手動で定める場合とで異ならせることを特徴とする前記（１）記載の画像処理装置。
【００１８】
（５）該第１の選択領域を手動で定める場合、ユーザのキャリブレーションによって第２の選択領域の形状を定めることを特徴とする前記（１）記載の画像処理装置。
【発明の効果】
【００１９】
第１、第２の実施例で述べてきたように、本発明では、画像から任意の図形で顔領域を抽出する際に、上記抽出領域より小さな図形を用いることで顔以外の背景を削除し、必要領域のみを抽出することができる。その結果、顔領域のみに対してヒストグラム作成ができ、正確なパラメータを算出することができる。
【００２０】
特に、自動抽出では正確に顔領域を抽出できても、手動抽出の場合、ユーザによっては頭部全体を選択したりなど、選択する領域の大きさが非常に異なるため、手動では上記図形を自動に対して異ならせることを提案した。例えば、自動抽出では顔以外の領域を排除しつつなるべく広く顔領域を抽出するために図７のように必要領域を設定し、手動抽出ではパラメータが算出できる最小面積を確保するために図８のように必要領域を設定した。
【００２１】
さらには、ユーザによって顔を選択する領域をキャリブレーションする方法も提案した。この方法によれば、アプリケーション１０１に格納された画像を用いて手動で顔抽出を行い、実際の顔領域のデータと比較してユーザ毎に位置や大きさの調整値を算出し、手動抽出の際にはそのデータを元に顔の必要領域を設定する。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について図面を用いて説明する。
【実施例】
【００２３】
＜第１の実施例＞
本実施形態におけるシステムの概略の一例を図１に示す。
【００２４】
ホストコンピュータ１００には、例えばデジカメ１０５とインクジェットプリンタなどのプリンタ１０６が接続されている。ホストコンピュータ１００は、画像処理ソフト、ワープロ、表計算、インターネットブラウザ等のアプリケーションソフトウエア１０１と、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）１０２、モニタ１１１、該アプリケーションによってＯＳ１０２に発行される出力画像を示す各種描画命令群（イメージ描画命令、テキスト描画命令、グラフィックス描画命令）を処理して印刷データを作成するプリンタドライバ１０３、およびデジカメ内のデータをＯＳ１０２に転送するデジカメドライバ１０４をソフトウエアとして持つ。
【００２５】
ホストコンピュータ１００は、これらソフトウエアが動作可能な各種ハードウエアとして中央演算処理装置ＣＰＵ１０８、ハードディスクドライバＨＤ１０７、ランダムアクセスメモリ１０９、リードオンリーメモリＲＯＭ１１０等を備える。
【００２６】
図１で示される実施形態として、例えば一般的に普及しているＩＢＭ社のＡＴ互換機のパーソナルコンピュータにＭｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ(登録商標)ＸＰをＯＳとして使用し、任意の印刷可能なアプリケーションをインストールし、デジカメとプリンタを接続した形態が１実施形態として考えられる。
【００２７】
ホストコンピュータ１００では、モニタ１１１に表示された表示画像に基づき、アプリケーション１０１で、文字などのテキストに分類されるテキストデータ、図形などのグラフィックスに分類されるグラフィックスデータ、自然画などに分類されるイメージ画像データなどを用いて出力画像データを作成する。そして、出力画像データを印刷出力するときには、アプリケーション１０１からＯＳ１０２に印刷出力要求を行い、グラフィックスデータ部分はグラフィックス描画命令、イメージ画像データ部分はイメージ描画命令で構成される出力画像を示す描画命令群をＯＳ１０２に発行する。ＯＳ１０２はアプリケーションの出力要求を受け、出力プリンタに対応するプリンタドライバ１０３に描画命令群を発行する。プリンタドライバ１０３はＯＳ１０２から入力した印刷要求と描画命令群を処理しプリンタ１０６で印刷可能な印刷データを作成してプリンタ１０６に転送する。プリンタ１０６がラスタープリンタである場合は、プリンタドライバ１０３はＯＳ１０２からの描画命令に対して、順次画像補正処理を行い、そして順次ＲＧＢ２４ビットページメモリにラスタライズし、すべての描画命令をラスタライズした後にＲＧＢ２４ビットページメモリの内容をプリンタ１０６が印刷可能なデータ形式、例えばＣＭＹＫデータに変換を行いプリンタに転送する。
【００２８】
本実施の形態の画像変換システム１００は、特に、デジカメ１０５で撮影して得られた画像データを、パソコンに入力するため、デジカメ１０５からパソコン１０７へデータの送受信をする構成になっている。
【００２９】
以下、本実施形態の画像変換システム１００の動作について具体的に説明する。
【００３０】
デジカメ１０５で撮影された画像データは、ＣＦカードやＳＤカードに代表されるＳＲＡＭに記録保存される。ユーザはそのデータを、デジカメドライバ１０４を通じて、パソコン内のＨＤ１０７にデータ転送することができる。
【００３１】
次に、アプリケーション１０１のうち、画像処理ソフトを起動して人物画像の補正や加工を行う。その際に該画像の中から顔領域を抽出して、補正や加工に必要なパラメータを算出する。
【００３２】
本発明は、ＹＣｂＣｒ信号において処理を行う。デジカメドライバ１０４で取り込まれた画像をアプリケーション１０１で画像変換する際、ＪＰＥＧ画像はＹＣｂＣｒ信号で保存されているため、そのまま処理を行うことが可能だが、ビットマップ画像やＴＩＦＦ画像は、ＲＧＢ信号で保存されているため、図２に示すようにＲＧＢ信号をＹＣｂＣｒ信号に変換する必要がある。
【００３３】
まず、画像中から顔抽出を行うが、自動抽出の場合、例えば目鼻口をフィルタ処理や周波数解析などで検出し、それらを含む矩形もしくはだ円で顔領域を抽出する方法が一般的である。また、手動抽出の場合、ユーザがパソコンのモニタ１１１を見ながら、マウスで画像中から顔領域を選択する方法が一般的である。
【００３４】
ところが、このような方法では、顔領域を抽出したつもりが顔以外の領域も抽出されてしまう場合がある。例えば、図５のように自動抽出で顔領域を抽出しても、抽出図形が矩形なら、矩形の角に顔以外の領域が含まれてしまう。特に、図６のように手動抽出の場合、ユーザは顔を選択するつもりが、頭部全体を選択してしまう場合がある。また、モニタ１１１に表示される顔領域が小さいと、顔をマウスで選択する際に誤差を生じてしまい、顔以外の領域も抽出してしまう。
【００３５】
そこで本発明では、自動抽出、手動抽出とも選択された領域から、さらに必要領域を絞り込んで設定することを提案する。
【００３６】
先にも述べたように、自動抽出に比べて手動抽出の方が、ユーザが自由に顔領域を選択する分、選択する領域の位置や大きさに誤差を生じやすくなる。そこで、顔抽出において、自動抽出と手動抽出とで絞り込む必要領域の形状や大きさを変える必要が出てくる。
【００３７】
本発明では、自動抽出において、例えば図７に示すように、最初に矩形で抽出された顔領域のうち、各辺の中点を結んでできる面積１／２の図形を必要領域とする。図５においては、最初に抽出された顔領域で角に背景も抽出してしまっていたが、図７の点線部のように必要領域を設定することで、背景を削除することができる。もちろん、必要領域の形状はだ円でもその他の図形でも構わない。本実施例では、演算の負荷が低減できる上記矩形を選択した。
【００３８】
一方、手動抽出では、ユーザが必要以上に顔より大きな領域を選択してしまってもいいよう、自動抽出よりも面積の小さな必要領域を設定する。例えば、図８に示すように、最初にユーザに選択された顔領域に対して面積１／４の相似矩形を、必要領域として設定すればよい。この場合においても、必要領域はだ円やその他の図形でもよい。つまり、ユーザが自由に選択する顔領域から、背景部分をうまく削除できる大きさの図形が好ましい。
【００３９】
以上より、図７、８の点線部で囲まれた領域のヒストグラムは、背景を削除した顔領域のみを表し、その結果、パラメータを正確に算出することができる。
【００４０】
このように、自動、手動に限らず最初に抽出された顔領域では、顔以外の領域も含まれてしまうことが多かったために、ヒストグラムより正確なパラメータを算出できなかった。そこで、抽出領域から図７、８のように、さらに必要領域を絞り込むことで、顔領域のみを抽出することができ、処理負荷をかけずに正確なパラメータを算出することができる。
【００４１】
特に、自動抽出に比べて手動抽出する場合に、ユーザは顔領域を必要以上に大きく選択してしまうことが多かったが、自動抽出と手動抽出とで上記必要領域の形状や大きさを異ならせることで、両方とも正確にパラメータを算出することができる。この場合、自動抽出では顔以外の領域を排除しつつなるべく広く顔領域を抽出するために図７のように必要領域を設定し、手動抽出ではパラメータが算出できる最小面積を確保するために図８のように必要領域を設定する。
【００４２】
＜第２の実施例＞
一般に自動抽出の場合、顔の目鼻口などの部位を検出して顔領域を抽出する。そのため抽出された顔領域の大きさは、画像中の顔の大きさに比例することになる。ところが、手動抽出の場合、顔を抽出する際の選択領域の大きさは、ユーザによって異なってくる。そこで、ユーザ毎に手動抽出の領域の大きさをキャリブレーションすればよい。
【００４３】
そのキャリブレーション方法を以下に示す。まず、アプリケーション１０１の中に、画像を一つまたは複数保持しておく。各画像において顔領域の位置と大きさを含むデータを、アプリケーション１０１内に格納しておく。
【００４４】
次に、ユーザは一つまたは複数の画像において、パソコンのモニタ１１１を見ながらマウスで画像中の顔領域を選択する。本実施例では図５〜８ように矩形を用いているが、だ円やその他の図形でもよい。
【００４５】
ユーザが各画像において顔領域を選択したところで、アプリケーション１０１に格納されている顔領域の位置と大きさとをそれぞれ比較する。こうすることで、ユーザが選択する領域とアプリケーション１０１が定める領域とで、顔領域の中心位置が画像内でどの方向にどの割合ずれているか、または顔領域の大きさがどのくらい異なっているかの差異を算出することができる。
【００４６】
こうして得られた位置誤差、面積誤差より、ユーザ毎の補正値が求まる。つまり、キャリブレーションを行ったユーザに対して、そのユーザが顔領域を選択した際、位置をどの方向にどの割合ずらせば実際の顔領域と一致するか、選択された大きさをどのくらい縮小または拡大すれば実際の顔領域と一致するかがわかる。それによりユーザの選択した領域から実際の顔領域を設定することができ、正しくパラメータを算出することができる。キャリブレーションのデータはアプリケーション１０１内で保存しておく。
【００４７】
以上述べたように、アプリケーション１０１を使用するユーザ毎に、顔領域を抽出するキャリブレーションを行うことで、第１の実施例で述べた手動の場合の必要領域をより正確に設定することができる。アプリケーション１０１のＵＩ（ユーザインターフェイス）上において、使用するユーザを指定できるスイッチを設け、それを参照することでキャリブレーションのデータを読み込み、必要領域を設定すればよい。
【図面の簡単な説明】
【００４８】
【図１】本発明を適用した画像処理システムの構成を示すブロック図である。
【図２】画像を構成するＲＧＢ信号、ＹＣｂＣｒ信号の変換フローを表す図である。
【図３】画像の顔領域と背景が分かれて分布しているヒストグラムである。
【図４】画像の顔領域と背景が混在して分布しているヒストグラムである。
【図５】画像の顔領域を自動で抽出した場合の図である。
【図６】画像の顔領域を手動で抽出した場合の図である。
【図７】図５において、必要領域を設定した場合の図である。
【図８】図６において、必要領域を設定した場合の図である。
【符号の説明】
【００４９】
１００  ホストコンピュータ
１０１  アプリケーションソフトウエア
１０２  ＯＳ
１０３  プリンタドライバ
１０４  デジカメドライバ
１０５  デジカメ
１０６  プリンタ
１０７  ＨＤ
１０８  ＣＰＵ
１０９  ＲＡＭ
１１０  ＲＯＭ
１１１  モニタ
【図１】
2005352560.tif 000003
【図２】
2005352560.tif 000004
【図３】
2005352560.tif 000005
【図４】
2005352560.tif 000006
【図５】
2005352560.tif 000007
【図６】
2005352560.tif 000008
【図７】
2005352560.tif 000009
【図８】
2005352560.tif 000010