(57)【要約】【課題】人物写真を自動的且つ適切にトリミングすることができる画像トリミング装置を提供する。【解決手段】人物画像を含む写真画像のトリミング装置であって、写真画像から人物の顔を検出し、検出されたすべての顔を含む顔領域を算出する顔および人物領域の特定手段１４と、トリミング後の写真画像における顔領域の垂直及び水平方向の位置を設定する顔位置に関する所定比率の設定手段１３と、顔領域が設定した垂直及び水平方向の位置に置かれるように写真画像をトリミングするトリミング手段１６とを備えている。【選択図】            図１
2005267454.tif 000002
【特許請求の範囲】
【請求項１】
人物画像を含む写真画像のトリミング装置であって、
写真画像から人物の顔を検出し、検出されたすべての顔を含む顔領域を算出する顔領域算出手段と、
トリミング後の写真画像における顔領域の垂直及び水平方向の位置を設定する画像位置設定手段と、
前記顔領域算出手段が算出した顔領域が前記画像位置設定手段で設定した垂直及び水平方向の位置に置かれるように写真画像をトリミングするトリミング手段と
を備えることを特徴とする画像トリミング装置。
【請求項２】
前記トリミング手段が、顔領域の中心点がトリミング後画像の垂直方向における黄金分割点に位置し、且つ、水平方向における中央点に位置するように、写真画像をトリミングすることを特徴とする請求項１記載の画像トリミング装置。
【請求項３】
前記顔領域算出手段の算出結果に基づいて人物がすべて含まれるであろう人物領域を特定する人物領域特定手段をさらに備え、
前記トリミング手段が、前記人物領域推定手段が特定した人物領域がトリミング後の写真画像にすべて含まれるように写真画像をトリミングする
ことを特徴とする請求項１又は２記載の画像トリミング装置。
【請求項４】
人物画像を含む写真画像のトリミング方法であって、
写真画像から人物の顔を検出し、検出されたすべての顔を含む顔領域を算出する顔領域算出過程と、
トリミング後の写真画像における顔領域の垂直及び水平方向の位置を設定する画像位置設定過程と、
前記顔領域算出過程で算出した顔領域が前記画像位置設定過程で設定した垂直及び水平方向の位置に置かれるように写真画像をトリミングするトリミング過程と
を含んでいることを特徴とする画像トリミング方法。
【請求項５】
人物画像を含む写真画像をトリミングするためのプログラムであって、
写真画像から人物の顔を検出し、検出されたすべての顔を含む顔領域を算出する顔領域算出過程と、
トリミング後の写真画像における顔領域の垂直及び水平方向の位置を設定する画像位置設定過程と、
前記顔領域算出過程で算出した顔領域が前記画像位置設定過程で設定した垂直及び水平方向の位置に置かれるように写真画像をトリミングするトリミング過程と
をコンピュータによって実行するための記述を含んでいることを特徴とする画像トリミングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物写真を含む写真画像に対して人物の顔が適正な位置に置かれるようにトリミング処理を行う際に用いて好適な画像トリミング装置及び方法に関する。
【背景技術】
【０００２】
デジタルカメラなどで撮影した電子写真を所定の画像解像度（画像の縦横サイズ）にあわせ、適宜にトリミングして、電子アルバムにまとめることが行われている。電子写真のトリミングは、手作業で行うのが一般的である。
【０００３】
これに関する従来技術の一例として、特許文献１に記載されている方法がある。この方法では、パソコンなど写真編集機器のディスプレイに表示されているトリミング枠に、電子写真から切り出したい部分を重ねあわせるように、電子写真をマウスでドラッギングする。編集者が所望する画像領域をトリミング枠内に入れることで、電子写真のトリミング範囲が決定される。
【特許文献１】特開平１０−２６１０６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の方法では、写真内のトリミング範囲を決定するのに、編集者が手作業を行わなければならない煩わしさがある。これは、人物写真からなる写真アルバムを自動的に生成する等のアプリケーションにとっては障害となる。
【０００５】
本発明は、従来例の問題点を鑑み、人物写真を含む写真画像に対する画像処理操作の簡単化を図ることを目的とするものであって、人物写真を自動的且つ適切にトリミングすることができる画像トリミング装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、人物画像を含む写真画像のトリミング装置であって、写真画像から人物の顔を検出し、検出されたすべての顔を含む顔領域を算出する顔領域算出手段と、トリミング後の写真画像における顔領域の垂直及び水平方向の位置を設定する画像位置設定手段と、前記顔領域算出手段が算出した顔領域が前記画像位置設定手段で設定した垂直及び水平方向の位置に置かれるように写真画像をトリミングするトリミング手段とを備えることを特徴とする。
【０００７】
上記構成によれば、トリミング手段によって、顔領域算出手段が算出した顔領域が画像位置設定手段で設定した垂直及び水平方向の位置に置かれるように写真画像がトリミングされる。すなわち、本発明によれば、写真画像における顔の位置に合わせてトリミングが行われるので、人物写真のトリミングを適切に、人手によらず、自動的に行うことができる。
【０００８】
本発明は、前記トリミング手段が、顔領域の中心点がトリミング後画像の垂直方向における黄金分割点に位置し、且つ、水平方向における中央点に位置するように、写真画像をトリミングすることを特徴とする。これによれば、トリミング後の写真画像における人物の顔の位置を水平及び垂直方向においてバランス良く配置することができる。
【０００９】
本発明は、前記顔領域算出手段の算出結果に基づいて人物がすべて含まれるであろう人物領域を特定する人物領域特定手段をさらに備え、前記トリミング手段が、前記人物領域推定手段が特定した人物領域がトリミング後の写真画像にすべて含まれるように写真画像をトリミングすることを特徴とする。これによれば、トリミング後の写真画像における人物の顔及び人物全体位置をバランス良く配置することができる。
【００１０】
また、本発明の他の形態は、人物画像を含む写真画像のトリミング方法であって、写真画像から人物の顔を検出し、検出されたすべての顔を含む顔領域を算出する顔領域算出過程と、トリミング後の写真画像における顔領域の垂直及び水平方向の位置を設定する画像位置設定過程と、前記顔領域算出過程で算出した顔領域が前記画像位置設定過程で設定した垂直及び水平方向の位置に置かれるように写真画像をトリミングするトリミング過程とを含んでいることを特徴とする。
【００１１】
また、本発明のさらに他の形態は、人物画像を含む写真画像をトリミングするためのプログラムであって、写真画像から人物の顔を検出し、検出されたすべての顔を含む顔領域を算出する顔領域算出過程と、トリミング後の写真画像における顔領域の垂直及び水平方向の位置を設定する画像位置設定過程と、前記顔領域算出過程で算出した顔領域が前記画像位置設定過程で設定した垂直及び水平方向の位置に置かれるように写真画像をトリミングするトリミング過程とをコンピュータによって実行するための記述を含んでいることを特徴とする。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明による画像トリミング装置の実施の形態について説明する。本実施の形態は、パーソナルコンピュータ、携帯電話端末、デジタルカメラ、個人情報端末を構成するコンピュータおよび周辺装置と、コンピュータで実行されるプログラムとから構成される。画像処理対象の写真画像データは、デジタルカメラ等で撮影され、所定の記録媒体や、通信回線を介して、本実施の形態を構成する情報機器に入力され、所定の記憶装置に記憶されているものとする。
【００１３】
図１に示す本実施の形態の構成を機能毎にブロック分けして示すブロック図と、図２に示す本実施の形態の処理の流れを示すフローチャートを参照して、本実施の形態の構成および動作について説明する。
【００１４】
人物写真の画像入力手段１１は、ユーザーの所定の操作に応じて処理対象となる写真画像データを入力する（図２のステップＳ１０）。所望画像解像度の入力手段１２は、トリミング後の出力画像の縦横サイズを入力する（図２のステップＳ１１）。単位は画素である。本実施の形態を利用あるいは構成するアプリケーションプログラムのユーザインターフェースまたはその他の方法を用いて、ユーザーの指示に従って、あるいは所定の出力形式に対応する様に予め定められた定義に従って、画像処理前（トリミング処理）前に設定される。
【００１５】
本実施の形態は、写真画像のトリミング機能を提供するものである。すなわち、写真画像から人物の顔（または全体）の周囲の不要な部分を省いて出力画像を作成するものである。したがって、本実施の形態では、写真解像度（入力画像サイズ）が所望画像解像度（出力画像サイズ）よりも小さい場合には処理を終了するようにしている（図２のステップＳ１２で「いいえ」）。
【００１６】
顔位置に関する所定比率の設定手段１３は、出力画像における顔領域の位置に関する所定比率を、予め決められた値から設定したり、あるいはユーザーの操作に応じて設定する（図２のステップＳ１３）。顔領域とは、人物領域のうち顔（または頭）が占める領域であって、複数の人物が撮影された写真画像においてはすべての人物の顔領域を網羅する領域が顔領域となる。すなわち、検出された１または複数の人物の顔の外接矩形が、顔領域である。顔位置に関する所定比率の設定手段１３は、出力画像の垂直方向上における顔領域の位置を指定する。具体的には、出力画像の上端から顔領域の中心点までの長さと、顔領域の中心点から出力画像の下端までの長さの比率で設定する。
【００１７】
図３は、写真画像１、出力画像（トリミング後写真画像）２等の関係の一例を示す図である。図３に示す例では、３人の人物の顔５が写真画像１に含まれていて、それらの外接矩形４が顔領域となる。人物領域３は、人物の顔５の大きさや向きに応じて、人物の全体像が含まれるであろうと推定された領域である。そして、図３の例では、顔位置に関する所定比率の設定手段１３で設定された顔位置に関する比率が、顔領域４の垂直方向の位置の出力画像２の垂直方向の高さｈに対する割合（３８．２％／６１．８％）で設定されている。この比率は、本実施の形態を利用あるいは構成するアプリケーションプログラムのユーザインターフェースまたはその他の方法で予め設定されるものであり、トリミング処理をする前に取得される。本実施の形態では、この比率が０．３８２：０．６１８で決まる、黄金分割点に設定されている。この黄金分割点は、黄金比（１＋√５）／２で決定される分割点である。この場合、顔領域４の中心点Ｃが、出力画像２の垂直方向上の黄金分割点に当たる。
【００１８】
顔および人物領域の特定手段１４は、顔５の検出および顔領域４の計算を行うとともに（図２のステップＳ１４）、顔領域４の検出結果に基づいて人物領域３を特定（推定）する処理を行う（図２のステップＳ１５）。
【００１９】
顔５の検出は、例えば肌色領域の検出結果に基づいて行う。顔検出は、写真画像１中に含まれる１または複数人分のすべての顔の検出を、単一の顔５の検出を繰り返すことで実現する。単一の顔５の検出は、顔肌色領域の検出と、この顔肌色領域と顔パターンテンプレートとの照合の二つのステップで実現される。顔の候補となる肌色領域の検出方法としては、よく用いられるＨＳＶ色空間での検出方法がある。これは、肌色画素のＨ成分(色相)とＳ成分(彩度)がＨＳＶ色空間のＨ−Ｓ平面上において一定範囲内に収束している特徴を利用する検出方法である。ここでＶは明度である。具体的には、ＲＧＢ（Red Green Blue）形式等で表された入力画像をＨＳＶ表色系に変換して、ＨＳＶ色空間にて肌色画素を検出する。そして、隣接する肌色画素同士を連結することで、肌色領域を形成して行く。
【００２０】
次に、検出された肌色領域が顔領域かどうかを判定する。事前に用意された向き別の複数の顔パターンと照合することで、判定を行う。具体的には、まず、肌色画素同士を連結することで検出された顔の候補領域を顔パターンの寸法にあわせるように拡大／縮小したうえ、顔パターンとの相関度を求める。そして、顔パターンのうちのいずれかの相関度が予め決められた閾値以上の相関度を持つ顔の候補領域を顔５の画像であると判定する。
【００２１】
顔領域４の計算に関しては、１または複数の顔５の検出結果に基づいて、それを網羅するように、例えば外接矩形として算出する。すなわち、写真画像１から検出された顔５の数によって、写真画像１から一人しか検出されない場合では、顔領域４はその人物の顔５を外接する矩形とする。他方、写真画像１に複数の人物（顔）５がいる（ある）場合では、顔領域４は、検出された顔５すべてを網羅する最小矩形とする。
【００２２】
次に、人物領域３の特定は、顔領域４の算出結果に基づいて行われる。すなわち、顔領域４の中から、顔領域４の増分値となる基準顔（複数の顔５の１つ）を求めて、顔領域４を上下左右の４方向にそれぞれ、予め決められた基準顔５ｂの個数分で増分する。そして、増分された領域を人物領域３とする基準顔５ｂは、例えば、顔領域４のうち、最大面積を持つ顔５を基準顔とする。基準顔５ｂの個数は、例えば平均的な身長と顔の長さとの比率等に応じて決定する。
【００２３】
顔および人物領域の特定手段１４は、さらに人物領域３の大きさが出力画像２の大きさよりも大きい場合には（図２のステップＳ１６で「はい」）、顔領域２と人物領域３を縮小する処理を行う（図２のステップＳ１７）。図３は、人物領域３が出力画像２よりも小さい場合を示し、図４が人物領域３が出力画像２よりも大きい場合を示し、そして図５が顔領域２と人物領域３を縮小した後の人物領域３等を示している。
【００２４】
次に図１のトリミング手段１５は、トリミング領域の計算を行う（図２のステップＳ１８）。図３を参照して、トリミング処理の内容について説明する。ただし、処理対象の写真画像１に対しては、図２のステップＳ１６およびＳ１７の処理によって、顔および人物領域の特定手段１４から渡される画像データにおいて人物領域３が出力画像２よりも小さくなるように調整されているものとする。
【００２５】
図３は、並んでいる３人が写っている写真を表している。上述したように、網掛けした三つの丸は、３人の顔５を表し、これらを外接する矩形が顔領域４である。この顔領域４を囲む破線矩形は人物領域３を表す。人物領域３を囲む矩形は所望の画像解像度であり、即ち、トリミング領域（出力画像）２である。
【００２６】
図３に示された諸寸法の内、ＷとＨ及びｗとｈは、それぞれ、入力画像（写真画像）１及び所望の出力画像（トリミング領域）２の解像度（縦横の画素数）であり、トリミングする前に入力された既知値である。ｘとｙは、特定された人物領域３の縦横サイズであり、顔および人物領域の特定手段１４から得た結果である。ｖとｕは、それぞれ、顔領域４の中心点から人物領域３の上端と下端までの長さであり、顔検出および人物領域の特定手段１４から得た結果。ｙ１は、人物領域３の上端からトリミング領域２の上端までの長さであり、ｙ２は人物領域３の下端からトリミング領域２の下端までの長さである。
【００２７】
顔領域４の中心点を指定された比率の位置に置くようにトリミングするには、ｙ１とｙ２を計算する必要がある。図３から、ｕ、ｖ、ｙ、ｙ１、ｙ２、ｈの諸量の間では、次の式［１］、［２］、［３］からなる連立方程式が成り立つ。
【００２８】
【数１】
2005267454.tif 000003
【００２９】
ここでは、ｋ（＝０．６１８）は所定比率を記述するための定数である。この連立式を解くと、次に示される、ｙ１とｙ２の計算式を得られる：
【００３０】
【数２】
2005267454.tif 000004
【００３１】
また、水平方向においては、ｘ１＝ｘ２＝（ｗ−ｘ）／２で計算する。上記のｙ１とｙ２の計算式を利用することにより、トリミング領域（出力画像）２を計算できる。
【００３２】
そして、図１のトリミングした画像の出力手段１６は、トリミング領域（出力画像）２を所定の出力先（あるいは記録先）に出力する（図２のステップＳ１９）。
【００３３】
次に、図２のステップＳ１７で、画像を縮小し、顔領域と人物領域を再計算する処理について説明する。人物領域の特定処理で得た領域が、縦横のいずれかの方向で所望の画像解像度よりも大きい場合は、入力画像１に対して縮小操作を行い、人物領域３を所望の画像２の解像度以下で、かつ、顔領域４の中心点が出力画像２の縦方向上の黄金分割点に位置するようにｙ１とｙ２を計算する。図４および図５ならびに図６を参照して、縮小する際に行う計算例について説明する。
【００３４】
図４は縮小前の図である。図４は人物領域３の縦方向の長さがトリミング領域２のそれより長い例を示している。図５は縮小後の図である。縮小前の図４に示された場合での垂直方向におけるｙ１とｙ２を計算は、次のように行う。
【００３５】
（ａ）人物領域３の縦方向の長さとトリミング領域のそれとの比で写真全体（写真画像１全体）を縮小する。縮小後の人物領域３の横方向の長さｘ０はｘ＊（ｈ／ｙ）であり、  縦方向の長さｙ’はｈである（図６のステップＳ２０）。
【００３６】
（ｂ）顔領域４の中心点がトリミング領域２の黄金分割点に位置すれば（即ち、「ｖ０／ｕ０＝Ｋ」が成立すれば（図６のステップＳ２１で「はい」）、計算が終了する。
【００３７】
（ｃ）顔領域４の中心点がトリミング領域２の黄金分割点に位置しなければ（図６のステップＳ２１で「いいえ」）、ｙ’を２画素減分して、ｘ’（＝ｘ０＊ｙ’／ｈ）と、ｕ’（＝  ｕ０＊ｙ’／ｈ）及びｖ’（＝ｖ０＊ｙ’／ｈ）を再計算する（図６のステップＳ２２）。そして、ｙ１とｙ２を上記で示された式で算出する（図６のステップＳ２３）。
【００３８】
（ｄ）（ｖ’＋ｙ１）と（ｕ’＋ｙ２）との比が黄金分割比であれば、計算が終了する（図６のステップＳ２４で「はい」）。でなければ、（ｃ）の再計算を適切なｙ１とｙ２が見つかるまでに繰り返す（図６のステップＳ２４で「いいえ」からステップＳ２２）。
【００３９】
上述したように、本実施の形態では、画像解像度がトリミング領域２より大きい人物写真画像１をトリミングするにあたって、写真画像１から顔５を検出して、人物領域３を特定した上で、顔領域４をトリミング領域２の縦方向の黄金分割点、且つ横方向の中央点に位置するようにトリミングするようにした。これによって従来の方法と比べ、人物写真のバランスの良いトリミングを人手によらず、自動的に行うことができるようになった。
【００４０】
なお、本発明の実施の形態は、上記のものに限定されず、各処理過程を統合したり、分散したり、各処理過程を実行するためのハードウェアを統合、分割あるいは分散したりすることができる。また、本発明の実施の形態を構成するプログラムは、コンピュータ読み取り可能な記録媒体または通信回線を介して頒布することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態を説明するためのブロック図。
【図２】図１の実施の形態の処理を説明するためのフローチャート。
【図３】図１の実施の形態を説明するための写真画像１を示す説明図。
【図４】図１の実施の形態を説明するための写真画像１を示す他の説明図。
【図５】図１の実施の形態を説明するための写真画像１を示す他の説明図。
【図６】図２のステップＳ１７を説明するためのフローチャート。
【符号の説明】
【００４２】
１  写真画像、２  出力画像（トリミング領域）、３  人物領域、４  顔領域、５  顔、１１  人物写真の画像入力手段、１２  所望画像解像度の入力手段、１３  顔位置に関する所定比率の設定手段、１４  顔および人物領域の特定手段、１５  トリミング手段、１６  トリミングした画像の出力手段
【図１】
2005267454.tif 000005
【図２】
2005267454.tif 000006
【図３】
2005267454.tif 000007
【図４】
2005267454.tif 000008
【図５】
2005267454.tif 000009
【図６】
2005267454.tif 000010