(57)【要約】【課題】  複数の画像において、特定の対象を検出する際に用いられるテンプレートのサイズやその適用範囲などを設定するための検出パラメータの指定を、順次行う場合に、煩雑な操作を要さず、また、検出処理に多大な時間を必要としない。【解決手段】  前回の画像と処理対象である画像との相関に基づいて、検出パラメータを変更すると判断したとき（Ｓ１０６）、顔検出パラメータの変更を行う（Ｓ１０７）。このパラメータ変更処理では、前で処理した画像との相関が高い場合、用いる検出パラメータの範囲をより小さな範囲に限定してもそのパラメータで適切に顔を検出することできることから、それぞれの検出パラメータの範囲を狭くする処理を行う。これにより、そのパラメータに従い、テンプレートを移動ないし変化させて顔などの検出対象を検出する際に、その移動ないし変化させる範囲を狭くでき、検出処理に要する時間をより短くすることができる。【選択図】  図３
2006018523.tif 000002
【特許請求の範囲】
【請求項１】
検出対象を画像において検出する際の検出処理の範囲を規定する検出パラメータを用い、画像において所定の検出対象の検出を行う画像処理装置であって、
前記所定検出対象の検出が行われた画像と、該画像の次に前記所定検出対象の検出を行う画像との相関の程度を判断する相関判断手段と、
該相関判断手段が判断する相関の程度に応じて、前記次に所定検出対象の検出を行う画像における当該検出に用いる検出パラメータの修正を行う修正手段と、
を具えたことを特徴とする画像処理装置。
【請求項２】
前記相関判断手段は、画像に関して定められる評価量によって前記二つの画像の相関を判断し、前記修正手段は、前記評価量が所定の閾値より大きいとき、検出パラメータの修正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記相関判断手段は、画像に関して定められる評価量によって前記二つの画像の相関を判断し、前記修正手段は、前記評価量が第１の閾値より大きいとき、検出パラメータの修正を行い、前記評価量が第１の閾値より小さい第２の閾値より小さいとき、デフォルトの検出パラメータを設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記評価量として、撮影条件を用いることを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記評価量として、撮影時間を用いることを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記評価量として、画像のヒストグラム解析結果を用いることを特徴とする請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
前記画像の縮小画像を作成して前記ヒストグラム解析を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
検出対象を画像において検出する際の検出処理の範囲を規定する検出パラメータを用い、画像において所定の検出対象の検出を行うための画像処理方法であって、
前記所定検出対象の検出が行われた画像と、該画像の次に前記所定検出対象の検出を行う画像との相関の程度を判断する相関判断工程と、
該相関判断手段が判断する相関の程度に応じて、前記次に所定検出対象の検出を行う画像における当該検出に用いる検出パラメータの修正を行う修正工程と、
を有したことを特徴とする画像処理方法。
【請求項９】
前記相関判断工程は、画像に関して定められる評価量によって前記二つの画像の相関を判断し、前記修正工程は、前記評価量が所定の閾値より大きいとき、検出パラメータの修正を行うことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記相関判断工程は、画像に関して定められる評価量によって前記二つの画像の相関を判断し、前記修正工程は、前記評価量が第１の閾値より大きいとき、検出パラメータの修正を行い、前記評価量が第１の閾値より小さい第２の閾値より小さいとき、デフォルトの検出パラメータを設定することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記評価量として、撮影条件を用いることを特徴とする請求項８ないし１０のいずれかに記載の画像処理方法。
【請求項１２】
前記評価量として、撮影時間を用いることを特徴とする請求項８ないし１１のいずれかに記載の画像処理方法。
【請求項１３】
前記評価量として、画像のヒストグラム解析結果を用いることを特徴とする請求項８ないし１２のいずれかに記載の画像処理方法。
【請求項１４】
前記画像の縮小画像を作成して前記ヒストグラム解析を行うことを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
情報処理装置に、検出パラメータを用い、画像において所定の検出対象の検出を行うための画像処理を実行させるプログラムであって、該処理は、
前記検出対象の検出が行われた画像と、該画像の次に前記所定検出対象の検出を行う画像との相関の程度を判断する相関判断工程と、
該相関判断手段が判断する相関の程度に応じて、前記次に所定検出対象の検出を行う画像における当該検出に用いる検出パラメータの修正を行う修正工程と、
を有したことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法およびコンピュータプログラムに関し、デジタルカメラなどによって撮影して得られる画像データにおいて人の顔など特定の対象を検出する処理に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの普及によって写真画像のデジタル化が容易になって来ている。加えて印刷装置、特にインクジェット方式の印刷装置の高画質化が進み、ユーザが撮影して得られたデジタル画像から写真調の印刷結果を得ることができるようになってきている。さらに、パーソナルコンピュータ上で各種アプリケーションソフトウェアを使用してこれらの撮影した画像データを編集、加工処理することも容易になっている。
【０００３】
以上のような背景から、撮影した画像を簡易にかつ高品位に印刷できる環境の開発が進められている。その一つとして、撮影して得た画像データから人の顔を検出しこれに関して適切な画像処理を行うアプリケーションが開発されている。これはデジタルカメラによって撮影されるスナップショットの対象として人（顔）がその中心になることが多いためであり、また、その検出した顔について画像データを補正し、例えばより自然な顔の印象となる印刷を行うためである。このため、画像の中から顔を検出する方法が多く提案されている。
【０００４】
このような顔を検出する方法の一つとして、テンプレートを用いたものが知られている。特許文献１には、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算しマッチング度が最も高いテンプレートについて、そのマッチング度があらかじめ定められた閾値以上であれば、そのテンプレート内の領域を顔候補領域とすることが記載されている。また、このテンプレートを用いるこことで、目の位置を検出することが可能であることも記載されている。
【０００５】
同様にテンプレートを用いたものとして特許文献２に記載されたものが知られている。ここでは、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、顔の各器官を検出することが記載されている。
【０００６】
以上のようなテンプレートを用いて顔検出を行う技術では、撮影した画像における、あるいは鼻や目などについて、大きさや、それらの顔などの像が天地あるいは横倒しなどの方向などが異なる複数のテンプレートを用意し、それらを選択的に用いてマッチング処理が行われる。このように、テンプレートに限らずある大きさを持った検出用領域を設定しそれを画像において当てはめて特定の対象の検出を行う技術では、その領域のサイズや方向あるいはその移動範囲など、画像において検出対象の検出する際の検出処理の範囲を検出パラメータとし、それらのパラメータを指定することによって上記の領域を設定することが行われる。
【０００７】
顔および器官位置の検出に関しては、その他特許文献３〜１２など数多くの手法が提案されている。    
【０００８】
【特許文献１】特開平８−６３５９７号公報
【特許文献２】特開２０００−１０５８２９号公報
【特許文献３】特開２００２−１８３７３１号公報
【特許文献４】特開２００３−３０６６７号公報
【特許文献５】特開平８−７７３３４号公報
【特許文献６】特開２００１−２１６５１５号公報
【特許文献７】特開平５−１９７７９３号公報
【特許文献８】特開平１１−５３５２５号公報
【特許文献９】特開２０００−１３２６８８号公報
【特許文献１０】特開２０００−２３５６４８号公報
【特許文献１１】特開平１１−２５０２６７号公報
【特許文献１２】特許第２５４１６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、撮影などして得られる複数の画像について、順次テンプレートなどの検出用領域を適用して特定の対象を検出する場合、画像ごとの検出用領域の設定が煩わしかったり、検出領域を用いた検出処理に比較的多大な時間を要したりするという問題がある。
【００１０】
すなわち、ユーザーが画像ごとにその内容に応じて検出用パラメータを指定する場合には、そのための操作が煩雑となる。例えば、画像から顔を検出する場合、検出用のパラメータとして、検出する顔の大きさの最大値、最小値、顔の検出個数、顔の天地などの方向などを用いる。このため、これらのパラメータそれぞれについて、対象となる画像の内容と照らし合わせながら指定していくことになり、煩雑な作業となる。
【００１１】
これに対して、ユーザーの操作を介さないで検出パラメータを指定する構成が考えられる。この場合に、一般的には、撮影される画像において顔の大きさや方向などが種々あることに対応できるよう、汎用的な検出パラメータを予め定めておき、これをデフォルトの検出パラメータとして検出を行うようにしている。しかし、この場合には、デフォルトの検出パラメータが汎用性を求めたものであるため、このパラメータを用いた検出では、厳密な検出を行うようにすることが求められる。すなわち、このような検出では検出対象の大きさや移動などの範囲を限定しないようにするため、検出パラメータの総てもしくは比較的多くのパラメータを指定し、それぞれ指定された検出パラメータによって設定される検出用領域を用いて検出を行うようにする。これにより、顔などの検出対象の検出を正確に行うことが可能になる。しかしながら、このような厳密な検出を行う場合には多くの時間を要し、さらに複数の画像についてそのような厳密な検出を行うことからさらに多大な時間を要するという問題を生じる。
【００１２】
本発明は、このような問題を解決するためになされたものであり、その目的とするところは、複数の画像において、特定の対象を検出する際に用いられるテンプレートなど検出用領域のサイズやその適用範囲などを設定するための検出パラメータの指定を、順次行う場合に、煩雑な操作を要さず、また、検出処理に多大な時間を必要としない画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１３】
そのために本発明では、検出対象を画像において検出する際の検出処理の範囲を規定する検出パラメータを用い、画像において所定の検出対象の検出を行う画像処理装置であって、前記所定検出対象の検出が行われた画像と、該画像の次に前記所定検出対象の検出を行う画像との相関の程度を判断する相関判断手段と、該相関判断手段が判断する相関の程度に応じて、前記次に所定検出対象の検出を行う画像における当該検出に用いる検出パラメータの修正を行う修正手段と、を具えたことを特徴とする。
【００１４】
また、検出対象を画像において検出する際の検出処理の範囲を規定する検出パラメータを用い、画像において所定の検出対象の検出を行うための画像処理方法であって、前記所定検出対象の検出が行われた画像と、該画像の次に前記所定検出対象の検出を行う画像との相関の程度を判断する相関判断工程と、該相関判断手段が判断する相関の程度に応じて、前記次に所定検出対象の検出を行う画像における当該検出に用いる検出パラメータの修正を行う修正工程と、を有したことを特徴とする。
【発明の効果】
【００１５】
以上の構成によれば、所定検出対象の検出が行われた画像と、その画像の次に上記所定検出対象の検出を行う画像との相関の程度を判断し、その判断する相関の程度に応じて、上記次に所定検出対象の検出を行う画像の検出に用いる検出パラメータであって、検出対象を画像において検出する際の検出処理の範囲を規定する検出パラメータの修正を行うので、例えば、前の検出にかかる画像との相関が高い画像の場合は、検出処理の範囲を狭くしても検出対象の検出を適切に行うことができる。そして、検出処理の範囲を狭くできることによって、検出に要する時間を少なくすることが可能となる。
【００１６】
この結果、複数の画像において、特定の対象を検出する際に用いられるテンプレートなど検出用領域のサイズやその適用範囲などを設定するための検出パラメータの指定を、順次行う場合に、煩雑な操作を要さず、また、その指定された検出パラメータを用いた検出処理の時間を短くすることができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１８】
画像処理装置
図１は、本発明の一実施形態に係る印刷システムの特にハードウェアの構成を示すブロック図である。なお、本実施形態は、以下に示すように、デジタルカメラで撮影して得た画像データに基づいてその撮影画像をインクジェットプリンタで印刷する印刷システムに本発明を適用したものである。しかし、本発明の適用はこのような印刷システムに限られるものでなく、検出パラメータによって指定される検出用領域を用いて撮影した画像から顔などの特定の対象を検出するシステムであれば、いずれにも本発明を適用できることは以下の説明からも明らかである。
【００１９】
図１において、画像処理装置１０１はパーソナルコンピュータの形態で実施されるものである。この画像処理装置１０１は、ＣＰＵ１０２，ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０３，ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０４，２次記憶装置１０５，表示装置１０６，入力装置１０７，Ｉ／Ｆ制御部１０８などを有して構成される。
【００２０】
ＣＰＵ１０２は中央演算処理ユニットであり、ＲＯＭ１０３，ＲＡＭ１０４，および２次記憶装置１０５に格納されているそれぞれのプログラムに従い、図３以降で説明される画像処理を含む、本装置におけるデータ処理や各要素の制御を実行する。ＲＯＭ１０３には、ＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）と呼ばれる周辺機器の入出力を制御するプログラムが格納されており、これが電源投入時に実行されることにより、ＲＡＭ１０４やその他の入出力装置の初期化を行う。ＲＡＭ１０４は作業用のメモリー空間を提供している。２次記憶装置１０５はＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋ−ＲＯＭ）に代表される大容量磁気記憶装置などで構成されており、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）、アプリケーションや各種データが格納されている。
【００２１】
表示装置１０６は、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイや液晶ディスプレイなどの表示装置である。表示装置１０６にはアプリケーションの処理結果やメッセージなどが表示される。入力装置１０７はキーボード、マウスなどのユーザーによる指示を入力する機器であって、ユーザーの指示を画像処理装置１０１に入力する機能を提供している。
【００２２】
Ｉ／Ｆ制御部１０８は、外部周辺機器とのインターフェースを提供する。インターフェースとしては、パラレルポートとも呼ばれるＩＥＥＥ１２８４やＳＣＳＩ（ＳｍａｌｌＣｏｍｐｕｔｅｒＳｙｓｔｅｍＩｎｔｅｒｆａｃｅ），さらにはＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ），ＩＥＥＥ１３９４といったシリアルバスなどを使用することができる。いずれのインターフェースを使用するかは画像処理装置１０１の構成、外部周辺機器の対応によって定まる。
【００２３】
外部周辺機器として、デジタルスチルカメラ１０９，メモリーカードリーダ／ライター１１０，プリンター１１１が接続される。デジタルスチルカメラ１０９は撮影装置であり、ユーザーが撮影した撮影画像データが格納されている。そして、撮影画像データは、デジタルスチルカメラ１０９をＩ／Ｆ制御部１０８を介して画像処理装置１０１に接続するか、デジタルスチルカメラに内蔵される記録メディアを取り出してメモリーカードリーダ／ライター１１０に装着することにより、２次記憶装置１０５に転送されて格納される。この格納された画像データは、図３以降で説明する顔の検出を含む画像処理の対象となる。さらに、この画像処理が施された画像データに基づきプリンター１１１で印刷を行うことができる。
【００２４】
画像フォーマット
図２は、デジタルスチルカメラ１０９による撮影で得られる画像データのフォーマット２０１の一例を示す図である。このフォーマットは、デジタルスチルカメラ１０９の記録メディアに格納する際のフォーマット、あるいは画像処理装置１０１に転送する際のフォーマットである。
【００２５】
フォーマット２０１は、大別して撮影情報領域２０２と撮影画像データ領域２０３で構成される。一般的には、撮影情報領域２０２のデータ量はそれほど大きくないので非圧縮データの形態であり、撮影画像データ領域２０３はデータ量が大きくなるので圧縮された形態であり、ハイブリッドな構成をとる。しかし、データの圧縮、非圧縮の構成に限定されるものではなく、撮影画像データが非圧縮であっても、逆に撮影情報データが圧縮されていてもよい。
【００２６】
撮影情報領域２０２には、デジタルスチルカメラ１０９で撮影したときの撮影条件、例えば、縦／横の画素数、露出条件、ストロボ発行の有無、ホワイトバランスの条件、撮影モード、撮影時刻などの様々な撮影情報が格納されている。撮影情報のデータは、その撮影情報に対応するＩＤ番号、データ形式、データ長、オフセット値、撮影情報固有のデータで構成される。その形式としては、例えば、ＪＥＩＤＡ（Ｊａｐａｎ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｎｄｕｓｔｒｙ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ａｓｓｏｃｉａｔｉｏｎ）の定めるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｏｒｍａｔ）を使用することができる。
【００２７】
撮影画像データ領域２０３には、ＲＧＢデータやＹＣＣ（輝度色差）データの撮影画像データとすることができる。例えば、撮影画像データ領域２０３の画像データがＹＣＣデータであった場合に、画像処理装置１０１でＹＣＣデータからＲＧＢデータに変換して画像処理を行う。
【００２８】
（第１実施形態）
以上説明した本発明の一実施形態に係る画像処理装置における、撮影画像データにおける人の顔の検出を含む画像処理について以下に説明する。
【００２９】
図３は、本発明の第一の実施形態に係る、検出用領域を指定する検出パラメータの変更処理を伴う顔検出に関する画像処理を示すフローチャートである。本処理が実行される際は、デジタルスチルカメラ１０９で撮影された複数の撮影画像データが、既に画像処理装置１０１の２次記憶装置１０５に格納された状態にある。
【００３０】
図３において、最初にステップＳ１０１で、表示装置１０６上に撮影画像データのリストを表示するとともに、入力装置１０７を介したユーザーによる選択入力に応じて、画像処理を行う対象画像を選択し、それらの画像データのリストを作成する。
【００３１】
次に、ステップＳ１０２で、ステップＳ１０１で作成した画像データリストの一番先頭にある画像データを検出対象画像とするとともに、デフォルトの検出パラメータおよび検出パラメータ変更フラグ“０”（変更しない）を設定し初期化する。
【００３２】
本実施形態では、ステップＳ１０６以降の処理に関して後述されるように、順次処理の対象となる複数の画像内容の相関の程度に応じて検出パラメータを変更しあるいは変更しないことが判断される。そして、その検出パラメータは、初期値としてデフォルトの検出パラメータが設定されている。検出パラメータは、顔など検出対象を画像において検出するサイズ、位置ないし方向、個数などを含めて検出処理の範囲を規定するものである。本実施形態では、顔検出の大きさ、検出領域、１つの画像において顔を検出する数、および顔の方向などのパラメータが用いられる。顔検出の大きさは、その縦横それぞれサイズが画像の短辺の画素数を最大値とし、短辺の画素数の所定割合（例えば５％）を最小値とするとともに、この間で何段階かの値をとるものである。検出領域は、その最大は画像の短辺を一辺とする正方形の領域となり、この正方形の領域を長辺方向に所定のステップで移動させながら検出を行う。また、顔検出数は、最大が２５６個、顔の方向は、天地方向の上および下と、それに直交する方向の左および右の総ての方向が最大となる。デフォルトの検出パラメータは、上記の最大のパラメータが設定されたものである。
【００３３】
初期化の後、ステップＳ１０３で、検出対象画像を２次記憶装置１０５から読み込む。読み込んだ撮影画像データは図２で示すフォーマット２０１で、撮影情報領域２０２は非圧縮、撮影画像データ領域２０３はＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔＧｒｏｕｐ）圧縮されているものである。
【００３４】
そして、撮影情報領域２０２は、ステップＳ１０４で解析処理され、一方、撮影画像データ領域２０３はステップＳ１０５においてＪＰＥＧ復号処理が実行され、非圧縮の画像データに戻され、さらにはＹＣＣフォーマットからＲＧＢフォーマットへの色変換処理が施される（ステップＳ１０５）。
【００３５】
撮影情報解析
図４は、ステップＳ１０４の撮影情報解析処理を示すフローチャートである。最初に、ステップＳ２０１で、そのとき処理している撮影画像データに撮影情報が付加されているかを判定する。一般的にデジタルスチルカメラで撮影された撮影画像データには撮影情報が付加されているが、アプリケーションで編集、加工などをするとこの撮影情報が消去される場合があるためこの判断を行う。撮影情報があるときはステップＳ２０３へ進む。撮影情報が無ければステップＳ２０７の終了処理へと進むみ、撮影情報エラーとして撮影情報解析処理を終了する。
【００３６】
ステップＳ２０２では、必要とする撮影情報を格納する容量のメモリー領域を確保する。確保できればステップＳ２０３へ進む。確保できなければステップＳ２０７へ進み、同様にメモリー確保エラーとして撮影情報解析処理を終了する。
【００３７】
ステップＳ２０３では、撮影情報を一項目ずつスキャンして撮影情報のＩＤ値を検索する。ＩＤが検出されるとステップＳ２０４へ進む。ステップＳ２０４では、検出されたＩＤと撮影情報管理テーブルにあるＩＤと比較する。撮影情報管理テーブルには、必要な撮影情報のＩＤのみが格納されている。ここでは、特に撮影情報を限定せずに撮影情報＃０，＃１が今後の処理に必要な情報であるとして説明する。
【００３８】
詳しくは、ステップＳ２０３で１つのＩＤをスキャンすると、ステップＳ２０４で撮影情報管理テーブルにあるＩＤのリストと比較して求められているＩＤであるかを確認する。ＩＤが撮影情報＃０を示すＩＤであればステップＳ２０５へ進み、撮影情報＃０の内容を読み込んでステップＳ２０２で格納したメモリー領域にその内容をコピーする。コピーが終了すると次のＩＤのスキャンのためにＳ２０３へ進む。同様にステップＳ２０３でＩＤをスキャンし、ステップＳ２０４でＩＤの比較を行った結果、ＩＤが撮影情報＃１を示すＩＤであればステップＳ２０６へ進み、撮影情報＃１の内容を読み込んでステップＳ２０２で格納したメモリー領域にその内容をコピーする。さらに、ステップＳ２０４でＩＤの比較を行い、そのＩＤの示す撮影情報が必要でないと判断された場合には内容をメモリーに格納することなく次のＩＤのスキャンを実行するためにステップＳ２０３に進む。この様に撮影情報の検索と格納を繰り返し、総てのＩＤの検索が終了するとステップＳ２０７へ進み、正常終了として撮影情報解析処理を終了する。
【００３９】
なお、この撮影情報解析処理では、期待する総ての撮影情報が得られるとは限らない。これはデジタルスチルカメラの機種によって対応している撮影情報の種類が異なっているからである。このため収集できた撮影情報を利用して後の処理が実行される。
【００４０】
検出パラメータ変更判断
図５は、図３に示したステップＳ１０６の顔検出パラメータの変更が必要であるか否か判断処理を示すフローチャートである。
【００４１】
対象画像が、図３に示すステップＳ１０１で作成された処理画像リストの最初の画像である場合には、同図のステップＳ１０２において検出パラメータ変更フラグは“０”に設定されている。この場合、ステップＳ３０１では、最初の画像であることから前の画像の結果が無いと判断し、ステップＳ３０５に進み検出パラメータ変更フラグは“０”のままとして本判断処理を終了する。
【００４２】
対象画像が、上記処理画像リストの２番目以降の画像である場合には、ステップＳ３０１で、前の結果があると判断し、ステップＳ３０２へ進む。ステップＳ３０２では、前の画像の撮影情報とこれから処理を行う画像の撮影情報との比較を行い、それらの相関の程度を調べる。
【００４３】
図６は、相前後する２つの画像の相関を判断するための、撮影モード、撮影時間などの各種撮影情報、画像データの各画素値のヒストグラムといった評価量と、それぞれの評価量の組合せによるそれぞれの判断の仕方を説明する図である。
【００４４】
図６に示すように、本実施形態は、評価量の組合せに応じた３種類の判断１〜３を順次行い、いずれかの判断で、評価量の合計がそれぞれの判断について定められる閾値より高いときは相関が高いと判断する。なお、判断４〜６は、後述するように判断３の他の例などあり代替して用いることが可能なものである。
【００４５】
上記において、評価量を加算するときは、それぞれの評価量について図６の括弧内に記載の重みをかけて加算される。また、各評価量は１に正規化され、その評価量に重みをかけて足し、その結果が所定の閾値以上であれば相関が高いと判断する。
【００４６】
図６に示す判断１では、撮影モードが連写モードであるか否かを調べる。連写モードの場合、前後の画像は相関性の高い画像になる可能性が高い。また、焦点距離が相互の画像で同じであるときも連写モードである可能性が高くなる。なお、この判断１では、連射モードの場合、撮影時間や、その他の評価量は調べられない。この判断の場合、撮影モードの評価量は重みが０．７で、焦点距離の評価量は重みが０．３となる。これは、撮影モードが、直接連写か否かを示すものであることから、その重みをより大きくするからである。
【００４７】
判断２では、撮影時間を調べる。前の画像の撮影から対象となっている画像の撮影までの時間である撮影時間が所定の時間以内（例えば、１分以内）のときは、同じ様な画像、すなわち、相関の高い撮影をした可能性が高いと判断する。例えば、集合写真などで予備的に同じ撮影を行うことがあり、ある時間以内に複数の画像が撮影されることがある。また、撮影情報の焦点距離（図２では付図示）がその前の画像と同じであれば、さらに同じような画像である可能性が高くなる。さらに、連写の場合も上記撮影時間が所定時間以内となるので、評価量として採用する。但し、この判断の場合は、重みは小さくする。
【００４８】
判断３では、撮影情報ではなく、撮影画像データそのもののヒストグラムを解析してこれを評価量に採用する。比較される２つの画像について、画像データのＲＧＢ各色の濃度値のヒストグラムを作成して、各濃度値の差の絶対値を総て加算し、その差の合計（誤差）が所定の閾値以下であるときは、２つの画像は同じと判断する。
【００４９】
なお、判断４では、ヒストグラムの分布形状を評価量に採用したものであり、この分布を比較して、同じような分布をしている場合には２つの画像は同じと判断する。この判断４を上記判断３に代えて行ってもよい。また、判断５のように、判断３および４の二つの比較結果を所定の値で加重平均し、その値から二つの画像の相関度を判断するようにしてもよい。さらに、判断６のように、いくつかの評価量の組合せを用いてもよい。なお、図６に示した評価量以外の撮影情報や画像データから算出可能な量を評価量として用いてもよいことはもちろんである。
【００５０】
再び図５を参照すると、以上説明したステップＳ３０２の評価量と閾値との比較結果により、次のステップＳ３０３で、相前後する画像の相関が高いか否かを判断する。そして、相関が高いと判断したときは、ステップＳ３０４で、検出パラメータ変更フラグを“１”（変更する）に設定する。一方、相関が高くないと判断したときは、ステップＳ３０５で、検出パラメータ変更フラグを“０”（変更しない）に設定し、ステップＳ１０６の検出パラメータ変更判断処理を終了する。
【００５１】
再び、図３を参照すると、ステップＳ１０６で検出パラメータに変更がない、つまり、検出パラメータ変更フラグを“０”に設定したときは、ステップＳ１０８へ進む。一方、ステップＳ１０６で、検出パラメータを変更する、つまり、検出パラメータ変更フラグを“１”に設定したときは、ステップＳ１０７へ進み、顔検出パラメータの変更を行う。
【００５２】
この変更では、前に処理した画像との相関が高いと仮定して、前に処理した画像の顔検出結果を元にこれから処理を行う画像で使用する顔検出パラメータを決定する。すなわち、このパラメータ変更処理では、前で処理した画像との相関が高い場合、用いる検出パラメータの範囲をより小さな範囲に限定してもそのパラメータで適切に顔を検出することができることから、それぞれの検出パラメータの範囲を狭くする処理を行う。
【００５３】
例えば、前の画像でポートレート写真のように顔が大きく撮影されており、顔検出結果として画像のサイズに対して大きな領域が検出されていた場合には、検出する顔の大きさを規定する検出パラメータの範囲を狭くするため、例えば、顔の大きさを規定する検出パラメータの最小値を前回の画像の顔の大きさの１／２として、最小値をより最大値（例えば、デフォルトの場合、前述のように画像の短辺の画素数）に近づける顔の大きさのパラメータの範囲を狭くする。また、検出において調べる顔の数である顔の検出数を前回の画像で設定されていた検出数（例えば、デフォルトの場合、前述のように２５６個）から１０個に減らす、といった変更を行う。
【００５４】
あるいは、前回に処理した画像が集合写真などの場合、検出される顔の大きさは小さいので、顔の大きさのパラメータにおいてその最大値を前の画像の顔の大きさパラメータの２倍までの範囲に限定し、また、顔の方向は天地方向の上のみに限定する、といった変更を行う。
【００５５】
さらに、前回の画像で顔が検出された領域の場所と同じ領域を中心に顔検出を行うように、検出領域に関する検出パラメータの制御を行う。例えば、前回の画像で顔が検出された領域を包含する領域を設定して、この領域について顔検出を行うように検出領域を限定する。または、前回の画像で顔が検出された領域を包含する領域以外の領域に対してマスク処理を施し、画像データを無効にして顔検出を行うといった処理も可能である。
【００５６】
以上のように、処理対象の画像と前回の画像との相関が高い場合には、検出パラメータの範囲をより狭くする。これにより、そのパラメータに従い、後述のように、テンプレートなどの検出領域を移動ないし変化させて顔などの検出対象を検出する際に、その移動ないし変化させる範囲を狭くでき、検出処理に要する時間をより短くすることができる。
【００５７】
ステップＳ１０７で以上のように検出パラメータを変更した後、またはステップＳ１０６で検出パラメータの変更なしと判断されたとき、ステップＳ１０８で、そのとき設定されている検出パラメータを用いて顔検出処理を行う。この顔検出は、テンプレートなどの検出領域を用い、これを上記のように変更した、または変更なしの検出パラメータに従って移動ないし変化させながら行うものである。なお、この処理は公知のものを用いることができ、ここでは、その詳細な説明は省略する。
【００５８】
ステップＳ１０８の顔検出処理の後、そこで顔が検出されたか否かにかかわらずステップＳ１０９へ進み、撮影情報と、顔が検出さればその検出結果とを所定のメモリーに保存してステップＳ１１０へ進む。ステップＳ１１０では、顔が検出された場合はその結果に基づいて、顔領域の画像に対した画像処理を施す。この画像処理としては、顔領域におけるいわゆる赤目の検出とそれに対する補正処理、顔領域の先鋭化処理、逆に顔領域のスムージング処理などであり、これらは公知の手法を用いることができる。また、これらの補正について、ユーザによって選択できるようにしておくようにしてもよい。
【００５９】
（第２の実施例）
上述した第１実施形態では、前回処理した画像の撮影情報と顔検出結果を利用する構成を示した。しかし前の画像と処理の対象となっている画像の相関がほとんど無い場合、前の画像で使用した顔検出パラメータをそのまま使用することになり、これから処理する画像に対して適切な顔検出が行えない可能性が高くなる。このため、本実施形態では、図３に示したステップＳ１０６の検出パラメータ変更処理を、相関に応じてデフォルトの検出パラメータを用いるようにする。
【００６０】
図７は、本発明の第２の実施形態に係る検出パラメータ変更処理を示すフローチャートである。
【００６１】
同図に示すように、図６にて説明した評価量の合計で表される画像間の相関性について、２つの閾値を設け、第１の閾値は第２の閾値よりも大きな値に設定する。この場合、図６にて前述した判断１〜６について、それぞれの閾値が２段階に設定されることになる。
【００６２】
そして、ステップＳ４０３で評価量の合計が第１の閾値よりも大きいか否かを判断する。ここで、第１の閾値より大きいとき、つまり画像間の相関性が極めて高いと判断されるとき、ステップＳ４０４に進み検出パラメータの変更フラグを“１”（変更する）に設定する。
【００６３】
また、ステップＳ４０３で相関性が第１の閾値よりも小さいときは、ステップ４０６へ進む。そして、このステップＳ４０６で相関性が第２の閾値よりも小さいか否かを判断する。ここで第２の閾値より小さいとき、つまり、画像間の相関性がほとんど無いと判断されるときは、ステップＳ４０７に進み、検出パラメータの変更フラグを“２”（デフォルトにする）に設定する。それ以外の場合には、ステップＳ４０５で検出パラメータの変更フラグを“０”（変更しない）に設定する。
【００６４】
以上の処理によって、検出パラメータの変更フラグが“２”（デフォルトにする）に設定された場合、図３に示すステップＳ１０７で検出パラメータをデフォルト値に戻すことができる。すなわち、画像間の相関がほとんどないときは、前の画像に基づかないでデフォルトの検出パラメータによって検出を行うことが可能となり、また、中程度の相関があるときは（ステップＳ４０５）、その相関がある前の画像に基づいて、変更されない検出パラメータを用いた検出を行うことが可能となる。
【００６５】
（他の実施形態）
以上説明した第１、２の実施形態では、画像間の相関関係に注目して検出パラメータの制御を行うものとしたが、撮影情報に応じて何パターンかの顔検出パラメータの組み合わせを用意しておき、図３のステップＳ１０６で、どの検出パラメータの組み合わせを利用するかの判断を行って顔検出パラメータの制御を行うようにしても良い。
【００６６】
また、図６にて説明したように、相関性の評価に画像データのヒストグラム解析を用いる場合、全画像に対してヒストグラム解析を行うと処理量が大きくなるため、画像のサムネイル（縮小）画像を作成し、サムネイル画像に対してヒストグラム解析を行ってもよく、その場合、解析がより効率的となる。さらに、ヒストグラム解析の他にも周波数解析、シーン解析などを評価量として採用することができる。
【００６７】
（さらに他の実施例）
上記で説明した画像処理装置は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンター等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【００６８】
また、本発明の目的は、図３等で前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００７０】
【図１】本発明の一実施形態に係る印刷システムの特にハードウェアの構成を示すブロック図である。
【図２】図１に示すデジタルスチルカメラ１０９による撮影で得られる画像データのフォーマット２０１の一例を示す図である。
【図３】本発明の第一の実施形態に係る、検出用領域を指定する検出パラメータの変更処理を伴う顔検出に関する画像処理を示すフローチャートである。
【図４】図３に示すステップＳ１０４の撮影情報解析処理を示すフローチャートである。
【図５】図３に示したステップＳ１０６の顔検出パラメータの変更が必要であるか否か判断処理を示すフローチャートである。
【図６】図５のステップＳ３０２の処理において、相前後する２つの画像の相関を判断するための、撮影モード、撮影時間などの各種撮影情報、画像データの各画素値のヒストグラムといった評価量と、それぞれの評価量の組合せによるそれぞれの判断の仕方を説明する図である。
【図７】本発明の第２の実施形態に係る検出パラメータ変更処理を示すフローチャートである。
【符号の説明】
【００７１】
１０１    画像処理装置
１０２    ＣＰＵ
１０３    ＲＯＭ
１０４    ＲＡＭ
１０５    ２次記憶装置
１０６    表示装置
１０７    入力装置
１０８    Ｉ／Ｆ制御部
１０９    デジタルスチルカメラ
１１０    メモリーカードリーダ／ライター
１１１    プリンター
【図１】
2006018523.tif 000003
【図２】
2006018523.tif 000004
【図３】
2006018523.tif 000005
【図４】
2006018523.tif 000006
【図５】
2006018523.tif 000007
【図６】
2006018523.tif 000008
【図７】
2006018523.tif 000009