(57)【要約】      （修正有）【課題】オブジェクトの検出や画像内容の判定をより確実に行なう。【解決手段】画像内容を判定する際に、肌色の画素からなる肌色領域が人物の顔であるかを判断するために肌色領域が画像の上左右辺に接しているかを判定したり両目や口に相当する画素領域が存在するかを判定する処理を、画像の右方向への回転角度が２７０度となるまで画像を９０度ずつ回転しながら繰り返し実行し（Ｓ４００〜Ｓ４５０）、空色の画素からなる空色領域が空であるかを判断するために空色領域が画像の下辺に接しているかを判定する処理を、画像の回転角度が０度となるまで画像を左方向へ９０度ずつ回転しながら繰り返し実行する（Ｓ４６０〜Ｓ５１０）。この結果、画像を複数の回転角度で回転して画像内容の判定を行なうから、より確実に画像内容の判定を行なうことができる。【選択図】図４
2010257472.tif 000002
【特許請求の範囲】
【請求項１】
画像に所定の画像補正処理を施して出力する画像処理装置であって、
指定された画像に所定の画像補正処理を施す指示がなされたときに、該画像の画素情報に基づいて該画像に含まれるオブジェクト領域を抽出し、該指定された画像を０度を含む複数の回転角度で回転させた各回転画像における該抽出したオブジェクト領域の配置に基づいて画像内容を判定する画像内容判定手段と、
該判定された画像内容に基づいて前記指定された画像に所定の画像補正処理を施して出力する画像処理手段と、
を備える画像処理装置。
【請求項２】
前記画像内容判定手段は、人物の顔と予測される人物予測領域を前記オブジェクト領域の一つとして抽出し、前記各回転画像における該抽出した人物予測領域の配置に基づいて画像内容を人物画像であると判定する手段である請求項１記載の画像処理装置。
【請求項３】
前記画像内容判定手段は、前記各回転画像のいずれかの画像における前記人物予測領域の配置が所定条件を満たすときに画像内容を人物画像であると判定する手段である請求項２記載の画像処理装置。
【請求項４】
前記画像内容判定手段は、前記人物予測領域の前記各回転画像の上辺および左右辺に接する量が所定量以下であることを前記所定条件の一つとして用いて画像内容を人物画像であると判定する手段である請求項３記載の画像処理装置。
【請求項５】
前記画像内容判定手段は、前記各回転画像における前記人物予測領域内に人物の両目に相当する横方向に並ぶ領域と該領域より下方向に位置する人物の口に相当する領域とが存在することを前記所定条件の一つとして用いて画像内容を人物画像であると判定する手段である請求項３または４記載の画像処理装置。
【請求項６】
前記画像内容判定手段は、画像内容が人物画像であると判定されないときには画像内容を風景画像であると判定する手段である請求項１ないし５いずれか記載の画像処理装置。
【請求項７】
前記画像内容判定手段は、所定の空色の画素により構成される空色領域を前記オブジェクト領域の一つとして抽出し、前記各回転画像のいずれかの画像における該空色領域が該画像の下辺に接していないことを条件の一つとして画像内容を該空色領域を空とする風景画像であると判定する手段である請求項１ないし６いずれか記載の画像処理装置。
【請求項８】
前記画像内容判定手段は、前記指定された画像が撮影時の回転角度を示す撮影回転情報を伴う場合には、該撮影回転情報が示す回転角度で回転した画像を優先して用いて画像内容を判定する手段である請求項１ないし７いずれか記載の画像処理装置。
【請求項９】
前記画像内容判定手段は、前記各回転画像を用いて人物画像に関する画像内容を判定し、前記撮影回転情報が示す回転角度で回転した画像を用いて風景画像に関する画像内容を判定する手段である請求項８記載の画像処理装置。
【請求項１０】
請求項１ないし９いずれか記載の画像処理装置と、
該画像処理装置から出力される画像を印刷する印刷実行手段と、
を備えるプリンタ。
【請求項１１】
画像に所定の画像補正処理を施して出力する画像処理方法であって、
（ａ）指定された画像に所定の画像補正処理を施す指示がなされたときに、該画像の画素
情報に基づいて該画像に含まれるオブジェクト領域を抽出し、該指定された画像を０度を含む複数の回転角度で回転させた各回転画像における該抽出したオブジェクト領域の配置に基づいて画像内容を判定し、
（ｂ）該判定された画像内容に基づいて前記指定された画像に所定の画像補正処理を施して出力する、
画像処理方法。
【請求項１２】
画像に所定の画像補正処理を施して出力する画像処理用プログラムであって、
指定された画像に所定の画像補正処理を施す指示がなされたときに、該画像の画素情報に基づいて該画像に含まれるオブジェクト領域を抽出し、該指定された画像を０度を含む複数の回転角度で回転させた各回転画像における該抽出したオブジェクト領域の配置に基づいて画像内容を判定する画像内容判定モジュールと、
該判定された画像内容に基づいて前記指定された画像に所定の画像補正処理を施して出力する画像処理モジュールと、
を備える画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびこれを備えるプリンタ、画像処理方法、画像処理用プログラムに関し、詳しくは、画像に所定の画像補正処理を施して出力する画像処理装置およびこれを備えるプリンタ、画像処理方法、画像処理用プログラムに関する。
【背景技術】
【０００２】
従来、この種の画像処理装置としては、入力された画像の中に人物の顔などのオブジェクトが含まれるかどうかを検出し、この検出結果に基づいて画像内容（人物画像や風景画像など)を判定すると共に補正パラメータを設定して画像を補正するものが提案されてい
る（例えば、特許文献１参照）。この装置では、人物の顔を検出する際には、肌色の領域を検出したり目や口に相当する画素を検出したりしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２３６１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の装置では、人物の顔などのオブジェクトを検出する際には、目や口に相当する画素の位置関係や画像全体に対するオブジェクトの配置などを考慮して行なうから、画像の向きによってはオブジェクトの検出や画像内容の判定を正しく行なえない場合がある。
【０００５】
本発明の画像処理装置およびこれを備えるプリンタ、画像処理方法、画像処理用プログラムは、オブジェクトの検出や画像内容の判定をより確実に行なうことを目的の一つとする。また、本発明の画像処理装置およびこれを備えるプリンタ、画像処理方法、画像処理用プログラムは、画像内容に応じた画像補正処理をより適切に施すことを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置およびこれを備えるプリンタ、画像処理方法、画像処理用プログラムは、上述の目的の少なくとも一部を達成するために以下の手段を採った。
【０００７】
本発明の画像処理装置は、
画像に所定の画像補正処理を施して出力する画像処理装置であって、
指定された画像に所定の画像補正処理を施す指示がなされたときに、該画像の画素情報に基づいて該画像に含まれるオブジェクト領域を抽出し、該指定された画像を０度を含む複数の回転角度で回転させた各回転画像における該抽出したオブジェクト領域の配置に基づいて画像内容を判定する画像内容判定手段と、
該判定された画像内容に基づいて前記指定された画像に所定の画像補正処理を施して出力する画像処理手段と、
を備えることを要旨とする。
【０００８】
この本発明の画像処理装置では、画像の画素情報に基づいてオブジェクト領域を抽出し、画像を複数の回転角度で回転させた各回転画像におけるオブジェクト領域の配置に基づいて画像内容を判定し、この判定した画像内容に基づいて画像補正処理を施して出力する。したがって、画像を複数の回転角度で回転してオブジェクト領域の配置に基づく画像内容の判定を行なうから、より確実に画像内容の判定を行なうことができる。この結果、画像内容に基づく画像補正処理をより適切に施すことができる。ここで複数の回転角度としては、例えば、「０度，９０度，１８０度，２７０度」などを挙げることができる。
【０００９】
こうした本発明の画像処理装置において、前記画像内容判定手段は、人物の顔と予測される人物予測領域を前記オブジェクト領域の一つとして抽出し、前記各回転画像における該抽出した人物予測領域の配置に基づいて画像内容を人物画像であると判定する手段であるものとすることもできる。こうすれば、人物画像の判定をより確実に行なうことができる。この場合、前記画像内容判定手段は、所定の肌色の画素により構成される肌色領域を前記人物予測領域として抽出する手段であるものとすることもできる。
【００１０】
この態様の本発明の画像処理装置において、前記画像内容判定手段は、前記各回転画像のいずれかの画像における前記人物予測領域の配置が所定条件を満たすときに画像内容を人物画像であると判定する手段であるものとすることもできる。この場合、前記画像内容判定手段は前記人物予測領域の前記各回転画像の上辺および左右辺に接する量が所定量以下であることを前記所定条件の一つとして用いて画像内容を人物画像であると判定する手段であるものとしたり、前記各回転画像における前記人物予測領域内に人物の両目に相当する横方向に並ぶ領域と該領域より下方向に位置する人物の口に相当する領域とが存在することを前記所定条件の一つとして用いて画像内容を人物画像であると判定する手段であるものとしたりすることもできる。ここで「所定量」には値０が含まれる。即ち、人物予測領域が画像の上辺および左右辺に接しないことを所定条件の一つとして用いて画像内容を人物画像であると判定するものも含まれる。
【００１１】
また、本発明の画像処理装置において、前記画像内容判定手段は、画像内容が人物画像であると判定されないときには画像内容を風景画像であると判定する手段であるものとすることもできる。
【００１２】
さらに、本発明の画像処理装置において、前記画像内容判定手段は、所定の空色の画素により構成される空色領域を前記オブジェクト領域の一つとして抽出し、前記各回転画像のいずれかの画像における該空色領域が該画像の下辺に接していないことを条件の一つとして画像内容を該空色領域を空とする風景画像であると判定する手段であるものとすることもできる。こうすれば、空を有する風景画像の判定をより確実に行なうことができる。
【００１３】
こうした本発明の画像処理装置において、前記画像内容判定手段は、前記指定された画像が撮影時の回転角度を示す撮影回転情報を伴う場合には、該撮影回転情報が示す回転角度で回転した画像を優先して用いて画像内容を判定する手段であるものとすることもできる。こうすれば、撮影時の回転角度で回転した画像を優先して用いることになるから、画像内容の判定をより迅速に行なうことができる。この場合、前記画像内容判定手段は、前記各回転画像を用いて人物画像に関する画像内容を判定し、前記撮影回転情報が示す回転角度で回転した画像を用いて風景画像に関する画像内容を判定する手段であるものとすることもできる。こうすれば、風景画像に関する判定は撮影時の回転角度で回転した画像を用いて行なうから、より効率的に画像内容の判定を行なうことができる。ここで、人物画像に関する画像内容の判定を各回転画像を用いて行なうのは、人物画像の場合には、人物が寝転がったり逆立ちしたりした状態で撮影される場合が想定されるから、撮影時の回転角度で回転した画像のみを用いても確実な画像内容の判定を行なうことができないと考えられることに基づく。
【００１４】
また、本発明の画像処理装置において、前記画像処理手段は、画像内容が人物画像であると判定されたときには前記所定の画像補正処理として肌色を補正する肌色補正処理，ソフトフォーカス処理，明度補正処理のうち少なくとも一つを施す手段であるものとしたり、画像内容が風景画像であると判定されたときには前記所定の画像補正処理として空色を補正する空色補正処理，新緑色を補正する新緑色補正処理，彩度補正処理の少なくとも一つを施す手段であるものとすることもできる。
【００１５】
本発明のプリンタは、上述したいずれかの態様の本発明の画像処理装置と、該画像処理装置から出力される画像を印刷する印刷実行手段と、を備えることを要旨とする。
【００１６】
この本発明のプリンタでは、上述したいずれかの態様の本発明の画像処理装置を備えるから、本発明の画像処理装置が奏する効果、例えば、より確実に画像内容の判定を行なうことができる効果や画像内容に基づく画像補正処理をより適切に施すことができる効果などを奏することができる。
【００１７】
本発明の画像処理方法は、
画像に所定の画像補正処理を施して出力する画像処理方法であって、
（ａ）指定された画像に所定の画像補正処理を施す指示がなされたときに、該画像の画素情報に基づいて該画像に含まれるオブジェクト領域を抽出し、該指定された画像を０度を含む複数の回転角度で回転させた各回転画像における該抽出したオブジェクト領域の配置に基づいて画像内容を判定し、
（ｂ）該判定された画像内容に基づいて前記指定された画像に所定の画像補正処理を施して出力する、
ことを要旨とする。
【００１８】
この本発明の画像処理方法では、画像の画素情報に基づいてオブジェクト領域を抽出し、画像を複数の回転角度で回転させた各回転画像におけるオブジェクト領域の配置に基づいて画像内容を判定し、この判定した画像内容に基づいて画像補正処理を施して出力する。したがって、画像を複数の回転角度で回転してオブジェクト領域の配置に基づく画像内容の判定を行なうから、より確実に画像内容の判定を行なうことができる。この結果、画像内容に基づく画像補正処理をより適切に施すことができる。ここで複数の回転角度としては、例えば、「０度，９０度，１８０度，２７０度」などを挙げることができる。
【００１９】
本発明の画像処理用プログラムは、
画像に所定の画像補正処理を施して出力する画像処理用プログラムであって、
指定された画像に所定の画像補正処理を施す指示がなされたときに、該画像の画素情報に基づいて該画像に含まれるオブジェクト領域を抽出し、該指定された画像を０度を含む複数の回転角度で回転させた各回転画像における該抽出したオブジェクト領域の配置に基づいて画像内容を判定する画像内容判定モジュールと、
該判定された画像内容に基づいて前記指定された画像に所定の画像補正処理を施して出力する画像処理モジュールと、
を備えることを要旨とする。
【００２０】
この本発明の画像処理用プログラムでは、画像の画素情報に基づいてオブジェクト領域を抽出し、画像を複数の回転角度で回転させた各回転画像におけるオブジェクト領域の配置に基づいて画像内容を判定し、この判定した画像内容に基づいて画像補正処理を施して出力する。したがって、画像を複数の回転角度で回転してオブジェクト領域の配置に基づく画像内容の判定を行なうから、より確実に画像内容の判定を行なうことができる。この結果、画像内容に基づく画像補正処理をより適切に施すことができる。ここで複数の回転角度としては、例えば、「０度，９０度，１８０度，２７０度」などを挙げることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の画像処理装置を搭載したプリンタ２０の構成の概略を示す構成図。
【図２】画像印刷処理の一例を示すフローチャート。
【図３】画像ファイルのブロックとアクセス単位との関係を示す説明図。
【図４】オブジェクト認識処理の一例を示すフローチャート。
【図５】両目や口に相当する画素領域の一例を示す説明図。
【図６】肌色領域が人物の顔であるかを判断する様子の一例を示す説明図。
【図７】空色領域が空であるかを判断する様子の一例を示す説明図。
【図８】蓄積されたブロックがバンド単位となる様子を示す説明図。
【図９】変形例のオブジェクト認識処理の一例を示すフローチャート。
【発明を実施するための形態】
【００２２】
次に、本発明を実施するための形態を実施例を用いて説明する。
【実施例】
【００２３】
図１は、本発明の一実施例としての画像処理装置を搭載したプリンタ２０の構成の概略を示す構成図である。実施例のプリンタ２０は、図示するように、装置全体を制御する制御部２１と、メモリカードなどの記憶媒体３０やデジタルスチルカメラ３１，パーソナルコンピュータ３２などとの接続を司るインタフェース部２２と、記憶媒体３０などから読み込んだ画像ファイルに対して各種の画像処理を施す画像処理部２３と、データを一時的に記憶するデータバッファ２４と、読み込んだ画像ファイルに色変換処理や二値化処理などを施して印刷データを生成する印刷データ生成部２５と、生成された印刷データを蓄積するイメージバッファ２６と、イメージバッファ２６に蓄積された印刷データに基づいて印刷を実行するプリンタエンジン２７とを備え、各色のインクを用紙に噴射して印刷を行なうインクジェットプリンタとして構成されている。画像処理部２３では、記憶媒体３０などに記憶されＪＰＥＧ方式などで圧縮された画像ファイルを復元する処理なども行なわれる。ＪＰＥＧ方式の画像ファイルは、ブロック分割や離散コサイン変換（以下、ＤＣＴと略す）演算，量子化処理，ハフマン符号化などの工程を経て圧縮されている。こうしたＪＰＥＧ方式の画像ファイルは一般的な画像ファイルであり、本発明の中核をなさないから、これ以上の詳細な説明は省略する。
【００２４】
次に、こうして構成されたプリンタ２０の動作、特に、記憶媒体３０などから読み込んだ画像ファイルに対して画像補正処理を施して印刷する際の動作について説明する。図２は、画像ファイルの印刷指示がなされたときに制御部２１や画像処理部２３，印刷データ生成部２５などにより実行される画像印刷処理の一例を示すフローチャートである。画像印刷処理では、まず、図示するように、印刷指示に係る画像ファイルの１アクセス単位のデータを記憶媒体３０などから読み込み（ステップＳ１００）、読み込んだデータをハフマン解凍する処理を実行する（ステップＳ１１０）。ここで、アクセス単位とは、記憶媒体３０などの仕様に応じて予め定められているデータの読込単位であり、例えば、フラッシュメモリにおけるセクタなどが該当する。また、図３に例示するように、ＪＰＥＧ方式で圧縮された画像ファイルの各ブロックのデータサイズはアクセス単位とは必ずしも一致せず、各ブロック間のデータサイズも異なるから、１ブロックのデータが複数のアクセス単位に跨ることがある。
【００２５】
そして、１ブロック分のデータがハフマン解凍されるまでアクセス単位のデータを読み込んでハフマン解凍する処理を繰り返し実行し、１ブロック分のデータが解凍されると（ステップＳ１２０）、解凍されたデータ（ブロックの量子化ＤＣＴ係数）に対して逆量子化処理を実行する（ステップＳ１３０）。逆量子化処理を実行することにより、ブロックのＤＣＴ係数が取得される。ここで、ＪＰＥＧ方式の画像ファイルでは、量子化ＤＣＴ係数の量子化ＤＣ成分についてはブロック間の差分値がハフマン符号化されているから、ハフマン解凍により得られる量子化ＤＣ成分の差分値を累計することにより量子化ＤＣ成分が取得され、この量子化ＤＣ成分に逆量子化処理を施すことによりＤＣ成分が取得される。
【００２６】
続いて、ステップＳ１３０の逆量子化処理により取得したＤＣＴ係数に対して逆ＤＣＴ演算処理を施してブロックの画素情報を取得すると共に（ステップＳ１４０）、取得した画素情報の色空間を変換する色変換処理を実行する（ステップＳ１５０）。ここで、色変換処理は、ＪＰＥＧ方式の画像ファイルで用いられるＹＣＣ色空間をＲＧＢ色空間に変換する処理である。
【００２７】
こうしてＲＧＢ色空間に変換された画素情報が得られると、この画素情報を画像全体の画像データとしてデータバッファ２４の所定領域に記憶すると共に（ステップＳ１６０）、画像全体のＲＧＢ値の分布を示すヒストグラムを累計してデータバッファ２４の所定領域に記憶する（ステップＳ１７０）。なお、ヒストグラムを累計する対象とする画素は、適当なルールでサンプリングした画素としてもよい。
【００２８】
そして、現在のブロックが画像ファイルの最後のブロックでないときにはステップＳ１００に戻り（ステップＳ１８０）、次のブロックについてステップＳ１００〜Ｓ１７０の処理を繰り返し実行する。このように、画像ファイルを先頭から順に復元することにより、画像全体の画像データやＲＧＢ値のヒストグラムを取得してデータバッファ２４に記憶するのである。
【００２９】
こうして画像ファイルの最後のブロックまでステップＳ１００〜Ｓ１７０の処理を繰り返し実行すると、次に、画像全体の画像データに基づいて画像内容を判定するオブジェクト認識処理を実行する（ステップＳ１９０）。ここで、画像印刷処理の説明を中断し、図４に例示するオブジェクト認識処理について説明する。
【００３０】
オブジェクト認識処理では、まず、図４に示すように、データバッファ２４の所定領域に記憶した画像全体の画像データに基づいて肌色の画素からなる肌色領域を抽出する（ステップＳ４００）。肌色領域の抽出は、肌色に相当するＲＧＢ値の範囲を予め定めておき、このＲＧＢ値の範囲内の画素を抽出することにより行なわれる。
【００３１】
そして、抽出した肌色領域が人物の顔であるかを判断するために、肌色領域が画像の上辺または左右辺に接しているか否か、肌色領域内に人物の両目や口に相当する画素領域が存在するか否かについてそれぞれ判定する（ステップＳ４１０，Ｓ４２０）。ここで、両目や口に相当する画素領域が存在するか否かの判定は、肌色領域内の画素のうち周辺の画素より明度が低い画素領域を抽出し、この明度が低い画素領域が、図５に示すように、略逆三角形の頂点の位置（即ち、横方向に並ぶ二つの位置とこの二つの位置より下方向の一つの位置）に存在するときには、これらを両目や口に相当する画素領域と判定するものとした。
【００３２】
そして、肌色領域が上辺と左右辺のいずれにも接しておらず、両目や口に相当する画素領域が存在するときには、この肌色領域は人物の顔であると判断して画像内容を人物画像と判定し（ステップＳ４３０）、このオブジェクト認識処理を終了する。
【００３３】
一方、肌色領域が上辺と左右辺のいずれかに接していたり、両目や口に相当する画素領域が存在しないときには、画像を右方向へ９０度回転し、回転した画像を対象に肌色領域が人物の顔であるか否かを判断する処理を、右方向への回転角度が２７０度となるまで繰り返し実行する（ステップＳ４４０，Ｓ４５０）。図６は、肌色領域が人物の顔であるかを判断する処理を繰り返し実行する様子の一例を示す説明図である。この例では、図示するように、最初の画像では抽出された肌色領域は右辺に接しているから人物の顔とは判断されず、画像を右方向へ９０度回転すると、肌色領域は上辺と左右辺のいずれにも接しておらず両目や口に相当する画素領域も存在することになるから人物の顔と判断される。このように、画像の右方向への回転角度が２７０度となるまで９０度ずつ回転しながら肌色領域が人物の顔であるかを判断する処理を繰り返し実行するのである。
【００３４】
そして、画像の右方向への回転角度が２７０度となっても肌色領域が人物の顔と判断されないときには、次に、画像データに基づいて空色の画素からなる空色領域を抽出する（ステップＳ４６０）。空色領域の抽出は、肌色領域を抽出する際と同様に、空色に相当するＲＧＢ値の範囲を予め定めておき、このＲＧＢ値の範囲内の画素を抽出することにより行なわれる。
【００３５】
次に、抽出した空色領域が画像の下辺に接しているか否かを判定し（ステップＳ４７０）、画像の下辺に接していないときには、この空色領域は空であると判断して画像内容を空を有する風景画像と判定し（ステップＳ４８０）、このオブジェクト認識処理を終了す
る。
【００３６】
一方、空色領域が画像の下辺に接しているときには、画像を左方向へ９０度回転し、回転した画像を対象に空色領域が画像の下辺に接しているか否かを判定する処理を、画像の右方向への回転角度が０度となるまで繰り返し実行する（ステップＳ４９０，Ｓ５００）。ここで、ステップＳ４７０を最初に実行する際には画像の右方向への回転角度が２７０度となっているから、左方向へ９０度回転する処理を繰り返すことにより、右方向への回転角度が２７０度，１８０度，９０度，０度となるように順に画像を回転することになる。図７は、空色領域が画像の下辺に接しているか否かを判定する処理を繰り返し実行する様子の一例を示す説明図である。この例では、図示するように、最初の画像や一度左方向へ９０度回転した画像では抽出された空色領域は下辺に接しているから空とは判断されず、画像を二度左方向へ９０度回転すると、空色領域は下辺に接していないから空と判断される。
【００３７】
そして、画像の右方向への回転角度が０度となっても空色領域が下辺に接しているときには、画像内容を空を有さない風景画像と判定して（ステップＳ５１０）、このオブジェクト認識処理を終了する。なお、ステップＳ４６０において空色領域を抽出する際に、画像データに空色領域が存在しないときには、画像内容は空を有さない風景画像と判定される。
【００３８】
こうしてオブジェクト認識処理により画像内容を判定すると、画像印刷処理では、次に、判定した画像内容や累計したＲＧＢ値のヒストグラムなどに基づいて画像ファイルに対して自動補正処理を施すための自動補正処理用パラメータを計算してデータバッファ２４の所定領域に記憶する（ステップＳ２００）。自動補正処理用パラメータの計算は、各種のルールを適用して行なうことができる。実施例では、画像内容が人物画像であるときには、肌色がより良好な肌色となるように補正する肌色補正処理やソフトフォーカス処理、明度をやや明るめに補正する明度補正処理などを施すようにパラメータを計算し、画像内容が風景画像であるときには、新緑色がより良好な新緑色となるように補正する新緑色補正処理や彩度が鮮やかとなるように補正する彩度補正処理などを施すようにパラメータを計算するものとした。また、画像内容が空を有する風景画像である場合には、さらに、空色がより良好な空色となるように補正する空色補正処理を施すようにパラメータを計算するものとした。なお、画像内容が人物画像であるか風景画像であるかに拘らず、ＲＧＢ値のヒストグラムに応じて各種の画像補正処理（コントラスト補正処理やγ補正処理など）を施すようなパラメータの計算も行なわれる。
【００３９】
こうして自動補正処理用パラメータを計算すると、画像ファイルの先頭に戻り、１アクセス単位のデータを読み込んでハフマン解凍し（ステップＳ２１０，Ｓ２２０）、１ブロック分のデータが解凍されると（ステップＳ２３０）、逆量子化処理や逆ＤＣＴ演算処理，色変換処理を実行する（ステップＳ２４０〜Ｓ２６０）。
【００４０】
続いて、計算した自動補正処理用パラメータに従ってこのブロックに対して自動補正処理を施して（ステップＳ２７０）、データバッファ２４に出力する（ステップＳ２８０）。自動補正処理を施す際には、具体的には、自動補正処理用パラメータに基づいて生成された画素情報の変換テーブルであるルックアップテーブルを用いて画素情報を変換する処理が行なわれる。
【００４１】
そして、データバッファ２４に出力されるブロックが蓄積されてプリンタエンジン２７により印刷を実行する単位であるバンド単位となるまで、ステップＳ２１０〜Ｓ２８０の処理を繰り返し実行し（ステップＳ２９０）、蓄積されたブロックがバンド単位となると、このバンド単位のデータに基づいて印刷データ生成部２５により印刷データを生成して
イメージバッファ２６に出力し（図８参照）、この印刷データに基づいてプリンタエンジン２７により印刷を実行する（ステップＳ３００）。そして、画像ファイルの最後のブロックまで到達したときに（ステップＳ３１０）、この画像印刷処理を終了するのである。
【００４２】
以上説明した実施例のプリンタ２０によれば、画像ファイルの印刷指示がなされたときに、画像データから肌色領域や空色領域を抽出し、肌色領域が人物の顔であるかの判断や空色領域が空であるかの判断を９０度単位で回転した画像を対象に行なって画像内容を判定することができる。即ち、画像を複数の回転角度で回転して画像内容の判定を行なうから、より確実に画像内容の判定を行なうことができる。この結果、画像内容に基づく画像補正処理をより適切に施すことができる。
【００４３】
ここで、実施例のプリンタ２０では、オブジェクト認識処理を実行する制御部２１や画像処理部２３が画像内容判定手段に相当し、ステップＳ２００〜ステップＳ２９０の処理を実行する制御部２１や画像処理部２３が画像処理手段に相当し、ステップＳ３００の処理を実行する制御部２１や印刷データ生成部２５，プリンタエンジン２７が印刷実行手段に相当する。また、肌色領域や空色領域がオブジェクト領域に相当する。
【００４４】
実施例のプリンタ２０では、肌色の画素からなる肌色領域を抽出して人物の顔であるかを判断するものとしたが、人物の顔と予測される領域を抽出することができればよく、その他の基準で抽出するものとしてもよい。例えば、隣接する画素との輝度差に基づくエッジ度が所定の閾値より大きなエッジ画素からなる領域を抽出して人物の顔であるかを判断するものとしてもよい。
【００４５】
実施例のプリンタ２０では、肌色領域が画像の上辺と左右辺のいずれにも接していないことを条件の一つとして画像内容を人物画像と判定するものとしたが、上辺や左右辺に若干接していても構わない。
【００４６】
実施例のプリンタ２０では、肌色領域が画像の上辺または左右辺に接しているか否か、肌色領域内に人物の両目や口に相当する画素領域が存在するか否かに基づいて画像内容を人物画像と判定するものとしたが、これに限られないのは勿論であり、これらのうち一方の条件を満たしたときに人物画像と判定するものとしてもよいし、その他の条件を用いるものとしても構わない。
【００４７】
実施例のプリンタ２０では、空色領域が画像の下辺に接しているか否かを判定するものとしたが、こうした空色領域の判定を行なわないものとしても差し支えない。この場合、画像内容が人物画像と判定されないときには、画像内容を風景画像と判定するものとすればよい。さらに、人物画像と風景画像以外の画像内容を判定するものとしても差し支えない。
【００４８】
実施例のプリンタ２０では、肌色領域が人物の顔であるかの判断や空色領域が空であるかの判断を９０度単位で回転した画像を対象に行なうものとしたが、回転する単位は９０度に限られないのは勿論であり、例えば、３０度単位や４５度単位で回転するものとしてもよい。また、０度を含む複数の回転角度で回転した画像を対象とすればよく、その他の回転角度で回転した画像を対象とするものとしてもよい。
【００４９】
実施例のプリンタ２０では、画像の右方向への回転角度が２７０度となるまで９０度ずつ回転しながら肌色領域が人物の顔であるかを判断し、その後、右方向への回転角度が０度となるまで左方向へ９０度ずつ回転しながら空色領域が空であるかを判断するものとしたが、画像ファイルに撮影時の回転角度を示す撮影回転情報が含まれる場合には、この撮影回転情報に応じて画像の回転角度を定めるものとしてもよい。この場合、例えば、図４
に代えて図９に例示するオブジェクト認識処理を実行するものとすればよい。即ち、図９に示すように、画像ファイルの撮影回転情報に基づいて撮影時の回転角度を取得すると共に（ステップＳ４００ａ）、取得した撮影時の回転角度となるように画像を予め回転しておき（ステップＳ４００ｂ）、画像の右方向へのその後の回転角度が２７０度となるまで９０度ずつ回転しながら肌色領域が人物の顔であるかを判断する処理を繰り返し実行する（ステップＳ４００〜Ｓ４５０）。そして、空色領域が空であるかを判断する際には、撮影時の回転角度となるように回転した画像を用いて空色領域が画像の下辺に接しているか否かの判定を行なう（ステップＳ４６０ａ，Ｓ４６０〜Ｓ５１０）。こうすれば、撮影時の回転角度となるように回転した画像を優先して用いて肌色領域が人物の顔であるかを判断し、撮影時の回転角度となるように回転した画像のみを用いて空色領域が空であるかを判断するから、より効率的に画像内容の判定を行なうことができる。ここで、肌色領域が人物の顔であるかを判断する際に、撮影時の回転角度から９０度単位で回転した画像も対象とするのは、人物画像の場合には、人物が寝転がったり逆立ちしたりした状態で撮影される場合が想定されるから、撮影時の回転角度で回転した画像のみを用いても確実な画像内容の判定を行なうことができないと考えられることに基づく。
【００５０】
実施例では、複数の回転角度で回転した画像を対象に画像内容の判定を行なう本発明をプリンタ２０の形態として説明したが、こうした画像内容の判定を行なって画像補正処理を施す画像処理装置の形態としてもよい。また、こうした画像処理方法の形態としたり画像処理用プログラムの形態とすることもできる。
【００５１】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
【符号の説明】
【００５２】
２０  プリンタ、２１  制御部、２２  インタフェース部、２３  画像処理部、２４  データバッファ、２５  印刷データ生成部、２６  イメージバッファ、２７  プリンタエンジン、３０  記憶媒体、３１  デジタルスチルカメラ、３２  パーソナルコンピュータ。
【図１】
2010257472.tif 000003
【図２】
2010257472.tif 000004
【図３】
2010257472.tif 000005
【図４】
2010257472.tif 000006
【図５】
2010257472.tif 000007
【図６】
2010257472.tif 000008
【図７】
2010257472.tif 000009
【図８】
2010257472.tif 000010
【図９】
2010257472.tif 000011
【手続補正書】
【提出日】平成22年7月2日(2010.7.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像に所定の画像補正処理を施して出力する画像処理装置であって、
指定された画像に所定の画像補正処理を施す指示がなされたときに、該画像の画素情報に基づいて該画像に含まれるオブジェクト領域を抽出し、該指定された画像を０度を含む複数の回転角度で回転させた各回転画像における該抽出したオブジェクト領域の配置に基づいて画像内容を判定する画像内容判定手段と、
該判定された画像内容に基づいて前記指定された画像に所定の画像補正処理を施して出力する画像処理手段と、
を備える画像処理装置。
【請求項２】
前記画像内容判定手段は、人物の顔と予測される人物予測領域を前記オブジェクト領域の一つとして抽出し、前記各回転画像における該抽出した人物予測領域の配置に基づいて画像内容を人物画像であると判定する手段である請求項１記載の画像処理装置。
【請求項３】
前記画像内容判定手段は、前記各回転画像のいずれかの画像における前記人物予測領域の配置が所定条件を満たすときに画像内容を人物画像であると判定する手段である請求項２記載の画像処理装置。
【請求項４】
前記画像内容判定手段は、前記人物予測領域の前記各回転画像の上辺および左右辺に接する量が所定量以下であることを前記所定条件の一つとして用いて画像内容を人物画像であると判定する手段である請求項３記載の画像処理装置。