(57)【要約】  【課題】  複数の画像をまとめて出力する場合に、統計的手法を用いて複数の画像における主要被写体、背景を自動的に修正し、見栄えの良いレイアウト出力を提供する。  【解決手段】  複数のデジタル画像を画像入力部１１により入力し、画像入力部１１により入力された複数のデジタル画像の各々から主要被写体の幾何特徴量を処理基準決定機能２０により認識する。そして、この処理基準決定機能２０により認識された各々の幾何特徴量から、複数のデジタル画像を構成する各々の画像の主要被写体に対して幾何的に一定の統一が図られるように画像処理機能４０により補正を施し、画像出力部１３から出力する。  【選択図】  図２
2005151282.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データが有する各々の特徴量を認識する特徴量認識手段と、
前記特徴量認識手段により認識された前記各々の特徴量から、前記複数の画像データに対して施すべき画像補正のための処理基準を抽出する処理基準抽出手段と、
を含む画像処理装置。
【請求項２】
前記処理基準抽出手段により抽出された前記処理基準を用いて、前記複数の画像データの各々に対して画像補正を施す画像補正手段を更に含む請求項１記載の画像処理装置。
【請求項３】
前記複数の画像データは、１または複数のメモリに格納されており、
前記特徴量認識手段は、前記１または複数のメモリから前記複数の画像データを読み出して前記各々の特徴量を認識することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記特徴量認識手段は、前記複数の画像データにおける各々の画像データが有する主たるオブジェクトを認識し、認識された当該オブジェトに基づいて前記特徴量を認識することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記特徴量認識手段は、前記複数の画像データの各々が有する幾何的な特徴量を認識することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記特徴量認識手段は、前記複数の画像データの各々が有する明るさ、コントラスト、彩度、色相、および精細度の少なくとも何れか一つを含む画質を前記特徴量として認識することを特徴とする請求項１記載の画像処理装置。
【請求項７】
複数のデジタル画像を入力する入力手段と、
前記入力手段により入力された前記複数のデジタル画像の各々から主要被写体の幾何特徴量を認識する特徴量認識手段と、
前記特徴量認識手段により認識された各々の前記幾何特徴量から、前記複数のデジタル画像を構成する各々の画像の前記主要被写体に対して幾何的に一定の統一が図られるように補正を施す幾何補正手段と
を含む画像処理装置。
【請求項８】
前記特徴量認識手段は、前記主要被写体の輪郭を抽出し、抽出された当該輪郭から外接矩形を抽出し、抽出された当該外接矩形から前記幾何特徴量を認識することを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記幾何補正手段は、前記特徴量認識手段により認識された各々の前記幾何特徴量から幾何的な目標値を算出し、算出された当該目標値を用いて、前記複数のデジタル画像を構成する各々の画像の前記主要被写体に対して幾何的な補正を施すことを特徴とする請求項７記載の画像処理装置。
【請求項１０】
前記幾何補正手段は、前記主要被写体の位置および/または当該主要被写体の大きさを統一させることを特徴とする請求項７記載の画像処理装置。
【請求項１１】
複数のデジタル画像を入力する入力手段と、
前記入力手段により入力された前記複数のデジタル画像の各々から主要被写体の画質に関する特徴量を認識する特徴量認識手段と、
前記特徴量認識手段により認識された各々の前記画質に関する特徴量から、前記複数のデジタル画像を構成する各々の画像の前記主要被写体に対して画質に一定の統一が図られるように補正を施す画質補正手段と
を含む画像処理装置。
【請求項１２】
前記特徴量認識手段により認識される前記画質に関する特徴量は、前記主要被写体の輝度に関する特徴量、彩度に関する特徴量、および色分布に関する特徴量の少なくとも何れか１つであることを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
前記特徴量認識手段は、前記複数のデジタル画像の前記主要被写体が有する前記画質に関し、統計的な手法によって目標値を設定する目標値設定手段を更に備え、
前記画質補正手段は、前記目標値設定手段により設定された前記目標値を用いて補正を施すことを特徴とする請求項１１記載の画像処理装置。
【請求項１４】
複数のデジタル画像の各々から背景領域を抽出し、各々の背景に関する特徴量を認識する特徴量認識手段と、
前記特徴量認識手段により認識された前記背景に関する特徴量から、背景に一定の統一が図られるように各々の画像に対して補正を施す背景補正手段と
を含む画像処理装置。
【請求項１５】
前記特徴量認識手段により認識された前記複数のデジタル画像の背景領域に関し、統計的な手法によって目標値を設定する目標値設定手段を更に備え、
前記背景補正手段は、前記目標値設定手段により設定された前記目標値を用いて補正を施すことを特徴とする請求項１４記載の画像処理装置。
【請求項１６】
複数の画像データを入力するステップと、
入力された前記複数の画像データにおける各々の主要被写体が有する各々の特徴量を認識するステップと、
認識された各々の前記特徴量から、各々の前記主要被写体に対して施すべき画像補正のための処理基準を設定するステップと、
設定された前記処理基準を用いて、前記主要被写体に対して補正を施すステップと、
前記主要被写体に対して補正が施された画像データを出力するステップと
を含む画像処理方法。
【請求項１７】
認識される前記特徴量は、前記主要被写体の幾何特徴量および/または画質の特徴量であることを特徴とする請求項１６記載の画像処理方法。
【請求項１８】
複数の画像データを入力するステップと、
入力された前記複数の画像データにおける各々の背景領域を認識するステップと、
認識された各々の前記背景領域に対して一定の統一が図られるように前記複数の画像データに補正を施すステップと、
補正が施された前記複数の画像データを出力するステップと
を含む画像処理方法。
【請求項１９】
コンピュータに、
入力された複数の画像データにおける各々の主要被写体を認識する機能と、
認識された各々の前記主要被写体の特徴量を認識する機能と、
認識された各々の前記特徴量から、各々の前記主要被写体に対して施すべき画像補正のための処理基準を設定する機能と、
設定された前記処理基準を用いて、前記主要被写体に対して補正を施す機能と
を実現させるプログラム。
【請求項２０】
コンピュータに、
入力された複数の画像データにおける各々の背景領域を認識する機能と、
認識された各々の前記背景領域に対して一定の統一が図られるように前記複数の画像データに補正を施す機能と
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば撮影された画像などを処理する画像処理装置などに係り、より詳しくは、複数画像に対して修正を施す画像処理装置などに関する。
【背景技術】
【０００２】
例えば商品チラシや広告、雑誌記事への利用等の印刷市場において、また、展示会やセミナー資料、現場記録写真、不動産や製品等の商品スナップ作成等のビジネス市場において、例えばデジタルカメラ(デジタルスチールカメラ：ＤＳＣ)で撮影された画像(画像データ、デジタル画像)やスキャナで読み込まれた画像などの複数の画像を所定の領域に配置し、編集されたレイアウト画像を視覚化して出力する作業が広く行われている。従来では、例えば、レイアウトされる画像は専門のカメラマンにより撮影され、また、画像処理の専門家であるユーザにより個々の画像状態を観察しながら個々に調整が加えられ、編集されている。その一方で、近年、デジタルカメラや携帯電話などに代表される撮影装置の急速な発達と普及、インターネット等のネットワーク技術の進展に伴い、一般ユーザによる分散され異なった撮影条件下にて得られた複数の画像がデータベース化される機会が多くなっている。
【０００３】
公報記載の従来技術として、複数の画像について、各々余白付き付加画像に外接する矩形領域が生成され、所定の配置ルールに従って配置することで、複数の画像を指定領域内にレイアウトする技術が存在する(例えば、特許文献１参照。)。また、画面上に複数の不特定画像サイズの画像データを見やすく多画面表示するために、読み込まれた画像の縦と横の比率を、表示領域の縦寸法(または横寸法)と画像データの縦寸法(または横寸法)の比をもとに拡大縮小する技術が開示されている(例えば、特許文献２参照。)。
【０００４】
【特許文献１】特開２００３−１０１７４９号公報(第３−５頁、図１)
【特許文献２】特開２０００−４０１４２号公報(第４−５頁、図１)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、複数の画像について、全ての画像が撮影条件等を一定にして撮影されていれば、見やすくレイアウト表示することが可能となる。しかしながら、異なった環境下、異なった撮影者により異なった撮影条件にて撮影された複数の画像は、上記した特許文献１や特許文献２などの技術を利用してそのままレイアウト表示を施しても、見易いものとはならない。例えば、化粧品や菓子のパッケージ、ミニカーなどの玩具等、限定した種類の商品が撮影された場合であっても、撮影のための各種条件(撮影場所、時間、被写体位置、被写体角度、照明、カメラ等)が異なる場合には、これらの商品の大きさ、位置、傾き等の微妙なズレによって、レイアウト表示された複数画像は、非常に見苦しいものとなる。また、これらの幾何的な特徴量の違いの他に、各画像の明るさ、色、グレーバランス、階調表現などの画質に対する特徴量の違いも、レイアウト表示された場合に見苦しい画像となる原因となる。更に、背景の有無の違いも、複数画像を比較参照する際の妨げになる。従来では、これらの画質の修正は、人の手作業によって個々に実施されていた。しかし、特に、レイアウトされた画像のプリント出力の高速化が要求され、Ｗｅｂへの掲載等の機会が増しているビジネス市場や印刷市場において、人為的な作業だけに画像修正を頼っている現状は好ましいものとは言えない。
【０００６】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、複数の画像をまとめて出力する場合に、各画像を自動的に修正し、見栄えの良いレイアウト出力などを提供することにある。
また他の目的は、統計的手法を用いて複数の画像における主要被写体、背景を補正することにある。
【課題を解決するための手段】
【０００７】
かかる目的のもと、本発明が適用される画像処理装置は、複数の画像データが有する各々の特徴量を特徴量認識手段により認識し、この特徴量認識手段により認識された各々の特徴量から、複数の画像データに対して施すべき画像補正のための処理基準を処理基準抽出手段により抽出している。そして、この処理基準抽出手段により抽出された処理基準を用いて、複数の画像データの各々に対して画像補正手段により画像補正を施している。
【０００８】
ここで、この複数の画像データは、１または複数のメモリに格納されており、特徴量認識手段は、この１または複数のメモリから複数の画像データを読み出して各々の特徴量を認識することを特徴としている。また、この特徴量認識手段は、複数の画像データにおける各々の画像データが有する主たるオブジェクト(例えば主要被写体)を認識し、認識されたオブジェトに基づいて特徴量を認識することを特徴とすることができる。更に、この特徴量認識手段は、複数の画像データの各々が有する幾何的な特徴量を認識することを特徴とし、また、複数の画像データの各々が有する明るさ、コントラスト、彩度、色相、および精細度の少なくとも何れか一つを含む画質を特徴量として認識することを特徴とすることができる。
【０００９】
他の観点から把えると、本発明が適用される画像処理装置は、複数のデジタル画像を入力手段により入力し、この入力手段により入力された複数のデジタル画像の各々から主要被写体の幾何特徴量を特徴量認識手段により認識する。そして、この特徴量認識手段により認識された各々の幾何特徴量から、複数のデジタル画像を構成する各々の画像の主要被写体に対して幾何的に一定の統一が図られるように幾何補正手段により補正を施している。
【００１０】
ここで、この特徴量認識手段は、主要被写体の輪郭を抽出し、抽出された輪郭から外接矩形を抽出し、抽出された外接矩形から幾何特徴量を認識することを特徴とすることができる。また、この幾何補正手段は、特徴量認識手段により認識された各々の幾何特徴量から幾何的な目標値を算出し、算出された目標値を用いて、複数のデジタル画像を構成する各々の画像の主要被写体に対して幾何的な補正を施すことを特徴とすることができる。更に、この幾何補正手段は、主要被写体の位置および/または主要被写体の大きさを統一させることを特徴とする。
【００１１】
一方、本発明が適用される画像処理装置は、入力手段により入力された複数のデジタル画像の各々から主要被写体の画質に関する特徴量を特徴量認識手段により認識する。そして、この特徴量認識手段により認識された各々の画質に関する特徴量から、複数のデジタル画像を構成する各々の画像の主要被写体に対して画質に一定の統一が図られるように画質補正手段により補正を施している。
【００１２】
ここで、この特徴量認識手段により認識される画質に関する特徴量は、主要被写体の輝度に関する特徴量、彩度に関する特徴量、および色分布に関する特徴量の少なくとも何れか１つであることを特徴とすることができる。また、この特徴量認識手段は、複数のデジタル画像の主要被写体が有する画質に関し、統計的な手法によって目標値を設定する目標値設定手段を更に備え、画質補正手段は、この目標値設定手段により設定された目標値を用いて補正を施すことを特徴とすることができる。
【００１３】
更に、本発明が適用される画像処理装置は、複数のデジタル画像の各々から背景領域を抽出し、各々の背景に関する特徴量を特徴量認識手段により認識する。そして、この特徴量認識手段により認識された背景に関する特徴量から、背景に一定の統一が図られるように各々の画像に対して背景補正手段により補正を施している。ここで、この特徴量認識手段により認識された複数のデジタル画像の背景領域に関し、統計的な手法によって目標値を設定する目標値設定手段を更に備え、背景補正手段は、目標値設定手段により設定された目標値を用いて補正を施すことを特徴とすることができる。これらの統計的な手法としては、多数決による決定や、平均による決定等がある。
【００１４】
本発明を方法のカテゴリから把えると、本発明が適用される画像処理方法は、複数の画像データを入力するステップと、入力された複数の画像データにおける各々の主要被写体が有する各々の特徴量を認識するステップと、認識された各々の特徴量から、各々の主要被写体に対して施すべき画像補正のための処理基準を設定するステップと、設定された処理基準を用いて、主要被写体に対して補正を施すステップと、主要被写体に対して補正が施された画像データを出力するステップとを含む。ここで、この認識される特徴量は、主要被写体の幾何特徴量および/または画質の特徴量であることを特徴とすることができる。
【００１５】
更に、本発明が適用される画像処理方法は、複数の画像データを入力するステップと、入力された複数の画像データにおける各々の背景領域を認識するステップと、認識された各々の背景領域に対して一定の統一が図られるように複数の画像データに補正を施すステップと、補正が施された複数の画像データを出力するステップとを含む。
【００１６】
また、本発明が適用されるコンピュータプログラムは、コンピュータに、入力された複数の画像データにおける各々の主要被写体を認識する機能と、認識された各々の主要被写体の特徴量を認識する機能と、認識された各々の特徴量から、各々の主要被写体に対して施すべき画像補正のための処理基準を設定する機能と、設定された処理基準を用いて、主要被写体に対して補正を施す機能とを実現させる。
【００１７】
更に、本発明が適用されるコンピュータプログラムは、コンピュータに、入力された複数の画像データにおける各々の背景領域を認識する機能と、認識された各々の背景領域に対して一定の統一が図られるように複数の画像データに補正を施す機能とを実現させる。
【発明の効果】
【００１８】
本発明によれば、複数の画像をまとめて出力する場合に、各画像を自動的に修正し、見栄えの良いレイアウト出力などを提供することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される画像処理システムの全体構成例を示した図である。ここでは、インターネットなどのネットワーク９を介して各機能が接続されている。図１に示す画像処理システムは、分散撮影される画像の統合レイアウト処理を行う画像処理サーバ１、分散撮影された画像を取得すると共に統合レイアウト処理を行う画像を選定する画像データベースサーバ２、画像データベースサーバ２に接続され、分散撮影された画像を格納する１または複数の画像データベース(画像ＤＢ)３を備えている。また、撮影手段であるデジタルカメラ４にて撮影された画像を読み取り、ネットワーク９を介して画像データベースサーバ２に画像を転送する画像転送装置５、画像処理サーバ１で統合レイアウト処理がなされた画像を表示出力する表示装置６、画像処理サーバ１で統合レイアウト処理がなされた画像を、画像プリント出力手段であるプリンタ７に出力するための各種画像処理を行う印刷用画像処理装置８を備えている。画像転送装置５、表示装置６、および印刷用画像処理装置８は、ノートブック型コンピュータ装置(ノートＰＣ)やデスクトップ型ＰＣなどのコンピュータ装置で構成することができる。また、画像処理サーバ１や画像データベースサーバ２もＰＣなどの各種コンピュータ装置として把握することができる。本実施の形態では、異なる撮影場所、異なる撮影条件で分散撮影された複数画像を統合させる点に特徴がある。その点で、複数のデジタルカメラ４とこれに接続される複数の画像転送装置５がネットワーク９に接続されて配置されている。
【００２０】
ここで、理解の容易のために、従来のレイアウト処理と、本実施の形態による統合レイアウト処理とを比較して説明する。
図１０(ａ),(ｂ)は、後述する本実施の形態の統合レイアウト処理が施されていない場合の例を示した図である。図１０(ａ)において、撮影Ａ、撮影Ｂ、撮影Ｃは、異なった環境下において撮影され、画像転送装置５から画像データベースサーバ２に送出されて、１または複数のメモリとしての画像ＤＢ３に格納される画像例を示している。例えば撮影Ａのドキュメントでは、主要被写体であるオブジェクトが比較的大きく撮影されており、また十分な明るさのもとで撮影され、画像の明るさも比較的良好である。撮影Ｂのドキュメントでは、オブジェクトが小さく撮影されており、画像も十分に明るいとは言えない。また、被写体の配置も中心から大きくずれている。撮影Ｃのドキュメントは、オブジェクトの大きさは適度であるが、照度が非常に低く暗い画像となっている。このような複数の撮影条件下で撮影された画像を、処理を施さずにレイアウトすると、例えば図１０(ｂ)に示すようになる。各被写体の大きさがバラバラであり、個々の画像における各被写体の位置も一定していない。また、画像の画質、即ち明るさや色再現などもバラバラであり、結果として作成されるドキュメント品質が非常に悪いものとなっている。
【００２１】
図１１(ａ),(ｂ)は、本実施の形態における統合レイアウト処理が施された場合の例を示した図である。図１０(ａ)と同様に、異なった環境下で撮影され、異なった画像の品質、被写体の幾何学的特徴を持った画像を統合レイアウトすると、統計的な手法を用いて自動的に、図１１(ｂ)に示すような統合ドキュメントを得ることができる。この統合ドキュメントでは、図１１(ａ)に示す各画像から、被写体であるオブジェクトの幾何学的な特徴量、画像処理の特徴量が抽出され、抽出された複数の特徴量に基づいて基準が設定され、各画像に修正が施されている。主要被写体としてのオブジェクトの明るさだけではなく、被写体の背景も、画像間で統一されるように、各画像について修正が施されている。即ち、まず、大きさ、位置等の幾何学的な特徴量を抽出し、また、画像の明るさや色再現等の画質についての特徴量を抽出する。そして、これらの特徴量を集めて一定の条件に基づいて基準を設定し、この基準に合致するように各画像を修正して統合レイアウトを生成している。これによって、例えば図１１(ｂ)における商品カタログのような、大きさや位置、背景、明るさ等が統一化された見栄えの良いレイアウト画像を得ることが可能となる。
【００２２】
図２は、図１１を用いて説明したような、本実施の形態における統合レイアウト処理を実行するための機能ブロック図である。統合レイアウトを主として実行する画像処理サーバ１は、画像ＤＢ３に格納された画像データ(デジタル画像)を画像データベースサーバ２より取得する画像入力部１１、画像入力部１１によって入力された複数画像に対して、画像番号(Ｇｎ)の付与と総数カウント等の前処理を実行する番号付与・総数カウント処理部１２、画像処理が施された個別画像を個々に、またはレイアウト配置された状態でネットワーク９に送出する画像出力部１３を備えている。また、番号付与・総数カウント処理部１２を経由した複数画像から幾何的な特徴量や画質の特徴量を取得し、処理基準を算出する処理基準決定機能２０、画像入力部１１から入力され、番号付与・総数カウント処理部１２によって画像番号(Ｇｎ)の付与と総数カウント等の前処理が実行された個別画像の特徴量を解析し、処理基準決定機能２０からの出力に基づいて画像補正量を算出する補正量算出機能３０、補正量算出機能３０にて算出された個別画像の補正量に基づいて各種画像処理を実行する画像処理機能４０を備えている。
【００２３】
この補正量算出機能３０の存在によって、実際に画像処理が施される個々の画像状態を解析することが可能となり、決定された複数画像の処理基準との差分を個々に補正することが可能となる。この補正量算出機能３０を設けない構成も考えられる。かかる場合には、個々の画像状態によらず、複数画像から決定された処理基準によって一律に決められた処理を行うことになる。また、処理の内容によって、これらの処理を切り替えるように構成することも可能である。例えば、背景を同一に揃えるような処理では、例えば、複数画像から、多数決や平均等によって処理基準が決定され、個々の画像状態によらず、一律に決められた処理が施される。一方、明るさレベルを画像群の平均で揃えるような場合には、補正量算出機能３０によって個々の画像状態を解析してから、処理基準との差分を補正することが好ましい。
【００２４】
各機能を更に説明すると、処理基準決定機能２０は、統合レイアウト処理が施される複数画像から、幾何特徴量や背景の情報、色などの各種画質情報等の特徴量を取得する特徴量抽出部２１、特徴量抽出部２１によって抽出された複数画像の特徴量を解析する基準特徴量解析部２２、これら複数画像から処理基準を算出する処理基準算出部２３、算出された処理基準から目標値を設定し、メモリ(図示せず)に設定値を格納する目標値設定・格納部２４を備えている。また、補正量算出機能３０は、補正処理が施される画像の、幾何特徴量や画質特徴量などの特徴量を抽出する画像特徴量抽出部３１、画像特徴量抽出部３１によって特徴量が抽出された画像の特徴量を解析する画像特徴量解析部３２、画像特徴量解析部３２によって解析された特徴量と、処理基準算出部２３によって算出された処理基準とに基づいて画像の補正量を算出する画像補正量算出部３３を備えている。更に、画像処理機能４０は、主要被写体として認識されたオブジェクトの位置、大きさ、傾き等の幾何的な特徴量を補正する幾何特徴量補正部４１、明るさ、色、グレーバランス、階調補正などの画質を補正する画質補正部４２、背景の除去や背景の統一等の背景を補正する背景処理部４３を備えている。
【００２５】
画質補正部４２は、例えば、ノイズ抑制処理を行う平滑化処理、画像の分布で明るい方に寄っているか暗い方に寄っているか等によって基準のポイントを移動させる明度補正、画像分布の明るい部分、シャドー部分の分布特性を調整するハイライトシャドー補正、明暗の分布ヒストグラムから分布状態を得て明暗のコントラストを補正する明暗コントラスト補正を機能として備えている。また、例えば、１番明るいと考えられる白領域部を基準として、白い部分の色ずれを補正する色相・カラーバランス補正、例えばやや彩度が低めの画像に対しては鮮やかになるように、グレーに近い画像には、彩度を抑え目にする等の処理を施す彩度補正、例えば肌色を基準として肌色を近づけるように補正する等、特定の記憶色を補正する記憶色補正等の各機能を有している。更に、全体のエッジ度からエッジの強さを判断し、例えばシャキシャキとした画像(シャープな画像)に補正するシャープネス強調処理の機能を備えることができる。
【００２６】
次に、図２に示す各機能ブロックにて実行される処理について説明する。
まず、幾何特徴量の処理工程について説明する。
図３は、幾何特徴量の処理基準算出工程を示したフローチャートである。画像処理サーバ１は、まず画像入力部１１より複数の画像(画像データ、デジタル画像)を入力し(ステップ１０１)、番号付与・総数カウント処理部１２にて、入力された各画像に画像番号Ｇｎが付与され(ステップ１０２)、画像総数Ｎがカウントされる(ステップ１０３)。次に、処理基準決定機能２０では、例えば、1番目の画像であるＧ１番目から順番に画像Ｇｎ番が読み出される(ステップ１０４)。そして、特徴量抽出部２１によって、主要被写体が認識され(ステップ１０５)、認識された主要被写体(被写体)の輪郭が抽出された後(ステップ１０６)、被写体の外接矩形が抽出される(ステップ１０７)。処理基準算出部２３にて、ステップ１０８からステップ１１０までの各種算出処理が実行される。即ち、被写体の外接開始位置が算出され(ステップ１０８)、被写体のサイズが算出される(ステップ１０９)。そして、被写体の重心位置が算出される(ステップ１１０)。
【００２７】
図４(ａ)〜(ｃ)は、上述したステップ１０５からステップ１１０までの処理を説明するための図であり、画像パターン１〜３までの処理基準が算出されるまでの課程が示されている。図４(ａ)は被写体の認識、図４(ｂ)は輪郭抽出、図４(ｃ)は被写体外接矩形の抽出と矩形情報算出の例を示している。図４(ａ)に示すように、まずステップ１０５の処理、即ち主要被写体を背景から分離し、被写体が認識される。そしてステップ１０６の処理、即ち各画像パターンについて輪郭が抽出され、図４(ｂ)に示すような例えば白抜きの画像が得られる。そして、抽出された輪郭から、ステップ１０７の処理によって、図４(ｃ)に示すような被写体の外接矩形が抽出され、抽出された外接矩形から、ステップ１０８からステップ１１０の処理によって、被写体の外接開始位置(例えば(Ｘs1,Ｙs1)、(Ｘs2,Ｙs2)、(Ｘs3,Ｙs3))、被写体のサイズ(例えば(Ｘd1,Ｙd1)、(Ｘd2,Ｙd2)、(Ｘd3,Ｙd3))、被写体の重心座標(例えば(Ｘg1,Ｙg1)、(Ｘg2,Ｙg2)、(Ｘg3,Ｙg3))が各々の画像について算出される。
【００２８】
図３のフローチャートに戻って説明を続けると、以上のようにしてステップ１１０までの処理が終了した後、処理した画像が画像総数Ｎを超えたか否か、即ちＧｎ＜Ｎか否かが判断される(ステップ１１１)。画像総数Ｎを超えていない場合には、ステップ１０４へ戻って処理が繰り返され、個々の画像についての算出処理が実行される。画像総数Ｎを超えている場合には、処理基準算出部２３にて、ステップ１１２からステップ１１４の平均値算出処理が実行される。ステップ１１２では、外接開始位置の平均値(ＸsM,ＹsM)が、ＸsM＝平均(Ｘs1,Ｘs2,Ｘs3)、ＹsM＝平均(Ｙs1,Ｙs2,Ｙs3)として算出される。また、ステップ１１３では、サイズ(大きさ)の平均値が、ＸdM＝平均(Ｘd1,Ｘd2,Ｘd3)、ＹdM＝平均(Ｙd1,Ｙd2,Ｙd3)として算出される。更に、ステップ１１４では、重心位置の平均値が、ＸgM＝平均(Ｘg1,Ｘg2,Ｘg3)、ＹgM＝平均(Ｙg1,Ｙg2,Ｙg3)として算出される。以上のようにして処理基準が算出された後、目標値設定・格納部２４にて、外接開始位置の目標値の設定(ステップ１１５)、サイズの目標値設定(ステップ１１６)、および重心位置の目標値の設定がなされる(ステップ１１７)。設定された各目標値は、メモリ(図示せず)に格納されて、幾何特徴量の処理基準算出工程が終了する。
【００２９】
幾何特徴量については、ユーザの指定に基づいてその目標値を決定することも可能である。例えば、
被写体重心を中央に揃える。
最も大きな被写体で揃える。
最も小さな被写体で揃える。
平均で大きさ、位置を揃える。
等を例えばディスプレイ表示し、ユーザに指定させることで目標値を決定することも可能である。図３に示した目標値の設定では、自動的に平均値を目標値として算出した例が示されている。ユーザに指定させる場合には、目標値設定・格納部２４では、このユーザの指定に基づいて目標値の設定方法を変え、メモリに格納することが可能である。また、目標値の設定は、実際の補正処理工程に際して実行するように構成することも可能である。
【００３０】
図５は、幾何特徴量の補正処理工程を示したフローチャートである。
幾何特徴量の補正処理工程では、図３に示す処理工程によって取得した各種処理基準の目標値に基づいて、実際の補正処理が行われる。補正処理としては、個々の画像状態によらず、一律に決められた処理を行う方法と、個々の画像状態を解析し、処理基準との差分を補正する方法とがある。図５に示す例では、後者の差分を補正する方法の例を挙げている。
【００３１】
幾何特徴量の補正処理工程では、図２に示す画像処理サーバ１は、まず、画像入力部１１より処理すべき画像(画像データ、デジタル画像)を入力し(ステップ１５１)、番号付与・総数カウント処理部１２にて、入力された画像に画像番号Ｇｎを付与し(ステップ１５２)、処理すべき画像の画像総数Ｎをカウントする(ステップ１５３)。補正したい画像については、ユーザによって任意に取り出させる(指定させる)ことも可能である。かかる場合には、ユーザにより指定された画像の全体が画像総数Ｎとなる。次に、補正量算出機能３０では、画像総数Ｎの中から、画像Ｇｎ番(最初は１番目)が読み出される(ステップ１５４)。そして、画像特徴量抽出部３１によって、処理すべき主要被写体が認識され(ステップ１５５)、認識された主要被写体(被写体)の輪郭が抽出された後(ステップ１５６)、被写体の外接矩形が抽出される(ステップ１５７)。その後、画像特徴量解析部３２によって、処理すべき画像の特徴量が解析される。具体的には、被写体の外接開始位置が算出され(ステップ１５８)、被写体のサイズが算出される(ステップ１５９)。そして、被写体の重心位置が算出される(ステップ１６０)。画像の補正処理の方法によっては、これらの解析が全て行われない場合もある。
【００３２】
その後、画像補正量算出部３３では、目標値設定・格納部２４によって設定され格納された目標値が読み出され(ステップ１６１)、画像特徴量解析部３２によって解析された特徴量と読み出された目標値との差分から補正量が算出される(ステップ１６２)。算出された補正量は、画像処理機能４０に出力される。画像処理機能４０の幾何特徴量補正部４１は、必要に応じ、外接開始位置の補正(ステップ１６３)、サイズの補正(ステップ１６４)、重心位置の補正(ステップ１６５)を施す。これらの補正を画像総数Ｎまで実行したか否か、即ちＧｎ＜Ｎか否かが判断される(ステップ１６６)。画像総数Ｎを超えていない場合には、ステップ１５４へ戻って処理が繰り返され、次の処理すべき画像についての補正処理が実行される。画像総数Ｎを超えている場合には、幾何特徴量の補正処理が終了する。図４に示すパターン例を用いて説明すると、例えば画像パターン２を外接開始位置の平均値(ＸsM,ＹsM)およびサイズの平均値ＸdMとＹdMとを用いて補正する場合に、
画像シフト：(ＸsM−Ｘs2, ＹsM−Ｙs2)画素シフト
画像拡大：(ＹdM/Ｙd2)倍…(縦の縮尺に合わす)
等とすることができる。このような補正を加えることで、図１１(ｂ)に示すような、幾何特徴量が統一された、見やすいレイアウト出力を提供することが可能となる。
【００３３】
次に、画質処理の各工程について説明する。
図６は、画質の処理基準算出工程を示したフローチャートである。画像処理サーバ１では、まず画像入力部１１より複数画像が入力され(ステップ２０１)、番号付与・総数カウント処理部１２にて入力された各画像に画像番号Ｇｎが付与されて(ステップ２０２)、画像総数Ｎがカウントされる(ステップ２０３)。次に、処理基準決定機能２０では、例えば、1番目の画像であるＧ１番目から順番に画像Ｇｎ番が読み出される(ステップ２０４)。その後、主要被写体について、輝度、Ｒ(赤),Ｇ(緑),Ｂ(青)、彩度について、それぞれ、目標値設定処理が実行される。まず、背景と分離された主要被写体について、例えばＬ＊ａ＊ｂ＊に変換されて輝度変換が行われ(ステップ２０５)、輝度ヒストグラムが採取される(ステップ２０６)。その後、分布平均値L_aveが算出され(ステップ２０７)、算出されたL_aveを加算してL_targetが求められる(ステップ２０８)。この輝度変換は、例えば、ハイライトシャドー補正や明暗コントラスト補正に用いられる。例えば、明暗コントラスト補正では、基準画像から、明暗の分布(例えばヒストグラム)をとり、例えば、レンジを５段程度として、ほぼ同じような分布グラフが得られるような値が目標値となる。
【００３４】
一方、彩度補正を行うために、彩度変換がなされる(ステップ２０９)。まず、背景と分離された主要被写体について、彩度ヒストグラムが採取され(ステップ２１０)、分布平均値S_aveが算出される(ステップ２１１)。そして、算出されたS_aveを加算してS_targetを算出する(ステップ２１２)。ここでは、Ｌ＊ａ＊ｂ＊のａ＊ｂ＊の２平面で彩度を表すことができる。ａ＊ｂ＊が００でグレーとなる。基準として、グレーに近い方はグレーに縮め、即ち、少々色付く程度の場合には、彩度を抑え目にし、補正によってグレーになる方向に補正する。また、彩度が中高程度の分布では、鮮やかさを強調するように彩度補正がなされる。ステップ２０９からステップ２１２では、各画素についての主要被写体の分布平均値から、彩度補正のためのターゲットが決定されている。
【００３５】
更に、例えば色相・カラーバランス補正を行うために、ＲＧＢ変換がなされる(ステップ２１３)。まず、背景と分離された主要被写体について、ＲＧＢヒストグラムが採取され(ステップ２１４)、Ｒ分布の最大値(Ｍａｘ値)であるr_maxの算出(ステップ２１５)、Ｇ分布の最大値であるg_maxの算出(ステップ２１６)、Ｂ分布の最大値であるb_maxの算出(ステップ２１７)がなされる。そして、算出されたr_maxを加算してRmax_targetを求め(ステップ２１８)、また、算出されたg_maxを加算してGmax_targetを求め(ステップ２１９)、同様に、算出されたb_maxを加算してBmax_targetを求める(ステップ２２０)。色相・カラーバランス補正を行うに際して、このように、ヒストグラムでＲＧＢが別々に採取され、例えば、最も明るいＲＧＢのヒストグラムのポイントは白であるものと判断し、この部分について黄色や緑等のかぶりがある場合には、白い部分がずれているものとして、同じスタートとなるように、ホワイトバランスが調整される。
【００３６】
以上のようにしてステップ２２０までの処理が終了した後、処理した画像が画像総数を超えたか否か、即ちＧｎ＜Ｎか否かが判断される(ステップ２２１)。画像総数Ｎを超えていない場合には、ステップ２０４へ戻って処理が繰り返され、個々の画像についての算出処理が実行される。画像総数Ｎを超えている場合には、処理基準算出部２３にて以降の処理が実行される。まず、処理基準算出部２３は、複数画像の算出結果が加算された値について、Ｎで割ることで、平均値が算出される。即ち、Ｎで割ることで各画像で加算して算出されたL_targetに対する平均値が算出される(ステップ２２２)。同様に、Ｎで割ることで、加算して算出されたS_targetに対する平均値が算出され(ステップ２２３)、Rmax_targetの平均値(ステップ２２４)、Gmax_targetの平均値(ステップ２２５)、Bmax_targetの平均値(ステップ２２６)が算出される。目標値設定・格納部２４では、このようにして算出されたL_targetを明度補正目標値(ステップ２２７)、S_targetを彩度補正目標値(ステップ２２８)、Rmax_targetをカラーバランス(ＣＢ)補正目標値(ステップ２２９)、Gmax_targetをＣＢ補正目標値(ステップ２３０)、およびBmax_targetをＣＢ補正目標値(ステップ２３１)に各々設定して、所定のメモリ(図示せず)に格納し、画質に対する処理基準の算出工程が終了する。
【００３７】
次に、実際の補正処理について説明する。
図７は、画質の補正処理工程を示したフローチャートである。画像処理サーバ１では、まず画像入力部１１より処理すべき複数画像が入力され(ステップ２５１)、番号付与・総数カウント処理部１２にて、処理すべき画像に順に画像番号Ｇｎが付与され(ステップ２５２)、画像総数Ｎがカウントされる(ステップ２５３)。次に、画像特徴量抽出部３１では、例えば、1番目の画像であるＧ１番目から順番に画像Ｇｎ番が読み出され(ステップ２５４)、背景と分離された主要被写体について、まずＲＧＢ変換が施される(ステップ２５５)。その後、ＲＧＢヒストグラムが採取され(ステップ２５６)、Ｒ分布の最大値(Ｍａｘ値)であるr_maxの算出(ステップ２５７)、Ｇ分布の最大値であるg_maxの算出(ステップ２５８)、Ｂ分布の最大値であるb_maxの算出(ステップ２５９)がなされる。そして、図６に示すフローチャートにて、目標値設定・格納部２４により設定された目標値である、Rmax_target、Gmax_target、Bmax_targetを用いて、カラーバランス(ＣＢ)補正ＬＵＴ(ルックアップテーブル)を生成し(ステップ２６０)、ＲＧＢ変換が施された画像に対してカラーバランス補正が実行される(ステップ２６１)。
【００３８】
そして、例えばＬ＊ａ＊ｂ＊に変換後、処理すべき画像の主要被写体に対して、ステップ２６２以降の輝度変換、ステップ２６７以降の彩度変換が施される。ステップ２６２以降の輝度変換では、例えばＬ＊による輝度ヒストグラムが採取される(ステップ２６３)。その後、分布平均値L_aveが算出される(ステップ２６４)。そして、図６に示す処理にて目標値設定・格納部２４により設定されたL_targetを用いて、明度補正ＬＵＴが生成される(ステップ２６５)。その後、この明度補正ＬＵＴを用いて、画質補正部４２により明度補正が実行される(ステップ２６６)。ステップ２６７以降の彩度変換では、例えばａ＊ｂ＊を用いて彩度ヒストグラムが採取され(ステップ２６８)、分布平均値としてS_aveが算出される(ステップ２６９)。そして、目標値設定・格納部２４により設定されたS_targetを用いて、彩度補正係数が算出される(ステップ２７０)。そして、この彩度補正係数を用いて画質補正部４２により彩度補正が実行される(ステップ２７１)。このようにして、明度および彩度についての補正が施された後、画像出力の形式に合わせてＲＧＢ変換を行い(ステップ２７２)、画像が出力される(ステップ２７３)。そして、処理した画像が画像総数Ｎを超えたか否か、即ちＧｎ＜Ｎか否かが判断される(ステップ２７４)。画像総数Ｎを超えていない場合には、ステップ２５４へ戻って処理が繰り返される。画像総数Ｎを超えている場合には、補正処理が終了する。
【００３９】
以上のようにして画質に補正が加えられることで、例えば同じページ内に複数の同一種類の画像がある場合に、対象物の明るさを揃えたり、色を揃えたり、また鮮やかさを揃えたりすることが可能となる。このように、統計的手法を用いて画質に一定の統一が図られることで、ユーザにとって見易い出力画像を提供することが可能となる。
【００４０】
次に、背景処理のための各工程について説明する。
図８は、背景処理のための処理基準算出工程を示したフローチャートである。画像処理サーバ１は、まず画像入力部１１より複数画像を入力し(ステップ３０１)、番号付与・総数カウント処理部１２にて、入力された各画像に画像番号Ｇｎが付与され(ステップ３０２)、画像総数Ｎがカウントされる(ステップ３０３)。次に、処理基準決定機能２０では、例えば、1番目の画像であるＧ１番目から順番に画像Ｇｎ番が読み出される(ステップ３０４)。そして、特徴量抽出部２１によって、背景領域が認識され(ステップ３０５)、背景領域色のサンプリングが行われる(ステップ３０６)。サンプリングされる背景領域色は、基本的には、輝度、明度、彩度であり、図５に示した主要被写体の測定と同様にして行われる。その後、処理した画像が画像総数Ｎを超えたか否か、即ちＧｎ＜Ｎか否かが判断される(ステップ３０７)。画像総数Ｎを超えていない場合には、ステップ３０４へ戻って処理が繰り返され、個々の画像についての算出処理が実行される。画像総数Ｎを超えている場合には、目標値設定・格納部２４によって目標値が設定され、メモリ(図示せず)に格納される(ステップ３０８)。尚、格納される目標値は、例えば、予め基準が設定されていれば、その基準に沿ったものであり、実際の処理のときに決定されるものであれば、例えば、全ての画像の背景画像情報が格納される場合もある。また、例えば、平均で背景色を揃えるような場合には、処理基準算出部２３にて平均化処理等が実行される。
【００４１】
背景色については、ユーザの指定に基づいてその目標値を決定することも可能である。例えば、
最も明るい背景色で揃える。
最も暗い背景色で揃える。
最も鮮やかな背景色で揃える。
平均で背景色を揃える。
等を表示し、ユーザに指定させることで目標値を決定することも可能である。尚、これらの目標値の特徴としては、複数の画像データの存在が前提となり、その中で、最大、最小、鮮やかさの最大、最小等による背景色の選定、平均による背景色の決定等の、統計的な処理を含めて決定される。
【００４２】
図９は、背景色の補正処理工程を示したフローチャートである。画像処理サーバ１では、まず画像入力部１１より処理すべき画像が入力され(ステップ３５１)、番号付与・総数カウント処理部１２にて、入力された各画像に画像番号Ｇｎが付与されて(ステップ３５２)、画像総数Ｎがカウントされる(ステップ３５３)。次に、背景処理部４３では、例えば、1番目の画像であるＧ１番目から順番に画像Ｇｎ番の処理すべき画像が読み出され(ステップ３５４)、背景領域が認識される(ステップ３５５)。ここで、背景処理部４３は、決定されている背景目標値を取得し(ステップ３５６)、処理すべき画像の背景領域に目標値を適用する(ステップ３５７)。その後、補正を施した画像が画像総数Ｎを超えたか否か、即ちＧｎ＜Ｎか否かが判断される(ステップ３５８)。画像総数Ｎを超えていない場合には、ステップ３５４へ戻って処理が繰り返される。画像総数Ｎを超えている場合には、補正処理は終了する。
【００４３】
以上、詳述したように、本実施の形態では、複数の画像(複数の画像データ)から処理基準を決定し、複数の画像における各々の画像へ適用させるように構成した。個々の画像状態によらず、多数決による決定や平均による決定等、統計的な手法に基づいて一律に決められた処理を行うことで、ユーザにとって見易い出力画像を提供することが可能となる。多数決による決定とは、例えば４つの画像データの中で、３つの画像データの背景が白、１つの画像データの背景がグレーである場合に、数の多い方に合わせて、全ての画像データの背景を白とする等である。かかる場合には、背景がグレーである画像の背景部分を補正することになる。
【００４４】
尚、本実施の形態は、アプリケーションタイプ、プリンタドライバタイプ、およびデジタルカメラとの連携タイプ等の各タイプにて、使用されることが想定できる。アプリケーションタイプでは、例えば、デジタルスチールカメラ(ＤＳＣ)画像をアルバム化、あるいは管理するソフトのプラグイン等として、ユーザの採取画像を自動調整する機能に用いることができる。また、プリンタドライバタイプでは、ドライバ設定において、オプション機能として選択可能とする、あるいは、モード設定自体に組み込む機能とすることができる。更に、デジタルカメラとの連携タイプでは、ファイルフォーマットにタグ(Tag)情報を埋め込み、プリント段階での調整指示を可能とする機能として、本実施の形態を適用することが可能である。
【００４５】
また、本実施の形態が適用されるコンピュータプログラムは、コンピュータに対して提供される際に、例えばコンピュータ装置にインストールされた状態にて提供される場合の他、コンピュータに実行させるプログラムをコンピュータが読取可能に記憶した記憶媒体にて提供される形態が考えられる。この記憶媒体としては、例えば各種ＤＶＤやＣＤ−ＲＯＭ媒体、カード型記憶媒体等が該当し、上記の各コンピュータ機器に設けられたＤＶＤやＣＤ−ＲＯＭ読取装置、カード読み取り装置等によってプログラムが読み取られる。そして、各コンピュータ機器に設けられたＨＤＤやフラッシュＲＯＭ等の各種メモリにこのプログラムが格納され、ＣＰＵにて実行される。また、これらのプログラムは、例えば、プログラム伝送装置からネットワークを介して提供される形態もある。
【産業上の利用可能性】
【００４６】
本発明の活用例としては、例えばプリンタ等の画像形成装置に接続されるコンピュータ装置、インターネット等を介して情報を提供するサーバ、デジタルカメラ、また、これらの各種コンピュータ機器にて実行されるプログラム等への活用がある。
【図面の簡単な説明】
【００４７】
【図１】本実施の形態が適用される画像処理システムの全体構成例を示した図である。
【図２】本実施の形態における統合レイアウト処理を実行するための機能ブロック図である。
【図３】幾何特徴量の処理基準算出工程を示したフローチャートである。
【図４】(ａ)〜(ｃ)は、図３に示したステップ１０５からステップ１１０までの処理を説明するための図である。
【図５】幾何特徴量の補正処理工程を示したフローチャートである。
【図６】画質の処理基準算出工程を示したフローチャートである。
【図７】画質の補正処理工程を示したフローチャートである。
【図８】背景処理のための処理基準算出工程を示したフローチャートである。
【図９】背景色の補正処理工程を示したフローチャートである。
【図１０】(ａ),(ｂ)は、本実施の形態における統合レイアウト処理が施されていない場合の例を示した図である。
【図１１】(ａ),(ｂ)は、本実施の形態における統合レイアウト処理が施された場合の例を示した図である。
【符号の説明】
【００４８】
１…画像処理サーバ、２…画像データベースサーバ、３…画像データベース(画像ＤＢ)、４…デジタルカメラ、５…画像転送装置、６…表示装置、７…プリンタ、８…印刷用画像処理装置、９…ネットワーク、１１…画像入力部、１２…番号付与・総数カウント処理部、１３…画像出力部、２０…処理基準決定機能、２１…特徴量抽出部、２２…基準特徴量解析部、２３…処理基準算出部、２４…目標値設定・格納部、３０…補正量算出機能、３１…画像特徴量抽出部、３２…画像特徴量解析部、３３…画像補正量算出部、４０…画像処理機能、４１…幾何特徴量補正部、４２…画質補正部、４３…背景処理部
【図１】
2005151282.tif 000003
【図２】
2005151282.tif 000004
【図３】
2005151282.tif 000005
【図４】
2005151282.tif 000006
【図５】
2005151282.tif 000007
【図６】
2005151282.tif 000008
【図７】
2005151282.tif 000009
【図８】
2005151282.tif 000010
【図９】
2005151282.tif 000011
【図１０】
2005151282.tif 000012
【図１１】
2005151282.tif 000013