(57)【要約】  【課題】  複数の画像の大きさや画質をより正確に比較できる状態にて、複数の画像をレイアウト統合して出力することが可能となる。  【解決手段】  複数のデジタル画像を画像データベースサーバ２から入力する画像入力部１１と、入力された複数のデジタル画像の各々に対して、デジタル画像に含まれる基準物の画像情報を抽出する基準物分離抽出部２１と、基準物の画像情報が有するサイズ情報と基準物の色情報とを、基準となる目標サイズ情報および目標色情報と比較する基準物色比較部２４および基準物サイズ比較部２８と、この比較結果からデジタル画像ごとに補正サイズ量および補正色再現量を設定する補正色再現量設定部２５および補正サイズ量設定部２９と、各々の補正サイズ量および補正色再現量を用いてデジタル画像ごとに補正処理を施す画像処理機能３０と、補正処理が施された複数のデジタル画像を統合してレイアウト出力する画像出力部１３とを備えた。  【選択図】  図２
2005269560.tif 000002
【特許請求の範囲】
【請求項１】
被写体とともに基準物が撮影されたデジタル画像から当該基準物を抽出する基準物抽出手段と、
前記基準物抽出手段により抽出された前記基準物の前記デジタル画像におけるサイズ情報を抽出するサイズ情報抽出手段と、
前記基準物の目標サイズ情報を取得し、当該目標サイズ情報と前記サイズ情報抽出手段により抽出された当該基準物のサイズ情報とを比較する比較手段と、
前記比較手段による比較結果から補正サイズ量を設定する補正サイズ量設定手段と、
前記補正サイズ量設定手段により設定された前記補正サイズ量を用いて前記デジタル画像に画像処理を施す画像処理手段と
を含む画像処理装置。
【請求項２】
前記画像処理手段は、前記補正サイズ量を用いて前記デジタル画像を拡大または縮小することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記デジタル画像に含まれる前記基準物の画像情報を、当該デジタル画像における背景画像情報に置き換える置き換え手段を更に備えたことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記置き換え手段は、前記デジタル画像の撮影に際して生成される前記基準物に付随する画像情報を、前記背景画像情報に置き換えることを特徴とする請求項３記載の画像処理装置。
【請求項５】
撮影されて前記デジタル画像に含まれる前記基準物は球形状であることを特徴とする請求項１記載の画像処理装置。
【請求項６】
被写体とともに基準物が撮影されたデジタル画像から当該基準物を抽出する基準物抽出手段と、
前記基準物抽出手段により抽出された前記基準物の前記デジタル画像における色情報を抽出する色情報抽出手段と、
前記基準物の目標色情報を取得し、当該目標色情報と前記色情報抽出手段により抽出された当該基準物の色情報とを比較する色情報比較手段と、
前記色情報比較手段による比較結果から補正色再現量を設定する補正色再現量設定手段と、
前記補正色再現量設定手段により設定された前記補正色再現量を用いて前記デジタル画像に画像処理を施す画像処理手段と
を含む画像処理装置。
【請求項７】
撮影されて前記デジタル画像に含まれる前記基準物は白または無彩色のグレーであることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記色情報抽出手段は、抽出された前記基準物の画像を、デジタルカメラの特性を考慮した色変換によってＲＧＢ信号から輝度色差系の信号に変換し、
前記色情報比較手段は、変換された前記輝度色差系の信号を目標色情報と比較し、
前記補正色再現量設定手段は、変換された前記輝度色差系の信号の輝度信号から階調の補正量、色差信号からグレーバランスの補正量を取得することを特徴とする請求項６記載の画像処理装置。
【請求項９】
デジタル画像を格納する画像データベースから読み出された複数のデジタル画像を入力する画像入力部と、
前記画像入力部により入力された複数のデジタル画像の各々に対して、当該デジタル画像に含まれる基準物の画像情報を抽出する基準物分離抽出部と、
前記基準物分離抽出部により抽出された基準物の画像情報が有するサイズ情報および/または色情報を、基準となる目標サイズ情報および/または目標色情報と比較する比較部と、
前記比較部による比較結果から前記デジタル画像ごとに補正サイズ量および/または補正色再現量を設定する設定部と、
前記設定部により設定された各々の前記補正サイズ量および/または前記補正色再現量を用いて、前記デジタル画像ごとに補正処理を施す処理部と
を含む画像処理装置。
【請求項１０】
前記処理部により補正処理が施された複数のデジタル画像を統合してレイアウト出力する出力部を更に含む請求項９記載の画像処理装置。
【請求項１１】
複数のデジタル画像を読み出し、当該デジタル画像の被写体とともに基準物が撮影された各々のデジタル画像から当該基準物を抽出するステップと、
抽出された前記基準物の前記デジタル画像におけるサイズ情報を抽出するステップと、
前記基準物の目標サイズ情報を取得するステップと、
抽出された前記基準物のサイズ情報と、取得された目標サイズ情報とに基づいて、各々のデジタル画像における補正サイズ量を設定するステップと、
設定された前記補正サイズ量を用いて、複数のデジタル画像における各々のデジタル画像の前記被写体に対して拡大または縮小処理を施すステップと
を含む画像処理方法。
【請求項１２】
抽出された前記基準物の画像情報部分を背景情報で埋めるステップを更に含む請求項１１記載の画像処理方法。
【請求項１３】
前記被写体に対して拡大または縮小処理が施された各々のデジタル画像を統合してレイアウト出力するステップを更に含む請求項１１記載の画像処理方法。
【請求項１４】
複数のデジタル画像を読み出し、当該デジタル画像の被写体とともに基準物が撮影された各々のデジタル画像から当該基準物を抽出するステップと、
抽出された前記基準物の前記デジタル画像における色情報を抽出するステップと、
前記基準物の目標色情報を取得するステップと、
抽出された前記基準物の色情報と、取得された目標色情報とに基づいて、各々のデジタル画像における補正色再現量を設定するステップと、
設定された前記補正色再現量を用いて、複数のデジタル画像における各々のデジタル画像の前記被写体に対して色補正処理を施すステップと
を含む画像処理方法。
【請求項１５】
前記被写体に対して色補正処理が施された各々のデジタル画像を統合してレイアウト出力するステップを更に含む請求項１１記載の画像処理方法。
【請求項１６】
コンピュータに、
被写体とともに基準物が撮影された各々のデジタル画像から当該基準物を抽出する機能と、
抽出された前記基準物の前記デジタル画像におけるサイズ情報を抽出する機能と、
前記基準物の目標サイズ情報を取得する機能と、
抽出された前記基準物のサイズ情報と、取得された目標サイズ情報とに基づいて、各々のデジタル画像における補正サイズ量を設定する機能と、
設定された前記補正サイズ量を用いて、複数のデジタル画像における各々のデジタル画像に対して拡大または縮小処理を施す機能と
を実現させるプログラム。
【請求項１７】
コンピュータに、
被写体とともに基準物が撮影された各々のデジタル画像から当該基準物を抽出する機能と、
抽出された前記基準物の前記デジタル画像における色情報を抽出する機能と、
前記基準物の目標色情報を取得する機能と、
抽出された前記色情報と、取得された前記目標色情報とに基づいて、各々のデジタル画像における補正色再現量を設定する機能と、
設定された前記補正色再現量を用いて、複数のデジタル画像における各々のデジタル画像に対して色補正処理を施す機能と
を実現させるプログラム。
【請求項１８】
抽出された前記基準物の画像情報部分を背景の色情報で埋める機能を前記コンピュータに更に実現させる請求項１７記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば撮影された画像などを処理する画像処理装置などに係り、より詳しくは、異なる条件で撮影された複数画像の各々に対して補正を施す画像処理装置などに関する。
【背景技術】
【０００２】
例えば商品チラシや広告、雑誌記事への利用等の印刷市場において、また、展示会やセミナー資料、現場記録写真、不動産や製品等の商品スナップ作成等のビジネス市場において、デジタルカメラ(デジタルスチールカメラ：ＤＳＣ)で撮影された画像(画像データ、デジタル画像)やスキャナで読み込まれた画像などの複数の画像を所定の領域に配置し、編集されたレイアウト画像を視覚化して出力する作業が広く行われている。従来では、例えば、レイアウトされる画像は専門のカメラマンにより撮影され、また、画像処理の専門家であるユーザにより個々の画像状態を観察しながら個々に調整が加えられ、編集されている。その一方で、近年、デジタルカメラや携帯電話などに代表される撮影装置の急速な発達とその普及、インターネット等のネットワーク技術の進展に伴い、分散され異なった撮影条件下にて一般ユーザにより撮影された複数の画像をまとめてデータベース化する機会が非常に多くなっている。
【０００３】
公報記載の従来技術として、トーンが目標の状態となっている目標デジタル画像データを取得し、この目標画像データから階調目標を抽出した後、階調に対応するヒストグラムに合わせた画像変換パラメータを設定するものが存在する(例えば、特許文献１参照。)。また、画面上に複数の不特定画像サイズの画像データを見やすく多画面表示するために、読み込まれた画像の縦と横の比率を、表示領域の縦寸法(または横寸法)と画像データの縦寸法(または横寸法)の比をもとに拡大縮小する技術が開示されている(例えば、特許文献２参照。)。
【０００４】
【特許文献１】特開２００３−１３４３４１号公報(第５−６頁、図１)
【特許文献２】特開２０００−４０１４２号公報(第４−５頁、図１)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、複数の画像について、全ての画像が撮影条件等を一定にして撮影されていれば、統合してレイアウト出力した場合であっても、ユーザにとって見易い画像を提供することが可能となる。しかしながら、異なった環境下、異なった撮影者により異なったデジタルカメラで、また、異なった撮影条件にて撮影された複数の画像は、そのままレイアウト表示を施しても、見易いものとはならない。例えば、商品のパッケージや玩具等、限定した種類の商品が撮影された場合であっても、撮影のための各種条件(撮影場所、時間、被写体位置、被写体角度、照明、カメラ等)が異なる場合には、これらの商品の大きさ、位置、傾き等の微妙なズレによって、レイアウト表示された複数画像は、非常に見苦しいものとなる。また、これらの幾何的な特徴量の違いの他に、各画像の明るさ、色、グレーバランス、階調表現などの画質に対する特徴量がバラバラの状態でレイアウト表示された場合にも見苦しい画像となる。
【０００６】
例えば、特許文献２に記載の技術によれば、表示する画像の大きさを揃えることが可能である。ここで、特許文献２に記載のように、例えばデザイン画のような絶対的な画像の大きさが問題とならないものでは、全ての画像を一定の大きさに揃えることも意味がある。しかしながら、例えば商品のパッケージや小さな商品など、複数の画像の大きさを比較することが必要な場合には、画像をレイアウトする際の便宜だけで単に全ての画像を一定の大きさに変換することは、得られる画像が好ましいものとは言えなくなる。また、特許文献１に記載の技術を適用すると、トーンを目標の画像に揃えることができるものの、撮影条件等、微妙に異なる条件下で撮影された画像についても全て同じトーンに合わされてしまう。その結果、得られる複数の画像は、実際の画像とは濃度や色、コントラスト等の要素が大きく異なる場合があり、出力画像品質が大きく低下する場合がある。特に複数画像を統合レイアウトし、すなわち複数並べて表示や出力する場合に、これらの画像についてのコントラストを正確に比較することができなくなる。
【０００７】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、複数の画像をまとめて出力する場合に、各画像の撮影条件などを加味した状態にて各画像を自動的に修正して出力することにある。
また他の目的は、複数の画像の大きさや画質をより正確に比較できる状態にて、複数の画像をレイアウト統合して出力することにある。
【課題を解決するための手段】
【０００８】
かかる目的のもと、本発明が適用される画像処理装置は、被写体とともに基準物が撮影されたデジタル画像から基準物を抽出する基準物抽出手段と、この基準物抽出手段により抽出された基準物のデジタル画像におけるサイズ情報を抽出するサイズ情報抽出手段と、基準物の目標サイズ情報を取得し、この目標サイズ情報とサイズ情報抽出手段により抽出された基準物のサイズ情報とを比較する比較手段と、この比較手段による比較結果から補正サイズ量を設定する補正サイズ量設定手段と、補正サイズ量設定手段により設定された補正サイズ量を用いてデジタル画像を拡大または縮小する画像処理を施す画像処理手段とを含む。
【０００９】
ここで、このデジタル画像に含まれる基準物の画像情報を、デジタル画像における背景画像情報に置き換える置き換え手段を更に備えたことを特徴とすれば、得られる被写体の画像に無駄な物体が除かれる点で好ましい。またこの置き換え手段は、デジタル画像の撮影に際して生成される基準物に付随する画像情報を、背景画像情報に置き換えることを特徴とすれば、更に良好な画像を得ることができる点で優れている。更に、撮影されてデジタル画像に含まれる基準物は球形状であることを特徴とすることができる。
【００１０】
一方、本発明が適用される画像処理装置は、基準物抽出手段により抽出された基準物のデジタル画像における色情報を抽出する色情報抽出手段と、基準物の目標色情報を取得し、この目標色情報と色情報抽出手段により抽出された基準物の色情報とを比較する色情報比較手段と、この色情報比較手段による比較結果から補正色再現量を設定する補正色再現量設定手段と、この補正色再現量設定手段により設定された補正色再現量を用いてデジタル画像に画像処理を施す画像処理手段とを含む。
【００１１】
ここで、撮影されてデジタル画像に含まれる基準物は、白または無彩色のグレーであることを特徴とすることができる。また、この色情報抽出手段は、抽出された基準物の画像を、デジタルカメラの特性を考慮した色変換によって、ＲＧＢ信号から、均等色空間であるＬ＊ａ＊ｂ＊信号やＹＣＣ信号等の輝度色差系の信号に変換し、色情報比較手段は、変換された輝度色差系の信号を目標色情報と比較し、補正色再現量設定手段は、変換された輝度色差系の信号の輝度信号(Ｌ＊やＹ等)から階調、色差信号(ａ＊ｂ＊やＣＣ等)からグレーバランスの補正量を取得することを特徴とすることができる。
【００１２】
他の観点から捉えると、本発明が適用される画像処理装置は、デジタル画像を格納する画像データベースから読み出された複数のデジタル画像を入力する画像入力部と、この画像入力部により入力された複数のデジタル画像の各々に対して、デジタル画像に含まれる基準物の画像情報を抽出する基準物分離抽出部と、この基準物分離抽出部により抽出された基準物の画像情報が有するサイズ情報および/または色情報を、基準となる目標サイズ情報および/または目標色情報と比較する比較部と、この比較部による比較結果からデジタル画像ごとに補正サイズ量および/または補正色再現量を設定する設定部と、この設定部により設定された各々の補正サイズ量および/または補正色再現量を用いて、デジタル画像ごとに補正処理を施す処理部と、処理部により補正処理が施された複数のデジタル画像を統合してレイアウト出力する出力部とを含む。
【００１３】
また、本発明が適用される画像処理方法は、例えばネットワークを介して接続される端末から取得されたデジタル画像を格納するデータベースから複数のデジタル画像を読み出し、読み出されたデジタル画像の被写体とともに基準物が撮影された各々のデジタル画像から基準物を抽出するステップと、抽出された基準物のデジタル画像におけるサイズ情報を抽出するステップと、例えばメモリから基準物の目標サイズ情報を取得するステップと、抽出された基準物のサイズ情報と、取得された目標サイズ情報とに基づいて、各々のデジタル画像における補正サイズ量を設定するステップと、設定された補正サイズ量を用いて、複数のデジタル画像における各々のデジタル画像の被写体に対して拡大または縮小処理を施すステップと、抽出された基準物の画像情報部分を背景情報で埋めるステップと、被写体に対して拡大または縮小処理が施された各々のデジタル画像を統合してレイアウト出力するステップとを含む。
【００１４】
更に他の観点から捉えると、本発明が適用される画像処理方法は、複数のデジタル画像を読み出し、このデジタル画像の被写体とともに基準物が撮影された各々のデジタル画像から基準物を抽出するステップと、抽出された基準物のデジタル画像における色情報を抽出するステップと、基準物の目標色情報を取得するステップと、抽出された基準物の色情報と、取得された目標色情報とに基づいて、各々のデジタル画像における補正色再現量を設定するステップと、設定された補正色再現量を用いて、複数のデジタル画像における各々のデジタル画像の被写体に対して色補正処理を施すステップと、被写体に対して色補正処理が施された各々のデジタル画像を統合してレイアウト出力するステップとを含む。
【００１５】
更に本発明は、コンピュータに所定の機能を実現させるプログラムから把握することができる。即ち、本発明が適用されるプログラムは、被写体とともに基準物が撮影された各々のデジタル画像から基準物を抽出する機能と、抽出された基準物のデジタル画像におけるサイズ情報を抽出する機能と、基準物の目標サイズ情報を取得する機能と、抽出された基準物のサイズ情報と、取得された目標サイズ情報とに基づいて、各々のデジタル画像における補正サイズ量を設定する機能と、設定された補正サイズ量を用いて、複数のデジタル画像における各々のデジタル画像に対して拡大または縮小処理を施す機能とをコンピュータに実現させる。
【００１６】
また、本発明が適用されるプログラムは、被写体とともに基準物が撮影された各々のデジタル画像から基準物を抽出する機能と、抽出された基準物のデジタル画像における色情報を抽出する機能と、基準物の目標色情報を取得する機能と、抽出された基準物の色情報と取得された目標色情報とに基づいて、各々のデジタル画像における補正色再現量を設定する機能と、設定された補正色再現量を用いて、複数のデジタル画像における各々のデジタル画像に対して色補正処理を施す機能と、基準物の画像情報部分を背景の色情報で埋める機能とをコンピュータに実現させる。
【発明の効果】
【００１７】
本発明によれば、複数の画像の大きさや画質をより正確に比較できる状態にて、複数の画像をレイアウト統合して出力することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される画像処理システムの全体構成例を示した図である。ここでは、インターネットなどのネットワーク９を介して各機能が接続されている。図１に示す画像処理システムは、分散撮影される画像の統合レイアウト処理を行う画像処理サーバ１、分散撮影された画像を取得すると共に統合レイアウト処理を行う画像を選定する画像データベースサーバ２、画像データベースサーバ２に接続され、分散撮影された画像を格納する１または複数の画像データベース(画像ＤＢ)３を備えている。また、撮影手段であるデジタルカメラ４にて撮影された画像を読み取り、ネットワーク９を介して画像データベースサーバ２に画像を転送する画像転送装置５、画像処理サーバ１で統合レイアウト処理がなされた画像を表示出力する表示装置６、画像処理サーバ１で統合レイアウト処理がなされた画像を、画像プリント出力手段であるプリンタ７に出力するための各種画像処理を行う印刷用画像処理装置８を備えている。画像転送装置５、表示装置６、および印刷用画像処理装置８は、ノートブック型コンピュータ装置(ノートＰＣ)やデスクトップ型ＰＣなどのコンピュータ装置で構成することができる。また、画像処理サーバ１や画像データベースサーバ２もＰＣなどの各種コンピュータ装置として把握することができる。本実施の形態では、異なる撮影場所、異なる撮影条件で分散撮影された複数画像を統合させる点に特徴がある。その点で、複数のデジタルカメラ４とこれに接続される複数の画像転送装置５がネットワーク９に接続されて各所に配置されている。また、デジタルカメラ４は、自らが有する通信機能を利用して、例えば中継局(図示せず)を介してネットワーク９に接続し、撮影した画像を直接、画像処理サーバ１に送信する形態もある。また、無線ＬＡＮ機能を備えていれば、例えばアクセスポイント(図示せず)を介してネットワーク９に接続し、撮影した画像を直接、画像処理サーバ１に送信する形態も考えられる。
【００１９】
ここで、理解の容易のために、従来のレイアウト処理と、本実施の形態による統合レイアウト処理とを比較して説明する。
図７(ａ),(ｂ)は、本実施の形態の統合レイアウト処理が施されていない場合の例を示した図である。図７(ａ)において、撮影Ａ、撮影Ｂ、撮影Ｃは、異なった環境下において撮影され、例えば画像転送装置５から画像データベースサーバ２に送出されて、１または複数のメモリとしての画像ＤＢ３に格納される画像例を示している。例えば撮影Ａのドキュメントでは、主要被写体であるオブジェクトが比較的大きく撮影されており、また十分な明るさのもとで撮影され、画像の明るさも比較的良好である。撮影Ｂのドキュメントでは、オブジェクトが小さく撮影されており、画像も十分に明るいとは言えない。また、被写体の配置も中心から大きくずれている。撮影Ｃのドキュメントは、オブジェクトの大きさは適度であるが、照度が非常に低く暗い画像となっている。このような複数の撮影条件下で撮影された画像を、処理を施さずにレイアウトすると、例えば図７(ｂ)に示すようになる。各被写体の大きさがバラバラであり、個々の画像における各被写体の位置も一定していない。また、画像の画質、すなわち明るさや色再現などもバラバラであり、結果として作成されるドキュメント品質が非常に悪いものとなっている。また、ユーザの持つ経験で撮影条件を揃えることも可能であるが、複数枚の画像の大きさや画質の比較を正確に行うことは困難である。
【００２０】
図６(ａ),(ｂ)は、本実施の形態における統合レイアウト処理が施された場合の例を示した図である。図６(ａ)に示すような、異なった環境下で撮影され、異なった画像の品質、被写体の幾何学的特徴を持った画像を統合レイアウトすると、本実施の形態を採用することで、統計的な手法を用いて自動的に、図６(ｂ)に示すような統合ドキュメントを得ることができる。本実施の形態では、図６(ａ)に示す各画像に、対象物である被写体(オブジェクト)とともに所定の基準物が同時に撮影されている点に特徴がある。
【００２１】
この統合ドキュメントでは、分散撮影の際、大きさおよび画質の基準となる基準物を被写体と一緒に撮影し、その撮影された情報から大きさおよび画質の処理基準を決定し、補正処理を施している。すなわち、図６(ａ)に示す各画像から、被写体であるオブジェクトの幾何学的な特徴量、画質の特徴量が抽出され、これと同時に基準物の特徴量が抽出される。そして、抽出されたこの基準物の特徴量(大きさや画質等)から、統合レイアウト処理における処理基準が算定される。より具体的には、抽出された被写体(オブジェクト)の幾何学的な特徴量、画質の特徴量について、抽出された基準物の特徴量に基づいて補正が施される。この補正は、統合レイアウトを施したときに各画像が統一化され、見易くされることを目標としている。また、抽出された基準物は、それぞれ撮影された画像から除かれ、被写体(オブジェクト)の周りである背景の絵柄、背景の色で埋められる。このような統合レイアウト処理によって、例えば図６(ｂ)における商品カタログのような、大きさや位置、背景、明るさ等が統一化された見栄えの良いレイアウト画像を得ることが可能となる。
尚、撮影される基準物の形状は、撮影角度に依存しないことが望ましく、例えば球形状が好ましい。また、基準物の色としては、白基準として用いることができる白や、グレーバランスを把握し易い無彩色のグレー等が好ましい。
【００２２】
図２は、図６(ａ),(ｂ)を用いて説明した本実施の形態における統合レイアウト処理を実行するための機能ブロック図である。統合レイアウトを主として実行する画像処理サーバ１は、画像ＤＢ３に格納された画像データ(デジタル画像)を画像データベースサーバ２より取得する画像入力部１１、画像入力部１１によって入力された複数画像に対し、画像番号(Ｇｎ)の付与と総数カウント等の前処理を実行する番号付与・総数カウント処理部１２、画像処理が施された個別画像を個々に、またはレイアウト配置された状態でネットワーク９に送出する画像出力部１３を備えている。また、番号付与・総数カウント処理部１２を経由した処理画像の有する基準物から幾何的な特徴量や画質の特徴量を取得し、処理基準を算出する処理基準決定機能２０、画像入力部１１から入力され、番号付与・総数カウント処理部１２によって画像番号(Ｇｎ)の付与と総数カウント等の前処理が実行された個別画像の特徴量を解析し、処理基準決定機能２０からの出力に基づいて個別画像に各種画像処理を施す画像処理機能３０を備えている。
【００２３】
各機能を更に説明すると、処理基準決定機能２０は、統合レイアウト処理が施される処理画像の各々に含まれる基準物を分離抽出する基準物分離抽出部２１、基準物分離抽出部２１により抽出された基準物の色情報(単に「色」と略す場合がある)を抽出する基準物色抽出処理部２２、撮影前の基準物から設定される目標色情報が予め格納されている目標色情報格納部２３、目標色情報格納部２３から読み出された目標色情報と基準物色抽出処理部２２から抽出された基準物の色情報とを比較する基準物色比較部２４、基準物色比較部２４の比較結果から得られた補正色再現量を設定する補正色再現量設定部２５を備えている。また、基準物分離抽出部２１により抽出された基準物のサイズ情報(単に「サイズ」と略す場合がある)を抽出する基準物サイズ抽出処理部２６、撮影前の基準物から設定される目標サイズ情報が予め格納されている目標サイズ情報格納部２７、目標サイズ情報格納部２７から読み出された目標サイズ情報と基準物サイズ抽出処理部２６から抽出された基準物のサイズ情報とを比較する基準物サイズ比較部２８、基準物サイズ比較部２８の比較結果から得られた補正サイズ量を設定する補正サイズ量設定部２９を備えている。目標色情報格納部２３および目標サイズ情報格納部２７は、基準物である例えば球形の直径、球の色等の情報(Ｌ＊ａ＊ｂ＊情報)が所定のメモリ(図示せず)に格納され、処理画像を処理する際に順次読み出される。目標色情報格納部２３および目標サイズ情報格納部２７に格納される目標値の情報は、各種デジタルカメラ４で撮影に用いられる基準物そのもののサイズ情報、基準物そのものの色情報である「基準値」である。尚、読み出される基準値は、印刷する画像の大きさ等に基づき、所定の拡大・縮小が加わった状態で出力するように構成することも可能である。
【００２４】
画像処理機能３０は、統合レイアウト処理が施される処理画像を順次、読み取り、処理画像に対して拡大・縮小処理を施す画像拡大・縮小処理部３１、画像拡大・縮小処理部３１により拡大・縮小処理が施された画像に対して、主要被写体の取り出しと基準物の取り出しとを行う画像トリミング処理部３２、画像トリミング処理部３２によりトリミング処理が施された主要被写体に対して色補正を施し、また、基準物を取り除いて背景色で埋める等の各種画像処理を行う画像色補正処理部３３を備えている。この画像色補正処理部３３により色補正が施された画像は、順次、画像出力部１３に渡される。画像拡大・縮小処理部３１は、処理基準決定機能２０の補正サイズ量設定部２９により設定された補正サイズ量に基づいて拡大・縮小がなされる。また、画像色補正処理部３３は、処理基準決定機能２０の補正色再現量設定部２５により設定された色再現量に基づいて色補正処理が実行される。
尚、図２に示す画像処理サーバ１の各機能は、画像処理サーバ１が備えるＣＰＵにより、作業用メモリであるＲＡＭ等を用いて実行される。目標色情報格納部２３や目標サイズ情報格納部２７は、画像処理サーバ１に設けられた例えばハードディスクドライブ(ＨＤＤ)等の記憶媒体にて実現される。
【００２５】
次に、図２に示す各機能ブロックにて実行される処理について説明する。
図３は、主に処理基準決定機能２０にて実行される処理として、基準物から補正量を算出する処理を示したフローチャートである。画像処理サーバ１では、まず画像入力部１１より処理画像(画像データ、デジタル画像)が入力され(ステップ１０１)、番号付与・総数カウント処理部１２にて入力された各画像に画像番号Ｇｎが付与されて(ステップ１０２)、画像総数Ｎがカウントされる(ステップ１０３)。処理基準決定機能２０では、画像処理機能３０にて処理されるＧｎ番の画像が読み出され(ステップ１０４)、処理基準が設定される。
【００２６】
処理基準決定機能２０では、基準物分離抽出部２１にて、まずＧｎ番の画像に含まれる基準物が分離抽出される(ステップ１０５)。例えば基準物が球形である場合には、円形状のデジタルマスクを準備し、画像全面をフィルタリングスキャン処理することにより、円のパターンマッチングを行うことにより、基準物を抽出することができる。または、入力された画像信号を２値化し、背景と被写体とに分け、複数ある被写体の各々の中心と境界(エッジ)を求め、中心から境界(エッジ)までの距離を３６０度、調べることにより、円形状の抽出ができる。尚、マッチングを行うパターンの数を減らす意味から、基準物は球形を採用することが優れている。勿論、撮影角度等を加味した複数のパターンを備えることで、矩形等の他の形状の基準物を採用することも可能である。このようにして抽出された基準物画像は、基準物色抽出処理部２２および基準物サイズ抽出処理部２６に渡される。
【００２７】
基準物サイズ抽出処理部２６および基準物色抽出処理部２２では、基準物のサイズ情報(サイズ)および基準物の色情報(色)が抽出される(ステップ１０６)。ここで行われる基準物のサイズ抽出では、例えば処理画像における基準物のサイズそのものが測定される。例えば基準物が球形である場合には、撮影画像の中にある球の直径が抽出される。また、ここで行われる基準物色抽出処理部２２の色情報抽出では、例えばＲ(レッド),Ｇ(グリーン),Ｂ(ブルー)信号からデジタルカメラ４の特性を考慮した色変換によって、例えば均等色空間であるＬ＊ａ＊ｂ＊カラースペースに色変換がなされる。デジタルカメラ４の特性は、デジタル画像を取得する際に、例えばＥＸＩＦ(Exchangeable Image File Format)等の画像フォーマットに含まれて提供される。基準物色抽出処理部２２では、これらの情報を用いて、デジタルカメラ４の特性を認識することができる。
【００２８】
その後、処理基準決定機能２０では、目標サイズ情報格納部２７から基準物の目標サイズ(基準値)が読み出され、また、目標色情報格納部２３から基準物の目標色(基準値)が読み出される(ステップ１０７)。そして、基準物サイズ比較部２８にて、画像から得られた基準物のサイズと目標サイズ情報格納部２７から得られた基準値とが比較され、基準物色比較部２４にて、画像から得られた基準物の色と目標色情報格納部２３から得られた基準値とが比較される(ステップ１０８)。その後、補正サイズ量設定部２９および補正色再現量設定部２５にて、補正サイズ量、補正色再現量が設定されて(ステップ１０９)、補正量算出処理が終了する。この補正色再現量の設定では、変換された基準物画像のＬ＊ａ＊ｂ＊は、基準物色比較部２４の基準物色比較において目標色と比較することにより、Ｌ＊から階調、ａ＊ｂ＊からグレーバランスの補正量などの補正再現量が取得される。尚、輝度色差系の信号として、Ｌ＊ａ＊ｂ＊信号の代わりにＹＣＣ信号に変換することも可能である。このときには、変換された輝度色差系の信号を目標色情報と比較し、色再現量設定手段は、変換された輝度色差系の信号の輝度信号(Ｌ＊やＹ等)から階調の補正量、色差信号(ａ＊ｂ＊やＣＣ等)からグレーバランスの補正量を取得するように構成することができる。
【００２９】
ここで、目標色情報格納部２３および目標サイズ情報格納部２７には、例えば処理対象画像の種別ごとに、目標となる基準物の情報がメモリに格納されるように構成することができる。例えば、菓子の商品パッケージであればＡ基準物、ミニカー等の玩具であればＢ基準物等である。各基準物からの目標値は、ユーザが個々に選定することも可能である。また、画像処理サーバ１にてデジタル画像を読み込んだ際、個別のデジタル画像に基準物の目標値が付加された状態となるように構成することも可能である。例えば、画像データベースサーバ２にて、デジタル画像の属性を付加した状態で画像処理サーバ１にデジタル画像を提供する態様が考えられる。自動的に付加することが難しい場合には、ユーザにより属性(種別)を付加することも有効である。また、例えば、個別のデジタル画像の例えばＥＸＩＦにて、そのユニーク情報を格納できるエリアに目標値を入れることもできる。かかる場合に、そのユニーク情報を埋め込むことができるデジタルカメラ４で撮影されていれば、画像処理サーバ１にて自動的に読み出し、目標値を簡易に取得することができる。
【００３０】
次に、画像補正処理の流れについて説明する。
図４は、主に画像処理機能３０にて実行される画像補正処理を示したフローチャートである。画像処理サーバ１では、まず画像入力部１１より処理画像(画像データ、デジタル画像)が入力され(ステップ２０１)、番号付与・総数カウント処理部１２にて入力された各画像に画像番号Ｇｎが付与されて(ステップ２０２)、画像総数Ｎがカウントされる(ステップ２０３)。画像処理機能３０では、画像補正処理が施されるＧｎ番の画像が読み出される(ステップ２０４)。ここで画像処理機能３０では、処理基準決定機能２０にて設定された対応画像(Ｇｎ番の画像)の補正サイズ量が取得される(ステップ２０５)。画像処理機能３０の画像拡大・縮小処理部３１は、取得された補正サイズ量を用いて、入力される対応画像に拡大・縮小処理を施す(ステップ２０６)。
【００３１】
また、画像処理機能３０の画像トリミング処理部３２では、拡大・縮小処理がなされた画像から、被写体、基準物が特定されて取り出される(ステップ２０７)。また、画像トリミング処理部３２では、取り出された被写体を画像の中心に移動する等の被写体のレイアウト処理が実行される(ステップ２０８)。次に、画像処理機能３０では、処理基準決定機能２０にて設定された対応画像(Ｇｎ番の画像)の補正色再現量が取得される(ステップ２０９)。画像処理機能３０の画像色補正処理部３３では、取得された補正色再現量に基づいて、レイアウト処理がなされた対応画像に対して色補正が施される。また、取り出された基準物の部分について、画像の被写体以外の場所である背景と同じ画像で埋める処理がなされる(ステップ２１０)。このとき、基準物の画像情報が背景画像情報に置き換えられるだけではなく、光の関係で生じた基準物の陰等、基準物に付随して発生する画像情報も背景画像情報に置き換えることが好ましい。
【００３２】
その後、画像出力部１３に補正後の画像が出力される。ここで、画像番号Ｇｎが画像総数Ｎに比べて小さいか否かが判断される(ステップ２１１)。画像総数Ｎに比べてＧｎが小さい場合には、ステップ２０４に戻って上記処理が繰り返される。画像総数Ｎに比べてＧｎが小さくない場合には、画像総数Ｎの補正処理が終了したとして、画像補正処理が終了する。以上のようにして画像処理機能３０にて処理された画像は、画像出力部１３にてレイアウト処理がなされ、画像出力部１３から図６(ｂ)に示すような統合レイアウト画像が出力される。尚、画像出力部１３からは１枚ごとの画像が出力され、最終的な統合処理は画像を出力(表示を含む)する端末(表示装置６や印刷用画像処理装置８)にて実行するように構成することも可能である。
【００３３】
尚、ステップ２０８にて、被写体を画像の中心に移動する際には、まず、２値化処理が行われた後、被写体についてラベリング処理が施される。その後、このラベリング処理が施された被写体に対して最大外接矩形が算出される。算出される最大外接矩形としては、例えば座標軸を左上からとると、トップの最小、レフトの最小、ボトムの最大、ライトの最大等により、縦および横について各々算出される。このようにして被写体に対して外接開始位置が算出されると、被写体の重心位置を求めることができる。求められた重心位置を中央に揃えることで、ユーザにとって見易い統合レイアウト画像を得ることが可能となる。
【００３４】
また、画像処理機能３０では、上述した処理の他に、背景の除去や背景の統一、明るさ、色、グレーバランス、階調補正などの画質向上処理を実行することが可能である。更には、例えば、ノイズ抑制処理を行う平滑化処理、画像の分布で明るい方に寄っているか暗い方に寄っているか等によって基準のポイントを移動させる明度補正、画像分布の明るい部分、シャドー部分の分布特性を調整するハイライトシャドー補正、明暗の分布ヒストグラムから分布状態を得て明暗のコントラストを補正する明暗コントラスト補正を機能として備えることも可能である。また、例えば、１番明るいと考えられる白領域部を基準として、白い部分の色ずれを補正する色相・カラーバランス補正、例えばやや彩度が低めの画像に対しては鮮やかになるように、グレーに近い画像には、彩度を抑え目にする等の処理を施す彩度補正、例えば肌色を基準として肌色を近づけるように補正する等、特定の記憶色を補正する記憶色補正等の各機能を有することも可能である。更に、全体のエッジ度からエッジの強さを判断し、例えばシャキシャキとした画像(シャープな画像)に補正するシャープネス強調処理の機能を備えることもできる。このように、単に基準物の目標色や目標サイズ等の基準値に合わせ込むだけではなく、統合レイアウト処理を行うに際して、ユーザがより見易くなる処理を加えることも可能である。
【００３５】
尚、上述した画像処理機能３０では、画像トリミング処理部３２によるトリミング処理の前に画像拡大・縮小処理部３１による画像の拡大・縮小を行っていたが、抽出された被写体の画像データだけに対して拡大・縮小処理を施すように構成することも可能である。
【００３６】
図５は、デジタル画像を得る際の撮影方向と、被写体および基準物との位置関係を説明するための図である。撮影される被写体に対して、基準物は一定の位置に置かれることが好ましい。例えば、一般的な商品撮影の場合などでは、図５に示すように、デジタルカメラ４の撮影方向に対して被写体の最も近い位置に基準物を並べて配置する。サイズの精度を更に上げるためには、複数(２つ)の基準物と被写体との距離を等間隔にすることが好ましい。図５に示すように配置された被写体および基準物を撮影して得られたデジタル画像であれば、統合レイアウト処理に際し、補正後の被写体の大きさを精度良く調整することが可能となる。
【００３７】
以上、詳述したように、本実施の形態によれば、例えば異なるデジタルカメラ４によって異なる条件下(光源、地域、時間等)で撮影された複数枚のデジタル画像データをデータベース化し、また並べて表示または印字する際、絶対的な大きさを認識した状態にて補正を加え、補正された画像を表示・印刷することができる。例えばワールドワイドにて撮影された画像を一覧して比較する際に、必須の技術と言える。また、各々の画像における基準物から得られる情報より、異なる撮影条件の画像が同様の画質に変換、表示・印刷することが可能となり、複数画像を表示した際のドキュメント品質を向上させることができる。ここで、本実施の形態に用いられる基準物の形状を球形とすることで、撮影角度および撮影位置が異なる場合であっても、正確に、サイズ情報を抽出することができる。また、基準物の形状を球形とすることで、被写体のサイズに合った基準物を容易に作成することができる。更に、大きさおよび画質の補正処理を施す際に、基準物は画像から消去されるので、ドキュメント品質をより向上させることができる。
【００３８】
また、基準物として任意の形状を用いることが可能であるが、基本的な形状である球を用いることが特に好ましいことは前述のとおりである。このとき、球の材質・加工方法を工夫することにより、大きな被写体から、非常に微細な被写体までをカバーすることが可能となる。即ち、本実施の形態は、パッケージ商品の撮影や自動車売買などの画像データ処理に有用であるが、サイズおよび画質の比較が重要な建築物、またはその模型の撮影から、顕微鏡で観察できる小さな物体(微細な物)に至るまで、基準物を選択することで、自由に適用させることができる。
【００３９】
更に、目標色情報格納部２３からの目標色、目標サイズ情報格納部２７からの目標サイズをユーザインタフェースから入力するように構成すれば、その目的に応じて、任意の画質、サイズに補正することも可能となる。また更に、マニュアル設定や自動判別設定により、目標サイズを設定し、用途・目的にあった一覧画像を作成することができる。この目標サイズとしては、例えば最小のもの、最大のもの、平均のもの等がある。また、照明によって生成されるような、例えば基準物の陰などについても、最終画像から同様に削除するように構成することもできる。
【００４０】
尚、本実施の形態は、アプリケーションタイプ、プリンタドライバタイプ、およびデジタルカメラとの連携タイプ等の各タイプにて、使用されることが想定できる。アプリケーションタイプでは、例えば、デジタルスチールカメラ(ＤＳＣ)画像をアルバム化、あるいは管理するソフトのプラグイン等として、ユーザの採取画像を自動調整する機能に用いることができる。また、プリンタドライバタイプでは、ドライバ設定において、オプション機能として選択可能とする、あるいは、モード設定自体に組み込む機能とすることができる。更に、デジタルカメラとの連携タイプでは、ファイルフォーマットにタグ(Tag)情報を埋め込み、プリント段階での調整指示を可能とする機能として、本実施の形態を適用することが可能である。
【００４１】
また、本実施の形態が適用されるコンピュータプログラムは、コンピュータに対して提供される際に、例えばコンピュータにインストールされた状態にて提供される場合の他、コンピュータに実行させるプログラムをコンピュータが読取可能に記憶した記憶媒体にて提供される形態が考えられる。この記憶媒体としては、例えば各種ＤＶＤやＣＤ−ＲＯＭ媒体、カード型記憶媒体等が該当し、上記の各コンピュータに設けられたＤＶＤやＣＤ−ＲＯＭ読取装置、カード読み取り装置等によってプログラムが読み取られる。そして、各コンピュータに設けられたＨＤＤやフラッシュＲＯＭ等の各種メモリにこのプログラムが格納され、ＣＰＵにて実行される。また、これらのプログラムは、例えば、プログラム伝送装置からネットワークを介してコンピュータに提供される形態もある。
【産業上の利用可能性】
【００４２】
本発明の活用例としては、例えばプリンタ等の画像形成装置に接続されるコンピュータ、インターネット等を介して情報を提供するサーバ、デジタルカメラ、また、これらの各種コンピュータ機器にて実行されるプログラム等への活用がある。
【図面の簡単な説明】
【００４３】
【図１】本実施の形態が適用される画像処理システムの全体構成例を示した図である。
【図２】本実施の形態における統合レイアウト処理を実行するための機能ブロック図である。
【図３】主に処理基準決定機能にて実行される処理として、基準物から補正量を算出する処理を示したフローチャートである。
【図４】主に画像処理機能にて実行される画像補正処理を示したフローチャートである。
【図５】デジタル画像を得る際の撮影方向と、被写体および基準物との位置関係を説明するための図である。
【図６】(ａ),(ｂ)は、本実施の形態における統合レイアウト処理が施された場合の例を示した図である。
【図７】(ａ),(ｂ)は、本実施の形態における統合レイアウト処理が施されていない場合の例を示した図である。
【符号の説明】
【００４４】
１…画像処理サーバ、２…画像データベースサーバ、３…画像データベース(画像ＤＢ)、４…デジタルカメラ、５…画像転送装置、６…表示装置、７…プリンタ、８…印刷用画像処理装置、９…ネットワーク、１１…画像入力部、１２…番号付与・総数カウント処理部、１３…画像出力部、２０…処理基準決定機能、２１…基準物分離抽出部、２２…基準物色抽出処理部、２３…目標色情報格納部、２４…基準物色比較部、２５…補正色再現量設定部、２６…基準物サイズ抽出処理部、２７…目標サイズ情報格納部、２８…基準物サイズ比較部、２９…補正サイズ量設定部、３０…画像処理機能、３１…画像拡大・縮小処理部、３２…画像トリミング処理部、３３…画像色補正処理部
【図１】
2005269560.tif 000003
【図２】
2005269560.tif 000004
【図３】
2005269560.tif 000005
【図４】
2005269560.tif 000006
【図５】
2005269560.tif 000007
【図６】
2005269560.tif 000008
【図７】
2005269560.tif 000009