(57)【要約】【課題】  画像補正を施すべき箇所を確実に指定し、効率良く画像補正を施すとともに、ユーザーの意志を反映した画像を再現する。【解決手段】  ＰＣ２は、画像処理プログラム４７を用いて、デジタルカメラ１０で撮影した画像データに添付された付加情報を元に、画像中の領域に対応した構成物を同定する。マウス４３は、画像処理プログラム４７により同定された構成物の中から、画像補正を施す構成物を選択する際、構成物に応じて定められる複数レベルの概念から、画像補正の対象とすべき１つの概念を指定する際、および画像補正の内容を選択する際に操作される。画像処理プログラム４７は、構成物が選択された画像、およびこの画像に関連する画像内の、指定された概念に含まれる構成物に対応する領域に対して、同様の画像補正を施す。【選択図】        図７
2005065048.tif 000002
【特許請求の範囲】
【請求項１】
画像中の領域に対応する構成物を同定して、
画像補正すべき前記領域に対応する前記構成物に応じて複数レベルの概念を定め、
前記画像および前記画像に関連する画像内の、選択された前記概念に含まれる構成物に対応する領域に対して、同様の画像補正を施すことを特徴とする画像処理方法。
【請求項２】
前記関連する画像に対して、前記画像補正を施すか否かを選択可能としたことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記構成物の固有情報が書き込まれたＩＣタグを前記構成物に取り付け、このＩＣタグから前記固有情報を読み出すことにより、前記構成物の同定を行うことを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記画像に添付される撮影情報に基づいて前記構成物の固有情報を検索するデータベースから前記固有情報を読み出すことにより、前記構成物の同定を行うことを特徴とする請求項１ないし３のいずれかに記載の画像処理方法。
【請求項５】
画像中の領域に対応する構成物を同定する構成物同定手段と、
画像補正すべき前記領域に対応する前記構成物に応じて複数レベルの概念を定める概念指定手段と、
前記画像および前記画像に関連する画像内の、選択された前記概念に含まれる構成物に対応する領域に対して、同様の画像補正を施す画像補正手段とを備えたことを特徴とする画像処理装置。
【請求項６】
前記関連する画像に対して、前記画像補正を施すか否かを選択可能な選択手段を設けたことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記構成物の固有情報が書き込まれたＩＣタグを前記構成物に取り付けるとともに、前記構成物同定手段は、前記ＩＣタグから前記固有情報を読み出すことにより、前記構成物の同定を行うことを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記構成物同定手段は、前記画像に添付される撮影情報に基づいて前記構成物の固有情報を検索するデータベースから前記固有情報を読み出すことにより、前記構成物の同定を行うことを特徴とする請求項５ないし７のいずれかに記載の画像処理装置。
【請求項９】
画像中の領域に対応する構成物を同定するステップと、
画像補正すべき前記領域に対応する前記構成物に応じて複数レベルの概念を定めるステップと、
前記画像および前記画像に関連する画像内の、選択された前記概念に含まれる構成物に対応する領域に対して、同様の画像補正を施すステップとを備えたことを特徴とする画像処理プログラム。
【請求項１０】
前記関連する画像に対して、前記画像補正を施すか否かを選択可能としたことを特徴とする請求項９に記載の画像処理プログラム。
【請求項１１】
前記構成物の固有情報が書き込まれたＩＣタグを前記構成物に取り付け、このＩＣタグから前記固有情報を読み出すことにより、前記構成物の同定を行うことを特徴とする請求項９または１０に記載の画像処理プログラム。
【請求項１２】
前記画像に添付される撮影情報に基づいて前記構成物の固有情報を検索するデータベースから前記固有情報を読み出すことにより、前記構成物の同定を行うことを特徴とする請求項９ないし１１のいずれかに記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラなどで撮影した画像に、色補正、画質補正などの画像補正を施す画像処理方法および装置、並びに画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラの普及に伴い、デジタルカメラで撮影した画像をパーソナルコンピュータにダウンロードして、色補正、画質補正などの画像補正を施すユーザーが増加している。
【０００３】
このようなユーザーの便宜を図るために、関連のある複数コマの画像を画像処理するに際し、第１のコマの画像中の特定領域を指定し、特定領域の画像を修正するとともに、この特定領域の画像特徴量の情報と画像修正内容とを記憶しておき、それ以降のコマの画像処理を行う際に、第１のコマの特定領域の処理前の画像と画像特徴量が類似する類似領域を抽出し、この類似領域に対して、第１のコマの特定領域と同様の画像修正を行う画像処理方法が提案されている（特許文献１参照）。この方法によれば、簡単且つ効率良く関連のある複数コマの画像の特定領域に対して画像処理を施すことができる。
【０００４】
また、被写体の撮影シーンの画像データを取得するとともに、被写体の撮影時に取得または入力されたカメラ情報（撮影位置情報など）を取得し、必要に応じてさらに、撮影シーンに関連する関連情報を取り込み、カメラ情報および関連情報の少なくとも一方、またはこれと画像データとの組み合わせにより、撮影シーンの推定を行い、推定された撮影シーンに応じた所定の画像処理を行う画像処理方法が提案されている（特許文献２参照）。この方法によれば、推定された撮影シーンに応じた最適な画像処理を行うことができ、高画質な画像を得ることができる。
【０００５】
【特許文献１】特開平１１−２７５３５１号公報
【特許文献２】特開２００１−２３８１７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載される方法では、画像特徴量に基づいて類似領域を抽出しているため、関係のない領域を誤って抽出するおそれがあり、また、それ以降のコマに類似領域がない場合には、結局１つ１つのコマに対して画像処理を施さなければならず、かえって処理効率が悪くなるという問題があった。また、特許文献２に記載される方法では、画像処理のパラメータが自動で設定されるため、画像処理後の画像が、ユーザーの記憶や撮影時の印象、好みなどと必ずしも合致しない場合があった。
【０００７】
本発明は、上記課題を鑑みてなされたものであり、画像補正を施すべき箇所を確実に指定し、効率良く画像補正を施すことができる画像処理方法および装置、並びに画像処理プログラムを提供することを目的とする。
【０００８】
また、本発明は、ユーザーの意志を反映した画像を再現することができる画像処理方法および装置、並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理方法は、画像中の領域に対応する構成物を同定して、画像補正すべき前記領域に対応する前記構成物に応じて複数レベルの概念を定め、前記画像および前記画像に関連する画像内の、選択された前記概念に含まれる構成物に対応する領域に対して、同様の画像補正を施すことを特徴とする。      
【００１０】
なお、前記関連する画像に対して、前記画像補正を施すか否かを選択可能とすることが好ましい。また、前記構成物の固有情報が書き込まれたＩＣタグを前記構成物に取り付け、このＩＣタグから前記固有情報を読み出すことにより、前記構成物の同定を行うことが好ましい。さらに、前記画像に添付される撮影情報に基づいて前記構成物の固有情報を検索するデータベースから前記固有情報を読み出すことにより、前記構成物の同定を行うことが好ましい。
【００１１】
また、本発明の画像処理装置は、画像中の領域に対応する構成物を同定する構成物同定手段と、画像補正すべき前記領域に対応する前記構成物に応じて複数レベルの概念を定める概念指定手段と、前記画像および前記画像に関連する画像内の、選択された前記概念に含まれる構成物に対応する領域に対して、同様の画像補正を施す画像補正手段とを備えたことを特徴とする。
【００１２】
なお、前記関連する画像に対して、前記画像補正を施すか否かを選択可能な選択手段を設けることが好ましい。また、前記構成物の固有情報が書き込まれたＩＣタグを前記構成物に取り付けるとともに、前記構成物同定手段は、前記ＩＣタグから前記固有情報を読み出すことにより、前記構成物の同定を行うことが好ましい。さらに、前記構成物同定手段は、前記画像に添付される撮影情報に基づいて前記構成物の固有情報を検索するデータベースから前記固有情報を読み出すことにより、前記構成物の同定を行うことが好ましい。
【００１３】
さらに、本発明の画像処理プログラムは、画像中の領域に対応する構成物を同定するステップと、画像補正すべき前記領域に対応する前記構成物に応じて複数レベルの概念を定めるステップと、前記画像および前記画像に関連する画像内の、選択された前記概念に含まれる構成物に対応する領域に対して、同様の画像補正を施すステップとを備えたことを特徴とする。
【００１４】
なお、前記関連する画像に対して、前記画像補正を施すか否かを選択可能とすることが好ましい。また、前記構成物の固有情報が書き込まれたＩＣタグを前記構成物に取り付け、このＩＣタグから前記固有情報を読み出すことにより、前記構成物の同定を行うことが好ましい。さらに、前記画像に添付される撮影情報に基づいて前記構成物の固有情報を検索するデータベースから前記固有情報を読み出すことにより、前記構成物の同定を行うことが好ましい。
【発明の効果】
【００１５】
本発明の画像処理方法および装置、並びに画像処理プログラムによれば、画像中の領域に対応する構成物を同定して、画像補正すべき領域に対応する構成物に応じて複数レベルの概念を定め、画像およびこの画像に関連する画像内の、選択された概念に含まれる構成物に対応する領域に対して、同様の画像補正を施すので、画像補正を施すべき箇所を確実、且つ自動的に指定することができ、効率良く画像補正を施すことができる。また、ユーザーの意志を反映した画像を再現することができる。
【発明を実施するための最良の形態】
【００１６】
図１において、本発明を適用したパーソナルコンピュータ（ＰＣ）２には、デジタルカメラ１０が接続されている。このＰＣ２には、画像処理プログラム４７（図３参照）がインストールされており、デジタルカメラ１０からダウンロードした画像に対して、後述する各種画像補正を施すことが可能となっている。また、このＰＣ２は、インターネット１１を介してサーバ１２に接続されている。
【００１７】
デジタルカメラ１０の電気的構成を示す図２において、ＣＰＵ２０は、デジタルカメラ１０の各部を統括的に制御する。撮像部２１は、図示しない撮像レンズやＣＣＤなどから構成され、撮像レンズを透過した被写体光がＣＣＤで撮像信号として出力される。この撮像信号は、信号処理回路２２で一定レベルまで増幅され、デジタル画像データに変換された後、ホワイトバランス調節、γ補正などの各種信号処理が施される。
【００１８】
信号処理回路２２により変換されたデジタルの画像データは、ＬＣＤドライバ２３を介して、いわゆるスルー画像として液晶表示器（ＬＣＤ）２４に表示される。ＲＡＭ２５には、信号処理回路２２で各種信号処理が施された画像データが格納される。
【００１９】
ＣＰＵ２０は、レリーズボタン２６やズーム操作部２７などの操作に応答して、各部に制御信号を出力する。レリーズボタン２６が操作されると、そのときＲＡＭ２５に格納されていた画像データが、信号処理回路２２で圧縮処理され、メモリカード２８に記録される。外部Ｉ／Ｆ２９は、ＰＣ２などの外部機器との信号の送受信を制御する。
【００２０】
時計回路３０は、デジタルカメラ１０の時刻情報をカウントしており、撮影時には、この時刻情報をＣＰＵ２０に送信する。位置・方位検出回路３１は、人工衛星からの電波を受信するＧＰＳアンテナ３２からの信号を元に、撮影場所の位置座標および方位を検出する。ＩＣタグ読取センサ３３は、画像中の領域に対応する構成物、例えば人物、家具、衣服・アクセサリ類などに取り付けられたＩＣタグから、その固有情報を読み出す。
【００２１】
メモリカード２８に記録される画像データには、ズーム操作部２７の操作量、すなわちズーム倍率情報、時計回路３０により計測された撮影日時、位置・方位検出回路３１により検出された撮影位置・方位、およびＩＣタグ読取センサ３３で取得した固有情報が付加情報として添付される。
【００２２】
図３に示すように、ＰＣ２は、ＣＰＵ４０、モニタ４１、キーボード４２、マウス４３、外部Ｉ／Ｆ４４、ＲＯＭ４５、およびＲＡＭ４６から構成される。ＲＡＭ４６には、画像処理プログラム４７がインストールされている。この画像処理プログラム４７は、例えば特開２００１−２３８１７７号公報に開示される技術を用いて、画像データに添付された付加情報を元に、画像中の領域に対応した構成物を同定する。
【００２３】
サーバ１２には、ズーム倍率情報、撮影位置・方位から構成物の同定を行うための３次元地図データベースや、ＩＣタグから読み出した固有情報と構成物との関係を表すデータベース、構成物に応じた複数レベルの概念を記録したデータベースや、画像が蓄積された画像データベースなどが格納されている。
【００２４】
ここで、撮影された被写体が山である場合は、ズーム倍率情報、撮影位置・方位から、３次元地図データベースを参照して同定する。この同定は、ズーム倍率情報、撮影位置・方位に依存して決定される地図上の所定の画角内に収まる構成物と、撮影された被写体とを照合することにより行う。つまり、ズーム倍率情報、撮影位置・方位を元に、３次元地図データベースによる３次元コンピュータグラフィック画像を公知のコンピュータグラフィック（ＣＧ）作成手法により作成し、この作成されたＣＧ画像と実際の撮影された画像とのパターンマッチング、例えば、得られたズーム倍率情報、撮影位置・方位を元に、３次元地図データベースから作成したＣＧ画像の山の稜線と、画素の色濃度の違いからエッジ抽出した撮影画像上の山の稜線との間で、２次元的にＣＧ画像の画素をずらしながらパターンマッチングを行い、最も合致するようなズーム倍率情報、撮影位置・方位を導出することで、被写体の山やその山のある地点を特定する。
【００２５】
以上のようにして、３次元地図データベースから、撮影された山の位置や山名などを詳細に同定することができる。また、市街地であれば、１つ１つの建造物の名称を同定することができる。さらに、上記のような手法で人物でないと判定されていないエリアについて公知の顔抽出処理を行い、顔が抽出された部分を人物として同定する。
【００２６】
ＰＣ２は、インターネット１１を介してサーバ１２にアクセスし、サーバ１２に格納された各種データベースを参照して後述する画像処理を行う。なお、画像処理プログラム４７自体が上記データベースを保有していてもよい。この場合、サーバ１２にアクセスする手間を省くことができる。      
【００２７】
マウス４３は、画像処理プログラム４７により同定された構成物の中から、画像補正を施す構成物を選択する際、構成物に応じて定められる複数レベルの概念から、画像補正の対象とすべき１つの概念を指定する際、および画像補正の内容を選択する際に操作される。
【００２８】
画像処理プログラム４７は、構成物が選択された画像、およびこの画像に関連する画像（例えば同一のフォルダに格納されているものや、撮影日が同一のもの、選択された画像を含む動画像全体）内の、指定されたレベルの概念に含まれる構成物に対応する領域に対して、選択された画像補正を施す。
【００２９】
ここで、画像補正の内容としては、濃度、色味、彩度、階調、鮮鋭度、平滑度、サイズなどが挙げられ（図６参照）、選択された構成物が人物である場合は、肌色、髪色、ぼかし処理、赤目補正などが挙げられる。
【００３０】
画像処理プログラム４７を起動させると、モニタ４１には、例えば図４に示すような画像ウィンドウ５０が表示される。この画像ウィンドウ５０には、デジタルカメラ１０からダウンロードされた画像５１や、マウス４３の動きと連動するカーソル５２などが表示される。なお、画像５１は、その画像が格納されているフォルダ内の先頭画像や動画像の先頭フレームでもよいし、代表的な画像でもよい。あるいはユーザーが選択した画像でもよい。
【００３１】
本実施形態における画像５１の構成物は、人物５３、芝生５４、Ａ山５５、およびＢ山５６からなる。各構成物は、前述の方法により同定される。構成物の選択は、マウスを操作してカーソル５２を構成物に合わせ、マウス４３をクリックすることにより行われる。なお、構成物を選択する方法としては、キーボード４２によりその構成物の固有名詞を入力することにより行ってもよく、マイクを介して構成物の固有名詞を音声入力してもよい。
【００３２】
構成物としてＡ山５５を選択した場合、モニタ４１には、例えば図５および図６に示すような概念指定ウィンドウ６０、画像補正内容選択ウィンドウ６１が表示される。概念指定ウィンドウ６０には、Ａ山５５に応じた４つのレベルの概念（１．Ａ山、２．山、３．植物、４．同種色）が表示される。概念の指定、および画像補正内容の選択は、それぞれの項目に付されたチェックボックス６２にカーソル５２を合わせ、マウス４３をクリックすることで選択される。
【００３３】
なお、この例では、概念レベルの番号が大きくなるにつれて上位の概念となっており、適用範囲が広くなっている。また、画像補正を施すべき構成物として人物５３を選択した場合は、個人、性別、年齢別、全ての人物といった概念が概念指定ウィンドウ６０に表示される。また、家具を選択した場合は、概念として個体、材質などが表示され、衣服・アクセサリ類の場合は、個体、種類、濃度、同種色などが表示される。さらに、この他にも概念として日向／日陰や、撮影時の季節などを盛り込んでもよい。      
【００３４】
概念指定ウィンドウ６０で、「１．Ａ山」が指定された場合は、Ａ山５５に対応した領域のみに画像補正が施され、「２．山」が指定された場合は、Ａ山５５およびＢ山５６に対応した領域に画像補正が施される。「３．植物」が指定された場合は、Ａ山５５、Ｂ山５６、および芝生５４に対応した領域が画像補正され、「４．同種色」が指定された場合は、Ａ山５５と同種の色をもつ構成物に対応した領域、例えば人物が緑色の服を着ていた場合は、これも含めて画像補正される。画像補正は、キーボード４２やマウス４３を操作して、ユーザーの好みに合った画像補正のパラメータを選択することにより行われる。
【００３５】
次に、上記実施形態による作用について、図７のフローチャートを参照して説明する。まず、デジタルカメラ１０で被写体の撮影が行われ、ズーム倍率情報、撮影日時、撮影位置・方位、および構成物の固有情報が付加情報として添付された画像データがメモリカード２８に記録される。
【００３６】
被写体の撮影後、デジタルカメラ１０とＰＣ２とが接続され、デジタルカメラ１０で撮影した画像がＰＣ２にダウンロードされる。画像処理プログラム４７が起動されると、モニタ４１に画像ウィンドウ５０が表示される。画像処理プログラム４７により、画像データに添付された付加情報を元に、画像中の領域に対応した構成物が同定される。
【００３７】
マウス４３の操作により画像５１の構成物が選択されると、モニタ４１に概念指定ウィンドウ６０、画像補正内容選択ウィンドウ６１が表示される。マウス４３の操作により、選択した構成物に応じた複数レベルの概念から、画像補正の対象となる概念が指定されるとともに、画像補正の内容が選択される。構成物が選択された画像内の、指定された概念に含まれる構成物に対応した領域に対して、画像処理プログラム４７により選択された画像補正が施される。このとき、キーボード４２やマウス４３により、ユーザーの好みに合った画像補正のパラメータが選択され、この選択された画像補正パラメータで画像補正が施される。
【００３８】
画像補正が施された画像に関連する画像がある場合は、その画像の構成物のうち、指定された概念に含まれる構成物に対応した領域についても同様のパラメータで画像補正が施される。これら一連の処理は、関連する未処理の画像が無くなるか、指定された概念に含まれる構成物に対応した領域が無くなるまで続けられる。
【００３９】
上記のような構成であると、画像補正を施すべき構成物の概念を指定するだけで、指定された概念に含まれる構成物に対応した領域に対して自動的に画像補正が施される。また、ユーザーの記憶や撮影時の印象、好みに適応した画像補正を施すことができる。
【００４０】
なお、概念の指定、および画像補正内容の選択は、どちらを先に行ってもよい。また、構成物の選択をせずに、直接概念を指定してもよい。さらに、概念の指定後、画像補正の対象となる構成物に対応した領域を画像ウィンドウ５０上で点滅表示させ、どの構成物が補正対象となっているかを視認することができるようにしてもよい。      
【００４１】
電線や電柱、鉄塔などの公共構造物の配置地図データをサーバ１２に備えておき、これを利用して画像中の電線や電柱を構成物として同定し、一本の電線や電柱を選択して、これを消去、あるいはぼかし処理を施したときに、関連する画像の電線や電柱も同時に消去、あるいはぼかし処理を施すことが可能なようにしてもよい。また、道路標識やビルなどの特定の構造物を消去、あるいはぼかし処理を施すようにしてもよい。さらに、画像中のゴミ箱や紙屑などの美観を損ねるものに対して消去処理を施してもよい。この場合、ゴミ箱や紙屑は画像中の位置が不明であるため、画像中の３次元位置を推定し、サーバ１２内のデータベースと照合することで同定を行う。
【００４２】
ゴミ箱や紙屑などの消去箇所には、その背景画像を他の関連する画像や、サーバ１２内の画像データベースから検索して合成処理することが好ましい。あるいは、消去箇所の周辺画素を用いて画素補間を施してもよい。背景画像が検索されなかった場合は、公知のＣＧ技術で背景画像を作成し、このＣＧ画像を合成することが好ましい。
【００４３】
また、ユーザーの好みを把握するために、画像全体または構成物の画像補正パラメータを少しずつ変えて画像補正を行った複数の画像を、ＰＣ２のモニタ４１にインデックス表示してユーザーに選択させ、所定期間の選択結果を集積してもよい。また、このようにして得たユーザーの好みに関するデータを、サーバ１２にデータベースとして蓄積しておき、画像処理プログラム４７の起動時に読み出すようにしてもよい。このようにすると、ユーザーの好みに合致した画像補正パラメータを自動的に抽出することができ、ユーザーが画像補正パラメータを変更する手間を省くことができる。
【００４４】
また、ストロボ撮影された画像を処理する際に、人物の顔部分をモニタ４１に拡大表示するとともに、赤目であるか否かを判定してもよい。赤目であると判定された場合、その画像中の他の人物や、関連する画像のうちのストロボ撮影された画像のうち、赤目と判定された人物と同一の場所にいる人物に対しても判定を行い、これらの人物が赤目であると判定された場合は赤目補正を施す。このようにすると、位置が同定されている人物のみに補正対象が限定されるので、画像処理をさらに高速化させることができる。      
【００４５】
さらに、関連する画像の構成物に対して、画像補正を施すか否かを選択することが可能なようにしてもよい。この場合、関連する画像に同じ構成物がないときには、関連する画像に同じ構成物があるか否かを探索する必要がなくなる。また、デジタルカメラ１０で撮影した画像に対してだけでなく、インターネット１１を介してダウンロードした画像（但し、構成物を同定するための付加情報が添付されているもの）に対して画像補正を施す場合についても、本発明は有効である。      
【００４６】
上記実施形態では、画像処理装置としてＰＣ２を例に挙げて説明したが、スキャナや、街頭のＤＰＥ店などに設置されるプリンタプロセッサなどにも、本発明を適用することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明を適用したパーソナルコンピュータにデジタルカメラを接続した状態を示す図である。
【図２】デジタルカメラの電気的構成を示すブロック図である。
【図３】パーソナルコンピュータの電気的構成を示すブロック図である。
【図４】画像処理プログラムを起動させた際に表示される画像ウィンドウを示す説明図である。
【図５】概念指定ウィンドウを示す説明図である。
【図６】画像補正内容選択ウィンドウを示す説明図である。
【図７】画像処理のプロセスを示すフローチャートである。
【符号の説明】
【００４８】
２    パーソナルコンピュータ（ＰＣ）
１０    デジタルカメラ
１２    サーバ
２０    ＣＰＵ
２１    撮像部
２４    液晶表示器（ＬＣＤ）
２６    レリーズボタン
２７    ズーム操作部    
２８    メモリカード
３０    時計回路
３１    位置・方位検出回路
４０    ＣＰＵ
４１    モニタ
４２    キーボード
４３    マウス
４６    ＲＡＭ
４７    画像処理プログラム
５０    画像ウィンドウ
５１    画像
６０    概念指定ウィンドウ
６１    画像補正内容選択ウィンドウ
【図１】
2005065048.tif 000003
【図２】
2005065048.tif 000004
【図３】
2005065048.tif 000005
【図４】
2005065048.tif 000006
【図５】
2005065048.tif 000007
【図６】
2005065048.tif 000008
【図７】
2005065048.tif 000009