(57)【要約】【課題】  光源に関する情報を有効に活用し、画像の処理や、画像データの管理にかかる利便性を向上させること。【解決手段】  個体撮像装置により撮影された画像を入力する入力し、光源を指定し（Ｓ２２）、前記画像の光源を判定し（Ｓ２６〜Ｓ２８）、判定結果に基づいて、指定された光源と同じ光源の画像を、前記入力された画像の中から検索する（Ｓ２９）。【選択図】  図６
2005352690.tif 000002
【特許請求の範囲】
【請求項１】
個体撮像装置により撮影された画像を入力する入力手段と、
前記画像の光源を判定する光源判定手段と、
光源を指定する指定手段と、
前記光源判定手段により判定された光源に基づいて、前記指定手段により指定された光源と同じ光源の画像を、前記入力された画像の中から検索する検索手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記検索手段により検索された画像を、検索されたことが判別可能なように管理することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検索手段により検索された画像を、同一のフォルダにまとめることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記光源判定手段により判定された光源に関する情報を表示するように制御する表示制御手段を更に有することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記検索手段により検索された画像に対して、光源に関するアイコンを付帯させて表示するように制御することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記光源判定手段は複数の光源を候補として選出し、前記表示制御手段は前記複数の光源の候補を可能性の高い順に表示することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記検索手段により検索された同じ光源の画像を、当該各画像の画像データから得られるホワイトバランス補正量に基づいて、ホワイトバランス補正を行うホワイトバランス補正手段を更に有することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
前記光源判定手段は、
前記画像に光源に関する情報が付加されている場合に、当該付加情報を取得する付加情報取得手段と、
前記付加情報が付加されていない場合に、前記画像の白部分を抽出する抽出手段と、
前記抽出手段により抽出された白部分の画像データに基づいて、前記画像の光源を推定する光源推定手段と
を有することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記抽出手段は、前記画像を表示するユーザーインターフェイスと、ユーザーが白部分の指定を行うための操作部とを含み、ユーザーによって指定された白部分の画像データもしくはその周辺を含む画像データを抽出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
異なる色温度の光源により白色被写体を照明して撮影したときに得られる色評価値と、光源の種類とを関連づけたデータを保持する手段を更に有し、
前記光源推定手段は、前記抽出された白部分の色評価値に最も近似した色評価値を有する光源を、前記画像の光源として推定することを特徴とする請求項８または９に記載の画像処理装置。
【請求項１１】
個体撮像装置により撮影された画像を入力する入力工程と、
光源を指定する指定工程と、
前記画像の光源を判定する光源判定工程と、
前記光源判定工程により判定された光源に基づいて、前記指定工程により指定された光源と同じ光源の画像を、前記入力された画像の中から検索する検索工程と
を有することを特徴とする画像検索方法。
【請求項１２】
前記検索工程により検索された画像を、検索されたことが判別可能なように管理することを特徴とする請求項１１に記載の画像検索方法。
【請求項１３】
前記検索工程により検索された画像を、同一のフォルダにまとめる工程を更に有することを特徴とする請求項１２に記載の画像検索方法。
【請求項１４】
前記光源判定工程により判定された光源に関する情報を表示する表示工程を更に有することを特徴とする請求項１１乃至１３のいずれかに記載の画像検索方法。
【請求項１５】
前記表示工程では、前記検索工程で検索された画像に対して、光源に関するアイコンを付帯させて表示することを特徴とする請求項１４に記載の画像検索方法。
【請求項１６】
前記光源判定工程では複数の光源を候補として選出し、前記複数の光源の候補を可能性の高い順に表示する表示工程を更に有することを特徴とする請求項１１乃至１３のいずれかに記載の画像検索方法。
【請求項１７】
前記検索工程において検索された同じ光源の画像を、当該各画像の画像データから得られるホワイトバランス補正量に基づいて、ホワイトバランス補正を行うホワイトバランス補正工程を更に有することを特徴とする請求項１１乃至１６のいずれかに記載の画像検索方法。
【請求項１８】
前記光源判定工程は、
前記画像に光源に関する情報が付加されている場合に、当該付加情報を取得する付加情報取得工程と、
前記付加情報が付加されていない場合に、前記画像の白部分を抽出する抽出工程と、
前記抽出工程により抽出された白部分の画像データに基づいて、前記画像の光源を推定する光源推定工程と
を有することを特徴とする請求項１１乃至１７のいずれかに記載の画像検索方法。
【請求項１９】
前記抽出工程は、
前記画像を表示する工程と、
ユーザーからの白部分の指定を入力する工程とを含み、
前記指定された白部分の画像データもしくはその周辺を含む画像データを抽出することを特徴とする請求項１８に記載の画像検索方法。
【請求項２０】
前記光源推定工程では、予め記憶された、異なる色温度の光源により白色被写体を照明して撮影したときに得られる色評価値と、光源の種類とを関連づけたデータに基づいて、前記抽出された白部分の色評価値に最も近似した色評価値を有する光源を、前記画像の光源として推定することを特徴とする請求項１８または１９に記載の画像検索方法。
【請求項２１】
情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１乃至１０のいずれかに記載の画像処理装置として機能させることを特徴とするプログラム。
【請求項２２】
請求項１１乃至２０のいずれかに記載の画像検索方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項２３】
請求項２１又は２２に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像検索方法に関し、特に固体撮像素子を用いて撮影された画像データを対象とする、画像処理装置及び画像検索方法に関する。
【背景技術】
【０００２】
一般的に、写真は、様々な状況で撮影される。例えば、屋内で撮影する場合もあれば、屋外で撮影する場合もある。屋内で撮影する場合であっても、日中に窓際などで撮影する場合のように自然光で撮影したり、蛍光灯などの照明下や、フラッシュを用いて撮影するなど様々な状況が考えられる。また、屋外で撮影する場合には、天候や、撮影する場所、時間等の様々な要因によって、得られる画像の明るさや色合い等が左右される。
【０００３】
従来、固体撮像素子を用いて撮影を行う、デジタルカメラやデジタルビデオカメラなどの撮像装置により撮影した画像の撮影時の光源を特定する方法として、例えば以下のような方法がある。
【０００４】
まず、撮像装置が、外部からの入力に応じて画像に情報を付加することのできる手段を持つ場合、撮影者が撮影時に属性情報として光源情報を画像データに付加したり、画像再生時に画像再生装置で撮影者が画像にテキストデータなどの情報として光源情報を付加たり、また、撮影時に撮影者が、センサーを用いて光源色温度を測定し、記録する方法がある。いずれの場合も、記録された光源情報や光原色温度から、撮影された画像の光源を知ることができる。
【０００５】
一方、白紙を撮影した時と同じ光源下で撮影した画像に対して、白紙が無彩色になるようなホワイトバランス量を算出し、該ホワイトバランス量を適用して、ホワイトバランス調整をする技術がある（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開平６−９８３４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のように、従来、撮影した画像の光源を特定する方法や、撮影した各画像をそれぞれ処理する際に、各画像を撮影した時の光源の性質に応じた処理を行うことは開示されているが、光源に関する情報を利用するその他の方法について、提案がなされていなかった。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、光源に関する情報を有効に活用し、画像の処理や、画像データの管理にかかる利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、個体撮像装置により撮影された画像を入力する入力手段と、前記画像の光源を判定する光源判定手段と、光源を指定する指定手段と、前記光源判定手段により判定された光源に基づいて、前記指定手段により指定された光源と同じ光源の画像を、前記入力された画像の中から検索する検索手段とを有する。
【００１０】
また、本発明の画像検索方法は、個体撮像装置により撮影された画像を入力する入力工程と、光源を指定する指定工程と、前記画像の光源を判定する光源判定工程と、前記光源判定工程により判定された光源に基づいて、前記指定工程により指定された光源と同じ光源の画像を、前記入力された画像の中から検索する検索工程とを有する。
【発明の効果】
【００１１】
光源に関する情報を有効に活用し、画像の処理や、画像データの管理にかかる利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１３】
図１は、本発明の実施の形態における画像処理装置の機能構成を示すブロック図である。本実施の形態の画像処理装置は、個体撮像素子を用いて光学像を電気的な画像データに変換して撮影を行う、デジタルスチルカメラやデジタルビデオカメラ等の電子カメラにより得られた画像データを処理する。
【００１４】
図１において、１０１は画像入力部で、画像データを入力する。画像データを入力する方法としては、電子カメラとケーブルを介して接続したり、赤外線通信により接続して画像データを取得する方法や、ネットワークを介して任意の外部装置から画像データを取得する方法、また、コンパクトフラッシュ（登録商標）などのメモリカード等の任意の記憶媒体のドライブとして構成し、記憶媒体から画像データを読み出す方法など、様々な方法が考えられるが、どのような方法を採用してもよく、また、複数の方法にそれぞれ対応する複数の構成を提供するようにしても勿論構わない。
【００１５】
１０３は、複数枚の画像を記憶するのに十分な容量を有する画像メモリ、１０２はメモリ制御部で、画像入力部１０１を介して入力する画像データを画像メモリ１０３に格納したり、後述する処理に応じて必要な画像データを画像メモリ１０３から読み出したりする。
【００１６】
１０４はホワイトバランス（ＷＢ）補正部で、後述する方法により抽出された画像データの無彩色（例えば、白やグレー）の部分のデータに基づいて、ホワイトバランス補正を行う。１０５は光源判定部で、画像データのヘッダ領域等に光源に関する情報（以下、「光源情報」と呼ぶ。）が付加されているかを判断し、付加されている場合にはその光源情報を取得し、付加されていない場合には ＷＢ補正部１０４で抽出された白部分データまたは、ＷＢ補正用のデータに基づいて、その画像を撮影したときの光源を推定する。なお、光源情報は、光源の種類や、色温度、また、画像データが電子カメラにおいてすでにホワイトバランス補正されているのであれば、その時に使用されたホワイトバランスゲインや、ホワイトバランスゲインを決めるために算出された色評価値、事前に撮影した白紙からホワイトバランスゲインを算出する場合の白紙画像データを含む。
【００１７】
１０９はメモリ、１０６は画像処理装置全体の処理を制御するＣＰＵで、不図示の内部メモリやメモリ１０９などに記憶されたプログラムに従って処理を行う。１０７はＣＲＴやＬＣＤなどの表示部、１０８は操作部で、例えば、マウス、キーボード、タッチパネル、ボタンなど、どのようなものであってもよい。なお、表示部１０７及び操作部１０８を画像処理装置の周辺機器として構成してもよいことは言うまでもない。
【００１８】
上記構成を有する画像処理装置は、画像入力部１０１から入力された画像を、その画像の光源に基づいて検索し、分類することができる。
【００１９】
画像の光源を特定する方法としては、まず、上記従来例で説明したように、画像データに付加情報として付加されている光源情報を用いる方法がある。また、光源情報が付加されていない画像については、その画像データを解析することで光源を推測することができる。ここで、光源推測の原理について説明する。本実施の形態では、ホワイトバランス補正で用いられる技術を利用する。なお、解析する画像データの画像が、図２（ａ）に示すような原色フィルタを使用した電子カメラにより撮影されているものとする。
【００２０】
ホワイトバランス補正では、色信号R、G1、G2、Bを一つずつ含む単位で構成された図２（ｂ）の各ブロックごとに、色評価値Cx、Cy、Yを式（１）に基づいて算出する。
【００２１】
2005352690.tif 000003
【００２２】
上記式（１）により算出した各ブロックの色評価値Cx、Cyを予め設定した後述する白検出領域と比較し、白検出領域に含まれる場合、そのブロックが白であると仮定する。そして、白と仮定された全てのブロックのそれぞれの色画素の積分値（SumR、SumG1、SumG2、SumB）を算出する。算出された積分値から以下の式（２）を用いてＲＧＢ各色用のホワイトバランスゲインkWB_R、kWB_G1、kWB_G2、kWB_Bを算出する。
kWB_R=1.0/SumR
kWB_G1=1.0/SumG1
kWB_G2=1.0/SumG2      …（２）
kWB_B=1.0/SumB
【００２３】
このようにして得られたホワイトバランスゲインを用いてホワイトバランス補正を行う。
【００２４】
図３は、上述したホワイトバランス補正のための白ブロックを判定するために用いられる白検出領域を示すグラフである。この白検出領域を求めるには、高色温度から低色温度まで、任意の色温度間隔の光源を用いて不図示の基準白色板などの白色被写体を撮影し、撮像素子から得られた信号値より上記式（１）に基づいて色評価値Cx、Cyを算出する。そして、それぞれの光源について得られたCxをＸ軸、CyをＹ軸としてプロットしたものを直線で結ぶか、プロットした点を複数の直線を用いて近似する。これにより、高色温度から低色温度までの白検出軸が作られる。実際には白でも分光に若干のばらつきがあるため、白検出軸に対してＹ軸方向に若干の幅を持たせたものを白検出領域と定義する。なお、ここでは、光源の種類を推定するために無彩色（例えば、白色）を用いることについて説明するが、他に光源の推定ができる色であれば、例えば、肌色等の有彩色から肌色検出軸を用いて推定するようにしても良い。
【００２５】
光源の種類を推定するためには、まず、上記ホワイトバランスゲインを算出する過程において算出される、白と仮定された全てのブロックのそれぞれの色画素の積分値（SumR、SumG1、SumG2、SumB）を、式（１）の色信号R、G1、G2、Bの代わりにそれぞれ代入して、色評価値Cx、Cyを求める。
【００２６】
光源の種類により白点の色評価値Cx、Cyはほぼ一定であるので、上述したように白検出領域を用いて検出した白点の色評価値Cx、Cyに最も近い色評価値Cx、Cyを有する光源を、その画像の光源であると推定することができる。つまり、算出した色評価値Cx、Cyに、図３に示す座標上で最も距離の近い光源を解析対象画像の光源と推定する。たとえば色評価値Cx、Cyが図３の点Ａの場合、座標上もっとも距離の近い蛍光灯（白色）を光源として推定する。なお、白検出領域及び、光源の種類と色評価値との組み合わせは、メモリ１０９などに保持しておく。
【００２７】
また、上記のホワイトバランス補正方法では、画像の白点を自動的に求めたが、ユーザーに選択させるように構成することも可能である。その場合、まず、解析対象の画像を表示部１０７に表示する。画像が表示された場合のユーザーインターフェイスの一例を図４に示す。スポイトボタン４０２を押すと、カーソル４０１がスポイト型に変わり（スポイト４０３）、マウスクリックなどの操作部１０８の操作でユーザーが白と判断する任意の位置を指定する。この指定された位置の画素の色信号、またはその画素及び周辺画素の色信号の各色毎の合計を用いて、上記式（１）により白点の色評価値Cx、Cyを取得することができる。言うまでもなく、図４に示すユーザーインターフェイスは一例であり、表示の仕方は適宜設計可能である。
【００２８】
図５は、ユーザーインターフェイスを用いてユーザーに白点を選択させる場合の、解析対象画像の光源を推定する処理を示すフローチャートである。
【００２９】
ステップＳ１１で、表示部１０７に図４に示すように解析対象画像を表示する。次に、ステップＳ１２で、ユーザーが画像中の白と認識する任意の位置を白点として、指定する。
【００３０】
ステップＳ１３で、ステップＳ１２にて指定された位置または、指定された位置およびその周辺の画素のＲＧＢ値から色評価値Cx、Cyを算出する。ここでは式（１）により求めることができる。指定された位置および周辺の画素のR、G1、G2、B値から色評価値算出する場合、式（１）の入力値となるR、G1、G2、B値値を、例えば、式（３）により算出する。なお、式（３）において、指定された位置の画素のＲＧＢ値をそれぞれR(x,y)、 G1(x,y)、G2(x,y)、B(x,y) 、とする。
【００３１】
2005352690.tif 000004
【００３２】
ステップＳ１４で、算出した色評価値Cx、Cyと、予め各光源下で撮影した白点のCx、Cyとの座標上の距離が最も近い光源を選択する。ステップＳ１５で光源情報として画像に登録するか否かの判定を行う。ユーザーがユーザーインターフェイスから操作部１０８により光源情報を登録すると操作した場合（例えば、ダイアログのＯＫボタン押下など）、ステップＳ１６の画像ファイルのヘッダに光源情報として書き込みを行う。
【００３３】
上記ステップＳ１３及びＳ１４の処理は、光源判定部１０５単独で行うように構成しても、ＷＢ補正部１０４と共同で行うように構成してもよい。
【００３４】
なお、上記処理例では、ステップＳ１４において、図３の座標上の距離が最も近い光源を選択するようにしたが、距離が近いものから複数の光源を選択し、距離が近い順（つまり、解析対象の画像の光源として可能性が高い順）に候補として提示することも可能である。その場合、ユーザーが提示された光源から選択することが可能である。また、距離が最も近い光源のみを選択した場合、選択した光源を表示してユーザーの確認を求めるように構成しても良い。その場合、例えばユーザーが適切ではないと判断したときに、図５の処理を繰り返したり、複数候補を提示するようにすれば、より正確に光源の種類を特定することができる。
【００３５】
また、上記説明から明らかなように、色評価値Cx、Cyを利用して得られるホワイトバランスゲインも光源によりおおよそ一定であるので、ホワイトバランスゲインと光源の種類とを予め関連づけて記憶しておくことにより、ホワイトバランスゲインから光源を推定することも可能である。つまり、解析対象の画像のホワイトバランスゲインに最も近いホワイトバランスゲインを有する光源を、その画像の光源と推定することができる。
【００３６】
次に、画像処理装置における本実施の形態の検索処理について、図６を参照して説明する。なお、ここでは、画像入力部１０１を介して画像データがすでに入力され、メモリ１０３に保存されているものとする。
【００３７】
まず、ステップＳ２１において検索対象にする画像群（検索範囲）を選択し、ステップＳ２２で、検索のキーとなる光源の種類を選択する。ここでは例えば、図７に示すような光源のリストを表示部１０７に表示し、その中からユーザーが選択するようにする。また、任意の画像をユーザーに選択させて、その画像の光源を検索のキーとして用いるようにしてもよい。
【００３８】
ステップＳ２３では、ステップＳ２１で選択された画像群から、予め決められた規則に基づいて１枚の画像を解析対象に設定する。ステップＳ２４では、カウンタｉを０に初期化し、ステップＳ２５でカウンタｉと選択中の画像群の枚数を比較する。１枚目の画像を解析する時にはカウンタｉの方が小さいのでステップＳ２６に進み、光源判定部１０５は光源情報が解析対象の画像データに付加されているかどうかを判断する。付加されている場合にはステップＳ２７において光源情報を読み取り、付加されていない場合には、例えば図５を参照して説明した方法により光源を推定する。なお、上述したように、光源の推定処理は図５の処理に限られるものではなく、白点を自動検出するなど適宜変更が可能であって、画像データを用いて光源が推定できるのであれば、その方法は問わない。
【００３９】
次に、ステップＳ２９で、解析対象の画像を撮影した光源が、ステップＳ２２で選択された光源と一致するかどうかを判断し、一致した場合には、ステップＳ３０でその画像データをフォルダＡに移動する。一方、一致しない場合にはそのままステップＳ３１に進む。
【００４０】
解析対象の画像が１枚目の場合には、検索キーとして指定された光源が分かるような名前をフォルダ名に用いたフォルダＡを新たに作成しても良いし、各光源毎に予めフォルダを予め作成しておき、対応する光源のフォルダに移動させることも可能である。また、任意のフォルダを予め指定しておき、そのフォルダに画像データを移動するようにしても良い。
【００４１】
ステップＳ３１では、解析対象となる次の画像を設定し、ステップＳ３２でカウンタｉを１増やして、ステップＳ２５に戻る。ステップＳ２５〜Ｓ３２の処理は、カウンタｉの値がステップＳ２１で選択された画像群の枚数と同じになるまで（ステップＳ２５でＮＯ）、即ち、画像群の全ての画像の解析が終了するまで続けられる。
【００４２】
上記処理により、指定した光源の画像データが検索されて、該当する画像データファイルが１つのフォルダにまとめられる。
【００４３】
なお、分類に用いるフォルダ名に光源の名前を付けたり、フォルダに対して光源を示す予め用意したアイコンを付帯させて表示させるとなお良い。こうすることにより、フォルダを全て開かなくてもどのような光源の画像が入っているかを瞬時に確認することができる。
【００４４】
また、ステップＳ３０では画像データのファイルをフォルダＡへ移動したが、ファイル名を表示すれば、検索としても利用可能である。
【００４５】
また、指定した光源を検索キーとして該当する画像データ全てを１つのフォルダに格納してグループ化することについて説明したが、検索キーに該当する画像データが各々別の場所に格納されてあっても、各々の画像データのリンク情報を一括して閲覧できる情報を一時的に表示手段に出力あるいは、記憶媒体に記録されるようにしても良い。
【００４６】
また、検索された画像のヘッダ領域や画像と関連付けられたデータベースにテキストデータを付加するようにするようにしても良い。たとえば、屋外日向で撮影した写真に「ハイキング」というキーワードをつけることも可能である。
【００４７】
更に、検索された画像の画像ファイル名を変換するようにしても良い。たとえば、屋外日向で撮影した写真を検索した場合に「ハイキング」という名前をつけることも可能である。もし、「ハイキング」という名前が重複してしまう場合、「ハイキング000」「ハイキング001」「ハイキング002」と連番をふっていけばデータを上書きすることを防止できる。
【００４８】
上記２種類の処理は、ステップＳ３０のフォルダへの移動処理を行う場合に合わせて行うことも、ステップＳ３０の代わりに行うこともできる。
【００４９】
つまり、検索された画像が、指定された光源と同じ光源の画像であることが判別可能なようにすればよく、そのようにすることで、画像の処理や、画像データの管理にかかる利便性を向上させることができる。
【００５０】
なお、上記例では、光源の種類を求め、求めた光源の種類に基づいて画像を検索、分類したが、ホワイトバランス補正に用いられる色評価値Cx、Cyや、ホワイトバランスゲインを用いて画像を分類しても、同様の結果を得ることができる。
【００５１】
このような分類方法を用いて、以下のような処理を行うことが可能である。
【００５２】
検索対象を屋外で撮影した複数枚の画像とし、「太陽光曇り・日陰」を光源として指定することにより、日が陰っているときに撮影した画像を検索したり、検索された画像を一括して削除することができる。逆に、検索対象を屋内で撮影した複数枚の画像とし、「ストロボ」を光源として指定することにより、ストロボ撮影に失敗した画像が検索から漏れるので、容易に失敗した画像を選別し、削除することができる。
【００５３】
また、屋外で撮影した画像と屋内で撮影した画像が混在する場合に、容易に屋外で撮影した画像と屋内で撮影した画像とを分類することができる。
【００５４】
また、類似した光源下で撮影したことが予め分かっている画像を検索対象とし、その光源を指定して検索を行えば、ホワイトバランスが適切に行われなかった画像が検索から漏れるので、検索から漏れた画像のホワイトバランス補正を再度行う必要があることを一目で認識することができる。
【００５５】
また、類似した光源下で撮影した画像のホワイトバランスゲインの平均値をとり、そのホワイトバランスゲインを用いてホワイトバランス調整を行うことができる。以下、その処理について図８を参照して説明する。
【００５６】
ステップＳ４０で、ユーザーが処理対象とする任意の光源を指定する。ここでの処理は、図６のステップＳ２２と同様である。ステップＳ４１では指定された光源のフォルダを検索する。なお、ステップＳ４０とＳ４１の処理は逆にすることも可能である。つまり、処理対象とするフォルダを先に選択すれば、そのフォルダへの分類に用いた光源は分かっているので、光源の種類が自動的に決まる。
【００５７】
ステップＳ４２で、変数sum_R、sum_G1、sum_G2、sum_Bをそれぞれ０に初期化する。変数sum_R、sum_G1、sum_G2、sum_Bは、同じ光源と分類された画像のホワイトバランスゲインの合計を算出するために用いる変数である。更に、ステップＳ４３で、カウンタｉを０に初期化する。
【００５８】
ステップＳ４４で、ステップＳ４１で指定した光源に分類された画像の枚数とカウンタｉとを比較する。１枚目の画像の場合にはカウンタｉの方が小さいのでステップＳ４５に進み、処理対象の画像のホワイトバランスゲインkWB_R、kWB_B、kWB_G1、kWB_G2を算出する。既にホワイトバランスゲインが算出済みで、画像情報のヘッダに付加されていたり、画像と別のファイル等に関連づけられて記載されている場合には、その値を読み込む。
【００５９】
ステップＳ４６で、変数sum_R、sum_G1、sum_G2、sum_Bに、ホワイトバランスゲインkWB_R、kWB_B、kWB_G1、kWB_G2を対応する色毎に加算する。
【００６０】
そしてステップＳ４７で、カウンタｉをインクリメントし、ステップＳ４４に戻る。ステップＳ４４〜Ｓ４７の処理は、カウンタｉの値がステップＳ４１で選択された処理対象の画像の枚数と同じになるまで（ステップＳ４４でＮＯ）、即ち、処理対象の全ての画像の処理が終了するまで繰り返される。ステップＳ４４でＮＯとなった時には、処置対象の全ての画像のホワイトバランスゲインkWB_R、kWB_B、kWB_G1、kWB_G2の合計が変数sum_R、sum_G1、sum_G2、sum_Bとして得られる。
【００６１】
次にステップＳ４８に進み、ホワイトバランスゲインの合計であるsum_R、sum_G1、sum_G2、sum_Bを処理対象となった画像の枚数で割って、ホワイトバランスゲインの平均値avWB_R、avWB_G1、avWB_G2、avWB_Bを算出する。ここでは変数ｉが画像の枚数と同じであるので、これを用いることもできる。
【００６２】
ステップＳ４９で、カウンタｋを０に初期化し、ステップＳ５０でステップＳ４１で指定した光源に分類された画像の枚数とカウンタｋとを比較する。１枚目の画像の場合にはカウンタｋの方が小さいのでステップＳ５１に進み、ステップＳ４８で算出したホワイトバランスゲインの平均値avWB_R、avWB_G1、avWB_G2、avWB_Bを用いて、ステップＳ４１で指定した光源に分類された画像のホワイトバランス補正を行う。
【００６３】
ステップＳ５２で、カウンタｋをインクリメントし、ステップＳ５０に戻る。このようにして、順次ホワイトバランス補正を行い、全ての画像についてホワイトバランス補正処理が終了すると（ステップＳ５０でＮＯ）、処理を終了する。
【００６４】
上記処理により、ほとんど同じ光源下で撮影したにも関わらず、ホワイトバランスに微妙な差がでてしまっている場合でも、ホワイトバランスを揃えることができる。加えて、類似した光源下で撮影した画像のホワイトバランスゲインの平均値を用いるため、高い精度でホワイトバランス補正を行うことができる。なお、ここではホワイトバランスゲインの平均値を取った値を用いたが、ユーザが類似した光源下で撮影した画像の中から適当な１枚の画像のホワイトバランスゲインで補正しても良いし、分類された各々画像のホワイトバランスゲインのうち、中間値を用いるようにしても良い。
【００６５】
なお、上記実施の形態では、処理対象の画像データとして全ての画像データを対象としたが、入力した画像データに光源情報が付加されていない場合、光源の推定処理の対象を、少なくとも撮影後ホワイトバランス補正が行われていない画像データのみに限定することで、撮影時の光源の種類をより正確に推定することが可能となる。
【００６６】
また、本実施の形態の画像処理装置は、デジタルカメラ等の撮像装置内に組み込むことも可能である。これにより、多数の撮像した画像が記録された撮像装置に着脱可能な記憶媒体内において、所望の画像データの検索を撮像装置単体で容易に行うことが可能となる。
【００６７】
＜他の実施形態＞
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【００６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図６に示すフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態における画像処理装置の構成を示すブロック図である。
【図２】白判定を行うための単位を示す画面分割の例を示す図である。
【図３】白検出範囲と各光源下の白点の色評価値Cx,Cy座標を示した図である。
【図４】本発明の実施の形態における画像処理装置ユーザーインターフェイスを示す図である。
【図５】本発明の実施の形態における白点指定により光源を推定する処理を示すフローチャートである。
【図６】本発明の実施の形態における光源の種類に基づく画像データの検索、分類処理を示すフローチャートである。
【図７】本発明の実施の形態における検索キーを選択するための光源のリストを示す図である。
【図８】本発明の実施の形態における推定光源ごとに分類された画像に対してホワイトバランス補正を行う処理を示すフローチャートである。
【符号の説明】
【００７１】
１０１  画像入力部
１０２  メモリ制御部
１０３  メモリ
１０４  ＷＢ補正部
１０５  光源判定部
１０６  ＣＰＵ
１０７  表示部
１０８  操作部
１０９  メモリ
【図１】
2005352690.tif 000005
【図２】
2005352690.tif 000006
【図３】
2005352690.tif 000007
【図４】
2005352690.tif 000008
【図５】
2005352690.tif 000009
【図６】
2005352690.tif 000010
【図７】
2005352690.tif 000011
【図８】
2005352690.tif 000012