(57)【要約】【課題】撮影下の状況に応じたホワイトバランスの調整を行い、再現された画像が撮影時と同様の印象を与え、より良好な画像を記録できるようにする。【課題】付加情報は、少なくとも撮影時の緯度、経度、時刻、ストロボ照射の有無、撮影装置でのホワイトバランス調整の有無を有し、補正手段は、画像データから付加情報を抽出する手段と、付加情報においてストロボの照射が行われていない場合、且つ、撮影装置でホワイトバランス調整が行われていない場合には、画像にホワイトバランス調整を行うとする判定手段と、判定手段によりホワイトバランス調整を行うとした場合、付加情報における緯度、経度、時刻の情報から撮影時の色温度を推測する手段と、推測した色温度からホワイトバランス調整の度合いを決定する係数を取得する手段と、ホワイトバランス調整係数を使用してホワイトバランス調整の実行手段を有することを特徴とする。【選択図】図１
2006033035.tif 000002
【特許請求の範囲】
【請求項１】
所定の形式で付加情報が埋め込まれた画像データと、前記画像データを補正する手段から構成される画像処理方法において、
前記付加情報は、少なくとも撮影時の緯度、経度、時刻、ストロボ照射の有無、撮影装置でのホワイトバランス調整の有無を有し、前記補正手段は、前記画像データから前記付加情報を抽出する手段と、前記付加情報においてストロボの照射が行われていない場合、且つ、撮影装置でホワイトバランス調整が行われていない場合には、前記画像にホワイトバランス調整を行うとする判定手段と、前記判定手段によりホワイトバランス調整を行うとした場合、前記付加情報における緯度、経度、時刻の情報から撮影時の色温度を推測する手段と、前記推測した色温度からホワイトバランス調整の度合いを決定する係数を取得する手段と、前記ホワイトバランス調整係数を使用してホワイトバランス調整の実行手段を有することを特徴とする画像処理方法。
【請求項２】
前記画像データは、ＪＰＥＧ画像であることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記付加情報の内、緯度、経度情報はＧＰＳ衛星より得られた自位置についての経度及び緯度に基づいて画像データに埋め込まれることを特徴とする請求項１記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ内に所定の形式埋め込まれている付加情報を取得し、前記画像データに補正を掛ける画像処理方法に係り、特に撮影時の色温度を付加情報から推測し、ホワイトバランス調整を行う処理方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラで撮影された画像データを記録媒体に記録する際に撮影下の環境情報を前記画像データ内に同時に保存しておき、前記画像データを出力装置に送信する際にホワイトバランス調整を行う場合には、前記環境情報から撮影下の色温度を推測し、推測された色温度からホワイトバランス調整を行う方法が提案されている（特許文献１参照）。この方法によれば、撮影下の状況に応じたホワイトバランスの調整が可能となり、再現された画像が撮影時と同様の印象を与え、より良好な画像を記録できる。
【０００３】
【特許文献１】特開２０００―２４４９４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記発明では撮影下の色温度を推測する条件が緯度、経度、時刻情報のみであることから、実際の撮影下の条件と必ずしも一致していない場合がある。特に、デジタルカメラでストロボを使用した際には実際のホワイトバランスで行うべき調整と反対の補正を掛けてしまい、撮影下の環境を再現できずに、又、画像としても良好なものではない場合があった。
【０００５】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、撮影下の状況に応じたホワイトバランスの調整を行い、再現された画像が撮影時と同様の印象を与え、より良好な画像を記録できるようにすることができる画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、所定の形式で付加情報が埋め込まれた画像データと、前記画像データを補正する手段から構成される画像処理方法において、前記付加情報は、少なくとも撮影時の緯度、経度、時刻、ストロボ照射の有無、撮影装置でのホワイトバランス調整の有無を有し、前記補正手段は、前記画像データから前記付加情報を抽出する手段と、前記付加情報においてストロボの照射が行われていない場合、且つ、撮影装置でホワイトバランス調整が行われていない場合には、前記画像にホワイトバランス調整を行うとする判定手段と、前記判定手段によりホワイトバランス調整を行うとした場合、前記付加情報における緯度、経度、時刻の情報から撮影時の色温度を推測する手段と、前記推測した色温度からホワイトバランス調整の度合いを決定する係数を取得する手段と、前記ホワイトバランス調整係数を使用してホワイトバランス調整の実行手段を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影下の状況に応じたホワイトバランスの調整を行い、再現された画像が撮影時と同様の印象を与え、より良好な画像を記録できるようにすることができる。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【０００９】
図１は本発明のブロック図であり、本発明に係る印刷制御システム全体の構成である。１はパーソナルコンピュータやワークステーション等のホストコンピュータである。ホストコンピュータ１にはＣＰＵ２が備えられており、ＣＰＵ２は起動時にＲＯＭ３に記憶されたプログラムにより外部記憶装置１２に記憶されているオペレーティングシステム（以下、ＯＳと称することがある）をＲＡＭ４に読み込み、システムバス１３を通じてシステムを統括的に制御する。
【００１０】
９はディスプレイコントローラで、ＣＰＵ２の制御に従い、エラー警告や処理状況等の各種の表示を行えるディスプレイ６を制御する。１０はキーボードコントローラで入力装置であるキーボード７を制御する。１１はポインティングデバイスコントローラで入力装置であるポインティングデバイス８を制御する。
【００１１】
外部記憶装置１２には、前記ＯＳの他に本実施の形態で使用する画像データ１３と色補正プログラム１４等が記憶されている。
【００１２】
画像ファイル１３は、ＪＰＥＧファイルであり、且つ、“Ｅｘｉｆ”形式となっている。“Ｅｘｉｆ”形式では画像データ部１５の他に撮影時の環境情報１６が埋め込まれている。
【００１３】
尚、この“Ｅｘｉｆ”形式の詳細については  図２を用いて後述する。
【００１４】
環境情報には、撮影時の設定、撮影装置の情報等があり、本実施の形態でも使用する撮影時の緯度、経度情報、時刻情報もここに埋め込まれている。
【００１５】
色補正プログラム１４は画像ファイルから画像データを読み込む画像データ入力部１７、ホワイトバランス調整を行うホワイトバランスモジュール１８、環境情報１６から撮影時の色温度を推測し、ホワイトバランス調整の係数を決定するための色温度参照テーブル２０、補正後のデータを外部に出力する画像データ出力部から構成されている。
【００１６】
図２は所定の情報が埋め込まれた画像データである“Ｅｘｉｆ”ファイル内の構成例である。
【００１７】
“Ｅｘｉｆ”ファイルはＪＰＥＧファイル内で撮影情報データを所定の定義に基づいて格納されているものであり、ＪＰＥＧ画像を読み込み、表示することができるアプリケーションプログラムにおいては、通常のＪＰＥＧ画像と同等に扱うことができる。
【００１８】
図中のＳＯＩ（Ｓｔａｒｔ  ｏｆ  Ｉｍａｇｅ）はＪＰＥＧファイルのマーカーと呼ばれる区切り子である。ＥＯＩ( Ｅｎｄ  ｏｆ  Ｉｍａｇｅ) と対を成し、ＪＰＥＧファイルの開始と終了を表す。
【００１９】
ＡＰＰ１( Ａｐｐｌｉｃａｔｉｏｎ  Ｍａｒｋｅｒ) はＪＰＥＧイメージをデコードするためには不要だが、それぞれのアプリケーションプログラムで使用するためのデータ領域として定義されている。
【００２０】
ＤＱＴ( Ｄｅｆｉｎｅ  Ｑｕａｎｔｉｚａｔｉｏｎ  Ｔａｂｌｅ) は量子化テーブルが、ＤＨＴ( Ｄｅｆｉｎｅ  Ｈｕｆｆｍａｎ  Ｔａｂｌｅ) はＤＣＴで算出された値のエンコード用に作られたハフマンテーブルの情報が定義されている。
【００２１】
ＳＯＦ( Ｓｔａｒｔ  ｏｆ  Ｆｒａｍｅ) はフレームに関する各種パラメータを、ＳＯＳ( Ｓｔａｒｔ  ｏｆ  Ｓｃａｎ) はコンポーネントに関する各種パラメータを表す。
【００２２】
ＡＰＰ１の内部は、ＡＰＰ１  マーカー、Ｅｘｉｆの識別コード及び付属情報本体から構成される。これら全てを含むＡＰＰ１の大きさは、ＪＰＥＧの規格により６４ｋＢｙｔｅを超えてはならない。
【００２３】
付属情報はＦＩＬＥ  Ｈｅａｄｅｒを含むＴＩＦＦの構造をとり、最大２つのＩＦＤ (０ｔｈ  ＩＦＤ, １ｓｔ  ＩＦＤ) を記録できる。０ｔｈ  ＩＦＤには、圧縮されている画像（主画像）に関する付属情報を記録する。１ｓｔ  ＩＦＤには、サムネイル画像を記録することができる。
【００２４】
ＡＰＰ２の内部は、ＡＰＰ２マーカー、ＦＰＸＲ(
ＦｌａｓｈＰｉｘ  Ｒｅａｄｙ) の識別コード及びＦｌａｓｈＰｉｘ用拡張データ記録のためのコンテンツ・リスト又はストリーム・データから構成される。６４ｋＢｙｔｅを超えるデータを記録する際に、ＡＰＰ２は複数個を連続して記録する。
【００２５】
本発明の実施の形態において使用する付加情報はＡＰＰ１に含まれており、例えば、緯度、経度の位置情報はＧＰＳＩｎｆｏの形式で定義されている。
【００２６】
図３は代表的な光源における色温度を表したものである。色温度とは、光の色を表すのに使用される値であり、単位には“Ｋ( ケルビン) ”が用いられる。色温度は、これ以下に温度が下がらない絶対零度（約−２７３℃）を０（ゼロ）Ｋとする。例えば、色温度で５５００Ｋと表現した場合、これは黒体が５５００Ｋになった時の光の色を意味している。これを日常使う摂氏に換算すると、５５００−２７３= ５２２７℃となり、黒体が５２２７℃の時に発する光の色となる。  
物体は熱せられるに連れ、特徴的な色を持つ光を放射する。２４００Ｋでは赤っぽい色の光を放射する。５０００Ｋでは黄色、６５００Ｋでは白（全ての波長で同じ分布をしているため）、９３００Ｋでは青になる。図にあるように、白熱灯は約４０００Ｋ、夕日は約４５００Ｋ、蛍光灯は約５０００Ｋ、昼光は約５５００Ｋである。
【００２７】
図４は本実施の形態の動作（処理）を表すフローチャートであり、これらの図面に従って動作の説明をする。尚、図中の“Ｓ”はステップを表し、以下説明における略記とする。
【００２８】
色補正処理が開始されると、色補正処理で使用される画像データ内の環境情報が存在するかを調べる（Ｓ１００１）。
【００２９】
取得する環境情報は本実施の形態では以下の通りであり、又、本実施の形態においての必須項目である。
（１）緯度、経度情報
（２）撮影年月日情報
（３）ストロボＯＮ／ＯＦＦ情報
（４）光源情報（撮影装置本体でホワイトバランスを設定した場合のモード値）
Ｓ１００１において画像データ内に環境情報が存在する場合には、それら環境情報を取得、外部記憶装置１２内に保持する（Ｓ１００２）。
【００３０】
Ｓ１００２において取得した環境情報から、光源が太陽光と推測できるかの判断を行う（Ｓ１００３）。
【００３１】
尚、この処理の詳細については図５を用いて後述する。
【００３２】
Ｓ１００３において、光源が太陽光であると推測される場合には、環境情報の緯度、経度、時刻の情報から色温度を推測する。推測にはテーブルファイルを参照することで行う。
【００３３】
テーブルファイルは、緯度、経度から地域を特定し、又、季節、時刻から、その撮影環境と、太陽光の色温度の関係を示したものが保持されている（Ｓ１００４）。
【００３４】
Ｓ１００４において推測し、取得した色温度からホワイトバランス調整の係数を取得する（Ｓ１００５）。
【００３５】
Ｓ１００６において取得したホワイトバランス調整の係数を基にホワイトバランス調整を行う。
【００３６】
ホワイトバランス調整は撮影下の光源の信号強度を均一にする調整である。
【００３７】
画像データから得るＲ，Ｇ，Ｂ３つの信号を入力とし、これらの信号強度を均一にすることで光源が白色となるように補正する。
【００３８】
色温度Ｋ１においてＲ，Ｇ，Ｂの信号強度を揃えるために下記の式１を行う。
【００３９】
ここで、ｆｒ，ｆｇ，ｆｂはそれぞれ、色温度Ｋ１であるときに、光源Ｒ０，Ｇ０，Ｂ０が（ｆｒ＊Ｒ０＝ｆｇ＊Ｇ０＝ｆｂ＊Ｂ０) となるような決定されている。又、ここではｆｇ＝１とする（Ｓ１００６）。
【００４０】
【数１】
2006033035.tif 000003
図５は色温度を推測できるかの判断であり、図４におけるＳ１００３の詳細である。
【００４１】
ストロボＯＮ／ＯＦＦ情報からストロボが使用されたかを判断する（Ｓ２００１）。
【００４２】
Ｓ２００１においてストロボが使用されていない場合は、光源情報から撮影装置本体にてホワイトバランスの調整を行ったかを判断する。光源情報が、昼光、蛍光灯、白熱電球、フラッシュ等であった場合には撮影装置本体においてホワイトバランスの調整を行ったと判断する。( Ｓ２００２) 
Ｓ２００２において、撮影装置本体においてホワイトバランスの調整を行っていないと判断した場合には、色補正処理が実行可能とし、図４におけるＳ１００４に進む。
【００４３】
Ｓ２００１においてストロボを使用した場合、及びＳ２００２で撮影装置本体においてホワイトバランスの調整を行った場合には、色補正処理を不要とし図４におけるＳ１００３のＮＯに進み終了する。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態における画像制御システムについてのブロック図である。
【図２】本発明の実施の形態に係る圧縮画像のファイル形式である“Ｅｘｉｆ”ファイル構造である。
【図３】本発明の実施の形態に係る各光源のおおまかな分布図である。
【図４】本発明の実施の形態におけるフローチャートである。
【図５】本発明の実施の形態における色補正処理実行可否判断処理のフローチャートである。
【符号の説明】
【００４５】
１    ホストコンピュータ
２    ホストコンピュータＣＰＵ
３    ホストコンピュータＲＯＭ
４    ホストコンピュータＲＡＭ
５    ホストコンピュータシステムバス
６    ディスプレイ
７    キーボード
８    ポインティングデバイス
９    ホストコンピュータディスプレイコントローラ
１０  ホストコンピュータキーボードコントローラ
１１  ホストコンピュータポインティングデバイスコントローラ
１２  ホストコンピュータ外部記憶装置
１３  画像ファイル（ＪＰＥＧファイル）
１４  色補正プログラム
１５  画像データにおける色情報
１６  画像データにおける環境情報（Ｅｘｉｆタグ情報）
１７  色補正プログラムにおける画像データ入力部
１８  ホワイトバランスモジュール
１９  色補正プログラムにおける画像データ入力部
２０  色温度参照テーブル
【図１】
2006033035.tif 000004
【図２】
2006033035.tif 000005
【図３】
2006033035.tif 000006
【図４】
2006033035.tif 000007
【図５】
2006033035.tif 000008