(57)【要約】【課題】ホワイトバランスの再調整をすること。【解決手段】制御装置１０４は、パノラマ撮影によって取得された複数の画像のそれぞれに対する初期ＷＢゲインを算出し、この初期ＷＢゲインを、被写界内で隣接する画像の初期ＷＢゲインに基づいて再計算して更新ＷＢゲインを算出する。そして、制御装置１０４は、更新ＷＢゲインに基づいてホワイトバランスの再調整をする。【選択図】図１
2011191996.tif 000002
【特許請求の範囲】
【請求項１】
被写界を複数の画像に分けて撮影するパノラマ撮影によって取得された前記複数の画像のそれぞれを補正するための初期評価値を算出する初期評価値算出手段と、
前記初期評価値算出手段によって算出された各画像の前記初期評価値を、前記被写界内で隣接する画像の評価値に基づいて再計算して更新評価値を算出する更新評価値算出手段と、
前記更新評価値算出手段によって算出された前記更新評価値に基づいて、各画像を補正する補正手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
パノラマ撮影によって取得された前記複数の画像は、１つの画像ファイル内に記録されていることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画像ファイルには、その中に含まれる各画像に関する付属情報が記録され、
前記評価値算出手段によって算出された各画像の前記初期評価値は、前記付属情報として前記画像ファイル内に記録されることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記更新評価値算出手段によって算出された前記更新評価値を前記付属情報として前記画像ファイル内に記録する記録手段をさらに備えることを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記更新評価値算出手段は、各画像を複数の領域に分割して各分割領域ごとの前記初期評価値を特定し、前記被写界内で隣接する画像との間で同一の初期評価値の分割領域が繋がっている場合には、それらの繋がっている分割領域について同じ更新評価値を算出することを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理装置において、
前記初期評価値および前記更新評価値は、ホワイトバランス演算のための評価値であることを特徴とする画像処理装置。
【請求項７】
被写界を複数の画像に分けて撮影するパノラマ撮影によって取得された前記複数の画像のそれぞれを補正するための初期評価値を算出する初期評価値算出手順と、
前記初期評価値算出手順によって算出された各画像の前記初期評価値を、前記被写界内で隣接する画像の評価値に基づいて再計算して更新評価値を算出する更新評価値算出手順と、
前記更新評価値算出手順によって算出された前記更新評価値に基づいて、各画像を補正する補正手順とをコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
次のようなデジタルカメラが知られている。このデジタルカメラは、撮影時のカメラの移動方向や移動量を演算子、その演算結果に基づいてパノラマ画像を生成する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１２８６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のデジタルカメラでは、パノラマ画像を構成する複数の画像に対して、どのような補正処理を施すかについては検討されていなかった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、被写界を複数の画像に分けて撮影するパノラマ撮影によって取得された複数の画像のそれぞれを補正するための初期評価値を算出する初期評価値算出手段と、初期評価値算出手段によって算出された各画像の初期評価値を、被写界内で隣接する画像の評価値に基づいて再計算して更新評価値を算出する更新評価値算出手段と、更新評価値算出手段によって算出された更新評価値に基づいて、各画像を補正する補正手段とを備えることを特徴とする。
本発明では、パノラマ撮影によって取得された複数の画像は、１つの画像ファイル内に記録されていることが好ましい。
画像ファイルには、その中に含まれる各画像に関する付属情報が記録され、評価値算出手段によって算出された各画像の初期評価値は、付属情報として画像ファイル内に記録されるようにしてもよい。
更新評価値算出手段によって算出された更新評価値を付属情報として画像ファイル内に記録する記録手段をさらに備えるようにしてもよい。
更新評価値算出手段は、各画像を複数の領域に分割して各分割領域ごとの初期評価値を特定し、被写界内で隣接する画像との間で同一の初期評価値の分割領域が繋がっている場合には、それらの繋がっている分割領域について同じ更新評価値を算出するようにしてもよい。
初期評価値および更新評価値は、ホワイトバランス演算のための評価値であるようにしてもよい。
本発明による画像処理プログラムは、被写界を複数の画像に分けて撮影するパノラマ撮影によって取得された複数の画像のそれぞれを補正するための初期評価値を算出する初期評価値算出手順と、初期評価値算出手順によって算出された各画像の初期評価値を、被写界内で隣接する画像の評価値に基づいて再計算して更新評価値を算出する更新評価値算出手順と、更新評価値算出手順によって算出された更新評価値に基づいて、各画像を補正する補正手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、被写界内で隣接する画像を加味してパノラマ撮影によって取得された各画像を補正することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】従来のパノラマ画像の記録方法を模式的に示した図である。
【図３】本発明によるパノラマ画像の記録方法を模式的に示した図である。
【図４】ホワイトバランス調整の具体例を模式的に示した図である。
【図５】パノラマ撮影時のＭＰＯファイル生成処理の流れを示すフローチャート図である。
【図６】ホワイトバランス再調整の具体例を模式的に示した図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【０００９】
レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。
【００１０】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＤＲＡＭやフラッシュメモリが含まれる。ＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１１】
この制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データを生成し、この画像データに、画像データに基づいて生成したサムネイルデータや撮影情報等を含んだヘッダ情報を付加して画像ファイルを生成する。なお、本実施の形態では、制御装置１０４は、連写撮影（連続撮影）やパノラマ撮影等、１回の撮影で複数枚の画像が撮影される場合には、これら１回の撮影で生成した複数の画像データを１つの画像ファイル内に格納する機能を備えている。
【００１２】
制御装置１０４は、１つの画像ファイル内に１つの本画像データを含む画像ファイルに対しては、ファイル名の拡張子に「．ＪＰＧ」を付してＪＰＧファイルとして扱う。一方、１つの画像ファイル内に複数の本画像データを含む画像ファイルに対しては、ファイル名の拡張子に「．ＭＰＯ」を付してＭＰＯファイルとして扱う。制御装置１０４は、生成したＪＰＧファイルやＭＰＯファイルをメモリカードスロット１０５へ出力する。なお、ＪＰＧファイルやＭＰＯファイルのデータ構造は公知のため、ここでは説明を省略する。
【００１３】
メモリカードスロット１０５は、記憶媒体としてのメモリカード、例えばＳＤカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイル（ＪＰＧファイルやＭＰＯファイル）をメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
【００１４】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像信号に基づいて生成した表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。
【００１５】
本実施の形態では、カメラ１００は、被写界を複数の画像に分けて撮影するパノラマ撮影機能を備えている。制御装置１０４は、パノラマ撮影によって得られた複数の画像データを１つのＭＰＯファイル内に格納してメモリカード、例えばＳＤカードに記録する。また、制御装置１０４は、パノラマ撮影によって撮影された複数の画像のそれぞれに対して画像処理、例えばホワイトバランス調整処理を実行し、そのときの画像処理に関する情報をＭＰＯファイル内に付属情報として記録する。
【００１６】
例えば、従来のカメラにおいては、図２に示すように、パノラマ撮影によって得た複数の画像データを１つのフォルダ２ｇ内に記録することによって、それらの画像が１回のパノラマ撮影によって得られた１組の画像データであることを特定できるようにしていた。なお、図２に示す例では、パノラマ撮影によって得られた各画像データ（ＲＡＷデータ）は、センサＩＦ２ａを介してＤＲＡＭ２ｂに取り込まれた後、画像処理回路２ｃでＲＧＢ形式からＹＵＶ形式に変換されてＤＲＡＭ２ｂに記録される。その後、ＪＰＥＧ  ｅｎｃｏｄｅｒ２ｄでＪＰＥＧデータに変換されてＤＲＡＭ２ｂに記録された後、ＳＤＩＦ２ｅを介してＳＤカード２ｆのフォルダ２ｇ内に記録される。
【００１７】
このとき、画像処理回路２ｃは、ＡＷＢ（オートホワイトバランス）演算器２ｊで演算されたＷＢ（ホワイトバランス）ゲイン２ｋに基づいて、各画像に対してホワイトバランス調整を行なう。なお、ＡＷＢ演算器２ｊは、評価値生成器２ｈによって生成されたＡＷＢ評価値２ｉに基づいて、ホワイトバランスの判定結果２ｌを演算する。例えば、各画像のホワイトバランスの判定結果２ｌとしては、晴天の確率が６０％、日陰の確率が３０％、蛍光灯の確率が１０％等が演算される。この確率とは、例えば、晴天下で撮影された確率が６０％、日陰で撮影された確率が３０％、蛍光灯下で撮影された確率が１０％であることをそれぞれ示している。また、ＡＷＢ演算器２ｊは、ＡＷＢ評価値２ｉに基づいて、ホワイトバランスの判定結果２ｌに応じたＷＢゲイン２ｋを演算する。
【００１８】
これに対して、本実施の形態では、制御装置１０４は、図３に示すように、パノラマ撮影によって得た複数のＪＰＥＧデータ３ｂ、およびホワイトバランス調整に関する情報、すなわちＡＷＢ評価値２ｉ、ＷＢゲイン２ｋ、判定結果２ｌを１つのＭＰＯファイル３ａ内に記録する。これによって、パノラマ撮影によって得られた複数の画像をＭＰＯファイルによって関連付けることができる。また、ＭＰＯファイル内の付属情報としてホワイトバランス調整に関する情報を記録したことにより、後にこれらの情報に基づいてホワイトバランス補正を実行することが可能となる。なお、図３においては、図２と同様の構成要素については同じ符号を付加し、説明を省略する。また、図３に示す各構成要素は、制御装置１０４によって制御される。
【００１９】
また、本実施の形態では、ＡＷＢ演算器２ｊは、パノラマ撮影によって得られた各画像のＷＢゲイン２ｋを、被写界内で隣接する他の画像のＷＢゲイン２ｋに基づいて再計算する。すなわち、ＡＷＢ演算器２ｊは、まずパノラマ撮影によって得られた各画像に対して、上述したように、評価値生成器２ｈによって生成されたＡＷＢ評価値２ｉに基づいて初期評価値として初期ＷＢゲイン２ｋを演算する。そして、ＡＷＢ演算器２ｊは、各画像について、被写界内で隣接している他の画像の初期ＷＢゲイン２ｋに基づいて、更新評価値として更新ＷＢゲイン２ｋを演算し、更新ＷＢゲイン２ｋをＭＰＯファイル３ａ内の付属情報に記録する。
【００２０】
それぞれの画像を個別に評価して算出される初期ＷＢゲイン２ｋは、被写界内の狭い範囲のみを評価して演算されるため、必ずしもＷＢゲイン２ｋの演算結果が正確であるとは限らない。これに対して、被写界内で隣接している他の画像の初期ＷＢゲイン２ｋに基づいて更新ＷＢゲイン２ｋを演算した場合には、被写界内の広い範囲を評価して算出されるため、ＷＢゲイン２ｋの演算精度を向上させることができる。
【００２１】
例えば、図４（ａ）に示すように、画像４ａは、空の領域の面積が大きく、屋根で日陰となっている部分の面積は小さいため、ワイトバランスの判定結果２ｌとして、晴天の確率が８０％、日陰の確率が２０％と判定され、ＷＢゲイン２ｋとしては晴天時のＷＢゲインが演算される。一方、画像４ｂは、空の領域の面積が小さく、屋根で日陰となっている部分の面積が大きいため、ホワイトバランスの判定結果２ｌとして、晴天の確率が４０％、日陰の確率が６０％と判定され、ＷＢゲイン２ｋとしては日陰時のＷＢゲインが演算される。このように、各画像を個別に評価してＷＢゲイン２ｋを算出した場合には、画像４ａおよび画像４ｂは、いずれも同じ晴天時に撮影されたものであるにもかかわらず、ホワイトバランスの判定結果２ｌが異なり、これによってＷＢゲイン２ｋの演算結果も画像ごとに異なってしまう。
【００２２】
これに対して、本実施の形態では、例えば、ＡＷＢ演算器２ｊは、図４（ｂ）に示すように、画像４ａと画像４ｂとを４つの領域に等分し、各領域ごとに初期評価値としての初期ＷＢゲイン２ｋを算出する。そして、ＡＷＢ演算器２ｊは、被写界内で隣接する画像４ａと４ｂとの間で初期ＷＢゲイン２ｋが同一の領域が繋がっている場合には、それらの繋がっている領域について同じ更新ＷＢゲイン２ｋを適用する。
【００２３】
すなわち、画像４ａと画像４ｂとにおいて、領域４ｃ、領域４ｄ、および領域４ｅは、いずれもホワイトバランスの判定結果２ｌに基づいて日陰と判定できるため、これらの領域については全て日陰に応じた更新ＷＢゲイン２ｋを算出する。また、それ以外の領域については、すべて晴天に応じた更新ＷＢゲイン２ｋを算出する。これによって、被写界内の広い範囲の情報を加味して、各画像について適切な更新ＷＢゲイン２ｋを算出することができる。
【００２４】
図５は、本実施の形態におけるパノラマ撮影時のＭＰＯファイル生成処理の流れを示すフローチャートである。図５に示す処理は、パノラマ撮影が開始されると起動するプログラムとして、制御装置１０４によって実行される。
【００２５】
ステップＳ１０において、制御装置１０４は、センサＩＦ２ａを介して撮像素子１０３から入力される画像データを取得して、ステップＳ２０へ進む。ステップＳ２０では、制御装置１０４は、上述したように、画像処理回路２ｃを制御して画像データに対してホワイトバランス調整を行う。すなわち、画像処理回路２ｃは、上述した初期ＷＢゲイン２ｋに基づいて画像データに対してホワイトバランス調整を行なう。その後、ステップＳ３０へ進み、制御装置１０４は、ホワイトバランスの調整を行なった画像データ、すなわちＪＰＥＧデータをＭＰＯファイルに記録して、ステップＳ４０へ進む。
【００２６】
ステップＳ４０では、制御装置１０４は、ホワイトバランス調整に関する情報、すなわち、ＡＷＢ評価値２ｉ、更新ＷＢゲイン２ｋ、判定結果２ｌをＭＰＯファイルの付属情報に記録する。その後、ステップＳ５０へ進み、制御装置１０４は、パノラマ撮影によって得られた全ての画像データについての処理が完了したか否かを判断する。ステップＳ５０で否定判断した場合には、ステップＳ１０へ戻る。これに対して、ステップＳ５０で肯定判断した場合には、処理を終了する。
【００２７】
上述したように、本実施の形態では、制御装置１０４は、更新ＷＢゲイン２ｋをＭＰＯファイルの付属情報として記録しておくため、使用者は、カメラ１００を用いて撮影後に更新ＷＢゲイン２ｋを用いてホワイトバランスの再調整を行なうことが可能となる。
【００２８】
図６は、初期ＷＢゲイン２ｋを用いてホワイトバランス調整が行なわれた画像に対して、更新ＷＢゲイン２ｋを用いてホワイトバランスの再調整を行なう場合の流れを模式的に示した図である。なお、図６においては、図２と同様の構成要素については同じ符号を付加し、説明を省略する。また、図６に示す各構成要素は、制御装置１０４によって制御される。
【００２９】
ＳＤカード２ｆに記録されているＭＰＯファイルをセンサＩＦ２ａを介して取り込み、ＤＲＡＭ２ｂ内に再調整対象のＪＰＥＧデータを展開する。その後、ＪＰＥＧｄｅｃｏｄｅｒ６ａによりＪＰＥＧ形式の画像データをＹＵＶ形式の画像データに変換する。さらに、ＹＵＶ形式の画像データに対して逆色変換６ｂを行なってＲＧＢ形式の画像データに変換した後、逆Ｇａｍｍａ補正６ｃを行う。そして、これによって得られたＲＧＢ形式の画像データに対して、ＭＰＯファイルの付属情報に記録されている更新ＷＢゲイン２ｋを用いてＷＢゲインの再調整６ｄ、すなわちホワイトバランスの再調整を行なう。
【００３０】
その後、ホワイトバランスの再調整を行なった後のＲＧＢ形式の画像データに対して、再Ｇａｍｍａ補正６ｅ、再色変換６ｆを行った後に、ＪＰＥＧ  ｅｎｃｏｄｅｒ２ｄでＪＰＥＧデータに変換して、ＤＲＡＭ２ｂに記録する。その後、ＭＰＯファイル内の元画像データをホワイトバランスの再調整を行なった後のＪＰＥＧデータで更新して、ＳＤカード２ｆ内の元ＭＰＯファイルを更新することによって、処理が完了する。
【００３１】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、パノラマ撮影によって取得された複数の画像のそれぞれに対する初期ＷＢゲイン２ｋを算出し、この初期ＷＢゲイン２ｋを、被写界内で隣接する画像の初期ＷＢゲイン２ｋに基づいて再計算して更新ＷＢゲイン２ｋを算出する。そして、制御装置１０４は、更新ＷＢゲイン２ｋに基づいて、各画像を補正、すなわちホワイトバランスの再調整をするようにした。これによって、被写界内の広い範囲の情報を加味して、各画像について適切な更新ＷＢゲイン２ｋを算出し、ホワイトバランスの再調整を行うことができる。
【００３２】
（２）制御装置１０４は、パノラマ撮影によって取得した複数の画像を１つのＭＰＯファイルに記録するようにした。これによって、パノラマ撮影によって取得した画像の管理を容易にすることができる。
【００３３】
（３）制御装置１０４は、ホワイトバランス調整に関する情報をＭＰＯファイルの付属情報に記録するようにした。これによって、使用者は、撮影後に付属情報を読み出すことによって、ホワイトバランスの再調整を行なうことが可能となる。
【００３４】
（４）ＡＷＢ演算器２ｊは、図４（ｂ）に示したように、画像４ａと画像４ｂとを４つの領域に等分し、各領域ごとに初期評価値としての初期ＷＢゲイン２ｋを算出し、被写界内で隣接する画像４ａと４ｂとの間で初期ＷＢゲイン２ｋが同一の領域が繋がっている場合には、それらの繋がっている領域について同じ更新ＷＢゲイン２ｋを算出するようにした。これによって、被写界内で隣接する画像を用いて、ＷＢゲイン２ｋの算出精度を向上させることができる。
【００３５】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、本発明をカメラ１００に適用する例について説明した。しかしながら、画像に対してホワイトバランス調整を行なうことができる他の機器、例えばパソコン等にも本発明は適用可能である。
【００３６】
（２）上述した実施の形態では、ホワイトバランス調整に関する情報をＭＰＯファイルの付属情報に記録しておき、後の処理でホワイトバランスの再調整を行えるようにした。しかしながら、本発明はホワイトバランスの再調整以外にも適用可能である。例えば、画像の明るさ調整に関する情報をＭＰＯファイルの付属情報に記録しておき、後の処理で画像の明るさを再調整できるようにしてもよい。
【００３７】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００３８】
１００  カメラ、１０１  操作部材、１０２  レンズ、１０３  撮像素子、１０４  制御装置、１０５  メモリカードスロット、１０６  モニタ
【図１】
2011191996.tif 000003
【図２】
2011191996.tif 000004
【図３】
2011191996.tif 000005
【図４】
2011191996.tif 000006
【図５】
2011191996.tif 000007
【図６】
2011191996.tif 000008