(57)【要約】【課題】画像合成を行う際において、合成画像データに固定パターンノイズが生じないようにする。【解決手段】メモリ３３には画像データの各々に対応して設定され、ダークシェーディング補正を行うための、小数点以下の数値を含む補正データが記憶されている。画像処理・補正回路１９は、補正データの各々について補正データを四捨五入した整数値と補正データとの差を加算して第１の加算結果を得て、当該第１の加算結果を四捨五入して第１の四捨五入結果を得る。さらに、画像処理・補正回路は、補正データの各々について前記整数値を加算して第２の加算結果を得て、第２の加算結果から四捨五入結果を減算して減算結果を得た後、画像データを合成して複数の画像データを合成して合成画像データとする際、減算結果を合成画像データに対する補正データとして合成画像データの補正を行う。【選択図】図１
2012095204.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データを合成して合成画像データとする画像処理装置において、
前記画像データの各々に対応して設定され、ダークシェーディング補正を行うための、小数点以下の数値を含む補正データが記憶された記憶手段と、
前記合成画像データを得る際、前記補正データの各々について前記補正データを四捨五入した整数値と前記補正データとの差を加算して第１の加算結果を得て、当該第１の加算結果を四捨五入して四捨五入結果を得る第１の演算手段と、
前記補正データの各々について前記整数値を加算して第２の加算結果を得て、該第２の加算結果から前記四捨五入結果を減算して減算結果を得る第２の演算手段と、
前記画像データを合成して前記合成画像データとする際、前記減算結果を前記合成画像データに対する補正データとして前記合成画像データの補正を行う補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記整数値と前記補正データとの差を付加補正データとして前記画像データの各々に付加する補正データ付加手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像データの各々について、信号対雑音比を改善するための黒画像データの減算が行われているか否かについて判定する判定手段を有し、
前記補正データ付加手段は、前記判定手段によって黒画像データの減算が行われていると判定された画像データについて、前記付加補正データとしてゼロを設定することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第１の演算手段は前記付加補正データを用いて前記第１の加算結果を得るようにしたことを特徴とする請求項２又は３記載の画像処理装置。
【請求項５】
前記複数の画像データのうち第１の画像データが示す画像領域の一部の領域を合成領域として該合成領域に第２の画像データを合成する際、前記第１の演算手段は、前記第１の画像データについて前記付加補正データのうち前記合成領域に対応する範囲のデータを用いて前記第１の加算結果を得て、
前記補正手段は前記合成領域について前記減算結果を前記合成画像データに対する補正データとすることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記複数の画像データのうち第１および第２の画像データを予め設定された合成比率ｘ：ｙ（ｘおよびｙはそれぞれ１以上の整数）で合成する際、前記第１の画像データに係る第１の補正データを四捨五入した結果をｘ倍して第１の整数値とし、前記第２の画像データに係る第２の補正データを四捨五入した結果をｙ倍して第２の整数値とする乗算手段を有し、
前記第２の演算手段は、前記第１および前記第２の整数値を加算して前記第２の加算結果とすることを特徴とする請求項１又は２記載の画像形成装置。
【請求項７】
前記画像データの各々は撮像装置に備えられた撮像素子から得られた画像データであることを特徴とする請求項１〜６いずれか１項記載の画像処理装置。
【請求項８】
前記撮像素子から読み出された複数の画素データを並列してＡ／Ｄ変換するＡ／Ｄ変換手段を有し、
前記補正データは、前記Ａ／Ｄ変換の際によって生じるオフセット誤差を補正するためのＡ／Ｄ補正用データであることを特徴とする請求項７記載の画像処理装置。
【請求項９】
複数の画像データを合成して合成画像データとする画像処理装置を制御するための制御方法において、
メモリに前記画像データの各々に対応して設定され、ダークシェーディング補正を行うための、小数点以下の数値を含む補正データを記憶する記憶ステップと、
前記合成画像データを得る際、前記補正データの各々について前記補正データを四捨五入した整数値と前記補正データとの差を加算して第１の加算結果を得て、当該第１の加算結果を四捨五入して四捨五入結果を得る第１の演算ステップと、
前記補正データの各々について前記整数値を加算して第２の加算結果を得て、該第２の加算結果から前記四捨五入結果を減算して減算結果を得る第２の演算ステップと、
前記画像データを合成して前記合成画像データとする際、前記減算結果を前記合成画像データに対する補正データとして前記合成画像データの補正を行う補正ステップとを有することを特徴とする制御方法。
【請求項１０】
複数の画像データを合成して合成画像データとする画像処理装置を制御するための制御プログラムにおいて、
前記画像処理装置が備えるコンピュータに、
メモリに前記画像データの各々に対応して設定され、ダークシェーディング補正を行うための、小数点以下の数値を含む補正データを記憶する記憶ステップと、
前記合成画像データを得る際、前記補正データの各々について前記補正データを四捨五入した整数値と前記補正データとの差を加算して第１の加算結果を得て、当該第１の加算結果を四捨五入して四捨五入結果を得る第１の演算ステップと、
前記補正データの各々について前記整数値を加算して第２の加算結果を得て、該第２の加算結果から前記四捨五入結果を減算して減算結果を得る第２の演算ステップと、
前記画像データを合成して前記合成画像データとする際、前記減算結果を前記合成画像データに対する補正データとして前記合成画像データの補正を行う補正ステップとを実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止画像又は動画像を記録・再生するための画像処理装置、その制御方法、および制御プログラムに関する。特に、電子カメラなどの撮像装置で用いられる画像処理装置、その制御方法、および制御プログラムに関する。
【背景技術】
【０００２】
一般に、撮像装置に備えられた画像処理装置においては固定パターンノイズを抑えるために、補正回路が備えられており、この補正回路によって、例えば、ダークシェーディング補正が行われている。
【０００３】
一方、画像処理装置において、ダークシェーディング補正をライン毎に行うようにしたものがある。ライン毎にダークシェーディング補正を行う際、１ライン毎に平均を求めて補正処理を行うと、画像に横筋が発生するため、ライン毎に重加算平均化処理を行って、横筋を防止するようにしたものがある（例えば、特許文献１参照）。
【０００４】
一方、撮像装置において、複数の画像データを合成して合成画像データとする機能を有するものがある。このような撮像装置において、画像合成前の各画像データについて現像パラメータを備えて、各現像パラメータおよび画像データの合成比率に基づいて合成現像パラメータを生成するようにしたものがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平２００１−２８０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ダークシェーディング補正を行う際には、その補正データが小数点以下の数値を有していても、ダークシェーディング補正に当たっては、補正データを四捨五入して整数値（四捨五入補正データ）として画像データに反映させている。
【０００７】
ところが、複数の画像データを合成する際に、画像データ毎の補正データを四捨五入して、これら四捨五入補正データを用いて画像合成をすると、合成画像データに対しては小数点以下の数値が反映されないことになる。この結果、画像合成の際には正確に補正できる領域と正確に補正できない領域とが生じてしまうことがある。つまり、画像合成の際には補正むらが生じることがある。
【０００８】
図１８は、一次元のダークシェーディング補正データの一例を示す図である。
【０００９】
図１８において、補正用データは、列番号と当該列番号に対応した補正値とを有している。
【００１０】
図１９は、画像合成の際に用いられる従来のダークシェーディング補正を説明するための図である。
【００１１】
図１９において、画像”１”および”２”はそれぞれ補正用データ１８００および１８０１を備えているものとする。画像”１”および”２”を生成する際、補正データ１８００および１８０１を四捨五入して得られた四捨五入補正データ１９０８および１８０３がそれぞれ画像”１”および”２”に加算される。
【００１２】
画像合成の際には、四捨五入補正データ１８０２および１８０３が用いられるので、合成画像データに反映される補正用データは補正用データ１８０４となる。
【００１３】
ところが、補正用データ１８００および１８０１を、小数点以下を含めて加算した結果得られる補正用データは補正用データ１８０５となる。この補正用データ１８０５を四捨五入して四捨五入補正用データ１８０６とすると、実際に用いられる補正用データ１８０４と合成画像データに反映すべき補正用データ１８０６とに差異が生じる。この結果、合成画像データに固定パターンノイズが生じてしまうことになる。
【００１４】
従って、本発明の目的は、画像合成を行う際において、合成画像データに固定パターンノイズが生じることのない画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するため、本発明による画像処理装置は、複数の画像データを合成して合成画像データとする画像処理装置において、前記画像データの各々に対応して設定され、ダークシェーディング補正を行うための、小数点以下の数値を含む補正データが記憶された記憶手段と、前記合成画像データを得る際、前記補正データの各々について前記補正データを四捨五入した整数値と前記補正データとの差を加算して第１の加算結果を得て、当該第１の加算結果を四捨五入して四捨五入結果を得る第１の演算手段と、前記補正データの各々について前記整数値を加算して第２の加算結果を得て、該第２の加算結果から前記四捨五入結果を減算して減算結果を得る第２の演算手段と、前記画像データを合成して前記合成画像データとする際、前記減算結果を前記合成画像データに対する補正データとして前記合成画像データの補正を行う補正手段とを有することを特徴とする。
【００１６】
本発明による制御方法は、複数の画像データを合成して合成画像データとする画像処理装置を制御するための制御方法において、メモリに前記画像データの各々に対応して設定され、ダークシェーディング補正を行うための、小数点以下の数値を含む補正データを記憶する記憶ステップと、前記合成画像データを得る際、前記補正データの各々について前記補正データを四捨五入した整数値と前記補正データとの差を加算して第１の加算結果を得て、当該第１の加算結果を四捨五入して四捨五入結果を得る第１の演算ステップと、前記補正データの各々について前記整数値を加算して第２の加算結果を得て、該第２の加算結果から前記四捨五入結果を減算して減算結果を得る第２の演算ステップと、前記画像データを合成して前記合成画像データとする際、前記減算結果を前記合成画像データに対する補正データとして前記合成画像データの補正を行う補正ステップとを有することを特徴とする。
【００１７】
本発明による制御プログラムは、複数の画像データを合成して合成画像データとする画像処理装置を制御するための制御プログラムにおいて、前記画像処理装置が備えるコンピュータに、メモリに前記画像データの各々に対応して設定され、ダークシェーディング補正を行うための、小数点以下の数値を含む補正データを記憶する記憶ステップと、前記合成画像データを得る際、前記補正データの各々について前記補正データを四捨五入した整数値と前記補正データとの差を加算して第１の加算結果を得て、当該第１の加算結果を四捨五入して四捨五入結果を得る第１の演算ステップと、前記補正データの各々について前記整数値を加算して第２の加算結果を得て、該第２の加算結果から前記四捨五入結果を減算して減算結果を得る第２の演算ステップと、前記画像データを合成して前記合成画像データとする際、前記減算結果を前記合成画像データに対する補正データとして前記合成画像データの補正を行う補正ステップとを実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、画像合成を行う際においても、常に適正な補正を行うことができ、その結果、合成画像データに固定パターンノイズが生じることがないという効果がある。
【図面の簡単な説明】
【００１９】
【図１】本発明による画像形成装置が用いられた撮像装置の一例を示すブロック図である。
【図２】図１に示す電子カメラにおいて水平ダークシェーディングの混入を説明するための図であり、（ａ）は図１に示す撮像素子における画素データの読み出しを示す図、（ｂ）は各列の出力レベルを示す図、（ｃ）は各列の補正レベルを示す図である。
【図３】図２で説明したダークシェーディングレベルの補正を説明するためのフローチャートである。
【図４】図１に示す電子カメラにおける画像合成を簡略的に示す図である。
【図５】図１に示す電子カメラにおける画像合成の際のダークシェーディング補正を説明するためのフローチャートである。
【図６】図１に示す電子カメラにおける画像合成の際のダークシェーディング補正の際に用いられる補正データを説明するための図である。
【図７】図１に示す記録媒体に記録される画像ファイルの一例を示す図である。
【図８】図１に示す電子カメラにおいて一枚毎の画像ファイルを生成する際のシェーディング補正を説明するためのフローチャートである。
【図９】図１に示す電子カメラにおいて画像合成の際のシェーディング補正の第２の例を説明するためのフローチャートである。
【図１０】解像度が異なる２つの画像データの合成の一例を示す図である。
【図１１】図１０においてダークシェーディング補正の際における補正適用範囲を示す図である。
【図１２】図１に示す電子カメラにおいて解像度の異なる画像を合成する際のダークシェーディング補正を説明するためのフローチャートである。
【図１３】図１に示す電子カメラにおいて複数の画像を合成する際その合成比率が異なる場合のダークシェーディング補正を説明するためのフローチャートである。
【図１４】図１３で説明した合成比率が異なる画像データを合成する場合のダークシェーディング補正の一例を説明するための図である。
【図１５】ｃｈ別ＡＤ変換撮像で用いられる撮像システムの一例を示すブロック図である。
【図１６】画像データを合成する際に行われるオフセット誤差の補正を説明するためのフローチャートである。
【図１７】一枚毎の画像データを生成する際のダークシェーディング補正を説明するためのフローチャートである。
【図１８】一次元のダークシェーディング補正データの一例を示す図である。
【図１９】画像合成の際に用いられる従来のダークシェーディング補正を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態による画像処理装置が用いられた撮像装置の一例について説明する。
【００２１】
図１は本発明による画像形成装置が用いられた撮像装置の一例を示すブロック図である。
【００２２】
図１を参照して、図示の撮像装置（以下電子カメラと呼ぶ）は、画像処理装置１００を有しており、この画像処理装置１００にはレンズユニット３００が装着されている。なお、図示の電子カメラでは、所謂一眼レフ方式が採用されている。
【００２３】
レンズユニット３００は、撮影レンズ３１０を有しており、撮影レンズ３１０に入射した光線は、絞り３１２、レンズマウント３０６および１０６、およびシャッタ１２を介して、画像処理装置１００に備えられた撮像素子１４に光学像として結像される。
【００２４】
Ａ／Ｄ変換器１６は撮像素子１４から出力されるアナログ信号（アナログ画像信号）をデジタル信号（デジタル画像信号）に変換する。タイミング発生器１８は、撮像素子１４、Ａ／Ｄ変換器１６、およびＤ／Ａ変換器２６にクロック信号および制御信号を供給する。このタイミング発生器１８はメモリ制御回路２２およびシステム制御回路５０によって制御される。
【００２５】
画像処理・補正回路１９はＡ／Ｄ変換器１６から出力されるデジタル信号又はメモリ制御回路２２の画像データに対して所定の補正処理、画素補間処理、および色変換処理を行う。
【００２６】
メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理・補正回路１９、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、および圧縮・伸長回路３２を制御する。
【００２７】
Ａ／Ｄ変換器１６から出力されたデジタル信号は、画像処理・補正回路１９およびメモリ制御回路２２を介して、又は直接メモリ制御回路２２を介して画像表示メモリ２４又はメモリ３０に書き込まれる。
【００２８】
画像表示部２８はＴＦＴ方式のＬＣＤからなり、画像表示メモリ２４に書き込まれた表示用画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８に表示される。また、画像表示部２８には動画撮影の際、動画像がリアルタイムで表示すされる。加えて、動画撮影でない場合においても、ミラー１３０を動画撮影の際と同様に移動して、撮像素子１４に入力する光学像を画像表示部２８において確認するライブビューモードとすることもできる。
【００２９】
システム制御回路５０は画像処理装置１００全体の制御を司り、ＣＰＵなどが内蔵されている。モードダイアルスイッチ６０は自動撮影モード、プログラム撮影モード、シャッタ速度優先撮影モード、および絞り優先撮影モードなどの各機能撮影モードを切り替えるためのスイッチである。
【００３０】
シャッタースイッチ（ＳＷ２）６４は、シャッターボタン（図示せず）の操作完了でＯＮ（オン）となる。このシャッタースイッチ６４によって、撮像素子１４から読み出したアナログ信号をＡ／Ｄ変換器１６、画像処理・補正回路１９、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理がシステム制御回路５０に対して指示される。そして、画像処理・補正回路１９およびメモリ制御回路２２による現像処理が行われた後メモリ３０に記録される。続いて、メモリ３０から読み出された画像データが圧縮・伸長回路３２によって圧縮処理され、記録媒体２００に画像データを書き込む記録処理が行われる。
【００３１】
動画記録・ストップスイッチ６７によって記録開始が指示されると、システム制御回路５０は連続して動画記録動作を行って、記録媒体２００に動画ファイルを記録する。
【００３２】
ＩＳＯ感度設定スイッチ６８の操作によって、撮像素子１４又は画像処理・補正回路１９におけるゲインの設定が変更されて、これによって、ＩＳＯ感度が設定される。６９は画像合成要求スイッチ６９の操作によって、システム制御回路５０は、後述するようにして、撮影済の画像データの合成を制御する。
【００３３】
電源スイッチ７０の操作によって、画像処理装置１００は電源オン又は電源オフの各モードに切り替えられる。また、電源スイッチ７０の操作によって、システム制御回路５０はレンズユニット３００、外部ストロボ（図示せず）、記録媒体２００および２１０などの各種付属装置の電源オン又は電源オフを行う。
【００３４】
電源制御部８０は、例えば、電池検出回路、ＤＣ−ＤＣコンバータ、およびスイッチ回路など（ともに図示せず）を備えており、コネクタ８２および８４を介して電源部８６に接続されている。この電源部８６は、例えば、アルカリ電池又はリチウム電池などの一次電池、又はＬｉ電池などの二次電池、そして、ＡＣアダプタなどを有している。
【００３５】
電源制御部８０は電池の装着の有無、電池の種類、電池残量の検出を行う。そして、電源制御部８０は、その検出結果およびシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、システム制御回路５０を介して所定の電圧の電力を記録媒体などに供給する。
【００３６】
画像処理装置１００は、インタフェース９０およびコネクタ９２を有しており、インタフェース９０にはコネクタ９２を介して記録媒体２００が接続される。記録媒体２００は記録部２０２およびコネクタ２０６を有しており、コネクタ２０６がコネクタ９２に接続される。なお、記録部２０２は、例えば、半導体メモリ又は磁気ディスクなどから構成される。
【００３７】
光学ファインダ１０４には、撮影レンズ３１０に入射した光線が絞り３１２、レンズマウント３０６および１０６、およびミラー１３０および１３２を介して導かれる。そして、光学ファインダ１０４には光学像が結像されて表示される。
【００３８】
画像処理装置１００には、インタフェース１２０が備えられ、このインタフェース１２０によってレンズマウント１０６内において画像処理装置１００がレンズユニット３００と接続される。そして、コネクタ１２２によって画像処理装置１００はレンズユニット３００と電気的に接続される。
【００３９】
システム制御回路５０はレンズマウント１０６および／又はコネクタ１２２にレンズユニット３００が装着されているか否かを検知する。コネクタ１２２および３２２は画像処理装置１００とレンズユニット３００との間で制御信号、状態信号、およびデータ信号などの送受を行うとともに、各種電圧で電流を供給する機能を有している。
【００４０】
なお、図示のように、レンズユニット３００にはレンズ制御部３２０が備えられ、このレンズ制御部３２０はシステム制御回路５０の制御下で、撮影レンズ３１０の駆動制御および絞り３１２の制御を行う。
【００４１】
図２は図１に示す電子カメラにおいて水平ダークシェーディングの混入を説明するための図である。そして、図２（ａ）は図１に示す撮像素子１４における画素データの読み出しを示す図であり、図２（ｂ）は各列の出力レベルを示す図である。また、図２（ｃ）は各列の補正レベルを示す図である。
【００４２】
図２（ａ）において、撮像素子１４の画素データ（単に画素ともいう）１４ａは水平ライン毎に共通読み出し回路３０１に転送される。その後、各画素１４ａが順に共通読み出し回路３０１から出力される。
【００４３】
ところが、図２（ａ）に示す”ａ”列と”ｂ”列とでは経路に差があり、遮光して読み出すと列毎にその出力レベルにレベル差が生じる（図２（ｂ）参照）。そこで、各列のダークシェーディングレベルに対して、ダークレベル（黒レベル）に対称な値を補正データとしてメモリ（補正データメモリ：記憶手段）３３に記憶しておき、この補正データに応じてダークシェーディングレベルが補正される（図２（ｃ）参照）。
【００４４】
図３は図２で説明したダークシェーディングレベルの補正を説明するためのフローチャートである。以下、図１および図３を参照して説明する。
【００４５】
画像処理・補正回路１９は、補正データ回路１９１、画像合成回路１９２、および補正データ付加回路１９３を有している。ダークシェーディング補正が開始されると、メモリ制御回路２２における現像処理の際、補正データ回路１９１は補正データメモリ３３から補正データ（以下補正値とも呼ぶ）を読み出す（ステップＳ４０１）。そして、補正データ回路１９１は補正値の小数部を四捨五入して整数化する（ステップＳ４０２）。続いて、補正データ回路１９１は四捨五入した補正値を画像データに加算する（ステップＳ４０３）。これによって、ダークシェーディング補正を終了して、補正データ回路１９１は、補正後の画像データを画像メモリ３０に記録する（ステップＳ４０４）。
【００４６】
図４は図１に示す電子カメラにおける画像合成を簡略的に示す図である。
【００４７】
図１および図４を参照して、いま、画像合成要求スイッチ６９が押されると、システム制御回路５０は画像処理・補正回路１９によって画像合成指示を送る。これによって、画像合成回路１９２は、システム制御回路５０の制御下で記録部２０２に保存された画像データを画像メモリ３０に読出する。続いて、画像合成回路１９２は合成条件に基づいて画像合成を行って、合成した画像データを再び記録部２０２に保存する。つまり、画像合成回路１９２は図４に示す合成前画像３０１および３０２を合成して、合成画像３０３を得ることになる。
【００４８】
ここで、図１に示す電子カメラにおいて画像合成の際のダークシェーディング補正について説明する。
【００４９】
図５は、図１に示す電子カメラにおける画像合成の際のダークシェーディング補正を説明するためのフローチャートである。以下、図１および図５を参照して説明する。
【００５０】
画像合成が開始されると、システム制御回路５０は合成用ダークシェーディング補正を開始する。メモリ３３には画像データに対応して補正データが格納されており、この補正データは小数点以下の数値を含んでいる。
【００５１】
補正データ回路１９１は合成する各画像データに対応する補正データの整数値（四捨五入したもの）と当該補正データとの差（小数データ）をメモリ３３から読み出す（ステップＳ５０１）。
【００５２】
続いて、補正データ回路１９１は、各画像データに対応する小数データ同士を加算して、加算結果（第１の加算結果）を得る（ステップＳ５０３）。そして、補正データ回路１９１は当該加算結果を四捨五入して四捨五入結果とする（ステップＳ５０３）。次に、画像合成回路１９２は画像データを合成して合成画像データとし（ステップＳ５０４）。そして、画像合成回路１９２は合成画像データから四捨五入結果を減算して補正後の合成画像データとする（ステップＳ５０５）。つまり、補正データ回路１９１は補正データの整数値を加算した第２の加算結果から四捨五入結果を減算して、減算結果を得て、当該減算結果が合成画像データの補正データとされる。
【００５３】
画像データを合成する際、画像合成回路１９２は加算結果と当該加算結果の整数値との差を小数データとして補正データメモリ３３に書き込む（ステップＳ５０６）。このようにして、合成用ダークシェーディング補正が終了すると、システム制御回路５０は画像合成を終了する。
【００５４】
図６は、図１に示す電子カメラにおける画像合成の際のダークシェーディング補正の際に用いられる補正データの流れを説明するための図である。
【００５５】
図６では、いま、２つの画像データ（以下画像とも呼ぶ）”１”及び”２”を合成しようとしている。この際、一方の画像”１”（第１の画像データ）には補正データ６００（第１の補正データ）が対応し、他方の画像”２”（第２の画像データ）には補正データ６０１（第２の補正データ）が対応する。上記の画像が生成される際に、補正データ６００および６０１は四捨五入されて四捨五入補正データ６０２および６０３（第１の整数値及び第２の整数値）とされる。２つの画像を合成すると、合成画像に係る補正データ（ダークシェーディング補正値換算値）は補正データ６０４となる。
【００５６】
ここで、補正データ６０２と補正データ６００との差と補正データ６０１と補正データ６０３との差とを加算すると、補正データ６０５が得られる。そして、この補正データ６０５を四捨五入すると、補正データ６０６が得られる。続いて、補正データ６０４から補正データ６０６を減算すると、補正データ６０７が得られる。つまり、合成画像データに対応する補正データは補正データ６０７となる。
【００５７】
一方、２つの画像の補正データ６００および６０１を加算すると、補正データ６０８が得られる。そして、補正データ６０８を四捨五入すると、補正データ６０９となる。この補正データ６０９は補正データ６０７と同様であり、画像合成の際の補正データ６０７は反映させるべき補正データ６０９と一致することが分かる。
【００５８】
具体的には、画像”１”において補正データ６００の１列目は”１．６”であり、四捨五入すると、補正データ６０２の１列目のように”２．０”になる。つまり、１列目については”０．４”加算されることになる。他の列についても同様にして、四捨五入される。
【００５９】
画像”２”においては、補正データ６０１の１列目は”１．８”であり、四捨五入すると、補正データ６０３の１列目のように”２．０”となる。つまり、１列目については”０．２加算されることになる。他の列においても同様にして四捨五入される。
【００６０】
画像”１”および”２”の補正データ６０２および６０３について、四捨五入の際に加算された値を列毎に加算すると、補正データ６０５の１列目では”０．６”となる。補正データ６０５の各列について四捨五入を行うと、例えば、１列目は”１．０”となる。この補正データ６０５を合成後の補正データ６０４から減算すると、補正データ６０７に示すように、１列目においては”３．０”となる。これは、合成画像データに反映すべき補正データ６０９の一列目と同一の値であることが分かる。
【００６１】
続いて、図１に示す電子カメラにおけるダークシェーディング補正の第２の例について説明する。
【００６２】
前述の第１の例では、合成前の補正データと当該補正データの整数値との差を補正データメモリ３３から読出すようにしたが、第２の例では、一枚毎の画像ファイル生成の際に補正データを画像付随データとして付加して記録媒体２００に記憶する。
【００６３】
図７は図１に示す記録媒体２００に記録される画像ファイルの一例を示す図である。図７に示すように、画像ファイル”１”は、画像データと、当該画像データに付随して各種付加情報と補正データとを備えている。
【００６４】
図８は、図１に示す電子カメラにおいて、一枚毎の画像ファイルを生成する際のシェーディング補正を説明するためのフローチャートである。以下、図１および図８を参照して説明する。
【００６５】
ダークシェーディング補正が開始されると、システム制御回路５０の制御下において、データ補正回路１９１は補正データを補正データメモリ３３から読出す（ステップＳ４０１）。そして、データ補正回路１９１は補正データを四捨五入して、四捨五入補正データとする（ステップＳ４０２）。続いて、データ補正回路１９１は四捨五入補正データを画像データに加算する（ステップＳ４０３）。そして、補正データ付加回路１９３は、補正データと四捨五入補正データとの差を画像ファイルに付加補正データとして付加して（ステップＳ８０１）、ダークシェーディング補正が終了する。ダークシェーディング補正が終了すると、この画像ファイルは記憶媒体２００に記憶される。
【００６６】
図９は、図１に示す電子カメラにおいて画像合成の際のシェーディング補正の第２の例を説明するためのフローチャートである。
【００６７】
図１および図９を参照して、前述したように、画像合成が開始されると、システム制御回路５０は合成用ダークシェーディング補正を開始する。システム制御回路５０の制御下で、データ補正回路１９１は、合成すべき各画像について画像ファイルから補正データ（小数）をロードする（ステップＳ９０１）。そして、データ補正回路１９１はこれら補正データを加算して、加算結果を得る（ステップＳ５０２）。さらに、データ補正回路１９１は加算結果を四捨五入して四捨五入結果とする（ステップＳ５０３）。
【００６８】
画像合成回路１９２は画像データの合成を行った（ステップＳ５０４）後、合成画像データから四捨五入結果を減算して、補正後の合成画像データとする（ステップＳ５０５）。この際、補正データ付加回路１９３は加算結果と四捨五入結果との差を補正デートとして画像ファイルに付加する（ステップＳ９０２）。このようにして、合成用ダークシェーディング補正が終了した後、システム制御回路５０は画像合成を終了する。
【００６９】
このようして、画像ファイルに補正データを付加するようにすれば、当該フォーマットに対応するソフトウェアによって、他の撮像装置で撮影された画像を合成する際においても、容易にしかも適切に画像合成を行うことができる。さらに、パーソナルコンピュータ（ＰＣ）を用いた際においても容易にしかも適切に画像合成を行うことができる。
【００７０】
続いて、図１に示す電子カメラにおいて画像合成を行う際、合成前の画像間においてその解像度が異なる場合のダークシェーディング補正について説明する。
【００７１】
図１０は解像度が異なる２つの画像データの合成の一例を示す図である。また、図１１は、図１０においてダークシェーディング補正の際における補正適用範囲を示す図である。
【００７２】
図１０において、いま、画像１００１と画像１１０２とを合成して合成画像１００３を得ようとする場合、画像１００２の一部領域（画像領域）に、画像１００１を画像１００４として合成する。この場合、図１１に示すように、画像１００１に付加補正データ１１０１が付随し、画像１００２に付加補正データ１１０２が付随すると、合成画像１００３においては、画像１００４に対応する領域が補正計算適用範囲となる。
【００７３】
図１２は、図１に示す電子カメラにおいて解像度の異なる画像を合成する際のダークシェーディング補正を説明するためのフローチャートである。以下、図１および図１２を参照して説明する。
【００７４】
解像度が互いに異なる画像データの合成が開始されると、システム制御回路５０は合成用ダークシェーディング補正開始を開始する。システム制御回路５０の制御下において、データ補正回路１９１は、合成すべき各画像に対応するダークシェーディング補正データのうち、その合成される範囲のみを示す補正データを各画像ファイルからロードする（ステップＳ１２０１）。
【００７５】
データ補正回路１９１は、ロードした補正データ同士を加算して加算結果を得る（ステップＳ５０２）。そして、データ補正回路１９１は加算結果を四捨五入して四捨五入結果とする（ステップＳ５０３）。
【００７６】
続いて、画像合成回路１９２は、画像合成を行った（ステップＳ５０４）後、補正計算適用範囲において当該合成画像から四捨五入結果を減算する（ステップＳ１２０２）。この際、補正計算適用範囲（つまり、合成領域）について、補正データ付加回路１９２は加算結果を四捨五入した際の小数部（小数データ）を画像ファイル（合成画像ファイル）に付加し、他の範囲については、加算結果と四捨五入結果との差を示す補正データを画像ファイル（合成画像ファイル）に付加する（ステップＳ１２０３）。このようにして、合成用ダークシェーディング補正が終了した後、システム制御回路５０は画像合成を終了する。
【００７７】
このようにして、解像度が互いに異なる画像を合成する際には、合成範囲についてのみ補正データをロードして、補正計算適用範囲についてのみ、合成画像を補正するようにしたので、処理を高速化することができる。なお、合成領域以外についても補正データをロードして、全ての領域において補正を行うようにしてもよい。
【００７８】
続いて、画像を合成する際、その合成比率を変更した際のダークシェーディング補正について説明する。
【００７９】
図１３は、図１に示す電子カメラにおいて複数の画像を合成する際その合成比率が異なる場合のダークシェーディング補正を説明するためのフローチャートである。以下、図１および図１３を参照して説明する。
【００８０】
合成比率が異なる画像データの合成が開始されると、システム制御回路５０は合成用ダークシェーディング補正を開始する。ここでは、合成比率ｘ：ｙ（ｘおよびｙはそれぞれ１以上の整数）とし、例えば、ｘ＝１、ｙ＝３である。
【００８１】
システム制御回路５０の制御下において、データ補正回路１９１は、合成すべき各画像データに対応するダークシェーディング補正データ（小数）を各画像ファイルからロードする（ステップＳ９０１）。
【００８２】
データ補正回路１９１は、ロードした補正データ（小数）に、合成比率に応じた係数を乗算して、乗算結果を得る（ステップＳ１３０１）。そして、データ補正回路１９１は乗算結果を加算して加算結果を得る（ステップＳ５０２）。続いて、データ補正回路１９１は加算結果を四捨五入して四捨五入結果とする（ステップＳ５０３）。
【００８３】
次に、画像合成回路１９２は画像合成を行った（ステップＳ５０４）後、合成画像データから四捨五入結果を減算する（ステップＳ５０５）。この際、補正データ付加回路１９３は加算結果と四捨五入結果との差を補正データとして画像ファイル（合成画像ファイル）に付加する（ステップＳ９０２）。このようにして、合成用ダークシェーディング補正が終了した後、システム制御回路５０は画像合成を終了する。
【００８４】
図１４は、図１３で説明した合成比率が異なる画像データを合成する場合のダークシェーディング補正の一例を説明するための図である。
【００８５】
図１４では、画像”１”および”２”をｘ：ｙ＝１：３の割合で合成しようとしている。ここでは、画像”１”は補正データ６００を備え、画像”２”は補正データ６０１を備えるものとする。上記の画像”１”および”２”を合成する際に、補正データ６００および６０１は四捨五入されて、それぞれ四捨五入補正データ６０２および６０３とされる。２つの画像”１”および”２”を合成した際、合成比率は１：３であるから、合成比率に応じて、補正データ６０２に係数１（ｘ倍）を乗じ、補正データ６０３に係数３（ｙ倍）を乗じて加算すると、換算補正データ１４０１となる。
【００８６】
ここで、補正データ６０２と補正データ６００との差に係数１を乗算した乗算結果と補正データ６０１と補正データ６０３との差に係数３を乗算した乗算結果とを加算すると、補正データ１４０２が得られる。そして、この補正データ１４０２を四捨五入すると、補正データ１４０３が得られる。続いて、補正データ１４０１から補正データ１４０３を減算すると、補正データ１４０４が得られる。つまり、合成画像データに対応する補正データは補正データ１４０４となる。
【００８７】
一方、２つの画像の補正データ６００および６０１についてそれぞれ係数１および係数３を乗算した後、加算すると、補正データ１４０５が得られる。そして、補正データ１４０５を四捨五入すると、補正データ１４０６となる。この補正データ１４０６は補正データ１４０４と同様であり、合成比率が異なる画像合成の際の補正データ１４０４は反映させるべき補正データ１４０６と一致することが分かる。
【００８８】
具体的には、画像”１”において補正データ６００の１列目は”１．６”であり、四捨五入すると、補正データ６０２の１列目のように”２．０”になる。つまり、１列目については”０．４”加算されることになる。他の列についても同様にして、四捨五入される。
【００８９】
画像”２”においては、補正データ６０１の１列目は”１．８”であり、四捨五入すると、補正データ６０３の１列目のように”２．０”となる。つまり、１列目については”０．２加算されることになる。他の列においても同様にして四捨五入される。
【００９０】
合成比率は１：３であるから、補正データ６０２の１列目”２．０”に係数１を乗算した乗算結果と補正データ６０３の１列目”２．０”に係数３を乗算した結果とを加算すると、補正データ１４０１の１列目”８．０”が得られる。
【００９１】
一方、前述のように、補正データ６０２の１列目については”０．４”加算されており、補正データ６０３の１列目は”０．２加算されている。従って、”０．４”に係数１を乗算した乗算結果と”０．２”に係数３を乗算した乗算結果を加算すると、補正データ１４０２の１列目のように”１．０”となる。そして、補正データ１４０２を四捨五入した結果である補正データ１４０３の１列目は”１．０”となる。
【００９２】
そして、補正データ１４０３を補正データ１４０１から減算すると、補正データ１４０４の１列目は”７．０”となる。これは、合成画像データに反映すべき補正データ１４０６の１列目と同一の値であることが分かる。
【００９３】
続いて、ここでは、チャネル（ｃｈ）別ＡＤ変換撮像における画像合成について説明する。
【００９４】
図１５はｃｈ別ＡＤ変換撮像で用いられる撮像システムの一例を示すブロック図である。
【００９５】
図１５を参照して、図１で関連して説明したように、撮像素子１４から読み出されたアナログ信号はＡ／Ｄ変換器１６によってデジタル信号に変換される。図１５に示す例では、Ａ／Ｄ変換器１６（Ａ／Ｄ変換手段）は４つのＡ／Ｄ変換部１６１〜１６４を有している。これによって、撮像素子１４からの読出しを高速化するために複数の画素データを同時に読出して、Ａ／Ｄ変換を並列処理するようにする。
【００９６】
このように、Ａ／Ｄ変換を並列処理すると、複数の画素データ（ここでは、４つの画素データ）は互いに異なる経路を介して画像処理・補正回路１９又はメモリ制御回路２２に入力されることになる（図１５においては、画像処理・補正回路１９の図示は省略されている）。これによって、オフセット誤差が生じる可能性がある。
【００９７】
このようなオフセット誤差を補正して、複数の画像データを合成する際には、上述の第１〜第４の例で説明したように、補正データの小数を合成画像データに反映させる必要がある。
【００９８】
図１６は、画像データを合成する際に行われるオフセット誤差の補正を説明するためのフローチャートである。以下、図１および図１６を参照して説明する。
【００９９】
画像合成が開始されると、システム制御回路５０は合成用ダークシェーディング補正を開始する。ここでは、補正データメモリ３３にはＡ／Ｄ変換オフセット補正のための補正データ（Ａ／Ｄ補正用データと呼ぶ）が予め記録されているものとする。
【０１００】
補正データ回路１９１は、まず、メモリ３３から、合成すべき画像データの各々に対応するＡ／Ｄ補正用データをロードする（ステップＳ１６０１）。続いて、補正データ回路１９１は、Ａ／Ｄ補正用データについてＡ／Ｄ補正データの整数値（四捨五入したもの）と当該補正データとの差（小数データ）を加算して、加算結果を得る（ステップＳ５０２）。そして、補正データ回路１９１は当該加算結果を四捨五入して四捨五入結果とする（ステップＳ５０３）。次に、画像合成回路１９２は画像データを合成して合成画像データとし（ステップＳ５０４）。そして、画像合成回路１９２は合成画像データから四捨五入結果を減算して補正後の合成画像データとする（ステップＳ５０５）。
【０１０１】
画像データを合成する際、補正データ付加回路１９３は加算結果と当該加算結果の整数値との差を小数データとして補正データメモリ３３に書き込む（ステップＳ５０６）。このようにして、合成用ダークシェーディング補正が終了すると、システム制御回路５０は画像合成を終了する。
【０１０２】
続いて、黒画像減算画像の画像合成について説明する。長秒撮影による画像はＳ／Ｎ（信号対雑音比）が悪化する。このため、同一の撮影条件における黒画像（黒画像データ）を減算してＳ／Ｎを改善することが行われる。黒画像を減算した画像は、水平ダークシェーディングはなくなるため補正の必要がなくなる。
【０１０３】
図１７は、一枚毎の画像データを生成する際のダークシェーディング補正を説明するためのフローチャートである。以下、図１および図１７を参照して説明する。
【０１０４】
ダークシェーディング補正が開始されると、システム制御回路５０は、当該画像データに関して、画像データ生成の際に黒画像減算が行われているか否かについて確認する（ステップＳ１７０１）。なお、画像データに対して黒画像減算を行ったか否かを示すデータが付加されている。
【０１０５】
黒画像減算が行われていないと（ステップＳ１７０１において、ＮＯ）、システム制御回路５０の制御下で、データ補正回路１９１は補正データを補正データメモリ３３から読出す（ステップＳ４０１）。そして、データ補正回路１９１は補正データを四捨五入して、四捨五入補正データとする（ステップＳ４０２）。続いて、データ補正回路１９１は四捨五入補正データを画像データに加算する（ステップＳ４０３）。
【０１０６】
補正データ付加回路１９３は、補正データと四捨五入補正データとの差を画像ファイルに付加補正データとして付加して（ステップＳ８０１）、ダークシェーディング補正が終了する。ダークシェーディング補正が終了すると、この画像ファイルは記憶媒体２００に記憶される。
【０１０７】
一方、黒画像減算が行われていると（ステップＳ１７０１において、ＹＥＳ）、システム制御回路５０の制御下において、データ補正回路１９１は画像データに付加する補正データをゼロに設定する（ステップＳ１７０２）。そして、画像合成回路１９２は当該補正データを合成画像ファイルに付加して、ダークシェーディング補正を終了する。ダークシェーディング補正が終了すると、この画像ファイルは記憶媒体２００に記憶される。
【０１０８】
なお、画像データについて黒画像減算が行われている場合には、当該画像データに関する補正データをメモリ３３から読み出さないようにしてもよい。
【０１０９】
このようにして、本実施の形態では、複数の画像データを合成して合成画像データとする際においても、常に適正な補正を行うことができ、その結果、合成画像データに固定パターンノイズが生じることがない。
【０１１０】
上述の説明から明らかなように、図１において、システム制御回路５０および画像処理・補正回路１９が第１の演算手段、第２の演算手段、および補正手段として機能する。また、画像処理・補正回路１９は補正データ付加手段としても機能する。さらに、システム制御回路は判定手段として機能する。加えて、画像処理・補正回路１９は乗算手段として機能する。
【０１１１】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１１２】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を、画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有する制御プログラムを、画像処理装置が備えるコンピュータに実行させるようにしてもよい。この際、制御方法および制御プログラムは、少なくとも記憶ステップ、第１の演算ステップ、第２の演算ステップ、および補正ステップを有することになる。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１１３】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１４】
１４  撮像素子
１６  Ａ／Ｄ変換器
１９  画像処理・補正回路
２２  メモリ制御回路
３０  画像メモリ
３３  補正データメモリ
５０  システム制御回路
６９  画像合成スイッチ
１９１  データ補正回路
１９２  画像合成回路
１９３  補正データ付加回路
【図１】
2012095204.tif 000003
【図２】
2012095204.tif 000004
【図３】
2012095204.tif 000005
【図４】
2012095204.tif 000006
【図５】
2012095204.tif 000007
【図６】
2012095204.tif 000008
【図７】
2012095204.tif 000009
【図８】
2012095204.tif 000010
【図９】
2012095204.tif 000011
【図１０】
2012095204.tif 000012
【図１１】
2012095204.tif 000013
【図１２】
2012095204.tif 000014
【図１３】
2012095204.tif 000015
【図１４】
2012095204.tif 000016
【図１５】
2012095204.tif 000017
【図１６】
2012095204.tif 000018
【図１７】
2012095204.tif 000019
【図１８】
2012095204.tif 000020
【図１９】
2012095204.tif 000021