(57)【要約】【課題】  主被写体に対しデフォーカスした被写体など、距離の異なるボケた被写体に対しても色ズレを好適に改善する。【解決手段】  画像に対して収差の補正処理を行う画像処理装置であって、画像を複数のエリアにし、それぞれのエリアにおける被写体距離１４、１５を取得して、それぞれのエリアにおけるデフォーカス量を求め、エリア毎に被写体距離およびデフォーカス量に応じた補正量をデータベース１０９から取得して、収差の補正処理を行う。【選択図】  図１
2013240022.tif 000002
【特許請求の範囲】
【請求項１】
画像に対して収差の補正処理を行う画像処理装置であって、
前記画像を複数のエリアに分割し、それぞれのエリアにおける被写体距離およびデフォーカス量を取得する取得手段と、
エリア毎に、前記被写体距離および前記デフォーカス量に応じた補正量を取得して、収差の補正処理を行う処理手段を有することを特徴とする画像処理装置。
【請求項２】
前記エリア毎に、前記被写体距離、前記デフォーカス量、および、該エリアの像高に応じた補正量を取得して、収差の補正処理を行う処理回路を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エリアは、前記画像を取得した撮像手段における光学系の特性に基づいて複数のエリアに分割されていることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記光学系の光軸を基準とした像高が大きくなるほど、前記複数のエリアは細かく分割されていることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記収差は、歪曲収差、倍率色収差、および、像面湾曲の少なくともいずれかによる収差であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記処理手段は、ＲＧＢの色毎に、前記被写体距離および前記デフォーカス量に応じた歪曲収差の補正量を取得して歪曲収差を補正することで、倍率色収差も軽減することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
請求項１乃至６のいずれかに記載の画像処理装置と、前記画像を取得する撮像手段とを有することを特徴とする撮像装置。
【請求項８】
画像に対して収差の補正処理を行う画像処理方法であって、
前記画像を複数のエリアに分割し、それぞれのエリアにおける被写体距離およびデフォーカス量を取得するステップと、
エリア毎に、前記被写体距離および前記デフォーカス量に応じた補正量を取得して、収差の補正処理を行うステップを有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像光学系を通して撮像される画像を処理する技術に関するものである。
【背景技術】
【０００２】
近年、コンパクトデジタルカメラ等の撮像装置では、特にズームレンズの広角側において、樽型歪曲収差の発生量が大きくなるものが増えている。このような撮像装置を設計する際に、敢えて光学レンズに残存する歪曲収差量を増やし、撮影で得られた画像信号に生じている歪曲収差をデジタル画像処理によって補正する構成とすることがある。デジタル画像処理による歪曲収差補正は、一般的には、広角端で発生する樽型の歪曲収差を、画像の引き伸ばし移動、補間処理などによって補正する。
【０００３】
光学レンズに歪曲収差が残存することを許容することにより、光学レンズの設計の自由度が増し、レンズの枚数削減、使用するレンズの小型化、あるいは、低コスト化等が達成しやすくなる。
【０００４】
ここで、歪曲収差は、被写体までの距離に依存して変化することが知られている（特許文献１を参照）。特許文献１では、被写体までの距離に応じて歪曲収差補正を変える際の計算方法を示している。
【０００５】
同様に光学レンズに残存する倍率色収差量を増やすように設計する例も増えている。倍率色収差は、概略的にはＲ（赤）、Ｇ（緑）、Ｂ（青）の各色チャンネルに対して異なる歪曲収差が残存していることに相当する。そこで、色チャンネル毎に個別の歪曲収差補正を行い、各色チャンネル間の歪曲収差量を揃えることで、デジタル画像処理による倍率色収差補正が可能になる。
【０００６】
但し、倍率色収差補正の場合は、各色チャンネルの僅かな差を合わせ込む必要があるため、単純に歪曲収差を減らすだけの歪曲収差補正よりも、正確な補正精度が必要となる。
【０００７】
更に、倍率色収差が所謂、横収差であるのに対して、軸外において色チャンネル毎に結像点が軸上像面に対して前後（光軸）方向にずれたことによる、縦収差に該当する色収差もある。言い換えれば、色チャンネル毎に像面湾曲が異なっており、色チャンネル毎にデフォーカスしていることに相当する。このような縦収差に該当する軸上色収差が生じると、画像の周辺部分の被写体像を囲うように色の縁取りが見えてしまう。これに対し、横収差に該当する倍率色収差が生じると、被写体像の画像中心側の端部、あるいは、その反対側の端部のいずれかに色つきが見えてしまう。
【０００８】
このような色付きは、例えば青紫色のにじみの場合にはパープルフリンジなどの名称で呼ばれることがあり（特許文献２を参照）、当該色にじみ部分に対して、彩度調整や補間処理などで軽減する対応がなされてきた。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−２８６５４８号公報
【特許文献２】特開２００６−１４２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献１に開示される技術では、歪曲収差が被写体までの距離に依存するため、距離毎に異なる補正曲線を使用するが、同一画像に撮影される全ての被写体が合焦状態でない場合、十分な補正ができない問題があった。即ち、異なる距離の歪曲収差補正条件を有していても、それらの被写体の全てが合焦状態であることは希である。異なる距離の被写体が全て合焦状態となるためには、それらの被写体が一つの被写界深度内にある場合に限定される。
【００１１】
例えば、異なる距離に存在する複数の被写体を撮影する場合、主な被写体に対しては合焦状態にあっても、そのときの被写界深度内に含まれていない合焦範囲外の被写体も写り込んでいる場合がある。それらの主被写体は、ややボケた、或いは大きくボケた、デフォーカス状態で写り込んでいることになる。
【００１２】
このような場合、たとえ被写体の距離ごとの歪曲収差補正量を用いたとしても、十分な補正を行うことができないことを本出願人は見出した。
【００１３】
すなわち、色チャンネル毎に歪曲収差補正を行うことで倍率色収差も同時に補正する場合、合焦状態にある被写体については有効な歪曲収差補正量を用意していたとしても、この補正量のデータでは、非合焦状態である被写体に対しては十分な補正ができない。すなわち、合焦状態にある被写体とは大きく異なる距離に存在する被写体については、エッジ部分に色の付いた縁取りができたり、色が滲んでボケが汚くなったりすることがあった。
【００１４】
また、特許文献２に示されるパープルフリンジなどの色にじみについても、非合焦状態にある被写体に対しては十分な補正ができないという問題があった。
【００１５】
そこで、本願は、合焦状態の被写体だけでなく、非合焦状態の被写体に対しても、色ズレを好適に改善することができる画像処理装置、撮像装置、および画像処理方法を提供することである。
【課題を解決するための手段】
【００１６】
上記の目的を達成するために、本願発明は、画像に対して収差の補正処理を行う画像処理装置であって、前記画像を複数のエリアに分割し、それぞれのエリアにおける被写体距離およびデフォーカス量を取得する取得手段と、エリア毎に、前記被写体距離および前記デフォーカス量に応じた補正量を取得して、収差の補正処理を行う処理手段を有することを特徴とするものである。
【発明の効果】
【００１７】
本発明によれば、主被写体に対しデフォーカスした被写体など、距離の異なるボケた被写体に対しても色ズレを好適に改善することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態における画像処理装置としてのデジタルカメラの概略構成を示す図である。
【図２】デフォーカスにより色のエッジがボケて拡がる様子を示す説明図である。
【図３】各色チャンネルの歪曲収差、即ち倍率色収差の概念を説明する概念図である。
【図４】デフォーカスにより色のエッジを定義する方法を示す説明図である。
【図５】画像上の分割されたエリアを示す図である。
【図６】画像内に距離の異なる被写体が混在する状態を模式的に示す図である。
【図７】像高により倍率色収差が異なる状態を模式的に示す図である。
【図８】倍率色収差をエリア毎に補正する概念を模式的に示す図である。
【図９】像面湾曲の概念を模式的に示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実現するための構成について、図を用いて詳細な説明を行う。
【００２０】
図１は、本発明の実施形態における画像処理装置としてのデジタルカメラの概略構成を示す図である。図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り装置、および、シャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子１０２はＲ（赤）、Ｇ（緑）、Ｂ（青）を含むベイヤー配列のＣＣＤで構成されているものとする。
【００２１】
前置処理回路１０３は、ＣＤＳ（Ｃｏｒｒｅｌｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路や増幅回路を備えている。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。
【００２２】
画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調補正処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。この合焦値は、被写体のコントラスト情報から得られる値であり、特定の周波数におけるコントラストが高いほど、合焦値は大きな値となる。画像処理回路１０５はＡ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０８から読み出した画像信号に対しても同様の画像処理を行うことができる。画像処理回路１０５は更に、記録媒体１０８に画像信号を記録するために符号化処理を行って画像データを生成したり、記録媒体１０８に記録された画像データの復号処理を行って画像信号を復元したりする。
【００２３】
レンズ駆動回路１０６は、制御回路１０７からの指令に従って、光学系１０１に含まれるレンズ群を駆動し、光学系１０１のズーム状態やフォーカス状態を変更する。
【００２４】
制御回路１０７は、本実施形態のデジタルカメラを構成する各回路を制御して、デジタルカメラを全体として動作させる。画像処理回路１０５で処理された画像信号から得られる輝度値や合焦知に基づいて、レンズ駆動回路１０６や撮像素子１０２の駆動制御も行う。制御回路１０７はレンズ駆動回路１０６に光学系１０１に含まれるフォーカスレンズを移動させ、それぞれのフォーカスレンズの位置に応じた合焦値を画像処理回路１０５から得ることにより、それぞれの被写体のフォーカス位置を得ることができる。
【００２５】
記録媒体１０８は、符号化された画像信号を記録するメモリーであって、例えばフラッシュメモリ（登録商標）やＳＤカード等の半導体メモリや、ブルーレイ（Ｂｌｕ−ｒａｙ）ディスク、やＤＶＤ、ＣＤ、テープ等の光学的／磁気的記録媒体である。記録媒体１０８は、デジタルカメラに着脱可能に構成されたものであっても、デジタルカメラに内蔵されたものであってもよい。
【００２６】
データベース１０９は、各色の収差補正量を予め記憶しているものであって、光学系１０１のデフォーカス量、被写体距離、および、像高に応じて分割されたエリア別に、収差補正量を得ることができるデータを記憶している。
【００２７】
バス１１０は、画像処理回路１０５、レンズ駆動回路１０６、制御回路１０７、記録媒体１０８、および、データベース１０９の間で画像や指令をやり取りするために用いられる。
【００２８】
画像処理回路１０５は、画像信号をＲ（赤）、Ｇ（緑）、Ｂ（青）の各色チャンネルに対して個別にデジタル画像処理により歪曲収差補正を行うことにより、画像周辺部での横倍率差を低減し、色ズレを減らすことができる。歪曲収差は被写体までの距離に応じて変動し、且つ、合焦状態によっても変動する。
【００２９】
制御回路１０７は、画像処理回路１０５およびレンズ駆動回路１０６を協働させ、フォーカスを合わせたい主被写体に合焦させて、画像を撮影する。そのとき、同一画像内には、主被写体の被写界深度の範囲外であり、倍率色収差を補正するための条件に変動が生ずる程度デフォーカスした被写体が写り込むことがある。
【００３０】
制御回路１０７は、上述したようにそれぞれの被写体のフォーカス位置を得ることができる。そのため、画像処理回路１０５は、画像内の各被写体の被写体距離を取得し、各被写体の像高、被写体距離、および、各色チャンネルの歪曲収差補正量情報を用いて、歪曲収差補正を行う。
【００３１】
本実施形態のようなデジタルカメラでは、オートフォーカス方式としては、所謂ＴＶＡＦや山登りＡＦと呼ばれる方式が一般的である。光学系１０１に含まれるフォーカスレンズを繰り出し／繰り込み方向に走査（ＡＦ走査）させながら、画像処理回路１０５で得られる画像内の所定の箇所のコントラスト（合焦値）を観測し、コントラストが最大になるフォーカス位置を合焦位置とする。制御回路１０７は、画像内を複数のエリアに分割し、画像処理回路１０５から得られる合焦値からそれぞれのエリアにおけるフォーカス位置を検出することで、エリア毎の被写体距離を得ることができる。
【００３２】
一方で、ＲＧＢ各色チャンネルの、各像高における、各被写体距離の合焦時の歪曲収差量は、撮影レンズ設計値から、製造誤差分を勘案しつつ算出することができる。更に、合焦条件から外れた、即ちデフォーカスした場合の、色チャンネル毎のボケの状態も、予め設計値及び実測などから求めておくことができる。
【００３３】
図２は、ＲＧＢの各色チャネルの歪曲収差の様子を模式的に示したものである。図２において、１は撮像画像の外縁、２〜４は、ＲＧＢの色毎の歪曲収差を有した状態（歪曲補正前）での、画像の外縁に対するある像高比率の枠を示したものである。なお、枠２はＲ、枠３はＧ、枠４はＢに該当する。このように、同一の撮影距離において各色チャンネルに歪曲収差量が異なっている。この図２に示した枠２〜４は、画面内の全ての位置において合焦している場合の像高比率を表している。即ち、平面の被写体を合焦状態にて撮影した場合に相当する。このような各色チャンネルの歪曲収差の被写体距離を異にした場合のものが複数存在することになる。
【００３４】
また、図３は、ある撮影距離の、ある像高におけるデフォーカス量に応じたボケによる色毎のエッジ像の拡がりを示したものである。合焦位置から外れたところでは、像の端部（エッジ部分）などはボケてしまい、エッジ部分は鈍った像となる。このボケによる色の拡がりの大きさを彩度、明度を勘案した評価量で評価し、この評価値が予め定めた閾値と等しくなる座標がどこであるかをもって、その条件でのエッジ像の（ボケを含めた）伸び分／縮み分の長さを示すものである。
【００３５】
このエッジ像の拡がりの求め方を模式的に示したのが図４である。図４において、５は合焦時のある色チャネルのエッジ像を、彩度、明度を勘案して決めた評価量によって表示したものである。このエッジ像は値の異なる２つの信号の境界部に相当しており、合焦状態であれば、理想的には、そのエッジ像は図４の左側の図に示すようにその評価値が直線的に変化する。合焦時にこの評価値が予め定めた閾値と等しくなる座標を、エッジ像の拡がりを求める際の基準点とする。これに対し、被写体が合焦状態から外れ、デフォーカス状態となると、エッジ像は鈍り、その評価値が曲線６で示される。そこで、この曲線６で示された評価値が予め定めた閾値７に達したときの座標を求め、この座標の合焦時からのズレ量をエッジ像の拡がり８として定義する。
【００３６】
図５は、画面上を複数のエリアａｒに分割した例を示すものである。この複数のエリアａｒは、画像の中心に近いほど粗く、画像の中心から離れるほど細かく分割されている。制御回路１０７は、エリア毎にそのエリアにおける被写体距離及び合焦状態を把握する。概ね、像高が大きくなるに従って、歪曲収差量および倍率色収差量は大きくなるが、変化の仕方はレンズの特性に依存する。この分割の間隔は、あるひとつの撮影レンズの歪曲収差の量に合わせて決定されたものである。つまり、エリアａｒは、撮像光学系に残存する光学的な歪曲収差に対応して分割されている。歪曲収差量が少ない像高では粗い分割で、歪曲収差量が多い像高では細かい分割でエリアａｒを分割する。また、歪曲収差量の像高に対する変化量に応じて、エリア分割数を変更しても良い。
【００３７】
この例では、デジタル画像処理の速度を考慮して水平垂直方向の分割が主体となっているが、撮像光学系の特性を主に考慮した場合は同心円状、放射状の分割が好ましい場合もある。なお、この例では、光学系１０１の光軸の中心と、撮像画像の中心が一致していることを前提として説明を行っている。後続の中心と撮像画像の中心が一致していなければ、光軸の中心を基準として、像高を求める必要がある。
【００３８】
ＡＦ走査時（画像取得時）に、制御回路１０７は、図５に示す分割されたエリアａｒ毎に、写り込む被写体の距離情報を合焦非合焦に拘わらず取得し、主被写体に合焦した状態において、画像のエリアａｒ毎の被写体距離を確定する。勿論、主被写体以外の被写体は合焦から外れた、所謂ボケた画像である場合もある。制御回路１０７は、それぞれのエリアａｒの被写体距離と、主被写体が存在するエリアの被写体距離の差分から、それぞれのエリアａｒにおけるデフォーカス量を演算し、被写体距離とともに不図示のメモリに記憶する。
【００３９】
データベース１０９には、各エリアａｒの被写体距離毎とデフォーカス量毎の、先述のレンズ設計値に基づいた歪曲収差補正量が予め格納されている。したがって、画像処理回路１０５は、制御回路１０７から各エリアａｒの被写体距離毎とデフォーカス量を受け取り、データベース１０９に記憶された対応する歪曲収差補正量を読み出す。こうすることで、全ての被写体に対して、色毎に、その被写体の存在するエリア（像高）、及び、その被写体のデフォーカス量に応じた適切な歪曲収差補正を行うことができ、それによって倍率色収差も同時に解消することが可能になる。
【００４０】
図６に、近距離の主被写体（人物）９と背景１０とが同時に写り込んでいる例を示す。背景１０は、デフォーカス状態となっている遠景である。同図中に示したエリア１１は、像高が高く、遠距離に存在しデフォーカス状態である背景１０を含んでいる。エリア１２は、像高が低く、遠距離に存在しデフォーカス状態である背景１０を含んでいる。エリア１３は、像高が低く、遠距離でデフォーカス状態である背景１０と、近距離で合焦状態である主被写体９（人物）（共に低像高）が混在している。これらエリア１１、１２、１３に対して、それぞれのエリアでのデフォーカス量に応じたＲＧＢ各色チャンネルのエッジの拡がり量を模式的にグラフで示したものが図７である。これは図３と同じ様式で示している。
【００４１】
図７において、横軸上の垂直に伸びた実線で示す合焦点１４の位置が、合焦状態である主被写体９の被写体距離を示しており、横軸上の垂直に伸びた点線１５の位置が、それぞれのエリアにおける背景１０の被写体距離（デフォーカス量）を示している。図７の上図は、エリア１２および１３におけるエッジの拡がりを示し、下図は、エリア１１におけるエッジの拡がりを示している。互いに像高の異なるエリア１１と、エリア１２および１３とでは、点線１５が示すデフォーカス量に対するＲＧＢ各色チャンネルのエッジの拡がり量が異なる。エリア１１におけるＧのエッジの拡がり量と、Ｂのエッジの広がり量を１７、１８にて示す。このエッジの拡がり量１７、１８に基づいて、これらのエリア１１の各色の歪曲収差補正量を変更する。なお、本実施形態において、歪曲収差をエリア毎に補正する概念を模式的に示すと、図８のようになる。ＲＧＢの各色チャンネルの歪曲収差は、エリア１１の方がエリア１３に比べて大きくなっており、それに伴い倍率色収差も大きくなる。そのため、エリアごとに歪曲収差を補正する。
【００４２】
因みにエリア１３のようにひとつのエリアに近距離の合焦した主被写体９と遠距離のデフォーカスした背景１０が混在していても、像高が低いため、デフォーカスによる各色のエッジの拡がりの変化は小さく、問題にならない。像高が高いところほど、エリアは細かく区切られるため、被写体が混在することは起こりにくくなる。また、どうしても混在する場合は、合焦している主被写体を優先した補正を行う。
【００４３】
また、前述のように、ＲＧＢの各色チャンネルで撮像光学系に残存した光学的な像面湾曲が異なるという問題がある。
【００４４】
これは図９（ａ）に示すように、主被写体１９に対して、ＲＧＢのうちＧチャンネルでは、結像２１のように不図示のイメージセンサ上に結像しているのに対し、ＲＢチャンネルでは同じ被写体の像が、手前に結像２２している場合がある。これはＲＢチャンネルの像面がＧチャネルの像面に対し、アンダー側に像面湾曲していることを示す。このとき得られる画像は、像面湾曲による収差に起因して、色ズレ又はＧの像の縁の周りにＲＢの像のボケた縁取りが付いて（色付きが）見える。同時に、図９（ｂ）に示すように主被写体１９よりも近距離側にある別な被写体２０が同じ画像に写り込んでいる場合、ＲＢの像はイメージセンサ上に結像２２しているのに対し、Ｇの像は奥側に結像２１してオーバー側にデフォーカスし、色の縁取りが付いて見える。
【００４５】
このケースでも同様に、エリア毎の像高と被写体距離の情報を用いて、当該色ズレ又は色付き部分に対して、彩度、明度の選択的な調整や補間処理などで軽減する処理を行う。こうすることで、同一画面内に異なる距離の複数の被写体がデフォーカスして混在する場合でも、像面湾曲による収差の補正を適切に行うことができる。
【００４６】
以上説明したように、被写体距離だけでなく、その被写体のデフォーカス量も考慮して、色毎に収差補正を行うことで、画像内に生じている色ズレを好適に改善することができる。
【符号の説明】
【００４７】
６  デフォーカスしたエッジ像
７  エッジ位置を評価する閾値
８  エッジ像の拡がり
１１〜１３  エリア
１４，１５  被写体距離
１７，１８  倍率色収差補正量
ａｒ  エリア
【図１】
2013240022.tif 000003
【図２】
2013240022.tif 000004
【図３】
2013240022.tif 000005
【図４】
2013240022.tif 000006
【図５】
2013240022.tif 000007
【図６】
2013240022.tif 000008
【図７】
2013240022.tif 000009
【図８】
2013240022.tif 000010
【図９】
2013240022.tif 000011