(57)【要約】【課題】  撮像光学系の球面収差、非点収差、コマ収差等による画像の劣化は画面の動径方向および方位角方向に垂直なエッジで発生が顕著に見られる。さらに製造上の誤差により、これらの劣化の増大や、画面の４隅で劣化の度合の異なるいわゆる片ボケが起こる。【解決手段】  軸対称な撮像光学系を有する撮像装置からの信号を処理する画像処理装置であって，該撮像光学系の光軸と該撮像装置の撮像面との交点を原点とする撮像面上の座標を得る手段を有し，該座標の動径方向に垂直なエッジを強調するエッジ強調手段と，該座標の方位角方向に垂直なエッジを強調するエッジ強調手段の２つのエッジ強調手段を有する。【選択図】  図１
2006211218.tif 000002
【特許請求の範囲】
【請求項１】
軸対称な撮像光学系を有する撮像装置からの信号を処理する画像処理装置であって，該撮像光学系の光軸と該撮像装置の撮像面との交点を原点とする撮像面上の座標を得る手段を有し，該座標の動径方向に垂直なエッジを強調するエッジ強調手段と，該座標の方位角方向に垂直なエッジを強調するエッジ強調手段の２つのエッジ強調手段を有することを特徴とする画像処理装置。
【請求項２】
前記２つのエッジ強調手段は，該座標の動径の大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記２つのエッジ強調手段は，該座標の方位角の大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は，前記座標の動径の情報を，該座標の動径の２乗を求めることにより得ることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理装置は，前記座標の方位角の情報を，該座標の方位角の正接値を求めることにより得ることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記２つのエッジ強調手段は，撮像光学系の画角の大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記２つのエッジ強調手段は，撮像光学系の絞りの大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記２つのエッジ強調手段は，被写体距離の大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
軸対称な撮像光学系を有する撮像装置からの信号を処理する画像処理方法であって，該撮像光学系の光軸と該撮像装置の撮像面との交点を原点とする撮像面上の座標を得る手段を有し，該座標の動径方向に垂直なエッジを強調するエッジ強調手段と，該座標の方位角方向に垂直なエッジを強調するエッジ強調手段の２つのエッジ強調手段を有することを特徴とする画像処理方法。
【請求項１０】
前記２つのエッジ強調手段は，該座標の動径の大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記２つのエッジ強調手段は，該座標の方位角の大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項９に記載の画像処理方法。
【請求項１２】
前記画像処理方法は，前記座標の動径の情報を，該座標の動径の２乗を求めることにより得ることを特徴とする請求項９に記載の画像処理方法。
【請求項１３】
前記画像処理方法は，前記座標の方位角の情報を，該座標の方位角の正接値を求めることにより得ることを特徴とする請求項９に記載の画像処理方法。
【請求項１４】
前記２つのエッジ強調手段は，撮像光学系の画角の大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項９に記載の画像処理方法。
【請求項１５】
前記２つのエッジ強調手段は，撮像光学系の絞りの大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項９に記載の画像処理方法。
【請求項１６】
前記２つのエッジ強調手段は，被写体距離の大きさに従ってエッジ強調の比率を変化させることを特徴とする請求項９に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像処理装置および画像処理方法に関し，特に，カメラ，内視鏡等軸対称な撮像光学系を有する撮像装置からの信号を処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
カメラ，内視鏡等の撮像装置では，一般に一つの光軸に対し，軸対称な形状を持つレンズ等の撮像光学系が用いられている。このような撮像光学系の結像特性は，撮像面上では画面の中心から動径方向への距離のみに関係し，変化するものとなり，具体的にはこれが，球面収差，非点収差，コマ収差，像面歪曲，色収差などになって画像の劣化として現れる。従来これらの収差による画像の劣化を補正するためには，レンズ等の撮像光学系を最適化し，これらの収差が最小となるように構成することが行われている。また，画像処理においては，エッジ強調などの処理を行うことにより，画像のコントラストの劣化を防ぐ等の方法がとられてきた。
【０００３】
しかしながら，撮像素子の小型化・高画素化に伴い，１画素当りのピッチが小さくなりつつあり，レンズの収差補正も困難なものになりつつある。特に撮像光学系のFナンバーが小さくなると，光の回折の影響で，画像の劣化が目立つようになる。このことは，画面の周辺付近で特に顕著に現れる。図５にこの様子を説明する。５１に示す撮像光学系が画面５２に結像する時，画面の中央，いわゆる軸上に収光される光束は，鏡筒を構成するレンズや絞り等の断面が円形で出来ていれば，５３に示すような円形に均等に広がった瞳形状となる。一方，画面の周辺，いわゆる軸外に収光される光束は，口径食の影響により，瞳の大きさが一般に軸上のものより小さいものとなり，形状も５４に示すように画面の動径方向，いわゆるメリジオナル方向と，方位角方向，いわゆるサジタル方向とで異なるものとなる。一般の撮像光学系の場合，メリジオナル方向の方が口径食の影響を受けやすく，メリジオナル方向に収光される光束の立体角の方が，サジタル方向に収光される光束の立体角に比べ，小さくなりやすい。
【０００４】
このことは，軸外では，メリジオナル方向にFナンバーが暗くなりやすく，メリジオナル方向，すなわち画面の方向に回折による画像の劣化が起こりやすいことを意味する。さらに，撮像素子の小型化・高画素化は，撮像光学系の製造精度をより厳しいものとし，撮像光学系の製造誤差による画像の劣化を引き起こしやすくなる。これは例えば，画面のメリジオナル方向で得られる最良ピント面，いわゆるメリジオナル像面５５および，画面のサジタル方向で得られる最良ピント面，いわゆるサジタル像面５６が，設計上の理想像面５２から外れる現象として現れる。一般に製造誤差による影響は，メリジオナル面の方がサジタル面より受けやすく，このため画像もメリジオナル方向の方が劣化が起こりやすいが，製造状態によっては，メリジオナル面５５の方がサジタル面５６より理想像面５２に近いものとなり，サジタル方向の画像劣化が起こる場合もある。さらに，撮像光学系の製造誤差による影響は，画面の方位角方向に均等に起こるものではなく，画面の方位角によって画像の劣化の度合が異なる，いわゆる片ボケと呼ばれる現象が起こる。この様な場合，画像の方位角方向によって，メリジオナル方向とサジタル方向とで画像の劣化の度合が変化することとなる。撮像光学系における画像の劣化を補正するための技術として，特開2003-172873に開示されたものがある。この構成においては，劣化した画像を修復するフィルタとして，回転対称なものが提案されており，上記したようなメリジオナル方向とサジタル方向での劣化の修復の度合を変えることは出来ない。また，同提案には，画像修復を回転対称に行えるようにするため，メリジオナル方向とサジタル方向の画像の劣化を同程度とするよう，撮像光学系のピント位置を理想像面からデフォーカスさせる方法も提案されている。
【特許文献１】特開２００３−１７２８７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながらこの方法では，画面の中央付近の画像の劣化を招いてしまうという不具合がある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため，本発明の画像処理装置および画像処理方法は以下のような構成からなる。
【０００７】
すなわち，軸対称な撮像光学系を有する撮像装置からの信号を処理する画像処理装置であって，該撮像光学系の光軸と該撮像装置の撮像面との交点を原点とする撮像面上の座標を得る手段を有し，該座標の動径方向に垂直なエッジを強調するエッジ強調手段と，該座標の方位角方向に垂直なエッジを強調するエッジ強調手段の２つのエッジ強調手段を有することを特徴とする画像処理装置および画像処理方法を備える。
【発明の効果】
【０００８】
以上説明したように，本発明の実施形態に従えば，画面の中央から動径方向あるいは方位角方向によってエッジ強調の方向と大きさを変えることができ，撮像光学系の設計上および製造上の理由から発生するメリジオナル方向およびサジタル方向でおこる画像の劣化を修復することが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下添付図面を参照して本発明の好適な実施形態について詳細に説明する。
【００１０】
図１は，本発明の構成を表すブロック図である。
【００１１】
図１に示す画像処理装置および画像処理方法は，被写体を光軸に対称な撮像光学系1により撮像部2内にある撮像素子に結像させる。撮像部2には，撮像素子からの信号を画像に出力するための様々なパラメータが記憶されているパラメータ記憶部3が設けられており，撮像光学系1のメリジオナル方向およびサジタル方向の結像性能や，撮像面上の中心位置（x0，y0）を表す情報もこの中に含まれている。（x0，y0）は，撮像光学系の光軸と，撮像素子の撮像面との交点である。撮像部2より得られた信号は座標検出部4で，中心位置（x0，y0）と画像信号のアドレスから，（x0，y0）の位置を原点とする撮像面上の座標（x，y）が算出される。座標（x，y）は，動径方位角算出部5により，動径と方位角の大きさが判定され，これらの大きさから撮像光学系1のメリジオナル方向とサジタル方向の結像性能のデータを得ることができる。ここで，動径と方位角は次の式により求められるものである。
【００１２】
動径：r＝SQRT（x2＋y2）
方位角：φ＝arctan（y／x）
これを動径の長さの２乗r2および方位角の正接値tanφとすれば，
r2＝x2＋y2
tanφ＝y／x
となり，動径方位角算出部5でこの値を求め，動径および方位角の大きさを判定することにすれば，演算量を低減することができる。動径方位角算出部5で求められた動径および方位角の大きさは，BPF作成部6に入力され，これらの値から画像の座標（x，y）におけるエッジ強調に用いられるバンドパスフィルターが作成される。図２に本実施例で用いられるエッジ強調用バンドパスフィルターの特性の例を示す。図２（A），（B）は，座標（x，y）が撮像面の中心から右上に離れていった時のバンドパスフィルターの特性を示したものである。同図（A），（B）では，メリジオナル方向の方がサジタル方向に比べ，画像の劣化の影響が大きい場合に好適なバンドパスフィルターの特性を示している。座標（x，y）が撮像面の中心から右上周辺に離れていくに従い，メリジオナル方向，すなわち動径方向の画像の劣化が大きくなるような場合，同図（A）から（B）に示すように，方向に均等な特性から徐々に動径方向と同じ方向の周波数成分をより強調するバンドパスフィルターに切り替わるよう，BPF作成部6ではエッジ検出用バンドパスフィルターが作成される。図２（C），（D）は，座標（x，y）が撮像面の中心から右上に離れていった時のバンドパスフィルターの特性を示したものである。同図（C），（D）では，サジタル方向の方がメリジオナル方向に比べ，画像の劣化の影響が大きい場合に好適なバンドパスフィルターの特性を示している。座標（x，y）が撮像面の中心から右上周辺に離れていくに従い，サジタル方向，すなわち方位角方向の画像の劣化が大きくなるような場合，同図（C）から（D）に示すように，方向に均等な特性から徐々に方位角方向と同じ方向の周波数成分をより強調するバンドパスフィルターに切り替わるよう，BPF作成部6ではエッジ強調用バンドパスフィルターが作成される。以上図２で説明したように，ある方向のエッジ強調を動径の大きさに応じて変化させるようなバンドパスフィルターは，動径方位角算出部5により座標（x，y）の動径および方位角を求め，動径方向BPF作成部8により動径方向にエッジ強調するバンドパスフィルターを作成し，方位角方向BPF作成部9により方位角方向にエッジ強調するバンドパスフィルターを作成し，これらを混合部10により適切な混合比で足し合わせることにより作成することができる。この混合比は，パラメータ記憶部3に記憶された撮像光学系1の，画面の動径の大きさすなわち像高による，動径方向すなわちメリジオナル方向および方位角方向すなわちサジタル方向の結像性能により決定され，図２（A），（B），（C），（D）に示すような特性を持つバンドパスフィルターが作成される。なお，製造誤差などの影響により，動径のみならず方位角の大きさによっても画像の劣化の度合が異なるような場合は，パラメータ記憶部3に動径に加えて方位角の大きさによって変化する結像特性の情報を保持し，混合部10で与える混合比を動径と方位角の組合せで決定しても良い。図６（A）にある座標の動径方向にエッジ強調を行うバンドパスフィルターを，図６（B）に同じ座標の方位角方向にエッジ強調するバンドパスフィルターとの例を示す。同図（A），（B）に示すバンドパスフィルターを，方位角θ＝0°すなわち画面の水平方向で，5×5タップのデジタルフィルターで構���する場合，以下のような係数を取ることにより実現することができる。
【００１３】
【数１】
2006211218.tif 000003
【００１４】
任意の方位角θにおける動径方向と方位角方向へのエッジ強調フィルタは，以下のように，元となるバンドパスフィルターを，任意の角度θ回転させることにより得ることができる。ここで，元となるバンドパスフィルターが，M×Nタップのものであり，水平方向にi番目，垂直方向にj番目の係数をa[i，j]とする。すなわち，
BPF ＝ （ a[i，j] ）
（i＝1，…，M，j＝1，…，N）
である。このとき，以下の関数を定義する。
【００１５】
h（x，y） ＝ Σ（i＝1，M）Σ（j-1，N）
{ a[i，j]・sinc（x＋i-（M＋1）／2）・sinc（y＋j-（N＋1）／2）}
（ただし，sinc（x） ＝ sin（πx）／（πx） ）
これを時計周りにθ回転させた座標でサンプリングすれば，方位角の方向にθだけ回転したエッジ強調バンドパスフィルターBPF（rot＝θ）を作成することができる。すなわち，
BPF（rot＝θ） ＝ （ h（i・cosθ ＋ j・sinθ， -i・sinθ ＋ j・cosθ ）
（i＝1，…，M，j＝1，…，N）
とすればよい。図６（C），（D）に同図（A），（B）のバンドパスフィルターを60°回転させた例を示す。例えば，元となるバンドパスフィルターが5×5タップの前記した方位角θ＝0°のバンドパスフィルターの場合，上記方法を用いて60°回転したエッジ強調フィルタは，以下のようなものとなる。
【００１６】
【数２】
2006211218.tif 000004
【００１７】
以上のように，図６（B）に示すバンドパスフィルターは，座標の方位角から，その強調すべき周波数の方向を持つデジタルフィルターの係数をその都度計算させても良く，方位角の範囲に応じて有限個数予め用意しておいても良い。また，そのように有限個数用意しておいたデジタルフィルターから，ピークの位置が所望の方向に移動するよう，２つないしはそれ以上の複数のデジタルフィルターの混合比を変化させるようにしても良い。BPF作成部6で作成されたエッジ強調用バンドパスフィルターはエッジ強調処理部7により，撮像面の中心から離れた座標位置ではその座標の動径と方位角の大きさに従って中心からの動径方向もしくは方位角方向に垂直な構造を持つエッジを，所望の量だけ強調することにより，メリジオナル方向もしくはサジタル方向への画像の劣化を補正することができる。
【００１８】
図３は本発明の第２の実施例を示したものである。
【００１９】
同図では，撮像面を中心付近Aと中心からの方位角の範囲によりB〜Qの16の領域に分割し，動径方位角算出部5で算出された動径の値がある値以下である場合はA領域であるとみなし，また方位角の値により，座標がB〜Qのどの範囲に入るかを判定する。方位角の判定には，方位角の値そのものではなく，方位角の正接値を用いることにすれば，演算量を低減することができる。座標が同図A領域にあると判定された場合には，画面の中央付近であり，動径および方位角方向によらず画像の劣化は小さく，この方向へのエッジ強調処理は行わない。B〜Q領域であると判定された場合には，図２（A）の形状でB〜Q領域動径の方向にピークを持つように回転したバンドパスフィルターもしくは，図２（C）の形状でB〜Q領域方位角の方向にピークを持つように回転したバンドパスフィルターが採用され，エッジ強調処理部7で用いられる。このような構成をとることにより，BPF作成部の演算量・記憶量とも大幅に低減することができる。
【００２０】
また，座標の方位角の正接値を用いると，B〜Q領域のうち中心に対称な領域，たとえばBとJ，FとN等は同じ正接値として判定されるが，これらの領域に用いるバンドパスフィルターは同じ特性で良いため，演算量を少なくして良好な判定を行うことができる。
【００２１】
図４は本発明の第３の実施例を示したものである。
【００２２】
同図ではBPF作成部6の構成を簡素化するため，これを水平バンドパスフィルター（H-BPF）41，垂直バンドパスフィルター（V-BPF）42，斜め右バンドパスフィルター（DR-BPF）43，斜め左バンドパスフィルター（DL-BPF）44および４つの乗算器45，46，47，48加算器49より構成している。水平バンドパスフィルター（H-BPF）41は，画像のエッジの水平方向の成分を強調するためのものであり，例えば[-1／2，0，1，0，-1／2]という係数を持つデジタルフィルターが用いられる。同様に垂直バンドパスフィルター（V-BPF）42は，画像のエッジの垂直方向の成分を強調するためのものであり，水平バンドパスフィルター（H-BPF）41と同様の係数を持つデジタルフィルターが用いられる。斜め右バンドパスフィルター（DR-BPF）43は，たとえば以下のような係数を持つデジタルフィルターであり，
【００２３】
【数３】
2006211218.tif 000005
【００２４】
画像の斜め右上へのエッジを強調するものである。同様に斜め左バンドパスフィルター（DL-BPF）44は，たとえば以下のような係数を持つデジタルフィルターであり，
【００２５】
【数４】
2006211218.tif 000006
【００２６】
画像の斜め左上へのエッジを強調するものである。斜め右バンドパスフィルター（DR-BPF）43および斜め左バンドパスフィルター（DL-BPF）44は，画像のメリジオナル方向およびサジタル方向へのエッジ強調を行うためのものであるが，どちらの方向へのエッジ強調の役割をはたすかは，座標の方位角によって変化するものである。乗算器45，46，47，48では，図１に示された動径方位角算出部5により算出された，座標の動径と方位角の値に応じて，水平バンドパスフィルター（H-BPF）41，垂直バンドパスフィルター（V-BPF）42，斜め右バンドパスフィルター（DR-BPF）43，斜め左バンドパスフィルター（DL-BPF）44の出力に掛け算する係数KH，KV，KDR，KDLが決定される。方位角が水平に近い場合は，水平方向がメリジオナル方向，垂直方向がサジタル方向となるため，メリジオナル方向のエッジをより強調したい場合は，KHの値が他に比べて大きくなり，サジタル方向のエッジをより強調したい場合は，KVの値が他に比べて大きくなる。方位角が垂直に近い場合は，垂直方向がメリジオナル方向，水平方向がサジタル方向となるため，メリジオナル方向のエッジをより強調したい場合は，KVの値が他に比べて大きくなり，サジタル方向のエッジをより強調したい場合は，KHの値が他に比べて大きくなる。方位角が45°方向に近い場合は，斜め右方向がメリジオナル方向，斜め左方向がサジタル方向となるため，メリジオナル方向のエッジをより強調したい場合は，KDRの値が他に比べて大きくなり，サジタル方向のエッジをより強調したい場合は，KDLの値が他に比べて大きくなる。方位角が135°方向に近い場合は，斜め左方向がメリジオナル方向，斜め右方向がサジタル方向となるため，メリジオナル方向のエッジをより強調したい場合は，KDLの値が他に比べて大きくなり，サジタル方向のエッジをより強調したい場合は，KDRの値が他に比べて大きくなる。方位角がこれらの間にある場合，例えば水平方向と45°方向の間にある場合で，メリジオナル方向のエッジをより強調したい場合は，KHとKDRを他に比べて大きくし，両者の比率は方位角によって決定する。他の場合も同様に，その方位角の近傍の方向のエッジを強調する２つのバンドパスフィルターの比率を方位角によって変えてゆけばよい。また，KH，KV，KDR，KDLの大きさの比率は，動径の大きさに応じて変化させることができ，画面の中心から周辺にいくに従って画像の劣化が大きくなるような場合は，動径が大きい程KH，KV，KDR，KDLの大きさの比率を大きくし，動径が小さい程均等なものとする。
【００２７】
動径の大きさの大小は，前述したように動径の長さrではなく，動径の長さの２乗r2で判定し，方位角の大きさは方位角φの正接値tanφで判定することにすれば，演算量を低減することができる。本実施例の構成は，前述した２つの実施例に比べ簡素であり，エッジを強調すべき方向の判別精度に比しハードウェア構成の簡略化が優先される場合に良好な構成である。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態に従う画像処理装置および画像処理方法の構成を示すブロック図
【図２】本発明で用いられるエッジ強調用バンドパスフィルターの特性を表す図
【図３】本発明の第２の実施例のエッジ強調方法を説明する図
【図４】本発明の第３の実施例の構成を説明する図
【図５】撮像光学系の軸外特性を説明する図
【図６】図２に示すバンドパスフィルターの構成を説明する図
【図１】
2006211218.tif 000007
【図２】
2006211218.tif 000008
【図３】
2006211218.tif 000009
【図４】
2006211218.tif 000010
【図５】
2006211218.tif 000011
【図６】
2006211218.tif 000012