(57)【要約】【課題】  被写体像全体で輝度ムラのない明るい画像を生成する。【解決手段】  二次元平面上に複数の画素を展開した撮像素子の受光面に光学系を介して被写体像を結像させ、撮像素子により撮像した被写体像を処理する画像処理装置であって、光学系の光学特性に応じて被写体像上で加算処理を実行する領域（加算領域）を設定し、被写体像上の加算領域において撮像素子の各画素ごとに一つの画素の出力に当該画素の周辺に存在する画素の出力を加算する加算処理を行って新しい被写体像を生成する。【選択図】  図１ 
2005328323.tif 000002
【特許請求の範囲】
【請求項１】
二次元平面上に複数の画素を展開した撮像素子の受光面に光学系を介して被写体像を結像させ、前記撮像素子により撮像した被写体像を処理する画像処理装置であって、
前記撮像素子の各画素ごとに、一つの画素の出力に当該画素の周辺に存在する画素の出力を加算（以下、加算処理という）する加算手段と、
前記光学系の光学特性に応じて前記被写体像上で前記加算処理を実行する領域（以下、加算領域という）を設定する加算領域設定手段とを備え、
前記被写体像上の前記加算領域において前記加算処理を行って新しい被写体像を生成することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記光学系は変倍光学系であって、前記加算領域設定手段は前記変倍光学系の倍率に応じた加算領域を設定することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記加算手段は前記変倍光学系の倍率に応じた加算画素数を設定することを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
前記加算手段は、複数の加算画素の組み合わせパターン（以下、加算パターンという）を有し、前記変倍光学系の倍率に応じた加算パターンを選択して前記加算処理を行うことを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記加算手段は、前記変倍光学系の倍率に応じて画素ごとの重みを付け、前記加算処理を行うことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記光学系は絞りが可変な光学系であって、前記加算領域設定手段は前記光学系の絞り量に応じた加算領域を設定することを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記加算手段は前記光学系の絞り量に応じた加算画素数を設定することを特徴とする画像処理装置。
【請求項８】
請求項６に記載の画像処理装置において、
前記加算手段は、複数の加算画素の組み合わせパターン（以下、加算パターンという）を有し、前記光学系の絞り量に応じた加算パターンを選択して前記加算処理を行うことを特徴とする画像処理装置。
【請求項９】
請求項６に記載の画像処理装置において、
前記加算手段は、前記光学系の絞り量に応じて画素ごとの重みを付け、前記加算処理を行うことを特徴とする画像処理装置。
【請求項１０】
二次元平面上に複数の画素を展開した撮像素子の受光面に光学系を介して被写体像を結像させ、前記撮像素子により撮像した被写体像を処理する画像処理方法であって、
前記撮像素子の各画素ごとに一つの画素の出力に当該画素の周辺に存在する画素の出力を加算する加算処理を、前記光学系の光学特性に応じて前記被写体像上で実行する領域（以下、加算領域という）を設定し、前記被写体像上の前記加算領域で前記加算処理を行って新しい被写体像を生成することを特徴とする画像処理方法。
【請求項１１】
二次元平面上に複数の画素を展開した撮像素子の受光面に光学系を介して被写体像を結像させ、前記撮像素子により撮像した被写体像を処理する画像処理方法であって、
前記撮像素子の各画素ごとに一つの画素の出力に当該画素の周辺に存在する画素の出力を加算する加算処理を、前記光学系の倍率に応じて前記被写体像上で実行する領域（以下、加算領域という）を設定し、前記被写体像上の前記加算領域で前記加算処理を行って新しい被写体像を生成することを特徴とする画像処理方法。
【請求項１２】
二次元平面上に複数の画素を展開した撮像素子の受光面に光学系を介して被写体像を結像させ、前記撮像素子により撮像した被写体像を処理する画像処理方法であって、
前記撮像素子の各画素ごとに一つの画素の出力に当該画素の周辺に存在する画素の出力を加算する加算処理を、前記光学系の絞り量に応じて前記被写体像上で実行する領域（以下、加算領域という）を設定し、前記被写体像上の前記加算領域で前記加算処理を行って新しい被写体像を生成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子で撮像した被写体像を処理する画像処理装置および画像処理方法に関し、特に、撮像光学系により生じた画像端部の輝度ムラを改善したものである。
【背景技術】
【０００２】
隣接画素の出力を加算することによって解像度を犠牲にしても画像全体の感度を向上させるようにした画像処理装置が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開平０９−１８２０９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、撮像に用いる光学系は大口径から小口径までいろいろなサイズがあり、またズームレンズ（変倍光学系）を用いる場合もある。小口径レンズやズームレンズの光学系を用いた場合には、光学系の端部の“ケラレ”により画像端部の感度が低下して輝度ムラが発生することがある。
【０００５】
このような小口径レンズやズームレンズによる撮像画像を処理する画像処理装置に上述した従来の感度向上技術を適用した場合に、従来技術では画像全体の感度を上げるので、画像端部の感度はもちろん、画像中央部の感度も上がり、依然として画像の輝度ムラは解消されないという問題がある。
【課題を解決するための手段】
【０００６】
二次元平面上に複数の画素を展開した撮像素子の受光面に光学系を介して被写体像を結像させ、撮像素子により撮像した被写体像を処理する画像処理装置であって、光学系の光学特性に応じて被写体像上で加算処理を実行する領域（加算領域）を設定し、被写体像上の加算領域において撮像素子の各画素ごとに一つの画素の出力に当該画素の周辺に存在する画素の出力を加算する加算処理を行って新しい被写体像を生成する。
【発明の効果】
【０００７】
本発明によれば、被写体像全体で輝度ムラのない明るい画像を生成することができる。
【発明を実施するための最良の形態】
【０００８】
《発明の第１の実施の形態》
図１は第１の実施の形態の構成を示す。光学系１は倍率設定信号に応じて倍率を変えることができるズームレンズ（変倍光学系）とレンズフォルダーからなる光学系であり、撮像素子２の受光面に被写体像を結像する。撮像素子２は、二次元平面上に展開された複数の受光素子（以下、画素ともいう）と、各受光素子の出力電圧を読み出す読み出し回路とを備えたＣＭＯＳ構造の半導体デバイスであり、読み出しアドレス信号により指定された受光素子の出力電圧を出力する。
【０００９】
加算器３は、加算パターン生成装置６の読み出しアドレス信号により指定された受光素子の出力信号を、加算パターン生成装置６から加算リセット信号が出力されるまでの間、加算する。つまり、加算器３は、撮像素子２の一つの受光素子の出力にその受光素子の周辺に存在する受光素子の出力を加算して新しい画像を生成する。
【００１０】
なお、加算器３の加算処理において、単に加算するだけでなく、受光素子ごとに重みを付けて加算するようにしてもよい。この場合には加算パターン生成装置６から重み付け要素を出力するか、あるいは重み付け要素が固定されている場合には加算器３で重み付け要素を自動的に生成するようにしてもよい。
【００１１】
ＡＤ変換器４は加算器３の出力をデジタル処理するためにアナログ−デジタル変換を行う。このＡＤ変換器４には従来より周知の回路を用いればよい。
【００１２】
処理装置５は、デジタル変換後の被写体像信号に基づいて前方に存在する車両の検出、道路状況の検出などを行う。この検出方法については従来より周知の手法を用いればよい。処理装置５はまた、画像処理装置において実行する処理の種別を加算パターン生成装置６へ出力する。例えば、道路上に描かれた白線を検出するために、３×３の画素データを縦ソベルフィルター処理して縦エッジ検出を行う場合には、加算パターン生成装置６へ縦エッジ検出信号を出力する。処理装置５はさらに、処理に必要な領域を最適な大きさで撮像するために画像の倍率を設定する信号を倍率設定装置８へ出力する。
【００１３】
加算パターン生成装置６は、画像処理装置において実行する処理の種別を処理装置５から入力し、処理の種別に応じた加算画素の組み合わせパターン（以下、加算パターンという）を生成するとともに、被写体像上で加算器３による加算処理を実行する領域（以下、加算領域という）を加算領域設定装置７から入力し、加算領域内の加算パターンに応じた受光素子を指定するための読み出しアドレス信号を撮像素子２へ出力する。加算パターン生成装置６はまた、加算器３を初期化する加算リセット信号を加算器３へ出力する。
【００１４】
ここで、処理の種別に応じた加算画素の組み合わせパターン（加算パターン）は、例えば横方向に連続した３個の受光素子出力を加算するパターン、あるいは一つおきに縦に並ぶ４個の受光素子出力を加算するパターンなど、処理目的に対して最適な結果が得られる縦または横のパターンとする。
【００１５】
また、加算パターンを二次元平面上に展開してもよい。複数の受光素子（画素）が二次元平面上に展開された図２に示す撮像素子２において、互いに隣接する４個の画素の出力を加算して加算値をそのまま元の画素の出力とする加算パターンとしてもよい。例えば（Ｘ１１、Ｘ１２、Ｘ２１、Ｘ２２）の４個の互いに隣接する画素の出力を加算するパターンでは、４個の画素Ｘ１１、Ｘ１２、Ｘ２１、Ｘ２２の出力をそれぞれｘ１１、ｘ１２、ｘ２１、ｘ２２とすると、加算処理後の４個の画素の出力は、
ｘ１１＝ｘ１１＋ｘ１２＋ｘ２１＋ｘ２２，
ｘ１２＝ｘ１１＋ｘ１２＋ｘ２１＋ｘ２２，
ｘ２１＝ｘ１１＋ｘ１２＋ｘ２１＋ｘ２２，
ｘ２２＝ｘ１１＋ｘ１２＋ｘ２１＋ｘ２２  ・・・（１）
となる。この加算パターンでは、次に（Ｘ１３、Ｘ１４、Ｘ２３、Ｘ２４）の４個の互いに隣接する画素の出力を加算する。
【００１６】
加算パターンを二次元平面上に展開する別の例として、任意の画素に隣接する４個の画素の出力を加算して当該画素の出力とする加算パターンも考えられる。例えば画素Ｘ１１を例に上げると、画素Ｘ１１の周辺に存在する画素Ｘ１２、Ｘ２１、Ｘ２２の出力を画素Ｘ１１の出力に加算する。
ｘ１１＝ｘ１１＋ｘ１２＋ｘ２１＋ｘ２２  ・・・（２）
同様に、画素Ｘ１２、Ｘ２１、Ｘ２２、・・については、
ｘ１２＝ｘ１２＋ｘ１３＋ｘ２２＋ｘ２３，
ｘ２１＝ｘ２１＋ｘ２２＋ｘ３１＋ｘ３２，
ｘ２２＝ｘ２２＋ｘ２３＋ｘ３２＋ｘ３３，
・・・                                  ・・・（３）
【００１７】
二次元平面上に展開する加算パターンは上述した“□”（四角形）型に限定されず、例えば“＼”型、“へ”の字型、“△”型などいろいろな形状の加算パターンを用いることができる。
【００１８】
加算領域設定装置７は、倍率設定装置８からの倍率設定信号に応じて被写体像上で加算器３による加算処理を実行する領域（加算領域）を設定し、加算パターン生成装置６へ加算領域設定信号を出力する。例えば図３(ａ)に示すように、小口径レンズやズームレンズで撮影を行うと、レンズ端部の“ケラレ”により画像の四隅の感度が低下して輝度ムラが発生する。特に、ズームレンズでは、倍率を小さくして広角撮影を行うと画像の四隅が暗くなって輝度ムラが発生する。そこで、このような画像四隅の輝度ムラが発生した領域において上述した加算処理を行うことにより、明るくコントラストが高い画像が得られる。ズームレンズでは倍率を小さくしてより広角にするほど画像四隅の輝度ムラの発生領域が広くなるため、倍率が小さくなるほど加算領域を拡大することによって、どのような倍率が設定されても輝度ムラのない明るい画像を得ることができる。
【００１９】
なお、光学系１の倍率に応じて加算領域を拡大するとともに、光学系１の倍率に応じて加算パターンおよび／または加算画素数を変えて最適化するようにしてもよい。また、画素出力ごとに重みを付けて加算する加算処理を行う場合には、光学系１の倍率に応じて画素ごとの重みを変えて最適化するようにしてもよい。
【００２０】
倍率設定装置８は、処理装置５で実行される処理に必要な領域を最適な大きさで撮像するために処理装置５の処理に応じて画像の倍率を設定し、倍率設定信号を光学系１と加算領域設定装置７へ出力する。
【００２１】
この一実施の形態によれば、図３(ａ)に示すズームレンズの光学系１で撮像した四隅に輝度ムラのある原画像に対して、ズームレンズの倍率に応じた加算領域を設定して加算処理を行うようにしたので、図３(ｂ)に示すように画像四隅の輝度ムラが解消され、明るくコントラストが高い画像が得られる。
【００２２】
《発明の第２の実施の形態》
上述した第１の実施の形態ではズームレンズ（変倍光学系）の設定倍率に応じて加算領域を設定する例を示したが、光学系の絞り量に応じて加算領域を設定する第２の実施の形態を説明する。
【００２３】
図４は第２の実施の形態の構成を示す。なお、図１に示す機器および装置と同様なものに対しては同一の符号を付して相違点を中心に説明する。光学系１’は、絞り設定信号に応じて絞り量を変えることができるレンズとレンズフォルダーからなる光学系であり、撮像素子２の受光面に被写体像を結像する。
【００２４】
処理装置５’は、デジタル変換後の撮像信号に基づいて前方に存在する車両の検出、道路状況の検出などを行う。この検出方法については従来より周知の手法を用いればよい。処理装置５’はまた、画像処理装置において実行する処理の種別を加算パターン生成装置６へ出力する。例えば、道路上に描かれた白線を検出するために、３×３の画素データを縦ソベルフィルター処理して縦エッジ検出を行う場合には、加算パターン生成装置６へ縦エッジ検出信号を出力する。処理装置５’はさらに、処理に必要な画像を最適な明るさで撮影するために絞り量を設定する信号を絞り設定装置９へ出力する。
【００２５】
絞り設定装置９は、処理装置５’で実行される処理に必要な画像を最適な明るさで撮影するために処理装置５’の処理に応じて絞り量を設定し、絞り設定信号を光学系１’と加算領域設定装置７’へ出力する。
【００２６】
加算領域設定装置７’は、絞り設定装置９からの絞り設定信号に応じて被写体像上で加算器３による加算処理を実行する領域（加算領域）を設定し、加算パターン生成装置６へ加算領域設定信号を出力する。広角レンズを用いて絞り開放状態で撮影した場合には画像の四隅が暗くなって輝度ムラが発生するが、そのような輝度ムラが発生した領域を加算領域に設定し、上述した加算処理を行うことによって明るくコントラストの高い画像が得られる。絞り量が大きいほど画像四隅の輝度ムラの発生領域が小さくなるため、絞り量が大きいほど加算領域を縮小することによって、どのような絞り量が設定されても輝度ムラのない明るい画像を生成することができる。
【００２７】
なお、光学系１’の絞り量に応じて加算領域を縮小するとともに、光学系１’の絞り量に応じて加算パターンおよび／または加算画素数を変えて最適化するようにしてもよい。また、画素出力ごとに重みを付けて加算する加算処理を行う場合には、光学系１’の絞り量に応じて画素ごとの重みを変えて最適化するようにしてもよい。
【００２８】
以上説明したように、光学系の特性によって輝度ムラが発生し、倍率や絞り量などの光学系の光学特性によって輝度ムラの発生領域が変化する場合でも、輝度ムラの発生領域に応じて加算処理を行う領域を変更することによって、被写体像全体で輝度ムラのない明るい画像を生成することができる。特に、輝度ムラが顕著に現れる開口径の小さいレンズを用いた撮像装置で撮影する場合に有効であり、小さな光学系を用いることができるため、撮像装置の小型化とコスト低減を図ることができる。
【００２９】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、加算器３が加算手段を、加算領域設定装置７が加算領域設定手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【００３０】
なお、上述した一実施の形態では撮像素子の直後に加算器を配置する構成としたが、撮像素子と加算器との間にＡ／Ｄ変換器を配置し、撮像信号をデジタル信号に変換して上述した加算処理を行ってもよい。さらに、上述した各実施の形態を組み合わせて適用することも可能である。
【００３１】
また、本願発明は物体の位置を検出するロボット用の撮像装置に対しても適用可能である。
【図面の簡単な説明】
【００３２】
【図１】第１の実施の形態の構成を示す図である。
【図２】撮像素子の受光素子（画素）配列を示す図である。
【図３】加算処理前後の画像例を示す図である。
【図４】第２の実施の形態の構成を示す図である。
【符号の説明】
【００３３】
１、１’  光学系
２  撮像素子
３  加算器
４  Ａ／Ｄ変換器
５、５’  処理装置
６  加算パターン生成装置
７、７’  加算領域設定装置
８  倍率設定装置
９  絞り設定装置
【図１】
2005328323.tif 000003
【図２】
2005328323.tif 000004
【図３】
2005328323.tif 000005
【図４】
2005328323.tif 000006