(57)【要約】【課題】ＣＣＤ固体撮像素子により取り込まれた画像に発生したスミア等を低減させる。【解決手段】デジタルカメラ１は、ＣＣＤ４による撮像及びＡＦＥ回路５による信号処理を経て得られた画像データが記憶されるＳＤＲＡＭ６と、その画像データにおいて、ＣＣＤ４における垂直転送路の電荷転送方向に同期しての色の急激な変化が開始する変化開始部分と当該変化が終了する変化終了部分とを検出し、その変化開始部分、変化終了部分、及び、これらの間の部分をスミア部分として特定し、そのスミア部分を当該スミア部分に隣接する非スミア部分に基づいて補完する等の処理を行うＣＰＵ２と、を備える。【選択図】図１
2007173993.tif 000002
【特許請求の範囲】
【請求項１】
信号電荷を転送する転送路を有する撮像素子から得られた画像データが記憶される記憶手段と、
前記画像データにおいて、前記転送路による転送方向に同期しての色の急激な変化が開始する変化開始部分と当該変化が終了する変化終了部分とを検出する検出手段と、
前記画像データにおいて、前記変化開始部分、前記変化終了部分、及び、当該変化開始部分と変化終了部分との間の部分をスミア部分として特定する特定手段と、
前記画像データにおいて、前記スミア部分を当該スミア部分に隣接する非スミア部分に基づいて補完する補完手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像素子から得られた画像データは、色成分が異なる複数の画素が所定の配列を為して構成された画像データである、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記検出手段は、前記画像データにおいて、前記転送路による転送方向に同期しての色成分量の急激な変化が開始する変化開始部分と当該変化が終了する変化終了部分とを検出する、
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記補完手段は、
前記スミア部分の画素における、当該スミア部分に隣接する非スミア部分の同一色成分の画素との色成分量の差分を、当該スミア部分の全ての画素について取得する差分取得手段と、
前記スミア部分の画素列毎に、当該スミア部分の画素における色成分量の差分の平均値を算出する算出手段と、
前記スミア部分の画素における色成分量の差分から、当該画素を含む画素列についての色成分量の差分の平均値を差し引き、更に、当該スミア部分に隣接する非スミア部分の同一色成分の画素の色成分量を加算する、という演算を当該スミア部分の全ての画素について行う演算手段と、
を備える、
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記差分取得手段は、
前記変化開始部分を含む前記スミア部分の半分又は略半分の部分である第１の部分の画素における、前記変化開始部分に隣接する非スミア部分の同一色成分の画素との色成分量の差分を、前記第１の部分の全ての画素について取得すると共に、
前記スミア部分の前記第１の部分以外の部分である第２の部分の画素における、前記変化終了部分に隣接する非スミア部分の同一色成分の画素との色成分量の差分を、前記第２の部分の全ての画素について取得する、
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記演算手段は、前記スミア部分の画素における色成分量の差分から、当該画素を含む画素列についての色成分量の差分の平均値を差し引き、更に、当該画素における色成分量の差分を取得した際に用いられた非スミア部分の同一色成分の画素の色成分量を加算する、という演算を当該スミア部分の全ての画素について行う、
ことを特徴とする請求項４又は５記載の画像処理装置。
【請求項７】
前記補間手段は、前記スミア部分を、当該スミア部分と非スミア部分との境界であるスミア境界に近い部分から順に、当該スミア部分に隣接する非スミア部分に基づいて補間する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記撮像素子から得られた画像データは、色成分が異なる複数の画素が所定の配列を為して構成された画像データである、
ことを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記検出手段は、前記画像データにおいて、前記転送路による転送方向に同期しての色成分量の急激な変化が開始する変化開始部分と当該変化が終了する変化終了部分とを検出する、
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記補完手段は、
前記スミア部分であって前記スミア境界に隣接する部分である処理対象部分の画素における、前記非スミア部分であって前記スミア境界に隣接する部分の同一色成分の画素との色成分量の差分を、当該処理対象部分の全ての画素について取得する差分取得手段と、
前記処理対象部分の画素列毎に、当該処理対象部分の画素における色成分量の差分の平均値を算出する算出手段と、
前記処理対象部分の画素における色成分量の差分から、当該画素を含む画素列についての色成分量の差分の平均値を差し引き、更に、当該処理対象部分に隣接する非スミア部分の同一色成分の画素の色成分量を加算する、という演算を当該処理対象部分の全ての画素について行う演算手段と、
前記演算手段による演算を終えた前記処理対象部分を非スミア部分とみなすと共に、スミア境界を、当該非スミア部分とみなされた前記処理対象部分と残りのスミア部分との境界に変更するみなし変更手段と、
を備える、
ことを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記差分取得手段は、
前記スミア部分であって第１のスミア境界に隣接する部分である第１の処理対象部分の画素における、前記非スミア部分であって前記第１のスミア境界に隣接する部分の同一色成分の画素との色成分量の差分を、当該第１の処理対象部分の全ての画素について取得すると共に、
前記スミア部分であって第２のスミア境界に隣接する部分である第２の処理対象部分の画素における、前記非スミア部分であって前記第２のスミア境界に隣接する部分の同一色成分の画素との色成分量の差分を、当該第２の処理対象部分の全ての画素について取得する、
ことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記算出手段は、前記第１及び第２の処理対象部分の画素列毎に、当該第１及び第２の処理対象部分の画素における色成分量の差分の平均値を算出する、
ことを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
前記演算手段は、前記第１及び第２の処理対象部分の画素における色成分量の差分から、当該画素を含む画素列についての色成分量の差分の平均値を差し引き、更に、当該画素における色成分量の差分を取得した際に用いられた非スミア部分の同一色成分の画素の色成分量を加算する、という演算を当該第１及び第２の処理対象部分の全ての画素について行う、
ことを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
前記みなし変更手段は、前記演算手段による演算を終えた前記第１及び第２の処理対象部分を非スミア部分とみなすと共に、前記第１のスミア境界を、当該非スミア部分とみなされた前記第１の処理対象部分と残りのスミア部分との境界に変更し、また、前記第２のスミア境界を、当該非スミア部分とみなされた前記第２の処理対象部分と残りのスミア部分との境界に変更する、
ことを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記画像データにおいて、前記転送路による転送方向に同期しての色の急激な変化が有るか否かを判定する判定手段、
を更に備えることを特徴とする請求項１乃至１４の何れか一項に記載の画像処理装置。
【請求項１６】
信号電荷を転送する転送路を有する撮像素子から得られた画像データを処理する画像処理方法であって、
前記画像データにおいて、前記転送路による転送方向に同期しての色の急激な変化が開始する変化開始部分と当該変化が終了する変化終了部分とを検出し、
前記画像データにおいて、前記変化開始部分、前記変化終了部分、及び、当該変化開始部分と変化終了部分との間の部分をスミア部分として特定し、
前記画像データにおいて、前記スミア部分を当該スミア部分に隣接する非スミア部分に基づいて補完する、
ことを特徴とする画像処理方法。
【請求項１７】
信号電荷を転送する転送路を有する撮像素子から得られた画像データを処理するための画像処理プログラムであって、
前記画像データにおいて、前記転送路による転送方向に同期しての色の急激な変化が開始する変化開始部分と当該変化が終了する変化終了部分とを検出する検出機能と、
前記画像データにおいて、前記変化開始部分、前記変化終了部分、及び、当該変化開始部分と変化終了部分との間の部分をスミア部分として特定する特定機能と、
前記画像データにおいて、前記スミア部分を当該スミア部分に隣接する非スミア部分に基づいて補完する補完機能と、
をコンピュータに実現させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ（Charge Coupled Device：電荷結合素子）を用いた固体撮像素子により取り込まれた画像を画像処理する画像処理装置に関する。
【背景技術】
【０００２】
従来、ＣＣＤを用いた固体撮像素子（以下、単に「ＣＣＤ固体撮像素子」という）をイメージセンサとして備えた、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置がある。
【０００３】
このような撮像装置を用いて、例えば太陽や電灯等の強い光源を含む被写体を撮影すると、撮影された画像中に白い帯状の部分が現れることがある。
図９は、その一例を示す画像である。この画像は太陽を含む被写体を撮影したときの画像であり、画像中に垂直方向（上下方向）に沿って光の筋のようなものが現れている。
【０００４】
このように、強い光源を含む被写体を撮影したときの画像中に白い帯状の部分が現れる現象は、スミアやブルーミングと呼ばれている。例えば、ＣＣＤ固体撮像素子がインターライン・トランスファ方式（以下「ＩＴ方式」という）のものである場合、スミアは、被写体中の強い光源によって光が垂直転送用ＣＣＤ（垂直転送路ともいう）に入り込み、そこで発生した電荷が転送中の信号電荷に混入してしまうこと等が原因で発生する。また、ブルーミングは、被写体中の強い光源によってフォトダイオードから溢れ出た電荷が、垂直転送用ＣＣＤに入り込んでしまうこと等が原因で発生する。尚、いずれの場合も画像中に白い帯状の部分が現れることから、スミア或いはブルーミングのいずれが発生したのかは、その画像からは区別がつかない。
【０００５】
このようなスミアやブルーミング（以下「スミア等」という）の発生を防止する手段としては、例えば、光を物理的に遮るメカニカルシャッターを設けたり、撮像領域で発生した信号電荷を即座に蓄積領域へ転送するフレーム・インターライン・トランスファ方式（以下「ＦＩＴ方式」という）のＣＣＤ固体撮像素子を採用したり、光量を減少させるＮＤフィルターを設けたりするなど様々な手法がある。また、これ以外にも、スミアを防止する手段として次のような撮像装置やＣＣＤ固体撮像素子が開示されている。
【０００６】
例えば、特許文献１に記載されている撮像装置では、ＣＣＤの垂直転送路の上下に水平転送路を設け、垂直転送路を第１列群と第２列群とにグループ化し、各グループが互いに上下反対方向に信号電荷を転送すると共にこの転送方向を１フィールド毎に逆転するようにし、そして、上下の水平転送路の出力を用いて、スミアを抑制した画像を構成できるようにしている。
【０００７】
また、例えば特許文献２に記載されているＣＣＤ固体撮像素子においては、画素となる複数の受光部及び各受光部列に対応する垂直転送レジスタからなる撮像部と、撮像部からの電荷を蓄積できる第１及び第２の蓄積部とを有し、垂直転送レジスタ内の第１のスミア成分電荷を掃き捨てた後、受光部の信号電荷を垂直転送レジスタに読み出さずに高速転送を行ってこの高速転送中に発生した第２のスミア成分電荷を第１の蓄積部に蓄積し、次に、受光部の信号電荷を垂直転送レジスタに読み出し、高速転送を行って高速転送中に発生する第２のスミア成分電荷と信号電荷の加算電荷を第１の蓄積部に蓄積すると同時に、第１の蓄積部の第２のスミア成分電荷を第２の蓄積部に転送して蓄積し、外部で第２のスミア成分電荷の信号と加算電荷の信号との差分を出力するようにして、スミアの低減を図っている。
【特許文献１】特開２００４−１９４２４８号公報
【特許文献２】特開平１１−５５５７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このように、スミア等の発生を防止する手段としては様々な手法があるが、これらを採用すると次のような問題も生じる。まず、上記のメカニカルシャッターやＮＤフィルターを設けてスミア等の発生を防止しようとする場合には、その実装スペースが新たに必要になってしまうという問題がある。また、上記のＦＩＴ方式のＣＣＤ固体撮像素子を搭載してスミア等の発生を防止しようとする場合には、その実装スペースが大きくなってしまうという問題がある。後者の問題については、上記の特許文献１の撮像装置に搭載されるＣＣＤや特許文献２のＣＣＤ固体撮像素子においても同様に言えることである。このような実装スペースの問題により、撮像装置を内蔵した携帯電話機（いわゆるカメラ付携帯電話機）等のように小型化が要求されている撮像装置においては、これらの手法を採用できない虞があり、この場合にはスミア等の発生を防止することができないという問題がある。
【０００９】
また、高性能なデジタルカメラのようにメカニカルシャッターを搭載した静止画及び動画の撮影機能を備えた撮像装置にあっても、動画撮影時には、メカニカルシャッターが使用されずに電子シャッターのみが使用されるものであるので、スミア等の発生を防止することができないという問題がある。
【００１０】
本発明は、上記実情に鑑み、ＣＣＤ固体撮像素子により取り込まれた画像に発生したスミア等を画像処理により低減させる装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の第１の態様に係る画像処理装置は、信号電荷を転送する転送路を有する撮像素子から得られた画像データが記憶される記憶手段と、前記画像データにおいて、前記転送路による転送方向に同期しての色の急激な変化が開始する変化開始部分と当該変化が終了する変化終了部分とを検出する検出手段と、前記画像データにおいて、前記変化開始部分、前記変化終了部分、及び、当該変化開始部分と変化終了部分との間の部分をスミア部分として特定する特定手段と、前記画像データにおいて、前記スミア部分を当該スミア部分に隣接する非スミア部分に基づいて補完する補完手段と、を備えることを特徴とする。
【００１２】
また、本発明の第２に態様に係る画像処理装置は、上記第１の態様において、前記撮像素子から得られた画像データは、色成分が異なる複数の画素が所定の配列を為して構成された画像データである、ことを特徴とする。
【００１３】
また、本発明の第３に態様に係る画像処理装置は、上記第２の態様において、前記検出手段は、前記画像データにおいて、前記転送路による転送方向に同期しての色成分量の急激な変化が開始する変化開始部分と当該変化が終了する変化終了部分とを検出する、ことを特徴とする。
【００１４】
また、本発明の第４に態様に係る画像処理装置は、上記第３の態様において、前記補完手段は、前記スミア部分の画素における、当該スミア部分に隣接する非スミア部分の同一色成分の画素との色成分量の差分を、当該スミア部分の全ての画素について取得する差分取得手段と、前記スミア部分の画素列毎に、当該スミア部分の画素における色成分量の差分の平均値を算出する算出手段と、前記スミア部分の画素における色成分量の差分から、当該画素を含む画素列についての色成分量の差分の平均値を差し引き、更に、当該スミア部分に隣接する非スミア部分の同一色成分の画素の色成分量を加算する、という演算を当該スミア部分の全ての画素について行う演算手段と、を備える、ことを特徴とする。
【００１５】
また、本発明の第５に態様に係る画像処理装置は、上記第４の態様において、前記差分取得手段は、前記変化開始部分を含む前記スミア部分の半分又は略半分の部分である第１の部分の画素における、前記変化開始部分に隣接する非スミア部分の同一色成分の画素との色成分量の差分を、前記第１の部分の全ての画素について取得すると共に、前記スミア部分の前記第１の部分以外の部分である第２の部分の画素における、前記変化終了部分に隣接する非スミア部分の同一色成分の画素との色成分量の差分を、前記第２の部分の全ての画素について取得する、ことを特徴とする。
【００１６】
また、本発明の第６に態様に係る画像処理装置は、上記第４又は５の態様において、前記演算手段は、前記スミア部分の画素における色成分量の差分から、当該画素を含む画素列についての色成分量の差分の平均値を差し引き、更に、当該画素における色成分量の差分を取得した際に用いられた非スミア部分の同一色成分の画素の色成分量を加算する、という演算を当該スミア部分の全ての画素について行う、ことを特徴とする。
【００１７】
また、本発明の第７に態様に係る画像処理装置は、上記第１の態様において、前記補間手段は、前記スミア部分を、当該スミア部分と非スミア部分との境界であるスミア境界に近い部分から順に、当該スミア部分に隣接する非スミア部分に基づいて補間する、ことを特徴とする。
【００１８】
また、本発明の第８に態様に係る画像処理装置は、上記第７の態様において、前記撮像素子から得られた画像データは、色成分が異なる複数の画素が所定の配列を為して構成された画像データである、ことを特徴とする。
【００１９】
また、本発明の第９に態様に係る画像処理装置は、上記第８の態様において、前記検出手段は、前記画像データにおいて、前記転送路による転送方向に同期しての色成分量の急激な変化が開始する変化開始部分と当該変化が終了する変化終了部分とを検出する、ことを特徴とする。
【００２０】
また、本発明の第１０に態様に係る画像処理装置は、上記第９の態様において、前記補完手段は、前記スミア部分であって前記スミア境界に隣接する部分である処理対象部分の画素における、前記非スミア部分であって前記スミア境界に隣接する部分の同一色成分の画素との色成分量の差分を、当該処理対象部分の全ての画素について取得する差分取得手段と、前記処理対象部分の画素列毎に、当該処理対象部分の画素における色成分量の差分の平均値を算出する算出手段と、前記処理対象部分の画素における色成分量の差分から、当該画素を含む画素列についての色成分量の差分の平均値を差し引き、更に、当該処理対象部分に隣接する非スミア部分の同一色成分の画素の色成分量を加算する、という演算を当該処理対象部分の全ての画素について行う演算手段と、前記演算手段による演算を終えた前記処理対象部分を非スミア部分とみなすと共に、スミア境界を、当該非スミア部分とみなされた前記処理対象部分と残りのスミア部分との境界に変更するみなし変更手段と、を備える、ことを特徴とする。
【００２１】
また、本発明の第１１に態様に係る画像処理装置は、上記第１０の態様において、前記差分取得手段は、前記スミア部分であって第１のスミア境界に隣接する部分である第１の処理対象部分の画素における、前記非スミア部分であって前記第１のスミア境界に隣接する部分の同一色成分の画素との色成分量の差分を、当該第１の処理対象部分の全ての画素について取得すると共に、前記スミア部分であって第２のスミア境界に隣接する部分である第２の処理対象部分の画素における、前記非スミア部分であって前記第２のスミア境界に隣接する部分の同一色成分の画素との色成分量の差分を、当該第２の処理対象部分の全ての画素について取得する、ことを特徴とする。
【００２２】
また、本発明の第１２に態様に係る画像処理装置は、上記第１１の態様において、前記算出手段は、前記第１及び第２の処理対象部分の画素列毎に、当該第１及び第２の処理対象部分の画素における色成分量の差分の平均値を算出する、ことを特徴とする。
【００２３】
また、本発明の第１３に態様に係る画像処理装置は、上記第１２の態様において、前記演算手段は、前記第１及び第２の処理対象部分の画素における色成分量の差分から、当該画素を含む画素列についての色成分量の差分の平均値を差し引き、更に、当該画素における色成分量の差分を取得した際に用いられた非スミア部分の同一色成分の画素の色成分量を加算する、という演算を当該第１及び第２の処理対象部分の全ての画素について行う、ことを特徴とする。
【００２４】
また、本発明の第１４に態様に係る画像処理装置は、上記第１３の態様において、前記みなし変更手段は、前記演算手段による演算を終えた前記第１及び第２の処理対象部分を非スミア部分とみなすと共に、前記第１のスミア境界を、当該非スミア部分とみなされた前記第１の処理対象部分と残りのスミア部分との境界に変更し、また、前記第２のスミア境界を、当該非スミア部分とみなされた前記第２の処理対象部分と残りのスミア部分との境界に変更する、ことを特徴とする。
【００２５】
また、本発明の第１５に態様に係る画像処理装置は、上記第１乃至１４の何れか一つの態様において、前記画像データにおいて、前記転送路による転送方向に同期しての色の急激な変化が有るか否かを判定する判定手段、を更に備えることを特徴とする。
【００２６】
本発明の各態様に係る画像処理装置によれば、撮像素子に強い光が入ることによって撮像素子における転送路の信号電荷に非信号電荷が混入した結果、スミア等が発生した画像データが得られたとしても、上記の検出手段および特定手段によりその画像データにおけるスミア等が発生している部分が特定され、更に、上記の補完手段によりその部分が補完されるので、スミア等を低減させた画像を得ることができる。
【００２７】
尚、本発明は、上記の画像処理装置に限らず、画像処理方法や画像処理プログラムとして構成することも可能である。
【発明の効果】
【００２８】
本発明によれば、ＣＣＤ固体撮像素子により取り込まれた画像に発生したスミア等を画像処理により低減させることができる。また、これのために、新たな実装スペースを確保する必要はないので、適用が容易である。また、動画像撮影時においても、スミア等を低減させることができる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照しながら本発明の実施の形態を説明する。
【実施例１】
【００３０】
はじめに、本発明の実施例１に係る画像処理装置を適用したデジタルカメラについて説明する。
図１は、そのデジタルカメラの概略構成を示す図である。
【００３１】
同図に示したように、本実施例に係るデジタルカメラ１は、ＣＰＵ２、ＴＧ（timing generator）３、ＣＣＤ固体撮像素子であるＣＣＤ４、ＡＦＥ（Analog Front End）回路５、ＳＤＲＡＭ６、画像表示部７、ＲＯＭ８、キー入力部９、カードＩ／Ｆ１０等を備えており、カードＩ／Ｆ１０には、当該デジタルカメラ１の不図示のカードスロットに着脱自在に装着されたメモリカード１１が接続されている。
【００３２】
ＴＧ３は、ＣＰＵ２の制御の下に、ＣＣＤ４とＡＦＥ回路５を動作させるのに必要なタイミング信号を生成し出力する。
ＣＣＤ４は、ＴＧ３から出力されるタイミング信号に従って駆動し、投影された被写体像を光電変換し撮像信号としてＡＦＥ回路５へ出力する。尚、本実施例に係るＣＣＤ４は、ＩＴ方式のＣＣＤ固体撮像素子であって、カラーフィルターとしてベイヤー（Bayer）型の原色フィルターを採用した単板式のＣＣＤ固体撮像素子である。
【００３３】
ＡＦＥ回路５は、ＣＣＤ４から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double sampling）回路、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、及び、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＴＧ３から出力されるタイミング信号に従って駆動し、ＣＣＤ４の出力信号からこれらの処理によって得られたデジタル信号をＣＰＵ２に出力する。
【００３４】
ＳＤＲＡＭ６は、ＡＦＥ回路５から出力されたデジタル信号である画像データを一時記憶するバッファメモリとして使用されると共に、ＣＰＵ２のワーキングメモリとして使用される。
【００３５】
画像表示部７は、ＬＣＤとその駆動回路を含み、撮影待機状態の時にはＣＣＤ４によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時にはメモリカード１１から読み出され伸張された記録画像を表示する。
【００３６】
キー入力部９は、当該デジタルカメラ１に対しユーザが所望の指示を行うための各種の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ２へ出力する。
ＲＯＭ８は、当該デジタルカメラ１全体の動作を制御するためのプログラム（画像処理プログラムを含む）とその制御に必要なデータが記録された記録媒体である。
【００３７】
ＣＰＵ２は、ＲＯＭ８に記録されているプログラムを読み出し実行することによって、当該デジタルカメラ１全体の動作を制御する。例えば、詳しくは後述するスミア等を低減させるための画像処理を行う。また、補間処理を含む所定の画像処理や画像データの圧縮・伸張処理等も行う。
【００３８】
次に、以上のように構成されたデジタルカメラ１の動作として、撮影動作中（静止画像撮影中または動画像撮影中）、或いは、上記のスルー画像の表示動作中に行われる、スミア等を低減させるための画像処理に係る動作について説明する。
【００３９】
この画像処理に係る動作は、撮影動作中、或いは、スルー画像表示動作中に、ＣＣＤ４による撮像およびＡＦＥ回路５による信号処理によって得られた被写体画像の画像データがＳＤＲＡＭ６に格納される毎に行われる。
【００４０】
尚、この被写体画像の画像データは、ＣＣＤ４において受光部であるフォトダイオードから同じタイミングで垂直転送用ＣＣＤに読み出された全ての電荷についての画像データである。また、本実施例では、上述のとおりＣＣＤ４がベイヤー型の原色フィルターを採用していることから、その画像データは、Ｒ成分の画素（Ｒ画素）と、Ｇ成分の画素（Ｇ画素）と、Ｂ成分の画素（Ｂ画素）がベイヤー配列を為して構成された画像データとなる。
【００４１】
図２は、その画像処理に係る動作を示すフローチャートであり、図３乃至６は、その動作の説明に用いる図である。尚、図２に示した動作は、上述のとおり、ＣＰＵ２がＲＯＭ８に格納されているプログラムを読み出し実行することによって行われる。
【００４２】
同図に示したように、ＣＣＤ４による撮像およびＡＦＥ回路５による信号処理を経て被写体画像の画像データがＳＤＲＡＭ６に格納されると（Ｓ１）、続いて、その画像データにおいて、ＣＣＤ４における垂直転送用ＣＣＤの電荷転送方向に同期しての色の急激な変化（或いは不自然な変化）が有るか否かを判定する（Ｓ２）。すなわち、その垂直転送用ＣＣＤの電荷転送方向に同期しての色成分量（各色成分の画素の画素値）の急激な変化が有るか否かを判定する。
【００４３】
スミア等は、ＣＣＤ４における垂直転送用ＣＣＤの電荷転送方向に同期して、例えば図９に示した画像の上下方向に伸びる帯状の色が変化した部分のように、実際の画像では有り得ない帯状の色の変化として現れる。もし、画像データに、垂直転送用ＣＣＤの電荷転送方向に同期しての色の急激な変化があるとすれば、垂直転送用ＣＣＤに入り込んだ光等により発生した不要な電荷が信号電荷に混入したものと考えられる。そこで、本動作では、Ｓ２の判定を行うことによって、被写体画像の画像データにスミア等が発生しているか否かを判断するようにしている。
【００４４】
Ｓ２の判定において、その判定結果がＮｏの場合には、スミア等が発生していないと判断されるので、以降のＳ３乃至Ｓ６の処理は行わず、通常の撮影動作、或いは、通常のスルー画像表示動作へ移行する。
【００４５】
一方、Ｓ２の判定結果がＹｅｓの場合には、スミア等が発生していると判断され、続いて、その画像データにおいて、垂直転送用ＣＣＤの電荷転送方向に同期しての色（色成分量）の急激な変化が開始する部分（以下「変化開始部分」という）と、それが終了する部分（以下「変化終了部分」という）とを検出し、その変化開始部分、変化終了部分、及び変化開始部分と変化終了部分との間に挟まれる部分を、スミア等が発生している部分（以下「スミア部分」という）と特定する（Ｓ３）。
【００４６】
ここで、このＳ３の処理を図３を用いてより詳細に説明する。
図３は、Ｓ３の処理を説明するための画像データのイメージ図である。同図の例では、変化開始部分として部分１６が、変化終了部分として部分１７が検出され、部分１６、１７、及び、それらに挟まれる部分１８が、スミア部分と特定される。また、同図の例では、更に、変化開始部分として部分１９が、変化終了部分として部分２０が検出され、部分１９、２０、及び、それらに挟まれる部分２１も、スミア部分と特定される。
【００４７】
Ｓ３の処理が終了すると、続いて、変化開始部分を含むスミア部分の半分（或いは略半分）の部分（以下「第１の部分」という）の画素における、変化開始部分に隣接するスミア部分でない部分（以下「非スミア部分」という）の同一色成分の画素との色（色成分量）の差分を、第１の部分の全ての画素について取得すると共に、スミア部分の第１の部分以外の部分（以下「第２の部分」という）の画素における、変化終了部分に隣接する非スミア部分の同一色成分の画素との色（色成分量）の差分を、第２の部分の全ての画素について取得する（Ｓ４）。
【００４８】
ここで、このＳ４の処理を図４を用いてより詳細に説明する。
図４は、Ｓ４の処理を説明するための画像データの一例を示す図である。同図に示した画像データにおいて、両矢印２６に示す範囲は、Ｓ３でスミア部分として特定された部分の範囲を示し、矢印２７は、Ｓ３で検出された変化開始部分と非スミア部分との間の境界（スミア境界）を示し、矢印２８は、Ｓ３で検出された変化終了部分と非スミア部分との間の境界（スミア境界）を示している。また、ＲはＲ画素を、ＧはＧ画素を、ＢはＢ画素を示している。この場合、画像データの最上行の画素に着目してＳ４の処理を説明すると、まず、スミア部分の第１の部分に含まれる画素（本例ではＲ画素３１、Ｇ画素３２、Ｒ画素３３、Ｇ画素３４とする）における、変化開始部分に隣接する非スミア部分の画素（本例ではＲ画素２９とＧ画素３０とする）との間の色の差分が取得される。すなわち、Ｒ画素３１におけるＲ画素２９との画素値の差分、Ｇ画素３２におけるＧ画素３０との画素値の差分、Ｒ画素３３におけるＲ画素２９との画素値の差分、及びＧ画素３４におけるＧ画素３０との画素値の差分が取得される。続いて、スミア部分の第２の部分に含まれる画素（Ｒ画素３５、Ｇ画素３６、Ｒ画素３７、Ｇ画素３８、Ｒ画素３９）における、変化終了部分に隣接する非スミア部分の画素（本例ではＧ画素４０とＲ画素４１とする）との間の色の差分が取得される。すなわち、Ｒ画素３５におけるＲ画素４１との画素値の差分、Ｇ画素３６におけるＧ画素４０との画素値の差分、Ｒ画素３７におけるＲ画素４１との画素値の差分、Ｇ画素３８におけるＧ画素４０との画素値の差分、及びＲ画素３９におけるＲ画素４１との画素値の差分が取得される。そして、このような色の差分を取得する処理が、スミア部分の全ての画素について行われる。
【００４９】
Ｓ４の処理が終了すると、続いて、そのＳ４で取得されたスミア部分の各画素の色の差分から、画素列毎に色の差分の平均値を算出する（Ｓ５）。
ここで、このＳ５の処理を図５を用いてより詳細に説明する。
【００５０】
図５は、Ｓ５の処理を説明するための画像データの一例を示す図である。同図に示した画像データは、上述の図４に示した画像データにおいてＳ４の処理が行われた後の画像データを示しており、スミア部分の各画素の数値は、Ｓ４の処理によって取得された色の差分を表している。この場合、スミア部分の最も右側の画素列（図５の点線で囲った部分）に着目してＳ５の処理を説明すると、この画素列についての各画素の色の差分の平均値は、
平均値＝（５＋３＋５＋４＋５＋３＋３＋３）／８≒３．９
となる。そして、このような色の差分の平均値を算出する処理が、スミア部分の全ての画素列について行われる。尚、この画素列についての色の差分の平均値は、その画素列の各画素に及ぼすスミア等による影響と判断することができる。
【００５１】
Ｓ５の処理が終了すると、続いて、スミア部分の画素で求められた色の差分から、当該画素を含む画素列で求められた色の差分の平均値を差し引き、更に、当該画素で色の差分が求められた際に用いられた非スミア部分の同一色成分の画素の画素値を加算する、という演算を、スミア部分の全ての画素について行う（Ｓ６）。
【００５２】
ここで、このＳ６の処理を図６(a),(b),(c) を用いてより詳細に説明する。
図６(a),(b),(c) は、Ｓ６の処理を説明するための画像データの一例を示す図である。同図(a) は、上述の図５に示した画像データの一部を示している。この場合、スミア部分の最も右側の画素列に着目してＳ６の処理を説明すると、まず、その画素列の各画素で求められた色の差分から、その画素列についての平均値（＝３．９）が差し引かれる。すると、その画素列の各画素の値が図６(b) に示した値となる。このように、平均値が差し引かれることで、スミア等の影響が無い本来の画素の値を算出することができる。続いて、その画素列の各画素の値に、当該画素で色の差分を求めた際に用いられた非スミア部分の画素の画素値が加算される。例えば、同図(b) において、値が１．１の最上行の画素（Ｒ画素３９）についてはＲ画素４１の画素値が加算され、値が−０．９の最下行の画素（Ｇ画素４２）についてはＧ画素４３の画素値が加算される。すると、同図(c) に示したように、その画素列の各画素が非スミア部分の画素の画素値により補完される。このように、更に非スミア部分の画素値の加算が行われことで、スミア等により隠れていた本来の画像を補完することができる。そして、このような処理が、スミア部分の全ての画素について行われ、スミア部分の全ての画素が補完される。
【００５３】
Ｓ６の処理が終了すると、本動作は終了する。そして、以降は、本動作によって得られた画像データを用いて、通常の撮影動作、或いは、スルー画像表示動作へ移行する。
以上、本動作によれば、ＣＣＤ４による撮像及びＡＦＥ回路５による信号処理を経てＳＤＲＡＭ６に格納された被写体画像の画像データにスミア等が発生していると判断された場合には、その画像データにおいて、非スミア部分の画素を基に、スミア部分の画素からスミア等の影響が取り除かれると共に、スミア部分の画素が本来あるべき画素に補完されるようになるので、結果として、スミア等を低減させた画像を得ることができる。
【００５４】
以上、実施例１によれば、ＣＣＤ固体撮像素子により取り込まれた画像に発生したスミア等を低減することができる。また、これのために新たな実装スペースを確保する必要がないので、装置の小型化が可能になり、また小型化が要求されている装置にも容易に適用可能である。また、動画像撮影中においても、画像データがリアルタイムに画像処理されるので、スミア等を低減することができる。
【実施例２】
【００５５】
次に、本発明の実施例２に係る画像処理装置を適用したデジタルカメラについて説明する。
尚、本実施例に係るデジタルカメラにおいて、構成は図１に示した実施例１に係るデジタルカメラと同様であるが、スミア等を低減させるための画像処理に係る動作は図２に示した実施例１に係るデジタルカメラと一部異なる。そこで、本実施例の説明では、そのスミア等を低減させるための画像処理に係る動作を中心に説明する。
【００５６】
実施例１に係る図２に示した動作におけるＳ４乃至Ｓ６の処理では、図４乃至図６(a),(b),(c) を用いて説明したように、スミア部分の全体に対して、まず、画素の色の差分を取得し（Ｓ４）、次に、画素列毎の色の差分の平均値を算出し（Ｓ５）、そして、画素値の演算を行う（Ｓ６）といった具合に、スミア部分の全体に対して各々の処理を行うようにしていた。これに対し、本実施例に係る動作では、スミア部分をスミア境界（スミア部分と非スミア部分との境界）に近い部分から順に、それぞれ上記のような画素の色の差分の取得、画素列毎の色の差分の平均値の算出、及び画素値の演算を行うようにした。但し、本動作では、このような処理を終える毎に、処理を終えた部分を非スミア部分とみなすと共にスミア境界を変更して処理が進められる。
【００５７】
図７は、このような本実施例に係るスミア等を低減させるための画像処理に係る動作を示すフローチャートであり、図８(a),(b),(c),(d)は、その動作の説明に用いる図である。尚、図７に示した動作も、ＣＰＵ２がＲＯＭ８に格納されているプログラムを読み出し実行することによって行われる。
【００５８】
同図において、Ｓ１乃至Ｓ３は、図２を用いて説明した通りであるので、ここでは説明を省略する。但し、本実施例では、Ｓ３において、検出された変化開始部分と非スミア部分との境界を第１のスミア境界とし、また、検出された変化終了部分と非スミア部分との境界を第２のスミア境界として、次の処理へ移行する。
【００５９】
Ｓ３の処理が終了すると、続いて、スミア部分であって第１のスミア境界に隣接する部分（以下「第１の処理対象部分」という）の画素における、非スミア部分であって第１のスミア境界に隣接する部分の同一色成分の画素との色（色成分量）の差分を、第１の処理対象部分の全ての画素について取得すると共に、スミア部分であって第２のスミア境界に隣接する部分（以下「第２の処理対象部分」という）の画素における、非スミア部分であって第２のスミア境界に隣接する部分の同一色成分の画素との色（色成分量）の差分を、第２の処理対象部分の全ての画素について取得する（Ｓ１１）。
【００６０】
続いて、その第１及び第２の処理対象部分の各画素の色の差分から、画素列毎に色の差分の平均値を算出する（Ｓ１２）。
続いて、その第１及び第２の処理対象部分の画素の色の差分から、当該画素を含む画素列で求められた色の差分の平均値を差し引き、更に、当該画素で色の差分が求められた際に用いられた非スミア部分の同一色成分の画素の画素値を加算する、という演算を、その第１及び第２の処理対象部分の全ての画素について行う（Ｓ１３）。
【００６１】
続いて、未処理のスミア部分が残っているか否かを判定する（Ｓ１４）。
Ｓ１４の判定において、その判定結果がＹｅｓの場合には、続いて、その第１及び第２の処理対象部分を非スミア部分とみなすと共に、第１のスミア境界を、非スミア部分としてみなされた第１の処理対象部分と残りのスミア部分との境界に変更し、また、第２のスミア境界を、非スミア部分としてみなされた第２の処理対象部分と残りのスミア部分との境界に変更し（Ｓ１５）、Ｓ１１へ戻る。
【００６２】
一方、Ｓ１４の判定において、その判定結果がＮｏの場合には、本動作が終了する。
ここで、上述したＳ１１乃至Ｓ１５の処理を、図８(a),(b),(c),(d) を用いて具体的に説明する。
【００６３】
図８(a),(b),(d),(d) は、これらの処理を説明するための画像データの一例を示す図であり、図４に示した画像データに対応する図である。
尚、図８(a),(b),(d),(d) に示した画像データにおいて、図４に示した符号と同一の符号は同一の要素を示している。但し、図８(a) において、矢印２７及び２８は、Ｓ３の処理が終了した時点の第１のスミア境界及び第２のスミア境界を示す。
【００６４】
この場合、同図(a) に示した画像データにおいて、まずＳ１１では、スミア部分（両矢印２６に示す範囲の部分）における第１のスミア境界に隣接する部分（本例では両矢印５１に示す範囲の部分とする）を第１の処理対象部分として、この第１の処理対象部分の画素における、非スミア部分であって第１のスミア境界に隣接する部分（本例では両矢印５２に示す範囲の部分とする）の同一色成分の画素との間の色の差分が取得される。例えば、Ｒ画素３１におけるＲ画素２９との画素値の差分やＧ画素３２におけるＧ画素３０との画素値の差分などが取得される。また、スミア部分における第２のスミア境界に隣接する部分（本例では両矢印５３に示す範囲の部分とする）を第２の処理対象部分として、この第２の処理対象部分の画素における、非スミア部分であって第２のスミア境界に隣接する部分（本例では両矢印５４に示す範囲の部分とする）の同一色成分の画素との間の色の差分が取得される。例えば、Ｇ画素３８におけるＧ画素４０との画素値の差分やＲ画素３９におけるＲ画素４１との画素値の差分などが取得される。
【００６５】
続いて、Ｓ１２では、この第１及び第２の処理対象部分の各画素の色の差分から、画素列毎に色の差分の平均値が算出される。
続いて、Ｓ１３では、この第１及び第２の処理対象部分の画素の色の差分から、当該画素を含む画素列で求められた色の差分の平均値を差し引き、更に、当該画素で色の差分が求められた際に用いられた非スミア部分の同一色成分の画素の画素値を加算する、という演算が、その第１及び第２の処理対象部分の全ての画素について行われる。
【００６６】
このようなＳ１１乃至Ｓ１３の処理により、同図(b) に示したように、第１及び第２の処理対象部分（両矢印５１及び５３に示す範囲の部分）が補間される。
続いて、Ｓ１４では、未処理のスミア部分が残っているか否かが判定される。この時には、同図(b) に示したように、未処理のスミア部分（両矢印５５に示す範囲の部分）が残っているので、判定結果がＹｅｓとなって、処理がＳ１５へ移行する。
【００６７】
続いて、Ｓ１５では、第１及び第２の処理対象部分（両矢印５１及び５３に示す範囲の部分）が非スミア部分とみなされ、また、第１のスミア境界が、その第１の処理対象部分と残りのスミア部分との境界（矢印５６）に変更され、更に、第２のスミア境界が、その第２の処理対象部分と残りのスミア部分との境界（矢印５７）に変更され、処理がＳ１１へ戻る。
【００６８】
続いて、同図(c) に示したように、スミア部分（両矢印５５に示す範囲の部分）における第１のスミア境界（矢印５６）に隣接する部分（本例では両矢印５８に示す範囲の部分とする）を第１の処理対象部分とし、非スミア部分における第１のスミア境界に隣接する部分を、本例では先ほど補間された両矢印５１に示す範囲の部分とし、また、スミア部分における第２のスミア境界（矢印５７）に隣接する部分（本例では両矢印５９に示す範囲の部分とする）を第２の処理対象部分とし、非スミア部分における第２のスミア境界に隣接する部分を、本例では先ほど補間された両矢印５３に示す範囲の部分として、上記と同様にＳ１１乃至Ｓ１３の処理が行われる。
【００６９】
これにより、同図(d) に示したように、第１及び第２の処理対象部分（両矢印５８及び５９に示す範囲の部分）が補間される。
続いて、Ｓ１４では、再び未処理のスミア部分が残っているか否かが判定される。この時には、同図(d) に示したように、未処理のスミア部分は残っていないので、判定結果がＮｏとなって、処理が終了する。
【００７０】
このように、本動作によれば、Ｓ３の処理によって特定されたスミア部分を、スミア境界に近い部分から順に画像補間を行うようにすることができる。
以上、実施例２によれば、実施例１と同様の効果が得られることは勿論のこと、それに加えて、特定されたスミア部分の範囲（例えば図８(a)に示した両矢印２６に示した範囲）が広いとき等に生じ得る、そのスミア部分の画素（例えば図８(a)に示したＲ画素３５）と、その画素を実施例１の処理により補間する際に使用される非スミア部分の画素（例えば図８(a)に示したＲ画素４１）との間で撮像対象が異なっていることが生じたとしても、本実施例による処理では、そのスミア部分をスミア境界に近い部分から順に画像補間を行うようにしたので、そのスミア部分の画像補間の信頼性をより高めることが可能になる。
【００７１】
以上、実施例１及び２について説明したが、各実施例において、ＣＣＤ４に採用されるカラーフィルターとして、ベイヤー型の原色フィルターの代わりに、例えば、他の配列からなる原色フィルターを採用してもよく、或いは、補色フィルターなど、他のカラー配列からなるカラーフィルターを採用してもよい。
【００７２】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。
【図面の簡単な説明】
【００７３】
【図１】実施例１に係る画像処理装置を適用したデジタルカメラの概略構成を示す図である。
【図２】実施例１に係る画像処理の動作を示すフローチャートである。
【図３】Ｓ３の処理を説明するための画像データのイメージ図である。
【図４】Ｓ４の処理を説明するための画像データの一例を示す図である。
【図５】Ｓ５の処理を説明するための画像データの一例を示す図である。
【図６】(a),(b),(c) は、Ｓ６の処理を説明するための画像データの一例を示す図である。
【図７】実施例２に係る画像処理の動作を示すフローチャートである。
【図８】(a),(b),(c),(d) は、Ｓ１１乃至Ｓ１５の処理を説明するための画像データの一例を示す図である。
【図９】強い光源を含む被写体を撮影したときの画像の一例を示す図である。
【符号の説明】
【００７４】
１      デジタルカメラ
２      ＣＰＵ
３      ＴＧ
４      ＣＣＤ
５      ＡＦＥ回路
６      ＳＤＲＡＭ
７      画像表示部
８      ＲＯＭ
９      キー入力部
１０    カードＩ／Ｆ
１１    メモリカード
１６、１７、１８  部分
１９、２０、２１  部分
２６    両矢印
２７、２８  矢印
２９、３１、３３、３５、３７、３９、４１  Ｒ画素
３０、３２、３４、３６、２８、４０、４２、４３  Ｇ画素
５１、５２、５３、５４、５５  両矢印
５６、５７  矢印
【図１】
2007173993.tif 000003
【図２】
2007173993.tif 000004
【図７】
2007173993.tif 000005
【図３】
2007173993.tif 000006
【図４】
2007173993.tif 000007
【図５】
2007173993.tif 000008
【図６】
2007173993.tif 000009
【図８】
2007173993.tif 000010
【図９】
2007173993.tif 000011