(57)【要約】【課題】前段処理部および後段処理部においてデータ調整を行う画像処理装置において、より簡略にかつ効率的にデータの調整を可能にする。【解決手段】フロントエンドプロセッサ１８において、撮像素子１２からの画像データに対し、オプティカルブラック（ＯＢ）領域の第１領域の画素を用いて仮の黒レベル調整を行い、その後ノイズリダクション（ＮＲ）処理を行う。バックエンドプロセッサ２０において、フロントエンドプロセッサ１８で処理された画像データを取得し、ＯＢ領域の第２領域の画素を用いて理想の黒レベル調整を行いない、その後ＮＲ処理を行う。仮の黒レベル調整が真の黒レベル調整よりも低い精度で行われる。【選択図】図２
2018007083.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データに対し第１調整を行い所定の信号処理を施す前段画像処理部と、
前記前段画像処理部で処理された画像データを取得し、第２調整を行い所定の信号処理を施す後段画像処理部とを備え、
前記第１調整と前記第２調整が異なる手法で行われる
ことを特徴とする画像処理装置。
【請求項２】
前記調整はオプティカルブラックの調整であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整は暗電流量の調整であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１調整よりも前記第２調整が高い精度で行われることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記第１調整に使用されるエリアと、前記第２調整で使用されるエリアが異なることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項６】
前記第１調整に使用されるエリアが、前記第２調整に使用されるエリアよりも狭いことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項７】
前記画像データが撮像素子からの画像データであり、前記第１、第２調整に用いられるエリアが、前記撮像素子のオプティカルブラック（ＯＢ）領域の少なくとも一部を含むことを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記前段および後段画像処理部における所定の信号処理に、ゲイン調整処理またはノイズリダクション処理の何れかが含まれることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項９】
前記前段画像処理部が前記第１調整レベルを保持する第１調整レベル保持手段を備えるとともに、前記後段画像処理部が前記第１調整レベル保持手段から前記第１調整レベルを取得し、前記第１調整レベルを用いて前記第２調整レベルを補正することを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
【請求項１０】
請求項１〜９の何れか一項に記載の画像処理装置を搭載することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前段処理回路および後段処理回路を通して画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
撮像素子からの画像データに対して前段処理部で前処理を施し、その後、後段処理部に転送して後処理を行うデジタルカメラが知られている。また、高ピクセルレートの撮像センサを使用するカメラにおいて、前段処理部であるフロントエンジンでピクセルレートを低減し、後段処理部であるバックエンジンでは、低減されたピクセルレートで画像データを受け取り、画像処理を施す構成も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５９０６８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これまでは前段の画像処理部で画像処理を行おうとする場合、黒レベルの補正が必要となるため、前段の画像処理部でも後段で行われるのと同様な黒レベル調整処理が行われる必要があり、黒レベル調整のための回路規模が大きくなるという問題があった。さらに、後段の画像処理部は前段の処理と同様の黒レベル補正が行えることが多く回路規模が２倍となるという問題がある。
【０００５】
本発明は、前段処理部および後段処理部においてデータ調整を行う画像処理装置において、より簡略にかつ効率的にデータの調整を可能にすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、入力された画像データに対し第１調整を行い所定の信号処理を施す前段画像処理部と、前段画像処理部で処理された画像データを取得し、第２調整を行い所定の信号処理を施す後段画像処理部とを備え、第１調整と前記第２調整が異なる手法で行われることを特徴としている。
【０００７】
上記調整は、例えばオプティカルブラックの調整や、暗電流量の調整である。また第１調整よりも第２調整が高い精度で行われることが好ましい。更に、第１調整に使用されるエリアと、第２調整で使用されるエリアが異なることが好ましく、第１調整に使用されるエリアは、第２調整に使用されるエリアよりも狭いことが好ましい。
【０００８】
画像データは撮像素子からの画像データであり、第１、第２調整に用いられるエリアは、例えば撮像素子のオプティカルブラック（ＯＢ）領域の少なくとも一部を含む。また前段および後段画像処理部における所定の信号処理には、例えばゲイン調整処理またはノイズリダクション処理の何れかが含まれる。
【０００９】
また前段画像処理部は、第１調整レベルを保持する第１調整レベル保持手段を備えるとともに、後段画像処理部が第１調整レベル保持手段から第１調整レベルを取得し、第１調整レベルを用いて第２レベル調整を補正してもよい。
【００１０】
本発明のデジタルカメラは、上記画像処理装置を搭載することを特徴としている。
【発明の効果】
【００１１】
本発明によれば、前段処理部および後段処理部においてデータ調整を行う画像処理装置において、より簡略にかつ効率的にデータの調整を可能にすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態であるカメラの構成を示すブロック図である。
【図２】前段処理部（以下、フロントエンドプロセッサ）および後段処理部（以下、バックエンドプロセッサ）を中心とする電気的な構成を示すブロック図である。
【図３】ＯＢ検波に用いられる第１領域と第２領域を示す撮像素子の平面図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である信号処理装置が搭載されたカメラの構成を示すブロックである。
【００１４】
カメラ１０は、例えばＣＭＯＳやＣＣＤなどの撮像素子１２を搭載する一眼レフのデジタルカメラであり、レンズ１４と撮像素子１２の間にはアップ／ダウンが可能なミラー１６が配置される（なお図１にはミラーダウン状態が示される）。被写体像の撮影は、ミラーアップ状態で行われ、レンズ１４を通して形成された被写体像は、撮像素子１２に結像され画像信号として取得される。撮像素子１２で検出された画像信号は、特定用途向け集積回路（ＡＳＩＣ）等を用いたフロントエンドプロセッサ（前段画像処理部）１８に送られ、ＮＲなどの所定の信号処理が行われた後、ＤＳＰ等を用いたバックエンドプロセッサ（後段画像処理部）２０へと送られる。
【００１５】
一方、ミラーダウン状態でレンズ１４に入射した光は、ミラー１６の主ミラー１６Ｍに反射されスクリーン２２に結像される。スクリーン２２に形成された被写体像は、ペンタプリズム２４等を介して接眼レンズ２６へと導かれ、ユーザは接眼レンズ２６を通してこの被写体像を観察可能である。また、ペンタプリズム２４を通した光はＡＥセンサ２８にも導かれ、自動露出制御に用いられる。更に、ミラー１６は副ミラー１６Ｓを備え、ミラーダウン状態において、主ミラー１６Ｍを透過した一部の光は副ミラー１６Ｓで反射されてＡＦセンサ３０で検知され、オートフォーカス制御に用いられる。また、本実施形態のカメラ１０は温度計１３を備え、カメラ内の温度はバックエンドプロセッサ２０へ入力されモニタされる。
【００１６】
図２は、本実施形態のフロントエンドプロセッサ１８とバックエンドプロセッサ２０を中心とする電気的な構成を示すブロック図である。
【００１７】
図２に示されるように、フロントエンドプロセッサ１８には、入力用センサＩ／Ｆ（インタフェース）３２を介して撮像素子１２からの画像データが入力される。画像データは、ＯＢ検波部３４に送られ、撮像素子１２のＯＢ領域の所定領域（第１領域）の画素値を用いて仮の黒レベルが算出される。そしてＯＢ減算部３６において、画像データからＯＢ検波部３４で算出された黒レベルが減算され、ゲイン調整部３８でゲイン調整が行われる。第１のＯＢ領域は検波を行わず、固定値でもよい。欠陥補正部４０では、欠陥画素とされる画素に対応する画像データを補間し、ＮＲ部４２において、画像データに対してノイズ低減処理が施される。第１領域のＯＢ領域から得た黒レベルは誤差Ｅを含んでおり、誤差を含んだ状態でゲイン調整、ＮＲを行うので、誤差Ｅには処理による係数が掛かり、結果として誤差Ｅ’が出力に残ることになる。ノイズ低減処理が施された画像データは、オフセット部４３で誤差Ｅ’を考慮したオフセットが加えられた後、出力用センサＩ／Ｆ４４を介して、バックエンドプロセッサ２０へと出力される。
【００１８】
バックエンドプロセッサ２０には、入力用センサＩ／Ｆ（インタフェース）５２を介してフロントエンドプロセッサ１８の出力用センサＩ／Ｆ４４からの画像データに誤差Ｅ’を含んだデータが入力される。画像データは、ＯＢ検波部５４に送られ、撮像素子１２のＯＢ領域の所定領域（第２領域）の画素値を用いて誤差Ｅ’を含んだＯＢを検出することで誤差がキャンセルされた、より精度の高い黒レベルが算出される。ここで、第２のＯＢ領域は第１のＯＢ領域よりも、ノイズの少ない異なるエリアを用いることや、より広い範囲のＯＢ領域を用いる、または異なる手法を用いることで、前段より精度の高い黒レベルが算出できる。尚、算出後の値に対して、有効部とＯＢ領域の黒レベルの差を考慮した補正値や暗電流発生量の補正値を加味しても良い。さらに、ＯＢ領域に生じるセンサの個体差を加味しても良い。補正量は、温度や露光時間により変化する補正量であっても良い。前記の算出された黒レベルはＯＢ減算部５６において、画像データから減算され、ゲイン調整部５８でゲイン調整が行われる。欠陥補正部６０では、欠陥画素とされる画素に対応する画像データを補間し、ＮＲ部６２において、画像データに対してノイズ低減処理が施される。ノイズ低減処理が施された画像データは、画像処理部６４にて画像処理を施された後に、画像メモリ６６へと出力される。
【００１９】
なお、フロントエンドプロセッサ１８は、バックエンドプロセッサ２０からの制御信号に基づき制御され、両者の間では、通信ポート６８、７０を介して制御に係る信号や状態や割り込みに係る信号が遣り取りされる。また、通信ポート６８、７０を介して送受信された通信データは、それぞれのレジスタ６９、７１に蓄えられ、これらに基づき各プロセッサ１８、２０における設定等が決定される。
【００２０】
図３は、フロントエンドプロセッサ１８のＯＢ検波に用いられる第１領域と、バックエンドプロセッサ２０のＯＢ検波に用いられる第２領域の違いを示す撮像素子１２の平面図である。撮像素子１２の略中央には、被写像の撮影に用いられる有効画素領域ＡEがあり、その周囲にはＯＢ領域ＡOBが設けられる。第１領域には、例えば有効画素領域ＡEの上側にある領域Ａ１が用いられ、第２領域には、例えば有効画素領域ＡEの左右の領域、あるいは有効画素領域ＡEの上下の領域、これらの組み合わせた領域やＯＢ領域ＡOBの全体が用いられる。図３では、第２領域としてＯＢ領域ＡOBの下側の領域Ａ２を用いる場合が示される。
【００２１】
フロントエンドプロセッサ１８における黒レベルは簡易的な黒レベルであり、バックエンドプロセッサ２０における黒レベルよりも簡易な手法のため第１領域Ａ１の面積は、第２領域Ａ２の面積より狭い。また、フロントエンドプロセッサ１８とバックエンドプロセッサ２０で共通の第１領域ＡOBを用いる黒レベル算出の際には、フロントエンドプロセッサ１８では、欠陥画素の影響を排除する回路を不要とし、バックエンドプロセッサ２０の黒レベルの算出では、同一第１領域ＡOB内の全ての欠陥画素を計算から除外する処理を行う手法として、フロントエンドプロセッサ１８ではバックエンドプロセッサ２０よりも簡易的な手法で処理を行う。さらに、フロントエンドプロセッサ１８の黒レベルの算出では、欠陥画素の一部または全てが黒レベルの計算に含まれていてもよい。これは例えば欠陥画素とする画素値の閾値をバックエンドプロセッサ２０よりも甘く設定することで行ってもよい。また、フロントエンドプロセッサ１８における黒レベルには、予め与えられた固定値を用いることも可能である。
【００２２】
フロントエンドプロセッサ１８における黒レベルには、前述した通り、後段での黒レベルの処理よりも簡易的な処理で算出され、あるいは固定値が用いられる。そのため前段での黒レベルは理想的な黒レベルと比べて誤差を持っていることになる。この時、後段での黒レベル調整で再度、前段よりも広いエリアまたは、異なる手法により前段よりも精度の高い手法で行うことにより誤差のある黒レベルを理想的な黒レベルへと補正することが可能である。
【００２３】
しかしセンサのＯＢの出力は、温度や露光時間などの影響で、理想的な数値にならないことがある。そのため検出した黒レベルに対しては、温度や露光時間などによる補正が必要な場合がある。本実施形態のフロントエンドプロセッサ１８は、簡易な方法での黒レベル検出を行うことを目的としているため、検出した黒レベルに対して温度や露光時間などの各種条件の違いによる補正を行わない。すなわち、ＯＢ検波部３４で検出された黒レベルをＯＢ減算部３６において画像データから減算して仮の黒レベル調整を行い、この画像データに対してゲイン処理（３８）およびＮＲ処理（４２）を行う。またこのとき、フロントエンドプロセッサ１８は、ＯＢ検波部３４で検出した仮の黒レベル（第１黒レベル）をレジスタ６９へ記録する。
【００２４】
ここで温度や露光時間による補正を行わないＯＢ検波値ＯＢＦは、理想的な黒レベルＯＢに、温度や露光時間などの影響によるオフセット値ＯＦＳが含まれた値となり、ＯＢＦ＝ＯＢ＋ＯＦＳとなる。更にフロントエンドプロセッサ１８のＯＢ検波部３４は、簡易的な手法を用いるため、ＯＢ検出部３４におけるＯＢ検波値には、検波誤差のオフセット値ＯＢＥが含まれる。したがって、ＯＢ検波部３４で検出される実際のＯＢ検波値ＯＢＦ’は、ＯＢＦ’＝ＯＢＦ＋ＯＢＥ＝ＯＢ＋ＯＦＳ＋ＯＢＥとなる。ＯＢ減算部３６においてＯＢ検波値ＯＢＦ’を画像データから減算すると、画像データには検波誤差のオフセット値ＯＢＥのみが残り、バックエンドプロセッサ２０に転送される画像データには検波誤差のオフセット値ＯＢＥのみが伝搬する。バックエンドプロセッサ２０では、検波誤差のオフセット値ＯＢＥを含んだ画像データに対してＯＢ検波（ＯＢ検波部５４）を行うことで、この検波誤差のオフセット値ＯＢＥが検出される。
【００２５】
一方、撮像素子（センサ）１２のＯＢ出力を温度や露光時間で補正するには、撮像素子１２のＯＢ出力が必要になる。そのためバックエンドプロセッサ２０は、先にフロントエンドプロセッサ１８のレジスタ６９に格納されたＯＢ検出値ＯＢＦ’（第１黒レベル）を、通信ポート６８、７０を通してフロントエンドプロセッサ１８から読み出す。そしてバックエンドプロセッサ２０は、検出した検波誤差のオフセット値ＯＢＥとフロントエンドプロセッサ１８から読み出した仮の黒レベル（第１黒レベル）ＯＢＦ’の値に基づき、撮像素子１２の温度や露光時間などで生じたオフセット値ＯＦＳを含む黒レベルＯＢＦ、すなわちＯＢＦ＝ＯＢＦ’−ＯＢＥを算出する。
【００２６】
バックエンドプロセッサ２０では、温度計１３による温度の検出値や露光時間などから撮像素子１２の黒レベルのオフセット値ＯＦＳを計算により求め、先に算出した黒レベルＯＢＦを補正することで撮像素子１２の理想の黒レベルＯＢ（＝ＯＢＦ−ＯＦＳ）を算出する。バックエンドプロセッサ２０は、算出された理想の黒レベルＯＢをＯＢ減算部５６で画像データから減算し、ゲイン調整部５８でゲイン調整を行なう。欠陥補正部６０では、欠陥画素とされる画素に対応する画像データを補間し、ＮＲ部６２において、画像データに対してノイズ低減処理が施される。ノイズ低減処理が施された画像データは、画像処理部６４にて画像処理を施された後に、画像メモリ６６へと出力される。なお、ここでは補正の例をオフセット量として表現したが、補正は乗算などで補正する方法であってもよい。
【００２７】
以上のように、本実施形態によれば、フロントエンドプロセッサで入力された画像データに対し例えば黒レベルの第１調整を行い所定の信号処理を施し、その後バックエンドプロセッサで第１調整と異なる手法を用いた例えば黒レベルの第２調整を行い所定の信号処理を施す構成とすることで、フロントエンドプロセッサおよびバックエンドプロセッサにおいてデータ調整を行う画像処理装置においても、より簡略にかつ効率的にデータの調整が可能になる。
【００２８】
例えば、フロントエンドプロセッサでは、黒レベル算出に使用される画素の数を、バックエンドプロセッサに比べて大幅に低減でき、計算も簡略化されるので、黒レベル算出、必要なレジスタ、カウンタ、メモリ等を低減し、回路構成を簡略化でき、かつフロントエンド部、バックエンド部で同等の黒レベル補正回路を用いる手法と同等の効果を得ることができる。
【００２９】
また本実施形態では、第１黒レベル調整に使用されるエリアと、第２黒レベル調整で使用されるエリアを異ならせ、例えば、第１黒レベル調整に使用されるエリアを第２黒レベル調整に使用されるエリアよりも狭くすることで、後段処理部より簡易でかつ、前段処理部でのメモリのサイズやレジスタのサイズ、カウンタなどのレジスタの使用量を減らすことができる。
【００３０】
また本実施形態では、第１黒レベル調整に使用される手法を第２黒レベル調整に使用される手法と異ならせることで、第１黒レベル調整の回路規模を小さくし、また簡易な手法で黒レベル調整を行うことができる。また、第１黒レベル調整を画像から取得せず指定された固定値を使うことにより行うことで回路規模を削減することもできる。
【００３１】
更に、本実施形態では前段画像処理部が第１黒レベルを保持する第１黒レベル保持手段を備えるとともに、後段画像処理部が第１黒レベル保持手段から第１黒レベルを取得し、第１黒レベルを用いて第２黒レベル調整を補正することにより、後段画像処理部において高い精度での黒レベル調整が可能としている。
【００３２】
なお、本実施形態では、一眼レフのデジタルカメラを例に説明を行なったが、本実施形態はミラーレスのデジタルカメラやコンパクトカメラ、あるいはカメラ機能を備えたその他の電子機器に適用することもできる。また、本実施形態では、フロントエンドプロセッサは画像データに対してＮＲ処理を行ったが、その他の処理であってもよい。
【符号の説明】
【００３３】
１０  デジタルカメラ
１２  撮像素子
１４  レンズ
１６  ミラー
１８  フロントエンドプロセッサ（前段画像処理部）
２０  バックエンドプロセッサ（後段画像処理部）
３２、５２  入力用センサＩ／Ｆ
３４、５４  オプティカルブラック（ＯＢ）検波部
３６、５６  オプティカルブラック（ＯＢ）減算部
４０、６０  欠陥補正部
４２、６２  ノイズリダクション（ＮＲ）部
４３  オフセット部
４４  出力用センサＩ／Ｆ
【図１】
2018007083.tif 000003
【図２】
2018007083.tif 000004
【図３】
2018007083.tif 000005