(57)【要約】【課題】ラインメモリの使用量を低減することができる、画像処理装置を提供する。【解決手段】１ライン分の中間画像信号を保持するラインメモリ２０と、ラインメモリ２０から転送された中間画像信号を保持するラインバッファ２２と、ラインバッファ２２に格納されている中間画像信号を用いて、歪曲収差を補正した出力画像信号を生成する信号処理部２４とを備えている。中間画像信号と出力画像信号とは共にＲＡＷ画像信号であり、信号処理部は、中間画像信号のうち出力画素と同じ色成分のみでデモザイク処理を行う。【選択図】図１
2016163331.tif 000002
【特許請求の範囲】
【請求項１】
１ライン分の画像信号を保持するラインメモリと、
前記ラインメモリから転送された画像信号を保持するラインバッファと、
前記ラインバッファに格納されている前記画像信号を用いて、歪曲収差を補正した出力画像信号を生成する信号処理部と、
を備え、
前記画像信号と前記出力画像信号とは共にＲＡＷ画像信号であり、
前記信号処理部は、前記画像信号のうち前記出力画素と同じ色成分でデモザイク処理を行う、画像処理装置。
【請求項２】
前記信号処理部は、複数の前記出力画素について前記歪曲収差の補正を並列で行い、前記複数の出力画素は、近接する同じ色成分の画素である、請求項１に記載の画像処理装置。
【請求項３】
前記信号処理部は、前記複数の出力画素の算出に必要な画素値を、前記ラインバッファから同一のサイクルで取得する、請求項２に記載の画像処理装置。
【請求項４】
前記信号処理部は、前記画素信号に対し、画素ごとにホワイトバランス処理とカラーマトリクス処理を行う、請求項１乃至請求項３に記載の画像処理装置。
【請求項５】
前記信号処理部は、前記歪曲収差の補正をバイリニア補正により行う、請求項１乃至請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
一般的に、デジタルカメラ等の撮像装置で被写体を撮像して得られた画像は、撮像レンズ等の光学系が有する歪曲収差や倍率色収差の影響を受ける。歪曲収差を抑制するためには、レンズの材質を工夫したり、非球面レンズを用いたりするが、設計や製造のコストが増大するという問題がある。また、倍率色収差を抑制するためには、屈折率の異なる素材のレンズの組を多数使用するためにレンズ数が多くなり、装置の大型化や製造コストが増大してしまうという問題がある。
【０００３】
そこで、近年では、これらの問題を解決するものとして、歪曲収差や倍率色収差によって画像に歪みなどが生じる場合、画像に対して電気的に、光学系で生じる歪みを補正する画像処理装置が用いられている。
【０００４】
従来の画像処理装置における電気的補正処理では、画像に対してランダムアクセスが必要となるために、フレームメモリに入力画像１フレーム分を保持し、必要な画素に対して都度アクセスする方法が用いられていた。しかしながら、フレームメモリはメモリ量が大きいため、製造コストが高くなってしまったり、装置が大型化してしまったりする。
【０００５】
そこで、メモリ量の低減を図るために、フレームメモリのかわりにラインメモリを用いる画像処理装置が提案されている。しかしながら、倍率色収差を補正するためには、ＲＧＢ各色の歪曲補正が必要であり、撮像素子が生成した画像に対する補正では、あらかじめデモザイクを行う必要がある。倍率色収差補正を行うために必要なラインメモリを各色に対して搭載すると、ラインメモリの使用量が大きくなってしまうという問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−６６１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本実施形態は、ラインメモリの使用量を低減することができる、画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本実施形態の画像処理装置は、１ライン分の画像信号を保持するラインメモリと、前記ラインメモリから転送された画像信号を保持するラインバッファと、前記ラインバッファに格納されている前記画像信号を用いて、歪曲収差を補正した出力画像信号を生成する信号処理部と、を備え、前記画像信号と前記出力画像信号とは共にＲＡＷ画像信号であり、前記信号処理部は、前記画像信号のうち前記出力画素と同じ色成分のみでデモザイク処理を行う。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係わる画像処理装置の構成を説明する概略ブロック図。
【図２】第１の実施形態における信号処理部２４の補正処理を説明するフローチャート。
【図３】出力画素Poから参照画素Piへの変換の一例を説明する図。
【図４】アクセスウィンドウWaの一例を説明する図。
【図５】部分デモザイク処理前後におけるウィンドウWi内の各画素値のカラーを説明する図。
【図６】隣り合う画素を並列処理する場合におけるアクセスウィンドウ加算領域Watを説明する図。
【図７】第２の実施形態におけるアクセスウィンドウ加算領域Watを説明する図。
【図８】第２の実施形態における信号処理部２４の補正処理を説明するフローチャート。
【図９】第３の実施形態における信号処理部２４の補正処理を説明するフローチャート。
【図１０】第４の実施形態における信号処理部２４の補正処理を説明するフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照して実施形態を説明する。
（第１の実施形態）
図１は、本発明の実施形態に係わる画像処理装置の概略ブロック図である。画像処理装置は、被写体を撮像し、デジタル画像（中間画像）を生成する撮像部１と、中間画像に電気的な処理を施して、光学系で生じる歪みを補正する電気的補正部２とから主に構成されている。
【００１１】
撮像部１は、撮影レンズなどの光学系部品、撮像素子、アナログ処理部、Ａ／Ｄ変換部などから構成される。光学系部品は、被写体の像を撮像素子の受光面に結像する。ＣＣＤイメージセンサやＣＭＯＳセンサなどから成る撮像素子は、結像された像を電気信号（以下、画像信号と示す）に変換する。アナログ処理部は、画像信号に対して、例えばゲインを調整したりノイズ成分を低減したりして、アナログ画像信号を生成する。Ａ／Ｄ変換部は、アナログ画像信号をデジタル変換して、中間画像であるRAW画像を生成する。なお、RAW画像では、撮像素子のカラーフィルタ配列（例えば、ベイヤー（Bayer）配列）に基づいて、１つの画素に１色の画素値が格納されている。
【００１２】
電気的補正部２は、入力ラインメモリ２０と、ラインバッファ補充部２１と、ラインバッファ２２と、補充ライン数計算部２３と、信号処理部２４と、最終ライン判定部２５とから主に構成されている。また、電気的補正部２には、図示しない出力ラインメモリも有する。出力ラインメモリは、信号処理部２４からの出力画像信号を１ライン分保持する。
【００１３】
入力ラインメモリ２０は、撮像部１から入力される中間画像信号を１ライン分保持する。ラインバッファ補充部２１は、ある程度のライン数（例えば３２ライン程度）の画像信号を保持することが可能なバッファ（以下、入力補充バッファと示す）を有する。入力補充バッファは、ラインメモリ２０から１ライン分ずつ規則的に中間画像信号を補充される。入力補充バッファが既に容量分の画像信号を保持している場合は、既に格納されている画像信号のうち、最前から格納されている１ライン分の画像信号が破棄される。
【００１４】
ラインバッファ２２は、補正に使用される可能性があるラインに関する中間画像信号を保持する。ラインバッファ２２も、入力補充バッファと同様に、ある程度のライン数（例えば３２ライン程度）の画像信号を保持することが可能なバッファで構成されている。ラインバッファ２２には、次に出力すべきラインの画像信号を得るための補正処理に必要となる中間画像信号が格納されていなければならない。この処理のための中間画像信号は、入力補充バッファに格納されている中間画像信号とは一致していない。このため、入力補充バッファから中間画像信号を適宜読みだして、ラインバッファ２２を更新する必要がある。
【００１５】
この更新に必要な補充ライン数（入力補充バッファからラインバッファ２２に転送する中間画像信号のライン数）の算出は、補充ライン数計算部２３で行われる。補充ライン数計算部２３は、信号処理部２４で行う補正処理に必要となる中間画像信号のラインの範囲を算出する。そして、当該範囲の画像信号のうち、ラインバッファ２２に格納されてないラインの中間画像信号を、ラインバッファ補充部２１からラインバッファ２２に読み込ませる。
【００１６】
信号処理部２４は、出力画像信号における各画素について、対応する中間画像信号の画素位置を特定し、画素値の補正処理を行う光学補正回路である。なお、補正処理を行った出力画像は、RAW画像である。
【００１７】
最終ライン判定部２５は、出力ラインメモリに格納された出力画像信号が、処理対象フレームの最終ラインであるか否かを判定する。最終ラインである場合は、１フレーム分の補正処理が終了しているので、入力補充バッファやラインバッファ２２に格納されている中間画像信号を破棄する。また、最終ライン判定部２５は、補充ライン数計算部２３に、次に出力すべきラインが（次のフレームの）１ライン目である旨を通知する。
【００１８】
次に、信号処理部２４における、中間画像信号を補正し出力画像の画素値を算出する手順を説明する。図２は、第１の実施形態における信号処理部２４の補正処理を説明するフローチャートである。
【００１９】
まず、補正対象となる出力画素Poの画素位置（ho, vo）（以下、画素Po（ho，vo）と記す）を特定する。また、出力画像はRAW画像であるので、画素位置における色（Ｃ）も特定する（Ｓ１）。色Ｃは、撮像素子のカラーフィルタ配列によって決定される。例えば、（ho=0, vo=0）ならＣ＝Ｇ、（ho=1, vo=0）ならＣ＝Ｒ、（ho=0, vo=1）ならＣ＝Ｂのように決定される。
【００２０】
次に、出力画素Po（ho, vo）を、中間画像における参照画素Piの画素位置（hi, vi）（以下、画素Pi（hi, vi）と記す）に変換する（Ｓ２）。画素位置の変換は、以下に示す（１）〜（３）式を用いて行う。
【００２１】
hi = ( k0 + k1*r2 + k2*r2^2 + k3*r2^3 + k4*r2^4 ) * ho        …  （１）式
vi = ( k0 + k1*r2 + k2*r2^2 + k3*r2^3 + k4*r2^4 ) * vo        …  （２）式
r2 = ho * ho + vo * vo                                        …  （３）式
（１）（２）式において、kx ( x=0〜4)は、色（ＲＢＧ）によって決まる補正パラメータ（歪補正係数）とする。また、出力画素Po（ho, vo）は、出力画像の中心を原点とする座標であり、参照画素Pi（hi, vi）は、中間画像の中心を原点とする座標である。なお、両座標とも、水平方向は右側を正とし、垂直方向は下側を正とする。
【００２２】
出力画素Poの位置座標（ho, vo）がそれぞれ整数であるのに対し、通常、参照画素Piの位置座標（hi, vi）は小数点数である。図３は、出力画像から中間画像への変換の一例を説明する図である。例えば、出力画素Po（２，４）の場合、参照画素Pi（２．７，４．８）のように計算される。従って、出力画素Poの画素値は、参照画素Pi近傍の画素の画素値を用いて補間する。
【００２３】
次に、画素値の補間を行うために必要な中間画像信号の画素領域（以下、アクセスウィンドウWaと示す）を特定する（Ｓ３）。図４は、アクセスウィンドウWaの一例を説明する図である。補間に必要な画素領域は、画素値の補間方法によって異なるため、まず、画素値の補間方法を決定する。画素値の補間方法は、特定の方法に限定されるものではなく、既存の補間方法（バイリニア補間、バイキュービック補間、ニアレストレイバー補間、など）から適切な方法を選択することができる。例えば、バイリニア補間の場合、参照画素Pi（２．７，４．８）周辺の２×２画素（＝４画素）を用いて補間を行う。具体的には、Pi1(２，４)、Pi2(３，４)、Pi3(２，５)、Pi4(３，５)、の４画素を用いて補間を行う。以下、上述の補間（この場合、バイリニア補間）に必要な画素領域を、ウィンドウWiと示す。
【００２４】
出力画素Poの色成分と同じ、これら４画素の色成分の画素値を用いて補間を行う。ところが、中間画像はRAW画像であるため、撮像素子のカラーフィルタ配列に基づいて、１つの画素に１色の画素値しか格納されていない。例えばベイヤー配列の場合、図４に示すように、Pi1(２，４)とPi4(３，５)の色はＧであるので、ラインバッファ２２に格納されている当該画素の中間画像信号をそのまま用いることができる。しかし、Pi2(３，４)の色はＲであり、Pi3(２，５)の色はＢであるので、これら２画素についてはラインバッファ２２に格納されている当該画素の中間画像信号をそのまま用いることができない。このため、Ｇ成分を持たないこれら２画素については、Ｇ成分をデモザイクによって算出する。以下、特定の色成分の画素信号のみを算出するデモザイク処理を、部分デモザイクと示す。
【００２５】
デモザイクとは、対象画素が持っていない色情報を、周辺領域の画素の色情報を用いて補間する処理である。デモザイクは、特定の方法に限定されるものではなく、既知の方法の中から適切な方法を用いて行うことができる。例えば、対象画素を中心とした５×５画素のＧ成分を用いて、対象画素のＧ成分を算出する場合、Pi2(３，４)の部分デモザイクには（hi，vi）＝（１，２）（５，２）（１，６）（５，６）を四隅とする領域（ウィンドウW1）に位置する画素の画素値を用いてＧ成分を算出する。また、Pi3(２，５)の部分デモザイクには、（hi，vi）＝（０，３）（４，３）（０，７）（４，７）を四隅とする領域（ウィンドウW2）に位置する画素の画素値を用いてＧ成分を算出する。
【００２６】
アクセスウィンドウWaは、部分デモザイクとバイリニア補間の両方を行うために参照する領域であるため、３つのウィンドウWi,W1,S2を包含する領域となる。従って、上述の例の場合、アクセスウィンドウWaは、（hi，vi）＝（０，３）（５，３）（０，７）（５，７）を四隅とする６×６画素の領域）と特定される。
【００２７】
次に、ラインバッファ２２に格納されている画像信号のうち、アクセスウィンドウWa内の画像信号にアクセスする。そして、補間に必要な画素領域であるウィンドウWiに存在する画素Pi1(２，４)、Pi2(３，４)、Pi3(２，５)、Pi4(３，５)のうち、Ｇ成分の画素値を持たない画素Pi2(３，４)、Pi3(２，５)について、Ｇ成分の画素値を部分デモザイクによって算出する（Ｓ４）。図５は、部分デモザイク処理前後におけるウィンドウWi内の各画素値のカラーを説明する図である。部分デモザイクによって、ウィンドウWi内の４画素すべてについてＧ成分の画素値が得られる。
【００２８】
続いて、ウィンドウWi内の画素を用いて補間を行い、参照画素Pi（hi，vi＝）でのＧ成分の画素値を算出する（Ｓ５）。  
【００２９】
最後に、参照画素PiでのＧ成分の画素値を、出力画素Poの画素値として出力する（Ｓ６）。本実施形態では、電気的補正部２による補正により生成する出力画像はRAW画像であるので、出力画素は１画素につき１色の画素値のみである。従って、出力画素PoのＧ成分の画素値を出力することにより、一連の処理を終了する。
【００３０】
このように、本実施形態によれば、補正対象画像として、RAW画像をラインバッファ２２に格納している。従って、補正対象として色分離された画像（RGB画像）を用いる場合に比べてラインバッファ２２の使用量を低減することができる。例えば、中間画像の解像度が4000×3000画素、歪量が2%、RAW画素データが10ビット、デモザイク後のRGB画素データが8ビットとする。従来の画像処理装置では、3000×2%×4000×3×8ビット＝5760Kビット＝720Kバイトである。これに対し、本実施形態の場合、3000×2%×4000×10ビット＝2400Kビット＝300Kバイトとなる。本実施形態は従来に比べ、ラインバッファ２２の使用量を半分以下に低減することができる。
【００３１】
なお、部分デモザイクや補正処理において、アクセスウィンドウWa内の画像信号を参照する場合、都度ラインバッファ２２に直接アクセスしてもよいし、アクセスウィンドウWa内の画素の画像信号を保持するバッファを別途設け、同バッファにアクセスするようにしてもよい。
【００３２】
また、ラインメモリ２０からラインバッファ２２に中間画像信号を補充するための構成や方法については、上述の構成及び方法に限定されない。すなわち、処理対象である出力画素Poの補正に必要なアクセスウィンドウWa内の画像信号がラインバッファ２２に格納されるように、ラインメモリ２０からラインバッファ２２に中間画像信号を補充する構成及び方法であれば、任意の構成及び方法を用いることができる。
【００３３】
更に、画像処理のスループットを確保するために、アクセスウィンドウWaは、一定サイクル（例えば１サイクル）でラインバッファ２２から取得できるよう、ＬＳＩ実装時に設計することが望ましい。
【００３４】
また、ラインバッファ２２は一つに限られず、ＬＳＩの実装時において、例えば画像の左右に分割するなどして多重化してもよい。ラインバッファ２２を多重化することにより、画像処理の高速化を図ることができる。
（第２の実施形態）
第１の実施形態の画像処理装置では、出力画素を一つずつ補正処理していた。これに対し、第２の実施形態においては、複数の画素を並列して補正処理する点が異なっている。第２の実施形態の画像処理装置は、第１の実施形態と同様の構成である。以下、信号処理部２４における中間画像信号の補正方法について説明する。なお、以下では、２つの画素を並列して補正する場合について説明する。
【００３５】
電気的補正部２から出力される出力画像の画素値の計算は、通常、出力順に１画素ずつ行われる。すなわち、出力画像の最上部から最下部のラインまで、１ラインずつ順に行われ、各ラインにおける画素値の計算は、左端から右端の画素まで、順に１画素ずつ行われる。撮像素子のカラーフィルタがベイヤー配列である場合、出力画素の色成分は、Ｇ→Ｒ→Ｇ→Ｒ→…→Ｒ→Ｂ→Ｇ→Ｂ→…のように変化する。
【００３６】
歪補正係数は色ごとに異なるため、出力画素Poの色成分によって参照画素Piの位置は異なってくる。倍率色収差が大きい場合、歪補正係数も各色間で大きく異なる。このような場合、隣り合う出力画素であっても、色成分が異なれば互いの参照画素は離れた位置になってしまう。
【００３７】
第１の実施形態で述べたように、出力画素Poの画素値は、参照画素Piの近傍領域（アクセスウィンドウWa）の画素値を用いて算出する。複数の出力画素Po1, Po2を並列に処理する場合、それぞれの画素に対する参照画素Pi1, Pi2から求めたアクセスウィンドウWa1, Wa2の両方を、並列に処理しない場合と同じ一定のサイクル（例えば、１サイクル）でアクセスする必要がある。以下、アクセスウィンドウWa1, Wa2の両方を含む領域を、アクセスウィンドウ加算領域Watと示す。
【００３８】
図６は、隣り合う画素を並列処理する場合におけるアクセスウィンドウ加算領域Watを説明する図である。隣り合う出力画素Po1, Po2の色成分は異なる。図６に示す例では、出力画素Po1はＢ成分であり、出力画素Po2はＧ成分である。倍率色収差が大きい場合、Ｂ成分とＧ成分とでは歪補正係数が大きく異なるため、参照画素Pi1とPi2との距離が離れた位置になる。従って、アクセスウィンドウ加算領域Watも大きくなる。
【００３９】
図６では、参照画素Pi1と参照画素Pi2とが、垂直方向に４画素、水平方向に４画素離れた位置にある。アクセスウィンドウWa1 Wa2がそれぞれ参照画素Pi1, Pi2を含む６×６画素領域とすると、アクセスウィンドウ加算領域Watは１０×１０画素領域となる。このように、アクセスウィンドウ加算領域Watが大きくなると、ＬＳＩの実装時に、ラインバッファ２２のバンド幅を大きくする必要があるため、コストが高くなってしまう。
【００４０】
これに対し、本実施形態では、近傍に位置する同じ色成分の出力画素の計算順序を変更し、並列処理する。図７は、第２の実施形態におけるアクセスウィンドウ加算領域Watを説明する図である。本実施形態では、色成分が同一であり近傍に位置する２つの出力画素Po1, Po2を並列処理する。図７に示す例では、出力画素Po1, Po2は共にＧ成分である。また、出力画素Po1と出力画素Po2とは同一ラインに位置し、Ｂ成分の出力画素を１つ挟んで隣り合っている。この場合、倍率色収差の大小によらず、参照画素Pi1とPi2とは近傍に位置することになる。従って、アクセスウィンドウ加算領域Watは、隣り合う画素を並列処理する場合に比べて小さくすることができる。
【００４１】
図７では、参照画素Pi1と参照画素Pi2とは、垂直方向に１画素、水平方向に３画素離れた位置である。アクセスウィンドウWa1 Wa2はそれぞれ参照画素Pi1, Pi2を含む６×６画素領域である。この場合、アクセスウィンドウ加算領域Watは９×７画素の領域となる。
【００４２】
なお、アクセスウィンドウ加算領域Watは、信号処理部２４における補正処理に先立ち算出される。ラインバッファ２２は、出力画素Po1, Po2の算出に必要なアクセスウィンドウ加算領域Wat内の画像信号が格納されるように、随時更新される。
【００４３】
図８は、第２の実施形態における信号処理部２４の補正処理を説明するフローチャートである。まず、並列処理を行う出力画素Po1（ho1, vo1）、Po2（ho2, vo2）を特定する。また、出力画素Po1、Po2の色（Ｃ）も特定する（Ｓ１１）。出力画素Po1、Po2は、近傍に位置する同じ色成分の出力画素が選択される。図７の例では、同一ラインに位置し、Ｂ成分の出力画素を１つ挟んだ２つのＧ成分の出力画素が、出力画素Po1, Po2として特定される。従って、出力画素Po2の画素位置は、（ho1+2, vo1）と表現できる。
【００４４】
次に、出力画素Po1、Po2について、第１の実施形態と同様に画素値を計算する（Ｓ１２〜Ｓ１６）。このとき、出力画素Po1、Po2の各画素値の算出は、並行処理にて行う。すなわち、出力画素Po1については以下の手順を実行する。まず、補正式（１）〜（３）を用いて、出力画素Po1（ho1, vo1）を参照画素Pi1（hi1, vi1）に変換する（Ｓ１２−１）。そして、アクセスウィンドウWa1を特定する（Ｓ１３−１）。アクセスウィンドウWa1内の、出力画素Po1と同じ色成分を持たない画素について、部分デモザイクにより当該色成分の画素値を算出する（Ｓ１４−１）。そして、画素値の補間を行って、参照画素Pi1のＧ成分の画素値を算出する（Ｓ１５−１）。最後に、算出した参照画素Pi1の画素値を、出力画素Po1の画素値として取得する（Ｓ１６−１）。
【００４５】
出力画素Po2についても同様に、補正式（１）〜（３）を用いて、出力画素Po2（ho2, vo2）を参照画素Pi2（hi2, vi2）に変換する（Ｓ１２−２）。アクセスウィンドウWa2を特定する（Ｓ１３−２）。そして、アクセスウィンドウWa2内の、出力画素Po2と同じ色成分を持たない画素について、部分デモザイクにより当該色成分の画素値を算出する（Ｓ１４−２）。画素値の補間を行って、参照画素Pi2のＧ成分の画素値を算出する（Ｓ１５−２）。最後に、算出した参照画素Pi2画素値を、出力画素Po2の画素値として取得する（Ｓ１６−２）。
【００４６】
続いて、出力画素Po1, Po2の画素値の出力を行うか保留するかを判定する（Ｓ１７）。一般的に、出力画像の画素値は、同一ラインの左端から右端に位置する画素まで、並び順に出力される。ところが、本実施形態においては出力順序と異なる順序で、画素値の計算を行っている。従って、取得した画素値を並べ直してから出力する必要がある。図７の場合、出力画素Po1と出力画素Po2との間にＢ成分の出力画素Po3が挟まれている。従って、出力画素Po2については、出力画素Po3の画素値を取得し出力するまでは、画素値の出力を保留する必要がある。
【００４７】
従って、出力順が一つ前の画素の画素値を出力済みまたは画素値が取得されており出力可能な状態である場合、当該画素の画素値の出力を保留せず（Ｓ１７、Ｎｏ）、そのまま出力する（Ｓ１８）。一方、出力順が一つ前の画素の画素値が取得されていない場合については、出力順が一つ前の画素の画素値が取得される、または、出力するまで、当該画素の画素値の出力を保留する（Ｓ１７、Ｙｅｓ）。
【００４８】
例えば、出力画素をPo4→Po1→Po3→Po2の順に出力する場合について説明する。出力画素Po4が直前に出力されている場合、続いて出力画素Po1を出力する。出力画素Po4が取得され保留されている場合、出力画素Po4→Po1の順に出力する。出力画素Po4が取得されていない場合、出力画素Po1の出力を保留する。出力画素Po3が取得され保留されている場合、出力画素Po1→Po3→Po2の順を出力する。出力画素Po3が取得されていない場合、出力画素Po2の出力を保留する。このように、取得した画素値を出力順に並べ替えて出力し、一連の処理を終了する。
【００４９】
これにより、参照画素の領域（アクセスウィンドウ加算領域Wat）の、１画素ずつ補正処理を行う場合に参照画素の領域（アクセスウィンドウWa）に対する増加量を抑制することができる。従って、ラインバッファ２２のバンド幅の拡大を抑制することができるため、コストの増大を抑制しつつ高速化を図ることができる。
（第３の実施形態）
第１及び第２の実施形態の画像処理装置では、歪曲収差の補正を行う際に、センサの画素混色（クロストーク）の影響を考慮せずに処理を行っていた。このため、クロストークの影響が大きい場合、カラーマトリクス処理（ＲＧＢ成分の分離によって画素混色を補正する処理）後の画像で色ずれの現象が発生する可能性があった。これは、歪み補正処理における画素移動により、本来の画素混色補正対象とは異なる画素でカラーマトリクス処理が行われることに起因する。
【００５０】
そこで、第３の実施形態においては、近傍領域（ウィンドウWi）の画素に対して、ホワイトバランス処理とカラーマトリクス処理とを行った後に、部分デモザイク処理を施す。第３の実施形態の画像処理装置は、第１の実施形態と同様の構成である。以下、信号処理部２４における中間画像信号の補正方法について説明する。
【００５１】
図９は、第３の実施形態における信号処理部２４の補正処理を説明するフローチャートである。まず、出力画素Po（ho, vo）と色（Ｃ）とを特定する（Ｓ２１）。色Ｃは、撮像素子のカラーフィルタ配列によって決定される。次に、出力画素Po（ho, vo）を、参照画素Pi（hi, vi）に変換する（Ｓ２２）。中間画像信号の画素領域（参照画素Piの周辺領域、アクセスウィンドウWa）を特定する（Ｓ２３）。なお、Ｓ２１からＳ２３の一連の処理は、図２におけるＳ１からＳ３の処理と同様である。
【００５２】
続いて、近傍領域の画素（ウィンドウWi内の画素）について、ホワイトバランス処理を行う（Ｓ２４）。ホワイトバランス係数は、全画像領域の画素値から計算される。従って、本実施形態の画像処理装置のように、フレームを持たないハードウェア構成の場合、１フレーム前の出力画像を用いて算出したホワイトバランス係数を用いる。なお、ホワイトバランス係数は色によって異なる。
【００５３】
また、ホワイトバランス処理に先立ち、ウィンドウWi内の画素についてデモザイク変換を行い、各画素についてすべての色情報（画素値）を生成しておく。  
【００５４】
次に、ホワイトバランス処理が施された画素について、カラーマトリクス処理を行う（Ｓ２５）。
【００５５】
各色画素のホワイトバランス係数を、それぞれwr, wg, wbとし、カラーマトリクス係数を（４）式のように定義する。
2016163331.tif 000003
【００５６】
また、Ｒ成分の画素のデモザイク変換をfr(R, G, B)、Ｇ成分の画素のデモザイク変換をfg(R, G, B)、Ｂ成分の画素のデモザイク変換をfb(R, G, B)とする。この場合、ホワイトバランス処理、カラーマトリクス処理が施された画素は、R成分の場合は（５）式、G成分の場合は（６）式、B成分の場合は（７）式のように表される。
【００５７】
Pi(h, v) = r0*fr(wr*R(h, v),  wg*G(h. v),  wb*B(h, v)) 
+ r1*fg(wr*R(h, v),  wg*G(h. v),  wb*B(h, v)) 
+ r2*fb(wr*R(h, v),  wg*G(h. v),  wb*B(h, v))          …  （５）式
Pi(h, v) = g0*fr(wr*R(h, v),  wg*G(h. v),  wb*B(h, v)) 
+ g1*fg(wr*R(h, v),  wg*G(h. v),  wb*B(h, v)) 
+ g2*fb(wr*R(h, v),  wg*G(h. v),  wb*B(h, v))          …  （６）式
Pi(h, v) = b0*fr(wr*R(h, v),  wg*G(h. v),  wb*B(h, v)) 
+ b1*fg(wr*R(h, v),  wg*G(h. v),  wb*B(h, v)) 
+ b2*fb(wr*R(h, v),  wg*G(h. v),  wb*B(h, v))          …  （７）式
ホワイトバランス処理とカラーマトリックス処理を施されたウィンドウWi内の画素を用いて、以降の処理を行う。参照画素Piの補間に必要な画素領域の画素のうち、出力画素Poの色Ｃの画素値を持たない画素について、当該色成分を部分デモザイクによって算出する（Ｓ２６）。部分デモザイクに用いる画素は、アクセスウィンドウWa内の画素である。続いて、参照画素Piの色Ｃの画素値を算出する（Ｓ２７）。最後に、参照画素Piの色Ｃの画素値を、出力画素Poの画素値として出力する（Ｓ２８）。なお、Ｓ２６からＳ２８の一連の処理は、図２におけるＳ４からＳ６の処理と同様である。
【００５８】
このように、本実施形態においては、近傍領域の画素（ウィンドウWi内の画素）について、ホワイトバランス処理とカラーマトリクス処理を施した後に、参照画素Piの画素値の補間を行う。これにより、クロストークの影響が排除された画素値を用いて補正を行うことができるため、出力画像の色ずれを抑制することができる。
（第４の実施形態）
第３の実施形態の画像処理装置では、ホワイトバランス処理とカラーマトリクス処理を施した画素を用いて歪曲補正を行い、出力画像の各画素の画素値を算出していた。しかしながら、歪曲補正後の出力画像はRAW画像であるため、RAW現像処理で任意のホワイトバランス処理やカラーバランス調整が行われることがある。そこで、第４の実施形態においては、歪曲補正処理後の参照画素Piに対し、ホワイトバランス処理やカラーマトリクス処理の効果を打ち消す処理を施し、出力画素Poの画素値を算出する。
【００５９】
第４の実施形態の画像処理装置は、第１の実施形態と同様の構成である。以下、信号処理部２４における中間画像信号の補正方法について説明する。図１０は、第４の実施形態における信号処理部２４の信号補正処理を説明するフローチャートである。図１０におけるＳ２１からＳ２７までの手順は、図９におけるＳ２１からＳ２７の処理と同様である。
【００６０】
次に、歪曲補正処理後の参照画素Piの色Ｃの画素値に、Ｓ２５のカラーマトリクス処理で用いたカラーマトリクス係数の逆行列を演算することにより、デ・カラーマトリクス処理を施す（Ｓ３１）。続いて、デ・カラーマトリクス処理後の画素値にホワイトバランス係数の逆数を演算することにより、デ・ホワイトバランス処理を施す（Ｓ３２）。最後に、デ・カラーマトリクス処理及びデ・ホワイトバランス処理が施された、参照画素Piの色Ｃの画素値を、出力画素Poの画素値として出力する（Ｓ２８）。
【００６１】
このように、本実施形態においては、出力画素Poを算出する際に、歪曲補正処理において施したホワイトバランス処理やカラーマトリクス処理の効果を打ち消す処理を施している。これにより、RAW現像処理で任意のホワイトバランス処理やカラーバランス調整を行う場合に、従来と同様の処理を行うことができるため、処理の煩雑化を抑制することができる。
【００６２】
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して説明した。
【００６３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、一例として示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６４】
１…撮像部、２…電気的補正部、２０…ラインメモリ、２１…ラインバッファ補充部、２２…ラインバッファ、２３…補充ライン数計算部、２４…信号処理部、２５…最終ライン判定部、Pi…参照画素、Po…出力画素、Wa…アクセスウィンドウ、Wat…アクセスウィンドウ加算領域、
【図１】
2016163331.tif 000004
【図２】
2016163331.tif 000005
【図３】
2016163331.tif 000006
【図４】
2016163331.tif 000007
【図５】
2016163331.tif 000008
【図６】
2016163331.tif 000009
【図７】
2016163331.tif 000010
【図８】
2016163331.tif 000011
【図９】
2016163331.tif 000012
【図１０】
2016163331.tif 000013