(57)【特許請求の範囲】
【請求項１】
２次元上で並進対称性を有するカラーフィルタを設けた撮像素子から取得したＲＡＷ画像に、デモザイキング処理を施すデモザイキング処理器と、
前記デモザイキング処理器による処理結果に対して、各Ｒ画素値及びＢ画素値に関して所定のウィンドウを用いてメディアンフィルタを複数回実施する偽色除去器と、
前記偽色除去器は、前記メディアンフィルタを施す前段の処理として、各画素の色情報としてデモザイキング処理で得られたＲ画素値、Ｇ画素値及びＢ画素値に対して、それぞれの画素において、（Ｒ画素値−Ｇ画素値）、及び（Ｂ画素値−Ｇ画素値）を算出し、それら算出された値に対して前記メディアンフィルタを施し、フィリタリング後の値に対して差分に用いた前記Ｇ画素値を加算するものであって、
さらに、前記偽色除去器によって複数回実施されるメディアンフィルタは、スイッチングメディアンフィルタであって、前記ウィンドウの中心画素の値が所定の閾値より小さい場合、α−トリムド平均値フィルタとして動作し、或いは、前記ウィンドウの中心画素が、Ｂａｙｅｒ配列中に存在した画素である場合、前記中心画素の値をそのまま出力する動作をし、
前記メディアンフィルタが複数回実施される間、画素値のビット深度は前記偽色除去器に入力される前に比べて増加することを特徴とする画像処理装置。
【請求項２】
前記ＲＡＷ画像は、ＢａｙｅｒパターンのＲＧＢ配列を有しており、
前記デモザイキング処理器は、前記デモザイキング処理として適応型カラーブレーン補間法を用いて処理するものであり、
前記デモザイキング処理器による処理結果に対し、前記偽色除去器に渡される前に、画質や視認性を向上させる、少なくとも輝度領域もしくは色領域の画像処理を行う画質調整処理器を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ウィンドウは、前記ＲＡＷ画像のアスペクト比に対応させて横長の矩形状に設定されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
２次元上で並進対称性を有するカラーフィルタを設けた撮像素子から取得したＲＡＷ画像に、デモザイキング処理を施すデモザイキング処理手段と、
前記デモザイキング処理手段による処理結果に対して、各Ｒ画素値及びＢ画素値に関して所定のウィンドウを用いてメディアンフィルタを複数回実施する偽色除去手段と、
前記偽色除去手段は、前記メディアンフィルタを施す前段の処理として、各画素の色情報としてデモザイキング処理で得られたＲ画素値、Ｇ画素値及びＢ画素値に対して、それぞれの画素において、（Ｒ画素値−Ｇ画素値）、及び（Ｂ画素値−Ｇ画素値）を算出し、それら算出された値に対して前記メディアンフィルタを施し、フィリタリング後の値に対して差分に用いた前記Ｇ画素値を加算するものであって、
さらに、前記偽色除去手段によって複数回実施されるメディアンフィルタは、前記ウィンドウの中心画素の値が所定の閾値より小さい場合、α−トリムド平均値フィルタとして動作し、或いは、前記ウィンドウの中心画素が、Ｂａｙｅｒ配列中に存在した画素である場合、前記中心画素の値をそのまま出力する動作をし、
前記メディアンフィルタが複数回実施される間、画素値のビット深度は前記偽色除去手段に入力される前に比べて増加することを特徴とする画像処理装置における画像処理方法。
【請求項５】
前記ウィンドウは、前記ＲＡＷ画像のアスペクト比に対応させて横長の矩形状に設定されることを特徴とする請求項４に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に係り、例えば単板式センサなどから得られるRAW画像からＲＧＢ色情報を補間する画像処理装置に関する。
【背景技術】
【０００２】
近年、ビデオ監視の分野において一般的に使用される画像の解像度は、これまでのアナログ解像度（720pix×480pix）からFull HD解像度（1920pix×1080pix）へ移行し、画質が飛躍的に向上した。今後は、さらに高解像度化する流れがある。また、安全・安心が求められる社会情勢の中で、監視分野ではカメラで撮影した映像を忠実に再現することに加えて、カメラで撮影した映像から、人・動物・物（例えば自動車や二輪車）など様々な情報を検出する画像処理技術も向上している。そうした画像処理の中でも画像の視認性や忠実性を高める技術が近年重要視されている。【０００３】
一般に、ＣＣＤセンサやＣＭＯＳセンサには、１つのセンサでＲＧＢの各色を取り込む単板方式と、光学的にＲＧＢを分離した多板方式がある。カラー画像は、画素毎にＲＧＢの色情報（Ｒ画素値、Ｇ画素値、Ｂ画素値）を使って生成されるが、単板方式のセンサでは、原色フィルタを通して値が得られることから、各画素位置で１色の色情報しか出力しない。このセンサから読み出されたままの、画素情報が欠落している画像はRAW画像と呼ばれる。このRAW画像を生成するセンサには、原色フィルタとしてBayerパターンが用いられることが多い。【０００４】
図１に示す様に、RAW画像はそのままでは、３つの色情報のうち２つの色情報が欠落している。そこで、欠落した２つの色情報を補うために、デモザイキング処理と呼ばれるＲＧＢの色情報を補間する処理を行う。デモザイキング処理として、最も単純な手法は線形補間であり、補間対象の欠落している色情報を周辺の同色の色情報から補間する。すなわち、Ｒの色情報が欠落している場合には、周囲のＲ画素の平均値にて補間することになる。画像の周波数成分の少ない単一的な領域であれば、線形補間を用いて良好な補間を行うことができる。しかしながら、周波数成分の高い画像のエッジ部分が存在する領域では、偽色と呼ばれる、被写体が本来持っていない色情報を補間してしまう。【０００５】
図２を用いて、偽色について説明する。画素位置２の色情報が欠落し、それを線形補間によって補間する場合を想定する。線形補間によって画素位置１の色情報P1と画素位置３の色情報P3を用いて補間する。結果として補間された色情報P2aは、２つの色情報P1、P3の平均値となる。このとき、図示のように、例えば本来被写体が持つ色情報P2bが、補間された色情報P2aよりも大きな値である場合、補間された色情報P2aは本来被写体が持たない色情報となり、偽色が発生していることになる。この様に、偽色はエッジ付近で生じやすい。【０００６】
偽色を防ぐために、画像のエッジ方向に応じて補間処理の方法を変える手法があり、例えばACPI法（適応型カラーブレーン補間法）が知られる。ACPI法では、RAW画像からエッジ方向を評価し、色情報の変化の少ない方向に並んでいる画素を用いて補間を行う。これにより偽色を抑制することはできるが、限られた数個の補間方向のうち、エッジの勾配方向にできるだけ直交する一つを選んでいるに過ぎず、偽色を完全に防ぐことはできない。【０００７】
更に単板式センサでは、偽色以外にも色モアレという現象が発生する。色モアレは、高周波成分がある被写体映像で発生する現象である。単板式のセンサの場合、ＲＧＧＢの４画素を１組としてデモザイキング処理を行うが、このとき、Ｒ／Ｂの画素数は画素数に対して1/4の解像度しかない。そのため高周波成分に対してエイリアシングが発生し、色情報を正しく再現できない、或いは、周期的な濃淡模様が生じてしまう。【０００８】
なお、デモザイキング処理には、これまで様々な手法が提案されており、更に、それらで生じるノイズ等を低減し画像品位を向上させる技術も知られる（例えば特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３５４６１０号公報
【特許文献２】特許第４５２０８８６号公報
【非特許文献】
【００１０】
【特許文献１】Jim S Jimmy Li and Sharmil Randhawa, "Color filter array demosaicking using high-order interpolation techniques with a weighted median filter for sharp color edge preservation",IEEE Transactions on Image Processing, 2009年9月, vol.18, No.9, pp.1946-1957
【特許文献２】Xin Li, "Demosaicing by Successive Approximation", IEEE Transactions on Image Processing, 2005年3月, vol.14, No.3, pp.370-379
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来のデモザイキング処理では、視覚的に目立たない程度に偽色を確実に抑圧することができなかった。なお、確実な抑圧という点では、全ての色チャネルに対して共通の空間LPF（低域通過フィルタ）を施す方法があるが、解像感が低下してしまう。最近では、超解像やディープラーニングを用いた手法も報告されているが、ごく一部の画像の領域で生じている不具合への対処としては、処理負荷が大きすぎるという問題がある。【００１２】
本発明は、このような状況に鑑みなされたもので、比較的少ない処理量で、視覚的に目立つ偽色を十分に抑圧することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、RAW画像を取得し、デモザイキング処理を施すデモザイキング処理器と、前記デモザイキング処理器による処理結果に対して、Ｒ画素値及びＢ画素値に関して所定の画素領域を用いてメディアンフィルタを複数回実施するフィルタリング部とを備える。
また、前記RAW画像は、ある単位パターンが周期的に配置された（２次元上で並進対称性を有する）ＲＧＢ配列を有しており、前記フィルタリング部は、前記メディアンフィルタを施す前段の処理として、各画素の色情報としてデモザイキング処理で得られたＲ画素値、Ｇ画素値及びＢ画素値に対して、それぞれの画素において、（Ｒ画素値−Ｇ画素値）、及び（Ｂ画素値−Ｇ画素値）を算出し、それら算出された値に対して前記メディアンフィルタを施し、フィリタリング後の値に対して差分に用いた前記Ｇ画素値を加算してもよい。
また、前記デモザイキング処理器は、前記デモザイキング処理として適応型カラーブレーン補間法を用いて処理してもよい。
また、デモザイキング処理器とフィルタリング部の間に一つもしくは複数種類の画質調整処理を実行する画質調整処理器を備えていても良い。ここで、画質調整処理と呼んでいるものは、γ補正のような一般的にカメラに採用される画像処理だけでなく、夜間監視映像の暗部補正など画像の特徴を大きく強調するようなものも対象とする。
【発明の効果】
【００１４】
本発明によると、RAW画像のデモザイキング処理により生じる色モアレ等を確実に低減することができる。
【図面の簡単な説明】
【００１５】
【図１】背景技術に係る、単板方式センサ出力画素の補間プロセスを説明する図。
【図２】背景技術に係る、線形補間による偽色を説明する図。
【図３】実施形態に係る、画像処理システム1のブロック図。
【図４】実施形態に係る、偽色除去器14の処理を説明するフローチャート。
【図５】偽色除去器14によるメディアンフィルタ処理のハードウェア実装例。
【図６】偽色除去器14によるメディアンフィルタ処理の別のハードウェア実装例。
【発明を実施するための形態】
【００１６】
次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。本実施形態では、デモザイキング処理の後段でメディアンフィルタを用いた非線形反復法によって色モアレを低減する。メディアンフィルタは任意のm×n領域の画素を用いる。
【００１７】
図３は、本実施形態に係る画像処理システム 1の概略構成を示すブロック図である。ここでは、主に本実施形態に特徴的な処理に着目して示している。
【００１８】
画像処理システム 1は、カメラ20と画像処理装置10とを備える。カメラ20は、単板方式のセンサを有し、センサ面には上述したBayerパターンのオンチップカラーフィルタを被せている。このカメラ20は、RAW画像出力機能を有し、画像処理装置10へRAW画像を出力することができる。すなわち、RAW画像は、BayerパターンのＲＧＢ配列の画素データを有する。
【００１９】
画像処理装置10は、RAW画像入力部11と、デモザイキング処理器12と、画質調整処理器13と、偽色除去器14と、画像出力部15とを備える。
【００２０】
RAW画像入力部11は、カメラ20からRAW画像を取得する。RAW画像は、デモザイキング処理器12に渡す前に、黒レベル補正や固定パターン雑音補正等がされていることを前提とする。
【００２１】
デモザイキング処理器12は、RAW画像入力部11からのRAW画像に対してデモザイキング処理を施し、色分離されたRGB画像を出力する。本例ではデモザイキング処理としてACPI法を用いるが、ＶＮＧ（Variable Number of Gradients）法のような他の補間法を任意に適用することができる。
【００２２】
画質調整処理器13は、γ補正、暗部（ブラック）補正、ハイライト（ニー）補正や、トーンマッピング等の輝度領域の操作や、独立色マスキング、かすみ除去などの色相や彩度の領域の操作や、空間領域の操作や、時間領域の操作を含む、画質や視認性の向上に有用な各種の画像処理を実行する。画質調整処理器13の処理は、偽色を強調し或いは復活させる場合があるため、メディアンフィルタによる偽色除去処理は画質調整処理後に適用する方が、効果が確かであると考えられる。
【００２３】
偽色除去器14（反復フィルタリング部）は、反復法処理として、デモザイキング処理後の画像データのRGBの色情報において、Ｒ画素とＢ画素に対して、Ｇ画素の差分値を算出し、算出後の差分画素データに対してm×n画素のメディアンフィルタをユーザ指定回数だけ繰り返し施す。これによって、デモザイキング処理によって生じる色モアレを低減する。
【００２４】
画像出力部15は、偽色除去器14における処理後の画像データを、所定の記憶装置または表示装置に出力する。なお、画像出力部15はRGB出力（4:4:4フォーマット）の場合には、特に変換処理を行わず出力し、Ｙ／Ｃ出力をする場合には、ＲＧＢ→ＹＣ変換処理を実施して出力する。変換処理に使用する演算式はBT.709など規格化された演算式を用いる。
【００２５】
図４に偽色除去器14による反復法処理の詳細が示される。偽色除去器14は、ユーザの指示を取得し、反復を行う回数を設定する(S10)。既に設定されている場合は、この設定処理はスキップされる。
【００２６】
次に、偽色除去器14は、デモザイキング処理後のRGB画像の各画素位置において、Ｒ画素値とＢ画素値に対して、Ｇ画素値との差分値を算出する(S11)。すなわち、例えば、ある画素の画素値Ｘ（Ｒ画素値、Ｇ画素値、Ｂ画素値）がXi(Ri, Gi, Bi)とした場合、ＲＧ差分画素データΔXi(Ri-Gi, Bi-Gi)を算出する。
【００２７】
次に、偽色除去器14は、算出後のＲＧ差分画素データΔXi(Ri-Gi, Bi-Gi)で表される画像データに対して、m×n画素のメディアンフィルタ処理を実施する(S12)。なお、メディアンフィルタ処理とは処理対象画素の周辺m×n画素（ウィンドウ）のデータの中央値を算出し、算出した中央値を処理結果として採用する処理である。このとき、画像端では周辺画素がm×n存在しないケースが発生する。その場合には、存在しない画素は中央値算出の対象から除外して処理を行う。もしくは、パディング処理として画像端の画素値をm×nになるようにコピーして処理を行う。パディング処理の有無によって、中央値算出の結果は変わらない。
【００２８】
その後、偽色除去器14は、メディアンフィルタ処理後の各画素データΔXf(Rf, Bf)に、S11で減算したＧ画素値（Ｇｉ）を加算し(S13)、加算処理後のＲ、Ｂの画素値を処理結果として保持する(S14）。すなわち、(Ri, Gi, Bi)を、(Rf+Gi, Gi, Bf+Gi)で上書きする。なお、Ｇ画素値については、処理を行わず、入力される画素値をそのまま保持する。
【００２９】
ここで、反復回数が設定回数に達していない場合（S15のＮ）、S11の処理に戻る。このとき、S11以降の処理では、前回処理で得られたＲ画素値、Ｇ画素値及びＢ画素値が用いられる。反復回数が設定回数に達した場合（S15のＹ）、反復法処理は終了する。なお、S11からS14の各ステップの処理は、画像内の全画素について行われる。RAW画像のときから存在した画素値については、処理の対象から除外することもできるが、効果に大きな違いは無い。
【００３０】
図５に、偽色除去器14によるメディアンフィルタ処理のハードウェア実装例が示される。図５の構成は、図４で示した反復処理の内のS11からS13についての、Ｒ画素値への操作に相当し、Ｂ画素値についても同様である。なおメディアンフィルタのウィンドウサイズは3×3としてある。また複数回の反復処理を行うには、図５の構成を単にカスケード接続すればよい。
【００３１】
最初に、j番目の反復におけるＲ画素値(Rij)、Ｇ画素値(Gij)が減算器40に入力され、減算器40はそれらの差分を算出し、フリップフロップ(FF)31と1H遅延線41へ出力される。フリップフロップ(FF)31〜39は、それぞれ１つの画素値を保持するレジスタであり、メディアンの算出元となる3×3画素分の値を保持する。1H遅延線41、42は、１水平ライン分の画素値を保持するデジタル遅延線であり、先入れ先出し（FIFO）メモリ等で構成され得る。減算器40からの差分は負になり得るので、減算前よりもビット深度が１つ増える。
【００３２】
メディアンフィルタ43は、入力された９個の画素値の中央値を取り出して、フィルタされた画素値(Rfj)として出力する。メディアンフィルタ43は、例えば、バブルソートのアルゴリズムをハードコーディングしたもので、隣同士で値を比較できる９個並列のレジスタを９段設けて、パイプライン動作させることで実現されうる。
【００３３】
2H+2タップ遅延線44は、画素値(Rij)が減算器40に入力されてから、対応するフィルタされた画素値(Rfj)がメディアンフィルタ43から出力されるまでの遅延と同じ遅延を、Ｇ画素値(Gij)に施す。加算器45は、フィルタされた画素値(Rfj)と遅延された画素値(Rij)を加算して、出力する。
【００３４】
図５の構成をFPGAで実現する場合、1H遅延線41、42や2H+2タップ遅延線44は、FPGA内部の組み込みブロックRAM(EBR)を用いて構成されうる。１つのEBRは18Kbit、36Kbit程度の容量を有し、外部RAMに比較して非常に高い転送帯域幅が利用可能である。それ以外のメディアンフィルタ43等は、FPGAの基本的な単位であるProgrammable Function Unit（PFU）或いはスライスを組合せて構成されうる。この様に、本例の偽色除去器14は乗算器（DSPスライス）を必要としないため、FPGA内部の余ったリソースを利用して、容易に組み込むことができる場合がある。アスペクト比が高い、つまり横長の画像では、その両側付近で横方向の倍率色収差が目立つようになる。単一の種類のウィンドウを用いてそのような収差による偽色をも補正しようとする場合、アスペクト比に合せてウィンドウも横長にした方がよい場合がある。
【００３５】
図４及び図５で説明した偽色除去器14による、色モアレ低減効果の実測値を表１に示す。
【表１】
0006644877.tif 000002
ここでは、客観的評価値を導入している。評価結果には、CIELAB表色系の色差式を用いて評価しており、差分値（ΔＥab）が小さいほど本来の被写体に近い画素値が得られていることを意味する。反復処理を複数回実施することで効果があることが客観的評価からも確認できる。具体的には、デモザイキング処理（ＡＣＰＩ）のみでは、差分値（ΔＥab）は1.94である。デモザイキング処理を行った結果に対して反復処理を１回のみ実施した結果、差分値（ΔＥab）は1.3095となり、色モアレの低減効果が確認された。そしてさらに反復処理を３回実施した結果、差分値（ΔＥab）は1.2663となり、複数回実施することで、さらに色モアレ低減の効果を確認することができた。
【００３６】
図６に、偽色除去器14によるメディアンフィルタ処理の別のハードウェア実装例が示される。この例は、メディアンフィルタ43に代えて、スイッチングメディアンフィルタ48を備えた点などにおいて、図５と異なる。なお図５と同一の構成には同一の符号を付して、説明を省略する。この例では、フィルタウィンドウの中心に対応する画素の値を出力するFF35の出力が取り出され、比較器46と、減算器49に与えられる。
【００３７】
比較器46は、中心画素値を、所定の閾値と比較し、その結果のブール論理値を出力する。画素アドレス生成器47は、図６のハードウェア全体の動作タイミングを支配しており、FF35から出力されている中心画素値が、画像中のどこに位置するかを示すアドレスを出力することができる。
【００３８】
本例のスイッチングメディアンフィルタ(SMF)48は、比較器46や画素アドレス生成器47から与えられた条件などによって、動作を切替えることができる順序統計フィルタ或いはスタックフィルタである。一例として、中心画素値が閾値より小さい場合、SMF48はα-トリムド平均値フィルタとして動作し、そこでは、ソートされたN個（N＝m×n。本例では9個）の画素値の列における両端のαN個が破棄され、中心寄りの(1-α)N個の画素値の算術平均が出力される。また、中心画素が、Bayer配列中に存在した画素である（つまり補間によって生成された画素ではない）場合、メディアンフィルタなしで中心画素値がそのまま出力される。その他の場合は、通常のメディアンフィルタとして動作する。トリムド平均値フィルタを用いた場合、相対的に感度が低いＲやＢチャンネルにおいて、低輝度領域でのS/Nを改善し、色の階調を緻密に再現することができる。また、Bayer配列からの原信号を維持することで、画像のエッジを保存できる。
【００３９】
この例では、Bayer配列からの原信号はそのまま出力するとしたが、フィルタの出力と比較して原信号の方が大きい場合は、原信号を破棄してフィルタの出力を用いるようにしてもよい。なお、コンディショナルなフィルタ動作は上述の組合せに限られず、条件として、雑音や高周波成分の評価結果を用いてもよく、フィルタとしてDouble Window Modified Trimmed Meanフィルタ、スタックフィルタ、εフィルタなどを用いてもよい。
【００４０】
減算器49は、SMF48からのフィルタされた画素値から、FF35からの中心画素値を減算し、修正量として乗算器50へ出力する。乗算器50は、修正量に所定の固定定数を乗算し、Ｇ修正量として減算器51へ出力する。減算器51は、2H+2タップ遅延線44からのＧ画素値から、乗算器50からのＧ修正量を減算して、出力する。これらの構成は、Ｒ画素値の修正による輝度の変化を補償するために設けてあり、必須ではない。補償の強さは、所定の固定定数を適切に選ぶことによって決定される。固定定数を乗算する乗算器50は、PFUやスライスによって構成されうる。
【００４１】
本例では、平均化を伴うフィルタを用いたことにより、小数を持つ画素値が得られ、その固定小数点の値を持つ画素値を偽色除去器14内部の反復計算の間、使用することができ、更に偽色除去器14の出力とすることができる。例えば色空間の変換の際に、固定小数点の画素値を、BT.709 の変換係数と乗算することができる。
【００４２】
以上説明した様に、本実施形態の画像処理システム 1によると、メディアンフィルタのような非線形フィルタを反復処理することで色モアレ低減効果を得ることができる。反復処理は、必ずしも同一処理を連続して行うものに限らず、複数回の反復処理の一部を、画質調整処理器13の処理の前に行ってもよく、或いは画像出力部14からの出力された後にパソコン等によるソフトウェア処理で行ってもよい。また、オンチップカラーフィルタは、ベイヤーフィルタに限らず、４色を1組とする補色フィルタや、ベイヤーフィルタのＧ画素の１つを全透過或いは赤外透過フィルタに置換した場合であっても、補間によってＧ画素値（もしくは擬似輝度値）を全画素位置で生成すれば適用できる。
【符号の説明】
【００４３】
1 画像処理システム、  10 画像処理装置、  11 RAW画像入力部、  12 デモザイキング処理器、  13 画質調整処理器、  14 偽色除去器（反復フィルタリング部）、  15 画像出力部、  20 カメラ
【産業上の利用可能性】
【００４４】
本発明は、ディジタルカメラ、ビデオカメラ等の機器に組みこまれて利用されるほか、RAW現像もしくはポストプロダクション等で用いられる画像編集ソフトウェアや、画像を保管・編集するクラウドサービスにおいても利用することができる。
【図１】
0006644877.tif 000003
【図２】
0006644877.tif 000004
【図３】
0006644877.tif 000005
【図４】
0006644877.tif 000006
【図５】
0006644877.tif 000007
【図６】
0006644877.tif 000008